奧特曼最新透露：急缺GPU，擬開源GPT-3，明年開放多模態

原標題：奧特曼最新透露：急缺GPU，擬開源GPT-3，明年開放多模態

AI開發平臺HumanLoop首席執行官拉扎·哈比比（左）與OpenAI首席執行官山姆·奧特曼（右）在閉門討論會上。

上周，OpenAI首席執行官山姆·奧特曼（Sam Altman）和AI開發平臺HumanLoop首席執行官拉扎·哈比比（Raza Habib）等20多位開發者開展了一次閉門會議，討論OpenAI的API（應用程序編程接口）和產品計劃。幾天后，拉扎·哈比比公開了一份詳細的會議要點整理。

在討論中，奧特曼非常坦率地承認OpenAI目前受到GPU（圖形處理器）的限制，并談到了GPT-3的開源計劃、OpenAI的當前首要任務以及人工智能的社會影響等問題。雖然奧特曼呼吁對AI的未來進行監管，但并不認為現有模式是危險的。

奧特曼還表示，OpenAI的內部數據表明，模型性能與規模成比例的規律仍然成立，即模型更大、性能也會更強。OpenAI會繼續嘗試把模型做得更大，但它們每年的規?？赡苤粫黾右槐痘騼杀?，而不是增加很多數量級。

目前嚴重受限于GPU

在整場討論中，一個反復提到的主題是OpenAI目前極度依賴GPU，這讓他們的很多短期計劃都延遲了。

OpenAI收到最多的用戶投訴都是關于API的可靠性和速度。奧特曼理解他們的擔憂，并解釋說問題大部分是由GPU資源短缺造成的。

ChatGPT此前支持的32k tokens上下文功能還不能推廣給更多人，OpenAI還有一些問題需要解決，因此，盡管他們可能很快就會有100k-1M的tokens上下文窗口，但還都需要在研究上取得突破。

微調API目前也受限于GPU資源。他們還沒有使用像Adapters或LoRa（兩種常見的大模型微調方法）這樣的高效微調方法，因此微調運行和管理非常消耗計算資源。未來會有更好的微調方式。他們甚至可能會主持一個社區貢獻模型的市場。

專用容量供應同樣受限于GPU資源。OpenAI為有私人需求的客戶提供了專用容量，可以讓客戶在專用的空間運行私人數據。要訪問此服務，客戶需要承諾預支10萬美元。

OpenAI路線圖

山姆分享了OpenAI的API暫定短期路線圖。

2023年，首要任務是實現更便宜、更快的GPT-4；第二，更長的上下文窗口——在不久的將來，可能最高達到100萬個tokens的上下文窗口；第三，微調API將擴展到最新的模型，但具體形式將由開發者實際需求決定；第四，有狀態的API——今天在調用聊天API時，需要反復傳遞相同的對話歷史，并反復支付相同的tokens，將來將有一個記住對話歷史的API版本。

2024年，開放多模態能力。GPT-4發布時曾演示了強大的多模態能力，但是在GPU得到滿足之前，這一功能還無法拓展到所有人。

很多開發人員都對通過API訪問ChatGPT插件感興趣，但奧特曼認為這些插件短期內不會發布。除了瀏覽之外，插件系統還沒有找到PMF（Product Market Fit，產品和市場達到最佳的契合點）。

奧特曼指出，很多人認為他們希望自己的應用程序位于ChatGPT之內，但他們真正想要的是應用程序中的ChatGPT。

奧特曼表示，OpenAI不會發布ChatGPT之外的更多產品。

他說，按照慣例，偉大的平臺都會有殺手級應用，ChatGPT就是要做這個創紀錄的應用。ChatGPT的愿景是成為工作的超級智能助手，但OpenAI不會涉及其他許多GPT用例。

縮放法則仍然有效

雖然奧特曼呼吁對AI的未來進行監管，但他并不認為現有模式是危險的，并認為監管或禁止現有模式將是個大錯誤。

他重申了對開源重要性的信念，并表示OpenAI正在考慮將GPT-3開源。之所以還沒有開源是因為他們覺得沒多少人和公司有能力妥善管理如此大型的大語言模型。

最近許多文章援引奧特曼的發言稱“巨型人工智能模型的時代已經結束”，但這并沒有準確反映他的原意。他表示，OpenAI的內部數據表明，模型性能的縮放法則（Scaling laws）仍然有效，使模型變大將繼續產生性能?？s放率的確不能維持，因為OpenAI在短短幾年內已經將模型擴大了數百萬倍，未來繼續這樣做是不可持續的。這并不意味著OpenAI不會繼續嘗試使模型變大，只是意味著他們可能每年只會增加一倍或兩倍，而不是增加許多個數量級。

奧特曼說，縮放法則繼續有效的事實對AGI（通用人工智能）開發時間線有重要影響?？s放法則假設我們可能已經擁有構建AGI所需的大部分部件，而剩下的大部分工作將是將現有方法擴大到更大的模型和更大的數據集。如果縮放法則的時代結束了，我們可能應該預期AGI還有很長的路要走?？s放法則繼續有效強烈地表明了實現AGI的時間線較短。