2024年12月19日 - 信報
自從大型語言模型（LLMs）如ChatGPT震撼登場以來，巨額資金湧入預訓練模型，好比豪賭般押注算力規模，追求虛無縹緲的AI「造神」。這種燒錢模式的持續性令人擔憂。畢竟，即使是為了追尋終極目標，又有多少人願意或能夠投入百億美元，打造一個不知何時才能降臨的「神」？
過去兩年，AI研究機構普遍面臨着預訓練規模化的樽頸。按照「冪律縮放」（power laws of scaling），增加預訓練計算量本應帶來模型性能的指數級提升。然而，現實是隨着人類生成文本數據的飽和，轉而依賴合成數據的效果並未如預期般持續推動模型進步。現在，這種樽頸迫使業界把焦點轉向了推理側的最佳化，以及預訓練、後訓練和測試時計算的組合。這種轉變並非退卻，而是更務實的策略。正如網路泡沫破滅後，網路傳輸成本以每年25%的速度持續下降了20年，技術發展最終會回歸優化，追求效率最大化。AI也一樣，這種「預訓練天花板」，使技術人員終於可以喘口氣，轉向一種全新的規模化範式──測試時運算（test-time compute）。
這種轉變對整個生態系統和經濟都有益處。然而，財富的分配格局將會改變，曾經的贏家可能面臨挑戰，而曾經的輸家或許能迎來轉機。當中，一些跡象已經顯現。例如，半導體公司Cerebras宣布其在Llama 3.1 405B模型上的推理速度比GPU快70至75倍，這預示着新創公司在半導體、網路等領域仍有巨大創新空間。同時，一些機構先前囤積GPU以應對AI工作負載，如今卻發現這些算力可能過剩，因為推理需求遠低於預期，甚至只可以「免費」運行內部AI應用。
當然，應用程式開發者總是能找到方法消耗所有可用算力，就像影片串流最終吞噬了資料中心的冗餘容量一樣。但至少，在一個更可預測、更理性的環境下，投資決策將更明智。
值得關注的是，對預訓練模型的質疑並非針對其效能提升的絕對值，而是相對於投入算力的邊際效益遞減。實驗室仍會繼續探索突破，問題在於，單純依靠堆砌算力是否真的是通往「終極解鎖」的唯一路徑？
另一個關鍵問題是合成資料。如果合成資料技術有突破，預訓練模型的開發成本將大幅降低，百億美元等級的超級叢集或許會重回舞台中央。此外，音訊和視訊資料還有巨大的未開發潛力，這些領域的新模型將帶來怎樣的驚喜，依然值得期待。不過，對於非技術人員來說，判斷GPT-5等未來模型的潛力依然是一項挑戰。
此外，開源模型Llama的命運亦至關重要。Meta的LLaMA系列開源策略，讓更多中小型開發者能夠利用這些模型進行創新，從而削弱了OpenAI的技術壟斷地位。此外，Google和xAI等公司也在積極調整策略，以應對新的市場動態。這些巨頭們能否在AI的浪潮中保持競爭力，將成為未來幾年的關鍵觀察點。
AGI將成人類智慧巔峰
展望未來，AGI（通用人工智能）將是人類智慧的巔峰，甚至可能帶來「超越人類」的ASI（超人工智能）。當前，AI已經在某些領域超越了人類的能力，包括從蛋白質折疊到數學難題。未來，它或許能幫助我們解開物理定律，甚至探索宇宙的奧秘。
AI的未來充滿不確定性，但也滿載機遇。從技術優化到應用創新，從硬件需求到分布式計算架構，每一個環節都可能孕育巨大的價值。然而，投資者需要認識到，技術的突破並不總是帶來立竿見影的回報。歸根究柢，人工智慧的未來充滿了未知，卻蘊藏着無限可能。這場科技革命將如何重塑世界，值得拭目以待。
筆者相關人士持有Meta的財務權益
原文：
沒有留言:
發佈留言