2024年9月19日 - 信報
企業願意燒錢發展AI，大前提是不久將來，可以轉化成新產品新服務，或者提高內部營運效率，從而提高經濟效益。最終目的，就是有利可圖，而不會為科學而科學。至於消費者，的確有一批人貪新鮮，喜歡走在潮流尖端，走去買最新人工智能產品。但這類消費先鋒數量有限。普羅大眾願意買單更多因為被實際功能和實實在在應用場景吸引。手機與個人電腦商都在探討如何利用AI元素，引入殺手級新功能，去引發換機潮。所有這些，都屬於AI推理範圍。
一直想從輝達（Nvidia）手中搶生意的AMD行政總裁蘇姿丰（Lisa Su）認為，未來推理市場規模將超越訓練市場。最終，前者將遠遠大過後者。英特爾（Intel）行政總裁格爾辛格（Pat Gelsinger）亦相信，到那個時候，推理市場才是競爭焦點。不單兩大傳統晶片巨頭有這個看法， 被視為AI晶片新勢力的Groq（GROQ）創辦人Jonathan Ross，對推理市場未來增長空間亦十分樂觀，他在一個論壇上大膽預言：「將來，推理市場所佔的百分比，將從現時的5%，增加到90%至95%。」
目前，大型AI模型訓練與推理，都十分依賴輝達的晶片，Ross認為，未來AI推理的重要性日漸突顯，隨着市場重心轉移，進入推理為主的時代，成本與延遲（latency）方面的要求更高時，輝達的局限性將比較明顯。處理巨量數據以及複雜計算工作，輝達晶片一枝獨秀，但大規模的AI應用更需要夠平夠快。Ross解釋：「AI推理對延遲非常敏感，必須控制在300毫秒內（1秒等於1000毫秒）。每100毫秒的速度改善，用家參與度能夠提升8%（個人電腦）到34%（手機）。」
新勢力Groq勢擊倒輝達
Ross的意思不難了解。試想像一下，如果你的手機AI助理，每次都要等10秒才有反應，又或者每次使用，就令你的手機溫度瞬間提高，電池量立刻跌watt，相信想多人用都幾難。工業上的應用，例如自動駕駛、影像辨識、交通管理等，對即時性及能耗的要求更高，成本效益方面亦會有嚴格標準。
還有幾個趨勢，將加快推理主導年代的到來。隨着AI模型變得更精簡，以便在手機及個人電腦等算力有限的設備上運行，對訓練的要求將降低。此外，開源模型陸續發布，企業可以直接使用這些現成模型，毋須花一大筆來自行訓練。
當AI的實際應用，成為下一個主戰場，現在呼風喚雨的輝達創辦人黃仁勳，未必能夠保持公司一家獨大的絕對領先地位。誰會成為AI新時代的主角？蘇姿丰當然希望輪到AMD擔正大旗。英特爾的格爾辛格未必夠膽奢望，重奪晶片盟主地位，但至少有機會縮短與輝達的距離。
Groq雖然規模仍細，但老闆Ross口氣卻非常大，處處攞自己與輝達比較，擺明要在推理時代與輝達一較高下。
輝達用7年時間，程式開發者人數才去到10萬人，Groq發布開發工具後30天，已經吸引7.5萬人參與，Ross急不及待曬成績，又聲稱名為LPU的Groq晶片，執行AI推理任務時，速度與成本都比輝達晶片優勝。已經部署過百萬顆晶片在未來一兩年大舉進攻市場的Groq，能否成為AI應用時代的大贏家，很快就有答案。
原文：
沒有留言:
發佈留言