商湯首創港式粵語AI大模型

2024年5月30日 - 信報

商湯上月發布最新大模型「日日新SenseNova 5.0」，在知識、推理、數學及代碼等能力大幅增強，綜合能力全面對標OpenAI GPT-4 Turbo，昨於十周年誌慶啟動禮加推SenseChat粵語版。同時，又與重點本港合作夥伴，包括德勤中國、長興吉數科技、香港電訊簽署合作備忘錄，推動香港業界應用人工智能（AI）。商湯股價昨曾漲逾11%，收報1.37元，升4.58%。

商湯科技聯合創始人林達華認為，香港是個華洋雜處的多元文化社會，形成獨特的語言環境及文化。

能理解「磅水」  懂辨識劉德華

作為首個能理解粵語俗語的大模型，SenseChat粵語版採用了混合專家架構，基於超過10TB Tokens訓練，推理上下文窗口達20萬字；在SuperCLUE及OpenCompass兩大基準測試，SenseChat粵語版得分勝過GPT-4 Turbo，在後一個測試中，平均分更緊貼OpenAI最新模型GPT-4o。

林達華表示，SenseChat粵語版比OpenAI優勝之處，在於模型擅長理解香港俗語，例如「白車」（救護車）、「磅水」（畀錢）等，亦可辨識劉德華等本地藝人。在示範中，有更多日常生活例子，例如上傳一張連鎖快餐店價錢牌圖片，再詢問AI模型：「呢度有幾個套餐，幫我揀一個。」AI便會推理及計算價格，推薦較為便宜的套餐。

記者實測可見，商量「多模態智能助手5.0」不但精通粵語，口音相對純正 ，還能精準解析PDF/Word/PPT等多種數據格式檔案，也懂得回答「香港有咩玩？」現場亦展出另一款「商湯日日新．商量—擬人大模型」，支援個性化角色創建與定製，可長對話記憶、知識庫構建及多人群聊，有望應用於情感陪伴、影視動漫或藝人AI分身，例如與多啦A夢、馬斯克等虛擬角色聊天。

連接全國算力  在港建雲區域

多模態模型必須有強大算力支持，商湯科技聯合創始人陳宇恆提到，該企營運GPU（圖像處理器）數量達45000卡，全國總算力規模達12000P（PetaFLOPS），連接了香港、深圳、上海及福州等多地的算力網絡。陳宇恆透露，今年6月將在香港建設本地AI雲區域，除了可降低調用延遲90%，亦可滿足本地安全合規要求，賦能金融、旅遊、影視、教育等不同產業。

商湯科技ABG香港業務總經理馮愈介紹，商量粵語Web版本一次最多可上傳50個文檔，除了能理解統計圖資料，更可總結指定頁數內容。針對商用的商量粵語API（應用程式介面），最大支援128K窗口；以100萬Tokens計算，輸入及輸出收費均為30港元，揚言是全網旗艦大模型最低價。他預告七一回歸紀念日，將正式向公眾開放商量粵語Web，以及iOS與Android版本手機應用程式，支持粵語答問及網絡搜尋功能，標榜永久免費。

馮愈接受傳媒專訪時稱，商湯前後花了約6至8個月，以內地電力訓練粵語模型，本港市場暫看不到有競爭對手。對於國內AI模型爆發價格戰，他不同意行業正在整合，市場正處於高速增長，未來需加快教育客戶。他指出，香港相當重視數據私隱，尤其政務、金融、醫療等本地客戶，特別傾向私有雲模式，將在本地推出AI一體機，端側及雲端可協同應用。