2024年11月11日 - 信報
這樣一來，一些研究機構便從中得到發展啟迪──即可以通過自然語言（尤其英文），當中的文法、詞彙、字出現的頻率及先後次序，來發現字與字之間的關係，從而能夠製造出一個聊天機械人，可以自行產生答案作答，與傳統人工智能製造出來依靠「規則基準」作答有別。換言之，透過這個變換器，應用到機器深度學習網絡系統裏，就能夠有效地從文本中理解語句，生產出貼切有用的訊息。
OpenAI致力訓練神經網絡
要達致這個效用，必須要大量去了解到自然語言，包括需要了解其文法、行文結構組織、字與字之間的關係、先後出現的順序和頻率等等。當中，若干研究機構各有重點發展方向，其中一家廣為人熟悉的研究機構，就是OpenAI。
谷歌於2017年開發了Transformer後，OpenAI便投入大量資源，把大量公共英文書以至電子書的文字，通過深度學習網絡，融入Transformer的新技術，分析大量英文書的用詞用句之間的頻率和關係、出現的先後和行文結構等，從而訓練出一個深度學習的神經網絡，去協助機械人作答。當有人提出一個英文問題，便從大量用字用詞之間的關係中，製造出與問題相關的答案。
OpenAI於2022年12月推出ChatGPT（Chat Generative Pre-trained Transformer，中文直譯為聊天生成預訓練轉換器），推出之後，令生成式AI的發展備受各方追捧，並予以無限憧憬。
可以想像，如果預訓練中採用英文的文本數量愈多，所得模型作答所覆蓋的可能性便愈大，亦即問題與可能答案「對口」的相關度愈高、愈適切。ChatGPT是OpenAI發展GPT的第3.5代了。聊天機械人模型背後的概念就是GPT（生成預訓練轉換器）。追溯OpenAI發展GPT的歷史，經過了GPT1、GPT2、GPT3、到GPT3.5，即是為人熟知的ChatGPT。目前已有ChatGPT4、GPT4.5（即在GPT4下的ChatGPT）、GPT-4o，據聞GPT5正在研發之中。
加入人工判斷 答案更準確
每一代的分別有兩端，其一，是新的版本的預訓練過程加上了大量的文本，數量之巨，遠超我們的想像力。已發展的GPT3或GPT4，所涵蓋的英文書和文本數量，可能媲美甚至多於世界任何一個圖書館的藏書量；同時亦加上網絡用戶所產生的內容。其二，是在適當的地方，插入人工的判斷。當預訓練了這個聊天機械人後，也會「告知」機械人，其作答的答案並非適切或最佳，有什麼地方可以作出改善。透過這兩方面的提升，不斷去優化新的GPT版本，使聊天機械人的「智能」不斷提升，寫出來的答案不斷進步和更為準確。
不過，想深一層，如果僅限於聊天，生成式機械人的應用場景其實很有限。目前，應用聊天機械人的機構，主要是銀行或財金機構，或一般有客戶服務部，即需要對應客戶端頻繁電話查詢的機構。
然而，為何當前外界對生成式聊天機械人的反應如此熱烈？其中一個最主要原因，是當大家突然間發現，原來可以用「英文對答」之下，產生很多內容，於是開始意識到，生成式聊天機械人不只是「聊天」那麼簡單，而可以協助我們解決很多平時用語言說出來的工作，這無疑是一個相當大的應用飛躍。
擴闊應用場景至專業範疇
很顯然，語言雖然只是一個媒體，但其背後所承載的，可以是很多不同專業的知識和經驗，譬如法律、土木工程、專業數學以至會計和財經金融，這些廣闊無垠的知識和經驗都是通過語言來表達。當透過深度學習技術得出來這個碩大無比的「聊天」模型，其應用已超出了人際溝通的範疇，而是透過語言這個媒介，觸及到媒介背後所涉獵的各種專業知識。
雖則聊天機械人本身未接受過任何專業訓練，缺乏專業知識，唯一通曉的，是由深度學習神經網絡和轉換器技術，擷取及綜合前人所闡述、經過溝通交流的相關專業知識和經驗，並用語言呈現出來；按照前人所用的專業詞句或文章寫法，照辦煮碗，用同樣或類似的文字，去生成所需要回答的問題內容。
日前，據外媒披露，在ChatGPT面世即將滿兩周年，OpenAI公司預計12月前會推出新的AI旗艦模型，比當前的GPT-4強大100倍。但無論如何，生成式人工智能的「智能」，無疑有一定局限性，甚至其生成的內容隱藏「誤讀」，並非百分百正確，有機會誤導用戶。有關這個問題和機構一窩蜂開拓大數據語言模式之風，下周續談。
生成式AI投資火熱透視．之二
作者為科大商學院署理院長；資訊、商業統計及營運學系講座教授；艾禮文家族商學教授。
原文：
沒有留言:
發佈留言