大型語言模型導(dǎo)致的錯覺

通過自學(xué)成才從電報員成為企業(yè)家的托馬斯·愛迪生，通常被認(rèn)為是有史以來最偉大的發(fā)明家，而在移民美國之前曾在巴黎的愛迪生公司工作過的尼古拉·特斯拉，要不是馬斯克的電動汽車公司，幾乎沒有人記得他。然則，正是特斯拉在交流電技術(shù)上的突破，而不是愛迪生的直流電技術(shù)，才使得大規(guī)模電氣化成為可能。直流電的高昂成本，會讓愛迪生的城市電氣化技術(shù)像他的許多其他發(fā)明一樣，成為富人的玩物。

與許多變革性技術(shù)一樣，在OpenAI于2022年底發(fā)布ChatGPT引發(fā)狂熱之前，人工智能已經(jīng)發(fā)展了幾十年。更好的算法、手機等輔助設(shè)備，以及更便宜、更強大的云計算，讓這項技術(shù)的應(yīng)用變得更加廣泛，卻幾乎無人關(guān)注。

ChatGPT和其他大型語言模型的神奇魅力讓人們產(chǎn)生了一種錯覺，以為生成式人工智能是一項全新的突破。ChatGPT在發(fā)布五天內(nèi)就擁有了100萬用戶，兩年后每周用戶數(shù)量達(dá)到3億。微軟、Meta和Alphabet等高科技巨頭在人工智能產(chǎn)品和數(shù)據(jù)中心上投入了數(shù)十億美元賭注，很快就忘記了早先對虛擬現(xiàn)實和增強現(xiàn)實的熱情。

2024年，投資20億美元研發(fā)Blackwell人工智能芯片的英偉達(dá)成為全球最有價值的公司，其市值在兩年內(nèi)增長了9倍。該公司首席執(zhí)行官黃仁勛預(yù)測，未來幾年將有1萬億美元投資于使用此類芯片的數(shù)據(jù)中心。所有這一切，都讓蘋果公司對人工智能的謹(jǐn)慎、觀望的態(tài)度顯得古板過時。

但在光鮮的外表下，大型語言模型和許多已有幾十年歷史的人工智能模型一樣，無非是使用“模式識別”和“統(tǒng)計預(yù)測”來產(chǎn)生輸出，這意味著它們的可靠性取決于未來是否與過去一樣。這是一個重要的局限。人類可以用想象力解釋歷史證據(jù)，預(yù)測未來可能發(fā)生的不同情況；人類還可以通過相互之間的天馬行空的對話來改進自己的預(yù)測。人工智能算法則不能。

這一缺陷并非致命。因為遵循自然規(guī)律的過程自然是穩(wěn)定的，所以未來在很多方面都與過去相似。只要有明確的反饋，人工智能模型就能通過訓(xùn)練變得更加可靠，而即便底層過程不穩(wěn)定，或者反饋不明確，統(tǒng)計預(yù)測也能比人類判斷更具成本效益。由谷歌或Meta算法提供的不知所云的廣告仍然優(yōu)于盲目的廣告。對著手機口述文字可能會產(chǎn)生錯誤，但仍然比在小屏幕上打字更快捷方便。

不過，如果僅僅因為大型語言模型可以像人類一樣交談，就認(rèn)為大型語言模型是一個巨大的飛躍，那就太癡心妄想了。根據(jù)我的個人經(jīng)驗，大型語言模型應(yīng)用程序在做研究、編寫摘要或生成圖形方面簡直一無是處。盡管如此，有關(guān)“深度求索”的報道還是在金融市場掀起了軒然大波。

“深度求索”聲稱，它只僅靠低端英偉達(dá)芯片就實現(xiàn)了OpenAI和谷歌水平的人工智能性能，訓(xùn)練和運營成本只有后兩者的幾分之一。如果消息屬實，高端人工智能芯片的需求將低于預(yù)期。正因如此，“深度求索”的消息讓英偉達(dá)的市值在一天之內(nèi)縮水了約6000億美元。

誠然，特斯拉在取得交流電突破后的諸多所謂發(fā)明都是夸大其詞，但是節(jié)儉的、打破常規(guī)的創(chuàng)新可以帶來變革?？纯瘩R斯克的低成本可重復(fù)使用火箭，即可略知一二。印度成功執(zhí)行火星任務(wù)的成本僅為7300萬美元，比好萊塢科幻電影《地心引力》的預(yù)算還低。

如果得到證實，“深度求索”的技術(shù)對于大型語言模型的意義，就如同特斯拉發(fā)明交流電對于電氣化的意義。它無法克服回顧性統(tǒng)計模型不可避免的局限性，但可以讓這些模型的成本效益足夠高，從而得到更廣泛的應(yīng)用。