深度求索發(fā)布R1推理模型后,芯片制造商英偉達股價大幅下跌,其他多家科技公司的估值也急劇下降。有人稱,這是中美人工智能競爭中的“斯普特尼克時刻”。
美國科技行業(yè)在人工智能領域的投資規(guī)模巨大,高盛估計,“未來幾年,大型科技公司、企業(yè)和公用事業(yè)公司將在資本支出上,花費約1萬億美元支持人工智能”。然而長期以來,包括我在內的許多觀察家,都對美國的人工智能投資和發(fā)展方向提出了質疑。
所有領先公司都在遵循基本相同的游戲規(guī)則(盡管Meta略有不同,采用部分開源模式),整個行業(yè)似乎把所有雞蛋都放在了同一個籃子里。美國科技公司無一例外地癡迷于規(guī)模。它們宣揚尚未被證實的“規(guī)模法則”,認為向模型輸入更多數(shù)據(jù)和算力是釋放更強能力的關鍵。有些人甚至斷言,“規(guī)模就是你所需要的一切”。
在1月20日之前,美國公司不愿意考慮用海量數(shù)據(jù)集預先訓練的基礎模型,來預測序列中的下一個單詞。根據(jù)它們的優(yōu)先事項,它們幾乎只關注旨在執(zhí)行人類任務的擴散模型和聊天機器人。雖然深度求索的方法大致相同,但它似乎更依賴于強化學習、專家混合方法(使用許多更小、更高效的模型)、蒸餾,以及精煉思維鏈推理。據(jù)報道,這一策略使其能夠以較低的成本制作出具有競爭力的模型。
這一事件暴露了美國人工智能行業(yè)的“群體思維”。它對其他更便宜、更有前景的方法的無視,再加上炒作,成就了西蒙·約翰遜和我在《力量與進步》一書中的預言(我們在生成式人工智能時代開始之前就寫了這本書)?,F(xiàn)在的問題是,美國產業(yè)界是否還有其他更危險的盲點?例如,美國的領先科技公司是否錯失了將其模式推向更“親人類方向”的機會?我猜答案是肯定的,但只有時間才能證明。
深度求索是建立在美國(以及歐洲的一些國家)多年的進步的基礎之上。幾十年前,學術研究機構就開發(fā)出了專家混合模型和強化學習;而正是美國的大科技公司引入了轉換器模型、思維鏈推理和蒸餾法。然而,深度求索所做的是在工程領域取得成功:比美國公司更有效地結合了相同的方法。中國的公司和研究機構是否能更進一步,推出改變游戲規(guī)則的技術、產品和方法,我們拭目以待。
深度求索在功能較弱的舊芯片上訓練了其最新模型(V3和R1),但它可能仍然需要功能最強大的芯片來取得進一步發(fā)展和擴大規(guī)模。盡管如此,美國的零和方針顯然是行不通的,也是不明智的。這樣的戰(zhàn)略只有當你相信我們正在邁向AGI(人工通用智能),并且誰能率先實現(xiàn)人工通用智能,誰就能獲得巨大的地緣政治優(yōu)勢時才有意義。
由于抱持這些假設,我們在許多領域都無法與中國開展富有成效的合作。這種合作比如,如果有一個國家生產出了能提高人類生產力或幫助我們更好地管理能源的模型,那么這種創(chuàng)新對兩國都是有益的,尤其是它被廣泛應用的話。
與它的美國同行一樣,深度求索也渴望開發(fā)AGI,而創(chuàng)建一個訓練成本更低的模型,可能會改變游戲規(guī)則。但是,用已知的方法降低開發(fā)成本,并不能讓我們在未來幾年內奇跡般地實現(xiàn)AGI。近期能否實現(xiàn)AGI,仍是一個懸而未決的問題(它是否可取更值得商榷)。
即使我們還不知道深度求索如何開發(fā)其模型的所有細節(jié),也不知道它取得的明顯成就對人工智能產業(yè)的未來意味著什么,但有一點似乎是明確的:中國的后起之秀戳破了科技產業(yè)對規(guī)模的癡迷,甚至可能使其擺脫了自滿。