大模型的過去與未來

黃鐵軍

人工智能這個(gè)概念自1956年提出以后，經(jīng)歷了將近70年的發(fā)展歷程，也衍生出符號(hào)主義、連接主義和行為主義三大流派，最終走向類腦的目標(biāo)。

經(jīng)過六七十年的發(fā)展，人工智能發(fā)展出三條技術(shù)路線。

第一條是符號(hào)主義，也就是把智能形式化、符號(hào)化、算法化和軟件化。這也是人工智能最早也是最主要的技術(shù)路線，雖然有一定效果，但并沒有真正成功。

第二條路線是連接主義，或者叫神經(jīng)網(wǎng)絡(luò)學(xué)派，它的理念是人的智能不可能用一種形式化的方法表達(dá)出來，于是就構(gòu)造了一個(gè)神經(jīng)系統(tǒng)，并且訓(xùn)練它，這樣智能就被做出來了。

第三條是行為主義。這個(gè)學(xué)派認(rèn)為智能來源于主體與環(huán)境的互動(dòng)，地球上本來沒有智能，后來產(chǎn)生了有機(jī)物，有機(jī)物跟環(huán)境互動(dòng)產(chǎn)生了細(xì)胞，才產(chǎn)生了后來的神經(jīng)元，才有了智能。

人工智能的發(fā)展進(jìn)入到20世紀(jì)80年代之后，就進(jìn)入了所謂的學(xué)習(xí)期，這個(gè)學(xué)習(xí)期包含了神經(jīng)網(wǎng)絡(luò)和現(xiàn)在流行的深度學(xué)習(xí)。其中比較重要的是1985年提出的BP神經(jīng)網(wǎng)絡(luò)模型，到了2006年，Geoffrey?Hinton在《Science》發(fā)表了關(guān)于深度神經(jīng)網(wǎng)絡(luò)的論文，包含神經(jīng)網(wǎng)絡(luò)和機(jī)器學(xué)習(xí)的深度學(xué)習(xí)開始登場(chǎng)。

深度學(xué)習(xí)與數(shù)據(jù)和算力結(jié)合，開始產(chǎn)生信息模型。在2012年至2018年之間，模型成為了AI研究和產(chǎn)業(yè)的中心。這之后，隨著被用于訓(xùn)練參數(shù)（數(shù)據(jù)）的提升，具備規(guī)模大、涌現(xiàn)性和通用性特點(diǎn)的大模型，正式出現(xiàn)了。

通向AGI

到了現(xiàn)在，業(yè)界普遍認(rèn)同人工智能接下來的發(fā)展，將會(huì)從通用人工智能（GAI）走向人工通用智能（AGI），或者說超人智能、強(qiáng)人工智能。

真正引起業(yè)界關(guān)注的大模型是OpenAI的ChatGPT。OpenAI一直定位于以人工通用智能（AGI）為最終目標(biāo)，并保持開放合作，并且提出了廣泛造福社會(huì)、關(guān)注長(zhǎng)遠(yuǎn)安全問題、引領(lǐng)技術(shù)研究、保持合作意愿等四大原則。在2015年至2018年之間，OpenAI通過布局視覺/多模態(tài)、語(yǔ)言、語(yǔ)音、強(qiáng)化學(xué)習(xí)、多智體技術(shù)、機(jī)械控制、安全與可解釋性等領(lǐng)域，一直在探索可能的AGI路徑。到了2019年，OpenAI開始聚焦大模型。

OpenAI的ChatGPT的基本原理，是依托海量訓(xùn)練數(shù)據(jù)，大規(guī)模算力，及強(qiáng)大基礎(chǔ)語(yǔ)言模型。發(fā)展到GPT3.5時(shí)，形成領(lǐng)先優(yōu)勢(shì)。此時(shí)被用于訓(xùn)練的參數(shù)已經(jīng)達(dá)到了1750億，“涌現(xiàn)”出強(qiáng)大的智能表現(xiàn)，具備人類“無中生有”的原創(chuàng)能力。2022年11月，生成式AI顛覆世界的時(shí)代正式開始，而此時(shí)，GPT-5也已在研發(fā)之中。

大模型時(shí)代

大模型已成為全球競(jìng)爭(zhēng)熱點(diǎn)，一個(gè)大模型時(shí)代已經(jīng)到來。

1994年網(wǎng)景（NetscapeNavigator）瀏覽器的出現(xiàn)，使大眾上網(wǎng)變成了可能，互聯(lián)網(wǎng)時(shí)代才真正到來。到2007年蘋果推出iPhone手機(jī)，大量智能手機(jī)應(yīng)用程序出現(xiàn)，移動(dòng)互聯(lián)網(wǎng)時(shí)代才真正到來。而2022年11月30日，OpenAI面向公眾開放ChatGPT服務(wù)，人工智能從技術(shù)圈走向全民討論，迎來了人工智能的網(wǎng)景/iPhone時(shí)刻。

大模型具備三個(gè)特點(diǎn)：規(guī)模大，需達(dá)到百億參數(shù)級(jí)別；涌現(xiàn)性，能夠產(chǎn)生預(yù)料之外的新能力；通用性，不限于專門問題或者領(lǐng)域。由于這三個(gè)特點(diǎn)的存在，以ChatGPT為例，ChatGPT采用“人類反饋的強(qiáng)化學(xué)習(xí)（RLHF）”方法，這使得ChatGPT能夠理解和遵循人類指令，輸出符合人類偏好的內(nèi)容，這種特點(diǎn)使它適用于廣大的應(yīng)用領(lǐng)域。

GPT知識(shí)空間里，參數(shù)達(dá)到數(shù)百億規(guī)模的復(fù)雜系統(tǒng)涌現(xiàn)現(xiàn)象“融會(huì)貫通”，雖然尚不可解釋，但是確實(shí)存在。ChatGPT在多項(xiàng)考試中表現(xiàn)超過人類水平，具備能夠根據(jù)純文字說明，具備生成圖像或草圖的整合能力，也擁有高等數(shù)學(xué)/復(fù)雜數(shù)學(xué)問題求解的數(shù)學(xué)能力。GPT-4則大幅降低幻覺率，而據(jù)估算，當(dāng)幻覺率達(dá)到5%以內(nèi)，接近人類水平（保守），就可作為大模型規(guī)模商用落地的基準(zhǔn)幻覺率。

人工智能生態(tài)包括基礎(chǔ)軟硬件、基礎(chǔ)模型和創(chuàng)新應(yīng)用三個(gè)層次。人工智能基礎(chǔ)模型能夠支撐賦智經(jīng)濟(jì)與社會(huì)各類應(yīng)用，也將帶動(dòng)基礎(chǔ)軟硬件智算體系的發(fā)展。

從當(dāng)前的產(chǎn)業(yè)現(xiàn)狀來看，超大規(guī)模智能模型生態(tài)在全球屈指可數(shù)，其原因是受制于應(yīng)用、數(shù)據(jù)量、算力、算法等因素。谷歌由于掌握核心專利、搜索引擎積累的海量數(shù)據(jù)、通過Android能夠更好地服務(wù)移動(dòng)用戶等原因，而走在了前列。當(dāng)成為大模型標(biāo)志，接受了微軟投資之后，OpenAI也脫穎而出。誰(shuí)會(huì)是世界上大模型第三強(qiáng)呢？恐怕接下來比拼的就是生態(tài)，因此，人工智能之爭(zhēng)最終是生態(tài)之爭(zhēng)。

對(duì)于CIO們來說，2000年以前是信息（Information）時(shí)代，2020年以前是網(wǎng)絡(luò)（Internet）時(shí)代，而2020年以后就屬于智能（Intelligence）時(shí)代了。因此，CIO們接下來需要關(guān)注兩個(gè)人工智能的重大轉(zhuǎn)變，首先是從信息智能到實(shí)體智能，其次是從“靜態(tài)融通”到“動(dòng)態(tài)涌現(xiàn)”，未來有望通過類腦智能實(shí)現(xiàn)真正的AGI。

今天，ChatGPT有強(qiáng)大的智能，影響深遠(yuǎn)。未來3年，除了語(yǔ)言，大模型正在迅速擴(kuò)展視覺、聽覺、具身、行動(dòng)等通用智能，影響將更大。未來10年，智力革命已經(jīng)打響，就像工業(yè)革命解放體力，就像電力革命解決能源流通，智力革命將是全新生態(tài)的構(gòu)建，開源開放生態(tài)終將勝利。未來20年，ChatGPT是數(shù)據(jù)驅(qū)動(dòng)的靜態(tài)智能，未來是時(shí)空環(huán)境驅(qū)動(dòng)的具體智能，智能載體不是今天的人工神經(jīng)網(wǎng)絡(luò)，而是類腦的脈沖神經(jīng)網(wǎng)絡(luò)。到2045年，還會(huì)出現(xiàn)結(jié)構(gòu)仿腦、功能類腦、性能超腦的超人“電子大腦”。