人工智能大模型探析

吳權(quán)夫

2022 年11 月30 日，美國OpenAI 公司發(fā)布了ChatGPT， 因其與人類自然語言對(duì)話的出彩表現(xiàn)，使得人工智能（Artificial Intelligence，AI）受到前所未有的關(guān)注。 其背后生成式預(yù)訓(xùn)練轉(zhuǎn)換器大模型GPT（Generative Pre-trained Transformer）受到熱捧，類似ChatGPT 的AI 產(chǎn)品爆發(fā)式增長，預(yù)示著數(shù)字化和智能化融合的數(shù)智時(shí)代即將開啟。

當(dāng)前，大模型成為企業(yè)最為關(guān)注的熱點(diǎn)。 互聯(lián)網(wǎng)大企業(yè)關(guān)注如何訓(xùn)練出自己的通用大模型，以便做出可以和ChatGPT 媲美的產(chǎn)品； 垂直行業(yè)的IT 企業(yè)關(guān)注如何開發(fā)專用大模型，提升行業(yè)AI 應(yīng)用水平；而眾多傳統(tǒng)企業(yè)則關(guān)注如何將IT 系統(tǒng)接入大模型，以獲得AI 能力。

本文全面介紹大模型的起源、限制，存在的未解之謎和未來發(fā)展方向， 探討如何運(yùn)用大模型實(shí)現(xiàn)數(shù)智融合， 提出AI 時(shí)代企業(yè)和個(gè)人的應(yīng)對(duì)之道。

大模型的演進(jìn)與發(fā)展

大模型通常指深度學(xué)習(xí)中的大型神經(jīng)網(wǎng)絡(luò)模型，至少具有數(shù)百萬至數(shù)十億，甚至千億以上的參數(shù)規(guī)模。 千億級(jí)參數(shù)及以上規(guī)模的大模型訓(xùn)練需要投喂大量的數(shù)據(jù)語料，需要大算力。 大數(shù)據(jù)和云計(jì)算為大模型的實(shí)現(xiàn)提供可能， 指示了大模型的來路。

1.大模型練功時(shí)代

2017 年6 月，Google 機(jī)器翻譯團(tuán)隊(duì)發(fā)表了論文Attention is all you need， 論證了只基于注意力機(jī)制的Transformer 轉(zhuǎn)化模型簡單有效， 指出了增加層數(shù)和節(jié)點(diǎn)數(shù)提高模型性能的路徑， 從而引發(fā)各開發(fā)機(jī)構(gòu)紛紛入局試驗(yàn)。 試驗(yàn)的內(nèi)容主要包括參數(shù)大小、訓(xùn)練數(shù)據(jù)大小對(duì)模型性能的影響，也包括模型能耗試驗(yàn)和多模態(tài)試驗(yàn)。 這篇論文開啟了大模型的練功時(shí)代。

增加參數(shù)數(shù)量，提高大模型性能，成為這一時(shí)代大模型練功的主要方向。 以O(shè)penAI 的GPT 大模型為例，2018 年6 月，第一版GPT（稱為GPT-1）的參數(shù)數(shù)量為1.1 億，訓(xùn)練數(shù)據(jù)約為5GB；2019年8 月，GPT-2 的參數(shù)數(shù)量為15 億， 訓(xùn)練數(shù)據(jù)為40GB； 而到2020 年5 月的GPT-3， 參數(shù)數(shù)量為1750 億，訓(xùn)練數(shù)據(jù)為45TB。 而支持ChatGPT 的預(yù)訓(xùn)練模型就是在GPT-3 的基礎(chǔ)上用大量RLHF（Reinforcement Learning from Human Feedback，即通過人類反饋進(jìn)行強(qiáng)化學(xué)習(xí)） 自監(jiān)督的文本微調(diào)而來的， 這個(gè)版本被稱為GPT-3.5， 是它成就了ChatGPT 完成對(duì)話任務(wù)的優(yōu)秀表現(xiàn)。

2.大模型競賽時(shí)代

2022 年11 月30 日，在ChatGPT 發(fā)布之后，大模型進(jìn)入競賽時(shí)代。 對(duì)于大模型研發(fā)機(jī)構(gòu)，它們?cè)诒荣愓l研發(fā)速度更快，誰的大模型性能更好，以及是否可以聯(lián)接更多應(yīng)用，是否更低成本，是否有多模態(tài)能力；對(duì)于非大模型開發(fā)機(jī)構(gòu)的應(yīng)用企業(yè)，則競賽誰更快對(duì)接大模型，更快擁有AI 能力。

表1 是2023 年3 月的1 個(gè)月內(nèi)國內(nèi)、 外發(fā)布的大模型或大模型應(yīng)用事件， 超過之前2022 年全年發(fā)生的事件數(shù)量。

表1 2023 年3 月國內(nèi)外發(fā)布的大模型或大模型應(yīng)用事件

表2 是2023 年4 月7—14 日， 國內(nèi)集中發(fā)布的大模型，大模型競賽進(jìn)入高峰。

表2 2023 年4 月7—14 日國內(nèi)集中發(fā)布的大模型

從互聯(lián)網(wǎng)產(chǎn)業(yè)“快魚吃慢魚”“大樹之下寸草不生”的競爭經(jīng)歷來看，大模型競賽的背后邏輯就是要爭取進(jìn)入AI 產(chǎn)業(yè)鏈的頂端，在AI 時(shí)代占有一席之地。

而參與者積極參與的原因之一是資本炒作的需要。在國內(nèi)，2023 年5 月8 日，科大訊飛股份有限公司發(fā)布“星火”大模型后，當(dāng)日股票現(xiàn)漲超6%。在國外，5 月11 日， 谷歌發(fā)布了對(duì)標(biāo)GPT-4 的大語言模型PaLM2。 據(jù)介紹，這是目前最為先進(jìn)的大語言模型，其性能已經(jīng)部分超越了GPT-4。 當(dāng)日，谷歌的股價(jià)漲超4%，創(chuàng)8 個(gè)月來新高。

3.費(fèi)用、數(shù)據(jù)和算力制約大模型參數(shù)競賽

制約大模型參數(shù)競賽的因素主要有3 方面。

一是費(fèi)用方面，根據(jù)有關(guān)機(jī)構(gòu)計(jì)算，GPT-3 訓(xùn)練一次的成本140 萬美元，采用大量RLHF 微調(diào)的ChatGPT 訓(xùn)練一次的成本在200 萬美元以上。ChatGPT 的運(yùn)行成本也是相當(dāng)高的，2023 年1 月，平均每天約有1300 萬獨(dú)立訪客使用ChatGPT，為滿足使用要求的初始算力投入成本約為8 億美元，電費(fèi)約為5 萬美元。 大模型如此“燒錢”， 導(dǎo)致OpenAI 在2019 年從成立時(shí)的非營利機(jī)構(gòu)轉(zhuǎn)為有限盈利機(jī)構(gòu)，以獲得微軟100 多億美元的投資資金續(xù)命。

二是數(shù)據(jù)方面， 大模型吞噬大量訓(xùn)練數(shù)據(jù)，但人類互聯(lián)網(wǎng)歷史上被保留下來的各種高質(zhì)量語料，已經(jīng)在GPT-4 或PaLM2 及其更高版本的訓(xùn)練學(xué)習(xí)中被消耗殆盡。大模型參數(shù)數(shù)量仍然可以繼續(xù)增長，但對(duì)應(yīng)數(shù)量的高質(zhì)量數(shù)據(jù)卻越來越稀缺，因此，增長參數(shù)數(shù)量帶來的邊際效益愈發(fā)降低。

三是算力方面，在2023 年3 月，英偉達(dá)專用于大模型參數(shù)計(jì)算、 采用專用Transformer Engine 架構(gòu)的英偉達(dá)H100 NVLINK 芯片發(fā)布之后，市場借機(jī)炒作，售價(jià)已經(jīng)飆升至4 萬美元以上，但仍然處于一片難求的狀態(tài)。 即使強(qiáng)如OpenAI 的GPT-4或微軟的New Bing， 也多次因?yàn)樗懔Σ蛔悴坏貌还_宣布短時(shí)間內(nèi)暫停訪問。算力成為大模型進(jìn)一步拓展使用場景的重要制約。

數(shù)據(jù)耗盡、算力不足，指示了大模型的歸途。

4.大模型推理之謎、涌現(xiàn)之謎和幻覺之謎

（1）推理之謎

OpenAI 首席執(zhí)行官山姆·阿爾特曼表示，從ChatGPT 開始，AI 出現(xiàn)了推理（Reasoning）能力。但沒人能解讀這種能力出現(xiàn)的原因。

（2）涌現(xiàn)之謎

在模型規(guī)模小于某個(gè)臨界值之前，模型基本不具備任務(wù)解決能力。只有當(dāng)模型規(guī)模大到一定程度時(shí)，效果才會(huì)急劇增長，且參數(shù)量越大時(shí)效果越好，被業(yè)界稱為“大力出奇跡”。這種現(xiàn)象也被稱為大模型的能力涌現(xiàn)（Emergence）現(xiàn)象。 “涌現(xiàn)”現(xiàn)象的產(chǎn)生與具體任務(wù)有關(guān)，不同任務(wù)產(chǎn)生“涌現(xiàn)”現(xiàn)象的臨界值并不相同，大部分要達(dá)到70 億的參數(shù)規(guī)模。 目前，還沒有完全清楚其產(chǎn)生原因。

（3）幻覺之謎

目前不清楚的還有大語言模型會(huì)生成語義不連貫或者語句無意義、錯(cuò)誤或者偽造信息以及無法理解的回答，產(chǎn)生“一本正經(jīng)胡說八道”內(nèi)容的現(xiàn)象，被稱為大模型幻覺（勻allucination）現(xiàn)象。 大模型“幻覺”現(xiàn)象多發(fā)生在用欺騙性問題測試它時(shí)，如逼它回答類似“林黛玉為什么要三打白骨精”的問題，它就會(huì)“一本正經(jīng)胡說八道”。

研究發(fā)現(xiàn)，大模型“涌現(xiàn)”和“幻覺”除了與模型參數(shù)規(guī)模有關(guān)之外， 還與訓(xùn)練數(shù)據(jù)量的大小和質(zhì)量、訓(xùn)練充分程度等因素有關(guān)，正在快速試驗(yàn)和改進(jìn)之中，例如，GPT-4 出現(xiàn)“幻覺”的情況就比之前版本少。

5.大模型的通用化和專業(yè)化發(fā)展

（1）大模型或許只是通向AGI 的一段探索過程

人類對(duì)于AI 的探索沒有止境， 將不斷向通用人工智能（Artificial General Intelligence，AGI）的方向研究探索，目標(biāo)是獲得會(huì)聽、看、說，會(huì)思考、學(xué)習(xí)和有行動(dòng)能力的通用智能。 然后，繼續(xù)向類腦超級(jí)智能的方向研究探索，目標(biāo)是超大參數(shù)、超低能耗的模擬人腦的超級(jí)智能。

大模型能否通向AGI？“圖靈獎(jiǎng)”得主、“深度學(xué)習(xí)三巨頭”之一的楊立昆（Yann LeCun）預(yù)測，未來5 年內(nèi)， 沒有人會(huì)再用自回歸大型語言模型，GPT系統(tǒng)將很快被拋棄。 而即使是山姆·阿爾特曼也表示過“也許AGI 是永遠(yuǎn)抵達(dá)不了的烏托邦，但這個(gè)過程會(huì)讓人類越來越強(qiáng)大”。

（2）高質(zhì)量數(shù)據(jù)集加專有領(lǐng)域小模型也能達(dá)到好效果

2020 年10 月，OpenAI 推出數(shù)學(xué)定理推理模型GPT-f，該模型參數(shù)60 億，但在解決小學(xué)數(shù)學(xué)應(yīng)用題方面的效果直逼GPT-3。分析認(rèn)為，GPT-f 用了8.5K 高質(zhì)量數(shù)據(jù)集并且針對(duì)小學(xué)數(shù)學(xué)題進(jìn)行訓(xùn)練，相當(dāng)于一個(gè)專有領(lǐng)域的模型。也就是“學(xué)得越好、領(lǐng)域越小”。

（3）大模型將向通用化和專業(yè)化兩個(gè)方向發(fā)展，追求應(yīng)用落地

通用化發(fā)展方向是通用基礎(chǔ)大模型，類似移動(dòng)互聯(lián)時(shí)代的iOS、Android 系統(tǒng)，是“AI 時(shí)代的操作系統(tǒng)”，如OpenAI 的GPT-4 或谷歌PaLM2。目前，首先落地的應(yīng)用是互聯(lián)網(wǎng)搜索、辦公、數(shù)字人/機(jī)器人等。 如：GPT-4 接入NewBing、Office “全家桶”等； ChatGPT 接入蘋果Siri、 亞馬遜機(jī)器人Astro等。

專業(yè)化發(fā)展方向是垂直應(yīng)用大模型。它通過對(duì)通用基礎(chǔ)大模型（自研或開源模型）進(jìn)行蒸餾，壓縮成為規(guī)模較小、用途明確的垂直應(yīng)用大模型。例如，APUS 從其研發(fā)的AiLMe 大模型內(nèi)蒸餾出文本、圖像、視頻、音頻4 個(gè)垂直領(lǐng)域精煉模型，并基于此開發(fā)出直接面向用戶的智能問答大師、 簡筆成畫、墨染等AI 產(chǎn)品。此外，還有一種更小、更專業(yè)的模型，部署在前端或邊緣位置的系統(tǒng)或設(shè)備模型。 例如，清華大學(xué)智能產(chǎn)業(yè)研究院（AIR）研發(fā)的自動(dòng)駕駛模型。

運(yùn)用大模型實(shí)現(xiàn)數(shù)智融合

大模型的起源和未來發(fā)展方向揭示了大模型的價(jià)值將落在各個(gè)行業(yè)的應(yīng)用當(dāng)中。 當(dāng)前，傳統(tǒng)企業(yè)數(shù)字化轉(zhuǎn)型進(jìn)入關(guān)鍵階段， 以ChatGPT 牽引而興起的智能化也同時(shí)到來，通過大模型，探索數(shù)字化與智能化融合，具有重要意義。

1.數(shù)字化和智能化通過大模型的運(yùn)用實(shí)現(xiàn)融合

大模型匯聚了人工智能（AI）、大數(shù)據(jù)（BigData）和云計(jì)算（Cloud）等技術(shù)，A、B、C 融合構(gòu)建數(shù)智融合系統(tǒng)（圖1）。 在數(shù)智融合系統(tǒng)構(gòu)建過程中，大模型起到3 個(gè)方面的作用：一是大模型訓(xùn)練提升碎片化數(shù)據(jù)和歷史數(shù)據(jù)的利用率并反饋到生產(chǎn)系統(tǒng)；二是大模型訓(xùn)練需要的高質(zhì)量數(shù)據(jù)要求促進(jìn)數(shù)字化系統(tǒng)重構(gòu)或升級(jí)； 三是大模型賦能數(shù)字化系統(tǒng)AI能力，提升數(shù)字化系統(tǒng)效率、敏捷性和友好度。

圖1 數(shù)據(jù)+AI 驅(qū)動(dòng)的數(shù)智融合系統(tǒng)

2.數(shù)據(jù)飛輪推進(jìn)數(shù)智融合系統(tǒng)循環(huán)升級(jí)

設(shè)計(jì)數(shù)據(jù)飛輪， 推進(jìn)數(shù)智融合系統(tǒng)循環(huán)升級(jí)（圖2）。 數(shù)智融合系統(tǒng)生成的大數(shù)據(jù)經(jīng)過處理，提供給大模型進(jìn)行訓(xùn)練，形成新的模型，升級(jí)數(shù)智融合系統(tǒng)，升級(jí)后數(shù)智融合系統(tǒng)重新部署，開啟新一輪運(yùn)行，產(chǎn)生新的數(shù)據(jù)，準(zhǔn)備下一輪的迭代。 數(shù)據(jù)飛輪不斷循環(huán)，推進(jìn)數(shù)智融合系統(tǒng)不斷升級(jí)，提升系統(tǒng)性能。

圖2 數(shù)據(jù)飛輪推進(jìn)數(shù)智融合系統(tǒng)循環(huán)升級(jí)

3.大模型應(yīng)用部署

大模型應(yīng)用部署的基本要求是： 一是有算力配置、數(shù)據(jù)處理和服務(wù)請(qǐng)求的地方就應(yīng)有算法、有模型。 二是處于邊緣的邊緣設(shè)備部署小模型；處于中間的霧網(wǎng)絡(luò)部署中型模型； 處于中心的云計(jì)算中心部署大模型（圖3）。三是大、中、小經(jīng)過反復(fù)訓(xùn)練，生成整體智能。

圖3 邊（Edge）、霧（Fog）、云（Cloud）計(jì)算的模型部署

AI 時(shí)代，我們?cè)撊绾螒?yīng)對(duì)？

1.To B 的啟示

（1）對(duì)于大企業(yè)，建議參考華為和騰訊的做法

任正非在“難題揭榜”火花獎(jiǎng)公司內(nèi)外的獲獎(jiǎng)?wù)呒俺鲱}專家座談會(huì)上表示：“ChatGPT 對(duì)我們的機(jī)會(huì)是什么？ 它會(huì)把計(jì)算撐大，把管道流量撐大，這樣我們的產(chǎn)品就有市場需求”。 華為對(duì)于自己能做什么、該做什么一直很清醒。

面對(duì)“AI 淘金時(shí)代”，騰訊變身“賣鏟人”。圓園圓猿年4 月14 日，騰訊搶先發(fā)布面向大模型訓(xùn)練的新一代高性能計(jì)算集群（High-Performance Com鄄puting Cluster，HCC）。 該集群采用騰訊云星海自研服務(wù)器，搭載英偉達(dá)最新代次H800 GPU，服務(wù)器之間采用業(yè)界最高的3.2T 超高互聯(lián)帶寬，為大模型訓(xùn)練、自動(dòng)駕駛、科學(xué)計(jì)算等提供高性能、高帶寬和低延遲的集群算力。 騰訊明白，淘金熱潮之后，結(jié)算下來，賺錢的只有“賣鏟人”。

（2）對(duì)于中小企業(yè)，建議專注小模型和專有數(shù)據(jù)集

得益于“學(xué)得越好、領(lǐng)域越小”的啟發(fā)，專業(yè)小模型+專有數(shù)據(jù)集或許是中小企業(yè)的AI 之路。 因此，對(duì)于中小企業(yè)，一是要看好自己積累的數(shù)據(jù)，參考專業(yè)模型的開發(fā)案例（如Alpaca 7B 模型），學(xué)習(xí)開發(fā)自用的專業(yè)模型；二是接入大模型，提升業(yè)務(wù)系統(tǒng)AI 能力；三是跟蹤大企業(yè)垂直大模型應(yīng)用方向，配合做好“地接”應(yīng)用。

2.To C 的啟示

“AI 不能取代你，取代你的是會(huì)AI 的人”是一句受到普遍認(rèn)可的話。 其背后的啟示是，AI 時(shí)代，每個(gè)人都要掌握一兩樣AI 工具。

表3 是截至2023 年3 月發(fā)布的 《AI 工具Top10 榜單》。 圖4 是2022 年9 月5 日，在美國科羅拉多州博覽會(huì)的藝術(shù)比賽中，利用榜單中序號(hào)2的Midjourney 創(chuàng)作的《太空歌劇院》作品，該作品榮獲比賽第一名，引起輿論嘩然。 這一事件說明，對(duì)于繪畫這樣需要專業(yè)技能的工作，利用AI 繪畫工具可以獲得更大競爭優(yōu)勢，也印證了AI 時(shí)代掌握AI 工具對(duì)于每個(gè)人工作和生活的重要性。

圖4 利用Midjourney 做出的畫作《太空歌劇院》（資料來源：網(wǎng)絡(luò)）

表3 AI 工具Top10 榜單

結(jié)語

大模型因?yàn)榇髷?shù)據(jù)、云計(jì)算得以實(shí)現(xiàn)，也因?yàn)槌杀?、?shù)據(jù)和算力的限制，制約了其參數(shù)規(guī)模的無限制擴(kuò)大； 大模型具有完成各種任務(wù)很好的能力和效果，但也存在多個(gè)未解之謎；大模型將向通用化和專業(yè)化兩個(gè)不同方向發(fā)展， 其價(jià)值都在應(yīng)用落地。在傳統(tǒng)企業(yè)數(shù)字化轉(zhuǎn)型關(guān)鍵階段，探索數(shù)字化和智能化融合具有重要意義， 大模型起到重要作用。 AI 時(shí)代正在來臨，企業(yè)要以更加務(wù)實(shí)的姿態(tài)接納AI，每個(gè)人都應(yīng)該掌握一兩樣AI 工具。