ChatGPT技術(shù)原理及未來影響研究

陳國凱

摘要：ChatGPT的發(fā)布引起了全球范圍的廣泛熱議，被認(rèn)為是人工智能領(lǐng)域的一次重大變革，將對人類社會(huì)發(fā)展產(chǎn)生深刻影響。文章回顧了ChatGPT的發(fā)展歷程，闡釋了ChatGPT的底層技術(shù)原理，指出了ChatGPT在數(shù)據(jù)、資源、模型方面存在的技術(shù)局限性，探討了ChatGPT給常規(guī)工作、商業(yè)發(fā)展、教育模式等方面帶來的機(jī)遇，并對ChatGPT在學(xué)業(yè)作弊、學(xué)術(shù)剽竊、網(wǎng)絡(luò)信息安全、社會(huì)監(jiān)管等方面帶來的挑戰(zhàn)給出警示，從而幫助人們正確認(rèn)識(shí)利用ChatGPT這一工具，應(yīng)對即將到來的變革。

關(guān)鍵詞：ChatGPT；生成式人工智能；大語言模型

中圖分類號(hào)：TP18中圖分類號(hào)? 文獻(xiàn)標(biāo)志碼：文獻(xiàn)標(biāo)志碼A

0 引言

美國OpenAI公司發(fā)布的聊天機(jī)器人模型ChatGPT（Chat Generative Pre-trained Transformer），引發(fā)社會(huì)的廣泛關(guān)注與討論。該模型是一種基于自然語言處理技術(shù)的生成型預(yù)訓(xùn)練深度學(xué)習(xí)模型，其能夠理解和學(xué)習(xí)人類的語言，以“對話式”的直接互動(dòng)方式以及“人性化”的語言文本形式，為人們提供連續(xù)多輪問答等交流服務(wù)。不同于“分析式”人工智能工具，ChatGPT屬于“生成式”人工智能工具［1］，通過在海量的文本數(shù)據(jù)上進(jìn)行預(yù)訓(xùn)練，其不僅能根據(jù)聊天的上下文真正做到像人類一樣互動(dòng)交流，幫助用戶撰寫產(chǎn)品文案、課程作業(yè)和商業(yè)計(jì)劃書，還能完成代碼編寫、文章生成以及歌曲創(chuàng)作等任務(wù)，極大地提高了用戶工作效率，改變了人們對人工智能的傳統(tǒng)看法，使人們看到了AI（Artificial Intelligence）大規(guī)模落地的曙光［2］。

1 ChatGPT的發(fā)展歷程

ChatGPT是基于GPT架構(gòu)開發(fā)的對話AI模型，其可以從大量的現(xiàn)成文本和對話集合中學(xué)習(xí)知識(shí)，以生成內(nèi)容的方式回答各種各樣的實(shí)際問題。2018年6月，OpenAI發(fā)布了GPT-1。該版本采用半監(jiān)督學(xué)習(xí)方法，通過在無標(biāo)簽的數(shù)據(jù)上學(xué)習(xí)一個(gè)生成式的語言模型，再根據(jù)自然語言推理、問答與常識(shí)推理、語義相似度、文本分類等對模型進(jìn)行微調(diào)，其預(yù)訓(xùn)練數(shù)據(jù)量約5 GB，參數(shù)量是1.17億。2019年2月，OpenAI發(fā)布了GPT-2。該版本實(shí)質(zhì)上是一個(gè)簡單的統(tǒng)計(jì)語言模型，主要目的是為給定句子生成下一個(gè)文本序列，其預(yù)訓(xùn)練數(shù)據(jù)量約40 GB，是第一代的8倍，最大模型的參數(shù)量是15億，是第一代的13倍。2020年5月，OpenAI發(fā)布了GPT-3。其預(yù)訓(xùn)練數(shù)據(jù)量達(dá)到了45 TB，是第二代的1 125倍，最大模型的參數(shù)量是1 750億個(gè)，是第二代的116倍。該版本已經(jīng)和前兩代不在一個(gè)量級(jí)上，稱為超大語言模型［3］，幾乎可以完成面向問題搜索、閱讀理解、語義推斷、機(jī)器翻譯、文章生成、自動(dòng)問答等自然語言處理領(lǐng)域中的絕大部分任務(wù)。

2022年11月30日，OpenAI發(fā)布了最新的大型語言預(yù)訓(xùn)練模型ChatGPT，是在GPT-3.5的基礎(chǔ)上進(jìn)一步迭代訓(xùn)練后開發(fā)出來的對話機(jī)器人。ChatGPT使用人類偏好作為獎(jiǎng)勵(lì)信號(hào)來微調(diào)模型，能夠輕松學(xué)會(huì)各種詞語搭配和語法規(guī)則，能明白同一個(gè)意思的不同表達(dá)以及不同語言之間的關(guān)系，不僅可以給出高質(zhì)量的外語翻譯，還能把口語轉(zhuǎn)換成代碼，生成更自然、更流暢的文本。2023年3月15日，隨著GPT-4的發(fā)布，ChatGPT不再是只能通過文字聊天對話，而是進(jìn)化到能看懂圖片，支持文字與圖像混合輸入，展現(xiàn)了驚人的自然語言理解和溝通能力。

2 ChatGPT的技術(shù)邏輯

語言模型的核心就是要根據(jù)上下文背景預(yù)測接下來一連串文字出現(xiàn)的可能性，ChatGPT底層模型是Transformer架構(gòu)，采用自注意機(jī)制，讓模型自己學(xué)習(xí)應(yīng)該把重點(diǎn)放在長文字的哪個(gè)詞上，并且這個(gè)機(jī)制主要靠一系列的矩陣運(yùn)算實(shí)現(xiàn)，而矩陣運(yùn)算很容易在GPU中并行計(jì)算，所以能讓模型更高效地利用海量數(shù)據(jù)，這也是ChatGPT比此前的語言模型更強(qiáng)大的地方之一。

例如，當(dāng)給它“計(jì)”這個(gè)上文時(shí)，它可能會(huì)生成“算”；當(dāng)給它“計(jì)算”這個(gè)上文時(shí)，它大概率要補(bǔ)上“機(jī)”。ChatGPT本身能做的就只有生成下一個(gè)字，其實(shí)質(zhì)功能非常簡單，4個(gè)字就能概括：文字接龍。具體來說就是：給它任意長的上文，它會(huì)用自己的模型去生成下一個(gè)字。對于長文字的回答，ChatGPT把它自己生成的下一個(gè)字和之前的上文組合成新的上文，再讓它以此生成下一個(gè)字。不斷重復(fù)，就可以生成任意長的下文，該過程也叫“自回歸生成”。例如，當(dāng)它根據(jù)“計(jì)算”生成“機(jī)”之后，把新生成的“機(jī)”和之前的“計(jì)算”組合成新的上文，再讓它計(jì)算“計(jì)算機(jī)”后面接什么字。假設(shè)這次它生成的是“科”，那再把“科”和“計(jì)算機(jī)”組合起來，讓它計(jì)算“計(jì)算機(jī)科”后面接什么字。不斷重復(fù)，就能生成“計(jì)算機(jī)科學(xué)與技術(shù)”。

除了上文，影響ChatGPT生成結(jié)果的另一個(gè)因素是它的模型本身。模型就相當(dāng)于ChatGPT的大腦，即使把同一個(gè)上文，送給不同的模型，也會(huì)生成不同的結(jié)果。例如，有兩個(gè)人，同樣是聽到“計(jì)”這個(gè)上文，一人會(huì)接“算”，而另一人會(huì)接“息”，因?yàn)檫@兩人有著不同行業(yè)背景的，一人工作在IT行業(yè)，學(xué)習(xí)到的是“計(jì)算機(jī)科學(xué)與技術(shù)”，另一人工作在金融行業(yè)，學(xué)習(xí)到的是“計(jì)息周期”。為了讓ChatGPT生成設(shè)計(jì)者想要的結(jié)果，而非胡亂生成，在搭好Transformer架構(gòu)之后，GPT就可以用文字接龍的方式提前訓(xùn)練自己的模型，就是在已知上下文的基礎(chǔ)上，讓模型預(yù)測下一個(gè)詞可能是什么。

ChatGPT在官方文檔中分3步說明其訓(xùn)練方式。第一步是給它提供人類想要的答案作為示范，也就是讓標(biāo)注者自己根據(jù)數(shù)據(jù)庫中的問題寫下標(biāo)準(zhǔn)答案，然后把問題和標(biāo)準(zhǔn)答案作為數(shù)據(jù)交給模型來訓(xùn)練。第二步，讓微調(diào)好的模型根據(jù)問題產(chǎn)生一些答案，模型輸出的是一系列文字的概率分布，所以每次產(chǎn)生的答案都不太一樣。人工標(biāo)注者會(huì)給這些答案按照質(zhì)量排序，信息量大的答案會(huì)排在前面。根據(jù)這些數(shù)據(jù)，設(shè)計(jì)者就可以訓(xùn)練出一個(gè)回報(bào)模型，讓其根據(jù)問題給答案打分。有了回報(bào)模型就能進(jìn)入第三階段，也就是不斷重復(fù)提問、生成答案、打分的過程，并不斷優(yōu)化模型的參數(shù)，讓生成的答案越來越接近用戶想要的答案。

3 ChatGPT的技術(shù)局限性

盡管ChatGPT表現(xiàn)出出色的上下文對話能力，滿足大眾對人機(jī)對話機(jī)器人（ChatBot）從“人工智障”到“有趣”的印象改觀，但ChatGPT仍然存在以下一些局限性，需要不斷的進(jìn)化發(fā)展。

3.1 ChatGPT高度依賴數(shù)據(jù)

ChatGPT在未經(jīng)大量語料訓(xùn)練的領(lǐng)域中缺乏“人類常識(shí)”和引申能力，甚至?xí)槐菊?jīng)的“胡說八道”。在很多領(lǐng)域里ChatGPT都在“創(chuàng)造答案”，因而當(dāng)用戶尋求正確答案時(shí)，ChatGPT也有很可能給出有誤導(dǎo)的回答。例如，讓ChatGPT做一道小學(xué)應(yīng)用題，盡管它可以給出詳細(xì)的分析過程，但最后的答案卻是錯(cuò)誤的。因此，針對可能存在的胡編亂造，ChatGPT就需要用大量優(yōu)質(zhì)的語料來進(jìn)行修正。

3.2 ChatGPT需要巨大的算力（資源）來支持其訓(xùn)練和部署

除了需要大量語料數(shù)據(jù)訓(xùn)練模型外，目前，ChatGPT在應(yīng)用時(shí)所需的大算力服務(wù)器成本以及電力資源消耗是普通企業(yè)無法承受的，即便數(shù)十億個(gè)參數(shù)的模型也需要驚人數(shù)量的資源才能運(yùn)行和訓(xùn)練。如果面向數(shù)以億計(jì)的真實(shí)搜索用戶請求，依然采用免費(fèi)服務(wù)的策略，任何企業(yè)都難以承受這一成本。因此對于普通用戶來說，還需等待更輕量型的模型或更高性價(jià)比的算力平臺(tái)。

3.3 ChatGPT內(nèi)容無法被直接增刪改查

不論是ChatGPT所記住的信息，還是所學(xué)到的規(guī)律，都是以同一個(gè)模型的形式來表達(dá)的，因此無法像操作數(shù)據(jù)庫那樣，對這些內(nèi)容直接進(jìn)行增刪改查。這會(huì)產(chǎn)生兩個(gè)具體問題：一是由于設(shè)計(jì)者很難理解它所建構(gòu)的規(guī)律，也無法直接查看它記住了什么、學(xué)到了什么，只能通過多次提問來評(píng)估和猜測它的所記所學(xué)，其決策缺乏可解釋性，這難免會(huì)在使用時(shí)帶來安全風(fēng)險(xiǎn)。二是由于只能通過再次調(diào)整模型來增加、刪除或修改它的所記所學(xué)，所以無論是訓(xùn)練時(shí)間或訓(xùn)練成本，都是普通訓(xùn)練者難以接受的，這難免在更新時(shí)會(huì)降低效率。如果對于新知識(shí)采取在線訓(xùn)練的模式，看上去可行且語料成本相對較低，但由于新數(shù)據(jù)的引入很容易導(dǎo)致其對原有知識(shí)產(chǎn)生災(zāi)難性遺忘的問題。

4 ChatGPT帶來的機(jī)遇

ChatGPT作為互聯(lián)網(wǎng)現(xiàn)象級(jí)、殺手級(jí)的應(yīng)用，不僅向全世界展現(xiàn)了人工智能領(lǐng)域取得的突破性進(jìn)展，也引爆了對該產(chǎn)業(yè)尤其是生成式AI產(chǎn)業(yè)的空前關(guān)注，為社會(huì)發(fā)展帶來了新的發(fā)展機(jī)遇和治理挑戰(zhàn)。

4.1 提高工作效率和質(zhì)量

ChatGPT的成功為自然語言處理技術(shù)的發(fā)展帶來重要的推動(dòng)作用。借助語音識(shí)別、自然語言處理等技術(shù)，ChatGPT可以幫助人們更快地處理信息、更準(zhǔn)確地理解語言，并輔助人們做出更明智的決策。如在客服領(lǐng)域，ChatGPT可以真正智能的自動(dòng)回答用戶問題，幫助企業(yè)降低客服人員的成本，提高客戶滿意度和工作效率；在醫(yī)療領(lǐng)域，ChatGPT可以通過數(shù)據(jù)分析和智能診斷等方式，提高醫(yī)療服務(wù)的滿意度和工作精度。

4.2 創(chuàng)造商業(yè)模式和價(jià)值

ChatGPT作為一個(gè)有趣且實(shí)用的人工智能應(yīng)用，吸引很多普通用戶的關(guān)注，讓人們認(rèn)識(shí)到它在日常生活和工作中的潛在價(jià)值，提高人工智能技術(shù)普及度，增強(qiáng)人工智能產(chǎn)業(yè)發(fā)展信心。通過機(jī)器翻譯、語音合成等技術(shù)，ChatGPT可以幫助企業(yè)拓展國內(nèi)外市場和服務(wù)范圍，幫助企業(yè)在客戶服務(wù)、市場調(diào)研等方面進(jìn)行革新，從而創(chuàng)造新的商業(yè)機(jī)會(huì)和價(jià)值。

4.3 賦能教育融合和革新

ChatGPT可以對學(xué)生提出的個(gè)性化問題予以針對性回答，不僅可以讓學(xué)生學(xué)習(xí)更加高效，極大地促進(jìn)個(gè)性化學(xué)習(xí)，使學(xué)生享受到自主學(xué)習(xí)的樂趣；還可以幫助教師獲取豐富的教學(xué)資源，輔助教師課前備課、課堂教學(xué)反饋獲取、課后作業(yè)布置，從而提高教師教學(xué)效率。融合ChatGPT的未來教育使得對學(xué)生進(jìn)行個(gè)性化診斷成為可能，能夠幫助學(xué)生明晰自身不足之處和薄弱所在，從而進(jìn)一步彌補(bǔ)差距，提高學(xué)習(xí)質(zhì)量。此外，ChatGPT還能夠成為診斷教學(xué)的專業(yè)工具，幫助教師優(yōu)化教學(xué)，推動(dòng)教育評(píng)價(jià)革新，提高教學(xué)質(zhì)量。

5 ChatGPT帶來的挑戰(zhàn)

5.1 助推學(xué)業(yè)作弊和學(xué)術(shù)剽竊

學(xué)生可能會(huì)利用ChatGPT代寫家庭作業(yè)、完成論文寫作、應(yīng)付學(xué)業(yè)考試，其生成的文本結(jié)果逼真度和滿意度都很高，使得作弊泛濫又難以被發(fā)現(xiàn)，不利于培養(yǎng)學(xué)生批判思考與解決問題的能力。同時(shí)，ChatGPT的訓(xùn)練數(shù)據(jù)來自互聯(lián)網(wǎng)上公開數(shù)據(jù)，其生成內(nèi)容的所有權(quán)至今尚無定論。而使用ChatGPT在未經(jīng)授權(quán)的具有知識(shí)產(chǎn)權(quán)的圖片或文字上進(jìn)行二次創(chuàng)作產(chǎn)生的內(nèi)容，也會(huì)給使用者帶來侵權(quán)糾紛，不利于知識(shí)產(chǎn)權(quán)的保護(hù)。

5.2 威脅網(wǎng)絡(luò)和信息安全

ChatGPT并不提供驗(yàn)真或者驗(yàn)偽，其可以直接生產(chǎn)針對性、多樣化的劇本，用于詐騙、釣魚等網(wǎng)絡(luò)場景，從而達(dá)到攻擊或者偷竊數(shù)據(jù)的目的。此外，OpenAI的使用條款規(guī)定OpenAI對用戶輸入和輸出內(nèi)容擁有廣泛使用權(quán)以納入訓(xùn)練數(shù)據(jù)庫、用于改善ChatGPT，這可能導(dǎo)致個(gè)人信息等數(shù)據(jù)泄露風(fēng)險(xiǎn)大大增加。若用戶在輸入請求時(shí)，輸入個(gè)人相關(guān)信息、業(yè)務(wù)數(shù)據(jù)或涉及商業(yè)秘密等的內(nèi)容，將會(huì)增加相關(guān)數(shù)據(jù)泄露的風(fēng)險(xiǎn)。

5.3 增大道德和社會(huì)管治難度

互聯(lián)網(wǎng)內(nèi)容中不免存在帶有偏見、歧視、文化和意識(shí)形態(tài)侵襲等危害性言論。ChatGPT有機(jī)會(huì)學(xué)到這些危險(xiǎn)性言論的模式，使得其在處理一些敏感的話題時(shí)，可能會(huì)出現(xiàn)不恰當(dāng)?shù)幕卮鸹蛘Z言。此外，也會(huì)有人刻意提問“如何編造殺豬盤”等類似問題，誘導(dǎo)ChatGPT輸出幫助進(jìn)行違法犯罪的知識(shí)，從而使防范該類行為變得更加困難。故如何加強(qiáng)對ChatGPT的監(jiān)管和治理已成為社會(huì)管理者需要思考的問題。

6 結(jié)語

ChatGPT作為一種里程碑式的AI應(yīng)用，在短時(shí)間內(nèi)已經(jīng)形成了龐大的用戶群體，正在改變?nèi)祟愃伎己吞幚韱栴}的方式方法，有望重塑各行業(yè)生態(tài)乃至整個(gè)世界。使用者不僅需要充分利用ChatGPT的優(yōu)勢和潛力，還需要警惕其可能帶來的負(fù)面影響，采取適當(dāng)?shù)拇胧﹣肀Ｕ先藗兊睦婧蜋?quán)益，推動(dòng)AI技術(shù)的健康發(fā)展和應(yīng)用。

參考文獻(xiàn)

［1］陳永偉.超越ChatGPT：生成式AI的機(jī)遇、風(fēng)險(xiǎn)與挑戰(zhàn)［J］.山東大學(xué)學(xué)報(bào)（哲學(xué)社會(huì)科學(xué)版），2023（3）：127-143.

［2］張夏恒.新一代人工智能技術(shù)（ChatGPT）及其對人類社會(huì)的影響與變革［J］.產(chǎn)業(yè)經(jīng)濟(jì)評(píng)論，2023（3）：22-30.

［3］朱光輝，王喜文.ChatGPT的運(yùn)行模式、關(guān)鍵技術(shù)及未來圖景［J］.新疆師范大學(xué)學(xué)報(bào)（哲學(xué)社會(huì)科學(xué)版），2023（4）：113-122.

（編輯 姚 鑫）

Research on the principle and future impact of ChatGPT technology

Chen? Guokai

（School of Computer Science， Huainan Normal University， Huainan 232001， China）

Abstract：? The release of ChatGPT has aroused wide discussion around the world， which is regarded as a major revolution in the field of artificial intelligence and will have a profound impact on the development of human society.This paper reviews the development history of ChatGPT， explains the underlying technical principles of ChatGPT， and analyzes the technical limitations of ChatGPT in terms of data， resources and models. It discusses the opportunities brought by ChatGPT to routine work， business development， education mode and other aspects， and warns the challenges brought by ChatGPT in academic cheating， academic plagiarism， network information security， social supervision and other aspects.This article can help people understand how to use ChatGPT as a tool to cope with the coming changes.

Key words： ChatGPT; generative artificial intelligence; large language model