ChatGPT為代表的大模型對信息資源管理的影響

陸偉 劉家偉馬永強(qiáng) 程齊凱

（1.武漢大學(xué)信息管理學(xué)院，武漢，430072；2.武漢大學(xué)信息檢索與知識(shí)挖掘研究所，武漢，430072）

作為新一代專注于對話生成的語言模型[1]，ChatGPT能夠根據(jù)用戶的輸入文本，利用自身強(qiáng)大的自然語言理解和生成能力產(chǎn)生自然流暢的回答，很多時(shí)候，還可以在多輪實(shí)時(shí)互動(dòng)過程中給出問題的合理答案。一經(jīng)推出，月活用戶量迅速過億[2]，更是引發(fā)了各界廣泛熱烈的討論。除了具備根據(jù)上下文進(jìn)行多輪對話問答的能力，ChatGPT還在信息抽取、文章撰寫、代碼生成、自動(dòng)摘要、翻譯等場景展現(xiàn)了出色的性能，使得原本被認(rèn)為不太可能的通用人工智能重新顯現(xiàn)了希望，也帶來了人機(jī)智能交互與協(xié)同新突破。比爾蓋茨甚至認(rèn)為ChatGPT這類技術(shù)將變得和PC互聯(lián)網(wǎng)一樣重要[3]。下面我們將對ChatGPT的本質(zhì)及其系列模型核心技術(shù)特征演進(jìn)路徑進(jìn)行分析，并以此為導(dǎo)線探析大模型對信息資源管理學(xué)科研究與實(shí)踐帶來的影響。

ChatGPT本質(zhì)上是一個(gè)基于生成式預(yù)訓(xùn)練語言模型GPT（Generative Pre-trained Transformer）[4]進(jìn)一步開發(fā)的對話式生成模型。GPT與BERT[5]這兩類預(yù)訓(xùn)練模型都采用了Transformer[6]作為底層結(jié)構(gòu)，但BERT使用的是Transformer的Encoder，屬于雙向語言模型，而GPT則使用Decoder進(jìn)行了單向語言模型的預(yù)訓(xùn)練。GPT系 列 模型主 要 包含GPT[4]，GPT-2[7]，GPT-3[8]，InstructGPT[9]，GPT-3.5和ChatGPT。為了便于比較和理解ChatGPT演進(jìn)過程[10]，圖1梳理了GPT系列模型在各個(gè)階段的典型特征和關(guān)鍵改進(jìn)。

圖1 ChatGPT 各個(gè)階段的典型特征和演進(jìn)路徑Fig. 1 Typical Characteristics and Evolution Paths of ChatGPT at Each Stage

OpenAI目前還未發(fā)布ChatGPT對應(yīng)的論文。綜合各方面的信息，ChatGPT是以GPT-3.5為底座，引入基于人類反饋的強(qiáng)化學(xué)習(xí)（Reinforcement Learning with Human Feedback,RLHF）[11]和高質(zhì)量人機(jī)對話數(shù)據(jù)，通過大規(guī)模分布式集群訓(xùn)練得到。

ChatGPT成功的關(guān)鍵之一是使用了超大規(guī)模的預(yù)訓(xùn)練語料并擁有超千億規(guī)模的模型參數(shù)。根據(jù)Chung等學(xué)者的研究[12]，模型參數(shù)規(guī)模在大于62億的情況下，才能涌現(xiàn)出之前較小模型不具備的能力，而ChatGPT的參數(shù)據(jù)估計(jì)是1750億。基于海量規(guī)模的語料訓(xùn)練，并應(yīng)用所謂的上下文學(xué)習(xí)機(jī)制（In-Context Learning），ChatGPT可以適應(yīng)廣泛的下游任務(wù)，在低資源和零數(shù)據(jù)場景下有較好的語言理解和生成能力。

除此之外，ChatGPT另一個(gè)重要工作是引入了RLHF，利用人類的偏好作為獎(jiǎng)勵(lì)信號來微調(diào)模型，使得模型生成內(nèi)容與人類常識(shí)、認(rèn)知、需求、價(jià)值觀保持一致，理解人類語言和完成人類指令，由此生成的回復(fù)符合人的選擇偏好。同時(shí)，這也讓ChatGPT與之前的大模型相比，其對話生成實(shí)現(xiàn)了從命令驅(qū)動(dòng)到意圖驅(qū)動(dòng)的轉(zhuǎn)換。

在此基礎(chǔ)上，ChatGPT另外一個(gè)關(guān)鍵點(diǎn)是使用了高質(zhì)量和多樣化的數(shù)據(jù)，包括OpenAI搜集的歷史對話數(shù)據(jù)、人工精細(xì)化標(biāo)注的多輪對話數(shù)據(jù)和候選項(xiàng)比較排序數(shù)據(jù)。通過高質(zhì)量多樣化的數(shù)據(jù)微調(diào)、偏好獎(jiǎng)勵(lì)引導(dǎo)優(yōu)化，讓模型能夠充分理解人類指令輸入的意圖，也為提升模型訓(xùn)練穩(wěn)定性和性能上限提供了支持。

基于對ChatGPT本質(zhì)及其系列模型核心技術(shù)特征演進(jìn)路徑的分析，我們從支撐算法與技術(shù)、信息資源建設(shè)、信息組織與信息檢索、信息治理、內(nèi)容安全與評價(jià)、人機(jī)智能交互與協(xié)同六個(gè)角度探析大模型對信息資源管理學(xué)科研究與實(shí)踐帶來的影響，形成以下觀點(diǎn)：

（1）支撐算法與技術(shù)

現(xiàn)有各類抽取、識(shí)別、分類、生成等細(xì)分領(lǐng)域的大部分任務(wù)主要使用大量標(biāo)注數(shù)據(jù)、訓(xùn)練或微調(diào)的范式，大模型技術(shù)的探索和應(yīng)用相對較少，性能和效率還存在較大進(jìn)步空間。未來需要優(yōu)化大數(shù)據(jù)的使用，完善相應(yīng)的數(shù)據(jù)質(zhì)量和效用評價(jià)機(jī)制，在大模型底座的加持下，要探索更加高效的算法，用好“小”而“精”的高質(zhì)量領(lǐng)域數(shù)據(jù)。此外，隨著以ChatGPT為代表的大模型帶來的能力突破，各類抽取、識(shí)別、分類、生成等領(lǐng)域細(xì)分的大部分任務(wù)不再需要花費(fèi)大量資金和人員去進(jìn)行大規(guī)模標(biāo)注，而是要探索運(yùn)用低資源、零樣本提示學(xué)習(xí)思想，研發(fā)高效可遷移的算法技術(shù)，基于領(lǐng)域知識(shí)設(shè)計(jì)相應(yīng)的指令，直接讓大模型生成任務(wù)結(jié)果，讓科研試錯(cuò)更高效，集中更多精力在機(jī)理機(jī)制的發(fā)現(xiàn)和分析上。

ChatGPT“黑盒”式的生成機(jī)制大大地削弱了其在關(guān)鍵場景的應(yīng)用價(jià)值。例如，在輔助梳理相關(guān)研究的場景中，有研究發(fā)現(xiàn)[13]，ChatGPT生成的文獻(xiàn)綜述，文字整體看起來流暢，但是其中包含的參考文獻(xiàn)可能實(shí)際并不存在。人在總結(jié)相關(guān)工作時(shí)會(huì)有嚴(yán)謹(jǐn)?shù)膮⒖歼壿?，而機(jī)器目前更多是依賴從學(xué)習(xí)過的語料中回憶，其生成過程和生成邏輯無法鑒別，未來需要探索相關(guān)算法，進(jìn)一步提升ChatGPT類模型生成過程和內(nèi)容的可解釋性。

（2）信息資源建設(shè)

ChatGPT類大模型帶來了顛覆性的多源多模態(tài)信息匯聚與生成能力，推動(dòng)了信息資源建設(shè)和AI內(nèi)容生成的技術(shù)升級。ChatGPT類大模型覆蓋了海量的知識(shí)資源，其本身就是具備全域數(shù)據(jù)匯聚融合推理能力的新型信息源，未來需要探索針對這一新型數(shù)據(jù)源的建設(shè)組織與應(yīng)用模式。ChatGPT類大模型還提供了強(qiáng)有力的數(shù)據(jù)關(guān)聯(lián)、任務(wù)解決和內(nèi)容生成能力，推動(dòng)形成了未來人類生成內(nèi)容和AI生成內(nèi)容并存的新型信息環(huán)境。如何針對這一環(huán)境開展信息資源建設(shè)、構(gòu)建“面向未來”的新理論、新方法體系[14-15]，將成為一個(gè)關(guān)鍵科學(xué)問題。ChatGPT類大模型在信息推理、數(shù)據(jù)整編、報(bào)告撰寫、知識(shí)庫構(gòu)建等方面的能力也進(jìn)一步推動(dòng)了衍生信息資源的建設(shè)。

（3）信息組織與信息檢索

ChatGPT的出現(xiàn)將推動(dòng)現(xiàn)有的信息組織與信息服務(wù)模式轉(zhuǎn)型。如何對ChatGPT生成的信息形成資源化利用，如何提供更加個(gè)性化的信息資源服務(wù)，從而進(jìn)一步夯實(shí)信息資源支撐“四個(gè)面向”的基礎(chǔ)，是需要面對的挑戰(zhàn)。為此需要提出新的信息描述框架和組織模式，在AI生成內(nèi)容快速增長的未來，構(gòu)建面向多模態(tài)信息的增量式信息描述框架與組織模式，具備從互聯(lián)網(wǎng)、領(lǐng)域數(shù)據(jù)庫等復(fù)雜來源持續(xù)記錄和描述的能力。通過語義層面對多源多模態(tài)信息進(jìn)行關(guān)聯(lián)，實(shí)現(xiàn)大規(guī)模高質(zhì)量動(dòng)態(tài)資源的有效利用。此外，由于ChatGPT等主流大模型不具備動(dòng)態(tài)信息持續(xù)更新功能，如何與傳統(tǒng)搜索引擎結(jié)合，從知識(shí)細(xì)粒度智能理解、可靠可信可解釋檢索的角度，提高信息組織與信息檢索的效果，實(shí)現(xiàn)由“檢索+推薦”模式到“感知+檢索+推薦+生成”模式的轉(zhuǎn)變[16]。

（4）信息治理

ChatGPT類大模型的規(guī)模化應(yīng)用會(huì)帶來人工生成信息的爆炸。面對海量、來源不清、真假難辨的信息，人類面臨的信息過載和信息噪聲問題將會(huì)更加嚴(yán)重。在大模型生成內(nèi)容快速增長的未來，對此類信息的加工、組織、評價(jià)和鑒別面臨極大的挑戰(zhàn)。在知識(shí)產(chǎn)權(quán)方面，ChatGPT等AI模型生成的內(nèi)容所有權(quán)歸屬目前沒有明確的法律法規(guī)說明。近期的AI會(huì)議如ICML 2023[17]和ACL 2023[18]等，期刊如Nature[19]等，都及時(shí)更新和增加了關(guān)于AI協(xié)助寫作內(nèi)容的政策，要求不能使用由ChatGPT或任何其他人工智能工具生成的文本。未來可能需要進(jìn)一步解決語料庫版權(quán)問題，用戶和平臺(tái)版權(quán)歸屬問題，以及研發(fā)新的文字水印[20]技術(shù)來明確知識(shí)產(chǎn)權(quán)。與此同時(shí)，大模型中可能包含的價(jià)值觀和思維偏見會(huì)被惡意利用，就宗教、民族、人權(quán)等問題進(jìn)行信息污染[21]，因此需要推進(jìn)數(shù)據(jù)采納與算法公平性研究，同時(shí)完善相應(yīng)的內(nèi)容審核制度?？紤]到AI生成內(nèi)容帶來信息倫理問題，未來還需要推進(jìn)與哲學(xué)、法學(xué)和社會(huì)學(xué)等學(xué)科的跨學(xué)科研究，討論明晰針對AI生成內(nèi)容的倫理觀，優(yōu)化信息治理能力。

（5）內(nèi)容安全與評價(jià)

盡管ChatGPT通過強(qiáng)化學(xué)習(xí)模型一定程度過濾了仇恨、種族歧視、涉恐涉暴涉政等有毒或敏感生成內(nèi)容，但這一能力仍然存在不足，存在“越獄”的風(fēng)險(xiǎn)，可能會(huì)被不法使用[22]。例如，ChatGPT可能被用于偽造高可信釣魚郵件、發(fā)起社交網(wǎng)絡(luò)攻擊、盜取隱私、傳播錯(cuò)誤信息和信息操縱[23]。未來，需探索如何幫助用戶有效鑒別ChatGPT生成的“Deepfake”[24]式虛假信息，以及鑒別機(jī)器生成的情緒化、偏見等[25]不和諧內(nèi)容，推進(jìn)針對AI生成內(nèi)容的多維度評價(jià)研究[26-27]，從信息內(nèi)容自身質(zhì)量、信息來源和信息獲取途徑等階段評價(jià)信息安全性和可靠性，綠色、高效地保障內(nèi)容安全。

（6）人機(jī)智能交互與協(xié)同

ChatGPT作為預(yù)訓(xùn)練通用語言模型，對情感、暗示等人因信息仍然無法有效處理，暫時(shí)缺乏與語音、視覺、觸覺、腦電等信息的交互能力。未來還需要探索多場景、多模態(tài)輸入輸出，以及人因信息兼容的新型模型，推動(dòng)更高水平的人機(jī)協(xié)同、人智協(xié)同。ChatGPT類大模型的進(jìn)步還催生了新的用戶行為模式，需分析用戶感知和認(rèn)知因素，探索人機(jī)共生環(huán)境下人機(jī)協(xié)同行為模式，從而進(jìn)一步優(yōu)化智能信息服務(wù)、用戶隱私保護(hù)。需要強(qiáng)調(diào)的是，ChatGPT類大模型提供了打通人類智能和機(jī)器智能信道屏障的可能性，有助于實(shí)現(xiàn)人類智能和機(jī)器智能的深度融合，帶來的潛在效益可能遠(yuǎn)超于其在問答和任務(wù)解決上的意義。

總之，以ChatGPT為代表的大模型是數(shù)智時(shí)代的典型技術(shù)和應(yīng)用創(chuàng)新，其強(qiáng)大的信息加工、薈萃、整合和生成能力極大地加快了信息空間中信息資源的流動(dòng)和循環(huán)速率，對信息資源管理學(xué)科研究和實(shí)踐帶來了挑戰(zhàn)和機(jī)遇。我們有必要對此保持密切關(guān)注，化解挑戰(zhàn)，抓住機(jī)遇，促進(jìn)相應(yīng)的技術(shù)應(yīng)用范式轉(zhuǎn)換，推動(dòng)信息資源管理學(xué)科理論方法創(chuàng)新和治理變革，更高效地?cái)?shù)智賦能行業(yè)，以推動(dòng)智慧圖書館、情報(bào)智能、智慧檔案、語義出版和數(shù)字人文等領(lǐng)域的快速發(fā)展，提升服務(wù)質(zhì)量和效率。

作者貢獻(xiàn)說明

陸偉：提出研究思路，設(shè)計(jì)研究方案，論文修訂與定稿；

劉家偉, 馬永強(qiáng)：設(shè)計(jì)研究方案，收集和分析資料，論文撰寫與修改；

程齊凱：設(shè)計(jì)研究方案，論文修訂與定稿。