“大語言模型”多人談

迫切需要探索大語言模型的語言與知識機理

韓先培（中國科學(xué)院軟件研究所） 大模型是當(dāng)前人工智能研究的最前沿，正逐漸成為信息產(chǎn)業(yè)的重要基礎(chǔ)設(shè)施。但是，大模型雖然在寫作、推理、規(guī)劃、數(shù)學(xué)、代碼等諸多領(lǐng)域都展現(xiàn)出了強大甚至比肩人類的能力，卻經(jīng)常出現(xiàn)內(nèi)容幻覺、價值觀錯位、歧視偏見等問題。應(yīng)該如何解決這一難題？

首先，要加強對大模型內(nèi)部語言和知識機理的研究，實現(xiàn)對大模型的深入理解，從原理上保障大模型的可靠性?，F(xiàn)有的各種大模型能力評測，大多把大模型看成一個黑箱，從外部行為評估大模型的能力，容易受到數(shù)據(jù)選擇、指標(biāo)設(shè)計、提示方案等因素的影響。而大模型機理研究把大模型看成一個白箱，分析不同大模型能力的內(nèi)部過程，建立相應(yīng)的因果機制和理論，從而實現(xiàn)更深層次的理解。當(dāng)然，大模型機理研究面臨諸多挑戰(zhàn)，特別是大規(guī)模參數(shù)化表征以及核心過程（如預(yù)訓(xùn)練、指令微調(diào)、人類反饋強化學(xué)習(xí)）的復(fù)雜動態(tài)特性，這迫切需要研究人員發(fā)展出新的機理分析方法、工具和支撐資源。

其次，要將大模型作為審視語言、知識與智能機理的新視角。傳統(tǒng)的智能機理研究往往以人為研究對象，并通過心理學(xué)、認知科學(xué)、神經(jīng)科學(xué)和計算科學(xué)等領(lǐng)域的方法來探索大腦的工作原理。大模型是人類之外又一個呈現(xiàn)出智能的對象，且這個智能對象的內(nèi)部參數(shù)和活動過程完全可控制可觀測，這為語言、知識和智能機理的理解和研究提供了新的途徑、方法和機遇。

最后，要研究大模型對人類社會語言和知識生態(tài)的影響，及其背后的成因和機制，并采取相應(yīng)的干預(yù)手段。舉例來說，我們最近發(fā)現(xiàn)，如果放任大模型自動生成的內(nèi)容大量進入搜索引擎的文檔庫，會逐漸形成一個“沉默螺旋”過程，并最終導(dǎo)致內(nèi)容多樣性喪失的嚴(yán)重后果。因此，需要構(gòu)建新的研究手段來研究機器智能和人類智能混合的社會形態(tài)，分析、模擬和思考機器智能對人類社會的深遠影響，探索如何規(guī)避和干預(yù)其中的風(fēng)險，從而讓人工智能真正服務(wù)于社會效率和人們幸福感的提升。

綜上，關(guān)于大模型，仍有許多語言與知識謎題需要去探索。一切都剛剛開始，未來有無限可能。

大語言模型知識認知能力的存在問題與提升路徑

李涓子（清華大學(xué)計算機系） 知識工程旨在將知識集成于計算機系統(tǒng)，為復(fù)雜任務(wù)提供解決辦法。大語言模型具有語言理解、推理和問題求解能力，為知識工程提供了新途徑，成為邁向通用智能的基礎(chǔ)。但大模型當(dāng)前還存在的知識幻覺和復(fù)雜任務(wù)推理求解能力局限性等問題亟待解決。

知識評估是衡量大語言模型知識認知能力的重要手段，需要從知識內(nèi)容、認知能力和知識評測指標(biāo)等多維度系統(tǒng)展開。知識內(nèi)容評測應(yīng)涵蓋大模型訓(xùn)練中已知和不斷演進的不同類型的知識（如概念、實體、事件及其關(guān)系等）；認知能力評測應(yīng)用從知識記憶、理解、應(yīng)用和創(chuàng)造等不同認知層次進行；而知識評測指標(biāo)則應(yīng)采用系統(tǒng)和標(biāo)準(zhǔn)化指標(biāo)進行評估，以更全面、可靠地評估大模型的知識認知能力。應(yīng)該研究自動評測方法，以大模型為考官，解決人在評測過程中存在偏見和大模型能力增強后人在評測中存在局限性的問題。

當(dāng)前大語言模型在處理復(fù)雜知識和不完整知識方面仍然存在挑戰(zhàn)。復(fù)雜知識挑戰(zhàn)主要表現(xiàn)為知識結(jié)構(gòu)的復(fù)雜性和知識表達的多樣性。大模型難以理解復(fù)雜的知識結(jié)構(gòu)，如實體、關(guān)系、事件和概念以及其間的復(fù)雜關(guān)系；同樣的知識可以通過不用語言形式表達，大模型也難以處理。在知識不完整性方面，大模型要能夠利用外部資源，并與內(nèi)部參數(shù)化知識進行整合。這就需要對大模型獲取外部資源、利用自身大模型中知識以及處理語言模型內(nèi)知識與外部知識沖突能力進行系統(tǒng)評測。目前評測表明，大模型在外部知識獲取、利用和內(nèi)外部沖突知識處理方面存在一定的挑戰(zhàn)。

為提升大模型知識能力，可以思考以下技術(shù)途徑。研究大模型在知識存儲、推理和結(jié)構(gòu)理解方面的機理，有助于深入理解其知識能力；研究神經(jīng)? 符號推理編程方法，有助于提高大模型解決復(fù)雜密集型知識和多源融合知識的處理能力；研究知識對齊方法，讓大模型在文本、圖片和視頻的token 級和patch 級與知識元素進行有效對齊，是讓大模型理解現(xiàn)實世界的關(guān)鍵，可以幫助大模型提高知識理解、推理和交互能力。

重視大語言模型對價值認知的重塑，防范國家意識形態(tài)相關(guān)風(fēng)險

劉鵬遠（北京語言大學(xué)信息科學(xué)學(xué)院） 當(dāng)前，為確保以大語言模型為核心的人工智能按照與人類價值觀相匹配的方式行事，規(guī)避可能給人類帶來的災(zāi)難性風(fēng)險，國內(nèi)外都會對大模型進行價值對齊。因此，要重視價值對齊的大模型對價值認知的重塑，防范國家意識形態(tài)相關(guān)風(fēng)險。

大語言模型能夠生成具有邏輯性和說服力的文本，能夠模擬并反映大模型內(nèi)部的價值觀、道德觀及文化觀念。在個人層面，用戶在與大模型及其應(yīng)用的頻繁交互中，會不自覺地受到其傳遞的價值觀的影響，甚至?xí)淖冏约涸械膬r值觀，接受其傳遞的價值觀，影響自己的決策判斷、行為模式和道德觀念。在社會層面，基于大模型的各類智能應(yīng)用作為信息傳播的重要工具和推手，會加速或加強大模型內(nèi)部某些價值觀的傳播與普及，并引起社會價值觀的轉(zhuǎn)變。長此以往，個人與社會的價值認知都將被大模型價值觀重塑。

重塑價值認知將會帶來安全風(fēng)險，尤其是國家意識形態(tài)相關(guān)風(fēng)險。在價值對齊的大語言模型重塑的價值觀與國家核心價值體系相悖的情況下，如果重塑的是中國民眾或社會的價值認知，則可能影響中國的意識形態(tài)安全，影響民眾的國家認同，削弱國家凝聚力與向心力，加劇社會內(nèi)部的矛盾與沖突，影響社會的穩(wěn)定與和諧；還可能為外部勢力滲透、煽動分裂提供可乘之機，導(dǎo)致社會動蕩、政治沖突甚至民族分裂等嚴(yán)重后果。如果重塑的是外國民眾或社會的價值認知，則可能影響中國的國家形象和國際地位，導(dǎo)致中國在國際舞臺上喪失話語權(quán)和影響力，與他國之間關(guān)系緊張、信任缺失、合作受阻、發(fā)生貿(mào)易戰(zhàn)，陷入外交孤立，進一步可能引發(fā)各類實質(zhì)性沖突。

重視風(fēng)險，應(yīng)多管齊下，提前布局應(yīng)對。首先，加強中國國產(chǎn)大語言模型的技術(shù)研發(fā)與監(jiān)管，確保其所對齊的價值觀符合中國核心價值體系與意識形態(tài)；其次，加強國際合作，共同制定大模型價值對齊的國際標(biāo)準(zhǔn)，維護全球意識形態(tài)安全；最后，主動布局，推動中國國產(chǎn)大模型走向國際，服務(wù)全球民眾，占領(lǐng)國際價值體系與意識形態(tài)高地。

大語言模型推動人工智能的智能涌現(xiàn)

劉知遠（清華大學(xué)計算機系） 大語言模型在神經(jīng)網(wǎng)絡(luò)架構(gòu)Transformer和序列預(yù)測學(xué)習(xí)方法的支持下，能夠從無標(biāo)注大數(shù)據(jù)中持續(xù)萃取世界知識，更多知識在更大模型中的持續(xù)積累產(chǎn)生了智能涌現(xiàn)。以ChatGPT 為代表的大語言模型，可以完成過去需要不同專用小模型才能完成的多種任務(wù)，呈現(xiàn)出與人類通用智能相似的特點；此前普遍認為數(shù)據(jù)驅(qū)動的機器學(xué)習(xí)無法習(xí)得的常識知識，現(xiàn)在看來也可以通過預(yù)訓(xùn)練技術(shù)學(xué)習(xí)得到。而且，OpenAI 在ChatGPT 的自然語言交互能力之上，持續(xù)賦予大模型更多的交互能力，如2023 年9 月發(fā)布的GPT?4V，具備圖文多模態(tài)交互能力；2024 年5 月發(fā)布的GPT?4o，進一步具備了包含語音在內(nèi)的多模態(tài)交互能力。大模型日益具備類人的與外界自主交互的能力，也被稱為“智能體”（agent）。

雖然目前大模型還主要用于完成人類用戶發(fā)出的指令，但這種強大的自然交互能力并不局限于發(fā)生在人類和機器之間。當(dāng)我們將多模態(tài)大模型裝到物理世界中的機器人上，就可以作為機器人的“大腦”感知物理世界并自主規(guī)劃、決策和行動。

大模型的自然語言交互能力也可以發(fā)生在機器和機器之間，作為信息交流的工具和載體。例如，斯坦福大學(xué)團隊2023 年4 月推出一個虛擬小鎮(zhèn)，構(gòu)建了25 個大模型驅(qū)動的智能體，擁有不同個性的智能體，在小鎮(zhèn)中自由生活、工作和社交；清華大學(xué)團隊2023 年7 月推出一個由大模型智能體組成的數(shù)字研發(fā)團隊，包括首席執(zhí)行官、首席產(chǎn)品官、首席技術(shù)官、程序員、測試員等，可以通過自然語言對話進行合作，高效完成軟件研發(fā)任務(wù)。

自然界中的蟻群和鳥群等生物群體可以涌現(xiàn)出超越個體的群體智能；人類社會也涌現(xiàn)出組織和公司等復(fù)雜群體智能，甚至形成社會學(xué)和管理學(xué)等學(xué)科專門研究人類群體智能的復(fù)雜規(guī)律。大模型日益強大的自然交互能力，將讓更多的機器建立合作，涌現(xiàn)群體智能。

如果說大模型技術(shù)迎來了人工智能的第一次智能涌現(xiàn)，是個體智能的涌現(xiàn)，那么大模型群體智能，將讓我們迎來人工智能的第二次智能涌現(xiàn)。相信在這個過程中，有大量重要的語言學(xué)問題值得我們探索。

大語言模型促進語言應(yīng)用開發(fā)的四個維度

王斌（小米科技有限責(zé)任公司人工智能實驗室主任、NLP 首席科學(xué)家） 一、大語言模型是語言學(xué)研究的全新利器。大語言模型基于海量語言數(shù)據(jù)進行訓(xùn)練，能夠有效處理和分析大規(guī)模語料庫，為語言學(xué)研究提供新的方法和工具。傳統(tǒng)語言學(xué)研究通常依賴于小規(guī)模的語料庫和定性分析，而大語言模型能夠在短時間內(nèi)處理和分析海量的語言數(shù)據(jù)，從中發(fā)現(xiàn)語言現(xiàn)象和規(guī)律。例如，通過大語言模型對大量文本數(shù)據(jù)的分析，可以研究語言的演變、方言的分布以及語言之間的相互影響。

二、利用大語言模型構(gòu)建自動化語言分析工具。在大語言模型基礎(chǔ)上可以構(gòu)建詞法分析器、句法分析器和語義分析器等工具?；诖笳Z言模型構(gòu)建這些工具的難度小，但是構(gòu)建的工具的精度高。這些工具可以輔助語言學(xué)家進行語言結(jié)構(gòu)的分析，從而大大提高研究效率。例如，基于大模型構(gòu)建出的語義分析器，可以幫助研究人員深入理解詞匯和句子的意義，從而進一步揭示語言的深層結(jié)構(gòu)。

三、利用大語言模型來構(gòu)建或擴展語言資源。傳統(tǒng)的手工或者自動構(gòu)建詞典、語料庫、知識圖譜等資源的方法效率低下、精度有限，構(gòu)建出的資源分布相對單一。而大語言模型可以自動標(biāo)注大規(guī)模的語料庫，從而大大減少人工標(biāo)注的工作量，提高語料庫建設(shè)的效率和精度。同時，大語言模型基于大量語言文本數(shù)據(jù)預(yù)訓(xùn)練微調(diào)而成，蘊含著大量實例背后的通用結(jié)構(gòu)?；诖笳Z言模型，可以快速、準(zhǔn)確地生成多樣化的語言實例，從而大大豐富語言學(xué)的研究內(nèi)容，提升研究效率。

四、大語言模型可以為語言學(xué)研究開辟新的方向。大語言模型基于極大規(guī)模的語言文本數(shù)據(jù)預(yù)訓(xùn)練微調(diào)而成，這些數(shù)據(jù)來源分散、風(fēng)格各異、時代不一、語種多樣，里面包含著大量的語言現(xiàn)象，也隱含著豐富的語言學(xué)規(guī)律?；诖笳Z言模型，可以衍生出一些以往難以想象的研究問題，或者使得一些挑戰(zhàn)性的研究問題變得可行。例如，大語言模型能夠生成大量的自然語言文本，這為研究語言的創(chuàng)造性提供了新的可能。研究人員可以探索語言創(chuàng)造性的機制，揭示語言創(chuàng)新的認知過程。

打通文理學(xué)科壁壘，讓語言研究融入AI發(fā)展大潮

宗成慶（中國科學(xué)院自動化研究所） 長期以來，中國的文理學(xué)科之間似乎存在著堅固的壁壘，在很多情況下，兩類學(xué)科的人員之間無法在同一頻道上對話，導(dǎo)致語言學(xué)研究的成果無法為人工智能（AI）技術(shù)研發(fā)提供幫助和支持。反過來，AI 技術(shù)也未能在語言學(xué)研究中充分發(fā)揮作用。因此，打通學(xué)科壁壘，實現(xiàn)文理貫通，迫在眉睫。近年來，教育部推行的新文科建設(shè)政策已經(jīng)開始扭轉(zhuǎn)這一局面，但是，真正實現(xiàn)文理融合貫通，仍有待于進一步探索和實踐。

我認為，打通文理學(xué)科壁壘應(yīng)始于本科教學(xué)。深度的融合應(yīng)從高等教育的課程設(shè)置和教學(xué)開始，AI 基本原理和技術(shù)應(yīng)作為本科教學(xué)的通識課。當(dāng)然，講授什么內(nèi)容、講到什么深度，對于AI 和計算機專業(yè)的學(xué)生、一般理工科背景但非AI 和計算機專業(yè)的學(xué)生，以及人文學(xué)科背景的學(xué)生，可以區(qū)別對待，不同類型的學(xué)生分別有不同深度的教材。這就要求授課老師，尤其是研究生指導(dǎo)老師熟知學(xué)科需求、研究內(nèi)容和學(xué)生已有的知識基礎(chǔ)。

當(dāng)然，打通并不意味著混同。找準(zhǔn)定位，發(fā)揮學(xué)科不可替代的作用，才是學(xué)科立足和發(fā)展的根基。AI 技術(shù)的快速發(fā)展給語言學(xué)和其他人文學(xué)科的研究帶來了前所未有的機遇。抓住這個機遇，讓大語言模型等服務(wù)于人文學(xué)科研究，可以讓人文學(xué)科的發(fā)展插上智能技術(shù)的翅膀，更好地服務(wù)于社會。而從另一個角度看，智能技術(shù)的研究也離不開語言學(xué)科的支撐。大量的對比分析發(fā)現(xiàn)，大模型在中文上性能表現(xiàn)不佳的一個主要原因就是訓(xùn)練樣本質(zhì)量不夠高、規(guī)模不夠大。那么，如何構(gòu)建質(zhì)量更高、規(guī)模更大的多語言資源庫，如何評價資源庫的質(zhì)量，甚至評價大模型的性能，等等，這些不正是語言學(xué)科大有可為之處嗎？

面向社會需求，順應(yīng)AI技術(shù)發(fā)展，打通文理學(xué)科之間的壁壘，是人文學(xué)科生存和發(fā)展的必然出路。同時，讓AI 新技術(shù)賦能語言教學(xué)、研究和人才培養(yǎng)，使語言學(xué)科真正成為一門科學(xué)，讓語言研究融入AI 發(fā)展的大潮，語言類學(xué)科甚至整個人文類學(xué)科才會大放異彩?；蛟S這就是新文科建設(shè)的意義所在。