語義在人腦中的分布式表征：來自自然語言處理技術(shù)的證據(jù)

摘" 要" 人腦如何表征語義信息一直以來是認(rèn)知神經(jīng)科學(xué)的核心問題。傳統(tǒng)研究主要通過人為操縱刺激屬性或任務(wù)要求等實驗方法來定位語義表征腦區(qū)， 這類方法雖然取得了諸多成果， 但是依然存在難以詳細(xì)量化語義信息和語境效應(yīng)等問題?；谡Z義的分布式假設(shè)， 自然語言處理（NLP）技術(shù)將離散的、難以客觀量化的語義信息轉(zhuǎn)變?yōu)榻y(tǒng)一的、可計算的向量形式， 極大提高了語義信息的刻畫精度， 提供了有效量化語境和句法等信息的工具。運用NLP技術(shù)提取刺激語義信息， 并通過表征相似性分析或線性回歸建立語義向量與腦活動模式的映射關(guān)系， 研究者發(fā)現(xiàn)表征語義信息的神經(jīng)結(jié)構(gòu)廣泛分布在顳葉、額葉和枕葉等多個腦區(qū)。未來研究可引入知識圖譜和多模態(tài)融合模型等更復(fù)雜的語義表示方法， 將語言模型用于評估特殊人群語言能力， 或利用認(rèn)知神經(jīng)科學(xué)實驗來提高深度語言模型的可解釋性。

關(guān)鍵詞" 語義表征， 大腦， 自然語言處理， 語言模型

分類號" B842

1" 前言

語言作為一種抽象符號， 是人類進(jìn)行意義表達(dá)和信息交流的最重要的工具?；谟邢迶?shù)量語言單位的組合， 人們可以理解和表達(dá)無窮多的信息， 包括但不限于知識、信念、意圖、情感等。揭示人腦如何存儲、通達(dá)與提取語義一直是認(rèn)知神經(jīng)科學(xué)的核心問題之一。為了探究語義表征和加工的神經(jīng)基礎(chǔ)， 研究者通常采用的思路是操縱刺激屬性或任務(wù)要求， 對比不同條件下腦活動模式的異同。例如， 在詞匯判斷任務(wù)中對比真詞與假詞激活腦區(qū)的差異（Pulvermüller， 2013）; 或?qū)τ谙嗤Z言刺激， 對比語義與語音判斷任務(wù)的腦活動差異（Poldrack et al.， 1999）。基于嚴(yán)格實驗控制和條件間對比的研究范式取得了一系列重要成果， 然而在探究語義的腦表征與加工問題上存在以下局限。

第一， 對語義特征的刻畫依賴人工評定， 且顆粒度較粗。日常生活中交流情境復(fù)雜多變， 但人們只需掌握少量的詞語即可滿足言語交流需求， 例如在漢語中590個字就已經(jīng)覆蓋了80%的日常用字（中華人民共和國教育部， 2013）。有限的文字能夠組合成無限的意思， 其原因在于人們對每一詞匯都構(gòu)建了豐富的心理表征， 不同詞匯在多個維度上存在微妙差異?；谛睦韺W(xué)實驗或語言學(xué)分類方法， 當(dāng)前研究對語義關(guān)系的度量大多停留在粗顆粒度層面， 例如區(qū)分名詞與動詞， 生命類與非生命類詞等。為了細(xì)化對語義的表示， 最近有研究者從心理維度對詞語概念進(jìn)行度量， 例如采用時間、空間、數(shù)量、喚醒度等12個維度來刻畫抽象概念詞（X. Wang et al.， 2018）; 或是采用包括感覺、運動、時間、空間、社會認(rèn)知等成分在內(nèi)的65個體驗維度來表示概念（Binder et al.， 2016）。基于心理維度的語義表示方法能刻畫概念本身以及概念間的關(guān)系， 可解釋性較高， 但仍具有一定的局限性。例如， 維度的選取由研究者主觀確定， 維度選取的合理性和完整性有待檢驗。此外， 對詞義的量化主要通過被試主觀判定獲得， 結(jié)果受被試個體知識與經(jīng)驗的影響較大。最后， 被試評定法耗時費力， 難以推廣至所有的詞匯， 難以全面覆蓋不同語境下詞語的多個含義， 并且不同研究者之間選取的詞表與維度有所不同， 增加了研究結(jié)果間的比較與整合難度。

第二， 語境效應(yīng)難以量化。世界各地的語言系統(tǒng)里， 大部分字或詞都可指代多種含義， 例如在英語中80%以上的單詞都存在一詞多義現(xiàn)象（Rodd et al.， 2002）。在真實情境下， 個體所激活的語言符號含義很大程度上取決于語境， 換言之， 對語言符號意義的表征和提取是動態(tài)的、依賴語境的（Yee amp; Thompson-Schill， 2016）， 例如在夏天和冬天提到“空調(diào)”時會傾向于聯(lián)想到相反的功能。然而， 由于語境本身的復(fù)雜性， 很難通過實驗設(shè)計手段對語境效應(yīng)進(jìn)行客觀度量。因此， 當(dāng)前大多數(shù)研究使用孤立呈現(xiàn)的語言刺激、打散句法或語義的句子等高度控制的材料， 但它們與日常生活中的語言使用相比仍有一段距離。要回答關(guān)于人腦如何表征與加工語境， 以及語義表征如何受語境信息的動態(tài)影響等問題仍面臨著較大的挑戰(zhàn)。

第三， 篇章（discourse）主題信息難以量化。篇章（例如新聞報道、故事）由詞和句子以復(fù)雜的關(guān)系連接而成， 不同部分間存在語義關(guān)聯(lián)， 能表達(dá)完整連貫的含義（主題）。為了探究對篇章語義信息的加工和表征， 心理學(xué)研究者通常將完整篇章與同一篇章在不同水平（詞、句子或段落）打亂后的材料進(jìn)行對比（Hasson et al.， 2008; Lerner et al.， 2011; Simony et al.， 2016）。然而， 打亂后的材料在節(jié)點處的復(fù)雜度與難度更大（可能引起更強(qiáng)的腦激活）， 人們會傾向于嘗試重新組織與整合打亂的材料以使其語義連貫， 因此條件間相減的方式可能無法準(zhǔn)確檢測到特異于篇章的語義加工。此外， 該實驗方法難以度量篇章內(nèi)不同部分的語義結(jié)構(gòu)關(guān)系以及不同篇章之間的語義距離。

鑒于心理學(xué)傳統(tǒng)實驗方法的局限性， 近年來越來越多的心理學(xué)研究者引入人工智能領(lǐng)域的自然語言處理（natural language processing， NLP）技術(shù)， 特別是基于人工神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)的語言模型， 以度量實驗刺激的語義及語義關(guān)系。將NLP模型與腦成像實驗數(shù)據(jù)相結(jié)合， 正在成為神經(jīng)語言學(xué)領(lǐng)域的重要趨勢。近期有部分國內(nèi)外研究者對計算語言學(xué)方法在認(rèn)知語言學(xué)和腦科學(xué)中的應(yīng)用進(jìn)行了總結(jié)和展望。例如， 王少楠等（2022b）總結(jié)了新興計算語言學(xué)方法在語言信息的單元和維度、不同類型語言信息的腦網(wǎng)絡(luò)定位、語言信息加工的時間進(jìn)程和控制以及語言信息的神經(jīng)編碼形式與計算機(jī)制等問題上的應(yīng)用， 文章所探討的語言信息包括了語音、語義、句法結(jié)構(gòu)等多方面內(nèi)容。在另一篇文章中（王少楠 等， 2022a）， 作者從宏觀角度系統(tǒng)地討論了認(rèn)知語言學(xué)與計算語言學(xué)各自的研究問題、研究方法和局限性， 并就這兩大領(lǐng)域如何融合提出了深刻見解。還有研究者將現(xiàn)代分布式語義計算模型與認(rèn)知心理學(xué)中的兩類傳統(tǒng)語義模型（基于特征的語義模型和基于聯(lián)結(jié)網(wǎng)絡(luò)的語義模型）在知識表征、學(xué)習(xí)機(jī)制和語義解歧等方面進(jìn)行了深入對比， 并探討了現(xiàn)代語義計算模型與兩類傳統(tǒng)模型的結(jié)合途徑（Kumar， 2021）。

上述研究在宏觀角度概括了計算語言學(xué)方法在語言認(rèn)知中的廣泛應(yīng)用， 但未就具體問題進(jìn)行系統(tǒng)總結(jié)和詳細(xì)論述。本綜述擬聚焦語言認(rèn)知和腦科學(xué)領(lǐng)域的核心問題之一——人腦對語義信息的表征， 對NLP模型在該問題上的應(yīng)用進(jìn)行總結(jié)與展望。本綜述將首先介紹NLP模型表征語義的原理與技術(shù)， 并介紹語言模型與腦成像數(shù)據(jù)進(jìn)行結(jié)合的兩類方法; 在此基礎(chǔ)上， 系統(tǒng)闡述NLP技術(shù)在人腦語義表征研究中的應(yīng)用， 包括單詞語義、句子（及語境）語義和篇章語義， 并與傳統(tǒng)心理學(xué)方法度量語義的局限之處進(jìn)行對比; 最后， 探討應(yīng)用NLP語言模型探究人腦語義表征的潛在陷阱、挑戰(zhàn)和未來發(fā)展方向。

2" NLP語義表示的算法原理及進(jìn)展

如何讓計算機(jī)從文本中自動捕獲語義是計算語言學(xué)領(lǐng)域的核心問題之一。早期研究者提出了基于邏輯規(guī)則的方法對自然語言進(jìn)行建模（Chomsky， 1957; Hobbs， 1977）， 希望計算機(jī)像人一樣根據(jù)句法、詞語順序和搭配等規(guī)則理解詞語的含義。盡管該方法的精度較高， 但它高度依賴人工編制的語言學(xué)文法， 不適合處理大規(guī)模真實文本（尤其是在詞語新用法、新含義越來越多的互聯(lián)網(wǎng)時代）， 且不同語言之間的規(guī)則不盡相同。后來， 由于規(guī)則表示存在許多問題， 統(tǒng)計學(xué)派基于“上下文相似的詞語， 其語義也相似”的分布式語義假設(shè)（Harris， 1954）， 提出了語義的向量空間模型（Salton et al.， 1975）， 它成為了NLP領(lǐng)域近十余年來的主流指導(dǎo)思想， 即分布式表示（distributed representation）。這一思想是把詞語這一離散符號（局部表示， local representation）映射到一個稠密的向量空間中， 從而使用一個相對低維的向量（例如300維）代替稀疏且高達(dá)幾十萬維的獨熱向量（Bengio et al.， 2003）。例如關(guān)于顏色的局部表示為“紅、橙、黃、灰、中國紅……” （[1， 0， 0， 0， 0]， [0， 1， 0， 0， 0]， [0， 0， 1， 0， 0]， [0， 0， 0， 1， 0]， [0， 0， 0， 0， 1]）， 而用分布式表示則可將所有顏色統(tǒng)一到RGB三維向量上（例如灰色可表示為[125， 125， 125]）， 大大減少了向量維度。在分布式表示中， 語義信息隱含在詞向量的各個維度上， 詞語間的語義關(guān)系主要由它們在空間中的位置關(guān)系反映：兩個詞向量越接近， 語義相似性越高。

在語義空間的構(gòu)建與詞向量的獲得方面， 當(dāng)前主要有兩類思路。一類是基于統(tǒng)計的語義表示方法， 該方法主要基于語料庫對“詞?詞”或“詞?文檔”等的共現(xiàn)關(guān)系進(jìn)行統(tǒng)計， 算法包括潛語義分析（latent semantic analysis， LSA， Deerwester et al.， 1990; Dumais， 2004）、非負(fù)矩陣分解（non-negative matrix factorization， Lee amp; Seung， 1999）、基于馬爾可夫假設(shè)的N-gram （Brown et al.， 1992）等。以LSA為例， 該方法通過統(tǒng)計文本語料建立“詞?文檔”共現(xiàn)矩陣Aw×d （其中w是詞數(shù)， d是文檔數(shù)）， 然后對共現(xiàn)矩陣進(jìn)行奇異值分解構(gòu)建潛語義空間并實現(xiàn)降維（公式中即為潛語義空間維數(shù)）。矩陣U中每一行為詞語的潛語義表示（即詞向量）， 矩陣VT中的每一列為文檔的潛語義表示， 矩陣∑中的奇異值反映了每一潛語義的重要程度。如此一來， 詞和文檔的信息得到濃縮， 映射到了統(tǒng)一的潛語義空間中， 既可以用于詞語的語義表示， 也可以用于表示篇章和文檔的語義?；诮y(tǒng)計的語義表示方法能有效聚類語義相近的詞或文檔， 在語義相似性分析、詞（或文檔）聚類、信息提取等任務(wù)上取得了良好的成績（Jelodar et al.， 2019; Xu et al.， 2008）。但該方法也具有明顯的局限性， 例如詞（或文檔）向量的分布不一定符合概率模型假設(shè)所要求的正態(tài)分布; 矩陣分解的計算復(fù)雜度高， 并且當(dāng)加入新的文檔時， 需重新訓(xùn)練來更新模型; 未能充分考慮句子中詞語的先后順序信息; 不能解決一詞多義現(xiàn)象等。

與基于統(tǒng)計的方法不同， 另一類基于預(yù)測的語義建模方法使用神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)語義表示， 通過計算預(yù)測值與真實值的差異來調(diào)整模型參數(shù)（關(guān)于語義建模方法的其他分類標(biāo)準(zhǔn)， 請參閱Kumar， 2021）。人工神經(jīng)網(wǎng)絡(luò)（artificial neural network， ANN， 下文簡稱神經(jīng)網(wǎng)絡(luò)）是通過模擬人腦神經(jīng)系統(tǒng)對復(fù)雜信息處理機(jī)制而構(gòu)建的一種數(shù)學(xué)模型（Mcculloch amp; Pitts， 1943）。神經(jīng)網(wǎng)絡(luò)由神經(jīng)元（節(jié)點）互相連接（邊）而構(gòu)成， 按先后順序主要分為輸入層、隱藏層和輸出層。輸入層主要進(jìn)行信號接收與激活（例如提取詞語對應(yīng)的詞向量， 類比于外界刺激引起初級感覺區(qū)的電生理活動）; 隱藏層是神經(jīng)網(wǎng)絡(luò)的核心， 主要進(jìn)行信號的加工、整合和抽象化等復(fù)雜過程（類比于大腦中間神經(jīng)元、聯(lián)合皮層和高級決策皮層等）; 輸出層在接收隱藏層加工后的信號后， 根據(jù)任務(wù)需求進(jìn)行最后一步的反應(yīng)輸出（例如對詞語進(jìn)行情緒分類等， 類比于大腦發(fā)音皮層、運動皮層）。與大腦神經(jīng)元動作電位的特性相似， 人工神經(jīng)網(wǎng)絡(luò)隱藏層中的神經(jīng)元接收上游多個神經(jīng)元信號后（類比大腦神經(jīng)元樹突）， 按照不同的權(quán)重進(jìn)行加權(quán)求和（類比胞體）， 隨后根據(jù)匯總后的信號是否高于激活閾限來決定是否向下游傳出信號以及信號的強(qiáng)度（一般經(jīng)過sigmoid、ReLU等非線性激活函數(shù)完成）， 后續(xù)隱藏層的工作過程以此類推。值得注意的是， 隱藏層中每個神經(jīng)元與上游各個神經(jīng)元之間的信息權(quán)重是不同的， 這些參數(shù)由神經(jīng)網(wǎng)絡(luò)輸出值與真實值的誤差通過反向傳播算法不斷調(diào)整。通過多次訓(xùn)練不斷縮小預(yù)測值與真實值的差距， 神經(jīng)網(wǎng)絡(luò)建立起原始輸入信號與目標(biāo)輸出間的映射關(guān)系， 最終的學(xué)習(xí)結(jié)果體現(xiàn)在各個神經(jīng)元的參數(shù)上。

在詞語的向量表示問題上， 神經(jīng)網(wǎng)絡(luò)通常使用大規(guī)模語料來訓(xùn)練網(wǎng)絡(luò)權(quán)重， 輸入句子材料以學(xué)習(xí)詞語和上下文語境的關(guān)系。以經(jīng)典的Word2Vec中的連續(xù)詞袋（continuous bag-of-word， CBOW）模型為例（Mikolov et al.， 2013a）， 該模型基于分布式假設(shè)而設(shè)計（上下文相似的詞語意思也相似）， 給定前后共k個上下文語境詞， 預(yù)測中間的目標(biāo)詞。輸入層為詞的獨熱編碼向量， 通過輸入層與隱藏層的權(quán)重矩陣提取詞語的詞向量， 隨后將該向量與隱藏層輸出層之間的權(quán)重矩陣進(jìn)行點乘并使用softmax函數(shù)進(jìn)行歸一化， 得到詞表中各個詞出現(xiàn)的概率， 選取概率最高的詞語作為預(yù)測結(jié)果（見圖1）。通過計算預(yù)測詞與真實詞的詞向量差異并由反向傳播進(jìn)行參數(shù)調(diào)整， 輸入層和隱藏層之間的權(quán)重（即詞向量）得以不斷更新。此外， Word2Vec也可以使用跳字模型（skip-gram）進(jìn)行訓(xùn)練， 即給出一個目標(biāo)詞， 預(yù)測其上下文（向前、向后共k個詞）。Word2Vec模型獲得的詞向量與分布式假設(shè)吻合較好， 對詞向量進(jìn)行聚類的結(jié)果合理， 且能較好地反映語義相似度（Mikolov et al.， 2013a; Mikolov et al.， 2013b）。例如， 計算向量V（t） = V（國王） ? V（男人） + V（女人）， 得到的V（t）會與V（女王）等相關(guān)詞語的詞向量余弦相似度最高。

Word2Vec模型提出以后， NLP領(lǐng)域掀起了詞向量計算與優(yōu)化表示的熱潮， 后續(xù)研究者設(shè)計了一系列架構(gòu)更復(fù)雜的神經(jīng)網(wǎng)絡(luò)語言模型， 它們在計算詞向量時考慮了上下文語境的信息， 更符合人腦整合語境的認(rèn)知模式。新開發(fā)的神經(jīng)網(wǎng)絡(luò)模型還可以對句子和篇章語義進(jìn)行建模， 代表性模型包括：可捕獲句子的結(jié)構(gòu)信息的遞歸神經(jīng)網(wǎng)絡(luò)（recursive neural network， RecNN， Socher et al.， 2013）; 循環(huán)神經(jīng)網(wǎng)絡(luò)（recurrent neural network， RNN， Elman， 1990; Mikolov et al.， 2010）及其優(yōu)化版本長短時記憶網(wǎng)絡(luò)（long short-term memory， LSTM， Hochreiter amp; Schmidhuber， 1997; Sundermeyer et al.， 2012）， 把句子看作一個有順序的時間序列， 將上（下）文信息整合到當(dāng)前詞語的向量表示中（Graves et al.， 2013）; 卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network）， 提取多層次的語義信息并具備更高效的并行運算能力（Yin et al.， 2017; Zhang amp; Wallace， 2017）。除了詞語， 基于神經(jīng)網(wǎng)絡(luò)的算法也可以對段落或篇章的語義進(jìn)行表示， 例如Doc2Vec在Word2Vec模型的基礎(chǔ)上加入一個段內(nèi)共享、段間獨立的段落向量進(jìn)行訓(xùn)練， 從而獲得段落的向量化語義表示（Quoc amp; Mikolov， 2014）。其他思路還有層次化特征提取等， 例如首先計算段落內(nèi)每句話的語義表示得到句向量， 再以句向量為單位輸入模型得到段落向量。

后來谷歌公司提出了Transformer架構(gòu)（Vaswani et al.， 2017）， 解決了RNN及其變體的長距離依賴和串行訓(xùn)練低效等局限， 成為了近年來NLP新模型的主流網(wǎng)絡(luò)骨干。Transformer架構(gòu)由編碼器和解碼器組成， 每個編碼器和解碼器中包含了自注意力層（multi-head self-attention）和全連接層， 其中自注意力層通過對目標(biāo)詞與上下文詞語的相似性進(jìn)行計算與加權(quán)求和來整合語境信息， 隨后經(jīng)過全連接層提取信息的特征。Transformer架構(gòu)中的自注意力機(jī)制代替了RNN結(jié)構(gòu)中的串行記憶單元， 使得計算可以高速并行化， 并且Transformer架構(gòu)通過多個編碼器和解碼器的堆疊提升了對文本特征的提取與抽象效果?；赥ransformer架構(gòu)的代表性語言模型包括BERT （Bidirectional Encoder Representation from Transformers， Devlin et al.， 2018）與GPT （Generative Pre-trained Transformer， Brown et al.， 2020; Radford et al.， 2019）等， 它們在許多自然語言處理任務(wù)上的表現(xiàn)都取得了較大的提升?；谏疃壬窠?jīng)網(wǎng)絡(luò)的語義建模方法的參數(shù)龐大（例如BERT-large模型中有3億參數(shù)需要訓(xùn)練， GPT-3的參數(shù)量則高達(dá)1750億）， 對語料數(shù)據(jù)量、計算機(jī)性能等要求較高。因此預(yù)訓(xùn)練成為了目前大規(guī)模語言模型的主流使用方式， 將模型在某個語言任務(wù)上進(jìn)行大量訓(xùn)練（例如完形填空）以得到模型參數(shù)， 各組研究者以這一套模型參數(shù)為基礎(chǔ)開展下游任務(wù)。預(yù)訓(xùn)練模型降低了研究團(tuán)隊訓(xùn)練模型的技術(shù)與時間成本， 并提升了語言認(rèn)知研究的可比性與可重復(fù)性。

相較于傳統(tǒng)基于統(tǒng)計的語義表示方法， 神經(jīng)網(wǎng)絡(luò)模型能捕獲更豐富的文本特征， 通用性更強(qiáng)， 在完形填空、情感分析、構(gòu)建文摘、翻譯等多種復(fù)雜語言任務(wù)中具有更優(yōu)秀的表現(xiàn)（Sutskever et al.， 2014; Wu amp; Dredze， 2019）。此外， 大規(guī)模預(yù)訓(xùn)練模型（例如BERT）將學(xué)習(xí)到的多種語言信息都蘊藏在其參數(shù)中， 研究者可根據(jù)自身需要對預(yù)訓(xùn)練模型進(jìn)行微調(diào)， 從而以較低的資源消耗獲得針對專門任務(wù)的更優(yōu)模型表現(xiàn)。隨著計算機(jī)算力的不斷提升， 以上優(yōu)勢與表現(xiàn)使得神經(jīng)網(wǎng)絡(luò)模型逐步取代傳統(tǒng)基于統(tǒng)計的文本表示方法， 成為NLP領(lǐng)域的核心技術(shù)之一。關(guān)于NLP中的文本表示方法更詳細(xì)的介紹請參閱趙京勝等（2022）。

3" NLP語言模型在人腦語義表征研究中的應(yīng)用

3.1" NLP語言模型與腦成像數(shù)據(jù)的結(jié)合方法

NLP語言模型提供了客觀度量與計算文本語義的有效工具。利用該工具， 神經(jīng)語言學(xué)研究者可以進(jìn)一步分析語義信息在多大程度上解釋了腦活動模式的變化， 從而推論出哪些腦區(qū)參與了語義信息的表征與加工。值得注意的是， NLP語言模型得出的詞向量與腦活動數(shù)據(jù)來自不同的模型與模態(tài)， 各自數(shù)據(jù)的維度和數(shù)值代表的含義截然不同。例如， BERT輸出層的向量為768維（BERT- base）或1024維（BERT-large）， 每一維的數(shù)值含義不明確。腦活動的數(shù)據(jù)維度則根據(jù)選取的腦區(qū)大小而有所不同， 從一維（voxel水平）， 幾百（ROI水平）， 幾千（網(wǎng)絡(luò)水平）， 到幾萬（全腦水平）不等。如何對這兩類維度不同的多變量數(shù)據(jù)進(jìn)行有效建模是一個具有挑戰(zhàn)性的問題， 當(dāng)前有兩種常用的方法：表征相似性分析（representation similarity analysis， RSA）與線性回歸。

RSA通過分析語義相似性矩陣和腦活動相似性矩陣的共享結(jié)構(gòu)， 建立起兩類數(shù)據(jù)的關(guān)聯(lián)（Kriegeskorte et al.， 2008）。進(jìn)行RSA分析時， 首先需要分別提取人腦和NLP語言模型對于各個刺激（例如單詞）的表征， 其中腦表征可由給定單詞引發(fā)的一組體素的活動強(qiáng)度數(shù)據(jù)表示， NLP模型表征可由Word2Vec （或其他模型）對該單詞的詞向量表示。隨后分別計算人腦和語言模型內(nèi)部對于不同刺激的表征相似性程度（可用相關(guān)系數(shù)、歐式距離或馬氏距離等不同指標(biāo)度量）， 從而構(gòu)建表征差異矩陣（representation dissimilarity matrix， RDM）。RDM反映了同一個模型對于不同刺激的表征的差異， 通過計算兩個RDM之間的Spearman相似性， 得到的相關(guān)系數(shù)反映人腦和語言模型對于同一組刺激的內(nèi)部表征相似程度（見圖2）。

線性回歸是另一種關(guān)聯(lián)不同類型高維數(shù)據(jù)的方法， 它的基本思想是尋找一組參數(shù)去擬合兩組數(shù)據(jù)之間的關(guān)系， 從而基于刺激特征或模型輸出向量“預(yù)測”大腦反應(yīng)（編碼）， 或基于腦活動模式“預(yù)測”被試當(dāng)前正在加工的內(nèi)容（解碼）。在多種線性回歸方法中， 嶺回歸是最常用的一種， 它可以解決過擬合與多重共線性等問題。最近有不少研究發(fā)現(xiàn)， 對于同一語言信息， NLP模型向量可以通過嶺回歸與腦活動建立映射關(guān)系（王少楠 等， 2022b; Anderson et al.， 2021; Caucheteux amp; King， 2022; Dupre la Tour et al.， 2022; Goldstein et al.， 2022; Jain amp; Huth， 2018; Prince et al.， 2022; Schrimpf et al.， 2021）， 若模型和人腦存在相同或相似的表征信息， 嶺回歸預(yù)測值與真實值之間將會具有顯著相關(guān)性。

RSA和嶺回歸都可以比較不同模型與腦表征的關(guān)系， 但它們在原理和功能上有所差異（Bruffaerts et al.， 2019）。RSA度量的是NLP模型反應(yīng)模式與大腦中一組體素（或腦區(qū)）反應(yīng)模式間的相似性程度， 而嶺回歸旨在建立特征（或模型向量）與單個體素（或腦區(qū)）活動之間的回歸關(guān)系。RSA方法不需要對參數(shù)進(jìn)行擬合， 因此計算量小、對數(shù)據(jù)量要求相對較低。但該方法將所有特征作為一個整體， 無法估計單一特征對腦活動的貢獻(xiàn)程度。嶺回歸方法能獲取單一特征對腦活動的權(quán)重值， 進(jìn)而可根據(jù)新刺激的特征預(yù)測其激活模式， 在使用連續(xù)自然刺激的任務(wù)中較為常見。但該方法需要估計的自由參數(shù)較多， 并且往往需要對懲罰系數(shù)進(jìn)行網(wǎng)格搜索， 因此計算量較大并且對數(shù)據(jù)量的要求較高。針對RSA和嶺回歸方法各自的優(yōu)缺點， Anderson et al. （2016）提出了表征相似性編碼方法。該方法基于“相似的刺激會引發(fā)相似的腦活動”這一思想， 首先計算待預(yù)測目標(biāo)與所有已知目標(biāo)的特征相似性， 隨后將相似性指標(biāo)作為權(quán)重對已知目標(biāo)誘發(fā)的腦活動值進(jìn)行加權(quán)平均， 從而得到預(yù)測目標(biāo)的腦活動值。該方法利用刺激間的相似性信息進(jìn)行預(yù)測， 避免了對模型的參數(shù)估計， 計算快捷且回歸模型中的參數(shù)（相似性）具有較強(qiáng)的可解釋性， 具有較大的應(yīng)用價值（Anderson et al.， 2021; Wang et al.， 2020）。值得注意的是， 對于RSA或嶺回歸中預(yù)測值與真實值的相關(guān)系數(shù)的解讀需要謹(jǐn)慎， 顯著的相關(guān)系數(shù)只能說明模型與大腦的表征信息存在相似之處， 并不能直接推斷二者背后的工作機(jī)制是相同的， 尤其是相關(guān)系數(shù)較低的情況下（Kriegeskorte amp; Douglas， 2018， 2019）。

3.2" 典型應(yīng)用

3.2.1" 詞水平語義的表征

語言作為思想的載體， 其中蘊含的有意義信息由哪些腦區(qū)加工、如何加工一直是認(rèn)知神經(jīng)科學(xué)關(guān)注的問題。早期語義表征的研究主要通過比較被試接受不同刺激或進(jìn)行不同任務(wù)時的大腦激活差異， 探究詞語或概念在哪些腦區(qū)進(jìn)行加工， 例如真假詞（Pulvermüller et al.， 2001）、詞語類別（Gonzalez et al.， 2006; Pulvermüller et al.， 2009）、詞性（Pulvermüller et al.， 1999; Warburton et al.， 1996）、語義任務(wù)和語音任務(wù)（Poldrack et al.， 1999）的對比等。條件對比范式與激活分析取得了不少重要發(fā)現(xiàn)， 但對語義信息的刻畫主要停留在粗顆粒度層面且難以量化。NLP技術(shù)使得研究者能從定量角度對材料的語義信息進(jìn)行度量， 探究語義信息與大腦表征之間的關(guān)聯(lián)。

在早期的工作中， Mitchell等人（2008）選取名詞刺激作為材料， 使用它們與25個代表性動詞的共現(xiàn)頻率作為語義向量表示， 通過線性回歸對大腦加工名詞時的活動進(jìn)行預(yù)測。結(jié)果發(fā)現(xiàn)雙側(cè)枕葉、頂葉、額中回等區(qū)域都能夠區(qū)分詞語， 說明大腦對實體名詞的表征一定程度上基于感覺運動特征， 其中枕葉的效應(yīng)可能是因為被試對名詞的相關(guān)動作場景產(chǎn)生了聯(lián)想。該研究開創(chuàng)了NLP與腦成像技術(shù)相結(jié)合的先河， 為語義腦表征研究提供了條件對比范式以外的新思路。近期研究者開始將NLP方法應(yīng)用到對自然連續(xù)語言材料（例如故事或電影音頻）的語義分析中（Huth et al.， 2016; Wehbe et al.， 2014）， 相比于傳統(tǒng)的實驗室方法（人為編制或挑選少量特定的語言刺激）， 這些自然連續(xù)材料包含的詞匯量更大、類型更豐富， 因此得出的結(jié)果可能更能反映真實的人腦語義表征。例如在Huth等人（2016）的研究中， 被試收聽了長達(dá)2個小時的故事并同步進(jìn)行fMRI掃描。研究者首先標(biāo)記每個TR （repetition time）內(nèi)出現(xiàn)的刺激， 提取這些刺激對應(yīng)的詞語共現(xiàn)向量作為該TR的語義表示， 隨后構(gòu)建嶺回歸預(yù)測模型， 使用語義表示向量預(yù)測大腦每個體素的活動。若某個體素的預(yù)測相關(guān)性經(jīng)過多重比較校正后依然顯著， 說明它的活動蘊含了語義信息， 即參與了語義表征。結(jié)果表明， 語義信息在大腦中的表征分布覆蓋了內(nèi)側(cè)前額葉、顳中回、顳頂聯(lián)合區(qū)等多個腦區(qū)， 與元分析發(fā)現(xiàn)的語義網(wǎng)絡(luò)（Binder et al.， 2009）高度重疊。這些研究成果表明NLP對語義的表示能夠有效地運用在復(fù)雜的自然刺激中， 并進(jìn)一步支持了語義的分布式表征觀點（Kiefer amp; Pulvermüller， 2012; Nastase et al.， 2017）， 即多個腦區(qū)共同加工、表征語義， 而非集中在某一局部區(qū)域內(nèi)。

此外， NLP技術(shù)對詞匯語義的量化功能使研究者能夠從更精細(xì)的角度考察語義表征， 拓寬了研究空間。例如Kivisaari等人（2019）考察了人們對概念的表征與概念特征之間的聯(lián)系， 在研究中向被試逐一呈現(xiàn)目標(biāo)概念的3個特征詞（例如“一種水果”、“被剝開”、“猴子吃它”）， 被試需要根據(jù)這些特征猜想對應(yīng)的概念（例如“香蕉”）。研究者使用大腦體素活動模式對特征詞或目標(biāo)詞的詞向量進(jìn)行解碼， 并比較蘊含不同信息的詞向量的解碼正確率。結(jié)果表明， 盡管被試只看到了3個特征詞， 但將目標(biāo)概念的所有特征（包括沒有呈現(xiàn)的特征）對應(yīng)的詞向量相加后得到了最高的解碼正確率， 顯著高于呈現(xiàn)的特征詞語和目標(biāo)概念， 說明人腦利用有限的信息片段構(gòu)建了目標(biāo)對象完整的語義表征， 并且激活了其他相關(guān)聯(lián)的概念特征信息。

3.2.2" 語境信息的影響以及句水平語義表征

在探究語義在大腦中的表征時， 許多研究將詞語或目標(biāo)刺激單獨呈現(xiàn)， 希望獲得沒有其他信息干擾下的語義表征。然而語義表征是動態(tài)的（Yee amp; Thompson-Schill， 2016）， 同一詞語在不同的語境中表達(dá)的意思和產(chǎn)生的心理感受會有所不同。例如人們看到“女排”一詞的心理表征與“中國女排”會有所不同， 后者的“女排”在“中國”語境下可能會激活自豪感、具體的人物形象等額外信息。已有研究表明， 顳葉前部、額頂網(wǎng)絡(luò)等腦區(qū)會整合并更新當(dāng)前的語義信息（Bonnici et al.， 2016; Branzi et al.， 2020; Humphreys et al.， 2021; Lambon Ralph et al.， 2017）， 進(jìn)一步說明了語義表征的動態(tài)性。語境獨立的實驗設(shè)計或靜態(tài)詞向量并不能充分地刻畫豐富語境下的語義表征， 尤其是面臨一詞多義現(xiàn)象時。

NLP技術(shù)提供了能夠整合語境的多種深度語言模型， 例如ELMo （Peters et al.， 2018）、InferSent （Conneau et al.， 2017）、BERT等， 對于同一個詞， 模型輸出的語義向量能隨著語境的不同而變化。利用該特點， 有研究者比較了孤立詞和整合語境信息后的詞在人腦中的表征（Gao et al.， 2023）。在實驗中， 每個試次包含兩個先后呈現(xiàn)的英語單詞， 被試需要判斷它們是否存在語義關(guān)聯(lián)。研究者首先采用Word2Vec模型提取語義向量， 該模型對詞的語義表示是相對固定的， 不受情境詞的影響， 因此被認(rèn)為反映了詞的孤立語義。同時， 對于同一單詞， 研究者還采用了ELMo模型提取其語義向量， 該模型采用雙向循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)， 輸出的詞向量充分整合了語境信息（即前一個詞）。通過使用RSA比較人腦和語言模型對于同一組刺激的內(nèi)部表征相似程度， 研究者發(fā)現(xiàn)孤立語義的表征主要與緣上回有關(guān)， 而語境依賴的語義表征則主要與左側(cè)前額葉、角回和腹側(cè)顳葉有關(guān)。

通過運用自注意力機(jī)制整合上下文語境信息， NLP技術(shù)還提供了表征句水平語義的指標(biāo)（例如InferSent模型的輸出向量或BERT模型輸出的CLS向量）。句水平的向量表示不僅考慮了單個詞的語義信息， 還考慮了詞與詞之間的組合關(guān)系。在近期一項研究中， 被試觀看一系列由4～9個單詞構(gòu)成的句子， 同時進(jìn)行fMRI掃描。研究者首先使用InferSent模型提取句子的語義表征， 然后通過嶺回歸建立句子語義特征與腦活動模式間的預(yù)測關(guān)系。結(jié)果發(fā)現(xiàn)， 表征句義的相關(guān)腦區(qū)分布在包括額下回、額中回、顳上回、顳中回、枕中回在內(nèi)的廣泛區(qū)域（Anderson et al.， 2021）。在另一項研究中， 被試觀看電影的同時進(jìn)行fMRI掃描。研究者將電影切割成多個片段， 并對每一片段進(jìn)行文字注釋（每條注釋大約包含15個詞）， 然后采用NLP模型將注釋轉(zhuǎn)換成語義向量作為電影片段的語義特征， 最后基于腦活動數(shù)據(jù)預(yù)測各個片段的文本注釋語義特征。研究表明， 默認(rèn)網(wǎng)絡(luò)、語言網(wǎng)絡(luò)、枕葉的腦活動模式能較為準(zhǔn)確地預(yù)測片段語義特征并區(qū)分不同的片段（Vodrahalli et al.， 2018）。與上述研究結(jié)果一致， Acunzo等人（2022）首先訓(xùn)練一個對話題進(jìn)行分類的卷積神經(jīng)網(wǎng)絡(luò)以使模型向量更好地捕獲話題信息， 隨后提取該模型的輸出層向量作為句子的話題向量表示。將話題向量與大腦活動進(jìn)行表征相似性分析發(fā)現(xiàn)， 顳葉前部、默認(rèn)網(wǎng)絡(luò)等參與了話題水平信息的表征， 支持了默認(rèn)網(wǎng)絡(luò)具有抽象、整合長時程信息等意義建構(gòu)功能的觀點（Smallwood et al.， 2021; Yeshurun et al.， 2021）。

3.2.3" 分離句法和語義

語言信息能夠順利傳達(dá)， 不僅依賴詞語本身的語義信息和語境提供的背景信息， 還需要詞語之間有恰當(dāng)?shù)慕M織結(jié)構(gòu)， 即句法。經(jīng)典的句法研究范式主要采用對比的思路試圖分離句法加工成分， 例如將名詞、形容詞等內(nèi)容詞替換成假詞的jabberwocky句式（Fedorenko et al.， 2012; Matchin et al.， 2019）、句法違背（Batterink amp; Neville， 2013; Petersson et al.， 2012）、句法適應(yīng)（Segaert et al.， 2012）以及短語組合（Law amp; Pylkkanen， 2021）等。然而傳統(tǒng)的句法加工研究方法存在著一些局限， 例如不同任務(wù)得到的句法加工腦區(qū)分布有不少差異， 并且由于語義和句法總是相伴出現(xiàn)， 改變句法而不使語義發(fā)生變化有一定的難度（Pylkkanen， 2019）， 因此句法錯亂的句子很大程度上破壞了語義信息， 使得傳統(tǒng)實驗難以分離精細(xì)的句法加工過程（Kuperberg， 2007）。

自然語言文本中詞語的順序結(jié)構(gòu)蘊含了豐富語言信息， 即使沒有顯式表示句法關(guān)系， 具有語境整合能力的NLP模型在訓(xùn)練過程中也會習(xí)得句法關(guān)系， 例如“我”、“愛”、“你”會以“我愛你”的順序出現(xiàn)， 而不是“我你愛”。深度語言模型（例如BERT）在主謂一致性、反身代詞回指等多種句法任務(wù)上已經(jīng)接近甚至超越人類表現(xiàn)（Goldberg， 2019; Zhang et al.， 2022）， 表明其能夠較為準(zhǔn)確地從文本中獲取句法信息。采用實驗設(shè)計中“減法”的思路， 可以使用NLP模型分別提取句子中的句法和語義信息， 將句法信息從向量中剝離， 從而探究加工句法信息的腦區(qū)分布（Caucheteux et al.， 2021a， 2021b; Wang et al.， 2020）。研究結(jié)果發(fā)現(xiàn)， 雙側(cè)顳葉和額下回都對句法信息進(jìn)行了加工， 腦區(qū)分布情況與先前的實驗研究相似（Hagoort amp; Indefrey， 2014）。最近有研究者使用特征消除（feature elimination）的方式對句法信息進(jìn)行更精細(xì)的分離（例如詞性、命名實體、詞語依賴、語義角色等）， 進(jìn)而探究被試在傾聽故事時所進(jìn)行的多種句法加工（Zhang et al.， 2022）。結(jié)果發(fā)現(xiàn)， 盡管不同句法對應(yīng)的腦區(qū)分布有細(xì)微的差異， 但分布的區(qū)域大致相同， 集中在顳上回、顳中回和角回等語義網(wǎng)絡(luò)區(qū)域（Binder et al.， 2009）。

NLP模型可以有效地分離語義和句法信息， 并能夠在限制較少的自然任務(wù)中探究大腦的加工機(jī)制， 這兩大優(yōu)點預(yù)示著NLP模型在腦表征研究方向上的潛力（Cichy amp; Kaiser， 2019; Hamilton amp; Huth， 2020）。然而， 目前使用NLP模型探究大腦句法加工的研究數(shù)量有限， 其中發(fā)現(xiàn)的句法加工腦區(qū)比傳統(tǒng)研究方法覆蓋了更廣的區(qū)域， 這一現(xiàn)象究竟是對分布式句法信息加工機(jī)制的如實反映， 還是源于NLP模型與腦成像數(shù)據(jù)構(gòu)建映射時存在的誤差， 仍需將來研究開展進(jìn)一步分析。

3.2.4" 篇章主題信息與篇章語義結(jié)構(gòu)的表征

篇章（段落）理解建立在詞和句子的語義分析基礎(chǔ)之上， 通過識別篇章內(nèi)部不同部分的語義結(jié)構(gòu)關(guān)系、整合上下文信息， 最終形成篇章核心主題信息（或情境模型）的表征（Patel et al.， 2022）。傳統(tǒng)實驗方法一般將完整篇章與打亂的材料進(jìn)行對比（Hasson et al.， 2008; Lerner et al.， 2011; Simony et al.， 2016）， 而散亂的材料使得被試的記憶與整合難度更大， 因此探測到的差異可能并非完全由特異于篇章語義信息的加工所驅(qū)動。此外， 該方法未對篇章信息進(jìn)行量化， 難以度量篇章間的語義距離與關(guān)系， 不適用于不同篇章材料的研究。

近年來已有研究者開始利用NLP技術(shù)對篇章的語義進(jìn)行建模表示， 考察人腦對連續(xù)自然語言刺激（如故事或電影）的加工和表征。近期一項研究結(jié)合fMRI技術(shù)和LSA方法， 探究以不同模態(tài)呈現(xiàn)的復(fù)雜敘事信息在人腦中如何表征（Nguyen et al.， 2019）。實驗中被試在接受fMRI掃描的同時， 其中一組觀看無聲影片， 另一組收聽影片內(nèi)容對應(yīng)的語音敘述。在掃描結(jié)束后被試用自己的話描述故事內(nèi)容， 研究者通過LSA進(jìn)行語義分析， 發(fā)現(xiàn)不論觀看無聲影片還是收聽語音敘述， 被試描述內(nèi)容的語義相似度越高， 他們在默認(rèn)網(wǎng)絡(luò)與執(zhí)行控制網(wǎng)絡(luò)上的神經(jīng)活動相似度也越高， 這一研究結(jié)果揭示了默認(rèn)網(wǎng)絡(luò)（default mode network， DMN）跨模態(tài)表征主題語義信息的功能。另一項研究考察了言語產(chǎn)生和言語理解過程中大腦對主題信息的表征一致性（Patel et al.， 2022）， 在fMRI掃描的同時， 被試圍繞一系列主題進(jìn)行口頭描述， 并收聽另一被試講述的其他主題內(nèi)容。研究者運用LSA計算描述內(nèi)容兩兩之間的語義距離， 并計算言語理解任務(wù)和言語產(chǎn)生任務(wù)的腦表征差異矩陣， 最后計算語義差異矩陣和腦表征差異矩陣的相似度（RSA分析）。結(jié)果表明， 包括額下回、內(nèi)側(cè)前額葉、顳極、顳中回、角回和楔前葉在內(nèi)的雙側(cè)廣泛腦區(qū)， 其活動模式與言語理解和產(chǎn)出的語義內(nèi)容存在關(guān)聯(lián)。該研究首次對言語產(chǎn)生過程的篇章水平語義進(jìn)行分析， 揭示了言語產(chǎn)生和言語理解兩個過程共享的負(fù)責(zé)高層級篇章語義信息表征的網(wǎng)絡(luò)。以上研究通過對篇章水平語義信息進(jìn)行分析， 研究結(jié)果進(jìn)一步支持了默認(rèn)網(wǎng)絡(luò)在意義構(gòu)建中的作用（Margulies et al.， 2016; Smallwood et al.， 2021）。

對篇章材料還可以從網(wǎng)絡(luò)拓?fù)鋵傩苑矫嫣骄空Z義結(jié)構(gòu)對大腦加工、學(xué)習(xí)、記憶等的影響。在文本、視頻等自然刺激當(dāng)中， 句子和事件在某一主題內(nèi)是相互聯(lián)系的， 例如一個故事通常圍繞著若干個核心的主旨句或情節(jié)進(jìn)行展開。使用語義相似性作為連邊的權(quán)重， 對篇章構(gòu)建拓?fù)渚W(wǎng)絡(luò)， 可以反映篇章的語義組織結(jié)構(gòu)等信息。有研究者對電影敘事節(jié)奏與觀眾評價之間的聯(lián)系進(jìn)行探究（Laurino Dos Santos amp; Berger， 2022）， 使用相鄰片段的語義相似性作為衡量情節(jié)發(fā)展速率的指標(biāo)， 情節(jié)發(fā)展緩慢時相鄰片段的語義相似度較高。研究結(jié)果顯示， 開頭節(jié)奏緩慢、結(jié)尾情節(jié)推進(jìn)稍快的電影得到了更高的評分， 表明故事篇章的語義結(jié)構(gòu)會對人們的感受與投入度產(chǎn)生影響。最近另一項腦成像研究考察了篇章語義結(jié)構(gòu)對記憶效果的影響（Lee amp; Chen， 2022）， 研究者對視頻片段進(jìn)行分割， 借助NLP技術(shù)提取各個片段對應(yīng)文字描述的語義向量， 并以片段作為節(jié)點、以片段間的語義相似性作為連邊權(quán)重， 構(gòu)建視頻的語義結(jié)構(gòu)拓?fù)渚W(wǎng)絡(luò)。研究結(jié)果顯示， 中心度（centrality， 反映了與其他節(jié)點的關(guān)聯(lián)強(qiáng)度）較高的片段產(chǎn)生了更好的記憶效果， 并且在情景回憶相關(guān)腦區(qū)（默認(rèn)網(wǎng)絡(luò)）誘發(fā)了更強(qiáng)的激活與更高的被試間一致性， 表明人腦對于事件的加工與記憶效果與其在語義組織結(jié)構(gòu)中的位置有關(guān)。

以上研究結(jié)果表明篇章的語義組織結(jié)構(gòu)對人們的主觀感受、記憶效果與大腦活動等都產(chǎn)生了影響， 但目前使用NLP對大腦語義表征的研究大多從刺激編碼角度出發(fā)， 對連續(xù)刺激中的語義組織結(jié)構(gòu)和語義關(guān)系等關(guān)注較少。未來研究可以從自然刺激中的語義結(jié)構(gòu)入手， 進(jìn)一步探究其與大腦加工、學(xué)習(xí)和記憶效果的關(guān)聯(lián)， 例如對于陰謀論和謠言的識別（Miani et al.， 2022）、敘事偏好（Cooper amp; Nisbet， 2016）等的神經(jīng)基礎(chǔ)。

3.2.5" 小結(jié)

NLP技術(shù)的使用讓語言從符號表示轉(zhuǎn)為向量表示， 一定程度上克服了詞語離散、難量化計算、難統(tǒng)一表示等難點， 使得語義的計算和比較成為可能。與此同時， 表征相似性分析、線性回歸等多變量分析方法為不同模態(tài)的數(shù)據(jù)搭建了橋梁。隨著深度語言模型的發(fā)展， NLP模型已能夠?qū)⑸舷挛恼Z境信息整合進(jìn)向量表示中， 提升了對語言的表示精度， 并使得實時刻畫語義在不同語境背景下的動態(tài)變化成為可能?；诖?， 研究者使用NLP提取的詞向量作為語義表示， 減少了對于刺激材料或?qū)嶒炄蝿?wù)等的人為控制需求， 對語義腦表征的探究不再依賴不同類型刺激或加工任務(wù)的對比。此外， NLP作為計算語言模型具有較高的靈活性， 輸入不同類型的文本可以得到對應(yīng)的信息。研究者可以通過比較模型對不同類型文本的向量表示（例如含語境信息的詞向量和不含語境信息的詞向量）與大腦表征的匹配程度， 分析某一腦區(qū)表征的信息類型或加工特點（Cichy amp; Kaiser， 2019）， 例如人腦對未來詞語的預(yù)測機(jī)制（Caucheteux et al.， 2021b; Goldstein et al.， 2022）， 先驗信念對文本理解的影響（Tikochinski et al.， 2021）等。通過將實驗設(shè)計的對象從大腦活動轉(zhuǎn)移到計算模型上， NLP技術(shù)可用于分離不同成分的信息， 并有效降低了被試與實驗數(shù)量的要求。最后， 自然刺激和低限制任務(wù)的使用正逐漸成為腦成像研究的趨勢（Finn amp; Bandettini， 2021; Hamilton amp; Huth， 2020）， 然而傳統(tǒng)心理學(xué)實驗方法難以追蹤不斷輸入的詞語語義、難以將先前語境信息整合到當(dāng)前詞語中。NLP技術(shù)提供了表征字、詞、句、篇章等多層級語義信息的建模方法， 在自然語言加工的腦神經(jīng)基礎(chǔ)探究中發(fā)揮著日益重要的作用。

運用NLP技術(shù)提取刺激的語義特征并與腦活動建立映射關(guān)系， 近期研究者較為一致地觀察到語義表征有關(guān)的神經(jīng)結(jié)構(gòu)廣泛分布在額葉、顳葉、枕葉等多個腦區(qū)， 該結(jié)果與基于傳統(tǒng)心理學(xué)實驗方法以及腦損傷病人所揭示的局部腦區(qū)表征語義結(jié)論并不完全一致。其部分原因可能在于， 基于大樣本文本庫訓(xùn)練得到的語言模型較為充分地捕獲了語言符號的多重語義信息， 而傳統(tǒng)心理學(xué)實驗中使用的特定任務(wù)（例如：語義關(guān)聯(lián)判斷）選擇性地激活了語言符號某一方面的語義， 因而以往僅探測到部分腦區(qū)的參與。值得注意的是， 有不少理論模型也提出語義記憶的神經(jīng)表征分布在包括感覺運動區(qū)和聯(lián)合皮層在內(nèi)的廣泛腦區(qū)（Bi， 2021; Fernandino et al.， 2016a; Fernandino et al.， 2016b; Lambon Ralph et al.， 2017）。例如， 概念表征的“中心?輻射（hub-and-spoke）”理論（Patterson et al.， 2007; Lambon Ralph et al.， 2017）提出， 跨通道的語言及非語言經(jīng)驗構(gòu)成了概念的核心成分（即hub）， 主要由顳葉前部負(fù)責(zé)表征與整合， 而概念習(xí)得過程中出現(xiàn)的初始源頭信息（即spoke， 包括視覺、聽覺、情緒效價等）則分布在各個通道特異皮層。此外， 雙重編碼理論則將知識表征分為兩大類別：基于感知運動（sensorimotor-derived）的系統(tǒng)與基于語言符號（language-derived）的系統(tǒng)， 其中支持感知運動編碼的知識表征系統(tǒng)主要分布在通道特異的感覺運動皮層以及聯(lián)合皮層等廣泛腦區(qū); 支持語言編碼的知識表征系統(tǒng)則主要分布在背側(cè)前顳葉（dorsal anterior temporal lobe， dATL）及其延展區(qū)域（包括額下回和顳中回等經(jīng)典語言腦區(qū)）?；贜LP技術(shù)揭示的廣泛語義敏感腦區(qū)說明表征語義的向量空間有可能同時捕獲了自然語言的抽象、跨通道成分和通道特異成分， 然而要建立起這些研究發(fā)現(xiàn)與認(rèn)知理論模型之間的確切關(guān)聯(lián)還面臨著眾多挑戰(zhàn)（關(guān)于該問題更深入的討論請參閱：王少楠 等， 2022a; Kumar， 2021）。

4" 總結(jié)與展望

相比傳統(tǒng)心理學(xué)實驗方法， 運用自然語言處理（NLP）技術(shù)來刻畫語義具有幾大優(yōu)勢：（1）能夠?qū)υ~、句子和篇章等多個層級的語義信息進(jìn)行客觀量化和計算， 提供了語義的度量指標(biāo); （2）能夠整合上下文信息， 根據(jù)語境調(diào)整詞向量的輸出， 從而對語境下的語義有更準(zhǔn)確的表示; （3）NLP模型輸出的詞向量蘊含豐富的信息， 通過消融實驗或輸入不同類型刺激等方式， 研究者可以提取或去除某種信息（例如句法信息）， 從而在不同的信息角度對大腦語義表征進(jìn)行考察; （4）詞向量的獲取快速便捷、受主觀因素干擾較少， 能大大降低材料評定所需成本。通過表征相似性和線性回歸等方法， 研究者嘗試?yán)没谡Z言模型提取的語義信息來解釋腦活動的變化， 在揭示語義的分布式表征、語境信息對語義表征的影響、句法與語義加工區(qū)域的分離以及篇章語義表征等問題上取得了諸多新發(fā)現(xiàn)。

然而， 在回答語言認(rèn)知及其腦機(jī)制等相關(guān)問題時， 自然語言處理技術(shù)也存在一定的局限性。首先是NLP模型的可解釋性問題。近年來基于神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)技術(shù)的語言模型內(nèi)部結(jié)構(gòu)越來越復(fù)雜和龐大， 例如最近的GTP-3模型參數(shù)量達(dá)到了1750億（Brown et al.， 2020）， 盡管在語言任務(wù)上的表現(xiàn)較好， 但龐大的參數(shù)量和復(fù)雜的結(jié)構(gòu)使得模型的可解釋性較差：模型輸出的詞向量反映了語言哪些方面的特征？模型通過哪些關(guān)鍵步驟獲得了這些特征？這些問題目前尚無確切答案。目前可以采用模型對比等方式（例如消除或保留語境信息、采用隨機(jī)向量代替詞向量等）探究大腦對某種信息的加工， 但低可解釋性仍然在一定程度上限制了NLP在語言認(rèn)知研究上的解釋效力與應(yīng)用潛力。其次， 模型的數(shù)量和類型正迅速增長， 不同模型在訓(xùn)練材料、網(wǎng)絡(luò)架構(gòu)、參數(shù)量以及訓(xùn)練任務(wù)等多個方面存在差異， 導(dǎo)致輸出的詞向量不盡相同。在使用詞向量與大腦活動建立映射關(guān)系時， 模型之間編碼或解碼的表現(xiàn)差異來源變得模糊， 即使采用相同的預(yù)訓(xùn)練模型來獲得相同的模型參數(shù)， 也面臨著模型抽樣誤差等問題。此外， NLP模型的構(gòu)建與人類習(xí)得語義的途徑不同， 其內(nèi)在計算與加工機(jī)制也可能與人腦存在本質(zhì)差異。人類的語言習(xí)得是不斷與世界環(huán)境進(jìn)行多模態(tài)交互的過程， 而目前主流NLP模型絕大多數(shù)只有文字一個模態(tài)， 并且難以做到像人類一樣基于短短幾次反饋就習(xí)得新知識或改變原有觀念。另一方面， NLP模型的訓(xùn)練語料越來越多、結(jié)構(gòu)越來越復(fù)雜， 在邏輯推理、知識遷移等高級語言任務(wù)上卻仍然表現(xiàn)較差， NLP是否真正習(xí)得語言目前是一個備受關(guān)注的問題。因此， 借助NLP模型能夠多大程度解釋人腦中的語義表征機(jī)制仍需未來更深入的研究。鑒于以上局限性， 在應(yīng)用語言模型提取刺激特征時， 研究者需根據(jù)研究問題選擇恰當(dāng)?shù)哪Ｐ停?結(jié)合實驗設(shè)計對模型的有效性進(jìn)行測試， 并謹(jǐn)慎解釋實驗結(jié)果。

值得注意的是， NLP模型并不總是語義表示的唯一解或最優(yōu)解。當(dāng)前心理學(xué)的其他語義表示方法在一些情況下也取得了不錯的表現(xiàn)， 并且具有較強(qiáng)的可解釋性， 例如特征列舉法能夠直觀地反映概念不同特征在記憶中的凸顯度（Cree amp; McRae， 2003）; 特征評定法能獲得概念在多個維度（例如感知覺、情緒等）上的屬性強(qiáng)弱， 也能以分布式表示對概念進(jìn)行相似性等計算（Binder et al.， 2016）; 網(wǎng)絡(luò)模型能夠清晰地反映概念之間的層級與關(guān)系結(jié)構(gòu)（Solomon et al.， 2019; Zhu et al.， 2022）?；诩兾谋具M(jìn)行訓(xùn)練的NLP模型并不一定能完整捕獲人類的語義知識以及加工特點（如推理、聯(lián)想、多模態(tài)等）， 例如最近對概念語義腦表征的研究發(fā)現(xiàn)， 相比于NLP模型， 基于體驗屬性的特征評分與大腦的表征相似性更高， 并且使用偏相關(guān)控制共享信息的影響之后， 體驗屬性仍表現(xiàn)出與大腦顯著的表征相似性， 而NLP模型則相關(guān)不顯著， 說明人腦對概念的表征中存在NLP模型尚未學(xué)習(xí)到的多模態(tài)信息（Fernandino et al.， 2022; Tong et al.， 2022）。因此， NLP模型與傳統(tǒng)的心理學(xué)語義表示方法并無絕對的優(yōu)劣之分， 它們提供了互補(bǔ)的信息與作用（Kumar， 2021）：在小規(guī)模語料中， 傳統(tǒng)方法雖然顆粒度較粗， 但其高解釋性有助于對研究理論與假設(shè)進(jìn)行驗證; 在大規(guī)模語料和自然刺激中， 雖然NLP模型較低的可解釋性使得向量維度含義不明確， 但其能夠便捷地獲取語境化的語義表示， 并通過模型對比的方式對不同信息內(nèi)容進(jìn)行考察。

下一步， 研究者還可從以下幾個方面深入拓展NLP技術(shù)在神經(jīng)語言學(xué)中的應(yīng)用：

（1）引入基于圖模型的語義表示方法。除了基于分布式假設(shè)的文本表示方法， 圖模型也是NLP領(lǐng)域中較為成熟的表示文本關(guān)系的技術(shù)（例如知識圖譜）。在圖模型中， 網(wǎng)絡(luò)的節(jié)點代表語言要素（詞、概念、實體、句子、篇章等）， 網(wǎng)絡(luò)的邊代表語言要素間的關(guān)系。以知識圖譜為例， 圖模型的建構(gòu)充分利用了語言要素的屬性關(guān)系、語言學(xué)先驗知識和世界知識等信息， 與神經(jīng)網(wǎng)絡(luò)模型相比具有更高的可解釋性， 語義關(guān)系明確， 易于進(jìn)行常識推理任務(wù)。但圖模型用于表示語義的數(shù)據(jù)結(jié)構(gòu)較為復(fù)雜， 難以直接使用圖模型的語義表示對腦活動數(shù)據(jù)進(jìn)行直接建模， 研究者可采用間接的方式， 從圖模型中提取語義關(guān)系或距離信息， 隨后使用RSA等方法考察大腦對語義關(guān)系的加工。以WordNet為例， 該數(shù)據(jù)庫根據(jù)單詞間的語義關(guān)系（例如從屬關(guān)系）， 將單詞按照樹狀結(jié)構(gòu)進(jìn)行組織。WordNet中兩個詞之間的語義距離可通過連通這兩個詞所需的最短路徑來度量（Carota et al.， 2021; Fernandino et al.， 2022; Wurm amp; Caramazza， 2019）， 例如， 從“貓（cat）”的節(jié)點到達(dá)“鼠（mouse）”的節(jié)點需要經(jīng)過以下路徑：貓—貓科動物—食肉動物—胎盤哺乳動物—嚙齒類—鼠， 因此這兩個詞的關(guān)系距離為5。

（2）應(yīng)用多模態(tài)融合的深度語言模型。在自然交流情境下， 人們對信息的加工與理解常常融合了聲音、圖像、文本等多個模態(tài)， 并且加工單個概念時往往也會提取多個模態(tài)的信息（Bi， 2021）， 然而傳統(tǒng)的實驗方法和基于純文本的NLP模型難以融合與量化多模態(tài)信息， 尚不能全面描述人腦對于概念的表征內(nèi)容（Dubova， 2022; McClelland et al.， 2020）。人工智能領(lǐng)域已經(jīng)開發(fā)了多模態(tài)融合的深度語義表示方法（Lahat et al.， 2015; Wang， Zhang， Lin et al.， 2018; Wang， Zhang， Zong， 2018; Zhu et al.， 2022）。運用多模態(tài)語言模型， 可進(jìn)一步深入探究大腦對不同模態(tài)信息的加工機(jī)制， 例如基于語言和基于體驗的兩類信息（Bi， 2021; Paivio， 1991）在大腦中的表征分布與方式、角色地位以及整合方式與程度等。

（3）運用語言模型評估特殊人群的語言能力。例如， 對正常人和失語癥（或自閉癥、精神分裂癥等）患者的語言產(chǎn)出進(jìn)行文本分析， 獲得其語義類別、語義模糊性、詞頻分布和語義結(jié)構(gòu)等多方面特征（Day et al.， 2021; Nevler et al.， 2020）?；谶@些特征建立分類或預(yù)測模型， 有助于提高語言能力與疾病評估的準(zhǔn)確性或受測者的接受程度（de Boer et al.， 2018; Fraser et al.， 2016）， 并降低評估所需的時間與人力成本。

（4）利用腦活動數(shù)據(jù)增強(qiáng)對深度語言模型的理解或改進(jìn)模型?，F(xiàn)今的深度語言模型能完成各種各樣的語言任務(wù)， 但人們對模型內(nèi)部的實現(xiàn)機(jī)制依然缺乏清晰的認(rèn)識。人腦是世界上唯一能真正理解自然語言的加工系統(tǒng)， 理解深度模型的一個思路便是將其與人腦進(jìn)行對比， 當(dāng)前已有部分研究開始基于深度模型的“類腦”情況來推測模型內(nèi)部的運行機(jī)理或解釋不同模型存在差異的原因。例如在一項研究中， 研究者擬探究不同語言模型以及同一模型內(nèi)部不同隱藏層對語境信息的整合能力（Toneva amp; Wehbe， 2019）。研究者使用fMRI采集了被試閱讀故事（每個詞單獨呈現(xiàn)在屏幕上）時的腦活動， 同時提取了不同NLP模型的每一隱藏層對故事中每個詞的向量表示， 通過嶺回歸和分類任務(wù)計算模型輸出詞向量對多個重要語言腦區(qū)活動的預(yù)測程度。結(jié)果表明， 當(dāng)用于計算詞向量時納入的語境較短時（少于10個詞）， BERT和Transformer T-XL模型的中間層對腦活動的預(yù)測效果優(yōu)于較淺的輸入層， 反映了隱藏層的語境整合能力。當(dāng)納入的語境信息超過10個詞時， BERT對腦活動的預(yù)測效果隨著語境詞數(shù)量的增加而下降， 而Transformer T-XL的預(yù)測效果則仍然保持緩慢升趨勢。研究者推測， 對腦活動預(yù)測效果最佳時對應(yīng)的語境長度可能反映了模型（或隱藏層）整合情境信息的能力， 結(jié)果顯示Transformer T-XL比BERT更擅長整合長距離語境信息， 而這正是Transformer T-XL當(dāng)初的設(shè)計初衷之一。類似的工作還發(fā)現(xiàn)NLP的語言任務(wù)能力和對大腦活動的預(yù)測能力存在顯著正相關(guān)（Caucheteux amp; King， 2022; Schrimpf et al.， 2021）。更進(jìn)一步， 還有研究者對模型進(jìn)行微調(diào)， 發(fā)現(xiàn)提高模型對腦活動預(yù)測能力的同時（使模型更“類腦”）顯著改善了模型在多個語言任務(wù)上的表現(xiàn)（Schwartz et al.， 2019; Toneva amp; Wehbe， 2019）。

以上研究表明， 通過與人腦的認(rèn)知和神經(jīng)加工過程作對比來理解甚至改進(jìn)深度語言模型這一方向具有很大潛力。但由于人類思維的隱蔽性和當(dāng)前腦成像技術(shù)在時間和空間分辨率上的局限性以及低信噪比等問題， 進(jìn)行“類腦”分析或?qū)LP模型內(nèi)部的認(rèn)知機(jī)制進(jìn)行探究時， 仍需利用嚴(yán)格的實驗控制和先驗知識對結(jié)果進(jìn)行約束， 或配合其他模型解釋方法共同做出推理（Sun et al.， 2021）。

參考文獻(xiàn)

王少楠， 丁鼐， 林楠， 張家俊， 宗成慶. （2022a）. 語言認(rèn)知與語言計算——人與機(jī)器的語言理解. 中國科學(xué)：信息科學(xué)， 52（10）， 1748?1774. https：//doi.org/10.1360/SSI- 2021-0100

王少楠， 張家俊， 宗成慶. （2022b）. 基于語言計算方法的語言認(rèn)知實驗綜述. 中文信息學(xué)報， 36（4）， 1?11.

趙京勝， 宋夢雪， 高祥， 朱巧明. （2022）. 自然語言處理中的文本表示研究. 軟件學(xué)報， 33（1）， 102?128. https：//doi.org/ 10.13328/j.cnki.jos.006304

Acunzo， D. J.， Low， D. M.， amp; Fairhall， S. L. （2022）. Deep neural networks reveal topic-level representations of sentences in medial prefrontal cortex， lateral anterior temporal lobe， precuneus， and angular gyrus. NeuroImage， 251， 119005. https：//doi.org/10.1016/j.neuroimage.2022.119005

Anderson， A. J.， Kiela， D.， Binder， J. R.， Fernandino， L.， Humphries， C. J.， Conant， L. L.， ... Lalor， E. C. （2021）. Deep artificial neural networks reveal a distributed cortical network encoding propositional sentence-level meaning. Journal of Neuroscience， 41（18）， 4100?4119. https：//doi.org/10.1523/JNEUROSCI.1152-20.2021

Anderson， A. J.， Zinszer， B. D.， amp; Raizada， R. D. S. （2016）. Representational similarity encoding for fMRI： Pattern- based synthesis to predict brain activity using stimulus- model-similarities. NeuroImage， 128， 44?53. https：//doi.org/ 10.1016/j.neuroimage.2015.12.035

Batterink， L.， amp; Neville， H. J. （2013）. The human brain processes syntax in the absence of conscious awareness. Journal of Neuroscience， 33（19）， 8528?8533. https：//doi.org/ 10.1523/jneurosci.0618-13.2013

Bengio， Y.， Ducharme， R.， Vincent， P.， amp; Janvin， C. （2003）. A neural probabilistic language model. Journal of Machine Learning Research， 3（6）， 1137?1155. https：//doi.org/10.1162/ 153244303322533223

Bi， Y. （2021）. Dual coding of knowledge in the human brain. Trends in Cognitive Sciences， 25（10）， 883?895. https：//doi.org/ 10.1016/j.tics.2021.07.006

Binder， J. R.， Conant， L. L.， Humphries， C. J.， Fernandino， L.， Simons， S. B.， Aguilar， M.， amp; Desai， R. H. （2016）. Toward a brain-based componential semantic representation. Cognitive Neuropsychology， 33（3-4）， 130?174. https：//doi.org/ 10.1080/02643294.2016.1147426

Binder， J. R.， Desai， R. H.， Graves， W. W.， amp; Conant， L. L. （2009）. Where is the semantic system？ A critical review and meta-analysis of 120 functional neuroimaging studies. Cerebral Cortex， 19（12）， 2767?2796. https：//doi.org/10.1093/ cercor/bhp055

Bonnici， H. M.， Richter， F. R.， Yazar， Y.， amp; Simons， J. S. （2016）. Multimodal feature integration in the angular gyrus during episodic and semantic retrieval. Journal of Neuroscience， 36（20）， 5462?5471. https：//doi.org/10.1523/ jneurosci.4310-15.2016

Branzi， F. M.， Humphreys， G. F.， Hoffman， P.， amp; Lambon Ralph， M. A. （2020）. Revealing the neural networks that extract conceptual gestalts from continuously evolving or changing semantic contexts. NeuroImage， 220， 116802， Article 116802. https：//doi.org/10.1016/j.neuroimage.2020.116802

Brown， P. F.， Della Pietra， V. J.， deSouza， P. V.， Lai， J. C.， amp; Mercer， R. L. （1992）. Class-based n-gram models of natural language. Computational Linguistics， 18（4）， 467?480. https：//aclanthology.org/J92-4003

Brown， T.， Mann， B.， Ryder， N.， Subbiah， M.， Kaplan， J. D.， Dhariwal， P.， ... Askell， A. （2020， December）. Language models are few-shot learners. Advances in neural information processing systems， 33， 1877?1901. https：//dl.acm.org/doi/ 10.5555/3495724.3495883

Bruffaerts， R.， de Deyne， S.， Meersmans， K.， Liuzzi， A. G.， Storms， G.， amp; Vandenberghe， R. （2019）. Redefining the resolution of semantic knowledge in the brain： Advances made by the introduction of models of semantics in neuroimaging. Neuroscience amp; Biobehavioral Reviews， 103， 3?13. https：//doi.org/10.1016/j.neubiorev.2019.05.015

Carota， F.， Nili， H.， Pulvermuller， F.， amp; Kriegeskorte， N. （2021）. Distinct fronto-temporal substrates of distributional and taxonomic similarity among words： Evidence from RSA of BOLD signals. NeuroImage， 224， 117408， Article 117408. https：//doi.org/10.1016/j.neuroimage.2020.117408

Caucheteux， C.， Gramfort， A.， amp; King， J.-R. （2021a， July）. Disentangling syntax and semantics in the brain with deep networks. Proceedings of the 38th International Conference on Machine Learning， 139， 1336?1348. https：//proceedings. mlr.press/v139/caucheteux21a.html

Caucheteux， C.， Gramfort， A.， amp; King， J.-R. （2021b）. Long- range and hierarchical language predictions in brains and algorithms. arXiv. https：//doi.org/10.48550/arXiv.2111.14232

Caucheteux， C.， amp; King， J.-R. （2022）. Brains and algorithms partially converge in natural language processing. Communications Biology， 5（1）， 134. https：//doi.org/10.1038/ s42003-022-03036-1

Chomsky， N. （1957）. Syntactic structures. The Hague： Mouton. https：//doi.org/10.1515/9783112316009

Cichy， R. M.， amp; Kaiser， D. （2019）. Deep neural networks as scientific models. Trends in Cognitive Sciences， 23（4）， 305?317. https：//doi.org/10.1016/j.tics.2019.01.009

Conneau， A.， Kiela， D.， Schwenk， H.， Barrault， L.， amp; Bordes， A. （2017， September）. Supervised learning of universal sentence representations from natural language inference data. Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing， 670?680， Copenhagen， Denmark. https：//doi.org/10.18653/v1/D17-1070

Cooper， K. E.， amp; Nisbet， E. C. （2016）. Green narratives： How affective responses to media messages influence risk perceptions and policy preferences about environmental hazards. Science Communication， 38（5）， 626?654. https：// doi.org/10.1177/1075547016666843

Cree， G. S.， amp; McRae， K. （2003）. Analyzing the factors underlying the structure and computation of the meaning of chipmunk， cherry， chisel， cheese， and cello （and many other such concrete nouns）. Journal of Experimental Psychology： General， 132（2）， 163?201. https：//doi.org/10.1037/ 0096-3445.132.2.163

Day， M.， Dey， R. K.， Baucum， M.， Paek， E. J.， Park， H.， amp; Khojandi， A. （2021， November）. Predicting severity in people with aphasia： A natural language processing and machine learning approach. Annual International Conference of the IEEE Engineering in Medicine amp; Biology Society （EMBC）， 2021， 2299?2302， Mexico. https：//doi.org/10.1109/ embc46164.2021.9630694

de Boer， J. N.， Voppel， A. E.， Begemann， M. J. H.， Schnack， H. G.， Wijnen， F.， amp; Sommer， I. E. C. （2018）. Clinical use of semantic space models in psychiatry and neurology： A systematic review and meta-analysis. Neuroscience amp; Biobehavioral Reviews， 93， 85?92. https：//doi.org/10.1016/ j.neubiorev.2018.06.008

Deerwester， S.， Dumais， S. T.， Furnas， G. W.， Landauer， T. K.， amp; Harshman， R. （1990）. Indexing by latent semantic analysis. Journal of the American Society for Information Science， 41（6）， 391?407. https：//doi.org/10.1002/（sici）1097- 4571（199009）41：6lt;391：：aid-asi1gt;3.0.co;2-9

Devlin， J.， Chang， M.-W.， Lee， K.， amp; Toutanova， K. （2018）. BERT： Pre-training of deep bidirectional transformers for language understanding. arXiv. https：//doi.org/10.48550/ arXiv.1810.04805

Dubova， M. （2022）. Building human-like communicative intelligence： A grounded perspective. Cognitive Systems Research， 72， 63?79. https：//doi.org/10.1016/j.cogsys. 2021.12.002

Dumais， S. T. （2004）. Latent semantic analysis. Annual Review of Information Science and Technology， 38（1）， 189?230. https：//doi.org/10.1002/aris.1440380105

Dupre la Tour， T.， Eickenberg， M.， Nunez-Elizalde， A. O.， amp; Gallant， J. L. （2022）. Feature-space selection with banded ridge regression. NeuroImage， 264， 119728. https：//doi.org/ 10.1016/j.neuroimage.2022.119728

Elman， J. L. （1990）. Finding structure in time. Cognitive Science， 14（2）， 179?211. https：//doi.org/10.1207/s15516709cog1402_1

Fedorenko， E.， Nieto-Castanon， A.， amp; Kanwisher， N. （2012）. Lexical and syntactic representations in the brain： An fMRI investigation with multi-voxel pattern analyses. Neuropsychologia， 50（4）， 499?513. https：//doi.org/10.1016/ j.neuropsychologia.2011.09.014

Fernandino， L.， Binder， J. R.， Desai， R. H.， Pendl， S. L.， Humphries， C. J.， Gross， W. L.， ... Seidenberg， M. S. （2016a）. Concept representation reflects multimodal abstraction： A framework for embodied semantics. Cerebral Cortex， 26（5）， 2018?2034. https：//doi.org/10.1093/cercor/bhv020

Fernandino， L.， Humphries， C. J.， Conant， L. L.， Seidenberg， M. S.， amp; Binder， J. R. （2016b）. Heteromodal cortical areas encode sensory-motor features of word meaning. Journal of Neuroscience， 36（38）， 9763?9769. https：//doi.org/10.1523/ jneurosci.4095-15.2016

Fernandino， L.， Tong， J.-Q.， Conant， L. L.， Humphries， C. J.， amp; Binder， J. R. （2022）. Decoding the information structure underlying the neural representation of concepts. Proceedings of the National Academy of Sciences of the United States of America， 119（6）. https：//doi.org/10.1073/pnas.2108091119

Finn， E. S.， amp; Bandettini， P. A. （2021）. Movie-watching outperforms rest for functional connectivity-based prediction of behavior. NeuroImage， 235， 117963. https：//doi.org/10.1016/ j.neuroimage.2021.117963

Fraser， K. C.， Meltzer， J. A.， amp; Rudzicz， F. （2016）. Linguistic features identify Alzheimer's disease in narrative speech. Journal of Alzheimers Disease， 49（2）， 407?422. https：//doi.org/ 10.3233/jad-150520

Gao， Z.， Zheng， L.， Gouws， A.， Krieger-Redwood， K.， Wang， X.， Varga， D.， ... amp; Jefferies， E. （2023）. Context free and context-dependent conceptual representation in the brain. Cerebral Cortex， 33（1）， 152?166. https：//doi.org/10.1093/ cercor/bhac058

Goldberg， Y. （2019）. Assessing BERT's syntactic abilities. arXiv. https：//doi.org/10.48550/arXiv.1901.05287

Goldstein， A.， Zada， Z.， Buchnik， E.， Schain， M.， Price， A.， Aubrey， B.， ... Hasson， U. （2022）. Shared computational principles for language processing in humans and deep language models. Nature Neuroscience， 25（3）， 369?380. https：//doi.org/10.1038/s41593-022-01026-4

Gonzalez， J.， Barros-Loscertales， A.， Pulvermüller， F.， Meseguer， V.， Sanjuan， A.， Belloch， V.， amp; Avila， C. （2006）. Reading cinnamon activates olfactory brain regions. NeuroImage， 32（2）， 906?912. https：//doi.org/10.1016/ j.neuroimage.2006.03.037

Graves， A.， Mohamed， A.-r.， amp; Hinton， G. （2013， May）. Speech recognition with deep recurrent neural networks. 2013 IEEE International Conference on Acoustics， Speech and Signal Processing， 6645?6649， Vancouver， BC， Canada. https：//doi.org/10.1109/ICASSP.2013.6638947

Hagoort， P.， amp; Indefrey， P. （2014）. The neurobiology of language beyond single words. Annual Review of Neuroscience， 37（1）， 347?362. https：//doi.org/10.1146/ annurev-neuro-071013-013847

Hamilton， L. S.， amp; Huth， A. G. （2020）. The revolution will not be controlled： Natural stimuli in speech neuroscience. Language， Cognition and Neuroscience， 35（5）， 573582. https：//doi.org/10.1080/23273798.2018.1499946

Harris， Z. S. （1954）. Distributional structure. Word-Journal of the International Linguistic Association， 10（2-3）， 146? 162. https：//doi.org/10.1080/00437956.1954.11659520

Hasson， U.， Yang， E.， Vallines， I.， Heeger， D. J.， amp; Rubin， N. （2008）. A hierarchy of temporal receptive windows in human cortex. Journal of Neuroscience， 28（10）， 2539?2550. https：//doi.org/10.1523/JNEUROSCI.5487-07.2008

Hobbs， J. R. （1977）. Pronoun resolution. ACM SIGART Bulletin （61）， 28?28. https：//doi.org/10.1145/1045283.1045292

Hochreiter， S.， amp; Schmidhuber， J. （1997）. Long short-term memory. Neural Computation， 9（8）， 1735?1780. https：//doi.org/ 10.1162/neco.1997.9.8.1735

Humphreys， G. F.， Lambon Ralph， M. A.， amp; Simons， J. S. （2021）. A unifying account of angular gyrus contributions to episodic and semantic cognition. Trends in Neurosciences， 44（6）， 452?463. https：//doi.org/10.1016/ j.tins.2021.01.006

Huth， A. G.， de Heer， W. A.， Griffiths， T. L.， Theunissen， F. E.， amp; Gallant， J. L. （2016）. Natural speech reveals the semantic maps that tile human cerebral cortex. Nature， 532（7600）， 453?458. https：//doi.org/10.1038/nature17637

Jain， S.， amp; Huth， A. G. （2018， December）. Incorporating context into language encoding models for fMRI. Advances in Neural Information Processing Systems， 31， 6629?6638， Montreal， Canada.

Jelodar， H.， Wang， Y.， Yuan， C.， Feng， X.， Jiang， X.， Li， Y.， amp; Zhao， L. （2019）. Latent dirichlet allocation （LDA） and topic modeling： Models， applications， a survey. Multimedia Tools and Applications， 78（11）， 15169?15211. https：//doi.org/ 10.1007/s11042-018-6894-4

Kiefer， M.， amp; Pulvermüller， F. （2012）. Conceptual representations in mind and brain： Theoretical developments， current evidence and future directions. Cortex， 48（7）， 805?825. https：//doi.org/10.1016/j.cortex.2011.04.006

Kivisaari， S. L.， van Vliet， M.， Hulten， A.， Lindh-Knuutila， T.， Faisal， A.， amp; Salmelin， R. （2019）. Reconstructing meaning from bits of information. Nature Communications， 10（1）， 927. https：//doi.org/10.1038/s41467-019-08848-0

Kriegeskorte， N.， amp; Douglas， P. K. （2018）. Cognitive computational neuroscience. Nature Neuroscience， 21（9）， 1148?1160. https：//doi.org/10.1038/s41593-018-0210-5

Kriegeskorte， N.， amp; Douglas， P. K. （2019）. Interpreting encoding and decoding models. Current Opinion in Neurobiology， 55， 167?179. https：//doi.org/10.1016/j.conb.2019.04.002

Kriegeskorte， N.， Mur， M.， amp; Bandettini， P. （2008）. Representational similarity analysis - connecting the branches of systems neuroscience. Frontiers in Systems Neuroscience， 2， 4. https：//doi.org/10.3389/neuro.06.004.2008

Kumar， A. A. （2021）. Semantic memory： A review of methods， models， and current challenges. Psychonomic Bulletin amp; Review， 28（1）， 40?80. https：//doi.org/10.3758/ s13423-020-01792-x

Kuperberg， G. R. （2007）. Neural mechanisms of language comprehension： Challenges to syntax. Brain Research， 1146， 23?49. https：//doi.org/10.1016/j.brainres.2006.12.063

Lahat， D.， Adali， T.， amp; Jutten， C. （2015）. Multimodal data fusion： An overview of methods， challenges， and prospects. Proceedings of the IEEE， 103（9）， 1449?1477， . https：// doi.org/10.1109/jproc.2015.2460697

Lambon Ralph， M. A.， Jefferies， E.， Patterson， K.， amp; Rogers， T. T. （2017）. The neural and computational bases of semantic cognition. Nature Reviews： Neuroscience， 18（1）， 42?55. https：//doi.org/10.1038/nrn.2016.150

Laurino Dos Santos， H.， amp; Berger， J. （2022）. The speed of stories： Semantic progression and narrative success. Journal of Experimental Psychology： General， 151（8）， 1833?1842. https：//doi.org/10.1037/xge0001171

Law， R.， amp; Pylkkanen， L. （2021）. Lists with and without syntax： A new approach to measuring the neural processing of syntax. Journal of Neuroscience， 41（10）， 2186?2196. https：//doi.org/10.1523/JNEUROSCI.1179-20.2021

Lee， D. D.， amp; Seung， H. S. （1999）. Learning the parts of objects by non-negative matrix factorization. Nature， 401（6755）， 788?791. https：//doi.org/10.1038/44565

Lee， H.， amp; Chen， J. （2022）. Predicting memory from the network structure of naturalistic events. Nature Communications， 13（1）， 4235. https：//doi.org/10.1038/s41467-022-31965-2

Lerner， Y.， Honey， C. J.， Silbert， L. J.， amp; Hasson， U. （2011）. Topographic mapping of a hierarchy of temporal receptive windows using a narrated story. Journal of Neuroscience， 31（8）， 2906?2915. https：//doi.org/10.1523/jneurosci.3684-10.2011

Margulies， D. S.， Ghosh， S. S.， Goulas， A.， Falkiewicz， M.， Huntenburg， J. M.， Langs， G.， ... Smallwood， J. （2016）. Situating the default-mode network along a principal gradient of macroscale cortical organization. Proceedings of the National Academy of Sciences of the United States of America， 113（44）， 12574?12579. https：//doi.org/10.1073/ pnas.1608282113

Matchin， W.， Brodbeck， C.， Hammerly， C.， amp; Lau， E. （2019）. The temporal dynamics of structure and content in sentence comprehension： Evidence from fMRI-constrained MEG. Human Brain Mapping， 40（2）， 663?678. https：//doi.org/ 10.1002/hbm.24403

McClelland， J. L.， Hill， F.， Rudolph， M.， Baldridge， J.， amp; Schutze， H. （2020）. Placing language in an integrated understanding system： Next steps toward human-level performance in neural language models. Proceedings of the National Academy of Sciences of the United States of America， 117（42）， 25966?25974. https：//doi.org/10.1073/ pnas.1910416117

Mcculloch， W. S.， amp; Pitts， W. （1943）. A logical calculus of the ideas immanent in nervous activity. The Bulletin of Mathematical Biophysics， 5（4）， 115?133. https：//doi.org/ 10.1007/bf02478259

Miani， A.， Hills， T.， amp; Bangerter， A. （2022）. Interconnectedness and （in）coherence as a signature of conspiracy worldviews. Science Advances， 8（43）， eabq3668. https：//doi.org/10.1126/ sciadv.abq3668

Mikolov， T.， Chen， K.， Corrado， G.， amp; Dean， J. （2013a）. Efficient estimation of word representations in vector space. arXiv. https：//doi.org/10.48550/arXiv.1301.3781

Mikolov， T.， Karafiat， M.， Burget， L.， Cernocky， J. H.， amp; Khudanpur， S. （2010， September）. Recurrent neural network based language model. 11th Annual Conference of the International Speech Communication Association 2010， 1045?1048， Makuhari， Chiba， Japan.

Mikolov， T.， Sutskever， I.， Chen， K.， Corrado， G.， amp; Dean， J. （2013b）. Distributed representations of words and phrases and their compositionality. arXiv. https：//doi.org/10.48550/ arXiv.1310.4546

Mitchell， T. M.， Shinkareva， S. V.， Carlson， A.， Chang， K.-M.， Malave， V. L.， Mason， R. A.， amp; Just， M. A. （2008）. Predicting human brain activity associated with the meanings of nouns. Science， 320（5880）， 1191?1195. https：//doi.org/10.1126/science.1152876

Nastase， S. A.， Connolly， A. C.， Oosterhof， N. N.， Halchenko， Y. O.， Guntupalli， J. S.， Visconti Di Oleggio Castello， M.， ... Haxby， J. V. （2017）. Attention selectively reshapes the geometry of distributed semantic representation. Cerebral Cortex， 27（8）， 4277?4291. https：//doi.org/10.1093/ cercor/bhx138

Nevler， N.， Ash， S.， McMillan， C.， Elman， L.， McCluskey， L.， Irwin， D. J.， ... Grossman， M. （2020）. Automated analysis of natural speech in amyotrophic lateral sclerosis spectrum disorders. Neurology， 95（12）， E1629?E1639. https：//doi.org/ 10.1212/wnl.0000000000010366

Nguyen， M.， Vanderwal， T.， amp; Hasson， U. （2019）. Shared understanding of narratives is correlated with shared neural responses. NeuroImage， 184， 161?170. https：//doi.org/ 10.1016/j.neuroimage.2018.09.010

Paivio， A. （1991）. Dual coding theory： Retrospect and current status. Canadian Journal of Psychology / Revue canadienne de psychologie， 45（3）， 255?287. https：//doi.org/ 10.1037/h0084295

Patel， T.， Morales， M.， Pickering， M. J.， amp; Hoffman， P. （2022）. A common neural code for meaning in discourse production and comprehension. bioRxiv. https：//doi.org/ 10.1101/2022.10.15.512349

Patterson， K.， Nestor， P. J.， amp; Rogers， T. T. （2007）. Where do you know what you know？ The representation of semantic knowledge in the human brain. Nature Reviews Neuroscience， 8（12）， 976?987. https：//doi.org/10.1038/nrn2277

Peters， M. E.， Neumann， M.， Iyyer， M.， Gardner， M.， Clark， C.， Lee， K.， amp; Zettlemoyer， L. （2018， June）. Deep contextualized word representations. Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics： Human Language Technologies， 1， 2227?2237， New Orleans， Louisiana， USA. https：//doi.org/10.18653/v1/N18-1202

Petersson， K.-M.， Folia， V.， amp; Hagoort， P. （2012）. What artificial grammar learning reveals about the neurobiology of syntax. Brain and Language， 120（2）， 83?95. https：// doi.org/10.1016/j.bandl.2010.08.003

Poldrack， R. A.， Wagner， A. D.， Prull， M. W.， Desmond， J. E.， Glover， G. H.， amp; Gabrieli， J. D. （1999）. Functional specialization for semantic and phonological processing in the left inferior prefrontal cortex. NeuroImage， 10（1）， 15?35. https：//doi.org/10.1006/nimg.1999.0441

Prince， J. S.， Charest， I.， Kurzawski， J. W.， Pyles， J. A.， Tarr， M. J.， amp; Kay， K. N. （2022）. Improving the accuracy of single-trial fMRI response estimates using GLMsingle. eLife， 11， e77599. https：//doi.org/10.7554/elife.77599

Pulvermüller， F. （2013）. How neurons make meaning： Brain mechanisms for embodied and abstract-symbolic semantics. Trends in Cognitive Sciences， 17（9）， 458?470. https：//doi.org/ 10.1016/j.tics.2013.06.004

Pulvermüller， F.， Harle， M.， amp; Hummel， F. （2001）. Walking or talking？ Behavioral and neurophysiological correlates of action verb processing. Brain and Language， 78（2）， 143?168. https：//doi.org/10.1006/brln.2000.2390

Pulvermüller， F.， Kherif， F.， Hauk， O.， Mohr， B.， amp; Nimmo-Smith， I. （2009）. Distributed cell assemblies for general lexical and category-specific semantic processing as revealed by fMRI cluster analysis. Human Brain Mapping， 30（12）， 3837?3850. https：//doi.org/10.1002/hbm.20811

Pulvermüller， F.， Lutzenberger， W.， amp; Preissl， H. （1999）. Nouns and verbs in the intact brain： Evidence from event-related potentials and high-frequency cortical responses. Cerebral Cortex， 9（5）， 497?506. https：//doi.org/10.1093/cercor/9.5.497

Pylkkanen， L. （2019）. The neural basis of combinatory syntax and semantics. Science， 366（6461）， 62?66. https：// doi.org/10.1126/science.aax0050

Quoc， L.， amp; Mikolov， T. （2014， June）. Distributed representations of sentences and documents. Proceedings of the 31st International Conference on Machine Learning， 32， 1188? 1196， Beijing， China.

Radford， A.， Wu， J.， Child， R.， Luan， D.， Amodei， D.， amp; Sutskever， I. （2019）. Language models are unsupervised multitask learners. OpenAI Blog， 1（8）， 9.

Rodd， J.， Gaskell， G.， amp; Marslen-Wilson， W. （2002）. Making sense of semantic ambiguity： Semantic competition in lexical access. Journal of Memory and Language， 46（2）， 245?266. https：//doi.org/10.1006/jmla.2001.2810

Salton， G.， Wong， A.， amp; Yang， C. S. （1975）. A vector space model for automatic indexing. Communications of the ACM， 18（11）， 613?620. https：//doi.org/10.1145/361219.361220

Schrimpf， M.， Blank， I. A.， Tuckute， G.， Kauf， C.， Hosseini， E. A.， Kanwisher， N.， ... Fedorenko， E. （2021）. The neural architecture of language： Integrative modeling converges on predictive processing. Proceedings of the National Academy of Sciences of the United States of America， 118（45）. https：//doi.org/10.1073/pnas.2105646118

Schwartz， D.， Toneva， M.， amp; Wehbe， L. （2019， December）. Inducing brain-relevant bias in natural language processing models. Advances in Neural Information Processing Systems， 32， 14123?14133， Vancouver， Canada. https：//dl.acm.org/doi/ 10.5555/3454287.3455553

Segaert， K.， Menenti， L.， Weber， K.， Petersson， K. M.， amp; Hagoort， P. （2012）. Shared syntax in language production and language comprehension—an fMRI study. Cerebral Cortex， 22（7）， 1662?1670. https：//doi.org/10.1093/cercor/bhr249

Simony， E.， Honey， C. J.， Chen， J.， Lositsky， O.， Yeshurun， Y.， Wiesel， A.， amp; Hasson， U. （2016）. Dynamic reconfiguration of the default mode network during narrative comprehension. Nature Communications， 7（1）， 12141. https：//doi.org/10.1038/ncomms12141

Smallwood， J.， Bernhardt， B. C.， Leech， R.， Bzdok， D.， Jefferies， E.， amp; Margulies， D. S. （2021）. The default mode network in cognition： A topographical perspective. Nature Reviews Neuroscience， 22（8）， 503?513. https：//doi.org/10.1038/ s41583-021-00474-4

Socher， R.， Perelygin， A.， Wu， J.， Chuang， J.， Manning， C. D.， Ng， A.， amp; Potts， C. （2013， October）. Recursive deep models for semantic compositionality over a sentiment treebank. Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing， 1631?1642， Seattle， Washington， USA. https：//aclanthology.org/D13-1170

Solomon， S. H.， Medaglia， J. D.， amp; Thompson-Schill， S. L. （2019）. Implementing a concept network model. Behavior Research Methods， 51（4）， 1717?1736. https：//doi.org/10.3758/ s13428-019-01217-1

Sun， X.， Yang， D.， Li， X.， Zhang， T.， Meng， Y.， Qiu， H.， ... Li， J. （2021）. Interpreting deep learning models in natural language processing： A review. arXiv. https：//doi.org/10.48550/ arXiv.2110.10470

Sundermeyer， M.， Schluter， R.， amp; Ney， H. （2012， September）. LSTM neural networks for language modeling. 13th Annual Conference of the International Speech Communication Association， 194?197， Portland， Oregon， USA. https：//doi.org/ 10.21437/Interspeech.2012-65

Sutskever， I.， Vinyals， O.， amp; Le， Q. V. （2014， December）. Sequence to sequence learning with neural networks. Advances in Neural Information Processing Systems， 27， Montreal， Canada. https：//dl.acm.org/doi/10.5555/2969033.2969173

Tikochinski， R.， Goldstein， A.， Yeshurun， Y.， Hasson， U.， amp; Reichart， R. （2021）. Fine-tuning of deep language models as a computational framework of modeling listeners’ perspective during language comprehension. bioRxiv. https：//doi.org/10.1101/2021.11.22.469596

Toneva， M.， amp; Wehbe， L. （2019， December）. Interpreting and improving natural-language processing （in machines） with natural language-processing （in the brain）. Advances in Neural Information Processing Systems， 32， 14954? 14964， Vancouver， Canada. https：//dl.acm.org/doi/10.5555/ 3454287.3455626

Tong， J.， Binder， J. R.， Humphries， C.， Mazurchuk， S.， Conant， L. L.， amp; Fernandino， L. （2022）. A distributed network for multimodal experiential representation of concepts. Journal of Neuroscience， 42（37）， 7121?7130. https：//doi.org/10.1523/JNEUROSCI.1243-21.2022

Vaswani， A.， Shazeer， N.， Parmar， N.， Uszkoreit， J.， Jones， L.， Gomez， A. N.， ... Polosukhin， I. （2017， December）. Attention is all you need. Advances in Neural Information Processing Systems， 30， Long Beach， California， USA. https：//dl.acm.org/doi/10.5555/3295222.3295349

Vodrahalli， K.， Chen， P.-H.， Liang， Y.， Baldassano， C.， Chen， J.， Yong， E.， ... Arora， S. （2018）. Mapping between fMRI responses to movies and their natural language annotations. NeuroImage， 180， 223?231. https：//doi.org/10.1016/ j.neuroimage.2017.06.042

Wang， S.， Zhang， J.， Lin， N.， amp; Zong， C. （2018， February）. Investigating inner properties of multimodal representation and semantic compositionality with brain-based componential semantics. Proceedings of the AAAI Conference on Artificial Intelligence， 30（1）， 5964?5972， New Orleans， Louisiana， USA. https：//doi.org/10.1609/aaai.v32i1.12032

Wang， S.， Zhang， J.， Lin， N.， amp; Zong， C. （2020， February）. Probing brain activation patterns by dissociating semantics and syntax in sentences. Proceedings of the AAAI Conference on Artificial Intelligence， 34（05）， 9201?9208， New York， USA. https：//doi.org/10.1609/aaai.v34i05.6457

Wang， S.， Zhang， J.， amp; Zong， C. （2018， October-November）. Associative multichannel autoencoder for multimodal word representation. Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing， 115? 124， Brussels， Belgium. https：//doi.org/10.18653/v1/D18-1011

Wang， X.， Wu， W.， Ling， Z.， Xu， Y.， Fang， Y.， Wang， X.， ... Bi， Y. （2018）. Organizational principles of abstract words in the human brain. Cerebral Cortex， 28（12）， 4305-4318. https：//doi.org/10.1093/cercor/bhx283

Warburton， E.， Wise， R. J.， Price， C. J.， Weiller， C.， Hadar， U.， Ramsay， S.， amp; Frackowiak， R. S. （1996）. Noun and verb retrieval by normal subjects studies with PET. Brain， 119， 159?179. https：//doi.org/10.1093/brain/119.1.159

Wehbe， L.， Murphy， B.， Talukdar， P.， Fyshe， A.， Ramdas， A.， amp; Mitchell， T. （2014）. Simultaneously uncovering the patterns of brain regions involved in different story reading subprocesses. PLoS One， 9（11）， e112575. https：//doi.org/ 10.1371/journal.pone.0112575

Wu， S.， amp; Dredze， M. （2019， November）. Beto， bentz， becas： The surprising cross-lingual effectiveness of BERT. Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing （EMNLP- IJCNLP）， 833?844， Hong Kong， China. https：//doi.org/ 10.18653/v1/D19-1077

Wurm， M. F.， amp; Caramazza， A. （2019）. Distinct roles of temporal and frontoparietal cortex in representing actions across vision and language. Nature Communications， 10（1）， 289. https：//doi.org/10.1038/s41467-018-08084-y

Xu， C.， Zhang， Y.， Zhu， G.， Rui， Y.， Lu， H.， amp; Huang， Q. （2008）. Using webcast text for semantic event detection in broadcast sports video. IEEE Transactions on Multimedia， 10（7）， 1342?1355. https：//doi.org/10.1109/Tmm.2008.2004912

Yee， E.， amp; Thompson-Schill， S. L. （2016）. Putting concepts into context. Psychonomic Bulletin amp; Review， 23（4）， 1015?1027. https：//doi.org/10.3758/s13423-015-0948-7

Yeshurun， Y.， Nguyen， M.， amp; Hasson， U. （2021）. The default mode network： Where the idiosyncratic self meets the shared social world. Nature Reviews： Neuroscience， 22（3）， 181?192. https：//doi.org/10.1038/s41583-020-00420-w

Yin， W.， Kann， K.， Yu， M.， amp; Schütze， H. （2017）. Comparative study of cnn and rnn for natural language processing. arXiv. https：//doi.org/10.48550/arXiv.1702.01923

Zhang， X.， Wang， S.， Lin， N.， Zhang， J.， amp; Zong， C. （2022， February）. Probing word syntactic representations in the brain by a feature elimination method. Proceedings of the AAAI Conference on Artificial Intelligence， 36（10）， 11721?11729. https：//doi.org/10.1609/aaai.v36i10.21427

Zhang， Y.， amp; Wallace， B. （2017）. A sensitivity analysis of （and practitioners’ guide to） convolutional neural networks for sentence classification. arXiv， 253?263. https：//doi.org/ 10.48550/arXiv.1510.03820

Zhu， X.， Li， Z.， Wang， X.， Jiang， X.， Sun， P.， Wang， X.， ... Yuan， N. J. （2022）. Multi-modal knowledge graph construction and application： A survey. IEEE Transactions on Knowledge and Data Engineering， 1?20. https：//doi.org/10.1109/ tkde.2022.3224228

Abstract： How semantics are represented in human brain is a central issue in cognitive neuroscience. Previous studies typically address this issue by artificially manipulating the properties of stimuli or task demands. Having brought valuable insights into the neurobiology of language， this psychological experimental approach may still fail to characterize semantic information with high resolution， and have difficulty quantifying context information and high-level concepts. The recently-developed natural language processing （NLP） techniques provide tools to represent the discrete semantics in the form of vectors， enabling automatic extraction of word semantics and even the information of context and syntax. Recent studies have applied NLP techniques to model the semantic of stimuli， and mapped the semantic vectors onto brain activities through representational similarity analyses or linear regression. A consistent finding is that the semantic information is represented by a vastly distributed network across the frontal， temporal and occipital cortices. Future studies may adopt multi-modal neural networks and knowledge graphs to extract richer information of semantics， apply NLP models to automatically assess the language ability of special groups， and improve the interpretability of deep neural network models with neurocognitive findings.

Keywords： semantic representation， brain， natural language processing， language model