具身視角下文本閱讀的增量加工探索

李晶晶 邵雯鈺

內(nèi)容摘要：本文主要從具身語言認(rèn)知視角切入，探討語言理解的增量性對(duì)文本閱讀加工的影響，并對(duì)文本閱讀加工中語內(nèi)信息和語外信息之間的交互關(guān)系和層級(jí)制約關(guān)系進(jìn)行例證和分析。研究表明：第一，文本中的句法語義增量加工有助于讀者動(dòng)態(tài)地預(yù)測(cè)接下來的信息并根據(jù)預(yù)期做出相應(yīng)的變化;第二，語境制約強(qiáng)于語言規(guī)則制約，無論是語內(nèi)語境還是語外語境提供的信息都可以即時(shí)地影響大腦對(duì)文本中句法結(jié)構(gòu)的選擇策略。其原因主要是語境這種高水平的信息可以自上而下地影響句法的最初選擇策略，進(jìn)而直接參與到文本閱讀過程中。

關(guān)鍵詞：具身認(rèn)知 文本閱讀 語言理解 增量加工 層級(jí)制約

語言理解過程具有具身性、層級(jí)性和整合性特征（林立紅 2016）。具身性是指語言加工不是完全基于抽象符號(hào)的純粹認(rèn)知活動(dòng)，身體對(duì)認(rèn)知加工有直接影響，知覺和運(yùn)動(dòng)系統(tǒng)在概念的形成和理性推理中起基礎(chǔ)性作用（Basalou 1999）。層級(jí)性是指語內(nèi)信息和語外信息之間相互聯(lián)系，具有層級(jí)制約關(guān)系，其中較小語言單位的語義信息受制于較大語言單位的語義信息，語內(nèi)信息受制于語外信息（于善志 2015）。整合性是指讀者在理解文本時(shí)，會(huì)即時(shí)提取文本中的物體和動(dòng)作的聯(lián)覺等語外信息，并在句法指導(dǎo)下對(duì)各種信息進(jìn)行整合（林立紅 2016）。如在加工句子“她打開 ______”中，讀者僅僅通過理解動(dòng)詞“打開”，就開始構(gòu)建各種“打開”的動(dòng)作表征，而最合適的打開動(dòng)作將根據(jù)具體對(duì)象在增量式加工中確定——打開“冰箱”通常表示用一只手握住冰箱把手并呈抓手形收回手臂，而打開“一包薯片”意味著雙手向外水平運(yùn)動(dòng)，這表明讀者對(duì)文本信息的表征是具身的，受到語外信息的制約，最終通過對(duì)各種信息的整合完成對(duì)文本的加工。

一.語言理解與增量加工

許多關(guān)于語言加工的解釋都認(rèn)為，語言加工是即時(shí)的，屬于增量式加工，人們將他們看或聽到的詞語整合到當(dāng)前文本或話語的持續(xù)表征中（Sanford & Emmott 2012）。也就是說，人們理解正在進(jìn)行的文本或話語時(shí)會(huì)快速地、以遞增式的方式來構(gòu)建或修正句法語義表征，動(dòng)態(tài)地預(yù)測(cè)接下來的信息并根據(jù)預(yù)期做出相應(yīng)的變化（Altmann & Kamide 1999;Mazuka & Itoh 1995;Sedivy et al. 1999;Sato et al. 2013）。

有研究者利用大腦成像技術(shù) （如 PET正電子放射斷層造影術(shù)、fMRI功能磁共振成像技術(shù)）證明人腦中存在鏡像神經(jīng)系統(tǒng)。研究者發(fā)現(xiàn)，在大腦的布羅卡區(qū) （Broca），人們做實(shí)際動(dòng)作與閱讀描述動(dòng)作文本時(shí)的腦區(qū)反應(yīng)相似，由此得出“語言是基于動(dòng)作的”結(jié)論。動(dòng)詞在句子意義中起著重要的作用，英語句子中的動(dòng)詞通常出現(xiàn)較早，以動(dòng)詞為基礎(chǔ)信息對(duì)下文有預(yù)測(cè)的作用，在語義上指定合適的指稱對(duì)象（Altmann & Kamide 1999;Dahan & Tanenhaus 2004）。也就是說，動(dòng)詞的選擇可以突出對(duì)指稱對(duì)象的一些感知細(xì)節(jié)，例如，“抬鋼琴”可能會(huì)激活與鋼琴的大小和重量相關(guān)的細(xì)節(jié)，而“彈鋼琴”可能會(huì)激活鋼琴的聲音屬性或鋼琴鍵的手感（Barclay et al. 1974; Tabossi 1998; Zeelenberg et al. 2003）。

Altman和Kamide（1999）采用視覺情境范式（the visual world paradigm， VWP），對(duì)語言加工中的預(yù)測(cè)性進(jìn)行了考察，研究發(fā)現(xiàn)，受試在加工句子的同時(shí)觀看高度受限的視覺表征時(shí)，會(huì)使用語言信息以及從世界知識(shí)中獲取的視覺信息和儲(chǔ)存在大腦中的語義知識(shí)來預(yù)測(cè)即將出現(xiàn)的非動(dòng)詞實(shí)體，這表明語言理解是可預(yù)測(cè)的，也是增量的。實(shí)驗(yàn)中受試在聽句子的同時(shí)觀看一個(gè)視覺場(chǎng)景，視覺場(chǎng)景中一些所描述的物體與聽到的句子相關(guān)，另一些物體（干擾項(xiàng)）則與聽到的句子無關(guān)。研究發(fā)現(xiàn)受試會(huì)更多地注視與聽覺信息具有語義關(guān)系的物體，即對(duì)受動(dòng)詞限制的物體的注視比例比不受限制的物體更多。例如，受試在聽“男孩將會(huì)吃/移動(dòng)蛋糕”時(shí)，在聽到“吃”的時(shí)候就已經(jīng)有指向目標(biāo)物“蛋糕”的眼跳出現(xiàn)，并且蛋糕的圖片得到了比其他干擾圖片更多的注視。眼動(dòng)追蹤結(jié)果還發(fā)現(xiàn)，在目標(biāo)詞還未出現(xiàn)之前就產(chǎn)生了指向目標(biāo)物的眼動(dòng)，這表明似乎只要?jiǎng)釉~出現(xiàn)時(shí)就可以提取到動(dòng)詞的完整意義（即真正的增量性），進(jìn)而預(yù)測(cè)接下來可能出現(xiàn)的單詞。由此可見，動(dòng)詞在句子意義中起著重要的作用，以動(dòng)詞為基礎(chǔ)信息對(duì)下文有預(yù)測(cè)的作用，在語義上指定合適的指稱對(duì)象。

另外，自定步速閱讀實(shí)驗(yàn)表明，理解者在識(shí)別到不同的信息時(shí)會(huì)立即激活文本所隱含的動(dòng)作表征，增量式地構(gòu)建所描述場(chǎng)景的細(xì)節(jié)表征（Taylor & Zwaan 2008;Zwaan & Taylor 2006）。如Zwaan & Taylor（2006）研究句子加工過程中發(fā)生的動(dòng)作共鳴。在這一實(shí)驗(yàn)中受試閱讀如下句子“他/意識(shí)到/音樂聲/太大/于是/減弱了/聲量”。句子以分區(qū)形式呈現(xiàn)，受試邊轉(zhuǎn)動(dòng)旋扭邊進(jìn)行閱讀，結(jié)果發(fā)現(xiàn)受試在閱讀暗示特定手動(dòng)旋轉(zhuǎn)的動(dòng)詞區(qū)域時(shí)，會(huì)立即激活特定方向的運(yùn)動(dòng)信息。即當(dāng)句子描述的旋轉(zhuǎn)方向（如減弱聲量暗示逆時(shí)針）與受試實(shí)際轉(zhuǎn)動(dòng)旋扭方向（逆時(shí)針）一致時(shí)，受試閱讀句子較快;當(dāng)這兩類方向不一致時(shí)，受試閱讀句子較慢。且研究結(jié)果發(fā)現(xiàn)動(dòng)作共鳴局限于句中所謂的“目標(biāo)區(qū)域”（即句子描述旋轉(zhuǎn)的內(nèi)容），這是所有測(cè)試句子的動(dòng)詞區(qū)域，這表明行為模擬或動(dòng)作共鳴是在閱讀到關(guān)鍵動(dòng)作時(shí)產(chǎn)生的結(jié)果，受試在動(dòng)詞信息被整合時(shí)才構(gòu)建手部動(dòng)作事件的心理表征。動(dòng)作共鳴的即時(shí)性與句子加工的限制性模型（Constraint-based Models of sentence processing）的看法相吻合（MacDonald et al. 1994），即動(dòng)詞詞組緊接著名詞詞組名詞的出現(xiàn)將注意焦點(diǎn)從行為指向結(jié)果目標(biāo)，這也為語言理解是增量式的提供了一定的證據(jù)。

二.增量加工中的層級(jí)制約關(guān)系

語言的加工并不是獨(dú)立于其他信息的加工，而是各種信息即時(shí)交互作用、相互制約的結(jié)果。其中語外語境、語內(nèi)語境和語言單位本身的語義命題之間具有層級(jí)性制約和壓制關(guān)系，語境制約強(qiáng)于語言規(guī)則制約（林立紅 2016;2017）。

MacDonald et al.（1994）認(rèn)為文本理解是全面分析的，在語言加工中各類信息即時(shí)相互作用，語境、句法使用頻率等信息可以即時(shí)被句法加工所使用，初級(jí)階段的句法選擇也會(huì)受到影響，整個(gè)文本的建構(gòu)過程是各種信息交互作用、相互制約的結(jié)果。Altmann et al. （1992）通過嚴(yán)格地控制語境，使語境符合歧義句多種句法結(jié)構(gòu)的其中一種，發(fā)現(xiàn)恰當(dāng)?shù)恼Z境可以移除歧義句中的加工困難，直接選擇與語境相符的句法結(jié)構(gòu)。該結(jié)果說明語境這種高水平的信息可以自上而下地影響句法的最初選擇策略，直接參與到句法初級(jí)階段的加工過程中。另外，Tanenhaus et al.（1995）對(duì)視覺信息如何影響歧義句中的句法選擇進(jìn)行了考察，結(jié)果發(fā)現(xiàn)視覺情境也參與了句法加工的早期階段，并且移除了臨時(shí)歧義句中的加工困難。因此，在文本閱讀過程中，無論是語內(nèi)語境還是語外語境提供的信息都可以即時(shí)地影響大腦對(duì)文本中句法結(jié)構(gòu)的選擇策略，并即時(shí)地應(yīng)用在句子結(jié)構(gòu)歧義的消解上。

Kutas & Hillyard（1980）使用事件相關(guān)電位（event-related potentials，ERPs），給受試逐詞呈現(xiàn)如“He spread the warm bread with socks.”語義異常的句子，記錄受試的腦電反應(yīng)。實(shí)驗(yàn)結(jié)果發(fā)現(xiàn)，在句末語義異常單詞出現(xiàn)后400毫秒附近的時(shí)間窗口出現(xiàn)了波幅顯著增大的負(fù)向腦電波，即N400效應(yīng)，其和單詞的語義加工有關(guān)。隨后也有研究發(fā)現(xiàn)，即使句末詞和前一個(gè)詞具有局部高頻搭配關(guān)系，但與總體句義不符合時(shí)，依然會(huì)誘發(fā) N400效應(yīng)（Coulson et al. 2005;Van Peten & Luka 2006）。這說明儲(chǔ)存在大腦中關(guān)于現(xiàn)實(shí)世界情境的知識(shí)對(duì)文本理解加工有制約作用，由于讀者對(duì)特定情景已經(jīng)建立了相關(guān)心理模型，所以不符合該心理模型的詞匯被視為異常。

認(rèn)知神經(jīng)科學(xué)的相關(guān)研究發(fā)現(xiàn)，當(dāng)讀者閱讀身體動(dòng)作類的動(dòng)詞時(shí)，控制相關(guān)身體動(dòng)作的大腦運(yùn)動(dòng)皮層會(huì)迅速激活（Boulenger et al. 2006;Pulvermu-ller 2005）。而Raposo et al.（2009）利用功能磁共振成像技術(shù)（fMRI）研究大腦對(duì)“kick”在動(dòng)作句如“After six minutes， the new recruit kicked the ball.”和非動(dòng)作句如“After six months， the old man kicked the bucket.”中做出的反應(yīng)。受試聽到句子幾秒鐘之后，呈現(xiàn)一個(gè)視覺探測(cè)詞，并判斷該詞匯與句子意思是否相關(guān)。結(jié)果發(fā)現(xiàn)，對(duì)行為詞本身的研究結(jié)果與Pulvermuller看單詞時(shí)會(huì)激活運(yùn)動(dòng)回路的發(fā)現(xiàn)是相似的，即動(dòng)作句的激活模式與對(duì)行為詞本身的研究中看單詞時(shí)會(huì)激活運(yùn)動(dòng)回路類似，而在習(xí)語語境中的動(dòng)詞則不會(huì)激活相應(yīng)的運(yùn)動(dòng)區(qū)域。這說明當(dāng)不需要單詞字面義的時(shí)候，與字面義相關(guān)的運(yùn)動(dòng)區(qū)域不會(huì)激活。所以當(dāng)使用“kick the bucket”時(shí)，習(xí)語義壓制了動(dòng)詞的本身義，讀者并不需要也不可能親自去體驗(yàn)。

同樣，在加工反語句子時(shí)，由于句子內(nèi)容本身與語境存在語義對(duì)立，語境也可以幫助讀者在增量加工中即時(shí)推斷出信息的真實(shí)情感。如句子“你跑得真快！”在不同的語境說明下，讀者從中獲取的情感信息也不同。如果語境信息表示的是積極情感信息（跑在其他人前面），讀者理解該句時(shí)就會(huì)獲得強(qiáng)化了的積極情感信息;如果語境表示是消極情感信息（跑在其他人后面），則由于語境制約強(qiáng)于語言規(guī)則制約，所以強(qiáng)消極性情感取消或壓制了語言的積極情感信息，讀者從二者的壓制關(guān)系中獲取“批評(píng)”或“責(zé)怪”之義。再如，句子“這糕點(diǎn)真好吃！”的語內(nèi)概念意義只有一個(gè)，即“糕點(diǎn)好吃”，具有肯定的情感意義。但在具體語境中，若我們通過語外信息如視覺、味覺、嗅覺等感官通道獲取了否定的情感意義時(shí)（如燒焦、異味等），文本表達(dá)的語內(nèi)概念意義就會(huì)受較強(qiáng)語外信息的壓制，由肯定情感義轉(zhuǎn)化為反諷義，這便是語外和語內(nèi)信息之間層級(jí)性制約的結(jié)果。

以上關(guān)于歧義句、語義異常、習(xí)語以及反語的實(shí)驗(yàn)證據(jù)都支持增量語義加工中的層級(jí)制約關(guān)系，且文本閱讀中的增量加工不僅受語言系統(tǒng)內(nèi)部制約，同時(shí)也受其他非語言信息（如物體的聯(lián)覺性、世界知識(shí)、事件信息等）的制約，這些信息的相互作用影響語言的加工過程。

總之，從以上討論可以看出讀者對(duì)文本閱讀的加工是增量式的，其有助于讀者動(dòng)態(tài)地預(yù)測(cè)接下來的信息并根據(jù)預(yù)期做出相應(yīng)的變化。另外，物理世界、社會(huì)世界和情感世界等外部世界影響著讀者對(duì)話語或文本的理解，因此語言的加工會(huì)實(shí)時(shí)的受到其他各類信息的影響和制約，且無論是語內(nèi)語境還是語外語境提供的信息都可以即時(shí)地影響大腦對(duì)文本信息的加工，進(jìn)而影響對(duì)文本閱讀的理解。

參考文獻(xiàn)

[1]Altmann， G. T.， Garnham， A. & Dennis， Y.， 1992. Avoiding the garden path： Eye movements in context[J]. Journal of Memory and Language， 31（5）： 685-712.

[2]Altmann， G. T.， & Kamide， Y.， 1999. Incremental interpretation at verbs： Restricting the domain of subsequent reference[J]. Cognition， 73（3）： 247-264.

[3]Barclay， J. R.， Bransford， J. D.， Franks， J. J.， McCarrell， N. S. & Nitsch， K.， 1974. Comprehension and semantic flexibility[J]. Journal of Verbal Learning and Verbal Behavior， 13（4）： 471-481.

[4]Barsalou， L. W. 1999. Perceptual symbol systems[J]. Behavioral and Brain Sciences， 22（4）： 577-660.

[5]Boulenger， V.， Roy， A. C.， Paulignan， Y.， Deprez， V.， Jeannerod， M. & Nazir， T. A.， 2006. Cross-talk between language processes and overt motor behavior in the first 200 msec of processing. Journal of cognitive neuroscience， 18（10）： 1607-1615.

[6]Coulson， S.， Federmeier， K. D.， Van Petten， C. & Kutas， M.， 2005. Right hemisphere sensitivity to word-and sentence-level context： evidence from event-related brain potentials. Journal of Experimental Psychology： Learning， Memory， and Cognition， 31（1）： 129.

[7]Kutas， M. & Hillyard， S. A.， 1980. Reading senseless sentences： Brain potentials reflect semantic incongruity[J]. Science， 207（4427）： 203-205.

[8]MacDonald， M. C.， Pearlmutter， N. J. & Seidenberg， M. S.， 1994. Syntactic ambiguity resolution as lexical ambiguity resolution[J].

[9]Mazuka， R. & Itoh， K.， 1995. Can Japanese speakers be led down the garden path[J]. Japanese sentence processing， 295-329.

[10]Pulvermüller， F.， 2005. Brain mechanisms linking language and action[J]. Nature reviews neuroscience， 6（7）： 576-582.

[11]Raposo， A.， Moss， H. E.， Stamatakis， E. A. & Tyler， L. K.， 2009. Modulation of motor and premotor cortices by actions， action words and action sentences[J]. Neuropsychologia， 47（2）： 388-396.

[12]Sanford， A. J. & Emmott， C.， 2012. Mind， brain and narrative[M]. Cambridge University Press.

[13]Sato， M.， Schafer， A. J. & Bergen， B. K.， 2013. One word at a time： mental representations of object shape change incrementally during sentence processing[J]. Language and Cognition， 5（4）： 345-37.

[14]Sedivy， J. C.， Tanenhaus， M. K.， Chambers， C. G. & Carlson， G. N.， 1999. Achieving incremental semantic interpretation through contextual representation[J]. Cognition， 71（2）： 109-147.

[15]Tabossi， P.， 1988. Accessing lexical ambiguity in different types of sentential contexts[J]. Journal of memory and language， 27（3）： 324-340.

[16]Tanenhaus， M. K.， M. J. Spivey-Knowlton， K. M. Eberhard & J. C. Sedivy.， 1995. Integration of visual and linguistic information in spoken language comprehension[J]. Science， 268（5217）： 1632-1634.

[17]Taylor， L. J. & R. A. Zwaan. 2008. Motor resonance and linguistic focus[J]. Quarterly Journal of Experimental Psychology， 61（6）： 896-904.

[18]Van Petten， C. & Luka， B. J.， 2006. Neural localization of semantic context effects in electromagnetic and hemodynamic studies[J]. Brain and language， 97（3）： 279-293.

[19]Zeelenberg， R.， Pecher， D.， Shiffrin， R. M. & Raaijmakers， J. G.， 2003. Semantic context effects and priming in word association[J]. Psychonomic Bulletin & Review， 10（3）： 653-660.

[20]Zwaan， R. A. & L. J. Taylor.， 2006. Seeing， acting， understanding： Motor resonance in language comprehension[J]. Journal of Experimental Psychology： General， 135（1）： 1-11.

[21]林立紅，2016，具身語言與具身語言理解[J]. 《寧波大學(xué)學(xué)報(bào)：人文科學(xué)版》，29（2）：27-31.

[22]林立紅，2017，二語多選現(xiàn)象的模塊加工視角[J].《寧波大學(xué)學(xué)報(bào)：人文科學(xué)版》，30（3）：52-56.

[23]于善志，2015，《心理、大腦和敘事》評(píng)介[J]. 《外語教學(xué)與研究》，47（6）：945-950.

基金項(xiàng)目：寧波大學(xué)研究生科研創(chuàng)新基金重點(diǎn)項(xiàng)目“二語隱含情景信息加工的具身認(rèn)知研究”（IF2022059）（主持人李晶晶）;寧波大學(xué)研究生科研創(chuàng)新基金重點(diǎn)項(xiàng)目“人稱視角對(duì)二語時(shí)態(tài)加工影響研究”（IF2022058）（參與人李晶晶）

（作者單位：寧波大學(xué)）