句子理解中語言信息的整合加工機制

安徽工程大學 黃邵娟 蘇濤 黃敏 唐雪梅

提 要： 句子理解過程是對語音、詞匯、句法、語義層面語言信息的整合加工過程。分段式、并行式和一體式模型爭論的核心在于語言信息加工的時間進程和交互作用。根據(jù)已有實驗推測： 1) 語言信息在句子加工中起作用的方向很可能由其本身層次屬性決定： 句法信息作用方向可能向后，語義信息作用方向可能向前；2) 語言信息在句子加工中起作用的強度也很有可能由其本身層次屬性決定，但都還需進一步實驗驗證。語用層面信息加工過程的研究需要加強，實驗材料為漢語的相關研究有待單獨梳理。

1． 引言

句子理解的實時過程是怎樣的，句子加工過程中人們是如何整合語音、詞匯、句法、語義層面的語言信息的，加工這些信息的時間進程如何，迄今并沒有達成共識。爭論的核心在于： 句子理解中對不同層面語言信息的加工是有先有后，先獨立加工再整合加工，還是同時進行，從一開始就交互作用；是涉及幾套不同加工機制，還是一套不可分割的整體機制；各語言信息是一經獲得即被使用，還是到需要時再被調用。目前國內外對句子加工過程的解釋有三類主要觀點： 一類觀點認為對各層面語言信息的加工是分階段進行的，如： 先進行句法加工，再進行語義加工，最后整合各種語言信息，完成整個句子的加工(Friederici， 2002; Bornkessel & Schlesewsky， 2006;等)；另一類觀點認為句子的加工是由至少兩套并行機制完成的(比如一套機制負責句法加工，一套機制負責語義加工)，并行機制之間不存在先后，從一開始就相互作用，同時對不同語言信息進行加工，達成對整個句子的理解(Hagoort， 2005; Kuperberg， 2007;等)；第三類觀點認為對各語言信息的加工涉及密不可分的整體機制，語音、詞匯、句法、語義信息都是即時起作用的(Hagoort & Berkum， 2007; Brouwer， Fitz， & Hoeks， 2012;等)。

隨著眼動、ERP、fMRI、近紅外等技術手段的不斷發(fā)展成熟，語言學界和心理學界對語言加工機制的研究不斷深入，近年來句子加工的實時過程得到了實驗證明。本文在概述句子中語言信息加工理論模型的基礎上，對相關實驗進行綜述，以期從時間進程和交互作用兩方面探索語言信息在句子理解中的整合模式，明確句子加工的神經機制。

2． 句子中語言信息加工的理論模型

2.1 分段式模型

分段式模型認為句子加工過程是分階段進行的，句法信息、語義信息等加工是有時間先后之分的。分段式模型的代表人物主要有兩位，一位是Friederici，另一位是Bornkessel。Friederici， Steinhauer和Frisch(1999)提出句法優(yōu)先模型(syntax-first model)，認為句法結構信息對整合過程的早期產生影響，句法加工在先，語義加工在后。Friederici(2002)在句法優(yōu)先模型的基礎上提出三階段模型，認為句子加工由顳葉-前額葉腦區(qū)支持，句法結構構建在語義加工之前，句法加工與語義加工的交互作用只發(fā)生在后期，即句子加工過程分為三個階段，第一階段進行句法結構構建，第二階段進行詞匯語義信息和句法形態(tài)信息加工，第三階段整合所有信息，達成對句子的解釋。

分段式模型的另一代表人物Bornkessel提出擴展論元依賴模型(extended argument dependency model)，認為句子理解的神經認知機制分為三個層次階段(Bornkessel & Schlesewsky， 2006)： 先是單純的句法結構構建，不包含相關解釋；再是對主題和突出關系進行參數(shù)解釋，指派論元角色；最后整合信息和加工結果，進行合法性評價，完成論元解釋，形成對句子的理解。三段式模型和擴展論元依賴模型都認為句法信息在句子加工過程中是最先起作用的。

2.2 并行式模型

并行式觀點認為句子加工過程不存在先與后，不論是句法信息還是詞匯、語義等信息都是同時加工的，語言信息是在至少兩套并行神經系統(tǒng)中并行操作的。并行式觀點否定了分段式關于句子加工第一階段是句法加工的說法。其代表模型之一是由Hagoort(2005)提出的記憶整合控制模型(memory unification and control model)，該模型認為語言理解的核心是記憶、整合、控制，人們從記憶中提取單詞信息，整合成更大的單元，包括詞匯構建在內的記憶過程和整合操作過程是同時進行的，整個加工過程是在語言的不同層面并行進行的；布洛卡及相鄰腦區(qū)，尤其是左側額下回在這一過程中起重要作用。

典型的并行式模型還包括非句法中心動力模型(non-syntactocentric dynamic model)和加工競爭模型(processing competition model)。非句法中心動力模型由Kuperberg(2007)提出，它認為語言理解涉及至少兩套并行式加工機制： 語義加工機制和聯(lián)合加工機制。語義加工機制基于語義記憶，聯(lián)合加工機制受詞語句法規(guī)則和語義主題制約。這兩套加工機制同時存在，相互競爭、相互影響，對句子理解共同起作用。加工競爭模型由Kos等(2010)提出，它認為句子理解涉及的兩套并行機制是句法加工流和語義加工流，來自句法加工的信息會影響語義加工流，來自語義加工的信息也會影響句法加工流，這兩套機制交互作用，相互競爭，力量更強者對整個句子加工的影響更大。并行式觀點的這兩個模型都認為對語義信息的加工涉及一套神經機制，這套機制與加工其它層面語言信息的神經機制是并行存在的，相關操作是同時進行的，不同語言信息之間交互作用，并行機制之間相互影響。

并行式模型還包括Bornkessel-Schlesewsky和Schlesewsky(2013)提出的背腹加工流框架(dorsal-ventral stream framework)，該框架認為句子理解是由兩個并行的加工流實現(xiàn)的： 背流和腹流。腹流負責概念圖式加工，創(chuàng)造逐漸復雜的聽覺對象，腹流加工是一個時間獨立的過程；背流負責整合包括句法結構在內的各要素，背流加工具有時間依賴性。背腹加工流框架是從腦區(qū)的角度構建的一個并行式模型框架，它將腦區(qū)與時間相關性結合，豐富了并行式模型的內容。

2.3 一體式模型

一體式模型認為句子加工既不是分段式的，也不是并行式的，而是一個不可分割的整體，是一體化的。一體式模型的典型代表是一步式模型(one-step model)。一步式模型(Hagoort & Berkum， 2007)認為上下文語境、世界知識等所有可用的信息都是立即被用來共同確定對句子的理解的，一步式模型強調各類信息都是即時、共同起作用的，句子理解過程是一步完成的，是來自更廣的認知域的過程。布洛卡區(qū)在這一統(tǒng)一的過程中起重要作用。

一體式模型的另一典型代表是單流模型(single-stream model)。Brouwer等人(2012)把語言加工過程看作是一個單流過程，檢索輸出就是整合輸入。檢索即從長期記憶中檢索詞匯的句法屬性和語義特征，整合即詞匯信息與當前語義表征整合、更新形成新的表征，檢索整合是雙相一體化過程，涉及的是單加工流。該模型為句子加工過程提供了檢索整合解釋，指出語言整合過程其實就是心理表征的構建、重組、更新過程。

3． 句子中語言信息加工的實驗證據(jù)

Uddin et al. (2018)認為語言信息能夠促進話語的識別和理解，那么這種促進作用發(fā)生的時間進程如何？大腦如何整合語音、詞匯、句法、語義層面語言信息以實現(xiàn)這種作用？不論是分段式或并行式模型支持者，還是一體式模型擁護者，都利用眼動、ERP、fMRI等不同技術手段做了深入研究。

3.1 不同層面語言信息加工的時間進程

有研究者認為不同層面的語言信息，在句子理解過程中加工的時間點不同，句法信息加工在先。王彭等(2017)研究漢語后續(xù)句的加工機制，指出漢語后續(xù)句中省略位置的句法加工誘發(fā)了N400，語義句法整合誘發(fā)了P600，該實驗結果表明漢語句子理解過程中，句法信息加工在先，語義句法信息整合在后，支持分段式加工模型。然而，分段式觀點支持者并不都認為句法信息加工在先，有實驗結果表明句法信息和語義信息是同時加工的。Brink和Hagoort(2004)提出的級聯(lián)模型(a cascaded model)在肯定分段式加工觀點的同時，指出句法加工和語義加工是同時進行的。他們以三類含關鍵詞的荷蘭語口語句子為ERP實驗材料： a語義句法一致；b語義句法不一致，但起始音素與關鍵詞相同；c語義句法不一致，起始音素與關鍵詞也不同。實驗發(fā)現(xiàn)： 在150—250毫秒時間窗，在中后部腦區(qū)，與a條件和b條件相比，c條件誘發(fā)了波幅更大的N200成分，反映詞匯選擇過程困難；與a條件相比，b條件和c條件引發(fā)了波幅更大的N400(在300—500毫秒，在后部腦區(qū)觀察到的負波，反映語義信息處理)、LAN(在270—470毫秒，在左前部腦區(qū)觀察到的負波，與詞類處理和形態(tài)合成處理有關)和P600(在700—1 000毫秒，在左后部腦區(qū)觀察到的正波，反映句法信息加工)，且b條件與c條件下的N400、LAN和P600波形不存在顯著差異。該結果符合級聯(lián)模型： 口語句子理解過程中的詞匯識別首先是自下而上地激活一組候選詞，然后是語義加工和句法加工同時進行，最后是對與聲音輸入相匹配的候選詞進行整合。級聯(lián)模型的實質是三段式，第一階段詞匯激活，第二階段語義-句法加工，第三階段整合。Brink和Hagoort認為語義加工和句法加工是同時進行的，而Friederici與王彭等人認為句法加工先于語義加工，該差異可能與Brink和Hagoort實驗材料的設計中加入了語音因素有關，這很可能反映了語音信息對整合過程的影響。

并行式模型的支持者也用實驗佐證了不同層面的語言信息是同時加工的。Yang， Perfetti和Liu(2010)以含關系從句的中文句子為實驗材料，ERP實驗發(fā)現(xiàn)： 在600—800毫秒時間窗，在中央頂葉區(qū)，主語提取關系小句(OSR)嵌入動詞引發(fā)波幅更大的P600成分，該成分對短語結構敏感，說明加工OSR嵌入動詞導致對該語境中與雙及物動詞結構關聯(lián)的非首選短語進行重新解釋；在250—500毫秒時間窗，在中央頂葉區(qū)，賓語提取關系小句(OOR)嵌入動詞引發(fā)波幅更大的N400成分，該成分反映語義加工過程中的整合困難，說明OOR嵌入動詞的語義加工導致對嵌入名詞短語和某個基本信息層面介詞意義的主題角色分配進行重新解釋；以名詞為中心詞的賓語提取關系小句引發(fā)中央額葉區(qū)負波，反映意義派生和指稱建立的聯(lián)合作用。源定位分析(LORETA)發(fā)現(xiàn)： 結構映射和意義派生的整合過程中后腦具有優(yōu)勢，如： BA 22 /39 /19 /41 /42；句子加工后期左前額顳區(qū)被激活，如： BA 47 /38。該研究表明漢語句子理解涉及對語言輸入層次組織敏感的神經網(wǎng)絡，語義信息、句法信息等加工不僅時間上是同時進行的，而且涉及兩套或以上并行操作的神經機制，該結果支持并行式模型。有些并行模式的支持者還認為同一層面的語言信息加工(如語義加工)也是并行式的。Huang， Wang， Jia， Mo和Chen(2013)采用EROS(the event-related optical signal)技術，發(fā)現(xiàn)與預期詞相比，非預期詞引發(fā)的N400和晚期正波的波幅更大；在128～192 ms范圍內，左額后中回(LPMTG)、左側額前下回(Lalfg)、左側額中回(LMFG)被激活；在192～256 ms 之間，與非預期詞相比，預期詞在左前顳葉(LATL)有更明顯激活。實驗說明： 語義整合過程可能包含兩套不同的機制： 一套是相對快速的瞬間整合過程，與左前顳葉相關，另一套是相對緩慢的持久整合過程，與左側額前下回 /左側額中回和左額后中回相關，這兩套機制一起工作，以實現(xiàn)對整個句子的理解。證明語義信息加工本身就是一個并行式過程的還有張文嘉等(2015)的實驗，他們使用中文語義合理句和中文語義違背句作為ERP實驗材料，發(fā)現(xiàn)合理條件引發(fā)右側腦區(qū)的P2效應，反映語義整合過程可能發(fā)生在250 ms之前；違背條件引發(fā)N400效應，該效應幾乎覆蓋整個腦區(qū)，反映P2和N400時間窗內進行語義加工可能涉及兩套不同的機制，說明語義整合不是一個單一的加工過程，而是包含兩個并行式通道的心理過程，這種語義整合雙通道觀點支持并行式模型。

一體式模型的支持者認為各語言信息一經獲得即被使用，強調語言信息作用的即時性。Burmester， Spalek和Wartenburger(2014)探討德語陳述句理解中的語言信息整合，離線理解判斷結果顯示： 話題相關信息有助于促進賓語-主語結構的陳述句的理解；在線ERP結果顯示： 話題相關條件下，句首賓語處引發(fā)的晚期負成分波幅更小，反映了話題效應。表明與中性條件相比，話題相關能夠促進句子的理解，該效應應歸因于話題相關條件下，更新當前話語模型付出的加工努力更少，認為句子在線加工過程中，聽者對話語信息進行即時整合，并即刻自動更新話語表征。Burmester等人的實驗是以德語句子為語料的，Xu et al. (2015)用五個詞構成的中文句子做實驗也獲得了類似的結果： 語言信息即時制約句子加工。Xu等人通過加入語言語境信息使百科違例變得可接受，以研究被試對語言信息的加工過程，ERP實驗發(fā)現(xiàn)： 含百科知識違反的關鍵詞引發(fā)的N400受語義是否一致調節(jié)；尾詞引發(fā)的負波反映了關鍵詞與百科知識的即時整合；語義不一致條件下，尾詞引發(fā)更負的波，很可能反映了全局語境整合。該實驗說明新的后續(xù)語言信息會即時影響之前的百科制約，從而影響中文句子的理解過程。

3.2 不同層面語言信息的作用方向

那么，被瞬間整合的語言信息是如何影響句子理解的，是只對后續(xù)的語言信息輸入產生影響(方向向后)，還是只對先前語言信息加工的結果產生影響(方向向前)，抑或兩者兼有？研究者們用實驗數(shù)據(jù)給出了不同意見。一種意見是： 語言信息的作用是向后的，往后影響后續(xù)信息加工。Kaan， Kirkham和Wijnen(2016)以含省略結構的句子為語料，每個句子有兩個分句組成，第二個分句中所有格之后是否允許出現(xiàn)名詞省略由第一個分句的結構決定。也就是說，第一個分句提供的句法信息決定了第二個分句所有格中的名詞是否能夠省略。實驗要求被試完成數(shù)字廣度測驗(Digit Span Task)和Stroop任務。實驗發(fā)現(xiàn)： 介詞出現(xiàn)后的400 ms，在非語法性非省略條件出現(xiàn)更大的晚期正波，表明被試對句法語境敏感，句法信息的出現(xiàn)會影響句子加工后期的整合或修復過程。作用向后的證據(jù)還有Ding， Wang和Yang(2015)的實驗，他們采用2×2設計(情緒動詞、中性動詞；作動詞賓語的中性名詞正字法正確、作動詞賓語的中性名詞正字法錯誤)，ERP實驗發(fā)現(xiàn)： 情緒動詞條件下，名詞正誤誘發(fā)LPC效應；與中性動詞相比，情緒動詞引發(fā)的N1、P2、N400波幅更大，該結果表明情緒信息的出現(xiàn)對后續(xù)詞匯正字法分析產生影響，情緒信息對句子加工過程的作用方向向后。另一種意見是： 語言信息的作用不分向前向后，范圍輻射整個句子，是整個句子加工的核心力量。于亮等(2017)以四類漢語句子(給予義雙賓句、取得義雙賓句、二價動詞構成的雙賓句、二價動詞構成的主謂賓句)為實驗材料，ERP數(shù)據(jù)顯示： 句中動詞引發(fā)N400效應，說明動詞一出現(xiàn)，與該動詞相關的論元結構配置和語義框架信息被激活；句末詞引發(fā)LPC效應，反映語言加工后期的整合修復過程。該研究結果表明： 動詞的出現(xiàn)會激活各種詞匯信息，從而影響整個句子的加工；漢語句子加工過程中，動詞信息起著主導作用，對整個句子的加工產生影響。對語言信息作用方向的意見不一致很可能是由實驗材料的設計不同導致的： Kaan等人選取的是句法信息，Ding等人選取的情緒動詞也涉及到動詞賓語相關句法信息，他們的實驗結果都是方向向后；于亮等人的實驗材料中既包含與句法信息密切相關的雙賓句和主謂賓句，也包含與語義信息密切相關的給予義和取得義，實驗結果是方向既向后又向前，作用范圍輻射整個句子。因此，我們推測語言信息的作用方向很可能由其本身層次屬性決定： 句法信息作用方向向后，語義信息作用方向向前。

3.3 不同層面語言信息之間的交互作用

在句子加工過程中，不同語言信息之間是存在認知分離還是會產生相互作用？目前存在獨立的模塊局域論和自下而上-自上而下的互動分析論兩種觀點(李琳等，2017)。大量實驗證明不同層次的語言信息確實存在互動作用，比如Liu， Zhang & Liu(2017)探究含多音字的中文句子的加工機制時，發(fā)現(xiàn)語音違例誘發(fā)P200效應，說明語音信息的作用發(fā)生在加工的早期階段；同時發(fā)現(xiàn)語音違例語義合理條件引發(fā)N400效應，說明語音信息對語義信息加工有調節(jié)作用。任桂琴等(2012)的眼動實驗也說明了語音信息對語義信息會產生影響，他們認為在高限制性條件下，漢語詞形和詞音信息在詞匯通達晚期都對語義整合起重要作用；在低限制性條件下，漢語語音信息對語義整合起重要作用。不僅語音和語義層面存在交互作用，其它層面也存在交互作用。在話題結構中，話題結構信息對代詞回指的制約作用大于動詞語義信息對代詞回指的制約作用；在非話題結構中，句法結構信息和動詞語義信息共同決定代詞所指(徐曉東，陳麗娟和倪傳斌，2017)。Kuperberg提出的動態(tài)生成框架中，句法信息與語義信息聯(lián)合作用，共同達成對句子的理解(Kuperberg， 2016)。

還有研究者發(fā)現(xiàn)同一層面內的語言信息也會發(fā)生相互作用。Shen， Li和Pollatsek(2018)的眼動實驗研究句子語境中兩字復合詞的加工，發(fā)現(xiàn)與主要義條件相比，次要義條件下的注視時間更長；語義相關條件下該效應明顯，語義不相關條件下該效應消失，表明漢語詞義通達受詞素義的影響，說明語義內部層面之間存在相互影響。除了語義層面，句法層面內各信息也會互相影響。Isel和Kail(2018)的ERP實驗發(fā)現(xiàn)法語句子加工過程中詞法整合受句法信息的位置和復雜程度調節(jié)，說明句法單元內部各要素之間存在相互影響。還有研究者進一步指出句法層面內各信息相互影響發(fā)生在句子加工后期。Suckow和Gompel(2018)的眼動實驗發(fā)現(xiàn)與單數(shù)條件相比，復數(shù)條件下的歧義句加工更費時，而加工非歧義句時不存在這一差異，該實驗表明單復數(shù)影響句法修正過程，說明句法信息對句法加工起作用且作用發(fā)生在句子加工后期的修正過程。

有研究者發(fā)現(xiàn)不同層面語言信息之間的相互作用不是一開始就存在的，而是各語言信息先獨立起作用，然后再相互影響、共同起作用。王小艷等(2013)以中文把字句為ERP語料，發(fā)現(xiàn)句法違背句引發(fā)ELAN和P600，語義違背句引發(fā)N400；句法語義雙違背句引發(fā)ELAN和N400，沒有引發(fā)P600，且與語義違背句相比，雙違背句的N400效應更顯著。該結果表明中文把字句的加工過程是分段式整合過程： 早期是句法構建，在這一階段，句法加工和語義加工是獨立的；稍后是語義整合階段，這一階段句法加工和語義加工開始相互影響；晚期是最終的整合階段，達成漢語把字句的理解。王路明(2017)也認為句子加工是分階段的，早期階段，句法加工是獨立的，不存在語義依存；生命性和話題語境在句子加工后期開始起作用。王小艷等人以及王路明的實驗都是要求被試完成按鍵判斷任務，有其局限性，按鍵動作本身對大腦反應時間有影響，因此需要采用不同技術手段、不同實驗設計得到的多種數(shù)據(jù)以進行佐證和補充。

在交互過程中，各層面語言信息所起的作用是相當?shù)?，還是有強有弱的？是否存在某一個層面(比如句法)信息對整個句子加工所起的作用最強，另一個層面(比如語音)信息作用最弱？有研究者做了初步回答： Chrabaszc(2017)讓俄語母語被試完成自定步速聽力任務，發(fā)現(xiàn)句法類信息的作用最強，語義類其次，語音類作用最弱；讓同一組被試完成詞匯判斷任務，發(fā)現(xiàn)歧義句解歧過程語義信息比句法和語音信息的作用更強。Chrabaszcz本人認為實驗結果差異的原因是實驗任務不同，另一原因很可能被忽視： 實驗材料的設計不完全相同。雖然兩個任務的句子目標詞相同，但它們的位置不同。自定步速聽力任務的目標詞位于句中，而詞匯判斷任務的目標詞位于句末，這很可能是導致結果差異的重要原因。

4． 結語

句子理解過程中，語音、詞匯、句法、語義信息加工的相關實驗及研究已取得一些成果，但仍有幾個問題值得研究者關注：

一、 現(xiàn)有研究探討了詞匯、句法、語義信息加工的時間進程和交互作用，但對語言信息在交互過程中起作用的強度尚不能給出明確解釋；根據(jù)現(xiàn)有研究，我們對語言信息在句子加工過程中起作用的方向雖做出了初步推測，但還需進一步實驗驗證。

二、 以往的實驗材料設計不夠嚴謹，Chrabaszcz(2017)的實驗材料可能因為目標詞在句中的位置不同，而使語音和語義信息在句子加工中所起作用的強度受到句法信息作用的干擾；Brink和Hagoort(2004)的實驗材料可能因為添加了語音因素，而使對句法和語義層面信息的考察結果有待商榷；王彭、張珊珊和江火(2017)的研究可能因為使用了漢語實驗材料，而與使用荷蘭語實驗材料的Brink和Hagoort(2004)的研究結果不一致。漢語不同于印歐語言，其語言學特性，尤其是句法特性，可能會調整句法與語義加工交互作用的認知神經機制(蔡林、張亞旭，2014)，漢語句子理解中語義加工可能具有更高水平的獨立性，對詞類加工的依賴程度更低(張亞旭等，2011)。本文討論的實驗既有漢語實驗，也有德語、英語、荷蘭語、法語、俄語實驗，有必要進一步討論漢語句子理解過程中語音、詞匯、句法、語義信息的加工模式。

三、 語言是社會交際的工具，實際生活中，大腦加工的語言是交際中的語言。人們對句子的理解不僅是對句子意義、字面意義的理解，而且是結合交際語境，對語用意義、話語意義的理解。目前，已有研究證明語用層面的語言信息是即時起作用的(Hunt et al.， 2013)，且語用信息的加工并不是簡單地單獨受刺激驅動的過程，而是會與語義信息發(fā)生相互作用、協(xié)同增效的過程(Caiani & Ferretti， 2017)。語用層面信息涉及到語法修辭、文化背景、社會地位等因素，探究大腦對“此人此地此時用此句是此意”的加工過程是一項十分復雜的課題，因此，有必要加深句子理解中語用信息加工過程的研究。