語篇理解中語義整合的神經(jīng)機(jī)制及其影響因素*

張秀平 楊曉虹 楊玉芳

(1中國科學(xué)院心理研究所行為科學(xué)重點(diǎn)實(shí)驗(yàn)室,北京 100101)(2中國科學(xué)院大學(xué),北京 100049)

1 引言

1.1 語篇理解

語篇是指長度不限、可以組合在一起表達(dá)完整意義的自然語言,既包括書面語也包括口語(Halliday&Hasan,1976)。de Beaugrande和Dressler(1981)提出了語篇的7個(gè)限定性特征：銜接、連貫、目的性、可接受性、信息性、情境性、互文性,其中銜接和連貫是語篇最重要的標(biāo)準(zhǔn)。在心理語言學(xué)的研究中,研究者們會(huì)關(guān)注不同水平的語言加工,如詞匯水平、句子水平、語篇水平等,為了與句子水平的研究相區(qū)分,本文的語篇主要指由兩個(gè)或兩個(gè)以上的小句組成的連貫的語段。而discourse和text都被翻譯成語篇,二者在英文文獻(xiàn)中也沒有進(jìn)行明確的區(qū)分(胡建軍,2003;黃國文,徐珺,2006),因此本文采用胡壯麟(1994)的思路,把text和discourse統(tǒng)稱為語篇。

任何語篇都是語言使用者在一定語境下產(chǎn)生的,語言使用者既包括說話人和作者,也包括聽話人和讀者。對說話人和作者來說,他們考慮的是如何生成語篇,以較好地表達(dá)自己的想法。而對于聽話人和讀者來說,他們要做的是正確地理解和解讀信息,完成交際過程。前者為語篇產(chǎn)生,后者為語篇理解(楊曉虹,2011)。本文著眼于語篇理解,關(guān)注其中的語義整合這一認(rèn)知過程。

1.2 語義整合

語義整合(semantic unification)是指把當(dāng)前閱讀中新出現(xiàn)的詞語與之前的語境進(jìn)行語義聯(lián)結(jié)以形成連貫表征的過程(Hagoort&Willems,2009)。在該過程中,不僅要關(guān)注單個(gè)詞語的含義,還要在與之前的語境進(jìn)行整合時(shí)選擇或建構(gòu)合適的含義,從而達(dá)成連貫理解(Hagoort&Willems,2009)。

20世紀(jì)80年代以來,語篇閱讀的相關(guān)研究關(guān)注的焦點(diǎn)之一就是讀者如何將當(dāng)前的信息與前文信息進(jìn)行整合以形成連貫的意義表征。早期研究主要著重于考察整合發(fā)生的性質(zhì),如：有些理論模型強(qiáng)調(diào)整合的主動(dòng)性和策略性,認(rèn)為閱讀過程中讀者會(huì)隨文本內(nèi)容的展開不斷主動(dòng)地整合當(dāng)前信息和前文信息以形成連貫的語篇表征,如建構(gòu)主義理論和更新追隨假設(shè)(Graesser,Singer,&Trabasso,1994;Singer,Graesser,&Trabasso,1994);也有些理論模型強(qiáng)調(diào)整合的自動(dòng)化和非策略性,認(rèn)為文本閱讀中新信息會(huì)以共振的方式快速地激活長時(shí)記憶中的背景信息從而達(dá)到語義整合和情境更新,如記憶基礎(chǔ)文本加工理論(McKoon&Ratcliff,1998;O'Brien,Rizzella,Albrecht,&Halleran,1998)。近年來,一些研究者綜合上述兩種觀點(diǎn),認(rèn)為主動(dòng)的、策略性的整合與自動(dòng)化的、非策略性的整合同時(shí)存在于文本閱讀的過程中,如風(fēng)景模型(van den Broek,Risden,Fletcher,&Thurlow,1996;van den Broek,Rapp,&Kendeou,2005)和文本雙加工理論模型(王瑞明,莫雷,2011;莫雷,王瑞明,冷英,2012)。這些研究雖然對于整合發(fā)生的性質(zhì)存在爭議,但都普遍認(rèn)為整合是閱讀的核心過程,確定了整合這一過程的重要性。

20世紀(jì)90年代末以來,隨著各種認(rèn)知神經(jīng)科學(xué)技術(shù)的發(fā)展,語篇水平上的語義整合的研究也在增多。但在很多方面依然存在爭議,如語義整合的定義和語義整合的功能定位(朱祖德,王穗蘋,馮剛毅,李國超,2011),對語篇中語義整合的神經(jīng)機(jī)制方面的研究還處于探索階段,語義整合的影響因素也在逐年豐富。本文在語篇的層次上,對語義整合的神經(jīng)機(jī)制和影響因素進(jìn)行論述。

2 語篇中語義整合的神經(jīng)機(jī)制

2.1 語篇中語義整合的時(shí)間進(jìn)程：來自ERP的證據(jù)

2.1.1 N400與語義整合

在語義整合過程中,聽者或讀者會(huì)把新輸入詞語的含義與語境相聯(lián)系,無論這個(gè)語境是單個(gè)句子(van Petten,Coulson,Rubin,Plante,&Parks,1999)、語篇(Hess,Foss,&Carroll,1995;van Berkum,Brown,&Hagoort,1999),還是非語言的視覺場景(Sedivy,Tanenhaus,Chambers,&Carlson,1999)。在語言加工中,EEG的高時(shí)間分辨率的特性大大便利了對語言加工的不同階段的時(shí)間進(jìn)程的研究。將EEG信號進(jìn)行疊加平均得到事件相關(guān)電位ERP,不同的ERP成分可以反映語言加工的不同階段(van Berkum,2012)。自從 Kutas和Hillyard(1980)在句子的語義違反中發(fā)現(xiàn)了N400,N400就被認(rèn)為是語義違反誘發(fā)的穩(wěn)定的ERP成分。N400是一個(gè)在刺激呈現(xiàn)后400 ms左右在頂中區(qū)達(dá)到峰值的負(fù)波,潛伏期一般在250~600 ms。在語義加工過程中,N400對語義整合尤其敏感(Brown&Hagoort,1993)。

句子水平的N400效應(yīng)在多種語言中都有發(fā)現(xiàn),在書面語、口語和手語的句子材料中,語義違反以及語義合適度的輕微變化都誘發(fā)了N400效應(yīng)。因此,句子中的語義整合通常被認(rèn)為是即時(shí)發(fā)生的,即一般出現(xiàn)在N400的時(shí)間窗口(250~600 ms)。在更廣泛的語篇語境下進(jìn)行語義操縱也會(huì)誘發(fā)N400或者對N400產(chǎn)生影響?；贜400的很多研究發(fā)現(xiàn),語篇中語義整合的時(shí)間進(jìn)程與句子中語義整合的時(shí)間進(jìn)程基本相似。如Berkum,Hagoort和Brown(1999)采用ERP實(shí)驗(yàn)發(fā)現(xiàn),當(dāng)語篇中的最后一個(gè)句子與前文存在語義違反時(shí),相對于語義一致的條件,語義違反句在目標(biāo)詞出現(xiàn)200~250 ms后誘發(fā)了一個(gè)較大的N400,并且這種語篇的N400效應(yīng)在潛伏期,波幅和地形分布上與句子理解中誘發(fā)的N400效應(yīng)類似。這一結(jié)果充分表明,與句子中的當(dāng)前信息一樣,語篇中的當(dāng)前信息與前文信息不僅會(huì)發(fā)生語義整合,而且這種整合是即時(shí)的,即發(fā)生在N400的時(shí)間窗內(nèi)。

使用聽覺呈現(xiàn)的刺激材料,研究者同樣發(fā)現(xiàn)語篇中的語義整合是即時(shí)發(fā)生的。Salmon和Pratt(2002)比較了聽覺呈現(xiàn)的句子水平和語篇水平的語義加工,發(fā)現(xiàn)句子和語篇中的語義違反都誘發(fā)了 N400(300~500 ms)、P5(始于 460~490 ms,在535~550 ms達(dá)到峰值)、LPC(在 850 ms達(dá)到峰值),而且特性相似,潛伏期也沒有差異,表明故事語篇的加工速度和句子的加工速度一樣快。van Berkum,Zwitserlood,Hagoort和 Brown(2003)用聽覺材料研究了故事和單個(gè)句子中的語義整合,發(fā)現(xiàn)N400效應(yīng)開始的較早(150~200 ms),表明在聽覺語言理解中,語篇水平上的語義整合發(fā)生很快,在被試聽到關(guān)鍵詞的兩三個(gè)詞素左右就開始發(fā)生了。

以上研究表明,無論是視覺呈現(xiàn)的語篇還是聽覺呈現(xiàn)的語篇都和句子一樣,存在當(dāng)前信息與之前信息的語義整合,這種整合的發(fā)生主要體現(xiàn)在與語篇背景存在語義違反時(shí)出現(xiàn)的N400效應(yīng)上。雖然聽覺材料的語篇中N400效應(yīng)的開始時(shí)間(150~200 ms)早于視覺材料的語篇中的N400效應(yīng)的開始時(shí)間(200~250 ms),而且視覺語篇中的N400效應(yīng)開始時(shí)間(200~250 ms)稍早于句子中N400效應(yīng)的開始時(shí)間(250 ms),但這兩種差異在所反映的認(rèn)知過程和功能上沒有本質(zhì)差異,都表明語篇中的語義整合是即時(shí)發(fā)生的,即這種當(dāng)前信息與前文信息的語義整合一般發(fā)生在N400的時(shí)間窗內(nèi)。

2.1.2 晚期正成分與語義整合

P600是一個(gè)主要分布于頭皮后部,在關(guān)鍵詞呈現(xiàn)后600 ms左右開始出現(xiàn)的正波,最早出現(xiàn)在在句法違反和形態(tài)違反中(Osterhout&Holcomb,1992;Hagoort,Brown,&Groothusen,1993)。Osterhout和Holcomb(1992)在花園路徑句的研究中首先發(fā)現(xiàn),在與預(yù)期的句法結(jié)構(gòu)違反時(shí),關(guān)鍵詞呈現(xiàn)后600 ms出現(xiàn)一個(gè)較大的正波。Hagoort等人(1993)在數(shù)的一致性違反和詞序違反時(shí)發(fā)現(xiàn)了類似的正波。這種正波后來被稱為P600,之后有研究發(fā)現(xiàn)P600可以作為句法整合的指標(biāo)(Kaan,Harris,Gibson,&Holcomb,2000)。

雖然在大多數(shù)的研究中,與語篇背景不一致的關(guān)鍵詞一般誘發(fā)N400效應(yīng),但是,在某些研究中,研究者沒有發(fā)現(xiàn)N400效應(yīng),反而誘發(fā)了一個(gè)較大的晚期正成分,根據(jù)其極性、頭皮分布,研究者認(rèn)為解釋為P600效應(yīng)比較合適(Nieuwland&van Berkum,2005)。如：在Nieuwland和van Berkum(2005)的研究中,與語篇語境不一致的關(guān)鍵詞(如the women told the suitcase,其中suitcase為語義違反詞)沒有誘發(fā)N400效應(yīng),反而在500~600 ms出現(xiàn)了一個(gè)的晚期正成分,這種現(xiàn)象被研究者解釋為暫時(shí)的語義錯(cuò)覺。在該研究中,suitcase雖然是一個(gè)語義違反詞,但是由于語篇的整體語境是與tourist有關(guān)的,所以suitcase是一個(gè)在該語境中高度激活、適合語篇背景的詞,讀者在閱讀時(shí)會(huì)對suitcase形成較強(qiáng)的預(yù)期。因此,當(dāng)讀者閱讀到suitcase這個(gè)語義違反詞時(shí)才沒有檢測到違反,出現(xiàn)短暫的語義錯(cuò)覺。而P600的出現(xiàn)作者認(rèn)為是在表層的語義加工之后發(fā)生了精細(xì)的語義加工。Sanford,Leuthold,Bohan和 Sanford(2011)比較了容易檢測到違反的詞(與語境匹配較差的詞)和不易檢測到違反的詞(與語境匹配較好的詞)在語義違反時(shí)的加工過程,不易檢測到的違反詞沒有引起N400效應(yīng),卻出現(xiàn)了LPP(800~1100 ms)效應(yīng),出現(xiàn)了語義錯(cuò)覺現(xiàn)象,表明與語境匹配較好的違反詞即時(shí)地與語境進(jìn)行了整合。

語義錯(cuò)覺產(chǎn)生的機(jī)制在于當(dāng)前加工的內(nèi)容在語篇語境中得到很強(qiáng)的支持。以上研究也表明讀者在閱讀當(dāng)前內(nèi)容時(shí)即時(shí)地與之前的語境發(fā)生了聯(lián)系,進(jìn)行了與之前的語境進(jìn)行整合的表層的加工,之后又進(jìn)行了精細(xì)的語義加工。因此,語義錯(cuò)覺現(xiàn)象本身也從另一個(gè)角度證實(shí)了語篇中語義整合是即時(shí)發(fā)生的,只是在更精細(xì)的語義加工上需要延后幾百毫秒。

通過對以上研究的分析,我們認(rèn)為在語篇中當(dāng)前信息與之前語境進(jìn)行的整合是即時(shí)發(fā)生的,即一般發(fā)生在N400的時(shí)間窗內(nèi)。

2.2 來自fMRI和神經(jīng)震蕩的證據(jù)

2.2.1 來自fMRI的證據(jù)

(1)語義加工的相關(guān)模型

很多ERP研究都關(guān)注了N400與語義整合的關(guān)系,有研究者把ERP和fMRI結(jié)合起來更好地理解在不同的認(rèn)知過程中N400與各腦區(qū)及其連接之間的關(guān)系。如：Lau,Phillips和Poeppel(2008)基于句子水平的N400及一些fMRI的研究成果,提出了語義加工的圖式模型(schematic model)。在這個(gè)模型中,前顳葉皮質(zhì)和角回負(fù)責(zé)與之前的語境進(jìn)行語義整合,而后額下回區(qū)域參與將這些整合的信息與儲(chǔ)存的世界知識相聯(lián)系的過程。隨著每個(gè)新單詞的輸入,整合后的語義表征不斷進(jìn)行更新,進(jìn)入由額下回負(fù)責(zé)的預(yù)期和選擇階段。他們又提出了一個(gè)更具體的語境中的詞匯語義加工的功能神經(jīng)解剖學(xué)模型(functional neuroanatomic model),進(jìn)一步指出前顳葉皮質(zhì)(ATC)與角回(AG)在將當(dāng)前信息整合到語境中的作用,并區(qū)分了前額下回和后額下回在詞匯提取和詞匯選擇中的作用。這個(gè)模型將完整的語義加工分為與語境進(jìn)行語義整合、與世界知識進(jìn)行聯(lián)系、預(yù)期和選擇幾個(gè)過程,雖然是基于句子水平的研究提出的,但對語篇中的語義加工過程也有借鑒意義,只是語篇水平上這些過程涉及的腦區(qū)及腦網(wǎng)絡(luò)可能與句子水平上的有差異,究竟是否存在差異、存在怎樣的差異可能需要在以后的研究中進(jìn)行擴(kuò)展。

同樣是基于句子水平的研究,Hagoort(2005)提出了語言加工過程的框架,即記憶-整合-控制(MUC),該模型把語言加工分為記憶、整合和控制三個(gè)功能成分。記憶成分包括儲(chǔ)存在長時(shí)記憶中的語言信息及提取過程;整合成分是將提取的詞匯信息整合到句子中的過程,包括語音整合、句法整合和語義整合,三者在一定程度上是相互作用和同時(shí)發(fā)生的;控制成分將語言和動(dòng)作聯(lián)系起來,操控交際的意圖和動(dòng)作。關(guān)于語義整合,該模型認(rèn)為是把詞匯水平的元素結(jié)合起來整合到更大的結(jié)構(gòu)塊,其中一個(gè)例子就是將單詞的含義整合到之前的語境所形成的語篇表征中。一個(gè)英文單詞可能有多種含義,讀者閱讀時(shí)結(jié)合之前的語境選擇一個(gè)合適的含義,從而達(dá)成連貫理解。在該模型的基礎(chǔ)上,Hagoort(2013)進(jìn)一步將語義整合進(jìn)行了抽象總結(jié),認(rèn)為語義整合是在語境決定的事件圖式中,兩種可能的情況競爭和選擇的結(jié)果。而且,他們提出了語言加工的神經(jīng)生物學(xué)模型,指出顳皮質(zhì)及頂葉的角回與記憶相關(guān),布洛克區(qū)(B44、B45)及其相連的額葉皮質(zhì)(B47,B6)參與整合過程,背側(cè)前額葉皮質(zhì)、前扣帶皮層及與注意相關(guān)的頂葉參與控制過程。他們指出,左外側(cè)裂語言網(wǎng)絡(luò)拓?fù)涔δ芙M織是通過信息類型(如：語音、句法、語義)來決定哪些區(qū)域的連接最強(qiáng),背側(cè)通路可能與語音和句法的加工相關(guān),腹側(cè)通路可能與語義加工聯(lián)系較強(qiáng)。他們進(jìn)一步指出,左額下皮層(LIFC)是語義整合網(wǎng)絡(luò)中的一個(gè)關(guān)鍵結(jié)點(diǎn),將不同通道的語義信息進(jìn)行連接。

語義加工的圖式模型和MUC模型,雖然都是基于句子水平提出的,但前者主要是針對語義加工這個(gè)環(huán)節(jié)的,將語義加工的過程進(jìn)行了細(xì)分,給我們提供了語義整合所處的具體環(huán)節(jié)的信息;后者則是比較全面的語言理解的模型,涵蓋了語言理解的幾個(gè)重要過程,語義整合僅僅是整合這一過程中的一種,沒有具體劃分其他的語義加工過程。因此,二者在語義整合這一過程涉及的腦區(qū)上的觀點(diǎn)也有差異,前者認(rèn)為前顳葉皮質(zhì)和角回負(fù)責(zé)語義整合,額下回負(fù)責(zé)預(yù)期和選擇,而后者認(rèn)為左額下皮質(zhì)負(fù)責(zé)語義整合,這種差異也是由于二者在語義加工過程上的不同劃分導(dǎo)致的。

Xu,Kemeny,Park,Frattali和 Braun(2005)比較了在閱讀單詞、句子和故事時(shí)大腦成像的差異,結(jié)果發(fā)現(xiàn)在故事水平上激活了兩半球的擴(kuò)展的外側(cè)裂區(qū)域(extrasylvianarears),包括楔前葉(precuneus)、內(nèi)側(cè)前額葉(medial prefrontal)及背側(cè)顳-頂-枕皮質(zhì)(dorsal temporo-parieto-occipital cortices)。隨著輸入的閱讀材料復(fù)雜性的提高,右半球的參與也在增多,在故事水平上最活躍。他們還發(fā)現(xiàn),左半球的區(qū)域在故事開始階段占主導(dǎo)地位,而右半球則在故事的最后整合階段起重要作用。在已有研究的基礎(chǔ)上,Jung-Beeman(2005)針對故事、對話、語篇等自然語言中的語義加工，提出了BAIS模型。該模型將語義加工分為激活、整合和選擇三個(gè)階段,并指出參與各個(gè)階段的腦區(qū)。負(fù)責(zé)語義激活的是后顳中回,負(fù)責(zé)語義選擇的是額下回,與語義整合相關(guān)的是顳葉前部,包括雙側(cè)的顳上回(STG)前部、顳上溝(STS)延伸到顳中回(MTG)和顳極。

對于語義整合,BAIS模型與MUC模型有一定的差異。MUC模型提出的語義整合范圍更大,包括了選擇的過程,而BAIS模型則是將語義整合和語義選擇分離開,認(rèn)為語義整合有其區(qū)別于語義激活和選擇的大腦網(wǎng)絡(luò)。另外,BAIS模型是針對故事、對話、語篇等自然語言提出的,MUC模型則是基于句子水平的研究提出的,兩者在加工過程本身可能就存在差異,因此所涉及的腦區(qū)也有差異。MUC模型是一個(gè)語言理解的模型,我們所關(guān)注的語義整合僅僅是其中的一個(gè)過程,可以在該模型的基礎(chǔ)上對其擴(kuò)展。這些模型的提出對我們認(rèn)識大腦的功能有一定意義,隨著對大腦認(rèn)識的深入,可能還需要結(jié)合腦功能連接、神經(jīng)震蕩等提出更新的模型。

(2)語義整合的腦功能網(wǎng)絡(luò)

認(rèn)知活動(dòng)是通過功能網(wǎng)絡(luò)而非單一的區(qū)域?qū)崿F(xiàn)的,而語義整合的功能網(wǎng)絡(luò)仍需探索。Hagoort(2013)認(rèn)為語言功能不是位于某個(gè)腦區(qū),而是腦區(qū)之間形成的一個(gè)動(dòng)態(tài)網(wǎng)絡(luò)。Shibata,Abe,Itoh,Shimada和Umeda(2011)采用場景閱讀任務(wù)研究了理解間接回答的神經(jīng)機(jī)制,發(fā)現(xiàn)兩半球的額-顳網(wǎng)絡(luò)(fronto-temporal networks)在檢測語境違反中有重要作用,額中皮質(zhì)(medial frontal cortex)對產(chǎn)生推理從而在語境中理解對話比較重要。

Egidi和Caramazza(2013)研究了語篇理解中信息整合的神經(jīng)機(jī)制,他們設(shè)置了兩種語境(整體的和局部的)和一個(gè)結(jié)尾句,結(jié)尾句與局部語境一致或者不一致,結(jié)尾句與整體語境相關(guān)或者不相關(guān)。在被試聽故事時(shí)進(jìn)行fMRI掃描,分析出三個(gè)參與不同整合過程中的網(wǎng)絡(luò)系統(tǒng),一個(gè)是對局部語境敏感,包括角回(AG)、額上回(SFG)、腹側(cè)前額皮質(zhì)(vmPFC)、顳中回(MTG)等;一個(gè)對整體語境敏感,包括緣上回(SMG)、頂上小葉(SPL)和頂內(nèi)溝前部(aIPS);一個(gè)整合兩種語境的信息對結(jié)尾做出反應(yīng),包括頂上小葉和頂下小葉(IPS)。

這些研究都表明,大腦是通過很多腦區(qū)的連接來完成某種認(rèn)知過程的,我們在進(jìn)行語義整合的神經(jīng)機(jī)制的研究時(shí)也不能單純地看某些腦區(qū)的功能,需要看這些腦區(qū)是如何連接的,它們之間的不同連接強(qiáng)度可能會(huì)反映出不同的問題。

2.2.2 來自神經(jīng)震蕩的證據(jù)

有關(guān)某種認(rèn)知功能的大腦神經(jīng)網(wǎng)絡(luò)的連接,也可以通過EEG信號中不同腦區(qū)的神經(jīng)元震蕩的同步性來考察。在認(rèn)知心理學(xué)領(lǐng)域,Delta(1~4 Hz)、Theta(4~7 Hz)、Alpha(7~12 Hz)、Beta(12~30 Hz)、Gamma(30~100 Hz)這些頻段都受到了關(guān)注,在某一腦區(qū)這些頻段與一定的認(rèn)知過程相聯(lián)系,但關(guān)于某一頻段與認(rèn)知過程的對應(yīng)關(guān)系還存在很多爭議。在人臉識別和表情與情緒性圖片的研究中,這幾個(gè)頻段的能量在不同的條件下都有變化(Güntekin&Ba?ar,2014)。目前的很多相關(guān)研究發(fā)現(xiàn)每一個(gè)頻段都涉及多種不同的認(rèn)知過程,如：Delta能量的變化可能與注意、信號檢測、識別、決策等認(rèn)知過程有關(guān)(Güntekin&Ba?ar,2014);Theta能量的變化可能與單詞水平的信息提取、情景記憶、空間記憶、工作記憶、警覺任務(wù)中的疲勞、錯(cuò)誤檢測等相關(guān)(Wang,Zhu,&Bastiaansen,2012);Alpha能量的變化則與注意的抑制和增強(qiáng)有關(guān)(Klimesch,2012);在解釋感覺加工的預(yù)期編碼框架中,Friston,Bastos,Pinotsis和Litvak(2015)指出Beta與預(yù)期相關(guān),Gamma與預(yù)期錯(cuò)誤的檢測有關(guān);早期的研究也發(fā)現(xiàn)Gamma可能與聯(lián)結(jié)學(xué)習(xí)(Miltner,Braun,Arnold,Witte,&Taub,1999)、物體表征(Tallon-Baudry&Bertrand,1999)等有關(guān)。

在心理語言學(xué)中,目前有關(guān)語義整合的神經(jīng)震蕩的研究主要集中在句子水平,對于各個(gè)頻段所反映的語言加工過程,目前還有很大爭議。語言理解主要包括從記憶中提取信息和進(jìn)行句法與語義上的整合兩大過程。已有的研究發(fā)現(xiàn)Theta頻段的同步性和Alpha頻段的去同步性與記憶提取有關(guān),句法整合與Beta頻段的同步性有關(guān),語義整合與Gamma頻段的同步性有關(guān)(Bastiaansen&Hagoort,2006)。我們主要關(guān)注與語義整合相關(guān)的頻段的變化,有研究發(fā)現(xiàn)了句子中的語義違反會(huì)引起Theta波段能量的增加(Hagoort,Hald,Bastiaansen,&Petersson,2004;Hald,Bastiaansen,&Hagoort,2006),Gamma波段能量的變化與語義整合有關(guān)(Bastiaansen&Hagoort,2006)。Wang等人(2012)進(jìn)一步證明,Gamma波段能量的增加與根據(jù)語境對即將出現(xiàn)的詞語的預(yù)期有關(guān),而Theta波則可能與語義違反的檢測相關(guān)。Wang,Jensen等(2012)還發(fā)現(xiàn)Beta與N400m相關(guān),而Beta能量的降低被定位在左額下回和左上顳葉區(qū)域,分別對應(yīng)語義整合和詞匯提取的認(rèn)知過程。近年來,研究者們開始關(guān)注大腦功能的連接與各頻段的關(guān)系,如：Mellem,Friedman和Medvedev(2013)發(fā)現(xiàn)Gamma頻段能量的變化與語義表征的局部的功能網(wǎng)絡(luò)的激活有關(guān),而Theta頻段的變化則反映了提取和提取后的加工過程涉及的前部區(qū)域與后部區(qū)域的耦合,也可能反映了語義相關(guān)的加工與工作記憶的相互影響。這些發(fā)現(xiàn)大都是在句子水平上,語篇水平上的神經(jīng)震蕩相關(guān)的分析還較少,像Urrutia,de Vega和Bastiaansen(2012)研究了語篇中虛擬語氣的句子和事實(shí)的句子的加工,發(fā)現(xiàn)了分布在額葉和頂葉的Gamma波段的能量變化,即在虛擬形式下Gamma波段的能量降低,表明虛擬的信息在整合過程中沒有得到更新,沒有實(shí)現(xiàn)與之前語篇表征的整合。從這些文獻(xiàn)中可以看出,語義整合涉及的頻段還沒有一致的結(jié)論,Beta、Theta、Gamma頻段的能量變化都可能與語義整合有關(guān)。雖然在句子水平上還有很多爭議和有待解決的問題,但我們可以借鑒這種方法用于語篇的研究,以期發(fā)現(xiàn)更多結(jié)果,也會(huì)對解決句子水平的問題帶來啟發(fā)。

目前關(guān)于語篇中的語義整合的神經(jīng)網(wǎng)絡(luò)的研究仍處于探索階段,未來還有很長的路要走。探討語義整合的神經(jīng)網(wǎng)絡(luò)不僅是基礎(chǔ)研究領(lǐng)域的重大課題,也具有深遠(yuǎn)的臨床意義?，F(xiàn)階段,出現(xiàn)閱讀障礙的兒童越來越多,一些神經(jīng)系統(tǒng)的疾病也會(huì)帶來閱讀障礙問題,為了更好地幫助這一人群,我們必須搞清楚正常人在語篇理解過程中的神經(jīng)機(jī)制。

3 影響語篇語義整合的因素

影響語篇語義整合的因素有很多,總體上可以分為語篇內(nèi)因素、非言語因素和個(gè)體差異三類。語篇內(nèi)因素主要包括語境、韻律、信息結(jié)構(gòu)和話題結(jié)構(gòu),非言語因素主要包括世界知識、情緒和心境,個(gè)體差異主要包括工作記憶容量和閱讀水平。

3.1 語篇內(nèi)因素

語篇內(nèi)因素主要有韻律、信息結(jié)構(gòu)、修辭結(jié)構(gòu)與話題結(jié)構(gòu)和語篇語境。

韻律主要針對口語語篇而言,有研究者發(fā)現(xiàn)韻律信息影響早期的語篇連接階段以及較晚期的語篇更新的階段(Schumacher&Baumann,2010)。在漢語中也有大量的關(guān)于重讀與語篇理解的關(guān)系的研究,如：Li,Yang和Hagoort(2008)研究了漢語中重讀和聲調(diào)在語篇理解中的作用,發(fā)現(xiàn)不一致重讀和不正確的聲調(diào)都會(huì)影響N400的波幅,二者沒有交互作用。這表明二者存在共同的認(rèn)知過程,即都會(huì)即時(shí)地把當(dāng)前信息(聲調(diào)信息或重讀信息)整合到之前語境中,在出現(xiàn)不一致重讀或不正確聲調(diào)時(shí)語義整合會(huì)發(fā)生困難。Li,Hagoort和Yang(2008)又結(jié)合關(guān)鍵詞的新舊信息來研究重音在口語語篇理解中的作用,重讀的單詞比非重讀的單詞的N400波幅更大,重讀與信息結(jié)構(gòu)之間存在交互作用,即新信息條件下的重讀與非重讀的差異小于舊信息條件下二者的差異,表明被試能很快地將重讀信息整合到之前的語境中,而且在正確的情況下(即新信息重讀)整合相對容易。這些研究表明語篇的韻律信息可以讓聽者把更多的注意資源分配到重讀的信息上,易化重讀信息的加工,進(jìn)而促進(jìn)其語義整合。

除了口語語篇的韻律信息可以調(diào)節(jié)注意資源的分配,語篇中的焦點(diǎn)與新信息也可以使信息更為凸顯,吸引更多注意。語篇的理解建立在系統(tǒng)組織和儲(chǔ)存信息的基礎(chǔ)上,話題結(jié)構(gòu)和信息的新舊狀態(tài)是信息加工中的兩個(gè)核心成分(Hung&Schumacher,2012)。關(guān)于信息結(jié)構(gòu)對語義整合的影響有很多研究,比如：Wang,Hagoort和Yang(2009)采用問答句的形式研究信息結(jié)構(gòu)在語義加工中的作用,結(jié)果只在焦點(diǎn)位置發(fā)現(xiàn)了完全的N400效應(yīng),在非焦點(diǎn)位置出現(xiàn)了大大減小的N400效應(yīng)。這表明信息結(jié)構(gòu)通過給焦點(diǎn)信息分配更多的資源來易化語義加工。Chen,Li和Yang(2012)采用眼動(dòng)技術(shù)研究了焦點(diǎn)與信息的新舊狀態(tài)在語篇即時(shí)加工中的作用,發(fā)現(xiàn)焦點(diǎn)信息的加工快于非焦點(diǎn)信息,新信息的加工則慢于舊信息,表明了焦點(diǎn)和新舊狀態(tài)是不同的概念,可能分別對應(yīng)語篇加工的不同方面。而在關(guān)鍵詞后的區(qū)域則出現(xiàn)了焦點(diǎn)信息和新舊信息的交互作用,表明在語篇整合階段焦點(diǎn)信息和新舊信息存在復(fù)雜的關(guān)系。為了探討關(guān)鍵詞后出現(xiàn)的交互作用是加工關(guān)鍵詞的效應(yīng)的延續(xù)還是整合后面的詞語時(shí)產(chǎn)生的效應(yīng),Chen,Wang和Yang(2014)采用ERP技術(shù)進(jìn)一步探討了焦點(diǎn)和新舊信息在語篇加工中的作用。結(jié)果發(fā)現(xiàn)焦點(diǎn)信息與非焦點(diǎn)信息相比,誘發(fā)了更大的P2和LPC,而新信息與舊信息相比,則誘發(fā)了更大的N400和更小的LPC,而且焦點(diǎn)和新舊信息之間不存在交互作用。這些結(jié)果表明焦點(diǎn)信息和新舊信息的加工包含不同的認(rèn)知過程,在涉及信息結(jié)構(gòu)的研究中需將二者區(qū)分開。Wang,Bastiaansen,Yang和Hagoort(2013)又研究了信息結(jié)構(gòu)與詞語的情緒性的交互作用,二者都出現(xiàn)了P200和N400效應(yīng),在N400時(shí)間窗口二者發(fā)生了交互作用,表明信息結(jié)構(gòu)只影響中性詞不影響情緒詞,二者在早期階段是獨(dú)立起作用,后期階段才出現(xiàn)了交互作用。這些研究表明了焦點(diǎn)信息通過調(diào)節(jié)注意的分配對語義整合有易化作用,而信息結(jié)構(gòu)中的焦點(diǎn)與信息的新舊反映了不同的認(rèn)知過程：焦點(diǎn)信息會(huì)影響注意分配和即時(shí)整合,而信息的新舊會(huì)對整合困難的加工和記憶提取有影響(Chen et al.,2014)。

語篇的加工不僅包括將新信息整合到之前的語境中,即語篇內(nèi)容的表征,還包括語篇信息的組織方式,即語篇結(jié)構(gòu)的表征(Yang,Chen,&Yang,2014)。語篇結(jié)構(gòu)比較常見的有修辭結(jié)構(gòu)和話題結(jié)構(gòu)。修辭結(jié)構(gòu)理論(RST)通過描述小句之間的關(guān)系以及各個(gè)小句對語篇的整體目標(biāo)的作用來解釋語篇的連貫性(Mann&Thompson,1988)。修辭結(jié)構(gòu)理論自提出以來,被廣泛應(yīng)用于計(jì)算語言學(xué)、語篇分析、跨語言研究、對話與多媒體及寫作中(Taboada&Mann,2006)。有關(guān)修辭結(jié)構(gòu)對語義整合的影響的研究還比較少,只有Yang等人(2014)探討了這一問題,他們設(shè)置了同一單元內(nèi)(兩小句的語義聯(lián)系較強(qiáng))的語義違反和跨單元(兩小句的語義聯(lián)系較弱)的語義違反,結(jié)果發(fā)現(xiàn)當(dāng)語篇中兩個(gè)小句的語義聯(lián)系較強(qiáng)時(shí),語義整合發(fā)生得更加充分;而當(dāng)小句之間的語義聯(lián)系較弱時(shí),語義整合可能失敗。這一研究表明,不僅語篇內(nèi)容會(huì)影響語義整合,而且語篇的組織形式也會(huì)影響語義整合。

近些年來,研究者們開始關(guān)注話題結(jié)構(gòu)在語篇理解中的作用,Hung和Schumacher(2012)用ERP來研究漢語語篇加工中的話題結(jié)構(gòu)的特性,他們采用問答句,問句包括話題位置和非話題位置,答句分為話題延續(xù)、轉(zhuǎn)換和新話題三種條件。在句子的不同位置(句首、句中、句末)記錄了ERP,結(jié)果發(fā)現(xiàn)句首信息的加工受話題結(jié)構(gòu)的調(diào)節(jié),對N400和LPP的影響相似,表現(xiàn)為話題轉(zhuǎn)換誘發(fā)的波幅大于新話題和話題延續(xù)誘發(fā)的波幅。Yang,Chen,Chen,Xu和Yang(2013)研究了話題結(jié)構(gòu)是否會(huì)影響語篇中的語義整合。他們采用ERP技術(shù),設(shè)置了兩種話題結(jié)構(gòu)―話題延續(xù)和話題轉(zhuǎn)換,關(guān)鍵句中包含一個(gè)與第一個(gè)句子的話題一致或不一致的關(guān)鍵詞,發(fā)現(xiàn)在話題延續(xù)的條件下出現(xiàn)了廣泛分布的N400效應(yīng),而話題轉(zhuǎn)換條件下出現(xiàn)了分布在右半球中后部的N400效應(yīng)及晚期正成分。這一結(jié)果表明話題結(jié)構(gòu)確實(shí)對語篇的語義整合產(chǎn)生了影響,即話題轉(zhuǎn)換使得語篇結(jié)構(gòu)更復(fù)雜,導(dǎo)致前期加工的減少,后期心理表征更新的加工增加。這些有關(guān)話題結(jié)構(gòu)的研究都表明了在語義整合過程中工作記憶的作用,讀者在加工一個(gè)話題的相關(guān)內(nèi)容后將其保持在工作記憶中,發(fā)生話題轉(zhuǎn)換時(shí)則需要建立一個(gè)關(guān)于新話題的心理表征,這時(shí)需要抑制之前的表征,使新話題的信息活躍在工作記憶中,積極建立新的表征。

語篇內(nèi)部能夠體現(xiàn)工作記憶的作用的因素還有語篇語境,保持在工作記憶中的語境信息會(huì)自上而下地對語篇中的語義整合產(chǎn)生影響。如：Cook和Myers(2004)用兩個(gè)眼動(dòng)實(shí)驗(yàn)研究了語境和語義知識在故事理解中的作用,發(fā)現(xiàn)語境對句子的角色填充詞(role filler)的早期整合有影響,語義知識會(huì)繼續(xù)影響其整合。實(shí)驗(yàn)結(jié)果支持兩階段的加工模型,第一階段：展開的語篇與被激活的記憶內(nèi)容相連接,第二階段：對新舊信息之間的連接進(jìn)行評估。而Nieuwland和van Berkum(2006)在實(shí)驗(yàn)中發(fā)現(xiàn),獨(dú)立呈現(xiàn)語義違反的句子時(shí),誘發(fā)了N400效應(yīng)。但在支持性語境中,這種效應(yīng)完全消失了,這表明整體語境可以壓制局部的詞匯違反,也暗示我們語言理解不包括最初的獨(dú)立于語境的語義分析,支持一階段模型。可見,語篇限制性對語篇中的語義整合具有很大影響。既然語境的限制性會(huì)影響語義整合,那語境的限制性是來源于語篇的實(shí)際信息還是被激活的場景？Otten和van Berkum(2007)研究了這一問題,發(fā)現(xiàn)在語境限制性較強(qiáng)時(shí),理解語篇需要迅速應(yīng)用精確的信息。而在缺乏限制性很強(qiáng)的信息時(shí),被激活的場景也可以較快地影響理解。這一研究表明當(dāng)語境限制性較強(qiáng)時(shí),語境信息對語篇的語義整合會(huì)有顯著的影響,當(dāng)限制性較弱時(shí),可能會(huì)激活長時(shí)記憶中儲(chǔ)存的相關(guān)場景來達(dá)成連貫理解。

3.2 非言語因素

非言語因素主要有世界知識、情緒和心境。

世界知識可以即時(shí)地影響語言理解(Hagoort et al.,2004;Münte,Schiltz,&Kutas,1998)。一些研究者認(rèn)為語義和世界知識不應(yīng)區(qū)分開,因?yàn)橐粋€(gè)詞語可能有多個(gè)意思,這個(gè)詞語的意思需要激活世界知識才能完全確認(rèn)(Jackendoff,2003)。Cook和Gueraud(2005)在基于記憶和基于解釋的觀點(diǎn)的基礎(chǔ)上,提出了調(diào)節(jié)這兩種觀點(diǎn)的框架,認(rèn)為早期階段是基于記憶的,晚期階段是基于解釋的,世界知識在這兩個(gè)階段都發(fā)揮重要作用。Hald,Steenbeek-Planting和 Hagoort(2007)探討了語篇語境與世界知識在語篇理解中的作用,發(fā)現(xiàn)在語篇理解中長時(shí)記憶中的世界知識與語篇語境存在交互作用,合適的語篇語境可以易化新的世界知識的整合,但不能推翻世界知識的影響,世界知識也不能推翻語篇語境的影響。世界知識是儲(chǔ)存在長時(shí)記憶中的知識,一般會(huì)在特定的語境中被激活,如果看到的信息與讀者的世界知識不符,就會(huì)出現(xiàn)加工困難。

情緒(emotion)在心理學(xué)領(lǐng)域研究較多,近年來研究者也越來越關(guān)注情緒在語篇理解中的作用。León,Díaz,de Vega 和 Hernández(2010)研究了語篇中的情緒信息的一致性對ERP成分的調(diào)節(jié)作用。讓被試閱讀帶有情緒信息的故事,對關(guān)鍵句中的關(guān)鍵詞設(shè)置了四種條件：與語篇情緒信息一致、不一致、語義違反及中性情緒,結(jié)果發(fā)現(xiàn)與語篇的情緒信息不一致的詞語相對于一致的詞語誘發(fā)了更大的N100/P200和N400,而在單獨(dú)呈現(xiàn)的句子中這種效應(yīng)則消失,表明情緒確實(shí)對語義整合產(chǎn)生了影響,而且的確是基于語篇水平的。還有研究從具身認(rèn)知的角度來考察情緒對語篇理解的影響(Horchak,Giger,&Pochwatko,2014),他們研究了模擬情緒對語篇理解的影響,讓被試閱讀積極情緒的事件,操縱被試的面部表情與語篇的情緒一致或者不一致,并增加自然閱讀的控制條件,采取自定步速的在線閱讀和逐字閱讀并回答問題的離線閱讀兩種方式,結(jié)果發(fā)現(xiàn)面部表情與語篇情緒一致的情況下,自定步速閱讀的速度要比不一致和控制條件下快,而離線閱讀則沒有差異,表明這種情緒模擬可能對在線的閱讀有影響,而對離線的閱讀沒有影響。由此可見,在研究語篇理解,尤其是對帶有情緒性的語篇的理解時(shí),我們需要將閱讀者的情緒考慮進(jìn)來,還要注意區(qū)分在線閱讀和離線閱讀的差異。

不僅情緒會(huì)影響語篇中的語義整合,讀者或聽者的心境(mood)的不同也會(huì)對其產(chǎn)生影響。Egidi和Gerrig(2009)誘導(dǎo)出被試的積極心境或消極心境,讓被試閱讀可以是積極結(jié)尾也可以是消極結(jié)尾的故事,實(shí)驗(yàn)一結(jié)果顯示無論被試的心境如何,他們在整合消極情緒的結(jié)尾時(shí)耗時(shí)更長,故事結(jié)尾的效價(jià)對即時(shí)閱讀有很大影響;實(shí)驗(yàn)二進(jìn)一步讓被試評價(jià)他們看到故事結(jié)尾時(shí)的驚訝程度,結(jié)果發(fā)現(xiàn)被試的心境的不同會(huì)使得他們對故事的結(jié)尾形成相應(yīng)的不同的預(yù)期。Egidi和Nusbaum(2012)又以N400為指標(biāo),進(jìn)一步研究了心境如何影響語篇中的語義整合,把被試分為高興、悲傷和中性心境三組,來閱讀積極結(jié)尾和消極結(jié)尾的故事。結(jié)果高興組和中性組閱讀消極結(jié)尾時(shí)的N400波幅更大,表現(xiàn)出了對消極結(jié)尾和心境一致性的敏感性?？梢?讀者的心境會(huì)對語篇中的語義整合會(huì)產(chǎn)生影響。在誘發(fā)了積極或消極的情緒或心境后,讀者要對這些情緒或心境進(jìn)行加工,需要占用注意資源,從而會(huì)影響注意分配及信息提取,因此會(huì)對語義整合產(chǎn)生不同作用。

3.3 個(gè)體差異因素

與語篇理解相關(guān)的個(gè)體差異主要有工作記憶容量和閱讀能力。工作記憶容量與閱讀能力之間存在很高的相關(guān)性,一般工作記憶容量大者閱讀水平會(huì)高些。閱讀能力一般的讀者比閱讀能力好的讀者對語境的依賴性更大(Ashby,Rayner,&Clifton,2005)。

Borella和de Ribaupierre(2013)比較了不同年齡段的兒童在閱讀理解中的表現(xiàn)的差異,發(fā)現(xiàn)年齡較大的兒童在工作記憶容量高的任務(wù)上的表現(xiàn)好于較小的兒童。高工作記憶者對語境中出現(xiàn)的與啟動(dòng)詞相關(guān)的詞語不敏感,可能高工作記憶者在整合新單詞時(shí)有額外的、不同的加工方式。Otten和van Berkum(2009)用ERP的技術(shù)探討了工作記憶容量是否會(huì)影響語篇中的預(yù)期的加工。結(jié)果發(fā)現(xiàn)工作記憶容量不影響對具體詞的預(yù)期,即工作記憶容量高和工作記憶容量低的個(gè)體在限制性語篇中都會(huì)對某個(gè)具體的詞自動(dòng)地產(chǎn)生預(yù)期。然而在加工與預(yù)期不符的詞語中二者表現(xiàn)出了差異,低工作記憶容量的個(gè)體出現(xiàn)了一個(gè)額外的晚期負(fù)成分,表明這些個(gè)體進(jìn)行了進(jìn)一步的加工,他們需要更多的資源去解決這種不一致或者他們需要更多的資源去抑制之前的預(yù)期。這些研究表明了不同工作記憶容量的個(gè)體在語篇理解中的加工方式可能存在差異,到底會(huì)有怎樣的差異,這些差異發(fā)生在什么階段,還需要進(jìn)一步的研究。

語篇理解中語義整合的影響因素有很多,我們不能窮盡。以后研究者們可能會(huì)繼續(xù)發(fā)現(xiàn)新的影響因素,而且各因素間可能存在交互作用。這提示我們在以后的研究中要考慮這些因素可能造成的影響,并對其進(jìn)行適當(dāng)控制。

4 總結(jié)與展望

4.1 N400、P600等成分的復(fù)雜性

目前關(guān)于語篇中的語義整合的時(shí)間進(jìn)程的研究大都采用事件相關(guān)電位(ERP)技術(shù),運(yùn)用語義違反的范式,以N400和P600為指標(biāo)來進(jìn)行研究。這些研究表明N400對語義違反非常敏感,語義整合是即時(shí)發(fā)生的。另外,隨后在語義違反中出現(xiàn)的P600成分的變化,被解釋為高限制性語境下出現(xiàn)的語義錯(cuò)覺,從另一個(gè)角度證明了語義整合的即時(shí)性。

雖然我們認(rèn)為語篇中的語義整合發(fā)生在N400的時(shí)間窗口內(nèi),在語境預(yù)期較強(qiáng)的情況下的語義違反詞沒有誘發(fā)N400效應(yīng)反而誘發(fā)P600效應(yīng),對于這一現(xiàn)象,有些研究者也認(rèn)為是由于語境的限制性太強(qiáng),當(dāng)前信息與之前信息進(jìn)行即時(shí)的淺層整合導(dǎo)致的(Nieuwland,2013;Nieuwland&Martin,2012)。但是,隨著ERP研究的增多,研究者們發(fā)現(xiàn)N400和P600這兩個(gè)成分所涉及的認(rèn)知過程也越來越復(fù)雜,如：Brouwer,Fitz和Hoeks(2012)在總結(jié)了關(guān)于語義錯(cuò)覺的幾種解釋模型后提出了一個(gè)“Retrieval-Integration”的解釋模型,認(rèn)為N400與記憶提取相關(guān),P600與語義整合相關(guān)。這一模型可以較好地解釋近年來發(fā)現(xiàn)的語義錯(cuò)覺現(xiàn)象,但這種解釋只適用于與語境匹配較好的違反詞的加工的解釋,那些與語境匹配較差的違反詞一般僅僅引起N400效應(yīng)則很難用這種觀點(diǎn)進(jìn)行解釋。

這些不同的觀點(diǎn)也讓我們看到對ERP成分解釋的復(fù)雜性,同一個(gè)成分不同的研究者根據(jù)自己的實(shí)驗(yàn)范式和材料會(huì)給出不同的解釋,相應(yīng)的也會(huì)反映出不同的加工過程。我們不能簡單地認(rèn)為N400與語義加工相關(guān),P600與句法加工相關(guān),這些不同的成分之間可能會(huì)存在加工過程上的交叉與重合,像N400和P600都可能出現(xiàn)在語義整合過程中;而且不同的成分之間可能存在時(shí)間上的重合,像delayed N400和P600的時(shí)間窗口有很大的重合,可能只是波的極性不同,因此在解釋它們代表的加工過程時(shí)需要謹(jǐn)慎對待。鑒于這種成分解釋的多樣性,我們認(rèn)為僅僅用簡單的ERP成分來解釋某一認(rèn)知功能可能有很多不足之處,我們可以充分利用EEG數(shù)據(jù),結(jié)合溯源分析、時(shí)頻分析等方法挖掘更多的有效信息,這樣我們可以大致定位腦區(qū)并能得到頻段和時(shí)間的對應(yīng)關(guān)系,從而更加精確地揭示語義整合過程。

4.2 腦功能連接趨向

有關(guān)語篇中語義整合的神經(jīng)機(jī)制,從具體腦區(qū)的功能的研究到神經(jīng)網(wǎng)絡(luò)的探討,積累了大量實(shí)證研究數(shù)據(jù)。已經(jīng)發(fā)現(xiàn),額葉、顳葉、頂葉的某些部位都參與語義整合,但具體是哪些部位與語義整合密切相關(guān),研究者沒有達(dá)成一致。研究者們逐漸由具體腦區(qū)的定位轉(zhuǎn)向神經(jīng)網(wǎng)絡(luò)的研究,發(fā)現(xiàn)額-顳網(wǎng)絡(luò)參與語義違反的檢測。在語義整合過程中具體存在怎樣的神經(jīng)網(wǎng)絡(luò)的連接仍是需要研究的問題。

研究者們提出了一些模型來試圖解釋語言理解的神經(jīng)機(jī)制,雖然這些模型在語言理解的加工過程上提出了不同的見解,但它們大都是只提出了某個(gè)加工過程可能與哪些具體的腦區(qū)相聯(lián)系,對于多腦區(qū)的協(xié)同活動(dòng)以及功能網(wǎng)絡(luò)的解釋力不足,未來可以結(jié)合腦功能連接的研究,通過計(jì)算機(jī)模擬大腦的活動(dòng)來構(gòu)建能夠解釋語義整合與功能網(wǎng)絡(luò)的關(guān)聯(lián)性的問題。

在語篇中的語義整合的神經(jīng)機(jī)制問題上,我們也可以通過神經(jīng)震蕩的方法來探索腦區(qū)之間的連接。這方面的研究已經(jīng)有了很多積累,研究者們對不同頻段的能量變化給予了認(rèn)知過程的解釋,但還有很多問題有待解決。比如：很多研究僅僅是發(fā)現(xiàn)了某個(gè)頻段的能量的變化就用這些變化來解釋認(rèn)知過程,這種解釋與ERP的成分的分析沒有本質(zhì)的區(qū)別,都不能給出一個(gè)立體直觀的解釋,我們認(rèn)為頻段的分析需與其所在的腦區(qū)結(jié)合才能凸顯其研究大腦功能連接的優(yōu)勢,這樣我們就可以認(rèn)為某一認(rèn)知功能是由于一些腦區(qū)的神經(jīng)共振導(dǎo)致的,這一認(rèn)知功能的實(shí)現(xiàn)需要這些腦區(qū)的協(xié)同活動(dòng)。

4.3 影響因素的進(jìn)一步探討

關(guān)于語義整合的影響因素,在非言語因素和個(gè)體差異上有很多問題需要研究,比如：長時(shí)記憶中的世界知識與語篇內(nèi)因素尤其是語篇結(jié)構(gòu)之間在語義整合上是否存在交互作用,病人(如：閱讀障礙者、精神分裂癥患者、阿爾茲海默癥患者)在語義整合上與正常人之間的差異等。

我們重點(diǎn)關(guān)注語篇內(nèi)因素可以深入研究的問題。語境是語篇加工中必然存在的因素,語境會(huì)使讀者產(chǎn)生預(yù)期或激活世界知識,因此我們在研究語篇結(jié)構(gòu)對語義整合的影響時(shí)要控制好語境的效應(yīng)或者考察二者的交互作用。語篇結(jié)構(gòu)中的修辭結(jié)構(gòu)主要是來描述語篇的組織性、解釋語篇的連貫性,主要關(guān)注語篇的層級性及核心性,目前的研究中主要關(guān)注了修辭結(jié)構(gòu)中的層級性對語義整合的影響,而并沒有關(guān)注修辭結(jié)構(gòu)中的核心性的影響,在此基礎(chǔ)上,未來研究可以進(jìn)一步研究小句在語篇中的核心性對語義整合的影響。

除了修辭結(jié)構(gòu),語篇中還存在話題結(jié)構(gòu),在組織語篇,促進(jìn)語篇的開展中話題結(jié)構(gòu)也有重要作用。目前關(guān)于話題結(jié)構(gòu)的研究主要把話題結(jié)構(gòu)分為話題轉(zhuǎn)換和話題延續(xù),要深入探究話題結(jié)構(gòu)對語義整合的影響,我們還需要進(jìn)一步明確話題結(jié)構(gòu)的性質(zhì)及類型,比如：話題轉(zhuǎn)換的類型可以根據(jù)兩個(gè)話題之間的語義聯(lián)系的強(qiáng)弱分為強(qiáng)轉(zhuǎn)換與弱轉(zhuǎn)換,進(jìn)一步考察話題轉(zhuǎn)換的不同程度對語義整合的影響有什么差異。目前關(guān)于話題結(jié)構(gòu)的研究主要在工作記憶范疇下,長時(shí)記憶中的世界知識的激活會(huì)不會(huì)對話題結(jié)構(gòu)的效應(yīng)有調(diào)節(jié)作用呢？當(dāng)語篇中出現(xiàn)兩個(gè)話題時(shí)我們一般認(rèn)為是話題轉(zhuǎn)換了,但如果這兩個(gè)話題之間是領(lǐng)屬或整體-部分的關(guān)系時(shí),它們語義上是有很強(qiáng)的銜接的,我們還不清楚讀者關(guān)于這兩個(gè)話題的關(guān)系的加工模式是與話題轉(zhuǎn)換一致還是與話題延續(xù)一致。在研究方法上,限于EEG技術(shù)的要求,目前研究話題結(jié)構(gòu)大都采用短語篇作為實(shí)驗(yàn)材料,這種材料一般不太符合語言的使用習(xí)慣,其生態(tài)效度令人擔(dān)憂,未來研究也可以考慮采用更為自然的長語篇作為材料,通過自定步速閱讀或眼動(dòng)的方法來探究這一問題。

胡建軍.(2003).話語分析與語篇.徐州建筑職業(yè)技術(shù)學(xué)院學(xué)報(bào),3(4),50–52.

胡壯麟.(1994).語篇的銜接與連貫.上海:上海外語教育出版社.

黃國文,徐珺.(2006).語篇分析與話語分析.外語與外語教學(xué),(10),1–6.

莫雷,王瑞明,冷英.(2012).文本閱讀雙加工理論與實(shí)驗(yàn)證據(jù).心理學(xué)報(bào),44(5),569–584.

王瑞明,莫雷.(2011).文本閱讀中信息的協(xié)調(diào)性整合.心理科學(xué)進(jìn)展,19(4),471–479.

楊曉虹.(2011).漢語語篇層級性和關(guān)系性的韻律特征和理解加工(博士學(xué)位論文).中國科學(xué)院研究生院,北京.

朱祖德,王穗蘋,馮剛毅,李國超.(2011).語言理解中語義整合的神經(jīng)機(jī)制.心理科學(xué),34(5),1062–1067.

Ashby,J.,Rayner,K.,&Clifton,C.(2005).Eye movements of highly skilled and average readers:Differential effects of frequency and predictability.The Quarterly Journal of Experimental Psychology,58A(6),1065–1086.

Bastiaansen,M.,&Hagoort,P.(2006).Oscillatory neuronal dynamicsduring language comprehension.Progress in Brain Research,159,179–196.

Beaugrande,R.,&Dressler,W.(1981).Introduction to text linguistics.London and New York:Routledge.

Berkum,J.v.,Hagoort,P.,&Brown,C.(1999).Semantic integration in sentences and discourse:Evidence from the N400.Journal of Cognitive Neuroscience,11(6),657–671.

Borella,E.,& deRibaupierre,A.(2013).The roleof working memory,inhibition,and processing speed in text comprehension in children.LearningandIndividual Differences,34,86–92.

Brouwer,H.,Fitz,H.,&Hoeks,J.(2012).Getting real about semantic illusions:Rethinking the functional role of the P600 in language comprehension.Brain Research,1446,127–143.

Brown,C.,&Hagoort,P.(1993).The processing nature of the N400:Evidence from masked priming.Journal of Cognitive Neuroscience,5(1),34–44.

Chen,L.J.,Li,X.S.,&Yang,Y.F.(2012).Focus,newness and their combination:Processing of information structure in discourse.PloS One,7(8),e42533.

Chen,L.J.,Wang,L.,&Yang,Y.F.(2014).Distinguish between focus and newness:An ERP study.Journal of Neurolinguistics,31,28–41.

Cook,A.E.,&Gueraud,S.(2005).What have we been missing?The role of general world knowledge in discourse processing.Discourse Processes,39(2-3),265–278.

Cook,A.E.,&Myers,J.L.(2004).Processing discourse roles in scripted narratives:The influences of context and world knowledge.Journal of Memory and Language,50(3),268–288.

de Beaugrande,R.-A.,&Dressler,W.U.(1981).Introduction to text linguistics(Vol.1).London:Longman.

Egidi,G.,&Caramazza,A.(2013).Cortical systems for local and global integration in discourse comprehension.NeuroImage,71,59–74.

Egidi,G.,&Gerrig,R.J.(2009).How valence affects language processing:Negativity bias and mood congruence in narrative comprehension.Memory&Cognition,37(5),547–555.

Egidi,G.,&Nusbaum,H.C.(2012).Emotional language processing:How mood affects integration processes during discourse comprehension.Brain and Language,122(3),199–210.

Friston,K.J.,Bastos,A.M.,Pinotsis,D.,&Litvak,V.(2015).LFP and oscillations—whatdo they tellus?Current Opinion in Neurobiology,31,1–6.

Graesser,A.C.,Singer,M.,&Trabasso,T.(1994).Constructing inferences during narrative text comprehension.Psychological Review,101(3),371–395.

Güntekin,B.,& Ba?ar,E.(2014).A review ofbrain oscillations in perception of faces and emotional pictures.Neuropsychologia,58,33–51.

Hagoort,B.,&Willems,R.M.(2009).Semantic unification In M.S.Gazzaniga(Ed.),The new cognitive neurosciences(4th ed.,pp.819–836).London:MIT Press.

Hagoort,P.(2005).On Broca,brain,and binding:A new framework.Trends in Cognitive Sciences,9(9),416–423.

Hagoort,P.(2013).MUC(Memory,Unification,Control)and beyond.Frontiers in Psychology,4,416–429.

Hagoort,P.,Brown,C.,& Groothusen,J.(1993).The syntactic positive shift(SPS)asan ERP measure of syntactic processing.Language and Cognitive Processes,8(4),439–483.

Hagoort,P.,Hald,L.,Bastiaansen,M.,&Petersson,K.M.(2004).Integration of word meaning and world knowledge in language comprehension.Science,304(5669),438–441.Hald,L.A.,Bastiaansen,M.,&Hagoort,P.(2006).EEG theta and gamma responses to semantic violations in online sentence processing.Brain and Language,96(1),90–105.

Hald,L.A.,Steenbeek-Planting,E.G.,&Hagoort,P.(2007).The interaction of discourse context and world knowledge in online sentencecomprehension.Evidencefrom the N400.Brain Research,1146,210–218.

Halliday,M.A.,&Hasan,R.(1976).Cohesion in English.London:Longman.

Hess,D.J.,Foss,D.J.,&Carroll,P.(1995).Effects of global and local context on lexical processing during language comprehension.JournalofExperimental Psychology:General,124(1),62–82.

Horchak,O.V.,Giger,J.-C.,& Pochwatko,G.(2014).Discourse comprehension and simulation of positive emotions.Psicológica,35,17–37.

Hung,Y.-C.,&Schumacher,P.B.(2012).Topicality matters:Position-specific demands on Chinese discourse processing.Neuroscience Letters,511(2),59–64.

Jackendoff,R.(2003).Précis of foundations of language:Brain,meaning,grammar,evolution.Behavioral and Brain Sciences,26(6),651–665.

Jung-Beeman,M.(2005).Bilateralbrain processes for comprehending naturallanguage.TrendsinCognitive Sciences,9(11),512–518.

Kaan,E.,Harris,A.,Gibson,E.,&Holcomb,P.(2000).The P600 as an index ofsyntactic integration difficulty.Language and Cognitive Processes,15(2),159–201.

Klimesch,W.(2012).Alpha-band oscillations,attention,and controlled access to stored information.Trends in Cognitive Sciences,16(12),606–617.

Kutas,M.,& Hillyard,S.A.(1980).Reading senseless sentences:Brain potentials reflect semantic incongruity.Science,207(4427),203–205.

Lau,E.F.,Phillips,C.,&Poeppel,D.(2008).A cortical network for semantics:(de)constructing the N400.Nature Reviews Neuroscience,9(12),920–933.

León,I.,Díaz,J.M.,de Vega,M.,&Hernández,J.A.(2010).Discourse-based emotional consistency modulates early and middle components of event–related potentials.Emotion,10(6),863–873.

Li,X.Q.,Hagoort,P.,&Yang,Y.F.(2008).Event-related potential evidence on the influence of accentuation in spoken discourse comprehension in Chinese.Journal of Cognitive Neuroscience,20(5),906–915.

Li,X.Q.,Yang,Y.F.,&Hagoort,P.(2008).Pitch accent and lexical tone processing in Chinese discourse comprehension:An ERP study.Brain Research,1222,192–200.

Mann,W.C.,& Thompson,S.A.(1988).Rhetorical structure theory:Toward a functionaltheory oftext organization.Text,8(3),243–281.

McKoon,G.,&Ratcliff,R.(1998).Memory–based language processing:Psycholinguistic research in the 1990s.Annual Review of Psychology,49(1),25–42.

Mellem,M.S.,Friedman,R.B.,&Medvedev.A.V.(2013).Gamma-and theta-band synchronization during semantic priming reflectlocaland long-range lexical-semantic networks.Brain and Language,127(3),440–451.

Miltner,W.H.,Braun,C.,Arnold,M.,Witte,H.,&Taub,E.(1999).Coherence of gamma-band EEG activity as a basis for associative learning.Nature,397(6718),434–436.

Münte,T.F.,Schiltz,K.,&Kutas,M.(1998).When temporal terms belie conceptual order.Nature,395(6697),71–73.

Nieuwland,M.S.(2013).“If a lion could speak…”:Online sensitivity to propositional truth-value of unrealistic counterfactual sentences.Journal of Memory and Language,68(1),54–67.

Nieuwland,M.S.,&Martin,A.E.(2012).If the real world were irrelevant,so to speak:The role of propositional truth-value in counterfactualsentence comprehension.Cognition,122(1),102–109

Nieuwland,M.S.,&van Berkum,J.J.(2005).Testing the limits of the semantic illusion phenomenon:ERPs reveal temporary semantic change deafness in discourse comprehension.Cognitive Brain Research,24(3),691–701.

Nieuwland,M.S.,&van Berkum,J.J.(2006).When peanuts fall in love:N400 evidence for the power of discourse.Journal of Cognitive Neuroscience,18(7),1098–1111.

O'Brien,E.J.,Rizzella,M.L.,Albrecht,J.E.,&Halleran,J.G.(1998).Updating a situation model:A memory-based text processing view.Journal of Experimental Psychology:Learning,Memory,and Cognition,24(5),1200–1210.

Osterhout,L.,&Holcomb,P.J.(1992).Event-related brain potentials elicited by syntactic anomaly.Journalof Memory and Language,31(6),785–806.

Otten,M.,&van Berkum,J.J.A.(2007).What makes a discourse constraining?Comparing the effects of discourse message and scenario fit on the discourse-dependent N400 effect.Brain Research,1153,166–177.

Otten,M.,&van Berkum,J.J.A.(2009).Does working memory capacity affect the ability to predict upcoming words in discourse?Brain Research,1291,92–101.

Salmon, N., & Pratt,H. (2002).A comparison of sentence-and discourse-level semantic processing:An ERP study.Brain and Language,83(3),367–383.

Sanford,A.J.,Leuthold,H.,Bohan,J.,&Sanford,A.J.(2011).Anomalies at the borderline of awareness:An ERP study.Journal of Cognitive Neuroscience,23(3),514–523.

Schumacher,P.B.,&Baumann,S.(2010).Pitch accent type affects the N400 during referential processing.NeuroReport,21(9),618–622.

Sedivy,J.C.,Tanenhaus,M.K.,Chambers,C.G.,&Carlson,G.N.(1999).Achieving incremental semantic interpretation through contextual representation.Cognition,71(2),109–147.

Shibata,M.,Abe,J.-i.,Itoh,H.,Shimada,K.,&Umeda,S.(2011).Neural processing associated with comprehension ofan indirectreply during a scenario reading task.Neuropsychologia,49(13),3542–3550.

Singer,M.,Graesser,A.C.,&Trabasso,T.(1994).Minimal or global inference during reading.Journal of Memory and Language,33(4),421–441.

Taboada,M.,&Mann,W.C.(2006).Rhetorical structure theory:Looking back and moving ahead.Discourse Studies,8(3),423–459.

Tallon-Baudry,C.,& Bertrand,O.(1999).Oscillatory gamma activity in humans and its role in object representation.TrendsinCognitiveScience,3(4),151–162.

Urrutia,M.,de Vega,M.,& Bastiaansen,M.(2012).Understanding counterfactuals in discourse modulates ERP and oscillatory gamma rhythms in the EEG.Brain Research,1455,40–55.

van Berkum,J.J.(2012).The electrophysiology of discourse and conversation.In M.J.Spivey,K.McRae,&M.F.Joanisse(Eds.),The Cambridge handbook of psycholinguistics(pp.589–614).New York:Cambridge University Press.

van Berkum,J.J.,Brown,C.M.,&Hagoort,P.(1999).Early referential context effects in sentence processing:Evidence from event–related brain potentials.Journal of Memory and Language,41(2),147–182.

van Berkum,J.J.,Zwitserlood,P.,Hagoort,P.,&Brown,C.M.(2003).When and how do listeners relate a sentence to the wider discourse? Evidence from the N400 effect.Cognitive Brain Research,17(3),701–718.

van den Broek,P.,Rapp,D.N.,&Kendeou,P.(2005).Integrating memory-based and constructionist processes in accounts of reading comprehension.Discourse Processes,39(2-3),299–316.

van den Broek,P.,Risden,K.,Fletcher,C.R.,&Thurlow,R.(1996).A “l(fā)andscape”view of reading:Fluctuating patterns of activation and the construction of a stable memory representation.In.B.K.Britton&A.C.Graesser(Eds.),Models of understanding text(pp.165–187).London:Psychology Press.

van Petten,C.,Coulson,S.,Rubin,S.,Plante,E.,&Parks,M.(1999).Time course of word identification and semantic integration in spoken language.Journal of Experimental Psychology:Learning,Memory,and Cognition,25(2),394–417.

Wang,L.,Bastiaansen,M.,Yang,Y.,&Hagoort,P.(2013).ERP evidence on theinteraction between information structure and emotionalsalience of words.Cognitive,Affective,&Behavioral Neuroscience,13(2),297–310.

Wang,L.,Hagoort,P.,&Yang,Y.F.(2009).Semantic illusion depends on information structure:ERP evidence.Brain Research,1282,50–56.

Wang,L.,Jensen,O.,van den Brink,D.,Weder,N.,Schoffelen,J.M.,Magyari,L.,...Bastiaansen,M.(2012).Beta oscillations relate to the N400m during language comprehension.Human Brain Mapping,33(12),2898–2912.

Wang,L.,Zhu,Z.,&Bastiaansen,M.(2012).Integration or predictability?A further specification of the functional role of gamma oscillations in language comprehension.Frontiers in Psychology,3,187–199.

Xu,J.,Kemeny,S.,Park,G.,Frattali,C.,&Braun,A.(2005).Language in context:Emergent features of word,sentence,and narrative comprehension.NeuroImage,25(3),1002–1015.

Yang,X.H.,Chen,L.J.,&Yang,Y.F.(2014).The effect of discourse structure on depth of semantic integration in reading.Memory&Cognition,42,325–339.

Yang,X.H.,Chen,X.H.,Chen,S.,Xu,X.Y.,&Yang,Y.F.(2013).Topic structure affects semantic integration:Evidence from Event-related potentials.PloS One,8(12),e79734.