摘要:句法和語義是句子理解加工的兩個主要方面,人類大腦是否能夠?qū)浞ê驼Z義進行區(qū)分? 又是如何對兩者分別進行表征和加工的? 這是目前語言認(rèn)知神經(jīng)科學(xué)領(lǐng)域研究的一個十分重要的課題。近年諸如“ERP”和“fMRI”之類神經(jīng)語言學(xué)研究方法的興起和盛行,為句子理解加工的相關(guān)研究提供了新的技術(shù)手段,也使研究者對句子理解加工的研究大大深化。本文旨在概述當(dāng)前句法語義關(guān)系的ERP研究的一些成果。
關(guān)鍵詞:句子加工句法加工語義加工“ERP”“FMRI”
一、引言
心理語言學(xué)界普遍認(rèn)為,句子理解主要涉及句法加工和語義加工兩個方面,不少學(xué)者對此兩方面的相關(guān)問題已經(jīng)進行了深入的研究。之前行為研究方法雖取得許多卓越成果,但對于揭示句子加工的內(nèi)部過程仍存在著一些先天的不足,因為句子加工過程幾乎是在無意識的狀態(tài)下瞬間完成的,而像“反應(yīng)時”這類行為研究方法,從本質(zhì)上來講是對被試完成任務(wù)后的各類測試,無法獲得被試的實時在線加工信息。
而ERP反映的是與特定刺激呈現(xiàn)時間同步的突觸后電位的總和,可從極性(P/N)、波幅、潛伏期和頭皮分布等多方面進行描述。波幅反映了加工過程的難易程度;潛伏期以毫秒為單位,反映刺激出現(xiàn)后神經(jīng)活動與加工過程的速度與時間進程;頭皮分布則是腦認(rèn)知活動的大腦皮層定位。ERP技術(shù)在時間上具有毫秒級的高分辨率,能夠清楚地呈現(xiàn)句子理解的時間進程。ERP技術(shù)憑借其多維的探測能力、高時間分辨率以及空間分辨率, 已成為現(xiàn)代句子理解研究最重要的手段之一。
二、四種ERP成分
近二三十年來,研究者們通過ERP手段對句子理解認(rèn)知過程的研究,發(fā)現(xiàn)了與句子認(rèn)知加工相關(guān)的四種ERP成分,分別是與語義加工相關(guān)的N400和與句法加工相關(guān)的“ELAN”(early left anterior negativities),“LAN”(left anterior negativities)以及P600成分。
Kutas和Hillyard(1980)首次運用句法結(jié)構(gòu)正確但句末單詞語義違反的句子為實驗材料,發(fā)現(xiàn)了峰值約為400ms的N400。通常認(rèn)為N400與語義加工有關(guān),并得到后來研究的多次證實。進一步研究發(fā)現(xiàn),被試對違反詞的期望及違反詞與其他詞之間的關(guān)系會影響N400波幅的大小;另外,N400的大小還受違反詞使用頻率、語義抽象程度、語境等因素的影響。
Kutas和Hillyard之后的研究者在句法違背句中發(fā)現(xiàn)了與句法加工相關(guān)的左前負(fù)成分“LAN”、早期左前負(fù)成分“ELAN”和“P600”等ERP成分。LAN分布比較一致,集中于左半腦前部,沒有固定峰值,其潛伏期為300ms到500ms,但也有研究報告稱其潛伏期始于100ms。研究發(fā)現(xiàn)不僅在詞類違反的情況下能夠發(fā)現(xiàn)LAN,而且在名詞復(fù)數(shù)不一致、動詞時態(tài)不一致(HagoortBrown,2000)和無意義句中(Munte等,1997)也發(fā)現(xiàn)過此成分。ELAN是潛伏期在100ms到300ms的ERP成分,它的出現(xiàn)主要與句子中的詞類違反有關(guān)。在視覺和聽覺呈現(xiàn)方式的詞類違反句實驗中均發(fā)現(xiàn)了ELAN(Friederici,1999;HahneFriederici,2002)。從ELAN和LAN的大腦皮層定位來看,早期句法加工的主要功能區(qū)位于左額葉和左側(cè)前部顳葉。
P600最先由OsterhoutHolcomb(1992)發(fā)現(xiàn),是與句法加工有關(guān)、出現(xiàn)在目標(biāo)的違反詞之后500~600ms的晚期正成分,主要分布在大腦中央頂區(qū)。主謂一致違反、動詞屈折變化違反、格的屈折變化違反、短語結(jié)構(gòu)違反等均能發(fā)現(xiàn)P600。有的研究者認(rèn)為ELAN和P600共同反映了句子的句法加工進程,其中ELAN反映句子結(jié)構(gòu)的初步建構(gòu),P600標(biāo)志著對句法結(jié)構(gòu)的再加工或整合。不過,近期的研究中也有學(xué)者提出“語義P600”,認(rèn)為影響語義P600效應(yīng)產(chǎn)生的有五個主要因素:關(guān)鍵詞和論元之間的語義關(guān)聯(lián)性;語義-主題關(guān)系的潛在可修正性;生命度違例;語境和實驗任務(wù)。以上ERP成分是研究句法語義加工的重要指標(biāo),是經(jīng)過反復(fù)研究證明了的較為科學(xué)可信的指標(biāo)。
三、語言句法語義加工的ERP相關(guān)研究
一直以來,語言理解的句法和語義加工機制問題也備受學(xué)者關(guān)注,有關(guān)此問題的主要理論是句法自主理論和相互作用理論。句法自主理論又稱模塊化理論,該理論認(rèn)為在句子加工中,句子所包含的各種信息的加工由大腦的不同功能性模塊完成。句法加工是一個獨立的模塊,只受到句法結(jié)構(gòu)信息的影響,而語義信息的加工位于句法加工之后,處于第二個加工階段,根據(jù)語義信息可對初步的句法分析結(jié)果作出評價,如果句法分析與語義分析在結(jié)果上有矛盾之處,那么,將會重新進行句法再分析(Forster,1979;FrazierRayner,1982)。句法自主理論認(rèn)為句法加工和語義加工是相互獨立的,且句法加工在語義加工之前,語義加工對句法加工并無實質(zhì)性作用;與句法自主理論相對,相互作用理論則認(rèn)為在句子的加工過程中,句法信息和語義信息相互影響,相互作用,詞匯和語義信息可以影響句法信息的加工,同時,在一定程度上也可以限制句法的分析判斷以及句法結(jié)構(gòu)的構(gòu)建(Bates等,1987; MacDonald等,1994)。這兩種理論通過大量的實驗研究(ERP、fMRI等)進行了反復(fù)論證,并不斷得到修正。在此,我們主要綜述語言句法語義加工的ERP相關(guān)研究。
盡管模塊論與交互論都得到了許多行為學(xué)及電生理學(xué)實驗的支持,但仍有大量研究表明,句法和語義加工相互獨立,且具有各自的加工模式,但同時兩者也相互聯(lián)系(BornkesselSchlesewsky,2006;KimOsterhout,2005;KolkChwilla,2007;Kuperberg,2007;Ferreira,2003)。支持以上觀點的論據(jù)主要集中在對P600成分的研究上,一般認(rèn)為,P600與不規(guī)則句法直接相關(guān),但最近也有研究發(fā)現(xiàn),語義線索解釋與句法線索沖突時也會引發(fā)P600(Kolk、Chwilla、Van HertenOor,2003;Kuperberg、Sitnikova、CaplanHolcomb,2003)。另外,包含語義違反單詞的句子會引發(fā)N400(KutasHillyard,1984),而句法違反則引發(fā)的是P600(Hagoort、BrownGroothusen,1993;OsterhoutHolcomb,1992)或者前部負(fù)波(Osterhout Mobley,1995;Gunter、FriedericiSchriefers,2000;Coulson、KingKutas,1998)。這些結(jié)論與區(qū)分語義和句法的心理語言學(xué)模型一致(Osterhout、KimKuperberg,2011)。
然而,與上述觀點不同,近來一些對句法和語義的研究認(rèn)為,一些動詞論元組合語義上的違反也會引發(fā)P600而非N400(Hoeks、StoweDoedens,2004;KimOsterhout,2005;Kolk等,2003;Kuperberg等,2003;NieuwlandVan Berkum,2005)。這似乎對傳統(tǒng)意義上的句法P600提出了挑戰(zhàn):認(rèn)為P600除了反映句法加工之外,也是語義加工的重要指標(biāo)。
最近一項ERP研究報道了動詞-論元組合會引發(fā)中頂葉的P600效應(yīng),而這樣的誘發(fā)條件并不包括簡單的句法違反,這與之前關(guān)于P600的研究是不符的。KimOsterhout (2005)將這種P600效應(yīng)的出現(xiàn)解釋為句法線索無法提供充分的語義解釋時出現(xiàn)的結(jié)構(gòu)再加工,或者是句法線索的失??;因此,這樣的句子被認(rèn)為是句法形式錯誤的。Albert KimLes Sikos(2011)對上述結(jié)論進行了研究,同時也發(fā)現(xiàn),在那些句法-語義矛盾的情況下變換句法線索會影響矛盾結(jié)果的產(chǎn)出。當(dāng)句子中包含復(fù)雜形態(tài)句法“修復(fù)”的句法線索時,P600效應(yīng)會得到消除,但會產(chǎn)生左前負(fù)波(LAN)。由此推測,LAN或許產(chǎn)生于句法和語義線索分析有困難的時候。
研究表明,詞語間語義關(guān)系的提取取決于嵌入在句子中詞的句法結(jié)構(gòu)(JackendoffPinker,2005)。在理解句子的過程中,讀者/聽者需要將受限于不同句法層級水平的詞整合成與句子表征一致的結(jié)構(gòu)(FilikLeuthold,2008;Hald、Steenbeek-PlantingHagoort,2007;Zhang Jiang,SaalbachZhou,2011;Zhou等,2010;NieuwlandVan Berkum,2006)。最新研究提出,不同句法層面的語義加工很可能取決于不同的神經(jīng)-認(rèn)知機制(Kemmerer,2000;Kemmerer、TranelZdanczyk,2009;Zhou等,2010)。因此,研究這些機制如何相互影響,以及句子理解中,多種層級結(jié)構(gòu)的語義限制條件如何影響新詞進行整合加工,是很有意義的。
然而,層級結(jié)構(gòu)的語義加工如何影響局部短語中語義加工,以及后者如何影響前者?到目前為止,對此問題好像只有兩項直接的研究,一項是德語研究(Zhang等,2011),另一項是漢語研究(Zhou等,2010),但關(guān)于不同句法層面語義加工的相互作用,這兩項研究提出了相反的意見。盡管兩項研究都表明,更高層面的語義加工失敗時,某一層面的語義加工可以進行,但它們的不同在于,局部加工失敗的情況下,更高層面的語義加工是否可以獲得。
Zhou(2010)運用ERP技術(shù)考察漢語句子閱讀過程中不同句法層級水平語義整合加工的神經(jīng)動力。在“主語名詞+動詞+數(shù)詞+標(biāo)類語素+賓語名詞”結(jié)構(gòu)中,“賓語名詞”受低層“標(biāo)類語素”選擇性條件以及高層結(jié)構(gòu)“動詞”的限制,同時,“標(biāo)類語素”也受高層結(jié)構(gòu)“動詞”的限制。實驗控制了動詞、標(biāo)類語素和名詞之間的語義一致性,形成五種不同類型的句子:正確句子、單一標(biāo)類語素-名詞失匹配句子、單一動詞-名詞失匹配句子、雙失匹配句子(標(biāo)類語素-名詞和動詞-名詞失匹配)、三者失匹配句子(標(biāo)類語素-名詞、動詞-名詞、動詞-標(biāo)類語素失匹配)。與正確句子相比,所有的失匹配句子都在名詞位置上引發(fā)了N400成分,而且,在雙失匹配句子下的N400效應(yīng)與三者失匹配句子下的效應(yīng)相同,卻比單一動詞-名詞失匹配句子下的N400效應(yīng)更大。另外,單一動詞-名詞失匹配句子和雙失匹配句子都在名詞位置引發(fā)了左后正波效應(yīng)和550~800毫秒之間的前負(fù)波效應(yīng),而且雙失匹配句子中的效應(yīng)比單一失匹配句子中的大。標(biāo)類語素-名詞失匹配在名詞位置也引發(fā)了晚期前負(fù)波效應(yīng)。雖然三者失匹配句子沒有在名詞位置引發(fā)顯著的晚期正成分,但是在標(biāo)類語素位置上導(dǎo)致了此成分。N400效應(yīng)模型表明,不同句法等級的語義加工影響新詞與前面句子語境的整合。晚期后正成分或許反映了句子理解過程中跨越等級水平的語義整合加工。
而JiangZhou(2012)卻得出了新結(jié)論,他們研究句子理解過程中,嵌入到層級結(jié)構(gòu)中的新詞如何與之前的表征在語義上進行整合。實驗中被試需要閱讀具有復(fù)雜動詞論元結(jié)構(gòu)“主語名詞+動詞+數(shù)詞+標(biāo)類語素+賓語名詞”的漢語句子,在此結(jié)構(gòu)中,一方面,“主語名詞”在小結(jié)構(gòu)中受標(biāo)類語素限制,另一方面,在高一層結(jié)構(gòu)中則受“動詞”約束。標(biāo)類語素和名詞、動詞和名詞以及動詞和標(biāo)類語素之間語義一致分別或同時造成局部失匹配(標(biāo)類語素-名詞失匹配)、順序失匹配(動詞-標(biāo)類語素以及標(biāo)類語素-名詞失匹配)或者三者失匹配(動詞-標(biāo)類語素和標(biāo)類語素-名詞以及動詞-標(biāo)類語素失匹配)情況。賓語名詞的時間相關(guān)電位表明,以上三種情況都存在波幅較強的N400以及晚期負(fù)波效應(yīng),而局部失匹配還引發(fā)了晚期正波。另外,標(biāo)類語素位置上,動詞-標(biāo)類語素失匹配在引發(fā)類N400效應(yīng)之后還引發(fā)了一個晚期正成分(P600)。N400效應(yīng)表明,當(dāng)沒有對結(jié)構(gòu)重新解讀時,句法高層面的語義加工可以在低層面語義加工失敗下進行;同時還表明,早期句子成分之間的語義一致可以影響層級結(jié)構(gòu)中新詞的整合。P600效應(yīng)反映句法層面協(xié)調(diào)加工的直接觸發(fā);而晚期前負(fù)成分則表明語義重新解讀加工第二階段的開始。
另外,JiangZhou(2009)運用ERP技術(shù)考察漢語“把”字句結(jié)構(gòu),觀察句子理解過程中不同句法層級結(jié)構(gòu)的神經(jīng)機制。實驗中語句的結(jié)構(gòu)助詞主要是形容詞性的“的”和副詞性的“地”,并將它們置于低水平的層級結(jié)構(gòu)(如:把—形容詞性(的)—名詞—動詞)或高一級的結(jié)構(gòu)中(如:把—名詞—副詞性(地)—動詞)。實驗表明,誤用結(jié)構(gòu)助詞會導(dǎo)致低層或高層結(jié)構(gòu)的違反。被試要閱讀并理解所有句子,實驗結(jié)束時完成一項句子認(rèn)知測試。低層結(jié)構(gòu)的違反會引發(fā)一個左前負(fù)波;高層結(jié)構(gòu)的違反誘發(fā)右前負(fù)波(RAN)和一個出現(xiàn)在助動詞短語開始后300~500毫秒的中頂負(fù)波(N400)。兩種違反情況都沒有在關(guān)鍵助動詞短語位置引發(fā)晚期正成分。這些結(jié)論揭示了自然語言理解過程中的不同句法層級結(jié)構(gòu)加工或許反映出不同的神經(jīng)機制。左側(cè)負(fù)波很可能與構(gòu)建局部、低層句法結(jié)構(gòu)有關(guān)系;右側(cè)前部負(fù)波則與構(gòu)建復(fù)雜的、高層句法結(jié)構(gòu)有關(guān)。
閱讀過程中的形態(tài)句法一致性違反會引發(fā)雙相ERP波形(LAN+P600)。影響以上兩種成分波幅的認(rèn)知因素以及前部負(fù)波的地形分布情況仍然是存在爭議的。我們研究與詞匯特征違反不同的語法性范疇的違反。這兩種特征不同之處在于一致性操作中的表征等級以及與可能成分建構(gòu)結(jié)構(gòu)關(guān)系的角色上。由這兩種一致性違反引發(fā)的ERP波形是不同的。對于兩種違反來說,LAN都是腹側(cè)分布,但性范疇違反時會出現(xiàn)中央延伸的現(xiàn)象。在音位違反的晚期時間窗口P600成分的振幅比較大。
以上研究可分為兩類,分別支持模塊論和交互論,但模塊論占上風(fēng)。模塊論可分為強勢模塊論和弱勢模塊論。強勢模塊論認(rèn)為句法加工先于語義加工,句法加工影響語義加工,但語義加工不影響句法加工。弱勢模塊論認(rèn)為句子認(rèn)知加工前期句法加工和語義加工彼此獨立,后期句法加工和語義加工相互影響。
Ainsworth-Darnell等(1998)和Osterhout、Nicol(1999)支持強勢模塊論,發(fā)現(xiàn)句法加工成分和語義加工成分在雙違背和單違背試驗條件下沒有明顯變化,說明句法加工和語義加工不存在交互作用,而是相互獨立、互不影響。Hagoort(2003)實驗結(jié)果則顯示雙違背中語義加工成分有明顯變化,句法加工成分未出現(xiàn)明顯變化,這說明句子認(rèn)知加工過程中句法加工和語義加工作用不同,句法加工影響語義加工,但不受語義加工影響。
也有實驗支持弱勢模塊論,如:Gunter(1997、2000);Ye(2006)發(fā)現(xiàn)雙違背產(chǎn)生的效應(yīng)大致等于句法違背和語義違背產(chǎn)生的效應(yīng)之和,早期句法加工成分在雙違背中沒有明顯變化,后期句法加工成分在雙違背中變?nèi)趸蛳А_@說明句子認(rèn)知加工早期句法加工和語義加工彼此獨立、互不影響,后期句法加工和語義加工交互作用。
Wicha(2004)、Palolahti(2005)、Yamada和Neville(2007)支持交互論,研究發(fā)現(xiàn)雙違背與單純違背實驗條件相比,語義加工成分及句法加工成分都出現(xiàn)明顯變化。該現(xiàn)象說明句法加工和語義加工相對獨立,兩者在早期和后期始終有交互作用。
四、結(jié)語
目前句法語義的相關(guān)研究很多,觀點各異,這與實驗范式的選擇有著很大的關(guān)系,一些研究的實驗材料中違背詞位于句尾(如:Gunteret,1997)產(chǎn)生了“尾詞效應(yīng)”。采用違背句為刺激材料是為了探測違背詞是否會影響句法加工和語義加工過程的正常進行,但當(dāng)違背詞處于句尾時,被試對句子的認(rèn)知加工已達整合階段,導(dǎo)致句尾詞加工受自身特性的影響較少,更多地受到高層次認(rèn)知加工的影響。句尾違背詞反映了局部加工效應(yīng)和整體加工效應(yīng)之和,因而句尾違背詞產(chǎn)生的ERP效應(yīng)無法完全顯示句法加工和語義加工交互作用的問題,即句法加工和語義加工誰影響誰的問題。但盡管如此,關(guān)于句子句法和語義的ERP研究確實取得了豐碩的成果,尤其是在探討二者關(guān)系的研究上,無論是句法自主論還是相互作用論,都得到了實證研究的支持,研究的內(nèi)容也涉及方方面面,在以后的研究中,我們要盡量避免干擾因素,更深入地研究句子的認(rèn)知加工機制。
參考文獻:
[1]Friederici,A.D,Hahne,A.Saddy.D.Distinct neurophysiological
patterns reflecting aspects of syntactic complexity and syntacticrepair[J].Journal of Psycholinguistic Research,2002,(31).
[2]Lenneberg,E H.Biological foundations of language[M].
New York:Wiley,1967.
[3]McDonald,J.L:Sentence interpretation in bilingual
speakers of English and Dutch[J].Applied Psycholinguistics,1987,(8):379~414.
[4]Connolly J FPhillips N A.Event-related potential
components reflect phonological and semantic processing of the terminal word of spoken sentences[J]. Journal of Cognitive Neuroscience,1994,(6):256~266.
[5]Niznikiewicz M.Squires N. Phonological processing and
the role of strategy in silent reading:behavioral and electrophysiological evidence[J].Brain and language, 1996,(52):342~364.
[6]魏景漢.關(guān)于漢語的時間相關(guān)電位研究[A].彭聃齡,舒華,陳
煊.漢語認(rèn)知研究[C].濟南:山東教育出版社,1997:370~397.
[7]張武田,張建洲,趙競.漢語詞匹配的偏側(cè)化效應(yīng)和事件相關(guān)腦
電位[J].心理學(xué)報,1988,(4):344~350.
[8]Rudell A P.The recognition potential:A visual response
evoked by recognizable images.Neurosciences Abstracts,1990,(16):106.
[9]Martin-Loeches M,Hinojosa J A,Gomez-Jarabo GRubia
F J.The recognition potential:an ERP index of lexical access[J].Brain and language,1999,(70):364~384.
[10]Martin-Loeches M,Hinojosa J A,Gomez-Jarabo G
Rubia F J.An early electrophysiological sign of semantic processing in basal extrastriate areas[J].Psycholphysiology,(38):114~124.
[11]靳洪剛.語言習(xí)得理論研究[M].北京:中國杜會科學(xué)出版杜,
1997.
[12]劉振前.語言功能的大腦定位及其與認(rèn)知關(guān)系研究述論[J].當(dāng)
代語言學(xué),2001,(4).
[13]施良方.學(xué)習(xí)論[M].北京:人民教育出版社,1994.
[14]Baumgaertner,A.,Weiller,C. Büchel,C..Event-
related fMRI reveals cortical sites involved in contextual sentence integration[J].NeuroImage,2002,(16):736~745.
[15]Binder,J. R.,Desai,R. H.,Graves,W. W. Conant,
L. L. Where is the semantic system? A critical review and meta-analysis of 120 functional neuroimaging studies[J].Cerebral Cortex,2009,(19):2767~2796.
[16]Brennan,J.,Nir,Y.,Hasson,U.,Malach,R.,Heeger,
D. J.Pylkkanen,L. (in press). Syntactic structure building in the anterior temporal lobe during natural story listening[J].Brain and Language.
[17]Chee,M. W. L.,Caplan,D.,Soon,C. S.,Sriram,N.,
Tan,E.W.L.,Thiel,T.,et al.Processing of Visually Presented Sentences in Mandarin and English Studied with fMRI.Neuron,1999,(23):127~137.