情緒韻律調(diào)節(jié)情緒詞識別的ERP研究*

鄭志偉 黃賢軍 張 欽

(1首都師范大學心理系,北京市“學習與認知”重點實驗室,北京 100048)(2中國科學院心理研究所,北京 100101)

1 前言

口頭語言與書面語言的一個重要區(qū)別在于口語具有韻律特征。作為一種超音段特征,韻律特征主要通過語音中的基頻、音強以及時長等聲學線索的動態(tài)變化來體現(xiàn)。從功能上講,韻律特征可以區(qū)分為言語韻律特征和情緒韻律特征。言語韻律特征主要包括語調(diào)、重讀、停頓等,而情緒韻律特征則是反映說話人情緒狀態(tài)的副言語信息。不同種類的情緒韻律具有不同的聲學模式(Banse&Scherer,1996;Scherer,2003),聽話人能夠通過語音的聲學線索來判斷說話人傳遞的情緒信息,且情緒韻律的識別具有跨文化的一致性(Scherer,Banse,&Wallbott,2001)。

在現(xiàn)實生活中,說話人既可以通過情緒韻律來表達自己的情緒狀態(tài),也可以通過言語中的詞匯來表達。多數(shù)情況下這兩個情緒通道會表達一致的情緒信息,但也有例外,比如用不同的方式說“真棒！”,表達的可能是表揚,也可能是諷刺。聽話人需要聯(lián)合情緒韻律和詞匯兩方面信息,才能準確判斷說話人的情緒和意圖(Paulmann&Kotz,2008)。

在情緒言語加工研究中,情緒韻律是否以及如何對情緒詞的加工產(chǎn)生影響是研究者關(guān)注的主要問題。韻律/詞匯干擾范式是考察該問題常用的實驗范式。這一范式使用的言語材料包含情緒韻律和情緒詞兩個維度的情緒信息,情緒韻律和情緒詞之間的效價具有一致或者不一致兩種條件,要求被試忽略一個維度的信息,判斷另一維度的效價。

在行為研究上,Kitayama和Ishii(2002)采用該范式發(fā)現(xiàn),當要求被試忽略詞匯信息判斷韻律效價時,會受到詞匯效價的影響,被試對與詞匯效價一致韻律效價判斷更快、更準確;當要求被試忽略韻律信息判斷詞匯效價時,則不存在效價一致的韻律促進效應。與上述研究結(jié)果不一致的是,同樣采用詞匯效價判斷任務,Min和Schirmer(2011)卻發(fā)現(xiàn)了韻律效價的促進效應,即被試對與情緒韻律效價一致的詞匯做出了更快、更準確的效價判斷。在其他任務中,如情緒詞命名(Naming)或識別(Identification),也存在情緒韻律效價的促進效應,被試能夠更快、更準確的對與情緒韻律效價匹配的情緒詞做出反應(Grimshaw,1998;Nygaard&Queen,2008)。

Wurm,Vakoch,Strasser,Calin-Jageman和Ross(2001)的研究或許能夠為上述研究結(jié)果之間的差異提供一些啟示,他們發(fā)現(xiàn),當不同的情緒韻律在實驗中以分組方式呈現(xiàn),即情緒韻律的種類在每個實驗組內(nèi)不發(fā)生變化時,能夠?qū)η榫w詞的識別產(chǎn)生影響;而情緒韻律的類型在每個實驗組內(nèi)以隨機混合的形式呈現(xiàn)時,情緒韻律則不會影響詞匯的識別。Wurm等人認為情緒韻律以分組形式呈現(xiàn)會使得其在每個實驗組中的各個試次之間具有連續(xù)性,被試能夠?qū)η榫w韻律形成較強的預期,情緒韻律的背景效應更強,因而更有可能對情緒詞識別產(chǎn)生影響。該研究表明情緒韻律對詞匯識別的調(diào)節(jié)作用可能與情緒韻律的呈現(xiàn)方式有關(guān)。

事件相關(guān)電位(ERP)技術(shù)的高時間分辨率優(yōu)勢便于研究者觀察到情緒韻律影響情緒詞識別的時間進程,基于這一技術(shù),研究者可以更好地探討情緒韻律何時以及如何調(diào)節(jié)情緒詞的加工問題。Schirmer和Kotz(2003)采用韻律/詞匯干擾范式,要求被試執(zhí)行詞匯效價判斷任務,結(jié)果發(fā)現(xiàn),與情緒韻律的效價不一致的情緒詞比效價一致的情緒詞誘發(fā)了走向更負的N400成分。由于N400成分是語義加工的標志,Schirmer和Kotz認為情緒韻律對詞匯加工的影響主要出現(xiàn)在詞匯的意義加工階段。另外,在句子水平上,Schirmer,Kotz和Friederici(2002,2005)運用跨通道啟動范式,考察句子的情緒韻律背景對視覺呈現(xiàn)的德語情緒詞加工的影響,得到了與Schirmer和Kotz(2003)相似的N400效應,說明情緒韻律像句子背景一樣,能夠調(diào)節(jié)詞匯的意義加工。而Schirmer等人(2006)以粵語為實驗材料,ERP結(jié)果顯示,與情緒韻律效價不一致的情緒詞只誘發(fā)了更正的LPC(Late positive component),而沒有出現(xiàn)更負的N400。Schirmer等人認為粵語中的情緒韻律并不調(diào)節(jié)情緒詞語義加工,而是在決策階段與情緒詞產(chǎn)生相互作用。因此,從Schirmer等人的研究可以看出,情緒韻律對情緒詞的作用方式可能會受到語言特征的調(diào)節(jié)。

以上ERP研究表明,個體在情緒言語材料加工過程中會使用情緒韻律線索,盡管情緒韻律產(chǎn)生作用的階段可能會因語言類型的不同而存在一定的差異,但以往研究存在以下問題：(1)先前研究的實驗任務大多采用效價判斷任務,這種任務需要被試忽略某一維度的信息,使ERP結(jié)果可能受到了個人反應策略的影響,比如獲得的N400效應不止純粹地反映情緒韻律對情緒詞意義加工的影響,也有可能反映了個體在加工任務相關(guān)信息過程時,忽略任務不相關(guān)信息(韻律)所付出的心理努力(Schirmer&Kotz,2003)。(2)跨通道啟動范式有助于考察情緒韻律背景對情緒詞識別的影響,但這種范式的缺陷在于無法反映自然言語中,音段信息以及依附在音段上的韻律信息隨時間展開的共時性;另外,跨通道范式中的目標項目采用的是視覺詞,視覺詞與聽覺詞有很大不同,視覺刺激在呈現(xiàn)時會立即提供所有的信息,而聽覺刺激是隨時間而展開的。因此,研究結(jié)果難以完全概括到聽覺詞匯的加工中。(3)以往研究主要考察的是英語、德語等非聲調(diào)語言中情緒韻律在情緒言語加工中的作用,對聲調(diào)語言(如漢語、粵語等)研究相對較少。在非聲調(diào)語言里,情緒韻律變化的不同模式主要通過基頻的變化來實現(xiàn)。在聲調(diào)語言里,基頻的變化除了與語調(diào)的變化模式有關(guān)外,還與聲調(diào)調(diào)值的高低升降(用于聲調(diào)語言的詞匯識別)有直接關(guān)系,兩者重疊交錯在一起,很難截然分開(林燾,王理嘉,1992)。所以對于聲調(diào)語言而言,情緒言語材料的加工中,情緒韻律和詞匯的識別都依賴于基頻的變化。漢語中的情緒韻律是否能夠調(diào)節(jié)情緒詞的識別,還是與粵語研究(Schirmer et al.,2006)相似,只有在詞匯識別完成之后與其產(chǎn)生整合,到目前為止還沒有相關(guān)證據(jù)。

針對以上問題,本研究使用事件相關(guān)電位技術(shù)考察了漢語中情緒韻律影響口語情緒詞識別的時間進程問題。借鑒韻律/詞匯干擾范式,使用的實驗材料為用高興和悲傷兩種情緒語調(diào)表達具有積極和消極意義的漢語雙字詞,韻律和詞匯之間的效價存在一致和不一致條件。為了考察情緒韻律對情緒詞識別的自然影響,本研究并沒有使用效價判斷任務,而是采用了詞匯延遲匹配任務,即在聽覺情緒語音詞出現(xiàn)后會呈現(xiàn)一個視覺詞,要求被試在視覺詞出現(xiàn)后判斷聽覺語音詞與視覺詞是否為同一個詞,以使被試將注意資源集中到聽覺詞上。另外,還操縱了情緒韻律的呈現(xiàn)方式,在實驗一中,不同的情緒韻律分組呈現(xiàn),即每一個實驗組里只存在由一種情緒韻律表達的積極詞和消極詞;在實驗二中,不同的情緒韻律混合隨機呈現(xiàn),即每一個實驗組里包含了分別用高興和悲傷語調(diào)表達的積極和消極詞。通過以上操縱,還可以考察情緒韻律呈現(xiàn)方式在情緒言語知覺中的作用。

結(jié)合以往的研究,提出以下假設(shè)：情緒韻律能夠?qū)崟r的調(diào)節(jié)情緒詞的識別,比如意義加工,在ERP結(jié)果上表現(xiàn)為,與情緒韻律效價不一致的情緒詞要比效價一致的情緒詞誘發(fā)更負的N400成分。與以往研究相比,本研究的實驗任務不要求被試有意識忽略情緒韻律,因而情緒韻律產(chǎn)生的作用可能會更強,情緒韻律除了能調(diào)節(jié)情緒詞的語義加工,還可能也會對情緒詞的早期加工(如音韻編碼)產(chǎn)生影響,表現(xiàn)為效價不一致的語音詞與效價一致的語音詞在更早期的ERP波形上存在差異。另外,如果情緒韻律能夠影響口語詞的識別,那么兩種情緒韻律呈現(xiàn)方式條件下均會出現(xiàn)上述ERP效應;如果情緒韻律的影響依賴于建立的情緒韻律背景的強弱,我們可能只在情緒韻律以分組呈現(xiàn)的條件下觀察到此類ERP效應。

2 方法

2.1 被試

32名高校學生參加了實驗(16男16女),年齡范圍為18～26歲。被試母語為漢語,普通話標準。右利手,聽力、視力或者矯正視力正常,無神經(jīng)系統(tǒng)疾病。其中16名被試(8男)參與實驗一,其余被試(8男)參與實驗二,被試在實驗后獲少量報酬。

2.2 實驗材料

從漢語情感詞系統(tǒng)(王一牛,周立明,羅躍嘉,2008)選取了120個雙字詞,其中積極詞和消極詞各60個。招募20名不參與腦電實驗的被試(10名男性,10名女性)在7點量表上對每個雙字詞的效價(1表示非常不愉快,7表示非常愉快)和熟悉度(1表示非常不熟悉,7表示非常熟悉)進行評定。評定結(jié)果顯示,積極詞與消極詞的效價值之間差異顯著(

p

<0.001),積極詞的效價值(

M

=6.77;

SD

=0.84)要高于消極詞的效價值(

M

=1.44;

SD

=1.03);積極詞的熟悉度(

M

=6.11;

SD

=0.93)與消極詞的熟悉度(

M

=6.17;

SD

=1.04)之間差異不顯著(

p

>0.05)。請一名專業(yè)的播音員分別用高興和悲傷兩種情緒語調(diào)朗讀了所有雙字詞。為保證情緒韻律的表達符合要求,請20名被試(10名男性,10名女性)對所有的語音材料進行評定,任務是判斷每個語音詞的情緒韻律類型(高興、悲傷、中性、其他)。計算每個語音詞的情緒韻律的正確識別率(正確判斷的人數(shù)/總?cè)藬?shù)),凡是正確識別率沒有達到75%的詞語進行重新錄制和評定,直到符合標準(Nygaard&Queen,2008)。最終得到240個語音刺激,其中包含120個高興韻律詞(積極和消極詞各半)和120悲傷韻律詞(積極和消極詞各半)。使用Praat軟件(Boersma&Weenink,2011)對所有的語音刺激的聲學線索(音強,基頻,時長)進行提取和分析,結(jié)果如表1所示。以聲學參數(shù)為指標進行統(tǒng)計分析,結(jié)果顯示高興韻律和悲傷韻律在各項聲學參數(shù)上均存在顯著差異(

p

s<0.001)。與高興韻律相比,悲傷韻律表現(xiàn)出較低的平均基頻和音強,且發(fā)音速度更緩慢,這與以往研究結(jié)果一致(Banse&Scherer,1996;Scherer,2003)。

表1 情緒韻律詞的聲學參數(shù)分析

根據(jù)情緒韻律和情緒詞的關(guān)系,實驗一的語音材料共分6組：其中3組只包含高興韻律的情緒詞,有高興–積極和高興–消極兩種條件;另外3組則只包含悲傷韻律的情緒詞,有悲傷–消極和悲傷–積極兩種條件。每組包含40試次,每個條件各20試次。被試需要先完成一種韻律條件(3組),再完成另一種韻律條件(3組),其先后順序在被試間進行了平衡。實驗二的語音材料也分6組,每組有40試次,分別隨機呈現(xiàn)高興–積極、高興–消極、悲傷–消極和悲傷–積極四種條件,每個條件各10個試次。

視覺雙字詞共240個,選自《現(xiàn)代漢語詞典》(第5版),其中一半為與語音詞相同的情緒詞(積極和消極各半),另一半為與語音詞不同的中性詞。對中性詞在7點量表上進行效價和熟悉度評定(同一批被試),結(jié)果顯示,中性詞的效價值(

M

=4.08;

SD

=1.21)高于消極詞,低于積極詞,且差異均顯著(

p

s<0.001);中性詞的熟悉度(

M

=6.32;

SD

=0.76)與積極詞和消極詞之間的差異均不顯著(

p

s>0.05)。

兩個實驗中呈現(xiàn)的視覺詞,與各條件的語音詞均有一半相同,一半不同。

2.3 實驗程序

被試坐在電屏蔽實驗室里,眼睛與計算機顯示器的距離約為50 cm。情緒語音詞通過耳機以適合的聲壓級呈現(xiàn)給被試,視覺詞的視角大小為5°×2°。實驗流程如圖1所示。每個Trial開始時會在計算機屏幕中央出現(xiàn)一個注視點,注視點呈現(xiàn)500 ms～600 ms后先呈現(xiàn)語音詞,然后再呈現(xiàn)視覺詞,語音詞與視覺詞之間的時間間隔(SOA,stimulus onset asynchrony)為1000 ms,視覺詞呈現(xiàn)的時間為500 ms,屏幕空白2000～2200 ms之后開始下一個trial。被試的任務是注視屏幕中央,認真聽語音刺激,在視覺詞出現(xiàn)后,判斷聽到的詞與視覺詞是否相同,通過鼠標左右鍵做出反應。正式實驗前,被試進行了練習。每組實驗之間,被試可以休息。為消除順序效應,在被試之間對組的呈現(xiàn)順序和左右按鍵順序進行了平衡。

圖1 實驗流程圖

2.4 EEG記錄與數(shù)據(jù)處理

采用Neuroscan公司生產(chǎn)的ESI-64導腦電記錄分析系統(tǒng)和Ag/AgCl電極帽,連續(xù)記錄62個單極導聯(lián)的腦電(EEG)。電極位置采用國際10～20系統(tǒng)。另有4個電極記錄眼電：左眼眶上下2個電極記錄垂直眼電,雙眼外側(cè)2個電極記錄水平眼電。參考電極置于左側(cè)乳突,接地點在FPz和Fz的中點,右耳乳突也放置一個電極,A/D采樣頻率為500 Hz,電極與頭皮之間的阻抗小于5 k?。

對記錄獲得的EEG進行離線分析處理,濾波帶通為0.01～40 Hz,基線矯正后,剔除了波幅超過±75 μV的偽跡。僅對反應正確的聽覺刺激誘發(fā)的EEG進行疊加,實驗一和實驗二中語音詞誘發(fā)ERP波形的平均疊加試次為50和52。分析時程為?100～1000 ms,用刺激呈現(xiàn)前100 ms的腦電為基線。

通過平均波形及前人研究,確定實驗一和實驗二中ERP數(shù)據(jù)分析的5個時窗為90～150 ms(N1),150～250 ms(P2),250～350 ms(N300),350～550 ms(N400),550～1000 ms(late negativity)。分別對各個時窗進行2(韻律效價：積極/消極)×2(詞匯效價：積極/消極)×3(電極位置：額區(qū)/中央頂區(qū)/頂枕區(qū))×2(半球：左/右)的重復測量方差分析。分析的電極分別為：左側(cè)額區(qū)(F5/F3/F1/FC5/FC3/FC1),右側(cè)額區(qū)(F6/F4/F2/FC6/FC4/FC2),左側(cè)中央頂區(qū)(C5/C3/C1/CP5/CP3/CP1),右側(cè)中央頂區(qū)(C6/C4/C2/CP2/CP4/CP6),左側(cè)頂枕區(qū)(P5/P3/P1/PO5/PO3/O1)和右側(cè)頂枕區(qū)(P6/P4/P2/PO6/PO4/O2),如圖2所示。將每一時窗內(nèi),每一條件下各個頭皮區(qū)域包含的所有電極的平均波幅的算術(shù)平均數(shù)作為因變量。所有分析均使用SPSS 16.0統(tǒng)計軟件包進行,顯著性水平設(shè)在0.05,統(tǒng)計分析結(jié)果選用Greenhouse-Geisser矯正法。

圖2 電極位置

3 結(jié)果

3.1 行為結(jié)果

實驗一和實驗二中不同條件語音詞的反應時和正確率如表2所示。

表2 實驗一和實驗二中不同條件語音詞的行為結(jié)果

分別以反應時和正確率為指標,進行2(韻律效價)×2(詞匯效價)重復測量方差分析。在反應時上,實驗一和實驗二中,韻律效價主效應、詞匯效價主效應以及韻律效價和詞匯效價的交互作用均不顯著(

p

s>0.05)。在正確率上,實驗一的韻律效價主效應、詞匯效價主效應以及韻律與詞匯交互作用均不顯著(

p

s>0.05);實驗二中,韻律效價主效應和詞匯效價主效應均不顯著(

p

s>0.05),韻律與詞匯效價之間的交互作用顯著,

F

(1,15)=9.288,

p

<0.01。進一步的簡單效應檢驗顯示,在高興韻律水平上,消極詞比積極詞的正確率更低,

F

(1,15)=7.94,

p

<0.05;在悲傷韻律水平上,積極詞與消極詞的正確率差異沒有達到顯著水平(

p

>0.05)。這一結(jié)果表明,盡管被試執(zhí)行的任務是延遲匹配任務,情緒韻律仍然在一定程度上對情緒詞的加工產(chǎn)生了影響,效價不一致的情緒韻律干擾了情緒詞的判斷。

3.2 ERP結(jié)果

實驗一和實驗二中語音詞誘發(fā)的ERP總平均波形圖以及差異波地形圖分別見圖3和圖4、圖5和圖6。差異波均由效價不一致的語音詞與效價一致的語音詞誘發(fā)的波形相減獲得。

如圖3所示,實驗一中的語音詞首先誘發(fā)了一個聽覺的P1成分,在P1之后是整個頭皮分布的峰值大約在100 ms左右的N1成分,前部N1的波幅要比后部更大。在N1之后是一個峰值在大約200 ms左右的正走向的波形,即P200,P200與N1的頭皮分布相似。接下來是始于250 ms左右的分布廣泛且持續(xù)時間較長的負走向的波形,一直持續(xù)到分析時段結(jié)束。通過直接觀察可以發(fā)現(xiàn),效價一致語音詞比效價不一致語音詞誘發(fā)了更正的P2成分;在負波時窗,效價不一致的語音詞比與效價一致的語音詞的走向更負。實驗二的ERP總平均圖(圖5)顯示了相似的趨勢。下面將分別對實驗一和實驗二的ERP結(jié)果進行統(tǒng)計檢驗。

3.2.1 實驗一ERP結(jié)果

圖3 實驗一中效價一致和效價不一致語音詞誘發(fā)的ERP總平均波形圖

圖4 實驗一中效價不一致和效價一致語音詞的ERP差異波地形圖

重復測量方差分析結(jié)果顯示,在90～150 ms,韻律效價的主效應顯著,

F

(1,15)=5.268,

p

<0.05,悲傷韻律詞比高興韻律詞誘發(fā)更大波幅的N1成分。詞匯效價的主效應顯著,

F

(1,15)=4.778,

p

<0.05,消極詞比積極詞誘發(fā)更負的N1。韻律效價和詞匯效價的交互作用不顯著(

p

s>0.05),且不受半球和電極位置的調(diào)節(jié)(

p

s>0.05)。

圖5 實驗二中效價一致和效價不一致語音詞誘發(fā)的ERP總平均波形圖

圖6 實驗二中效價不一致和效價一致語音詞的ERP差異波地形圖

在150～250 ms,韻律效價的主效應顯著,

F

(1,15)=11.334,

p

<0.01,與高興韻律詞相比,悲傷韻律詞誘發(fā)更負的P2成分。韻律效價和詞匯效價的交互作用顯著,

F

(1,15)=30.641,

p

<0.001,進一步的簡單效應檢驗顯示,在高興韻律水平上,積極詞比消極詞誘發(fā)更正走向的P2成分,

F

(1,15)=9.59,

p

<0.01;與之相似,在悲傷韻律水平上,消極詞比積極詞誘發(fā)更正的P2成分,

F

(1,15)=31.15,

p

<0.001。這一交互作用不受電極位置和半球的調(diào)節(jié)(

p

s>0.05)。在250～350 ms,韻律效價的主效應顯著,

F

(1,15)=21.532,

p

<0.001,悲傷韻律詞比高興韻律誘發(fā)更負走向的N300。韻律效價和詞匯效價之間的交互作用顯著,

F

(1,15)=53.637,

p

<0.001,簡單效應檢驗結(jié)果顯示,在高興韻律水平上,消極詞比積極詞誘發(fā)了更負走向的N300成分,

F

(1,15)=31.15,

p

<0.001;在悲傷韻律水平上,積極詞比消極詞誘發(fā)了更負的N300,

F

(1,15)=13.99,

p

<0.01。這一交互作用不受電極位置和半球的調(diào)節(jié)(

p

s>0.05)。在350～550 ms,韻律效價的主效應顯著,

F

(1,15)=27.039,

p

<0.001,悲傷韻律比高興韻律誘發(fā)了更負的N400。韻律效價、詞匯效價和電極位置之間的交互作用顯著,

F

(2,30)=15.967,

p

=0.001,簡單效應檢驗結(jié)果顯示,在高興韻律水平上,效價一致性效應在整個頭皮分布均顯著,與韻律效價不一致的消極詞比積極詞誘發(fā)更負的N400成分(

p

s<0.01);在悲傷韻律水平上,這一N400效應只在頭皮后部(頂枕區(qū))達到顯著水平,

F

(1,15)=10.66,

p

<0.01。另外,效價一致性效應不受半球因素的調(diào)節(jié),均為雙側(cè)化分布。在550～1000 ms,韻律效價的主效應顯著,

F

(1,15)=19.459,

p

=0.001,悲傷韻律詞比高興韻律詞的走向更負。韻律效價和詞匯效價的交互作用達到顯著水平,

F

(1,15)=21.538,

p

<0.001,簡單效應檢驗結(jié)果顯示,高興韻律和悲傷韻律水平上均存在效價一致性效應,即效價不一致的語音詞比效價一致的語音詞誘發(fā)了更大的負波(

p

s<0.01)。韻律效價、詞匯效價與電極位置和半球之間的交互作用均不顯著(

p

s>0.05)。圖4顯示的差異波地形圖與上述ERP結(jié)果相似。

3.2.2 實驗二ERP結(jié)果

重復測量方差分析結(jié)果顯示,在90～150 ms,韻律效價的主效應顯著,

F

(1,15)=4.628,

p

<0.05,悲傷韻律詞比高興韻律詞誘發(fā)的走向更負的N1。韻律效價和詞匯效價的交互作用沒有達到顯著水平(

ps

>0.05),也不受半球和電極位置的調(diào)節(jié)(

p

s>0.05)。在150～250 ms,韻律和詞匯效價的主效應均不顯著(

p

s>0.05)。韻律效價和詞匯效價的交互作用顯著,

F

(1,15)=11.851,

p

<0.01,進一步的簡單效應分析顯示,在悲傷韻律水平上,消極詞比積極詞誘發(fā)更正走向的P2成分,

F

(1,15)=7.03,

p

<0.05;在高興韻律水平上,積極詞比消極詞誘發(fā)更正的P2,但沒有達到顯著水平(

p

>0.05)。該效應不受電極位置和半球的影響(

p

s>0.05)。在250～350 ms,韻律效價的主效應顯著,

F

(1,15)=9.991,

p

<0.01,悲傷韻律詞比高興韻律詞誘發(fā)更負的N300。韻律效價和詞匯效價的交互作用顯著,

F

(1,15)=29.562,

p

<0.001。韻律效價、詞匯效價和電極位置之間的交互作用邊緣顯著,

F

(2,30)=3.872,

p

=0.051,簡單效應檢驗結(jié)果顯示,高興韻律水平上,在整個頭皮上均存在效價一致性效應,效價不一致的消極詞比積極詞誘發(fā)了更負走向的N300(

p

s<0.05);而在悲傷韻律水平上,在額區(qū)和中央頂區(qū)存在效價一致性效應(

p

s<0.05),在頂枕區(qū),雖然積極詞比消極詞誘發(fā)的N300走向更負,但沒有達到顯著水平(

p

>0.05)。在350～550 ms,韻律和詞匯效價的主效應均不顯著(

p

s>0.05)。韻律效價和詞匯效價的交互作用顯著,

F

(1,15)=31.413,

p

<0.001,簡單效應檢驗結(jié)果顯示,在高興韻律水平上,消極詞比積極詞誘發(fā)更負走向的N400成分,

F

(1,15)=11.65,

p

<0.01;在悲傷韻律水平上,積極詞比消極詞誘發(fā)更負走向的N400,

F

(1,15)=6.64,

p

<0.05。這一效價一致性效應不受電極位置和半球的調(diào)節(jié)(

p

s>0.05)。在550～1000 ms,韻律效價的主效應顯著,

F

(1,15)=6.601,

p

<0.05,悲傷韻律詞誘發(fā)的波形比高興韻律詞的走向更負。詞匯效價的主效應顯著,

F

(1,15)=5.039,

p

<0.05,積極詞比消極詞誘發(fā)走向更負的波形。韻律效價和詞匯效價之間的交互作用顯著,

F

(1,15)=10.081,

p

<0.01,簡單效應檢驗結(jié)果顯示,在高興韻律水平上,效價一致性效應不顯著(

p

>0.05);在悲傷韻律水平上,效價一致性效應顯著,

F

(1,15)=13.99,

p

<0.01,效價不一致的積極詞比效價一致的效價詞誘發(fā)了更負走向的負波。該效應不受電極位置和半球因素的調(diào)節(jié)(

p

s>0.05)。上述結(jié)果與圖6顯示的差異波地形圖的趨勢相似。

4 討論

本研究采用ERP技術(shù)考察了情緒韻律調(diào)節(jié)情緒詞識別的時間進程。實驗一和實驗二的ERP結(jié)果均顯示,與情緒韻律效價不一致的情緒詞誘發(fā)了走向更負的P2、N300和N400成分,盡管實驗二的P2效應僅在體現(xiàn)悲傷韻律水平上。

4.1 P2效應

Schirmer等人(2002,2005)以及Schirmer和Kotz(2003)的ERP研究僅發(fā)現(xiàn)了效價一致性的N400效應。本研究除了N400效應之外,還發(fā)現(xiàn)了情緒韻律對聽覺情緒詞誘發(fā)的早期P2成分的影響,在150～250 ms,效價一致的語音詞比效價不一致語音詞誘發(fā)了走向更正的P2成分,這一P2效應頭皮分布廣泛。就我們所知,前人對該問題的研究還沒有發(fā)現(xiàn)過P2效應。Schirmer和Kotz(2003)的研究使用的實驗材料與本研究相似,但實驗任務是要求被試忽略韻律信息去判斷詞匯效價,被試可能需要有意識地抑制情緒韻律的干擾,這種自上而下的認知控制可能導致韻律信息對情緒詞的識別的影響相應減弱。而本研究中,被試在視覺詞呈現(xiàn)之前只需注意情緒詞的內(nèi)容,無需有意識地排斥情緒韻律,因而相對于效價判斷任務而言,本研究中的情緒韻律信息得到了更高程度的加工。

在言語知覺的ERP研究中,P2與言語的音韻編碼(Phonological processing)有關(guān)(Kelly,Kravitz,&Hopkins,2004;Savill,&Thierry,2011)。研究顯示,在詞匯真?zhèn)闻袛嗳蝿罩?普通偽詞(如rofe)比偽同音異形詞(如roze)誘發(fā)了波幅更正的P200(Braun,Hutzler,Ziegler,Dambacher,&Jacobs,2009)。在詞匯啟動研究中,與啟動項目同音或者押韻的目標項目要比與啟動項目在語音上不相關(guān)的目標項目誘發(fā)更正的中頂分布的P200(Kong et al.,2010)。另外,正常個體在言語加工過程中產(chǎn)生的P200波幅要比失讀癥患者更正(Meyler&Breznitz,2005)。由此可見,刺激誘發(fā)更正的P200成分反映了個體更容易進行對言語刺激的音韻加工。在本實驗中,與情緒韻律效價一致的口語情緒詞誘發(fā)了波幅更正的P200,可能表明效價一致的情緒韻律可以促進口語詞的早期的音韻編碼。

實驗一的P2效應強于實驗二表明,P2效應的表現(xiàn)還可能與韻律類型的呈現(xiàn)方式有關(guān)。在實驗一中,不同類型的情緒韻律是分組呈現(xiàn)的,這種情況與正常的生活場景更相似,因為在日常的言語交流過程中,個體的情緒狀態(tài)通常不是隨機變化的,情緒韻律的表達也具有一定的連貫性,此時情緒韻律的背景效應會比隨機呈現(xiàn)時更強,情緒韻律對情緒詞的影響也相應更強,因此在實驗一中,在高興和悲傷韻律條件下都出現(xiàn)了較強的P2效應。在實驗二中,不同類型的情緒韻律是隨機呈現(xiàn)的,此時情緒韻律的作用主要體現(xiàn)在單個詞匯上,由于韻律的不斷變化而缺乏連續(xù)性,導致情緒韻律的背景效應相對較弱,因此實驗二的P2效應減弱,僅在悲傷韻律水平上表現(xiàn)出來。

4.2 N300/N400效應

本研究的ERP結(jié)果顯示效價不一致的情緒詞比效價一致情緒詞誘發(fā)了更負的、廣泛分布的N300和N400成分。N300是一個出現(xiàn)較早的峰值在300 ms左右,功能與N400相似,且與N400相重疊的負走向的ERP成分(Federmeier&Kutas,2001;Sitnikova,Holcomb,Kiyonaga,&Kuperberg,2008;Wu&Coulson,2007),因此將N300成分看作是一個早期的N400成分,與N400成分一并進行討論。

關(guān)于N400的意義,傳統(tǒng)的觀點認為N400反映了刺激與背景的整合(Holcomb,1993;Holcomb,Anderson,&Grainger,2005),這種整合觀點的基本假設(shè)是背景產(chǎn)生的促進效應只有在刺激已經(jīng)通過自下而上的過程得到識別之后出現(xiàn)。但這一觀點受到了越來越多的質(zhì)疑。比如,van Petten,Coulson,Rubin,Plante和Parks(1999)發(fā)現(xiàn)口語詞匯誘發(fā)的N400效應早在詞匯識別的關(guān)鍵點(Isolation point)之前就已經(jīng)出現(xiàn)。Stenberg,Lindgren,Johansson,Olsson和Rosén(2000)的詞匯啟動研究結(jié)果顯示,沒有受到外顯識別的視覺掩蔽詞匯也能導致N400效應的出現(xiàn)。另外,心理詞典中不存在的表征(如假詞)也能誘發(fā)N400效應(Deacon,Dynowska,Ritter,&Grose-Fifer,2004)。以上結(jié)果表明,N400可能反映的是背景信息對刺激較早階段的加工的影響,即刺激的意義提取階段(Kutas&Federmeier,2011)。

在情緒言語加工研究中,前人使用跨通道啟動范式(Schirmer et al.,2002,2005)以及韻律/詞匯干擾范式(Schirmer&Kotz,2003)均發(fā)現(xiàn),與韻律背景效價不一致的情緒詞誘發(fā)了更負的N400成分,研究者認為情緒韻律可以像句子背景一樣,調(diào)節(jié)情緒詞匯的意義加工。本研究得到的N400效應與Schirmer等人(2002,2005)以及Schirmer和Kotz(2003)的研究結(jié)果相似。此外,本研究還與Kotz和Paulmann(2007)以及Paulmann和Kotz(2008)使用句子水平上的“預期違反(Expectancy violation)”范式的情緒言語加工研究結(jié)果類似,他們將兩種不同情緒的韻律/語義模式并列放到一起,以觀察韻律/語義聯(lián)合的不一致條件與一致條件之間的ERP差異,其結(jié)果顯示,情緒韻律和語義信息的聯(lián)合違反在350～650 ms誘發(fā)了走向更負的類似于N400的成分。因此,結(jié)合前人研究及本研究的結(jié)果,我們認為這種N400效應反映的是情緒韻律對口語情緒詞意義提取的影響,N400波幅的增加可能反映了個體提取詞匯意義的難度的增加。

4.3 后期負波效應

除了N400的典型時窗外,在550～1000 ms,語音詞誘發(fā)的波形受到情緒詞與情緒韻律之間的效價一致性的影響,效價不一致語音詞誘發(fā)了走向更負的負波。這一后期負波效應與N300/N400效應相似,呈雙側(cè)化趨勢,且頭皮分布較為廣泛。以往研究表明,聽覺詞通常誘發(fā)雙側(cè)化、對稱的N400成分,且N400持續(xù)時間通常要比視覺詞及其他刺激更長(Holcomb&Anderson,1993),其原因可能是聽覺詞是隨時間展開的,一個音位接著一個音位出現(xiàn)(Holcomb&Neville,1991)。與聽覺詞相似,與背景信息不一致的動態(tài)影片誘發(fā)的N400效應的持續(xù)時間也較長(Sitnikova et al.,2008)。因此,我們認為這一后期負波效應是N400效應的延續(xù)。

綜上所述,本研究ERP結(jié)果表明,與非聲調(diào)語言相似,漢語中的情緒韻律無論是在多個詞匯上連續(xù)呈現(xiàn),還是在單個詞匯上隨機呈現(xiàn),均能夠?qū)崟r調(diào)節(jié)口語情緒詞的識別,表現(xiàn)為當口語情緒詞與情緒韻律效價一致時,情緒詞的音韻編碼和語義加工得到易化。

圖7 情緒言語加工的時間進程

4.4 情緒言語的多階段加工

許多研究者將情緒言語加工看作是一個多階段的加工過程(Schirmer&Kotz,2006;Paulmann,Ott,&Kotz,2011)。首先,個體需要分析語音中的聲學線索,加工刺激的頻率和音強等感覺信息(Engelien,Schulz,Ross,Arolt,&Pantev,2000),這一階段出現(xiàn)在100 ms左右;其次,聽話人完成對復雜的聲學線索的整合,識別刺激的情緒意義,這一階段出現(xiàn)在200 ms左右(Paulmann&Kotz,2008);最后,將韻律的情緒意義應用到更高層次的認知加工,比如與詞匯/語義信息的相互作用,這一加工過程與N300和N400成分有關(guān)(Bostanov&Kotchoubey,2004)。

根據(jù)本研究的ERP結(jié)果,情緒韻律和情緒詞之間的效價關(guān)系除了能夠調(diào)節(jié)情緒詞誘發(fā)的N300和N400成分之外,還能夠調(diào)節(jié)P200成分。這表明,情緒韻律對情緒詞識別的影響出現(xiàn)的更早,在聽話人加工情緒言語的第二個階段,即韻律特征的情緒意義得到提取的時候,就能對聽覺情緒詞的音韻特征加工產(chǎn)生影響。說明在情緒言語加工過程中,個體在詞匯加工過程中能夠及時的利用情緒韻律特征。圖7顯示了漢語情緒言語加工涉及的三個基本過程。聽話人平行加工了情緒言語中的情緒韻律和情緒詞這兩個維度的信息,在100 ms左右,分別對韻律和詞匯的聲學特征進行早期的感覺加工;在200 ms左右,韻律的情緒意義得到識別的同時,聽話人也在對情緒詞的語音特征進行加工,并且情緒韻律能夠調(diào)節(jié)情緒詞的音韻編碼;隨后情緒韻律還對情緒詞的語義加工產(chǎn)生影響,情緒韻律可以像語義上下文一樣被作為一種背景信息使用,以自上而下的方式對詞匯在語義記憶中的激活和選擇進行約束。

5 結(jié)論

本研究采用韻律/詞匯干擾范式和事件相關(guān)電位技術(shù)考察了情緒言語加工的時間進程。結(jié)果表明,與非聲調(diào)語言相似,漢語中的情緒韻律能夠?qū)崟r地調(diào)節(jié)口語情緒詞的識別。這一調(diào)節(jié)作用在早期的音韻編碼階段就已經(jīng)出現(xiàn),表現(xiàn)為當口語情緒詞與情緒韻律效價一致時,情緒詞的音韻編碼得到易化;此外,情緒韻律還調(diào)節(jié)口語情緒詞的語義加工,使得對與情緒韻律效價一致的情緒詞的語義加工難度降低。

Banse,R.,&Scherer,K.R.(1996).Acoustic profiles in vocal emotion expression.

Journal of Personality and Social Psychology,70

(3),614–636.

Boersma,P.,&Weenink,D.(2011).Praat:Doing phonetics by computer(Version 5.2.25)[Computer program].Retrieved May 3,2011,from http://www.praat.org/

Bostanov,V.,& Kotchoubey,B.(2004).Recognition of affective prosody: Continuous wavelet measures of event-related brain potentials to emotional exclamations.

Psychophysiology,41

,259–268.Braun,M.,Hutzler,F.,Ziegler,J.C.,Dambacher,M.,&Jacobs,A.M.(2009).Pseudohomophone effects provide evidence of early lexico-phonological processing in visual word recognition.

Human Brain Mapping,30

,1977–1989.Deacon,D.,Dynowska,A.,Ritter,W.,&Grose-Fifer,J.(2004).Repetition and semantic priming of nonwords:Implications for theories of N400 and word recognition.

Psychophysiology,41

,60–74.Engelien,A.,Schulz,M.,Ross,B.,Arolt,V.,&Pantev,C.(2000).A combined functional in vivo measure for primary and secondary auditory cortices.

Hearing Research,148

,153–160.Federmeier,K.D.,&Kutas,M.(2001).Meaning and modality:Influences of context,semantic memory organization,and perceptual predictability on picture processing.

Journal of

Experimental Psychology: Learning, Memory and Cognition,27

,202–224.Grimshaw,G.M.(1998).Integration and interference in the cerebral hemispheres: Relations with hemispheric specialization.

Brain and Cognition,36

,108–127.Holcomb,P.J.(1993).Semantic priming and stimulus degradation:Implications for the role of the N400 in language processing.

Psychophysiology,30

,47–61.Holcomb,P.J.,&Anderson,J.E.(1993).Cross-modal semantic priming: A time-course analysis using event-related brain potentials.

Language and Cognitive Processes,8

,379–412.Holcomb,P.J.,Anderson,J.,&Grainger,J.(2005).An electrophysiological study of cross-modal repetition priming.

Psychophysiology,42

,493–507.Holcomb,P.J.,&Neville,H.J.(1991).Natural speech processing:An analysis using event-related brain potentials.

Psychobiology,19

,286–300.Kelly,S.D.,Kravitz,C.,&Hopkins,M.(2004).Neural correlates of bimodal speech and gesture comprehension.

Brain and Language,89

,253–260.Kitayama,S.,& Ishii,K.(2002).Word and voice:Spontaneousattention to emotionalutterancesin two Languages.

Cognition and Emotion

,

16

,29–59.Kong,L.Y.,Zhang,J.X.,Kang,C.P.,Du,Y.C.,Zhang,B.,&Wang,S.P.(2010).P200 and phonological processing in Chinese word recognition.

Neuroscience Letters,473

,37–41.Kotz,S.A.,&Paulmann,S.(2007).When emotional prosody and semantics dance cheek to cheek:ERP evidence.

Brain Research,1151

,107–118.Kutas,M.,&Federmeier,K.D.(2011).Thirty years and counting:Finding meaning in the N400 component of the event-related brain potential(ERP).

Annual Review of Psychology,62

,621–647.Lin,T.,&Wang,L.J.(1992).

A course in phonetics

.Beijing:Peking University Press.[林燾,王理嘉.(1992).

語音學教程

.北京:北京大學出版社.]Meyler,A.,&Breznitz,Z.(2005).Impaired phonological and orthographic word representations among adult dyslexic readers: Evidence from event-related potentials.

The Journal of Genetic Psychology,166

,215–238.Min,C.S.,&Schirmer,A.(2011).Perceiving verbal and vocal emotions in a second language.

Cognition&Emotion,25

(8),1376–1392.Nygaard,L.C.,&Queen,J.S.(2008).Communicating emotion:Linking affective prosody and word meaning.

Journal of Experimental Psychology:Human Perception and Performance,34

(4),1017–1030.Paulmann,S.,&Kotz,S.A.(2008).An ERP investigation on the temporal dynamics of emotional prosody and emotional semantics in pseudo-and lexical-sentence context.

Brain and Language,105

,59–69.Paulmann,S.,Ott,D.V.M.,&Kotz,S.A.(2011).Emotional speech perception unfolding in time:The role of the basal ganglia.

PloS ONE,6

(3),e17694.Savill,N.J.,& Thierry,G.(2011).Electrophysiological evidence for impaired attentional engagement with phonologically acceptable misspellings in developmental dyslexia.

Frontiers in Psychology,2

,139.Scherer,K.R.(2003).Vocal communication of emotion:A review of research paradigms.

Speech Communication,40

,227–256.Scherer,K.R.,Banse,R.,&Wallbott,H.G.(2001).Emotion inferences from vocal expression correlate across languages and cultures.

Journal of Cross-Cultural Psychology,32

,76–92.Schirmer,A.,&Kotz,S.A.(2003).ERP Evidence for a sex-specific stroop effect in emotional speech.

Journal of Cognitive Neuroscience,15

,1135–1148.Schirmer,A.,& Kotz,S.A.(2006).Beyond theright hemisphere:Brain mechanisms mediating vocal emotional processing.

Trends in Cognitive Sciences,10

,24–30.Schirmer,A.,Kotz,S.A.,&Friederici,A.D.(2002).Sex differentiates the role of emotional prosody during word processing.

Cognitive Brain Research,14

,228–233.Schirmer,A.,Kotz,S.A.,&Friederici,A.D.(2005).On the role of attention for the processing of emotions in speech:Sex differences revisited.

Cognitive Brain Research,24

,442–452.Schirmer,A.,Liu,M.,Maess,B.,Escoffier,N.,Chan,M.,&Penney,T.B.(2006).Task and sex modulate the brain response to emotionalincongruity in Asian listeners.

Emotion

,

6

,406–417.Sitnikova,T.,Holcomb,P.J.,Kiyonaga,K.A.,&Kuperberg,G.R.(2008).Two neurocognitive mechanisms of semantic integration during the comprehension of visual real-world events.

Journal of Cognitive Neuroscience,20

,2037–2057.Stenberg,G.,Lindgren,M.,Johansson,M.,Olsson,A.,&Rosén,I.(2000).Semantic processing without conscious identification: Evidence from event-related potentials.

Journal of Experimental Psychology:Learning,Memory,and Cognition,26

,973–1004.van Petten,C.,Coulson,S.,Rubin,S.,Plante,E.,&Parks,M.(1999).Time course of word identification and semantic integration in spoken language.

Journal of Experimental Psychology: Learning, Memory, and Cognition,25

,394–417.Wang,Y.N.,Zhou,L.M.,&Luo,Y.J.(2008).The pilot establishment and evaluation of Chinese affective words system.

Chinese Mental Health Journal,22

,608–612.[王一牛,周立明,羅躍嘉.(2008).漢語情感詞系統(tǒng)的初步編制及評定.

中國心理衛(wèi)生雜志,22

,608–612.]Wu,Y.C.,&Coulson,S.(2007).How iconic gestures enhance communication:An ERP study.

Brain and Language,101

,234–245.Wurm,L.H.,Vakoch,D.A.,Strasser,M.R.,Calin-Jageman,R.,&Ross,S.E.(2001).Speech perception and vocal expression of emotion.

Cognition and Emotion,15

,831–852.