動(dòng)態(tài)面孔和語(yǔ)音情緒信息的整合加工及神經(jīng)生理機(jī)制*

王 蘋(píng) 潘治輝 張立潔 陳煦海

(陜西省行為與認(rèn)知神經(jīng)科學(xué)重點(diǎn)實(shí)驗(yàn)室,陜西師范大學(xué)心理學(xué)院,西安 710062)

成功地識(shí)別和加工情緒信息是社會(huì)交往的關(guān)鍵環(huán)節(jié)之一。當(dāng)前情緒認(rèn)知研究多關(guān)注單通道(如面孔或語(yǔ)音)所傳達(dá)情緒的加工,但現(xiàn)實(shí)生活中我們所接收的情緒信息往往不是單一感覺(jué)通道傳遞的,而是多個(gè)感覺(jué)通道同時(shí)傳遞(Klasen,Chen,& Mathiak,2012;Robins,Hunyadi,&Schultz,2009)。近年來(lái),“多通道情緒信息的整合加工機(jī)制”已引起心理學(xué)和認(rèn)知神經(jīng)科學(xué)研究者的關(guān)注,已有研究發(fā)表在PNAS等國(guó)際權(quán)威雜志上(Hagan et al.,2009)。

然而,當(dāng)前研究主要考察多通道結(jié)合相對(duì)于單通道的優(yōu)勢(shì)、多通道情緒刺激加工的時(shí)間進(jìn)程(when)和相關(guān)腦區(qū)(where),對(duì)“多通道情緒信息是否能整合為一致情緒客體？如果能,來(lái)自不同通道的情緒信息是如何在神經(jīng)振蕩層面整合(how)為一？”等問(wèn)題都缺乏系統(tǒng)研究。對(duì)這些問(wèn)題的系統(tǒng)探討,從理論上可以推進(jìn)情緒認(rèn)知神經(jīng)機(jī)制研究以及多通道信息整合的腦機(jī)制研究。從應(yīng)用上可以為精神分裂癥、自閉癥和廣泛性發(fā)展障礙的診斷以及微情緒識(shí)別等應(yīng)用研究提供理論參考。

1 國(guó)內(nèi)外研究現(xiàn)狀

1.1 面孔和語(yǔ)音情緒整合的表現(xiàn)及影響因素

多通道感覺(jué)整合是人類(lèi)知覺(jué)中普遍存在的現(xiàn)象,著名的如McGurk效應(yīng)——視覺(jué)呈現(xiàn)“ba”的嘴型,同時(shí)聽(tīng)覺(jué)呈現(xiàn)“ga”的聲音,人們感覺(jué)自己聽(tīng)到的是“da”(McGurk&MacDonald,1976)。這種現(xiàn)象也發(fā)生在情緒信息的知覺(jué)加工中,主要表現(xiàn)為視聽(tīng)通道的情緒信息一致時(shí),相對(duì)于不一致或單通道的情緒信息,人們完成情緒判斷的準(zhǔn)確率更高,反應(yīng)更快(Kreifelts,Ethofer,Grodd,Erb,&Wildgruber,2007;Massaro&Egan,1996),被試會(huì)整合雙通道的信息來(lái)評(píng)價(jià)情緒(De Gelder&Vroomen,2000),當(dāng)其中一個(gè)通道的信息模糊時(shí),另一通道的作用會(huì)更大(Massaro&Egan,1996)。此外,雙通道信息整合中,視覺(jué)情緒信息所起的作用更大 (Jessen&Kotz,2011;Watson et al.,2014a)。

面孔、語(yǔ)音情緒信息的整合會(huì)受諸多因素的影響。首先,面孔和語(yǔ)音情緒信息的整合受刺激驅(qū)動(dòng)加工和任務(wù)驅(qū)動(dòng)加工(Wildgruber,Ethofer,Grandjean,&Kreifelts,2009;Klasen et al.,2012)的影響。一些研究強(qiáng)調(diào)雙通道情緒信息整合具有自動(dòng)性,是一種刺激驅(qū)動(dòng)加工,即使被試只關(guān)注一個(gè)通道的信息而忽視另一個(gè)通道的信息,面孔和語(yǔ)音情緒的交互影響仍然存在(De Gelder&Vroomen,2000),而且這種現(xiàn)象在閾下呈現(xiàn)(Doi&Shinohara,2013),視覺(jué)皮層受損的患者中依舊存在(De Gelder,Pourtois,&Weiskrantz,2002)。另有研究則強(qiáng)調(diào)任務(wù)驅(qū)動(dòng)加工的重要性(Brück,Kreifelts,&Wildgruber,2011;Klasen et al.,2012),認(rèn)為任務(wù)驅(qū)動(dòng)的加工可能讓雙通道情緒信息的整合在多個(gè)時(shí)間點(diǎn)上發(fā)生(Paulmann,Jessen,&Kotz,2009;Doi&Shinohara,2013)。其次,整合加工者的個(gè)體差異也可能影響多通道情緒信息的整合。有研究報(bào)告面孔、語(yǔ)音情緒整合存在性別差異,女性整合能力強(qiáng)于男性(Collignon et al.,2010)。另有研究報(bào)告在日本被試中語(yǔ)音情緒對(duì)面孔情緒的影響更強(qiáng),而荷蘭被試中面孔情緒對(duì)語(yǔ)音情緒的影響更強(qiáng),說(shuō)明文化差異影響面孔、語(yǔ)音情緒整合(Tanaka et al.,2010)。最后,疾病也可能影響多通道情緒信息的整合。有研究報(bào)告,精神分裂癥(De Gelder et al.,2005),自閉癥(Charbonneau et al.,2013)和廣泛性發(fā)展障礙等患者(Magnée,De Gelder,van Engeland,&Kemner,2008)的面孔和語(yǔ)音情緒信息整合能力受損,而且這可能是他們情緒加工能力下降的主要原因。

上述研究探明了人們加工面孔、語(yǔ)音結(jié)合的情緒刺激的行為表現(xiàn),以及影響該加工過(guò)程的因素,但基本都是描述雙通道情緒信息加工時(shí)存在交互影響,沒(méi)有直接回答雙通道情緒信息是否可以整合成一致的客體(coherent percept)。整合成一致客體是相比交互影響更為嚴(yán)格的整合加工標(biāo)準(zhǔn),即多通道信息同時(shí)加工的效應(yīng)大于任一單通道信息,甚至大于所有單通道效應(yīng)之和,形成超出原有信息的一致客體,而這種效應(yīng)在參與整合的單通道信息本身較為模糊時(shí)更為顯著(Ernst&Bulthoff,2004;Stein,Stanford,Ramachandran,Perrault,&Rowland,1993;2009)。該標(biāo)準(zhǔn)已在非情緒性信息整合加工中進(jìn)行了大量研究,尚未用來(lái)系統(tǒng)考察多通道情緒信息的整合加工。情緒信息加工與一般感覺(jué)信息加工的區(qū)別在于其社會(huì)性,顯然,將一般感覺(jué)信息融合的標(biāo)準(zhǔn)用于考察面孔和語(yǔ)音情緒信息整合加工可能增進(jìn)情緒信息整合加工的理解。

1.2 面孔-語(yǔ)音情緒整合神經(jīng)機(jī)制

面孔語(yǔ)音情緒整合的神經(jīng)機(jī)制研究關(guān)注的問(wèn)題之一是整合加工的時(shí)間進(jìn)程(when)。De Gelder,Bocker,Tuomainen,Hensen 和 Vroomen(1999)運(yùn)用oddball設(shè)計(jì),發(fā)現(xiàn)面孔、語(yǔ)音情緒一致和不一致的雙通道材料作為偏差刺激都能誘發(fā)典型的MMN,說(shuō)明面孔、語(yǔ)音情緒信息在情緒加工的早期即開(kāi)始整合。他們隨后的研究發(fā)現(xiàn)面孔、語(yǔ)音情緒一致的刺激相對(duì)不一致的刺激誘發(fā)更大波幅的N100(Pourtois,De Gelder,Vroomen,Rossion,&Crommelinck,2000),相似的結(jié)果也出現(xiàn)在紋狀皮層受損的病人中(De Gelder et al.,2002),說(shuō)明面孔、語(yǔ)音情緒的整合發(fā)生于刺激呈現(xiàn)后200 ms之內(nèi)。另有研究直接對(duì)比視聽(tīng)結(jié)合情緒刺激和單通道刺激,發(fā)現(xiàn)多通道情緒結(jié)合刺激誘發(fā)更小波幅的N100(Jessen&Kotz,2011),P200和N300(Paulmann et al.,2009),說(shuō)明多通道情緒在100 ms即開(kāi)始整合,并有一定時(shí)間跨度。Paulmann和Pell(2010)運(yùn)用啟動(dòng)范式,發(fā)現(xiàn)面孔、語(yǔ)音情緒不一致可誘發(fā)典型N400,但N400波幅受刺激長(zhǎng)短調(diào)節(jié),說(shuō)明面孔-語(yǔ)音情緒整合的時(shí)間窗可以延遲到400 ms左右。綜上可見(jiàn),面孔、語(yǔ)音情緒在刺激呈現(xiàn)200 ms內(nèi)即可以發(fā)生整合,但整合時(shí)間窗受任務(wù)要求的影響,隨任務(wù)不同而延伸,在200 ms后很長(zhǎng)一段時(shí)間內(nèi)都能發(fā)生整合。

關(guān)注的另一個(gè)問(wèn)題是雙通道情緒整合加工的腦功能區(qū)。當(dāng)被試完成情緒相關(guān)任務(wù)(如情緒類(lèi)別判斷)時(shí),同單通道刺激相比,恐懼的面孔聲音刺激更多激活了左側(cè)后顳上溝(Ethofer et al.,2006;Hagan et al.,2009)和左側(cè)杏仁核,并延展到杏仁核周?chē)屹|(zhì)(Ethofer et al.,2006)。另有研究發(fā)現(xiàn)與單通道情緒刺激相比,視聽(tīng)結(jié)合的刺激激活雙側(cè)的后顳上回以及右側(cè)丘腦,但左側(cè)后顳上回的激活最為顯著,其激活水平與面孔、語(yǔ)音情緒整合帶來(lái)的行為增益成線性關(guān)系,表明左側(cè)顳葉對(duì)多通道情緒整合有關(guān)鍵作用(Kreifelts et al.,2007)。他們隨后的研究發(fā)現(xiàn)語(yǔ)音情緒和面孔情緒敏感區(qū)分別在顳上溝不同位置,而面孔-語(yǔ)音情緒整合區(qū)則主要在顳上溝的分叉點(diǎn),處于面孔、語(yǔ)音情緒敏感區(qū)的結(jié)合部(Kreifelts,Ethofer,Shiozawa,Grodd,&Wildgruber,2009)。當(dāng)被試完成情緒無(wú)關(guān)任務(wù)(如性別判斷)時(shí),與單通道情緒刺激相比,雙通道刺激激活了左側(cè)顳中回和雙側(cè)顳上回(Pourtois,De Gelder,Bol,&Crommelinck,2005)。Park等人(2010)發(fā)現(xiàn)喜悅、憤怒、中性幾種類(lèi)型的視聽(tīng)刺激均激活了顳上回,額下回和海馬旁回,說(shuō)明不同情緒類(lèi)型的視聽(tīng)刺激可能共享同一整合神經(jīng)網(wǎng)絡(luò),但不同的情緒又有其不同的加工腦區(qū)。Watson等人(2014a)運(yùn)用功能磁共振適應(yīng)技術(shù)(fMRI-A),發(fā)現(xiàn)在右側(cè)顳上回(right pSTS),雙通道情緒信息彼此會(huì)產(chǎn)生適應(yīng)現(xiàn)象,說(shuō)明該區(qū)域可能存在同時(shí)接受視覺(jué)和聽(tīng)覺(jué)通道情緒信息的神經(jīng)元。

總之,關(guān)于面孔和語(yǔ)音情緒整合的神經(jīng)機(jī)制研究在整合加工的時(shí)間進(jìn)程(when)和相關(guān)腦區(qū)(where)已取得諸多共識(shí)。面孔、語(yǔ)音情緒整合可能是多階段的動(dòng)態(tài)過(guò)程,不同加工階段對(duì)應(yīng)于不同的時(shí)間進(jìn)程和腦功能區(qū),而刺激驅(qū)動(dòng)和任務(wù)驅(qū)動(dòng)是影響該過(guò)程的重要因素(Wildgruber et al.,2009)。但是,對(duì)于認(rèn)知神經(jīng)科學(xué)研究關(guān)注的另一個(gè)問(wèn)題,即大腦如何將雙通道情緒信息整合為一(how),當(dāng)前研究涉及較少,還有待進(jìn)一步研究。

一般來(lái)說(shuō)，因時(shí)差導(dǎo)致的生理節(jié)律紊亂會(huì)影響運(yùn)動(dòng)表現(xiàn)，教練或體能教練在制定訓(xùn)練和比賽計(jì)劃時(shí)必須考慮這一點(diǎn)。時(shí)差的適應(yīng)與跨越的時(shí)區(qū)有關(guān)系，通常跨越2個(gè)時(shí)區(qū)以上就會(huì)有時(shí)差反應(yīng)，而跨越4個(gè)時(shí)區(qū)以上，特別是7～8個(gè)時(shí)區(qū)時(shí)，各種身體的生理節(jié)律會(huì)發(fā)生明顯的紊亂，適應(yīng)時(shí)差通常需要9天左右的時(shí)間，因此在此期間的訓(xùn)練時(shí)間安排與訓(xùn)練強(qiáng)度要進(jìn)行合理安排。前三天主要進(jìn)行調(diào)整訓(xùn)練，第四天開(kāi)始可以逐漸加量并轉(zhuǎn)為正規(guī)訓(xùn)練[18]。體能訓(xùn)練最好放在下午進(jìn)行，將上午特別是臨近中午的時(shí)段留給技能訓(xùn)練，因?yàn)橐蕾?lài)中樞神經(jīng)系統(tǒng)的喚醒水平在臨近中午時(shí)達(dá)到頂峰。在早晨進(jìn)行漸進(jìn)性的熱身非常重要，可以防止僵硬的關(guān)節(jié)和肌肉受傷。

2 問(wèn)題提出與分析

2.1 如何判定雙通道情緒整合為一？

如前文文獻(xiàn)回顧所述,當(dāng)前研究已描述了面孔、語(yǔ)音情緒整合的行為表現(xiàn)及影響因素,發(fā)現(xiàn)多通道情緒同時(shí)加工相對(duì)于單通道情緒具有一定優(yōu)勢(shì)。但是,僅是基于這種優(yōu)勢(shì)即可判定雙通道情緒信息整合為一致情緒客體了么？

事實(shí)上,如何判定信息發(fā)生了整合是多通道感覺(jué)整合研究關(guān)注的核心問(wèn)題之一。Stein,Jiang和 Stanford(2005)、Stein 和 Stanford(2008)、Stein等(2009)提出多通道信息整合應(yīng)當(dāng)滿足如下標(biāo)準(zhǔn)：① 多通道信息引起的效應(yīng)要大于單通道刺激誘發(fā)的最大效應(yīng);② 具有超加性,指多通道信息引起的效應(yīng)大于其單個(gè)組成通道效應(yīng)的線性相加,如AV>[unimodal auditory(A)+unimodal visual(V)],或理解為 1+1>2;③ 遵循顛倒效應(yīng)規(guī)則(the principal of Inverse Effectiveness,IE規(guī)則),指參與整合的單通道傳遞信息較為模糊,或是雙通道信息都較為模糊時(shí),整合效應(yīng)更為顯著。近年來(lái),這些基于單細(xì)胞研究提出的標(biāo)準(zhǔn)在以fMRI(Werner&Noppeney,2010)和ERP(Senkowski,Saint-Amour,Hofle,&Foxe,2011)為關(guān)鍵技術(shù)的視聽(tīng)整合研究中也得到驗(yàn)證。

但是,當(dāng)前面孔-語(yǔ)音情緒整合的研究多以雙通道相對(duì)于單通道的優(yōu)勢(shì)判定情緒整合,即只用了第一條標(biāo)準(zhǔn)。目前僅見(jiàn)Hagan等人(2009)報(bào)告了面孔語(yǔ)音情緒整合誘發(fā)MEG信號(hào)具有超加性。另外,我們近期的研究發(fā)現(xiàn)了情緒變化中面孔語(yǔ)音情緒整合的ERP和ERSP信號(hào)都存在超加性(未發(fā)表數(shù)據(jù))。除了個(gè)別研究考察了語(yǔ)音情緒與姿態(tài)情緒同時(shí)加工符合IE規(guī)則外(Jessen,Obleser,&Kotz,2012),還未見(jiàn)研究對(duì)面孔、語(yǔ)音情緒整合是否遵循IE規(guī)則進(jìn)行探討。事實(shí)上,第一條標(biāo)準(zhǔn)只能說(shuō)明雙通道情緒信息彼此存在影響,很難作為雙通道情緒整合為一致客體的充分條件。能充分證明雙通道信息整合為一的有力證據(jù)是發(fā)生了超加現(xiàn)象,但該標(biāo)準(zhǔn)也受到挑戰(zhàn),認(rèn)為單通道信息很強(qiáng)烈時(shí)不容易發(fā)生超加現(xiàn)象。更好的標(biāo)準(zhǔn)是整合效應(yīng)(用多通道結(jié)合較單通道的優(yōu)勢(shì)來(lái)衡量)遵循IE規(guī)則(Stein et al.,2009)。

可見(jiàn),考察面孔、語(yǔ)音情緒整合加工機(jī)制不能只停留在描述雙通道信息如何交互影響,應(yīng)該進(jìn)一步探明雙通道信息是否真正整合為一致客體,比如Watson等人(2014a)發(fā)現(xiàn)在右側(cè)顳上回可能存在同時(shí)接受視覺(jué)和聽(tīng)覺(jué)通道情緒信息的神經(jīng)元就觸及了這個(gè)核心問(wèn)題。那么在行為層面和神經(jīng)電生理層面,能否也發(fā)現(xiàn)雙通道情緒信息整合為一的證據(jù)呢？那就需要借用一般多通道非情緒信息感覺(jué)整合的規(guī)則來(lái)考察面孔、語(yǔ)音情緒整合,深入闡明其機(jī)制和特點(diǎn)。

2.2 大腦如何將雙通道情緒信息整合為一？

由上文文獻(xiàn)綜述可見(jiàn),當(dāng)前有關(guān)面孔、語(yǔ)音情緒整合神經(jīng)機(jī)制的研究已較好地回答了“when”和“where”的問(wèn)題,但是,大腦怎樣將分離的情緒信息整合成一個(gè)情緒客體,即“how”的問(wèn)題卻有待深入研究。面孔、語(yǔ)音情緒刺激起初是在視覺(jué)區(qū)和聽(tīng)覺(jué)區(qū)分別加工的,這些在不同腦區(qū)加工的信息是如何跨區(qū)域整合的還不得而知。

對(duì)該問(wèn)題的回答,我們可以從一般視聽(tīng)信息整合,如視聽(tīng)言語(yǔ)信息整合的研究中得到很多啟示。研究發(fā)現(xiàn)神經(jīng)振蕩(neural oscillations)是視聽(tīng)言語(yǔ)信息整合的關(guān)鍵手段：Luo,Liu和Poeppel(2010)發(fā)現(xiàn)2~7 Hz的delta和theta頻段的相位同步改變?cè)谝暵?tīng)信息流的實(shí)時(shí)整合加工中扮演了重要角色;另有研究發(fā)現(xiàn)gamma活動(dòng)與視聽(tīng)言語(yǔ)信息整合相關(guān)(Kaiser,Hertrich,Ackermann,Mathiak,&Lutzenberger,2005),視聽(tīng)語(yǔ)義信息的一致性不影響鎖相的gamma頻段反應(yīng),但影響非鎖相的gamma頻段反應(yīng)(Schneider,Debener,Oostenveld,&Engel,2008;Yuval-Greenberg&Deouell,2007)。另外,有兩個(gè)獨(dú)立研究組分別在Trends in Cognitive Sciences等高影響綜述雜志上撰文(Engel,Senkowski,&Schneider,2012;Fries,2005;Senkowski,Schneider,Foxe,&Engel,2008),提出腦區(qū)間神經(jīng)振蕩的相干(指大腦兩個(gè)區(qū)域之間的EEG信號(hào)的線性依存關(guān)系,即對(duì)于兩個(gè)同時(shí)記錄到的EEG信號(hào)中相同節(jié)律成分進(jìn)行相位穩(wěn)定性測(cè)量)是多通道信息整合時(shí)腦區(qū)間信息交流的核心模式,并已得到一些實(shí)證研究的支持。Hummel和Gerloff(2005)發(fā)現(xiàn)視覺(jué)、觸覺(jué)的整合會(huì)導(dǎo)致兩個(gè)感覺(jué)區(qū)低頻能量相干系數(shù)增高,且相干系數(shù)與行為表現(xiàn)呈正相關(guān)。Maier,Chandrasekaran和Ghazanfar(2008)則發(fā)現(xiàn)隱約逼近的視聽(tīng)信息結(jié)合相對(duì)于單通道信息引起聽(tīng)覺(jué)區(qū)和顳上溝gamma頻段相干的增加,說(shuō)明新皮質(zhì)運(yùn)用腦區(qū)間迅速而靈活的交流來(lái)調(diào)節(jié)多通道信息整合。

既然神經(jīng)振蕩的能量、相位的變化以及不同腦區(qū)間神經(jīng)振蕩的相干是視聽(tīng)言語(yǔ)信息整合的關(guān)鍵所在,那么同為視聽(tīng)刺激傳遞的抽象信息,面孔、語(yǔ)音情緒的整合是否也依賴(lài)于神經(jīng)振蕩的變化呢？目前僅見(jiàn)兩個(gè)研究考察過(guò)雙通道情緒整合導(dǎo)致的神經(jīng)振蕩能量變化：視聽(tīng)情緒結(jié)合刺激誘發(fā)的alpha和beta能量與視覺(jué)情緒刺激誘發(fā)的能量更為相似(Jessen&Kotz,2011);動(dòng)態(tài)性姿態(tài)情緒與語(yǔ)音情緒整合導(dǎo)致15~25 Hz的beta能量降低(Jessen et al.,2012)。這兩個(gè)研究描述了雙通道情緒整合導(dǎo)致了神經(jīng)振蕩能量變化,但對(duì)于神經(jīng)振蕩的相位特征、以及不同腦區(qū)間神經(jīng)振蕩的相干特征等在一般多通道感覺(jué)整合已證明極為重要的整合手段,都還缺乏系統(tǒng)研究,更沒(méi)有將這些表征信息如何整合的參數(shù)納入“遵循IE規(guī)則”等整合標(biāo)準(zhǔn)下進(jìn)行探討。

2.3 擬研究的科學(xué)問(wèn)題

基于如上分析,本項(xiàng)目擬研究?jī)蓚€(gè)問(wèn)題：①面孔、語(yǔ)音情緒信息是否能夠整合為一致情緒客體,表現(xiàn)為其加工是否遵循一般感覺(jué)信息融合中的核心規(guī)則——顛倒效應(yīng)(IE)規(guī)則？②面孔、語(yǔ)音情緒信息的整合加工在神經(jīng)振蕩層面如何實(shí)現(xiàn)的？

考察一般感覺(jué)融合的規(guī)律能否推及情緒信息的整合加工是一般到特殊的問(wèn)題。對(duì)這一問(wèn)題的探討既是對(duì)已有研究關(guān)注多通道情緒信息存在交互影響的擴(kuò)展(De Gelder&Vroomen,2000;Jessen&Kotz,2011;Kreifelts et al.,2007;Massaro&Egan,1996;Watson et al.,2014b),也是在一般認(rèn)知研究的水平上考察情緒信息的理解,可能增進(jìn)人們對(duì)多通道情緒信息加工的認(rèn)知。同時(shí),只有對(duì)該問(wèn)題的系統(tǒng)考察,才能明確說(shuō)明多通道情緒信息是否可以整合為一致情緒客體。

考察“面孔、語(yǔ)音情緒在神經(jīng)振蕩層面如何整合為一”是在研究問(wèn)題一描述整合現(xiàn)象后,進(jìn)一步尋找導(dǎo)致該現(xiàn)象原因。在已有大量研究探明面孔、語(yǔ)音情緒信息整合加工的時(shí)間進(jìn)程“when”和加工腦區(qū)“where”的基礎(chǔ)上,從神經(jīng)生理的角度,系統(tǒng)探明雙通道情緒信息整合的神經(jīng)振蕩的相位特征以及腦區(qū)間神經(jīng)振蕩的相干特征,說(shuō)明面孔、語(yǔ)音情緒信息如何整合,可以從“when”、“where”和“how”三個(gè)角度、三位一體地探明面孔語(yǔ)音情緒整合加工的神經(jīng)生理機(jī)制。

3 研究構(gòu)想

3.1 研究問(wèn)題分解

為了較好地解決上述兩個(gè)研究問(wèn)題,我們對(duì)兩個(gè)問(wèn)題進(jìn)行了分解與整合。首先,要考察雙通道情緒信息整合加工是否遵循一般感覺(jué)信息融合的IE規(guī)則,關(guān)鍵在于制作不同情緒凸顯度的單通道情緒刺激,然后考察不同情緒凸顯度的情緒信息所形成整合效應(yīng)的大小。因此,我們以第一個(gè)科學(xué)問(wèn)題為主線設(shè)計(jì)了兩個(gè)研究。第一個(gè)研究從兩個(gè)角度操縱刺激的情緒凸顯度,考察雙通道情緒信息在不同情緒凸顯度下的整合特點(diǎn)：一是操縱單通道情緒刺激本身的情緒凸顯度,對(duì)語(yǔ)音情緒刺激和面孔表情圖片進(jìn)行不同程度的模糊處理,形成不同情緒強(qiáng)度的情緒刺激;二是通過(guò)操縱雙通道情緒刺激所處的噪音背景來(lái)操縱情緒凸顯度,當(dāng)背景噪音越大,情緒刺激本身的情緒凸顯性越小。第二個(gè)研究則是對(duì)研究一的縱深——在研究一操縱簡(jiǎn)單情緒刺激情緒凸顯性的基礎(chǔ)上,在情緒變化中考察雙通道情緒信息的整合。情緒變化指語(yǔ)句所表現(xiàn)的情緒發(fā)生變化,比如從中性變?yōu)閼嵟驈膽嵟兂闪酥行?Chen,2011;2013),這在社會(huì)交往中有重要意義(Fujimura&Okanoya,2013;Stefanics,Csukly,Komlósi,Czobor,&Czigler,2012)。研究二將沿用研究一的方法操縱情緒刺激本身的情緒凸顯度,考察不同情緒凸顯度的情緒刺激在情緒變化檢測(cè)的貢獻(xiàn)和整合效應(yīng)。

其次,由文獻(xiàn)綜述部分可見(jiàn),刺激驅(qū)動(dòng)加工和任務(wù)驅(qū)動(dòng)加工(Wildgruber et al.,2009;Klasen et al.,2012)是影響雙通道情緒信息整合的關(guān)鍵因素,因而本項(xiàng)目在所有研究中都設(shè)置內(nèi)隱情緒加工任務(wù)和外顯情緒加工任務(wù),以求分離刺激驅(qū)動(dòng)加工和任務(wù)驅(qū)動(dòng)加工對(duì)雙通道情緒信息整合的影響。此外,有研究指出以動(dòng)態(tài)面孔和語(yǔ)音情緒刺激為實(shí)驗(yàn)材料(Jessen&Kotz,2011;Luo et al.,2010;Watson,Latinus,Noguchi,et al.,2014,Watson,Latinus,Charest,et al.,2014;張亮,孫向紅,張侃,2009)可以提高研究的外部效度,因此我們擬制作動(dòng)態(tài)面孔、語(yǔ)音情緒刺激作為實(shí)驗(yàn)材料,在保證實(shí)驗(yàn)內(nèi)部效度前提下提高研究生態(tài)效度。而其他的一些影響因素,如被試的個(gè)體差異,包括性別(Collignon et al.,2010)、健康狀況(De Gelder et al.,2005;Magnée et al.,2008)等,在本項(xiàng)目中都作為控制因素加以控制。

再次,對(duì)于科學(xué)問(wèn)題二“雙通道情緒信息如何整合為一”則主要在數(shù)據(jù)處理上下功夫。已有許多非情緒性信息整合加工研究表明神經(jīng)振蕩的相位同步性變化和腦區(qū)間神經(jīng)振蕩相干可能是信息整合的關(guān)鍵方式(Luo et al.,2010;Schneider et al.,2008;Engel et al.,2012;Fries,2005;Senkowski et al.,2008),因而借鑒一般感覺(jué)信息整合研究的分析手段,對(duì)幾個(gè)研究記錄的EEG數(shù)據(jù)完成時(shí)頻分析、相干分析,對(duì)雙通道情緒信息加工的能量譜、試次間相位變化、腦區(qū)間能量相干變化以及腦電發(fā)生源間網(wǎng)絡(luò)的變化進(jìn)行詳盡的描述,即可回答面孔、語(yǔ)音情緒信息在神經(jīng)振蕩層面如何整合為一。

最后,我們梳理了本項(xiàng)研究構(gòu)想所提的兩個(gè)科學(xué)問(wèn)題的內(nèi)部關(guān)系?！半p通道情緒信息能否整合為一致客體”是在前人發(fā)現(xiàn)雙通道情緒信息交互影響基礎(chǔ)上(Jessen&Kotz,2011;Kreifelts et al.,2007;Massaro&Egan,1996;Watson et al.,2014a),進(jìn)一步描述雙通道情緒信息加工的特點(diǎn),可以用不同情緒凸顯度下的雙通道情緒信息加工是否遵循IE規(guī)則進(jìn)行驗(yàn)證?！半p通道情緒信息如何整合為一”則是探索該現(xiàn)象背后機(jī)制的問(wèn)題,可以用神經(jīng)生理數(shù)據(jù)的相干和網(wǎng)絡(luò)分析得以實(shí)現(xiàn)。這兩個(gè)問(wèn)題是相互關(guān)聯(lián)的,可以并應(yīng)當(dāng)統(tǒng)一起來(lái)研究：系統(tǒng)考察面孔、語(yǔ)音情緒整合是否遵循“IE規(guī)則”不僅需要基于傳統(tǒng)的行為和ERP數(shù)據(jù),更應(yīng)當(dāng)把神經(jīng)振蕩特征納入考量;同時(shí),系統(tǒng)分析雙通道情緒整合的神經(jīng)振蕩的能量、相位以及腦區(qū)間的相干特征,則剛好為雙通道情緒如何整合提供了證據(jù)。

3.2 具體研究設(shè)計(jì)

本項(xiàng)目以面孔、語(yǔ)音情緒整合是否遵循一般感覺(jué)信息整合的規(guī)則為主線設(shè)計(jì)兩個(gè)研究,分6個(gè)實(shí)驗(yàn)。研究一從刺激本身和所處背景兩個(gè)角度操縱情緒凸顯度,比較不同情緒凸顯度的刺激加工時(shí)整合效應(yīng)的大小,以考察雙通道情緒整合是否遵循IE規(guī)則。研究二將簡(jiǎn)單情緒信息的整合延伸到情緒變化中情緒信息的整合。在傳統(tǒng)行為數(shù)據(jù)、ERP分析之外,系統(tǒng)分析各個(gè)條件誘發(fā)神經(jīng)振蕩的能量、相位以及腦區(qū)間相干特征,以期回答雙通道情緒信息在神經(jīng)振蕩層面如何完成整合。研究設(shè)計(jì)分述如下：

研究一 不同情緒凸顯度的面孔、語(yǔ)音情緒整合

本研究分為4個(gè)實(shí)驗(yàn)。實(shí)驗(yàn)1、2操控情緒刺激本身的情緒凸顯度,考察面孔、語(yǔ)音情緒的整合加工是否遵循IE規(guī)則及其神經(jīng)振蕩特征。研究以“啊”、“哦”等語(yǔ)義為中性的嘆詞為文本材料,請(qǐng)專(zhuān)業(yè)演員錄制高興、憤怒、中性三種面孔(F)、語(yǔ)音情緒刺激(V),雙通道連接形成FV刺激。然后運(yùn)用Morph程序?qū)υ嫉拿婵缀驼Z(yǔ)音刺激(中性和情緒性)以33.3%的梯度制作連續(xù)變化刺激(如33%中性/67%憤怒、67%中性/33%憤怒),加上原始刺激,形成4種情緒強(qiáng)度面孔情緒刺激。用STRAIGHT工具箱對(duì)原始語(yǔ)音情緒刺激進(jìn)行相似的模糊處理,形成不同情緒強(qiáng)度的4種語(yǔ)音情緒刺激。分語(yǔ)言、面孔、雙通道同時(shí)呈現(xiàn)三個(gè)序列給被試呈現(xiàn)刺激材料,要求被試分別判斷刺激表現(xiàn)者的性別(實(shí)驗(yàn)1,內(nèi)隱加工)和刺激所表現(xiàn)的情緒(實(shí)驗(yàn)2,外顯加工),分別形成3×4的被試內(nèi)實(shí)驗(yàn)設(shè)計(jì)。記錄被試的行為數(shù)據(jù)和腦電數(shù)據(jù)作為因變量。除進(jìn)行傳統(tǒng)的行為數(shù)據(jù)、腦電時(shí)域數(shù)據(jù)分析外,還對(duì)腦電進(jìn)行時(shí)頻分析,探明雙通道情緒信息整合加工時(shí)神經(jīng)振蕩的能量、相位及腦區(qū)間神經(jīng)振蕩相干特征。若雙通道情緒信息整合為一致情緒客體,FV刺激誘發(fā)的行為和腦電指標(biāo)需顯著大于任一單通道刺激(F和V),甚至大于F和V的和(即發(fā)生超加),而這種整合效應(yīng)在情緒強(qiáng)度低的刺激中(如67%中性/33%憤怒)表現(xiàn)更為顯著。此外,根據(jù)以往關(guān)于刺激驅(qū)動(dòng)加工和任務(wù)驅(qū)動(dòng)加工的研究,我們預(yù)期外顯和內(nèi)隱任務(wù)條件下,雙通道情緒信息的整合可能會(huì)表現(xiàn)出不同的特點(diǎn)。

實(shí)驗(yàn)3、4操控情緒刺激所處背景噪音強(qiáng)度考察面孔、語(yǔ)音情緒整合是否遵循IE規(guī)則。除了刺激本身的情緒強(qiáng)度會(huì)形成情緒凸顯度差異從而影響雙通道情緒刺激的整合外,情緒刺激所處環(huán)境,也可能導(dǎo)致刺激情緒凸顯度不同。如噪音的掩蓋,背景噪音越強(qiáng),情緒刺激本身凸顯度相對(duì)較低。因此,本實(shí)驗(yàn)仍以實(shí)驗(yàn)1的材料為實(shí)驗(yàn)刺激,仍然分單聽(tīng)、單看和視聽(tīng)同時(shí)進(jìn)行三種刺激呈現(xiàn)方式,只是在呈現(xiàn)關(guān)鍵刺激時(shí)加入不同強(qiáng)度的噪音。實(shí)驗(yàn)仍然要求被試分別就刺激表現(xiàn)者的性別(實(shí)驗(yàn)3,內(nèi)隱加工)和刺激所表現(xiàn)的情緒進(jìn)行判斷(實(shí)驗(yàn)4,外顯加工),并記錄被試的行為反應(yīng)和腦電數(shù)據(jù)作為因變量。本研究仍然采用與研究一相同的數(shù)據(jù)分析方法。我們預(yù)期,若雙通情緒信息確實(shí)能整合為一,FV刺激誘發(fā)的行為和腦電指標(biāo)需顯著大于任一單通道刺激(F和V),甚至出現(xiàn)超加效應(yīng),而這種整合效應(yīng)在噪音背景較強(qiáng)時(shí)表現(xiàn)更為明顯,同時(shí)也會(huì)受到任務(wù)屬性的調(diào)節(jié)。

研究二 情緒變化檢測(cè)中的面孔、語(yǔ)音情緒整合

前兩個(gè)研究都是以簡(jiǎn)單的情緒刺激來(lái)考察雙通情緒信息的整合的,但是情緒信息往往嵌套在話語(yǔ)背景中。情緒變化識(shí)別在社會(huì)交往中有重要意義(Fujimura&Okanoya,2013;Stefanics et al.,2012),如談判等人際交流中往往需要察言觀色、聽(tīng)音識(shí)別情緒及情緒變化。本研究擬在情緒變化識(shí)別中的面孔、語(yǔ)音情緒信息整合。首先錄制語(yǔ)義為中性的語(yǔ)音情緒和面孔情緒材料,然后運(yùn)用交互拼接(cross-splicing)方法構(gòu)建具有情緒變化的語(yǔ)音和面孔情緒材料,再運(yùn)用實(shí)驗(yàn)1相同的方法對(duì)幾種情緒材料進(jìn)行梯度性模糊處理,獲得不同情緒強(qiáng)度的實(shí)驗(yàn)刺激。然后通過(guò)兩通道刺激的不同組合(語(yǔ)音、面孔情緒均不變,語(yǔ)音情緒變、面孔情緒不變,語(yǔ)音情緒不變、面孔情緒變,雙通道均變化)給被試呈現(xiàn)實(shí)驗(yàn)材料,要求被試判斷每個(gè)試次的實(shí)驗(yàn)材料表達(dá)的情緒(實(shí)驗(yàn)5,外顯任務(wù))是否發(fā)生了變化,或者完成視覺(jué)探詞檢測(cè)任務(wù)(實(shí)驗(yàn)6,內(nèi)隱任務(wù))。記錄被試的行為反應(yīng)和腦電數(shù)據(jù)作為因變量,同樣進(jìn)行傳統(tǒng)ERP分析和神經(jīng)震蕩分析。通過(guò)三種情緒變化條件與雙通道均不變條件相減獲得情緒變化的指標(biāo)。同研究一相似,我們預(yù)期,若雙通情緒刺激發(fā)生整合,雙通道聯(lián)合刺激誘發(fā)的情緒變化效應(yīng)應(yīng)該大于任一單通道刺激,甚至具有超加效應(yīng),且這些效應(yīng)在情緒強(qiáng)度較低更為明顯,并受任務(wù)驅(qū)動(dòng)的調(diào)節(jié)。

4 總結(jié)

總之,本項(xiàng)目以面孔、語(yǔ)音情緒信息整合是否遵循一般感覺(jué)信息整合的核心規(guī)則為主線來(lái)設(shè)計(jì)實(shí)驗(yàn),系統(tǒng)操控刺激本身、所處背景的情緒凸顯度以及任務(wù)要求,通過(guò)比較不同情緒凸顯度的刺激加工時(shí)整合效應(yīng)大小,以考察雙通道情緒整合是否遵循IE規(guī)則,以期考察面孔、語(yǔ)音情緒信息能否整合為一致情緒客體。除了考察簡(jiǎn)單情緒刺激的整合之外,還考察情緒變化加工中雙通道情緒信息的整合。數(shù)據(jù)處理除了傳統(tǒng)ERP分析基礎(chǔ)上,系統(tǒng)分析各個(gè)條件誘發(fā)神經(jīng)振蕩的能量、相位以及腦區(qū)間相干特征,從神經(jīng)振蕩層面說(shuō)明雙通道情緒信息如何整合。本研究構(gòu)想從情緒信息整合加工的現(xiàn)狀提出問(wèn)題,從一般感覺(jué)融合加工的已有研究中尋求解決之道,探明動(dòng)態(tài)面孔語(yǔ)音情緒是否真正能整合成一致情緒客體,從神經(jīng)振蕩這個(gè)認(rèn)知加工的直觀指標(biāo)尋求突破,考察雙通道情緒信息整合如何通過(guò)神經(jīng)振蕩得以實(shí)現(xiàn)。

即便當(dāng)前有關(guān)情緒神經(jīng)機(jī)制和非情緒信息融合加工的研究已十分豐富,本項(xiàng)目對(duì)于雙通道情緒信息能否整合出高于一般感覺(jué)信息融合的情緒相關(guān)物,以及該整合過(guò)程如何通過(guò)神經(jīng)振蕩得以實(shí)現(xiàn)的回答,都可以增進(jìn)人們對(duì)情緒加工和多通道信息整合加工及神經(jīng)機(jī)制的理解。此外,由于情緒整合加工缺陷可能是精神分裂癥(De Gelder et al.,2005)、自閉癥(Charbonneau et al.,2013)、廣泛性發(fā)展障礙(Magnée et al.,2008)的重要表現(xiàn)之一,若本項(xiàng)目能夠探明多通道情緒信息整合的神經(jīng)生理機(jī)制,則可以進(jìn)而考察這些患者加工多通道情緒信息時(shí)的神經(jīng)振蕩特征,就有可能增進(jìn)這些疾病的發(fā)病機(jī)理的理解。最后,微情緒識(shí)別已引起醫(yī)學(xué)臨床、情緒智力培養(yǎng)、國(guó)家安全和司法等領(lǐng)域的關(guān)注(吳奇,申尋兵,傅小蘭,2010),不過(guò)當(dāng)前研究多關(guān)注面孔、姿態(tài)情緒等單通道信息的識(shí)別,若能探明多通道情緒信息整合加工的特點(diǎn)和神經(jīng)生理機(jī)制,再將這些研究結(jié)論擴(kuò)展到微情緒識(shí)別研究中,也當(dāng)能促進(jìn)該領(lǐng)域研究的發(fā)展。

吳奇,申尋兵,傅小蘭.(2010).微表情研究及其應(yīng)用.心理科學(xué)進(jìn)展,18(9),1359–1368.

張亮,孫向紅,張侃.(2009).情緒信息的多通道整合.心理科學(xué)進(jìn)展,17(6),1133–1138.

Brück,C.,Kreifelts,B.,&Wildgruber,D.(2011).Emotional voices in context:A neurobiological model of multimodal affective information processing.Physics of Life Reviews,8(4),383–403.

Charbonneau,G.,Bertone,A.,Lepore,F.,Nassim,M.,Lassonde,M.,Mottron,L.,& Collignon,O.(2013).Multileveldeficits in the processing ofaudio-visual emotion expressions in Autism Spectrum Disorders.Neuropsychologia,51(5),1002–1010.

Chen,X.,Yang,X.,&Yang,Y.(2013).Neurophysiological mechanism of implicitprocessing ofvocalemotion transition.Acta Psychologica Sinica,45(4),416-426.

Chen,X.,Zhao, L.,Jiang,A.,& Yang,Y.(2011).Event-related potential correlates of the expectancy violation effectduring emotionalprosody processing.Biological Psychology,86(3),158–167.

Collignon,O.,Girard,S.,Gosselin,F.,Saint-Amour,D.,Lepore,F.,& Lassonde,M.(2010).Women process multisensory emotion expressions more efficiently than men.Neuropsychologia,48(1),220–225.

De Gelder,B.,Bocker,K.B.,Tuomainen,J.,Hensen,M.,&Vroomen,J.(1999).The combined perception of emotion from voice and face:Early interaction revealed by human electric brain responses.Neuroscience Letters,260(2),133–136.

De Gelder,B.,Pourtois,G.,&Weiskrantz,L.(2002).Fear recognition in the voice is modulated by unconsciously recognized facial expressions but not by unconsciously recognized affective pictures.Proceedings of the National Academy of Sciences of the United States of America,99(6),4121–4126.

De Gelder,B.,&Vroomen,J.(2000).The perception of emotions by ear and by eye.Cognition&Emotion,14(3),289–311.

De Gelder,B.,Vroomen,J.,de Jong,S.J.,Masthoff,E.D.,Trompenaars,F.J.,&Hodiamont,P.(2005).Multisensory integration of emotional faces and voices in schizophrenics.Schizophrenia Research,72(2-3),195–203.

Doi,H.,&Shinohara,K.(2013).Unconscious presentation of fearful face modulates electrophysiological responses to emotional prosody.Cerebral Cortex,1–16.

Ernst,M.O.,&Bulthoff,H.H.(2004).Merging the senses into a robust percept.Trends in Cognitive Sciences,8(4),162–169.

Engel,A.K.,Senkowski,D.,&Schneider,T.R.(2012).Multisensory integration through neural coherence.In M.M.Murray&M.T.Wallace(Eds.),The neural bases of multisensory processes.Boca Raton:CRC Press Inc.

Ethofer,T.,Anders,S.,Erb,M.,Droll,C.,Royen,L.,Saur,R.,....Wildgruber, D. (2006). Impact of voice on emotional judgment of faces:An event-related fMRI study.Human Brain Mapping,27(9),707–714.

Fries,P.(2005).A mechanism forcognitive dynamics:Neuronalcommunication through neuronalcoherence.Trends in Cognitive Sciences,9(10),474–480.

Fujimura,T.,&Okanoya,K.(2013).Event-related potentials elicited by pre-attentive emotional changes in temporal context.PLoS ONE,8(5),e63703.

Hagan,C.C.,Woods,W.,Johnson,S.,Calder,A.J.,Green,G.G.,&Young,A.W.(2009).MEG demonstrates a supra-additive response to facial and vocal emotion in the right superior temporal sulcus.Proceedingsofthe National Academy of Sciences of the United States of America,106(47),20010–20015.

Hummel,F.,& Gerloff,C.(2005).Larger interregional synchrony is associated with greater behavioral success in a complex sensory integration task in humans.Cerebral Cortex,15(5),670–678.

Jessen,S.,&Kotz,S.A.(2011).The temporal dynamics of processing emotions from vocal,facial, and bodily expressions.NeuroImage,58(2),665–674.

Jessen,S.,Obleser,J.,&Kotz,S.A.(2012).How bodies and voices interact in early emotion perception.PLoS One,7(4),e36070.

Kaiser,J.,Hertrich,I.,Ackermann,H.,Mathiak,K.,&Lutzenberger,W.(2005).Hearing lips:Gamma-band activity during audiovisual speech perception.Cerebral Cortex,15(5),646–653.

Klasen,M.,Chen,Y.H.,&Mathiak,K.(2012).Multisensory emotions:Perception,combination and underlying neural processes.Review of Neuroscience,23(4),381–392.

Kreifelts,B.,Ethofer,T.,Grodd,W.,Erb,M.,&Wildgruber,D.(2007).Audiovisual integration of emotional signals in voice and face:An event-related fMRI study.NeuroImage,37(4),1445–1456.

Kreifelts,B.,Ethofer,T.,Shiozawa,T.,Grodd,W.,&Wildgruber,D.(2009).Cerebral representation of non-verbal emotional perception:fMRIreveals audiovisualintegration area between voice-and face-sensitive regions in the superior temporal sulcus.Neuropsychologia,47(14),3059–3066.

Luo,H.,Liu,Z.X.,&Poeppel,D.(2010).Auditory cortex tracks both auditory and visual stimulus dynamics using low-frequency neuronal phase modulation.PLoS Biology,8(8),e1000445.

Magnée,M.J.C.M.,de Gelder,B.,van Engeland,H.,&Kemner,C.(2008).A typicalprocessing of fearful face-voice pairs in Pervasive Developmental Disorder:An ERP study.Clinical Neurophysiology,119(9),2004–2010.

Maier,J.X.,Chandrasekaran,C.,&Ghazanfar,A.A.(2008).Integration of bimodal looming signals through neuronal coherence in the temporal lobe.Current Biology,18(13),963–968.

Massaro,D.W.,&Egan,P.B.(1996).Perceiving affect from the voice and the face.Psychonomic Bulletin&Review,3(2),215–221.

McGurk,H.,&MacDonald,J.(1976).Hearing lips and seeing voices.Nature,264(5588),746–748.

Park,J.Y.,Gu,B.M.,Kang,D.H.,Shin,Y.W.,Choi,C.H.,Lee,J.M.,&Kwon,J.S.(2010).Integration of cross-modal emotional information in the human brain:An fMRI study.Cortex,46(2),161–169.

Paulmann,S.,Jessen,S.,&Kotz,S.A.(2009).Investigating the multimodal nature of human communication.Journal of Psychophysiology,23(2),63–76.

Paulmann,S.,&Pell,M.D.(2010).Contextual influences of emotional speech prosody on face processing:How much is enough?Cognitive,Affective,&Behavioral Neuroscience,10(2),230–242.

Pourtois,G.,de Gelder,B.,Bol,A.,&Crommelinck,M.(2005).Perception of facial expressions and voices and of their combination in the human brain.Cortex,41(1),49–59.

Pourtois,G.,de Gelder,B.,Vroomen,J.,Rossion,B.,&Crommelinck,M.(2000).The time-course of intermodal binding between seeing and hearing affective information.Neuroreport,11(6),1329–1333.

Robins,D.L.,Hunyadi,E.,&Schultz,R.T.(2009).Superior temporal activation in response to dynamic audio-visual emotional cues.Brain and Cognition,69(2),269–278.

Schneider,T.R.,Debener,S.,Oostenveld,R.,&Engel,A.K.(2008).Enhanced EEG gamma-band activity reflects multisensory semantic matching in visual-to-auditory object priming.NeuroImage,42(3),1244–1254.

Senkowski,D.,Saint-Amour,D.,Hofle,M.,&Foxe,J.J.(2011).Multisensory interactions in early evoked brain activity follow the principle ofinverse effectiveness.NeuroImage,56(4),2200–2208.

Senkowski,D.,Schneider,T.R.,Foxe,J.J.,&Engel,A.K.(2008).Crossmodal binding through neural coherence:Implications for multisensory processing.Trendsin Neurosciences,31(8),401–409.

Stefanics,G.,Csukly,G.,Komlósi,S.,Czobor,P.,&Czigler,I.(2012).Processing of unattended facial emotions:A visualmismatch negativity study.NeuroImage,59(3),3042–3049.

Stein,B.E.,Jiang,W.,&Stanford,T.R.(2005).Multisensory integration in single neurons of the midbrain.In G.Calvert,C.Spence,& B.E.Stein,(Eds.),Thehandbookof multisensory processes(pp.243–264).Cambridge:MIT Press.

Stein,B.E.,&Meredith,M.A.(1993).The merging of the senses.Cambridge,MA,US:The MIT Press.

Stein,B.E.,& Stanford,T.R.(2008).Multisensory integration:Current issues from the perspective of the single neuron.Nature Reviews Neuroscience,9(4),255–266.

Stein,B.E.,Stanford,T.R.,Ramachandran,R.,Perrault,T.J.,Jr.,&Rowland,B.A.(2009).Challenges in quantifying multisensory integration:Alternative criteria,models,and inverse effectiveness.ExperimentalBrainResearch,198(2–3),113–126.

Tanaka,A.,Koizumi,A.,Imai,H.,Hiramatsu,S.,Hiramoto,E.,&de Gelder,B.(2010).I feel your voice:Cultural differences in the multisensory perception of emotion.Psychological Science,21(9),1259–1262.

Watson,R.,Latinus,M.,Noguchi,T.,Garrod,O.,Crabbe,F.,& Belin,P.(2014a).Crossmodaladaptation in right posterior superior temporal sulcus during face–voice emotional integration.The Journal of Neuroscience,34(20),6813–6821.

Watson,R.,Latinus,M.,Charest,I.,Crabbe,F.,&Belin,P.(2014b).People-selectivity,audiovisualintegration and heteromodality in the superior temporal sulcus.Cortex,50,125–136

Werner,S.,&Noppeney,U.(2010).Superadditive responses in superior temporal sulcus predict audiovisual benefits in object categorization.Cerebral Cortex,20(8),1829–1842.

Wildgruber,D.,Ethofer,T.,Grandjean,D.,&Kreifelts,B.(2009).A cerebralnetwork model of speech prosody comprehension.International Journal of Speech-Language Pathology,11(4),277–281.

Yuval-Greenberg,S.,&Deouell,L.Y.(2007).What you see is not(always)what you hear:Induced gamma band responses reflect cross-modal interactions in familiar object recognition.Journal of Neuroscience,27(5),1090–1096.