外源性注意與多感覺整合的交互關(guān)系*

彭 姓 常若松,2 任桂琴 王愛君 唐曉雨,2

?

外源性注意與多感覺整合的交互關(guān)系*

彭 姓1常若松1,2任桂琴1王愛君3唐曉雨1,2

(1遼寧師范大學(xué)心理學(xué)院;2遼寧省兒童青少年健康人格評定與培養(yǎng)協(xié)同創(chuàng)新中心, 大連 116029) (3蘇州大學(xué)教育學(xué)院心理學(xué)系, 蘇州 215000)

外源性注意與多感覺整合的交互關(guān)系是一個復(fù)雜且具有爭議的研究領(lǐng)域, 一直以來備受研究者們關(guān)注。為了解釋兩者間的交互作用機(jī)制, 本文基于已有研究成果從兩方面綜述了外源性注意與多感覺整合的交互關(guān)系：(1)外源性注意可以通過自下而上的方式調(diào)節(jié)多感覺整合, 包括空間不確定性、感知覺敏感度和感覺通道間信號強(qiáng)度差異三種理論假說; (2)多感覺整合可以調(diào)節(jié)外源性注意。一方面, 來自多感覺通道的刺激能夠以自下而上的方式自動整合, 整合后的多感覺通道刺激比單通道刺激具有更大的凸顯性從而有效地吸引注意。另一方面, 整合后的多感覺通道刺激能夠作為多感覺信號模板存儲于大腦之中, 從而在任務(wù)中實現(xiàn)自上而下地調(diào)節(jié)注意捕獲。

多感覺整合; 外源性注意; 自上而下; 自下而上; 內(nèi)源性注意

1 引言

個體將來自不同感覺通道(視覺、聽覺、觸覺等)的信息相互作用并整合為統(tǒng)一的、連貫的和有意義的知覺過程被稱為多感覺整合(multisensory integration, MSI; Tang, Wu, & Shen, 2016)。多感覺整合主要有幾種表現(xiàn)形式：其一為多感覺錯覺效應(yīng)(multisensory illusion effects), 例如McGurk效應(yīng)(Tiippana, 2014)和腹語術(shù)效應(yīng)(the ventriloquist effect; Callan, Callan, & Ando, 2015)等; 其二為多感覺促進(jìn)效應(yīng)(multisensory performance improvement effects), 例如冗余信號效應(yīng)(redundant signals effect, RSE), 即相比單通道(視覺或聽覺)刺激, 個體對同時呈現(xiàn)的多感覺通道刺激的反應(yīng)更快速更準(zhǔn)確(Mishler & Neider, 2016)。也有研究顯示, 在兩個位置或在單個位置監(jiān)控多感覺通道刺激的反應(yīng)時相比監(jiān)控單通道刺激反應(yīng)時更慢(Santangelo, Fagioli, & Macaluso, 2010), 即, 在某些特定條件下, 存在多感覺抑制效應(yīng)(Meredith, Nemitz, & Stein, 1987) 。由于目前關(guān)于外源性注意與多感覺整合的研究大多還是集中在多感覺促進(jìn)效應(yīng)上, 因此本文主要基于多感覺促進(jìn)效應(yīng)的相關(guān)研究進(jìn)行綜述。

Posner等(1980)將注意分為內(nèi)源性注意(endogenous attention)和外源性注意(exogenous attention)。其中, 外源性注意又被稱為非自主性或刺激驅(qū)動注意, 是指在沒有個體意圖控制的情況下, 由個體以外的信息引起的無意識注意。例如, 在安靜的自習(xí)室內(nèi), 一聲巨大的關(guān)門聲會不自覺吸引大家的注意。

注意與多感覺整合之間的關(guān)系已經(jīng)引起研究者們的高度關(guān)注并一直處于探討之中。雖然有一些研究者認(rèn)為多感覺整合的發(fā)生獨(dú)立于注意過程(Soto-Faraco, Navarra, & Alsius, 2004; Vroomen, Bertelson, & De Gelder, 2001), 但大多數(shù)研究者認(rèn)為注意與多感覺整合之間存在密切的關(guān)系并從不同的研究視角出發(fā)提出了不同的關(guān)系理論框架(Koelewijn, Bronkhorst, & Theeuwes, 2010; Macaluso et al., 2016; Talsma, Senkowski, Soto- Faraco, & Woldorff, 2010; Tang, Wu, & Shen, 2016)。其中, 大部分側(cè)重于探討內(nèi)源性注意與多感覺整合的關(guān)系, 僅有少部分涉及到外源性注意與多感覺整合的關(guān)系。因此, 本文基于已有研究成果, 從兩方面綜述了外源性注意與多感覺整合的關(guān)系：一方面, 外源性注意對多感覺整合的調(diào)節(jié)作用; 另一方面, 多感覺整合對外源性注意的調(diào)節(jié)作用。

2 外源性注意對多感覺整合的調(diào)節(jié)作用

我們的大腦無時無刻不在接受外在世界大量的信息輸入, 多感覺整合可以將來自不同感覺通道的信息組合以減少感知系統(tǒng)內(nèi)的干擾信息, 從而促進(jìn)多感覺通道刺激的檢測、識別和定位(Stein & Stanford, 2008)。外源性注意同樣能夠促進(jìn)刺激的檢測、識別和定位。例如, 外源性線索能夠增強(qiáng)同一位置相對應(yīng)的同一感覺通道或不同感覺通道的感知覺處理, 加快個體對刺激的反應(yīng)速度(Spence, 2010)。鑒于多感覺整合與外源性注意都能促進(jìn)刺激的加工, 幫助我們更好地感知外部世界, 研究者們開始探討兩者間的關(guān)系, 考察外源性注意對多感覺整合的調(diào)節(jié)作用。

外源性線索?靶子范式(cue-target paradigm)是研究外源性注意的經(jīng)典范式(Posner & Cohen, 1984)。該范式主要以凸顯特征(如方框變亮或變粗)作為線索呈現(xiàn)在左或右側(cè)外周位置, 要求被試在經(jīng)過一段時間間隔(stimulus onset asynchronies, SOA)后, 對呈現(xiàn)在與線索相同(即有效線索, valid cue)或不同(即無效線索, invalid cue)位置上的目標(biāo)刺激進(jìn)行反應(yīng)。結(jié)果發(fā)現(xiàn), 當(dāng)線索?靶子間隔時間(即SOA)在300 ms以內(nèi)時, 有效線索位置上的反應(yīng)時顯著快于無效線索位置, 被稱為“易化效應(yīng)(facilitation effect)”。然而當(dāng)SOA大于300 ms時, 有效線索位置上的反應(yīng)時卻顯著慢于無效線索位置, 被稱為“返回抑制(inhibition of return, IOR)效應(yīng)” (Posner & Cohen, 1984)。Van der Stoep等(2015)基于該范式考察了外源性聽覺線索在短SOA (200~250 ms)條件下對多感覺整合的調(diào)節(jié)作用。實驗通過聲音誘發(fā)外源性注意, 要求被試對呈現(xiàn)在左或右側(cè)的視覺(visual, V)、聽覺(auditory, A)和視聽覺(audiovisual, AV)通道目標(biāo)刺激進(jìn)行反應(yīng), 呈現(xiàn)在中間的目標(biāo)不反應(yīng)。研究結(jié)果顯示, 外源性聽覺線索能夠加快對有效線索位置上目標(biāo)刺激的反應(yīng), 即產(chǎn)生空間線索化易化效應(yīng)。更重要的是, 相比無效線索位置, 有效線索位置上的多感覺整合效應(yīng)減小。在后續(xù)研究中, Van der Stoep等(2016)基于相同的實驗范式, 考察了外源性視覺線索在長SOA (350~450 ms)條件下誘發(fā)的IOR效應(yīng)對多感覺整合的調(diào)節(jié)作用。結(jié)果發(fā)現(xiàn), 雖然在反應(yīng)時結(jié)果上發(fā)生反轉(zhuǎn)(目標(biāo)刺激通道為視覺時產(chǎn)生IOR效應(yīng)), 但有效線索位置上的多感覺整合效應(yīng)仍然小于無效線索位置?？梢? 已有結(jié)果均顯示, 外源性注意可以調(diào)節(jié)(減少)多感覺整合至少是視聽覺整合效應(yīng)(Van der Stoep, Van der Stigchel, & Nijboer, 2015; Van der Stoep, Van der Stigchel, Nijboer, & Spence, 2016)。

2.1 外源性注意調(diào)節(jié)多感覺整合的三種理論假說

基于已有研究結(jié)果, 研究者們提出了三種理論假說來解釋外源性注意對多感覺整合的調(diào)節(jié)機(jī)制, 即空間不確定性、感知覺敏感度和感覺通道間信號強(qiáng)度差異假說。

2.1.1 空間不確定性假說

由于外源性線索?靶子范式中的線索不能預(yù)測隨后呈現(xiàn)目標(biāo)的位置以至于產(chǎn)生更高的目標(biāo)位置不確定性, 使得被試對目標(biāo)的反應(yīng)要更多依賴于線索誘發(fā)的空間定向。當(dāng)線索誘發(fā)的空間定向重要性提高時, 多感覺目標(biāo)本身引起的空間定向重要性則會降低(Van der Stoep, Spence, Nijboer, & Van der Stigchel, 2015; Van der Stoep, Van der Stigchel, & Nijboer, 2015)。由于在有效線索位置上, 外源性線索與多感覺目標(biāo)本身引起的空間定向信息是冗余的, 因此降低了有效線索位置上多感覺目標(biāo)整合的重要性, 最終得到有效線索位置上多感覺整合效應(yīng)減少的結(jié)果。

另外, 有研究結(jié)果表明, 大腦對不同感覺通道信息的整合符合統(tǒng)計最優(yōu)化原則, 即大腦能夠根據(jù)不同感覺通道信息的可靠性(reliability-based)來決定對其的利用權(quán)重(Fetsch, Pouget, Deangelis, & Angelaki, 2011; Li, Yang, Sun, & Wu, 2015; Li, Yu, Wu, & Gao, 2016)。而在整合過程中, 對于通道估計本身是否可靠的先驗知識也是確定該通道整合權(quán)重的一個重要因素(劉強(qiáng)等, 2010)。由于外源性線索不能預(yù)測隨后呈現(xiàn)目標(biāo)的位置, 大腦便形成線索對目標(biāo)刺激提供的空間信息是不可靠的先驗知識, 從而降低在有效線索位置上各感覺通道信息的利用權(quán)重, 最終影響多感覺整合效應(yīng)。

2.1.2 感知覺敏感度假說

外源性空間線索能夠提高其出現(xiàn)位置的感知覺敏感度, 同時相對增強(qiáng)緊接著呈現(xiàn)在該位置上目標(biāo)的感知強(qiáng)度(Carrasco, 2011)。研究表明多感覺整合加工遵循反比效應(yīng)原則(The principle of inverse effectiveness), 即高強(qiáng)度刺激引起的多感覺整合效應(yīng)更小, 反之亦然(Senkowski, Saint- Amour, H?fle, & Foxe, 2011)。以外源性聽覺線索調(diào)節(jié)多感覺整合的研究(Van der Stoep, Van der Stigchel, & Nijboer, 2015)為例, 在短SOA條件下, 相比無效線索位置, 有效線索位置上的感知覺敏感度更強(qiáng), 因此呈現(xiàn)在該位置上的目標(biāo)刺激強(qiáng)度也相應(yīng)更強(qiáng), 基于反比效應(yīng)原則, 最終得到有效線索位置上多感覺整合效應(yīng)減小的結(jié)果。

2.1.3 感覺通道間信號強(qiáng)度差異假說

前人研究發(fā)現(xiàn)當(dāng)不同感覺通道之間的信號強(qiáng)度差異過大時, 多感覺整合效應(yīng)更小, 而當(dāng)不同感覺通道之間的信號強(qiáng)度相近時, 多感覺整合效應(yīng)更大(Otto, Dassy, & Mamassian, 2013)。以外源性視覺線索調(diào)節(jié)多感覺整合的研究(Van der Stoep, Van der Stigchel, Nijboer, & Spence, 2016)為例, 在長SOA條件下, 視覺線索只引起同樣為視覺通道目標(biāo)的IOR效應(yīng), 并沒有引起聽覺通道目標(biāo)的IOR效應(yīng), 當(dāng)有效線索位置上視覺目標(biāo)的加工時間由于返回抑制變得更慢, 而聽覺目標(biāo)并沒有更慢時, 視、聽感覺通道間加工速度差異的增大會導(dǎo)致信號強(qiáng)度差異也隨之增大, 最終得到有效線索位置上視聽覺整合效應(yīng)減小的結(jié)果。

由于以上三種理論假說是研究者們基于不同研究背景(不同SOA條件)提出的, 因此本文將時間加工信息作為一個重要的影響因素, 把三種理論假說分別置于不同SOA條件下進(jìn)行探討(見圖1)。

首先, 目前在不同SOA條件下的研究結(jié)果都支持空間不確定性假說。因為不論在短還是長SOA條件下, 目標(biāo)刺激呈現(xiàn)位置的空間不確定性一直存在, 因此多感覺整合效應(yīng)在有效線索位置上均有所減小。未來研究可以通過調(diào)控外源性線索的有效性比例來進(jìn)一步驗證此假說(見圖1假說1)。

其次, 目前只有在短SOA條件下的研究結(jié)果支持感知覺敏感度假說(見圖1假說2短SOA)。由于在長SOA條件下, 有效線索位置上與目標(biāo)早期感知覺加工密切相關(guān)的視覺P1成分振幅更小(Slagter, Prinssen, Reteig, & Mazaheri, 2016), 即長SOA條件下有效線索位置上的感知覺敏感度下降,其位置上呈現(xiàn)的目標(biāo)刺激強(qiáng)度也相應(yīng)減弱, 因此基于反比效應(yīng)原則, 我們假定多感覺整合效應(yīng)會更大(見圖1假說2長SOA)。未來研究可以通過ERP (Event-related Potential)技術(shù)觀察在不同時間進(jìn)程中ERP成分的變化來驗證此假說。

圖1 外源性注意調(diào)節(jié)多感覺整合的三種理論假說

注：圖中分別表示三種理論假說(空間不確定性假說, 感知覺敏感度假說, 感覺通道間信號強(qiáng)度差異假說)在不同SOA條件下(短SOA vs長 SOA)的結(jié)果。其中, 加粗紅色字體代表基于已有研究數(shù)據(jù)得到的結(jié)果, 黑色字體代表假定結(jié)果。假說3結(jié)果分別引自Van der Stoep等(2015實驗1, 2016)。

最后, 目前只有在長SOA條件下的研究結(jié)果支持感覺通道間信號強(qiáng)度差異假說(見圖1假說3長SOA)。由于在短SOA條件下, 視、聽覺目標(biāo)產(chǎn)生的易化效應(yīng)使得不同線索類型(有效線索、無效線索)下感覺通道間(視、聽覺)的加工速度差異相近, 那么信號強(qiáng)度差異也相近, 因此我們假定在短SOA條件下, 不同線索類型下的多感覺整合效應(yīng)無顯著差異(見圖1假說3短SOA)。未來研究可以通過誘發(fā)其它感覺通道上的返回抑制效應(yīng)來觀察感覺通道間信號強(qiáng)度變化對多感覺整合效應(yīng)的調(diào)節(jié)結(jié)果, 從而驗證此假說。

綜上所述, 在不同SOA條件下, 外源性注意對多感覺整合的調(diào)節(jié)作用基于三種理論假說有不同的解釋。但由于目前缺乏操控SOA變量的研究, 因此無法排除外源性注意本身存在的兩階段特性(短SOA下的易化效應(yīng)vs. 長SOA下的抑制效應(yīng)) (Martín-Arévalo, Chica, & Lupiá?ez, 2015)對多感覺整合調(diào)節(jié)機(jī)制不一致的可能, 這需要研究者們在未來進(jìn)一步的考察。

2.2 外源性注意與內(nèi)源性注意對多感覺整合調(diào)節(jié)的異同

在以往關(guān)于內(nèi)源性注意調(diào)節(jié)多感覺整合的研究中。一方面, 內(nèi)源性注意可以基于空間因素調(diào)節(jié)多感覺整合, 不管是基于低水平刺激(Gao et al., 2014; Li, Yang, Sun, & Wu, 2015; Senkowski, Saint-Amour, Gruber, & Foxe, 2008; Talsma & Woldorff, 2005), 還是高水平刺激(Fairhall & Macaluso, 2009); 另一方面, 內(nèi)源性注意還可以基于感覺通道因素調(diào)節(jié)多感覺整合(Degerman, Rinne, Salmi, Salonen, & Alho, 2006; Talsma, Doty, & Woldorff, 2007)。雖然也有研究得到相反的結(jié)果, 例如在通道選擇性注意條件下多感覺整合的行為表現(xiàn)被減弱甚至消除(Mozolic, Hugenschmidt, Peiffer, & Laurienti, 2008; Wu et al., 2012)。但這些結(jié)果都顯示內(nèi)源性注意能夠?qū)Χ喔杏X整合效應(yīng)產(chǎn)生調(diào)節(jié)作用。

對比內(nèi)源性注意與外源性注意調(diào)節(jié)多感覺整合的研究, 發(fā)現(xiàn)兩者都能對多感覺整合產(chǎn)生調(diào)節(jié)作用, 且都在注意位置(有效線索位置)上觀察到多感覺促進(jìn)效應(yīng)。但由于外源性注意與內(nèi)源性注意本身存在較大的差異：第一, 內(nèi)源性注意的空間定向效應(yīng)隨著任務(wù)的需求而變化, 而外源性注意空間定向效應(yīng)不易受任務(wù)影響(Chica, Bartolomeo, & Lupiá?ez, 2013); 第二, 外源性線索比內(nèi)源性線索能夠更快地誘發(fā)注意效應(yīng), 也更快消失(Busse, Katzner, & Treue, 2008)。第三, 外源性注意在SOA大于300 ms時能夠產(chǎn)生IOR效應(yīng)(Martín-Arévalo, Chica, & Lupiá?ez, 2015), 而內(nèi)源性注意只有在引發(fā)眼球運(yùn)動系統(tǒng)作出自發(fā)的眼跳時才會產(chǎn)生IOR效應(yīng)(Henderickx, Maetens, & Soetens, 2012)。因此, 兩者對多感覺整合的調(diào)節(jié)存在著差異：

一方面, 兩者對多感覺整合的調(diào)節(jié)方式有所差異。內(nèi)源性注意作為目標(biāo)驅(qū)動注意, 是個體根據(jù)自己的目的或意圖主動分配心理活動或意識, 因此內(nèi)源性注意是通過自上而下的方式來調(diào)節(jié)多感覺整合。而外源性注意本身作為一種刺激驅(qū)動注意, 則是通過自下而上的方式來調(diào)節(jié)多感覺整合(Van der Stoep, Van der Stigchel, & Nijboer, 2015; Van der Stoep, Van der Stigchel, Nijboer, & Spence, 2016)。可見, 兩者對多感覺整合效應(yīng)的調(diào)節(jié)方式不同。

另一方面, 兩者對多感覺整合的調(diào)節(jié)結(jié)果有所差異。在內(nèi)源性注意調(diào)節(jié)多感覺整合的研究中, 內(nèi)源性注意能夠通過調(diào)節(jié)機(jī)制降低感覺通道內(nèi)的干擾信息從而增強(qiáng)視聽覺信息輸入的可靠性(Macaluso et al., 2016)。因此, 相比非注意位置, 注意位置上多感覺通道刺激的行為反應(yīng)結(jié)果更快更準(zhǔn)確, 神經(jīng)反應(yīng)更強(qiáng)烈, 多感覺整合效應(yīng)更大。以Talsma等(2005)研究為例, 如圖2所示, 要求被試注意右側(cè)位置出現(xiàn)的刺激, 對相應(yīng)目標(biāo)刺激進(jìn)行反應(yīng)。結(jié)果發(fā)現(xiàn), 刺激出現(xiàn)后100~140 ms時, 額葉和中央?yún)^(qū)電極, 注意位置上AV與(A+V)間差異①比非注意位置大, 即內(nèi)源性注意位置上的多感覺整合效應(yīng)更大, 刺激出現(xiàn)后160~200 ms和320~420 ms, 在中央內(nèi)側(cè)核區(qū)電極發(fā)現(xiàn)相同的注意效應(yīng)。然而, 在外源性注意調(diào)節(jié)多感覺整合的研究中, 以Van der Stoep等(2015)研究中實驗1結(jié)果為例, 有效線索位置(相當(dāng)于注意位置)上的多感覺整合效應(yīng)反而小于無效線索位置(相當(dāng)于非注意位置)?？梢? 兩者對多感覺整合效應(yīng)的調(diào)節(jié)結(jié)果不同。

圖2 Talsma等(2005)研究的實驗流程與結(jié)果圖

注：內(nèi)源性注意調(diào)節(jié)多感覺整合的實驗流程及其結(jié)果。實驗中要求被試注意屏幕中的一側(cè)(左/右側(cè)), 并對該空間位置上的所有目標(biāo)刺激(視覺、聽覺和視聽覺)進(jìn)行檢測反應(yīng)(左圖)。結(jié)果顯示, 內(nèi)源性注意位置上的多感覺整合效應(yīng)更大(右圖)。

此外, 根據(jù)前人研究結(jié)果我們假設(shè)兩者對多感覺整合調(diào)節(jié)的時程機(jī)制也有所差異, 基于外源性注意與內(nèi)源性注意調(diào)節(jié)刺激加工的時程研究結(jié)果, 在短SOA條件下, 外源性注意(易化效應(yīng))誘發(fā)的P1成分大于內(nèi)源性注意(Hopfinger & West, 2006)。在長SOA條件下, 外源性注意(IOR效應(yīng))分別影響早期P1和晚期P3成分(Chica & Lupiá?ez, 2009), 然而內(nèi)源性注意只影響晚期P3成分(Chica et al., 2013), 因此兩者調(diào)節(jié)多感覺整合的時程機(jī)制可能也有所差異。

本小節(jié)首先回顧了外源性注意對多感覺整合的調(diào)節(jié)作用。然后分別討論了空間不確定性、感知覺敏感度和感覺通道間信號強(qiáng)度差異三種理論假說并提出了各假說未來的驗證方向。最后對比了外源性注意與內(nèi)源性注意對多感覺整合調(diào)節(jié)的異同點(diǎn)。總的來說, 在線索?靶子范式下, 已有研究結(jié)果暫且支持空間不確定性假說。但由于目前缺少神經(jīng)機(jī)制的實驗數(shù)據(jù)支持, 且在其它范式下(視覺搜索范式)發(fā)現(xiàn)對雙通道刺激的反應(yīng)反而慢于單通道刺激, 并沒有發(fā)生多感覺促進(jìn)效應(yīng), 有效線索位置上單、雙通道的反應(yīng)時差異也小于無效線索位置(Matusz & Eimer, 2013)。因此, 還需研究者們的進(jìn)一步驗證。

3 多感覺整合對外源性注意的調(diào)節(jié)作用

研究者們發(fā)現(xiàn)多感覺整合對外源性注意也存在調(diào)節(jié)作用, 不僅通過自下而上還能通過自上而下的方式。

3.1 多感覺整合自下而上地調(diào)節(jié)外源性注意

有證據(jù)表明在不需要注意資源的情況下可以發(fā)生早期的多感覺整合(Van der Burg, Olivers, Bronkhorst, & Theeuwes, 2008a), 刺激在早期階段基于空間原則②或時間原則③自動整合起來, 整合后的多感覺通道刺激對外源性注意產(chǎn)生自下而上的調(diào)節(jié)作用。

3.1.1 線索?靶子范式中多感覺整合對外源性注意的調(diào)節(jié)作用

基于調(diào)控線索通道類型的線索?靶子范式, 實驗中會先呈現(xiàn)不同通道類型的線索(例如視覺、聽覺或視聽覺線索), 再呈現(xiàn)目標(biāo)刺激, 要求被試完成空間辨別任務(wù), 最后比較由不同線索類型引起的空間線索化效應(yīng)是否有所差異。早期研究者并沒有發(fā)現(xiàn)多感覺通道線索與單通道線索(聽覺、視覺)引起的空間線索化效應(yīng)有顯著差異, 因此并不認(rèn)為多感覺通道刺激能夠促進(jìn)空間注意指向(Mahoney, Verghese, Dumas, Wang, & Holtzer, 2012; Santangelo, Van der Lubbe, Belardinelli, & Postma, 2006, 2008)。然而在Santangelo等(2008) ERP研究中顯示, 外源性視聽線索相比單獨(dú)的視覺和聽覺線索誘發(fā)了更強(qiáng)的神經(jīng)活動。具體來看, 由雙通道線索(視聽覺)誘發(fā)的對側(cè)頂枕區(qū)P1成分顯著大于單一視、聽覺線索誘發(fā)的成分之和, 由此證明多感覺通道線索在空間注意定向中發(fā)揮了重要的作用。后期研究者發(fā)現(xiàn), 當(dāng)操縱了被試的注意負(fù)荷變量后, 只有多感覺通道線索能夠引起空間線索化效應(yīng)(Barrett & Katrin, 2012; Matusz & Eimer, 2011; Santangelo & Spence, 2007)。也就是說, 當(dāng)被試在高注意負(fù)荷條件下, 即在同一時間內(nèi)既需要完成實驗主任務(wù)又需要完成如快速序列視覺呈現(xiàn)(rapid serial visual presentation, RSVP)或時序判斷(temporal order judgment, TOJ)等次任務(wù)的條件下, 多感覺通道線索相比單通道線索具備更大的提示效果。同樣, 類似的結(jié)果在聽觸覺研究中也被發(fā)現(xiàn)(Ho, Santangelo, & Spence, 2009)。

基于感知負(fù)荷理論, 個體的注意資源有限, 當(dāng)前任務(wù)對注意資源的占用程度決定了與任務(wù)無關(guān)的刺激得到多少加工(Lavie, 2005)。因此, 被試在高注意負(fù)荷條件下, 較少的注意資源可用于加工與任務(wù)無關(guān)的線索刺激, 只有整合后的多感覺通道線索刺激才具備更大的凸顯性, 能更加集中地以刺激驅(qū)動的方式捕獲個體的空間注意(Krause, Schneider, Engel, & Senkowski, 2012), 從而促進(jìn)注意指向。

3.1.2 視覺搜索范式中多感覺整合對外源性注意的調(diào)節(jié)作用

Van der Burg等(2008 a,b)研究中采用視覺搜索任務(wù)范式, 要求被試在眾多連續(xù)變化顏色和方向的傾斜干擾線段中搜索水平或垂直的目標(biāo)刺激線段。其中, 目標(biāo)刺激在顏色變化的同時伴隨或不伴隨聽覺刺激, 聽覺刺激并不提供關(guān)于目標(biāo)刺激的任何信息, 對視覺目標(biāo)不具有預(yù)測性。結(jié)果發(fā)現(xiàn), 相比不伴隨聽覺刺激的視覺目標(biāo), 同步呈現(xiàn)聽覺刺激的視覺目標(biāo)其檢測速度更快, 這種由聽覺驅(qū)動的視覺搜索優(yōu)勢被稱為“pip and pop”效應(yīng)(Van der Burg, Olivers, Bronkhorst, & Theeuwes, 2008b; Van der Burg, Olivers, Bronkhorst, & Theeuwes, 2008a)。Van der Burg等(2011)在其后續(xù)研究中再次證實了聽覺刺激能夠加快同時呈現(xiàn)視覺目標(biāo)的搜索時間, 并且發(fā)現(xiàn)代表視聽覺整合的早期P50成分與行為學(xué)結(jié)果中的檢測準(zhǔn)確率高度相關(guān)。重要的是, 在刺激呈現(xiàn)后210~250 ms出現(xiàn)與自下而上注意分配關(guān)聯(lián)的N2pc成分(Luck & Hillyard, 1994), 代表多感覺整合確實能夠捕獲注意, 促進(jìn)視覺搜索效率。這種通過多感覺通道刺激捕獲的外源性注意被證明可以通過被試的空間注意分布狀況來調(diào)節(jié)(Van Der Burg, Olivers, & Theeuwes, 2012)。有研究者解釋, 同時呈現(xiàn)的聽覺刺激與視覺目標(biāo)發(fā)生整合, 從而增強(qiáng)了對視覺目標(biāo)位置的指向, 并抑制了視覺干擾項的位置指向(Pluta, Rowland, Stanford, & Stein, 2011), 最終促進(jìn)多個刺激之間的競爭, 使視覺目標(biāo)從復(fù)雜環(huán)境中凸顯出來(Van der Burg, Olivers, Bronkhorst, & Theeuwes, 2008a; Van der Burg, Talsma, Olivers, Hickey, & Theeuwes, 2011)。然而, 也有另一種解釋, 行為學(xué)效率的提高不是由于多感覺整合的作用, 而是由于與目標(biāo)同時呈現(xiàn)的線索導(dǎo)致目標(biāo)在干擾項中被感知為“古怪(oddball)”的刺激, 從而捕獲被試注意并促進(jìn)視覺目標(biāo)的識別(Ngo & Spence, 2012)?？傊? 多感覺整合在視覺搜索中調(diào)節(jié)外源性注意的基本機(jī)制還需研究者們的進(jìn)一步探索。值得注意的是, 雖然影響視覺搜索中選擇性注意的因素既包括目標(biāo)驅(qū)動(自上而下)又包括刺激驅(qū)動(自下而上) (Atchley, Jones, & Hoffman, 2003), 但本文在此關(guān)注的是同時呈現(xiàn)的聽覺刺激與視覺目標(biāo)自動整合所吸引的注意是刺激驅(qū)動的。

“pip and pop”效應(yīng)還被證實可以由其它感覺通道例如觸覺(Van der Burg, Olivers, Bronkhorst, & Theeuwes, 2009)、嗅覺(Chen, Zhou, Chen, He, & Zhou, 2013)等誘發(fā), 同樣能夠提高同時呈現(xiàn)的視覺目標(biāo)的顯著性, 使其從復(fù)雜的視覺環(huán)境中凸顯出來。總之, 當(dāng)視覺目標(biāo)與其它感覺通道的信號同步呈現(xiàn)時, 能在知覺上被整合, 捕獲注意, 最終幫助個體更快地識別、檢測目標(biāo)刺激, 加快視覺搜索速度(Chamberland, Hodgetts, Vallières, Vachon, & Tremblay, 2016)。

3.2 多感覺整合自上而下地調(diào)節(jié)外源性注意

大腦可以基于當(dāng)前任務(wù)的相關(guān)特征建立自上而下的信號模板(注意控制定勢, Attentional Control Setting), 只有符合當(dāng)前信號模板的刺激才有可能自動捕獲被試的空間注意(Folk & Remington, 1998), 而是否符合當(dāng)前的信號模板則取決于線索刺激是否共享目標(biāo)的特征。這些線索屬性不僅包括較低水平的特征屬性(顏色、大小、明度、凸顯性、運(yùn)動等) (Ansorge & Becker, 2013; Goller & Ansorge, 2015), 還包括較高水平的語義概念(Folk, Berenato, & Wyble, 2014; Goodhew, Kendall, Ferber, & Pratt, 2014; 王慧媛,隋潔,張明,2016; 王慧媛,張明,隋潔,2014)。這種受調(diào)節(jié)的注意分配現(xiàn)象被稱為關(guān)聯(lián)性注意捕獲, 強(qiáng)調(diào)被試基于任務(wù)要求的信號模板對注意分配的調(diào)節(jié)作用(Lamy & árni, 2013)。

以往研究中, 主要針對單通道任務(wù)中的關(guān)聯(lián)性注意捕獲進(jìn)行了探討, 然而在日常生活中, 我們很少只對一種感覺通道的信息進(jìn)行處理, 通常會對來自不同感覺通道的信息同時處理, 以提高行為效率。因此, 研究者們開始對跨通道任務(wù)中的關(guān)聯(lián)性注意捕獲進(jìn)行探討。Matusz和Eimer (2013)基于視覺搜索范式, 考察個體是否可以創(chuàng)建與目標(biāo)刺激相關(guān)聯(lián)的來自不同感覺通道(視覺和聽覺)的多感覺信號模板。實驗中要求被試在搜索陣列中檢測包含由視覺特征(如紅色矩形)或視聽覺特征組合定義的目標(biāo)刺激(如伴有高音調(diào)的紅色矩形), 在此之前, 呈現(xiàn)與其中視覺目標(biāo)特征相匹配但不提供空間信息的視覺線索。結(jié)果發(fā)現(xiàn)相比單獨(dú)的視覺搜索任務(wù), 視覺線索的空間線索化效應(yīng)在視聽覺搜索任務(wù)中減少, 且N2pc成分誘發(fā)了更小的振幅, 也就是說單通道視覺線索的注意捕獲能力在視聽覺搜索任務(wù)中減弱。研究者認(rèn)為在視聽覺搜索任務(wù)期間, 視聽覺目標(biāo)被整合為多感覺通道刺激并作為雙通道信號模板自上而下地控制注意。

Mast等(2015) 采用非空間反應(yīng)啟動范式考察了自上而下的多感覺信號模板是否可以包含來自其它感覺通道如觸覺的特征(見圖3)。實驗中的啟動項(類似于線索?靶子范式中的線索)與目標(biāo)刺激在相同位置被連續(xù)呈現(xiàn), 以避免線索化范式中的超通道空間特征(避免啟動項提供目標(biāo)的空間位置信息)。目標(biāo)和啟動項都包括雙通道與單通道條件。視覺目標(biāo)與啟動項顏色特征是否一致作為反應(yīng)相容性條件, 當(dāng)視覺目標(biāo)與視覺啟動項的反應(yīng)顏色一致時為相容條件, 視覺目標(biāo)與視覺啟動項的反應(yīng)顏色不一致時為不相容條件(如圖3a所示)。結(jié)果發(fā)現(xiàn), 僅對于雙通道(視觸覺)目標(biāo)條件, 雙通道(視觸覺)啟動項比單通道(視覺)啟動項具有更大的相容性效應(yīng)(不相容條件反應(yīng)時減去相容條件反應(yīng)時) (如圖3b所示)。也就是說, 在雙通道目標(biāo)條件下, 由于視覺目標(biāo)和觸覺刺激的同時呈現(xiàn)使得觸覺特征并入到被試自上而下的多感覺信號模板中, 而視觸覺啟動項符合當(dāng)前信號模板, 從而引起更大的注意捕獲效應(yīng)。基于相同的實驗范式, Mast等(2017)通過改變視覺或聽覺通道是否作為反應(yīng)相關(guān)維度對跨通道關(guān)聯(lián)性注意捕獲效應(yīng)再次進(jìn)行驗證。結(jié)果發(fā)現(xiàn), 當(dāng)啟動項與目標(biāo)的主要和次要通道特征都匹配時, 產(chǎn)生更大的相容性效應(yīng), 即啟動項和自上而下多感覺信號模板之間特征重疊的情況決定了注意捕獲的強(qiáng)度。

上述研究表明, 跨通道關(guān)聯(lián)性注意捕獲不僅可以包含來自視覺和觸覺通道的特征(Mast, Frings, & Spence, 2015; Matusz & Eimer, 2013)還可以包含來自視覺與聽覺通道的特征(Mast, Frings, & Spence, 2017)。另外, 跨通道關(guān)聯(lián)性注意捕獲既適用于與空間信息相關(guān)聯(lián)的視覺搜索任務(wù)(Matusz & Eimer, 2013)又適用于與空間信息不相關(guān)的任務(wù)(Mast, Frings, & Spence, 2015; Mast, Frings, & Spence, 2017)。雖然有研究者認(rèn)為跨通道關(guān)聯(lián)性注意捕獲并不是以純粹自上而下的方式進(jìn)行 (Matusz & Eimer, 2011), 這可能是由于視聽啟動項引起了大腦早期的多感覺加工(刺激后100 ms以內(nèi))和低級皮質(zhì)中強(qiáng)烈的自下而上的影響(Murray et al., 2016)。但已有研究結(jié)果至少證明大腦可以將來自不同感覺通道(視覺、觸覺、聽覺)的刺激整合成多感覺信號模板進(jìn)行儲存, 從而自上而下地引導(dǎo)個體的外源性注意以優(yōu)化對目標(biāo)的選擇。

圖3 Mast等(2015, 實驗1b)研究的實驗流程與結(jié)果圖

注：(a)任務(wù)和實驗流程。圖中分別表示在雙通道目標(biāo)(左圖)和單通道目標(biāo)條件(右圖)下的實驗流程。雙通道目標(biāo)由視覺刺激(紅色圓形)與觸覺振動刺激(圖上用波浪線表示)組合而成。單通道目標(biāo)只有視覺目標(biāo)(綠色圓形), 從不伴隨觸覺振動刺激。同樣, 啟動項也分為雙通道與單通道條件。實驗中要求被試忽略啟動項顏色特征, 既快又準(zhǔn)地對目標(biāo)刺激的顏色特征進(jìn)行反應(yīng)。(b)行為學(xué)結(jié)果?？v坐標(biāo)代表相容性效應(yīng), 結(jié)果顯示只有在雙通道目標(biāo)條件下發(fā)現(xiàn)雙通道啟動項比單通道啟動項有更大的相容性效應(yīng)。(引并改自Mast等(2015), copyright (2015)The Psychonomic Society.)

4 小結(jié)與展望

外源性注意和多感覺整合都有助于控制信息處理, 且都是復(fù)雜的、多階段的過程, 因此兩者之間的交互關(guān)系同樣也是復(fù)雜的。為了解釋兩者間的交互作用機(jī)制, 本文主要從兩大方面綜述了外源性注意與多感覺整合的交互關(guān)系。具體來看：(1)外源性注意可以通過自下而上的方式調(diào)節(jié)多感覺整合, 包括空間不確定性、感知覺敏感度和感覺通道間信號強(qiáng)度差異三種理論假說。外源性注意與內(nèi)源性注意都能對多感覺整合產(chǎn)生調(diào)節(jié)作用, 但兩者在調(diào)節(jié)方式和調(diào)節(jié)結(jié)果上有所差異。(2)多感覺整合也可以調(diào)節(jié)外源性注意。一方面, 多感覺整合自下而上地調(diào)節(jié)外源性注意。具體來看, 在線索?靶子范式中, 刺激之間能夠以自下而上的方式自動整合, 整合后的多感覺通道線索相比單通道線索具有更大的注意捕獲效應(yīng), 誘發(fā)更大的空間注意定向效應(yīng); 在視覺搜索任務(wù)中, 整合后的多感覺通道刺激同樣能引起更大的注意捕獲效應(yīng), 使得目標(biāo)從復(fù)雜環(huán)境中凸顯出來, 從而提高視覺搜索效率。另一方面, 整合后的多感覺通道刺激能夠作為多感覺信號模板存儲于大腦之中, 從而在任務(wù)中自上而下地調(diào)節(jié)注意捕獲。

在未來研究中, 本文提出以下幾點(diǎn)展望：

(1)外源性注意調(diào)節(jié)多感覺整合的認(rèn)知神經(jīng)科學(xué)機(jī)制有待進(jìn)一步解決。目前, 關(guān)于內(nèi)源性注意對多感覺整合的調(diào)節(jié)機(jī)制取得了豐富的成果。然而外源性注意調(diào)節(jié)多感覺整合的成果只在行為學(xué)層面上有所探討, 具體機(jī)制尚不清楚, 外源性注意如何影響多感覺整合以及何時開始影響多感覺整合的問題都未得到解決, 因此需要研究者們進(jìn)一步探索。

(2)外源性注意與多感覺整合交互作用的具體時程機(jī)制。并行整合框架指出, 多感覺整合能夠基于刺激的時間、空間和內(nèi)容發(fā)生在感覺處理的“早期”和“晚期”階段(Calvert & Thesen, 2004)。雖然已有研究證明, 內(nèi)源性注意可以調(diào)節(jié)多感覺整合的多個階段(Talsma, Senkowski, Soto-Faraco, & Woldorff, 2010), 但目前關(guān)于外源性注意與多感覺整合交互作用的具體加工階段還未進(jìn)行過考察。

(3)其它因素如何影響外源性注意與多感覺整合的交互關(guān)系。已有研究證實, 任務(wù)要求與目標(biāo)(Donohue, Green, & Woldorff, 2015), 注意負(fù)荷(Barrett & Katrin, 2012)以及個體期望(Kok, Jehee, & de Lange, 2012)都能影響內(nèi)源性注意對多感覺整合的調(diào)節(jié)效應(yīng)。同樣, 在外源性注意調(diào)節(jié)多感覺整合的研究中也發(fā)現(xiàn)任務(wù)類型會影響其調(diào)節(jié)效應(yīng)的大小(Van der Stoep, Spence, Nijboer, & Van der Stigchel, 2015)。因此, 未來研究除了揭示外源性注意與多感覺整合交互作用的基本原理之外, 還需要關(guān)注兩者的交互關(guān)系是否受到其它因素的影響。

劉強(qiáng), 胡中華, 趙光, 陶維東, 張慶林, 孫弘進(jìn). (2010). 通道估計可靠性先驗知識在早期的知覺加工階段影響多感覺信息整合.(2), 227?234.

王慧媛, 隋潔, 張明. (2016). 線索靶子關(guān)聯(lián)和搜索策略對注意捕獲的作用——來自意義線索的證據(jù).(7), 783?793.

王慧媛, 張明, 隋潔. (2014). 線索靶子關(guān)聯(lián)和搜索策略對注意捕獲的作用.(2), 185?195.

Ansorge, U., & Becker, S. I. (2013). Contingent capture in cueing: The role of color search templates and cue-target color relations.(2), 209?221.

Atchley, P., Jones, S. E., & Hoffman, L. (2003). Visual marking: A convergence of goal- and stimulus-driven processes during visual search.(5), 667?677.

Barrett, D. J. K., & Katrin, K. (2012). Evidence for multisensory integration in the elicitation of prior entry by bimodal cues.(1?2), 11?20.

Busse, L., Katzner, S., & Treue, S. (2008). Temporal dynamics of neuronal modulation during exogenous and endogenous shifts of visual attention in macaque area MT.(42), 16380?16385.

Callan, A., Callan, D., & Ando, H. (2015). An fMRI study of the ventriloquism effect.(11), 4248? 4258.

Calvert, G. A., & Thesen, T. (2004). Multisensory integration: Methodological approaches and emerging principles in the human brain.(1?3), 191? 205.

Carrasco, M. (2011). Visual attention: The past 25 years.(13), 1484?1525.

Chamberland, C., Hodgetts, H. M., Vallières, B. R., Vachon, F., & Tremblay, S. (2016). Pip and pop: When auditory alarms facilitate visual change detection in dynamic settings.,(1), 284?288.

Chen, K., Zhou, B., Chen, S., He, S., & Zhou, W. (2013). Olfaction spontaneously highlights visual saliency map.(1768), 20131729.

Chica, A. B., Bartolomeo, P., & Lupiá?ez, J. (2013). Two cognitive and neural systems for endogenous and exogenous spatial attention.(1), 107?123.

Chica, A. B., & Lupiá?ez, J. (2009). Effects of endogenous and exogenous attention on visual processing: An inhibition of return study., 75?85.

De Meo, R., Murray, M. M., Clarke, S., & Matusz, P. J. (2015). Top-down control and early multisensory processes: Chicken vs. egg.(17).

Degerman, A., Rinne, T., Salmi, J., Salonen, O., & Alho, K. (2006). Selective attention to sound location or pitch studied with fMRI.(1), 123?134.

Donohue, S. E., Green, J. J., & Woldorff, M. G. (2015). The effects of attention on the temporal integration of multisensory stimuli., 32.

Fairhall, & Macaluso. (2009). Spatial attention can modulate audiovisual integration at multiple cortical and subcortical sites.(6), 1247? 1257.

Fetsch, C. R., Pouget, A., Deangelis, G. C., & Angelaki, D. E. (2011). Neural correlates of reliability-based cue weighting during multisensory integration.(1), 146?154.

Folk, C., Berenato, A., & Wyble, B. (2014). Semantic priming produces contingent attentional capture by conceptual content.(10), 318.

Folk, C. L., & Remington, R. (1998). Selectivity in distraction by irrelevant featural singletons: Evidence for two forms of attentional capture.(3), 847?858.

Gao, Y. L., Li, Q., Yang, W. P., Yang, J. J., Tang, X. Y., & Wu, J. L. (2014). Effects of ipsilateral and bilateral auditory stimuli on audiovisual integration: A behavioral and event-related potential study.(9),668?675.

Giard, M., & Peronnet, F. (1999). Auditory-visual integration during multimodal object recognition in humans: A behavioral and electrophysiological study.(5), 473?490.

Goller, F., & Ansorge, U. (2015). There is more to trial history than priming in attentional capture experiments.(5), 1574?1584.

Goodhew, S. C., Kendall, W., Ferber, S., & Pratt, J. (2014). Setting semantics: Conceptual set can determine the physical properties that capture attention.(6), 1577?1589.

Henderickx, D., Maetens, K., & Soetens, E. (2012). The involvement of bottom-up saliency processing in endogenous inhibition of return.(2), 285?299.

Ho, C., Santangelo, V., & Spence, C. (2009). Multisensory warning signals: When spatial correspondence matters.(2), 261?272.

Hopfinger, J. B., & West, V. M. (2006). Interactions between endogenous and exogenous attention on cortical visual processing.(2), 774?789.

Koelewijn, T., Bronkhorst, A., & Theeuwes, J. (2010). Attention and the multiple stages of multisensory integration: A review of audiovisual studies.(3), 372?384.

Kok, P., Jehee, J. F. M., & de Lange, F. P. (2012). Less is more: Expectation sharpens representations in the primary visual cortex.(2), 265?270.

Krause, H., Schneider, T. R., Engel, A. K., & Senkowski, D. (2012). Capture of visual attention interferes with multisensory speech processing.67.

Lamy, D. F., & árni, K. (2013). Is goal-directed attentional guidance just intertrial priming? A review.(3), 14?14.

Lavie, N. (2005). Distracted and confused? Selective attention under load.(2), 75?82.

Li, Q., Wu, J., & Touge, T. (2010). Audiovisual interaction enhances auditory detection in late stage: An event-related potential study.(3), 173?178.

Li, Q., Yang, H., Sun, F., & Wu, J. (2015). Spatiotemporal relationships among audiovisual stimuli modulate auditory facilitation of visual target discrimination.(3), 232?242.

Li, Q., Yu, H., Wu, Y., & Gao, N. (2016). The spatial reliability of task-irrelevant sounds modulates bimodal audiovisual integration: An event-related potential study., 149?154.

Luck, S. J., & Hillyard, S. A. (1994). Spatial filtering during visual search: Evidence from human electrophysiology.(5), 1000?1014.

Macaluso, E., Noppeney, U., Talsma, D., Vercillo, T., Hartcher-O’Brien, J., & Adam, R. (2016). The curious incident of attention in multisensory integration: Bottom- up vs. top-down.(6), 557?583.

Mahoney, J. R., Verghese, J., Dumas, K., Wang, C., & Holtzer, R. (2012). The effect of multisensory cues on attention in aging., 63?73.

Martín-Arévalo, E., Chica, A. B., & Lupiá?ez, J. (2015). No single electrophysiological marker for facilitation and inhibition of return: A review., 1?10.

Mast, F., Frings, C., & Spence, C. (2015). Multisensory top-down sets: Evidence for contingent crossmodal capture.(6), 1970?1985.

Mast, F., Frings, C., & Spence, C. (2017). Crossmodal attentional control sets between vision and audition., 41?47.

Matusz, P. J., & Eimer, M. (2011). Multisensory enhancement of attentional capture in visual search.,(5), 904?909.

Matusz, P. J., & Eimer, M. (2013). Top-down control of audiovisual search by bimodal search templates.(10), 996–1009.

Meredith, M. A., Nemitz, J. W., & Stein, B. E. (1987). Determinants of multisensory integration in superior colliculus neurons. I. Temporal factors.(10), 3215–3229.

Miller, J. (2016). Statistical facilitation and the redundant signals effect: What are race and coactivation models?(2), 516?519. Mishler, A., & Neider, M. (2016). Evidence for the redundant signals effect in detection of categorical targets.(12), 1024.

Mozolic, J. L., Hugenschmidt, C. E., Peiffer, A. M., & Laurienti, P. J. (2008). Modality-specific selective attention attenuates multisensory integration.(1), 39?52.

Murray, M. M., Thelen, A., Thut, G., Romei, V., Martuzzi, R., & Matusz, P. J. (2016). The multisensory function of the human primary visual cortex., 161?169.

Ngo, M. K., & Spence, C. (2012). Facilitating masked visual target identification with auditory oddball stimuli.(2), 129?136.

Otto, T. U., Dassy, B., & Mamassian, P. (2013). Principles of multisensory behavior.(17), 7463?7474.

Pluta, S. R., Rowland, B. A., Stanford, T. R., & Stein, B. E. (2011). Alterations to multisensory and unisensory integration by stimulus competition.(6), 3091?3101.

Posner, M. I., & Cohen, Y. (1984). Components of visual orienting., 531?556.

Santangelo, V., Fagioli, S., & Macaluso, E. (2010). The costs of monitoring simultaneously two sensory modalities decrease when dividing attention in space.(3), 2717?2727.

Santangelo, V., & Spence, C. (2007). Multisensory cues capture spatial attention regardless of perceptual load.(6), 1311?1321.

Santangelo, V., Van der Lubbe, R. H., Belardinelli, M. O., & Postma, A. (2006). Spatial attention triggered by unimodal, crossmodal, and bimodal exogenous cues: A comparison of reflexive orienting mechanisms.(1), 40?48.

Santangelo, V., Van der Lubbe, R. H., Belardinelli, M. O., & Postma, A. (2008). Multisensory integration affects ERP components elicited by exogenous cues.(2), 269?277.

Senkowski, D., Saint-Amour, D., Gruber, T., & Foxe, J. J. (2008). Look who's talking: The deployment of visuo- spatial attention during multisensory speech processing under noisy environmental conditions.(2), 379?387.

Senkowski, D., Saint-Amour, D., H?fle, M., & Foxe, J. J. (2011). Multisensory interactions in early evoked brain activity follow the principle of inverse effectiveness.(4), 2200?2208.

Slagter, H. A., Prinssen, S., Reteig, L. C., & Mazaheri, A. (2016). Facilitation and inhibition in attention: Functional dissociation of pre-stimulus alpha activity, P1, and N1 components.(6), 25?35.

Soto-Faraco, S., Navarra, J., & Alsius, A. (2004). Assessing automaticity in audiovisual speech integration: Evidence from the speeded classification task.(3), B13?B23.

Spence, C. (2010). Crossmodal spatial attention.(1), 182?200.

Spence, C. (2013). Just how important is spatial coincidence to multisensory integration? Evaluating the spatial rule.(1), 31?49.

Spence, C., & Santangelo, V. (2009). Capturing spatial attention with multisensory cues: A review.(1-2), 134?142.

Stein, B. E., & Stanford, T. R. (2008). Multisensory integration: Current issues from the perspective of the single neuron.(4), 255? 266.

Stevenson, R. A., Fister, J. K., Barnett, Z. P., Nidiffer, A. R., & Wallace, M. T. (2012). Interactions between the spatial and temporal stimulus factors that influence multisensory integration in human performance.(1), 121?137.

Talsma, D., Doty, T. J., & Woldorff, M. G. (2007). Selective attention and audiovisual integration: Is attending to both modalities a prerequisite for early integration?(3), 679?690.

Talsma, D., Senkowski, D., Soto-Faraco, S., & Woldorff, M. G. (2010). The multifaceted interplay between attention and multisensory integration.(9), 400?410.

Talsma, D., & Woldorff, M. (2005). Selective attention and multisensory integration: Multiple phases of effects on the evoked brain activity.(7), 1098?1114.

Tang, X. Y., Wu, J. L., & Shen, Y. (2016). The interactions of multisensory integration with endogenous and exogenous attention., 208?224.

Tiippana, K. (2014). What is the McGurk effect?(4), 725.

Van der Burg, E., Olivers, C. N. L., Bronkhorst, A. W., & Theeuwes, J. (2008b). Audiovisual events capture attention: Evidence from temporal order judgments.(5), 1?10.

Van der Burg, E., Olivers, C. N. L., Bronkhorst, A. W., & Theeuwes, J. (2008a). Pip and pop: Nonspatial auditory signals improve spatial visual search.(5), 1053?1065.

Van der Burg, E., Olivers, C. N. L., Bronkhorst, A. W., & Theeuwes, J. (2009). Poke and pop: Tactile-visual synchrony increases visual saliency.(1), 60?64.

Van Der Burg, E., Olivers, C. N. L., & Theeuwes, J. (2012). The attentional window modulates capture by audiovisual events.(7), e39137.

Van der Burg, E., Talsma, D., Olivers, C. N. L., Hickey, C., & Theeuwes, J. (2011). Early multisensory interactions affect the competition among multiple visual objects.(3), 1208?1218.

Van der Stoep, N., Spence, C., Nijboer, T. C. W., & Van der Stigchel, S. (2015). On the relative contributions of multisensory integration and crossmodal exogenous spatial attention to multisensory response enhancement., 20?28.

Van der Stoep, N., Van der Stigchel, S., & Nijboer, T. C. W. (2015). Erratum to: Exogenous spatial attention decreases audiovisual integration.(2), 464?482.

Van der Stoep, N., Van der Stigchel, S., Nijboer, T. C., & Spence, C. (2016). Visually induced inhibition of return affects the integration of auditory and visual Information.(1), 6?17.

Vroomen, J., Bertelson, P., & De Gelder, B. (2001). The ventriloquist effect does not depend on the direction of automatic visual attention.(4), 651?659.

Wu, J. L., Li, Q., Bai, O., & Touge, T. (2009). Multisensory interactions elicited by audiovisual stimuli presented peripherally in a visual attention task: A behavioral and event-related potential study in humans.(6), 407?413.

Wu, J. L., Yang, J. J., Yu, Y. H., Li, Q., Nakamura, N., Shen, Y., ... Abe, K. (2012). Delayed audiovisual integration of patients with mild cognitive impairment and Alzheimer's disease compared with normal aged controls.(2), 317?328.

The interaction between exogenous attention and multisensory integration

PENG Xing1; CHANG Ruosong1,2; REN Guiqin1; WANG Aijun3; TANG Xiaoyu1,2

(1School of Psychology, Liaoning Normal University, Dalian 116029, China) (2Liaoning Collaborative Innovation, Dalian 116029, China) (3Department of Psychology, Soochow University, Suzhou 215000, China)

The interaction between exogenous attention and multisensory integration is a complex and controversial topic, which has been debated for a long time. In order to explain the interaction mechanism between them, here we summarized two parts based on previous researches. First, exogenous attention can modulate multisensory integration in a bottom-up manner, including three hypotheses as spatial uncertainty, sensory sensitivity and the differences in unimodal signal strength. Second, multisensory integration can also modulate exogenous attention. On one hand, stimuli from multiple sense modalities can be automatically integrated in a bottom-up manner. The integrated multisensory events can capture attention more efficiently compared to unimodal events, even under quite complex circumstances. On the other hand, integrated multisensory events exert top-down control on attentional capture via multisensory signal templates that are stored in the brain.

multisensory integration; exogenous attention; top-down; bottom-up; endogenous attention

① AV與(A+V)間差異：通過比較視聽覺刺激(AV)誘發(fā)的ERP 與相對應(yīng)的單通道聽覺(A)和視覺(V)刺激分別誘發(fā)的ERP 成分總和來反應(yīng)多感覺整合加工(De Meo, Murray, Clarke, & Matusz, 2015; Giard & Peronnet, 1999)。

② 空間原則(the special rule)：當(dāng)來自不同感覺通道的信息由大致相同的位置呈現(xiàn)時, 多感覺整合效應(yīng)最佳(Spence, 2013)。

③時間原則(the temporal rule)：當(dāng)來自不同感覺通道的信息由大致相近的時間呈現(xiàn)時, 多感覺整合效應(yīng)最佳(Stevenson, Fister, Barnett, Nidiffer, & Wallace, 2012)。

2017-10-26

* 國家自然科學(xué)基金項目(31600882; 31700939; 31471075), 中國博士后基金面上項目(2017M611888)贊助。

唐曉雨, E-mail: tangyu-2006@163.com; 王愛君, E-mail: ajwang@suda.edu.cn

B842

10.3724/SP.J.1042.2018.02129