視聽多通道刺激的注意捕獲：工作記憶負(fù)載的影響

關(guān)鍵詞 工作記憶負(fù)載 多感覺促進(jìn)效應(yīng) 視覺 聽覺 注意

1 引言

日常生活中人們會(huì)接受來(lái)自不同感覺通道（視覺、聽覺等）的信息輸入。相比單通道刺激，研究發(fā)現(xiàn)同時(shí)出現(xiàn)的多通道刺激能更強(qiáng)烈地捕獲注意，產(chǎn)生多感覺促進(jìn)效應(yīng)（multisensory enhancement；Barutchu et al.， 2018）。例如，個(gè)體對(duì)多通道刺激的反應(yīng)比對(duì)單通道刺激的反應(yīng)更快更準(zhǔn)確（彭姓等，2018）。近二十年來(lái)多通道刺激的注意捕獲受到很多研究者的關(guān)注，然而負(fù)載對(duì)多感覺刺激注意捕獲的影響還沒有定論。

有研究表明多通道刺激的注意捕獲不受負(fù)載影響。在van der Burg 等人（2008）的研究中，被試需要在若干朝向不同的線段（干擾刺激）中搜索水平或垂直的線段（目標(biāo)刺激），并且部分線段的顏色會(huì)隨機(jī)改變。結(jié)果發(fā)現(xiàn)，如果視覺目標(biāo)顏色變化的同時(shí)伴隨一個(gè)純音，被試對(duì)目標(biāo)刺激的搜索速度會(huì)顯著變快，且這一效應(yīng)在不同負(fù)載（干擾線段數(shù)量）下均存在。該結(jié)果表明伴隨有聽覺刺激的視覺刺激凸顯性較高，有效地捕獲了注意且不受負(fù)載影響。類似地，Zimmer 和Macaluso（2007）考察了工作記憶負(fù)載對(duì)視覺、觸覺刺激注意捕獲的影響，被試需要在記憶順序數(shù)字或隨機(jī)數(shù)字的同時(shí)判斷視覺刺激的方位。任務(wù)無(wú)關(guān)的觸覺刺激會(huì)伴隨視覺刺激同時(shí)出現(xiàn)，與視覺刺激位置一致或不一致。結(jié)果發(fā)現(xiàn)，一致條件下視觸雙通道刺激對(duì)側(cè)的枕葉視皮層活動(dòng)顯著強(qiáng)于不一致條件，且不受負(fù)載大小影響，表明視觸雙通道刺激的注意捕獲和多感覺促進(jìn)效應(yīng)不受工作記憶負(fù)載的影響。

然而，也有研究發(fā)現(xiàn)在高負(fù)載條件下，多通道刺激能更有效地捕獲注意。例如Santangelo和Spence（2007）， Santangelo 等人（2008）采用空間線索范式和快速序列視覺呈現(xiàn)任務(wù)，考察了知覺負(fù)載對(duì)單通道（視覺、聽覺、觸覺）和雙通道（視聽、視觸）線索刺激注意捕獲的影響。結(jié)果發(fā)現(xiàn)，低負(fù)載條件下，單通道和多通道線索均能捕獲被試注意，而高負(fù)載條件下，只有雙通道線索能夠捕獲注意，觀察到空間線索效應(yīng)。類似地，Lunn 等人（2019）使用雙任務(wù)范式考察知覺負(fù)載對(duì)視聽刺激注意捕獲的影響。在視覺搜索任務(wù)中，被試需要在中央的字母圓環(huán)中搜索目標(biāo)刺激“X”。在方位判斷任務(wù)中，被試需要判斷外周呈現(xiàn)的視覺、聽覺或視聽雙通道刺激位于字母圓環(huán)左側(cè)還是右側(cè)。每個(gè)試次可能為視覺搜索任務(wù)、方位判斷任務(wù)或沒有任務(wù)。結(jié)果發(fā)現(xiàn)，不論是簡(jiǎn)單（視覺圓點(diǎn)和聽覺純音）還是復(fù)雜（動(dòng)物圖片和聲音）雙通道刺激，被試對(duì)視聽雙通道刺激的反應(yīng)在不同負(fù)載條件下都顯著快于單通道視覺或聽覺，并且這一多感覺促進(jìn)效應(yīng)在高負(fù)載下更加明顯。

目前對(duì)于負(fù)載是否影響多通道刺激的注意捕獲還沒有定論。首先，很多研究發(fā)現(xiàn)多通道刺激的注意捕獲不受注意資源影響，可能是由于沒有關(guān)注負(fù)載的變化。當(dāng)施加一定程度負(fù)載時(shí)，多通道刺激的注意捕獲會(huì)受到注意影響（Alsius et al.， 2005）。其次，負(fù)載類型可能影響多通道刺激的注意捕獲，但是有些研究使用了知覺負(fù)載（Lunn et al.， 2019），有些研究使用了認(rèn)知負(fù)載（Zimmer amp; Macaluso， 2007）。對(duì)于工作記憶負(fù)載，也未見有進(jìn)一步細(xì)分不同負(fù)載類型的研究。最后，目前對(duì)多通道刺激注意捕獲的研究主要集中在簡(jiǎn)單刺激，較少研究關(guān)注復(fù)雜刺激的注意捕獲。相比簡(jiǎn)單刺激，復(fù)雜語(yǔ)義信息的加工和識(shí)別需要更多注意資源的參與，被試對(duì)存在語(yǔ)義聯(lián)系的視聽刺激的先驗(yàn)知識(shí)也可能會(huì)影響多通道復(fù)雜刺激的注意捕獲（Doehrmann amp; Naumer， 2008）。相比簡(jiǎn)單刺激，復(fù)雜視聽刺激的注意捕獲可能更為特殊（Vatakis et al.， 2008）。

因此，當(dāng)前研究中采用雙任務(wù)范式，考察工作記憶負(fù)載對(duì)視聽雙通道復(fù)雜刺激注意捕獲的影響。首先，我們操縱記憶容量來(lái)產(chǎn)生不同負(fù)載水平（Naertet al.， 2018），并且在兩個(gè)實(shí)驗(yàn)中分別操縱言語(yǔ)和視覺工作記憶負(fù)載。此外，由于視覺刺激和聽覺刺激從多通道刺激中的獲益可能存在不同，導(dǎo)致視覺和聽覺多感覺促進(jìn)效應(yīng)的差異，當(dāng)前實(shí)驗(yàn)中我們比較單通道與雙通道視聽刺激，考察單通道刺激加工從雙通道刺激的獲益。最后，考慮到通道本身加工速度的差異，當(dāng)前研究采用復(fù)雜刺激，通過(guò)提升刺激難度，讓視覺和聽覺刺激的反應(yīng)速度保持相當(dāng)。研究包括兩個(gè)實(shí)驗(yàn)，實(shí)驗(yàn)1 采用2（工作記憶負(fù)載：高負(fù)載和低負(fù)載）×3（靶刺激類型：視覺、聽覺和視聽靶刺激）的被試內(nèi)設(shè)計(jì)，使用面孔及語(yǔ)音刺激，探究言語(yǔ)工作記憶負(fù)載對(duì)復(fù)雜視聽刺激注意捕獲的影響。實(shí)驗(yàn)2 在實(shí)驗(yàn)1 基礎(chǔ)上，將記憶項(xiàng)目變?yōu)榫€條朝向，進(jìn)一步探究視覺工作記憶負(fù)載對(duì)復(fù)雜視聽刺激注意捕獲的影響。我們預(yù)期被試對(duì)雙通道刺激的反應(yīng)顯著快于聽覺或視覺單通道刺激，即多通道刺激更易于捕獲注意，產(chǎn)生多感覺促進(jìn)效應(yīng)。此外，負(fù)載會(huì)影響視覺、聽覺和視聽雙通道刺激的反應(yīng)速度，表現(xiàn)在隨著負(fù)載升高，被試對(duì)視覺、聽覺和視聽雙通道刺激的反應(yīng)速度都會(huì)顯著下降。最后，我們預(yù)期，不同類型的工作記憶負(fù)載會(huì)調(diào)節(jié)視、聽通道從多感覺促進(jìn)效應(yīng)的獲益。一方面隨著言語(yǔ)工作記憶負(fù)載升高，聽覺刺激加工受阻，被試更依賴視覺信息，從而視覺刺激從視聽刺激的獲益會(huì)降低，聽覺刺激從視聽刺激的獲益會(huì)升高。另一方面隨著視覺工作記憶負(fù)載升高，視覺刺激加工受阻，被試更依賴聽覺信息，從而聽覺刺激從視聽刺激的獲益會(huì)降低，視覺刺激從視聽刺激的獲益會(huì)升高。

2 實(shí)驗(yàn)

12.1 方法

2.1.1 被試

21名大學(xué)生自愿參與實(shí)驗(yàn)1，視力或矯正視力正常，聽力正常，均為右利手，實(shí)驗(yàn)前簽署知情同意書，并在實(shí)驗(yàn)后獲得報(bào)酬。其中1 名被試數(shù)據(jù)由于設(shè)備問(wèn)題丟失，最終有20 名被試（年齡18～23歲，M = 19.36 歲，SD = 1.73歲；女11人）數(shù)據(jù)進(jìn)入后續(xù)分析。

2.1.2 實(shí)驗(yàn)材料

實(shí)驗(yàn)中面孔圖片的原材料來(lái)自中國(guó)化面孔情緒圖片系統(tǒng)（龔栩等， 2011），選擇中性情緒圖片，并剔除愉悅度、喚醒度、優(yōu)勢(shì)度或吸引度偏離均值一個(gè)標(biāo)準(zhǔn)差以外的圖片。實(shí)驗(yàn)所用的圖片，由一男一女的面孔圖片，用Morpher 2.0按兩種比例合成（男性占比為40% 或60%）。

實(shí)驗(yàn)中聲音的原材料為男性和女性發(fā)出的“tete”、“l(fā)olo”等音節(jié)（F?cker et al.， 2011）。將這些聲音文件用變調(diào)軟件處理，每個(gè)聲音按每個(gè)半音變調(diào)一次，高低各六個(gè)半音。為確保合成的圖片及變調(diào)的聲音能辨識(shí)男女，且具備一定難度，正式實(shí)驗(yàn)前招募另外13 名大學(xué)生被試進(jìn)行視、聽材料測(cè)評(píng)，選擇反應(yīng)時(shí)相當(dāng)，正確率在75％到90％之間的視、聽刺激作為實(shí)驗(yàn)材料。這樣篩選實(shí)驗(yàn)材料是為了盡可能排除視覺、聽覺通道本身的反應(yīng)時(shí)差異（Huang et al.， 2015；Yue et al.， 2015）。最后確定實(shí)驗(yàn)材料為24 張圖片，12 個(gè)聲音，男性、女性各一半。

刺激通過(guò)Dell 17 寸純平CRT 顯示器呈現(xiàn)，分辨率1024×768 像素，刷新率60 Hz。實(shí)驗(yàn)在Matlab2010b 上運(yùn)行，通過(guò)Psychtoolbox 3.0 實(shí)現(xiàn)。

2.1.3 實(shí)驗(yàn)流程

實(shí)驗(yàn)采用言語(yǔ)工作記憶任務(wù)和性別判斷任務(wù)的雙任務(wù)范式，為兩因素被試內(nèi)設(shè)計(jì)，自變量是工作記憶負(fù)載（低負(fù)載 vs. 高負(fù)載）和靶刺激類型（視覺、聽覺 vs. 視聽靶刺激）。

實(shí)驗(yàn)流程如圖1 所示。300 ms 注視點(diǎn)后，屏幕上會(huì)呈現(xiàn)一串?dāng)?shù)字（低負(fù)載2 位，高負(fù)載6 位），持續(xù)1000 ms，被試需要記憶這串?dāng)?shù)字。之后進(jìn)入性別判斷任務(wù)，被試需要又快又準(zhǔn)地判斷面孔和聲音的性別。單通道條件下，會(huì)呈現(xiàn)面孔（屏幕中央，視角5.7°× 5.7°）或聲音（通過(guò)頭戴式耳機(jī)同時(shí)呈現(xiàn)在兩側(cè)）；雙通道條件下，同性別的面孔和聲音同時(shí)呈現(xiàn)。面孔和聲音刺激均呈現(xiàn)700 ms。1500 ms空屏后，屏幕中央會(huì)呈現(xiàn)一個(gè)數(shù)字，被試需要按鍵輸入之前記憶數(shù)字串中該數(shù)字的下一位。當(dāng)呈現(xiàn)的數(shù)字是最后一位時(shí)，被試需要輸入第一位數(shù)字。最后呈現(xiàn)2000 ms 空屏并進(jìn)入下一個(gè)試次。

正式實(shí)驗(yàn)共8 個(gè)block，每個(gè)block 有36個(gè)試次。每種條件試次數(shù)相同，不同條件隨機(jī)等概率出現(xiàn)。

2.1.4 數(shù)據(jù)分析

實(shí)驗(yàn)中記錄被試對(duì)性別判斷任務(wù)的反應(yīng)時(shí)和正確率。對(duì)于反應(yīng)時(shí)，首先刪去被試的錯(cuò)誤反應(yīng)及100～1500ms 以外的數(shù)據(jù)。并在不同實(shí)驗(yàn)條件下，刪除平均反應(yīng)時(shí)正負(fù)3 個(gè)標(biāo)準(zhǔn)差外的數(shù)據(jù)。最后分別對(duì)反應(yīng)時(shí)和正確率進(jìn)行重復(fù)測(cè)量方差分析。

為了進(jìn)一步分析雙通道刺激的多感覺促進(jìn)效應(yīng)，即雙通道的反應(yīng)時(shí)獲益。在不同負(fù)載條件下，分別用聽覺和視覺刺激的反應(yīng)時(shí)減去視聽雙通道刺激的反應(yīng)時(shí)，得到聽覺和視覺刺激從雙通道刺激的獲益，來(lái)量化多感覺促進(jìn)效應(yīng)，并對(duì)獲益值做2（工作記憶負(fù)載）× 2（感覺通道）的重復(fù)測(cè)量方差分析。所有簡(jiǎn)單效應(yīng)和成對(duì)比較的分析使用Bonferroni校正。另外，違反球形假設(shè)時(shí)，使用Greenhouse-Geisser 進(jìn)行校正。所有統(tǒng)計(jì)分析均使用SPSS 22.0進(jìn)行。

2.2 結(jié)果

4 總討論

本研究考察了工作記憶負(fù)載對(duì)雙通道視聽刺激注意捕獲的影響。結(jié)果發(fā)現(xiàn)，不論負(fù)載高低，相比單通道聽覺刺激，視聽雙通道刺激均能顯著捕獲注意，表現(xiàn)出更快的反應(yīng)。此外，視聽雙通道刺激的注意捕獲受到負(fù)載類型和通道類型的調(diào)節(jié)。實(shí)驗(yàn)1中，隨著言語(yǔ)工作記憶負(fù)載升高，聽覺從視聽多感覺促進(jìn)的獲益顯著升高，而視覺從視聽多感覺促進(jìn)的獲益沒有顯著變化。實(shí)驗(yàn)2 中，隨著視覺工作記憶負(fù)載升高，聽覺從視聽多感覺促進(jìn)的獲益沒有顯著變化，而視覺從視聽多感覺促進(jìn)的獲益則顯著降低。

首先，兩個(gè)實(shí)驗(yàn)一致發(fā)現(xiàn)不論負(fù)載類型和水平，被試對(duì)雙通道刺激的反應(yīng)顯著快于單通道聽覺刺激，表現(xiàn)出多通道刺激更強(qiáng)的注意捕獲能力（Li et al.，2021）。多通道刺激的注意捕獲能力能夠?yàn)楝F(xiàn)實(shí)生活提供依據(jù)，例如汽車內(nèi)儀表盤的警報(bào)系統(tǒng)同時(shí)提供視覺警報(bào)標(biāo)志和聽覺警報(bào)能更有效地讓車主注意到異常情況（Ho et al.， 2007）。其次，我們發(fā)現(xiàn)隨著負(fù)載增加，無(wú)論是單通道還是雙通道刺激的反應(yīng)時(shí)都會(huì)增加。研究發(fā)現(xiàn)，相對(duì)于低負(fù)載條件，高負(fù)載駕駛時(shí)對(duì)警報(bào)的探測(cè)會(huì)更慢，盡管在兩種情況下對(duì)多通道警報(bào)的探測(cè)都會(huì)比單通道警報(bào)的探測(cè)要快（Marucci et al.， 2021）。

更重要的是，我們的結(jié)果支持工作記憶負(fù)載對(duì)視聽多感覺促進(jìn)效應(yīng)的影響受通道類型和負(fù)載類型的調(diào)節(jié)。實(shí)驗(yàn)1 發(fā)現(xiàn)言語(yǔ)工作記憶負(fù)載會(huì)影響雙通道刺激的注意捕獲，表現(xiàn)為隨著負(fù)載升高，聽覺、視覺和視聽刺激的反應(yīng)速度均顯著變慢，但負(fù)載對(duì)聽覺刺激的影響顯著大于對(duì)視聽刺激的影響，這與Lunn 等人（2019）的研究結(jié)果部分一致。他們發(fā)現(xiàn)，隨著負(fù)載升高，聽覺、視覺和視聽刺激的反應(yīng)速度均顯著變慢，但負(fù)載對(duì)視覺刺激的影響顯著大于對(duì)視聽刺激的影響。隨著言語(yǔ)工作記憶負(fù)載升高，聽覺從多感覺促進(jìn)的獲益顯著升高，視覺從多感覺促進(jìn)的獲益沒有顯著變化。然而，在實(shí)驗(yàn)2 中隨著視覺工作記憶負(fù)載升高，聽覺從多感覺促進(jìn)的獲益沒有顯著變化，視覺從多感覺促進(jìn)的獲益則顯著降低。這與兩個(gè)實(shí)驗(yàn)采用不同類型的工作記憶負(fù)載相關(guān)。實(shí)驗(yàn)1 中言語(yǔ)工作記憶任務(wù)占用了語(yǔ)音環(huán)路，尤其是在高負(fù)載下影響了聽覺信息的加工，因此聽覺從雙通道的獲益隨負(fù)載升高而升高。而對(duì)視覺信息來(lái)說(shuō)，語(yǔ)音環(huán)路的占用對(duì)視覺刺激加工的影響較弱。隨著負(fù)載升高，視覺信息并不需要從聽覺信息中獲益即可完成任務(wù)，因此視覺從雙通道的獲益隨負(fù)載升高沒有顯著變化。與之相比，實(shí)驗(yàn)2 中，隨著視覺工作記憶負(fù)載增加，視空間畫板受到影響，阻礙了視覺信息的加工，此時(shí)聽覺信息難以從視覺信息中獲益。與之類似，高負(fù)載下視覺刺激也無(wú)法從聽覺刺激中獲益，聽覺信息甚至?xí)蔀橐环N阻礙?？紤]到兩個(gè)實(shí)驗(yàn)中的高負(fù)載均未達(dá)到記憶廣度的上限（7 個(gè)數(shù)字，Luck amp; Vogel， 1997；4 個(gè)客體，王春地， 王大輝， 2021），兩個(gè)實(shí)驗(yàn)中記憶任務(wù)的難度保持相當(dāng)，因此這一結(jié)果可能與當(dāng)前實(shí)驗(yàn)視覺和聽覺刺激本身的性質(zhì)有關(guān)。一般認(rèn)為相比聽覺刺激，視覺刺激具有主導(dǎo)性，會(huì)提供更可靠的信息（Yueet al.， 2015）。特別是判斷性別時(shí)，視覺的面孔刺激總是具有主導(dǎo)性（Huestegge amp; Raettig， 2020），因此當(dāng)呈現(xiàn)視聽刺激時(shí)，被試依然傾向于通過(guò)視覺信息進(jìn)行性別判斷任務(wù)，幾乎很少?gòu)穆犛X通道得到獲益。需要注意的是，當(dāng)前實(shí)驗(yàn)的視覺面孔刺激使用Morpher 軟件進(jìn)行了處理，因此被試僅通過(guò)視覺判斷性別較難，表現(xiàn)為單通道視覺條件下正確率更低。

另一個(gè)可能的解釋是，實(shí)驗(yàn)2 中視覺負(fù)載的增加占用了視空間畫板，視覺系統(tǒng)沒有剩余的資源用于與聽覺信息的交互。研究表明不同感覺通道對(duì)刺激的表征存在超模態(tài)（supramodal）和模態(tài)特異性（modality-specific） 兩種方式（Matthijssen et al.，2019）。Matthijssen 等人（2019）發(fā)現(xiàn)施加在語(yǔ)音環(huán)路的負(fù)載對(duì)聽覺信息影響比對(duì)視覺信息影響大，類似地，施加在視空間畫板的負(fù)載對(duì)于視覺信息的影響比對(duì)聽覺信息影響大。我們推測(cè)，當(dāng)視聽信息呈現(xiàn)后，視覺系統(tǒng)和聽覺系統(tǒng)優(yōu)先分別對(duì)視覺和聽覺信息進(jìn)行加工，這一步驟是特異于不同通道的；之后發(fā)生多通道的交互，這一階段是超模態(tài)的，而且這一過(guò)程還受到認(rèn)知資源的影響（Talsma et al.，2010）。實(shí)驗(yàn)2 中沒有觀察到視覺從多通道促進(jìn)的獲益，可能是由于高負(fù)載下視覺單通道信息加工后沒有剩余資源用于多通道的交互。這一觀點(diǎn)也與晚期整合模型一致（Koelewijn et al.， 2010），該模型認(rèn)為不同模態(tài)的注意會(huì)特異性影響模態(tài)內(nèi)的信息加工，隨后在晚期階段發(fā)生多感覺交互。這一想法也得到其它研究的支持（Talsma amp; Woldorff， 2005）。

5 結(jié)論

本研究發(fā)現(xiàn)雙通道視聽刺激注意捕獲的能力受工作記憶負(fù)載影響。相比單通道刺激，雙通道視聽刺激能夠顯著捕獲被試注意，產(chǎn)生多感覺促進(jìn)效應(yīng)。此外，工作記憶負(fù)載類型會(huì)影響視、聽通道信息的交互，表現(xiàn)為隨著言語(yǔ)工作記憶負(fù)載升高，聽覺從視聽多感覺促進(jìn)的獲益會(huì)升高，而視覺從視聽多感覺促進(jìn)的獲益沒有顯著變化；隨著視覺工作記憶負(fù)載升高，聽覺從視聽多感覺促進(jìn)的獲益沒有顯著變化，視覺從視聽多感覺促進(jìn)的獲益則顯著降低。