視聽時(shí)、空一致性對(duì)Pip-and-Pop效應(yīng)的影響*

唐曉雨 崔鑫忠 高 敏 袁夢(mèng)瑩

視聽時(shí)、空一致性對(duì)Pip-and-Pop效應(yīng)的影響*

唐曉雨 崔鑫忠 高 敏 袁夢(mèng)瑩

(遼寧師范大學(xué)心理學(xué)院; 遼寧省兒童青少年健康人格評(píng)定與培養(yǎng)協(xié)同創(chuàng)新中心, 大連 116029)

多感覺整合遵循空間原則和時(shí)間原則, 有研究表明Pip-and-Pop效應(yīng)產(chǎn)生的原因是多感覺整合, 那么Pip-and-Pop效應(yīng)是否同樣遵循空間原則和時(shí)間原則呢？本研究采用動(dòng)態(tài)視覺搜索范式, 通過兩個(gè)眼動(dòng)實(shí)驗(yàn)考察空間一致性(實(shí)驗(yàn)1)和時(shí)間一致性(實(shí)驗(yàn)2)對(duì)Pip-and-Pop效應(yīng)的影響。結(jié)果發(fā)現(xiàn)：(1)當(dāng)視覺目標(biāo)顏色變化伴隨一個(gè)同側(cè)的聽覺刺激時(shí)所產(chǎn)生的Pip-and-Pop效應(yīng)最大, 對(duì)側(cè)條件沒有發(fā)現(xiàn)Pip-and-Pop效應(yīng)。(2)視聽刺激同時(shí)呈現(xiàn)所產(chǎn)生的Pip-and-Pop效應(yīng)最大, 隨視聽刺激呈現(xiàn)時(shí)間間隔的增加Pip-and-Pop效應(yīng)逐漸減弱直至消失。結(jié)果表明, 視聽時(shí)、空一致性對(duì)Pip-and-Pop效應(yīng)具有調(diào)節(jié)作用, 這為多感覺整合在產(chǎn)生Pip-and-Pop效應(yīng)中的作用提供了證據(jù)。

Pip-and-Pop效應(yīng), 視聽空間一致性, 視聽時(shí)間一致性, 動(dòng)態(tài)視覺搜索范式, 眼動(dòng)技術(shù)

1 前言

日常生活中, 我們每時(shí)每刻都在接收大量來(lái)自不同感覺通道的信息。在復(fù)雜多變的環(huán)境中尋找物體是一個(gè)非常耗時(shí)的過程。例如, 在旅游景點(diǎn)和朋友們走散時(shí), 從人群中尋找朋友會(huì)消耗一定時(shí)間。如果朋友一邊揮手一邊大喊你的名字, 那么找到朋友的時(shí)間會(huì)大幅縮減, 尋找朋友這一過程實(shí)際上是一種伴隨聽覺刺激的動(dòng)態(tài)視覺搜索過程。van der Burg等人(2008)使用動(dòng)態(tài)視覺搜索范式, 要求被試在多個(gè)不同傾斜角度的干擾線段中搜索垂直或水平的目標(biāo)線段, 搜索過程中線段顏色不斷進(jìn)行紅綠變化。結(jié)果發(fā)現(xiàn), 在目標(biāo)線段顏色變化的同時(shí)呈現(xiàn)一個(gè)純音聽覺刺激, 會(huì)提高目標(biāo)線段的搜索效率, 這種現(xiàn)象被稱為Pip-and-Pop效應(yīng)(van der Burg et al., 2008)。

有研究認(rèn)為Pip-and-Pop效應(yīng)產(chǎn)生的原因是多感覺整合(Chamberland et al., 2016; van der Burg et al., 2008; van der Burg et al., 2011)。多感覺整合(multisensory integration, MSI)是指來(lái)自不同感覺通道的信息相互作用, 并整合為統(tǒng)一、連貫且有意義的知覺過程(Talsma et al., 2010; Tang et al., 2016; van der Stoep et al., 2017)。van der Burg團(tuán)隊(duì)的研究發(fā)現(xiàn), 同步呈現(xiàn)的聽覺刺激與視覺目標(biāo)顏色變化后50 ms在頂枕區(qū)發(fā)生了早期的多感覺整合, 并且這一早期多感覺整合與行為學(xué)上的Pip-and-Pop效應(yīng)顯著相關(guān), 即早期多感覺整合越大, 搜索效率的提高越大。van der Burg等人認(rèn)為, 通過早期整合將聽覺與視覺目標(biāo)綁定, 使得視覺目標(biāo)在眾多不斷變化的刺激中凸顯出來(lái), 更好地捕獲注意, 與只有視覺目標(biāo)條件相比搜索效率顯著提高, 所以多感覺整合在Pip-and-Pop效應(yīng)中有著關(guān)鍵作用(van der Burg et al., 2008;van der Burg et al., 2011)。

然而, 研究發(fā)現(xiàn), 當(dāng)視覺目標(biāo)不存在時(shí)聽覺刺激也能提高搜索效率, 所以研究者認(rèn)為視聽整合并不能充分地解釋Pip-and-Pop效應(yīng)。因此提出了另一種解釋：即oddball刺激(奇異性刺激)吸引注意導(dǎo)致了Pip-and-Pop效應(yīng)(Ngo & Spence, 2012; Tsai & Yeh, 2013;Zou et al., 2012)。Oddball刺激指在其他高概率刺激中出現(xiàn)的低概率刺激(Pariyadath & Eagleman, 2007; Tsai & Yeh, 2013), 視覺搜索中突然出現(xiàn)的聽覺刺激就是一個(gè)oddball刺激, oddball刺激可以更有效地吸引注意(Chastain & Cheal, 1999; Escera et al., 1998; Escera et al., 2002)。研究發(fā)現(xiàn)當(dāng)視覺目標(biāo)與聽覺oddball刺激同時(shí)呈現(xiàn)時(shí), 被試的主觀知覺時(shí)間會(huì)延長(zhǎng), 即被試主觀上感知目標(biāo)刺激的時(shí)間變長(zhǎng)了, 研究者把這種現(xiàn)象稱為“冰凍效應(yīng)” (freezing effect) (Vroomen & de Gelder, 2000; Tse et al., 2004), 無(wú)論是哪種通道的oddball刺激都可能導(dǎo)致這種效應(yīng)(Ngo & Spence, 2010b; Ngo & Spence, 2012)。

Pip-and-Pop效應(yīng)產(chǎn)生的原因是多感覺整合還是oddball刺激吸引注意仍然存在爭(zhēng)議。以往研究表明多感覺整合遵循兩個(gè)原則——空間原則(the spatial rule)和時(shí)間原則(the temporal rule), 即當(dāng)來(lái)自不同感覺通道的信息在大致相近的空間位置呈現(xiàn)時(shí), 多感覺整合效應(yīng)最大(Spence, 2013; van der Stoep et al., 2017); 當(dāng)來(lái)自不同感覺通道的信息在大致接近的時(shí)間呈現(xiàn)時(shí), 多感覺整合效應(yīng)最大(Fister et al., 2016; Stevenson et al., 2012)。所以有研究通過調(diào)控空間一致性與時(shí)間一致性來(lái)探究Pip-and-Pop效應(yīng)產(chǎn)生的原因是否是多感覺整合(van der Burg et al., 2008; Ngo & Spence, 2010a; Zou et al., 2012)。如果Pip-and-Pop效應(yīng)遵循空間和時(shí)間原則, 那么Pip-and-Pop效應(yīng)產(chǎn)生的原因存在多感覺整合的作用; 如果Pip-and-Pop效應(yīng)不遵循空間和時(shí)間原則, 那么Pip-and-Pop效應(yīng)產(chǎn)生的原因可能是oddball刺激吸引注意, 即突然出現(xiàn)的聽覺刺激影響了視覺搜索效率。

一方面, 前人有關(guān)視聽刺激空間一致性對(duì)Pip-and-Pop效應(yīng)影響的研究結(jié)果并不一致。Ngo和Spence (2010a)研究發(fā)現(xiàn)與無(wú)效空間信息線索相比, 具有空間信息的聽覺刺激會(huì)提高視覺搜索的效率, 即視聽刺激空間一致性影響了Pip-and-Pop效應(yīng)。因此, Ngo和Spence認(rèn)為Pip-and-Pop效應(yīng)是視聽刺激整合引起的, 空間位置越一致, 視聽刺激越容易進(jìn)行整合, Pip-and-Pop效應(yīng)越大(Ngo & Spence, 2010a)。但Fleming等人(2020)研究表明, 行為與腦電結(jié)果均顯示視聽刺激空間位置一致與否對(duì)Pip-and-Pop效應(yīng)的影響差異不顯著, 他們由此提出空間一致性并不是Pip-and-Pop效應(yīng)產(chǎn)生的必要條件, 視聽刺激整合并沒有起到重要作用(Fleming et al., 2020)。上述兩個(gè)研究結(jié)果不一致的原因可能與刺激在空間排列上的差異有關(guān)。Ngo和Spence (2010a)將刺激隨機(jī)排列在10×10的隱形網(wǎng)格中, 按照搜索集大小在該隱形網(wǎng)格上的隨機(jī)位置呈現(xiàn)視覺刺激(Ngo & Spence, 2010a)。Fleming等人(2020)雖然也如此在隨機(jī)位置上呈現(xiàn)視覺刺激, 但他們縮小了搜索區(qū)域且增加了干擾線段的方向, 同時(shí)還增加了人機(jī)距離, 降低了視覺上的空間關(guān)聯(lián)性。所以本研究為了更好地建立空間關(guān)聯(lián)性, 將視覺搜索區(qū)域分為左右兩側(cè)(與中心點(diǎn)有明顯距離), 線段整齊地排列在網(wǎng)格中(以搜索集36為例, 左右分別為3×6的網(wǎng)格), 以此更明確地操縱空間一致性從而探究視聽空間一致性如何影響Pip-and-Pop效應(yīng)。

另一方面, 以往有關(guān)視聽刺激時(shí)間一致性對(duì)Pip-and-Pop效應(yīng)影響的研究結(jié)果也是不一致的。van der Burg等人(2008)使用動(dòng)態(tài)視覺搜索范式, 在研究中設(shè)置了8種聲音目標(biāo)間隔(Tone-Target- Interval, TTI)條件, 結(jié)果發(fā)現(xiàn)TTI為?100 ms、?50 ms、?25 ms、0 ms、25 ms、100 ms時(shí)(0 ms為同時(shí)呈現(xiàn), 負(fù)數(shù)為聽覺刺激提前呈現(xiàn), 正數(shù)為滯后呈現(xiàn)), 聽覺刺激才會(huì)促進(jìn)對(duì)視覺目標(biāo)的搜索, 視聽刺激同時(shí)呈現(xiàn)時(shí)的促進(jìn)作用最大, 且聲音目標(biāo)間隔與反應(yīng)時(shí)之間呈U型函數(shù)關(guān)系, 即視聽刺激呈現(xiàn)的時(shí)間一致性越高, 搜索越快。van der Burg等人認(rèn)為, 同時(shí)呈現(xiàn)的聽覺刺激以及在整合時(shí)間窗內(nèi)(?100～100 ms)呈現(xiàn)的聽覺刺激引發(fā)的搜索效率提高是由于跨通道整合增強(qiáng)了視覺目標(biāo)的凸顯性(van der Burg et al., 2008)。但也有研究發(fā)現(xiàn)視聽刺激時(shí)間一致性并不會(huì)影響Pip-and-Pop效應(yīng), Zou等人(2012)比較了0 ms、?100 ms以及聽覺刺激隨機(jī)時(shí)間呈現(xiàn)三種時(shí)間條件, 發(fā)現(xiàn)這三種條件都會(huì)促進(jìn)視覺目標(biāo)的搜索效率, 但它們之間沒有顯著差異, 因此Zou等人(2012)認(rèn)為Pip-and-Pop效應(yīng)是無(wú)空間信息的聽覺刺激引發(fā)的“冰凍效應(yīng)”所致, 即oddball刺激吸引注意的作用, 無(wú)論聽覺刺激何時(shí)呈現(xiàn)都會(huì)促進(jìn)視覺搜索, 而不是視聽刺激整合作用的結(jié)果(Zou et al., 2012)。

上述研究使用的搜索集大小不同, 在搜索集為48和60的研究中發(fā)現(xiàn)了視聽時(shí)間一致性對(duì)Pip- and-Pop效應(yīng)的影響(van der Burg et al., 2008; K?sem & van Wassenhove, 2012), 在搜索集36的研究中沒有發(fā)現(xiàn)視聽時(shí)間一致性對(duì)Pip-and-Pop效應(yīng)的影響(Zou et al., 2012)。所以搜索集大小可能在視聽時(shí)間一致性影響Pip-and-Pop效應(yīng)的過程中起著調(diào)節(jié)作用。此外, 在視聽空間一致性影響Pip-and- Pop效應(yīng)的研究中, 搜索集大小在其中的調(diào)節(jié)作用也是不一致的(Ngo & Spence, 2010a; Fleming et al., 2020)?？赡艿脑蚴窃谒阉骷^小的條件下知覺負(fù)荷較低, 只要聽覺刺激存在, 無(wú)論其是否與視覺目標(biāo)空間或時(shí)間上一致都可以提高視覺搜索效率。為了進(jìn)一步確定這個(gè)問題, 本研究引入搜索集大小這一變量, 通過行為與眼動(dòng)兩方面數(shù)據(jù)探究在不同知覺負(fù)荷下視聽刺激時(shí)間一致性和空間一致性對(duì)Pip-and-Pop效應(yīng)的影響。

基于上述視聽刺激空間、時(shí)間一致性對(duì)Pip-and-Pop效應(yīng)的影響研究結(jié)論并不一致, 視覺搜索任務(wù)中的行為反應(yīng)時(shí)只能反映聽覺刺激是否提高了搜索效率, 而眼動(dòng)數(shù)據(jù)可以根據(jù)眼跳和掃視等反映搜索中的實(shí)時(shí)信息處理過程。具體來(lái)說, 通過平均注視次數(shù)反映知覺負(fù)荷大小, 平均眼跳幅度反映在眼跳前被試獲取的信息量, 從而揭示聽覺刺激具體如何提高搜索效率。此外, 平均注視時(shí)間可以衡量是否有冰凍效應(yīng)產(chǎn)生, 從而說明Pip-and- Pop效應(yīng)的產(chǎn)生是否有oddball刺激吸引注意的作用, 進(jìn)而可以探究Pip-and-Pop效應(yīng)的產(chǎn)生機(jī)制。所以本研究將眼動(dòng)技術(shù)運(yùn)用到動(dòng)態(tài)視覺搜索范式中, 通過兩個(gè)實(shí)驗(yàn)考察以下兩個(gè)問題：(1)調(diào)控搜索集大小和聽覺刺激呈現(xiàn)位置, 探究視聽刺激空間一致性如何影響Pip-and-Pop效應(yīng)。(2)調(diào)控搜索集大小和聽覺刺激與視覺目標(biāo)的間隔時(shí)間, 探究視聽刺激時(shí)間一致性如何影響Pip-and-Pop效應(yīng)。如果Pip-and-Pop效應(yīng)產(chǎn)生的原因是多感覺整合, 那么Pip-and-Pop效應(yīng)遵循空間一致性和時(shí)間一致性原則, 即視聽刺激呈現(xiàn)的空間位置越一致, 產(chǎn)生的Pip-and-Pop效應(yīng)越大; 視聽刺激呈現(xiàn)的時(shí)間越一致, 產(chǎn)生的Pip-and-Pop效應(yīng)越大。如果Pip-and-Pop效應(yīng)產(chǎn)生的原因是oddball刺激吸引注意, 那么無(wú)論空間和時(shí)間一致與否, 突然出現(xiàn)的聽覺刺激都應(yīng)影響視覺搜索效率。

2 實(shí)驗(yàn)1：視聽空間一致性對(duì)Pip-and-Pop效應(yīng)的影響

2.1 方法

2.1.1 被試

采用G*Power toolbox 3.1.9.2計(jì)算實(shí)驗(yàn)所需最小樣本量(Erdfelder et al., 2009; Faul et al., 2007)。根據(jù)聽覺刺激對(duì)視覺搜索影響的研究(Ngo & Spence, 2012), 重復(fù)測(cè)量方差分析時(shí)視聽空間一致性的效應(yīng)量ηp2= 0.43, 設(shè)置參數(shù)I類錯(cuò)誤的概率α error prob為0.05, 檢驗(yàn)效能Power (1 ? β err prob)為0.9, 計(jì)算得到最小樣本量為24。為避免眼動(dòng)數(shù)據(jù)缺失導(dǎo)致樣本量不足, 在大學(xué)生中招募被試32名, 其中8名被試在實(shí)驗(yàn)中有過多眨眼導(dǎo)致數(shù)據(jù)缺失被剔除, 實(shí)際樣本量為24人(男生5名, 女生19名), 年齡19至28歲, 平均年齡22.5歲(= 2.3)。所有被試均為右利手, 聽力、視力或矯正視力正常, 無(wú)色盲色弱。在實(shí)驗(yàn)完成后被試會(huì)獲得相應(yīng)的報(bào)酬。

2.1.2 實(shí)驗(yàn)儀器和材料

實(shí)驗(yàn)采用Eyelink 1000 Plus紅外反射系統(tǒng)眼動(dòng)記錄儀(SR Research, Canada), 記錄被試右眼眼動(dòng)數(shù)據(jù), 采樣頻率為1000 Hz。視覺刺激呈現(xiàn)在Dell液晶顯示器上, 型號(hào)為P1914SF, 屏幕可視尺寸為19英寸, 屏幕分辨率為1024×768像素, 刷新率為75 Hz。被試距離電腦屏幕75 cm。實(shí)驗(yàn)程序使用Matlab2016a軟件和Psychtoolbox、Eyelink Toolbox編制。

實(shí)驗(yàn)1視覺刺激如圖1所示, 由多個(gè)干擾線段(傾斜方向分別為22.5°, 45°, 67.5°, 112.5°, 135°, 157.5°)和1個(gè)目標(biāo)線段(水平或者垂直, 目標(biāo)方向在試次中平衡)組成。所有線段一半為紅色(13.9 cd/m2), 另一半為綠色(46.4 cd/m2), 呈現(xiàn)在黑色(0.4 cd/m2)背景的屏幕上, 每個(gè)線段大小為0.57°×0.17°。實(shí)驗(yàn)中有3個(gè)搜索集, 分別為36, 48, 60 (圖1以36為例)。視覺刺激分成相等的兩個(gè)矩陣, 呈現(xiàn)在屏幕左右兩側(cè)(搜索集為36時(shí)：每側(cè)3.4°×8.5°; 搜索集為48時(shí)：每側(cè)5.1°×8.5°; 搜索集為60時(shí)：每側(cè)6.8°×8.5°), 兩側(cè)刺激到中央注視點(diǎn)水平距離為3.74°。實(shí)驗(yàn)過程中, 線段不斷進(jìn)行紅綠顏色變化, 每次變化的線段數(shù)量不同(搜索集為36時(shí), 每次1、3或5個(gè)線段顏色隨機(jī)變化; 搜索集為48時(shí), 每次1、4或7個(gè)線段顏色隨機(jī)變化; 搜索集為60時(shí), 每次1、5或9個(gè)線段顏色隨機(jī)變化)。變化間隔為50、100或者150 ms, 三種變化間隔隨機(jī)出現(xiàn), 共有9個(gè)變化間隔(一個(gè)變化周期), 以此避免視覺刺激在進(jìn)行連續(xù)變化時(shí)有很高的規(guī)律性。目標(biāo)線段顏色變化遵循以下3種規(guī)則：(1)目標(biāo)線段顏色單獨(dú)變化, 并且每個(gè)周期只能改變一次, 目標(biāo)線段顏色變化的平均頻率為1.11 Hz (即每900 ms變化一次); (2)目標(biāo)顏色變化之前是150 ms的變化間隔, 目標(biāo)顏色變化之后是100 ms的變化間隔。由于視聽整合的時(shí)間窗大約為±100 ms, 在目標(biāo)變化前后的時(shí)間間隔如此設(shè)置以確保明確的視聽整合; (3)每個(gè)周期的前三個(gè)間隔目標(biāo)線段顏色不會(huì)變化。

聽覺刺激為1000 Hz的純音(65 dB, 60 ms, 包括5 ms淡入和5 ms淡出的時(shí)間), 通過位于屏幕后左右兩側(cè)的揚(yáng)聲器呈現(xiàn)。聽覺刺激的呈現(xiàn)分4種情況(見圖1)：(1)無(wú)聲音條件：不呈現(xiàn)聽覺刺激; (2)同側(cè)條件(提供有效空間信息條件)：聽覺刺激與視覺目標(biāo)同側(cè)呈現(xiàn), 即視覺目標(biāo)在右側(cè), 聽覺刺激從右聲道發(fā)出; 視覺目標(biāo)在左側(cè), 聽覺刺激從左聲道發(fā)出; (3)對(duì)側(cè)條件(提供無(wú)效空間信息條件)：聽覺刺激與視覺目標(biāo)對(duì)側(cè)呈現(xiàn), 即視覺目標(biāo)在右側(cè), 聽覺刺激從左聲道發(fā)出; 視覺目標(biāo)在左側(cè), 聽覺刺激從右聲道發(fā)出; (4)雙側(cè)條件(不提供空間信息條件)：無(wú)論視覺刺激在左側(cè)還是右側(cè), 聽覺刺激都從雙聲道發(fā)出, 形成一個(gè)在中間位置的聽覺刺激。

2.1.3 實(shí)驗(yàn)設(shè)計(jì)和程序

實(shí)驗(yàn)1采用3 (搜索集大?。?6, 48, 60) × 4 (視聽空間一致性：無(wú)聲音, 同側(cè), 對(duì)側(cè), 雙側(cè))兩因素被試內(nèi)實(shí)驗(yàn)設(shè)計(jì)。在正式實(shí)驗(yàn)之前先進(jìn)行聽覺定位測(cè)試, 讓被試辨別聽覺刺激的方向, 正確區(qū)分來(lái)自不同空間位置的聲音后繼續(xù)進(jìn)行實(shí)驗(yàn)。為了減少頭動(dòng)以獲取更準(zhǔn)確的眼動(dòng)數(shù)據(jù), 實(shí)驗(yàn)開始前, 指導(dǎo)被試前額抵住前額靠, 下巴放在下巴托上, 進(jìn)行九點(diǎn)校準(zhǔn)。校準(zhǔn)完成后, 開始實(shí)驗(yàn)。

具體實(shí)驗(yàn)流程如圖1所示, 每個(gè)試次呈現(xiàn)之前, 屏幕中央會(huì)呈現(xiàn)一個(gè)漂移校準(zhǔn)點(diǎn), 校準(zhǔn)成功后校準(zhǔn)點(diǎn)消失, 然后呈現(xiàn)中央注視點(diǎn), 1000 ms后出現(xiàn)搜索屏, 要求被試既快又準(zhǔn)的找到目標(biāo)線段, 并通過按鍵(Z鍵或M鍵)反應(yīng)判斷目標(biāo)線段是垂直還是水平, 按鍵在被試之間平衡。如果9個(gè)間隔呈現(xiàn)完之后被試沒有按鍵反應(yīng), 則再次循環(huán)呈現(xiàn)實(shí)驗(yàn)刺激, 直到被試做出反應(yīng)再進(jìn)入下一個(gè)試次。實(shí)驗(yàn)要求被試忽略聽覺刺激。

正式實(shí)驗(yàn)包括6組, 每種搜索集2組, 每組有96個(gè)試次, 4種視聽空間一致性條件在每組中隨機(jī)呈現(xiàn), 共576個(gè)試次。每組之前都有一個(gè)練習(xí)實(shí)驗(yàn), 包括20個(gè)試次。組之間允許被試休息, 每組開始之前都要進(jìn)行九點(diǎn)校準(zhǔn)。整個(gè)實(shí)驗(yàn)大約持續(xù)90分鐘。

2.1.4 數(shù)據(jù)分析

正確率(Accuracy)指被試正確完成試次的概率。反應(yīng)時(shí)(Reaction time)指搜索屏呈現(xiàn)到被試做出反應(yīng)之間的時(shí)間間隔。搜索效率指在正確反應(yīng)的基礎(chǔ)上, 反應(yīng)的快慢。反應(yīng)時(shí)越長(zhǎng), 說明被試找到目標(biāo)的速度越慢, 搜索效率越低; 反應(yīng)時(shí)越短, 說明被試找到目標(biāo)的速度越快, 搜索效率越高。

反應(yīng)時(shí)和正確率只能說明聽覺刺激能否提高搜索效率, 為了進(jìn)一步探究聽覺刺激具體如何影響搜索效率, 根據(jù)以往研究選擇了3個(gè)眼動(dòng)指標(biāo)(Zou et al., 2012)：(1)平均注視次數(shù)(Mean fixation number)指落入當(dāng)前興趣區(qū)注視點(diǎn)的次數(shù)。該指標(biāo)可以有效地反映知覺負(fù)荷大小, 知覺負(fù)荷越大, 平均注視次數(shù)越多, 搜索效率越低; (2)平均眼跳幅度(Mean saccade amplitude)指從當(dāng)前注視到下一次注視之間的距離。眼跳幅度越大, 說明被試在眼跳前獲取的信息越多, 搜索效率越高; (3)平均注視時(shí)間(Mean fixation duration)指落入當(dāng)前興趣區(qū)所有注視點(diǎn)的注視時(shí)間的平均。該指標(biāo)反應(yīng)整體的加工過程, Zou等(2012)用該指標(biāo)衡量冰凍效應(yīng), 探究呈現(xiàn)的聽覺刺激是否拓展了平均注視時(shí)間。

圖1 實(shí)驗(yàn)1流程圖和視聽刺激呈現(xiàn)條件圖

注：圖1a為實(shí)驗(yàn)1流程圖, 首先進(jìn)行漂移校準(zhǔn), 校準(zhǔn)后呈現(xiàn)中央注視點(diǎn), 1000 ms后呈現(xiàn)搜索屏。搜索屏以視聽刺激條件中的無(wú)聲音條件為例, 視覺刺激以搜索集36為例, 包括35個(gè)干擾線段, 1個(gè)目標(biāo)線段。圖1b分別為視聽刺激條件中的同側(cè)條件、對(duì)側(cè)條件、雙側(cè)條件(詳情閱讀方法部分)。

為了考察視聽空間一致性和搜索集對(duì)Pip-and- Pop效應(yīng)的影響, 對(duì)所有指標(biāo)都進(jìn)行了3 (搜索集大?。?6, 48, 60) × 4 (視聽空間一致性：無(wú)聲音, 同側(cè), 對(duì)側(cè), 雙側(cè))的重復(fù)測(cè)量方差分析。

2.2 結(jié)果與分析

剔除反應(yīng)錯(cuò)誤以及反應(yīng)過快和過慢的試次, 反應(yīng)過快指目標(biāo)首次變化前被試就已經(jīng)做出反應(yīng)的試次, 反應(yīng)過慢指被試在目標(biāo)變化了10次及以上依舊沒有做出反應(yīng)的試次(van der Burg et al., 2008)。最終剔除試次占總試次的5.5%。

2.2.1 正確率

所有被試的正確率均達(dá)到98%以上, 正確率方差分析結(jié)果發(fā)現(xiàn)搜索集大小主效應(yīng)不顯著,(2, 46) = 0.74,= 0.48; 視聽刺激空間一致性主效應(yīng)不顯著,(3, 69) = 0.25,= 0.86; 二者交互作用不顯著,(6, 138) = 0.66,= 0.68。各個(gè)實(shí)驗(yàn)條件下的正確率均較高。

2.2.2 反應(yīng)時(shí)

反應(yīng)時(shí)方差分析結(jié)果發(fā)現(xiàn)搜索集大小主效應(yīng)顯著,(2, 46) = 5.34,= 0.008, ηp2= 0.19, 進(jìn)一步分析表明, 搜索集為60條件的反應(yīng)時(shí)(3.5 s)顯著長(zhǎng)于搜索集為48條件(3.3 s,= 0.03)和搜索集為36條件的反應(yīng)時(shí)(3.2 s,= 0.004), 后兩者之間無(wú)顯著差異(= 0.47)。視聽刺激空間一致性主效應(yīng)顯著,(3, 69) = 11.86,< 0.001, ηp2= 0.34, 進(jìn)一步分析表明, 同側(cè)條件的反應(yīng)時(shí)(3.07 s)最短, 并且顯著短于雙側(cè)條件(3.27 s,= 0.006)、對(duì)側(cè)條件(3.50 s,< 0.001)以及無(wú)聲音條件(3.43 s,< 0.001)的反應(yīng)時(shí)。雙側(cè)條件的反應(yīng)時(shí)也顯著短于對(duì)側(cè)條件(= 0.005)和無(wú)聲音條件(= 0.038)的反應(yīng)時(shí)。對(duì)側(cè)條件的反應(yīng)時(shí)最長(zhǎng), 并且和無(wú)聲音條件無(wú)顯著差異(= 0.35)。搜索集大小和視聽空間一致性的交互作用不顯著,(6, 138) = 0.46,= 0.84 (見圖2a)。

圖2 實(shí)驗(yàn)1結(jié)果圖

注：圖a、b、c、d分別為不同條件下的反應(yīng)時(shí)(s)、平均注視次數(shù)(次)、平均眼跳幅度(度)、平均注視時(shí)間(ms)的結(jié)果。

2.2.3 眼動(dòng)數(shù)據(jù)

(1)平均注視次數(shù)

平均注視次數(shù)方差分析結(jié)果發(fā)現(xiàn)搜索集大小主效應(yīng)顯著,(2, 46) = 3.44,= 0.04, ηp2= 0.13, 進(jìn)一步分析表明, 搜索集為60條件的注視次數(shù)(14.20次)顯著多于搜索集為36條件(13.11次,= 0.01)的注視次數(shù)。搜索集為48條件(13.57次)的注視次數(shù)與搜索集為60條件(0.183)和搜索集為36條件(0.261)的注視次數(shù)都無(wú)顯著差異。視聽刺激空間一致性主效應(yīng)顯著,(3, 69) = 7.45,< 0.001, ηp2= 0.25, 進(jìn)一步分析表明, 同側(cè)條件的注視次數(shù)(12.77次)最少, 并且顯著少于雙側(cè)條件(13.45次,= 0.02)、對(duì)側(cè)條件(14.16次,= 0.002)以及無(wú)聲音條件(14.12次,= 0.003)的注視次數(shù)。雙側(cè)條件的注視次數(shù)顯著少于對(duì)側(cè)條件(0.036)以及無(wú)聲音條件(0.048)的注視次數(shù)。對(duì)側(cè)注視次數(shù)最多, 并且和無(wú)聲音條件無(wú)顯著差異(= 0.90)。搜索集大小和視聽空間一致性的交互作用不顯著,(6, 138) = 0.92,= 0.48(見圖2b)。

(2)平均眼跳幅度

平均眼跳幅度方差分析結(jié)果發(fā)現(xiàn)搜索集大小主效應(yīng)顯著,(2, 46) = 63.31,< 0.001, ηp2= 0.73, 進(jìn)一步分析表明, 搜索集為60條件的眼跳幅度(4.96°)顯著大于搜索集為48條件(4.50°,< 0.001)和搜索集為36條件(4.21°,< 0.001)的眼跳幅度, 搜索集為48條件的眼跳幅度顯著大于搜索集為36條件(< 0.001)的眼跳幅度。視聽空間一致性主效應(yīng)顯著,(3, 69) = 5.63,= 0.002, ηp2= 0.20, 進(jìn)一步分析表明, 同側(cè)條件的眼跳幅度(4.64°)最大, 且顯著大于雙側(cè)條件(4.55°,= 0.017), 對(duì)側(cè)條件(4.54°,= 0.028)以及無(wú)聲音條件(4.49°,< 0.001)的眼跳幅度, 雙側(cè)條件與對(duì)側(cè)條件(= 0.875)和無(wú)聲音條件(= 0.154)無(wú)顯著差異, 對(duì)側(cè)條件與無(wú)聲音條件也無(wú)顯著差異(= 0.156)。

搜索集大小和視聽空間一致性的交互作用顯著,(6, 138) = 5.61,< 0.001, ηp2= 0.20。簡(jiǎn)單效應(yīng)分析發(fā)現(xiàn), 只有在搜索集為60條件下, 不同視聽刺激空間一致性條件有顯著差異,(3, 21) = 13.05,< 0.001, ηp2= 0.65。同側(cè)條件的眼跳幅度(5.14°)最大, 并且顯著大于對(duì)側(cè)條件(4.87°,< 0.001)以及無(wú)聲音條件(4.80°,= 0.001)的眼跳幅度, 與雙側(cè)條件(5.03°,= 0.34)的眼跳幅度無(wú)顯著差異。雙側(cè)條件的眼跳幅度也顯著大于無(wú)聲音條件(= 0.004)和對(duì)側(cè)條件(= 0.018)的眼跳幅度。無(wú)聲音條件的眼跳幅度最小, 和對(duì)側(cè)條件無(wú)顯著差異(= 0.42)。在搜索集為48和搜索集為36條件下, 不同視聽刺激空間一致性條件無(wú)顯著差異,(3, 21) = 2.37,= 0.099;(3, 21) = 1.24,= 0.32 (見圖2c)。

(3)平均注視時(shí)間

平均注視時(shí)間方差分析結(jié)果發(fā)現(xiàn)搜索集大小主效應(yīng)不顯著,(2, 46) = 0.51,= 0.60; 視聽刺激空間一致性主效應(yīng)不顯著,(3, 69) = 1.52,= 0.22; 二者交互作用不顯著,(6, 138) = 0.87,= 0.52 (見圖2d)。

本實(shí)驗(yàn)進(jìn)一步分析了4種條件下(視覺目標(biāo)出現(xiàn)在同一位置上)的眼動(dòng)軌跡和熱點(diǎn)圖(以搜索集60為例, 見圖3)。與無(wú)聲音的基線條件相比, 同側(cè)條件下的搜索效率最高, 注視次數(shù)最少, 雙側(cè)條件次之。雖然對(duì)側(cè)條件的注視次數(shù)比無(wú)聲音的注視次數(shù)少一些, 但相比于其他兩個(gè)條件, 注視次數(shù)明顯增多, 搜索效率明顯降低。

2.3 討論

實(shí)驗(yàn)1通過操縱搜索集大小與聽覺刺激呈現(xiàn)位置, 考察視聽空間一致性對(duì)Pip-and-Pop效應(yīng)的影響。結(jié)果發(fā)現(xiàn), 與無(wú)聲音的基線條件相比, 同側(cè)條件下的反應(yīng)時(shí)最短, 搜索過程中的平均注視次數(shù)最少, 平均眼跳幅度最大, 表明同側(cè)條件下的搜索效率最高, 即同側(cè)條件所產(chǎn)生的Pip-and-Pop效應(yīng)最大; 其次雙側(cè)條件也產(chǎn)生了Pip-and-Pop效應(yīng), 但產(chǎn)生的效應(yīng)比同側(cè)條件弱; 而對(duì)側(cè)條件在上述指標(biāo)中與無(wú)聲音條件無(wú)顯著差異, 即對(duì)側(cè)條件下沒有發(fā)現(xiàn)Pip-and-Pop效應(yīng)。實(shí)驗(yàn)結(jié)果表明, 視聽刺激空間一致性對(duì)Pip-and-Pop效應(yīng)產(chǎn)生了影響, 視聽刺激在空間位置上越一致, 所產(chǎn)生的Pip-and-Pop效應(yīng)越大。

同側(cè)條件下, 當(dāng)聽覺刺激從目標(biāo)側(cè)聲道發(fā)出, 在聽覺刺激的有效空間信息的作用下, 被試可以直接定位到目標(biāo)側(cè)進(jìn)行搜索, 在目標(biāo)側(cè)通過少量注視, 大幅度眼跳快速地搜索到目標(biāo)線段, 搜索時(shí)間短, 效率高, 所以產(chǎn)生的Pip-and-Pop效應(yīng)最大。這說明聽覺刺激可能被當(dāng)作提示線索, 從而導(dǎo)致搜索效率的提高。但聽覺刺激引導(dǎo)被試到同側(cè)后并沒有立即定位到目標(biāo)位置, 在接下來(lái)的搜索過程中, 聽覺刺激仍然起到增強(qiáng)視覺目標(biāo)變化凸顯性的作用, 因?yàn)樵陔p側(cè)條件下, 即使沒有提示線索的作用, 也發(fā)現(xiàn)了Pip-and-Pop效應(yīng)。所以可能是聽覺刺激的提示及其與視覺目標(biāo)整合的共同作用導(dǎo)致搜索效率的提高, 產(chǎn)生Pip-and-Pop效應(yīng)。而對(duì)側(cè)條件下, 當(dāng)聽覺刺激從非目標(biāo)側(cè)聲道發(fā)出, 在聽覺刺激的無(wú)效空間信息作用下, 被試先在非目標(biāo)側(cè)進(jìn)行大量搜索后再回到目標(biāo)側(cè)搜索, 在非目標(biāo)側(cè)進(jìn)行多次注視, 眼跳幅度不斷縮小進(jìn)行細(xì)致搜索, 沒有發(fā)現(xiàn)目標(biāo)線段后再回到目標(biāo)側(cè)進(jìn)行搜索, 相比于同側(cè)條件, 對(duì)側(cè)條件在非目標(biāo)側(cè)的無(wú)效搜索產(chǎn)生了搜索成本, 通過兩個(gè)條件的注視次數(shù)差異熱點(diǎn)圖也可以明顯地發(fā)現(xiàn)對(duì)側(cè)條件在非目標(biāo)側(cè)上的搜索成本(見圖 3), 所以同側(cè)條件的搜索效率顯著高于對(duì)側(cè)條件。以往研究發(fā)現(xiàn)與不提供空間信息的聽覺刺激相比, 提供空間信息的聽覺刺激能夠減少被試辨別和檢測(cè)目標(biāo)的潛伏期(Perrott et al., 1990)。因此, 聽覺線索和視覺目標(biāo)在空間位置上一致可以有效的將被試的空間注意指向視覺目標(biāo), 更加利于被試搜索到視覺目標(biāo)。此外, 也有研究發(fā)現(xiàn)來(lái)自不同通道的刺激位置接近時(shí), 產(chǎn)生的多感覺相互作用最強(qiáng); 不同通道的刺激之間空間距離增加時(shí)多感覺相互作用減弱(Lewald et al., 2001; Slutsky & Recanzone, 2001; Soto-Faraco et al., 2003; Stein & Stanford, 2008)。綜上, 本實(shí)驗(yàn)中的同側(cè)條件可能是聽覺刺激的提示作用和視、聽刺激方位一致產(chǎn)生了較強(qiáng)的多感覺相互作用, 二者共同促進(jìn)了搜索效率, 所以產(chǎn)生的Pip-and-Pop效應(yīng)最大; 而對(duì)側(cè)條件可能是聽覺刺激的無(wú)效提示作用和兩個(gè)通道刺激方位不一致, 距離增大, 多感覺相互作用減弱, 所以不足以產(chǎn)生Pip-and-Pop效應(yīng)。

圖3 實(shí)驗(yàn)1眼動(dòng)軌跡和熱點(diǎn)圖

注：圖3a分別為4種聲音條件的眼動(dòng)軌跡圖, 其中黃色線路代表眼動(dòng)軌跡, 小圓圈代表注視次數(shù)。圖3b為各個(gè)條件之間對(duì)比的差異熱點(diǎn)圖, 其中每個(gè)熱點(diǎn)圖中vs左側(cè)條件為藍(lán)色, 右側(cè)條件為紅色。

實(shí)驗(yàn)中的雙側(cè)條件也產(chǎn)生了Pip-and-Pop效應(yīng), 因?yàn)楫?dāng)聽覺刺激從雙聲道發(fā)出, 形成了無(wú)空間信息的聽覺刺激, 無(wú)空間信息的聽覺刺激和視覺目標(biāo)同步呈現(xiàn)時(shí), 聽覺刺激促進(jìn)了視覺目標(biāo)的識(shí)別(Giard & Peronnet, 1999; Ngo & Spence, 2012; Yang et al., 2014)。研究中對(duì)目標(biāo)識(shí)別的促進(jìn)可能是多感覺整合的促進(jìn)效應(yīng)(multisensory performance improvement effects), 類似于以往研究中的冗余信號(hào)效應(yīng)(redundant signals effect, RSE) (Mishler & Neider, 2016; Mishler & Neider, 2018), 即個(gè)體對(duì)多通道刺激的反應(yīng)比單通道刺激反應(yīng)更加快速和準(zhǔn)確(van den Brink et al., 2014; van der Stoep et al., 2015)。以往研究也發(fā)現(xiàn)多感覺整合后的刺激比單通道刺激更容易吸引注意(Lunn et al., 2019)。此外, Zou等(2012)研究發(fā)現(xiàn), 當(dāng)同步呈現(xiàn)聽覺刺激時(shí), 與非目標(biāo)側(cè)相比, 目標(biāo)側(cè)的注視次數(shù)更多, 說明被試更可能拒絕沒有視覺目標(biāo)的一側(cè), 并且快速的將眼跳指向目標(biāo)所在的一側(cè)(Zou et al., 2012)。雖然雙側(cè)條件下的聽覺刺激沒有提供有效空間信息, 但雙通道的整合促進(jìn)作用和雙通道刺激吸引更多注意使搜索效率提高, 無(wú)空間信息的聽覺刺激對(duì)于眼動(dòng)的調(diào)節(jié)也可以使搜索效率提高, 從而產(chǎn)生Pip-and-Pop效應(yīng)。

綜上所述, Pip-and-Pop效應(yīng)是通過減少注視次數(shù), 增加眼跳幅度, 進(jìn)而縮短搜索時(shí)間產(chǎn)生的。實(shí)驗(yàn)1無(wú)論是反應(yīng)時(shí)結(jié)果還是眼動(dòng)指標(biāo)結(jié)果都表明, 視聽刺激空間一致性對(duì)Pip-and-Pop效應(yīng)產(chǎn)生了影響, 視聽刺激在空間位置上越一致, 所產(chǎn)生的Pip-and-Pop效應(yīng)越大。

3 實(shí)驗(yàn)2：視聽時(shí)間一致性對(duì)Pip-and-Pop效應(yīng)的影響

實(shí)驗(yàn)2的目的是考察Pip-and-Pop效應(yīng)是否遵循時(shí)間原則, 即時(shí)間一致性對(duì)Pip-and-Pop效應(yīng)是否具有調(diào)節(jié)作用。

3.1 方法

3.1.1 被試

采用G*Power toolbox 3.1.9.2計(jì)算實(shí)驗(yàn)所需最小樣本量(Erdfelder et al., 2009; Faul et al., 2007)。根據(jù)聽覺刺激對(duì)視覺搜索影響的研究(van der Burg et al., 2008), 重復(fù)測(cè)量方差分析時(shí)視聽時(shí)間一致性的效應(yīng)量ηp2= 0.53, 設(shè)置參數(shù)I類錯(cuò)誤的概率α error prob為0.05, 檢驗(yàn)效能Power (1 ? β err prob)為 0.9, 計(jì)算得到最小樣本量為24。為避免眼動(dòng)數(shù)據(jù)缺失導(dǎo)致樣本量不足, 在大學(xué)生中招募被試35名, 其中8名被試在實(shí)驗(yàn)中有過多眨眼導(dǎo)致數(shù)據(jù)缺失被剔除, 實(shí)際樣本量為27人(男生5名, 女生22名), 年齡18至25歲, 平均年齡20.7歲(= 2.4)。所有被試均為右利手, 聽力、視力或矯正視力正常, 無(wú)色盲色弱。在實(shí)驗(yàn)完成后被試會(huì)獲得相應(yīng)的報(bào)酬。

3.1.2 實(shí)驗(yàn)儀器和材料

實(shí)驗(yàn)儀器同實(shí)驗(yàn)1。視覺刺激材料有兩點(diǎn)不同于實(shí)驗(yàn)1：第一, 本實(shí)驗(yàn)中搜索集大小為36和60, 由于實(shí)驗(yàn)1中只在平均眼跳幅度這個(gè)指標(biāo)上發(fā)現(xiàn)了搜索集48與36和60有顯著差異, 而反應(yīng)時(shí)、平均注視次數(shù)以及平均注視時(shí)間上均無(wú)顯著差異, 所以取消了搜索集為48的條件。第二, 在聽覺刺激與視覺目標(biāo)變化不一致呈現(xiàn)條件下, 為了使聽覺刺激與視覺干擾刺激的變化同步呈現(xiàn), 將本實(shí)驗(yàn)中的線段變化間隔由實(shí)驗(yàn)1中的50 ms、100 ms、150 ms三種改為100 ms一種變化間隔。

聽覺刺激材料同實(shí)驗(yàn)1。聽覺刺激與視覺目標(biāo)顏色變化之間的時(shí)間間隔(TTI：tone–target interval)有6種：(1)無(wú)聲音條件：不呈現(xiàn)聽覺刺激; (2) TTI = ?200 ms條件：聽覺刺激先于視覺目標(biāo)顏色變化200 ms呈現(xiàn); (3) TTI = ?100 ms條件：聽覺刺激先于視覺目標(biāo)顏色變化100 ms呈現(xiàn); (4) TTI = 0 ms條件：聽覺刺激與視覺目標(biāo)顏色變化同步呈現(xiàn); (5) TTI = 100 ms條件：聽覺刺激晚于視覺目標(biāo)顏色變化100 ms呈現(xiàn); (6) TTI = 200 ms條件：聽覺刺激晚于視覺目標(biāo)顏色變化200 ms呈現(xiàn)。

3.1.3 實(shí)驗(yàn)設(shè)計(jì)和程序

實(shí)驗(yàn)采用2 (搜索集大小：36, 60) × 6 (視聽時(shí)間一致性：無(wú)聲音條件, ?200 ms, ?100 ms, 0 ms, 100 ms, 200 ms)兩因素被試內(nèi)實(shí)驗(yàn)設(shè)計(jì)。實(shí)驗(yàn)具體流程如圖4a所示, 與實(shí)驗(yàn)1的實(shí)驗(yàn)流程完全一致。正式實(shí)驗(yàn)包括12組, 每種搜索集大小和視聽刺激時(shí)間一致性條件分別在不同組中呈現(xiàn), 每組有48個(gè)試次, 共576個(gè)試次。每組之前都有12個(gè)練習(xí)試次。組間允許被試休息, 整個(gè)實(shí)驗(yàn)大約持續(xù)90分鐘。

圖4 實(shí)驗(yàn)2流程和視聽刺激條件圖

注：圖4a為實(shí)驗(yàn)2流程圖, 首先進(jìn)行漂移校準(zhǔn), 校準(zhǔn)后呈現(xiàn)中央注視點(diǎn), 1000 ms后呈現(xiàn)搜索屏。搜索屏以視聽刺激條件中的無(wú)聲音條件為例, 視覺刺激以搜索集36為例, 包括35個(gè)干擾線段, 1個(gè)目標(biāo)線段。圖4b是6種TTI (聽覺刺激與視覺刺激之間的時(shí)間間隔：tone-target-interval)條件, 其中黑色線段是指目標(biāo)線段顏色變化; 灰色線段是指干擾線段顏色變化; 小喇叭是指發(fā)出聽覺刺激(詳情閱讀方法部分)。

3.1.4 數(shù)據(jù)分析

選取指標(biāo)同實(shí)驗(yàn)1。為了考察視聽時(shí)間一致性和搜索集大小對(duì)Pip-and-Pop效應(yīng)的影響, 對(duì)所有指標(biāo)都進(jìn)行了2 (搜索集大?。?6, 60) × 6 (TTI：無(wú)聲音, ?200 ms, ?100 ms, 0 ms, 100 ms, 200 ms)的重復(fù)測(cè)量方差分析。

3.2 結(jié)果與分析

數(shù)據(jù)剔除標(biāo)準(zhǔn)同實(shí)驗(yàn)1。最終剔除試次占總試次的2%。

3.2.1 正確率

所有被試正確率均達(dá)到 98%以上, 正確率方差分析結(jié)果發(fā)現(xiàn)搜索集大小主效應(yīng)不顯著,(1, 26) = 0.49,= 0.49; TTI主效應(yīng)不顯著,(5, 130) = 0.89,= 0.49; 二者交互作用不顯著,(5, 130) = 1.64,= 0.15。各個(gè)實(shí)驗(yàn)條件下的正確率均較高。

3.2.2 反應(yīng)時(shí)

反應(yīng)時(shí)方差分析結(jié)果發(fā)現(xiàn)搜索集大小主效應(yīng)顯著,(1, 26) = 102.81,< 0.001, ηp2= 0.80, 進(jìn)一步分析表明, 搜索集為60條件的反應(yīng)時(shí)(4.61 s)顯著長(zhǎng)于搜索集為36條件(2.82 s)的反應(yīng)時(shí); TTI主效應(yīng)顯著,(5, 130) = 8.91,< 0.001, ηp2= 0.26, 進(jìn)一步分析表明, TTI為0 ms (2.73 s)時(shí), 反應(yīng)時(shí)最短, 并顯著短于其他5種TTI條件(s < 0.001)。其次是?100 ms條件(3.26 s,0.001)和100 ms條件(3.44 s,0.021)的反應(yīng)時(shí)都顯著短于無(wú)聲音條件(4.40 s)的反應(yīng)時(shí); ?200 ms條件(3.85 s,= 0.174)和200 ms條件的反應(yīng)時(shí)(4.60 s,= 0.744)與無(wú)聲音條件的反應(yīng)時(shí)無(wú)顯著差異; ?200 ms條件的反應(yīng)時(shí)顯著長(zhǎng)于?100 ms條件(= 0.001)的反應(yīng)時(shí), 200 ms條件的反應(yīng)時(shí)顯著長(zhǎng)于100 ms條件(0.001)的反應(yīng)時(shí)。

搜索集大小與TTI的交互作用顯著,(5, 130) = 3.96,= 0.002, ηp2= 0.13, 簡(jiǎn)單效應(yīng)分析發(fā)現(xiàn), 兩種搜索集條件下TTI主效應(yīng)顯著：在搜索集為60條件下,(5, 22) = 17.26,< 0.001, ηp2= 0.80, TTI為0 ms (3.35 s)時(shí), 反應(yīng)時(shí)最短, 并顯著短于其他5種TTI條件(s < 0.001)。其次是?100 ms條件(3.96 s,= 0.002)和100 ms條件(4.22 s,= 0.02)的反應(yīng)時(shí)都顯著短于無(wú)聲音條件(5.65s)的反應(yīng)時(shí); ?200 ms條件(4.77 s,= 0.15)和200 ms條件(5.74 s,=0.921)的反應(yīng)時(shí)與無(wú)聲音條件的反應(yīng)時(shí)無(wú)顯著差異。?200 ms條件的反應(yīng)時(shí)顯著長(zhǎng)于?100 ms條件(= 0.001)的反應(yīng)時(shí), 200 ms條件的反應(yīng)時(shí)顯著長(zhǎng)于100 ms條件(< 0.001)的反應(yīng)時(shí)。在搜索集為36條件下,(5, 22) = 8.30,< 0.001, ηp2= 0.65, 0 ms條件的反應(yīng)時(shí)(2.11 s)也最短, 并顯著短于其他5種TTI條件(s < 0.001)。其次是?100 ms條件(2.57 s)的反應(yīng)時(shí)顯著短于無(wú)聲音條件(3.15 s,= 0.01), 100 ms條件(2.67 s)的反應(yīng)時(shí)與無(wú)聲音條件無(wú)顯著差異(= 0.092); ?200 ms條件(2.93 s,= 0.372)和200 ms條件(3.47 s,= 0.489)的反應(yīng)時(shí)與無(wú)聲音條件的反應(yīng)時(shí)無(wú)顯著差異。?200 ms條件的反應(yīng)時(shí)與?100 ms條件的反應(yīng)時(shí)差異顯著(= 0.018), 200 ms條件的反應(yīng)時(shí)與100 ms條件的反應(yīng)時(shí)差異顯著(= 0.013) (見圖5a)。

3.2.3 眼動(dòng)數(shù)據(jù)

(1)平均注視次數(shù)

平均注視次數(shù)方差分析結(jié)果發(fā)現(xiàn)搜索集大小主效應(yīng)顯著,(1, 26) = 113.85,< 0.001, ηp2= 0.81, 進(jìn)一步分析表明, 搜索集為60條件的注視次數(shù)(16.88次)顯著多于搜索集為36條件(10.31次)的注視次數(shù)。TTI主效應(yīng)顯著,(5, 130) = 11.47,< 0.001, ηp2= 0.31, 進(jìn)一步分析表明, TTI為0 ms (9.85次)時(shí), 注視次數(shù)最少, 并顯著少于其他5種TTI條件(s < 0.001)。其次是?100 ms條件(11.93次,< 0.001)和100 ms條件(12.65次,= 0.006)的注視次數(shù)顯著少于無(wú)聲音條件(16.46次)的注視次數(shù)。?200 ms條件(14.03次,= 0.082)和200 ms條件(16.64次,= 0.926)的注視次數(shù)與無(wú)聲音條件的注視次數(shù)無(wú)顯著差異; ?200 ms條件的注視次數(shù)顯著多于?100 ms條件的注視次數(shù)(0.001), 200 ms條件的注視次數(shù)顯著多于100 ms條件的注視次數(shù)(0.001)。

搜索集大小與TTI的交互作用顯著,(5, 130) = 5.11,< 0.001, ηp2= 0.16, 簡(jiǎn)單效應(yīng)分析發(fā)現(xiàn), 兩種搜索集條件下TTI主效應(yīng)顯著：在搜索集為60條件下,(5, 22) = 19.33,< 0.001, ηp2= 0.82, TTI為0 ms (12.02次)時(shí), 注視次數(shù)最少, 并顯著少于其他5種TTI條件(s < 0.001)。其次是?100 ms條件(14.43次,= 0.001)和100 ms條件(15.56次,= 0.01)的注視次數(shù)顯著少于無(wú)聲音條件(20.90次)的注視次數(shù); ?200 ms條件(17.27次,= 0.079)和200 ms條件(20.10次,= 0.943)的注視次數(shù)與無(wú)聲音條件的注視次數(shù)無(wú)顯著差異; ?200 ms條件的注視次數(shù)顯著多于?100 ms條件的注視次數(shù)(< 0.001), 200 ms條件的注視次數(shù)顯著多于100 ms條件的注視次數(shù)(< 0.001)。在搜索集為36條件下,(5, 22) = 10.19,< 0.001, ηp2= 0.70, 0 ms條件的注視次數(shù)(7.68次)也最少, 并顯著少于其他5種TTI條件(s< 0.001)。其次是?100 ms條件(9.44次,0.002)和100 ms條件(9.75次,0.019)的注視次數(shù)顯著少于無(wú)聲音條件(12.02次)的注視次數(shù); ?200 ms條件(10.79次,0.18)和200 ms條件(12.19次,0.902)的注視次數(shù)與無(wú)聲音條件的注視次數(shù)無(wú)顯著差異。?200 ms條件的注視次數(shù)顯著多于?100 ms條件的注視次數(shù)(= 0.018), 200 ms條件的注視次數(shù)顯著多于100 ms條件的注視次數(shù)(0.006) (見圖5b)。

圖5 實(shí)驗(yàn)2結(jié)果圖

注：圖a、b、c、d分別為不同條件下的反應(yīng)時(shí)(s)、平均注視次數(shù)(次)、平均眼跳幅度(度)、平均注視時(shí)間(ms)的結(jié)果。

(2)平均眼跳幅度

平均眼跳幅度方差分析結(jié)果發(fā)現(xiàn)搜索集大小主效應(yīng)顯著,(1, 26) = 9.01,= 0.006, ηp2= 0.26, 進(jìn)一步分析表明, 搜索集為60條件的眼跳幅度(4.59°)顯著大于搜索集為36條件(4.37°)的眼跳幅度。TTI主效應(yīng)顯著,(5, 130) = 4.67,= 0.001, ηp2= 0.15, 進(jìn)一步分析表明, TTI為0 ms (4.78°)時(shí), 眼跳幅度最大, 并顯著大于其他5種TTI條件(< 0.021)。其次是?100 ms條件(4.49°,0.032)和100 ms條件(4.50°,0.003)顯著大于無(wú)聲音條件(4.25°)的眼跳幅度; ?200 ms條件(4.43°,0.055)和200 ms (4.45°,0.151)的眼跳幅度與無(wú)聲音條件的眼跳幅度無(wú)顯著差異; ?200 ms條件的眼跳幅度與?100 ms條件的眼跳幅度無(wú)顯著差異(0.545), 200 ms條件的眼跳幅度與100 ms條件的眼跳幅度無(wú)顯著差異(0.727)。搜索集大小與TTI的交互作用不顯著,(5, 130) = 2.13,= 0.066 (見圖5c)。

(3)平均注視時(shí)間

平均注視時(shí)間方差分析結(jié)果發(fā)現(xiàn)TTI的主效應(yīng)顯著,(5, 130) = 4.39,= 0.001, ηp2= 0.14, 進(jìn)一步分析表明, TTI為0 ms (245.04 ms)時(shí), 注視時(shí)間最長(zhǎng), 并顯著長(zhǎng)于其他5種TTI條件(s < 0.026)。100 ms條件(237.03 ms,= 0.031)和?100 ms條件(236.11 ms,= 0.036)的注視時(shí)間顯著長(zhǎng)于無(wú)聲音條件(228.14 ms)的注視時(shí)間; 200 ms條件(237.25 ms,0.061)和?200 ms條件(234.59 ms,0.187)的注視時(shí)間與無(wú)聲音條件的注視時(shí)間無(wú)顯著差異; 200 ms與100 ms的注視時(shí)間無(wú)顯著差異(0.909), ?200 ms與?100 ms的注視時(shí)間無(wú)顯著差異(0.691)。搜索集大小主效應(yīng)不顯著,(1, 26) = 1.42,= 0.25; 搜索集大小與TTI的交互作用不顯著,(5, 130) = 1.26,= 0.29 (見圖5d)。

3.3 討論

實(shí)驗(yàn)2通過操縱搜索集大小和聽覺刺激與視覺目標(biāo)的間隔時(shí)間, 考察視聽刺激時(shí)間一致性對(duì)Pip-and-Pop效應(yīng)的影響。結(jié)果發(fā)現(xiàn), 與無(wú)聲音的基線條件相比, 聽覺刺激與視覺目標(biāo)顏色變化之間的時(shí)間間隔(TTI)在0 ms, ?100 ms, 100 ms條件下, 搜索反應(yīng)時(shí)都顯著變短, 搜索過程中的注視次數(shù)減少,平均眼跳幅度增加, 平均注視時(shí)間變長(zhǎng); 當(dāng)TTI為?200 ms和200 ms時(shí), 與無(wú)聲音條件無(wú)顯著差異。這說明TTI在?100 ms到100 ms產(chǎn)生了Pip-and-Pop效應(yīng), 其中TTI為0 ms時(shí)Pip-and-Pop效應(yīng)最大, ?200 ms和200 ms兩種條件沒有產(chǎn)生Pip-and-Pop效應(yīng)。實(shí)驗(yàn)結(jié)果表明視聽刺激時(shí)間越一致, Pip-and-Pop效應(yīng)越大。

研究結(jié)果表明, 反應(yīng)時(shí)與TTI之間的關(guān)系呈U型曲線：TTI的絕對(duì)值越小, 反應(yīng)時(shí)越短。TTI在?100 ms到100 ms產(chǎn)生了Pip-and-Pop 效應(yīng), 這與視聽整合的時(shí)間窗口一致(Lewald et al., 2001; Lewald & Guski, 2003)。并且在早期研究中發(fā)現(xiàn), 與視覺目標(biāo)時(shí)間上同步的聽覺刺激會(huì)增加視覺刺激的感知強(qiáng)度(Stein et al., 1996), 所以0 ms條件下同步的聽覺刺激可能會(huì)增強(qiáng)對(duì)視覺目標(biāo)的感知, 產(chǎn)生的Pip-and-Pop效應(yīng)最大。而?200 ms和200 ms條件不在視聽整合的時(shí)間窗范圍內(nèi), 即使聽覺刺激存在, 但不能有效的與視覺目標(biāo)進(jìn)行整合, 所以沒有產(chǎn)生Pip-and-Pop效應(yīng)。

在平均注視次數(shù)眼動(dòng)指標(biāo)中發(fā)現(xiàn)了與反應(yīng)時(shí)相同的結(jié)果, 平均注視次數(shù)與TTI之間的關(guān)系呈U型曲線：TTI的絕對(duì)值越小, 平均注視次數(shù)越少; 平均眼跳幅度與平均注視時(shí)間結(jié)果也表明只有TTI在0 ms, ?100 ms, 100 ms條件下, 才會(huì)優(yōu)化搜索的眼動(dòng)行為。這種在眼動(dòng)行為上的優(yōu)化在以往研究中被認(rèn)為是冰凍效應(yīng)(freezing effect)所致, Zou等(2012)使用平均注視時(shí)間來(lái)量化冰凍效應(yīng)。即無(wú)空間信息的聽覺刺激“冰凍”了眼動(dòng), 突然出現(xiàn)的聽覺刺激抑制了眼跳, 使眼跳延遲, 從而搜索過程中的平均注視時(shí)間變長(zhǎng), 那么被試就可以在更長(zhǎng)的時(shí)間和更廣闊的空間內(nèi)通過增大眼跳幅度、減少注視次數(shù)對(duì)視覺目標(biāo)進(jìn)行搜索, 從而更精確地引導(dǎo)接下來(lái)的注視指向目標(biāo), 加快對(duì)目標(biāo)的定位。此外, 由這種“冰凍”所引起的時(shí)間變長(zhǎng)不僅可以提高目標(biāo)在當(dāng)前區(qū)域的搜索效率, 也可以快速拒絕目標(biāo)不在的區(qū)域, 從而提高整體的搜索效率(Zou et al., 2012)。與以往研究結(jié)果不同的是, 本研究發(fā)現(xiàn)0 ms條件時(shí)的平均注視時(shí)間最長(zhǎng), 這說明聽覺刺激對(duì)視覺搜索的促進(jìn)作用并不全是冰凍效應(yīng)引起的。綜上表明Pip-and-Pop效應(yīng)遵循時(shí)間一致性原則, 視聽刺激呈現(xiàn)時(shí)間越一致, 產(chǎn)生的Pip-and-Pop效應(yīng)越大。

4 總討論

本研究采用動(dòng)態(tài)視覺搜索范式, 通過兩個(gè)實(shí)驗(yàn)考察視聽刺激空間一致性、時(shí)間一致性對(duì)Pip- and-Pop效應(yīng)的影響。實(shí)驗(yàn)1發(fā)現(xiàn)同側(cè)條件所產(chǎn)生的Pip-and-Pop效應(yīng)最大, 雙側(cè)條件也產(chǎn)生了Pip- and-Pop效應(yīng), 對(duì)側(cè)條件沒有產(chǎn)生Pip-and-Pop效應(yīng);實(shí)驗(yàn)2發(fā)現(xiàn)視聽刺激同時(shí)呈現(xiàn)所產(chǎn)生的Pip-and- Pop效應(yīng)最大, 隨視聽刺激呈現(xiàn)時(shí)間間隔的增加Pip-and-Pop效應(yīng)減弱。研究表明, 視聽刺激在空間、時(shí)間上越一致, 對(duì)Pip-and-Pop效應(yīng)越大。

4.1 知覺負(fù)荷在視聽時(shí)、空一致性對(duì)Pip-and- Pop效應(yīng)影響中的調(diào)節(jié)作用

本研究的兩個(gè)實(shí)驗(yàn)都發(fā)現(xiàn)了搜索集大小對(duì)Pip-and-Pop效應(yīng)的影響, 實(shí)驗(yàn)1在平均眼跳幅度指標(biāo)中發(fā)現(xiàn)了搜索集大小和視聽空間一致性存在交互作用; 實(shí)驗(yàn)2在反應(yīng)時(shí)和注視次數(shù)兩個(gè)指標(biāo)中發(fā)現(xiàn)了搜索集大小和視聽時(shí)間一致性存在交互作用。前人研究表明, 在識(shí)別單個(gè)目標(biāo)時(shí)增加干擾刺激數(shù)量, 意味著存在更大的認(rèn)知負(fù)擔(dān)(Pluta et al., 2011), 那么研究中增大搜索集也就意味著增大了知覺負(fù)荷, 兩個(gè)實(shí)驗(yàn)結(jié)果都表明搜索集大的條件所產(chǎn)生的知覺負(fù)荷和Pip-and-Pop效應(yīng)大。

實(shí)驗(yàn)1發(fā)現(xiàn)只有在搜索集為60條件下, 視聽空間一致性才會(huì)增加平均眼跳幅度。根據(jù)知覺負(fù)荷理論, 與無(wú)負(fù)荷或低負(fù)荷條件相比, 在高知覺負(fù)荷條件下被試需要集中所有注意資源參與到任務(wù)中(Lavie, 2005), 本研究中相比于其他兩個(gè)搜索集條件, 搜索集為60條件下被試投入了更多的注意資源, 所以產(chǎn)生的Pip-and-Pop效應(yīng)最大。

實(shí)驗(yàn)2發(fā)現(xiàn)在搜索集為36條件下反應(yīng)時(shí)和注視次數(shù)兩個(gè)指標(biāo)的聽覺刺激作用均有減小。在反應(yīng)時(shí)和注視次數(shù)這兩個(gè)指標(biāo)上, 搜索集為36條件下僅發(fā)現(xiàn)視聽刺激間隔在0 ms條件和?100 ms條件時(shí)對(duì)搜索有促進(jìn)作用, 100 ms條件對(duì)搜索不再有促進(jìn)作用。此外, 在Zou等(2012)使用搜索集為36的研究中表明, 反應(yīng)時(shí)與眼動(dòng)結(jié)果都發(fā)現(xiàn)無(wú)論視聽刺激呈現(xiàn)時(shí)間是否一致, 對(duì)搜索都有促進(jìn)作用, 但時(shí)間條件之間沒有顯著差異(Zou et al., 2012)。其原因可能是所使用的搜索集較小, 相應(yīng)的知覺負(fù)荷也小。已有研究表明知覺負(fù)荷影響聽覺刺激對(duì)視覺搜索的促進(jìn)作用, 在搜索復(fù)雜而非簡(jiǎn)單的視覺刺激時(shí), 聲音的促進(jìn)效果更強(qiáng)(Knoeferle et al., 2016), 那么在搜索集為36條件下, 視覺搜索任務(wù)簡(jiǎn)單, 僅根據(jù)視覺目標(biāo)的顏色變化也能快速搜索到視覺目標(biāo), 而在搜索集為60條件中, 只有同步的聽覺刺激與視覺目標(biāo)整合吸引更多的注意, 才能更快的搜索到視覺目標(biāo)。綜上兩個(gè)實(shí)驗(yàn)結(jié)果都說明知覺負(fù)荷在視聽空間一致性和視聽時(shí)間一致性影響Pip-and-Pop效應(yīng)中起到了調(diào)節(jié)作用。

4.2 Pip-and-Pop效應(yīng)的產(chǎn)生原因

本研究表明視聽刺激空間一致性和時(shí)間一致性影響Pip-and-Pop效應(yīng), 這說明Pip-and-Pop效應(yīng)遵循多感覺整合的兩個(gè)重要原則, 即實(shí)驗(yàn)1研究結(jié)果符合多感覺整合的空間原則; 實(shí)驗(yàn)2研究結(jié)果符合多感覺整合的時(shí)間原則?；谝酝芯亢捅狙芯康慕Y(jié)果可以推測(cè)Pip-and-Pop效應(yīng)產(chǎn)生的原因至少有一部分是由多感覺整合所引起的。以往研究中對(duì)Pip-and-Pop效應(yīng)的解釋除了多感覺整合以外, 也有研究者認(rèn)為是oddball刺激吸引注意產(chǎn)生了Pip-and-Pop效應(yīng)。Ngo等(2010b)研究發(fā)現(xiàn), 呈現(xiàn)視覺線索時(shí)對(duì)視覺目標(biāo)的促進(jìn)作用與呈現(xiàn)聽覺線索時(shí)對(duì)視覺目標(biāo)的促進(jìn)作用沒有顯著差異, 這表明無(wú)論刺激是單通道還是雙通道, 只要與視覺目標(biāo)同時(shí)呈現(xiàn)的線索使視覺目標(biāo)變成一個(gè)oddball刺激, 這種促進(jìn)效應(yīng)就能出現(xiàn)(Ngo & Spence, 2010b)。

那么本研究中所發(fā)現(xiàn)的Pip-and-Pop效應(yīng)是否也可以用oddball刺激吸引注意來(lái)解釋呢？第一, 本研究中除了基線的無(wú)聲音條件外, 兩個(gè)實(shí)驗(yàn)所有的條件都是通過視聽雙通道刺激呈現(xiàn)的, 所以即使本研究中與視覺目標(biāo)同時(shí)呈現(xiàn)的聽覺線索使視覺目標(biāo)變成oddball刺激吸引注意可以產(chǎn)生Pip-and- Pop效應(yīng), 但也無(wú)法排除視聽整合在其中的作用。第二, 本研究中的聽覺線索包含了有空間信息和無(wú)空間信息聽覺線索兩種, 以往發(fā)現(xiàn)oddball刺激吸引注意的視覺搜索研究中只有無(wú)空間信息聽覺線索, 二者情況并不一致。第三, 本研究中所使用的動(dòng)態(tài)視覺搜索范式與以往發(fā)現(xiàn)oddball刺激吸引注意的視覺搜索范式不同。例如, 本研究中被試在動(dòng)態(tài)和雜亂的干擾物中搜索視覺目標(biāo), 同步的聽覺線索可以讓視覺目標(biāo)比干擾物更顯著, 也就是說, 讓視覺目標(biāo)從周圍的干擾物刺激中“pop-out”, 從而提高搜索效率。而發(fā)現(xiàn)oddball刺激吸引注意的研究使用的是序列呈現(xiàn)的視覺搜索范式, 視覺目標(biāo)的呈現(xiàn)時(shí)間非常短暫, 同步的線索以一種冰凍的方式, 允許被試在短時(shí)間內(nèi)對(duì)視覺目標(biāo)進(jìn)行搜索, 從而提高搜索效率(Ngo & Spence, 2012)。第四, 以往研究表明, 相比于多感覺整合, oddball刺激吸引注意能更好的解釋冰凍效應(yīng), 當(dāng)注意力被oddball刺激吸引時(shí), 會(huì)引起主觀時(shí)間變長(zhǎng)(Tse et al., 2004)。本研究中只有實(shí)驗(yàn)2發(fā)現(xiàn)了突然出現(xiàn)的聲音冰凍了眼跳, 從而通過平均注視時(shí)間變長(zhǎng)來(lái)調(diào)節(jié)眼動(dòng)。實(shí)驗(yàn)1中并沒有發(fā)現(xiàn)平均注視時(shí)間變長(zhǎng), 原因可能是受到有空間信息的聽覺線索的影響, 被試可以通過空間信息來(lái)調(diào)節(jié)眼動(dòng), 并不需要“冰凍”來(lái)搜索視覺目標(biāo)。

綜上四點(diǎn)原因, 我們推測(cè)Pip-and-Pop效應(yīng)的產(chǎn)生原因有一部分是由多感覺整合所引起的, 但也不能完全排除或確定oddball吸引注意在其中的作用, 所以Pip-and-Pop效應(yīng)的具體產(chǎn)生原因還有待實(shí)驗(yàn)進(jìn)一步探究。

5 結(jié)論

視聽刺激空間一致性、時(shí)間一致性對(duì)Pip-and- Pop效應(yīng)具有調(diào)節(jié)作用。視聽刺激空間位置越一致, Pip-and-Pop效應(yīng)越大; 視聽刺激呈現(xiàn)時(shí)間越一致, Pip-and-Pop效應(yīng)越大。當(dāng)前研究結(jié)果為Pip-and- Pop效應(yīng)產(chǎn)生的原因是多感覺整合提供了證據(jù)。此外, 在未來(lái)的研究中應(yīng)基于動(dòng)態(tài)視覺搜索范式, 設(shè)置明確的視聽整合條件與oddball刺激吸引注意條件進(jìn)行對(duì)比, 進(jìn)一步實(shí)驗(yàn)探究Pip-and-Pop效應(yīng)的產(chǎn)生機(jī)制。

Chamberland, C., Hodgetts, H. M., Vallières, B. R., Vachon, F., & Tremblay, S. (2016). Pip and Pop: When auditory alarms facilitate visual change detection in dynamic settings.(1), 284?288.

Chastain, G., & Cheal, M. (1999). Time course of attention effects with abrupt-onset and offset single- and multiple- element precues.,(3), 411?436.

Erdfelder, E., Auer, T.-S., Hilbig, B. E., A?falg, A., Moshagen, M., & Nadarevic, L. (2009). Multinomial processing tree models:.(3), 108?124.

Escera, C., Alho, K., Winkler, I., & N??t?nen, R. (1998). Neural mechanisms of involuntary attention to acoustic novelty and change.,(5), 590?604.

Escera, C., Corral, M. J., & Yago, E. (2002). An electrophysiological and behavioral investigation of involuntary attention towards auditory frequency, duration and intensity changes.,(3), 325?332.

Faul, F., Erdfelder, E., Lang, A .-G., & Buchner, A. (2007). G*Power 3: A flexible statistical power analysis program for the social, behavioral, and biomedical sciences.,(2), 175?191.

Fister, J. K., Stevenson, R. A., Nidiffer, A. R., Barnett, Z. P., & Wallace, M. T. (2016). Stimulus intensity modulates multisensory temporal processing.,, 92?100.

Fleming, J. T., Noyce, A. L., & Shinn-Cunningham, B. G. (2020). Audio-visual spatial alignment improves integration in the presence of a competing audio-visual stimulus.,, 107530.

Giard, M. H., & Peronnet, F. (1999). Auditory-visual integration during multimodal object recognition in humans: A behavioral and electrophysiological study.,(5), 473?490.

Knoeferle, K. M., Knoeferle, P., Velasco, C., & Spence, C. (2016). Multisensory brand search: How the meaning of sounds guides consumers' visual attention.,(2), 196?210.

K?sem, A., & van Wassenhove, V. (2012). Temporal structure in audiovisual sensory selection.,(7), e40936.

Lavie, N. (2005). Distracted and confused?: Selective attention under load.,(2), 75?82.

Lewald, J., Ehrenstein, W. H., & Guski, R. (2001). Spatio- temporal constraints for auditory-visual integration.,(1-2), 69?79.

Lewald, J., & Guski, R. (2003). Cross-modal perceptual integration of spatially and temporally disparate auditory and visual stimuli.,(3), 468? 478.

Lunn, J., Sjoblom, A., Ward, J., Soto-Faraco, S., & Forster, S. (2019). Multisensory enhancement of attention depends on whether you are already paying attention.,, 38?49.

Mishler, A. D., & Neider, M. B. (2018). Redundancy gain for categorical targets depends on display configuration and duration.,(6), 393?404.

Mishler, A., & Neider, M. (2016). Evidence for the redundant signals effect in detection of categorical targets.,(12), 1024.

Ngo, M. K., & Spence, C. (2010a). Auditory, tactile, and multisensory cues facilitate search for dynamic visual stimuli.,(6), 1654? 1665.

Ngo, M. K., & Spence, C. (2010b). Crossmodal facilitation of masked visual target identification.,(7), 1938?1947.

Ngo, M. K., & Spence, C. (2012). Facilitating masked visual target identification with auditory oddball stimuli.,(2), 129?136.

Pariyadath, V., & Eagleman, D. (2007). The effect of predictability on subjective duration.,(11), e1264.

Perrott, D. R., Saberi, K., Brown, K., & Strybel, T. Z. (1990). Auditory psychomotor coordination and visual search performance.,(3), 214?226.

Pluta, S. R., Rowland, B. A., Stanford, T. R., & Stein, B. E. (2011). Alterations to multisensory and unisensory integration by stimulus competition.,(6), 3091?3101.

Slutsky, D. A., & Recanzone, G. H. (2001). Temporal and spatial dependency of the ventriloquism effect.,(1), 7?10.

Soto-Faraco, S., Kingstone, A., & Spence, C. (2003). Multisensory contributions to the perception of motion.,(13), 1847?1862.

Spence, C. (2013). Just how important is spatial coincidence to multisensory integration? Evaluating the spatial rule.,, 31?49.

Stein, B. E., London, N., Wilkinson, L. K., & Price, D. D. (1996). Enhancement of perceived visual intensity by auditory stimuli: A psychophysical analysis.,(6), 497?506.

Stein, B. E., & Stanford, T. R. (2008). Multisensory integration: Current issues from the perspective of the single neuron.,(4), 255?266.

Stevenson, R. A., Fister, J. K., Barnett, Z. P., Nidiffer, A. R., & Wallace, M. T. (2012). Interactions between the spatial and temporal stimulus factors that influence multisensory integration in human performance.,(1), 121?137.

Talsma, D., Senkowski, D., Soto-Faraco, S., & Woldorff, M. G. (2010). The multifaceted interplay between attention and multisensory integration.ences,(9), 400?410.

Tang, X., Wu, J., & Shen, Y. (2016). The interactions of multisensory integration with endogenous and exogenous attention.,, 208? 224.

Tsai, Y .-Y., & Yeh, S .-L. (2013). Freezing effect in tactile perception: Sound facilitates tactile identification by enhancing intensity but not duration.,(4), 925?932.

Tse, P. U., Intriligator, J., Rivest, J., & Cavanagh, P. (2004). Attention and the subjective expansion of time.,(7), 1171?1189.

van den Brink, R. L., Cohen, M. X., van der Burg, E., Talsma, D., Vissers, M. E., & Slagter, H. A. (2014). Subcortical, modality-specific pathways contribute to multisensory processing in humans.,(8), 2169?2177.

van der Burg, E., Olivers, C. N., Bronkhorst, A. W., & Theeuwes, J. (2008). Pip and pop: Nonspatial auditory signals improve spatial visual search.,(5), 1053?1065.

van der Burg, E., Talsma, D., Olivers, C. N., Hickey, C., & Theeuwes, J. (2011). Early multisensory interactions affect the competition among multiple visual objects.,(3), 1208?1218.

van der Stoep, N., van der Stigchel, S., & Nijboer, T. C. (2015). Exogenous spatial attention decreases audiovisual integration.,(2), 464?482.

van der Stoep, N., van der Stigchel, S., Nijboer, T. C. W., & Spence, C. (2017). Visually Induced Inhibition of Return Affects the Integration of Auditory and Visual Information.,(1), 6?17.

Vroomen, J., & de Gelder, B. (2000). Sound enhances visual perception: Cross-modal effects of auditory organization on vision.,(5), 1583?1590.

Yang, W., Chu, B., Yang, J., Yu, Y., Wu, J., & Yu, S. (2014). Elevated audiovisual temporal interaction in patients with migraine without aura.,(1), 44.

Zou, H., Müller, H. J., & Shi, Z. (2012). Non-spatial sounds regulate eye movements and enhance visual search.,(5), 123?129.

The impact of temporal and spatial consistency of audiovisual stimuli on Pip-and-Pop effect

TANG Xiaoyu, CUI Xinzhong, GAO Min, YUAN Mengying

(School of Psychology, Liaoning Collaborative Innovation Center of Children and Adolescents Healthy Personality Assessment and Cultivation, Liaoning Normal University, Dalian 116029, China)

Previous studies usually used the dynamic visual search paradigm to explore the Pip-and-Pop effect, which suggests that the Pip-and-Pop effect is influenced by multiple factors. But the impact of temporal and spatial consistency of audiovisual stimuli on the Pip-and-Pop effect is still controversial. In the present study, we applied the eye movement technology to the dynamic visual search paradigm to systematically investigate the impact of temporal and spatial consistency of audiovisual stimuli on the Pip-and-Pop effect. Based on the results of previous studies, we expected that the spatial and temporal consistency of audiovisual modulated the Pip-and-Pop effect. The more consistent the spatial location of audiovisual stimuli are, the greater the Pip-and-Pop effect will be. The more consistent the temporal audiovisual stimuli are, the greater the Pip-and-Pop effect will be.

Experiment 1 was a 3 (set sizes: 36, 48, 60) × 4 (spatial consistency conditions: ipsilateral, contralateral, bilateral, no sound) within-subjects design, recruited 24 participants (5 males; age range: 19～28 years; mean age: 22.5 ± 2.3 years). The visual search displays consisted of 24, 36, or 48 red (13.9 cd/m2) or green (46.4 cd/m2) line segments (0.57°×0.17°) on a black (0.4 cd/m2) background. The auditory stimulus was 1000 Hz pure tone (65 dB, 60 ms, including 5 ms fade-in and 5 ms fade-out time), presented through speakers on the left and right sides behind the screen. Each trial started with a drift calibration point. The drift calibration point would not disappear until the participant gazed upon this point. This was followed by a central fixation point of 1000ms, and finally a search screen. The participants were required to find the target line segment and judge whether the target line segment was vertical or horizontal by pressing the key (Z key or M key) as quickly and accurately as possible. Experiment 2 was a 2 (set sizes: 36, 60) × 6 (temporal consistency conditions: ?200 ms, ?100 ms, 0 ms, 100 ms, 200 ms, no sound) within-subjects design, recruited 27 participants (5 males; age range: 18～25 years; mean age: 20.7 ± 2.4 years). These temporal consistency conditions represent the tone sounded before (?200, ?100 ms), simultaneous with (0 ms), or after (100, 200 ms) the visual target event. The tone could also be absent (no sound). The experimental materials and procedures of Experiment 2 were identical to those in Experiment1.

Regarding the results in Experiment 1, compared with the baseline condition (no sound), the search response time was the shortest under the condition of ipsilateral, the mean fixation number was the least, and the mean saccade amplitude was the smallest, indicating that the search efficiency was the highest in the ipsilateral condition, the Pip-and-Pop effect was the largest in the ipsilateral condition. The bilateral condition was the second. The contralateral condition showed no significant difference in the above indicators compared with the no sound condition, indicating that no Pip-and-Pop effect was found in the contralateral condition. The results showed that the more consistent the spatial location of audiovisual stimuli were, the greater the Pip-and-Pop effect was. In Experiment 2, compared with the no sound condition, we found that the response time of the search was significantly shorter, the mean fixation number in search decreased, the mean saccade amplitude increased, and the mean fixation duration became longer under the conditions of 0 ms, ?100 ms and 100 ms. Compared with the no sound condition, conditions ?200 ms and 200 ms showed no significant difference in the above indicators. This indicated that the conditions of 0 ms, ?100 ms and 100 ms produced the Pip-and-Pop effect, and the Pip-and-Pop effect was the largest under the condition of 0ms, while the Pip-and-Pop effect did not find under the condition of ?200 ms and 200 ms. The results showed that the more consistent the temporal audiovisual stimuli were, the greater the Pip-and-Pop effect was.

In summary, the results showed that the more consistent the audiovisual stimuli were in space and time, the larger the Pip-and-Pop effect was. Therefore, the findings in the present study suggest that the temporal and spatial consistency of audiovisual stimuli modulates the Pip-and-Pop effect. The results provide evidence that the reason for the Pip-and-Pop effect is multisensory integration.

Pip-and-Pop effect, audiovisual spatial consistency, audiovisual temporal consistency, dynamic visual search, eye movement technique

2021-09-03

* 遼寧省教育廳高等學(xué)校自然科學(xué)類基本科研(面上)項(xiàng)目(LJKZ0987)資助。

唐曉雨和崔鑫忠同為第一作者。

高敏, E-mail: minmin19910420@163.com

B842