任務(wù)無(wú)關(guān)的視覺(jué)聽(tīng)覺(jué)信息對(duì)注意通道信息處理的影響＊

楊菁菁

（長(zhǎng)春理工大學(xué)計(jì)算機(jī)科學(xué)技術(shù)學(xué)院，吉林長(zhǎng)春130022）

任務(wù)無(wú)關(guān)的視覺(jué)聽(tīng)覺(jué)信息對(duì)注意通道信息處理的影響＊

楊菁菁

（長(zhǎng)春理工大學(xué)計(jì)算機(jī)科學(xué)技術(shù)學(xué)院，吉林長(zhǎng)春130022）

研究設(shè)計(jì)了視覺(jué)發(fā)現(xiàn)任務(wù)和聽(tīng)覺(jué)發(fā)現(xiàn)任務(wù)，要求被試者只注意視覺(jué)或聽(tīng)覺(jué)通道，對(duì)注意通道的刺激進(jìn)行判斷，研究了被試對(duì)單通道視覺(jué)或聽(tīng)覺(jué)刺激、雙通道視聽(tīng)混合刺激的反應(yīng)時(shí)間及正確率的規(guī)律。實(shí)驗(yàn)發(fā)現(xiàn)任務(wù)無(wú)關(guān)通道的信息對(duì)注意聽(tīng)覺(jué)產(chǎn)生的影響比注意視覺(jué)時(shí)更加明顯，實(shí)驗(yàn)任務(wù)不同，其影響程度也不同。

人腦信息處理；視覺(jué)；聽(tīng)覺(jué)；人機(jī)交互

大腦是人體進(jìn)行信息分析處理的“處理器”，通過(guò)一定的信息處理機(jī)制對(duì)各感官獲得的信息進(jìn)行分析，指導(dǎo)人體活動(dòng)。其中，視、聽(tīng)兩通道獲取的信息比例最大，視聽(tīng)信息整合也因此成為腦信息學(xué)研究的重要內(nèi)容。注意是人腦對(duì)客觀事物的指向和集中，注意功能決定了人腦對(duì)信息的選擇。不同注意條件下人腦信息處理的機(jī)理不同。空間信息又是影響視聽(tīng)信息整合的主要因素。本研究采用選擇性注意行為學(xué)實(shí)驗(yàn)的方式對(duì)人腦視聽(tīng)覺(jué)空間信息處理機(jī)制進(jìn)行研究，實(shí)驗(yàn)要求被試判斷注意通道的刺激位置并做按鍵反應(yīng)。分析實(shí)驗(yàn)數(shù)據(jù)得到了人被試對(duì)視聽(tīng)兩通道信息處理之間相互影響的規(guī)律，結(jié)論將輔助人腦視聽(tīng)覺(jué)信息整合的研究，對(duì)腦機(jī)接口技術(shù)、多傳感器數(shù)據(jù)融合、人機(jī)交互等技術(shù)的發(fā)展都具有重要意義。

1 實(shí)驗(yàn)方法

1.1 被試的選擇

17名在校本科學(xué)生自愿參與實(shí)驗(yàn)，平均年齡22.7歲，9名女生，8名男生。被試者聽(tīng)力正常，視力或校正視力正常，身體健康，簽署了知情同意書(shū)。

1.2 實(shí)驗(yàn)刺激

實(shí)驗(yàn)刺激由單通道視覺(jué)刺激、單通道聽(tīng)覺(jué)刺激和雙通道視聽(tīng)覺(jué)刺激構(gòu)成。視覺(jué)刺激為gabor patch，通過(guò)19英寸顯示器顯示，背景為黑色，視覺(jué)圖片出現(xiàn)在固視點(diǎn)（顯示器中央的“+”）下4°的水平線上，位置為向左和右8°視角位置（左側(cè)視覺(jué)刺激“VL”、右側(cè)“VR”）。

聽(tīng)覺(jué)刺激由Audacity 2.1.0聲音制作軟件制作，1 600 Hz的純音，聲強(qiáng)65 dB，時(shí)長(zhǎng)40 ms，通過(guò)左右兩個(gè)音箱分別提示（左側(cè)聲音刺激“AL”、右側(cè)“AR”）。

雙通道的視聽(tīng)覺(jué)刺激由視覺(jué)刺激和聽(tīng)覺(jué)刺激同時(shí)提示，共有4種（視覺(jué)左聲音左混合刺激“ALVL”、視覺(jué)右聲音右“ARVR”、視覺(jué)左聲音右“ARVL”、視覺(jué)右聲音左“ALVR”）。每個(gè)刺激持續(xù)時(shí)間為40 ms。

1.3 實(shí)驗(yàn)任務(wù)

1.3.1 視覺(jué)發(fā)現(xiàn)任務(wù)

被試者只注意視覺(jué)通道的刺激，發(fā)現(xiàn)圖片就按下鼠標(biāo)左鍵，對(duì)聲音刺激不按鍵，因此，在這一任務(wù)條件下聲音刺激與任務(wù)無(wú)關(guān)。

1.3.2 聽(tīng)覺(jué)發(fā)現(xiàn)任務(wù)

被試者只注意聽(tīng)覺(jué)通道的刺激，聽(tīng)到聲音就按下鼠標(biāo)左鍵，對(duì)視覺(jué)刺激不按鍵，因此，在這一任務(wù)條件下視覺(jué)圖片刺激與任務(wù)無(wú)關(guān)。

1.4 實(shí)驗(yàn)流程

實(shí)驗(yàn)在光線可調(diào)節(jié)的隔音室中進(jìn)行，被試下巴放在下頜托上，距顯示屏距離為110 cm。實(shí)驗(yàn)開(kāi)始時(shí)，在屏幕中央呈現(xiàn)注視點(diǎn)“+”3 000 ms，注視點(diǎn)消失后視覺(jué)、聽(tīng)覺(jué)、視聽(tīng)混合覺(jué)刺激隨機(jī)出現(xiàn)，刺激間間隔為800～1 500 ms的隨機(jī)值。被試依據(jù)實(shí)驗(yàn)任務(wù)作出反應(yīng)。視覺(jué)發(fā)現(xiàn)任務(wù)和聽(tīng)覺(jué)發(fā)現(xiàn)任務(wù)各做2組實(shí)驗(yàn)，共4組，每組實(shí)驗(yàn)持續(xù)約5 min，每名被試隨機(jī)進(jìn)行各組實(shí)驗(yàn)，每完成一組實(shí)驗(yàn)休息3～5 min。

2 結(jié)果分析

實(shí)驗(yàn)記錄了每個(gè)被試4組實(shí)驗(yàn)的數(shù)據(jù)，對(duì)每個(gè)被試的實(shí)驗(yàn)數(shù)據(jù)進(jìn)行求平均、標(biāo)準(zhǔn)差計(jì)算、偏差數(shù)據(jù)剔除、再求均值及正確率等基本處理。

圖1的數(shù)據(jù)結(jié)果表明：在視覺(jué)發(fā)現(xiàn)任務(wù)中，被試對(duì)視覺(jué)雙通道刺激的反應(yīng)時(shí)間要快于對(duì)單通道刺激的反應(yīng)時(shí)間（VL-ALVL，p＜0.001;VL-ARVL，p=0.001;VR-ARVR，p=0.013;VR-ALVR，p=0.008），這說(shuō)明與任務(wù)無(wú)關(guān)的聽(tīng)覺(jué)刺激的出現(xiàn)對(duì)視覺(jué)刺激存在促進(jìn)作用；單/雙通道視覺(jué)刺激均為左側(cè)反應(yīng)略快于右側(cè)；聽(tīng)覺(jué)刺激的位置與視覺(jué)一致或不一致沒(méi)有明顯差別，這說(shuō)明與任務(wù)無(wú)關(guān)的聽(tīng)覺(jué)刺激的空間信息并沒(méi)有影響視覺(jué)發(fā)現(xiàn)任務(wù)，同時(shí)，提示的聽(tīng)覺(jué)刺激為視覺(jué)刺激的發(fā)現(xiàn)提供了一致的時(shí)間信息，促進(jìn)了視覺(jué)刺激的發(fā)現(xiàn)，結(jié)果與先前的研究相似。

圖1 視覺(jué)發(fā)現(xiàn)任務(wù)反應(yīng)時(shí)間

被試在此實(shí)驗(yàn)任務(wù)下的正確率沒(méi)有出現(xiàn)明顯差異。視覺(jué)發(fā)現(xiàn)任務(wù)反應(yīng)時(shí)間見(jiàn)圖1，聽(tīng)覺(jué)發(fā)現(xiàn)任務(wù)反應(yīng)時(shí)間見(jiàn)圖2.

圖2 聽(tīng)覺(jué)發(fā)現(xiàn)任務(wù)反應(yīng)時(shí)間

由圖2可見(jiàn)，在聽(tīng)覺(jué)發(fā)現(xiàn)任務(wù)中，被試者對(duì)聽(tīng)覺(jué)雙通道刺激的反應(yīng)時(shí)間要快于對(duì)單通道刺激的反應(yīng)時(shí)間（AL-ALVL、AL-ALVR、AR-ARVR和AR-ARVL結(jié)果p值均小于0.05），說(shuō)明任務(wù)無(wú)關(guān)的視覺(jué)刺激的出現(xiàn)對(duì)聽(tīng)覺(jué)刺激的反應(yīng)存在促進(jìn)作用；單/雙通道聽(tīng)覺(jué)刺激均為左側(cè)反應(yīng)略快于右側(cè)；任務(wù)無(wú)關(guān)的視覺(jué)刺激促進(jìn)了聽(tīng)覺(jué)刺激的發(fā)現(xiàn)，空間位置不一致的視覺(jué)刺激的促進(jìn)效果要比空間一致的小，說(shuō)明視覺(jué)刺激的空間位置的一致性對(duì)聽(tīng)覺(jué)發(fā)現(xiàn)有影響。被試在此實(shí)驗(yàn)任務(wù)下的正確率比較均衡，沒(méi)有出現(xiàn)明顯差異。

實(shí)驗(yàn)結(jié)果顯示，雙通道刺激對(duì)注意聽(tīng)覺(jué)產(chǎn)生的影響比注意視覺(jué)時(shí)的更加明顯，這說(shuō)明聽(tīng)覺(jué)注意更加易受到視覺(jué)刺激的影響，而聽(tīng)覺(jué)刺激對(duì)視覺(jué)注意的影響則相對(duì)較弱。

3 結(jié)束語(yǔ)

本課題通過(guò)設(shè)計(jì)視覺(jué)注意實(shí)驗(yàn)和聽(tīng)覺(jué)注意實(shí)驗(yàn)研究了非注意通道的任務(wù)無(wú)關(guān)的信息對(duì)注意通道信息認(rèn)知的影響。結(jié)果發(fā)現(xiàn)，同時(shí)提示的任務(wù)無(wú)關(guān)的聽(tīng)覺(jué)刺激促進(jìn)了視覺(jué)刺激的發(fā)現(xiàn)，且這種促進(jìn)與聽(tīng)覺(jué)刺激的空間信息無(wú)關(guān)。任務(wù)無(wú)關(guān)的視覺(jué)刺激促進(jìn)了聽(tīng)覺(jué)刺激的發(fā)現(xiàn)，視覺(jué)刺激的空間位置的一致性對(duì)聽(tīng)覺(jué)發(fā)現(xiàn)有影響。聽(tīng)覺(jué)注意更加容易受到視覺(jué)刺激的影響。本研究會(huì)繼續(xù)采用腦電技術(shù)等輔助手段研究人腦信息處理的神經(jīng)機(jī)理，本研究所獲得的數(shù)據(jù)和發(fā)現(xiàn)的規(guī)律對(duì)實(shí)現(xiàn)思維控制機(jī)械的腦機(jī)接口技術(shù)具有重大意義。

［1］羅躍嘉，魏景漢.注意的認(rèn)知神經(jīng)科學(xué)研究［M］.北京：高等教育出版社，2004.

［2］Daniel Senkowski，Dave Saint-Amour，Marion H?fle，et al.Multisensory interactions in early evoked brain activity follow the principle of inverse effectiveness.NeuroImage，2011（56）.

［3］Li Qi，Wu Jinglong，Touge Tetsuo.Audiovisual interaction enhances auditory detection in late stage：an event-related potential study.Neuroreport，2010，21（03）.

［4］Lippert M，Logothetis NK，Kayser C.Improvement of visual contrast detection by a simultaneous sound.Brain research 2007，117（03）.

〔編輯：張思楠〕

Q983+.5

A

10.15913/j.cnki.kjycx.2017.19.103

2095－6835（2017）19－0103－03

長(zhǎng)春理工大學(xué)科技創(chuàng)新基金（編號(hào)：XJJLG-2016-18）

楊菁菁（1979—），女，博士，助理研究員。