Hearing Is Believing: Sounds Alter Our Visual Perception耳聽為實：聲音改變我們的視覺感知

Perceptiongenerallyfeelseffortless.Ifyouhearabirdchirping1andlookoutthewindow，ithardlyfeelslikeyourbrainhasdoneanythingatallwhenyourecognizethatchirpingcritter2onyourwindowsillasabird.

一般來說，感知似乎無需費力。當(dāng)你隨著一聲鳥語啁啾向窗外看去，你會認(rèn)出窗沿那唧唧喳喳的小動物是一只鳥。整個過程幾乎感覺不到大腦做了什么。

Infact，researchinPsychologicalSciencesuggeststhatthesekindsofaudiocuescannotonlyhelpustorecognizeobjectsmorequicklybutcanevenalterourvisualperception.Thatis，pairbirdsongwithabirdandweseeabird—butreplacethatbirdsongwithasquirrel’schatter3，andwe’renotquitesosurewhatwe’relookingat.

一項刊于《心理科學(xué)》的研究表明，這類聲音信號不光能讓人們更快地辨別出物體，甚至還能改變?nèi)藗兊囊曈X感知。也就是說，把鳥鳴與鳥相匹配，我們才會看到鳥——但若將鳥鳴換成松鼠吱吱的叫聲，我們就會拿不準(zhǔn)自己所見的到底是什么。

“Yourbrainspendsasignificantamountofenergytoprocessthesensoryinformationintheworldandtogiveyouthatfeelingofafullandseamlessperception，”saidleadauthorJamalR.Williams（UniversityofCalifornia，SanDiego）inaninterview.“Onewaythatitdoesthisisbymakinginferencesaboutwhatsortsofinformationshouldbeexpected.”

來自加利福尼亞大學(xué)圣地亞哥分校的賈邁勒·R.威廉斯是該篇論文的主要作者?！按竽X耗費大量精力來處理世上的感官信息，讓人們獲得完整而連貫的知覺體驗。”他在一次采訪中提到：“其中一種處理方式就是推測應(yīng)該期待何種信息?！?/p>

Althoughthese“informedguesses”canhelpustoprocessinformationmorequickly，theycanalsoleadusastraywhenwhatwe’rehearingdoesn’tmatchupwithwhatweexpecttosee，saidWilliams，whoconductedthisresearchwithYuriA.Markov，NataliaA.Tiurina（écolePolytechniqueFédéraledeLausanne），andViolaS.St?rmer（UniversityofCalifornia，SanDiegoandDartmouthCollege）.

威廉斯說，雖然這種“有根據(jù)的猜想”能夠幫我們加快信息處理，但如果聽到的聲音與期待的畫面有出入，也可能對我們進(jìn)行誤導(dǎo)。他與尤里·A.馬爾科夫、納塔利婭·A.秋里娜（洛桑聯(lián)邦理工學(xué)院）和維奧拉·S.斯托默（加利福尼亞大學(xué)圣地亞哥分校及達(dá)特茅斯學(xué)院）共同完成了這項研究。

“Evenwhenpeopleareconfidentintheirperception，soundsreliablyalteredthemawayfromthetruevisualfeaturesthatwereshown，”Williamssaid.

“就算人們對自己的知覺懷抱信心，聲音依舊會使我們妥妥地偏離真實呈現(xiàn)的視覺特征?！蓖拐f道。

Intheirfirstexperiment，Williamsandcolleaguespresented40participantswithfiguresthatdepictedtwoobjectsatvariousstagesofmorphing4intooneanother，suchasabirdturningintoaplane.Duringthisvisualdiscriminationphase，theresearchersalsoplayedoneoftwotypesofsounds：arelatedsound（inthebird/planeexample，abirdsongorthebuzzofaplane）oranunrelatedsoundlikethatofahammerhittinganail.

在第一項實驗中，威廉斯和同事們向40名受試者展示了一系列圖像，描繪了兩個物體相互轉(zhuǎn)化變形的不同階段，比如一只鳥變成一架飛機。在這一視覺辨別階段，研究人員還播放了兩種聲音中的一種：有關(guān)聯(lián)的聲音（在鳥和飛機的例子里，是鳥鳴或飛機嗡嗡作響的聲音），或者無關(guān)聯(lián)的聲音，如錘子敲釘?shù)穆曇簟?/p>

Participantswerethenaskedtorecallwhichstageoftheobjectmorphtheyhadbeenshown.Toshowwhattheyrecalled，theyusedaslidingscalethat，intheaboveexample，madetheobjectappearmorebirdormoreplane-like.Participantswerefoundtomaketheirobject-morphselectionmorequicklywhentheyheardrelated（versusunrelated）soundsandtoshifttheirobject-morphselectiontomorecloselymatchtherelatedsoundsthattheyheard.

之后，受試者需要回憶自己所看到的物體正處于變形的哪一階段。為了呈現(xiàn)回憶結(jié)果，在上例中，他們在滑動量表上選擇物體更像鳥還是更像飛機。研究發(fā)現(xiàn)，與無關(guān)聯(lián)的聲音相比，當(dāng)聽到關(guān)聯(lián)聲音時，受試者能夠更快選定變形物體，且往往選擇與聽到的關(guān)聯(lián)聲音一致的那種。

“Whensoundsarerelatedtopertinent5visualfeatures，thosevisualfeaturesareprioritizedandprocessedmorequicklycomparedtowhensoundsareunrelatedtothevisualfeatures.So，ifyouheardthesoundofabirdsong，anythingbird-likeisgivenprioritizedaccesstovisualperception，”Williamsexplained.“Wefoundthatthisprioritizationisnotpurelyfacilitatoryandthatyourperceptionofthevisualobjectisactuallymorebird-likethanifyouhadheardthesoundofanairplaneflyingoverhead.”

“與無關(guān)聯(lián)聲音相比，如果聲音與視覺特征相關(guān)，這些特征就會被優(yōu)先考慮并且得到更快的處理。因此，如果聽到鳥鳴聲，任何與鳥類相似的物體都會優(yōu)先進(jìn)入你的視覺感知?！蓖菇忉尩?，“我們發(fā)現(xiàn)，這種優(yōu)先并非純粹的易化作用，而且，聽到鳥鳴聲與聽到飛機飛過的嗡嗡聲相比，實際上讓人對視覺對象的感知更傾向于鳥?！?/p>

Intheirsecondexperiment，Williamsandcolleaguesexploredwhetherthiseffectwasspecifictothevisual-discriminationphaseofperceptualprocessingor，alternatively，ifsoundsmightinsteadshapevisualperceptionbyinfluencingourdecision-makingprocesses.Todoso，theresearcherspresented105participantswiththesametask，butthistimetheyplayedthesoundseitherwhiletheobjectmorphwasonscreenorwhileparticipantsweremakingtheirobject-morphselectionaftertheoriginalimagehaddisappeared.

在第二項實驗中，威廉斯與同事們探究了這種效應(yīng)在整個知覺處理過程中，是否單單存在于視覺辨別階段，還是說，聲音或許是借由影響決策過程來塑造視覺感知的。為此，研究人員向105名受試者發(fā)布了與之前相同的任務(wù)，但這次他們放出聲音時，要么屏幕上還在顯示變形物體，要么受試者在原始圖像消失后正完成選擇任務(wù)。

Asinthefirstexperiment，audioinputwasfoundtoinfluenceparticipants’speedandaccuracywhenthesoundswereplayedwhiletheywereviewingtheobjectmorph，butithadnoeffectwhenthesoundswereplayedwhiletheyreportedwhichobjectmorphtheyhadseen.

與第一項實驗一樣，研究發(fā)現(xiàn)，在受試者觀看物體變形時播放聲音，音頻輸入會影響受試者決策的速度和準(zhǔn)確性。但在受試者報告自己眼中的物體形狀時，播放聲音則沒有影響。

Finally，inathirdexperimentwith40participants，Williamsandcolleaguesplayedthesoundsbeforetheobjectmorphswereshown.Thegoalherewastotestwhetheraudioinputmayinfluencevisualperceptionbypriming6peopletopaymoreattentiontocertainobjects.Thiswasalsofoundtohavenoeffectonparticipants’object-morphselections.

最后，威廉斯和同事們對40名受試者進(jìn)行了第三項實驗。他們在展示物體變形圖像之前播放了聲音。這項實驗的目的是測試音頻輸入是否會使人們預(yù)先關(guān)注某些物體，從而影響視覺感知。結(jié)果發(fā)現(xiàn)，這對受試者的物體變形選擇也沒有影響。

Takentogether，thesefindingssuggestthatsoundsaltervisualperceptiononlywhenaudioandvisualinputoccuratthesametime，theresearchersconcluded.

綜上所述，研究人員得出結(jié)論：只有當(dāng)聽覺和視覺輸入同時出現(xiàn)時，聲音才會改變視覺感知。

“Thisprocessofrecognizingobjectsintheworldfeelseffortlessandfast，butinrealityit’saverycomputationallyintensiveprocess，”Williamssaid.“Toalleviatesomeofthisburden，yourbrainisgoingtoevaluateinformationfromothersenses.”

“辨別世上的物體看似毫不費力，速度也很快，但實際上，這個過程需要大量的計算?！蓖拐f，“為了減輕一些負(fù)擔(dān)，你的大腦會對其他感官提供的信息進(jìn)行評估?！?/p>

（譯者單位：湖北三峽職業(yè)技術(shù)學(xué)院）

1chirping鳥叫；蟲鳴。"2critter生物；動物。"3chatter唧唧叫；吱吱叫。

4morph圖像變形。

5pertinent相關(guān)的；相宜的。

6prime事先指點；使（某人）做好準(zhǔn)備。