論音頻在虛擬現(xiàn)實(shí)設(shè)計(jì)中的應(yīng)用

□潘尚仕 上海工藝美術(shù)職業(yè)學(xué)院

關(guān)鍵字：音頻；虛擬現(xiàn)實(shí)；VR

近年來(lái)，虛擬現(xiàn)實(shí)技術(shù)快速發(fā)展，大量VR視頻、游戲以及交互應(yīng)用涌現(xiàn)在用戶(hù)面前。這些作品大多在視覺(jué)顯示效果上達(dá)到“三維場(chǎng)景再現(xiàn)、身臨其境”的感覺(jué)，給用戶(hù)帶來(lái)了強(qiáng)烈的沉浸感體驗(yàn)。雖然高清顯示技術(shù)、強(qiáng)大的顯卡運(yùn)算能力配合日趨成熟的視覺(jué)效果顯示為用戶(hù)帶來(lái)了真切的沉浸感體驗(yàn)，但是無(wú)論在全景聲音音頻錄制設(shè)備的研發(fā)上，還是在相應(yīng)技術(shù)和設(shè)計(jì)研究上，在虛擬現(xiàn)實(shí)作品中的音頻設(shè)計(jì)往往沒(méi)有得到相應(yīng)的重視。這大大影響了整個(gè)作品的逼真度和沉浸感?！靶菓?zhàn)之父”喬治·盧卡斯在2011年MPSE“金卷軸”頒獎(jiǎng)禮上曾說(shuō)過(guò)：“電影的一半體驗(yàn)由音效組成?！币越?jīng)典恐怖片《閃靈》為例，如沒(méi)有電影中搭配的適時(shí)音效，那么這部電影中的恐怖和緊張氛圍就會(huì)大大減弱。相比于音頻設(shè)計(jì)，目前虛擬現(xiàn)實(shí)更注重沉浸式視覺(jué)內(nèi)容的設(shè)計(jì)和開(kāi)發(fā)，但如果忽略了音頻在虛擬世界中的重要作用，用戶(hù)的臨場(chǎng)體驗(yàn)和交互體驗(yàn)將大打折扣，甚至?xí)杏X(jué)到突兀和不適感[1]。

一、虛擬現(xiàn)實(shí)中音頻的特征及應(yīng)用

研究和體驗(yàn)?zāi)切┰谝曈X(jué)內(nèi)容和音頻設(shè)計(jì)上均非常出色的虛擬現(xiàn)實(shí)作品后，筆者發(fā)現(xiàn)音頻不僅是視覺(jué)畫(huà)面的附屬品，除了配合場(chǎng)景和動(dòng)畫(huà)以外，更是建立和加強(qiáng)用戶(hù)互動(dòng)指引、傳達(dá)作品的深度和情感的重要元素。

（一）增強(qiáng)虛擬現(xiàn)實(shí)空間的真實(shí)感和沉浸感

多感知性是虛擬現(xiàn)實(shí)中非常重要的概念，它指除了人的視覺(jué)感知外，還包括聽(tīng)覺(jué)、觸覺(jué)、嗅覺(jué)、味覺(jué)以及運(yùn)動(dòng)的感知等，是人類(lèi)感知這個(gè)世界的全部形式。視覺(jué)是人類(lèi)最重要的感知來(lái)源，也是最復(fù)雜的感知方式，外在世界75～80%的信息都是人類(lèi)通過(guò)視覺(jué)感知的，其他的聽(tīng)覺(jué)、嗅覺(jué)、觸覺(jué)等感知方式幫助人類(lèi)獲取了外在世界20～25%的信息，從而使人類(lèi)感知到真實(shí)豐富的外在世界。音效設(shè)計(jì)師兼聽(tīng)力學(xué)醫(yī)生Laura Sinnott曾說(shuō)，聽(tīng)覺(jué)是人類(lèi)在子宮中第一個(gè)產(chǎn)生的感官，它對(duì)于人類(lèi)的存在起到根本作用。聽(tīng)覺(jué)不僅僅是交流的媒介，也是人類(lèi)情緒健康、認(rèn)知，甚至生存的關(guān)鍵。當(dāng)用戶(hù)置身于一個(gè)虛擬現(xiàn)實(shí)營(yíng)造的3D空間中，就算閉上眼睛，也能通過(guò)環(huán)境聲音來(lái)大概判斷自己身處的環(huán)境。在虛擬現(xiàn)實(shí)營(yíng)造的3D空間中，如何再現(xiàn)現(xiàn)實(shí)世界對(duì)用戶(hù)的多感知性是創(chuàng)造沉浸感、真實(shí)感的關(guān)鍵所在，在目前技術(shù)條件下，除了視覺(jué)內(nèi)容外，聽(tīng)覺(jué)是最重要的可依賴(lài)因素。

環(huán)境聲音，即聲場(chǎng)是三維存在的，如在劇院聆聽(tīng)一場(chǎng)古典交響音樂(lè)時(shí)，在不同的位置上的聽(tīng)覺(jué)感受是不同的，因?yàn)橐魳?lè)會(huì)中各種樂(lè)器演奏所發(fā)出來(lái)的聲音在空間介質(zhì)中的傳遞受到距離、角度以及墻壁的反射等因素影響，到達(dá)觀眾耳中時(shí)會(huì)產(chǎn)生微妙的差異感。傳統(tǒng)的5.1音箱，乃至7.1音箱，都是通過(guò)位置的擺放和響度的控制來(lái)模擬聲場(chǎng)空間，從而達(dá)到立體環(huán)境聲場(chǎng)的目的。虛擬現(xiàn)實(shí)中的音頻特點(diǎn)在于聲音可以做到即時(shí)渲染，在空間定位上也能做實(shí)時(shí)運(yùn)算，并把聲源置于正確的位置。當(dāng)然也能在傳播介質(zhì)的衰減、反射和折射做到實(shí)時(shí)運(yùn)算，這樣就與人耳能夠感知聲音強(qiáng)弱方向的特性相結(jié)合。人的耳朵之所以能夠判斷聲音的方向定位，是通過(guò)左右耳定位實(shí)現(xiàn)的，左右定位主要通過(guò)時(shí)間差定位和聲源的強(qiáng)弱差來(lái)實(shí)現(xiàn)的。時(shí)間差定位通過(guò)同一個(gè)聲音到達(dá)左右耳的先后順序來(lái)判斷聲音在身體的左邊還是右邊，而聲源的強(qiáng)弱差則通過(guò)左右邊的聲音大小來(lái)判斷聲源靠近身體的左側(cè)還是右側(cè)。

在虛擬現(xiàn)實(shí)的三維空間里，當(dāng)用戶(hù)在移動(dòng)位置或者轉(zhuǎn)動(dòng)頭部時(shí)，實(shí)際上相對(duì)于音源來(lái)說(shuō)，用戶(hù)的頭部位置和雙耳的方向都發(fā)生了變化，在現(xiàn)實(shí)空間中的經(jīng)驗(yàn)和聲音理論告訴我們，聽(tīng)到聲音的位置和強(qiáng)弱都應(yīng)產(chǎn)生對(duì)應(yīng)變化，但按照傳統(tǒng)固定音頻的設(shè)計(jì)方式就無(wú)法回應(yīng)用戶(hù)的變化，導(dǎo)致現(xiàn)實(shí)經(jīng)驗(yàn)與虛擬空間感受的不一致，使用戶(hù)產(chǎn)生割裂感，大大降低了沉浸感體驗(yàn)[2]。目前的VR設(shè)備可以通過(guò)激光定位、陀螺儀等感應(yīng)器進(jìn)行頭部追蹤，可以將這些頭部追蹤的數(shù)據(jù)應(yīng)用于VR音頻中，結(jié)合頭部追蹤數(shù)據(jù)和HRTF[]算法，就能實(shí)現(xiàn)音頻對(duì)頭部動(dòng)作的實(shí)時(shí)反饋。也就是說(shuō)，當(dāng)用戶(hù)在轉(zhuǎn)頭或者移動(dòng)頭部時(shí)，聽(tīng)到的音頻會(huì)根據(jù)用戶(hù)頭部的方位相對(duì)變化，做出符合現(xiàn)實(shí)的情況反饋，再結(jié)合虛擬現(xiàn)實(shí)視覺(jué)內(nèi)容就會(huì)大大增強(qiáng)用戶(hù)的沉浸感和真實(shí)感。目前很多高科技公司都在研發(fā)實(shí)時(shí)動(dòng)態(tài)聲音渲染技術(shù)，讓虛擬現(xiàn)實(shí)中的聲音與畫(huà)面更為同步，當(dāng)用戶(hù)不斷移動(dòng)時(shí)，能夠聽(tīng)到回聲的變化，感受到空間感，除了能夠判斷聲音由該物體發(fā)出外，還能判斷出物體的方向、遠(yuǎn)近等更多信息。如圖1，是AMD公司研發(fā)TrueAudio Next的實(shí)時(shí)動(dòng)態(tài)聲音渲染技術(shù)的示意圖。

圖1 AMD公司TrueAudio Next實(shí)時(shí)動(dòng)態(tài)聲音渲染技術(shù)示意圖

（二）構(gòu)建獨(dú)特的交互性來(lái)指引用戶(hù)

虛擬現(xiàn)實(shí)中的音頻主要可以分為四種不同的元素：音效、音樂(lè)、環(huán)境聲音和對(duì)話(huà)。音效主要用于模擬現(xiàn)實(shí)物理世界的各種聲音效果，如金屬和金屬碰撞發(fā)出的清脆聲、風(fēng)吹過(guò)草地的沙沙聲等。音樂(lè)是藝術(shù)創(chuàng)作中烘托氛圍、傳遞創(chuàng)造者意圖的主要元素，環(huán)境聲是模擬現(xiàn)實(shí)環(huán)境中來(lái)自四面八方的聲音，幫助用戶(hù)對(duì)周遭環(huán)境產(chǎn)生直接、準(zhǔn)確的判斷。對(duì)話(huà)是講故事和傳遞語(yǔ)言信息的最主要手段。通常，虛擬現(xiàn)實(shí)中的音頻需要將這四種不同的音頻元素進(jìn)行混合使用，從而達(dá)到觸發(fā)用戶(hù)感官、指引用戶(hù)互動(dòng)探索的目的。

在虛擬現(xiàn)實(shí)中指引用戶(hù)進(jìn)行互動(dòng)體驗(yàn)的指引方式主要是通過(guò)圖形視覺(jué)元素，如用戶(hù)視線(xiàn)焦點(diǎn)所注視的圖形界面進(jìn)行閃爍或放大的動(dòng)效運(yùn)動(dòng)，指引用戶(hù)點(diǎn)擊該圖形元素。虛擬現(xiàn)實(shí)中的視聽(tīng)體驗(yàn)是一種大量信息的選擇性攝入，用戶(hù)進(jìn)入虛擬現(xiàn)實(shí)的空間中可以自由選擇方向，這會(huì)讓創(chuàng)作者失去對(duì)用戶(hù)預(yù)設(shè)的控制能力，用戶(hù)可能只是看到一些無(wú)關(guān)緊要的畫(huà)面，而對(duì)創(chuàng)作和預(yù)設(shè)好的推動(dòng)劇情的線(xiàn)索一無(wú)所知。這時(shí)，音頻就會(huì)發(fā)揮無(wú)可替代的作用，音頻與視頻不同，不會(huì)被視角所限制，即使畫(huà)面一片漆黑，用戶(hù)也可以通過(guò)聽(tīng)覺(jué)來(lái)感受所處的環(huán)境、音源所在的方向和位置。這樣創(chuàng)作者就可以通過(guò)聲音將用戶(hù)的視角引導(dǎo)到他們需要關(guān)注的畫(huà)面和視角中去，從而讓整個(gè)交互體驗(yàn)流程能夠順利進(jìn)行。聲音的方向特性可以產(chǎn)生空間暗示，這比生硬地插入視覺(jué)圖形暗示要自然很多，如在虛擬現(xiàn)實(shí)場(chǎng)景中，用戶(hù)的視角一直看著遠(yuǎn)處的天空（天空只是作為環(huán)境背景存在），該怎樣讓用戶(hù)的視角回到故事的主線(xiàn)（即用戶(hù)周遭的環(huán)境）中？如果用視覺(jué)動(dòng)效的方法，設(shè)計(jì)者可能會(huì)設(shè)計(jì)一個(gè)出現(xiàn)在天空中的箭頭，指向用戶(hù)視線(xiàn)該聚焦的方向，但無(wú)論是箭頭，還是小鳥(niǎo)等物品，都是與畫(huà)面無(wú)關(guān)的生硬的提示方法，顯得非常不自然。而采用音頻的方法則非常簡(jiǎn)單自然，只需要判斷用戶(hù)的視角方位不在預(yù)設(shè)方向后，在特定位置上發(fā)出一個(gè)不同于環(huán)境聲音的聲音，從而吸引用戶(hù)將視角轉(zhuǎn)回到劇情角色所在的畫(huà)面中，從而確保整個(gè)虛擬體驗(yàn)順利進(jìn)行。

（三）傳達(dá)作品的可信度和情感

如電影或視頻游戲一樣，聲音在虛擬現(xiàn)實(shí)中的重要性往往容易被忽視，用戶(hù)通常不會(huì)意識(shí)到音頻的重要性，直到他們體驗(yàn)到具有優(yōu)秀音頻的內(nèi)容。視覺(jué)元素能夠講述故事情節(jié)，但聲音在虛擬現(xiàn)實(shí)中同樣重要，因?yàn)樗隙梭w驗(yàn)是否可信，并且會(huì)對(duì)用戶(hù)產(chǎn)生情感影響。在傳統(tǒng)的影視作品中，通過(guò)聲音效果和可聽(tīng)到的環(huán)境因素，如風(fēng)和街道噪音，能夠增強(qiáng)敘事的可信度，通過(guò)不同關(guān)鍵點(diǎn)的音樂(lè)播放能產(chǎn)生情感的影響力。在虛擬現(xiàn)實(shí)世界中也是如此，只是在技術(shù)上比以往要求更高。

音頻為體驗(yàn)設(shè)定了情感基調(diào)。交互式音樂(lè)是影響玩家情緒狀態(tài)的最佳方法之一。通常的做法是創(chuàng)作者將音樂(lè)設(shè)計(jì)成不同的情感強(qiáng)度，然后按順序放置在場(chǎng)景中以供玩家觸發(fā)來(lái)傳達(dá)不同強(qiáng)度的情感，從而影響和感染用戶(hù)的情緒?！禩he Price of Freedom》是一款備受歡迎的免費(fèi)VR游戲，開(kāi)發(fā)商Construct Studio的音頻總監(jiān)談到，如果沒(méi)有合適的音頻設(shè)計(jì)，敘事體驗(yàn)將失去其魅力，而世界也不會(huì)那么令人信服。該游戲在設(shè)計(jì)火災(zāi)場(chǎng)景中就設(shè)計(jì)了4種不同層次的情感強(qiáng)度的對(duì)應(yīng)音樂(lè)，希望讓玩家在體驗(yàn)過(guò)程中逐漸感受到從麻木到悲傷的情感，從而引起用戶(hù)的強(qiáng)烈情感共鳴。如圖2，是該游戲的截圖。

圖2 《The Price of Freedom》VR游戲截圖

二、虛擬現(xiàn)實(shí)中音頻設(shè)計(jì)的未來(lái)

虛擬現(xiàn)實(shí)，即通過(guò)VR頭顯和包裹式耳機(jī)阻斷人類(lèi)對(duì)真實(shí)外界的感官，以虛擬內(nèi)容取而代之。在所有虛擬內(nèi)容設(shè)計(jì)中，音頻起到了重要作用，不恰當(dāng)?shù)囊纛l設(shè)計(jì)體驗(yàn)會(huì)破壞虛擬現(xiàn)實(shí)其他內(nèi)容帶給用戶(hù)的沉浸感，導(dǎo)致用戶(hù)從虛擬現(xiàn)實(shí)的世界中抽離出來(lái)[3]。而精妙編排過(guò)的音頻設(shè)計(jì)不僅會(huì)讓用戶(hù)加強(qiáng)這種沉浸感，而且能夠引導(dǎo)用戶(hù)的注意力，調(diào)動(dòng)用戶(hù)的情緒。試想，當(dāng)用戶(hù)置身于虛擬現(xiàn)實(shí)環(huán)境中，互動(dòng)操作周遭環(huán)境對(duì)象時(shí)，音頻能夠根據(jù)不同的材質(zhì)、運(yùn)動(dòng)規(guī)矩距離、碰撞的強(qiáng)弱程度，做實(shí)時(shí)運(yùn)算，并發(fā)出與現(xiàn)實(shí)物理世界經(jīng)驗(yàn)相同的聲音，這將是一個(gè)何其逼真的虛擬世界。如何實(shí)時(shí)計(jì)算復(fù)雜場(chǎng)景中的各種音頻的混合是虛擬現(xiàn)實(shí)未來(lái)音頻設(shè)計(jì)的最大挑戰(zhàn)。

結(jié) 語(yǔ)

沒(méi)有人知道虛擬現(xiàn)實(shí)技術(shù)將如何發(fā)展，它將采取何種方向或?qū)⑷〈壳暗拿襟w角色。目前在視頻游戲、教育、軍事、新聞和體育報(bào)道、敘事電影、音樂(lè)視頻等方面已經(jīng)開(kāi)展了VR方面的開(kāi)發(fā)和商業(yè)化運(yùn)作。隨著虛擬現(xiàn)實(shí)技術(shù)的發(fā)展，也對(duì)音頻的制作技術(shù)和設(shè)計(jì)提出了更高的挑戰(zhàn)和要求，刺激著新一輪創(chuàng)新研究。讓我們拭目以待音頻設(shè)計(jì)在未來(lái)的虛擬現(xiàn)實(shí)空間中的驚人表現(xiàn)。