現(xiàn)象學(xué)視野下虛擬現(xiàn)實(shí)影音作品的聽覺空間審美*

■ 丁 陽 郭艷民

一、VR影音作品視聽美學(xué)新形態(tài):交互式VR與線性VR體驗(yàn)融合

VR影音作品的體驗(yàn)者想要體驗(yàn)虛擬空間中的運(yùn)動(dòng),需要在現(xiàn)實(shí)環(huán)境中移動(dòng),體驗(yàn)者的視覺、聽覺以及觸覺都會(huì)隨著頭部及身體的運(yùn)動(dòng)實(shí)時(shí)反饋,體驗(yàn)的時(shí)長由體驗(yàn)者自主控制。有學(xué)者對(duì)VR影音作品的要素進(jìn)行了歸納,指出“全景+立體+根據(jù)觀者反饋而實(shí)時(shí)渲染的內(nèi)容,是完整定義VR影像的三要素,其中觀者的反饋包括自由視角、劇情選擇、動(dòng)作介入、道具使用等多種要素。”①

(一)VR影音作品:介于傳統(tǒng)影音作品與VR游戲之間的體驗(yàn)

相較傳統(tǒng)影視作品,VR影音作品打破了畫框的限制,改變了傳統(tǒng)電影中的敘事原則與視聽語法,體驗(yàn)者可以在虛擬環(huán)境中隨意轉(zhuǎn)動(dòng)視角。此時(shí),體驗(yàn)者的身體仿佛化為一個(gè)巨大的操控桿,選擇權(quán)部分交予了體驗(yàn)者,在不影響敘事表達(dá)的情況下,體驗(yàn)者具有相當(dāng)大的“自由度”。這種對(duì)內(nèi)容的自由設(shè)定給創(chuàng)作者帶來了挑戰(zhàn),他們需要仔細(xì)地引導(dǎo)體驗(yàn)者,以便有效地進(jìn)行敘事?，F(xiàn)階段VR影音作品的敘事原則還是從傳統(tǒng)電影改編而來,尚處于向明確的語法演變的初級(jí)階段。當(dāng)創(chuàng)作者想要呈現(xiàn)一個(gè)依賴于特定事件序列展開的情節(jié)敘事時(shí),這種自由便構(gòu)成了一種挑戰(zhàn)。荷蘭阿姆斯特丹應(yīng)用科學(xué)大學(xué)研究員Vosmeer、埃因霍溫理工大學(xué)教授Schouten認(rèn)為,VR影音作品中,體驗(yàn)者和敘事之間的關(guān)系是無法準(zhǔn)確預(yù)測的,每個(gè)體驗(yàn)者都會(huì)有自己的體驗(yàn)版本,VR電影的體驗(yàn)不是完全被動(dòng)的(如傳統(tǒng)電影),也不是完全主動(dòng)的(如VR游戲),它介于這兩種體驗(yàn)之間。②

(二)音頻線索有效引導(dǎo)注意力

在VR影音作品中,體驗(yàn)者需要自行轉(zhuǎn)頭或移動(dòng)身體探索劇情,影像的出現(xiàn)打破了原來的線性順序,這時(shí)有方向性和距離感的音頻線索就將發(fā)揮重要作用。體驗(yàn)者的聽覺感知總是“打開”的,因此對(duì)于看不到的區(qū)域(被墻或者物體遮擋視線的區(qū)域),體驗(yàn)者都會(huì)借助音頻線索檢索信息。這些音頻線索主要包括人物對(duì)話、空間音頻、音效和音樂?？梢?音頻線索有利于在敘事過程中引導(dǎo)體驗(yàn)者視線,并進(jìn)行有效的空間調(diào)度,音頻線索不依賴于提示時(shí)的注意力焦點(diǎn),且可與體驗(yàn)者視域之外的元素相聯(lián)系,Jayesh S.Pillai和Manvi Verma通過實(shí)驗(yàn)考察了知覺線索與VR影音作品情節(jié)點(diǎn)相關(guān)的體驗(yàn)保真度,從而提升VR影音作品帶來的沉浸感。其中就明確論證,音頻線索無論是獨(dú)立存在還是與視覺線索相結(jié)合存在,都能有效地引導(dǎo)體驗(yàn)者的注意力,空間音頻在其中發(fā)揮了異常重要的作用。③

VR技術(shù)給予體驗(yàn)者活動(dòng)頭部或移動(dòng)身體來控制視角的可能性,這意味著體驗(yàn)者關(guān)心的不再是空間有限畫幅而是整個(gè)空間,創(chuàng)作者必須考慮到全部視角的畫面和聲音內(nèi)容；同時(shí)構(gòu)建影像和聲音的源頭來自于空間信息,空間信息在時(shí)間的推移下形成的變化才是整個(gè)創(chuàng)作的目的,作品內(nèi)容在空間內(nèi)是變化的,變化成為構(gòu)建時(shí)間的質(zhì)料。這種視聽美學(xué)形態(tài)突破了傳統(tǒng)電影單一的固定媒體形態(tài),實(shí)現(xiàn)了視聽傳播方式的革新。

二、VR影音作品的空間聲音體驗(yàn)

虛擬聽覺空間來源于真實(shí)的聽覺空間,馬歇爾·麥克盧漢(Marshall McLuhan)最早使用“聲學(xué)空間”(acoustic space)一詞來描述周圍的聽覺空間。而后,艾德蒙·卡彭特(Edmund Carpenter)在論著《愛斯基摩人的現(xiàn)實(shí)》中發(fā)展了這一概念,用“聽覺空間”(auditory space)替換了“聲學(xué)空間”(acoustic space):“聽覺空間沒有特定的焦點(diǎn)。它是一個(gè)沒有固定邊界的球體,是由事物本身制造的空間,而不是包含事物的空間。它不是象形空間,并非是被框住了的,而是動(dòng)態(tài)的,總是在變化中,時(shí)刻創(chuàng)造自己的維度。它沒有固定的邊界,它對(duì)背景是無所謂的。眼睛聚焦、定點(diǎn)、抽象,在物理空間中定位每一個(gè)物體,在背景的襯托下；然而,耳朵卻偏愛來自任何方向的聲音……”④聽覺空間不存在固定的邊界,一個(gè)點(diǎn)聲源以相同的響度值向全方向傳播,隨著距離的增加,響度逐漸減弱,直至一個(gè)邊界點(diǎn)完全消失。在電影研究中,米歇爾·希翁(Michel Chion)將這種只存在于畫外的、巨大的空間描述為擴(kuò)展域(superfield)。⑤這個(gè)空間的聲音是從銀幕物理邊界之外的揚(yáng)聲器發(fā)出來的環(huán)境聲、噪聲、音樂聲等聲響創(chuàng)造而來,它并不是時(shí)刻都與我們?cè)阢y幕上看到的影像同步,但從結(jié)構(gòu)上說,它不存在任何的自主性,比起傳統(tǒng)的單聲道電影,擴(kuò)展域以一種更為具體和明確的方式,提供了影片敘事情節(jié)周圍所有空間的一種連續(xù)的、恒定的知覺。推知而來的VR影音作品中的聽覺空間,更趨近于多聲道電影中的擴(kuò)展域,但其聽覺空間具有自主性。

(一)空間音頻構(gòu)建全景空間聲場

如果說,聲音技術(shù)早期發(fā)展是為了讓觀影者聽到聲音、聽清聲音,實(shí)現(xiàn)聲畫合一的基本要求,那么環(huán)繞聲及沉浸聲的發(fā)展則是為了進(jìn)一步實(shí)現(xiàn)聲音在空間聲場中位置和距離的精確變化,以促成觀影者最大限度地產(chǎn)生身臨其境之感。杜比聲技術(shù)的出現(xiàn)創(chuàng)造了清晰、個(gè)性化的聲音,改變了人們對(duì)空間的感知,也改變了場景的構(gòu)成規(guī)則。但是這種基于聲道的重放系統(tǒng)所產(chǎn)生的空間聽覺效果還是與原聲場有一定差別。在全景聲重放系統(tǒng)中,由于聲波傳播中存在直達(dá)聲和反射聲并且受制于所在的建筑空間環(huán)境等等原因,許多空間移動(dòng)的音響效果并不理想,遮蔽了很多聲音的細(xì)節(jié),并且與觀眾所在的不同聽音位置也有關(guān)系。針對(duì)這些問題,全景空間聲場可以最大程度上削減聲音在傳播中所產(chǎn)生的折扣。

構(gòu)建空間聲場的目的是在三維空間中創(chuàng)造一個(gè)圍繞聽者的聲音環(huán)境的印象,從而模擬人耳在三維空間中的聲音定位。根據(jù)蓬托斯·拉赫松(Pontus Larsson)等人的研究,空間音頻傳輸方法可以分為聲場相關(guān)法(多聲道系統(tǒng))和頭部相關(guān)法(雙耳系統(tǒng))兩種⑥,鑒于VR影音作品常通過耳機(jī)進(jìn)行聲音再現(xiàn),因而較為常用。HRTF(Head-related Transfer Function)是頭部相關(guān)傳輸函數(shù),在理想情況下,這種聲音定位的算法能夠?qū)崿F(xiàn)每個(gè)人都能真正聽到的虛擬聲音,如同他們各自感知真實(shí)聲音一樣。目前囿于個(gè)性化HRTF造價(jià)費(fèi)用過高,還未能在市場上廣泛應(yīng)用。聲音需要根據(jù)人頭部或身體位置的變化即時(shí)演算出所對(duì)應(yīng)的聲像定位,如當(dāng)頭部向左邊轉(zhuǎn)動(dòng)時(shí),原本來自正前方的聲音就要相應(yīng)地改變方向,變成相對(duì)于頭部右側(cè)。這樣無論體驗(yàn)者去往虛擬空間的何處,聲音都會(huì)隨其空間環(huán)境變化、視覺方向及焦點(diǎn)變化而相應(yīng)實(shí)時(shí)改變。交互性質(zhì)的引入使VR環(huán)境下的聽覺空間更具自主性,這也要求創(chuàng)作者應(yīng)將全景空間思維納入到聲音設(shè)計(jì)的環(huán)節(jié)。

(二)聲音的虛擬性

柏拉圖的《理想國》中有一個(gè)著名的“洞穴寓言”:一群囚犯被困于山洞中,他們被鎖鏈拴住,無法轉(zhuǎn)頭看洞外的景象,只能透過身后火光看見投射在巖壁上的影子,聽見他們說話的回聲,這些囚犯將影子和回聲當(dāng)作世界的真實(shí)存在。⑦聲音的虛擬性與柏拉圖的“洞穴寓言”有很大共鳴?，F(xiàn)實(shí)就是巖壁和投射的影子,而火焰和投射影子的身體代表虛擬。那些轉(zhuǎn)向面對(duì)火的囚犯可能會(huì)習(xí)慣它,并發(fā)現(xiàn)他們的知覺框架會(huì)向那個(gè)方向轉(zhuǎn)換。同樣地,在聲音虛擬中,聽者如果不考慮他們對(duì)聲音的固有感知經(jīng)驗(yàn),嘗試?yán)斫馄錆撛诘臋C(jī)制,可能會(huì)發(fā)現(xiàn)他們對(duì)聲音的體驗(yàn)發(fā)生了變化。這意味著,曾經(jīng)是虛擬的東西變成了現(xiàn)實(shí)。前文已經(jīng)說明,傳統(tǒng)影院觀影時(shí),所有的聲音都來自周圍的揚(yáng)聲器,但是我們的感知卻將其定位在面前的銀幕,使觀眾感覺聲音來源于銀幕中的某個(gè)事件或物體。現(xiàn)實(shí)世界中,人感知到的聲音與聲源聲音一致,但在電影中,這種一致性常常伴有虛擬性。擬音師通過使用音色相似的物品以敲擊、摩擦的方式進(jìn)行模擬。對(duì)聽者來說“聽起來真實(shí)”的聲音和“真正真實(shí)”的聲音是兩種不同的東西,聲音的物理性質(zhì)非常顯著,因而有被模擬的空間。如同塔科夫斯基所說,在電影中,精準(zhǔn)寫實(shí)的聲音世界是無法想象的,這意味著鏡頭里要混雜所有聲音,勢必造成聲音的不和諧,這種不和諧的結(jié)果只能是聲音在電影中不受重視。如果沒有適當(dāng)?shù)倪x擇,電影等于沒有聲音,因?yàn)樗鼏适Я俗约旱谋磉_(dá)⑧。

這樣的模擬也經(jīng)常發(fā)生在VR影音作品中,很多幻想或是超現(xiàn)實(shí)的環(huán)境營造都需要大量的聲音素材,這些素材不可能通過直接錄制物體和事件獲得,涉及大量的擬音和音效剪輯。此外,與傳統(tǒng)電影有所不同的是,VR影音作品的虛擬性還體現(xiàn)在用耳機(jī)重放時(shí),聲音在頭部定位這種貼近性有效地消除了聲源和聽者之間潛在的聲學(xué)效應(yīng),聲源聽起來就在聽者的腦袋里。耳機(jī)代表了一種虛擬的效果,使聲音聽起來既來自聲源處,又在聽者的腦袋里,由此拓展了虛擬的聽覺空間,這是VR體驗(yàn)所獨(dú)有的。虛擬現(xiàn)實(shí)的任務(wù)是要構(gòu)筑一個(gè)與真實(shí)世界相對(duì)應(yīng)的虛擬世界,聲音打開了有限的視覺空間,讓體驗(yàn)者通過可見和可聽的內(nèi)容結(jié)合起來,使其成為可感知的整體。聲音的虛擬性并沒有產(chǎn)生一個(gè)不真實(shí)的東西,而是產(chǎn)生了一種真實(shí)的可能性,這是對(duì)現(xiàn)實(shí)的增強(qiáng)、擴(kuò)展和延伸。聲音的虛擬性影響著體驗(yàn)者聽到的東西,并影響著體驗(yàn)者的體驗(yàn)方式,進(jìn)而作用于體驗(yàn)者的認(rèn)知方式。聲音的虛擬性將聲音定位為一種新的感知,從一個(gè)虛擬的聲音集合體中實(shí)現(xiàn),由物理屬性和心理聲學(xué)定位共同構(gòu)成一個(gè)完整的聲音感知體驗(yàn),是一種基于現(xiàn)象學(xué)的更具包容性、以聽者為中心的聲音理論。

三、聽覺空間的現(xiàn)象學(xué)陳述:復(fù)合意向性

如果“洞穴寓言”的故事繼續(xù),柏拉圖假設(shè)當(dāng)成功離開洞穴的囚犯感知到外面的世界后,他們可能會(huì)希望返回洞穴,然而,在返回后卻發(fā)現(xiàn)他們已經(jīng)喪失了感知巖壁陰影的能力。囚徒和逃亡者反映了現(xiàn)象學(xué)和經(jīng)驗(yàn)主義者的區(qū)別。現(xiàn)象學(xué)是關(guān)于純粹意識(shí)現(xiàn)象的科學(xué),⑨用來描述經(jīng)驗(yàn)的結(jié)構(gòu),特別是意識(shí)、想象、與他人的關(guān)系以及人類主體在社會(huì)和歷史中的處境。當(dāng)前國外學(xué)界對(duì)聲音現(xiàn)象學(xué)的研究以美國著名現(xiàn)象學(xué)家唐·伊徳(Don Ihde)為代表,他的專著《聽和聲音:一種聲音現(xiàn)象學(xué)》在學(xué)界產(chǎn)生了重要影響,為學(xué)界構(gòu)建聲音現(xiàn)象學(xué)范式奠定了基礎(chǔ)。他的聲音概念不僅僅局限于人類的聲音,同時(shí)還涉及我們?cè)隈雎牷顒?dòng)中所有發(fā)出聲音的物。⑩書中重點(diǎn)關(guān)注了聽覺感知與注意力,尤其是將聽覺和聲音視為一個(gè)相互關(guān)聯(lián)的整體或?qū)嶓w的現(xiàn)象學(xué)。對(duì)于伊徳來說,尋找聽覺體驗(yàn)的新語言首先要從哲學(xué)傳統(tǒng)的視覺隱喻中轉(zhuǎn)變過來,打開聽覺隱喻的大門,朝著聆聽世界聲音特征的方向發(fā)展。伊徳的方法論來源于胡塞爾和海德格爾,對(duì)胡塞爾來說,注意力和所有經(jīng)驗(yàn)的中心是意向性,意向性是理解人類和他們的世界之間關(guān)系的核心概念。意向性的概念并沒有將人與世界分開,而是使人與世界之間不可分割的聯(lián)系變得可見。由于人類經(jīng)驗(yàn)的意向性結(jié)構(gòu),現(xiàn)實(shí)也只能從人與現(xiàn)實(shí)的關(guān)系中理解,每一次理解的過程都產(chǎn)生了我們與世界的關(guān)系,也就是“我們的世界”,人類總是通過一個(gè)中介的人造物建構(gòu)人類與世界之間的特定關(guān)系,比如進(jìn)行電話交談這樣的體驗(yàn)就涉及到技術(shù)構(gòu)成的意向性問題。荷蘭特文特大學(xué)特聘教授Peter-Paul Verbeek認(rèn)為,當(dāng)人類意圖使用技術(shù)時(shí),中介意向性(mediated intentionality)就發(fā)生了；當(dāng)人與技術(shù)真正融合時(shí),產(chǎn)生混合意向性(hybrid intentionality)；當(dāng)人的意向性與技術(shù)的意向性結(jié)合時(shí),產(chǎn)生復(fù)合意向性(composite intentionality)。

具體到VR影音作品中的聽覺空間,空間音頻作為特定的技術(shù)可以針對(duì)體驗(yàn)者不同的轉(zhuǎn)動(dòng)方向,實(shí)時(shí)渲染音頻內(nèi)容,體驗(yàn)者此刻也只關(guān)注對(duì)他們產(chǎn)生意義的聲音,這種定向性的技術(shù)被添加到人類的意向性中,復(fù)合意向性隨之產(chǎn)生。這里涉及到雙重意向性,一個(gè)是技術(shù)對(duì)生活世界的意向性,一個(gè)是人類對(duì)這種技術(shù)意向性作用下的意向性。由此,技術(shù)的意向性與人類的意向性相通,人類需要依賴技術(shù)體驗(yàn)現(xiàn)實(shí),VR環(huán)境下的聽覺體驗(yàn)不能等同于現(xiàn)實(shí)環(huán)境下的聽覺體驗(yàn),它仍然是經(jīng)由VR技術(shù)中介所帶來的聽覺體驗(yàn)。想要理解聽覺空間、聽覺主體與其環(huán)境的關(guān)系,還需要理解身體概念在其中的轉(zhuǎn)變和聆聽的意向性模式。

(一)具身性與身體在場

人類與技術(shù)人造物之間存在的四種關(guān)系中的第一種為具身關(guān)系。伊德將具身一詞限定在關(guān)于身體延伸的多模態(tài)的第一條線索,具身關(guān)系并不局限于視覺關(guān)系,它們可能發(fā)生在任何感覺或微觀知覺維度,比如助聽器幫助聽力障礙的人聽清聲音,手杖輔助盲人行走,這是因?yàn)橐粋€(gè)人的身體意象的經(jīng)驗(yàn)不是固定的,而是可延展的。莫里斯·梅洛-龐蒂(Merleau-Ponty)區(qū)別了作為本己的身體和作為對(duì)象的身體,在他看來身體被對(duì)象化是“客觀世界起源中的一個(gè)決定性因素”,這個(gè)概念在VR環(huán)境下依然適用。體驗(yàn)者在虛擬世界的化身是一個(gè)三維的對(duì)象,本己身體在退出客觀世界時(shí),把身體和它周圍的環(huán)境意向性地聯(lián)系在一起,以身體感知的方式呈現(xiàn)人的主體間性,并最終向我們揭示有感覺能力的主體和被感知的世界。

具體到作品中,“在場感”(sense of place)是一個(gè)重要的先決條件,這種“仿佛自己在現(xiàn)場”的感覺來自于體驗(yàn)者將自己移情至虛擬影像所構(gòu)建的空間之中,其中聲音扮演著不可或缺的角色。企鵝通過聲音找尋到它的幼仔,人們也可以通過電話中傳來的聲音識(shí)別出一個(gè)人,但這也并非絕對(duì)的,通過聲音而判斷某個(gè)人的特征只是顯現(xiàn)的特征,但這樣的聲音特征能表明一個(gè)人的在場。聲音的表達(dá)來自人的身體,這種獨(dú)特性是可被察覺的,類似地,物在其物性上也是可被察覺的。通過結(jié)合作品體驗(yàn),VR影音作品中聲音所營造的在場感主要通過語音交互和音效塑造而成。

語音交互是使體驗(yàn)者獲得“在場感”的重要手段。第78屆威尼斯VR競賽單元最佳VR作品《歌利亞:玩轉(zhuǎn)現(xiàn)實(shí)》(Goliath:Playing with Reality),采用手勢交互與語音交互相結(jié)合的體驗(yàn)方式,體驗(yàn)者可以用手柄控制聲音,影像中出現(xiàn)了一串串動(dòng)態(tài)的字符串,此時(shí)手柄變成一個(gè)圓圈,體驗(yàn)者只有將圓圈套入方塊字符串時(shí),才可以聽到清晰的語音,影像也配合顯示語音所對(duì)應(yīng)的文字,如果圓圈沒有套入字符串中就聽到無法辨析語義的聲音。隨著這些正方體掉落、升起、堆疊、傾倒,體驗(yàn)者感受到主角歌利亞內(nèi)心的喜怒哀樂、所思所感。獲得翠貝卡電影節(jié)故事景觀評(píng)審團(tuán)大獎(jiǎng)的《庫松達(dá)》(Kusunda),以尼泊爾的庫松達(dá)土著社區(qū)為中心,講述了86歲的采集狩獵者薩滿法師Lil Bahadur和他15歲的孫女Hima的生活。尼泊爾目前大約只有 150 人仍然使用庫松達(dá)語,這種歷史悠久的語言已經(jīng)瀕臨滅絕。體驗(yàn)者有機(jī)會(huì)通過一系列語音驅(qū)動(dòng)的互動(dòng)從庫松達(dá)語中學(xué)習(xí)一些短語,雖然作品試圖通過體驗(yàn)者選擇不同的發(fā)聲短語,創(chuàng)造不同的敘事分支,但體驗(yàn)者不管讀錯(cuò)與否都不會(huì)對(duì)后面的敘事產(chǎn)生影響,也無法通過語音的選擇創(chuàng)建不同的敘事情節(jié),很顯然并沒有達(dá)到相應(yīng)的交互體驗(yàn),作品的在場感也因此打了折扣。

此外,在場感還可以通過音效塑造實(shí)現(xiàn)。獲得第77屆威尼斯電影節(jié)最佳 VR 沉浸式作品評(píng)審團(tuán)大獎(jiǎng)和2021 年戛納 XR 最佳 VR 互動(dòng)體驗(yàn)獎(jiǎng)的《家中的劊子手》(The Hangman at Home),以動(dòng)畫的形式邀請(qǐng)?bào)w驗(yàn)者進(jìn)入五個(gè)交織的故事,作品中有一個(gè)場景可供體驗(yàn)者自行選擇近距離或者遠(yuǎn)距離觀看、聆聽其中某一個(gè)故事中人們之間的親密行為,將體驗(yàn)者從旁觀者轉(zhuǎn)變?yōu)槟繐粽摺ｋS著體驗(yàn)者的走近或遠(yuǎn)離,聲音也相應(yīng)地放大或減小,同時(shí)空間音頻也作用在這個(gè)部分,用來暗示體驗(yàn)者所在的方位和每個(gè)場景故事發(fā)生對(duì)應(yīng)的位置。創(chuàng)作者有意將這五個(gè)故事中出現(xiàn)的一些物品作為交互情節(jié)點(diǎn),體驗(yàn)者可以嘗試彈奏鋼琴、點(diǎn)燃火柴、打開唱盤機(jī)等一系列動(dòng)作,每個(gè)動(dòng)作都有相應(yīng)的音效,特別是在點(diǎn)燃火柴燒毀書籍的那一刻,體驗(yàn)者從一個(gè)旁觀者變成參與者,浸入了一個(gè)虛擬世界。

VR影音作品中,在場感的實(shí)現(xiàn)是VR體驗(yàn)?zāi)芊瘾@得沉浸感的前提。這種沉浸式體驗(yàn)與移情作用相聯(lián)系,而移情作用的前提是體驗(yàn)者處在客觀對(duì)象所處的環(huán)境,借助聲音這一媒介將人身體的在場和物的在場呈現(xiàn)出來,試圖讓體驗(yàn)者對(duì)虛擬環(huán)境中的人和事物產(chǎn)生同情和共鳴,從而發(fā)揮和釋放作為主體的想象力和情感,更好地實(shí)現(xiàn)移情作用。

(二)VR影音作品中聆聽的意向性模式

建立在虛擬性和具身性的基礎(chǔ)上,我們體驗(yàn)的聲音不能與我們、我們的身體或是物理環(huán)境分開,不同的聆聽模式會(huì)重新定義和定位聲音。希翁區(qū)分了三種不同的聆聽模式:因果聆聽、語義聆聽和縮減聆聽。因果聆聽是最常見的,目的為了更好地理解聲源或事件；語義聆聽包含了信息編碼或解碼的過程,目的是為了解釋某種意義,比如前文提到的《庫松達(dá)》中語音互動(dòng)的部分；縮減聆聽是以聲音自身特性為中心的聆聽模式,比如描述樂器的音色。之后在Tuuri和Eerola的分類法中,聆聽模式的概念得到了進(jìn)一步的擴(kuò)展。對(duì)于Tuuri和Eerola來說,聽聲音或音樂并不是一種通過聽覺來掌握意義的同質(zhì)化行為,聽眾的意向性常常被忽視,由此他們提出聆聽受到三個(gè)方面的影響:注意力(我們專注于聲音的程度),意向性(聆聽模式:我們作為聆聽者如何感知聲音,作為我們?cè)噲D理解世界的結(jié)果)和傾向性(聆聽風(fēng)格:我們最傾向于利用哪種聆聽模式)。需要注意的是,這三種聆聽模式在復(fù)雜、多變的VR影音作品中也會(huì)相互結(jié)合發(fā)揮作用。為了描述知覺現(xiàn)象我們必須認(rèn)識(shí)到意識(shí)和主動(dòng)感知的問題。在電影中,銀幕限定了給觀眾看與聽的內(nèi)容,鑒于我們文化中缺乏對(duì)聽覺的訓(xùn)練,導(dǎo)致聲音信息的遺漏或者難以選擇某些聲音內(nèi)容的情況發(fā)生；而在VR影音作品中,影像和聲音都會(huì)隨著體驗(yàn)者的交互行為發(fā)生變化,我們的意識(shí)會(huì)影響感知,主動(dòng)地聆聽,同時(shí),聲音在體驗(yàn)者視線外的區(qū)域產(chǎn)生的增值現(xiàn)象能夠更好地解釋影像的意義。由此可見,在VR影音作品中聲音比影像更能成為情感和語義控制的潛在手段。

四、聽覺空間的審美建構(gòu):聲境與聽覺主體間的契合

康德認(rèn)為,審美判斷建立在人類的某種共通感(common sense)基礎(chǔ)上,共通感的意思是當(dāng)人給出一個(gè)審美判斷后,他可以跟別人討論,獲得別人的認(rèn)同。由此康德認(rèn)為美具有主觀的普遍性,用普遍性表示美感是可以傳達(dá)予他人的。對(duì)傳統(tǒng)電影來說,自然地再現(xiàn)聲音世界是無法想象的,如果銀幕上出現(xiàn)了一切聲音,將會(huì)是非常喧鬧的,也很難讓觀眾抓住影片想要突出表達(dá)的內(nèi)容,電影中的聲音必須經(jīng)過設(shè)計(jì),才能形成自己的聲音表達(dá)。在處理影片聲音設(shè)計(jì)時(shí),聲音設(shè)計(jì)師需要借助審美的方式,將審美欣賞作為一種知覺經(jīng)驗(yàn)。

音景(soundscape)是當(dāng)代聲音研究(sound studies)中的一個(gè)重要概念,電影研究中也經(jīng)常運(yùn)用音景的理論解釋聲音的現(xiàn)象。音景由景觀(landscape)衍生而來,加拿大西蒙弗雷德大學(xué)教授默雷·謝弗(Murray Schafer)認(rèn)為,音景是通過聲音理解人們?cè)谔囟〞r(shí)間與環(huán)境相互作用的方式,Barry Truax將其定義為聲音環(huán)境,強(qiáng)調(diào)個(gè)人或社會(huì)對(duì)聲音的感知和理解方式。不難發(fā)現(xiàn),音景的概念由景觀而來,還是基于西方視覺范式的提法,同時(shí)音景將聲音作為一個(gè)對(duì)象看待,聲音被放置在景觀和對(duì)事物視覺理解的框架下,以英國阿伯丁大學(xué)蒂莫西·英戈?duì)柕?Timothy Ingold)教授為代表的學(xué)者認(rèn)為,音景的概念不能準(zhǔn)確解釋聲音的內(nèi)涵,聲音不應(yīng)是對(duì)象,而應(yīng)該是我們感知、思考的媒介。他將聲音與光(而非可見物體或圖像)進(jìn)行比較,正如視覺研究傾向于將視覺從屬于圖像,將眼睛視為再現(xiàn)圖像的工具,而不是感知器官,音景研究將耳朵簡化為簡單的回放工具存在著很大的風(fēng)險(xiǎn)。英戈?duì)柕掠锰鞖?、風(fēng)和呼吸這類的例子,提出另一種理解聲音的方式,即作為體驗(yàn)的聲音,聲音就像呼吸一樣,是一種來去循環(huán)的能量?；谟⒏?duì)柕聦?duì)于聲音的理解,有學(xué)者提出了聲學(xué)環(huán)境/聲音環(huán)境,簡稱聲境(acoustic milieu)的概念,Milieu是一個(gè)法語詞匯,英文翻譯為environment,聲境主要是指通過聲音或聽覺創(chuàng)造的環(huán)境,但是聲境不是一個(gè)簡單的環(huán)境。國內(nèi)學(xué)者王婧認(rèn)為,聲境不僅僅是一個(gè)環(huán)境,它是主動(dòng)產(chǎn)生的,具有物質(zhì)、符號(hào)和記憶的特征。如果我們把聽者作為我們的主體,那么人們就會(huì)理解,通過聽的行為,他與聲音環(huán)境相互作用,產(chǎn)生我們所說的聲音。因此,聲音既不是物體,也不是振動(dòng)體,也不是振動(dòng)發(fā)生的空間；聲音是聽者與環(huán)境相互作用的產(chǎn)物。聆聽不再是沉思眼前的事物,而是沉浸在環(huán)境中。聲境的概念摒棄了西方傳統(tǒng)美學(xué)中主客二元對(duì)立的思想,指向一種關(guān)系性的環(huán)境。此外,因?yàn)槁暰持皇黔h(huán)境的一部分,所以聆聽的行為不是一種專注于一種感覺并麻醉其他感覺的截?cái)喔兄?它編織了主體與特定環(huán)境之間的關(guān)系,聲音環(huán)境與視覺、觸覺和其他環(huán)境共存。聲境的理論有助于我們理解VR影音作品中創(chuàng)作者、體驗(yàn)者和作品之間的關(guān)系。例如在聲音交互作品《水母》(Jellyfish)中,該作品運(yùn)用實(shí)時(shí)語音分析儀測量體驗(yàn)者語音的振幅、頻率變化,并根據(jù)語音信息實(shí)時(shí)反饋給體驗(yàn)者所聽所見的虛擬環(huán)境。體驗(yàn)者置身海洋世界,一旦凝視某一個(gè)水母,水母便會(huì)向體驗(yàn)者游來,它會(huì)根據(jù)體驗(yàn)者發(fā)出的聲音產(chǎn)生相應(yīng)的形態(tài)變化,當(dāng)體驗(yàn)者保持沉默不理會(huì)水母時(shí),它就會(huì)游離。體驗(yàn)者說話或歌唱的過程中會(huì)將注意力更多放在聆聽自己的聲音上,創(chuàng)作者在設(shè)計(jì)之初就充分考慮了語音信息的特征,水母的形態(tài)變化也根據(jù)語音的變化而發(fā)生改變,體驗(yàn)者聆聽的行為沉浸在整個(gè)海洋環(huán)境中,聲畫交織一體,體驗(yàn)者通過這樣的交互體驗(yàn)了解一個(gè)物種。

這里不妨借用禪宗中的心和境的關(guān)系來進(jìn)一步分析VR影音作品中的聽覺空間的審美建構(gòu)。體驗(yàn)者(感知主體)和聽覺空間(聲音環(huán)境)之間的關(guān)系可以看作是心與境之間的關(guān)系。唐代佛教學(xué)者宗密禪師說:“心境互依,空而似有故也。且心不孤起,托境方生；境不自生,由心故現(xiàn)。心空即境謝,境滅即心空?！弊髌分新曇羲鶢I造的聽覺空間首先是創(chuàng)作者主觀經(jīng)驗(yàn)的表達(dá),聲境強(qiáng)調(diào)個(gè)人對(duì)某種聲學(xué)環(huán)境的體驗(yàn),體驗(yàn)者在交互的過程中,感知主體與環(huán)境之間的相互作用產(chǎn)生了一種幻覺,根據(jù)人的頭部及身體的移動(dòng)帶來聽覺空間的變化,基于對(duì)現(xiàn)實(shí)環(huán)境的記錄,但又不是完全還原現(xiàn)實(shí),體驗(yàn)者接受信息的多少取決于自身的交互過程及個(gè)人的主觀經(jīng)驗(yàn),如人生閱歷、學(xué)識(shí)素養(yǎng)、氣度胸懷等。一部成功的VR影音作品應(yīng)該做到心與境的契合,這就需要?jiǎng)?chuàng)作者在創(chuàng)作之初就充分考慮到作為感知主體的體驗(yàn)者的接受程度,聽覺空間設(shè)計(jì)需要具備全向聲場的思維,通過有效的交互場景推動(dòng)敘事的進(jìn)行。

注釋:

① 花暉:《VR電影語言》,上海交通大學(xué)出版社 2019年版,第29頁。

② Vosmeer M,Schouten B.ProjectOrpheusAResearchStudyinto360CinematicVR.Proceedings of the 2017 ACM International Conference on Interactive Experiences for TV and Online Video.2017.pp.85-90.

③ Pillai J S,Verma M.GrammarofVRStorytelling:AnalysisofPerceptualCuesinVRCinema.European Conference on Visual Media Production.2019.pp.1-10.

④ Carpenter E S,Carpenter E,Mcluhan M.ExplorationsinCommunication:AnAnthology.Beacon Press(MA).1966.

⑤ [法]米歇爾·希翁:《視聽:幻覺的建構(gòu)(第三版)》,黃英俠譯,北京聯(lián)合出版公司 2019年版,第132頁。

⑥ Larsson P,V?ljam?e A,V?stfj?ll D,et al.Auditory-inducedPresenceinMixedRealityEnvironmentsandRelatedTechnology.In the Engineering of Mixed Reality Systems.Springer.2010.pp.143-163.

⑦ Jowett B.AllegoryoftheCave:Plato.CreateSpace Independent Publishing Platform.2016.

⑧ [蘇]安德烈·塔科夫斯基:《雕刻時(shí)光》,張曉東譯,南海出版公司2019年版,第175-176頁。

⑨ 倪梁康:《現(xiàn)象學(xué)及其效應(yīng):胡塞爾與當(dāng)代德國哲學(xué)》,生活·讀書·新知三聯(lián)書店2005年版,第37頁。

⑩ Ihde D.ListeningandVoice:PhenomenologiesofSound.Suny Press.2007.