虛擬現(xiàn)實環(huán)境的視聽體驗設(shè)計

文/歐陽盛劼

虛擬現(xiàn)實（Virtual Reality，簡稱VR）這一概念產(chǎn)生于人類對現(xiàn)實世界的探索與模擬，是人類一直尋求通過藝術(shù)或技術(shù)的方式再現(xiàn)現(xiàn)實的體現(xiàn)。它從一項主要用于軍事、航天等領(lǐng)域仿真演練的尖端科技逐漸普及為人類日常。如今，人們可通過使用VR頭戴設(shè)備或進入VR體驗區(qū)等來感受VR世界亦真亦幻的魅力，尤其是逼真的視聽效果，讓體驗者們仿佛置身幻境。

虛擬現(xiàn)實是以計算機技術(shù)為核心，結(jié)合相關(guān)科學(xué)技術(shù)，生成與一定范圍真實環(huán)境在視、聽、 觸感等方面高度近似的數(shù)字化環(huán)境，用戶借助必要的裝備與數(shù)字化環(huán)境中的對象進行交互作用、相互影響，可以產(chǎn)生親臨對應(yīng)真實環(huán)境的感受和體驗，即在數(shù)字化環(huán)境中產(chǎn)生在真實環(huán)境的認知。知覺研究著名學(xué)者吉布森（J·J·Gibson）認為，我們周圍的環(huán)境為我們的生存提供了足夠的充分的信息，人體感官的構(gòu)成也使人具備獲取信息的能力?，F(xiàn)實世界中，環(huán)境信息直接刺激人的感知器官，在VR環(huán)境里，這些信息需通過技術(shù)手段被復(fù)制或模擬，借助傳輸設(shè)備作用到使用者的感知神經(jīng)。從本質(zhì)看，虛擬現(xiàn)實系統(tǒng)是包含各種認知信息的綜合體，這些信息越逼真、越豐富，帶來的認知感受越貼近現(xiàn)實。

人的感官主要有視、聽、嗅、味、觸等，分別對應(yīng)獲取環(huán)境中的光線、聲音、味道、質(zhì)地等信息。獨立的感官系統(tǒng)或多感官協(xié)作還可產(chǎn)生空間感、方向感等。其中，視覺和聽覺是人體獲取外界信息最重要的兩大渠道，人們通過看和聽能基本完成對外界環(huán)境的認知感受。因此，在VR環(huán)境構(gòu)建中，視聽系統(tǒng)的仿真模擬是虛擬環(huán)境真實感的重要著力點，需充分參考人視聽感官的生理機制和VR體驗特征來設(shè)計實現(xiàn)。

1.虛擬現(xiàn)實中的視聽體驗特征

1993年，Heim 提出“VR是一種在效應(yīng)上而不是事實上真實的或?qū)嶓w”，同時刻畫了VR的7個特征：模擬性、交互作用、人工現(xiàn)實、沉浸性、遙在、全身沉浸和網(wǎng)絡(luò)通信。1994年，Burdea 等出版了《Virtual Reality Technology》一書，書中他們用3“I”——沉浸感（immersion）、交互性（interaction）、構(gòu)想性（imagination）概括了VR的基本特征，這也是VR視聽系統(tǒng)的體驗訴求。

其中，沉浸感與VR技術(shù)對現(xiàn)實世界的模擬程度成正比，仿真度越高，體驗者的認知活動越不被干擾，沉浸感越強。如前文所述，視聽是VR系統(tǒng)中最重要的部分之一，人可能接收到的所有真實視、聽信息是實現(xiàn)VR沉浸感的重要參考。此外，沉浸感體現(xiàn)出使用者對VR環(huán)境是被包含、被融入的關(guān)系，從感知角度強調(diào)了VR環(huán)境應(yīng)是一個立體空間，因此，VR視聽系統(tǒng)需滿足人對縱深、方位等空間信息的需求。

VR沉浸體驗不僅來自于立體空間感，也來自使用者與環(huán)境間的互動行為，VR的交互性特征可為用戶帶來行為系統(tǒng)的沉浸感。VR的交互性不僅指對體驗者有意識的操作給予反饋，還應(yīng)在體驗者發(fā)生無意識的行為時，及時模擬真實環(huán)境做出變化。如使用者轉(zhuǎn)動頭部，設(shè)備中的畫面隨之轉(zhuǎn)動，以模擬視野的調(diào)整。

構(gòu)想性是VR“源自現(xiàn)實又超越現(xiàn)實”的體現(xiàn)，強調(diào)了設(shè)計者在其中的主導(dǎo)地位。虛擬現(xiàn)實本質(zhì)上是人類尋求感官模擬和復(fù)制的一種途徑，在模擬過程中也存在對現(xiàn)實世界物理性的超越。從視聽角度看，VR“允許我們以前所未有的豐富細節(jié)與深度，觀察和跟蹤真實世界”，并通過技術(shù)手段“安排”人們的視聽活動，這進一步滿足了體驗者的審美訴求并形成情感共鳴。

2.虛擬現(xiàn)實的視聽體驗設(shè)計

以VR的3“I”特征為指導(dǎo)，VR視聽體驗設(shè)計應(yīng)從人感知活動的生理機制和體驗訴求兩個角度出發(fā)。其中視覺部分主要有視覺逼真、空間視覺和位置/方向跟蹤三個方面，聽覺部分主要為視景伴音、方位信息兩個方面。

2.1 視覺部分

VR對現(xiàn)實世界的模擬包括模擬目標對象、對象間的關(guān)系和相互作用、與對象發(fā)展變化遵循的規(guī)律。VR視覺系統(tǒng)針對于人眼所見的畫面，可從這三個層面分為視覺逼真、空間視覺和位置、方向跟蹤。

視覺逼真指VR技術(shù)對現(xiàn)實視覺畫面的仿真。從視覺信息構(gòu)建方面，模擬對象的靜止、運動形態(tài)、環(huán)境景觀等構(gòu)成VR畫面主要內(nèi)容，要求數(shù)字建模合理、可辨。從視覺信息傳輸方面，頭顯設(shè)備的顯像能力也對視覺逼真感有影響，主要為技術(shù)因素。一是畫面視域。人的正常單色視域約為水平200度，垂直130度，其中，人眼主要對中心為20度的視域敏感。因此，設(shè)計VR視覺系統(tǒng)時應(yīng)確保中心20度的顯像水平，并盡可能開拓周邊視域。二是幀頻和分辨率。VR視覺系統(tǒng)形成實時畫面是通過相互獨立的序列幀圖像，由大腦視覺殘留能力形成連續(xù)畫面，由VR顯示器傳達至人眼。受到攝像機和顯示器性能的限制，VR顯像存在細微的幀頻滯后與傳感顯示的延時，因此，過于復(fù)雜的顯像環(huán)節(jié)將帶來VR場景的失真。

空間視覺指人類通過視覺可在大腦形成空間深度感，以此判斷自己和關(guān)注物體間的空間距離?？臻g深度感主要由四種基本類型的深度線索而得。一是靜態(tài)深度線索，指通過靜態(tài)圖像就能獲得的深度線索，如物體的相互位置、物體清晰程度、物體的相對大小等；二是運動深度線索，指在動態(tài)圖像中獲得的深度線索，如看到物體由小變大可感覺到物體的由遠而近；三是生理深度線索，既通過大腦監(jiān)視眼球和眼周肌肉的調(diào)節(jié)程度產(chǎn)生深度感覺；四是雙目視差線索，指由于雙眼的水平瞳距，使景物中的任意點在兩眼中形成的圖像存在水平位置的差異從而形成雙目視差，進而感知到目標物體的遠近深度。前兩者需在環(huán)境的三維坐標中尋找參照，根據(jù)目標對象與參照對象間的差異獲得線索。目標與參照可是同環(huán)境下的不同對象，或?qū)ο笈c整體環(huán)境，也可是同一對象運動的不同狀態(tài)。后兩者主要利用人類視覺系統(tǒng)多種機制交叉協(xié)作，更多從體驗者內(nèi)部產(chǎn)生效應(yīng)。

位置/方向跟蹤是VR對現(xiàn)實世界視覺規(guī)則的模仿，是VR顯像對體驗者行為的動態(tài)響應(yīng)，為體驗者帶來行為系統(tǒng)的沉浸感。這主要體現(xiàn)在VR體驗者轉(zhuǎn)動頭、眼時，頭顯畫面根據(jù)轉(zhuǎn)動角度及時做出調(diào)整，模擬真實環(huán)境中視角的變化。這不僅從視覺活動上緊密關(guān)聯(lián)體驗者與虛擬環(huán)境形成臨境感，從視覺信息角度，模擬視角變化時VR環(huán)境中事物透視關(guān)系的變化也將豐富體驗者的視覺空間感。這一方面要求軟件技術(shù)對使用者眼球、頭部運動捕捉的精確及時，硬件設(shè)備不得對人眼、頭的運動產(chǎn)生阻礙；另一方面要求VR顯示系統(tǒng)具備一定運算成像能力，減少模擬透視變化帶來的延時滯后。

綜上，可獲取以下幾點VR視覺體驗設(shè)計思路指導(dǎo)：

對于模擬對象，數(shù)字建模應(yīng)做到物體靜態(tài)時外形特征清晰可辨，動態(tài)時遵循合理的運動原理，同時充分考慮硬件設(shè)備的技術(shù)瓶頸，在有限的技術(shù)條件下充分利用成熟、穩(wěn)定的實現(xiàn)手段。人眼視域敏感區(qū)為視角中心20度左右，為減輕頭顯設(shè)備運算負擔，可適當簡化、弱化邊緣區(qū)域的事物模擬。例如，在微鯨VR影視作品中常將有效信息集中顯示在一定范圍的虛擬舞臺上，四周加入三維光影效果延伸出畫面，從而控制VR視頻的技術(shù)難度，彌補顯示設(shè)備視域的不足。

對于對象與對象、對象與環(huán)境間的關(guān)系，空間視覺是使人眼獲得的二維圖像信息形成空間深度感的重要能力，當體驗設(shè)計對虛擬環(huán)境建設(shè)提出體現(xiàn)空間距離的需求，可通過著重乃至夸張表現(xiàn)環(huán)境中單個物體本身或多個物體之間的位置、大小、虛實、運動的變化。例如，2012年央視春晚中的《因為愛情》歌曲表演節(jié)目中加入的花瓣飄灑特效，就是通過夸張放大的花瓣運動與男女主角虛實變焦來營造廣闊的舞臺空間。

對于對象與環(huán)境的變化規(guī)律，眼、頭運動的捕捉和VR系統(tǒng)的反饋及時是最重要的兩點，但除了對視線跟蹤技術(shù)的研發(fā)使用，也應(yīng)關(guān)注顯現(xiàn)設(shè)備是否舒適穩(wěn)固。目前VR頭戴設(shè)備主要分為自帶處理器的VR一體機、搭配智能手機使用的VR手機盒子與其簡化版的紙盒。VR一體機大多笨重，長期使用會造成眼部、頸部肌肉的疲勞，VR盒子雖輕便但存在手機位置固定不穩(wěn)等弊端。這些都影響了VR視覺系統(tǒng)對自然狀態(tài)下體驗者眼、頭運動及其視覺反饋的模擬。

2.2 聽覺部分

聽覺是人類僅次于視覺的第二大感知來源，人類對客觀世界的感知信息有15%左右來自聽覺。聽覺信息的作用一方面為實時生成的視景伴音，產(chǎn)生視覺和聽覺的疊加效應(yīng)，達到聲像融合；另一方面三維聲音信息可補充由于視野所限、視景未顯示到的信息，使人可監(jiān)控、識別來自任何方位的信息，不僅僅是視野內(nèi)的方位信息。

VR 系統(tǒng)中作為視景伴音的聲音信息直接產(chǎn)生于體驗者的聽覺感官，體驗訴求主要有聲音仿真與聲音圖像間的同步兩方面。聲音仿真指計算機生成的聲音應(yīng)盡可能的逼近真實，模擬聲音在不同密度介質(zhì)中的音速變化、反射、折射，還有不同聲源同時發(fā)聲時，多種聲音的疊加與混合。聲畫同步的概念源自影視藝術(shù)，指聲音由畫面中人、物體或環(huán)境產(chǎn)生，與畫面協(xié)調(diào)一致。保持聲音與畫面的同步融合，可極大地增加視聽系統(tǒng)的逼真度。

聲音信息向方位信息的轉(zhuǎn)化則主要由人的“單耳效應(yīng)”與“雙耳效應(yīng)”實現(xiàn)?！皢味?yīng)”即“耳廓效應(yīng)”，是指經(jīng)過人類不對稱的耳廓反射之后，到達耳膜的聲波頻譜特征與其聲源的方向有關(guān)。這也就是說，人憑一只耳朵，就能初步辨出聲音的方向，從而對聲音進行定位。“雙耳效應(yīng)”（Duplex Theory）是指雙耳位于頭的兩側(cè)，兩耳之間有一定的距離，那么聲源發(fā)出的聲音到達兩耳的路徑距離不一樣，聲音的延時和衰減就不同，聲音到達的時間和強度也就不同，從而產(chǎn)生聽覺的空間感。對此，VR聽覺系統(tǒng)在模擬聲音環(huán)境時，一可通過改變目標聲源與環(huán)境聲傳入人耳的時間差來模擬虛擬環(huán)繞效果，二可配合眼、頭轉(zhuǎn)動的方位角度調(diào)整左右耳接收聲音信號的時間、強弱，來模擬聲源至體驗者頭部中心距離方向的變化。

因此，為達到VR聽覺系統(tǒng)作為畫面伴音與突顯空間感的體驗效果， 需從三個角度進行聲音數(shù)據(jù)的儲備：模擬目標對象的仿真音源；當前虛擬場景下的環(huán)境音，包括多種聲音的疊加混響與不同傳播介質(zhì)中聲音傳播規(guī)律變化的體現(xiàn)；對體驗者頭部運動的動態(tài)響應(yīng)。前二者結(jié)合目前發(fā)展成熟穩(wěn)定的環(huán)繞聲技術(shù)可提高聽覺的的真實感與臨場感，后者則再次強調(diào)了VR系統(tǒng)對體驗者頭部活動的跟蹤與反饋。

3.總結(jié)與展望

虛擬現(xiàn)實帶來的視聽體驗越過了傳統(tǒng)人機交互需借助的象征符號，直接介入人本能的感知活動中，通過模擬真實環(huán)境對人體感官的刺激與互動，構(gòu)建了一個源自現(xiàn)實又可人為干預(yù)的數(shù)字世界。VR視聽通過對感知的模擬復(fù)制使體驗者的身心沉浸于數(shù)字技術(shù)構(gòu)建的虛擬空間，這是人類使用媒介技術(shù)再現(xiàn)現(xiàn)實世界的嘗試，也是媒介形態(tài)沿著“虛擬化”脈絡(luò)發(fā)展的體現(xiàn)。隨著VR技術(shù)的發(fā)展，VR視聽體驗還將在仿真基礎(chǔ)上打破現(xiàn)實存在與主觀想象的界限，帶來超越現(xiàn)真實的審美體驗，解放人類受限于現(xiàn)實條件的理解、情感、想象，甚至改變?nèi)藗儗ψ晕?、世界、時空的看法。

[1] 周逵.虛擬現(xiàn)實的媒介建構(gòu)：一種媒介技術(shù)史的視角[J].現(xiàn)代傳播（中國傳媒大學(xué)學(xué)報），2013，35（08）：29-33.

[2] 趙沁平. 虛擬現(xiàn)實綜述[J]. 中國科學(xué)（F輯：信息科學(xué)），2009，39（01）：2-46.

[3] 彭聃齡.知覺的現(xiàn)代理論[J].哲學(xué)動態(tài)，1989（07）：26-29.

[4] David Gelernter， Mirror Worlds：or the Day Software Puts the Universe in a Shoebox…How It Will Happen and What It Will Mean， Oxford University Press， USA， 1993.

[5] 蔣慶全.頭盔顯示器視覺機理與視域設(shè)計[J].電視技術(shù)，2004（04）：81-84.

[6] 徐偉忠、劉輝、談?wù)S立體顯示系統(tǒng)的開發(fā)研究，中國圖像圖形學(xué)報，Vol.2，No.2，3，Mar.1997，PP.144-148.

[7] 羅福元，王行仁，彭曉源.聲音渲染技術(shù)及其在虛擬環(huán)境中的應(yīng)用[J].系統(tǒng)仿真學(xué)報，1999（05）：364-367.

[8] 劉光明，劉汐，竇維蓓.對虛擬環(huán)繞聲產(chǎn)生的研究與簡單實現(xiàn)[J].電聲技術(shù)，2003（04）：43-47.

[9] Stevens SS，Newman EB. The localization of actual sources of sound. Am J Psychol，1936，48：297-306.

[10] 王生九. 虛擬聽覺空間和虛擬環(huán)繞聲技術(shù)的研究及其DSP實現(xiàn)[D].東南大學(xué)，2006.