虛擬現(xiàn)實(shí)動(dòng)畫(huà)中的交互設(shè)計(jì)與多感官體驗(yàn)的研究

胡軍強(qiáng)

（福建江夏學(xué)院設(shè)計(jì)與創(chuàng)意學(xué)院，福建 福州 350108）

1 引言

近年來(lái)，對(duì)虛擬現(xiàn)實(shí)動(dòng)畫(huà)的研究和設(shè)計(jì)迅速吸引著越來(lái)越多的研究者和開(kāi)發(fā)團(tuán)隊(duì)，隨著虛擬眼鏡、虛擬手套、虛擬外衣等各種虛擬交互設(shè)備的普及，基于肢體感觸等自然交互系統(tǒng)已經(jīng)超越了鍵盤、鼠標(biāo)等指令類的交互形式。雖然虛擬交互設(shè)備在虛擬現(xiàn)實(shí)動(dòng)畫(huà)中已經(jīng)廣泛應(yīng)用，但是自然交互方式和多感官體驗(yàn)在虛擬現(xiàn)實(shí)動(dòng)畫(huà)中仍然缺乏成熟的實(shí)踐應(yīng)用和理論研究。

在國(guó)外，基于虛擬現(xiàn)實(shí)技術(shù)和交互設(shè)備的虛擬現(xiàn)實(shí)動(dòng)畫(huà)（以下簡(jiǎn)稱“VR動(dòng)畫(huà)”）作品不斷涌現(xiàn)，比如知名度較高的《Henry》《Pearl》等短片既有完整的故事情節(jié)，也有深入的交互設(shè)計(jì)與感官體驗(yàn)設(shè)計(jì)。在VR動(dòng)畫(huà)的感官體驗(yàn)設(shè)計(jì)中，大多創(chuàng)作者從視覺(jué)、聽(tīng)覺(jué)、觸覺(jué)角度去設(shè)計(jì)感官體驗(yàn)，卻很少?gòu)男嵊X(jué)、味覺(jué)角度設(shè)計(jì)，融合各種感官的綜合體驗(yàn)設(shè)計(jì)就更少。多感官交互的興起給VR動(dòng)畫(huà)創(chuàng)作帶來(lái)新的表達(dá)形式，它會(huì)給觀眾帶來(lái)綜合性的感官體驗(yàn)，也是一個(gè)VR動(dòng)畫(huà)創(chuàng)作手段的挑戰(zhàn)。

2 VR動(dòng)畫(huà)中的“交互-感知”模式

在動(dòng)畫(huà)藝術(shù)發(fā)展過(guò)程中，新技術(shù)的應(yīng)用都能為動(dòng)畫(huà)創(chuàng)作帶來(lái)前所未有的改變。從攝影攝像技術(shù)、分層繪制技術(shù)、無(wú)紙二維數(shù)字技術(shù)、三維數(shù)字動(dòng)畫(huà)技術(shù)，直到最近幾年逐漸興起的虛擬現(xiàn)實(shí)技術(shù)，每一種新技術(shù)的出現(xiàn)，都在一定程度上改變了動(dòng)畫(huà)藝術(shù)的呈現(xiàn)形式[1]。隨著虛擬現(xiàn)實(shí)技術(shù)和虛擬終端設(shè)備的逐漸完善，動(dòng)畫(huà)創(chuàng)作跨越了從簡(jiǎn)單數(shù)字化繪制到交互與感官體驗(yàn)設(shè)計(jì)的多維度。這類動(dòng)畫(huà)（即VR動(dòng)畫(huà)）可以讓觀眾沉浸在逼真的虛擬環(huán)境中，通過(guò)虛擬終端設(shè)備本能地感知到動(dòng)畫(huà)中的交互，體驗(yàn)動(dòng)畫(huà)中視、聽(tīng)、觸、嗅、味等多種感官反饋。在借鑒和參考以前學(xué)者的成果上[2]，將VR動(dòng)畫(huà)中的“交互-感知”模式繪制如圖1所示。

圖1 VR動(dòng)畫(huà)的“交互-感知”模式

VR動(dòng)畫(huà)中的交互重點(diǎn)研究符合觀眾習(xí)慣的交互方式，以提高觀眾對(duì)動(dòng)畫(huà)作品的欣賞與體驗(yàn)層次。傳統(tǒng)人機(jī)交互主要通過(guò)鼠標(biāo)、鍵盤及操縱桿等設(shè)備實(shí)現(xiàn)控制動(dòng)畫(huà)的播放進(jìn)程和簡(jiǎn)單交互。而基于虛擬現(xiàn)實(shí)技術(shù)和設(shè)備的VR動(dòng)畫(huà)交互方式是以真實(shí)世界中的觀眾為中心，通過(guò)VR交互設(shè)備與虛擬世界進(jìn)行自然交互，以視聽(tīng)影像、體感、味道、氣味等多通道呈現(xiàn)交互信息，使觀眾得到融合多種感官（視覺(jué)、聽(tīng)覺(jué)、觸覺(jué)、味覺(jué)、嗅覺(jué)）的體驗(yàn)。

3 VR動(dòng)畫(huà)中的自然交互形式

“自然交互”是指將個(gè)人在平時(shí)生活中常用到的交流方式與技能應(yīng)用到虛擬環(huán)境交互中，與虛擬世界中的對(duì)象進(jìn)行交流[3]。早期觀眾在欣賞動(dòng)畫(huà)時(shí)，可以通過(guò)鼠標(biāo)、鍵盤或手柄去控制動(dòng)畫(huà)播放，甚至是深入交互改變劇情。這個(gè)時(shí)期的觀眾需要學(xué)習(xí)并理解點(diǎn)擊鼠標(biāo)、敲鍵盤輸入信息、手柄搖動(dòng)等抽象的交互方式，哪種行為代表哪種類型的交互等等，這個(gè)必定讓觀眾無(wú)法全身心地去體驗(yàn)動(dòng)畫(huà)，影響觀影體驗(yàn)效果。而自然式交互是在根據(jù)個(gè)人的生活習(xí)性，個(gè)人大腦能夠判斷在執(zhí)行某些特定動(dòng)作后一定會(huì)收到的某些固定反饋的交互。這類憑日常習(xí)慣與經(jīng)驗(yàn)便可以進(jìn)行的交互動(dòng)作，減少了大腦思考和下指令的時(shí)間，而更像是個(gè)人本能的條件反射，使觀眾體驗(yàn)效果更佳，沉浸感更強(qiáng)。

目前經(jīng)常應(yīng)用的自然交互手段主要有第六感設(shè)備、追影技術(shù)、多點(diǎn)觸控、語(yǔ)音識(shí)別、眼球追蹤、增強(qiáng)現(xiàn)實(shí)、人臉識(shí)別、體感操作等。在真實(shí)世界中，與界面觸摸是很自然的交互方式，運(yùn)用觸摸技術(shù)會(huì)讓觀眾覺(jué)得與屏幕的交互更加直接，操控感更好，因此很多VR動(dòng)畫(huà)通過(guò)觸摸屏進(jìn)行人機(jī)交互。另外，體感交互是利用深度相機(jī)等捕獲用戶的表情與語(yǔ)音信息、肢體的運(yùn)動(dòng)軌跡，通過(guò)“獲取-識(shí)別-處理-表達(dá)”等一系列操作完成自然的人機(jī)交互，目前已經(jīng)在各種VR動(dòng)畫(huà)創(chuàng)作中得到了一定程度的應(yīng)用。

4 VR動(dòng)畫(huà)的交互策略

VR動(dòng)畫(huà)中使用哪種交互手段、在哪個(gè)故事節(jié)點(diǎn)使用交互、如何用好交互是所有VR動(dòng)畫(huà)創(chuàng)作者必須面臨的交互策略問(wèn)題。這里“交互”不一定得具體的某項(xiàng)觸發(fā)情節(jié)變化的節(jié)點(diǎn)，它從廣義上指的是能夠促使動(dòng)畫(huà)故事、場(chǎng)景與觀眾間產(chǎn)生的互動(dòng)與聯(lián)系的某些設(shè)置，在交互形式上包括眼神交互、肢體移動(dòng)、劇情分支等，觀眾能夠和電影產(chǎn)生緊密的聯(lián)系，甚至能夠決定劇情的發(fā)展和結(jié)局。近兩年出現(xiàn)了大量?jī)?yōu)秀的VR動(dòng)畫(huà)作品，其中的交互設(shè)計(jì)策略亟需進(jìn)行理論梳理，從而發(fā)現(xiàn)新的規(guī)律。因此，根據(jù)VR動(dòng)畫(huà)的交互策略和效果，大致分為輕交互和重交互兩大類。

4.1 輕交互VR動(dòng)畫(huà)

輕交互VR動(dòng)畫(huà)中，交互情節(jié)設(shè)置較為簡(jiǎn)單。創(chuàng)作者直接讓觀眾化身為動(dòng)畫(huà)中的某一個(gè)角色，以旁觀者的身份參與動(dòng)畫(huà)故事中，也可以旁觀者的角度去體驗(yàn)故事情節(jié)，但是基本不可能改變劇情的發(fā)展和結(jié)局?！禝nvasion！》這部VR動(dòng)畫(huà)短片中，數(shù)個(gè)外星人試圖摧毀地球，但其陰謀被兩只小兔子挫敗，而其中一只兔子正是作為觀眾的你。觀眾體驗(yàn)過(guò)程中，會(huì)看到自己變成一只毛茸茸的小胖兔，并能與觀眾進(jìn)行眼神交流。將觀眾化身為動(dòng)畫(huà)角色，觀眾以角色的視角來(lái)體驗(yàn)強(qiáng)烈的如臨其境的生理感受和參與故事進(jìn)展的心理愉悅感。

另外一種，觀眾以漫游者的身份去瀏覽故事環(huán)境。比如，《Allumette》這部動(dòng)畫(huà)以CG渲染，加入了輕微的互動(dòng)，觀眾能四處走動(dòng)，湊近去看自己感興趣的地方，從任何角度觀看虛擬世界，能夠更加親近體驗(yàn)故事中小女孩和母親之間愛(ài)的溫情。

4.2 重交互VR動(dòng)畫(huà)

在重交互VR動(dòng)畫(huà)中，設(shè)計(jì)者更多從感官體驗(yàn)的角度去設(shè)計(jì)交互，讓觀眾可以從不同的感官去體驗(yàn)動(dòng)畫(huà)故事?！禦aising a Rukus》這部動(dòng)畫(huà)短片的交互體現(xiàn)在可分支劇情上，巧妙的是，觀眾眼神注視的方向在不經(jīng)意間就選擇了故事走向——在某個(gè)節(jié)點(diǎn)注視一個(gè)角色就跟著這個(gè)角色走，其實(shí)同時(shí)還有另一個(gè)角色的故事在上演。

VR是一種動(dòng)畫(huà)媒體，具有電影的同理心、游戲的機(jī)制。VR動(dòng)畫(huà)與觀眾身份轉(zhuǎn)變很可能會(huì)消解目前動(dòng)畫(huà)與游戲的界限，最終形成一個(gè)介于虛擬與真實(shí)世界之間的娛樂(lè)體驗(yàn)內(nèi)容[4]。Google Spotlight Stories的另一部作品《蟲(chóng)蟲(chóng)之夜》（Buggy Night,2015）具有完整的類似于游戲的故事情節(jié)。動(dòng)畫(huà)故事講述樹(shù)林里住著五只蟲(chóng)子，觀眾需要在樹(shù)林里通過(guò)不同視角去尋找隱藏的蟲(chóng)子。當(dāng)觀眾找到蟲(chóng)子，其視線落在蟲(chóng)子身上時(shí)，蟲(chóng)子數(shù)量就會(huì)減少，其它蟲(chóng)子也會(huì)被驚嚇到而逃離。如此反復(fù)，直到所有的蟲(chóng)子被觀眾找到，故事才結(jié)束。這類似于游戲中抓怪物的模式，只是交互的方式由鼠標(biāo)鍵盤變成更自然的視覺(jué)交互，更適合于不同游戲交互方式的小孩去體驗(yàn)。

4.3 交互觸發(fā)元素

不同的故事內(nèi)容會(huì)有不同的場(chǎng)景元素，創(chuàng)作者可以有意識(shí)地添加能推動(dòng)故事發(fā)展的交互元素，盡可能設(shè)計(jì)成與眾不同的視覺(jué)效果以吸引觀眾的注意。在VR動(dòng)畫(huà)中常用到的交互觸發(fā)元素有物件、場(chǎng)景、聲音[5]。

自主探索是指VR動(dòng)畫(huà)中引導(dǎo)觀眾自主觀察，從而觸動(dòng)劇情的一種敘事模式。比如在《迷失》里，當(dāng)場(chǎng)景全部展現(xiàn)時(shí)，會(huì)給予觀眾大概幾十秒的時(shí)間去熟悉動(dòng)畫(huà)體驗(yàn)的環(huán)境。該片會(huì)在某些重要的情節(jié)中通過(guò)飛鳥(niǎo)動(dòng)畫(huà)或語(yǔ)音提示引導(dǎo)觀眾的視線。反之，如果觀眾不依據(jù)情節(jié)中的引導(dǎo)去觀看，故事則無(wú)法正常展開(kāi)下去。

5 VR動(dòng)畫(huà)的交互反饋

新媒體動(dòng)畫(huà)中的交互得到更多的視聽(tīng)感受，也有少量的觸覺(jué)感受。但VR動(dòng)畫(huà)多數(shù)是建立虛擬立體的場(chǎng)景，在交互后，受眾得到視覺(jué)、聽(tīng)覺(jué)、觸覺(jué)甚至是嗅覺(jué)、味覺(jué)的感受，反饋這些信息的方式主要有手、足、語(yǔ)言、眼神、表情等，接收信息的感官通道主要有眼（視覺(jué)）、（耳）聽(tīng)覺(jué)、（肢體）觸覺(jué)、（鼻）嗅覺(jué)、（舌）味覺(jué)等[6]。

例如著名導(dǎo)演Alejandro G.I?árritu執(zhí)導(dǎo)的VR電影《肉與沙》（Carne y Arena），受眾在體驗(yàn)《肉與沙》之前會(huì)被帶進(jìn)一個(gè)鋪滿沙子的空房間。影片開(kāi)始，令人緊張的燈光、不斷響起的警報(bào)渲染出令人緊張的氣氛，影片預(yù)留了大量的時(shí)間，一步步引領(lǐng)觀眾走入故事的主線。隨著故事內(nèi)容的推進(jìn)，房間地面會(huì)產(chǎn)生震動(dòng)，帶給人極強(qiáng)的顛簸起伏感，讓觀眾體驗(yàn)到難民逃生的心酸。虛擬現(xiàn)實(shí)影像中的觀眾，身份從單一的欣賞者變成多維的參與者，并且在未來(lái)的虛擬現(xiàn)實(shí)影像中，觀眾將會(huì)從視覺(jué)、聽(tīng)覺(jué)、嗅覺(jué)、觸覺(jué)、味覺(jué)等感觀維度全方位、深度沉浸參與影像藝術(shù)[7]。

6 結(jié)語(yǔ)

VR動(dòng)畫(huà)的交互式敘事設(shè)計(jì)尚處于探索階段，盡管有很多困難，但我們應(yīng)該迎難而上努力從技術(shù)和理論上去尋找解決方法[8]。創(chuàng)作者不應(yīng)拘泥于傳統(tǒng)的敘事方式，而應(yīng)在敘事的基礎(chǔ)上嘗試更多的自然交互形式，畢竟讓觀眾體驗(yàn)一個(gè)好的故事才是VR動(dòng)畫(huà)創(chuàng)作的初衷。雖然虛擬現(xiàn)實(shí)動(dòng)畫(huà)產(chǎn)業(yè)尚處于發(fā)展的初期階段，但是該產(chǎn)業(yè)必定會(huì)隨著自然交互技術(shù)與感官體驗(yàn)技術(shù)的革新和創(chuàng)作者敘事設(shè)計(jì)實(shí)踐和理論水平的提升，產(chǎn)生更加完善的作品，觀眾將從中獲得更加自然的交互體驗(yàn)和情感體驗(yàn)。