媒體融合環(huán)境下虛擬現(xiàn)實(shí)技術(shù)在交互式影像中的應(yīng)用

李佳皓 路越

摘? 要：隨著新媒體時(shí)代的發(fā)展，交互式影像逐漸成為影像的一種新型的表達(dá)方式。虛擬現(xiàn)實(shí)技術(shù)作為一種注重人機(jī)交互的現(xiàn)代新興技術(shù)，其高度的沉浸感和交互式操作，為交互式影像提供了新的技術(shù)實(shí)現(xiàn)手段。文章研究并闡述了虛擬現(xiàn)實(shí)技術(shù)應(yīng)用到交互式影像的關(guān)鍵技術(shù)，并依據(jù)經(jīng)典影像的場(chǎng)景，建立了匹配影像場(chǎng)景的虛擬現(xiàn)實(shí)交互式場(chǎng)景。

關(guān)鍵詞：融媒體;虛擬現(xiàn)實(shí)技術(shù);交互式影像;跨學(xué)科

中圖分類號(hào)：TP391.9? ? ? ?文獻(xiàn)標(biāo)志碼：A? ? ? ? ?文章編號(hào)：2095-2945（2020）04-0008-04

Abstract： With the development of new media， interactive video has gradually become a new way of video expression. Virtual reality technology， as a new modern technology which pays attention to human-computer interaction， has a high immersion and interactive operation， which provides a new technical means for interactive video. This paper studied the key technology of virtual reality applied to interactive image， and according to the scene of classic video， established a virtual reality interactive scene matching the video.

Keywords： fusion media; virtual reality technology; interactive video; interdisciplinary

交互式影像（Interactive Video）是一種觀眾參與到影像中，通過觀眾的互動(dòng)決定劇情走向、體驗(yàn)影像展示的場(chǎng)景的新型影像表現(xiàn)方式。交互式影像打破了傳統(tǒng)影像的敘事模式，觀眾并不局限于被動(dòng)的接受[1]，而是作為主角進(jìn)入到影像之中。隨著技術(shù)的不斷進(jìn)步，交互式、沉浸感是新媒體營造觀眾更高體驗(yàn)的重要目標(biāo)。虛擬現(xiàn)實(shí)技術(shù)（Virtual Reality）是一種計(jì)算機(jī)仿真技術(shù)，可以通過虛擬仿真，借助硬件的體驗(yàn)設(shè)備，實(shí)現(xiàn)高沉浸、交互性的虛擬體驗(yàn)?！敖换バ浴笔切旅襟w區(qū)別于傳統(tǒng)媒體形式的重要特征。人機(jī)交互是新媒體數(shù)字化領(lǐng)域的發(fā)展趨勢(shì)。隨著以計(jì)算機(jī)技術(shù)為載體的第三代電影興起，“數(shù)字交互式電影”成為電影的發(fā)展方向。虛擬現(xiàn)實(shí)技術(shù)的應(yīng)用，是交互式影像發(fā)展的重要研究領(lǐng)域。

現(xiàn)階段的理論研究指出，虛擬現(xiàn)實(shí)技術(shù)的應(yīng)用，是交互式影像實(shí)現(xiàn)實(shí)時(shí)交互性的重要途徑[2-3]，但這些研究大多是理論探討，即從理論角度指出VR應(yīng)用到交互式影像的重要前景，并不是針對(duì)虛擬現(xiàn)實(shí)技術(shù)應(yīng)用的實(shí)踐。從技術(shù)手段上進(jìn)行虛擬現(xiàn)實(shí)技術(shù)的交互式影像試驗(yàn)的實(shí)現(xiàn)，國內(nèi)比較少見。本文從技術(shù)層面實(shí)現(xiàn)了配合影像的虛擬現(xiàn)實(shí)場(chǎng)景，并可以進(jìn)行實(shí)時(shí)交互，進(jìn)一步說明了虛擬現(xiàn)實(shí)技術(shù)在交互式影像中的應(yīng)用是技術(shù)可行的，并進(jìn)行了虛擬現(xiàn)實(shí)技術(shù)應(yīng)用到交互式影像的關(guān)鍵技術(shù)探討。

1 交互式影像模式

現(xiàn)階段，國內(nèi)外對(duì)虛擬現(xiàn)實(shí)技術(shù)應(yīng)用到交互式影像的技術(shù)研究較少。對(duì)虛擬現(xiàn)實(shí)技術(shù)應(yīng)用到交互式影像中觀影者的體驗(yàn)感反饋以及情感體驗(yàn)的研究尚屬空白。本文借鑒傳統(tǒng)交互式影像的模式，即在關(guān)鍵點(diǎn)插入體驗(yàn)交互環(huán)節(jié)的方式構(gòu)建虛擬現(xiàn)實(shí)技術(shù)應(yīng)用到交互式影像的模式。通過借鑒動(dòng)作冒險(xiǎn)類電影《Lara Croft： Tomb Raider（古墓麗影）》的場(chǎng)景進(jìn)行虛擬現(xiàn)實(shí)技術(shù)場(chǎng)景及交互性操作的創(chuàng)作，從技術(shù)上進(jìn)行了虛擬現(xiàn)實(shí)技術(shù)引入交互式影像的探討。現(xiàn)階段交互式影像常常被定義為游戲的一個(gè)類別，但作為新媒體影像發(fā)展的必然途徑[4]，交互式影像仍然是“影像”發(fā)展的一種創(chuàng)新模式[5]。

1967年最早的交互式電影《Kinoautomat（自動(dòng)電影）》即提供了交互式影像最初的模式探索。2014年Xbox的《可能性（Possibilia）》突破傳統(tǒng)的“播放-暫停-觀眾選擇-播放”模式，采用連續(xù)播放影像的方式，成為交互式影像的一種模式的創(chuàng)新。2019年Netflix的交互式電影《Black Mirror： Bandersnatch（黑鏡：潘達(dá)斯奈基）》進(jìn)一步說明交互式影像模式是可行的。交互式影像不僅可以突破傳統(tǒng)影像單線程的情節(jié)，使觀眾決定多線程的影像情節(jié)走向，更可以使觀眾體驗(yàn)影像的特殊環(huán)節(jié)，即進(jìn)入影像的場(chǎng)景中，體驗(yàn)影像中人物體驗(yàn)的環(huán)境。交互式影像的觀影自由以及其以“人”為主體的敘事模式，是其優(yōu)于傳統(tǒng)媒體的重要原因。

應(yīng)用虛擬現(xiàn)實(shí)技術(shù)的交互式影像不是簡(jiǎn)單的VR 360°影像，也區(qū)別于通常的通過計(jì)算機(jī)界面操作的交互式影像。應(yīng)用虛擬現(xiàn)實(shí)技術(shù)的交互式影像不僅突破了計(jì)算機(jī)界面展示上的局限，更增進(jìn)了交互式影像的實(shí)時(shí)交互、沉浸感，讓觀眾實(shí)際走進(jìn)影像之中，是交互式影像的一次革新。

2 虛擬現(xiàn)實(shí)場(chǎng)景的建立

《Lara Croft： Tomb Raider（古墓麗影）》是西蒙·韋斯特執(zhí)導(dǎo)的一部動(dòng)作電影。電影改編自Eidos推出的同名電腦游戲《Tomb Raider》。影像中有大量需要進(jìn)行交互的場(chǎng)景，可以引入虛擬現(xiàn)實(shí)的交互元素。本文以此影像為參考，根據(jù)動(dòng)作冒險(xiǎn)類電影通常的劇情設(shè)置需要以及場(chǎng)景環(huán)境，嘗試性建立符合此類題材的影像虛擬現(xiàn)實(shí)交互式場(chǎng)景。本文所實(shí)現(xiàn)的并不是影像原場(chǎng)景的還原，而是參考影像中需要用到的交互式環(huán)境，進(jìn)行虛擬現(xiàn)實(shí)技術(shù)應(yīng)用的實(shí)踐。Unity3D是由Unity Technologies開發(fā)的一個(gè)實(shí)時(shí)三維動(dòng)畫、游戲開發(fā)、建筑可視化、虛擬仿真等類型互動(dòng)內(nèi)容的多平臺(tái)的綜合型開發(fā)工具。本文采用Unity3D進(jìn)行場(chǎng)景建模及C#交互程序控制。此次場(chǎng)景及虛擬現(xiàn)實(shí)交互采用的是HTC vive的虛擬現(xiàn)實(shí)頭戴式顯示器以及配套的定位器、手柄等。

2.1 外部信息的導(dǎo)入及劇情背景的建立

《Lara Croft： Tomb Raider（古墓麗影）》是動(dòng)作冒險(xiǎn)題材類電影，此類影像通常有劇情的引入。影像劇情的引入需要設(shè)置大量的背景素材。本文采用PhotoShop制作外部信息資源，如介紹背景的日記、文字性的信息等，并使用JPG格式導(dǎo)入到Unity3D軟件中，設(shè)置為Sprite（2D and UI）格式，并作為Material添加到3D物體上。給物體添加剛體組件，并勾選運(yùn)動(dòng)學(xué)選項(xiàng)，使其具有物理運(yùn)動(dòng)屬性并便于使用虛擬現(xiàn)實(shí)硬件設(shè)備抓取。采用HTC Vive SteamVR Plugin插件中的throwable組件，使此類資源可以使用VR設(shè)備進(jìn)行交互，即可進(jìn)行抓取、觀看等操作。劇情資源建立如圖1所示。外部信息的導(dǎo)入應(yīng)當(dāng)結(jié)合影像劇情的需要，建立適合影像的虛擬現(xiàn)實(shí)素材，并可以考慮采用拍攝影像所使用的真實(shí)原件掃描進(jìn)行素材制作。

2.2 虛擬場(chǎng)景建立

為配合影像劇情的環(huán)境，建立類似于影像中西伯利亞的“萬影窟”以及柬埔寨吳哥窟“光舞墓”的場(chǎng)景環(huán)境。參考影像取景地冰島以及柬埔寨的環(huán)境，建立虛擬場(chǎng)景。虛擬場(chǎng)景主要注重camera光效的渲染以及場(chǎng)景的逼真效果。冰天雪地的場(chǎng)景使用雪地的texture，合理的使用了Unity3D自帶的各種光源，使用Directional Light、Spot Light多種光源結(jié)合的方式進(jìn)行場(chǎng)景雪地光效的設(shè)置，更在雪地紋理的基礎(chǔ)上添加了粒子系統(tǒng)，并添加Wind Zone效果。相機(jī)的渲染采用合適的Skybox Material、Sun Source，其中Environment Lighting的Intensity Multiplie設(shè)置為1，為確保環(huán)境視覺效果的真實(shí)性，采用Realtime的渲染計(jì)算方式。如圖2所示。場(chǎng)景中設(shè)置可以用手柄按鍵控制的瞬時(shí)移動(dòng)點(diǎn)teleportpoint，觀眾可以體驗(yàn)虛擬現(xiàn)實(shí)的場(chǎng)景漫游移動(dòng)。

“光舞墓”環(huán)境的建模采用較為幽閉的環(huán)境，為使環(huán)境逼真，場(chǎng)景中不設(shè)置其它光源，采用粒子系統(tǒng)的火焰效果結(jié)合Point light進(jìn)行場(chǎng)景的光源渲染。營造適合影像的逼真效果。場(chǎng)景如圖3、圖4所示。場(chǎng)景的細(xì)節(jié)采用逼真處理，例如現(xiàn)實(shí)中可以抓取的石頭等小物體場(chǎng)景中同樣可以進(jìn)行抓取，場(chǎng)景中合理設(shè)置細(xì)節(jié)的box collider使物體的碰撞性質(zhì)具有逼真效果。場(chǎng)景廣泛使用空物體CreateEmpty GameObject進(jìn)行C#腳本的使用，包括時(shí)間控制程序、光效控制程序、場(chǎng)景渲染程序、物體移動(dòng)程序等。

2.3 交互式操作

通過VR硬件設(shè)備進(jìn)行交互式操作是虛擬現(xiàn)實(shí)技術(shù)應(yīng)用到交互式影像的重要環(huán)節(jié)。場(chǎng)景使用C#程序配合Unity3D的功能設(shè)置了不同的交互操作。

圖1所示的場(chǎng)景中，觀眾可以實(shí)時(shí)抓取背景信息的文件，通過扣動(dòng)手柄進(jìn)行文件的抓取。圖5所示的場(chǎng)景中，觀眾可以使用設(shè)置好的道具進(jìn)行動(dòng)作體驗(yàn)，并通過砍殺場(chǎng)景中的骷髏戰(zhàn)士模型進(jìn)行交互。模型使用C#控制，采用基于RecastNavigation實(shí)現(xiàn)的NavMesh自動(dòng)尋路系統(tǒng)，通過bake生成三角化的多邊形導(dǎo)航網(wǎng)格路徑地形，通過C#程序進(jìn)行實(shí)時(shí)自動(dòng)追蹤。采用碰撞觸發(fā)事件進(jìn)行人機(jī)交互，并運(yùn)用了動(dòng)畫系統(tǒng)Animator進(jìn)行模型控制。

圖6所示是沒有其它光源的地下隧洞場(chǎng)景。觀眾可以按照影像中探索環(huán)境的方式，觀眾可以抓取一個(gè)帶有Spot Light的手電筒，進(jìn)行場(chǎng)景探索，體驗(yàn)?zāi)寡ㄌ矫氐沫h(huán)境。場(chǎng)景中的物體具有嚴(yán)格的邏輯關(guān)系，避免出現(xiàn)邏輯混亂的現(xiàn)象。圖7所示是一個(gè)觀眾可以與影像人物一樣操作射箭的過程。觀眾可以進(jìn)行同影像主人公一樣的射箭體驗(yàn)。箭的生成、控制、運(yùn)動(dòng)均由C#程序控制，觀眾可以抓取弓箭并進(jìn)行同現(xiàn)實(shí)中同樣的射箭操作。物體設(shè)置不同的tag并觸發(fā)不同的碰撞觸發(fā)事件。

交互式操作并非是交互式影像的全部，觀眾只在劇情需要的情況下進(jìn)行交互式操作。本文采用的交互模式是觀眾主動(dòng)及被動(dòng)交互結(jié)合的方式。即一方面觀眾可以在無意的情況下進(jìn)行交互，比如抓取環(huán)境中的物體，并沒有迎合劇情前期的設(shè)計(jì);另一方面觀眾需要按照劇情的需要，例如完成影像中主人公需要完成的任務(wù)，進(jìn)行不同的劇情選擇等進(jìn)行交互。兩種交互方式結(jié)合應(yīng)用，起到提高場(chǎng)景的沉浸感、推動(dòng)影像多線敘事劇情的效果。

3 結(jié)束語

突破傳統(tǒng)媒體的交互式影像是新媒體發(fā)展的重要方向之一。本文通過從交互式影像的模式創(chuàng)新探索、虛擬現(xiàn)實(shí)技術(shù)應(yīng)用到交互式影像的技術(shù)實(shí)現(xiàn)層面，進(jìn)一步研究了虛擬現(xiàn)實(shí)技術(shù)應(yīng)用到交互式影像的關(guān)鍵技術(shù)。結(jié)果表明，虛擬現(xiàn)實(shí)技術(shù)應(yīng)用到交互式影像不僅是技術(shù)可行的，還起到了突破傳統(tǒng)影像的沉浸效果。虛擬現(xiàn)實(shí)技術(shù)可以融入影像的關(guān)鍵環(huán)節(jié)，使觀眾從被動(dòng)觀看變?yōu)閷?shí)際操作。通過沉浸的體驗(yàn)及虛擬現(xiàn)實(shí)環(huán)境的構(gòu)建，實(shí)現(xiàn)了新媒體以“人”為核心的重要價(jià)值觀。

現(xiàn)階段交互式影像還存在敘事不連貫、沉浸感不強(qiáng)等缺點(diǎn)。虛擬現(xiàn)實(shí)技術(shù)的引入可以從技術(shù)上推動(dòng)概念的革新，建立新概念新模式的交互式影像。但完全還原影像的場(chǎng)景的建立還需要影像制作與虛擬現(xiàn)實(shí)技術(shù)的密切配合。虛擬現(xiàn)實(shí)技術(shù)是推動(dòng)影像創(chuàng)新的重要技術(shù)，是新媒體的關(guān)鍵技術(shù)之一。隨著科技的不斷發(fā)展，VR硬件的提升以及信息傳輸速度的不斷提高，VR設(shè)備朝著小型化、普及化的方向發(fā)展，虛擬現(xiàn)實(shí)技術(shù)的跨學(xué)科應(yīng)用日漸顯示出更廣闊的前景。探索虛擬現(xiàn)實(shí)技術(shù)應(yīng)用到新媒體技術(shù)中，是媒體融合背景下交互式影像一種技術(shù)可行的創(chuàng)新突破，是影像技術(shù)創(chuàng)新背景下新媒體創(chuàng)新可以采用的重要思路，是虛擬現(xiàn)實(shí)技術(shù)跨學(xué)科領(lǐng)域的重要應(yīng)用。

參考文獻(xiàn)：

[1]蘭健華.“互聯(lián)網(wǎng)+”語境下交互式電影的新出路[J].藝術(shù)科技，2017，30（08）：140+171.

[2]何圣明.基于虛擬現(xiàn)實(shí)技術(shù)的互動(dòng)電影發(fā)展探究[J].中國傳媒科技，2019（04）：59-60.

[3]楊偉策.虛擬現(xiàn)實(shí)技術(shù)在電影中的應(yīng)用研究[J].傳播力研究，2019，3（10）：244-245.

[4]鄧藝晨.以交互式電影為例探討未來電影的發(fā)展前景[J].新聞研究刊，2019，10（18）：115-116.

[5]柯力嘉.電影還是游戲——從三個(gè)“第一部”看交互式影片的困境和未來[J].藝術(shù)科技，2019，32（03）：111-112.