虛擬現(xiàn)實(shí)紀(jì)錄影像的交互敘事研究

趙宇 周雯

摘要：虛擬現(xiàn)實(shí)技術(shù)的進(jìn)步為紀(jì)錄影像創(chuàng)作拓展了新的空間，其特有的沉浸性和交互性為紀(jì)錄影像的敘事打開了突破口。與傳統(tǒng)紀(jì)錄影像敘事相比，VR紀(jì)錄影像復(fù)刻了真實(shí)場景，強(qiáng)化了真實(shí)體驗(yàn)和在場互動(dòng)。隨著虛擬現(xiàn)實(shí)技術(shù)的迭代，VR紀(jì)錄影像的敘事也從全景敘事向交互敘事過渡，并在實(shí)踐中展現(xiàn)出了新的特點(diǎn)。在人工智能技術(shù)的支持下，未來的VR紀(jì)錄影像還將向社交聯(lián)動(dòng)的方向不斷發(fā)展。

關(guān)鍵詞：VR紀(jì)錄影像 第一人稱 多感官體驗(yàn) 空間探索 參與敘事

近年來，虛擬現(xiàn)實(shí)（Virtual Reality，以下簡稱“VR”）紀(jì)錄影片在交互方式上取得了顯著的進(jìn)步，觀眾可以轉(zhuǎn)動(dòng)頭部、身體，甚至可以與影片中的角色互動(dòng)。這種交互方式讓觀眾更加深入地融入影片，提高了觀看的沉浸感。未來，隨著技術(shù)進(jìn)步，紀(jì)錄VR影片在交互方式上將有更大的突破。

一、VR紀(jì)錄影像的發(fā)展和現(xiàn)狀

媒介通過記錄文字、圖片、聲音、視頻等信息的方式，保存了許多人類的歷史、文化、知識(shí)等內(nèi)容，為人類的學(xué)習(xí)、研究和交流提供了便利。阿萊達(dá)指出“媒體圖像”有助于找到合適的“可清晰傳達(dá)的方式”來表現(xiàn)社會(huì)中的記憶，以便最終在媒體圖像中塑造出超越個(gè)體的“想象的共同體”。紀(jì)錄影像是一種以視覺、聽覺、觸覺等符號(hào)為表達(dá)形式的記錄，它能夠深刻地揭示事件的本質(zhì)，并且能夠?qū)€(gè)人的記憶融入集體的記憶中，從而形成一種獨(dú)特的文化記憶。紀(jì)錄影像始終圍繞“真實(shí)性”和“紀(jì)實(shí)性”進(jìn)行表達(dá)，創(chuàng)作者們?yōu)榱烁咏罢鎸?shí)”，不斷在理念和技術(shù)上進(jìn)行不懈嘗試。VR技術(shù)作為一種提供多感官感知的技術(shù)，允許體驗(yàn)者通過身體在場與感官體驗(yàn)，在虛擬現(xiàn)實(shí)空間中與環(huán)境產(chǎn)生對話。

VR紀(jì)錄影像旨在用全景畫面展現(xiàn)真實(shí)事件，并以場景交互設(shè)計(jì)為體驗(yàn)者提供身臨其境的體驗(yàn)。在對相關(guān)文獻(xiàn)的梳理中可以看到，在VR紀(jì)錄影像的題材上，以自然、地理、歷史等知識(shí)科普類影片為主，敘事類的紀(jì)錄影片多以社會(huì)事件為主。2012年的《饑餓洛杉磯》（Hunger in Los Angeles）是全球范圍內(nèi)公認(rèn)最早的VR紀(jì)錄影像，影片使用了動(dòng)畫的形式，內(nèi)容更接近新聞紀(jì)實(shí)影像。2015年，中國發(fā)布了首部VR紀(jì)錄影像《山村里的幼兒園》，以360度畫面呈現(xiàn)了山村留守兒童的現(xiàn)狀，此時(shí)的技術(shù)還不發(fā)達(dá)，VR的互動(dòng)性特點(diǎn)尚未發(fā)揮。2017年，VR紀(jì)錄影像《血肉與黃沙》（Carne y Arena）改變了敘事視角，觀眾能夠以第一視角代入角色，親身體驗(yàn)“走在沙漠穿越邊境線”，但觀眾還不能真正與角色以及其他元素產(chǎn)生交互。2019年加拿大VR紀(jì)錄影像《在黑暗中旅行》（Traveling While Black）將VR影像與CGI動(dòng)畫相結(jié)合，以動(dòng)畫的方式展現(xiàn)了現(xiàn)實(shí)場景，并超越現(xiàn)實(shí)完成了抽象表達(dá)，VR技術(shù)彌合了現(xiàn)實(shí)與虛擬之間的鴻溝。2021年入選威尼斯國際電影節(jié)的《庫松達(dá)語》（Kusunda）講述了尼泊爾地區(qū)一種即將消亡的土著語言和當(dāng)?shù)厣罘绞?。影片使用手勢和聲音交互讓觀眾通過親身操作體驗(yàn)原始部落的語言，進(jìn)一步發(fā)揮了VR影像語言的獨(dú)特優(yōu)勢。

二、VR紀(jì)錄影像的敘事轉(zhuǎn)向：從全景敘事到交互敘事

虛擬現(xiàn)實(shí)技術(shù)的全景式記錄帶來了360度全景視聽敘事。在頭戴式設(shè)備中，觀眾擁有360度的視野，可以通過頭部轉(zhuǎn)動(dòng)觀看上下左右前后方向的畫面，這與傳統(tǒng)的畫面語言完全不同。首先表現(xiàn)在畫面的無邊框，鏡頭不存在景別的區(qū)分和選擇，信息得以最大限度的保留和呈現(xiàn)。在傳統(tǒng)電影中，導(dǎo)演會(huì)通過鏡頭表達(dá)思想和意愿，依靠遠(yuǎn)景、全景、中景、近景、特寫、大特寫，對應(yīng)不同的情緒，再通過剪切連綴組成一個(gè)序列來表達(dá)完整的故事。但在虛擬現(xiàn)實(shí)紀(jì)錄影像的創(chuàng)作中，360度的視域范圍完全填滿了觀眾的視野，觀眾擁有自主選擇的權(quán)利自由取景。360度的全景視域以仿真的沉浸環(huán)境、設(shè)置敘事視點(diǎn)以及引導(dǎo)注意力的方向，實(shí)現(xiàn)了虛擬現(xiàn)實(shí)全景敘事的沉浸感和在場感。

虛擬現(xiàn)實(shí)敘事的另一個(gè)超越傳統(tǒng)影像敘事的特點(diǎn)是交互敘事，交互即允許體驗(yàn)者參與到敘事中來，體驗(yàn)者身處場景并參與到敘事中，對故事的發(fā)展和走向做出建構(gòu)。隨著虛擬現(xiàn)實(shí)呈現(xiàn)和交互技術(shù)的發(fā)展，VR紀(jì)錄影像也從全景敘事逐漸向交互敘事過渡和升級(jí)。觀眾通過頭部追蹤、手勢識(shí)別、點(diǎn)擊操作、聲音識(shí)別、眼神追蹤等技術(shù)與虛擬現(xiàn)實(shí)環(huán)境進(jìn)行互動(dòng)，也可以在情節(jié)發(fā)展的環(huán)節(jié)，選擇不同的情節(jié)發(fā)展方向，或者探索隱藏的細(xì)節(jié)和背景故事等，參與到故事世界中。

三、如何在VR紀(jì)錄影像中實(shí)現(xiàn)交互敘事

虛擬現(xiàn)實(shí)的逼真描摹不僅僅是為了打造“真實(shí)感”，還包括調(diào)動(dòng)體驗(yàn)者的多感官系統(tǒng)，以達(dá)到一種更加身臨其境的“在場感”。通過充分激活用戶的視覺、聽覺、味覺、嗅覺等多種感官，虛擬現(xiàn)實(shí)能夠?qū)κ录M(jìn)行多重解構(gòu)，引導(dǎo)體驗(yàn)者完全融入被重塑的情境之中。與傳統(tǒng)電影中以作者視角的拍攝不同，虛擬現(xiàn)實(shí)中的敘事和身份認(rèn)同建構(gòu)更加依賴于體驗(yàn)者與虛擬人物、虛擬環(huán)境等之間的多重交互。體驗(yàn)者的視點(diǎn)內(nèi)在化地融入故事之中，因此體驗(yàn)者也始終處于故事中的“在場”狀態(tài)，可以進(jìn)行觀察或參與。

1.第一人稱：交互敘事中視點(diǎn)的改變。虛擬現(xiàn)實(shí)允許體驗(yàn)者身體在場直面“場景”，體現(xiàn)出了“去中介化”特質(zhì)。當(dāng)體驗(yàn)者直接成為影像的見證人，超越一切中介親身面對、選擇和思考。因此，虛擬現(xiàn)實(shí)的擬真技術(shù)和互動(dòng)特性對于紀(jì)錄影像中“見證人”身份的改造和轉(zhuǎn)化至關(guān)重要，它們是紀(jì)錄影像“真實(shí)”內(nèi)涵發(fā)生變革的決定因素?！耙娮C人”身份轉(zhuǎn)化的必要條件就是互動(dòng)行為，從被動(dòng)地觀看轉(zhuǎn)變?yōu)橹鲃?dòng)參與構(gòu)建敘事的過程。這個(gè)見證人化作了影像中的“我”，“我”也打破了線性時(shí)間的邏輯關(guān)系，在空間場景中自由轉(zhuǎn)換，并由此帶來時(shí)間上的變化，觀眾跟隨“我”感知不同時(shí)空內(nèi)的場景，獲得多維的時(shí)空體驗(yàn)。體驗(yàn)者在“我”的引領(lǐng)下，把自己代入故事角色中，仿佛置身于事件現(xiàn)場。第一人稱敘述賦予“我”極大的自由性，可以自由跨越、整合不同的時(shí)空，帶給體驗(yàn)者多維的在場感。用第一人稱的內(nèi)聚焦敘事方式，拉近了敘事者和體驗(yàn)者的心理距離，體驗(yàn)者作為見證者進(jìn)入虛擬現(xiàn)實(shí)場景中，能夠直接與角色進(jìn)行交互，具身“在場”并獲得身份認(rèn)同和情緒價(jià)值，對角色的經(jīng)歷和感受產(chǎn)生心理認(rèn)同感。

2017年，在CHINA VR新影像獎(jiǎng)中獲得公益紀(jì)錄片獎(jiǎng)的《秦俑之眼》，在紀(jì)錄語言和視點(diǎn)上都有了很大突破。在片中體驗(yàn)者被賦予了第一人稱的視角，體驗(yàn)者在初始就感受到自己作為一個(gè)“兵馬俑”，是一號(hào)坑中眾多“兵馬俑”中的一員，并以“兵馬俑”的眼睛審視一切，包括如何被鑄造、埋葬和挖掘的全過程。第一人稱的視點(diǎn)給體驗(yàn)者以強(qiáng)烈的沖擊力，仿佛作為一個(gè)“兵馬俑”度過了一生，但體驗(yàn)者還不能任意走動(dòng)，在動(dòng)作交互方面還有一定的欠缺。該片的突破還在于除了實(shí)拍之外，還大量采用了CGI手段。VR攝影機(jī)首次進(jìn)入兵馬俑修復(fù)區(qū)，再現(xiàn)了場景和人物的真實(shí)狀態(tài)，并使用動(dòng)畫手段表現(xiàn)風(fēng)云變幻和歷史變遷，這些都增強(qiáng)了場景的豐富度。

2.多感官體驗(yàn)：交互敘事中身體的在場。阿諾德·柏林特（Arnold Berleant）提出了“審美介入”的概念，并認(rèn)為強(qiáng)“介入”體現(xiàn)在三個(gè)方面：一是敘事拼貼數(shù)字化介入，受眾需在大量零碎的鏡頭中，用腦建構(gòu)出完整故事脈絡(luò)；二是促使受眾進(jìn)行感知整合，使受眾感知“介入”；三是感官情感的介入。在虛擬現(xiàn)實(shí)空間中，身體、感官、空間的三重互嵌，“觸感”成為一種更易得的感官體驗(yàn)，也重構(gòu)著觀影者的主體經(jīng)驗(yàn)。勞拉·U·馬克斯在她的著作《電影和身體》中，探討了電影對觀眾身體感知的影響，特別是在視覺和觸感方面。她認(rèn)為，電影皮膚是觀眾與電影之間的一種感性接觸，通過這種接觸，觀眾能夠在感官和情感上深入地體驗(yàn)電影。“觸感”通過虛擬現(xiàn)實(shí)技術(shù)對身體進(jìn)行重建，讓觀眾在虛擬現(xiàn)實(shí)場景中感受到身體的存在感，感受到物體表面紋理、形狀、硬度等真實(shí)的物體，感受到溫度、濕度、空氣流動(dòng)，體驗(yàn)到虛擬現(xiàn)實(shí)世界中所表現(xiàn)的感官空間，以此重構(gòu)觀影者的主體經(jīng)驗(yàn)。

2016年的VR紀(jì)錄片在畫面和聲音方面不斷升級(jí)，加入了空間音頻技術(shù)來還原具有空間感的聲音，而后又在技術(shù)上不斷升級(jí)模擬不同感官的體驗(yàn)。2023年7月，國內(nèi)首檔聚焦大灣區(qū)的VR紀(jì)錄片《來自大灣區(qū)》，展示了當(dāng)?shù)氐姆沁z文化，包括傳統(tǒng)武術(shù)、手工藝、嶺南飲食、戲曲，等等。影片在實(shí)拍的基礎(chǔ)上結(jié)合了動(dòng)作捕捉、CG建模、VR繪畫、空間音頻等多種技術(shù)，在視覺、聽覺、觸覺等方面為VR體驗(yàn)者提供了全面的感官體驗(yàn)。第一期《龍馬精神》聚焦舞龍醒獅表演，體驗(yàn)者能360度看到舞獅全貌，甚至醒獅細(xì)節(jié)，3D環(huán)繞空間音頻技術(shù)使體驗(yàn)者能夠聽到來自四面八方的聲音，聲音的方向感和空間感令人仿佛親臨現(xiàn)場。節(jié)目還大膽采用了人工智能技術(shù)模擬了人在不同情緒狀態(tài)下的心跳頻率，并將其與鼓點(diǎn)的頻率匹配，虛擬的“觸感”刺激著體驗(yàn)者的感官，也影響著情緒的變化。

3.空間探索：交互敘事中人與空間的連結(jié)。虛擬現(xiàn)實(shí)技術(shù)創(chuàng)造出一個(gè)完全不同于現(xiàn)實(shí)世界的時(shí)空，這種再造時(shí)空能夠?qū)⑷魏慰赡艿南胂笞優(yōu)椤艾F(xiàn)實(shí)”，包括環(huán)境、人物、位置、角度、運(yùn)動(dòng)、方向、關(guān)系等，從各個(gè)角度給觀眾帶來完全不同的視覺體驗(yàn)，使其更加深刻地理解和體驗(yàn)“現(xiàn)實(shí)”世界。對于紀(jì)錄影像來說，虛擬現(xiàn)實(shí)空間還原和再造“現(xiàn)實(shí)”，賦予了體驗(yàn)者真實(shí)感官和真實(shí)體驗(yàn)。VR影像的敘事空間不僅僅局限于傳統(tǒng)的場所，而是通過敘事語言和其他元素的結(jié)合，將主體的情感空間拓展出來，將傳統(tǒng)空間、想象空間和意識(shí)空間融合在一起，讓觀眾能夠更加深刻地體驗(yàn)到主角的想象世界。VR的場景空間不僅作為故事背景，也是參與敘事的一個(gè)要素，驅(qū)動(dòng)情節(jié)發(fā)展，這改變了傳統(tǒng)影視中僅以時(shí)間敘事為核心的既有規(guī)則。VR空間中的表現(xiàn)元素，如聲音、光線、色彩等增加了空間敘事的容量和情節(jié)密度，對于人物的立體化塑造和故事多維度展現(xiàn)具有重要的作用。VR紀(jì)錄片《行走敦煌》是較早使用空間來敘事的影片，片中建構(gòu)了敦煌莫高窟的第285號(hào)洞窟，體驗(yàn)者走進(jìn)洞窟，撿起油燈照亮洞窟，并按照引導(dǎo)在洞窟中行走和探索，推開門走進(jìn)古代僧人禪修的房間，觸摸洞窟中的壁畫，觀看飛天壁畫的騰空而起。洞窟是按照真實(shí)比例和內(nèi)容還原，體驗(yàn)者得以與空間中的元素交互。

從技術(shù)上看，體驗(yàn)者能夠移動(dòng)的距離取決于虛擬現(xiàn)實(shí)設(shè)備的支持。在初期的3DOF時(shí)期，體驗(yàn)者只有頭部能夠轉(zhuǎn)動(dòng)，因此人們的視點(diǎn)單一固定，只在空間中的固定位置。觀看者無法選擇更多的視點(diǎn)，無法走近或走遠(yuǎn)、環(huán)視等，行動(dòng)受限會(huì)對沉浸有疏離。6DOF交互允許更大范圍和更真實(shí)的運(yùn)動(dòng)，觀眾可以自由在虛擬空間中選擇位置和視角，這使VR觀眾的敘事身份發(fā)生了轉(zhuǎn)變。首先，觀眾的位置變化，決定其敘事身份不再是旁觀者，而是主動(dòng)選擇不同距離和角度解構(gòu)虛擬空間的構(gòu)圖者。其次，觀眾的位置變化使其在理解故事時(shí)的視角和立場也發(fā)生了變化，觀眾能夠主觀地解讀故事，不再局限于導(dǎo)演指定的主題表達(dá)方式，獲得多樣化的主題體驗(yàn)。

4.全面參與：交互敘事中的自由書寫。在由淺入深的全方位交互敘事中，受眾的單一體驗(yàn)維度被突破，使原本僅存在于想象過程中的創(chuàng)作內(nèi)容得以通過實(shí)際的在場互動(dòng)轉(zhuǎn)化為真實(shí)行為，從而喚起人類自身的主體性。虛擬現(xiàn)實(shí)技術(shù)打開了理解和探索世界的新視角，人們不僅能夠隔屏觀看，還能親身下場進(jìn)行“在場”的“本真性”的深度探索，從而實(shí)現(xiàn)對于特定事件的全面理解。在虛擬現(xiàn)實(shí)中，由于空間敘事和具身交互的特點(diǎn)，身體在空間中的作用也顯得突出和重要。安伯托·艾柯（Umberto Eco）指出，藝術(shù)創(chuàng)作應(yīng)該具有一種明顯的開放性，不應(yīng)將可塑的事物局限于固定的結(jié)構(gòu)，也不應(yīng)僅僅讓觀眾接受塑造的一個(gè)固定形象的信息，而應(yīng)該讓觀眾擁有更多的自由欣賞的機(jī)會(huì)，從而使他們能夠更加自由地欣賞藝術(shù)品，獲得更多的藝術(shù)體驗(yàn)。

2023年制作的VR紀(jì)錄片《古籍尋游記》是一個(gè)更注重交互的紀(jì)錄片，片中出現(xiàn)了多種互動(dòng)方式，包括了語言交互、文本交互、動(dòng)作交互、情感交互，等等，互動(dòng)的表現(xiàn)方式大多為判斷、選擇和控制等，體驗(yàn)者不同的決定將導(dǎo)致不同的劇情線路，并在指引下走向最終的結(jié)局。在作品《殷墟甲骨：北圖 6006 甲骨》中，體驗(yàn)者可以“親手”體驗(yàn)甲骨文刻字，通過手柄中的震動(dòng)，真實(shí)地感受“刻字”的觸感。以手柄敲擊甲骨時(shí)會(huì)感受到震動(dòng)反饋，且能清楚地聽見甲骨碰撞發(fā)出的聲響，如同身臨其境一般。

四、VR紀(jì)錄影像的未來方向：人工智能下的社交聯(lián)動(dòng)

當(dāng)前，VR紀(jì)錄影像的發(fā)展在一定程度上突破了傳統(tǒng)紀(jì)實(shí)影像的敘事邏輯和表達(dá)體系，VR為紀(jì)錄影像的創(chuàng)新帶來了嶄新的外延和內(nèi)涵。隨著人工智能技術(shù)的發(fā)展和應(yīng)用，VR紀(jì)錄影像的社交聯(lián)動(dòng)將成為其重要的未來方向之一。2018年起，在美國圣丹斯電影節(jié)新邊界（New Frontier）單元就出現(xiàn)了社交性VR紀(jì)錄片《齊克爾：蘇非神秘主義的復(fù)興》（Zikr：A Sufi Revival），四位體驗(yàn)者同時(shí)進(jìn)入VR影像中，在深度交互里感受影像內(nèi)容，并在虛擬世界中實(shí)時(shí)互動(dòng)。現(xiàn)實(shí)社交的虛擬復(fù)現(xiàn)也使得影像更具有現(xiàn)實(shí)性，極大增強(qiáng)了VR敘事的生命力。2022年，VR紀(jì)錄片《我們在虛擬現(xiàn)實(shí)里相遇》（We Met in Virtual Reality）首次記錄了人們在虛擬空間里的故事和感受，這也是VR紀(jì)錄片與社交結(jié)合的一個(gè)趨勢體現(xiàn)。另一個(gè)方向是人工智能在VR紀(jì)錄影像中的使用，利用人工智能技術(shù)，體驗(yàn)者將會(huì)在虛擬世界中與其他體驗(yàn)者實(shí)時(shí)互動(dòng)，并能夠與他們進(jìn)行實(shí)時(shí)的語音或文字交流。這種社交聯(lián)動(dòng)的功能可以讓觀眾分享自己的觀影體驗(yàn)，增強(qiáng)觀影的社交性，為觀眾提供個(gè)性化和豐富的內(nèi)容，提升觀影的參與度，這將為VR紀(jì)錄影像的發(fā)展帶來新的機(jī)遇和挑戰(zhàn)。

作者單位 北京師范大學(xué)藝術(shù)與傳媒學(xué)院

本文系國家社會(huì)科學(xué)基金藝術(shù)學(xué)項(xiàng)目“VR影像全景敘事機(jī)制及效果研究”（項(xiàng)目編號(hào)：20BC046）的階段性研究成果。

參考文獻(xiàn)

[1]高慧敏.VR紀(jì)錄影像的互動(dòng)敘事模式探究[J].電視研究，2019（09）.

[2]魏偉.“我”、見證人、敘事——從所謂的“VR紀(jì)錄片”談當(dāng)下紀(jì)錄片真實(shí)觀的變革[J].當(dāng)代電影，2019（05）.

[3]張明浩.感知美學(xué)與感知電影：技術(shù)時(shí)代下重思電影“感知”之本性[J].北京電影學(xué)院學(xué)報(bào)，2022（11）.

【編輯：朱垚穎】