面向電影化虛擬現(xiàn)實(shí)的用戶注意力機(jī)制研究

韓菲琳 周旻希 鐘 穎

(北京電影學(xué)院影視技術(shù)系,北京 100088)

隨著計(jì)算機(jī)圖形硬件和頭戴式顯示設(shè)備(Head-Mounted Display,HMD)不斷成熟,標(biāo)準(zhǔn)化、規(guī)范化、工業(yè)化的VR內(nèi)容制作流程成為業(yè)界和學(xué)界面對(duì)的重要問題。作為一種虛擬現(xiàn)實(shí)技術(shù)與電影藝術(shù)融合產(chǎn)生的內(nèi)容形式,全景電影的全新敘事方式及觀看體驗(yàn)逐漸得到關(guān)注。面向全景電影制作,電影化虛擬現(xiàn)實(shí)(Cinematic Virtual Reality,CVR)應(yīng)運(yùn)而生。本文研究CVR視聽場景中用戶注意力的視覺集合、視空間感知和視覺追隨三種視知覺模式,通過分析用戶在身體舒適度、內(nèi)容理解力和敘事參與度三方面的表現(xiàn),從而提出一種用戶注意力機(jī)制研究范式,為全景電影創(chuàng)作者提供建議與參考。

1 電影化虛擬現(xiàn)實(shí)

電影化虛擬現(xiàn)實(shí)是一種沉浸式視聽技術(shù)。不同于傳統(tǒng)電影固定視域的觀影方式,用戶觀看CVR內(nèi)容時(shí),借助頭戴式顯示設(shè)備環(huán)顧虛擬空間,同時(shí),空間化音頻與交互式手柄能夠加強(qiáng)用戶的臨場感和參與感,使其擁有沉浸式觀影體驗(yàn)。亦不同于傳統(tǒng)虛擬現(xiàn)實(shí)互動(dòng)娛樂方式,CVR將實(shí)拍內(nèi)容與虛擬空間相結(jié)合,使之融合了真實(shí)與虛擬,其視聽語言及敘事形式更貼近于電影。內(nèi)容創(chuàng)作者在執(zhí)導(dǎo)全景電影時(shí),如何將傳統(tǒng)電影導(dǎo)演的創(chuàng)作規(guī)律和視聽表達(dá)方式運(yùn)用于虛擬空間攝制過程,是CVR領(lǐng)域的研究重點(diǎn)之一,使導(dǎo)演在呈現(xiàn)創(chuàng)作意圖的同時(shí),盡可能保證用戶的觀看體驗(yàn)。

與傳統(tǒng)虛擬現(xiàn)實(shí)不同,電影化虛擬現(xiàn)實(shí)一定程度地限制了用戶在虛擬環(huán)境中的自由。全景電影觀眾通常處于坐姿,這與傳統(tǒng)電影的觀看方式類似,相較于VR的沉浸式全局漫游,CVR僅支持觀眾視點(diǎn)的漫游。沉浸式全景觀影場景下,觀眾通過HMD實(shí)現(xiàn)對(duì)視域的6DOF(Degree of Freedom,自由度)主觀控制,全景電影鏡頭的控制權(quán)從導(dǎo)演指定轉(zhuǎn)為用戶選擇。當(dāng)導(dǎo)演無法決定觀眾在何時(shí)看向何處,就需要在虛擬空間中做出合適的引導(dǎo),以確保觀看者不錯(cuò)過重要的敘事要素。因此,當(dāng)我們?cè)u(píng)估CVR鏡頭引導(dǎo)的有效性時(shí),不僅要考量能否維持觀看者的沉浸感和臨場感,還應(yīng)當(dāng)關(guān)注其注意力的變化過程,能否正確形成空間意識(shí)、感興趣點(diǎn)(Points of Interest,POI)和記憶,以保證觀影過程中的身體舒適度、內(nèi)容理解力和敘事參與度。

圖1 全景電影:從左至右分別是《家在蘭若寺》《Spheres》和《Help》

從2012年圣丹斯電影節(jié)開始,越來越多主流電影節(jié)開始設(shè)置VR作品展映,2017年,威尼斯國際電影節(jié)首次開設(shè)VR競賽單元,優(yōu)秀VR影片開始在世界范圍內(nèi)不斷涌現(xiàn)。CVR相關(guān)研究中提出,全景敘事核心要素在于沉浸空間、視點(diǎn)設(shè)計(jì)和注意力引導(dǎo),敘事模式的特點(diǎn)為“弱交互+窺視與觀察+放松”模式,這為全景視頻的分析與評(píng)估提供了思路。得益于8K全景影像制作技術(shù)的發(fā)展,以《家在蘭若寺》為代表的實(shí)拍型全景電影,呈現(xiàn)出沉浸式現(xiàn)實(shí)環(huán)境,更能引發(fā)觀看者的情感共鳴。全景電影中的交互設(shè)計(jì)以視線參與和視點(diǎn)交互為主,如2017年威尼斯國際電影節(jié)VR競賽單元獲獎(jiǎng)作品《Spheres》,通過視覺可視化與頭顯位置數(shù)據(jù)相互配合,實(shí)現(xiàn)用戶與星體互動(dòng)并參與敘事的效果。另外,全景敘事依賴于導(dǎo)演設(shè)計(jì)的注意力引導(dǎo)方式,如導(dǎo)演林詣彬在執(zhí)導(dǎo)的短片《Help》中,精心設(shè)計(jì)了主線劇情之外的立體聲效和場景編排,用于實(shí)現(xiàn)虛擬空間中聲源定位和視線朝向暗示,以便于觀看者快速確定視覺中心。通過創(chuàng)作理念與制作技術(shù)的相互配合,形成“以用戶為中心”的觀影特性,從而為觀看者帶來沉浸感和具身化體驗(yàn)。事實(shí)上,全景電影仍然存在鏡頭語言簡單,部分鏡頭眩暈感明顯,鏡頭引導(dǎo)有效性低以至于錯(cuò)過關(guān)鍵要素?zé)o法正確理解劇情的情況。因此,基于觀看者的視知覺模式研究分析其注意力機(jī)制,有利于創(chuàng)作者更好地設(shè)計(jì)敘事要素及鏡頭引導(dǎo)。

日常生活中,我們以視覺、聽覺、觸覺等方式接收信息,人腦通過篩選重要信息并剔除冗余信息來保證高效的信息處理,這種能力就是注意力。在認(rèn)知科學(xué)中,上述機(jī)制通常被稱為注意力機(jī)制。CVR以用戶視點(diǎn)為中心,本文重點(diǎn)關(guān)注其注意力機(jī)制中的視知覺模式,以視覺集合、視空間感知和視覺追隨模式作為主要研究對(duì)象。視覺集合是指雙眼調(diào)節(jié)融像并對(duì)準(zhǔn)目標(biāo)物體的過程,集合功能不足容易引起模糊、頭暈及視覺疲勞等。視空間感知使我們擁有構(gòu)建物體空間關(guān)系并在方位轉(zhuǎn)換后重建該關(guān)系的能力,是形成自身空間定位和目標(biāo)認(rèn)知理解的基礎(chǔ)。視覺追隨是一種控制有效視野,關(guān)注、跟隨和捕捉視覺目標(biāo)的注意力模式,追隨過程也是形成視覺記憶的過程。在CVR語境下,研究視知覺模式,有助于分析用戶產(chǎn)生眩暈的原因、感興趣點(diǎn)的形成規(guī)律以及記憶連貫性的必要條件。針對(duì)上述注意力機(jī)制中的三種視知覺模式,結(jié)合傳統(tǒng)電影鏡頭語言的相關(guān)要素,我們制作了CVR演示樣片并分別設(shè)計(jì)了針對(duì)視覺集合、視空間感知和視覺追隨模式的用戶實(shí)驗(yàn)。參與本實(shí)驗(yàn)的被試共有23人,年齡分布在18歲到30歲,其中女性13人、男性10人。通過分析實(shí)驗(yàn)結(jié)果,本文提出基于時(shí)間—空間—視點(diǎn)的用戶注意力機(jī)制研究范式,探究不同引導(dǎo)方式對(duì)用戶體驗(yàn)的影響。

2 CVR用戶視覺集合

傳統(tǒng)電影中,導(dǎo)演通過向觀眾展示特定的視覺畫面來表達(dá)創(chuàng)作意圖。其固定視域的觀影方式下,觀眾的視點(diǎn)與電影畫面的相對(duì)位置關(guān)系不變。全景電影中,360度各個(gè)方位都存在敘事相關(guān)內(nèi)容,觀眾的視點(diǎn)由主觀意識(shí)自由控制。當(dāng)視點(diǎn)與導(dǎo)演引導(dǎo)鏡頭的相對(duì)位置關(guān)系發(fā)生快速變化時(shí),視覺集合難度增加,可能會(huì)引起用戶生理體驗(yàn)上的不適,尤其是視點(diǎn)的快速旋轉(zhuǎn)和升降會(huì)產(chǎn)生眩暈感和失重感。為保證觀影過程中的身體舒適度,針對(duì)基于HMD的全景電影觀影方式,本章探討攝影機(jī)運(yùn)動(dòng)對(duì)用戶視覺集合能力的影響,根據(jù)不同鏡頭引導(dǎo)方式進(jìn)行測(cè)試,分析適合全景電影的鏡頭引導(dǎo)運(yùn)動(dòng)方式。

在視覺集合實(shí)驗(yàn)中,選取傳統(tǒng)電影攝影機(jī)運(yùn)動(dòng)中具有代表性的三種類型:軌道車鏡頭、橫向滑軌鏡頭和垂直滑軌鏡頭,設(shè)計(jì)了不同運(yùn)動(dòng)方式下不同速度的鏡頭引導(dǎo)運(yùn)動(dòng)實(shí)驗(yàn)。每次觀看結(jié)束后,被試需對(duì)自己的暈眩程度進(jìn)行打分,以此探究不同運(yùn)動(dòng)方式和同種運(yùn)動(dòng)方式下不同運(yùn)動(dòng)速度對(duì)用戶觀影舒適度的影響。大多數(shù)被試認(rèn)為垂直滑軌鏡頭會(huì)產(chǎn)生失重感,令他們更容易感到不適,而對(duì)橫向滑軌鏡頭幾乎不會(huì)感到不適。當(dāng)垂直滑軌鏡頭引導(dǎo)觀眾時(shí),被試對(duì)運(yùn)動(dòng)速度的變化更敏感,并且更容易感到暈眩。當(dāng)軌道車鏡頭引導(dǎo)觀眾時(shí),被試普遍感知不到運(yùn)動(dòng)速度的變化,但部分被試會(huì)產(chǎn)生眩暈感。因此,本文建議在沉浸式影像制作中,應(yīng)盡量避免垂直滑軌鏡頭,若需使用建議以平穩(wěn)低速進(jìn)行引導(dǎo);橫向滑軌鏡頭的用戶體驗(yàn)較好,以平穩(wěn)勻速的引導(dǎo)方式進(jìn)行為宜;軌道車鏡頭引導(dǎo)觀眾時(shí),其速度和方向?qū)τ^影體驗(yàn)的影響不大,但相較于其他方式更容易產(chǎn)生暈眩感,使用時(shí)要注意時(shí)長和鏡頭的穩(wěn)定性。

圖2 用戶視覺集合實(shí)驗(yàn)中所設(shè)計(jì)的三種攝影機(jī)運(yùn)動(dòng)方式

3 CVR用戶視空間感知

在觀察視覺場景時(shí),人眼的注意力會(huì)集中在目標(biāo)物體上,這也就是用戶的POI。在虛擬現(xiàn)實(shí)中,用戶視點(diǎn)可以漫游360度全景虛擬空間,其視點(diǎn)所決定的有效視域,由以視點(diǎn)所在直線為視軸,以120度為視野范圍(Field of View,FOV)的視錐體來定義,如圖3所示。隨著用戶感興趣的目標(biāo)變化,有效視域也會(huì)發(fā)生變化。因此,導(dǎo)演需要設(shè)計(jì)視覺線索,吸引用戶注意力并引導(dǎo)其有效視域與劇情敘事區(qū)域重合,這不僅依賴于視覺引導(dǎo),還需要觀眾建立較好的視空間感知能力。由于CVR通常以坐姿觀影,這與傳統(tǒng)電影觀看模式相似,因此用戶無法通過走近目標(biāo)物體來判斷空間中的位置和距離關(guān)系,而是需要借助引導(dǎo)鏡頭的景別變化來獲取空間信息。

圖3 視域、視軸、視錐體和視野范圍圖示

在視空間感知實(shí)驗(yàn)中,通過比較不同景別下用戶對(duì)目標(biāo)對(duì)象的位置判斷是否正確,來分析景別的差異對(duì)于觀眾視空間感知的影響。傳統(tǒng)電影鏡頭的類別以被攝主體占畫面的比例劃分,對(duì)應(yīng)地,在沉浸式全景空間中按照攝影機(jī)與主體間的距離劃分,分別設(shè)置為遠(yuǎn)景、全景、中景、特寫、大特寫。每次演示樣片觀看結(jié)束后,與被試確認(rèn)其主觀視域內(nèi)他/她理解的被攝主體所在位置及空間分布關(guān)系,以此作為分析視空間感知能力的依據(jù)。實(shí)驗(yàn)數(shù)據(jù)表明,40.9%的被試認(rèn)為較遠(yuǎn)景別(全景和遠(yuǎn)景)有助于判斷主體空間信息,31.8%的被試則認(rèn)為應(yīng)該設(shè)計(jì)較近的景別(特寫和大特寫),另外有少部分被試傾向于中景。通過與被試溝通后發(fā)現(xiàn),受傳統(tǒng)鏡頭語言的先驗(yàn)知識(shí)影響,在感知空間信息時(shí)會(huì)考慮畫面構(gòu)圖等因素,能夠體現(xiàn)全局關(guān)系的景別更有助于其理解主體與場景的關(guān)系。然而,景別越遠(yuǎn)的引導(dǎo)鏡頭中干擾用戶定位POI的因素增加,近距離的主體更有利于吸引用戶的注意力,因此,鏡頭引導(dǎo)的景別選擇與敘事空間的主體設(shè)計(jì)之間的相互制衡,則需要導(dǎo)演依據(jù)拍攝經(jīng)驗(yàn)和實(shí)踐嘗試進(jìn)行調(diào)整。

4 CVR用戶視覺追隨

有人曾說“蒙太奇是思維,長鏡頭是眼睛”。蒙太奇是重要電影理論,也是常用視聽語言。傳統(tǒng)電影中的蒙太奇突破了時(shí)空的限制,對(duì)不同時(shí)間和空間發(fā)生的鏡頭進(jìn)行剪輯,以實(shí)現(xiàn)導(dǎo)演的創(chuàng)作表達(dá)。而CVR僅存在一個(gè)虛擬空間,任何鏡頭的變化在時(shí)間域和空間域上都是連續(xù)的,視域的切換依賴于用戶視點(diǎn)的移動(dòng)。為確保用戶的視域變化與劇情的敘事走向一致且連貫,需引導(dǎo)用戶的視點(diǎn)追隨敘事主體。在劇情敘事中,與劇情強(qiáng)相關(guān)的重要事件,需要被關(guān)注到并且被記住,良好的視覺追隨有助于觀眾加強(qiáng)記憶。除鏡頭引導(dǎo)外,CVR中還能夠利用劇情因素吸引用戶的注意力,以實(shí)現(xiàn)視點(diǎn)的引導(dǎo)。劇情因素一般為影片劇情中的敘事主體的運(yùn)動(dòng)、光影變化和聲源定位等。非劇情因素(如箭頭、光點(diǎn)、符號(hào)等)也可以用于注意力引導(dǎo),雖然這類標(biāo)識(shí)引導(dǎo)效果較好,但容易破壞觀眾的敘事參與感和視覺效果。

在視覺追隨實(shí)驗(yàn)中,我們將敘事空間分為A、B、C、D四個(gè)區(qū)域,如圖4所示。A區(qū)域是用戶不進(jìn)行頭部轉(zhuǎn)動(dòng)VR設(shè)備的視角最大范圍,B區(qū)域?yàn)橛脩纛^部稍微轉(zhuǎn)動(dòng)可獲得信息的區(qū)域,C區(qū)域?yàn)橛脩纛^部扭轉(zhuǎn)極限時(shí)方可獲得信息的區(qū)域,D區(qū)域?yàn)橛脩艮D(zhuǎn)動(dòng)身體才能獲得信息的區(qū)域。實(shí)驗(yàn)中敘事主體以不同幅度的運(yùn)動(dòng)跨越不同區(qū)域,記錄被試HMD的陀螺儀偏航角(Yaw)軸轉(zhuǎn)動(dòng)數(shù)據(jù)與標(biāo)準(zhǔn)數(shù)據(jù)進(jìn)行比對(duì),用于分析評(píng)估用戶的視覺追隨效果,探究劇情因素的運(yùn)動(dòng)強(qiáng)度和空間區(qū)域跨度對(duì)用戶敘事參與度的影響。

圖4 敘事空間劃分依據(jù)

如圖5頭顯數(shù)據(jù)折線圖所示,當(dāng)敘事主體從A區(qū)移動(dòng)到B區(qū)時(shí),敘事主體以跳躍方式移動(dòng)的用戶頭顯數(shù)據(jù)相較于標(biāo)準(zhǔn)視點(diǎn)移動(dòng)軌跡的偏移較少;當(dāng)敘事主體從A區(qū)移動(dòng)到D區(qū)時(shí),敘事主體以走路方式移動(dòng)的頭顯數(shù)據(jù)偏移更小。分析實(shí)驗(yàn)結(jié)果可知,當(dāng)敘事主體移動(dòng)的區(qū)域跨度較小時(shí),節(jié)奏快、幅度大的運(yùn)動(dòng)方式容易吸引觀眾的注意,隨著區(qū)域跨度增大,節(jié)奏較慢,幅度較小的運(yùn)動(dòng)方式更能維持觀眾的注意力。同時(shí),在實(shí)驗(yàn)過程中發(fā)現(xiàn),當(dāng)敘事主體的移動(dòng)跨區(qū)超過270度時(shí),部分用戶會(huì)預(yù)估目標(biāo)區(qū)域的位置,并選擇從反方向確定POI。

圖5 在視覺追隨實(shí)驗(yàn)中被試的H MD旋轉(zhuǎn)數(shù)據(jù)

5 總結(jié)與展望

由全景電影的特性可知,因長時(shí)間佩戴頭顯和視域變化過快而產(chǎn)生的眩暈感是影響用戶觀影體驗(yàn)的重要因素。無論是鏡頭引導(dǎo)還是敘事主體移動(dòng),都會(huì)伴隨著視點(diǎn)位置的改變從而產(chǎn)生視域在時(shí)間維度上的連續(xù)變化,而景別的改變則會(huì)使視域在空間維度上以視點(diǎn)為中心實(shí)現(xiàn)放大或縮小。為保證視域變化過程平穩(wěn)且舒適,其在時(shí)間維度和空間維度上的改變,都應(yīng)當(dāng)是相互獨(dú)立,互不干擾的。因此,本文認(rèn)為以時(shí)間—空間—視點(diǎn)作為注意力機(jī)制的研究范式,能夠幫助研究者們更好地分析電影化虛擬現(xiàn)實(shí)技術(shù)。在單一敘事模式下,當(dāng)視域在時(shí)間和空間維度上的變化相互獨(dú)立,有助于用戶及時(shí)預(yù)判并切換相應(yīng)的視知覺模式,以保證用戶在全景電影觀影中的身體舒適度、內(nèi)容理解力和敘事參與度。

本文針對(duì)基于HMD的全景電影觀看方式,設(shè)計(jì)了三組CVR實(shí)驗(yàn),以視覺集合、視空間感知和視覺追隨模式作為主要研究對(duì)象,分析了鏡頭引導(dǎo)的運(yùn)動(dòng)方式、景別設(shè)計(jì)和敘事主體的移動(dòng)方式對(duì)用戶觀影體驗(yàn)的影響。實(shí)驗(yàn)中我們發(fā)現(xiàn),當(dāng)鏡頭引導(dǎo)中的攝影機(jī)運(yùn)動(dòng)和景別同時(shí)發(fā)生變化時(shí),觀眾會(huì)產(chǎn)生較強(qiáng)的眩暈感,應(yīng)在制作中盡量避免這類鏡頭語言。另外,HMD的佩戴舒適度及觀影時(shí)長很大程度上也會(huì)影響CVR用戶體驗(yàn),硬件設(shè)備仍有較大發(fā)展空間。未來,隨著軟硬件技術(shù)的提升,用戶會(huì)對(duì)CVR內(nèi)容制作質(zhì)量提出更高的要求,因此也需要根據(jù)CVR特性建立全景電影的綜合評(píng)價(jià)體系。本文正是以此為出發(fā)點(diǎn),從用戶注意力機(jī)制的角度對(duì)觀影體驗(yàn)進(jìn)行分析評(píng)估,探討電影化虛擬現(xiàn)實(shí)的視聽語言及敘事技巧,為CVR內(nèi)容制作者提供意見與參考。?