VR 電影內(nèi)容特征對(duì)敘事連續(xù)性影響建模研究

宋 萍 陳純毅 胡小娟 于海洋

(長春理工大學(xué)計(jì)算機(jī)科學(xué)技術(shù)學(xué)院，吉林 長春 130000)

1 引言

虛擬現(xiàn)實(shí)技術(shù)的不斷發(fā)展和普及不僅推動(dòng)影視藝術(shù)的發(fā)展，更促使人們開始探索更適用于VR 影片的剪輯方法，其中敘事類VR 電影是眾多VR 電影中的重要組成部分。大多數(shù)敘事以及剪輯手法是在傳統(tǒng)非VR 電影中探索得到的，在更復(fù)雜的VR電影中，由于觀眾可以自行觀看想要觀看的區(qū)域，導(dǎo)致了觀看方向的不可控，也就意味著觀眾在觀影過程中可能錯(cuò)過重要的敘事線索。因此探索已有的剪輯手法是否還能在VR 電影中起到引導(dǎo)觀眾注意的作用，以及探索更復(fù)雜的敘事類VR 電影中影響感知連續(xù)性的因素是本文的主要研究目的。

本文分析了由專業(yè)電影制作人制作的敘事類VR 電影 《Help》，相對(duì)于其他類型的VR 電影來說，敘事類VR 電影的場(chǎng)景更復(fù)雜，對(duì)話和動(dòng)作更多。本文在不影響其主要故事線的情況下將敘事類VR 電影進(jìn)行剪輯，將整個(gè)電影分為8 個(gè)視頻段，每段視頻隨機(jī)邀請(qǐng)5位受試者觀看，根據(jù)受試者頭部佩戴的VR 顯示頭盔以及眼動(dòng)儀記錄的觀看信息，分析得出影片連續(xù)性的評(píng)價(jià)。本文首先對(duì)影片的剪輯手法以及剪輯前后的關(guān)注區(qū)域個(gè)數(shù)進(jìn)行了多層回歸分析，驗(yàn)證以前的發(fā)現(xiàn)在更復(fù)雜的情況下是否依然適用；其次本文根據(jù)敘事類VR 電影情節(jié)更復(fù)雜、動(dòng)作更多的特點(diǎn)，引入了新的評(píng)價(jià)指標(biāo)，即平滑追蹤，基于實(shí)驗(yàn)分析，本文認(rèn)為剪輯后關(guān)注區(qū)域的個(gè)數(shù)對(duì)敘事類VR 電影的連續(xù)性有影響。

2 相關(guān)工作

在VR 視頻播放過程中對(duì)觀看者進(jìn)行恰當(dāng)?shù)挠^看引導(dǎo)可以讓觀看者在觀看VR 視頻中保持注意力的連續(xù)，目前大多使用以下兩種引導(dǎo)方法。

一是顯式引導(dǎo)，這種引導(dǎo)方式會(huì)在畫幅上直接顯示用于引導(dǎo)觀看者注意力的光標(biāo)或者圖示。Wallgrün等人發(fā)表的論文詳細(xì)討論了三種常用的2D 顯式引導(dǎo)方式，分別是雷達(dá)式、箭頭式以及光點(diǎn)式引導(dǎo)在引導(dǎo)觀看者注意時(shí)力的區(qū)別。Wallgrün等人認(rèn)為，三種視覺引導(dǎo)機(jī)制均可以有效引導(dǎo)觀看者定位到需要關(guān)注的目標(biāo)區(qū)域，但是三種顯式引導(dǎo)方法中，箭頭引導(dǎo)方式是最受歡迎的，也是效率最高的，經(jīng)常玩電子游戲的人更習(xí)慣雷達(dá)式引導(dǎo)。但是由于是顯式引導(dǎo)，在提高了引導(dǎo)效率的同時(shí)，畫面的美觀性則需要改進(jìn)。而在最近的工作中，Lin等人使用VR 體育視頻和VR 紀(jì)錄片作為測(cè)試序列，比較了箭頭引導(dǎo)和鏡頭移動(dòng)兩種視覺引導(dǎo)方法對(duì)觀看者注意力的引導(dǎo)效果。他們的結(jié)論是，觀看者的觀看效果取決于個(gè)體差異，例如視頻的內(nèi)容以及觀看者觀看視頻的目的等。Komogortsev等人進(jìn)一步研究了畫面閃爍作為引導(dǎo)機(jī)制時(shí)的引導(dǎo)效果，發(fā)現(xiàn)電影中無論是強(qiáng)閃爍或者弱閃爍對(duì)觀看者的注意力引導(dǎo)都沒有區(qū)別，畫面閃爍雖然可以引導(dǎo)觀看者的注意力，但也提高了對(duì)電影不重要細(xì)節(jié)的回憶。

二是隱式引導(dǎo)，也是本文主要關(guān)注的引導(dǎo)方法。隱式引導(dǎo)一般用劇情線索、剪輯手段或電影中的聲音燈光等對(duì)觀看者進(jìn)行注意力的引導(dǎo)。2017年Serrano的科研團(tuán)隊(duì)引入了連續(xù)性評(píng)價(jià)指標(biāo)，用于在虛擬現(xiàn)實(shí)內(nèi)容的連續(xù)性編輯環(huán)境中量化觀看者行為，同時(shí)也總結(jié)了一些影響連續(xù)性的因素，即若想獲得更高的連續(xù)性，則剪輯前后的關(guān)注區(qū)域要在同一視場(chǎng)范圍內(nèi)，并且傳統(tǒng)剪輯手法在全景視頻中依然可以沿用，無論剪輯情況如何，每個(gè)剪輯開始后會(huì)有一個(gè)探索高峰。2018 年Maranes等人在Serrano工作的基礎(chǔ)上，將數(shù)據(jù)集調(diào)整為時(shí)間更長同時(shí)也是專業(yè)人士制作的VR 紀(jì)錄片，在隱式引導(dǎo)下討論剪輯手法對(duì)全景電影連續(xù)性的影響。Maranes等人認(rèn)為，即使在時(shí)間更長的紀(jì)錄片情況下，傳統(tǒng)的剪輯手法依然可以很好地應(yīng)用到VR 電影的剪輯中。

從上述VR 電影的連續(xù)性研究方法中可以看出，其中大多數(shù)都是使用短時(shí)、簡(jiǎn)單、可控的實(shí)驗(yàn)測(cè)試視頻和嚴(yán)格的實(shí)驗(yàn)條件來探索VR 電影感知連續(xù)性的特點(diǎn)，這樣的研究大多只適用于定焦的、場(chǎng)景單一的VR 電影，得到的結(jié)論很難直接應(yīng)用于更復(fù)雜的、時(shí)間更長的、情節(jié)更多變的敘事類VR 電影的連續(xù)性研究當(dāng)中。

3 評(píng)價(jià)指標(biāo)與VR 電影內(nèi)容特征量化

為了研究場(chǎng)景更復(fù)雜多變的敘事類VR 電影，本文采用谷歌公司在2015年拍攝的災(zāi)難題材VR 電影《Help》作為測(cè)試序列，并且采用了新的評(píng)價(jià)指標(biāo)用于解釋更復(fù)雜的電影場(chǎng)景。

本文方法的整體流程如圖1所示，分為兩大模塊:一是視頻特征量化模塊，用于獲取敘事類VR電影的連續(xù)性特征；二是評(píng)價(jià)指標(biāo)量化模塊，用于獲取VR 視頻的連續(xù)性評(píng)價(jià)指標(biāo)。最后將生成的評(píng)價(jià)指標(biāo)和視頻特征輸入到多層線性回歸模型中，得到視頻特征對(duì)敘事類VR 電影連續(xù)性的最終影響。

圖1 實(shí)驗(yàn)流程圖

3.1 影響連續(xù)性的電影內(nèi)容特征

本文將影響敘事類VR 電影連續(xù)性的電影內(nèi)容特征分為三種，分別是剪輯類型 (E)、剪輯前關(guān)注區(qū)域的個(gè)數(shù)(R)和剪輯后關(guān)注區(qū)域的個(gè)數(shù)(R)。

基于傳統(tǒng)電影的剪輯理論，本文首先考慮三種不同類型的剪輯手法對(duì)全景電影連續(xù)性的影響{E1、E2、E3}，它們是按照空間、時(shí)間和動(dòng)作的維度定義的，分別指代動(dòng)作連續(xù)性剪輯、動(dòng)作不連續(xù)性剪輯、連續(xù)性剪輯。由于E3 剪輯類型在VR 電影中很少出現(xiàn)，所以只考慮前兩種最常用的剪輯類型:E＝{E1、E2}。

動(dòng)作連續(xù)性剪輯 (E1)，即剪輯前后場(chǎng)景、時(shí)間不同，但是由一個(gè)連貫性的動(dòng)作承接剪輯前后的邏輯。動(dòng)作不連續(xù)剪輯 (E2)，這里指代用于場(chǎng)景切換的跳切剪輯，通常在雙重?cái)⑹禄蛘邎?chǎng)景切換的情況下使用。對(duì)于E1 類型 (在時(shí)間空間上的不連續(xù)以及在動(dòng)作上的連續(xù)剪輯)和E2 類型的剪輯(在時(shí)間空間以及動(dòng)作上均不連續(xù)的剪輯)分別去分析其對(duì)影片連續(xù)性的影響。剪輯示意圖如圖2所示。

圖2 剪輯示意圖

在考慮了剪輯對(duì)連續(xù)性的影響后，本文第二點(diǎn)考慮了關(guān)注區(qū)域(Region of Interest，ROI)對(duì)連續(xù)性的影響。本文根據(jù)影片特征將ROI在畫面中的數(shù)量分為無ROI、一個(gè)ROI、兩個(gè)ROI的情況，如圖3所示。本文將剪輯前的ROI以及剪輯后的ROI分別標(biāo)記為R和R，并用其取值代表ROI數(shù)量。

圖3 ROI示意圖

3.2 全景電影的連續(xù)性評(píng)價(jià)指標(biāo)

本文沿用了Serrano在2017年提出的連續(xù)性評(píng)價(jià)指標(biāo)的同時(shí)，采用了一種新的適用于敘事類VR 電影的評(píng)價(jià)指標(biāo):平滑追蹤。本章對(duì)平滑追蹤給出了詳細(xì)的解釋。

3.2.1 剪輯后注意到ROI的幀數(shù)

剪輯后注意到ROI的幀數(shù)是評(píng)價(jià)指標(biāo)中最直觀的一種，簡(jiǎn)單表示視頻中剪輯發(fā)生后，觀察者注意到ROI區(qū)域內(nèi)之前的幀數(shù)，該度量的時(shí)間越長，代表剪輯后觀看者反應(yīng)時(shí)間越長，更容易錯(cuò)過劇情。以下記為(Frame To ROI，N)。

3.2.2 ROI內(nèi)注視百分比

該指標(biāo)計(jì)算觀看者在剪輯后找到感興趣區(qū)域后，感興趣區(qū)域內(nèi)的注視相對(duì)于總注視量的百分比。它給出了觀眾對(duì)感興趣區(qū)域的興趣程度的估計(jì)，該比值越高代表觀看者對(duì)ROI內(nèi)容的感興趣程度越高。以下記為(Percent of ROI gaze，P)。

3.2.3 注視幀數(shù)

注視幀數(shù)指標(biāo)計(jì)算觀眾在觀看過程中的注視總次數(shù)，這個(gè)指標(biāo)直觀的表示了觀看者執(zhí)行了多少次注視。其取值越低，代表觀看者在觀看電影中掃視的占比更高，這意味著觀看者在觀看過程中更喜歡觀察環(huán)境而不是去觀看特定的影片情節(jié)。以下記為(Frame of gaze，N)。

3.2.4 平滑追蹤占比

以上三種評(píng)價(jià)指標(biāo)是Serrano等人在2017年提出的，適用于傳統(tǒng)意義上的定焦影片或紀(jì)錄片的連續(xù)性評(píng)價(jià)，但在敘事電影中，無法保證ROI在畫幅中是保持不動(dòng)的。為了解決這個(gè)問題，本文引入了一種新的評(píng)價(jià)指標(biāo):平滑追蹤幀數(shù)占比。這個(gè)新的評(píng)價(jià)指標(biāo)捕捉了觀看者跟隨ROI的運(yùn)動(dòng)而運(yùn)動(dòng)的跟蹤注視行為。

首先根據(jù)基于速度識(shí)別的算法可以快速計(jì)算出所有視點(diǎn)中的掃視點(diǎn)。通過計(jì)算前后兩幀內(nèi)容視點(diǎn)距離計(jì)算出當(dāng)前視點(diǎn)的移動(dòng)速度。

在初步分割過程中，本文找出速度特征大于40pix/s的所有高速點(diǎn)，并且如果兩個(gè)視點(diǎn)之間的時(shí)間間隔小于100ms，那么這些數(shù)據(jù)視為掃視數(shù)據(jù)。大部分的掃視數(shù)據(jù)都可以在這一步識(shí)別出來。

之后進(jìn)行注視和平滑追蹤的分類。由于注視和平滑追蹤無法通過閾值進(jìn)行分類，所以采用聚類分割法，首先計(jì)算剩余視線段起點(diǎn)和終點(diǎn)之間的平均速度特征。文獻(xiàn) [7]中提出的速度特征計(jì)算公式為:

最后根據(jù)局部密度確定聚類中心，將剩余視點(diǎn)分為兩部分，其中Sd平均值高的一組認(rèn)定其中的視點(diǎn)樣本為平滑追蹤，另外一組視點(diǎn)為注視視點(diǎn)。平滑追蹤指標(biāo)以下記為(P)。

3.3 多層回歸模型

為了探究每種剪輯方式對(duì)最終影片的連續(xù)性的影響，通常人們將影響影片連續(xù)性的因素，結(jié)合線性回歸模型，將回歸結(jié)果與收集到的結(jié)果進(jìn)行比對(duì)，由此判斷這些因素對(duì)影片連續(xù)性的影響。但是敘事類VR 電影相較其他類型的VR 電影，其剪輯手法更加復(fù)雜多變，需要根據(jù)劇情發(fā)展確定適用于當(dāng)前場(chǎng)景的剪輯方式，才能最大程度確保觀看者在觀看該敘事類VR 電影時(shí)能感受到時(shí)間與空間的連貫性，進(jìn)而感受完整的電影劇情。而線性回歸模型由于本身的限制，不適用于分析復(fù)雜因素對(duì)結(jié)果的影響。為了確定敘事類VR 電影的剪輯方法對(duì)影片最終連續(xù)性的影響，探究出一套適用于復(fù)雜敘事場(chǎng)景的剪輯方式，因此，我們采用多層回歸模型對(duì)數(shù)據(jù)進(jìn)行分析。

將上文所述影響連續(xù)性的電影內(nèi)容特征:剪輯方式(E1、E2)，剪輯前后ROI區(qū)域的數(shù)量作為輸入，建立多層回歸模型 (Hierarchical Linear Model，HLM)。

4 實(shí)驗(yàn)設(shè)計(jì)

實(shí)驗(yàn)所用數(shù)據(jù)集選取2016年Justin Lin導(dǎo)演的VR 影片《Help》，實(shí)驗(yàn)人員由10名年齡在20～30歲的成年人組成，其中男性4名，女性6名。實(shí)驗(yàn)人員中有1 名男性以及1 名女性有VR 體驗(yàn)經(jīng)歷，實(shí)驗(yàn)人員信息如表1所示，每次實(shí)驗(yàn)受試者需要使用VR 頭盔觀看VR 電影，每個(gè)視頻段由隨機(jī)5人觀看，共40次重復(fù)實(shí)驗(yàn)。

表1 實(shí)驗(yàn)人員信息表

本文使用一個(gè)配備了Droolon F1眼球追蹤配件的HTC VIVE Pro，記錄90Hz的數(shù)據(jù)，單眼分辨率1400×1600，雙眼分辨率2880×1600，視場(chǎng)角為110度，頭盔配備一對(duì)主動(dòng)降噪耳機(jī)來再現(xiàn)立體聲。受試者需站立觀看視頻，所有受試者的視力在測(cè)試的過程中都處于正常范圍，每個(gè)受試者首先執(zhí)行眼睛跟蹤器校準(zhǔn)程序。為了確保所有受試者的起始條件相同，視頻將從受試者適應(yīng)VR 環(huán)境后開始播放。用Unity游戲引擎顯示視頻，在同一臺(tái)計(jì)算機(jī)上記錄頭部方向，同時(shí)記錄眼睛跟蹤數(shù)據(jù)。從眼動(dòng)校準(zhǔn)到試驗(yàn)結(jié)束所需的總時(shí)間大約為15分鐘。我們對(duì)原始采集到的數(shù)據(jù)進(jìn)行預(yù)處理并計(jì)算視點(diǎn)信息。

本文根據(jù)第3節(jié)中提出的兩種影響連續(xù)性的電影內(nèi)容特征 (剪輯方式，ROI的數(shù)量)，在不影響VR 電影敘事情節(jié)的情況下對(duì)視頻進(jìn)行了初步剪輯，分別為時(shí)間連續(xù)性剪輯、空間連續(xù)性剪輯。初選出10個(gè)視頻段，根據(jù)情節(jié)需要以及對(duì)兩種影響連續(xù)性特征的排列組合，最終選出8個(gè)視頻段作為實(shí)驗(yàn)時(shí)播放的視頻，剪輯信息如表2所示，表中剪輯發(fā)生時(shí)間以幀為單位。本文對(duì)每一個(gè)視頻段進(jìn)行了ROI的標(biāo)記工作，在主要關(guān)鍵的一幀手動(dòng)標(biāo)記ROI區(qū)域，對(duì)其他非關(guān)鍵幀進(jìn)行插值操作，生成最終的ROI參照視頻。

表2 剪輯信息表

在實(shí)驗(yàn)數(shù)據(jù)分析部分，本文使用評(píng)價(jià)指標(biāo)N、P、N、P作為因變量，首先進(jìn)行單因素回歸分析，如表3所示，其中P≤0.05時(shí)，表示該特征在單因素方差分析中差異檢驗(yàn)顯著。F 值是F檢驗(yàn)的統(tǒng)計(jì)量，也就是組間和組內(nèi)的離差平方和與自由度的比值，顯著性就是與F統(tǒng)計(jì)量對(duì)應(yīng)的顯著性水平。

(1)剪輯方式對(duì)連續(xù)性的影響:如表3 所示，剪輯方式對(duì)于四種評(píng)價(jià)指標(biāo)P、N、N、P的顯著值P 均大于0.05，代表剪輯方式對(duì)最終的連續(xù)性并無影響。

表3 單因素回歸分析表 (E)

(2)ROI對(duì)于連續(xù)性的影響:對(duì)剪輯前后的ROI個(gè)數(shù)進(jìn)行單因素回歸分析，分析結(jié)果如表4、表5所示。

表4 剪輯前的ROI(Rb)單因素回歸分析表

表5 剪輯后的ROI(Ra)單因素回歸分析表

數(shù)據(jù)結(jié)果表明，在觀看敘事類VR 電影的過程中，剪輯前存在的ROI數(shù)量對(duì)本文中提出的四種評(píng)價(jià)指標(biāo)均無顯著影響，故本文認(rèn)為視頻的R特征對(duì)最終的連續(xù)性沒有影響。但是剪輯后的ROI數(shù)量對(duì)以上四種評(píng)價(jià)指標(biāo)，除N外的顯著值P 均大于0.05。R對(duì)N和P均無顯著影響，這表明一旦受試者看到其中一個(gè)ROI，ROI的數(shù)量不會(huì)影響剪輯后的探索行為。

將R作為自變量，而將N作為因變量進(jìn)行線性回歸分析，回歸的標(biāo)準(zhǔn)誤差為2.78；回歸參數(shù)的顯著性檢驗(yàn)值T 為2.568，顯著值P 為0.017，小于0.05，故可得回歸模型公式為:

其中模型R 方值為0.209，意味著R以解釋N的20.9%變化原因。對(duì)模型進(jìn)行F 檢驗(yàn)時(shí)發(fā)現(xiàn)模型通過F檢驗(yàn)(F＝6.595，P＝0.017＜0.05)，說明剪輯后ROI數(shù)量一定程度上會(huì)對(duì)指標(biāo)N產(chǎn)生影響關(guān)系，模型回歸系數(shù)為7.143，意味著視頻特征R會(huì)對(duì)N產(chǎn)生顯著的正向影響關(guān)系。

為了進(jìn)一步分析R對(duì)于VR 電影的連續(xù)性的影響，本文將R與其余的視頻特征相結(jié)合，對(duì)評(píng)價(jià)指標(biāo)P進(jìn)行多層回歸模型的分析，并將R根據(jù)取值創(chuàng)建為兩個(gè)虛變量分別命名為R、R，用來指代R的兩種ROI存在情況，對(duì)評(píng)價(jià)指標(biāo)P多層回歸模型分析結(jié)果如表6所示:

表6 多層回歸分析表

由表6的數(shù)據(jù)可以看出R可以解釋P的變化，并且會(huì)對(duì)P產(chǎn)生顯著的正向影響關(guān)系。這些結(jié)果說明，在敘事類VR 電影的后期制作中，對(duì)最終的連續(xù)性有顯著影響的是剪輯后的ROI數(shù)量，其中，當(dāng)剪輯后有兩個(gè)ROI區(qū)域時(shí)，連續(xù)性要比區(qū)域中只有一個(gè)ROI的情況要低。所以本文研究認(rèn)為，剪輯后關(guān)注區(qū)域的數(shù)量是影響影片連續(xù)性的關(guān)鍵因素。

最后，我們根據(jù)Serrano在文獻(xiàn) [4]中提供的數(shù)據(jù)集對(duì)模型進(jìn)行了驗(yàn)證，在Serrano提供的數(shù)據(jù)集上的48個(gè)視頻段進(jìn)行了線性回歸的擬合，擬合效果如圖4 所示，其中橫坐標(biāo)表示測(cè)試視頻編號(hào)，縱坐標(biāo)的單位為幀。分別計(jì)算了48 個(gè)視頻對(duì)應(yīng)的N值以及N的預(yù)測(cè)值，其中第15到第30個(gè)樣本R個(gè)數(shù)為2個(gè)或2個(gè)以上，可以看出模型擬合效果良好，但是隨著R的增多，模型預(yù)測(cè)效果會(huì)有下降。

圖4 Nframe 的預(yù)測(cè)值與真實(shí)值對(duì)比圖

5 結(jié)語

本文通過對(duì)情節(jié)更為復(fù)雜、場(chǎng)景更多變的敘事類VR 電影，引入更適合敘事類VR 電影的連續(xù)性評(píng)價(jià)指標(biāo)即平滑追蹤占比，并對(duì)剪輯片段進(jìn)行主觀觀看實(shí)驗(yàn)，通過對(duì)主觀數(shù)據(jù)的處理及分析發(fā)現(xiàn):(1)在本文討論的敘事類VR 電影中，沒有發(fā)現(xiàn)剪輯方式對(duì)最終的感知連續(xù)性存在顯著影響；(2)剪輯后ROI的數(shù)量越少，觀看者就能越快地找到重點(diǎn)需要關(guān)注的區(qū)域，從而提高觀影過程中的連續(xù)性；(3)剪輯后的ROI數(shù)量越少，那么觀眾對(duì)于ROI的關(guān)注程度就越高。目前，本文的實(shí)驗(yàn)僅對(duì)現(xiàn)有的數(shù)據(jù)進(jìn)行了分析，今后還會(huì)邀請(qǐng)更多觀看者參與實(shí)驗(yàn)，并且按照不同的個(gè)體差異分隊(duì)測(cè)試以尋找更多的規(guī)律。