基于LED背景墻的電影虛擬化制作中攝影機(jī)跟蹤技術(shù)研究

李 想 趙建軍 陳 軍

(1.北京電影學(xué)院中國(guó)電影高新技術(shù)研究院,北京 100088)

(2.北京電影學(xué)院影視技術(shù)系,北京 100088)

1 前言

基于LED 背景墻的電影虛擬化制作技術(shù)(下稱“LED 虛擬化制作”)是指在拍攝現(xiàn)場(chǎng),通過攝影機(jī)跟蹤系統(tǒng)和實(shí)時(shí)渲染引擎,將渲染畫面顯示到LED 背景墻上,演員在LED 背景墻形成的環(huán)境中進(jìn)行表演,從而實(shí)現(xiàn)拍攝時(shí)的“合成”。這一技術(shù)極大地提高了虛擬化制作的效率,降低拍攝風(fēng)險(xiǎn),擺脫傳統(tǒng)拍攝過程中的諸多限制,為影視拍攝、賽事直播、廣告制作、大型演出等不同領(lǐng)域的創(chuàng)作者營(yíng)造更加友好的創(chuàng)作環(huán)境,如圖1所示。

圖1 LED虛擬化制作技術(shù)在不同領(lǐng)域中的應(yīng)用

攝影機(jī)跟蹤系統(tǒng)是電影虛擬化制作的基礎(chǔ),在實(shí)際應(yīng)用中,對(duì)于跟蹤系統(tǒng)的要求往往強(qiáng)調(diào)定位精確度、穩(wěn)定性、魯棒性和用戶創(chuàng)作的自由度。目前市面上已經(jīng)存在多種對(duì)于剛體進(jìn)行姿態(tài)估計(jì)和運(yùn)動(dòng)跟蹤較為成熟的解決方案,考慮精度、重量、成本和適用環(huán)境等因素,基于視覺的攝影機(jī)跟蹤方案已經(jīng)成為目前進(jìn)行虛擬化制作的熱門選擇。

隨著LED 虛擬化制作技術(shù)的興起,人眼對(duì)于真實(shí)場(chǎng)景與虛擬背景的相對(duì)穩(wěn)定性更加敏感,同時(shí)攝影機(jī)自身的運(yùn)動(dòng)規(guī)律與普通剛體又存在著差異,再加上LED 虛擬化制作環(huán)境帶來的動(dòng)態(tài)變化使得基于視覺跟蹤的應(yīng)用環(huán)境又重新面臨挑戰(zhàn)。

本文對(duì)攝影機(jī)跟蹤系統(tǒng)在典型LED 虛擬化制作環(huán)境中的應(yīng)用進(jìn)行研究,通過一系列測(cè)試,利用客觀數(shù)據(jù)對(duì)跟蹤的精度、穩(wěn)定性、魯棒性、數(shù)據(jù)處理傳輸速度、合成效果等方面進(jìn)行分析,同時(shí)結(jié)合主觀操作感受,對(duì)攝影機(jī)跟蹤技術(shù)在LED 虛擬化制作這一新領(lǐng)域進(jìn)行研究。

2 跟蹤系統(tǒng)簡(jiǎn)述

真實(shí)世界中的攝影機(jī)運(yùn)動(dòng)往往受到空間限制,LED 虛擬化制作技術(shù)則給予了創(chuàng)作者無限的空間,在虛實(shí)結(jié)合的創(chuàng)作環(huán)境中提供了更多鏡頭運(yùn)動(dòng)的可能性。

2.1 攝影機(jī)運(yùn)動(dòng)簡(jiǎn)述

在真實(shí)的電影拍攝中,一個(gè)運(yùn)動(dòng)鏡頭由起幅、運(yùn)動(dòng)、落幅組成,其中運(yùn)動(dòng)鏡頭主要包括:推、拉、搖、移、跟、升、降、甩。攝影機(jī)在進(jìn)行拍攝時(shí)可視為一個(gè)不會(huì)產(chǎn)生形變的剛體在進(jìn)行歐式變換運(yùn)動(dòng),這一運(yùn)動(dòng)的特點(diǎn)是無論位置和方向發(fā)生變換還是在不同坐標(biāo)系下觀察同一個(gè)物體,它的長(zhǎng)度、夾角、體積等形狀和大小都保持不變。在影視制作環(huán)節(jié)中,攝影機(jī)實(shí)際上是對(duì)人眼行為的模擬,攝影機(jī)拍攝呈現(xiàn)畫面的目標(biāo)是觀眾,所以攝影機(jī)的運(yùn)動(dòng)往往有連續(xù)、平滑等特性。

對(duì)于具體的鏡頭運(yùn)動(dòng)行為,Dolly(推拉)、Pedestal(升降)、Truck(橫移),對(duì)應(yīng)剛體位移運(yùn)動(dòng)中的沿物體正方向指向進(jìn)行前后位移、沿物體縱軸方向指向進(jìn)行上下位移、沿物體水平軸方向指向進(jìn)行左右位移;Pan(橫搖)、Tilt(俯仰)、Roll(橫滾)對(duì)應(yīng)剛體旋轉(zhuǎn)運(yùn)動(dòng)中的繞物體縱軸旋轉(zhuǎn)、繞物體水平軸向進(jìn)行旋轉(zhuǎn)、繞物體正方向指向軸向進(jìn)行旋轉(zhuǎn)(圖2)。其中,對(duì)于Roll即橫滾運(yùn)動(dòng),在影視攝影制作中較少涉及該類的鏡頭運(yùn)動(dòng)。因此對(duì)于剛體運(yùn)動(dòng)軌跡的優(yōu)化,則需要針對(duì)攝影拍攝時(shí)的運(yùn)鏡規(guī)律進(jìn)行重新配重與優(yōu)化。

圖2 攝影機(jī)運(yùn)動(dòng)類型①

現(xiàn)有的對(duì)剛體進(jìn)行姿態(tài)估計(jì)的解決方法側(cè)重于通過提升觀測(cè)設(shè)備的刷新率以捕捉物體更加快速的變化,或提升觀測(cè)設(shè)備的分辨率以捕捉更加細(xì)節(jié)的變化和更加精準(zhǔn)的3D 特征點(diǎn)的定位精度。這些舉措都缺乏針對(duì)攝影機(jī)位姿變化和運(yùn)動(dòng)規(guī)律的的精準(zhǔn)重建與優(yōu)化,更加適用于普通剛體,例如機(jī)器人或SLAM 技術(shù)。然而過度的濾波平滑又會(huì)造成對(duì)攝影機(jī)動(dòng)作還原的失真,因此選擇算法優(yōu)化適度的攝影機(jī)跟蹤系統(tǒng)同樣重要。

2.2 攝影機(jī)跟蹤常見的集成方案

跟蹤設(shè)備選擇方面,因攝影機(jī)的跟蹤所關(guān)注的內(nèi)容是如何從像素坐標(biāo)系還原回世界坐標(biāo)系的位置,所以對(duì)目前常見的跟蹤解決方案進(jìn)行分類,根據(jù)實(shí)現(xiàn)原理的不同可以分為由內(nèi)向外跟蹤及由外向內(nèi)跟蹤兩種方式。由內(nèi)向外跟蹤不需要外部傳感器或信標(biāo),被追蹤對(duì)象需要搭載不同的傳感器利用算法來獲取對(duì)象的精確位置,通常在由內(nèi)向外的位置跟蹤中,攝像機(jī)或傳感器位于被跟蹤的設(shè)備上,典型的由內(nèi)向外跟蹤設(shè)備有Ncam、Lightcraft、MoSys、RedSpy等;由外向內(nèi)跟蹤采用某種信標(biāo)的任何方法都屬于外向內(nèi)跟蹤技術(shù),通常采用光學(xué)跟蹤方式使用攝影機(jī)或其他傳感器放置在一個(gè)固定的位置,面向被追蹤的物體,典型的由外向內(nèi)跟蹤設(shè)備有Vicon、OptiTrack、HTC Vive等。

在跟蹤設(shè)備與其他三維渲染系統(tǒng)集成方面,根據(jù)跟蹤數(shù)據(jù)使用的場(chǎng)景或階段不同,可以將系統(tǒng)管線分為實(shí)時(shí)和后期兩個(gè)階段。在實(shí)時(shí)階段,跟蹤設(shè)備軟件端可以通過插件與第三方DCC(Digital Content Creation,數(shù)字內(nèi)容創(chuàng)作)軟件或?qū)崟r(shí)渲染引擎進(jìn)行通信,將攝影機(jī)的外參(6DOF 的位姿變換數(shù)據(jù))以及鏡頭內(nèi)參(焦點(diǎn)、焦距、鏡頭畸變等)參數(shù)實(shí)時(shí)地傳輸給引擎中的虛擬攝影機(jī),最終渲染出位置、透視、視場(chǎng)等顯示正確的畫面;在后期階段,經(jīng)過前期跟蹤數(shù)據(jù)的實(shí)時(shí)傳輸與錄制,后期部門可以選擇對(duì)跟蹤數(shù)據(jù)進(jìn)行清洗修正再利用,減少攝影機(jī)反求操作,可以極大地提高后期工作效率。

2.3 基于LED 背景墻的虛擬化制作對(duì)跟蹤系統(tǒng)的需求

目前LED 虛擬化制作技術(shù)從原理上可以看作是增強(qiáng)現(xiàn)實(shí)技術(shù)在影視行業(yè)的應(yīng)用,該技術(shù)被廣泛地應(yīng)用于影視制作、大型演出直轉(zhuǎn)播等泛娛樂行業(yè),不同的應(yīng)用場(chǎng)景對(duì)于跟蹤系統(tǒng)提出了新的不同需求。由于LED 顯示屏幕的廣泛參與,實(shí)時(shí)渲染的虛擬背景直接顯示并且被攝影機(jī)同步記錄下來,這使得虛擬場(chǎng)景與真實(shí)場(chǎng)景之間的坐標(biāo)系匹配更為重要。動(dòng)態(tài)畫面和復(fù)雜閃爍的光環(huán)境變化也給跟蹤技術(shù)帶來了新的挑戰(zhàn),面對(duì)各種不同技術(shù)原理的跟蹤設(shè)備,本文設(shè)計(jì)以下實(shí)驗(yàn)對(duì)HTC Vive Pro Eye、Ncam、stype RedSpy、OptiTrack PrimeX 22四款在行業(yè)內(nèi)廣泛使用的基于不同原理的跟蹤系統(tǒng)進(jìn)行對(duì)比分析并對(duì)設(shè)備特性及應(yīng)用場(chǎng)景做出總結(jié)。

3 實(shí)驗(yàn)設(shè)計(jì)

對(duì)于跟蹤系統(tǒng)而言最重要的系統(tǒng)屬性是跟蹤的精度、穩(wěn)定性及魯棒性,本文將通過測(cè)量在相同LED 顯示環(huán)境下不同跟蹤設(shè)備的跟蹤精確度、穩(wěn)定性、魯棒性,結(jié)合數(shù)據(jù)處理傳輸速度、跟蹤使用的場(chǎng)地要求、操作時(shí)主觀感受等要素,對(duì)不同實(shí)時(shí)跟蹤解決方案進(jìn)行對(duì)比分析。

3.1 實(shí)驗(yàn)對(duì)象

本實(shí)驗(yàn)分別以由外向內(nèi)基于紅外視覺的跟蹤設(shè)備OptiTrack動(dòng)作捕捉系統(tǒng)、基于激光掃描的HTC Vive Pro Eye虛擬現(xiàn)實(shí)眼鏡,以及由內(nèi)向外跟蹤設(shè)備基于雙目視覺的Ncam 攝影機(jī)跟蹤設(shè)備、基于紅外單目視覺的RedSpy紅外攝影機(jī)跟蹤系統(tǒng)為對(duì)象,根據(jù)實(shí)驗(yàn)對(duì)象設(shè)備的安裝要求裝配至本實(shí)驗(yàn)設(shè)備攝影機(jī)SONY F55上,裝配情況如圖3所示。

圖3 四組實(shí)驗(yàn)對(duì)象裝配方式

3.2 實(shí)驗(yàn)環(huán)境及要求

本實(shí)驗(yàn)依托于北京電影學(xué)院影視技術(shù)系與青年電影制片廠聯(lián)合建設(shè)的基于LED 背景墻的電影虛擬化制作攝影棚實(shí)驗(yàn)環(huán)境。首先,該LED 虛擬化制作實(shí)驗(yàn)環(huán)境最大縱深為9.73m,寬度為10.60m,高度為4.20m。三面均由點(diǎn)間距為2.6mm、亮度可達(dá)1500nit的雷迪奧(ROE)DM 系列LED 屏幕環(huán)繞,其中,左右兩側(cè)屏為平面,前側(cè)主屏為面板夾角為5°的22列LED 面板組成的弧面。其次,頂部由132只諾華視創(chuàng)六基色LED 照明燈構(gòu)成11×12排列組合的燈光矩陣,覆蓋LED 顯示區(qū)域。最后,可移動(dòng)影視照明燈光系統(tǒng)是由南光等LED 面板燈具以及Froza系列聚光燈及柔光布組成影視制作拍攝領(lǐng)域常見的燈光配置環(huán)境。經(jīng)測(cè)光表測(cè)量,在拍攝范圍中間能夠捕捉到的整體照度達(dá)2900lx,整體實(shí)驗(yàn)環(huán)境與照明環(huán)境如圖4所示。

圖4 LED屏幕、燈光矩陣、影視照明燈光系統(tǒng)實(shí)驗(yàn)環(huán)境

3.3 實(shí)驗(yàn)步驟

根據(jù)測(cè)試計(jì)劃,將實(shí)驗(yàn)步驟(如圖5所示)分為設(shè)計(jì)實(shí)驗(yàn)、數(shù)據(jù)采集、數(shù)據(jù)處理、數(shù)據(jù)分析及實(shí)驗(yàn)總結(jié)五個(gè)階段,分別設(shè)計(jì)靜止?fàn)顟B(tài)、慢速及快速的運(yùn)動(dòng)狀態(tài),以及在俯仰和橫搖等旋轉(zhuǎn)軸上的運(yùn)動(dòng)、左右上下平移等位移軸上的運(yùn)動(dòng)動(dòng)作,對(duì)影視制作拍攝運(yùn)動(dòng)進(jìn)行模擬再現(xiàn),針對(duì)攝影機(jī)跟蹤系統(tǒng)的精確度、穩(wěn)定性、魯棒性進(jìn)行數(shù)據(jù)分析。

圖5 攝影機(jī)跟蹤系統(tǒng)分析實(shí)驗(yàn)步驟

(1)精確度即“準(zhǔn)確和精密的程度”,是一種統(tǒng)計(jì)學(xué)概念。其中,準(zhǔn)確度是指測(cè)量數(shù)據(jù)的平均值偏離真值的程度;精密度是指對(duì)某一量進(jìn)行測(cè)量時(shí),每次測(cè)量的數(shù)據(jù)大小彼此接近程度。因此,對(duì)系統(tǒng)精確度的測(cè)量分析即是對(duì)該系統(tǒng)測(cè)量結(jié)果的綜合評(píng)價(jià):測(cè)量的精確度越高說明測(cè)量的平均值越接近真值,并且測(cè)量數(shù)據(jù)較為集中,代表測(cè)量系統(tǒng)的系統(tǒng)誤差與偶然誤差都比較小,測(cè)量結(jié)果既準(zhǔn)確又精密。在攝影機(jī)跟蹤技術(shù)中,跟蹤設(shè)備的精確度是系統(tǒng)組成最為重要的特性之一,系統(tǒng)精確度越高,由跟蹤數(shù)據(jù)求得的攝影機(jī)運(yùn)動(dòng)越能夠真實(shí)地還原攝影機(jī)在現(xiàn)實(shí)世界中的運(yùn)動(dòng)。通常情況下,在進(jìn)行設(shè)備精確度分析時(shí)需要絕對(duì)的外部信息,但絕對(duì)的外部信息在大多數(shù)情況下是未知的,則可選取由更高階測(cè)量精度的傳感器得到的參考值進(jìn)行確定。

(2)穩(wěn)定性通常是指“測(cè)量?jī)x器保持其計(jì)量特性隨時(shí)間恒定的能力”。與其他的增強(qiáng)現(xiàn)實(shí)或SLAM 技術(shù)不同,基于影視制作的需求,我們對(duì)于攝影機(jī)跟蹤除了要求能夠快速準(zhǔn)確地跟蹤目標(biāo)之外,穩(wěn)定性是重中之重。經(jīng)過分析,我們認(rèn)為在影視攝影過程中,攝影棚的變化錯(cuò)綜復(fù)雜,可以總結(jié)為復(fù)雜的現(xiàn)場(chǎng)光線環(huán)境和不斷變化的前景遮擋關(guān)系均會(huì)對(duì)跟蹤系統(tǒng)產(chǎn)生較大的影響。因此我們?cè)诓煌h(huán)境下對(duì)數(shù)據(jù)進(jìn)行采集與分析,對(duì)不同的跟蹤系統(tǒng)進(jìn)行對(duì)比。

(3)魯棒性通常指控制系統(tǒng)在一定(結(jié)構(gòu)、大小)的參數(shù)攝動(dòng)下,維持其它某些性能的特性。對(duì)于LED 虛擬化制作環(huán)境,攝影機(jī)跟蹤系統(tǒng)的魯棒性干擾則在于剛體跟蹤點(diǎn)的遮擋丟失。本次實(shí)驗(yàn)設(shè)計(jì)針對(duì)實(shí)驗(yàn)對(duì)象的剛體跟蹤點(diǎn)進(jìn)行魯棒性實(shí)驗(yàn),選擇的OptiTrack Active Puck有8個(gè)主動(dòng)發(fā)光點(diǎn)正在進(jìn)行運(yùn)動(dòng),遮擋主動(dòng)發(fā)光點(diǎn)數(shù)的百分比依次增加,進(jìn)行相同運(yùn)動(dòng)行為并且記錄,繪制運(yùn)動(dòng)路徑,觀察波動(dòng)增加直至跟蹤丟失的過程;RedSpy是由內(nèi)向外跟蹤,因此對(duì)紅外攝像頭進(jìn)行人為遮擋;Ncam 對(duì)雙目攝像頭的視野范圍進(jìn)行遮擋;HTC Vive對(duì)跟蹤器上的紅外反光點(diǎn)進(jìn)行遮擋。

4 實(shí)驗(yàn)結(jié)果

4.1 跟蹤精確度實(shí)驗(yàn)

對(duì)于攝影機(jī)在不同的運(yùn)動(dòng)情況下進(jìn)行分析,我們通過測(cè)量每個(gè)軸的讀數(shù),就能夠繪制出被跟蹤物體在跟蹤系統(tǒng)的三維空間中隨時(shí)間變化的位置。

4.1.1 對(duì)靜止情況進(jìn)行模擬實(shí)驗(yàn)

攝影機(jī)靜止時(shí),在設(shè)備開機(jī)穩(wěn)定運(yùn)行一段時(shí)間后,獲取任意時(shí)間段攝影機(jī)的位置信息,由Matlab中的scatter3 ()函數(shù)繪制可得跟蹤數(shù)據(jù)在三維可視化環(huán)境下的位置坐標(biāo)如圖6所示。

圖6 精確度分析——靜止情況下

經(jīng)處理后的數(shù)據(jù)以坐標(biāo)系原點(diǎn)為基準(zhǔn),在靜止?fàn)顟B(tài)下,RedSpy三維坐標(biāo)點(diǎn)最為集中,在各軸向上均勻分布;Opti Track所得的三維坐標(biāo)點(diǎn)也較為集中,主要分布在水平面上,垂直面上及所得Z軸的數(shù)據(jù)較為集中;Ncam 集中程度較差,并且跟蹤點(diǎn)坐標(biāo)呈線性分布狀態(tài);HTC Vive的離散程度最高,跟蹤點(diǎn)具有隨機(jī)分布的特點(diǎn),在水平面及垂直面上沒有明顯區(qū)別。從精密程度上來看,設(shè)備精密程度排序?yàn)镽edSpy＞OptiTrack＞Ncam＞HTC Vive。

對(duì)跟蹤坐標(biāo)數(shù)據(jù)的離散程度進(jìn)行樣本標(biāo)準(zhǔn)差計(jì)算,標(biāo)準(zhǔn)差越大,樣本的離散程度越大,結(jié)果見表1。

表1 靜止?fàn)顟B(tài)下跟蹤系統(tǒng)標(biāo)準(zhǔn)差分析

4.1.2 對(duì)于旋轉(zhuǎn)、平移運(yùn)動(dòng)進(jìn)行模擬實(shí)驗(yàn)

圖7 精確度分析——旋轉(zhuǎn)運(yùn)動(dòng)情況

攝影機(jī)運(yùn)動(dòng)時(shí),在設(shè)備進(jìn)入穩(wěn)定運(yùn)行狀態(tài)后在水平方向上分別進(jìn)行慢速和快速橫搖運(yùn)動(dòng),在垂直方向上分別進(jìn)行慢速和快速俯仰運(yùn)動(dòng),之后隨機(jī)截取攝影機(jī)的位置信息,運(yùn)動(dòng)情況繪制后如圖7所示。當(dāng)設(shè)備進(jìn)入穩(wěn)定運(yùn)行狀態(tài)后,攝影機(jī)在水平方向上運(yùn)動(dòng)時(shí),分別進(jìn)行慢速和快速平移運(yùn)動(dòng),隨機(jī)截取攝影機(jī)的位置信息,運(yùn)動(dòng)情況繪制后如圖8所示。

圖8 精確度分析——平移運(yùn)動(dòng)情況

(1)橫搖運(yùn)動(dòng)

慢速:Ncam 在做慢速橫搖運(yùn)動(dòng)時(shí),在水平面與垂直面上浮動(dòng)都較小,運(yùn)動(dòng)軌跡較為平滑且符合攝影機(jī)橫搖的運(yùn)動(dòng)特征;Opti Track在Z 軸方向產(chǎn)生了抖動(dòng),頻率較高,與運(yùn)動(dòng)平滑的特征稍有不符;RedSpy在做慢速橫搖運(yùn)動(dòng)時(shí),在Z 軸上的數(shù)值出現(xiàn)階梯性下降,對(duì)于這一運(yùn)動(dòng),Z 軸最大值和最小值相差0.5cm,對(duì)于渲染畫面顯示將會(huì)產(chǎn)生影響;HTC Vive產(chǎn)生高頻在±0.1cm 幅度之間抖動(dòng)。由此可見,在做慢速橫搖運(yùn)動(dòng)時(shí),跟蹤精確度排序?yàn)镺ptiTrack＞Ncam＞HTC Vive＞RedSpy。

快速:Ncam 在進(jìn)行快速橫搖動(dòng)作時(shí)數(shù)據(jù)過于穩(wěn)定平滑,符合橫搖動(dòng)作,但會(huì)丟失細(xì)微動(dòng)作特征;OptiTrack運(yùn)動(dòng)軌跡符合運(yùn)動(dòng)特征,存在輕微波動(dòng);RedSpy在做快速橫搖運(yùn)動(dòng)時(shí)精密程度更差,對(duì)于Z軸的估值產(chǎn)生了更大的波動(dòng),在做橫搖這一Z軸不變的動(dòng)作時(shí)的最大值和最小值差距達(dá)0.8cm;由運(yùn)動(dòng)軌跡可見,HTC Vive數(shù)值產(chǎn)生了高頻、大幅度的抖動(dòng),不符合橫搖運(yùn)動(dòng)平滑的特點(diǎn),但整體在可接受范圍內(nèi)。由此可見,在做快速橫搖運(yùn)動(dòng)時(shí),跟蹤精確度排序?yàn)镹cam＞OptiTrack＞HTC Vive＞RedSpy。

(2)俯仰運(yùn)動(dòng)

慢速:四個(gè)被測(cè)設(shè)備在運(yùn)動(dòng)過程中均表現(xiàn)良好。RedSpy、HTC Vive 軌跡平滑,符合運(yùn)動(dòng)軌跡;Ncam 在啟動(dòng)時(shí)產(chǎn)生了輕微的數(shù)據(jù)波動(dòng);OptiTrack整體軌跡良好但存在小幅度低頻的波動(dòng),對(duì)跟蹤效果影響較小。跟蹤精確度排序?yàn)镽edSpy＞HTC Vive＞Ncam＞OptiTrack。

快速:在進(jìn)行快速俯仰運(yùn)動(dòng)時(shí),Ncam 的運(yùn)動(dòng)軌跡在折返點(diǎn)出現(xiàn)了Z軸數(shù)據(jù)跳躍現(xiàn)象,整體運(yùn)動(dòng)軌跡產(chǎn)生偏移存在累積誤差;RedSpy數(shù)據(jù)在折返點(diǎn)產(chǎn)生數(shù)據(jù)中斷但軌跡還原正確不影響跟蹤效果;Opti Track在末端產(chǎn)生了輕微的波動(dòng),但整體軌跡還原最較好;HTC Vive數(shù)據(jù)較為穩(wěn)定,表現(xiàn)優(yōu)秀。由此可見,在做快速俯仰運(yùn)動(dòng)時(shí),跟蹤精確度排序?yàn)镠TC Vive＞OptiTrack＞RedSpy＞Ncam。

(3)水平位移

慢速:三個(gè)被測(cè)設(shè)備在運(yùn)動(dòng)過程中均產(chǎn)生了輕微波動(dòng),Ncam 數(shù)據(jù)濾波平滑效果最為明顯;Opti-Track不管是從波動(dòng)頻率還是波動(dòng)幅度上來說都較小;RedSpy次之;HTC Vive在運(yùn)動(dòng)啟動(dòng)的時(shí)候產(chǎn)生波動(dòng)幅度較大。因此,在進(jìn)行慢速水平位移運(yùn)動(dòng)時(shí),跟蹤精確度排序?yàn)镺pti Track＞RedSpy＞HTC Vive＞Ncam。

快速:Ncam 的平滑作用較為明顯,但失去了對(duì)運(yùn)動(dòng)特征的準(zhǔn)確還原;其他三者對(duì)于跟蹤路徑的反饋較為一致,符合運(yùn)動(dòng)平滑的特性。由此可見,在做快速水平位移運(yùn)動(dòng)時(shí),跟蹤精確度排序?yàn)镺ptiTrack＞RedSpy＞HTC Vive＞Ncam。

(4)垂直位移

慢速:四個(gè)被測(cè)設(shè)備在運(yùn)動(dòng)過程中的運(yùn)動(dòng)整體路徑有較大差別。Ncam 運(yùn)動(dòng)軌跡體現(xiàn)出對(duì)于垂直平移運(yùn)動(dòng)記錄的失真;運(yùn)動(dòng)中的特性在RedSpy的圖像中也丟失了一部分,平滑處理較多;OptiTrack和HTC Vive保留運(yùn)動(dòng)軌跡雖有輕微波動(dòng),但仍可以接受。綜上所述,在慢速垂直位移中,跟蹤精確度排序?yàn)镽edSpy＞OptiTrack＞HTC Vive＞Ncam。

快速:Ncam 的平滑作用較為明顯,出現(xiàn)運(yùn)動(dòng)特征的丟失,路徑與真實(shí)運(yùn)動(dòng)軌跡有區(qū)別;其他三者對(duì)于跟蹤路徑的反饋較為一致,符合運(yùn)動(dòng)平滑的特性,RedSpy的平滑處理更為出色。由此可見,在做快速水平位移運(yùn)動(dòng)時(shí),跟蹤精確度排序?yàn)镽edSpy＞Opti Track＞HTC Vive＞Ncam。

4.2 跟蹤穩(wěn)定性實(shí)驗(yàn)

光環(huán)境變化:在設(shè)備進(jìn)入穩(wěn)定運(yùn)行狀態(tài)后,保持現(xiàn)場(chǎng)光線穩(wěn)定且光照適中,能夠滿足影視拍攝現(xiàn)場(chǎng)光線需求,當(dāng)前光照環(huán)境穩(wěn)定狀態(tài)下,通過測(cè)光表測(cè)量攝影機(jī)四周的照度數(shù)值為攝影機(jī)上方2700lx、下方520lx、前方2200lx、后方900lx。對(duì)現(xiàn)場(chǎng)的光線環(huán)境進(jìn)行動(dòng)態(tài)調(diào)控,同時(shí)對(duì)LED 顯示屏、現(xiàn)場(chǎng)影視級(jí)照明燈光進(jìn)行調(diào)控,如圖9 所示。據(jù)檢測(cè),在變化的環(huán)境中,攝影機(jī)周邊的光照環(huán)境極值可達(dá)最亮上2700lx、前2000lx、后1100lx、下560lx;最暗上240lx、前800lx、后57lx、下80lx;中間值上1000lx、前1300lx、后450lx、下210lx。

圖9 光線動(dòng)態(tài)變化環(huán)境示意

遮擋條件變化:該實(shí)驗(yàn)對(duì)現(xiàn)場(chǎng)可能會(huì)產(chǎn)生的極端遮擋環(huán)境進(jìn)行模擬,利用影視拍攝中的黑旗道具在攝影機(jī)前運(yùn)動(dòng),如圖10所示。

圖10 前景遮擋變化示意

圖11 穩(wěn)定性分析——靜止?fàn)顟B(tài)模擬

圖12 穩(wěn)定性分析——運(yùn)動(dòng)狀態(tài)模擬

對(duì)不同光線環(huán)境與遮擋環(huán)境進(jìn)行靜止?fàn)顟B(tài)模擬:其中圖11是當(dāng)前光照環(huán)境下靜止不動(dòng)時(shí)各被測(cè)設(shè)備的位置軌跡,圖12是當(dāng)前光照環(huán)境下各被測(cè)設(shè)備動(dòng)作表現(xiàn)。

以光線穩(wěn)定且光照適中的環(huán)境下的運(yùn)動(dòng)狀態(tài)作為參照物,分別以在現(xiàn)場(chǎng)光環(huán)境進(jìn)行動(dòng)態(tài)變化的運(yùn)動(dòng)軌跡和在現(xiàn)場(chǎng)攝影機(jī)前不斷產(chǎn)生動(dòng)態(tài)遮擋的情況下運(yùn)動(dòng)軌跡進(jìn)行對(duì)比。對(duì)于靜止?fàn)顟B(tài)下的模擬可以進(jìn)行坐標(biāo)離散程度分析,如表2所示:光線穩(wěn)定且光照適中的環(huán)境記為E1,光環(huán)境進(jìn)行動(dòng)態(tài)變換記為E2,攝影機(jī)前景不斷產(chǎn)生動(dòng)態(tài)遮擋記為E3。

表2 不同實(shí)驗(yàn)環(huán)境下跟蹤系統(tǒng)標(biāo)準(zhǔn)差分析

在現(xiàn)場(chǎng)光照環(huán)境不斷產(chǎn)生動(dòng)態(tài)變換的情況下,Ncam 受到了較大的影響,跟蹤數(shù)據(jù)在Z軸上分布廣泛,最大值和最小值相差0.3cm;OptiTrack受到的干擾十分明顯,跟蹤數(shù)據(jù)出現(xiàn)了兩部分分化,在水平與豎直面上均有分布,可能會(huì)對(duì)實(shí)時(shí)渲染效果產(chǎn)生影響;RedSpy影響較小,跟蹤點(diǎn)仍舊較為集中;HTC Vive跟蹤受到影響較少,波動(dòng)不明顯。穩(wěn)定性排序?yàn)镠TC Vive＞Red-Spy＞OptiTrack＞Ncam。

在現(xiàn)場(chǎng)攝影機(jī)前景不斷產(chǎn)生動(dòng)態(tài)遮擋的情況下。運(yùn)動(dòng)過程中,Opti Track 的運(yùn)動(dòng)軌跡在小幅度內(nèi)高頻波動(dòng);Ncam 軌跡中間出現(xiàn)了明顯波動(dòng);其余的設(shè)備受到的干擾較小。穩(wěn)定性排序?yàn)镽edSpy＞HTC Vive＞Ncam＞Opti Track。

4.3 跟蹤魯棒性實(shí)驗(yàn)

將遮擋程度設(shè)置為0%、25%、50%、75%、100%,分別對(duì)運(yùn)動(dòng)軌跡進(jìn)行記錄,如圖13所示。

在遮擋程度達(dá)到25%時(shí),Ncam 運(yùn)動(dòng)軌跡出現(xiàn)輕微偏移,RedSpy產(chǎn)生嚴(yán)重失真導(dǎo)致軌跡還原錯(cuò)誤,在Z軸上的坐標(biāo)差距達(dá)2cm;HTC Vive、OptiTrack產(chǎn)生輕微波動(dòng)但總體軌跡還原正確。

在遮擋程度達(dá)到50%時(shí),Ncam 運(yùn)動(dòng)數(shù)據(jù)產(chǎn)生明顯偏移,只有慣性傳感器在工作,視覺矯正逐漸減少;RedSpy丟失視覺圖像矯正內(nèi)容,只剩慣性傳感器在工作并且運(yùn)動(dòng)軌跡軸向嚴(yán)重錯(cuò)誤;OptiTrack波動(dòng)幅度加劇,但整體運(yùn)動(dòng)軌跡符合運(yùn)動(dòng)規(guī)律;HTC Vive受到的影響較小,整體能夠維持運(yùn)動(dòng)軌跡,仍產(chǎn)生了輕微的波動(dòng)。

在遮擋程度達(dá)到75%時(shí),Ncam、RedSpy均基本上丟失畫面內(nèi)容信息,只剩慣性傳感器在工作,運(yùn)動(dòng)趨勢(shì)正確但軌跡產(chǎn)生了嚴(yán)重失真;HTC Vive出現(xiàn)明顯波動(dòng)并且產(chǎn)生運(yùn)動(dòng)方向上的錯(cuò)誤;Opti-Track的運(yùn)動(dòng)數(shù)據(jù)直接丟失。

圖13 魯棒性分析——不同遮擋程度運(yùn)動(dòng)軌跡

在遮擋程度達(dá)到100%時(shí),Ncam、RedSpy 依靠慣性傳感器仍然能對(duì)運(yùn)動(dòng)進(jìn)行部分還原但軌跡嚴(yán)重失真;OptiTrack 與HTC Vive的運(yùn)動(dòng)數(shù)據(jù)直接丟失。

綜上所述,在魯棒性實(shí)驗(yàn)期間,對(duì)于產(chǎn)生遮擋這一行為最先產(chǎn)生反應(yīng)的是RedSpy跟蹤系統(tǒng),當(dāng)遮擋達(dá)到25%時(shí)便已經(jīng)無法正常工作;在遮擋50%左右的范圍表現(xiàn)最好的跟蹤系統(tǒng)是Vive與Opti-Track,沒有產(chǎn)生嚴(yán)重錯(cuò)誤;75%遮擋程度下幾乎使所有的跟蹤設(shè)備都無法正常工作;直到100%遮擋,雖然RedSpy與Ncam 內(nèi)部的慣性傳感器仍在作用,由于沒有視覺矯正得出的錯(cuò)誤結(jié)論,也會(huì)對(duì)攝影機(jī)內(nèi)失效造成嚴(yán)重影響。

5 分析與討論

在電影虛擬化制作發(fā)展的歷史中,攝影機(jī)跟蹤方式伴隨著科技的發(fā)展、日漸更新的創(chuàng)作需求也在一步步發(fā)生變換,從最原始的機(jī)械跟蹤,到體系龐大場(chǎng)地限制的由外向內(nèi)跟蹤,再到目前應(yīng)用廣泛的由內(nèi)向外跟蹤,這些技術(shù)的發(fā)展無一不是為影視創(chuàng)作提供更大的自由。但目前最廣為人知的劇集《曼達(dá)洛人》等影片則回溯了技術(shù)發(fā)展歷程,選擇了曾經(jīng)被虛擬化制作“淘汰”的由外向內(nèi)跟蹤技術(shù)OptiTrack動(dòng)作捕捉系統(tǒng)。針對(duì)此現(xiàn)象,當(dāng)前LED 虛擬化制作技術(shù)對(duì)跟蹤系統(tǒng)的需求,只有由外向內(nèi)跟蹤的設(shè)備更能滿足。因此本文基于跟蹤系統(tǒng)在LED環(huán)境下運(yùn)作的精確度、穩(wěn)定性、魯棒性等因素進(jìn)行設(shè)計(jì)實(shí)驗(yàn)并展開分析。通過上述所有實(shí)驗(yàn),不同跟蹤設(shè)備在LED 顯示環(huán)境下的跟蹤精確度、穩(wěn)定性、魯棒性,經(jīng)過運(yùn)動(dòng)軌跡分析對(duì)比得出如下結(jié)果:

在跟蹤精確度方面,穩(wěn)定狀態(tài)下RedSpy＞Opti Track＞Ncam＞HTC Vive。又因?yàn)槊總€(gè)跟蹤系統(tǒng)的原理不同,對(duì)于不同運(yùn)動(dòng)行為的跟蹤結(jié)果表現(xiàn)略有不同,進(jìn)行橫搖及橫向運(yùn)動(dòng)時(shí)Ncam、Opti Track設(shè)備表現(xiàn)較好;在俯仰及縱向運(yùn)動(dòng)時(shí)RedSpy、HTC Vive表現(xiàn)較好。對(duì)于該實(shí)驗(yàn)結(jié)果,Ncam 是橫向雙目鏡頭識(shí)別場(chǎng)景中的特征點(diǎn);而RedSpy是縱向識(shí)別跟蹤點(diǎn)反算自己的位置;OptiTrack在實(shí)驗(yàn)環(huán)境安裝時(shí)紅外攝像頭都在LED 屏幕上方,距離運(yùn)動(dòng)范圍約3～4m,故對(duì)于縱向上的運(yùn)動(dòng)分辨程度不及橫向運(yùn)動(dòng)。

在跟蹤穩(wěn)定性方面,RedSpy及HTC Vive設(shè)備表現(xiàn)較為優(yōu)異。因?yàn)镹cam 實(shí)現(xiàn)原理是雙目視覺,并且跟蹤設(shè)備與攝影機(jī)方向一致,即架設(shè)在攝影機(jī)下方,所以動(dòng)態(tài)光照和前景遮蔽對(duì)于Ncam 產(chǎn)生了較大的影響。Opti Track跟蹤剛體時(shí)需要對(duì)每個(gè)紅外發(fā)光點(diǎn)進(jìn)行識(shí)別并且計(jì)算出剛體的形狀與中心點(diǎn),從而得出運(yùn)動(dòng)軌跡,因此動(dòng)態(tài)光照的變化對(duì)于紅外沒有影響,但遮擋對(duì)于剛體的識(shí)別會(huì)產(chǎn)生較大的干擾。動(dòng)態(tài)光線與前向遮擋對(duì)于RedSpy的向上影響較小、HTC Vive的基站在攝影機(jī)遮擋的反向,不存在干擾。由此可見,跟蹤設(shè)備的安裝方式、方向及運(yùn)動(dòng)習(xí)慣需要進(jìn)行提前設(shè)計(jì)規(guī)劃,避免攝制現(xiàn)場(chǎng)帶來的穩(wěn)定性干擾。

在跟蹤魯棒性方面,由于攝影師操作及工作習(xí)慣、攝影機(jī)裝配零件、現(xiàn)場(chǎng)置景環(huán)境、燈光柔光布等一系列因素的區(qū)別,會(huì)對(duì)攝影機(jī)跟蹤系統(tǒng)的四周及上方產(chǎn)生一定程度上的持續(xù)遮擋?；诩t外視覺原理與激光的跟蹤設(shè)備OptiTrack、Ncam、HTC Vive對(duì)于跟蹤設(shè)備跟蹤點(diǎn)遮擋情況下的魯棒性較強(qiáng),在遮擋程度達(dá)到50%后還能較為正確還原;但同樣作為融合了慣性傳感元件的RedSpy,其魯棒性表現(xiàn)最差,在進(jìn)行攝影機(jī)運(yùn)動(dòng)行為跟蹤時(shí)產(chǎn)生了較大的誤差。在RedSpy與Ncam 這兩個(gè)視覺與慣性共同作用的攝影機(jī)跟蹤系統(tǒng)中,Ncam 的傳感器融合算法表現(xiàn)更為優(yōu)秀,RedSpy在跟蹤區(qū)域遮擋程度為25%丟失后,就會(huì)產(chǎn)生跟蹤軌跡嚴(yán)重失真的情況,在視覺跟蹤信息與慣性跟蹤數(shù)據(jù)融合技術(shù)方面還有待提升。

除了精確度、穩(wěn)定性與魯棒性,實(shí)時(shí)性作為跟蹤系統(tǒng)的另一重要性能也需要考慮,但在本實(shí)驗(yàn)中不具備對(duì)傳輸速度進(jìn)行測(cè)試的條件,在后續(xù)的研究中亟待進(jìn)一步分析。跟蹤系統(tǒng)數(shù)據(jù)實(shí)時(shí)處理及傳輸速度在此處是指從攝影機(jī)產(chǎn)生運(yùn)動(dòng)到運(yùn)動(dòng)捕捉軟件得到剛體的運(yùn)動(dòng)數(shù)據(jù),再經(jīng)過算法處理優(yōu)化,傳遞到第三方DCC 或?qū)崟r(shí)渲染引擎的時(shí)間。LED 虛擬化制作技術(shù)的核心概念是攝影機(jī)內(nèi)視效拍攝,即攝影機(jī)直接拍攝得到真實(shí)畫面與虛擬背景的合成結(jié)果。在LED 屏上,我們使用相對(duì)固定的外視錐形成的光照環(huán)境,來模擬真實(shí)的光照與色彩匹配,使用內(nèi)視錐作為攝影機(jī)直接拍攝的背景,內(nèi)外視錐的渲染要分別單獨(dú)進(jìn)行。由于硬件計(jì)算能力的限制,從攝影機(jī)產(chǎn)生運(yùn)動(dòng)到對(duì)跟蹤數(shù)據(jù)進(jìn)行捕捉、解算、傳輸,再到引擎渲染生成畫面,該過程還無法完全實(shí)時(shí)完成。運(yùn)動(dòng)速度較大時(shí),前景內(nèi)容與LED 屏幕顯示的畫面內(nèi)容將會(huì)產(chǎn)生漂移,人對(duì)前后景撕裂的變化非常敏感,因此在渲染端及信號(hào)傳輸端硬件限制的前提下,建議盡可能選擇處理算法數(shù)據(jù)傳輸高效的攝影機(jī)跟蹤系統(tǒng)。

基于該實(shí)驗(yàn)環(huán)境、實(shí)驗(yàn)設(shè)計(jì)與數(shù)據(jù)處理方式,綜合所有屬性及使用方便性、對(duì)于拍攝場(chǎng)地需求、價(jià)格等進(jìn)行分析總結(jié)如表3所示(不同跟蹤系統(tǒng)在不同實(shí)驗(yàn)環(huán)境下表現(xiàn)效果不同,本表格內(nèi)容僅是在特定實(shí)驗(yàn)條件下的結(jié)論,數(shù)據(jù)僅供參考)。

攝影機(jī)的跟蹤系統(tǒng)在實(shí)際應(yīng)用中,除了其本身能力之外,對(duì)虛擬空間的定義、跟蹤設(shè)備原點(diǎn)與虛擬空間中跟蹤原點(diǎn)定義也需要特別注意。跟蹤設(shè)備中心與攝影機(jī)的光心同樣需要進(jìn)行匹配:根據(jù)攝影機(jī)成像原理與虛擬攝影機(jī)成像原理,攝影機(jī)光心是凸透鏡的光學(xué)中心,一般位于透鏡的中央點(diǎn),攝影機(jī)在進(jìn)行理想中的繞Yaw 軸橫搖運(yùn)動(dòng)時(shí),其旋轉(zhuǎn)中心應(yīng)該是鏡頭的光心,而非攝影機(jī)云臺(tái)的旋轉(zhuǎn)軸。所以在控制虛擬攝影機(jī)旋轉(zhuǎn)時(shí),需要將剛體進(jìn)行旋轉(zhuǎn)運(yùn)動(dòng)的軸心與真實(shí)攝影機(jī)的光心重合,由此虛擬攝影機(jī)才能進(jìn)行正確地位移旋轉(zhuǎn)等操作,渲染出正確的畫面。綜上所述,攝影機(jī)跟蹤技術(shù)在基于LED背景墻的虛擬化制作環(huán)境中還有許多需要進(jìn)行深入研究與優(yōu)化的內(nèi)容,本文受客觀條件所限,只做了一些基礎(chǔ)性的測(cè)試,希望能起到拋磚引玉的作用,對(duì)其他研究人員有所啟發(fā)。

表3 跟蹤系統(tǒng)綜合比較表

6 總結(jié)

攝影機(jī)跟蹤技術(shù)從誕生開始就不斷地迭代更新,呈現(xiàn)螺旋式上升發(fā)展趨勢(shì)。本文在典型攝影棚環(huán)境中進(jìn)行了實(shí)驗(yàn)設(shè)計(jì)與論證,測(cè)試了多種攝影機(jī)跟蹤系統(tǒng)在LED 虛擬化制作中的應(yīng)用,研究了多種方法的相關(guān)特性。實(shí)際拍攝生產(chǎn)中,面臨不同的創(chuàng)作需求與現(xiàn)場(chǎng)條件,創(chuàng)作者需要根據(jù)實(shí)際應(yīng)用場(chǎng)景,了解每個(gè)跟蹤設(shè)備的原理及特點(diǎn),分析其對(duì)跟蹤系統(tǒng)的性能需求,從而選擇合適的攝影機(jī)跟蹤系統(tǒng),才能更有效率地進(jìn)行影視生產(chǎn)與制作。

攝影機(jī)運(yùn)動(dòng)是攝影語(yǔ)言表達(dá)的基礎(chǔ),是貫穿影視制作前、中、后期的關(guān)鍵環(huán)節(jié),而攝影機(jī)跟蹤的技術(shù)又是電影虛擬化制作的最關(guān)鍵技術(shù)之一。希望本文的研究能夠?yàn)榇罱ā?yōu)化虛擬化制作系統(tǒng)提供參考,為科學(xué)選擇攝影機(jī)跟蹤系統(tǒng)、優(yōu)化拍攝體驗(yàn)提供借鑒,為電影虛擬化制作的應(yīng)用推廣提供幫助。

①圖2 來源于https://www.reddit.com/r/coolguides/comments/conjff/camera_movement_guide/。