基于LED背景墻的電影虛擬化制作關(guān)鍵技術(shù)研究

陳 軍 趙建軍 盧柏宏

(北京電影學(xué)院影視技術(shù)系,北京 100088)

1 前言

近年來,隨著科學(xué)技術(shù)的發(fā)展,影視行業(yè)產(chǎn)生了巨大的變革。目前,影視制作的熱點之一就是基于LED 背景墻的電影虛擬化制作技術(shù)。這種新型的制作技術(shù)能夠給現(xiàn)場拍攝帶來“所見即所得”的自由創(chuàng)作環(huán)境、真實的環(huán)境光照以及更大程度上的“后期前置”,在解決了傳統(tǒng)虛擬化制作中的藍(lán)綠幕溢色等問題的同時,減少外出取景拍攝的風(fēng)險,受到電影制作研究領(lǐng)域和應(yīng)用領(lǐng)域工作者的關(guān)注。特別地,在疫情期間及后疫情時代全世界多地開始進(jìn)行基于LED 背景墻虛擬化制作攝影棚的搭建,這在方便影視制作創(chuàng)作的同時,進(jìn)一步推動了影視工業(yè)化的進(jìn)展。本文在大量實測基礎(chǔ)上對基于LED 背景墻虛擬化制作系統(tǒng)背后的關(guān)鍵技術(shù)進(jìn)行了總結(jié),在LED 顯示、實時渲染、攝影機(jī)跟蹤、燈光匹配及人機(jī)交互方面,針對發(fā)展路線、技術(shù)原理、目前存在的局限性作了深入分析與探討。

基于LED 背景墻的電影虛擬化制作系統(tǒng),整體制作框架如圖1 所示,其關(guān)鍵技術(shù)可以大致分為LED 背景墻的顯示技術(shù)、虛擬場景的渲染技術(shù)、攝影機(jī)內(nèi)外參跟蹤技術(shù)、燈光照明、人機(jī)交互技術(shù)等,本文分別就上述關(guān)鍵技術(shù)進(jìn)行闡述介紹。

圖1 基于LED背景墻的電影虛擬化制作系統(tǒng)框架

2 LED顯示技術(shù)

隨著制造和封裝技術(shù)的發(fā)展,小間距LED 顯示屏產(chǎn)品逐漸開始應(yīng)用于影視行業(yè)前、中、后期的各個環(huán)節(jié)。其高亮度、高動態(tài)范圍、壽命長、功耗低、工作穩(wěn)定可靠等特點,使得其能夠滿足高質(zhì)量影像顯示的需求。隨著LED 顯示技術(shù)的發(fā)展,像素間距越來越小、像素排列愈加緊密、燈珠各項參數(shù)不斷提高,能夠在大屏上顯示高分辨率、高動態(tài)范圍、廣色域的畫面,一定程度上可與真實世界的光環(huán)境進(jìn)行匹配。因此,基于LED 背景墻的顯示技術(shù)成為電影虛擬化制作得以快速發(fā)展的硬件基礎(chǔ)。

2.1 LED顯示原理及優(yōu)勢

相較于傳統(tǒng)的投影等大屏顯示方式,LED 顯示原理的核心區(qū)別在于面板上的每顆燈珠主動獨立發(fā)光,基于空間混色效應(yīng)實現(xiàn)顏色顯示。

在亮度、對比度、黑位水平方面,LED 屏幕有明顯優(yōu)勢。投影式放映機(jī)采用氙燈、激光光源或LED,將影像放大投射至幕布上,經(jīng)過漫反射進(jìn)入觀眾眼中。由于放映機(jī)工作溫度限制、光源壽命下降導(dǎo)致衰減、透鏡易落灰、銀幕反射率有限等因素的影響,光路在多個環(huán)節(jié)易出現(xiàn)衰減,使得放映畫面難以達(dá)到較高的銀幕亮度;在顯示純黑信號時光源依然開啟,黑位水平難以降低,因此幀內(nèi)、幀間對比度有限。相比之下,LED 屏幕的每個像素點均可通過驅(qū)動達(dá)到較高亮度,其自發(fā)光特性消除了光路衰減的干擾,最終呈現(xiàn)的亮度可達(dá)投影式放映機(jī)的10倍以上。同時,在顯示純黑信號時,像素點可完全關(guān)閉,將黑位水平降至最低。因此,LED 屏幕的幀內(nèi)、幀間對比度均有大幅提升,可服務(wù)于高動態(tài)范圍影像的呈現(xiàn)。

均勻度指影像在屏幕上亮度和顏色的一致性,LED 顯示屏在該方面優(yōu)勢更為明顯。投影式放映機(jī)以銀幕中心為基準(zhǔn)校正顏色和亮度,校準(zhǔn)空間有限,從中心到角落可能出現(xiàn)25%以上的亮度衰減,同時顏色也容易出現(xiàn)偏移。此外,由于放映機(jī)光源從球面鏡頭發(fā)射,經(jīng)一定距離投射至銀幕平面,光路上經(jīng)過的光學(xué)表面較多,這些表面的光學(xué)特性導(dǎo)致畫面容易出現(xiàn)畸變。LED 屏幕在投入使用前,會針對全部模組進(jìn)行校正,最大程度地保證屏幕各個區(qū)域亮度和顏色的均勻度。同時,因LED 為點對點映射驅(qū)動,像素點位置排布均勻且固定,像素直接發(fā)光,不存在光路上的干擾,因此解決了畫面畸變的問題。

2.2 大型LED背景墻顯示及其控制方式

像素(Pixel)是LED 顯示屏上的最小可控成像單位,LED 顯示屏上的每個像素由封裝在燈座上的RGB三色發(fā)光二極管燈珠構(gòu)成。通過樹脂或者塑料面板將LED 像素封裝為像素陣列,若干像素陣列與驅(qū)動芯片、PCB 電路板構(gòu)成一個顯示模塊 (display module),若干個顯示模塊連同控制電路及相應(yīng)結(jié)構(gòu)件構(gòu)成一個顯示模組 (display panel)。LED背景墻由多個顯示模組拼接而成,可按需求組合為不同規(guī)格和分辨率,形成CAVE式四面環(huán)繞或180°以上環(huán)形排列的大型背景墻結(jié)構(gòu),服務(wù)于電影虛擬化制作。

由多塊顯示模組構(gòu)成的LED 背景墻,需采用配套LED 控制器和拼接器實現(xiàn)同步顯示。LED 控制器可將HDMI、SDI等不同格式的輸入視頻信號,通過網(wǎng)線或光纖輸出給LED 屏幕模組序列,模組間以網(wǎng)線連接傳遞信號,從而實現(xiàn)驅(qū)動上屏。同時,控制器具備本地及遠(yuǎn)程控制接口,可通過軟件對屏幕顯示特性進(jìn)行控制和校正。此外,控制器還提供Gen-Lock接口,以滿足信號同步需求。LED 拼接器可將完整的圖像輸入信號劃分為多塊后分配給多個視頻顯示單元,常與控制器配合使用,其功能也可集成在控制器內(nèi)。

在LED 背景墻虛擬化制作中,多臺計算機(jī)實時渲染輸出的虛擬場景視頻信號,通過視頻接口輸入給對應(yīng)LED 控制器,控制器驅(qū)動信號實現(xiàn)上屏。根據(jù)控制器帶載限制,可按需求分配計算機(jī)與對應(yīng)LED 屏幕區(qū)域的映射關(guān)系。

在能耗方面,大面積自發(fā)光LED 顯示屏每平米峰值功耗可達(dá)700～800W,以一個25米長、4米高的LED 顯示屏為例,峰值功耗可達(dá)70～80k W。接線時,需要對電源線進(jìn)行分組,以免輸出過載。高功耗也伴隨著較高的發(fā)熱量,對現(xiàn)場的通風(fēng)散熱也有一定的要求。

2.3 LED屏應(yīng)用中存在的問題與解決思路

在基于LED 背景墻的電影虛擬化制作中,像素間距 (Pixel Pitch)是影響成像質(zhì)量的核心因素。像素間距指LED 顯示屏相鄰兩個像素點中心的距離,記作P,單位為毫米。像素間距決定了LED 顯示屏的像素密度,直接影響人眼觀看距離及攝影機(jī)內(nèi)拍攝畫面摩爾紋等屬性。在其他拍攝條件相似的情況下,應(yīng)盡量選取像素間距較小的LED 屏產(chǎn)品,實現(xiàn)高質(zhì)量的畫面拍攝。

白場峰值亮度、色域范圍、色彩準(zhǔn)確性、亮度和色度均勻性,是評價LED 屏幕性能的主要指標(biāo)。在實際使用中發(fā)現(xiàn),隨著點亮?xí)r間和溫度增加,LED 模塊存在白場亮度衰減、色度坐標(biāo)偏移的現(xiàn)象。解決該問題需要確保LED 在拍攝前預(yù)熱至穩(wěn)定狀態(tài),并在控制器內(nèi)開啟白點色溫動態(tài)校正功能。此外,在考察LED 亮度和色度均勻性時,由于RGB燈珠排列和封裝方式影響,相對于屏幕法線方向而言,在水平和垂直離軸方向常出現(xiàn)亮度衰減及色度坐標(biāo)偏移問題,這使得傾斜拍攝屏幕時會發(fā)生一定程度的偏色現(xiàn)象。解決該問題首先需要盡量避免極端的拍攝角度,其次是更多地采用弧形背景墻結(jié)構(gòu),增加可用的拍攝角度。

LED 屏幕及控制器支持的電光轉(zhuǎn)換函數(shù)(EOTF)、位深、最小有效黑電平等指標(biāo),決定了屏幕成像的層次細(xì)膩度和非線性特征。當(dāng)前LED 模塊及控制器的處理位深通?？蛇_(dá)16bit,也能支持10bit、12bit輸入視頻信號顯示及不同的SDR/HDR EOTF標(biāo)準(zhǔn),但在暗部常因位深不足而出現(xiàn)斷層(Banding)現(xiàn)象。對控制器而言,可采取時間抖動(Temporal Dithering)和空間抖動 (Spatial Dithering)方式,間接提升低灰部分的顯示位深,以實現(xiàn)暗部平滑顯示。

摩爾紋 (MoiréPattern)是攝影機(jī)直接拍攝LED 背景墻面臨的最大干擾,其成因是屏幕像素密度與攝影機(jī)CMOS像素點采樣密度不匹配。在實際測試中,鏡頭光心到屏幕距離、鏡頭焦段、光圈大小、對焦距離、拍攝方向與法線的垂直和水平夾角等因素,都會對摩爾紋的多少產(chǎn)生影響。此外,LED 背景墻虛擬化制作還面臨LED 面板的反光問題、使用LED 屏構(gòu)建的環(huán)境光照因為燈珠光譜窄而導(dǎo)致的顯色性差等問題。在基于LED 屏的虛擬化制作中,我們通過將LED 屏顯示的背景置于焦外、補充數(shù)字燈光矩陣照明等方式來一定程度地規(guī)避這些問題。

3 渲染技術(shù)

3.1 實時渲染技術(shù)

實時渲染較離線渲染速度要求高、質(zhì)量要求低,較多應(yīng)用于游戲等對畫面要求相對低的領(lǐng)域,而動畫與影視特效則往往使用渲染速度慢、質(zhì)量高的離線渲染方式。隨著計算機(jī)硬件與渲染技術(shù)的發(fā)展,實時渲染的質(zhì)量不斷提升,尤其是基于物理的渲染(PBR,Physical Based Rendering)與實時光線追蹤技術(shù)(Real-Time Ray Tracing)的引入,為實時渲染在影視制作中的應(yīng)用帶來了可能性。

基于LED 背景墻的電影虛擬化制作技術(shù)建立在實時渲染的基礎(chǔ)上,它要求虛擬場景隨著真實攝影機(jī)的運動、用戶的交互控制實時地渲染畫面。多年前,基于綠幕的電影虛擬化制作已經(jīng)將實時渲染畫面用于現(xiàn)場預(yù)演,隨著渲染技術(shù)的進(jìn)步和渲染效果的提升,實時渲染技術(shù)能夠保證電影虛擬化制作現(xiàn)場LED 背景墻畫面和光照效果更加真實。

實時渲染技術(shù)在傳統(tǒng)離線渲染技術(shù)的基礎(chǔ)上,使用了降低精度、提高計算速度的加速算法與數(shù)學(xué)近似技巧、大量離線計算的預(yù)計算數(shù)據(jù)。例如基于LED 背景墻的電影虛擬化制作中使用的實時渲染引擎,采用了光線追蹤與光柵化混合的渲染管線,結(jié)合預(yù)計算處理和針對采樣的多種后處理技巧,如屏幕空間采樣、深度學(xué)習(xí)超采樣 (DLSS)、低采樣次數(shù)光追渲染的降噪技術(shù)等,帶來了更加精細(xì)的實時渲染畫面與更加真實的光照。

3.2 多機(jī)同步渲染

基于LED 背景墻的電影虛擬化制作使用小間距LED 屏組成的高分辨率屏幕作為背景進(jìn)行拍攝制作,如果采用單臺計算機(jī)進(jìn)行渲染,當(dāng)前的計算機(jī)渲染能力有限,無法滿足需求。故須引入多機(jī)同步渲染技術(shù),即利用多臺計算機(jī)同時進(jìn)行渲染,每臺計算機(jī)配備較強的計算硬件,配置完全一樣的渲染引擎與資產(chǎn),連接在同一局域網(wǎng)下,基于網(wǎng)絡(luò)協(xié)議發(fā)送啟用同步渲染指令,實時傳遞外部輸入數(shù)據(jù)如攝影機(jī)位姿、交互控制數(shù)據(jù)、同步信號等信息,來執(zhí)行對應(yīng)的渲染任務(wù)。多臺計算機(jī)間的渲染畫面的同步控制則由基于網(wǎng)絡(luò)的軟同步或者基于支持Gen-Lock信號的顯卡硬件同步,使用同步卡輸出脈沖信號給GPU 來實現(xiàn),以解決多機(jī)不同渲染區(qū)域有快速變化的內(nèi)容時可能產(chǎn)生的畫面撕裂問題。

圖2 渲染節(jié)點結(jié)構(gòu)

與傳統(tǒng)的實時渲染不同,渲染畫面的顯示介質(zhì)LED 屏很多時候并不是一個矩形、平直的屏幕,而是環(huán)繞拍攝現(xiàn)場的多塊屏幕或者曲面屏。這是因為影視拍攝中,LED 屏幕的可視角度大約在140度左右,攝影機(jī)垂直拍攝屏幕效果最佳,從斜側(cè)方拍攝LED 屏幕會產(chǎn)生偏色和摩爾紋現(xiàn)象。使用弧形屏可以使攝影機(jī)的拍攝角度盡可能接近垂直屏幕。

渲染的觀察視點也并不在屏幕的中心垂線上,根據(jù)內(nèi)外視錐的不同,外視錐的視點相對LED 屏不會移動,因此觀察視點大約在攝影機(jī)、演員活動的中心位置,內(nèi)視錐的觀察視點則是攝影機(jī)鏡頭的主節(jié)點位置。因此需要將攝影機(jī)拍攝到的虛擬場景投影到LED 背景墻上,再根據(jù)投影關(guān)系進(jìn)行逐像素的渲染。

由于上述特點,基于LED 背景墻電影虛擬化制作中,實時渲染必須根據(jù)渲染任務(wù)情況,將任務(wù)盡量平均地分配到多臺渲染主機(jī)進(jìn)行渲染。

3.3 內(nèi)外視錐渲染技術(shù)

基于LED 背景墻的電影虛擬化制作技術(shù)的核心概念是攝影機(jī)內(nèi)視效,即攝影機(jī)直接拍攝得到真實畫面與虛擬背景的合成結(jié)果。在LED 屏上,我們使用相對固定的外視錐形成的光照環(huán)境來模擬真實的光照與色彩匹配,使用內(nèi)視錐作為攝影機(jī)直接拍攝的背景,內(nèi)外視錐的渲染要分別單獨進(jìn)行。

外視錐是各屏幕上渲染的主要視口,主要起到照明作用。對每一塊獨立渲染的屏幕,都有一個外視錐視口;但所有外視錐僅有一個視點,該視點一般為固定視點,在整個場景中很少移動,或是在交通工具內(nèi)的視角等特殊鏡頭中相對穩(wěn)定地移動。外視錐會渲染在環(huán)繞拍攝環(huán)境的所有LED 屏上甚至應(yīng)用于燈光矩陣,從而再現(xiàn)視點處“真實”的照明效果,以模擬角色、道具身處環(huán)境之中的觀看效果和光照效果。這也避免了傳統(tǒng)制作流程中綠幕拍攝時“泛綠”難以處理、燈光匹配需要大量重復(fù)機(jī)械式調(diào)參、高反射材質(zhì)的不易進(jìn)行光照匹配等問題。

圖3 內(nèi)外視錐

內(nèi)視錐是疊加在外視錐上層的獨立視口,與攝影機(jī)內(nèi)外參數(shù)強關(guān)聯(lián),主要覆蓋攝影機(jī)取景范圍,作為拍攝畫面的合成背景使用。內(nèi)視錐主要用來做攝影機(jī)直接拍攝的背景畫面,這種攝影機(jī)內(nèi)拍攝合成的方式替代了后期摳像合成,簡化了制作流程的同時減少了摳像、擦除等人力勞動。內(nèi)視錐的渲染畫面,由于攝影機(jī)位置更新、渲染帶來的延遲,以及LED 屏像素密度帶來的摩爾紋等干擾,所以往往采取提高計算設(shè)備性能、減緩攝影機(jī)移動速度、將LED 屏上背景內(nèi)容進(jìn)行小景深虛化處理等方法來規(guī)避。

圖4 內(nèi)視錐顯示為綠幕時的拍攝畫面

此外,內(nèi)視錐還可以根據(jù)需要設(shè)定為綠幕,來進(jìn)行傳統(tǒng)摳綠合成。由于此時外視錐仍渲染虛擬場景內(nèi)容,拍攝主體的光照情況仍然是與虛擬場景匹配的,不需要在合成時再次進(jìn)行復(fù)雜的溢綠、重打光等匹配工作。內(nèi)視錐設(shè)定為綠幕的原理是將一塊材質(zhì)為自發(fā)光綠色的平面置于內(nèi)視錐虛擬攝影機(jī)前,并與虛擬攝影機(jī)位置關(guān)系綁定。綠色平面的形狀、大小均可自由地自定義。同時,可以添加基于LED屏形狀與位置的跟蹤點在內(nèi)視錐中,跟蹤點位置與大小相對于LED 背景墻靜止,內(nèi)視錐在LED 背景墻上運動時將會顯示這些跟蹤點,這對后期獲取攝影機(jī)軌跡提供了便捷的備用方案。

4 跟蹤技術(shù)

攝影機(jī)跟蹤技術(shù)被大家廣泛關(guān)注與研究已久,其通常通過計算機(jī)視覺、光學(xué)等方法進(jìn)行攝影機(jī)跟蹤,然而以LED 屏為背景顯示設(shè)備時,場景光線復(fù)雜多變,給攝影機(jī)跟蹤與注冊環(huán)節(jié)帶來了極大影響。新型應(yīng)用場景對跟蹤設(shè)備在跟蹤范圍、系統(tǒng)靈活性、魯棒性及延時性方面提出了更高的要求。

4.1 標(biāo)定與匹配

在基于LED 背景墻電影虛擬化制作的過程中,我們通過攝影機(jī)跟蹤設(shè)備得到真實世界中攝影機(jī)的運動,通過各種空間轉(zhuǎn)換,得到變換矩陣,計算得到位置與姿態(tài),最終驅(qū)動三維場景中虛擬攝影機(jī)運動。引擎根據(jù)攝影機(jī)靶面、焦距、焦點等內(nèi)參計算攝影機(jī)取景范圍,將虛擬攝影機(jī)渲染的畫面映射到LED 背景墻上。為避免穿幫,真實攝影機(jī)的視野在LED 墻的投影范圍要被LED 背景墻上渲染出的內(nèi)視錐完全覆蓋。

攝影機(jī)跟蹤的前提是攝影機(jī)的標(biāo)定,通過計算機(jī)視覺技術(shù)計算得出變焦鏡頭不同焦段下的內(nèi)參,這些光學(xué)特性由矩陣形式表示,該數(shù)值信息可由引擎實時讀取,使虛擬攝影機(jī)與真實攝影機(jī)畫面更加匹配。由于LED 背景墻是對“真實”環(huán)境與光照的還原,攝影機(jī)位置和LED 背景墻的距離與虛擬攝影機(jī)位置和虛擬場景中LED 背景墻的距離需要完全相等,因此跟蹤系統(tǒng)的坐標(biāo)系需要與虛擬場景中的坐標(biāo)系完全一致。攝影機(jī)跟蹤系統(tǒng)工作時,首先在引擎中需要對LED 屏幕按照真實尺寸進(jìn)行建模,在使用不同的跟蹤系統(tǒng)時,需將跟蹤系統(tǒng)世界坐標(biāo)系原點定位至屏幕區(qū)域中間位置,利用全站儀等設(shè)備測量該坐標(biāo)原點到屏幕的距離,在引擎中將LED 背景墻模型的原點位置與跟蹤原點重合。這樣,攝影機(jī)在真實空間中相對于LED 背景墻的距離將與虛擬攝影機(jī)相對于虛擬LED 背景墻的距離完全相同,能夠得到一致的對應(yīng)效果。

圖5 跟蹤設(shè)備在LED背景墻中

4.2 攝影機(jī)跟蹤技術(shù)

攝像機(jī)追蹤的本質(zhì)是估計每一幀的攝像機(jī)位姿矩陣,目前現(xiàn)有的對攝影機(jī)進(jìn)行姿態(tài)估計的方法側(cè)重于提升觀測設(shè)備的刷新率以捕捉物體更加快速的變化;提升觀測設(shè)備的分辨率,以捕捉更加細(xì)節(jié)的變化和更加精準(zhǔn)的3D 特征點。

攝影機(jī)跟蹤技術(shù)從實現(xiàn)原理上可分為由內(nèi)向外跟蹤和由外向內(nèi)跟蹤。由外向內(nèi)的跟蹤通過分析外部設(shè)備所接收到的機(jī)械或光學(xué)系統(tǒng)在空間中的變化信息,計算出物體在空間中的運動。由外向內(nèi)跟蹤廣泛應(yīng)用于基于LED 背景墻的電影虛擬化制作,其方式有基于多個紅外攝像頭環(huán)繞捕捉的Optitrack、基于紅外Lighthouse基站的小成本定位方式HTC VIVE等。

由內(nèi)向外的跟蹤技術(shù),其跟蹤設(shè)備通常固定于被跟蹤物體上,方便攜帶安裝,空間限制較小,更符合技術(shù)現(xiàn)代化發(fā)展的需求。該技術(shù)主要通過視覺、慣性或視覺與慣性混合的SLAM 技術(shù)進(jìn)行自身的位置檢測和姿態(tài)估計。目前大部分的由內(nèi)向外跟蹤設(shè)備都基于混合傳感器技術(shù),尤其是以視覺為主,慣性進(jìn)行輔助。這種利用協(xié)作傳感器融合進(jìn)行攝影機(jī)姿態(tài)估計的方法,往往受場地限制較小,為創(chuàng)作帶來了更大的自由,但對于環(huán)境要求較高,要求視場內(nèi)光線適中,場景中有足夠的明顯特征可供識別等。這類設(shè)備包括NCAM、RedSpy、MoSys Star Track等。

4.3 實時跟蹤與數(shù)據(jù)后處理

實際的拍攝制作流程中,我們往往對攝影機(jī)軌跡進(jìn)行兩部分操作:

(1)對攝影機(jī)的位置及姿態(tài)進(jìn)行實時的估計,將該數(shù)據(jù)實時地傳輸?shù)饺S軟件或游戲引擎中,驅(qū)動虛擬攝影機(jī)獲取相應(yīng)的虛擬畫面;

(2)在需要內(nèi)視錐進(jìn)行色鍵摳綠或?qū)ε臄z到的畫面進(jìn)行后期處理情況下,此時需要將現(xiàn)場拍攝時跟蹤軟件捕捉到的軌跡進(jìn)行數(shù)據(jù)清洗、濾波優(yōu)化等操作,將處理后的攝影機(jī)運動軌跡數(shù)據(jù)賦值給虛擬攝影機(jī)。

其中,因各類數(shù)字內(nèi)容生產(chǎn)工具、實時渲染引擎之間的坐標(biāo)系統(tǒng)不盡相同,數(shù)據(jù)傳輸或進(jìn)行后處理時往往首先要進(jìn)行坐標(biāo)系的轉(zhuǎn)換,例如:Unity為Y-Up左手坐標(biāo)系;Unreal Engine 4 則為Z-Up左手坐標(biāo)系;MAYA、Houdini為Y-Up 的右手坐標(biāo)系;3ds Max 為Z-Up 右手坐標(biāo)系等。針對剛體的跟蹤數(shù)據(jù)用3 軸位置 (Location)及3 軸旋轉(zhuǎn)(Rotation)進(jìn)行表示。大多動作捕捉或攝影機(jī)跟蹤軟件均支持?jǐn)?shù)據(jù)直接傳輸至三維軟件3ds Max、Maya與實時渲染引擎,同時支持利用軟件SDK 進(jìn)行深度開發(fā)或通過VRPN (Virtual-Reality Peripheral Network)接口對跟蹤數(shù)據(jù)進(jìn)行接受與處理。例如,在由外向內(nèi)跟蹤系統(tǒng)Optitrack 面向Unreal Engine的插件中,軟件端Motive就開放了Natnet SDK 從Mocap服務(wù)端以傳輸?shù)男问娇梢韵虮镜鼗蛲蛔泳W(wǎng)下的多個主機(jī)客戶端廣播數(shù)據(jù)。同時,跟蹤設(shè)備均接受多種形式的時間碼 (Timecode)、相位同步(Gen-Lock)信號輸入,允許外部輸入信號同步觸發(fā)錄制功能,并且能將時間碼信息與對應(yīng)的跟蹤數(shù)據(jù)以FBX、BVH 或CSV 的數(shù)據(jù)格式進(jìn)行存儲。錄制的攝影機(jī)軌跡經(jīng)過數(shù)據(jù)清洗、平滑處理等操作之后進(jìn)入后期軟件進(jìn)行下一步視效階段的處理。

5 照明技術(shù)

在當(dāng)前的電影制作中,照明逐漸智能化、自動化。LED 屏幕自身不僅可以實現(xiàn)攝影機(jī)機(jī)內(nèi)合成,還可以提供基礎(chǔ)的環(huán)境照明,同時能為畫面中透射和反射的區(qū)域還原豐富的環(huán)境細(xì)節(jié)。除此之外,LED 屏幕可以通過接收不同的視頻信號實時地任意改變每一個像素的亮度與色彩,極大提高了影片制作的效率,為創(chuàng)作者提供了自由的創(chuàng)作環(huán)境,同時也在影響著傳統(tǒng)影視照明技術(shù)不斷發(fā)生變化。

5.1 不同的照明技術(shù)

(1)LED 屏幕

在基于LED 背景墻的電影虛擬化制作中,LED屏幕承擔(dān)作為背景的顯示工作時,其照明的作用也不容小覷,LED 屏幕的每一個像素點都是一個獨立可控的光源,基于現(xiàn)今強大的三維實時引擎,創(chuàng)作者可以實時、便捷、精細(xì)地調(diào)節(jié)光照,無需手動調(diào)節(jié)照明燈光設(shè)備,只需通過電腦、平板即可完成照明的創(chuàng)作。

LED 屏幕作為照明光源而言具有分辨率高、無縫拼接、面積大等特點,能夠提供不同角度的照明,以還原更真實的環(huán)境光照。但因為LED 屏幕初始設(shè)計的用途在于顯示,因此LED 屏幕作為照明光源存在許多問題:首先本身亮度不高,小間距LED 面板最大亮度一般不超過2000nits,較影視照明面光燈(換算單位面積下的亮度能達(dá)到100000nits)照明功率較低,因此在實際的影視制作中仍需要其他燈光設(shè)備進(jìn)行輔助;其次,LED 屏幕的照明顯色性較差,如圖6所示LED 屏幕的發(fā)光光譜較為單一,會導(dǎo)致色彩還原不準(zhǔn)確的問題。并且由于三基色RGB燈珠排布具有規(guī)律性,在不同角度下對LED 屏進(jìn)行觀測會有相應(yīng)不同的偏色。LED 屏幕中LED 燈珠的可視角度大,光照方向難以控制,當(dāng)屏幕間夾角較小時會對其他屏幕產(chǎn)生影響,導(dǎo)致畫面對比度降低;在價格方面,目前LED 屏幕作為照明光源價格比較昂貴,小成本制作難以承擔(dān)如此高昂的費用。

圖6 某款LED屏幕顯示滿碼值白的光譜

(2)燈光陣列

燈光陣列是指由數(shù)量眾多帶有通信控制功能的數(shù)控?zé)艄庠O(shè)備所組成的大面積燈光陣列,每一個燈光設(shè)備均能獨立控制,但相較于LED 屏幕的每一個像素而言更為分散且數(shù)量更少,相比之下對燈光調(diào)整的精細(xì)度有所降低,但依然能滿足大部分影視制作的需求。

為避免離散的照明設(shè)備可能導(dǎo)致照明的不連續(xù)、不柔和,可以在燈光矩陣前安裝大面積的柔光布使得光線產(chǎn)生散射,變得柔和。但無論是否添加柔光布,被攝對象上的透射與反射區(qū)域均無法與LED 屏幕一樣還原真實而細(xì)膩的環(huán)境細(xì)節(jié)。

燈光矩陣具有更強的照明功率和更好的照明顯色性,同時其相對低廉的價格及能在拍攝中獲得更好的照明效果而成為一種廣受歡迎的新型照明解決方案。

圖7 燈光矩陣

(3)其他數(shù)控影視燈光設(shè)備

帶有DMX、Art-net、s ACN 等控制功能的燈光設(shè)備被稱為數(shù)控影視燈光設(shè)備,能夠?qū)崿F(xiàn)LED 屏幕與燈光陣列都難以實現(xiàn)的大功率強光、聚光、點光、局部柔光等照明效果。在基于LED 背景墻的電影虛擬化制作中,數(shù)控影視燈光設(shè)備能與三維實時引擎進(jìn)行通信,以達(dá)到虛實聯(lián)動的效果。三維實時引擎可以實時監(jiān)測捕捉虛擬環(huán)境中的光照效果,并映射相應(yīng)的參數(shù)到真實世界中的數(shù)控影視燈光設(shè)備。為了匹配虛擬世界與真實世界中燈光設(shè)備的位置,可以在真實燈光設(shè)備上安裝跟蹤設(shè)備,實時獲取燈光設(shè)備的位置。

5.2 照明匹配技術(shù)

在基于LED 背景墻的電影虛擬化制作中,由于同時使用LED 屏顯示與照明,并且在系統(tǒng)中存在其他照明設(shè)備,需要匹配校正的內(nèi)容較多,并且由于LED 屏幕的發(fā)光特性導(dǎo)致色彩偏差,要讓電影虛擬化制作系統(tǒng)準(zhǔn)確地還原色彩,需要進(jìn)行色彩校正與照明匹配。LED 燈珠光譜較窄,在不同的攝影機(jī)CMOS的不同CFA (Color Filter Array,濾色器陣列)下顏色會產(chǎn)生不同的偏移,因此內(nèi)視錐的畫面需要根據(jù)不同的攝影機(jī)進(jìn)行色彩校準(zhǔn)。而外視錐的校準(zhǔn)則需要一定程度考慮被攝物體的反射特性,外視錐的色彩校準(zhǔn)的參考依據(jù)往往是被攝物反射后的色彩,但為了適用于不同被攝物體的拍攝,使用顯色性更高的燈光陣列以及數(shù)控影視燈光設(shè)備作為主要光源也是一種解決方案。例如:在使用基于LED背景墻的電影虛擬化制作拍攝的劇集 《曼達(dá)洛人》中更多使用LED 屏幕作為照明光源,LED 屏幕光源同色異譜的特性導(dǎo)致了“被LED 屏幕照射的實物道具”和“LED 屏幕所顯示的虛擬道具”在攝影機(jī)中看起來顏色并不一致的問題。

因此,在實際拍攝中,我們需要盡可能地將“被拍攝到攝影機(jī)內(nèi)的內(nèi)視錐畫面”與“作為照明以及反射作用的外視錐”區(qū)分開來。因此,需要盡可能減少內(nèi)視錐對被攝主體的影響,再分別對兩部分進(jìn)行獨立的色彩校正,如圖8所示。

圖8 照明匹配流程圖

在經(jīng)過色彩校正后,光源的其他特性也需要進(jìn)行匹配,比如光源的強度、位置、方向、光質(zhì)等。由引擎和其他多種手段控制的功能強大的照明系統(tǒng)能讓創(chuàng)作者在實際拍攝中對現(xiàn)場光線進(jìn)行調(diào)整、匹配,并且對照明效果進(jìn)行自由的藝術(shù)創(chuàng)作,最終呈現(xiàn)完美的畫面。

6 人機(jī)交互技術(shù)

6.1 虛擬場景控制

虛擬場景控制指的是創(chuàng)作者在拍攝期間能夠?qū)崟r編輯虛擬場景,并借助虛擬現(xiàn)實設(shè)備進(jìn)行VR 勘景、編輯、確定機(jī)位等工作。

圖9 VR 勘景

實時編輯虛擬場景時,創(chuàng)作者可以操作渲染節(jié)點中的任意一個節(jié)點,來修改虛擬場景中的資產(chǎn),例如場景元素的位置、旋轉(zhuǎn)、縮放、增減,燈光的方向、照度、顏色等。同時將修改信息通過UDP協(xié)議發(fā)送至其他渲染節(jié)點進(jìn)行同步,并實時渲染更新在LED 背景墻上。這使得虛擬內(nèi)容創(chuàng)作者能夠?qū)崟r地編輯、渲染及拍攝。

對渲染節(jié)點的虛擬場景控制也可以使用外部設(shè)備來實現(xiàn)。例如:通過公開資產(chǎn)屬性的網(wǎng)絡(luò)接口,使用移動設(shè)備如iPad等直接訪問網(wǎng)頁來控制;使用虛擬現(xiàn)實設(shè)備如VR 頭盔與手柄來直接進(jìn)入虛擬場景,進(jìn)行身臨其境的觀察,判斷場景的完成度、選取鏡頭取景等工作,并可以直接在VR 環(huán)境中修改場景,從而實現(xiàn)在真正的三維空間中進(jìn)行創(chuàng)作。這些技術(shù)能夠極大提高現(xiàn)場拍攝制作的效率,同時也為創(chuàng)作者提供了更大的創(chuàng)作空間。

6.2 虛實結(jié)合交互

虛實結(jié)合交互包含兩方面的內(nèi)容,分別是通過不同的傳感器獲取真實拍攝環(huán)境中的場景信息,實時傳遞到虛擬場景中實現(xiàn)虛擬匹配,以及使用虛擬場景中的動態(tài)信息驅(qū)動現(xiàn)場的裝置來實現(xiàn)虛實結(jié)合的效果。

圖10 《曼達(dá)洛人》中Motion Base的應(yīng)用

虛實結(jié)合的交互設(shè)備可以支持拍攝主體的運動數(shù)據(jù)交互。例如:實時將運動裝置的數(shù)據(jù)傳遞給實時引擎,來更新虛擬背景,以模擬角色在場景中移動的效果;使用智能數(shù)控運動平臺將設(shè)定好的運動軌跡在實時渲染引擎和現(xiàn)實中同步復(fù)現(xiàn),來實現(xiàn)諸如騎馬、駕車、飛行等運動效果;使用動作捕捉設(shè)備實時捕捉人體動作,在引擎中驅(qū)動虛擬角色。

此外,其他影視特殊效果設(shè)備的交互控制也是人機(jī)交互的重要部分,例如:場景中煙機(jī)、鼓風(fēng)機(jī)、造雪機(jī)等物理特效設(shè)備的虛實同步,拍攝時可以通過實時引擎來控制這些設(shè)備的開關(guān)、功率、范圍等參數(shù),并通過傳感器監(jiān)測相關(guān)數(shù)據(jù),同時將數(shù)據(jù)返回引擎,實時處理和調(diào)節(jié)設(shè)備運行參數(shù)。

這些交互方式大大提高了基于LED 背景墻的電影虛擬化制作的虛實結(jié)合程度,使得在面積有限的攝影棚中,創(chuàng)作者可以設(shè)計并實現(xiàn)更多類型的鏡頭。

7 總結(jié)與展望

目前,國內(nèi)外影視制作領(lǐng)域都開始了基于LED背景墻的電影虛擬化制作探索,并且已經(jīng)初步在影視劇集的拍攝中進(jìn)行了應(yīng)用,雖然目前還有些效果并不盡如人意,但是這種“后期前置”給現(xiàn)場拍攝提供真實的環(huán)境光照,提供所見即所得的自由創(chuàng)作環(huán)境的制作方式,相信在研究人員和從業(yè)者共同努力下,能夠進(jìn)一步完善相關(guān)功能,在制作效果上取得更大進(jìn)展,從而帶動電影智能化制作邁上新的臺階。