LED虛擬化制作中基于深度圖像的LED虛擬實(shí)時(shí)綠幕變形方法

侯 爵 趙建軍 盧柏宏 陳 軍

(北京電影學(xué)院影視技術(shù)系,北京 100088)

1 引言

1898年,特效電影藝術(shù)家喬治·梅里愛把一塊涂有黑色顏料的玻璃板作為蒙板,用它擋住鏡頭的一部分,使得膠片的一部分不會(huì)感光,拍攝完成后,再用蒙板擋住鏡頭的另一部分繼續(xù)拍攝,如此一來,不同的場景經(jīng)過多次曝光后就會(huì)留存在同一副膠片上。這種手法被后人視為綠幕合成技術(shù)的原始雛形。

此后的幾十年間,合成技術(shù)進(jìn)入了一個(gè)高速發(fā)展期,期間出現(xiàn)了“黑幕技術(shù)”“鄧寧藍(lán)幕技術(shù)”“黃幕技術(shù)”等基于傳統(tǒng)膠片電影制作流程的合成技術(shù)。上世紀(jì)90年代開始,數(shù)字技術(shù)迅速崛起,數(shù)字電影攝影機(jī)開始逐漸取代膠片攝影機(jī)成為電影拍攝的主流設(shè)備,與此同時(shí),計(jì)算機(jī)生成圖像越來越被廣泛應(yīng)用于電影內(nèi)容創(chuàng)作。而數(shù)字電影攝影機(jī)感光元件上濾光片通常以“拜爾排列”的方式排列組合,這種排列方式使得綠光的感光面積是藍(lán)光或紅光的兩倍,因此,更加有利于數(shù)字圖像摳像的綠幕摳像技術(shù)逐漸成為了當(dāng)今色鍵摳像技術(shù)的通用解決方案。

如圖1所示,將拍攝前景置于藍(lán)/綠幕背景下,通過色鍵摳像的方式將藍(lán)綠色背景摳除得到前景畫面,并通過在藍(lán)/綠幕背景上布置跟蹤點(diǎn)的方式,在后期反求出攝影機(jī)的運(yùn)動(dòng)軌跡,實(shí)現(xiàn)虛擬資產(chǎn)與實(shí)拍素材在透視關(guān)系上的統(tǒng)一,最終將前景畫面與虛擬資產(chǎn)合成得到最終的特效鏡頭。這種技術(shù)極大地提高了鏡頭內(nèi)容創(chuàng)作的自由度,電影藝術(shù)創(chuàng)作進(jìn)入了一個(gè)全新的天地。

圖1 綠幕合成技術(shù)

2 綠幕合成技術(shù)的弊端與解決方案

在一套典型的實(shí)時(shí)交互預(yù)演流程中,拍攝現(xiàn)場往往要布置面積巨大的綠色幕布作為色鍵摳像的背景,這將不可避免地帶來一些問題:首先是真實(shí)場景與虛擬場景的動(dòng)態(tài)光效配合問題,在現(xiàn)場拍攝之前就需要?jiǎng)?chuàng)作團(tuán)隊(duì)提前設(shè)計(jì)好成片鏡頭中最后的動(dòng)態(tài)光效,在此基礎(chǔ)上對表演者進(jìn)行現(xiàn)場動(dòng)態(tài)照明,而且,為了使現(xiàn)場的照明信息與后期三維場景中的照明信息相匹配,需要在拍攝特效鏡頭時(shí)在場景中放置一個(gè)反光鉻球用來記錄現(xiàn)場照明信息。其次,在大面積的藍(lán)/綠幕背景下進(jìn)行燈光照明,很容易在被攝主體邊緣產(chǎn)生溢色現(xiàn)象,或是將藍(lán)/綠幕的顏色反射到演員或前景物體的高光上,這給后期摳像帶來了很大的麻煩。一般的解決方案是:均勻照亮綠色背景,否則陰影區(qū)域?qū)㈦y以摳出,對于細(xì)毛或透明物品后面的背景尤其如此。被攝主體需要遠(yuǎn)離綠屏,以免屏幕上的反射光溢出到主體上。此外,前景中的主體必須使用單獨(dú)的光源打光,以便控制場景所需光源的曝光和方向。最后,常見的綠幕往往是棉布與滌綸的混合紡布材料,由于其質(zhì)地較為柔軟,表面容易產(chǎn)生一些褶皺或者波紋,雖然目前一些影視專用的摳像噴漆可以作為綠色幕布的替代品,但實(shí)際使用效果不盡人意。

圖2 實(shí)時(shí)交互預(yù)演中的綠幕①

總體來說,這些弊端屬于綠幕合成技術(shù)本身不可避免的系統(tǒng)性問題,從業(yè)人員總結(jié)的解決方案也只是一種無可奈何的妥協(xié)。一種根本上避免這些問題的方法是基于LED背景墻的電影虛擬化制作技術(shù)。

基于LED背景墻的電影虛擬化制作技術(shù)(以下簡稱LED虛擬化制作)直接將視效與實(shí)景融合后的內(nèi)容拍攝下來,即達(dá)到所謂的攝影機(jī)內(nèi)視效(In-Camera VFX)拍攝效果。這一技術(shù)極大地改進(jìn)了實(shí)時(shí)交互預(yù)演的不足,它使用LED背景墻代替藍(lán)/綠幕實(shí)時(shí)渲染顯示三維場景,同一型號的LED模組發(fā)出的光在理論上應(yīng)該是完全均勻一致的,這在一定程度上規(guī)避了傳統(tǒng)藍(lán)/綠幕反射不均勻或存在褶皺的問題;其次,移除了大面積的綠色幕布后,它完全解決了藍(lán)/綠幕溢色和反射問題;最后,LED背景墻畫面更是為現(xiàn)場提供了高還原度的真實(shí)環(huán)境光照,無需在后期進(jìn)行光照匹配,同時(shí)也極大地提高了鏡頭內(nèi)照明效果的真實(shí)感。

在典型的基于LED背景墻的電影虛擬化制作流程中,LED背景墻上顯示的渲染畫面被分為了兩個(gè)部分,分別被稱為內(nèi)視錐和外視錐(圖3)。外視錐不需要渲染高精度圖像,而是將LED面板轉(zhuǎn)變?yōu)橐环N動(dòng)態(tài)光源,以還原光線照射在真實(shí)世界位置上的效果。當(dāng)攝影機(jī)移動(dòng)時(shí),外視錐畫面保持靜態(tài),模仿了光照和反射在真實(shí)世界中不隨攝影機(jī)移動(dòng)的原理,這樣就可以為演員和前景物體提供真實(shí)的動(dòng)態(tài)環(huán)境照明。在攝影機(jī)視場(FOV)內(nèi)的高質(zhì)量實(shí)時(shí)渲染畫面被稱為內(nèi)視錐,它的畫面透視關(guān)系會(huì)隨著攝影機(jī)位置變化而變化,用以實(shí)現(xiàn)攝影機(jī)內(nèi)視效拍攝。

圖3 內(nèi)視錐與外視錐

但此種方案仍然存在一些問題。首先,LED面板上的燈珠排列非常密集且規(guī)律,當(dāng)攝影機(jī)聚焦于LED面板上時(shí),會(huì)產(chǎn)生摩爾紋現(xiàn)象,影響最終的畫面效果。其次,由于目前的三維實(shí)時(shí)引擎的渲染能力有限,對于一些非常復(fù)雜的效果實(shí)時(shí)渲染質(zhì)量不佳,還不能滿足實(shí)拍后直接作為最終鏡頭的要求。因此在這種情況下,可以在LED屏幕上顯示純綠色背景兼容傳統(tǒng)的特效制作流程。

故LED虛擬化制作一些特定鏡頭的拍攝,可以將內(nèi)視錐替換成帶有跟蹤點(diǎn)圖案的純綠色畫面用于提供后期摳像素材,而外視錐依然可以提供真實(shí)的動(dòng)態(tài)環(huán)境光照明,此種方案兼具了兩種流程的優(yōu)點(diǎn),并且提供了更好的便利性和可用性(圖4)。將內(nèi)視錐全部替換成純色,除了演員與前景物體,在攝影機(jī)視場內(nèi)所拍攝到的畫面將會(huì)是一片純色。LED屏幕屬于自發(fā)光照明,LED屏幕發(fā)光有更高的亮度和飽和度,而傳統(tǒng)藍(lán)/綠幕是漫反射的方式,兩者有很大區(qū)別。因此在基于LED背景墻的虛擬化制作流程中,傳統(tǒng)綠幕合成技術(shù)中常用的技巧無法繼續(xù)使用。本文分析在現(xiàn)有流程中影響最大的可控因素進(jìn)行定量分析,并研究及實(shí)現(xiàn)一套新穎的解決方案。

圖4 《曼達(dá)洛人》幕后制作

3 虛擬綠幕對前景的影響因素分析實(shí)驗(yàn)

為了分析LED虛擬化制作中虛擬綠幕對拍攝效果的影響程度,本文針對不同的影響因素進(jìn)行了相關(guān)的測試實(shí)驗(yàn)。

3.1 內(nèi)視錐綠幕大小對拍攝的影響

在LED虛擬化制作中,使用內(nèi)視錐作為綠幕,外視錐依然顯示虛擬三維場景是目前常用的拍攝方法之一,其目的是為了還原被攝主體上的反射(如《曼達(dá)洛人》)。內(nèi)視錐的大小將直接影響前景物體的拍攝效果,因此研究團(tuán)隊(duì)首先針對目前LED虛擬化制作中內(nèi)視錐綠幕的大小不同所導(dǎo)致的溢色與反射情況,設(shè)計(jì)對比實(shí)驗(yàn)進(jìn)行分析。實(shí)驗(yàn)現(xiàn)場如圖5所示。

圖5 實(shí)驗(yàn)現(xiàn)場

在LED虛擬化制作中,為了保證內(nèi)視錐畫面足以完全覆蓋攝影機(jī)的拍攝范圍,內(nèi)視錐的大小會(huì)隨著鏡頭焦距的變化而變化。焦距越小,視場越大,內(nèi)視錐也就越大。

本實(shí)驗(yàn)改變內(nèi)視錐的大小,觀察不同情況下畫面的溢色與反射表現(xiàn)。為了便于觀察對比,攝影機(jī)的實(shí)際焦距不作改變,結(jié)果如圖6所示,內(nèi)視錐越大,灰球以及人物臉上的溢色越嚴(yán)重,鉻球與墨鏡中的綠色反射面積越大。

圖6 內(nèi)視錐大小對畫面影響的對比

當(dāng)拍攝焦距長,內(nèi)視錐較小時(shí),基本無法觀察到明顯的溢色現(xiàn)象,反射物體上也基本上沒有綠色。但墨鏡中反射的綠色會(huì)根據(jù)人物頭的朝向不同而有所不同,當(dāng)演員頭部偏轉(zhuǎn)到一定角度時(shí),墨鏡可能會(huì)將綠色的LED背景反射到鏡頭內(nèi),但內(nèi)視錐越小,這種情況發(fā)生的概率也越低。

因此,可以得出一個(gè)初步結(jié)論:內(nèi)視錐的大小對前景的溢色和高光反射影響非常大,應(yīng)該盡可能地縮小。

3.2 內(nèi)視錐綠幕亮度對拍攝的影響

在LED背景墻上顯示的綠幕不僅僅均勻平整,并且亮度調(diào)節(jié)也十分方便。合適的綠幕亮度有助于更好地進(jìn)行摳像處理,同時(shí)也影響著被攝主體的溢色和高光反射。

針對內(nèi)視錐亮度的對比實(shí)驗(yàn)中,人物距離屏幕4米,在關(guān)閉內(nèi)視錐綠幕時(shí)人物所處位置的照度約為200勒克斯,內(nèi)視錐大小為16mm焦距視場。如圖7所示,在內(nèi)視錐綠幕亮度為400尼特時(shí),人物身上和灰球表面出現(xiàn)較為嚴(yán)重的溢色,而在100尼特時(shí)溢色基本可以接受。

圖7 內(nèi)視錐亮度對畫面影響的對比

可以從灰球和鉻球的邊緣表現(xiàn)看到,其高光和溢色隨著LED屏幕亮度降低而降低。當(dāng)內(nèi)視錐亮度為50尼特時(shí),鉻球表面上仍然有可見的綠色邊緣,但如果繼續(xù)降低內(nèi)視錐亮度將不利于后期摳像。實(shí)際上,影響被攝主體的溢色還有照明光源本身的亮度、被攝主體距離綠幕的距離等因素。溢色本質(zhì)上是由照明光源與綠幕反射的光照強(qiáng)度比值所決定的。因此在實(shí)際生產(chǎn)過程中,應(yīng)當(dāng)根據(jù)現(xiàn)場環(huán)境和光照條件適當(dāng)選取合適的LED背景亮度,不宜盲目追求低亮度。

從以上兩組實(shí)驗(yàn)可得知,內(nèi)視錐的大小和亮度均會(huì)很大程度上影響前景物體的溢色和高光反射效果,此外,還有一些其他影響因素諸如虛擬綠幕的色彩飽和度、現(xiàn)場光源亮度等,由于條件所限并未進(jìn)行測試實(shí)驗(yàn)。其中內(nèi)視錐的大小對前景的高光反射的負(fù)面影響很大,且不能通過降低亮度的方式將其完全消除。因此我們認(rèn)為內(nèi)視錐的大小是一個(gè)更為關(guān)鍵的因素。而在實(shí)際生產(chǎn)過程中,亮度的選擇將會(huì)基于現(xiàn)場的光照條件和創(chuàng)作團(tuán)隊(duì)的創(chuàng)作意圖。因此為了減少前景物體溢色的高光反射,應(yīng)該最大程度上減小內(nèi)視錐的大小。

4 虛擬綠幕實(shí)時(shí)變形方案原理與實(shí)現(xiàn)

為了減輕內(nèi)視錐全部顯示純色帶來的問題,本文提出一種基于深度圖像處理的虛擬綠幕實(shí)時(shí)變形方法,可以利用拍攝畫面中的深度圖像信息將演員等被攝主體與LED背景墻分離出來,再將分離后的深度信息以蒙板的形式作用于內(nèi)視錐,使得在攝影機(jī)畫面中被攝主體恰好完全被綠幕包圍,即可在滿足摳像需求的前提下最大程度上減少藍(lán)/綠幕的面積,有效規(guī)避影片制作中溢色和綠幕穿幫等技術(shù)問題。

如圖8所示,本實(shí)驗(yàn)方案將深度攝像頭與攝影機(jī)綁定后同時(shí)拍攝被攝主體,在攝影機(jī)所拍攝的畫面中,被攝主體應(yīng)被一個(gè)略大于其自身輪廓的綠幕所包圍,剩余部分的LED背景墻顯示三維實(shí)時(shí)引擎所提供的外視錐畫面。

圖8 虛擬綠幕變形原理示意圖

本實(shí)驗(yàn)選用了基于To F的深度攝像頭RealSense L515用于捕獲深度信息。我們無需識別出演員等被攝主體自身精細(xì)的深度,而只需要區(qū)分出前景被攝主體與LED背景墻,就能得到滿足要求的的深度圖作為遮罩。

具體流程如圖9所示,深度攝像頭獲取場景中的深度信息,計(jì)算機(jī)將深度信息進(jìn)行處理后作為深度圖實(shí)時(shí)傳遞給三維實(shí)時(shí)引擎。與此同時(shí),攝影機(jī)跟蹤設(shè)備獲取攝影機(jī)到LED背景墻的距離,以該距離作為臨界閾值將深度圖進(jìn)行二值化處理,保證LED屏幕前的被攝主體均為白色,LED屏幕自身均為黑色。然后,通過深度攝像頭提供的接口,將二值化處理后的藍(lán)/綠幕輪廓發(fā)送至三維實(shí)時(shí)引擎。

圖9 虛擬綠幕變形方法技術(shù)流程圖

圖10 二值化處理后的深度圖示意圖

為了能夠拍攝到可以正常進(jìn)行色鍵摳像的拍攝素材,必須使該綠/藍(lán)幕輪廓白色區(qū)域能夠完全覆蓋被攝主體,因此需要對該綠/藍(lán)幕輪廓進(jìn)行膨脹處理(如圖11所示)。實(shí)現(xiàn)思路為將該深度圖在平面的多個(gè)方向上進(jìn)行適當(dāng)?shù)奈灰坪蟑B加,其藍(lán)圖函數(shù)實(shí)現(xiàn)如圖12所示。

圖11 膨脹處理后的深度圖示意圖

圖12 UE4中膨脹函數(shù)的實(shí)現(xiàn)

LED綠幕輪廓膨脹的大小可以根據(jù)具體拍攝情況如焦距、鏡頭運(yùn)動(dòng)速度等因素決定。由于深度圖從獲取到最終顯示在LED背景墻上需要多步運(yùn)算處理,為避免畫面延遲,當(dāng)拍攝快速運(yùn)動(dòng)的鏡頭時(shí),應(yīng)適當(dāng)增大膨脹值。

將膨脹后的LED綠幕輪廓進(jìn)行著色,根據(jù)攝影機(jī)的位置跟蹤信息映射到LED背景墻上,最后使用攝影機(jī)記錄下畫面。實(shí)現(xiàn)效果如圖13所示。

圖13 實(shí)現(xiàn)效果圖

在拍攝完成后,需要進(jìn)行后期摳像合成,而這種制作方式所得到的攝影機(jī)畫面僅有環(huán)繞被攝主體的一圈綠幕,僅使用色鍵摳像無法完成制作。為此提出對應(yīng)的后期摳像合成方法。

后期摳像方法流程如圖14所示,現(xiàn)場拍攝所錄制的攝影機(jī)畫面經(jīng)過色鍵摳像得到蒙板,而同樣是現(xiàn)場拍攝錄制的綠/藍(lán)幕輪廓,再經(jīng)過膨脹后得出另一個(gè)蒙板,值得注意的是這里的膨脹值應(yīng)略小于現(xiàn)場拍攝時(shí)的膨脹值。然后將兩個(gè)蒙板相疊加得到一個(gè)合并后的蒙板,使用該蒙板進(jìn)行攝影機(jī)畫面摳像,并與后期三維虛擬畫面合成,以完成后期制作。

圖14 虛擬綠幕變形方法摳像流程圖

5 虛擬綠幕應(yīng)用效果測試及分析討論

為驗(yàn)證本方法與系統(tǒng)的實(shí)用性,本文在LED虛擬化制作過程中,設(shè)計(jì)LED背景墻全綠、內(nèi)視錐綠幕和虛擬綠幕三者的對比實(shí)驗(yàn),驗(yàn)證其在溢色控制、鏡面反射等問題上的表現(xiàn)。在驗(yàn)證實(shí)驗(yàn)中,攝影機(jī)、鏡頭參數(shù)保持一致,分別對比LED背景墻全綠、內(nèi)視錐綠幕和虛擬綠幕在灰球、鉻球以及人物拍攝中的表現(xiàn)。實(shí)驗(yàn)現(xiàn)場如圖15所示。

圖15 實(shí)驗(yàn)現(xiàn)場圖

(1)溢色測試:分別在LED背景墻全綠、內(nèi)視錐綠幕和虛擬綠幕的情況下對灰球進(jìn)行拍攝,觀測其溢色情況。在LED背景墻全綠的情況下,溢色幾乎充滿整個(gè)灰球,這種情況下進(jìn)行摳像會(huì)產(chǎn)生嚴(yán)重的問題;在內(nèi)視錐綠幕的情況下,僅有邊緣出現(xiàn)溢色的情況;而在虛擬綠幕的情況下,灰球上幾乎沒有出現(xiàn)溢色的情況。如圖16所示。

圖16 不同形式綠幕下灰球的溢色狀況

(2)反射測試:分別在LED背景墻全綠、內(nèi)視錐綠幕和虛擬綠幕的情況下,觀測其對鉻球的反射影響。如圖17所示,在LED背景墻全綠的情況下,整個(gè)鉻球上都是綠色穿幫,在內(nèi)視錐綠幕的情況下有所改善,但仍有大面積綠幕穿幫。而在虛擬綠幕中,僅在一側(cè)出現(xiàn)小面積綠幕穿幫,大部分畫面顯示虛擬畫面內(nèi)容,能更好地還原場景中具有鏡面反射的被攝物。

圖17 不同形式綠幕下鉻球的反射圖像

(3)演員測試:分別在LED背景墻全綠、內(nèi)視錐綠幕和虛擬綠幕的情況下對人物角色進(jìn)行拍攝,觀測其效果。如圖18所示,左中右分別為LED背景墻全綠、內(nèi)視錐綠幕和虛擬綠幕情況下,人物皮膚和墨鏡上的圖像。溢色情況從左到右依次有所改善,在虛擬綠幕中基本沒有溢色。從墨鏡上的反射上可以看出,在全部LED背景墻顯示全綠和僅內(nèi)視錐顯示純綠時(shí)墨鏡表面反射綠色較為嚴(yán)重,而使用虛擬綠幕時(shí),溢色和反射等負(fù)面影響基本肉眼不可見,且墨鏡反射圖像真實(shí)還原了演員所處的虛擬環(huán)境,很好地兼顧了綠幕摳像和鏡面反射的問題。

圖18 不同形式綠幕下人物皮膚與墨鏡的表現(xiàn)

綜上所述,本文提出的一種基于深度信息獲取的虛擬綠幕實(shí)時(shí)變形方法,能有效地改善LED虛擬化制作中綠幕的溢色與反射穿幫的問題。相比于在LED背景墻中手動(dòng)添加小面積的綠幕,這種方式能實(shí)時(shí)跟隨攝影機(jī)的朝向自動(dòng)調(diào)整綠幕的位置,始終讓綠幕在攝影機(jī)畫面中包圍被攝主體,無須在鏡頭運(yùn)動(dòng)時(shí)再人為調(diào)整改變綠幕的顯示位置。

由于實(shí)驗(yàn)條件限制,我們無法搭建同等大小的傳統(tǒng)綠幕環(huán)境,以進(jìn)行控制變量的實(shí)驗(yàn)。LED背景墻全綠的情況可一定程度上類比傳統(tǒng)綠幕的情況,供讀者參考。

但本方案也存在一些問題,首先,LED綠幕只能顯示在LED 背景墻上。如果被攝主體的后景還包括地面等,則仍然需要傳統(tǒng)綠幕,因?yàn)榈匕逋鶗?huì)用來布置和角色交互的前景和地面。

其次,由于本方案的系統(tǒng)復(fù)雜度較高,視頻信號需要先后通過深度攝像頭、游戲引擎、數(shù)字信號分發(fā)等系統(tǒng),會(huì)產(chǎn)生較大的延遲,對于快速移動(dòng)的物體比如演員的手臂,虛擬綠幕并不能及時(shí)反饋在LED屏幕上。

最后,實(shí)驗(yàn)使用基于激光ToF的深度攝像頭,其精度有限,畫面分辨率較低且存在一定噪波,一些較小的物體無法被正常識別。此外,一些黑色吸光物體、鏡面反射物體的深度識別還需要進(jìn)一步完善。

圖19 基于深度圖像處理的虛擬綠幕變形方法

6 總結(jié)和展望

基于LED背景墻的電影虛擬化制作是當(dāng)前最為先進(jìn)的影視制作技術(shù)之一。在LED背景墻上顯示虛擬綠幕背景,其畫面平整,并且可以方便地調(diào)整大小和亮度、添加標(biāo)記點(diǎn),能夠兼容傳統(tǒng)綠幕拍攝,完成特定的鏡頭拍攝。本文研究了影響LED虛擬綠幕對拍攝效果的影響因素,在此基礎(chǔ)上提出了基于深度圖像處理的虛擬綠幕實(shí)時(shí)變形方法。通過將LED虛擬綠幕的大小降至最小,最大程度減少了LED面板發(fā)出的綠光對表演主體的溢色和高光反射等負(fù)面影響,解決了LED虛擬化制作中的內(nèi)視錐綠幕合成問題。

由于實(shí)驗(yàn)環(huán)境、設(shè)備精度、系統(tǒng)復(fù)雜度等方面的影響,本文提出的技術(shù)存在一些局限性和適用范圍。我們將在后續(xù)工作中進(jìn)一步深入研究這部分內(nèi)容,不斷完善發(fā)展基于LED背景墻的電影虛擬化制作的相關(guān)技術(shù),促進(jìn)新技術(shù)的推廣應(yīng)用。?

①圖片來源:https://www.fxguide.com/fxfeatured/vanishingpoints-vector-for-virtual-production/.