基于LED背景墻虛擬拍攝中的光線匹配技術研究

米春林 王梓鋒

1.諾華視創(chuàng)電影科技 (江蘇)有限公司,北 京100091

2.北京電影學院美術學院,北京 100088

1 基于LED背景墻的虛擬拍攝帶來的變革

1.1 基于LED背景墻的虛擬拍攝

2009年電影 《阿凡達》的拍攝與公映使電影虛擬拍攝為觀眾和業(yè)界帶來新的視角,也首先引入了虛擬化制作這一概念。曾任二十世紀?？怂垢笨偛玫募s翰·基爾肯尼(John Kilkenny)甚至在他的主題演講中稱 《阿凡達》為 “純虛擬制作的發(fā)源地”。得益于綠幕/藍幕,近些年電影中奇幻的空間、逼真的怪獸、浩瀚的星系層出不窮。技術的高速發(fā)展,使視覺效果愈發(fā)逼真,也使拍攝手段有了突破性的創(chuàng)新。2019年星戰(zhàn)劇集 《曼達洛人》攝制中,LED背景墻同實時渲染技術結合的成功運用令實時3D引擎真正顛覆了傳統(tǒng)影視的制作流程,改變了演員們在綠幕前對著空氣表演的這一方式,也將基于LED背景墻的虛擬拍攝這一新技術帶到大眾面前(圖1)。攝制組以LED背景墻作為背景,結合實時引擎渲染,創(chuàng)造出星戰(zhàn)主題的場景,隨后演員在場景中表演,創(chuàng)作者在實時制片的過程中對數(shù)字化的內容完成實時的反饋和處理,這便是基于LED背景墻的虛擬拍攝,即將虛擬計算機圖像同真實演員的表演融合在一起,在拍攝現(xiàn)場將最終的特效畫面做可視化呈現(xiàn)。

圖1 《曼達洛人》的拍攝現(xiàn)場空間結構示意圖

1.2 技術變革

傳統(tǒng)的虛擬拍攝,包括CG技術的場景可視化(Previs)、實時特效 (Real-time In-camera VFX)、構建虛擬拍攝片場 (Virtual Sets)、虛擬后期制作(Virtual Post-production)、表演捕捉 (Performance Capture)等環(huán)節(jié)。長久以來,綠幕都是實現(xiàn)現(xiàn)實與虛擬相結合的最主要方式,但綠幕拍攝有著極多的局限性。首先便是臨場代入感弱,《復仇者聯(lián)盟4:終局之戰(zhàn)》中英雄集結同滅霸決戰(zhàn)的大場景代表了當今同類電影的視效巔峰,但在拍攝現(xiàn)場,演員們卻只能在綠幕中完成表演,導演及主創(chuàng)也僅僅靠想象來確立最終畫面的效果 (圖2)?；贚ED背景墻的拍攝則可以顯示畫面以輔助演員感受場景,提供眼線的參考。同時搭配UE4這類引擎可以將場景中的虛擬攝影機和真實攝影機進行位置綁定,LED背景墻呈現(xiàn)的虛擬場景可以根據(jù)攝影機的移動自由調整透視及視差,增強演員表演的沉浸感。

圖2 《復仇者聯(lián)盟4:終局之戰(zhàn)》拍攝現(xiàn)場 (綠幕影棚)示意圖

對于反光及透明物體的拍攝,綠幕拍攝則需要后期額外耗費人力物力經過摳圖與修圖使真人表演與計算機背景融合在一起,對諸如水杯、眼鏡等這一類透明材質的道具產生的折射問題,會為后期合成帶來較多的不便。LED背景墻拍攝則可以很好地解決透明介質的拍攝,且對鏡面反射有較強的優(yōu)勢性,如圖3所示,在270°的LED背景墻包圍下,背景墻上呈現(xiàn)的場景光線給予了鎧甲極為逼真的顏色與反光,這使得曼達洛人鎧甲的光感無需經過后期復雜的調校,在LED背景墻的映射下自然形成真實質感。

圖3 《曼達洛人》中的鎧甲在基于LED背景墻拍攝的影棚中的真實反光示意圖

綠幕會使演員身上產生 “溢色”(Spill)。以往的特效影視流程最大的問題便是大量的決定都被堆積在后期,主創(chuàng)無法在拍攝現(xiàn)場以協(xié)作的方式做創(chuàng)意決定?；贚ED背景墻的虛擬拍攝則在一定程度上優(yōu)化了這些問題,利用巨大的LED背景墻替換傳統(tǒng)綠幕,所呈現(xiàn)的環(huán)境提供的真實色彩及光影同演員、道具自然的結合,既改善了溢色的問題,又提供了更加真實的物理效果。拍攝過程中根據(jù)攝影機角度提供正確的數(shù)字背景并可以直接看到照明、布局、交互光、地平線等元素,理想狀態(tài)下,不再需要Roto或者綠幕,為后期階段省去了大量人力物力的步驟。LED背景墻的運用也可以滿足創(chuàng)作團隊在一天內完成數(shù)個時間段、數(shù)個地點的拍攝需求,但其也有一定的缺點。以傳統(tǒng)燈具應用為例,在綠幕拍攝中,燈架燈腿穿幫等問題可以借助 “纏綠”、后期摳像去除,LED背景墻的拍攝則需要考究燈具擺放位置。

2 基于LED背景墻的虛擬拍攝中的光照

2.1 光對于虛擬拍攝塑造空間的意義

在影視行業(yè)的視覺制作中,對于光的運用一直是重中之重,虛擬空間的營造如何真實,其基礎之一就是光線的構建。演員與虛擬環(huán)境如何匹配,靠的就是拍攝現(xiàn)場如何布光、控光。光衰減效應也是布光工作中的重要一環(huán),由于光的照度與到光源的距離的平方成反比,因此光衰減會受光源到物體的距離影響產生極大的變化,當光源遠離拍攝主體時,光衰減效應會相應地弱化,反之當同一光源距離拍攝主體較近時,光衰減效應則會增加。攝制時通過控制燈光光源與被攝物體的距離,可以使被攝主體同背景達成特定的光比,賦予不同鏡頭獨特的調性,最終使得畫面為觀眾帶來獨樹一幟的風格。

雖然LED背景墻自身已具有一定的亮度,但受限于自身光譜不全,亮度有局限性,對于真實顏色,諸如皮膚一類的質感處理會有缺失。因此,我們就要采取相應的照明技術使光線滿足拍攝需求,并配合傳統(tǒng)燈具進行補足。LED背景墻虛擬拍攝的照明技術主要有以下三種方式。

2.2 照明技術

2.2.1 LED背景墻照明

圖4 LED背景墻照明的空間結構布置

圖5 三基色光譜參數(shù)對比

LED背景墻在拍攝時,往往會直接用作照明工具,以 《曼達洛人》為例,其屏幕峰值亮度最高可達到1800尼特,搭配UE4引擎中的數(shù)字光源,還可對場景中的特定區(qū)域進行亮度提升。但LED背景墻僅適合作為一個大型的面光源,若在拍攝過程中需要點光源的出現(xiàn)時,依舊要同傳統(tǒng)燈具互相搭配獲得最終的效果。且LED背景墻自身的亮度會令我們形成錯覺,即依靠屏幕本身就可以滿足拍攝時對于環(huán)境光的需求。但實際拍攝時會發(fā)現(xiàn),拍攝對象往往距離LED背景墻有一定的距離,單靠LED背景墻光照強度無法滿足需求。如圖6所示,LED背景墻自身的光學屬性會令其紅色光源的發(fā)射峰值極高,導致人的皮膚會反射更多的紅色,使呈現(xiàn)出的畫面集體偏紅,基于RGB三基色也會導致屏幕光譜不全,顯色性較差,產生同色異譜的現(xiàn)象,使攝影機中輸出的畫面和真實的顏色產生極大差距。比較好的解決方案便是使用多光譜照明,如后文提到的數(shù)字控制燈光陣列。同時,LED頂屏營造的空間高度主流搭建方案支持7~8米 (再高會有搭建、資金問題),拍攝空間局限性較大,且LED背景墻造價昂貴,大面積使用成本較高。

圖6 LED的RGB照明和皮膚反射光譜數(shù)據(jù)表

2.2.2 數(shù)字控制燈光陣列

燈光陣列是通過多盞相同參數(shù)的燈光在空間中有規(guī)律地陣列,來模擬環(huán)境光或者天光的技術。使用該方法能在建筑的暗部或者陰影部分形成豐富的細節(jié),為建筑物投射出真實柔和的環(huán)境漫反射光線。數(shù)字控制燈光陣列可以根據(jù)實際拍攝需求靈活地調整亮度,其最大的特性便是可以結合現(xiàn)代編程技術,通過計算機程序對燈具進行編組控制,完成各種定時定點的多維燈光效果,并最終將燈光的諸如角度、色彩、亮度等信息傳輸回計算機,同軟件搭配實現(xiàn)特殊效果。

圖7 由SkyPanel構建的數(shù)字控制燈光陣列在綠幕拍攝中的運用

圖8 由SkyPanel構建的數(shù)字控制燈光陣列在綠幕拍攝中的運用

在六基色燈光照明設備研發(fā)前,Sky Panel是一種被廣泛運用的傳統(tǒng)燈光照明設備。其為RGBW的四基色燈光照明設備,因為有W的存在 (而且色溫模式使用的應該也是冷暖兩種白光的比例調節(jié)),所以光譜是比較連續(xù)的,在色溫模式下顯色性指數(shù)很高,但其僅局限于色溫曲線上光譜是連續(xù)的,對于其他顏色上的還原仍有缺失。如今隨著技術的進步,六基色的燈光照明設備的出現(xiàn)使得數(shù)字控制燈光陣列的組成有了更多選擇,對于色彩還原性也更準確。圖9所示的數(shù)字控制燈光陣列是諾華視創(chuàng)電影科技(江蘇)有限公司自主研發(fā)的一套基于六基色的燈光照明設備,其相較于LED背景墻照明燈光光譜更全,顯色性能更好,亮度也更充足。

圖9 數(shù)字控制燈光陣列

圖11 同時拍攝LED屏幕內灰球和采用燈光還原系統(tǒng)照明的真實灰球環(huán)境光顏色對比,顏色誤差0.15%-0.3%之間

圖12 LED屏幕、燈光還原系統(tǒng)和攝影機做標定后的直接拍攝效果

如圖10所示,以無錫國家數(shù)字電影產業(yè)園影棚為例。為數(shù)字控制燈光陣列增加柔光布后,當攝影機800感光度時光圈可以開至F7~F8左右,足以滿足虛擬拍攝中對于不同時段、不同環(huán)境的模擬及各種現(xiàn)場拍攝需求,且每個燈光可以單獨進行數(shù)字控制。數(shù)字控制燈光陣列的懸掛位于棚頂,其所提供的拍攝空間約為15米左右,相比LED背景墻照明所提供的創(chuàng)作環(huán)境更自由,可控度也更高。足以滿足影視作品的拍攝需求。同時相比LED頂屏造價更便宜,使用面積也更為廣闊。

圖10 無錫國家數(shù)字電影產業(yè)園影棚對于真實天空環(huán)境的還原

2.2.3 其他數(shù)控影視燈光

其他數(shù)控影視燈光是較為傳統(tǒng)的一些照明器材與照明手段,這一類燈光器材往往配合LED背景墻與燈光陣列共同使用。因為LED背景墻與燈光陣列的特殊性,其對于硬質光的模擬缺乏良好的效果,因此,諸如太陽光這一類硬質光就需要數(shù)控影視燈光來完成模擬。創(chuàng)作者可以通過配置透鏡、色紙、紗網、軟格、反光板等附件來控制燈光。改變光在其亮度、顏色、聚散、硬度等方面的參數(shù),也可以移動燈具的角度及其位置對光線的性質進行改變,但這些手段往往需要工作人員親手操作來完成,若燈具需求數(shù)量巨大,調整起來會耗費大量的人力物力。同時這一類器具也能夠利用實時引擎通過DMX協(xié)議直接控制燈光的顏色與亮度,輔助片場的拍攝。

2.3 照明問題

在基于LED背景墻的虛擬拍攝中也有許多應注意的照明問題,首先應盡量避免燈光直射在背景墻上導致背景畫面的反差降低,LED背景墻自身抗反光的物理特性會決定畫面的反差大小,造價昂貴的高端屏可以在一定程度上降低畫面的反光。其次是拍攝時應注意前景拍攝的光線顏色要和攝影機里拍攝的LED背景畫面光線統(tǒng)一,若二者產生偏差,輸出的成片很難修改,也使得LED背景墻拍攝失去了其自身意義。

2.4 光線匹配

當我們拍攝同一畫面時,不同的攝影機所呈現(xiàn)的色彩和輸入的顏色都有基于自身特性所帶來的顏色偏差。因此,拍攝時進行的光線匹配是重要的校準步驟。

光線匹配首先要構建基準的工作空間,將攝影機輸出的LED背景墻顏色、數(shù)字控制燈光陣列的燈光顏色以及現(xiàn)場燈光給予一個基準的統(tǒng)一,設定參考白色作為統(tǒng)一的工作空間。白色光標定的基礎則有兩種情況,若現(xiàn)場有非可調色的傳統(tǒng)直射光源便選取該光源的燈光系數(shù)中的白作為參照,否則基于LED背景墻的白作白平衡的參考,以此同攝影機建立關聯(lián)。

而后將單燈同建立關聯(lián)的攝影機之間進行顏色校準。圖13為單燈燈光可實現(xiàn)的色彩范圍。燈光借由6色燈珠完成對XYZ 3刺激值的擬合,盡可能地逼近目標輸入顏色。標定結束后,原始輸入的顏色與攝影機拍攝呈現(xiàn)出的顏色誤差約被控制在3%~5%左右。

圖13 燈光色彩的可實現(xiàn)范圍

燈光標定結束后,便是對于真實環(huán)境的還原。根據(jù)拍攝燈光數(shù)量,計算出拍攝空間中的映射點,再將全景光照圖的像素點映射到對應的燈光中,完成拍攝空間中的光線匹配。全景顏色方向映射的邏輯也是基于圖像渲染的一個現(xiàn)實物理模擬。圖15所示是無錫國家數(shù)字電影產業(yè)園影棚中全景顏色方向映射對于真實天空的還原,燈光數(shù)量越多其呈現(xiàn)的天空細節(jié)也更加清晰,其所展示的天空已足以作為一個照明設備,且借助該技術更換環(huán)境天空極為便利,需要的是對真實的天空進行光線信息采集,便可以完成影棚內跨時間、跨空間的虛擬拍攝。

圖14 全景顏色方向映射

圖15 全景顏色方向映射對于真實天空的模擬還原

3 燈光匹配系統(tǒng)應用成果展示

3.1 案例1:對真實燈光的還原模擬

圖16所示是一側為真實環(huán)境拍攝,一側為虛擬影棚對于真實采集信息的還原,可以看到兩者的差距僅靠肉眼已經無法辨別,這使得在影棚內我們便可以構建出不遜色于真實環(huán)境的空間,既可以使導演更加輕松地把握電影鏡頭,也可以增加演員的沉浸感。LED背景墻將視效鏡頭合成效果由虛擬空間延伸到現(xiàn)實空間,演員可以實時體會場景變化。同時,身上也不會出現(xiàn) “溢色”這一棘手的問題。

圖16 真實環(huán)境與棚內虛擬環(huán)境對比圖

圖17在觀感上則要更為明確,將現(xiàn)實生活中攝制的圖像與在借助采集的光線信息還原出的虛擬場景中攝制的圖像合成在一起,無論是背景物體的過渡亦或是主體人物身上對于環(huán)境色的反饋,二者完美地融合在一起,難以看出明顯的差距。

圖17 真實環(huán)境與棚內虛擬環(huán)境對比圖

3.2 案例二:跨時空拍攝

虛擬拍攝中光線匹配的另一優(yōu)點就是便利性,過去在拍攝時沒有高新技術支撐來還原真實生活場景的光線,因此 “轉場”對于攝制組來說是一個成本極高的大工程,一些劇組往往要帶著繁重的設備乘坐交通工具往返多個取景地多次拍攝,工期長、成本高,而如今借助對燈光信息的采集可以完美地再現(xiàn)真實場景。如圖18所示,整個拍攝過程是在LED背景墻影棚內實時完成的,但觀感上并無失真感。對于外景的轉場最快僅僅需要一秒鐘,背景街景及光照環(huán)境均在戶外采集,將采集結果在影棚內進行還原,而后利用跟蹤出的相機軌跡進行Motion Control的控制拍攝。整個劇組在影棚利用數(shù)據(jù)信息完成了真實環(huán)境的拍攝,這便是燈光匹配系統(tǒng)應用后所帶來的便利性。工業(yè)光魔視效主管Richard Bluff曾這樣形容:“我們可以上午在內瓦羅的熔巖平原拍攝,下午到塔圖因的沙漠拍攝。當然,我們會根據(jù)實際需求切換場景,一天之內通常只切換兩個場景?！比裟骋惶厥忡R頭需要綠幕完成,LED背景墻的便利性也使得攝制組無需轉場,只需將鏡頭涉及的區(qū)域在LED背景墻上映射出一張帶有跟蹤點的綠色背景,其他畫面依舊保持真實的場景環(huán)境信息,這樣,便既滿足了綠幕拍攝的需求,又為拍攝主體提供了環(huán)境光,使得制作更加自由靈活,讓制作人員將更多精力花費在創(chuàng)作上。

圖18 跨時空拍攝場景還原

3.3 案例三:透明材質的展現(xiàn)

圖19為在基于LED背景墻的虛擬拍攝對于透明材質的展現(xiàn)。影視攝制時,基于劇情的需要往往要搭配相關的道具,在傳統(tǒng)的綠幕拍攝方式中,這一類透明道具受拍攝角度的影響極易折射出幕布顏色,需要后期專門針對性地摳色。而LED背景墻所提供的環(huán)境光則省略了摳綠這一步驟,諸如水杯、眼睛等可以自然地透出背景色,融入環(huán)境之中。

圖19 對于透明材質的表現(xiàn)

4 結語

技術的加持,使得基于LED背景墻的虛擬拍攝一定程度上解放了影視創(chuàng)作者,導演不會再因為角色和場景的虛擬化而感到局限,3D實時拍攝帶來的背景與前景的和諧共生無限拉近了虛擬拍攝與實時拍攝的界限,導演可以以傳統(tǒng)拍攝的方式在虛擬場景下實時產出最終畫面。同時演員也無需在一片綠幕中想象場景進行無實物表演,而是置身于一片真實的場景中,全身心地投入表演。

虛擬拍攝中光線的匹配并非拍攝照明工作的全部,其只是一個良好工作的基礎,好的畫面藝術效果與契合的拍攝方式才是從業(yè)者與創(chuàng)作者應該追求的,LED背景墻拍攝雖然效果比傳統(tǒng)拍攝更便捷,但其也不是萬能的,目前并不能完全取代傳統(tǒng)拍攝方式。電影拍攝創(chuàng)作是一個具有極大彈性空間的過程,而基于LED背景墻拍攝的彈性空間較小,因此創(chuàng)作團隊應考慮好LED背景墻拍攝的缺點與不足,通過創(chuàng)作手段對其進行規(guī)避,將LED背景墻拍攝用于適用的影片,而非一味地追求采用新技術進行拍攝,基于LED背景墻的虛擬拍攝僅僅只是拍攝手法的一種,其所預示的未來才是我們值得期待的。