《曼達洛人》與StageCraft影片虛擬制作技術(shù)分析

吳 悠

(北京電影學院中國電影高新技術(shù)研究院, 北京 100088)

《曼達洛人》 (The Mandalorian,2019,Jon Favreau)是于2019年11月12日登錄Disney+平臺的迪士尼原創(chuàng)劇集,目前已播出了第一季共八集的內(nèi)容,每一集時長大約在30～45分鐘左右。在制

作技術(shù)方面,為了得到盡可能真實的現(xiàn)場動態(tài)照明和環(huán)境光效果,制作團隊為《曼達洛人》影片項目量身定制了StageCraft影片虛擬化制作平臺。

圖1 StageCraft虛擬化制作平臺①

StageCraft虛擬化制作平臺將傳統(tǒng)的電影制作工具與LED 背景墻、虛擬現(xiàn)實和游戲引擎等新興技術(shù)相結(jié)合,通過將游戲引擎實時渲染生成的畫面顯示在LED 背景墻上的方式,將演員表演和現(xiàn)場搭建的場景與實時渲染生成的畫面相結(jié)合,得到近乎真實的場景動態(tài)照明和環(huán)境光效果,并且在拍攝現(xiàn)場直接得到攝影機機內(nèi)合成的高質(zhì)量畫面。 《曼達洛人》影片中,有90%的鏡頭是在StageCraft平臺內(nèi)拍攝制作完成的,50%觀眾看到的最終影片畫面是直接從攝影機內(nèi)得到的機內(nèi)合成畫面。StageCraft制作平臺這種“所見即所得”式的影片制作方式使得現(xiàn)場拍攝過程中,各部門間有了一種更直觀、更高效的交流方式,極大地提高了影片的創(chuàng)作效率和影片質(zhì)量,標志著現(xiàn)代數(shù)字電影技術(shù)在虛擬化制作方面的一次巨大進步。

1 LED背景墻和投影法機內(nèi)合成技術(shù)的發(fā)展歷程

1.1 傳統(tǒng)的投影法機內(nèi)合成技術(shù)

StageCraft虛擬化制作平臺的技術(shù)理念可以追溯到1930年代使用投影法制作攝影機機內(nèi)合成畫面的光學特技技術(shù)。投影法合成技術(shù)也稱“銀幕合成”或“放映合成”,這種技術(shù)使用投影機將靜態(tài)或動態(tài)背景投影在后景的幕布上,與前景中的人和物通過一次拍攝合成在一個畫面中。

圖2 背投法 (左)和前投法 (右)技術(shù)示意圖②

投影法在節(jié)省了進行實景拍攝所需的人力和時間成本的同時,存在著一定局限性。由于投影內(nèi)容一般為提前拍攝制作好的背景畫面,很難與拍攝現(xiàn)場攝影機移動帶來的透視變化相匹配,所以使用投影法時很難進行攝影機運動鏡頭的拍攝。此外,投影合成的影像質(zhì)量較差、演員難以與背景內(nèi)容進行互動等問題也很難得到妥善解決。

1.2 綠幕合成技術(shù)

隨著電影技術(shù)的不斷發(fā)展,人們逐漸轉(zhuǎn)向了目前仍然在廣泛使用的利用色差法制作蒙版進行畫面合成的技術(shù),即綠幕合成技術(shù)。相比于傳統(tǒng)的投影法合成技術(shù),綠幕合成有其優(yōu)勢,比如人們終于可以從透視變化的限制中解放出來,較為自由地設(shè)計攝影機的移動。但另一方面,綠幕技術(shù)的出現(xiàn)也帶來了新的問題。首先是動態(tài)光效的配合問題,在現(xiàn)場拍攝前必須預(yù)先設(shè)想好后期特效制作中添加的特效會如何影響場景中演員和燈光的交互,然后再在現(xiàn)場為演員進行現(xiàn)場動態(tài)照明,之后的后期特效制作環(huán)節(jié)也必須配合前期動態(tài)照明效果制作特效,兩者相互制約,為現(xiàn)場布光和后期特效制作都提出了不小的考驗。其次是綠幕拍攝時的綠色溢出問題,當演員距離綠幕過近或者佩戴了反光材質(zhì)的服飾道具時,綠幕的顏色很可能反射到演員身上,給后期合成過程造成很大的困難。此外,演員在周圍綠色的布景中很難把握自身情緒,限制了演員的表現(xiàn)。因此,人們一直在探索一種能夠替代綠幕合成的技術(shù),像傳統(tǒng)投影法一樣可以進行攝影機機內(nèi)合成并且創(chuàng)造動態(tài)照明效果的解決方案。

1.3 利用現(xiàn)代技術(shù)對LED 背景墻和背投技術(shù)的探索

2004年,當導(dǎo)演大衛(wèi)·芬奇為影片 《本杰明·巴頓奇事》(TheCuriousCaseofBenjaminButton,2004,DavidFincher)進行前期準備時,為了得到盡可能逼真的人物眼神,他希望借助南加大創(chuàng)新技術(shù)研究院 (USC ICT)由保羅·德貝維奇 (Paul Debevec)博士領(lǐng)導(dǎo)的團隊在2002年開發(fā)的早期型光臺技術(shù)得到盡可能真實的眼神光。早期型光臺是一套由156個離散的點光源構(gòu)成的球形陣列,對于創(chuàng)造眼神光和模擬豐富多變的環(huán)境光而言過于分散。因此,保羅·德貝維奇提出使用LED 面板作為光源,創(chuàng)造一種布光更加連續(xù)和均勻的光臺設(shè)計方案。

圖3 使用LED面板的光臺設(shè)計方案③

德貝維奇的團隊使用Barco公司提供的LED 面板,將其放置在演員面前,通過播放預(yù)渲染畫面的方式進行了實驗。

2004年的實驗取得了非常成功的結(jié)果,放置于演員面前的LED 面板可以在演員的眼睛中反射出生動的眼神光,并為演員的面部創(chuàng)造盡可能真實的實時照明效果。這個實驗的結(jié)果雖然并沒有被應(yīng)用于《本杰明·巴頓奇事》的影片制作中,但其仍然為后續(xù)影片中使用LED 面板創(chuàng)造動態(tài)光效的技術(shù)奠定了技術(shù)基礎(chǔ)。

圖4 LED創(chuàng)造眼神光的實驗環(huán)境 (左)和實驗結(jié)果 (右)④

在2013年,LED 背景墻創(chuàng)造動態(tài)照明效果的技術(shù)在影片《地心引力》 (Gravity,2013,Alfonso Cuarón)中得到了初次成功的應(yīng)用。為了模擬光源位置的變化,影片的技術(shù)團隊使用196個LED 面板搭建了一個20英尺高、10英尺寬的空心立方體光箱(LightBox),通過將演員置于其中,并播放預(yù)先制作并渲染好的CG 畫面的方式來制作現(xiàn)場動態(tài)光效。這種光箱技術(shù)在當時還處于一種較為粗糙、原始的狀態(tài),面板間的接縫明顯,創(chuàng)造的背景也不夠精細。此外,其使用的LED 面板像素間距較大,面板距離演員的位置較近,如果用攝影機拍攝會產(chǎn)生非常嚴重的摩爾紋現(xiàn)象。因此,在 《地心引力》影片中,LED 創(chuàng)建的背景畫面僅有參考意義,在后期制作階段需要被全部替換。

同年的另一部影片 《遺落戰(zhàn)境》 (Oblivion,2013,Joseph Kosinski)探索了結(jié)合現(xiàn)代投影技術(shù)使用背投法進行攝影機機內(nèi)合成和動態(tài)照明效果的技術(shù)。影片的制作團隊拍攝了多段全景素材,在加入CG 元素后拼接成了一段橫向分辨率為13K、縱向分辨率為2K 的影像片段,并由Lux Machina團隊用21臺PRG 投影機和42英尺高、500英尺周長的環(huán)繞銀幕搭建了一個半環(huán)繞形的背投合成系統(tǒng)。通過對于背投合成系統(tǒng)的成功應(yīng)用,《遺落戰(zhàn)境》影片最終得到了可以用于機內(nèi)合成的高質(zhì)量投影背景,這是用現(xiàn)代技術(shù)結(jié)合傳統(tǒng)背投法進行攝影機機內(nèi)合成的一次成功嘗試。

在2016年的《俠盜一號》(Rogue One,2016,Gareth Edwards)和2018年的《游俠索羅》(Solo:AStarWarsStory,2018,RonHoward)兩部影片的制作中,LuxMachina團隊使用了在預(yù)演播控、實時追蹤投影技術(shù)方面有著豐富項目經(jīng)驗的Disguise系統(tǒng)探索了用投影法和LED 背景墻制作動態(tài)光效的技術(shù)。例如在影片 《游俠索羅》中,制作團隊搭建了千年隼號飛船的駕駛艙,并且在駕駛艙的正面使用背投系統(tǒng)投影預(yù)先制作的超空間傳送動畫,獲得了非常好的動態(tài)照明效果。但是通過總結(jié)項目經(jīng)驗,Lux Machina團隊認為使用現(xiàn)代技術(shù)搭建的背投系統(tǒng)仍然很難滿足對于亮度和色彩還原準確性的要求。在LED 背景墻的探索方面,Lux Machina團隊將使用LED 背景墻進行動態(tài)照明的技術(shù)應(yīng)用在了《游俠索羅》影片的飆車場景中,創(chuàng)造了車輛載具表面高速行駛時反射出的一閃而過的路燈光效。

圖5 《游俠索羅》影片使用的背投系統(tǒng)⑤

在上述影片中使用的LED 背景墻和投影系統(tǒng)一般都可以獲得非常好的動態(tài)照明效果,但是因為投影系統(tǒng)的亮度和色彩還原性無法滿足要求,或因為LED 面板的像素間距較大,容易產(chǎn)生摩爾紋等諸多影像問題,使得其投影、顯示的影像內(nèi)容通常只能為后期合成和特效制作進行參考,在StageCraft虛擬制作平臺出現(xiàn)之前,影片創(chuàng)作者們都很難得到用于攝影機機內(nèi)合成的高質(zhì)量影像。

2 StageCraft制作平臺的系統(tǒng)搭建方案

以StageCraft 技術(shù)開發(fā)團隊在2019 年SIGGRAPH 大會上展示的StageCraft平臺的搭建方案為例,制作現(xiàn)場的StageCraft系統(tǒng)由八臺計算機和一臺多用戶服務(wù)器 (Multiuser Server)組成?，F(xiàn)場有一臺計算機處理攝影機跟蹤信息,并將處理后的攝影機跟蹤數(shù)據(jù)共享給其他計算機;一臺計算機作為虛幻4引擎主機,負責操控和調(diào)試整個虛擬環(huán)境;三臺運行虛幻引擎的渲染機分別對應(yīng)渲染生成三個LED 背景墻展示的畫面內(nèi)容;現(xiàn)場有一臺主機負責處理在拍攝現(xiàn)場無法得到高質(zhì)量攝影機機內(nèi)合成鏡頭時使用的綠幕合成鏡頭,并且進行現(xiàn)場實時合成;另外還有兩臺主機負責拍攝現(xiàn)場的VR 場景探查工作。

在具體的StageCraft系統(tǒng)搭建方案方面,技術(shù)開發(fā)團隊分別嘗試了基于虛幻4引擎LiveLink功能的系統(tǒng)搭建方案和基于多用戶服務(wù)器的系統(tǒng)搭建方案。

圖6 基于LiveLink功能的系統(tǒng)搭建方案

基于Livelink功能的系統(tǒng)搭建方案使用虛幻4引擎的LiveLink功能提供一個通用接口,將外部來源的動畫數(shù)據(jù)送入虛幻4引擎之中,便于用戶在外部編輯動畫的同時在虛幻4引擎中進行實時預(yù)覽。該系統(tǒng)搭建方案使用LiveLink功能設(shè)計了一種多播工作流程,通過將攝影機跟蹤數(shù)據(jù)同時發(fā)送給多臺設(shè)備來盡可能減少系統(tǒng)延遲。此外,在畫面渲染方面,為了保證畫面渲染到LED 背景墻時可以保持同步,因此采用了一種主從機的關(guān)系,只有一臺主機直接接收LiveLink傳輸?shù)臄z影機跟蹤數(shù)據(jù),兩臺渲染機從渲染機主機處獲得跟蹤數(shù)據(jù)。雖然基于LiveLink功能的系統(tǒng)搭建方案可以盡可能減少系統(tǒng)延遲,但是其不能滿足多用戶同時調(diào)用修改一個場景并且實時觀察到其他用戶修改結(jié)果的多用戶協(xié)同創(chuàng)作需求。

在另一種系統(tǒng)搭建方案中,基于多用戶服務(wù)器的系統(tǒng)搭建方案以多用戶服務(wù)器為中間節(jié)點,所有運行虛幻4引擎的設(shè)備均與其相連,攝影機跟蹤數(shù)據(jù)先傳遞給多用戶服務(wù)器,再由其分發(fā)給其它設(shè)備中。該系統(tǒng)搭建方案通過使用虛幻4引擎的多用戶編輯功能,使多個用戶連接至同一實時會話中,使所有用戶都可以共同創(chuàng)建并照常處理虛幻引擎項目,在現(xiàn)場的每個用戶都可以實時觀察到彼此對項目應(yīng)用的更改。

圖7 基于多用戶服務(wù)器的系統(tǒng)搭建方案

此外,為了保證三臺渲染機渲染畫面同步,技術(shù)團隊在系統(tǒng)設(shè)計時使用了Nvidia Quadro Sync功能作為Genlock同步信號發(fā)生器,并采用將同步信號同時傳輸給虛幻引擎主機和三臺渲染機的方式來保證設(shè)備之間和渲染生成畫面間的同步。實時合成和場景探查機在拍攝現(xiàn)場對于畫面同步的需求不高,因此并沒有接入Genlock信號進行畫面同步。

圖8 添加遠程控制功能后的整體系統(tǒng)搭建方案

由于整套StageCraft系統(tǒng)由多臺設(shè)備組成,需要占用一部分現(xiàn)場拍攝空間,所以整套系統(tǒng)和設(shè)備操作人員需要在LED 顯示設(shè)備環(huán)繞區(qū)域以外進行搭建和工作,這不便于導(dǎo)演和攝影等現(xiàn)場創(chuàng)作人員與系統(tǒng)技術(shù)人員之間的溝通協(xié)作。為了使現(xiàn)場創(chuàng)作人員可以以更直觀和便捷的方式在平臺內(nèi)部調(diào)試虛擬空間,技術(shù)開發(fā)團隊為ipad設(shè)備開發(fā)了StageCraft平臺遠程控制應(yīng)用軟件,并將設(shè)備通過遠程控制服務(wù)器與虛幻引擎主機相連,這樣使得現(xiàn)場創(chuàng)作人員可以站在平臺內(nèi)部便捷、快速地對渲染生成的虛擬場景進行場景選取、亮度色彩改變和空間位置移動等細節(jié)調(diào)整,并將調(diào)整結(jié)果保存為預(yù)設(shè),方便再次調(diào)用。

3 StageCraft制作平臺的技術(shù)優(yōu)勢和代表性技術(shù)問題

3.1 StageCraft制作平臺的技術(shù)優(yōu)勢

與背投法或綠幕法等傳統(tǒng)影片制作方法相比,StageCraft制作平臺是一種具有非常大優(yōu)勢和發(fā)展?jié)摿Φ男屡d影片虛擬化制作技術(shù)。StageCraft制作平臺的出現(xiàn)為電影創(chuàng)作者們帶來了一種真正的 “所見即所得”式的影片制作方式,讓影片創(chuàng)作者可以通過在拍攝現(xiàn)場對游戲引擎實時渲染生成的場景進行調(diào)整并以實時反饋的方式得到盡可能真實、生動的可交互式拍攝環(huán)境和動態(tài)照明效果,避免了使用綠幕合成時容易產(chǎn)生的綠色溢出和匹配制作動態(tài)照明效果等問題,也可以減少工作人員在傳統(tǒng)綠幕虛擬制作環(huán)境中長時間工作后容易產(chǎn)生的單調(diào)、疲勞感。其次,使用StageCraft制作平臺可以在拍攝現(xiàn)場直接得到由攝影機機內(nèi)合成所得的高質(zhì)量影像畫面,在減少后期制作環(huán)節(jié)工作量的同時,顯著提高了在拍攝現(xiàn)場的拍攝制作效率。此外,StageCraft平臺也讓參與制作的各部門間有了一種更直觀、更高效的交流方式,減少了各個制作部門間的溝通成本。后期視效工作者可以通過這種后期前置的工作流程,廣泛參與到影片前期的創(chuàng)作工作中,更好地掌握導(dǎo)演、攝影和美術(shù)等創(chuàng)作者的創(chuàng)作意圖,并使其在整個制作過程中可以得到更好的貫徹和執(zhí)行,以得到更好的整體影片質(zhì)量。

3.2 StageCraft制作平臺尚存的代表性技術(shù)問題

盡管StageCraft技術(shù)具有巨大的技術(shù)優(yōu)勢和未來發(fā)展?jié)摿?但是使用目前技術(shù)搭建的StageCraft制作平臺在影片 《曼達洛人》的制作過程中也出現(xiàn)了一些值得探討的具有代表性的技術(shù)問題。

圖9 SIGGRAPH 大會上出現(xiàn)明顯偏色和摩爾紋等問題的天幕部分LED面板⑥

圖10 使用StageCraft系統(tǒng)顯示綠幕進行合成替換⑦

首先,目前StageCraft平臺所使用的LED 技術(shù)有其局限性。《曼達洛人》影片項目使用了洲明雷迪奧(ROE)系列的BlackPearlBP2型LED 面板搭建環(huán)幕、使用Carbon CB5 型 的LED 面板搭建天幕。受目前LED 技術(shù)的限制,LED 面板可視角度較窄,從極端角度觀察會產(chǎn)生明顯的偏色現(xiàn)象。此外,LED 光源是一種窄帶光譜光源,這使其色彩還原性能較差,很難準確還原某些特定色彩。LED面板顯示的高亮度畫面內(nèi)容也很容易在LED 面板間,特別是環(huán)繞形LED 面板和LED 天幕之間相互反射,造成光源污染。LED 面板像素間距較大也使其容易出現(xiàn)摩爾紋等影像問題,難以得到可供機內(nèi)合成的高質(zhì)量畫面。 《曼達洛人》影片和SIGGRAPG 大會上搭建的LED 天幕所使用的CB5 型LED 面板在像素間距、像素密度和可視角度方面均不如搭建環(huán)幕所用的BP2 型面板,這使得StageCtaft天幕部分出現(xiàn)的畫面問題尤為明顯,所以影片拍攝過程中所有包含LED 天幕的畫面均需在后期合成階段進行替換。

當演員或攝影機調(diào)度過于接近LED 背景墻時,可能使背景墻清晰地處于攝影機焦內(nèi)范圍,使拍攝畫面出現(xiàn)摩爾紋或者讓觀眾發(fā)現(xiàn)LED 背景墻的存在。因此,在這種情況下仍然需要使用StageCraft系統(tǒng)顯示出足以勾勒出演員輪廓的一部分綠幕畫面,用傳統(tǒng)綠幕摳像手段加以合成,使得StageCraft技術(shù)目前仍難以完全擺脫對傳統(tǒng)綠幕合成手段的依賴。

其次,在場景布置方面,StageCraft制作平臺在拍攝現(xiàn)場會產(chǎn)生實景與背景墻畫面相匹配的問題。在《曼達洛人》影片項目中,美術(shù)部門制作了可能用到的道具和布景,并且經(jīng)過攝影測量和照片建模后導(dǎo)入了虛幻4引擎中,但是經(jīng)過虛幻4引擎的渲染后,呈現(xiàn)在LED 背景墻上的最終結(jié)果仍然和現(xiàn)場搭建的布景存在差異。特別是對于延伸入LED 背景畫面中的布景和道具而言,在對比之下兩者的差異將變得更為明顯。在這種情況下,如果通過更改渲染設(shè)置或者調(diào)整虛擬資產(chǎn)的手段匹配現(xiàn)場布景,則可能進一步造成環(huán)境光效果的改變。因此在現(xiàn)場拍攝時往往需要美術(shù)組在現(xiàn)場重新噴涂調(diào)整布景,以匹配實時渲染結(jié)果。此外,LED 背景墻和前景地面的接縫處以及LED 面板間的接縫處也會存在難以忽視的拼接縫隙,這也需要美術(shù)組在現(xiàn)場配合顯示背景用草、石頭或其他道具加以掩蓋。

圖11 通過時碼發(fā)生器和投影畫面測量畫面延遲⑧

此外,《曼達洛人》影片項目和SIGGRAPH 大會上的StageCraft平臺使用了基于多用戶服務(wù)器的系統(tǒng)搭建方案,這種系統(tǒng)搭建方案可以很好地滿足多用戶協(xié)同創(chuàng)作的需要,但是也會因為數(shù)據(jù)集中處理、統(tǒng)一分發(fā)以及實時渲染高分辨率影像等原因而產(chǎn)生8幀左右的系統(tǒng)延遲。為盡可能減少延遲和渲染工作量,系統(tǒng)會根據(jù)攝影機的實時位置和視角在整體LED 背景墻中有選擇地渲染一部分畫面,這部分畫面是實時渲染并帶有攝影機視差變化的高分辨率畫面,用于攝影機機內(nèi)合成,而其余部分畫面則是預(yù)渲染好的低分辨率畫面,用于創(chuàng)造動態(tài)照明效果。此外,系統(tǒng)還會為8幀延遲內(nèi)攝影機的輕微移動預(yù)留多40%的渲染面積。但即使預(yù)留了一定攝影機移動空間,目前仍然無法在StageCraft制作平臺內(nèi)進行大范圍的攝影機移動,這在一定程度上限制了該平臺內(nèi)的攝影機調(diào)度。

4 結(jié)語

綜上所述,StageCraft影片虛擬化制作平臺一方面有著巨大的技術(shù)優(yōu)勢,它的出現(xiàn)為數(shù)字時代進一步提高影片虛擬化制作效率打開了一扇新的大門;另一方面,作為一種結(jié)合了LED、虛擬現(xiàn)實和游戲引擎的新興技術(shù),StageCraft制作平臺在實際應(yīng)用過程中,在LED 顯示系統(tǒng)、游戲引擎的實時渲染、數(shù)據(jù)實時處理和傳輸?shù)确矫?還存在諸多亟待解決的問題?？傮w而言,StageCraft是一種屬于未來的影片創(chuàng)作方式,倘若假以時日,隨著LED 或其它影像顯示系統(tǒng)的不斷發(fā)展,計算機圖像渲染和生成手段進一步革新,能夠以更小延遲傳送更多數(shù)據(jù)的數(shù)據(jù)傳輸方式繼續(xù)涌現(xiàn),那么未來某一天,Stage-Craft制作平臺和以其為代表的虛擬化制作技術(shù)必然可以擺脫目前的重重技術(shù)枷鎖,成為一種新的能夠得到廣泛使用的影片制作技術(shù)。

注釋

①圖1來源于American Cinematographer網(wǎng)站相關(guān)圖片。

②圖2來源于Wiki網(wǎng)站相關(guān)圖片。

③圖3來源于fxguide網(wǎng)站相關(guān)圖片。

④圖4來源于fxguide網(wǎng)站相關(guān)圖片。

⑤圖5來源于IndustrialLight&Magic網(wǎng)站相關(guān)圖片。

⑥圖9來源于fxguide網(wǎng)站相關(guān)圖片。

⑦圖10來源于fxguide網(wǎng)站相關(guān)圖片。

⑧圖11來源于SIGGRAPH2019相關(guān)圖片。