虛幻引擎在虛擬拍攝中的應(yīng)用

徐 立

(上海戲劇學(xué)院電影學(xué)院,上海 200040)

1 引言

視覺特效 (VFX)行業(yè)在過去30 年中取得了長(zhǎng)足的進(jìn)步:從1985年上映的《年輕的夏洛克·福爾摩斯》()電影中完全由計(jì)算機(jī)生成的角色,到2019 年真人版 《獅子王》()等令人難以置信的計(jì)算機(jī)三維全環(huán)境制作。視覺特效技術(shù)的發(fā)展主要由大型工作室和故事背后的一批創(chuàng)意頭腦推動(dòng),他們?cè)诳吹綇?qiáng)大虛幻引擎背后的潛力和視覺特效行業(yè)需求指數(shù)增長(zhǎng)后,甚至創(chuàng)建了內(nèi)部實(shí)驗(yàn)室來開發(fā)其全部潛力。

影視制作方發(fā)現(xiàn)最好地有效控制整個(gè)制作流程就是:可以在導(dǎo)演、燈光、攝影、演員之間創(chuàng)造一個(gè)更具協(xié)作性的環(huán)境,讓他們協(xié)同工作一次性完成最終的拍攝鏡頭,而無需后期特效部門將幾個(gè)不同的鏡頭合成為最終的拍攝鏡頭,這樣就大大降低了后期的制作成本和時(shí)間。虛擬制作即將改變制作電影的方式,這不再是新聞。隨著電腦硬件、軟件以及配套硬件的不斷技術(shù)更新,越來越多的工作室開始使用虛擬制作這一影視制作方式,主要有以下幾個(gè)原因:

(1) 它降低了新興電影制片人進(jìn)入影視拍攝的門檻。

(2) 它幫助了制作人對(duì)拍攝環(huán)境和設(shè)計(jì)鏡頭的完全地創(chuàng)造性控制。

(3) 對(duì)于外景拍攝的后勤保障來說,它大大地降低了各種成本,同時(shí)也節(jié)省了時(shí)間。

虛擬制作是電影制作的新領(lǐng)域,其他行業(yè)也開始注意到這一點(diǎn),利用游戲技術(shù)打開了一個(gè)充滿可能性的世界。虛幻引擎和虛擬制片的完美結(jié)合在影視制作行業(yè)正在不斷推廣和發(fā)展,不斷更新發(fā)展的虛幻引擎,也給影視制作行業(yè)帶來了一場(chǎng)革命。虛幻引擎中包含的技術(shù)進(jìn)步將使電影和動(dòng)畫制作變得更加容易,游戲公司將繼續(xù)擴(kuò)展他們的虛幻引擎來構(gòu)建整個(gè)三維環(huán)境和重塑虛擬生產(chǎn)工作流程的能力。

這方面研究將集中于四項(xiàng)主要技術(shù),以及它們?nèi)绾螀f(xié)同工作以實(shí)現(xiàn)虛擬制片。這些技術(shù)包括:虛擬勘景和制作拍攝預(yù)覽、LED 幕墻、虛幻引擎和運(yùn)動(dòng)跟蹤攝像機(jī)。

2 虛擬勘景和制作拍攝預(yù)覽

這項(xiàng)技術(shù)的主要目的是為現(xiàn)實(shí)生活中尚未創(chuàng)建的場(chǎng)景創(chuàng)建一個(gè)3D 環(huán)境,并確保每個(gè)元素都適合制作。利用虛擬現(xiàn)實(shí),導(dǎo)演和攝制組可以 “站”在這個(gè)計(jì)算機(jī)生成的環(huán)境中,預(yù)先想象他們計(jì)劃拍攝的鏡頭。這樣,如果需要任何更改,可以在實(shí)際拍攝之前發(fā)現(xiàn),并為生產(chǎn)節(jié)省時(shí)間和金錢。

拍攝預(yù)覽和勘景是兩個(gè)獨(dú)立的事情,但本質(zhì)上,它們?cè)谔摂M生產(chǎn)環(huán)境中使用相同的工具。它們都使用實(shí)時(shí)游戲引擎,通過虛幻引擎制作虛擬場(chǎng)景將真實(shí)世界環(huán)境引入游戲引擎,并與創(chuàng)意團(tuán)隊(duì)遠(yuǎn)程探索,以確定該場(chǎng)景是否適合制作。在虛幻引擎中,可以模擬不同的現(xiàn)實(shí)世界的照明風(fēng)格,解決一些最復(fù)雜的后勤挑戰(zhàn),而無需踏足現(xiàn)場(chǎng)。顯然,這可以節(jié)省整個(gè)創(chuàng)意團(tuán)隊(duì)帶到遠(yuǎn)方所需的旅行機(jī)票、餐飲、酒店、交通、安保等巨大成本。如果需要拍攝的場(chǎng)景現(xiàn)實(shí)中還不存在,比如一些科幻場(chǎng)景,以及舊時(shí)的許多場(chǎng)景,可以在工作室中使用虛幻引擎從頭開始構(gòu)建。

影視作品實(shí)拍之前的拍攝預(yù)覽可以在虛幻引擎中制作完成。在已完成的虛擬勘景基礎(chǔ)上,將整部或部分作品在虛幻引擎中制作完成,在這個(gè)層面上,導(dǎo)演的創(chuàng)作意圖可以在實(shí)拍之前在虛幻引擎軟件中進(jìn)行虛擬制片、編輯和導(dǎo)出整個(gè)電影序列或場(chǎng)景。這有助于創(chuàng)作團(tuán)隊(duì)確定當(dāng)天在拍攝現(xiàn)場(chǎng)要做出哪些創(chuàng)造性選擇,以避免重拍或代價(jià)高昂的延遲。雖然拍攝預(yù)覽在電影和電視界并不新鮮,但在游戲引擎中實(shí)時(shí)創(chuàng)建拍攝預(yù)覽的方式讓不懂3D 軟件的創(chuàng)作團(tuán)隊(duì)中的不同成員更能接受這種工作方式,這種方式確保主創(chuàng)團(tuán)隊(duì)中每個(gè)人都能通過觀看拍攝預(yù)覽,認(rèn)可和確認(rèn)最終要拍攝的視覺內(nèi)容。

3 LED幕墻

在迪士尼的 《曼達(dá)洛人》取得巨大成功后,隨著工業(yè)光魔公司 (ILM)發(fā)布該系列的幕后制作花絮,LED 幕墻技術(shù)開始為公眾所知。這個(gè)特效制作公司主要展示了他們的LED 顯示技術(shù),LED 顯示墻通過顯示在軟件中實(shí)時(shí)渲染好的虛擬場(chǎng)景,讓演員和導(dǎo)演能夠直接與虛擬的場(chǎng)景進(jìn)行互動(dòng),以便他們能夠拍出更好的作品。

LED 幕墻技術(shù)正在取代傳統(tǒng)影視作品拍攝中使用的藍(lán)色和綠色屏幕技術(shù)。早期和目前的影視特效中大量用到綠幕技術(shù),綠幕技術(shù)是使用一個(gè)大的綠色背景,放置在拍攝的背景中,以便以后使用數(shù)字特效將被拍攝素材中的綠色部分用特效軟件摳掉并保留其他被拍攝的部分。拍攝好的鏡頭需要交給特效制作部門以便利用軟件合成到需要的其他場(chǎng)景中,對(duì)拍攝好的鏡頭還需要對(duì)鏡頭中的燈光、畫面的色調(diào)等進(jìn)行調(diào)整以匹配其他場(chǎng)景鏡頭的燈光、畫面的色調(diào),這種工作量巨大而且非常繁瑣?，F(xiàn)在通過LED 屏幕直接改變一切,被拍攝物體的反射、LED上顯示的虛擬背景場(chǎng)景和道具都在一個(gè)燈光環(huán)境中,它們?cè)谕粋€(gè)燈光環(huán)境中的光影變化可以實(shí)時(shí)表現(xiàn)出來,看上去非常真實(shí)自然。這樣就無需特效制作部門進(jìn)行不同鏡頭素材的合成匹配工作。

4 虛幻引擎

虛幻引擎是英佩游戲公司 (EPIC)開發(fā)的專有游戲引擎,于1998年首次與同名的第一人稱射擊游戲《虛幻》一起推出。自成立以來,虛幻引擎已擴(kuò)展到三維游戲領(lǐng)域,并已發(fā)布最新的迭代版本虛幻引擎5(UE5)。虛幻引擎5通過在令人驚嘆的視覺內(nèi)容、基于節(jié)點(diǎn)結(jié)構(gòu)的特效系統(tǒng)、高性能物理系統(tǒng)、世界建筑等方面引領(lǐng)行業(yè),將互動(dòng)體驗(yàn)提升到新的水平。

目前它不僅是一款優(yōu)秀的游戲制作軟件,而且許多電影制作人已經(jīng)開始將虛幻引擎應(yīng)用于電影拍攝、電視拍攝、視頻制作和其他商業(yè)項(xiàng)目。作為一項(xiàng)高新技術(shù),虛幻引擎仍處于視頻專業(yè)人士開發(fā)和應(yīng)用的階段。它的全部用途尚未完全實(shí)現(xiàn),但其為虛擬制片提供了一種強(qiáng)大的方法,可以將虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)與CGI和拍攝到的場(chǎng)景無縫地結(jié)合起來。工作室可以在舞臺(tái)上拍攝并實(shí)時(shí)查看虛幻引擎生成的虛擬圖形,改變拍攝位置就像換掉背景一樣簡(jiǎn)單,導(dǎo)演、演員可以看到最終拍攝出的影視素材并立即在虛幻引擎中進(jìn)行更改。虛幻引擎引領(lǐng)著跨行業(yè)的虛擬制作,為創(chuàng)意的拓展提供了豐富的可能性。

如果沒有英佩游戲公司開發(fā)的虛幻引擎的幫助,這種LED 幕墻技術(shù)將難以實(shí)現(xiàn)。虛幻引擎既可以進(jìn)行實(shí)時(shí)照片級(jí)真實(shí)感渲染和實(shí)時(shí)光線跟蹤,而且還有一個(gè)額外的好處,即在拍攝過程中能夠在相機(jī)和物體之間獲得精確的視差。另一個(gè)不同尋常的特點(diǎn)是,通過虛幻引擎還可以制作逼真自然的虛擬三維角色和場(chǎng)景中的動(dòng)畫,并讓演員與之進(jìn)行一定程度的互動(dòng)。目前,越來越多的工作室使用虛幻引擎進(jìn)行虛擬制片。

使用虛幻引擎為虛擬制作創(chuàng)建數(shù)字文檔有助于團(tuán)隊(duì)中的每個(gè)人從拍攝開始就理解最終的拍攝視覺效果。這是因?yàn)槭褂脤?shí)時(shí)游戲引擎比其他三維動(dòng)畫軟件可以做更多的工作。它可以幫助導(dǎo)演、場(chǎng)景設(shè)計(jì)師、演員和其他工作人員了解虛擬場(chǎng)景的“真實(shí)”物理性,從而創(chuàng)建高質(zhì)量的視覺效果,跟上不斷的拍攝調(diào)整和場(chǎng)景變化,避免長(zhǎng)時(shí)間審查的瓶頸和重新拍攝的風(fēng)險(xiǎn)?，F(xiàn)在,拍攝團(tuán)隊(duì)的每個(gè)人都可以快速做出決策并實(shí)時(shí)調(diào)整虛幻引擎中的數(shù)字文檔。

假設(shè)拍攝團(tuán)隊(duì)正在創(chuàng)建一個(gè)將顯示在LED 墻上的背景。在任何人進(jìn)入片場(chǎng)之前,虛擬藝術(shù)團(tuán)隊(duì)可以使用虛幻引擎建造三維樹木、山脈、城市、街景和其他組件。這些數(shù)字文檔可以在拍攝整個(gè)電影中使用,而且可以反復(fù)使用以滿足不同的拍攝要求。特效團(tuán)隊(duì)不需要在拍攝完成后進(jìn)行后期特效處理,使用虛幻引擎進(jìn)行虛擬制片可以將人物、道具等與虛擬物體和場(chǎng)景一次拍完,而不需要綠幕摳像技術(shù)的介入。

這些數(shù)字文檔甚至可以用于其他拍攝項(xiàng)目。如果制作人員以正確的方法管理和存儲(chǔ)這些數(shù)字文檔。工作室可以對(duì)這些創(chuàng)建的內(nèi)容稍加修改和調(diào)整,以便快速交付給其他項(xiàng)目使用。這使得整個(gè)創(chuàng)作過程更加高效和一致。

虛幻引擎的強(qiáng)大功能之一就是可以儲(chǔ)存大文件和海量的數(shù)據(jù),同時(shí)制作人員可以實(shí)時(shí)快速調(diào)用這些數(shù)據(jù),這使得虛幻引擎成為一個(gè)高效穩(wěn)定的系統(tǒng)。

在2022年發(fā)布的新版本虛幻引擎5中,有兩個(gè)新增加的主要功能Nanite和Lumen,更新后的虛幻引擎功能得到了實(shí)質(zhì)性的增強(qiáng)。

使用虛擬化微多邊形幾何體系統(tǒng)Nanite,可以供用戶輕松創(chuàng)建擁有海量細(xì)節(jié)的游戲和其他極其復(fù)雜的三維模型。Nanite系統(tǒng)可以直接導(dǎo)入由數(shù)百萬多邊形組成的影視級(jí)高精度的數(shù)字模型以及相關(guān)的數(shù)字文檔(包括通過Zbrush軟件創(chuàng)作的任何雕塑以及攝影測(cè)量掃描資產(chǎn)),將它們?cè)谔摂M場(chǎng)景中反復(fù)布置數(shù)百萬次之多,在其操作中始終保持實(shí)時(shí)幀率,同時(shí)沒有任何明顯的保真度損失。Nanite可智能流送并處理你能觀察到的細(xì)節(jié),在極大程度上解除了多邊形數(shù)量和繪制調(diào)用的限制,并省去了一些極其費(fèi)時(shí)的工作,讓你專注于創(chuàng)意工作。使用Nanite的好處包括:

(1)可使用幾何體的復(fù)雜程度增加了多個(gè)數(shù)量級(jí),可視的三角形和物體數(shù)量比以前實(shí)時(shí)顯示要多得多。

(2)幀預(yù)算不再受多邊形數(shù)量、繪制調(diào)用順序和網(wǎng)格內(nèi)存使用的限制。

(3)現(xiàn)在可以直接導(dǎo)入電影質(zhì)量的原始文件,例如ZBrush造型和攝影測(cè)繪掃描。

(4)使用高多邊形細(xì)節(jié)而不是將細(xì)節(jié)烘焙到法線貼圖紋理中。

(5)細(xì)節(jié)級(jí)別 (LOD)自動(dòng)處理,不再需要手動(dòng)設(shè)置單個(gè)物體的LOD。

(6)物體顯示精度損失很少或不存在,尤其是LOD的轉(zhuǎn)換。

Lumen是一套全動(dòng)態(tài)全局光照解決方案,可以讓你創(chuàng)造出動(dòng)態(tài)、可信的場(chǎng)景——在這里,間接光照會(huì)根據(jù)直接光照或幾何體的變動(dòng)實(shí)時(shí)發(fā)生改變:例如根據(jù)天時(shí)改變太陽光角度、打開手電筒或打開一扇通向戶外的門。有了Lumen,你再也無需編輯光照貼圖UV,等待光照貼圖生成完成或放置反射捕捉;Lumen 會(huì)自動(dòng)生成附近場(chǎng)景表面的參數(shù)化,稱為Surface Cache。它用于快速查找場(chǎng)景中光線命中點(diǎn)的照明。Lumen從多個(gè)角度捕獲每個(gè)網(wǎng)格的材料屬性。這些捕獲位置 (稱為卡片)是為每個(gè)網(wǎng)格離線生成的。你只需在虛幻編輯器中創(chuàng)建并編輯光源,就能看到和游戲在主機(jī)上運(yùn)行時(shí)完全相同的最終光照效果。

5 運(yùn)動(dòng)跟蹤攝像機(jī)

虛幻引擎能在攝像機(jī)拍攝中實(shí)時(shí)捕捉到攝像機(jī)在空間運(yùn)動(dòng)中的位置,并把捕捉到的位置信息傳輸回虛幻引擎。虛幻引擎將根據(jù)這些攝像機(jī)的位置信息實(shí)時(shí)調(diào)整虛幻引擎中的虛擬攝像機(jī)的位置,這樣虛幻引擎中呈現(xiàn)的虛擬場(chǎng)景畫面就會(huì)和真實(shí)的攝像機(jī)的拍攝視角完美地匹配。在虛幻引擎中可以使用工具捕捉物體、演員或相機(jī)的運(yùn)動(dòng),是虛擬制作中一個(gè)重要的部分。事實(shí)上,真實(shí)的類人運(yùn)動(dòng)可以實(shí)時(shí)編碼到3D 圖形引擎中,以完成大量工作,包括:

(1) 捕捉人體的運(yùn)動(dòng),將其應(yīng)用到動(dòng)畫角色上。

(2) 捕捉道具的移動(dòng),將其應(yīng)用到復(fù)雜動(dòng)畫上。

(3) 捕捉三維空間中虛擬攝像機(jī)的運(yùn)動(dòng),以便保持?jǐn)z像機(jī)運(yùn)動(dòng)和虛擬攝像機(jī)運(yùn)動(dòng)產(chǎn)生視覺扭曲的同時(shí),改變虛擬場(chǎng)景中的背景。

6 總結(jié)

2019年新冠肺炎疫情后,由于人們的出行受到一定的限制,導(dǎo)致使用虛幻引擎進(jìn)行虛擬制片技術(shù)的應(yīng)用不斷增加。在這段時(shí)間里,人們通過可以遠(yuǎn)程控制的虛擬環(huán)境,同時(shí)讓導(dǎo)演、攝影導(dǎo)演和藝術(shù)家一起在室內(nèi)工作。這些技術(shù)主要在大型影視作品的拍攝中進(jìn)行了探索和完善,《曼達(dá)洛人》和《權(quán)力游戲》等節(jié)目是虛擬制片中一些技術(shù)的應(yīng)用典范。現(xiàn)在,隨著這些技術(shù)的不斷傳播,我們已經(jīng)看到許多新的影視作品都在使用虛幻引擎進(jìn)行虛擬制片。越來越多的影視制作團(tuán)隊(duì)之所以在虛擬制片中使用虛幻引擎是因?yàn)樘摶靡婵梢灾谱鞒稣掌?jí)逼真的全三維場(chǎng)景和虛擬角色,制作中使用的貼圖根據(jù)需要可達(dá)到8K 的分辨率;不僅可制作靜態(tài)的場(chǎng)景,而且可以制作豐富的三維動(dòng)畫;虛幻引擎中三維場(chǎng)景和虛擬人物在拍攝中隨時(shí)可以根據(jù)創(chuàng)作團(tuán)隊(duì)的拍攝要求進(jìn)行動(dòng)態(tài)調(diào)整,調(diào)整后的視覺效果是實(shí)時(shí)輸出的,這樣就節(jié)省了大量渲染時(shí)間,從而降低了拍攝成本和時(shí)間。計(jì)算機(jī)硬件的不斷完善和提升是虛擬制片得以發(fā)展的一項(xiàng)前提條件,特別是CPU 和GPU 每出現(xiàn)一個(gè)新版本,虛幻引擎的功能就更加強(qiáng)大,這意味著圖像真實(shí)度會(huì)進(jìn)一步提升。當(dāng)然,專業(yè)公司將繼續(xù)開發(fā)虛幻引擎,以利用諸如光線追蹤這類全新實(shí)時(shí)技術(shù),從而進(jìn)一步提高圖像質(zhì)量。

根據(jù)特效部門的制片人、視覺特效藝術(shù)家和電影制片廠、制片人的介紹,好萊塢電影行業(yè)可能正在達(dá)到使用傳統(tǒng)的電影制作方法的上限。而使用虛擬制片的思路和各種制作工具不僅讓更好的創(chuàng)意得到實(shí)現(xiàn),而且極大地降低了電影制作的時(shí)間和成本。

電影拍攝的實(shí)時(shí)可視化有助于加強(qiáng)整個(gè)制作流程的規(guī)劃,提高拍攝效率并減少昂貴的重新拍攝的發(fā)生。以好萊塢電影行業(yè)為例,重拍行為是常見于高預(yù)算電影制作,其重拍費(fèi)用比例占總成本的5%到20% (甚至有時(shí)更高)。雖然不是每個(gè)劇本或?qū)а荻挤浅＿m合使用演員直接在LED 幕墻前表演這種拍攝制作方式。但是,毋庸置疑虛擬拍攝節(jié)省了拍攝團(tuán)隊(duì)的旅行費(fèi)用、拍攝設(shè)備的運(yùn)輸、和搭建實(shí)景的成本,從而大大降低了整個(gè)制作成本。一些高預(yù)算的影片如科幻片和魔幻片,其特效制作成本高達(dá)總預(yù)算的20%,利用LED 幕墻進(jìn)行拍攝可以減少后期合成和摳像(Rotoscoping)的步驟,同時(shí)拍攝人員可以在拍攝前快速進(jìn)行反復(fù)測(cè)試以確定其最終效果。

總之,虛擬拍攝具有迭代性和創(chuàng)造性。在整個(gè)制作中,虛幻引擎為虛擬制片而制作的各種數(shù)字資產(chǎn)可用于目前的拍攝策劃和拍攝制作。由于其數(shù)字屬性使得其容易在整個(gè)過程中不斷完善修改最終的外觀和感覺。同時(shí),虛幻引擎制作的這些數(shù)字資產(chǎn)又可以被其他的拍攝項(xiàng)目重復(fù)使用并按照制片人、導(dǎo)演的意圖進(jìn)行修改,節(jié)省了大量制作時(shí)間和拍攝成本。計(jì)算硬件的不斷完善和提升是虛擬制片得以發(fā)展的一項(xiàng)前提條件。特別是,CPU 和GPU 每出現(xiàn)一個(gè)新版本,虛幻引擎的功能就更加強(qiáng)大。這意味著圖像真實(shí)度會(huì)進(jìn)一步提升。當(dāng)然,英佩游戲公司將繼續(xù)開發(fā)虛幻引擎,以利用諸如光線追蹤這類全新實(shí)時(shí)技術(shù),從而進(jìn)一步提高圖像質(zhì)量。

①引自https://www.unrealengine.com/zh-CN/unreal-engine-5。