游戲引擎在電影工業(yè)中的應(yīng)用研究

焦垚楠

1.浙江傳媒學(xué)院華策電影學(xué)院,浙江杭州 310018 2.北京師范大學(xué)藝術(shù)與傳媒學(xué)院,北京 100091

游戲引擎 (Game Engine)是為視頻游戲開發(fā)設(shè)計而提供的軟件框架,其核心功能通常包括渲染引擎、物理引擎、聲音系統(tǒng)、動畫系統(tǒng)、腳本引擎、輸入系統(tǒng)、人工智能及場景管理等,目的是讓開發(fā)者、設(shè)計師及其他創(chuàng)作者能夠不從零開始,利用現(xiàn)有工具便捷地構(gòu)建出自己想要的游戲或相關(guān)項目。提及游戲引擎,如今已是Unreal和Unity二分天下的局面,而在電影工業(yè)生產(chǎn)中,Unreal則占據(jù)著不可逾越的位置,回顧游戲引擎的發(fā)展歷史,便可看出游戲與電影的制作生產(chǎn)是如何產(chǎn)生交集的。

游戲引擎根本上是一種代碼的重用,即借助別人已經(jīng)開發(fā)的工具,來進(jìn)一步完成自己的設(shè)想。自20世紀(jì)80 年代開始,大量的電子游戲涌現(xiàn)市場,這些游戲往往各自獨立開發(fā)和發(fā)行,盡管某些游戲公司和開發(fā)者可能在自己的游戲中重用了部分代碼,但不同游戲的代碼不會相互公開,也沒有人試圖借助別人的代碼來創(chuàng)建自己的游戲。直到20世紀(jì)90年代,受益于游戲開發(fā)共享需求,以及家庭計算機(jī)和游戲機(jī)的普及,游戲引擎的概念開始出現(xiàn)。

Id Software的Doom (《毀滅戰(zhàn)士》,1993)和Quake(《雷神之錘》,1996)兩款風(fēng)靡一時的游戲發(fā)布后,其他開發(fā)者可以直接借助軟件的核心部分來設(shè)計他們自己的圖形、角色、武器和關(guān)卡,將特定的游戲規(guī)則與通用的游戲框架分開,極大優(yōu)化了團(tuán)隊的分工和工作效率。

隨后,Id Software的Quake III Arena和Epic Games的虛幻引擎(Unreal Engine)均采用該思路進(jìn)行設(shè)計,引擎和內(nèi)容分別進(jìn)行開發(fā),可重復(fù)使用的引擎使開發(fā)游戲續(xù)作更快更容易,這在競爭激烈的視頻游戲行業(yè)顯得尤為重要。2000年左右,Epic和Id Software之間還存在著激烈的競爭,但不久后,Epic的虛幻引擎取得了壓倒性的優(yōu)勢,并在近些年延伸到了虛擬仿真、建筑、教育、裝飾、主題樂園等各個領(lǐng)域。

電影作為現(xiàn)代高品質(zhì)數(shù)字視聽技術(shù)的應(yīng)用綜合體,不少游戲引擎都意愿涉足其中,例如德國Crytek公司的CryEngine 就試圖基于該引擎開發(fā)出Film Engine,首次提出將電影制作流程嵌入游戲引擎,它聲稱將提供一套集成的工具,允許用戶在電影制作中涉及的所有不同領(lǐng)域 (例如預(yù)演、動畫、照明和剪輯)并行和實時地工作。除了這種實時電影制作流程外,Film Engine還利用了其它實時技術(shù),尤其是在虛擬攝制中使用的技術(shù),例如動作捕捉、攝像機(jī)跟蹤、機(jī)器學(xué)習(xí)模型和綠屏合成。

然而,Film Engine卻未能如愿發(fā)布,而虛幻引擎則在隨后的幾年內(nèi)在電影領(lǐng)域得到應(yīng)用。虛幻引擎4 (UE4)能夠帶來接近電影畫面質(zhì)量的實時渲染效果,而Epic最新推出的虛幻引擎5 (UE5)更是憑借虛擬化微多邊形系統(tǒng)Nanite和Lumen實時動態(tài)全局照明系統(tǒng)兩大核心功能,顛覆了傳統(tǒng)電影制作,突破了電影與游戲生產(chǎn)的邊界。

1 游戲引擎與電影工業(yè)

游戲引擎最初是作為視頻游戲的一種底層管道開發(fā)的,近些年越來越成為電影制作人喜愛的工具,他們借助引擎將實時視覺效果添加到部分制作過程中。起初,好萊塢對游戲引擎的使用主要限于斯皮爾伯格和工業(yè)光魔(ILM)開創(chuàng)的前期可視化流程,但隨著實時計算優(yōu)化的圖形處理芯片組變得越來越強(qiáng)大,游戲引擎在整個工作流程中發(fā)揮著越來越多的作用,從前期預(yù)演的參考影像逐步擴(kuò)展至后期制作,甚至直接以最終影像出現(xiàn)在影院銀幕上。

實際上,游戲引擎作為游戲開發(fā)工具,其特性與電影制作過程在諸多方面存在契合。

首先,游戲制作與電影內(nèi)容制作本就使用大量相同的軟件工具,諸如Maya、3Ds Max、Zbrush等三維內(nèi)容制作軟件,以及Photoshop、After Effects等視頻圖像處理軟件,均廣泛應(yīng)用在電影視效制作流水線、CG 動畫電影和預(yù)演當(dāng)中,同時也是游戲引擎資產(chǎn)對接的重要工具。

第二,游戲引擎和電影虛擬攝制對于CG 類虛擬資產(chǎn)的需求是幾乎一致的,主要包括虛擬角色數(shù)字資產(chǎn)、虛擬置景數(shù)字資產(chǎn)以及虛擬攝制設(shè)備數(shù)字資產(chǎn)三類,為滿足電影虛擬攝制實時效果,三類資產(chǎn)往往依據(jù)具體資產(chǎn)對象的實際制作目的,將模型、材質(zhì)、貼圖、動畫、燈光、流體與粒子特效 (如海浪、火山爆發(fā)、破碎、房屋倒塌、煙火)、數(shù)字繪景及渲染數(shù)據(jù)等內(nèi)容和效果集合于一體?；诟黝愘Y產(chǎn)內(nèi)容構(gòu)建虛擬資產(chǎn)庫,可為快速預(yù)演鏡頭的創(chuàng)建提供基礎(chǔ)素材,同時,從前期概念設(shè)計到后期成片制作,整個工業(yè)流程都將受益于虛擬資產(chǎn)庫所帶來的高效性和實時化。

第三,電影制作中的一些非CG 數(shù)字資產(chǎn),也可劃歸在游戲制作和電影制作的共同資產(chǎn)庫中,例如影像素材、色彩查找表 (LUT)、剪輯決策表(EDL)等視覺資產(chǎn),音樂、音響、語言等聽覺資產(chǎn),鏡頭畸變數(shù)據(jù)、運動軌跡數(shù)據(jù)、跟蹤數(shù)據(jù)等其它數(shù)字資產(chǎn)。

最后,電影與游戲中均存在燈光、景深、物理交互等元素需求,隨著電影創(chuàng)作者對虛擬角色、場景、光照、粒子特效等元素的實時交互的需求不斷提升,無論是虛實布光匹配,還是虛擬角色與真人演員實時交互,都無法離開游戲引擎技術(shù),在影棚里拍電影的過程,愈來愈像玩家玩游戲的過程。

游戲引擎使得攝影師在現(xiàn)場可以非常方便地對虛擬場景的燈光風(fēng)格進(jìn)行控制,實時GPU 渲染可以模擬光的顏色、亮度、陰影、范圍、交疊等效果,并做出符合物理原則的視覺表現(xiàn),通過組合不同的燈光以形成不同的布光方式,如三點照明法、人物輪廓光表現(xiàn)、靜物、空間表現(xiàn)等方式,很多攝影的經(jīng)典布光技巧和風(fēng)格在模式整合下可以快速表現(xiàn)。此外,游戲引擎對攝影機(jī)焦點、景深、運動模糊等物理屬性及虛擬角色動畫、空間布局的實時調(diào)整,使得導(dǎo)演和攝影師可以任意調(diào)控虛擬環(huán)境中的任何元素,為其現(xiàn)場創(chuàng)作帶來了極大的便利。

根本上來說,游戲行業(yè)借助游戲引擎已有的代碼和工具來完成自己的項目,而虛擬攝制背景下的電影工業(yè),則借助游戲引擎已有的資產(chǎn)和工具來完成內(nèi)容生產(chǎn),游戲引擎于游戲和電影有著幾近等同的價值。

2 游戲引擎在電影工業(yè)生產(chǎn)中的應(yīng)用案例分析

最初的游戲引擎往往不具備電影制作能力,虛幻引擎的虛擬相機(jī)沒有焦距或靶面設(shè)置,僅有一個視場角,而如今它不僅有焦距、底片、景深、光圈、ISO 和快門速度等電影攝影機(jī)參數(shù),甚至包含了ACES色彩工作流程。像第三樓(The Third Floor)這樣的可視化預(yù)演工作室,在項目中利用虛幻引擎和其它實時引擎來進(jìn)行前期預(yù)演、技術(shù)預(yù)演,以及在生產(chǎn)流程的各個階段使用的各類型動畫,其作品涵蓋多部漫威電影、星戰(zhàn)系列電影,以及 《曼達(dá)洛人》《權(quán)力的游戲》等流行劇集。

圖1 《奇幻森林》中基于Unity引擎的現(xiàn)場實時預(yù)演

將游戲引擎首次引入影片虛擬拍攝現(xiàn)場的是2016年上映的影片《奇幻森林》()。這部由迪斯尼出品、Jon Favreau 執(zhí)導(dǎo)的奇幻冒險片,改編自Rudyard Kipling的同名小說 《森林王子》(),以1967年迪斯尼同名動畫電影作為參考,是一部利用CGI技術(shù)與真人實拍實現(xiàn)完美融合的精良之作,故事講述了在狼群中長大的小男孩毛克利被迫逃離森林,在動物朋友的幫助下,不斷對抗危機(jī)、探索自我的過程。負(fù)責(zé)影片視覺特效的兩家主要公司是MPC (Moving Picture Company)和維塔數(shù)碼 (Weta Digital)。影片中除男主角以外的所有動物角色、叢林場景均為全CGI制作,作為一部以動畫片方式制作的真人電影,該片憑借逼真的特效與一流的視覺表現(xiàn),贏得了第89屆奧斯卡最佳視覺特效獎的榮譽(yù)。

《奇幻森林》的視效總監(jiān)Legato表示,制作團(tuán)隊完全模糊了拍攝前后期的界限,沒有嚴(yán)格的前期預(yù)演、現(xiàn)場拍攝、后期預(yù)演和后期視效制作的生產(chǎn)線之分。當(dāng)然,這并不意味電影制作流程是隨意的,MPC的Adam Valdez強(qiáng)調(diào)他們的拍攝計劃和創(chuàng)作意圖在制作過程中起著非常關(guān)鍵的作用,他們以一種創(chuàng)造性的、循環(huán)迭代的電影虛擬攝制新形式來制作《奇幻森林》,從而讓主創(chuàng)能夠像拍攝實景真人電影一樣完成整部“動畫”電影的制作。

這部影片的成功得益于商業(yè)游戲引擎在電影現(xiàn)場預(yù)演中的應(yīng)用?！栋⒎策_(dá)》虛擬拍攝中使用的動畫軟件MotionBuilder,擁有較好的實時渲染效果,但照明效果與畫面細(xì)節(jié)表現(xiàn)一般,《奇幻森林》采用了Unity來完成三維虛擬場景的實時可視化,Unity是一款免費的游戲引擎,許多PC 和移動端游戲都基于該引擎開發(fā)。借助該引擎,制作組可以在工作中隨時控制虛擬世界的光照,如光線方向、強(qiáng)弱、色溫等,并實時與現(xiàn)場光照進(jìn)行匹配,以營造故事所需的環(huán)境效果,除了精心布置的燈光,現(xiàn)場還將LED 面板進(jìn)行編程來創(chuàng)造大象或水牛經(jīng)過時的特殊陰影。此外,Unity可對實拍所用的Alexa攝影機(jī)進(jìn)行實時模擬,并能隨時根據(jù)實際需求更換鏡頭,在虛擬空間呈現(xiàn)不同的景深和曝光效果。引擎還能實時添加煙塵、雨霧、火焰等粒子效果,對于氣氛營造和視覺處理有著相當(dāng)出色的表現(xiàn)。

《奇幻森林》對于電影虛擬化制作技術(shù)的充分利用,體現(xiàn)了新技術(shù)為電影藝術(shù)表達(dá)、故事創(chuàng)作帶來的全新變革,正如影片導(dǎo)演Favreau所說,這不僅是對影視技術(shù)的應(yīng)用和發(fā)展,更是一次重要嘗試,讓你能夠在現(xiàn)場看到更多、想到更多,從而在成片之前就能對最終效果進(jìn)行評判和決策。隨后,他們在2019年上映的動畫電影《獅子王》中利用VR 與游戲引擎開發(fā)出了一套全新的虛擬攝制流程。他們在虛幻引擎內(nèi)構(gòu)建好所需的虛擬制作工具,利用VR 設(shè)備在虛擬空間中模擬真人電影制作,所有的虛擬環(huán)境都是由MPC 的藝術(shù)家提前做好,每個角色都有相應(yīng)的關(guān)鍵幀動畫。主創(chuàng)可以像走進(jìn)真實場景一樣走入故事世界,將攝影機(jī)放在任何想要的位置,如同真實拍攝一般完成虛擬內(nèi)容創(chuàng)作。

圖2 《獅子王》結(jié)合VR 與虛幻引擎進(jìn)行前期創(chuàng)作

哥本哈根信息技術(shù)大學(xué)計算機(jī)游戲研究中心助理教授保羅·布雷利在 《游戲攝影:從攝像機(jī)控制到玩家情緒》中指出,虛擬攝影機(jī)和真實攝影機(jī)之間最明顯的區(qū)別在于虛擬攝影機(jī)是一個抽象的結(jié)構(gòu),它定義了虛擬世界呈現(xiàn)給用戶的方式,旨在模擬真實世界攝影機(jī)的行為,在當(dāng)前最先進(jìn)的計算機(jī)圖形技術(shù)中,通過虛擬攝影機(jī)生成的圖像與真實鏡頭已經(jīng)無法區(qū)分。然而,與現(xiàn)實世界的攝影機(jī)不同,虛擬攝影機(jī)在虛擬世界中沒有物理存在,其屬性可以隨著時間的推移而改變,并適應(yīng)拍攝的事件,這些優(yōu)勢讓虛擬攝影機(jī)能夠以更高的自由度和表現(xiàn)力拍攝場景。

游戲引擎配合攝影機(jī)跟蹤,使其成為電影工業(yè)領(lǐng)域舉足輕重的“預(yù)演”工具,直到2019年末開播的美劇《曼達(dá)洛人》,基于LED 背景顯示墻和虛幻引擎的StageCraft系統(tǒng),讓團(tuán)隊在現(xiàn)場就完成了影片的最終鏡頭效果,從此,游戲引擎成為 “最終像素”的生產(chǎn)工具?！堵_(dá)洛人》中有超過一半的鏡頭借助該系統(tǒng)完成,極大減少了對外景地的依賴,該系統(tǒng)的“所拍即所得”根本上得益于虛幻引擎接近于電影級別的實時渲染能力。借助虛幻引擎創(chuàng)建跟蹤對象和演員周圍攝像機(jī)運動的虛擬場景,實時渲染到大型LED 背景顯示墻和大氣照明系統(tǒng),同時實時合成鏡頭、即時編輯虛擬布景,能夠在短時間內(nèi)拍攝多個場景,最終呈現(xiàn)的效果比傳統(tǒng)綠幕摳像效果看起來更自然。在StageCraft方案中,引擎內(nèi)容不再只作為虛擬元素,而是成為實拍的一部分,影響了實拍現(xiàn)場的光線,實時渲染的影像真正成為現(xiàn)實中的環(huán)境。

圖3 《曼達(dá)洛人》中基于LED和虛幻引擎的StageCraft虛擬拍攝系統(tǒng)

經(jīng)過近兩年的技術(shù)更新和推廣,該方案已在《西部世界》第三季 (2020)、《新蝙蝠俠》 (2022)等劇集和影片中得到應(yīng)用,國內(nèi)特效公司、影視基地、研究機(jī)構(gòu)以及大型互聯(lián)網(wǎng)公司也開始積極探索基于LED 屏和虛幻引擎的虛擬制片流程,一方面順應(yīng)了影片制作 “后期前置化”的趨勢,另一方面也適應(yīng)了疫情環(huán)境下人員出行受限、團(tuán)隊合作模式分布化的現(xiàn)狀。

在電影后期制作階段,Autodesk 的Maya 和3Ds Max等傳統(tǒng)3D 動畫軟件長期在視覺效果方面占據(jù)著重要位置,這些3D 軟件追求最終圖像質(zhì)量,而犧牲了效率,圖像渲染時間很容易延長到每幀數(shù)小時甚至數(shù)天,具體取決于鏡頭的復(fù)雜性和硬件的計算能力。游戲引擎相對于傳統(tǒng)的計算機(jī)動畫軟件迭代時間要快得多,盡管在渲染質(zhì)量上遜于傳統(tǒng)離線渲染器,但某些鏡頭依然可根據(jù)故事需求、影像特征需求以及成本考量采用游戲引擎直接渲染。如2016年上映的《星球大戰(zhàn)外傳:俠盜一號》中,機(jī)器人K-2SO 的部分鏡頭便是由虛幻引擎進(jìn)行渲染。虛幻引擎5的出現(xiàn),為實時渲染進(jìn)入電影工業(yè)后期環(huán)節(jié)進(jìn)一步打開了大門,配合圖形顯卡的性能和軟件算法的提升,未來的電影制作將不斷突破時間與效果的限制。

3 疫情時代游戲引擎的應(yīng)用價值

隨著2020年新冠肺炎疫情的到來,電影制作逐漸向封閉式創(chuàng)作、遠(yuǎn)程交互協(xié)作的方向發(fā)展,游戲引擎給大團(tuán)隊協(xié)作與小規(guī)模創(chuàng)作帶來極大便利,越來越多電影工作者使用游戲引擎提升電影制作效率。

在疫情發(fā)生之前,影片拍攝現(xiàn)場往往擠滿了技術(shù)人員和工作人員,受限于疫情防控之下避免人員聚集的相關(guān)政策,原始方式制作電影變得極為困難,跨地區(qū)外出取景也因之受限,制片公司需要不斷采取新的數(shù)字手段完成電影制作。如今,借助游戲引擎,電影人可以完全在數(shù)字環(huán)境下創(chuàng)作電影,通過現(xiàn)場LED 屏幕和游戲引擎來創(chuàng)建場景擴(kuò)展,電影制作者可以將演員和工作人員帶到世界任何地方。許多導(dǎo)演正在嘗試使用這類工具來完成他們的制作,借助其它軟件進(jìn)行視頻通信并記錄游戲引擎內(nèi)部所做的每一個更改,所有工具完美結(jié)合,讓員工可以全程遠(yuǎn)程工作。

2021 年10 月發(fā)布的懸疑短片,是團(tuán)隊借助虛幻引擎5搶先體驗版和Meta Human Creator在六周時間內(nèi)完成的創(chuàng)作,影片講述了星際維修工Valentina被派往一顆遙遠(yuǎn)星球修理無人機(jī),在那里她遇到了一只充滿敵意的外星生物和一股不讓她離開的陌生勢力。影片中的飛船和環(huán)境通過TurboSquid和Quixel Megascans在虛幻引擎內(nèi)創(chuàng)建,團(tuán)隊試圖將所有的創(chuàng)意都圍繞著如何使用這些資產(chǎn)創(chuàng)作一個故事,這是一種與傳統(tǒng)影像創(chuàng)作截然不同的思路和流程。故事中,原本由真人演員出鏡的Valentina則由Meta Human Creator進(jìn)行創(chuàng)建,他們在一小時內(nèi)便制作出了一個逼真的數(shù)字人類。最終畫面則在虛幻引擎5中進(jìn)行渲染,同時使用了虛幻商城資產(chǎn)創(chuàng)造灰塵、顆粒、天空、云霧等環(huán)境效果。新的技術(shù)應(yīng)用下,創(chuàng)作方式會變得極為不同,他們整個過程都沒有使用劇本,而是直接錄制了一些旁白文件,用于在引擎中探索敘事的可能性。

動畫導(dǎo)演Neth Nom 與他的240人團(tuán)隊,則使用Unity引擎完成了他的動畫短片,一切內(nèi)容創(chuàng)建和處理流程都在引擎內(nèi)完成,而不需要任何實體工作室來工作,因此他們可以遠(yuǎn)程工作,一些團(tuán)隊成員甚至在不同的國家。此外,Unity引擎的實時渲染特性使制作擺脫了昂貴的制作工具和巨大的渲染農(nóng)場。一切都是實時的,他們可以立即檢查并查看他們所做的每項更改的結(jié)果,同時,生產(chǎn)成本也大大降低?？梢娪螒蛞鎸Κ毩㈦娪爸谱鲌F(tuán)隊來說是一個很好的選擇,盡管大的制片公司并未打算拋棄他們現(xiàn)有的制作技術(shù),例如工業(yè)光魔 (ILM)依然以傳統(tǒng)制作軟件作為核心,注重各種工具之間的合作互通,但在某些情況下他們也會依賴于虛幻引擎的一些定制版本。

4 總結(jié)與展望

如今,電影制作不斷趨于虛擬化、實時化、沉浸式創(chuàng)作和生產(chǎn),游戲引擎作為實時渲染工具,在電影、游戲、VR、AR、互動敘事等各個與影像相關(guān)的領(lǐng)域占據(jù)著不可替代的作用。

從誕生之初作為不同游戲的共享框架,到渲染質(zhì)量逐步逼近電影工業(yè)水準(zhǔn),由于游戲本身對實時性和交互性有很高的要求,因而與電影虛擬化制作的方向高度契合,游戲引擎逐漸滲透在電影前期預(yù)演、現(xiàn)場拍攝、后期制作的各個階段,從2017 年《奇幻森林》將Unity實時渲染引擎引入了影片的虛擬拍攝現(xiàn)場,到2019年《獅子王》利用VR 與游戲引擎進(jìn)行全片的鏡頭設(shè)計與可視化預(yù)演,再到2019年底美劇《曼達(dá)洛人》以LED 背景顯示墻讓團(tuán)隊在現(xiàn)場就完成影片的最終鏡頭效果,游戲引擎不斷以更多方式參與到整個電影工業(yè)當(dāng)中。

2021年底,為宣傳 《黑客帝國4:矩陣重啟》而推出的交互敘事游戲 《黑客帝國覺醒》采用了虛幻引擎5進(jìn)行制作,這是電影與游戲融合的又一標(biāo)志性事件,游戲愈來愈注重電影級的質(zhì)感、敘事和視聽,而電影制作過程的實時交互、可視化反饋也愈來愈與游戲體驗相近,游戲引擎作為二者的連結(jié)體,不僅對電影工業(yè)和游戲行業(yè)的發(fā)展至關(guān)重要,也對未來影像的表達(dá)、敘事形式的探索、新型媒介的創(chuàng)造有著不可估量的價值