基于交互引擎技術(shù)的電影視效創(chuàng)制流程研究

劉夢(mèng)雅 趙偉然

北京電影學(xué)院數(shù)字媒體學(xué)院，北京 100080

1 引言

電影視效作為電影視聽中較為常見的組成元素，自電影問世之初便伴隨其不斷發(fā)展，其在幫助導(dǎo)演實(shí)現(xiàn)想法，輔助影片整體敘事方面有著較為重要的效用，當(dāng)代電影中視覺特效更是作為滿足觀眾視聽體驗(yàn)的奇觀而存在?？v觀電影發(fā)展歷程，視覺特效正在逐漸成為時(shí)下先進(jìn)技術(shù)及高成本的代名詞。但小成本影片中的視覺特效又往往面臨著制作成本高、難度大的困境，進(jìn)而對(duì)于整體創(chuàng)制流程形成較為顯著的影響。元宇宙、交互引擎、人工智能及相關(guān)衍生概念的出現(xiàn)正推動(dòng)著計(jì)算機(jī)科學(xué)（CS）、計(jì)算機(jī)圖形學(xué)（CG）領(lǐng)域相關(guān)技術(shù)的發(fā)展。反觀電影視效制作領(lǐng)域，高內(nèi)聚低耦合代碼及深度學(xué)習(xí)算法正不斷產(chǎn)出更加輕量化、人性化的創(chuàng)作工具，采用小成本、小團(tuán)隊(duì)制片，影游融合的時(shí)代背景及新一代受眾群體的審美趣味正逐漸顛覆多年來視覺特效對(duì)于“真實(shí)感”的追求，畫面呈現(xiàn)正在由傳統(tǒng)好萊塢所強(qiáng)調(diào)的寫實(shí)與擬真朝著風(fēng)格化與幻真美學(xué)的方向轉(zhuǎn)移。例如影片《瞬息全宇宙》（Everything Everywhere All at Once）中出現(xiàn)了約500個(gè)視效鏡頭，其中大部分鏡頭僅由五位藝術(shù)家使用較低成本的制作方式來完成，視效團(tuán)隊(duì)人員在制作過程中也間接參與了影片的導(dǎo)演工作。而在當(dāng)今態(tài)勢(shì)下，最初僅被用作游戲開發(fā)的交互引擎也因其在實(shí)時(shí)演算等方面的獨(dú)特優(yōu)勢(shì)而逐漸被電影創(chuàng)制流程所接納。本文將以交互引擎技術(shù)為出發(fā)點(diǎn)，結(jié)合當(dāng)下相關(guān)視效技術(shù)，探索更加適用于小團(tuán)隊(duì)、低成本影片的視效解決方案。

2 當(dāng)下交互引擎技術(shù)在電影視效中的應(yīng)用優(yōu)勢(shì)

交互引擎在電影視效領(lǐng)域中的引入，與電影視效在真實(shí)感追求上的轉(zhuǎn)變存在著一定聯(lián)系。筆者以為，電影視效發(fā)展歷程可大致劃分為由早期特殊攝影技術(shù)的奇觀建構(gòu)到計(jì)算機(jī)技術(shù)對(duì)于真實(shí)感的模擬，再到影游融合、媒介融合背景下電影所呈現(xiàn)的風(fēng)格化真實(shí)感三個(gè)階段。

早期電影視效主要依托物理實(shí)體特效與特殊攝影技術(shù)。特殊攝影技術(shù)指在電影制作中為達(dá)到某些特殊視覺效果的呈現(xiàn)而由美術(shù)團(tuán)隊(duì)人員在真實(shí)世界環(huán)境中所創(chuàng)造的場(chǎng)景、妝造或效果，具體表現(xiàn)為通過特殊的拍攝技巧，使鏡頭畫面呈現(xiàn)出真實(shí)環(huán)境中難以企及的效果[1]。特殊攝影技術(shù)的效果大部分依靠于前中期美術(shù)與實(shí)拍相結(jié)合的制作方法，其誕生最早可追溯到19世紀(jì)，法國(guó)電影先驅(qū)喬治·梅里愛在制作涉及太空、神話、異域、歷史等題材的影片時(shí)便開始嘗試使用特殊攝影技術(shù)。1923 年由哈羅德·勞埃德主演的影片《安全至下》（Safety Last!）中使用特殊攝影技術(shù)通過將前后景別的疊加完成特技動(dòng)作的演出；1933 年，影片《金剛》（King Kong）中同樣使用了特殊攝影技術(shù)完成了怪獸攀爬帝國(guó)大廈的鏡頭；1953 年，日本特技導(dǎo)演圓谷英二使用特殊攝影技術(shù)完成的影片《哥斯拉》（Godzilla）榮獲了第8 屆日本電影技術(shù)獎(jiǎng)最佳特技獎(jiǎng)，隨后圓谷英二又陸續(xù)拍攝了多部特殊攝影影片，特殊攝影技術(shù)由此在日本逐漸發(fā)展為成熟的工業(yè)體系。盡管在CG 技術(shù)較為成熟的當(dāng)今時(shí)代，特殊攝影技術(shù)仍在電影特效發(fā)展中擁有自己的一席之地。

數(shù)字技術(shù)在最初只是對(duì)于傳統(tǒng)技術(shù)的延伸，而照相的本體屬性并沒有改變[2]。電影視效的第二階段是伴隨著計(jì)算機(jī)的應(yīng)用而到來。約翰·惠特尼最早開始了對(duì)于計(jì)算機(jī)圖形圖像系統(tǒng)的研究與開發(fā)，他從20 世紀(jì)50 年代中后期開始嘗試將控制防空武器的電腦化機(jī)械裝置轉(zhuǎn)用于控制照相機(jī)的運(yùn)動(dòng)[3]。1958 年，英國(guó)導(dǎo)演阿爾弗雷德·希區(qū)柯克的作品《迷魂記》（Vertigo）中片頭的運(yùn)動(dòng)圖形動(dòng)畫便是由惠特尼使用電子計(jì)算機(jī)完成的。而隨著計(jì)算機(jī)輔助設(shè)計(jì)（CAD）開始逐漸介入生產(chǎn)領(lǐng)域，使用計(jì)算機(jī)進(jìn)行視覺特效的制作開始更多的應(yīng)用于影像。拍攝于1968年的《2001 太空漫游》（2001: A Space Odyssey）、1973年的《西部世界》（Westworld）及1979 年的《異形》（Alien）在制作過程中均使用到了計(jì)算機(jī)圖形處理技術(shù)。20 世紀(jì)70 年代后，以喬治·盧卡斯為代表的工業(yè)光魔公司（ILM）開始使用計(jì)算機(jī)為電影進(jìn)行視覺特效設(shè)計(jì)、非線性編輯等數(shù)字化制作手段。自20 世紀(jì)90 年代以來，計(jì)算機(jī)視覺特效在電影制作中的應(yīng)用范圍逐漸擴(kuò)大，相對(duì)成熟的商業(yè)三維圖形及二維合成軟件致使各大工作室能夠?qū)⒏嗑杏谝曈X與創(chuàng)意方面，美術(shù)人員可以利用計(jì)算機(jī)渲染出接近于真實(shí)環(huán)境的圖像及視覺效果。自特殊攝影技術(shù)到此階段，計(jì)算機(jī)圖形技術(shù)雖然在視覺畫面的呈現(xiàn)上有了較大的提升，但電影視覺特效仍舊秉持著對(duì)于現(xiàn)實(shí)主義與真實(shí)感的追求。

第三階段則是在對(duì)于真實(shí)感的追求中，因技術(shù)因素及創(chuàng)作觀念變革而發(fā)展出的美學(xué)轉(zhuǎn)向。安德烈·巴贊認(rèn)為人們對(duì)于攝影術(shù)的沉迷來源于“木乃伊情結(jié)”，電影的總趨勢(shì)是向現(xiàn)實(shí)主義不斷靠攏，進(jìn)而為觀眾創(chuàng)造出盡可能完美的現(xiàn)實(shí)幻境[4]。依托通用圖形處理器（GPU）的實(shí)時(shí)渲染技術(shù)（Real-time Rendering）能夠從較大程度縮短單幀畫面的渲染時(shí)間。盡管當(dāng)下中央處理器（CPU）的性能得到不斷提升①,但功耗與散熱等問題仍使CPU 在圖像處理效率上面臨著較大瓶頸[5]。而GPU 在游戲及虛擬仿真產(chǎn)業(yè)的不斷推動(dòng)下正呈現(xiàn)出蓬勃發(fā)展的態(tài)勢(shì)，一般情況下，主流GPU 的單精度浮點(diǎn)運(yùn)算可達(dá)同期CPU 的十倍左右[6]，其主要原因可能在于GPU 將僅用于幾何與圖形相關(guān)處理，而無需同時(shí)處理各類繁雜的運(yùn)算任務(wù)。傳統(tǒng)實(shí)時(shí)渲染技術(shù)大多采用光柵化的方式，通過對(duì)三維物體進(jìn)行離散化并將結(jié)果依次投射到屏幕中對(duì)應(yīng)的像素點(diǎn)完成畫面的渲染，但使用光柵化方法在視覺效果尤其光影的表現(xiàn)上略顯不足。而實(shí)時(shí)光線追蹤技術(shù)賦予了交互引擎在視覺表現(xiàn)上無限接近于離線渲染的能力。光線追蹤技術(shù)主要依靠模擬人眼的觀察方式進(jìn)行渲染，模擬光線由光源照射到物體再進(jìn)入到眼中的光路。近年來隨著圖形處理器（GPU）在表現(xiàn)性能上的不斷攀升，光線追蹤的實(shí)時(shí)應(yīng)用逐漸開始普及，實(shí)時(shí)光線追蹤技術(shù)的出現(xiàn)為依靠即時(shí)演算的游戲與動(dòng)畫帶來了視覺方面的極大革新（圖1），目前主流游戲引擎如Unity 中的HDRP②管渲染線，Unreal Engine 中的Lumen③動(dòng)態(tài)全局光照等均為開發(fā)者與藝術(shù)家提供了實(shí)時(shí)高清渲染解決方案。

圖1 虛幻引擎中的Lumen 全局光照渲染④

同時(shí)，基于真實(shí)物理規(guī)律進(jìn)行渲染的PBR（Physical Based Renderng）技術(shù)以及實(shí)時(shí)光線追蹤技術(shù)將交互引擎視覺特效在畫面表現(xiàn)上提升到了新的高度。PBR 是一種基于物理規(guī)律進(jìn)行渲染的技術(shù)及流程，該技術(shù)遵循物理上的“能量守恒定律”。相較于傳統(tǒng)的蘭伯特（Lambert）與馮氏（Phong）等光照模型，PBR 渲染能夠通過貼圖對(duì)于材質(zhì)表面屬性特征進(jìn)行控制，進(jìn)而呈現(xiàn)出細(xì)節(jié)更為豐富復(fù)雜的材質(zhì)表現(xiàn)。Brent Burly 在2012 年SIGGRAPH 大會(huì)的演講中提出了迪士尼原則的雙向反射分布函數(shù)（Bidirectional Reflectance Distribution Function，BRDF），該原則簡(jiǎn)化了PBR 材質(zhì)的制作流程[6]。通過一系列貼圖進(jìn)行對(duì)象材質(zhì)屬性描述，以達(dá)對(duì)模型表面物理特征的實(shí)時(shí)呈現(xiàn)。從早期的簡(jiǎn)易光影模擬到當(dāng)今的光線追蹤與光能傳遞技術(shù)，三維影像的成像算法都是依據(jù)真實(shí)的物理現(xiàn)象來進(jìn)行模擬的，最終渲染的虛擬影像也是以是否和照片接近為目標(biāo)[2]。影像的真實(shí)感能夠喚起觀眾在觀影時(shí)的共情能力，但渲染技術(shù)成熟的同時(shí)也造成了影像在視覺呈現(xiàn)上的趨同化，內(nèi)容與情節(jié)的匱乏，過分追求通過寫實(shí)畫面以及震撼的視覺特效來完成感官刺激將為觀眾的審美陌生化形成帶來極大阻礙。而人工智能與元宇宙時(shí)代的到來，致使影像在傳播媒介與方式上均受到了較為深刻的影響，于電影而言，“電影應(yīng)在其他影像體系滲入的時(shí)候，找到把握自己的方式”[7]。人工智能時(shí)代下的電影正表現(xiàn)出“虛實(shí)主義”與“幻真電影”的新形態(tài)與新現(xiàn)象，具體表現(xiàn)為創(chuàng)作者從“虛實(shí)主義”出發(fā)，使觀眾相信銀幕之所現(xiàn)即為現(xiàn)實(shí)之所見[8]。如近年來《阿麗塔：戰(zhàn)斗天使》（Alita: Battle Angel）、《頭號(hào)玩家》（Ready Player One）等影片在視覺與情節(jié)設(shè)定上都呈現(xiàn)出了幻真的特征，而這與百年以來電影所堅(jiān)持的現(xiàn)實(shí)主義美學(xué)原則大相徑庭。

綜上，電影在視覺特效的表現(xiàn)方面由早期特殊攝影技術(shù)的奇觀建構(gòu)，到當(dāng)代元宇宙及影游融合背景下幻真美學(xué)、風(fēng)格化真實(shí)感的美學(xué)，轉(zhuǎn)向?yàn)榻换ヒ婕叭斯ぶ悄芗夹g(shù)在電影視覺特效創(chuàng)制流程中的引入，相關(guān)硬件及渲染技術(shù)的持續(xù)革新也將擴(kuò)大交互引擎在數(shù)字電影制作方面的應(yīng)用范圍。

3 基于交互引擎的實(shí)時(shí)視效創(chuàng)制探索

交互性可謂游戲引擎主要之特征，為實(shí)現(xiàn)實(shí)時(shí)反饋，交互引擎對(duì)于畫面幀速率有著較為嚴(yán)格的要求。而一般電影視效因無需考慮交互性，往往采用耗時(shí)較長(zhǎng)的CPU 模擬解算與離線渲染以追求最佳擬真效果。因而如前文所述，基于交互引擎的視覺特效雖然在畫面表現(xiàn)上不及電影視效，但從制作成本與效率角度而言，對(duì)于小團(tuán)隊(duì)、小成本影視劇作的視覺特效開發(fā)流程更為友好。一般影視作品因成本限制或不采用模擬解算特效，而是使用影像素材直接對(duì)畫面進(jìn)行合成，但在表現(xiàn)效果上往往不盡人意。而基于交互引擎的視覺特效開發(fā)提供了介于二維合成與三維物理模擬之間的解決方案，能夠以相對(duì)較低的成本實(shí)現(xiàn)次世代級(jí)別的視覺特效開發(fā)。且因開發(fā)工具上的近似，實(shí)時(shí)特效與游戲又有著密不可分的聯(lián)系。

3.1 實(shí)時(shí)粒子特效

粒子（Particle）承擔(dān)了早期游戲中大部分的視覺表現(xiàn)任務(wù)。粒子原指能夠以自由狀態(tài)存在的最小物質(zhì)組成部分，在視覺特效中具體表現(xiàn)為在空間中運(yùn)動(dòng)的獨(dú)立元素，一般以頂點(diǎn)的形式呈現(xiàn)。粒子的運(yùn)動(dòng)主要依靠發(fā)射器賦予的初始速度及由場(chǎng)域形成的速度場(chǎng)進(jìn)行控制。

實(shí)時(shí)特效領(lǐng)域發(fā)展較為成熟的創(chuàng)制方法以粒子貼片為主，粒子貼片通過美術(shù)人員將單個(gè)粒子的表現(xiàn)樣式進(jìn)行逐幀繪制與排列，由此制成高分辨率序列貼圖，待進(jìn)入到引擎中進(jìn)行分割，使其成為可循環(huán)播放的二維序列幀動(dòng)畫。通過將二維循環(huán)動(dòng)畫賦予到單獨(dú)運(yùn)動(dòng)的粒子上，形成樣式各異的粒子效果。粒子視效實(shí)際上是大量呈現(xiàn)于平面多邊形上并包含透明通道的二維循環(huán)動(dòng)畫。為避免穿幫問題，粒子特效在制作過程中一般將多邊形的正面朝向與攝影機(jī)或玩家視角進(jìn)行關(guān)聯(lián)，當(dāng)攝影機(jī)從三維空間中的任意方向角度對(duì)粒子進(jìn)行拍攝時(shí)，多邊形正面朝向?qū)⑹冀K面對(duì)攝影機(jī)，以此形成視覺假象。此種方式能夠有效解決演算時(shí)的系統(tǒng)資源占用問題，以保證交互過程的流暢性（圖2）。但以手繪的方式逐幀制作粒子視覺效果對(duì)于創(chuàng)作者的美術(shù)功底有著相對(duì)較高要求，在保證動(dòng)畫流暢的同時(shí)還需兼顧整體光影感的塑造，且逐幀繪制的視覺特效在后期階段的修改調(diào)整中也存在較大難度。

圖2 粒子貼片與攝影機(jī)旋轉(zhuǎn)角度進(jìn)行關(guān)聯(lián)

而使用程序化方式生成紋理貼圖可通過開發(fā)過程中的預(yù)留參數(shù)達(dá)到對(duì)于粒子的樣態(tài)與著色進(jìn)行實(shí)時(shí)調(diào)整，為復(fù)雜視覺特效的制作提供了較大便利。程序化貼圖一般通過編寫著色器語言或使用節(jié)點(diǎn)式紋理制作工具進(jìn)行開發(fā)。著色器語言指主要為計(jì)算機(jī)圖形工作者提供的高可讀性代碼，開發(fā)者通過直接調(diào)用GPU 進(jìn)行相對(duì)底層的圖形處理，而無需過度關(guān)注于硬件方面的細(xì)枝末節(jié)，高級(jí)著色器語言（High-Level Shader Language，HLSL）、CG 語言等均為當(dāng)下常見的著色器編程語言。著色器語言相比圖形處理軟件更為復(fù)雜，且對(duì)于數(shù)學(xué)與計(jì)算機(jī)圖形學(xué)水平有著一定要求，于藝術(shù)家與普通創(chuàng)作者而言并不友善。而節(jié)點(diǎn)式紋理制作工具則是將常用的圖形處理函數(shù)進(jìn)行封裝成為單獨(dú)節(jié)點(diǎn)，可以視作對(duì)傳統(tǒng)線性制作流程的拆解。在創(chuàng)作過程中利用不同節(jié)點(diǎn)工具對(duì)整體視覺呈現(xiàn)邏輯進(jìn)行組織，達(dá)到與編寫著色器語言類似的效果。線性流程工具中的每一操作步驟可被視作單獨(dú)節(jié)點(diǎn)，所有的操作歷史都將被保留，其主要目的在于方便整體結(jié)構(gòu)的組織與非線性的調(diào)整修改。創(chuàng)作者可以在制作的任意階段對(duì)上游步驟進(jìn)行調(diào)整，通過對(duì)數(shù)據(jù)流輸入端的內(nèi)容進(jìn)行修改，可直接對(duì)輸出端結(jié)果產(chǎn)生影響，而無需重建完整的流程。

綜上，節(jié)點(diǎn)式紋理制作工具對(duì)于相關(guān)美術(shù)人員來講更為友好與易用，但同時(shí)節(jié)點(diǎn)式紋理制作工具因涉及節(jié)點(diǎn)與代碼間的轉(zhuǎn)譯過程，在編譯速度上要稍慢于使用著色器語言。此外，節(jié)點(diǎn)式紋理制作工具所提供予創(chuàng)作者的功能性節(jié)點(diǎn)數(shù)量有限，非常用函數(shù)功能的實(shí)現(xiàn)仍需結(jié)合著色器語言進(jìn)行開發(fā)。

3.2 實(shí)時(shí)剛體、柔體特效

由于早期機(jī)能限制，交互引擎中的柔體常采用多個(gè)關(guān)聯(lián)剛體或預(yù)先制作完成的動(dòng)畫進(jìn)行表現(xiàn)，而剛體動(dòng)力學(xué)視效更多采用粒子貼片的方式進(jìn)行替代。如當(dāng)玩家擊碎某一物體時(shí)，引擎將首先銷毀該對(duì)象，并在對(duì)象原有位置創(chuàng)建粒子發(fā)射器并持續(xù)數(shù)秒發(fā)射帶有物體碎片材質(zhì)的粒子。以此令玩家產(chǎn)生碎片是來自于原有被擊中對(duì)象的認(rèn)知模式，但附著于平面多邊形的粒子貼圖較難表現(xiàn)出對(duì)象的體積感，此種方法在表現(xiàn)較大體積或某些特殊質(zhì)料的物體時(shí)易出現(xiàn)問題。離線與實(shí)時(shí)剛體模擬在實(shí)現(xiàn)邏輯上較為接近，剛體破碎過程大致可概括為預(yù)切割、約束網(wǎng)絡(luò)創(chuàng)建、約束斷裂閾值調(diào)整等階段。泰森多邊形生成算法（Voronoi Diagram）是較為常見的多邊形切割算法，該算法能夠呈現(xiàn)出空間剖分上的等分特征，以通過程序化手段實(shí)現(xiàn)對(duì)象的均勻切割。切割完成后的碎塊單體還將經(jīng)由臨近點(diǎn)算法計(jì)算出一定距離范圍內(nèi)的相鄰碎塊，并進(jìn)行網(wǎng)絡(luò)約束，在模擬過程中，通過周期性查詢碎塊間約束網(wǎng)絡(luò)的受力大小來判定是否斷開約束。為降低剛體破碎模擬過程中的運(yùn)算壓力，通常會(huì)采用代理模擬的方式，即通過面數(shù)較高的預(yù)切割碎塊創(chuàng)建低面數(shù)的多邊形代理，使用多邊形代理參與模擬解算，再將解算結(jié)果映射到高精度模型上進(jìn)行驅(qū)動(dòng)（圖3）。

圖3 剛體動(dòng)力學(xué)大致模擬步驟

本文在剛體與柔體的呈現(xiàn)方式中主要探索實(shí)時(shí)解算與離線解算緩存兩種方法。在實(shí)時(shí)剛體解算方面通過虛幻引擎（UE）中內(nèi)置的Chaos 物理系統(tǒng)進(jìn)行剛體破碎模擬，其創(chuàng)制方法與前文所提到的制作與模擬流程類似，這里便不再贅述。Chaos 的模擬速度能夠接近于實(shí)時(shí)呈現(xiàn)，但在精度上則遜色于離線解算方式，解算中易出現(xiàn)模型穿插等問題。此外，諸如PhysX、Havok 等物理引擎提供了相應(yīng)的開發(fā)接口用于模擬，而在離線解算緩存方面則主要通過FBX 動(dòng)畫或頂點(diǎn)動(dòng)畫貼圖（Vertex Animation Texture，VAT）的方式將三維軟件中的解算緩存導(dǎo)入引擎中進(jìn)行實(shí)時(shí)渲染，VAT 通過程序化手段將預(yù)先解算完成的剛體破碎模擬結(jié)果以幀為單位存儲(chǔ)到序列貼圖中進(jìn)行“編碼”，每一張序列圖中記錄了剛體碎塊的位置、形變、朝向角度等信息，待進(jìn)入引擎后再進(jìn)行“解碼”，從而實(shí)現(xiàn)對(duì)于剛體碎塊的驅(qū)動(dòng)（圖4）。由于VAT 技術(shù)采用序列貼圖的方式進(jìn)行數(shù)據(jù)交換與驅(qū)動(dòng)，因而能有效節(jié)省實(shí)時(shí)渲染的運(yùn)算壓力，提升運(yùn)算效率。但由于位圖的分辨率限制，VAT 貼圖在解算模擬的最大時(shí)長(zhǎng)上存在一定局限性。對(duì)比兩種模擬方式：離線模擬解算精度更高，可控性更強(qiáng)，能夠呈現(xiàn)物理質(zhì)料在破碎過程中的大量細(xì)節(jié)；實(shí)時(shí)破碎工具則主要依托交互引擎中的物理系統(tǒng)進(jìn)行模擬，但在解算精度與視覺表現(xiàn)上則有所欠缺。

圖4 VAT 流程頂點(diǎn)貼圖

柔體解算特效較常見于角色動(dòng)畫與場(chǎng)景的使用中，現(xiàn)代布料模擬大多采用質(zhì)量阻尼彈簧模型（Mass-spring-damper Model）的方式，彈簧間由質(zhì)點(diǎn)相連接并分布在多邊形表面，由此對(duì)多邊形造成柔性形變控制，創(chuàng)作者可在三維服裝設(shè)計(jì)軟件或交互引擎中構(gòu)建可實(shí)時(shí)交互的柔體布料，亦或在三維軟件中完成布料解算模擬并通過Alembic 交換格式導(dǎo)入交互引擎中進(jìn)行渲染。

3.3 實(shí)時(shí)流體視效

流體視覺特效一般涵蓋了液體與氣體兩種模擬類型，流體類視覺特效的解算與渲染較為割裂。

流體液體主要依靠粒子參與模擬解算后再轉(zhuǎn)化為多邊形進(jìn)行視覺表現(xiàn)；流體氣體模擬則主要使用體素（Voxel）的方法進(jìn)行模擬，體素可以理解為具有三個(gè)維度的像素，三維流體借助體素形成體積感，體素單體越小，流體精度越高。正因如此，流體在交互引擎中的實(shí)時(shí)呈現(xiàn)面臨著更多問題。傳統(tǒng)氣體流體的表現(xiàn)方法主要依靠粒子貼片的方式進(jìn)行呈現(xiàn)（圖5），但在視覺表現(xiàn)上往往具有較為明顯的片面感。

圖5 氣體流體循環(huán)序列圖

當(dāng)下流體氣體類模擬在交互引擎中的視覺表現(xiàn)可通過NanoVDB 格式進(jìn)行交換，NanoVDB 作為更加輕量化的體積存儲(chǔ)格式，更適用于實(shí)時(shí)渲染中的視覺特效表現(xiàn)。OpenVDB 是由夢(mèng)工廠動(dòng)畫公司（DreamWorks Animation SKG, Inc.）開發(fā)的能夠高效存儲(chǔ)和操作三維網(wǎng)格上離散化的稀疏體積數(shù)據(jù)C++開源庫，主要應(yīng)用于電影中的視覺特效[9]。但Open-VDB 在最初開發(fā)時(shí)并未引入GPU 相關(guān)的設(shè)計(jì)思路，因而在實(shí)時(shí)渲染領(lǐng)域應(yīng)用較為困難。由英偉達(dá)（NVIDIA）開發(fā)的NanoVDB 庫提供了同時(shí)支持GPU與CPU 運(yùn)算且能夠兼容于OpenVDB 數(shù)據(jù)結(jié)構(gòu)的簡(jiǎn)化代理（圖6）。本文在研究過程中采用虛幻引擎（UE）配合第三方開發(fā)的Unreal-vdb 引擎插件將在EmberGen 中制作的火焰特效預(yù)先儲(chǔ)存為OpenVDB格式后，經(jīng)由Unreal-vdb 轉(zhuǎn)化為NanoVDB 并導(dǎo)入到引擎中進(jìn)行實(shí)時(shí)調(diào)整與渲染。而流體液體視效流程方面，則是在傳統(tǒng)三維軟件Maya 及Houdini 中完成液體解算，待解算完成轉(zhuǎn)化為動(dòng)態(tài)多邊形網(wǎng)格后，仍可通過VAT 貼圖或Alembic 交換格式導(dǎo)入至引擎中進(jìn)行實(shí)時(shí)渲染。

圖6 OpenVDB 與NanoVDB 對(duì)比⑤

綜上所述，視覺特效在交互引擎中的呈現(xiàn)一方面得益于電子游戲行業(yè)在引擎及渲染技術(shù)上的革新而不斷衍生出新的創(chuàng)制流程，另一方面依托于GPU在性能與驅(qū)動(dòng)程序上的完善，傳統(tǒng)電影視覺特效中相對(duì)較為成熟的技術(shù)可以在GPU 的支持下逐漸向?qū)崟r(shí)渲染領(lǐng)域遷移。

4 AIGC 賦能交互引擎視效

人工智能（AI）技術(shù)作為時(shí)下熱點(diǎn)受到高度關(guān)注，依托深度學(xué)習(xí)（DL）算法的人工智能技術(shù)可以有效模擬人類的思考過程。目前人工智能技術(shù)仍處于發(fā)展階段，由于缺乏人類在生活中所積累的閱歷與人生感悟，因而在直接參與創(chuàng)作上還存在一定困難。當(dāng)前人工智能的主要優(yōu)勢(shì)在于效率，尤其表現(xiàn)在機(jī)械性、重復(fù)性的工作中。因此筆者認(rèn)為當(dāng)下人工智能技術(shù)在數(shù)字電影創(chuàng)制流程中的應(yīng)用是以創(chuàng)作者為核心，人工智能為輔助，人機(jī)協(xié)同完成影片制作，進(jìn)而探索人工智能技術(shù)結(jié)合交互引擎在實(shí)時(shí)渲染視覺特效方面的應(yīng)用。

在前期概念階段，人工智能技術(shù)的引入能夠?yàn)橹鲃?chuàng)人員提供更多創(chuàng)作靈感與思路，根據(jù)創(chuàng)作者提供的關(guān)鍵詞及信息，自然語言處理（NLP）模型可以依據(jù)此生成對(duì)于場(chǎng)景的描述，并配合三維簡(jiǎn)單模型渲染圖共同交由機(jī)器視覺模型生成大量用于參考的概念圖像以供創(chuàng)作人員進(jìn)行創(chuàng)作思路啟發(fā)。主創(chuàng)人員通過對(duì)生成概念圖進(jìn)行篩選、修改與拼貼，適當(dāng)增添細(xì)節(jié)，以供機(jī)器視覺模型依據(jù)修改圖像進(jìn)行再次運(yùn)算；創(chuàng)作人員通過調(diào)整圖像并配合關(guān)鍵詞提示對(duì)場(chǎng)景概念的色調(diào)、樣態(tài)、風(fēng)格進(jìn)行指引，得到相對(duì)理想的概念參考圖。在此階段中人工智能主要起到相關(guān)概念的提示與擴(kuò)充作用。

在虛擬資產(chǎn)制作階段，創(chuàng)制流程可大致分為中精度模型、高精度模型、低精度模型三個(gè)過程。在傳統(tǒng)制作流程中通常需要?jiǎng)?chuàng)作者先制作出三維簡(jiǎn)單模型，隨后在此基礎(chǔ)上完善出具備基本樣態(tài)并包含少量非有機(jī)細(xì)節(jié)的中精度模型；通過對(duì)中精度模型進(jìn)行更為精細(xì)的雕刻得到高精度模型；再由高精度模型進(jìn)行拓?fù)涞玫焦┮媸褂玫牡途饶Ｐ筒⒑姹撼鱿嚓P(guān)貼圖，以達(dá)優(yōu)化性能、節(jié)約資源之效。人工智能技術(shù)的介入可以有效提高虛擬資產(chǎn)的制作效率：虛擬資產(chǎn)藝術(shù)家通過自然語言描述，并利用人工智能模型生成可供三維軟件調(diào)用的API 腳本進(jìn)行建模，從而快速生成搭建場(chǎng)景所需的簡(jiǎn)單模型并在此基礎(chǔ)上直接進(jìn)行中、高精度模型制作，在高精度模型完成制作后通過人工智能進(jìn)行拓?fù)淇焖佼a(chǎn)出低精度模型，進(jìn)而縮短資產(chǎn)整體的制作周期。

在紋理貼圖階段，自然語言描述配合機(jī)器視覺可快速迭代出適用于模型的紋理貼圖。為追求視覺上的逼真效果，創(chuàng)作者還可通過輕量級(jí)設(shè)備將現(xiàn)實(shí)中的事物轉(zhuǎn)化為虛擬資產(chǎn)。神經(jīng)輻射場(chǎng)（Neural Radiance Fields，NeRF）可通過圖像采集實(shí)現(xiàn)對(duì)于三維場(chǎng)景的重構(gòu)，相較于傳統(tǒng)的攝影測(cè)量掃描方法，NeRF 能夠在數(shù)據(jù)不完善或數(shù)據(jù)量較少的情況下完成虛擬資產(chǎn)的生成。如由Luma AI 推出的同名三維掃描應(yīng)用，可使用戶借助智能設(shè)備將現(xiàn)實(shí)中的對(duì)象轉(zhuǎn)化為供實(shí)時(shí)渲染使用的高精度三維虛擬資產(chǎn)（圖7）。

圖7 使用Luma AI 掃描的虛擬資產(chǎn)⑥

在三維動(dòng)畫階段，傳統(tǒng)手工綁定方式需要綁定師為虛擬資產(chǎn)進(jìn)行骨骼裝配、樣條控制器關(guān)聯(lián)、骨骼權(quán)重刷制等工作，時(shí)間成本相對(duì)較大。而通過編寫腳本進(jìn)行自動(dòng)化綁定難度較高，且需花費(fèi)較多時(shí)間進(jìn)行調(diào)試（Debug）。動(dòng)畫的制作一方面要經(jīng)過對(duì)角色關(guān)鍵幀及曲線進(jìn)行反復(fù)打磨與調(diào)整，另一方面采用動(dòng)作捕捉、面部捕捉設(shè)備又需要較高成本。人工智能技術(shù)的引入在一定程度上降低了傳統(tǒng)三維動(dòng)畫制作難度，同時(shí)也為運(yùn)動(dòng)捕捉提供了更為廉價(jià)的解決方案。神經(jīng)網(wǎng)絡(luò)（Neural Network）的應(yīng)用可以幫助修正關(guān)鍵幀之間的過渡動(dòng)畫，使角色運(yùn)動(dòng)更加真實(shí)可信。如由Nekki 公司推出的人工智能動(dòng)畫軟件Cascadeur 提供了大量智能輔助工具以供加快動(dòng)畫創(chuàng)制流程，在神經(jīng)網(wǎng)絡(luò)的輔助下，用戶可以在短時(shí)間內(nèi)完成關(guān)鍵姿態(tài)的制作，并同時(shí)添加真實(shí)可信的物理效果及細(xì)節(jié)運(yùn)動(dòng)。神經(jīng)網(wǎng)絡(luò)還可以通過視頻采集人物運(yùn)動(dòng)姿態(tài)，而無需配置額外的運(yùn)動(dòng)捕捉設(shè)備，進(jìn)而實(shí)現(xiàn)人物動(dòng)作與三維角色的關(guān)聯(lián)，Plask、Kinetix 等均為當(dāng)下較為流行的動(dòng)作捕捉解決方案。

在渲染階段，得益于機(jī)器視覺的風(fēng)格化遷移，智能去噪修復(fù)、分辨率提升等技術(shù)也已在后期領(lǐng)域有著較為廣泛的應(yīng)用。

人工智能技術(shù)在電影視效領(lǐng)域中處于持續(xù)增長(zhǎng)階段，通過對(duì)于現(xiàn)有案例的分析，已經(jīng)能夠發(fā)覺人工智能在實(shí)時(shí)電影視效中較為成熟的應(yīng)用.未來伴隨著人工智能技術(shù)的不斷完善，電影視效領(lǐng)域?qū)⒂瓉硇碌淖兏铩?/p>

5 結(jié)語

交互引擎因電子游戲?qū)τ趯?shí)時(shí)性與交互性的追求，致使其與服務(wù)于傳統(tǒng)電影視效的離線渲染技術(shù)走向了不同的道路，而元宇宙產(chǎn)業(yè)及人工智能相關(guān)技術(shù)的出現(xiàn)正不斷為交互引擎在電影視效領(lǐng)域的應(yīng)用提供契機(jī)。盡管當(dāng)下實(shí)時(shí)渲染技術(shù)在畫面擬真度及視覺表現(xiàn)上還未能完全達(dá)到離線渲染所呈現(xiàn)的效果，但兩者之間的距離正在被不斷拉近，人工智能相關(guān)技術(shù)的引入更將為交互引擎的視效創(chuàng)制開辟新的天地。作為面臨創(chuàng)制流程變革的創(chuàng)作人員及從業(yè)者，應(yīng)積極結(jié)合新技術(shù)探尋視效創(chuàng)制流程中更多的應(yīng)用可能，進(jìn)而幫助電影視效創(chuàng)制流程朝著更為高效、便捷的方向發(fā)展。

作者貢獻(xiàn)聲明：

劉夢(mèng)雅：負(fù)責(zé)本篇論文的研究方向與研究路徑實(shí)施，全文文字貢獻(xiàn)70%；

趙偉然：負(fù)責(zé)本篇論文的研究重點(diǎn)與技術(shù)論證，全文文字貢獻(xiàn)30%。

注釋

①依據(jù)由美國(guó)半導(dǎo)體廠商英特爾（Intel）創(chuàng)始人之一戈登·摩爾（Gordon Moore）于1965 年提出的摩爾定律（Moore’s Law）：集成電路上可以容納的晶體管數(shù)目在大約每經(jīng)過18 個(gè)月到24 個(gè)月便會(huì)增加一倍，即：處理器的性能大約每?jī)赡攴槐?，同時(shí)價(jià)格下降為之前的一半。引自網(wǎng)絡(luò)：https://baike.baidu.com/link?url=Clxo46bA0CU0 WoNO2AFFdFa2nFi1RL2gmU3BFWBznhFiCBPOyxWwNWyo1QN-1f0wTX-HwOtoF70CT0ivk0PsXGR81IRJjEG3HYMnxek6DWw1ohyM3 osOKZXDvNS_XhBk。

②HDRP（High Definition Render Pipeline）高清渲染管線，是Unity引擎提供的預(yù)先構(gòu)建渲染管線，通過高清渲染管線能夠?qū)⒁嬖趯?shí)時(shí)演算畫面的表現(xiàn)力提升到新的高度。引自網(wǎng)絡(luò)：https://unity.cn/public/pages/ppt/srp/High-Definition-Render-Pipeline.html。

③Lumen 是虛幻引擎5 的全動(dòng)態(tài)全局光照和反射系統(tǒng)。Lumen能夠在擁有大量細(xì)節(jié)的宏大場(chǎng)景中渲染間接漫反射，并確保無限次數(shù)的反彈以及間接高光度反射效果。引自網(wǎng)絡(luò)：https://docs.unrealengine. com/5.2/zh-CN/lumen-global-illumination-and-reflections-in-unrealengine/。

④圖片來源：https://docs. unrealengine. com/5.2/en-US/lumenglobal-illumination-and-reflections-in-unreal-engine/。

⑤圖片來源：https://developer. nvidia. com/blog/acceleratingopenvdb-on-gpus-with-nanovdb/。

⑥圖片來源：https://lumalabs.ai/。