VR在虛擬影視拍攝中的應用

Norman Wang

（Glassbox 公司，美國 洛杉磯 90036）

1 虛擬制作

自2016 年HTC Vive 發(fā)行以來，我們見證了好幾部將VR 技術廣泛應用于其制作的電影大片。首先是史蒂芬·斯皮爾伯格的“頭號玩家”，其中來自Digital Domain 的團隊利用VR 來幫助可視化和設計“Oasis”：一部充滿未來感的虛擬現(xiàn)實世界，很多電影中的故事情節(jié)都發(fā)生在其中。另一個最近的例子是“獅子王”，它使用真實的照片，用動畫的方式再一次重現(xiàn)了1994 年迪士尼的這部經(jīng)典電影，導演喬恩·法夫羅，視覺特效（VFX）主管Robb Legato 和攝影師Caleb Deschanel 使用VR 進行了可視化、設計、創(chuàng)作以及編排虛擬表演和攝影。

喬恩·法夫羅（Jon Favreau）在最近的美國導演協(xié)會（DGA）數(shù)字世界2019 活動的最新講話中強調(diào)，使用真實演員和場景制作電影與使用虛擬演員和虛擬場景制作電影沒有區(qū)別，因為“虛擬制作”技術使他可以使用傳統(tǒng)制作中的技術、技能和工作流程，即使“獅子王”中的所有內(nèi)容都是虛擬的。

虛擬制作最初是為了詹姆斯·卡梅隆的“阿凡達”而創(chuàng)造的，顧名思義，它是對傳統(tǒng)電影制作的虛擬仿真。在傳統(tǒng)的電影制作中，導演使用物理攝像機在一個物理場景中捕捉真實演員的身體表演。相比之下，虛擬制作使用虛擬攝像機在虛擬場景中拍攝數(shù)字演員的虛擬表演?！鞍⒎策_”開創(chuàng)了3 項核心創(chuàng)新——虛擬電影攝影、表演捕捉和協(xié)同工作攝影機，其中虛擬元素與攝影圖像實時混合。

虛擬制作與傳統(tǒng)VFX 的不同之處在于，虛擬制作完全“實時”運行，其中，虛擬圖像是在由攝影導演或攝影機操作員控制虛擬攝影機的情況下，在不到1s 的時間內(nèi)生成的，而非一般典型的“離線”或“預渲染”方法，其中每個圖像可能要花費數(shù)小時或數(shù)天才能生成。自“阿凡達”問世以來的1 年中，虛擬制作技術已廣泛應用于大多數(shù)現(xiàn)代大片中，如上文提及的“頭號玩家”和“獅子王”以及大獲成功的電影和電視劇，如“復仇者聯(lián)盟：殘局”“戰(zhàn)斗天使：艾麗塔”和“權(quán)力的游戲”。

2009 年，虛擬制作委員會由美國電影攝影師協(xié)會（ASC）、藝術導演協(xié)會（ADG）、視覺效果協(xié)會（VES）、預視化協(xié)會、美國制片人協(xié)會（PGA）和國際電影攝影師協(xié)會（ICG）的成員組成而正式成立。

2 現(xiàn)代虛擬制作

虛擬制作需要實時生成圖像。這種速度要求是以圖像質(zhì)量為代價的，因此，傳統(tǒng)的虛擬制作主要是出于可視化和預制作的目的。此外，傳統(tǒng)的虛擬生產(chǎn)需要高度專業(yè)的設備和技術人員運行和操作。因此，虛擬生產(chǎn)主要用于高端項目，在這些項目中，大量制作和后期制作成本保證了對虛擬生產(chǎn)的投資。

在電影行業(yè)之外，實時渲染技術迅速發(fā)展。在視頻游戲和VR 行業(yè)的推動下，當前的實時游戲引擎能夠使用現(xiàn)成的消費類硬件實時創(chuàng)建逼真的圖像。這導致了新一代虛擬產(chǎn)品的更迭，這些產(chǎn)品由游戲引擎以及現(xiàn)成的VR 和游戲硬件提供支持，如HTC Vive 在“頭號玩家”和“獅子王”中的使用。

借助游戲引擎的功能，現(xiàn)代虛擬制作越來越多地創(chuàng)建更加逼真的圖像，并具備基于物理的照明、陰影、大氣、粒子、景深等效果，以便導演可以更好地可視化并傳達有關復雜元素的決策。若使用早期方法生成的低質(zhì)量圖像，照明、構(gòu)圖和VFX 則無法實現(xiàn)。

ILM 的工作越來越明顯地依賴于消費者硬件，ILM 的工作是在iPad 上連接Vive 控制器以創(chuàng)建無線虛擬相機，以及通過The Third Floor 和Glassbox Technologies 做出更多新作品，其中虛擬相機的跟蹤完全由蘋果公司的ARKit 完成。大體上，Valve在2016 年創(chuàng)建的使用綠屏和Vive 控制器來推廣HTC Vive 和SteamVR 的混合現(xiàn)實演示，允許物理相機的運動控制虛擬相機，與“雷神”“仙境傳說”和“復仇者聯(lián)盟”產(chǎn)品使用的技術相同。

使用以消費者為中心的技術，可以使用數(shù)千美元而不是數(shù)百萬美元的技術交付現(xiàn)代虛擬產(chǎn)品。在2019 年8 月，Epic Games 與虛擬制作委員會協(xié)商后發(fā)布了長達98 頁的虛擬制作工作指南。

3 超越虛擬：實時制作

雖然虛擬制作很復雜，但是其核心仍然是物理膠片制作的虛擬仿真，在AI、云計算和實時光線追蹤方面的最新進展，出現(xiàn)了一個明顯的趨勢，即實時渲染的圖像可以接近以前只能通過傳統(tǒng)離線VFX 實現(xiàn)的圖像。NVIDIA 通過發(fā)布“ Turing”一代圖形處理單元（GPU）促使了對“實時VFX”的最新推動，該圖形處理單元（GPU）利用早期的設計改進了Tensor Processor，從而創(chuàng)建了專門針對實時優(yōu)化的硬件和軟件驅(qū)動程序光線追蹤。該功能于2017 GDC（游戲者開發(fā)大會）在Epic Games、ILMxLab 和NVIDIA 之間的協(xié)作演示中首次展示。在2019 年，Epic Games 獲得了高級圖像學會（Advanced Image Society）的盧米埃獎，該獎項特別認可了該引擎的實時光線追蹤功能。

擁有訪問實時的真實照片的能力，現(xiàn)代電影制片人正試圖超越虛擬制作，進入實時制作領域。實時制作是虛擬制作的擴展，除了在實時生產(chǎn)中，工作人員正在創(chuàng)建最終圖像或非常接近最終圖像，在此場景上，無需依賴虛擬元素進行離線的后期制作。實時制作可以分為3 個主要關注的領域：實時VFX、實時相機內(nèi)VFX 和實時交互式照明。

實時VFX 是指在其他傳統(tǒng)的VFX 流程中使用實時生成的圖像。這可能意味著直接從引擎渲染最終圖像，就像ILM 在“星球大戰(zhàn)外線：俠盜一號”中以及Pixomondo 在“星際迷航：發(fā)現(xiàn)”中所做的，創(chuàng)建完整的動畫，如Digital Dimensions所做的Zafari。根據(jù)Epic Games 發(fā)布的實時制作白皮書，這些工作室報告說明，與傳統(tǒng)的離線制作相比，實時VFX 可以節(jié)省30%～50%的時間。位于英國的現(xiàn)場設施和位于西班牙的MR 工廠等設施正在使用綠屏將實時逼真的虛擬圖像合成到攝影圖像上，以直接創(chuàng)建最終圖像。

實時相機內(nèi)VFX 是相機內(nèi)VFX 的實時擴展，通過投影儀和其他顯示技術在攝像機內(nèi)捕獲視覺效果，如遺忘星球的標志性建筑天空塔、梭羅河、星球大戰(zhàn)和登月第一人。在一些最新的作品中，結(jié)合了虛擬和實時制作技術的大型LED 墻用于在工作流中顯示實時渲染和經(jīng)過透視校正的圖像，該工作流完全取代了傳統(tǒng)的綠色屏幕。

實時交互式照明是實時相機內(nèi)VFX 的直接產(chǎn)品。然而，并非顯示虛擬圖像以使其在相機中被捕獲，實時交互式照明關注的是使用實時虛擬世界來控制真實世界的照明。這可以通過高亮度LED 和LCD 屏幕以及啟用DMX 的專業(yè)燈來完成。

4 結(jié)語

實時制作是在穩(wěn)定的技術上的最新進展，始于阿凡達的虛擬制作技術。結(jié)合了最新的AI、云計算、渲染、游戲引擎和XR 技術，實時制作有望比傳統(tǒng)制作流程節(jié)省大量成本和時間。