影視制作中虛擬制作技術(shù)的成因研究

劉陽

摘要：隨著半導(dǎo)體產(chǎn)業(yè)的飛速發(fā)展，集成芯片的運(yùn)算能力常年成倍增加。在影視制作領(lǐng)域，算力進(jìn)步的春風(fēng)讓更多技術(shù)手段成為了可能。目前虛擬制作（Virtual？Production）技術(shù)正順著這股春風(fēng)逐漸被運(yùn)用在影視制作領(lǐng)域。本文簡(jiǎn)述了該技術(shù)的原理，并結(jié)合技術(shù)結(jié)構(gòu)，從LED顯示屏、計(jì)算機(jī)圖形算力等角度分析該技術(shù)在近年興起的原因。

關(guān)鍵詞：虛擬制作；影視制作；動(dòng)作捕捉

2019年，在美國洛杉磯會(huì)展中心SIGGRAPH會(huì)議的一個(gè)角落里，EPIC GAMES公司為觀眾帶來了一場(chǎng)虛擬制作技術(shù)的首秀。攝影機(jī)正在拍攝著一位跨坐在摩托車上的男主角，而在他的身后的卻是四塊超大的LED屏幕。屏幕中的畫面隨著攝影機(jī)的運(yùn)動(dòng)而變化，實(shí)時(shí)顯示出與攝影機(jī)透視相匹配的背景場(chǎng)景。摩托車的高光面清楚的映著周圍環(huán)境的倒影。一旁的工作人員手指一點(diǎn)，場(chǎng)景的光線就由白天切換到了晚上。殊不知一場(chǎng)影視制作領(lǐng)域的革命性技術(shù)就此來臨。在不久前上映的《曼達(dá)洛人》第一季中，有超過一半的鏡頭使用了該技術(shù)進(jìn)行拍攝。

虛擬制作技術(shù)原理簡(jiǎn)述

虛擬制作主要是以實(shí)時(shí)3D場(chǎng)景渲染為核心，LED墻面顯示屏為載體，動(dòng)態(tài)捕捉技術(shù)為紐帶的新興影視制作技術(shù)。其主要實(shí)現(xiàn)的效果為：在碩大的墻面顯示屏上實(shí)時(shí)顯示與攝像機(jī)運(yùn)動(dòng)相匹配的背景畫面。該項(xiàng)技術(shù)的基本運(yùn)行流程為：1.動(dòng)態(tài)捕捉設(shè)備確定攝影機(jī)在空間中的運(yùn)動(dòng)方向、角度。2.計(jì)算機(jī)結(jié)合攝影機(jī)的鏡頭焦段、焦點(diǎn)、光圈等參數(shù)，實(shí)時(shí)渲染出與之匹配的3D場(chǎng)景。3.將的3D場(chǎng)景在LED墻面顯示屏上顯示出來。4.使用攝影機(jī)將被攝主體和墻面顯示屏上的背景一同拍攝下來。

一、虛擬制作技術(shù)形成原因分析

（一）LED墻面顯示屏技術(shù)的進(jìn)步

在早年，LED墻面顯示屏多以單色（紅色居多）大間距（像素點(diǎn)間距≥P10mm）為主。以顯示飛字為主要目的。隨著LED制造水平的發(fā)展，以及顯示IC主控芯片能力的增強(qiáng)。在單位面積內(nèi)，可受控的像素?cái)?shù)量有了較大的突破。同時(shí)，可顯示的顏色也從原來的單色逐漸進(jìn)化成全彩（RGB）。并且在灰階響應(yīng)速度、刷新頻率、對(duì)比度、亮度和色深等方面都有著顯著的突破。近年隨著制造工藝水平的進(jìn)步，像素點(diǎn)間距由P10mm逐漸下降至P2.5mm，俗稱小間距LED顯示屏。單位面積內(nèi)像素點(diǎn)的間距P值越小其像素密度（Pixels Per Inch）就越高。通俗來說就是畫面更清晰。根據(jù)2019年TrendForce LED研究（LEDinside）報(bào)告，隨著高分辨率與高動(dòng)態(tài)對(duì)比顯示需求爆發(fā)，預(yù)估2019～2023年小間距LED顯示屏（點(diǎn)間距≤P2.5）產(chǎn)值年復(fù)合成長(zhǎng)率將達(dá)27%，而超小間距（點(diǎn)間距≤P1.1）產(chǎn)品由于目前出貨基數(shù)較低，未來成長(zhǎng)動(dòng)能最大，預(yù)估2019～2023年的CAGR為58%。這一報(bào)告體現(xiàn)出市場(chǎng)對(duì)于高質(zhì)量小間距LED顯示屏產(chǎn)品有著強(qiáng)烈的需求。在高質(zhì)量LED墻面顯示屏基礎(chǔ)上，虛擬制作技術(shù)中渲染出來的虛擬背景才有顯示的載體。

（二）計(jì)算機(jī)圖形處理器運(yùn)算能力的增加

計(jì)算機(jī)圖形處理器（以下簡(jiǎn)稱GPU）作為計(jì)算機(jī)圖形的計(jì)算單元，其能力直接決定了渲染畫面中模型細(xì)分的精細(xì)程度、貼圖質(zhì)量、圖像分辨率、幀率等重要指標(biāo)。隨著NVIDIA和AMD全球兩大GPU芯片廠商在新產(chǎn)品制程、架構(gòu)、算法等方面的研究貢獻(xiàn)。GPU的算力不斷提高。以NVIDIA分別在2014年、2020年推出的旗艦級(jí)顯卡GTX980和RTX3090為例。GTX 980擁有4.6T Flops/S的單精度浮點(diǎn)運(yùn)算速度。而6年后的RTX3090取得了近8倍于前者的進(jìn)步，速度達(dá)到了35.7T Flops/S。同時(shí)依托于GPU技術(shù)的創(chuàng)新，先后涌現(xiàn)出HDR（高動(dòng)態(tài)范圍）、DLSS（深度學(xué)習(xí)超級(jí)采樣技術(shù)）、RTX（光線追蹤技術(shù)）等新興處理技術(shù)。特別是RTX光線追蹤技術(shù)的誕生，讓GPU從原有的光柵化計(jì)算轉(zhuǎn)為光線化計(jì)算。畫面中的陰影過度更自然、倒影更真實(shí)、畫面如同讓人置身其中一般。這讓虛擬制作技術(shù)中的渲染內(nèi)容有了硬件基礎(chǔ)。

（三）游戲引擎技術(shù)的發(fā)展和普及

在擁有了強(qiáng)大硬件計(jì)算能力的基礎(chǔ)上，軟件技術(shù)的進(jìn)步也是不可或缺的因素之一。隨著近年來個(gè)人電腦的普及，游戲市場(chǎng)的用戶基數(shù)越來越大。隨之推動(dòng)的即是游戲引擎的開發(fā)與運(yùn)用。例如Unity Technologies公司的Unity系列、EPIC公司的虛幻（Unreal engine）系列以及Crytek公司的Cry Engine系列引擎等。在近年的產(chǎn)品迭代中，他們都展現(xiàn)出了驚人的畫面擬真能力。特別是在貼圖質(zhì)量、粒子特效、物理碰撞、毛發(fā)模擬和光線追蹤等方面。當(dāng)然游戲引擎和現(xiàn)實(shí)世界間“橋梁”的建成讓影視行業(yè)的從業(yè)者發(fā)現(xiàn)了一個(gè)全新的拍攝“影棚”。以虛幻4引擎為例，DMX512信號(hào)可以經(jīng)由引擎從電腦輸出到影視燈具，從而控制真實(shí)空間中的照明強(qiáng)度、方向、顏色。更是有時(shí)間碼同步等影視專業(yè)功能。再加上，各大引擎的個(gè)人版本多以免費(fèi)的形式開放下載，這無疑大大降低了游戲引擎的學(xué)習(xí)成本。讓更多的影視制作人員了解和使用虛擬制作技術(shù)進(jìn)行創(chuàng)作。

（四）運(yùn)動(dòng)捕捉技術(shù)的發(fā)展和普及

在虛擬制作中另一項(xiàng)非常重要的環(huán)節(jié)就是確定攝影機(jī)在空間中的位置以及追蹤其運(yùn)動(dòng)。早在2000年的動(dòng)畫電影《辛巴達(dá)歷險(xiǎn)記》（Sinbad： Beyond the Veil of Mists）就已經(jīng)開始運(yùn)用該技術(shù)來捕捉演員的動(dòng)作，并將其動(dòng)作映射到動(dòng)畫的虛擬人物上。在此之后的20年間，運(yùn)動(dòng)捕捉技術(shù)得到了飛躍性的發(fā)展。逐漸形成了以紅外光學(xué)捕捉為主要技術(shù)手段的主/被動(dòng)捕捉系統(tǒng)。目前在業(yè)內(nèi)以Vicon、OptiTrack和Mo-Sys的產(chǎn)品為主。其延遲和誤差分別在4.2ms和0.4mm左右。主要原理為1、在需要運(yùn)動(dòng)捕捉的主體上粘貼可反射紅外線的反射點(diǎn)。2、發(fā)射紅外線。3、通過多個(gè)攝像頭拍攝紅外線的反射圖像，結(jié)合多角度圖像分析，最終求出物體在空間中的坐標(biāo)和運(yùn)動(dòng)軌跡。該項(xiàng)技術(shù)已經(jīng)廣泛運(yùn)用于影視特效領(lǐng)域。然而這類系統(tǒng)價(jià)格昂貴，以O(shè)ptiTrack公司的8支prime-13系統(tǒng)為例。其性能可在3m*3m的面積內(nèi)追蹤1個(gè)物體，售價(jià)為22萬人民幣。但是有賴于VR產(chǎn)品在消費(fèi)級(jí)市場(chǎng)的發(fā)力。以2015年HTC VIVE為代表的Lighthouse室內(nèi)定位技術(shù)將運(yùn)動(dòng)捕捉徹底的平民化。與前面提到的OptiTrack產(chǎn)品原理不同，Lighthouse主要原理是從基站發(fā)出特定角度和頻率的紅外線，結(jié)合追蹤器上不同立面?zhèn)鞲衅鹘邮盏郊t外線的時(shí)間差異，最終計(jì)算出空間坐標(biāo)和運(yùn)動(dòng)軌跡。因?yàn)槠滗N量大，設(shè)計(jì)原理簡(jiǎn)單，省去了攝像頭和圖像分析環(huán)節(jié)，所以單體成本較低。HTC VIVE1.0可在3.5m*3.5m的面積內(nèi)追蹤1個(gè)物體，其價(jià)格為5000元人民幣。而且它也有著較低的延遲（10ms）和不錯(cuò)的追蹤精度（誤差在2mm左右）。這讓越來越多的人可以接觸到原本動(dòng)輒幾十萬的運(yùn)動(dòng)捕捉技術(shù)。降低了虛擬制作的研發(fā)和使用門檻。

二、影視制作行業(yè)的主觀要求、探索

虛擬制作技術(shù)的諸多優(yōu)點(diǎn)能夠切實(shí)的幫助到影視制作工作。在影視制作中特效（VFX）的運(yùn)用是非常普遍的。但是傳統(tǒng)的綠幕特效方案因?yàn)槠洹芭臄z-剪輯-特效”的制作流程。無法讓導(dǎo)演在拍攝現(xiàn)場(chǎng)看到特效的效果，而只能憑空想象。這讓前期拍攝的容錯(cuò)率變得很低。有時(shí)到特效制作階段才發(fā)現(xiàn)拍攝中的一些問題，成片質(zhì)量不是很理想。而虛擬制作“拍即所得”的技術(shù)特點(diǎn)徹底顛覆了這一情況?！疤匦?拍攝-剪輯”的制作流程讓導(dǎo)演在拍攝現(xiàn)場(chǎng)就能看到成片的效果，從而更好的把握影片的質(zhì)量。同樣因?yàn)橹谱髁鞒痰母淖?，虛擬制作技術(shù)將影視制作的成本大大降低。無需長(zhǎng)時(shí)間的后期制作、特效合成步驟，縮短了制作周期。因?yàn)長(zhǎng)ED墻面可以顯示出任意場(chǎng)景，這就免去了一些場(chǎng)景攝制組出外景的必要，減少轉(zhuǎn)場(chǎng)時(shí)間，進(jìn)一步降低了拍攝預(yù)算。上一場(chǎng)戲在非洲大草原探險(xiǎn)，下一場(chǎng)戲在東京街頭飆車，僅僅需要?jiǎng)右粍?dòng)鍵盤和更換影棚內(nèi)的前景即可在兩個(gè)場(chǎng)景間切換。也因?yàn)檫@一特性，顯著降低了影視制作中美術(shù)制景的工作難度和成本。以電影《八佰》為例，光場(chǎng)景投資就高達(dá)數(shù)億元人民幣。如果轉(zhuǎn)為使用虛擬制作技術(shù)這筆制景費(fèi)用將會(huì)大大降低。

三、結(jié)語

目前，雖然虛擬制作技術(shù)為影視制作帶來了諸多便利，但該技術(shù)尚處于起步階段，仍有較多的問題有待解決。如運(yùn)動(dòng)捕捉-渲染-顯示的延遲問題；與演員產(chǎn)生交互的道具、地面無法虛擬化的問題；LED顯示屏成本較高的問題等。但是相信在未來透明顯示屏、人工智能等技術(shù)的加持下虛擬制作技術(shù)的缺點(diǎn)將會(huì)被逐步解決。影視制作行業(yè)將迎來一次發(fā)展的新契機(jī)。