數(shù)字替身工作流程探究

馬緒怡 李雪松

(1.北京電影學(xué)院中國電影高新技術(shù)研究院,北京 100088)

(2.北京電影學(xué)院影視技術(shù)系,北京 100088)

1 傳統(tǒng)替身在電影拍攝中的運用及不足

替身演員一直以來都是電影拍攝過程中必不可少的角色。無論是在以前還是現(xiàn)在,演員在電影拍攝過程中,如果涉及到武打、爆炸等危險性較高的鏡頭設(shè)計,都會使用替身演員。例如電影 《見龍卸甲》劉德華的替身演員杜奕衡,在拍攝一場馬戲時,差點被失控的戰(zhàn)馬踩死?？梢钥闯?如果沒有替身演員,電影劇組可能會因為一個小小的不慎便造成難以挽回的損失。隨著影視作品的蓬勃發(fā)展與各種各樣的拍攝需求增加,替身演員根據(jù)其起到的作用,可以分為文替、武替、光替、手替等類別。

文替即文戲替身,主要工作是拍攝主演“不露臉”的戲份,文替多用于檔期緊張的演員;武替即武術(shù)替身,主要工作便是代替演員拍攝武打等高難度動作戲份,往往是由一些具有武術(shù)功底的演員承擔(dān);光替即燈光替身,主要的工作為代替演員站位,方便燈光師調(diào)整燈光,不讓主演空等;手替即手部替身,主要工作為完成一些特寫手部技巧性較高的動作或樣貌的鏡頭。

可以看出,傳統(tǒng)替身的分類已經(jīng)十分詳細,但是傳統(tǒng)的替身演員卻也存在著相當(dāng)大的不足,例如有時候合適的替身演員千金難求,亦或是鏡頭難度太大沒有人愿意作為替身。而隨著計算機圖形學(xué)的發(fā)展,數(shù)字替身應(yīng)運而生。為此,筆者將在此文探討當(dāng)下數(shù)字替身的作用和具體的工作流程,并以相應(yīng)的貼圖為示范,探討數(shù)字替身的具體工作流程和一些具體的細節(jié)。

2 數(shù)字替身的定義及優(yōu)勢

在此給出數(shù)字替身 (Digital Double)的定義:通過使用計算機生成的圖像和聲音,創(chuàng)建或重建一個人或者是一個人的部分,使得和實拍的人難以被區(qū)分,從而起到替身作用。根據(jù)替身的作用,筆者將數(shù)字替身分為以下三種類型:傳奇 (Legend)、在世(Living)和創(chuàng)造(Creation)。

其中,傳奇型的數(shù)字替身為重現(xiàn)已經(jīng)過世或者是電影中曾經(jīng)存在的人物,已經(jīng)無法實拍;在世型的數(shù)字替身為目前仍然存在卻因為某種原因?qū)е聼o法實拍;創(chuàng)造型的數(shù)字替身則為根本不存在的人或者生物,本就無法實拍。

例如,當(dāng)下電影在拍攝時,部分演員的選角會自帶流量,然而自帶流量的演員往往容易被詬病演技不佳。因此,如果能夠在這些電影的拍攝上使用數(shù)字替身技術(shù),那么甚至流量演員本身都不需要親自去演,只需要向他們進行授權(quán),進行形象等協(xié)議的簽約,然后使用一些“實力派”的數(shù)字替身演員進行拍攝,處理得當(dāng)?shù)脑?說不定會有奇效。

如果使用了數(shù)字替身技術(shù),便可以“隨心所欲”地拍攝出想要的人物而不需要該人物親自登場,這對于一些檔期緊張或演技不佳的演員具有很多優(yōu)勢。甚至可以從頭到尾不需要演員到劇組現(xiàn)場拍攝,只需要獲得演員的授權(quán),然后由數(shù)字替身來處理,以獲得更好的預(yù)期效果。

3 數(shù)字替身的工作流程

如圖1,數(shù)字替身的制作可以分為以下幾個部分:首先是尋找一個數(shù)字替身演員,這個演員最好和正身演員的體型接近,這樣在制作數(shù)字替身模型的時候,便可以只考慮臉部的更換,從而大幅減少工作量;數(shù)字替身演員在表演時,也只需要對其進行面部表情捕捉。其次是對于正身演員,要對其進行數(shù)據(jù)采集,一是采集正身的骨骼信息用于后面的綁定,二是使用照相測量法或者激光掃描進行人物建模,建完模型后,進行真人和模型的外貌匹配;同時還要對正身演員進行光臺拍攝,使用光臺來模擬最終的光效;最后是使用一些插件去制作數(shù)字替身模型的毛發(fā)、眼睛、牙齒等,將所有部分進行最終的合成匹配。

圖1 數(shù)字替身工作流程

3.1 光臺拍攝

之所以使用光臺,是因為要在視覺上逼真地重現(xiàn)三維物體,光有三維模型是不夠的。同一個物體的表面在不同光照環(huán)境下會呈現(xiàn)出不同的反射效果,能否模擬出與真實物體表面一致的反射特性,對提高計算機渲染和成像的逼真度至關(guān)重要。由美國USC ICT Graphic Lab (University of Southern California Institute for Creative Technologies Graphic Lab,南加州大學(xué)創(chuàng)新技術(shù)研究所圖形實驗室)的保羅·德貝維奇 (Paul Debevec)所領(lǐng)導(dǎo)開發(fā)的光臺(Light Stage)技術(shù)拍攝,便可以做到高保真的三維采集重建。如圖2所示,經(jīng)過技術(shù)迭代,光臺拍攝技術(shù)目前已經(jīng)是一種集后期重打光、高級建模、紋理制作和表情捕捉為一體的解決方案。光臺技術(shù)在前期主要為兩個部分,一是打光 (Lighting)和重打光(Relighting);二是通過FACS (Facial Action Coding System,面部行為編碼系統(tǒng))獲取表情信息。

圖2 光臺拍攝系統(tǒng)

對于一個數(shù)字替身模型而言,在實際的拍攝過程中,往往會尋找一個身高體型相似的演員,這樣在后期的過程中,只需要專心處理面部即可。而對于面部的三維模型,往往是通過圖片建模的方法,通過多機位套偏振片加多角度燈光套偏振膜的方法,多機位同時拍攝靜態(tài)圖像或動態(tài)圖像,對人物面部進行掃描,獲得一個三維模型。

然而在實際的過程中,為了在大銀幕上逼真地重現(xiàn)人物,僅有三維模型是遠遠不夠的。一方面,直接得到的面部模型在清理完之后,模型的uv和材質(zhì)仍需要重新制作,并和正身演員進行匹配,使得普通觀眾難以區(qū)分;另一方面,使用渲染器渲染出的燈光效果應(yīng)當(dāng)和真實世界燈光打在人物上效果相匹配,而使用光臺則可以通過光的加性原則和反射函數(shù)實現(xiàn)模擬任意光線,并在任意視角下合成光照。

3.2 FACS和面部封裝綁定

FACS是在圖片建模前期拍攝時,演員所需要做的表情集合。如圖3,FACS 通過將人類的表情進行分類,將人臉劃分成若干個運動單元 (AU,Action Units),并給出了AU 的運動特質(zhì)及其所控制的主要區(qū)域。

圖3 FACS運動單元

對于演員來說,當(dāng)他們在被掃描的過程中,他們需要作出FACS的表情,以便后期提取面部的幾何特征。如圖4,一般而言,演員要做40～60個表情。在做表情之前,如圖5,也需要對演員面部貼上標(biāo)記點,標(biāo)記點的數(shù)量可以用RMSE (均方根誤差)來衡量。

圖4 FACS下真人做的表情

圖5 標(biāo)記點的數(shù)量與RMSE

顯然,標(biāo)記點并不是越多越好,主要遵循以下三個原則:

(1)避免攝像頭邊角變形區(qū);

(2)演員做極端表情時不會被藏到褶里;

(3)放在肌肉頂峰處。

在遵循上述三個原則的條件下,便可以對演員進行跟蹤點的標(biāo)記,可以使用可擦的中性筆來畫在臉上,也可以使用反光球粘在臉上。貼標(biāo)記點的目的是為了后期軟件能夠精準(zhǔn)地識別跟蹤點,方便VFX 的制作。

在有了模型之后,如圖6,使用 Wrap3 和ZBrush等軟件進行進一步的雕刻和處理,使得模型不再有頭發(fā)和其他雜質(zhì),并制作人物皮膚的紋理貼圖,同時可以結(jié)合FACS wrapped (面部運動編碼系統(tǒng)封裝)制作相應(yīng)的控制點。

圖6 人物模型與控制點

3.3 人物皮膚的重建

人臉通常情況下可分為低頻、中頻和高頻三種幾何信息。無論是低頻還是高頻的幾何信息,都是通過多通道的貼圖來完成的。如圖7,在USC ICT使用光臺所完成的“Digital Emily”項目中,重建的數(shù)字演員艾米麗效果。數(shù)字演員艾米麗的貼圖合成方法如圖8所示。通過制作不同通道的貼圖,如圖9,依次為數(shù)字演員艾米麗的Diffuse map (漫反射貼圖)、Displacement Map (置換貼圖)、Single scatter(單散射貼圖)、Specular map (高光貼圖)通道的貼圖,在合成軟件里調(diào)整,再進行合成,可以實現(xiàn)高質(zhì)量的幾何信息,從肉眼上達到難以區(qū)分的效果。

圖7 Digital Emily人臉重建效果

圖8 Digital Emily的合成步驟

圖9 Digital Emily的合成貼圖

3.4 最終合成

演員的表演對影片的呈現(xiàn)至關(guān)重要,正所謂“眼睛是心靈的窗戶”,對于數(shù)字替身更是如此。數(shù)字替身演員在前期拍攝時的眼睛,無法直接使用。不真實的眼神對表演的影響巨大,同時人臉除了眼睛以外,還有眉毛、舌頭與牙齒等其他部位也會影響到表演,這些都需要后期重新制作貼圖合成到三維模型上。如圖10,為數(shù)字替身的舌頭、嘴唇與牙齒的漫反射貼圖與法線貼圖。在最終的合成過程中,這些貼圖都會在三維軟件里和三維模型一起渲染出來。

圖10 漫反射貼圖與法線貼圖

4 數(shù)字替身的應(yīng)用

數(shù)字替身的方法一旦使用,便可以規(guī)避當(dāng)下很多電影無法避免的拍攝問題,如拍攝進度和拍攝難度等。例如電影 《速度與激情7》遇到的不可抗力事件。電影主演保羅·沃克在拍攝進度過半之時,因為一起嚴(yán)重的車禍而意外身故。于是電影劇組便選擇了保羅·沃克弟弟真人補拍和數(shù)字替身相結(jié)合的拍攝方式。因為事發(fā)突然,沒有辦法詳盡采集保羅·沃克的個人數(shù)據(jù)。所以保羅·沃克的本身數(shù)據(jù)只能通過前六部的鏡頭進行采集,這對影片的制作產(chǎn)生了極大的難度。幸運的是,保羅·沃克有兩個弟弟,可以進行代替拍攝。可以想象,如果發(fā)生了類似的不可抗力事件,對整個電影的拍攝和呈現(xiàn)都將會是災(zāi)難性的。

再比如說,要拍攝嬰兒和危險動物。而在電影拍攝中,最難拍的便是小孩和動物。如果一部電影,既要拍攝小孩,又要拍攝危險動物,還要拍攝小孩和危險動物之間的互動,實拍可以說是無法實現(xiàn)。在電影《查理與巧克力工廠》中,劇組花費了10個星期,訓(xùn)練了40 只松鼠。如圖11,從它們出生開始便每天都進行訓(xùn)練,劇組為此付出了大量的時間和金錢。而電影 《雷蒙斯尼奇的不幸遭遇》則采用了數(shù)字替身的技術(shù),給小孩和動物做了數(shù)字替身。如圖12和圖13,從而使得小孩可以完成各種各樣的高危鏡頭,如吃石頭、鐵管,或者是和巨蟒在一起玩耍。

圖11 《查理與巧克力工廠》松鼠截圖

圖12 電影 《雷蒙斯尼奇的不幸遭遇》嬰兒吃拐杖

圖13 電影 《雷蒙斯尼奇的不幸遭遇》嬰兒和巨蟒玩耍

5 數(shù)字資產(chǎn)與數(shù)據(jù)庫的建立

制作數(shù)字替身所產(chǎn)生的貼圖與模型等數(shù)據(jù),均是寶貴的數(shù)字資產(chǎn) (Digital Asset)。從數(shù)字資產(chǎn)的角度來看,只需要滿足以下三點,便是一個數(shù)字資產(chǎn):(1)是一個數(shù)字文件,(2)能夠提供價值,(3)可搜索和可發(fā)現(xiàn)(通常使用元數(shù)據(jù))。

數(shù)字資產(chǎn)的潛力是無窮的?？梢钥闯?任何一部影片使用了數(shù)字替身的手段拍攝,其中間和最后所產(chǎn)生的物料往往是非常寶貴的。在制作的過程和存儲的流程規(guī)范的前提下,可以通過數(shù)字資產(chǎn)管理系統(tǒng) (DAM,Digital Asset Management)制作數(shù)據(jù)庫來產(chǎn)生新的價值。如果一部電影要拍續(xù)集,可能要30年以后,例如電影《銀翼殺手》和《銀翼殺手2049》,亦或者是要拍一個已經(jīng)過世的人物的傳記。如果能夠直接使用先前影片制作產(chǎn)生的物料,不僅可以縮短制作周期,還可以保證制作的質(zhì)量。對于數(shù)字資產(chǎn)本身而言,其必須能夠被搜索和發(fā)現(xiàn),否則便沒有意義。

而數(shù)字資產(chǎn)價值主要是體現(xiàn)在其本身的元數(shù)據(jù)(Metadata)上。數(shù)字資產(chǎn)的元數(shù)據(jù)可分為兩類,一個是技術(shù)性元數(shù)據(jù),另一個則是描述性元數(shù)據(jù)。技術(shù)性元數(shù)據(jù)是指分辨率、位深、幀速率、文件大小等;描述性元數(shù)據(jù)則是指資產(chǎn)的內(nèi)容,例如標(biāo)題、描述或者是關(guān)鍵字等。通過合理的記錄和描述元數(shù)據(jù),結(jié)合DAM,使得有制作需求的藝術(shù)家可以快速地入手其需要的數(shù)字資產(chǎn),可以讓電影變得更加豐富多彩。

6 總結(jié)

計算機圖形學(xué)的不斷發(fā)展使得電影內(nèi)容呈現(xiàn)出無數(shù)種可能,雖然相比較于傳統(tǒng)的替身演員,數(shù)字替身的優(yōu)勢和前景是極大的。但是同樣的,想要創(chuàng)作出能夠真正令人信服的數(shù)字替身難度也是極大的,高品質(zhì)的數(shù)字替身需要創(chuàng)作者付出巨大的心血。每個環(huán)節(jié)都極其考驗制作者的耐心和經(jīng)驗,如果其中有一個環(huán)節(jié)沒有做好,都會使得數(shù)字替身模型遭遇恐怖谷效應(yīng),令觀眾產(chǎn)生反感。所謂的恐怖谷效應(yīng),是指擬人物或其他的人造物做得與人類非常相似、但又不完全一致的時候,會使人發(fā)自內(nèi)心地產(chǎn)生恐懼的情緒反應(yīng),它的恐懼指數(shù)曲線類似一個山谷,因此得名恐怖谷效應(yīng)。

除了本文所述的數(shù)字替身制作流程以外,越來越多簡潔的制作流程也在出現(xiàn)。例如著名的游戲公司Epic 使用了Meta Human Creator,通過 Meta Human這樣的一個云端流送應(yīng)用,可以高效地制作出豐富多樣,具有特色的數(shù)字人類。Meta Human是通過使用一個不斷增長的、豐富的人類外表與動作庫進行繪制,并且以數(shù)據(jù)約束的合理方式,與在庫中的實際示例之間進行混合,制作出數(shù)字人類的模型。有了數(shù)字人類的模型,便可以更加高效地制作出數(shù)字替身。再例如Pifuhd,可以直接通過給出一張高清照片,生成3D 模型。相信隨著技術(shù)的發(fā)展和替身的需求不斷增加,數(shù)字替身的制作流程會更加簡潔,這樣也會被更加廣泛應(yīng)用到各個領(lǐng)域中。?