數(shù)字逆齡:《愛爾蘭人》面部捕捉技術(shù)與藝術(shù)創(chuàng)新

王騰飛 張懿慧 丁友東

(1.上海政法學(xué)院上海紀錄片學(xué)院,上海 201701)

(2.上海大學(xué)上海電影學(xué)院,上海 200072)

1 面部捕捉技術(shù)簡史:從 《宇宙威龍》到《愛爾蘭人》

面部捕捉技術(shù)是動作捕捉的一部分,指借助機械裝置等設(shè)備記錄人類面部表情和動作,并將其轉(zhuǎn)為一系列參考數(shù)據(jù)的過程。和其他動作捕捉相比,面部表情更加復(fù)雜,對數(shù)據(jù)精度的要求更高。目前面部捕捉技術(shù)廣泛運用于影視、游戲等諸多領(lǐng)域,和手動制作的動畫相比,面部動作捕捉制作的表情,更加具有真實性。當下面部動作捕捉大多是基于光學(xué)技術(shù),從數(shù)據(jù)來源可以分為兩種:二維面部捕捉和三維面部捕捉。其中二維面部捕捉指基于光學(xué)鏡頭記錄數(shù)據(jù),通過特定算法標記,完成對人物面部表情動作的記錄,這種技術(shù)廣泛存在手機、電腦等設(shè)備中,具有代表性的為蘋果iPhone中的Animoji,通過抓取用戶面部數(shù)據(jù)并且生成表情;而三維面部捕捉在二維面部捕捉基礎(chǔ)之上,借助設(shè)備捕捉畫面的深度信息,獲取人物面部三維動作,一般使用相機陣列,但這種記錄方式成本較高,且不利于演員即興演出等。從拍攝條件可以分為有標記點和無標記點面部捕捉,其中有標記點是當下面部動作捕捉的主要方式,這種方式在演員面部標定一百多個點,同時借助特定的設(shè)備捕捉面部動作,如頭盔等;而無標記點的面部捕捉方式往往依據(jù)人臉面部特征,追蹤人臉眼睛、鼻子、牙齒等位置,完成數(shù)據(jù)記錄。面部捕捉技術(shù)還有其他分類方法,在電影中的運用一般采集三維數(shù)據(jù),更多以有無標記點來區(qū)分。

最早關(guān)于動作捕捉的技術(shù)可以追溯到1915年,動畫大師Max Fleischer借助放映機將膠片中的畫面投影到墻上,依據(jù)投影出來的畫面,再結(jié)合人工畫師,將一幀幀畫面畫出來。而面部捕捉最早可以追溯到1988年deGraf/Wahrman公司開發(fā)的Mike the Talking Head動作捕捉系統(tǒng),該系統(tǒng)中包含面部捕捉功能。第一次正規(guī)使用動作捕捉技術(shù)的影片為《宇宙威龍》,但是這部影片中更多是骨骼運用,而非面部捕捉;隨后在1992年,Sim Graphics為面部捕捉專門開發(fā)系統(tǒng),這種系統(tǒng)依賴于傳感器,將傳感器固定在頭盔上,追蹤演員嘴巴、上下顎等動作信息,完成面部捕捉,這套設(shè)備輔助任天堂產(chǎn)品Mario演出,如圖1所示。隨后運用動作捕捉技術(shù)的電影有《極地特快》《丁丁歷險記》等,但是大多是針對肢體的動作捕捉為主。

圖1 基于傳感器的動作捕捉①

較早規(guī)?；\用面部捕捉技術(shù)且獲得奧斯卡視效獎的影片為2001年的 《指環(huán)王》。演員安迪·瑟金斯在表演時穿著帶有標記點的服裝,動畫師先制作出安迪的造型,然后再將數(shù)據(jù)轉(zhuǎn)化到咕嚕的模型身上。同年Image Metrics推出無標記點面部捕捉技術(shù),隨后《黑客帝國》特效團隊又自己研發(fā)出無標記點面部捕捉技術(shù),并且成功運用于 《黑客帝國2:重裝上陣》以及 《黑客帝國3:矩陣革命》,在電影技術(shù)史中具有里程碑的意義。影片《黑客帝國》中采用無標記點的面部捕捉技術(shù),運用5 臺Sony HDW-F900高清攝像機同時記錄演員雨果·維文的面部,將面部動作數(shù)據(jù)傳入電腦中。這種無標記點面部捕捉技術(shù)采用光流照片測量技術(shù),將采集而來的數(shù)據(jù)和較高精度3D 模型相匹配,如圖2 所示。這種方法具有突破性的意義,但仍不夠完善,容易出現(xiàn)匹配錯誤,且制作成本高,沒有得到較好發(fā)展。隨后面部捕捉基本采用標記點的方法,且身體捕捉與面部捕捉分開來做。動作捕捉技術(shù)領(lǐng)域又一次取得突破體現(xiàn)在2006年的影片 《極地特快》,該片第一次將身體和面部同時捕捉完成,但是面部捕捉技術(shù)并沒有真正取得進步,捕捉到標記點位置信息容易出錯,依然需要動畫師手動大量調(diào)整。

圖2 《黑客帝國》無標記點面部捕捉②

面部捕捉技術(shù)再次提升的契機源于2008年的影片《阿凡達》。在這部影片之前大多采用面部標記點的方式,而《阿凡達》采用標記點加頭盔裝置,并在前面安置一個攝影機來解決面部細節(jié)的捕捉,如圖3所示。2008年至2019年期間基于頭盔加攝影機這種面部捕捉方式一直延用,《魔獸世界》《少年派的漂流記》《奇幻森林》《復(fù)仇者聯(lián)盟》《阿麗塔:戰(zhàn)斗天使》《雙子殺手》等都采用了這樣的面部捕捉方式。

圖3 《阿凡達》頭盔式有標記點面部捕捉③

從面部捕捉技術(shù)發(fā)展過程中可以發(fā)現(xiàn),面部捕捉數(shù)據(jù)往往較多投射到CG 制作的動畫形象,如《猩球崛起》《金剛》《加勒比海盜》《阿凡達》《奇幻森林》等。而《黑客帝國》中對人們面部的投射較多,大多數(shù)情況下雨果·維文都佩戴著眼鏡,為制作帶來很多便利。之所以出現(xiàn)這種現(xiàn)象,源于日本著名機器人學(xué)專家森政弘于20世紀70年代年提出的一個“越像反而越不像”的“詭異谷”學(xué)說,即人們對與自身差異越大的事物,辨別能力越差,而對差異越小的人和物,辨別能力反而越強。如李安導(dǎo)演的120fps電影 《雙子殺手》,將面部捕捉數(shù)據(jù)投射到人物本身,制作出年輕版的威爾·史密斯,但面部細節(jié)之處依然能夠被觀眾識別出來。直到2019年上映的電影 《愛爾蘭人》,對真人進行無標記點面部捕捉,借助技術(shù)進步藝術(shù)創(chuàng)新又有了新的突破。

2 《愛爾蘭人》 無標記點面部捕捉詳解

在2019年美國國家評論協(xié)會獎公布的獲獎名單中,《愛爾蘭人》獲得最佳影片、最佳改編劇本兩大獎項。這部影片采用無標記點面部捕捉技術(shù),且在拍攝過程中沒有借助頭盔等設(shè)備,是面部捕捉數(shù)字技術(shù)的一次重要技術(shù)革新。

導(dǎo)演馬丁·斯科塞斯和他的制作團隊、網(wǎng)飛、工業(yè)光魔組隊共同創(chuàng)作《愛爾蘭人》,突破演員年齡限制,打破視覺特效流程的界限,實現(xiàn)數(shù)字逆齡藝術(shù)化效果。這部影片的主要演員羅伯特·德尼羅、阿爾·帕西諾、喬·佩西已經(jīng)無法僅通過化妝來扮演更年輕時候的樣子,導(dǎo)演馬丁·斯科塞斯曾說:“我不想讓演員們彼此說話時,臉上帶著高爾夫球,這影響到演員的表演,尤其是這種類型的電影,演員需要相互飆戲”,此時亟需無標記點面部捕捉技術(shù)。

為了解決這個問題,制作團隊分為兩組:一組發(fā)展攝影系統(tǒng)和捕捉,另一組繼續(xù)完善軟件。攝影組在攝影機兩側(cè)放置兩臺側(cè)拍相機,如圖4 所示。這兩臺側(cè)拍攝影機為紅外攝影機,紅外圖像不會受到陰影的影響,同時可以獲得多個視角,且視角越多,后期越容易轉(zhuǎn)化為三維圖像。影片中大量鏡頭采用三臺攝影機同時拍攝,導(dǎo)演馬丁·斯科塞斯戲稱之為“三頭怪獸”。

圖4 三攝影機組合④

圖5 三攝影機組合拍攝效果④

在素材方面,為了解決演員年輕時候的相貌問題,制作者花費兩年時間,搜集三位演員的素材,截取大量參考圖用于研究學(xué)習,并且建立龐大的參考數(shù)據(jù)庫。從演員過往的作品中截取出大量關(guān)于演員年輕時候的片段,如圖6所示。這些片段跨越各個年齡段,用于研究每位演員的面部表演狀態(tài),以及在詮釋角色的過程中,面部表情肌肉的走向等。

圖6 演員年輕時的面部圖像數(shù)據(jù)④

在軟件方面,制作組并沒有讓動畫師去塑造演員的表演,工業(yè)光魔采用一種叫Medusa的技術(shù),為三位主演做面部捕捉,如圖7所示。具體過程為:讓演員坐在椅子上做一些列表情,借助設(shè)備生成一系列表情各異的模型,如圖8所示,而且可以借助軟件做到從一個表情切換到另一個表情,從而解決動畫問題,并在某一幀使這些表情可以相融合。借助攝影機拍攝的素材,分析演員的表演,并將模型和拍攝素材相匹配,同時也借助實拍素材,在3D模型中生成更多的細節(jié)。演員每一次表演,其面部都會有很多動作細節(jié),面部肌肉的變化、血液流動的方式等,將這些影響因素融入到面部模型中,使得制作出來的3D 模型更加生動。同時也應(yīng)注重演員面部在不同光照環(huán)境下的細節(jié),將每位演員的年輕版塑造的更寫實,如圖9所示,即便在不需要標記點以及額外的頭盔等設(shè)備的情況下,仍能保障演員在表演時不受影響。最終將演員年輕版3D 模型和表演時的面部細節(jié)數(shù)據(jù)相互結(jié)合,利用算法合成年輕版本的演員,如圖10所示,最終完成數(shù)字逆齡的藝術(shù)創(chuàng)作。

圖7 演員年輕時的面部圖像數(shù)據(jù)④

圖8 模型效果④

圖9 面部替換④

圖10 逆齡化效果對比④

《愛爾蘭人》這部影片在面部捕捉技術(shù)上的突破在于演員在表演時可以充分發(fā)揮表演才能,而無需受到表演環(huán)境的影響,既具有里程碑意義,也是當下面部捕捉技術(shù)較為先進的體現(xiàn)。從面部捕捉技術(shù)起源至今,無不透露出技術(shù)革新在藝術(shù)創(chuàng)作過程中所起到作用,同時藝術(shù)創(chuàng)作需求也在推動技術(shù)的進步。

3 《愛爾蘭人》:技術(shù)與藝術(shù)的融合創(chuàng)新

自盧米埃爾兄弟發(fā)明電影攝影機,一百多年以來,電影技術(shù)與藝術(shù)兩者處于不停博弈中,隨著數(shù)字媒體技術(shù)日新月異的發(fā)展,技術(shù)革新與藝術(shù)創(chuàng)新同步的可能性也表現(xiàn)得越來越明顯。在不斷完善技術(shù)的過程中,以技術(shù)書寫影像,滿足電影主體們的創(chuàng)作需求。

首先,傳統(tǒng)電影理論無不強調(diào)“技術(shù)服務(wù)”論。但是在計算機技術(shù)尤其是多媒體技術(shù)快速發(fā)展的過程中,對藝術(shù)的影響也越來越大。電影《愛爾蘭人》正是借助面部捕捉技術(shù)的創(chuàng)新,較好完成了數(shù)字逆齡藝術(shù)創(chuàng)作?？v觀面部捕捉技術(shù)發(fā)展,技術(shù)的革新讓影視藝術(shù)有了質(zhì)的飛躍,為藝術(shù)表現(xiàn)提供了充足的條件。恰如電影史學(xué)家雷蒙德·菲爾丁的評論:“至少在近幾年,我作為歷史學(xué)家所做的全部工作都產(chǎn)生于下述前提:電影——作為藝術(shù)形式,作為傳播媒介,作為工業(yè)——的歷史基礎(chǔ)之上是由技術(shù)革新及其報償來決定的……就鮑特、英斯和格里菲斯的影片而言,投入使用的便捷式攝影機、大膠片盒、替換式透鏡和改進型感光乳劑所作出的貢獻一點不亞于這幾位導(dǎo)演個人的藝術(shù)才華”。由此可見,技術(shù)至關(guān)重要,絕非是簡單的“服務(wù)”,也只有借助技術(shù)才可以完成可見影像的書寫。

其次,當下融合媒介快速發(fā)展,傳統(tǒng)電影面臨巨大挑戰(zhàn),尤其是互聯(lián)網(wǎng)帶來的沖擊。硬件技術(shù)快速發(fā)展,高新技術(shù)格式和虛擬制作已成為大制作影片的實力顯示,電影與其它媒體在技術(shù)上已無顯著區(qū)別,專屬于電影的技術(shù)日益減少,與此同時許多高新技術(shù)開始廣泛運用于影視行業(yè)。傳統(tǒng)視聽效果已經(jīng)無法滿足人們?nèi)找嫘枰奈幕?隨著數(shù)字技術(shù)發(fā)展,以本文中面部捕捉技術(shù)為例,從傳感器捕捉技術(shù)到標記點捕捉,到當下無標記點動態(tài)捕捉技術(shù),技術(shù)持續(xù)的發(fā)展,讓影視從人偶仿真到動物仿真,乃至《愛爾蘭人》中直接制作出年輕版的主演,技術(shù)的進步,被才華橫溢的導(dǎo)演們所駕馭,在藝術(shù)層面有所創(chuàng)新。給予電影創(chuàng)作主體捕捉“無所不在之靈”有力的技術(shù)力量,借助將新技術(shù)探究可能性新藝術(shù)表達方式,也為下一次電影技術(shù)與藝術(shù)的創(chuàng)新儲蓄能力,成為電影區(qū)別于其他媒體的重要手段之一。

第三,電影數(shù)字化制作流程已經(jīng)被廣泛運用,數(shù)字技術(shù)與電影藝術(shù)深度融合才能夠更好地體現(xiàn)技術(shù)性與藝術(shù)性相統(tǒng)一。影片 《愛爾蘭人》利用數(shù)字技術(shù)尤其是無標記點面部捕捉技術(shù),打造年輕版的三位主演是一次藝術(shù)性突破。同時,藝術(shù)突破性創(chuàng)作需要技術(shù)手段的持續(xù)革新,才能滿足電影創(chuàng)作主體們對“無所不在之靈”的捕捉,以及造“夢”的需求。電影藝術(shù)屬于一種現(xiàn)代化的藝術(shù),這種現(xiàn)代化的藝術(shù)滿足人類生存對世界的探究,人類好奇心、求知欲等不斷促使人類探究未知的世界,在不停創(chuàng)作物質(zhì)世界的同時,也在不停向往精神世界,尤其是美輪美奐的藝術(shù)世界。精神分析學(xué)認為“看電影的過程,本身就存在著夢幻、想象的特質(zhì)。這種特質(zhì)既來自于觀影者自我的心理動機,同時又來自于觀影者的觀看情境——電影院,這種把人和現(xiàn)實分隔開來,而把人與夢幻聯(lián)系起來的特殊環(huán)境。虛構(gòu)的人物、場景、事件等,需要技術(shù)的支撐,電影造“夢”的功能越來越強大,從借助聲音、畫面、光效等外部環(huán)境手段,在3D 電影發(fā)展之后,面部跟蹤技術(shù)持續(xù)跟進,以技術(shù)完成影像作為某種符號的創(chuàng)建,并以表意影像的方式,以可見的“物質(zhì)”形式呈現(xiàn)給意識。以技術(shù)與藝術(shù)共同構(gòu)建起運動的影像符號,生成電影藝術(shù)的價值,也以“再現(xiàn)形式”促使受眾主體的認知等,滿足觀眾對影片的需求。

4 結(jié)語

面部捕捉技術(shù)自誕生以來,大大提升了電影藝術(shù)創(chuàng)作的空間,幫助眾多導(dǎo)演實現(xiàn)自身的藝術(shù)創(chuàng)作,技術(shù)的進步也是藝術(shù)所需,藝術(shù)的創(chuàng)新也需技術(shù)的不斷革新。因為有了技術(shù)的支撐,電影藝術(shù)才有了獨特的藝術(shù)魅力,大大領(lǐng)先于其他藝術(shù)形式,同時技術(shù)又是在藝術(shù)中,獲得更廣泛的運用與表達。技術(shù)與藝術(shù)兩者共同完成電影影像的創(chuàng)建,將“靈韻”捕捉并呈現(xiàn)在觀眾面前,借助影像符號,進而將物質(zhì)呈現(xiàn)給意識,形成電影藝術(shù)的價值,滿足觀眾對精神文化的需求。

①圖片來源于https://www.zhihu.com/topic/20761446/intro.

②圖片來源于https://v.youku.com/v_show/id_XMzI3NTI 1MTky.html.

③圖片來源于https://v.qq.com/x/page/t0560ey2wfu.html.

④圖片來源于https://www.bilibili.com/video/BV1fJ411G7o J?from=search&seid=4113039948075356645&spm _id_from=333.337.0.0.