面部表情捕捉技術的發(fā)展和應用

朱麗莉 張繼山 余久久

摘要：面部表情作為一種非常重要的非語言符號，在影視行業(yè)中一直受十分重視，面部表情捕捉技術也是近十幾年被人們熱衷研究的方向。本文綜述面部表情捕捉技術的原理、發(fā)展和應用。通過影視工業(yè)中的具體影視作品來展示動作捕捉技術從萌芽誕生到面部表情捕捉技術的成熟所走過的一個世紀，以及在影視工業(yè)中所起到重要作用。最后展望面部表情捕捉技術未來在虛擬現(xiàn)實當中的作用，并討論無標記點面部捕捉技術、實時面部表情呈現(xiàn)等將是面部表情捕捉技術未來的研究方向，提高讀者對這個技術潛能的認知。

關鍵詞：面部表情;面部表情捕捉技術;動作捕捉技術;虛擬現(xiàn)實

中圖分類號： TP391? ? ? ? 文獻標識碼：A

文章編號：1009-3044（2021）09-0172-03

開放科學（資源服務）標識碼（OSID）：

The Development of Facial Expression Capture

ZHU Li-li， ZHANG Ji-shan， YU Jiu-jiu

（School of Computer Engineering， Anhui Sanlian University， Hefei 230601， China）

Abstract：Facial expression， as a very important non-verbal symbol， has been attached great importance in the film and television industry. Facial expression capture technology is also a hot research direction in recent ten years. This paper reviews the principle， development and application of facial expression capture technology. Through the specific film and television works in the film and television industry to show the action capture technology from the embryonic birth to the maturity of facial expression capture technology and plays an important role in the film and television industry. Finally， the future role of facial expression capture technology in virtual reality is prospected， and the future research directions of facial expression capture technology， such as unmarked point facial capture technology and real-time facial expression presentation， are discussed， so as to improve readers' cognition of the potential of this technology.

Key words： facial expression;Facial Expression Capture;Motion Capture;Virtual reality

1 引言

面部表情（Facial expression）是指通過眼部肌肉、口周肌肉、臉面肌肉的運動變化來表現(xiàn)的不同的情緒狀態(tài)。表情在傳遞信息的作用當中占著超過半數(shù)的比例，非語言符號專家艾伯頓·梅熱比曾提出公示：溝通雙方互相理解=語調、語速（38%）+表情、姿態(tài)（55%）+語言內容（7%）。觀眾欣賞電影，接受到其實就是影片中演員通過精湛的表演傳遞給觀眾的非語言符號表達的信息。而隨著影視工業(yè)技術不斷革新，大銀幕上誕生的越來越多的CG角色，如何賦予他們真實可信的情緒就成了非常迫切需要解決問題，而面部表情捕捉技術的誕生和發(fā)展解決了這個問題并讓CG角色鮮活和充滿魅力[1]。

2 面部表情捕捉技術簡介

面部表情捕捉（Facial Expression Capture），又被稱為面部動作捕捉（Facial Motion Capture），他是動作捕捉（Motion Capture）技術的一部分，而動作捕捉技術發(fā)展到2009年因為技術的革新和動作捕捉演員演繹的精進，又被稱之為表演捕捉（Performance Capture）技術[2]。

2.1 動作捕捉技術

動作捕捉技術是一系列技術的統(tǒng)稱，從原理上分有機械式、聲波式、電磁式、光學式等多種。該技術涉及被捕捉運動對象的尺寸測量、物理空間的定位以及方位測定等方面可以由計算機直接理解處理的數(shù)據(jù)。典型的動作捕捉技術設備由四個部分組成：傳感器，信號捕捉設備，數(shù)據(jù)傳輸設備，數(shù)據(jù)處理設備[3]。

2.2 面部表情捕捉技術

面部表情捕捉技術相較于穩(wěn)定的人體來說，更為細微復雜，所以對數(shù)據(jù)的精度要求也就更高，可以基于機械式和基于光學來實現(xiàn)。在預算允許的情況下，CG電影更傾向于選擇捕捉真人面部來完成角色的演出，與手動關鍵幀動畫角色表情相比，通過面部捕捉技術支持生成的角色更具有真實感。根據(jù)人臉拍攝條件不同，可以分為面部有標記點和無標記點兩種方式[4]。

3 面部表情捕捉技術的發(fā)展和應用

面部表情捕捉技術作為動作捕捉技術的一部分，研究其發(fā)展必然要從動作捕捉技術的誕生和開始說起。

3.1動作捕捉技術的前世

3.1.1.轉描技術（Rotoscoping）

上個世紀初，動畫剛剛誕生，理論系統(tǒng)并沒有完善，相應的技術也比較落后，當時的動畫師們有個共同的難題，通過一幀一幀繪制出來的動畫無法流暢自然表現(xiàn)物體的運動。針對這個問題，在1915年，Max Fleischer著名的動畫家在創(chuàng)作《小丑可可跳出水墨瓶》時發(fā)明了轉描技術（Rotoscoping）[4]，這是一種逐幀追蹤真實運動的動畫技術，將預先攝制好的膠片投影到動畫師桌面上，動畫師再根據(jù)每一幀的影像進行拓畫。

1937年，迪士尼在制作《白雪公主》時運用了該技術，這是世界上第一部使用轉描技術的動畫電影，動畫角色們的豐富的面部表情是在真人演繹的基礎上進行二度創(chuàng)作去貼合角色的性格并符合二維動畫夸張的面部表情。在四年后，1941年上映的我國第一部動畫電影《鐵扇公主》也在影片中使用了轉描技術進行創(chuàng)作。影片中，鐵扇公主流暢的肢體動作都是通過動畫師逐幀轉描影像記錄的真實人物的動作。

雖然真正的動作捕捉系統(tǒng)還需要幾十年的時間才會成熟，但轉描技術正是這個行業(yè)的概念證明，在動畫空間中盡可能地模仿真實人物的動作以及面部表情會讓作品更出色。

3.2.2光學動作捕捉技術的雛形

19世紀30年代，俄羅斯科學家為了研究人體運動規(guī)律作的科學實驗，可以說是今天主流光學動作捕捉技術的雛形：運動員身上綁上發(fā)光標記點，在通過高速快門攝影機進行記錄，攝影機記錄到的畫面就是由發(fā)光點留下的線條，人體運動時肢體關鍵點形成的軌跡。（圖1）

3.1.3實時動作捕捉的第一個實例

動畫大師李?哈里森三世在1959年時，用電位器（可調電阻器）襯了一件緊身衣，并能在顯示器上實時記錄和模仿演員的動作。在這個簡陋的平臺上，動畫演員本質上是個發(fā)光的棒形人物，但這標志著實時動作捕捉的第一個實例誕生了。

3.2在影視工業(yè)中的面部捕捉技術和動作捕捉技術

隨著計算機的出現(xiàn)，數(shù)字時代的到來，人們開始追求通過計算機來自動完成不同關鍵幀之間的角色運動，為了實現(xiàn)這一目標，科學家們開始研究運動捕捉技術。1983年麻省理工學院（MIT）開發(fā)了基于LED的“木偶圖像化”技術，是首批的光學動作捕捉系統(tǒng)，為之后的動作捕捉奠定了發(fā)展基礎和方向。從這時開始，電腦動畫行業(yè)才逐漸開始應用動作捕捉技術。

3.2.1 動作捕捉技術的首例應用

在1985年的超級碗現(xiàn)場，當時播出了由Robert Abel制作的短《Brilliance》，該片的制作團隊在女模特身上18個關節(jié)上涂描了黑點（圖2），通過多角度多拍攝來獲得動作信息數(shù)據(jù)并導入到計算機生成的女性機器人身上，值得注意的是，這部短片不僅是動作捕捉技術的首例應用，也創(chuàng)作了世界上第一個計算機生成的女性機器人（圖3），是一部CGI歷史上里程碑式的作品[4]。

3.2.2面部表情捕捉技術的誕生及早期代表設備

為追求面部表情的數(shù)字化，20世紀80年代對研究人員也在著手研究面部動作的捕捉技術，最早的面部動作捕捉主要依靠機械裝置跟蹤測量面部運動情況。面部捕捉技術機械式的設備代表有1992年SimGraphics開發(fā)的Face Wald面部動作捕捉系統(tǒng)（圖5），通過固定在雙頰、嘴唇、下巴、眉毛等位置的傳感器追蹤臉部動作。這套面部捕捉設備曾在當年的任天堂發(fā)布會上，通過屏幕上的Mario形象與觀眾交流互動。雖然機械式面部動作捕捉設備擁有成本低、精度高、可以實時測量等優(yōu)點，但使用起來并不方便，對表演者的表情限制較大，隨著技術的革新，最終慢慢退出了歷史舞臺。

3.3 在電影中初露端倪的動作捕捉技術

20世紀末，在動作捕捉設備包括面部捕捉設備支持的情況下，電影行業(yè)開始逐漸嘗試動作捕捉技術作為電影的制作手段之一，雖然在當時該技術并沒有取得矚目的成績，但讓人們看到了其的巨大潛力。

3.3.1第一部使用動作捕捉技術的電影

1990年，由保羅·范霍文執(zhí)導的《全面回憶》，這是第一部使用動作捕捉技術的電影，片中使用動作捕捉技術的鏡頭僅幾秒，即施瓦辛格實驗的男主角經(jīng)過X射線時的鏡頭。（圖4）

3.3.2《泰坦尼克號》中的動作捕捉技術應用

1997年詹姆斯·卡梅隆導演的《泰坦尼克號》也借助動作捕捉技術，觀眾看到的沉船場景中大多數(shù)乘客都是計算機制作的，演員穿著白色帶有金屬標記點的衣服表演摔倒、跌落等動作，通過攝像機和計算機把動作數(shù)據(jù)導入到CG角色上進行合成和渲染（圖5）。

3.4 登上電影舞臺的面部捕捉技術和動作捕捉技術

進入21世紀最初的幾年，動作捕捉技術是身體動作和面部動作分開進行捕捉，也依舊沒有得到電影制作們的絕對重視。

3.4.1 多人同時動作捕捉技術

2001年的計算機動畫電影《最終幻想：靈魂深處》在角色的真實感上下來很大工夫，雖然最終票房不盡如人意，但該片全程使用了動作捕捉技術，實現(xiàn)了多人同時動作捕捉（圖6），成為動作捕捉史上的經(jīng)典作品。但是CG角色僵硬缺少情緒的面部表情讓觀眾無法和角色產(chǎn)生情感共鳴，從而投入到故事劇情當中。

3.4.2 經(jīng)典的動作捕捉角色咕嚕姆

同年，當年的奧斯卡最佳視覺獎獲獎影片《指環(huán)王》中誕生了由安迪·瑟金斯飾演，經(jīng)典動作捕捉角色咕嚕姆（圖7），起初這位英國籍舞臺演員只是作為咕嚕姆的配音演員，然而導演彼得·杰克遜發(fā)現(xiàn)他的表演潛力，決定讓他嘗試掌握動作捕捉技術，完成咕嚕姆的表演。第一部影片的動作捕捉過程主要是，安迪·瑟金斯穿著白色的衣服先和其他演員一同對戲，再到棚內穿上帶有標記的服裝并且在臉上畫上標記點通過獨自表演進行動作捕捉特別是面部表情的捕捉，最后由后期人員把瑟金斯在畫面中擦除替代上咕嚕姆CG形象。最終我們在熒幕上看到一個被瑟金斯完美演繹的在魔戒折磨中失去了人形的咕嚕姆，從他豐富的面部表情中觀眾可以發(fā)現(xiàn)它擁有著卑鄙、可憐、邪惡、貪婪的多重性格。這一次動作捕捉技術的嘗試，成就了具有劃時代意義的咕嚕姆，也為瑟金斯成為“動作捕捉第一人”奠定了基礎。咕嚕姆是世界電影式史上最經(jīng)典的CG角色之一，同時也是電影史上最經(jīng)典的動作捕捉角色之一，還是最早使用面部捕捉技術的角色之一。

3.4.3 無標記點的面部捕捉技術

到了2003年面部捕捉技術在《黑客帝國2》中有了新的突破，電影中首次采用無標記點的面部捕捉技術。五個同步高清攝像機被擺放為環(huán)形陣列捕捉他的面部表情，皮膚表面、動作變形和環(huán)境進行修改和渲染最后合成演員臉部被擊中的鏡頭（圖8）。該無標記點的面部捕捉技術采用光流照片測量技術，這是一個非常關鍵的算法，可以追蹤通過環(huán)形高清攝影設備拍攝到的像素點所在的位置，將這些結果與模型結合，讓像素點與模型節(jié)點匹配，從而得到模型的運動軌跡。無標記點面部捕技術盡管在當時十分先進，但煩瑣的制作工藝，高昂的制作成本以及低效的工作進展，使得該技術沒辦法被大規(guī)模的推廣應用。

3.4.4 同時捕捉面部和身體，動作捕捉技術的規(guī)范化

2004年，《極地特快》上映，這是一部完全由計算機制作的動畫作品，在這部電影誕生之前的十多年中，電影制作者們專注于如何使用計算機制作產(chǎn)生真實的煙霧、水、火等特效，而從這部電影開始設法通過計算機創(chuàng)作人類身體、面部表情、毛發(fā)、衣服運動感的真實效果。以“技術狂人”著稱的羅伯特·澤米吉斯在影片中運用了虛擬攝像和最新動作捕捉技術，第一次實現(xiàn)了身體和面部運動可以同時進行捕捉，在錄制過程中以三維特效的形式，將多名演員的面部表情及肢體行為在顯示器中真實地再現(xiàn)出來。雖然在影片《極地特快》中人物的面部表情并沒有比手動關鍵幀動畫強多少，根本原因還是當時面部捕捉技術的不夠成熟，但是這部影片的誕生也是具有里程碑的意義。

3.5 面部表情捕捉技術走向成熟

3.5.1 頭戴式表情捕捉系統(tǒng)

2009年的電影《阿凡達》把面部表情捕捉技術提升到了一個新的高度，導演卡梅隆把一個微小的攝像機系統(tǒng)在頭盔前來追蹤每一個面部運動，借助頭戴式攝像頭以及改進的軟件算法，完美地解決了如何高精度采集演員面部表情的問題（圖9），現(xiàn)在表演者面部粘貼著標記點，嘴巴前的頭戴式攝像頭已經(jīng)成為動作捕捉技術的標配。此外卡梅隆并不喜歡面部表情捕捉這個詞語的應用，他更喜歡稱之為“表演捕捉”（Performance Capture），聽上去有些咬文嚼字，但是可以看出在電影制作者的心中技術需要為藝術服務，導演多目標是可以通過這套面部捕捉系統(tǒng)自動獲取高精度的人臉面部表情，盡量減少后期人員的手工操作，最大程度去呈現(xiàn)演員最出色的表演從而成就優(yōu)秀的作品[5]。

3.5.2 首部在日光下運用動作捕捉技術拍攝的影片

2011年的《猩球崛起》首次在真實的地點和布景前進行動作捕捉技術來捕捉演員的表演。因為影片中的主要角色是猩猩，和人臉有著不小的區(qū)別，該影片在頭套式表情捕捉系統(tǒng)的基礎上第一次使用“臉部肌肉組織模擬技術” [6]。十多年前，安迪 瑟金斯曾獨自一人在棚中進行咕嚕姆的動作捕捉表演，到現(xiàn)在飾演凱撒可以和同事們一同站在陽光下進行表演（圖10），在感受技術進步的同時他也為本片也貢獻了更加出色的演技。在《猩球崛起》系列中，我們可以看到動作捕捉技術已經(jīng)爐火純青，身體面部同時捕捉、戶外多人捕捉、面部表情綁定、快速簡便的設備架設等，過去的許多問題都得以解決。

3.5.3 年輕版的威爾·史密斯

在過去的電影中，我們看到的CG角色大多比較卡通化，和現(xiàn)實中的人有著很直觀的區(qū)別。但在李安2019年的電影《雙子殺手》中我們看到了一老一少的威爾·史密斯（圖11），其中年輕的史密斯是完全由計算機制作的CG角色。李安通過數(shù)字建模、表演捕捉、CG渲染、畫面合成等多種技術手段，創(chuàng)造了年輕的威爾·史密斯，呈現(xiàn)到我們面前。不僅外形逼真，通過捕捉技術得到的動作形態(tài)和面部表情也讓CG角色擁有了極高的真實感。當然這部李安用來追求技術應用的電影不僅只有逼真的3D數(shù)字人這一個看點，結合著120幀的高幀頻率和4K技術，使得電影的細節(jié)更加清晰，沒有了2009年《阿凡達》在表現(xiàn)運動場景的模糊感。

4 總結及展望

從《指環(huán)王》中的咕嚕姆到《星球崛起》中的凱撒，從《阿凡達》中的納美人到《雙子殺手》中的年輕的威爾·史密斯， 我們看到大銀幕上的CG角色越來越豐富表情與精細的表達。而進入21世紀后，所謂的“特效大片”，大多都采用了面部動作捕捉技術來作為電影拍攝的方式，被賦予了豐富表情的CG角色結合劇情的整體走向，成了生動的形象，通過真實可信的面部表情實現(xiàn)了大眾情感的契合，達到了情感的共鳴。但想要獲得經(jīng)典數(shù)字角色，首先要獲得的是經(jīng)典的演員表演，技術與藝術的完美結合才能創(chuàng)造出優(yōu)秀的作品?？萍及l(fā)展和娛樂進步促使人類發(fā)明了電影，而隨著科技的進步，電影工業(yè)也將不斷突破創(chuàng)新，每一次重大的技術革新，都使電影藝術煥然一新。我們通過這眾多的優(yōu)秀影視作品中也見證了面部表情捕捉技術從開始興起逐漸走向成熟。最后，我們一起來看看面部捕捉技術在除了影視工業(yè)之外的應用場景還有哪些。

首先，面部表情捕捉技術在游戲制作領域的應用讓玩家有更棒的游戲體驗。目前流行的大型3D游戲，絕大部分都用到了面部表情捕捉技術，Dimensional Imagin的創(chuàng)始人Colin Urquhar說過：“令人感到信服的真實度一直是開發(fā)者不斷追求的東西，尤其是面部動畫”。隨著通信技術和電子設備的迭代更新，游戲角色在游戲中的表演被放大，精致的畫質中角色的表情越來越明顯，表情的質量也變得更為重要。在游戲市場上，為了讓玩家有真正的沉浸式體驗，將會有更多的公司把動捕技術和VR結合在一起，畢竟只有逼真的游戲角色及其豐富的面部表情才能使玩家產(chǎn)生良好舒服游戲體驗。

其次，包含面部表情捕捉技術虛擬現(xiàn)實技術，將會在各種領域應用，并帶來不可估量的奇跡，例如給有心傷的人以情感慰藉，讓人在情感上得到治愈。目前韓國已經(jīng)有案例，一位母親在紀錄片《遇見你》通過VR技術與去世的女兒重逢。技術人員通過女兒生前的照片，三維建模得到一個虛擬的女兒，再對多個孩子進行動作和面部表情的捕捉，結合音頻技術，創(chuàng)作一個虛擬女兒。節(jié)目中，當母親戴上VR眼鏡與女兒重逢的畫面，讓無數(shù)人淚目。

不難看出，面部表情捕捉技術是支持虛擬現(xiàn)實的主要技術之一，可以增強VR的真實感和沉浸性。文中提到的案例，都有著龐大的制作團隊，讓人們覺得該技術只能存在于高端的實驗室或有著大額預算的片場里。但實際上目前市面上已經(jīng)有許多更容易接觸和學習到的面部捕捉系統(tǒng)，只需要一臺電腦和一個網(wǎng)絡攝像頭就能夠在無標記點的情況下快速精準地捕捉到面部表情，而這是面部表情捕捉技術面向大眾的未來方向，將被應用于任何需要研究面部表情或表達情緒的領域，例如醫(yī)學、教育、心理學等以及通過網(wǎng)絡社交等。

參考文獻：

[1] Dagnes N，Marcolin F，Vezzetti E，et al.Optimal marker set assessment for motion capture of 3D mimic facial movements[J].Journal of Biomechanics，2019，93：86-93.

[2] Rahul M. Review on Capture Technology[J]. Global Journal of Computer Science and Technology： F Graphics & Vision，2018，18（1）：22-26.

[3] 尹釗.動作捕捉在影視作品中的應用[J].影視制作，2010，16（11）：44-48.

[4] 許樂，朱柏宇.計算機技術與電影真實感的建立——以動作捕捉技術和奧斯卡視覺特效獎為例[J].北京電影學院學報，2014（1）：64-72.

[5] 王珊，沈旭昆，趙沁平.三維人臉表情獲取及重建技術綜述[J].系統(tǒng)仿真學報，2018，30（7）：2423-2444.

[6] 劉輝，朱闖，張?zhí)煊?，?一種基于頭部特征的人頭檢測方法[J].光電子技術，2014，34（1）：21-25.

【通聯(lián)編輯：唐一東】