利用面部實(shí)時(shí)動(dòng)態(tài)捕捉技術(shù)進(jìn)行動(dòng)畫制作
——Character Animator應(yīng)用實(shí)例

馬金秀

(中國電影科學(xué)技術(shù)研究所，北京100086)

1 概述

隨著計(jì)算機(jī)技術(shù)的不斷進(jìn)步，動(dòng)畫的制作軟件也在不斷發(fā)展當(dāng)中，我們看到的美妙絕倫的3D動(dòng)畫片，比如片中隨風(fēng)擺動(dòng)的真實(shí)感的毛發(fā)，都是當(dāng)今主流3D動(dòng)畫制作軟件帶給我們的視覺盛宴，但這種電影專業(yè)級別的動(dòng)畫制作無一例外，需要耗費(fèi)大量的財(cái)力和人力。隨著短視頻的興起，如何能在幾分鐘的視頻短片中多一種視覺語言表達(dá)?在中國電影科學(xué)技術(shù)研究所影院放映質(zhì)量信息服務(wù)系統(tǒng)平臺(tái)的建設(shè)過程中，拍攝了一系列稍顯枯燥的技術(shù)短片，講述影院放映機(jī)的拆卸、安裝等，為了增加技術(shù)短片的趣味性和觀賞性，制作人員在片中增加了一個(gè)動(dòng)畫人偶，讓其和講述人穿插互動(dòng)。這個(gè)動(dòng)畫人偶的制作，如果采取傳統(tǒng)的3D制作軟件——3DMAX或MAYA建模來制作，會(huì)耗費(fèi)過多的精力和人力，不具備可操作性。所以，能快速、便捷制作出動(dòng)畫人偶，能有基本動(dòng)作和講述人進(jìn)行互動(dòng)，能方便和視頻短片進(jìn)行合成是我們的基本技術(shù)需求。最終用到了一款由Adobe打造的2D動(dòng)畫制作軟件——Character Animator 2020。這款軟件最主要的特征是采用面部實(shí)時(shí)捕捉和追蹤技術(shù)，把人臉的表情和人偶進(jìn)行綁定，根據(jù)面部的實(shí)時(shí)動(dòng)作，即能實(shí)時(shí)生成人偶的動(dòng)作。這對于動(dòng)畫制作來說，省卻了建模，手動(dòng)制作人偶動(dòng)作，節(jié)省了大量時(shí)間。對于表演者面部表情的捕捉也使得人偶的表情非常生動(dòng)和逼真。相較于其他的動(dòng)畫制作軟件，Character Animator使得動(dòng)畫制作過程更為便捷、迅速。這種便捷還體現(xiàn)在人偶的設(shè)置過程，只需要幾秒鐘就可以創(chuàng)建一個(gè)動(dòng)畫人偶。圖1展示了動(dòng)畫人偶影小智和技術(shù)短片合成后的效果。本文將從Photoshop中創(chuàng)建人偶，導(dǎo)入Character Animator進(jìn)行骨骼綁定，到實(shí)時(shí)捕捉表情進(jìn)行動(dòng)畫錄制，導(dǎo)出動(dòng)畫等幾個(gè)部分講述如何通過面部實(shí)時(shí)捕捉技術(shù)進(jìn)行人偶的制作。

圖1

2 機(jī)器人的動(dòng)畫人偶制作實(shí)例

2.1 人偶制作的三種方式

Character Animator提供了3種人偶制作的方法。

2.1.1 內(nèi)置人偶模版

Character Animator內(nèi)置了多種人偶模版，有些只有面部和身體的人偶，面部和手可以設(shè)置人偶的動(dòng)作，有些人偶帶有腿部，可以進(jìn)行走動(dòng)等動(dòng)作設(shè)置 (圖2)。

圖2

2.1.2 通過角色設(shè)計(jì)制作人偶

點(diǎn)擊圖2中內(nèi)置人偶中的圖片即可進(jìn)入角色設(shè)計(jì)界面。這里提供兩種方式：一是把表演者自己變成人偶；二是導(dǎo)入圖片。經(jīng)過分析，把圖片里的人物變成人偶，此過程用到了Adobe Sensei AI(人工智能)技術(shù)。你甚至可以把蒙娜麗莎都變成動(dòng)畫人偶。

(1)把表演者自己變成人偶

面對攝像頭，根據(jù)提示錄制基本表情、微笑、皺眉、驚訝等以及一些簡單的語音，如圖3。然后系統(tǒng)會(huì)自動(dòng)生成人偶，如圖4?？梢赃x擇不同的藝術(shù)模式，制作完成后，即可以對人偶進(jìn)行實(shí)時(shí)動(dòng)畫錄制，如圖5。

圖3

圖4

圖5

(2)導(dǎo)入人物圖片創(chuàng)作藝術(shù)人偶

我們選擇蒙娜麗莎的人物肖像，可以選擇左側(cè)列表中多種藝術(shù)模式，有泥塑、簡筆畫等，進(jìn)行藝術(shù)人偶的制作。圖6是把蒙娜麗莎設(shè)計(jì)成人偶。

圖6

(3)從Photoshop或Illustrator中導(dǎo)入已設(shè)計(jì)好的人偶

這種方式應(yīng)該是創(chuàng)作自己的人偶最常用的方式，在Phtotoshop或Illustrator中設(shè)計(jì)制作自己的人偶。人偶分正面組、左側(cè)面組、右側(cè)面組，每個(gè)組別下，又細(xì)分成頭部、身體、胳膊和腿部，以規(guī)范的方式命名每一個(gè)圖層 (目前只支持英文)。從Photoshop或Illustrator中導(dǎo)入已設(shè)計(jì)好的人偶，Character Animator可以自動(dòng)識(shí)別規(guī)范命名的分層文件，從而進(jìn)行下一步骨骼綁定。

2.2 機(jī)器人人偶設(shè)計(jì)

2.2.1 Photoshop設(shè)計(jì)機(jī)器人人偶

這個(gè)機(jī)器人人偶設(shè)計(jì)制作最終要和講述放映機(jī)等技術(shù)短片合成，增加短片的可觀看度，所以設(shè)計(jì)思路以投影機(jī)作為設(shè)計(jì)元素，突出機(jī)器人可愛、靈動(dòng)的特征，以增加視頻短片的親和力和趣味性。

機(jī)器人人偶在片中要進(jìn)行走動(dòng)，所以要設(shè)計(jì)腿部，并且具備正面站立、左側(cè)面和右側(cè)面三種形態(tài)(如圖7)。如果只是制作人偶的上半部分，不需要行走的動(dòng)作也可以不做腿部設(shè)計(jì)。

圖7

2.2.2 Photoshop中規(guī)范的文件命名及動(dòng)作分層

人偶的命名方式一定要規(guī)范，這樣便于導(dǎo)入Character Animator時(shí)對于人偶分層文件的識(shí)別。注意要使用英文命名。每一個(gè)部件都有單獨(dú)的圖層命名對應(yīng)，如果這個(gè)部件有多個(gè)圖層替換使用，例如 “眼睛包含了眨眼、睜眼兩種可識(shí)別的狀態(tài)”則需要在圖層名前加上 “+”號用于行為識(shí)別。每一個(gè)部件進(jìn)行編組操作，目前Character Animator中的可識(shí)別行為屬性只能賦予 “組”。這個(gè)機(jī)器人人偶的分層文件大致分為3個(gè)組：Frontal(正面)、Left profile(左部分)、Right profile(右部分)。

下面具體看一下每個(gè)組別下如何細(xì)分，比如Frontal組。其他Left profile和Right profile分層文件名是一致的。在Frontal組里，具體又分為：The Head(頭部組)、Body(身體組)、Left arm(左胳膊組)、Right arm(右胳膊組)、Left leg(左腿組)、Right leg(右腿組)。在The Head里又包含Left Eyebrow(左眉毛)、Right Eyebrow(右眉毛)、Left Eye(左眼睛)、Right Eye(右眼睛)、Mouth(嘴部)。眼睛組還可以細(xì)分成Blink(眨眼睛)、Eyeball(眼球)、Eyeline(眼線)等。嘴部也可以制作多種嘴形，張嘴、閉嘴、哈哈大笑等多種形態(tài)。人偶制作越精細(xì)，在進(jìn)行后面動(dòng)畫錄制的時(shí)候，動(dòng)作就更靈動(dòng)。

2.3 Character Animator機(jī)器人人偶動(dòng)畫制作

2.3.1 人偶文件導(dǎo)入

打開Character Animator，首先看到一個(gè)比較簡潔的界面 (如圖8)，左側(cè)為項(xiàng)目區(qū)，新建項(xiàng)目或打開項(xiàng)目，右側(cè)為內(nèi)置的人偶模版和一些簡單的教學(xué)區(qū)?，F(xiàn)在導(dǎo)入Photoshop設(shè)計(jì)好的機(jī)器人。

圖8

(1)點(diǎn)擊左側(cè)新建項(xiàng)目，為項(xiàng)目命名后會(huì)進(jìn)入一個(gè)新項(xiàng)目。

圖9

(2)選擇上部菜單下——文件——導(dǎo)入——選擇之前設(shè)計(jì)好的機(jī)器人psd文件進(jìn)行導(dǎo)入。雙擊左側(cè)導(dǎo)入的機(jī)器人名稱，即會(huì)出現(xiàn)如圖9所示的操縱界面，在這個(gè)界面進(jìn)行人偶的骨骼綁定。

2.3.2 人偶的骨骼綁定

(1)人偶的獨(dú)立組別。在人偶的操縱界面，有一欄以皇冠的圖標(biāo)顯示，每個(gè)圖層組都可以選中(顯示黃色)或者取消皇冠圖標(biāo)。選中后可以使得圖層獨(dú)立于其父組，黃色王冠和名稱表示控制所選圖層的根組，相同根組下的非獨(dú)立圖層可以一起變形。如圖10，在Frontal組里，The Head和Body組不是獨(dú)立組，如果把The Head設(shè)置成獨(dú)立組，會(huì)出現(xiàn)頭部和身體分離的狀況 (如圖11)。

圖10

圖11

(2)為人偶添加骨骼。在操縱界面底部有一排為人偶添加關(guān)節(jié)和骨骼的工具。手柄工具添加的是關(guān)節(jié)點(diǎn)，比如肩部、肘部、腕部、臀部、膝關(guān)節(jié)、腳后跟、腳趾等。骨架工具為人偶添加骨架，顧名思義，類似于人類的骨頭，添加了骨架，人偶的行走等動(dòng)作就有了硬度和力度，否則走路會(huì)像面條一樣軟綿綿。

圖12

點(diǎn)擊底部的手柄工具為機(jī)器人添加關(guān)節(jié)，關(guān)節(jié)對應(yīng)右側(cè)軟件當(dāng)中人偶的關(guān)節(jié)。點(diǎn)擊骨架工具，為機(jī)器人添加骨骼。添加完成的機(jī)器人人偶左胳膊如圖12所示。

(3)用相同的方法為機(jī)器人人偶的頭部、身體、腿部添加對應(yīng)的骨骼。

需要注意的是，胳膊、腿部和身體部分，有重疊的關(guān)節(jié)位置，左胳膊組的左肩和身體組的左肩，右胳膊組的右肩和身體組的右肩，左腿組的臀部和身體組的左臀，右腿組的右臀和身體組的右臀，這4個(gè)點(diǎn)都要重疊。拖動(dòng)關(guān)節(jié)設(shè)置的時(shí)候身體部分會(huì)呈綠色區(qū)域顯示，會(huì)比較容易找到重疊點(diǎn)。如果未重疊，胳膊或腿部就會(huì)和身體脫離。完成骨骼綁定的機(jī)器人人偶如圖13所示。

圖13

2.3.3 為人偶添加行走行為

(1)添加行走行為。骨骼綁定完成后，如果想讓人偶動(dòng)起來，比如走路，那么需要為人偶添加走動(dòng)的行為。

在操縱界面人偶的名稱旁邊有一個(gè)+號，點(diǎn)擊打開下拉列表 (圖14)，選擇為人偶添加走動(dòng)。這個(gè)行為要賦予整個(gè)人偶，只是添加到腿部人偶是不會(huì)行走的。

(2)參數(shù)設(shè)置

界面右側(cè)有屬性面板，可以修改走動(dòng)的參數(shù)設(shè)置 (如圖15)。在模式下拉菜單有立即、向左和向右箭頭鍵、原地三個(gè)選項(xiàng)，這是設(shè)置人偶開始走動(dòng)的控制方式。選擇立即，在錄制界面，不用任何操作人偶會(huì)一直立即進(jìn)行并一直保持走動(dòng)的狀態(tài)；選擇向左和向右箭頭鍵，則是用鍵盤上的方向鍵控制人偶的走動(dòng)；選擇原地，人偶位置不會(huì)改變在原地走路。樣式下拉列表提供了走動(dòng)、暴跌、站立、騰躍、潛行、跑動(dòng)和撞頭7種人偶形態(tài)，可以根據(jù)需要選擇。其他參數(shù)比如步長、步速、身體速度、擺臂幅度、肩部搖擺等都可以進(jìn)行調(diào)整。

圖14

圖15

圖16

在臉部屬性面板中，提供了多種參數(shù)可對人偶臉部的參數(shù)進(jìn)行修改。比如眉毛強(qiáng)度，可以設(shè)置增加或減少抬升或降低眉毛時(shí)的眉毛移動(dòng)量。比如頭部縮放強(qiáng)度，可以設(shè)置增加或減少頭部接近或遠(yuǎn)離相機(jī)移動(dòng)時(shí)頭部的縮放強(qiáng)度，參考圖16的對比效果。

2.3.4 動(dòng)畫錄制

我們錄制歌曲的時(shí)候會(huì)分軌錄制，分別錄制吉他、貝斯、鼓和人聲等。Character animator使用同樣的概念，不同的是使用眼睛注視、唇形同步、臉部等，可以分別進(jìn)行錄制。點(diǎn)擊軟件左側(cè)上部的“錄制”，進(jìn)入錄制界面，如圖17所示。

圖17

(1)界面簡介

錄制界面和一般軟件類似，左側(cè)是項(xiàng)目區(qū)，中間部分是人偶表演舞臺(tái)，下部是時(shí)間線區(qū)域，右側(cè)上部是表演者面部捕捉區(qū)域，右側(cè)下部是屬性設(shè)置面板。

(2)新建場景

在錄制界面，點(diǎn)擊項(xiàng)目區(qū)里的新建場景，為設(shè)計(jì)的動(dòng)畫人偶設(shè)置場景舞臺(tái)。點(diǎn)擊右側(cè)面部捕捉區(qū)“設(shè)置休息姿勢”即可自動(dòng)捕捉到人臉，為動(dòng)畫人偶設(shè)置初始狀態(tài)。點(diǎn)擊場景舞臺(tái)下方的紅色圓點(diǎn)即可進(jìn)行動(dòng)畫錄制。

(3)屬性設(shè)置

在場景界面也有屬性面板，可以修改幀速率，使錄制的動(dòng)畫更流暢，以及調(diào)整場景的寬度和高度。

在錄制的界面，點(diǎn)擊項(xiàng)目區(qū)里的人偶，點(diǎn)擊final robot 2機(jī)器人人偶的名稱，再進(jìn)行錄制的時(shí)候，會(huì)出現(xiàn)人偶軌道行為面板，選中或取消前面的紅點(diǎn)，即可同時(shí)錄制或分別錄制臉部或唇形的動(dòng)作。也可調(diào)整里面的具體參數(shù)，比如眉毛移動(dòng)的高度等，參數(shù)設(shè)置和操縱面板中的一致。

(4)動(dòng)畫錄制

一切準(zhǔn)備就緒，在時(shí)間線中選擇要錄制的動(dòng)畫人偶 (可以導(dǎo)入多個(gè)人偶)，點(diǎn)擊紅色錄制按鈕就可以進(jìn)行錄制了?？梢允褂面I盤和鼠標(biāo)控制人偶的肢體動(dòng)作，鼠標(biāo)可以拖動(dòng)手臂運(yùn)動(dòng)，左右方向鍵可以控制人偶的走動(dòng) (走動(dòng)的模式設(shè)置為向左或向右鍵)。不需要錄制全部內(nèi)容，可以導(dǎo)入音頻，然后點(diǎn)擊時(shí)間軸——從場景音頻計(jì)算唇形同步，可以分析語音，并生成所有唇形。

(5)修改已錄制的動(dòng)畫

混合分次錄制的場次。新錄制的場次會(huì)在時(shí)間線最上層，之前錄制的場次呈灰色不顯示，調(diào)節(jié)場次兩邊的混合手柄，讓不同的表演混合在一起，使得過渡和動(dòng)畫更平滑。

對錄制場次進(jìn)行微調(diào)。拖拽已錄制的場次，可以在時(shí)間上移動(dòng)。

修改已錄制的唇形。在唇形同步軌道，點(diǎn)擊右鍵，可以修改已錄制好的唇形。

添加關(guān)鍵幀?？梢詾閯?dòng)畫添加透明度、位置等關(guān)鍵幀，Character Animator可以在兩個(gè)關(guān)鍵幀中間進(jìn)行自然過渡。

圖18是機(jī)器人在表演者實(shí)時(shí)面部表情捕捉和追蹤時(shí)錄制的動(dòng)畫。

圖18

2.3.5 導(dǎo)出動(dòng)畫

軟件右上角有 “共享”按鈕，可以選擇輸出的格式，可以導(dǎo)出視頻，也可以導(dǎo)出圖片序列，還可以單獨(dú)導(dǎo)出人偶。另外還有直播選項(xiàng)，可以將實(shí)時(shí)場景流傳輸?shù)狡渌O(shè)備或應(yīng)用程序。如果要在其他軟件，比如AE、Final cut等進(jìn)行合成，選擇帶阿爾法通道進(jìn)行導(dǎo)出。

3 Character Animator和其他軟件的動(dòng)畫合成

從Character Animator導(dǎo)出的帶通道的視頻文件可以導(dǎo)入其他軟件進(jìn)行進(jìn)一步制作。本案例導(dǎo)入Final cut與實(shí)際拍攝的視頻短片進(jìn)行合成。需要注意的是，視頻短片中的主持人和機(jī)器人要進(jìn)行互動(dòng)，為了合成的精準(zhǔn)度，視頻短片和動(dòng)畫人偶應(yīng)該同等時(shí)長，才能匹配。那么在前期，視頻短片拍攝時(shí)，需要空出動(dòng)畫人偶的表演時(shí)長。在動(dòng)畫人偶錄制時(shí)，以另外的設(shè)備內(nèi)放已剪輯完成的視頻短片，同時(shí)進(jìn)行動(dòng)畫人偶的錄制，之后導(dǎo)入Final cut進(jìn)行合成剪輯。

4 結(jié)語

在這次機(jī)器人動(dòng)畫人偶的制作過程中，使用Character Animator面部實(shí)時(shí)捕捉和跟蹤技術(shù)，為短片最后的完成提供了良好的使用體驗(yàn)，非常簡單、方便的設(shè)計(jì)和骨骼綁定就生成了可以進(jìn)行動(dòng)畫錄制的人偶。這里特別想強(qiáng)調(diào) “錄制”這兩個(gè)字，以前講到動(dòng)畫片的制作，用到的都是 “制作”，而利用面部實(shí)時(shí)捕捉技術(shù)，進(jìn)行動(dòng)畫人偶的錄制，提供了另外一種生成動(dòng)畫的方式，降低了動(dòng)畫制作的門檻。另外利用表演者人臉捕捉技術(shù)生成的動(dòng)畫，也非常生動(dòng)和靈活，一些參數(shù)的設(shè)置和修改，可以讓表演更真實(shí)。但這個(gè)軟件制作的動(dòng)畫人偶僅限于2D范疇，并且不是傳統(tǒng)意義上的制作動(dòng)畫電影的級別，它更適合進(jìn)行短片制作。在短視頻蓬勃發(fā)展的今天，可以利用它創(chuàng)作出更豐富多樣的動(dòng)畫語言表達(dá)，可以制作多種人偶的純2D動(dòng)畫，也可以合成在已拍攝的視頻短片中。