從MotionScan看面部動(dòng)態(tài)捕捉的改進(jìn)和發(fā)展

從MotionScan看面部動(dòng)態(tài)捕捉的改進(jìn)和發(fā)展

周飛

（湖北經(jīng)濟(jì)學(xué)院，湖北武漢430205）

摘要：本文旨在研究2010年公開的由澳大利亞Depth Analysis研發(fā)的面部動(dòng)作捕捉技術(shù)Motion Scan；討論了傳統(tǒng)動(dòng)作捕捉技術(shù)對(duì)于面部和肢體語言捕捉的處理和不足；系統(tǒng)介紹了Motion Scan技術(shù)的基本原理，處理方式和相關(guān)工具；分析了面部掃描技術(shù)的優(yōu)點(diǎn)和不足；最后作者提出了面部動(dòng)作捕捉未來的改進(jìn)方向。本文是一篇對(duì)面部動(dòng)作捕捉技術(shù)進(jìn)行深入淺出的探討的文章。

關(guān)鍵詞：動(dòng)作捕捉；面部掃描；Motion Scan

項(xiàng)目基金（注：本文受湖北經(jīng)濟(jì)學(xué)院校級(jí)青年項(xiàng)目“動(dòng)作捕捉技術(shù)在影視動(dòng)畫和游戲中的應(yīng)用”的資助，項(xiàng)目編號(hào)：XJ201319）

一、傳統(tǒng)面部動(dòng)作捕捉中的主要問題

臉部動(dòng)畫技術(shù)是動(dòng)作捕捉技術(shù)的一種特殊形式。[1]近年來已經(jīng)不斷被加入到各種主流影視娛樂片的特效環(huán)節(jié)中。在傳統(tǒng)的動(dòng)作捕捉技術(shù)中，表演者需要站在藍(lán)色或者綠色的背景幕布前，身著帶有白色標(biāo)記點(diǎn)的黑色緊身衣。這些白色的標(biāo)記點(diǎn)能夠被攝像機(jī)識(shí)別。[2]當(dāng)演員運(yùn)動(dòng)的時(shí)候，（由于背景被設(shè)置成藍(lán)色和綠色，對(duì)于攝像頭而言，背景是空白的）這些標(biāo)記點(diǎn)能夠在沒有任何遮擋和障礙的情況下被記錄它們的空間運(yùn)動(dòng)軌跡。

數(shù)據(jù)捕捉之后，動(dòng)畫師可以利用捕捉到的動(dòng)作數(shù)據(jù)來創(chuàng)建一個(gè)和演員表演動(dòng)作看來一模一樣的數(shù)碼骨架傀儡。借助功能強(qiáng)悍的軟件的幫助，動(dòng)畫師可以讓這個(gè)數(shù)碼傀儡的動(dòng)作被應(yīng)用到任何他們想要的數(shù)碼角色模型身上。[3]如此一來，動(dòng)畫師就如同操縱傀儡的人偶師一樣。但是，這種方法做出來的角色動(dòng)畫共同的問題是：

（一）缺乏精準(zhǔn)的角色肢體語言

（二）缺乏生動(dòng)寫實(shí)的角色面部表情

對(duì)于游戲設(shè)計(jì)師而言，這是一個(gè)很重要的問題，因?yàn)槿祟惐恢w語言所驅(qū)動(dòng)。我們?cè)谌粘Ｉ钪心軌蜃R(shí)別多達(dá)250000種不同的面部表情，并且在人類與他人交流的交流方式中，有65%是肢體語言和面部表情。

最早在2010年公布出來的motion scan技術(shù)就是為了解決這個(gè)問題而被開發(fā)出來的。它能夠通過一套系統(tǒng)去詳細(xì)捕捉表演者的面部表情，并能夠在最終結(jié)果里清晰的體現(xiàn)出諸如開心和沮喪，好奇和不關(guān)心，等角色情緒上的差異。

二、動(dòng)作掃描系統(tǒng)Motion Scan

Motion Scan是由一家澳大利亞公司Depth Analysis研發(fā)的動(dòng)作捕捉技術(shù)。該公司也是澳洲著名游戲公司Team Bondi[4]的姊妹公司。該技術(shù)最早在2010年的E3游戲大展曝光，并在2011年應(yīng)用在ps3平臺(tái)的視頻游戲“黑色洛杉磯”[5]中。和其他動(dòng)作捕捉設(shè)備所不同的是，motion scan使用了32個(gè)高清攝像頭來捕捉演員的表演，且演員無需穿戴任何特殊的服裝或標(biāo)記點(diǎn)。[5][6]該系統(tǒng)捕捉32臺(tái)立體陣列在演員四周的高清攝像機(jī)的畫面以便捕捉演員的臉部。這一系列的視頻數(shù)據(jù)被傳輸?shù)诫娔X系統(tǒng)，并使用立體成像技術(shù)逐幀生成演員的三維模型。數(shù)據(jù)當(dāng)中包含的內(nèi)容是一張組合而成的從每個(gè)攝像機(jī)角度觀察到的紋理貼圖和法線貼圖。數(shù)據(jù)的處理過程包含在后臺(tái)的捕捉過程中，并且有多個(gè)可調(diào)的參數(shù)以便于滿足客戶的需求。[7]一旦這些參數(shù)被選定，數(shù)據(jù)就被傳輸?shù)降却幚淼姆?wù)器中。處理器的數(shù)量決定了數(shù)據(jù)處理的速度。Depth Analysis公司目前使用了64枚處理芯片，根據(jù)客戶的需求他們可以繼續(xù)增加配置來加快處理速度。[5]在數(shù)據(jù)處理的環(huán)節(jié)沒有客戶介入，因此該過程是不受干擾的。[8]

Depth Analysis公司也為游戲開發(fā)商和電腦動(dòng)畫公司研發(fā)了一套工具。為3ds max motion builder開發(fā)的一款插件，可以讓用戶結(jié)合motion builder即時(shí)捕捉演員的面部表情并創(chuàng)建游戲或者電腦動(dòng)畫的影片橋段。這意味著，電腦動(dòng)畫團(tuán)隊(duì)可以利用它來快速看到他們想要的鏡頭效果。而對(duì)于游戲開發(fā)的團(tuán)隊(duì)而言，Depth Analysis公司提供了一個(gè)服務(wù)器設(shè)備，允許設(shè)計(jì)師和藝術(shù)家可以將不同的表演和對(duì)白進(jìn)行混合，匹配，修剪，并將之用于視頻游戲開發(fā)中。Depth Analysis公司為“黑色洛杉磯”（L.A.Noire）這款游戲捕捉了超過50個(gè)小時(shí)的原始素材，[5]最終在游戲中使用了21個(gè)小時(shí)的對(duì)白。而motion scan在游戲中的代碼可以整合到任何游戲引擎中。

三、Motion Scan中體現(xiàn)出的問題和未來面部動(dòng)作捕捉的發(fā)展

Motion Scan技術(shù)做到了精確捕捉角色面部表情，并能夠讓玩家在游戲中通過虛擬角色的面部表情進(jìn)行劇情的推理決策。這對(duì)于面部動(dòng)作捕捉技術(shù)在游戲中的應(yīng)用無疑是具有劃時(shí)代的意義的。[9]然而Motion Scan仍然并非完美的。從最終呈現(xiàn)的結(jié)果來看，還存在以下一個(gè)明顯問題：

（一）游戲中人物視線經(jīng)常無法匹配。這是因?yàn)樵谶M(jìn)行動(dòng)作掃描的過程中，每個(gè)演員單獨(dú)表演所導(dǎo)致的。

（二）游戲中人物的面部表情、頭部運(yùn)動(dòng)和演員的身體運(yùn)動(dòng)不搭配。這也是因?yàn)樵摷夹g(shù)在捕捉的時(shí)候?qū)⒚娌勘砬榈牟蹲胶蜕眢w動(dòng)作的捕捉分開進(jìn)行的。

（三）游戲中角色瞳孔的聚焦和游戲場景不匹配。這是因?yàn)樵趧?dòng)作掃描技術(shù)中，而且角色無法精確把控最終游戲中虛擬場景和物體與他自身的相對(duì)位置。

以上幾點(diǎn)指出了未來面部動(dòng)作捕捉技術(shù)的改進(jìn)方向：

（一）嘗試在動(dòng)作捕捉的過程中，同時(shí)將角色的肢體語言和面部表情進(jìn)行全面捕捉。只有如此才能有效的解決因面部

和肢體分開捕捉而帶來的面部表情和肢體動(dòng)作不匹配的怪異現(xiàn)象。

（二）嘗試復(fù)數(shù)個(gè)主要演員同時(shí)進(jìn)行面部和肢體的動(dòng)態(tài)捕捉，用以解決和改進(jìn)角色之間視線不對(duì)接的問題。

（三）對(duì)于出現(xiàn)面部特寫的主要場景進(jìn)行面部動(dòng)作掃描的時(shí)候，提供最終虛擬場景中主要互動(dòng)物體的精確定位，用以解決角色瞳孔聚焦點(diǎn)和虛擬場景不匹配的問題。

四、小結(jié)

傳統(tǒng)面部動(dòng)作捕捉技術(shù)體現(xiàn)出來的缺乏面部表情和精細(xì)肢體語言的問題已經(jīng)無法滿足日益高清的游戲畫面和更加寫實(shí)的虛擬體驗(yàn)的要求。Motion Scan技術(shù)的出現(xiàn)劃時(shí)代的改變了這個(gè)現(xiàn)狀，并給于視頻游戲玩家更加真實(shí)的虛擬現(xiàn)實(shí)體驗(yàn)。盡管它并不完美，仍然有不少問題，但是可以發(fā)現(xiàn)，人們對(duì)于面部動(dòng)作捕捉技術(shù)的關(guān)注和挑剔已經(jīng)聚焦到了瞳孔級(jí)別了。這不僅表明面部動(dòng)作捕捉技術(shù)的精度的飛躍，也暗示著未來面部動(dòng)作捕捉技術(shù)將朝著更加精細(xì)和復(fù)數(shù)化同時(shí)捕捉的方向去發(fā)展。

參考文獻(xiàn)：

[1]廖小兵.表情動(dòng)畫在動(dòng)作捕捉系統(tǒng)中的實(shí)現(xiàn)[J].出版與印刷，2009，（2）：39-41.

[2]賈云鵬，周峻.作為技術(shù)史的藝術(shù)史——從《阿凡達(dá)》看電影技術(shù)的變革[J].北京電影學(xué)院學(xué)報(bào)，2010，（3）：21-28.

[3]張雨.基于動(dòng)作捕捉的虛擬運(yùn)動(dòng)與用戶身體自然性表達(dá)[D].哈爾濱工業(yè)大學(xué)，2010.

[4]Crecente, Brian (November 13, 2010).“Why Gameplay In L.A. Noire’s New Trailer May Not Matter”[J].Kotaku. Retrieved 4 September，2011.

[5]Horner, Kyle. "The "Fallout" of MotionScan"[J]. 1UP.com，2011-09-04.

[6]Peckham, Matt (4 February 2011). "In L.A. Noire Asking Questions Trumps Firing Bullets"[J]. PCWorld，2011-09-04.

[7]McMillen A. Why Did LA Noire Take Seven Years to Make?[J]. IGN. com, 2011.

[8]Gosling T A N. A Technical Analysis of Facial Motion Capture Systems.

[9]Zielke M A, Dufour F, Hardee G. Creating Micro-expressions and Nuanced Nonverbal Communication in Synthetic Cultural Characters and Environments[C]//The Interservice/Industry Training, Simulation & Education Conference (I/ITSEC). National Training Systems Association，2011，（1）.