基于Dynamixyz面部捕捉系統(tǒng)的三維數(shù)據(jù)采集方法

李姝姝

摘要：人臉運(yùn)動捕捉技術(shù)是當(dāng)下流行的一種數(shù)據(jù)采集技術(shù)，通過捕捉人臉表情運(yùn)動進(jìn)行處理和分析采集到的數(shù)據(jù)，對人臉表情進(jìn)行動畫仿真的一門學(xué)科。本文主要介紹了Dynamixyz面部捕捉系統(tǒng)，對人臉面部數(shù)據(jù)采集方法進(jìn)行分析與處理。主要包括對系統(tǒng)軟硬件設(shè)備的介紹，人臉面部數(shù)據(jù)采集準(zhǔn)備工作，以及采集后對數(shù)據(jù)的優(yōu)化處理等工作。這套系統(tǒng)是目前使用廣泛的面部捕捉系統(tǒng)，無論是在影視動畫和游戲制作方面，還是語言研究及教學(xué)等方面應(yīng)用越來越多。

關(guān)鍵詞：人臉運(yùn)動捕捉；數(shù)據(jù)采集；Dynamixyz

中圖分類號：TP391 文獻(xiàn)標(biāo)識碼：A 文章編號：1009-3044（2018）23-0217-02

運(yùn)動捕捉（Motion Capture）技術(shù)是一種用于準(zhǔn)確測量運(yùn)動物體在三維空間運(yùn)動狀況的高技術(shù)設(shè)備，該技術(shù)起初服務(wù)于軍方，而應(yīng)用于動畫制作領(lǐng)域最早可追溯到20世紀(jì)70年代[1]。隨著計(jì)算機(jī)軟硬件技術(shù)的迅猛發(fā)展，人們對于二維畫面所帶來的感官體驗(yàn)，早已無法得到滿足，因此三維立體仿真技術(shù)應(yīng)運(yùn)而生[2]。人臉運(yùn)動捕捉融合數(shù)學(xué)、計(jì)算機(jī)圖形學(xué)、圖像處理、數(shù)據(jù)處理等多個(gè)學(xué)科相互滲透、相互交叉而產(chǎn)生的新興研究領(lǐng)域，引起了國內(nèi)外眾多研究人員的注意，大量的研究成果不斷涌現(xiàn)[3]。近年來，由于動作捕捉技術(shù)的逐漸成熟和計(jì)算機(jī)軟硬件技術(shù)的飛速發(fā)展以及動畫制作要求的提高，這項(xiàng)技術(shù)得到了越發(fā)廣泛的應(yīng)用。目前，對于所有動作捕捉技術(shù)的流程，主要是基于設(shè)備調(diào)整與校準(zhǔn)、數(shù)據(jù)采集以及數(shù)據(jù)分析與處理這三部分進(jìn)行數(shù)據(jù)的采集與處理。

人臉運(yùn)動捕捉技術(shù)是一種能夠?qū)崟r(shí)地捕捉和還原人臉表情運(yùn)動的技術(shù)，針對該技術(shù)的研究主要包括三部分內(nèi)容：獲取運(yùn)動數(shù)據(jù)，分析運(yùn)動捕捉數(shù)據(jù)及動畫重構(gòu)[4]。通過與社會上各種類型的運(yùn)動捕捉進(jìn)行系統(tǒng)比較分析，光學(xué)式運(yùn)動捕捉系統(tǒng)獲取的數(shù)據(jù)更精準(zhǔn)，且系統(tǒng)操作便捷，對于演員的運(yùn)動捕捉使用范圍廣等優(yōu)點(diǎn)。目前，人臉運(yùn)動捕捉技術(shù)在社會各個(gè)領(lǐng)域都應(yīng)用廣泛，尤其在電影動畫和大型游戲制作方面受到技術(shù)人員的青睞。因此，順應(yīng)當(dāng)下研究熱點(diǎn)，基于運(yùn)動捕捉的人臉數(shù)據(jù)采集方法有必要進(jìn)行深入研究。

1 Dynamixyz面部捕捉系統(tǒng)

Dynamixyz系統(tǒng)是一個(gè)專門應(yīng)用于游戲、動畫、影視制作等領(lǐng)域的無標(biāo)記面部表情捕捉系統(tǒng)，該系統(tǒng)擁有專用的攝影機(jī)畸變校準(zhǔn)模塊和關(guān)鍵幀優(yōu)化工具，還可以手工調(diào)整動畫結(jié)果，借助表情捕捉頭盔、表情分析模塊和面部表情定位模塊的配合，將面部表情捕捉數(shù)據(jù)實(shí)時(shí)反饋到3D模型中，實(shí)時(shí)生成捕捉數(shù)據(jù)，以便開發(fā)者可以實(shí)現(xiàn)逼真的虛擬角色面部動畫。不同于其他動捕系統(tǒng)，該系統(tǒng)可以對面部進(jìn)行無標(biāo)記追蹤，其追蹤效果也極好，尤其對于嘴唇、眉毛、眼睛和眼珠等肌肉運(yùn)動數(shù)據(jù)，從而生成逼真的表情動畫。

1.1 硬件設(shè)備

Dynamixyz面部捕捉系統(tǒng)的硬件設(shè)備如圖1所示，主要采集設(shè)備為定制的頭戴式拍攝器，該頭盔包含高分子聚合物頭戴式拍攝器（H1）、LED燈帶（H2）、120FPS的高清深度攝影機(jī)（H5），其特制的鏡頭可以捕獲演員表情的深度陰影變化并配合系統(tǒng)軟件來分析抓取面部細(xì)微褶皺運(yùn)動、移動可充電高能電源（B1）、數(shù)據(jù)傳輸線纜（H3、H4）及其他配件，使用時(shí)將設(shè)備戴在演員頭部，穩(wěn)定地獲取演員的表情表演信息。

1.2 軟件設(shè)備

在數(shù)據(jù)采集與優(yōu)化過程中，使用Dynamixyz面部捕捉系統(tǒng)采集和處理數(shù)據(jù)，主要用到的軟件有GrabberGUI和Performer2 SV，前者控制攝像頭實(shí)時(shí)錄制和數(shù)據(jù)流發(fā)送，后者用于數(shù)據(jù)處理工作。

2 數(shù)據(jù)采集

首先，調(diào)試設(shè)備和軟件校準(zhǔn)。打開GrabberGUI視頻捕捉軟件檢查鏡頭焦距，并將鏡頭調(diào)整完畢后，開始準(zhǔn)備視頻錄制工作。

其次，對面部化妝注釋。使用化妝筆在額頭頂部、眉毛兩側(cè)、鼻尖、嘴唇邊緣處以及下巴和兩鬢處畫線。Dynamixyz系統(tǒng)可以對無標(biāo)記面部進(jìn)行捕捉，但為了對數(shù)據(jù)更精準(zhǔn)的采集與處理，可以對面部進(jìn)行簡單標(biāo)記，以便達(dá)到更好的效果。

最后，采集及數(shù)據(jù)導(dǎo)出。準(zhǔn)備工作完畢后，演員佩戴好面部捕捉裝置執(zhí)行“Start Rec”開始錄制。

3 數(shù)據(jù)處理

數(shù)據(jù)采集完畢，打開軟件Performer2 SV導(dǎo)入采集好的視頻文件對數(shù)據(jù)進(jìn)行優(yōu)化處理。主要包括五個(gè)步驟：新建工程與校準(zhǔn)、新建數(shù)據(jù)選擇中立表情調(diào)整、選擇關(guān)鍵表情幀并追蹤結(jié)果、數(shù)據(jù)修復(fù)與輸出以及自定義點(diǎn)跟蹤。

（1） 新建工程與校準(zhǔn)。打開軟件Performer2 SV出現(xiàn)以下界面，創(chuàng)建工程名并選擇文件保存路徑后執(zhí)行“Create”命令，出現(xiàn)校準(zhǔn)界面，一般情況下，若使用該系統(tǒng)專用攝像頭捕捉裝置，則攝像頭默認(rèn)自動校準(zhǔn)執(zhí)行“Calibrate”命令。若是其他攝像頭設(shè)備裝置，則導(dǎo)入錄制好的校準(zhǔn)文件后進(jìn)行校準(zhǔn)。

（2） 新建數(shù)據(jù)選擇中立表情調(diào)整。在New tracking session界面讀取已錄制好的視頻文件，在同一個(gè)工程下可添加多個(gè)視頻進(jìn)行處理，前提是要先處理一段視頻提取關(guān)鍵幀后，再進(jìn)行多段視頻的處理。然后執(zhí)行“Apply”命令，將視頻文件以每一幀圖片的形式解壓縮。然后選擇演員面無表情的一幀圖像作為中立表情，對中立表情進(jìn)行調(diào)整以達(dá)到標(biāo)準(zhǔn)狀態(tài)（如圖2）。

（3） 選擇關(guān)鍵表情幀并追蹤結(jié)果。應(yīng)用中立表情后執(zhí)行Apply→Manual手動選擇一組表情，若選擇自動添加關(guān)鍵幀則數(shù)據(jù)量過大，不利于后期數(shù)據(jù)處理，因此對于文件較大的視頻，不建議選擇自動添加關(guān)鍵幀。打開Session mode視頻界面，拖動每一幀動畫，選擇幾個(gè)表情動作幅度最大的幀數(shù)（如圖3和圖4）執(zhí)行Add to profile添加關(guān)鍵幀，依次重復(fù)截取多張關(guān)鍵幀后，回到Tracking profile mode調(diào)整界面，再分別對每一幀的圖像做修正調(diào)整以達(dá)到標(biāo)準(zhǔn)狀態(tài)，正常情況下截取40～50個(gè)關(guān)鍵幀即可達(dá)到最佳狀態(tài)。調(diào)整完畢后執(zhí)行“Build the current profile”對其他幀進(jìn)行解算。對關(guān)鍵幀數(shù)據(jù)處理完畢后回到視頻界面執(zhí)行“Track whole timeline”對整段視頻進(jìn)行追蹤得到解算結(jié)果，播放視頻檢查是否有幀數(shù)識別錯(cuò)誤。

（4） 數(shù)據(jù)修復(fù)與輸出。對于識別不準(zhǔn)確的幀數(shù)，重新添加關(guān)鍵幀進(jìn)行修正，數(shù)據(jù)修復(fù)完后，可以拖動滑動條選擇區(qū)域段進(jìn)行追蹤解算。當(dāng)處理完幾段視頻后，還有大量視頻需要處理，可以執(zhí)行batch mode→Create newt添加多段視頻進(jìn)行自動批處理。數(shù)據(jù)處理完畢后執(zhí)行Session→Export selected range進(jìn)行數(shù)據(jù)輸出，可根據(jù)研究需求選擇輸出格式。

（5） 自定義點(diǎn)跟蹤。雖然該系統(tǒng)支持無標(biāo)記捕捉，若為了與其他動作捕捉配套使用時(shí)，需要對面部貼點(diǎn)標(biāo)記，則可以執(zhí)行Session→Set markers template設(shè)定點(diǎn)模板，對臉部點(diǎn)進(jìn)行追蹤。

4 總結(jié)

本文主要介紹了Dynamixyz面部捕捉系統(tǒng)，對人臉面部數(shù)據(jù)采集方法進(jìn)行分析與處理，這兩套面部捕捉系統(tǒng)都是目前使用廣泛的面部捕捉系統(tǒng)，無論是在影視動畫，還是科研教育等方面應(yīng)用越來越多。Dynamixyz面部捕捉系統(tǒng)可以對人臉進(jìn)行高質(zhì)量的跟蹤與實(shí)時(shí)，對于面部細(xì)節(jié)的捕捉更精細(xì)，雖然Dynamixyz面部捕捉系統(tǒng)是基于單通道的圖像分析識別系統(tǒng)。

但是對人臉部眼球和嘴唇的追蹤效果極佳，同時(shí)該系統(tǒng)也可以采集音頻數(shù)據(jù)，從而實(shí)現(xiàn)音視頻同步錄制工作。

參考文獻(xiàn)：

[1] 常一孜.運(yùn)動捕捉技術(shù)工藝流程及數(shù)據(jù)處理——面部運(yùn)動捕捉及數(shù)據(jù)處理[J].現(xiàn)代電影技術(shù)，2016（1）：39-42.

[2] 安邦，張?zhí)?基于運(yùn)動捕捉技術(shù)的藏族舞蹈保護(hù)[J].西北民族大學(xué)學(xué)報(bào)，2015，36（3）：51-54.

[3] 肖伯祥.運(yùn)動捕捉數(shù)據(jù)處理、檢索與重構(gòu)方法研究[D].大連理工大學(xué)，2010.

[4] 張漫宇.運(yùn)動捕獲技術(shù)在三維動畫角色面部表情設(shè)計(jì)的應(yīng)用[J].天津美術(shù)學(xué)院學(xué)報(bào)，2013（4）：65-67.

【通聯(lián)編輯：唐一東】