基于實時動作捕捉技術(shù)在影視動畫中的研究

王 新，朱信忠，趙建民，徐慧英

基于實時動作捕捉技術(shù)在影視動畫中的研究

王 新，朱信忠，趙建民，徐慧英

隨著《金剛》、《加勒比海盜 2》、《阿凡達(dá)》等一系列影視作品的熱映，這些影片中的虛擬角色可謂是深入人心，深受觀眾的喜愛。這些虛擬角色的建立不同于傳統(tǒng)的3D影視動畫制作，而是取自于真實的人物動作和表情。綜述了目前動作捕捉領(lǐng)域中幾大主流動作捕捉系統(tǒng)，并且詳細(xì)講解了動作捕捉技術(shù)在影視動畫領(lǐng)域的應(yīng)用，最后提出了一種新的動作捕捉設(shè)計方案-無標(biāo)記點的動作捕捉設(shè)計。

動作捕捉；3D動畫；光學(xué)動作捕捉系統(tǒng)；無標(biāo)記點動作捕捉

0 引言

近年來，隨著計算機技術(shù)、圖形圖像技術(shù)和傳感器技術(shù)的快速發(fā)展，產(chǎn)生的動作捕捉技術(shù)在影視制作、游戲設(shè)計、運動分析、舞蹈采集和虛擬現(xiàn)實中得到了越來越廣泛的應(yīng)用[1]。動作捕捉技術(shù)已經(jīng)作為一種強大的制作手段被充分地用到影視廣告和動畫制作等相關(guān)行業(yè)中。光學(xué)動作捕捉系統(tǒng)是應(yīng)用最廣泛的動作捕捉系統(tǒng)，它是在演員或需要捕捉的物體的主要關(guān)節(jié)和部位粘貼上包裹特殊反射材質(zhì)的球體（Marker），用來反射由紅外攝像機發(fā)射的光線，然后在攝像機投影圖像中獲取跟蹤點的二維坐標(biāo)，通過攝像機坐標(biāo)系和二維坐標(biāo)系的轉(zhuǎn)換，獲得跟蹤點的空間運動軌跡，然后把空間軌跡賦予動畫模型，使模型具有真人的動作效果。

1 現(xiàn)代主流的動作捕捉系統(tǒng)

目前主流的動作捕捉系統(tǒng)可分為機械式、電磁式、聲學(xué)式、光學(xué)式四類[3]?；诠鈱W(xué)式動作捕捉系統(tǒng)主要是利用多個攝像機采集運動圖像序列和軌跡，通過識別和跟蹤圖像信息中特定的 Marker，利用這些標(biāo)記點的運動信息來進(jìn)行三維重建，進(jìn)而完成運動捕捉的任務(wù)。

1.1 機械式動作捕捉系統(tǒng)

機械式動作捕捉系統(tǒng)主要是我們借助機械裝置來采集運動數(shù)據(jù)，機械式動作捕捉系統(tǒng)依靠的是機械裝置來跟蹤和測量運動軌跡。機械式動作捕捉系統(tǒng)一般由多個關(guān)節(jié)和剛性連桿組成，在可轉(zhuǎn)動的關(guān)節(jié)中裝有角度傳感器，可以測得關(guān)節(jié)轉(zhuǎn)動角度的變化情況。裝置運動時，根據(jù)角度傳感器所測得的角度變化和連桿的長度，可以得出桿件末端點在空間中的位置和運動軌跡。實際上，裝置上任何一點的運動軌跡都可以求出，剛性連桿也可以換成長度可變的伸縮桿，用位移傳感器測量其長度的變化。

1.2 電磁式動作捕捉系統(tǒng)

電磁式運動捕捉系統(tǒng)是目前比較常用的運動捕捉設(shè)備。電磁式動作捕捉系統(tǒng)由發(fā)射源、接收傳感器和數(shù)據(jù)處理單元組成。發(fā)射源在空間產(chǎn)生按一定時空規(guī)律分布的電磁場；接收傳感器安置在表演者身體的關(guān)鍵位置，隨著表演者的動作在電磁場中運動 , 通過電纜或無線方式與數(shù)據(jù)處理單元相連，表演者在電磁場內(nèi)表演時，接收傳感器將接收到的信號通過電纜傳送給處理單元，根據(jù)這些信號可以解算出每個傳感器的空間位置和方向。

1.3 聲學(xué)式動作捕捉系統(tǒng)

聲學(xué)式運動捕捉系統(tǒng)由發(fā)送器、接收器和處理單元組成。發(fā)送器是一個固定的超聲波發(fā)生器，接收器由呈三角形排列的3個超聲探頭組成。通過測量聲波從發(fā)送器到接收器的時間或者相位差，系統(tǒng)可以計算并確定接收器的位置和方向。 這類裝置成本較低，但對運動的捕捉有較大延遲和滯后，實時性較差，精度一般不很高，聲源和接收器間不能有大的遮擋物體，受噪聲和多次反射等干擾較大。由于空氣中聲波的速度與氣壓、濕度、溫度有關(guān)，所以還必須在后期的算法中做出相應(yīng)的補償。

1.4 光學(xué)式動作捕捉系統(tǒng)

光學(xué)式動作捕捉系統(tǒng)是目前世界上使用最廣泛，技術(shù)最完善，使用最方便的動作捕捉系統(tǒng)，它是在演員或捕捉的物體的主要部位和關(guān)節(jié)處包裹上特殊的反光材質(zhì)制作的小球，即

我們說的 Marker，利用多個紅外攝像機從不同的角度拍攝。然后利用軟件分析圖像上標(biāo)記點的圖像坐標(biāo)，利用計算機視覺原理進(jìn)行三維重建，得出標(biāo)記點的運動數(shù)據(jù)。光學(xué)式運動捕捉的優(yōu)點是表演者活動范圍大，無電纜、機械裝置的限制，使用方便，采樣速率較高，基于以上優(yōu)點，光學(xué)式動作捕捉系統(tǒng)是現(xiàn)階段應(yīng)用最廣泛的動作捕捉系統(tǒng)。光學(xué)式動作捕捉如圖1.1 所示：

圖1.1 光學(xué)動作捕捉系統(tǒng)的 Marker實時捕捉

2 基于動作捕捉技術(shù)的影視動畫的設(shè)計

動作捕捉技術(shù)為了能形象的描述真實人體的運動，需要建立一個骨架模型，所有的骨架模型我們存儲在下圖所示的動作模塊數(shù)據(jù)庫中，為了讓捕捉到的動作數(shù)據(jù)來驅(qū)動三維人體模型，我們需要將模型與捕捉到的動作數(shù)據(jù)結(jié)合，實現(xiàn)與模型的匹配，從而驅(qū)動模型的運動。最后是模型與捕捉數(shù)據(jù)匹配，以及讓模型能跟著捕捉下來的動作數(shù)據(jù)動起來，具體實現(xiàn)如圖1.2 所示：

圖1.2 基于動作捕捉的影視動畫制作流程圖

3 動作捕捉技術(shù)在影視動畫中的應(yīng)用

以前的電影是讓真實變成虛擬，而如今正讓虛擬的場景變成現(xiàn)實。在影視動畫制作中大量使用動作捕捉技術(shù)是現(xiàn)在國外主要使用的制作手段，也是未來影視動畫制作業(yè)的發(fā)展趨勢。一部影視作品利用動作捕捉技術(shù)只需要下面的幾個步驟就可以快速制作一部受到觀眾喜歡的影視動畫作品，實際操作步驟如圖1.3 所示：

1.3 動作捕捉技術(shù)的影視制作流程圖

我們將運動捕捉技術(shù)用于影視和動畫制作，可極大地提高影視和動畫制作的水平。它能極大提高了影視和動畫制作的效率，降低影視動畫制作的成本，使影視動畫制作過程更為直觀，效果更為生動[5]。隨著動作捕捉技術(shù)的進(jìn)一步成熟，實時影視動畫技術(shù)將會得到越來越廣泛的應(yīng)用，而運動捕捉技術(shù)作為影視動畫系統(tǒng)不可缺少的、最關(guān)鍵的部分，必然顯示出更加重要的地位。

4 一種新的動作捕捉系統(tǒng)設(shè)計

4.1 無標(biāo)記動作捕捉技術(shù)

光學(xué)動作捕捉系統(tǒng)雖然可以捕捉實時運動軌跡，但是我們知道該系統(tǒng)價格昂貴，后期的數(shù)據(jù)處理包括 Marker 的識別、跟蹤、空間坐標(biāo)等的計算繁雜[6]。而且這類系統(tǒng)對于表演場地的光照、反射情況非常敏感。裝置的定標(biāo)也較為繁瑣，特別是當(dāng)運動復(fù)雜或者速度較快的時候，不同部位的 Marker很容易混淆、遮擋，產(chǎn)生錯誤的結(jié)果，經(jīng)常需要人工干預(yù)后處理。由于這樣那樣的各種限制，所以幾乎所有的光學(xué)捕捉跟蹤系統(tǒng)都還需要依靠后序處理程序?qū)Σ蹲降臄?shù)據(jù)進(jìn)行分析、加工和整理，然后才能把這些數(shù)據(jù)應(yīng)用到動畫角色模型上去。基于現(xiàn)代光學(xué)動作捕捉的缺點，我們推出一種新的動作捕捉方案-無標(biāo)記動作捕捉。

4.2 無標(biāo)記動作捕捉技術(shù)的原理

新興的光學(xué)動作捕捉系統(tǒng)即無標(biāo)記點（Markerless）的運動捕捉。無標(biāo)記動作捕捉需要分析和表達(dá)人體的運動，整個捕捉過程可以分為圖像分割、圖像跟蹤、姿勢估計和識別。圖像分割和跟蹤的目的就是正確地從圖像序列幀中識別目標(biāo)。最簡單的圖像分割方法叫做差別法，我們用攝像機連續(xù)記錄兩幅圖像的時候，如果這兩個連續(xù)圖像 A1和 A2的差別已經(jīng)包含在這連續(xù)二幀圖像之中了。圖像跟蹤和姿勢估計的目的是基于模型來描述人體姿勢，我們知道關(guān)節(jié)的運動方法用參數(shù)化的人體模型，這樣做的優(yōu)點是每個狀態(tài)代表一個物理的有效姿勢，從而可以利用已有的動作先驗信息。無標(biāo)記點的動作捕捉彌補了光學(xué)動作捕捉系統(tǒng)的缺陷，極大的提高了動作捕捉的數(shù)據(jù)的準(zhǔn)確性。

5 總結(jié)

論文主要是論述了現(xiàn)代動作捕捉技術(shù)在影視動畫制作方面的應(yīng)用，隨著動作捕捉技術(shù)的不斷發(fā)展和完善，動作捕捉技術(shù)必將在我們的日常生活中得到越來越重要的應(yīng)用。光學(xué)式動作捕捉系統(tǒng)的出現(xiàn)，大大降低了影視動畫制作的拍攝成本，并且使得影視和動畫畫面逼真。提出一種最新的動作捕捉設(shè)計方案-無標(biāo)記的動作捕捉設(shè)計，相信隨著科技的繼續(xù)發(fā)展和相關(guān)應(yīng)用領(lǐng)域技術(shù)水平的提高，運動捕捉技術(shù)將會得到更大的實際應(yīng)用。

[1]孫國玉. 運動捕捉技術(shù)與 FilmBox 基礎(chǔ)教程[M].北京：北京廣播學(xué)院出版社 .2002.04.

[2]王士華.Motion Capture 運動捕捉初級教程[M].北京:北京希望電子出版.2000.1.

[3]明政.《動畫動態(tài)制作-動作捕捉技術(shù)基礎(chǔ)》[M].北京：清華大學(xué)出版社.2013.5

[4]遠(yuǎn)淑，陳福民.基于動作捕捉的計算機動畫探討與實現(xiàn)[J].同濟大學(xué)學(xué)報.2004.7

[5]伯詳，魏小鵬.光學(xué)運動捕捉散亂數(shù)據(jù)處理的一種方法[J].系統(tǒng)仿真學(xué)報.2008.1

[6]士華，于濤.MotionCapture 運動捕捉高級教程[M].北京：北京希望電子出版社. 2002.5.

Research of Film and Animation Based on the Real-time Motion Capture Technology

Wang Xin, Zhu Xinzhong, Zhao Jianmin, Xu Huiying
(College of Mathematics, Physics and Information Engineering, Zhejiang Normal University, Jinhua321004, China)

Along with the " King Kong ", " Pirates of the Caribbean 2", " Afanda " and a series of films and television works together, virtual characters of these videos are deeply loved by the audience. These virtual characters are different from the traditional 3D film and television animation; they come the real action and expression. This article reviews several major motion capture. System in the current motion capture area, and explains the motion capture technology in video applicationsin detail. Finally, it presents a new motion capture design - marker-less motion capture design.

Motion Capture; 3D Animation; Opticalmotion Capture System; Markerless

TP311

A

1007-757X(2014)02-0016-02

2014.02.25）

浙江省大學(xué)生科技創(chuàng)新活動計劃 (新苗人才計劃)(編號：2013R404047)

王 新（1988-），男，浙江師范大學(xué)數(shù)理與信息工程學(xué)院，碩士研究生，研究方向：動作捕捉，浙江金華，321004朱信忠（1975-），男，浙江師范大學(xué)數(shù)理與信息工程學(xué)院，副教授，碩士生導(dǎo)師，研究方向：智能控制，模式識別與數(shù)字工程,多媒體圖像檢索等，浙江金華，321004趙建民（1951-），男，浙江師范大學(xué)數(shù)理與信息工程學(xué)院，教授，博士生導(dǎo)師，研究方向：人工智能, 模式識別等，浙江金華，32l004徐慧英（1977-），女，浙江師范大學(xué)數(shù)理與信息工程學(xué)院，副教授，研究方向：智慧物流, 物聯(lián)網(wǎng)通信，模式識別與圖像處理等，浙江金華，32l004