一種視頻驅(qū)動(dòng)的三維虛擬人動(dòng)畫實(shí)現(xiàn)方法

郭瑾，高偉，劉德山，王林松

0 前言

在動(dòng)畫技術(shù)方面，三維人體動(dòng)畫是具有挑戰(zhàn)性的課題之一。它具有廣泛的應(yīng)用前景，在仿真訓(xùn)練、影視制作、娛樂游戲、虛擬現(xiàn)實(shí)等諸多領(lǐng)域有著重要的應(yīng)用。目前運(yùn)動(dòng)捕獲方法由于其數(shù)據(jù)逼真度高、細(xì)節(jié)豐富，已經(jīng)成為高質(zhì)量的人體運(yùn)動(dòng)數(shù)據(jù)的主要來源，在動(dòng)畫制作中被廣泛采用[1-6]。但是該方法存在三個(gè)問題。第一是使用不便。以Vicon運(yùn)動(dòng)捕獲系統(tǒng)為例，它要求運(yùn)動(dòng)者身著緊身衣并在各關(guān)節(jié)處貼上反光小球[7-8]。這對技術(shù)型的體育運(yùn)動(dòng)如滑冰、體操等，易造成動(dòng)作變形，影響技術(shù)分析。第二是捕獲數(shù)據(jù)的造價(jià)高、代價(jià)昂貴。運(yùn)動(dòng)捕獲的本質(zhì)是記錄運(yùn)動(dòng)數(shù)據(jù)再重放，不同運(yùn)動(dòng)都要重新采集，十分耗時(shí)耗力。第三是捕獲數(shù)據(jù)量龐大、缺少結(jié)構(gòu)化信息和運(yùn)動(dòng)數(shù)據(jù)實(shí)時(shí)性差等缺點(diǎn)。需對數(shù)據(jù)進(jìn)行預(yù)處理才能符合人們的需求。相比起運(yùn)動(dòng)捕獲設(shè)備，各種二維視頻是記錄運(yùn)動(dòng)的主要載體，它們更容易獲得并且其記錄過程不會(huì)對運(yùn)動(dòng)者造成影響。如果能夠重用已有的二維視頻運(yùn)動(dòng)數(shù)據(jù)，根據(jù)視頻內(nèi)容合成出三維虛擬人體的運(yùn)動(dòng)，將能夠大大降低動(dòng)畫制作成本。同時(shí)這種方法將提高運(yùn)動(dòng)生成的實(shí)時(shí)性，使即時(shí)交互的三維視頻游戲成為可能，具有廣闊的應(yīng)用前景。

要根據(jù)二維視頻內(nèi)容驅(qū)動(dòng)實(shí)現(xiàn)三維虛擬人動(dòng)畫，需要在二維視頻和三維運(yùn)動(dòng)數(shù)據(jù)間建立映射關(guān)系，這種映射關(guān)系中包括二維視頻的關(guān)鍵幀提取、二維人體姿態(tài)的建立、二維數(shù)據(jù)的三維化以及三維虛擬人動(dòng)畫的實(shí)現(xiàn)等。因此，基于二維視頻提取出決定人體運(yùn)動(dòng)姿態(tài)的關(guān)鍵幀、二維數(shù)據(jù)的三維化等關(guān)鍵問題的解決是實(shí)現(xiàn)二維視頻內(nèi)容驅(qū)動(dòng)實(shí)現(xiàn)三維虛擬人動(dòng)畫的關(guān)鍵。

本文提出了一個(gè)新的二維視頻驅(qū)動(dòng)的三維虛擬人動(dòng)畫的實(shí)現(xiàn)方法。首先，基于動(dòng)態(tài)幀的關(guān)鍵幀提取算法從二維視頻中構(gòu)建二維關(guān)鍵幀集合。其次，基于二維關(guān)鍵幀構(gòu)建二維人體骨骼模型。最后，利用小孔成像原理和勾股定理計(jì)算得到關(guān)節(jié)特征點(diǎn)的深度坐標(biāo)，從而得到了反映人體動(dòng)畫的三維數(shù)據(jù)。本文以NOBODY二維視頻為實(shí)驗(yàn)數(shù)據(jù)，不僅解決了利用運(yùn)動(dòng)捕獲方法存在數(shù)據(jù)造價(jià)高、存儲(chǔ)空間龐大、數(shù)據(jù)重用性差等缺點(diǎn)，又保證實(shí)現(xiàn)的三維虛擬人動(dòng)畫具有高度逼真性和實(shí)時(shí)處理能力，驗(yàn)證了該方法的有效性。

1 基于動(dòng)態(tài)幀的關(guān)鍵幀提取

基于動(dòng)態(tài)幀的關(guān)鍵幀提取算法，首先確定動(dòng)態(tài)幀中每個(gè)像素的代表灰度集合，然后通過計(jì)算視頻中每一幀和動(dòng)態(tài)幀之間的距離來確定關(guān)鍵幀，基于此從二維視頻中提取出決定人體運(yùn)動(dòng)的二維關(guān)鍵幀集合[9]。

1.1 動(dòng)態(tài)幀及其構(gòu)造方法

動(dòng)態(tài)幀中某一像素的代表灰度集合記錄了最有可能代表該像素的灰度集合，像素(i,j)的代表灰度集合g(i,j)具有如下特征：(1)g(i,j)中各灰度值能代表鏡頭中像素(i,j)處更多的灰度值；(2)g(i,j)中各相鄰灰度值的差別較大。

動(dòng)態(tài)幀像素(i,j)處代表灰度集合(i,j)的構(gòu)造方法如下：

(1)計(jì)算鏡頭中每一幀的各像素(i,j)的灰度值，第n幀中像素(i,j)的灰度值計(jì)算如式(1)所示。

其中，Rn(i,j)，Gn(i,j)，Bn(i,j)分別為該像素的紅、綠、藍(lán)分量.為了加快計(jì)算速度，同時(shí)考慮到一個(gè)鏡頭持續(xù)時(shí)間一般不會(huì)超過20 min(1 min不超過3000幀)，所以直方圖縱坐標(biāo)未歸一化，縱坐標(biāo)為橫坐標(biāo)對應(yīng)的灰度級(jí)在該像素出現(xiàn)的次數(shù)，直方圖Hb(i,j)的計(jì)算如式(2)所示。

式中：N是該鏡頭中幀的總個(gè)數(shù)；B是直方圖的顏色灰度級(jí)個(gè)數(shù)。為加快計(jì)算速度，顏色灰度級(jí)設(shè)為128級(jí)。δ(·)為沖激函數(shù)。

(2)按照直方圖中像素的灰度值進(jìn)行排序，如果第m個(gè)灰度值 gm(i,j)與相鄰灰度值差的絕對值 dm(i,j)=︱gm(i,j)-gm+1(i,j)︱很小，則選取它們中較大的一個(gè)灰度值作為代表，而將另一個(gè)灰度值去掉。

最后得到的灰度值可能有多個(gè)，這些灰度值作為像素(i,j)的代表灰度集合g(i,j)，如圖2所示，就存在兩個(gè)代表灰度值。通過以上步驟，可以得出整個(gè)鏡頭在各個(gè)像素的代表灰度集合，這樣，動(dòng)態(tài)幀的每個(gè)像素對應(yīng)于它的代表灰度集合。

1.2 關(guān)鍵幀提取算法

計(jì)算鏡頭所有幀和動(dòng)態(tài)幀之間的距離，幀間距離的定義如式(3)所示：

式中：fi為鏡頭的第i幀；fk為鏡頭對應(yīng)的動(dòng)態(tài)幀；W為幀的寬度；H為幀的高度。由此得到整個(gè)鏡頭與動(dòng)態(tài)幀之間的距離曲線D(fi,fk)，曲線上的最大值表明了所對應(yīng)的幀與動(dòng)態(tài)幀的差別較大，這是由于出現(xiàn)了新的對象引起的，最小值通常代表了視頻的背景，所以取曲線上的極值點(diǎn)所對應(yīng)的幀作為關(guān)鍵幀。

鏡頭的關(guān)鍵幀提取算法如下：

(1)讀入鏡頭當(dāng)前幀，根據(jù)式(1)計(jì)算每個(gè)像素的灰度值，同時(shí)根據(jù)式(2)修改各像素在灰度直方圖中對應(yīng)的值，并將修改后的值存儲(chǔ)到三維數(shù)組中；

(2)判斷當(dāng)前幀是否是鏡頭的最后一幀，如果不是，則將下一幀設(shè)為當(dāng)前幀，轉(zhuǎn)向(1)，否則轉(zhuǎn)向(3)；

(3)根據(jù)上節(jié)介紹，計(jì)算該鏡頭的動(dòng)態(tài)幀；

(4)根據(jù)式(3)計(jì)算關(guān)鍵幀；

(5)算法結(jié)束。

NOBODY機(jī)器人舞蹈視頻利用本節(jié)基于動(dòng)態(tài)幀的關(guān)鍵幀提取算法得到的二維關(guān)鍵幀截圖，如圖1所示：

圖1 NOBODY機(jī)器人舞蹈二維關(guān)鍵幀截圖

2 二維關(guān)鍵幀構(gòu)建二維人體骨骼模型

通過上一節(jié)方法獲取的二維關(guān)鍵幀包含了三維虛擬人動(dòng)畫的關(guān)鍵運(yùn)動(dòng)信息，本文中人體運(yùn)動(dòng)數(shù)據(jù)通過多自由度層次結(jié)構(gòu)骨骼模型來表示，其結(jié)構(gòu)模型，如圖2所示：

圖2 多自由度的層次結(jié)構(gòu)模型

該模型由14個(gè)關(guān)節(jié)點(diǎn)組成，各關(guān)節(jié)點(diǎn)采用樹形結(jié)構(gòu)組織，root（胯）關(guān)節(jié)點(diǎn)為樹形人體骨架的根結(jié)點(diǎn)，從根關(guān)節(jié)點(diǎn)向人體骨架的各個(gè)末端關(guān)節(jié)逐層延伸形成根結(jié)點(diǎn)的各個(gè)子樹?？紤]到人體骨架四肢部分在人體運(yùn)動(dòng)中變化最明顯，本文將描述運(yùn)動(dòng)的方法從關(guān)節(jié)層上升到骨骼層，將人體骨架中四肢部分的8 段骨骼作為運(yùn)動(dòng)特征表示對象，提取14個(gè)關(guān)節(jié)點(diǎn)和這8 段骨骼信息作為三維虛擬人的運(yùn)動(dòng)特征。

本文采用的是一種通過人體運(yùn)動(dòng)圖片序列進(jìn)行數(shù)據(jù)處理的方法采集運(yùn)動(dòng)數(shù)據(jù)，并根據(jù)二維圖像進(jìn)行人體三維運(yùn)動(dòng)的重構(gòu)，從而建立三維虛擬人運(yùn)動(dòng)數(shù)據(jù)庫。本文對運(yùn)動(dòng)數(shù)據(jù)的捕獲是根據(jù)傳統(tǒng)的屏幕取點(diǎn)方式進(jìn)行的。在多層次骨架模型的基礎(chǔ)上，先獲取NOBODY機(jī)器人的骨骼信息已確定骨骼長度。通過數(shù)據(jù)輸入單選框選擇要輸入的關(guān)節(jié)點(diǎn)的名稱，在圖中相應(yīng)的位置雙擊就可得點(diǎn)的坐標(biāo)。首先選擇一幅人體動(dòng)作圖像作為標(biāo)準(zhǔn)圖像，根據(jù)標(biāo)準(zhǔn)圖像的信息獲取骨骼長度?？梢宰鳛闃?biāo)準(zhǔn)圖像的圖片的要求是：身體各個(gè)骨骼自然面向觀眾，這樣所有骨骼的正面都與圖片平行，因此骨骼兩點(diǎn)的距離就是骨骼的長度。然后取一系列動(dòng)作序列圖像，逐個(gè)將每幅運(yùn)動(dòng)圖像用相同的方法即屏幕取點(diǎn)方式實(shí)現(xiàn)二維特征點(diǎn)的輸入。非標(biāo)準(zhǔn)圖像的骨骼角度往往呈各種方向，而不是與圖片法向量垂直的，標(biāo)準(zhǔn)圖像和非標(biāo)準(zhǔn)圖像的二維關(guān)節(jié)點(diǎn)信息。完成圖像序列的輸入的同時(shí)也就完成了三維虛擬人的二維關(guān)鍵幀動(dòng)作庫的構(gòu)建，如圖3所示：

圖3 標(biāo)準(zhǔn)圖像和非標(biāo)準(zhǔn)圖像的二維關(guān)節(jié)點(diǎn)信息

3 三維骨骼模型數(shù)據(jù)的獲取

基于二維骨骼數(shù)據(jù)，進(jìn)一步計(jì)算反映人體運(yùn)動(dòng)的三維數(shù)據(jù)。這里采用了小孔成像原理和勾股定理，根據(jù)骨骼長度及其在圖片上的投影長度計(jì)算出各骨骼與圖片平面之間的夾角，從而計(jì)算出深度信息，再利用骨骼的樹狀結(jié)構(gòu)，通過計(jì)算得到骨骼在空間中的深度坐標(biāo)。

設(shè)任意相鄰兩關(guān)節(jié)特征點(diǎn)的二維坐標(biāo)為（x1,y1）和（x2,y2），即其在圖像平面上的投影點(diǎn)坐標(biāo)。設(shè)該相鄰特征點(diǎn)之間骨骼的長度為h。由勾股定理，此骨骼與X-Y平面的夾角?為：

由此得到深度信息：

為了消除關(guān)節(jié)點(diǎn)深度信息可能出現(xiàn)的二義性，本文設(shè)計(jì)使用了三維觀察界面和控制面板，采用人機(jī)交互的方法來手動(dòng)調(diào)整骨骼的深度坐標(biāo)。于是用完成了三維虛擬人的三維關(guān)鍵幀動(dòng)作庫的構(gòu)建。

4 三維虛擬人動(dòng)畫實(shí)現(xiàn)

本文基于NOBODY舞蹈機(jī)器人的二維視頻構(gòu)建了三維虛擬人的三維關(guān)鍵幀動(dòng)作庫，利用三維虛擬人的最小骨骼模型實(shí)現(xiàn)了NOBODY舞蹈機(jī)器人的三維虛擬人動(dòng)畫。三維虛擬人最小骨骼模型的 NOBODAY舞蹈機(jī)器人的關(guān)鍵幀截圖，如圖4所示：

圖4 NOBODY機(jī)器人舞蹈骨骼模型三維關(guān)鍵幀

5 結(jié)術(shù)語

本文提出了一種基于二維視頻驅(qū)動(dòng)實(shí)現(xiàn)三維人體動(dòng)畫的方法。首先基于動(dòng)態(tài)幀的關(guān)鍵幀提取算法從二維視頻中構(gòu)建了二維關(guān)鍵幀集合；其次基于二維關(guān)鍵幀構(gòu)建二維人體骨骼模型；接著利用小孔成像原理和勾股定理計(jì)算得到關(guān)節(jié)特征點(diǎn)的深度坐標(biāo)，從而得到了反映人體動(dòng)畫的三維數(shù)據(jù)，最后基于NOBODY舞蹈機(jī)器人的二維視頻驅(qū)動(dòng)實(shí)現(xiàn)了三維虛擬人最小骨骼模型的三維動(dòng)畫，表明了本文采用方法的正確性和有效性。進(jìn)一步的研究工作將集中處理屏幕取點(diǎn)方式以減小誤差以及消除關(guān)節(jié)點(diǎn)深度信息可能出現(xiàn)的二義性問題。

[1]Dasgupta A, Nakamura Y.Making feasible walking motion of humanoid robots from human motion capture data[c].Proceedings of IEEE International Conference on Robotics and Automation ,Detroit , MI, 1999, 2: 1044- 1049.

[2]Delaney B.On the trail of the shadow woman: the mystery of motion capture [J]. IEEE Computer Graphics and Applications,1998, 18(5):14-19.

[3]Pullen K,Bregler C.Motion capture assisted animation :texturing and synthesis[C].The 29th annual conference, San Antonio,2002:501-508.

[4]Lee J, Chai JX, Reitsma PSA, Hodgins JK, Pollard NS. Interactive control of avatars animated with human motion data[C].ACM Trans. on Graphics, 2002, 21(3): 491-500.

[5]Chai J X, Hodgins J K. Performance animation from low-dimensional control signals [J]. ACM Transactions on Graphics, 2005.24(3): 686-696.

[6]Ran L, Shakhnarovich G, Hodgins J, et al.Learning silhouette features for control of human motion data [J].ACM Transactions on Graphics. 2005,24(4): 1303- 1331.

[7]Hirose M ,Ogawa K. Honda humanoid robots development[J].Philosophical Transactions of the Royal Society A: Mathematical Physical and Engineering Sciences,2007,365(1850):ll-19.

[8]Nakaoka s, Nakazawa A. Task model of lower body motion for a biped humanoid robot to imitate human dances[C]//Proc of 2005 IEEE/RSJ Interna- tional Conference on Intelligent Robots and Systems. Edmonton: IEEE, 2005:3157-3162.

[9]李玉峰.基于動(dòng)態(tài)幀的視頻關(guān)鍵幀提取算法研究[J].天津科技大學(xué)學(xué)報(bào)，2009，24(4)：69-72.