基于模型的行為驅(qū)動(dòng)算法研究

宋金寶，鄭仁柱，李駿宇，張勤

(1.中國(guó)傳媒大學(xué)信息工程學(xué)院，北京100024;2.中國(guó)廣播電視國(guó)際經(jīng)濟(jì)技術(shù)合作總公司，北京100124)

1 引言

近年來(lái)，數(shù)字媒體技術(shù)、IP網(wǎng)絡(luò)技術(shù)、3G移動(dòng)通信技術(shù)及文化創(chuàng)意產(chǎn)業(yè)迅速發(fā)展，并且越來(lái)越緊密的結(jié)合在一起。隨之引發(fā)的是人們對(duì)實(shí)時(shí)且高質(zhì)量的多媒體數(shù)據(jù)傳輸、新的媒體制作方法(特別是計(jì)算機(jī)動(dòng)畫(huà)的制作)和新型人機(jī)交互等方面的需求，這些需求反過(guò)來(lái)則對(duì)媒體處理技術(shù)提出了更高的要求。而媒體處理中往往對(duì)于一個(gè)已知模型的運(yùn)動(dòng)分析是最基本的也是最重要的。分析一個(gè)動(dòng)態(tài)視頻的基本動(dòng)作特征，不僅僅可以幫助理解視頻的動(dòng)作行為，也可以用于相似物體間動(dòng)作行為的模仿。所以在本文中將著重闡述基于模型的動(dòng)作行為驅(qū)動(dòng)相關(guān)算法及程序?qū)崿F(xiàn)的研究。

2 運(yùn)動(dòng)行為捕捉與驅(qū)動(dòng)闡述

動(dòng)作行為的捕捉和模型驅(qū)動(dòng)重點(diǎn)在于如何將移動(dòng)中的物體進(jìn)行分割，分析出所需物體的運(yùn)動(dòng)軌跡，這一類(lèi)的捕捉問(wèn)題都可以簡(jiǎn)析為圖2-1中所示的流程圖。對(duì)動(dòng)畫(huà)視頻目標(biāo)行為跟蹤、動(dòng)作捕捉的應(yīng)用領(lǐng)域與發(fā)展現(xiàn)狀的描述中，視頻目標(biāo)跟蹤、動(dòng)作捕捉作為視覺(jué)領(lǐng)域中的一項(xiàng)基本研究問(wèn)題，出現(xiàn)了許多的跟蹤算法，這些算法的標(biāo)準(zhǔn)和分類(lèi)不同，往往結(jié)果也不相同。不論怎么樣的行為捕捉都離不開(kāi)物理運(yùn)動(dòng)的幾個(gè)關(guān)鍵點(diǎn)，重心、運(yùn)動(dòng)軌跡、邊沿輪廓、物體屬性等問(wèn)題［1］。所以在運(yùn)動(dòng)行為捕捉上，只要能夠解決這些核心問(wèn)題，就能實(shí)現(xiàn)模型的建立，得到模型后便可以對(duì)相似物體進(jìn)行驅(qū)動(dòng)。

圖2-1 行為驅(qū)動(dòng)流程圖

大多數(shù)的動(dòng)畫(huà)制作者之所以不愿意使用模型驅(qū)動(dòng)而是直接使用鉛筆或者電腦壓桿進(jìn)行繪畫(huà)創(chuàng)作，都是因?yàn)樵诨趧?dòng)畫(huà)物體的模型建立這一塊難度很大，難以得到較好的運(yùn)動(dòng)行為捕捉，這也是為什么這項(xiàng)工作在國(guó)內(nèi)外也很難興起的一個(gè)重大難點(diǎn)。隨著近幾年來(lái)粒子濾波器的發(fā)展，簡(jiǎn)化了繁瑣的逐幀提取運(yùn)動(dòng)點(diǎn)信息的方式，大大解放了建模者的勞動(dòng)力，使得計(jì)算上更為智能，可以擺脫掉只有3D才能使用模型驅(qū)動(dòng)的方式，增加了2D動(dòng)畫(huà)也可以實(shí)現(xiàn)使用運(yùn)動(dòng)模板的方式，能夠使相似物體進(jìn)行驅(qū)動(dòng)從而得到新的動(dòng)畫(huà)成為現(xiàn)實(shí)［2］。

2.1 動(dòng)畫(huà)物體行為捕捉

在動(dòng)畫(huà)物體行為捕捉與跟蹤的統(tǒng)計(jì)模型方面，近年來(lái)粒子濾波器(Particle Filter)作為一種非線性濾波算法，由于擺脫了高斯分布的制約條件，已經(jīng)成為一種主流的、面向目標(biāo)的運(yùn)動(dòng)跟蹤算法。選用粒子濾波器作為本課題中動(dòng)畫(huà)物體行為的捕捉將大大提升物體動(dòng)作行為的跟在能力，將捕捉方式更加完善，便于模型建立時(shí)數(shù)據(jù)的錄入。在粒子濾波器中，通過(guò)蒙特卡羅采樣(Monte Carlo Sampling)來(lái)執(zhí)行遞歸貝葉斯濾波(Recursive Bayesian Filter)的算法，其關(guān)鍵思想是利用一組帶權(quán)值的隨機(jī)樣本，以及基于這些樣本的估算來(lái)表示后驗(yàn)概率密度函數(shù)pdf(Posterior Density Function)，當(dāng)樣本數(shù)非常大時(shí)，這種估算將等同于pdf［3］。使用粒子濾波器可以從動(dòng)態(tài)圖像中提取出所需要的動(dòng)作模型，將這個(gè)模板當(dāng)作下一部分驅(qū)動(dòng)其他物體運(yùn)動(dòng)的基礎(chǔ)。這樣可以大大減輕運(yùn)動(dòng)物體繁瑣的物理屬性，而簡(jiǎn)單的從形態(tài)圖像等方面對(duì)運(yùn)動(dòng)進(jìn)行捕捉，如圖2-2。

圖2-2 基于模型驅(qū)動(dòng)的整體預(yù)覽圖

2.2 目標(biāo)模型的建立

目標(biāo)跟蹤過(guò)程是隨機(jī)的，非線性的，可以把問(wèn)題描述為:在給定的一組觀測(cè)條件下，對(duì)運(yùn)動(dòng)目標(biāo)的狀態(tài)進(jìn)行貝葉斯估計(jì)［4］。這樣就把目標(biāo)的跟蹤問(wèn)題，抽象為對(duì)狀態(tài)向量的估計(jì)，狀態(tài)向量用來(lái)描述目標(biāo)的位置、速度、加速度和輪廓等信息。一個(gè)動(dòng)態(tài)系統(tǒng)至少是需要兩個(gè)參照模型的，一個(gè)是描述隨著時(shí)間變化的狀態(tài)模型以及另一個(gè)與狀態(tài)有關(guān)的觀測(cè)模型。

由于經(jīng)典粒子濾波器是基于貝葉斯跟蹤算法的，利用先驗(yàn)概率估計(jì)出運(yùn)動(dòng)目標(biāo)的狀態(tài)概率，再通過(guò)最新的觀測(cè)數(shù)據(jù)來(lái)修正目標(biāo)的狀態(tài)分布。估計(jì)問(wèn)題的實(shí)質(zhì)就是在獲取了t時(shí)刻以及t時(shí)刻之前的所有觀測(cè)數(shù)據(jù)的前提下，利用系統(tǒng)的狀態(tài)模型預(yù)測(cè)狀態(tài)的先驗(yàn)概率密度，再使用最近的觀測(cè)值進(jìn)行更新，得到t時(shí)刻的后驗(yàn)概率密度P(Xt|Z1:t)。跟蹤過(guò)程由狀態(tài)預(yù)測(cè)、數(shù)據(jù)關(guān)聯(lián)和狀態(tài)更新組成。其中目標(biāo)的當(dāng)前狀態(tài)只和最近的過(guò)去狀態(tài)相關(guān)，而與更早的狀態(tài)無(wú)關(guān)。而最早的狀態(tài)概率密度，大致以高斯分布作為初始值［5］。這樣就可以逐幀算出預(yù)測(cè)位置，得到運(yùn)動(dòng)矢量，從而建立起模型矩陣，便于之后的相似物體的動(dòng)態(tài)行為驅(qū)動(dòng)［6］。

2.3 運(yùn)動(dòng)物體的行為驅(qū)動(dòng)

基于物體動(dòng)態(tài)行為的濾波后，得到驅(qū)動(dòng)的模型矩陣。找到相似物體，根據(jù)相同算法，將相似物體進(jìn)行粒子跟蹤，使用矩陣內(nèi)數(shù)據(jù)，套用在相似物體上，讓物體看起來(lái)在遵循所得模板中的運(yùn)動(dòng)軌跡，進(jìn)行相同的運(yùn)動(dòng)。由于粒子濾波后，得到的矩陣中不僅包括輪廓信息，也包括了下一幀畫(huà)面的位置矢量，所以可以用在相似物體上，預(yù)測(cè)出它下一幀的走勢(shì)，以此達(dá)到對(duì)相似物體的驅(qū)動(dòng)效果［7］。使得相似物體能夠遵循粒子濾波后得到的模板，進(jìn)行該運(yùn)動(dòng)行為，從而使得模板能夠真正意義上的驅(qū)動(dòng)該物體的運(yùn)動(dòng)行為。

在物體行為驅(qū)動(dòng)中，要確立驅(qū)動(dòng)的物體與模型物體有相似性在其中［8］，畢竟在物體模型建立中，只是對(duì)點(diǎn)的運(yùn)動(dòng)軌跡進(jìn)行預(yù)測(cè)，沒(méi)有辦法改變它的運(yùn)動(dòng)方式和運(yùn)動(dòng)形態(tài)。例如一只老虎矯健地奔跑就不能驅(qū)動(dòng)一只河馬笨重的奔跑狀態(tài)，因?yàn)閮烧唛g物理運(yùn)動(dòng)上的一致和形態(tài)體積上的不一致難以統(tǒng)一。所以一只老虎矯健地奔跑可以驅(qū)動(dòng)一只豹子的奔跑，這兩者間的形態(tài)相似部分幾乎一致，驅(qū)動(dòng)效果甚佳。

3 技術(shù)的具體實(shí)現(xiàn)

在該部分將針對(duì)筆者的程序進(jìn)行實(shí)例說(shuō)明和分析，簡(jiǎn)述該理論的技術(shù)具體實(shí)現(xiàn)，特別是其中的優(yōu)勢(shì)部分和不足點(diǎn)，對(duì)整個(gè)技術(shù)進(jìn)行全方位的剖析。

3.1 運(yùn)用matlab分析視頻尋找輪廓

1.視頻分析

在視頻分析部分，思索出兩種方式，第一種是自動(dòng)的利用編解碼時(shí)壓縮時(shí)的信息進(jìn)行輪廓分析;另一種是將視頻圖像解析出來(lái)，利用人工的方式標(biāo)取輪廓和關(guān)鍵點(diǎn)，以此分析視頻。第一種的方式實(shí)現(xiàn)速度比第二種快，但是輪廓點(diǎn)和關(guān)鍵點(diǎn)的選取不理想，對(duì)后續(xù)幀分析產(chǎn)生影響，沒(méi)有選取。第二種方式雖然麻煩但是卻能直接得到動(dòng)畫(huà)人物的關(guān)鍵信息，使得后續(xù)分析大大提高精確度，是一種較為可行的分析方法。所以在程序?qū)崿F(xiàn)中選擇了該方式對(duì)視頻進(jìn)行分析。

2.輪廓尋找

輪廓是在亮度不同的區(qū)域之間有一個(gè)明顯的變化，即明度級(jí)差突然變化而形成的。輪廓是構(gòu)成任何一個(gè)形狀的邊界或外形線。在輪廓尋找中，發(fā)現(xiàn)因?yàn)槌绦蛑蛔R(shí)別坐標(biāo)點(diǎn)，所以在標(biāo)出坐標(biāo)點(diǎn)后，必須對(duì)相應(yīng)點(diǎn)的視頻信息進(jìn)行提取，特別是RGB與α通道的信息提取，這個(gè)對(duì)于后面建立觀測(cè)方程十分重要，在筆者程序中，主要依靠RGB三值進(jìn)行觀測(cè)方程的建立。輪廓效果圖如圖3-1

圖3-1 輪廓信息的提取

由于輪廓信息是在一個(gè)區(qū)域內(nèi)有明顯變化而形成的，那么在取點(diǎn)的時(shí)候就必須注意與物體與背景的反差。而且根據(jù)輪廓是否有形，是否有顯見(jiàn)的形，而把輪廓分為客觀輪廓和主觀輪廓。客觀輪廓是指一個(gè)明度級(jí)差的比較突然的變化，它是有形的、顯見(jiàn)的，如馬赫帶;主觀輪廓是在沒(méi)有明度級(jí)差的情況下，由于某種原因，人們也會(huì)看到的輪廓。而且在一個(gè)兩維圖形中，輪廓上具有豐富的信息，輪廓變化最陡或曲率最大的部分是信息最集中的地方，而輪廓方向一致的地方，則是信息多余性最大的地方。所以特別需要注意輪廓線的RGB閾值的選取，輪廓是會(huì)多少產(chǎn)生色彩偏差，但是不會(huì)產(chǎn)生得十分明顯，一旦和背景區(qū)別開(kāi)后便可以很好的實(shí)現(xiàn)輪廓的提取了，產(chǎn)生明顯的輪廓。這樣提出的明顯輪廓，輪廓的信息量就會(huì)很豐富，方便進(jìn)行運(yùn)動(dòng)軌跡的預(yù)測(cè)。

3.2 粒子濾波器非線性動(dòng)作預(yù)測(cè)

1.運(yùn)動(dòng)方程的建立

在粒子濾波器中，建立運(yùn)動(dòng)方程很重要，在此我們使用的是序列重要采樣法(SIS)的方式建立運(yùn)動(dòng)方程。所以使用的是公式3-1，該公式包含了運(yùn)動(dòng)中所需要的角度和部分形變偏移量，適用于動(dòng)畫(huà)片中運(yùn)動(dòng)幅度不是很大的運(yùn)動(dòng)軌跡預(yù)測(cè)。公式中y(t)為預(yù)測(cè)值，x(t)為運(yùn)動(dòng)方程中關(guān)鍵粒子點(diǎn)，v為過(guò)程噪聲，w為觀測(cè)噪聲。

在運(yùn)動(dòng)方程建立中不難看出所選公式是基于一種非線性的粒子運(yùn)動(dòng)軌跡的預(yù)估，公式中所體現(xiàn)每個(gè)點(diǎn)的運(yùn)動(dòng)都是雜亂無(wú)章，毫無(wú)規(guī)律可言的。這樣特別符合動(dòng)畫(huà)運(yùn)動(dòng)中的無(wú)規(guī)律非線性的運(yùn)動(dòng)模式，在程序?qū)崿F(xiàn)中很容易就能看出預(yù)測(cè)的軌跡，十分明確的展示出各個(gè)點(diǎn)之間的無(wú)規(guī)律性，滿足運(yùn)動(dòng)動(dòng)畫(huà)軌跡的無(wú)序性。

2.觀測(cè)方程的建立

觀測(cè)方程(observation equation)是指在觀測(cè)值和待估參數(shù)之間建立的函數(shù)關(guān)系式。觀測(cè)方程存在的目的在于能夠輔助運(yùn)動(dòng)方程，達(dá)到預(yù)測(cè)的目的。觀測(cè)值一般十分確定，在筆者的程序中觀測(cè)值就是RGB和α通道，一般物體在運(yùn)動(dòng)中RGB值與α通道中的值是不會(huì)有太大改變，當(dāng)然有可能從陽(yáng)光照射處進(jìn)入到陰影處，這時(shí)閾值會(huì)有一個(gè)變化，但是兩者間的RGB模型的整體趨勢(shì)會(huì)保持不變，方便觀測(cè)。

在觀測(cè)方程中，選擇的參變量是RGB三值，當(dāng)該粒子點(diǎn)RGB與前一幀得到的點(diǎn)的RGB值在一定閾值內(nèi)相同，則認(rèn)為兩個(gè)粒子點(diǎn)相同，則后一幀的關(guān)鍵點(diǎn)與前一幀的關(guān)鍵點(diǎn)相同。以此為觀測(cè)值比用灰度直方圖更能夠針對(duì)每一點(diǎn)進(jìn)行觀測(cè)，且每一點(diǎn)的準(zhǔn)確度更大。

圖3-2 運(yùn)動(dòng)模型的行為驅(qū)動(dòng)

3.3 運(yùn)用模型的行為驅(qū)動(dòng)

行為驅(qū)動(dòng)部分是整個(gè)程序?qū)崿F(xiàn)的最后部分，首先選取相似物體，用相似物體進(jìn)行驅(qū)動(dòng)會(huì)達(dá)到較好的效果，其次對(duì)選好的相似物體也需要用取關(guān)鍵點(diǎn)的方式進(jìn)行輪廓的標(biāo)畫(huà)，這樣程序才能夠得以更好的對(duì)運(yùn)動(dòng)方程進(jìn)行一一對(duì)應(yīng)。如圖3-3所示，就是運(yùn)動(dòng)模型的對(duì)應(yīng)關(guān)系，對(duì)應(yīng)點(diǎn)越精準(zhǔn)，對(duì)應(yīng)關(guān)系越明確，驅(qū)動(dòng)效果越佳。

當(dāng)運(yùn)動(dòng)方程矩陣得到后，便可以用運(yùn)動(dòng)矩陣X當(dāng)作模板去驅(qū)動(dòng)新的相似物體。假設(shè)新的運(yùn)動(dòng)物體各個(gè)點(diǎn)與模型X中的點(diǎn)一一對(duì)應(yīng)，得到第一幀的關(guān)鍵點(diǎn)集合Y，與驅(qū)動(dòng)方程中X中第一幀對(duì)應(yīng)點(diǎn)運(yùn)算得到轉(zhuǎn)換矩陣P。這樣就可以得出驅(qū)動(dòng)方程(3-2)，利用驅(qū)動(dòng)方程就可以算出整個(gè)新物體的運(yùn)動(dòng)矩陣。得到運(yùn)動(dòng)矩陣后便可以利用關(guān)鍵點(diǎn)和輪廓進(jìn)行色彩恢復(fù)，得到新的圖像，驅(qū)動(dòng)過(guò)程效果如圖3-2，完成對(duì)新動(dòng)畫(huà)的相同運(yùn)動(dòng)驅(qū)動(dòng)如圖3-3。Y=P*X (3-2)

圖3-3 運(yùn)動(dòng)模型相似物體驅(qū)動(dòng)示意圖

3.4 程序流程圖解析

圖3-4 最終程序流程圖

1)選取出需要的視頻

2)將選出的視頻進(jìn)行分析

3)將讀取出來(lái)的視頻提取出第一幀，方便使用

4)找出第一幀的關(guān)鍵運(yùn)動(dòng)捕捉的物體

5)在選出的關(guān)鍵物體中標(biāo)注關(guān)鍵點(diǎn)

6)利用預(yù)測(cè)公式，用粒子濾波器的算法，預(yù)測(cè)出該關(guān)鍵點(diǎn)下一幀的位置

7)將每一幀預(yù)測(cè)出的位置進(jìn)行GRB比對(duì)，選出運(yùn)動(dòng)軌跡

8)將運(yùn)動(dòng)軌跡組成運(yùn)動(dòng)矩陣

9)選取相似物體，便于新動(dòng)畫(huà)的驅(qū)動(dòng)

10)最終利用驅(qū)動(dòng)方程將新物體的運(yùn)動(dòng)狀態(tài)進(jìn)行驅(qū)動(dòng)，形成新的動(dòng)畫(huà)。

4 結(jié)論

本文首先針對(duì)視頻信息的讀取和關(guān)鍵點(diǎn)的選擇;其次選擇使用粒子濾波器作為預(yù)測(cè)運(yùn)動(dòng)軌跡的算法，對(duì)運(yùn)動(dòng)軌跡的預(yù)測(cè)，可以準(zhǔn)確獲取到動(dòng)畫(huà)中的運(yùn)動(dòng)軌跡;最后實(shí)現(xiàn)對(duì)新動(dòng)畫(huà)角色的提取和相似動(dòng)作的驅(qū)動(dòng)。不難看出利用這一理論完成基于模型運(yùn)動(dòng)的行為驅(qū)動(dòng)是可以實(shí)現(xiàn)的。這不僅僅可以提高制作動(dòng)畫(huà)的速度，更能夠完成很多重復(fù)性勞動(dòng)，帶來(lái)更多2D傳統(tǒng)動(dòng)畫(huà)中很多新角度的再思考。

［1］C Bregler，L Loeb，E Chuang，H Deshpande.Turning to the masters:motion capturing cartoons［J］.ACM Transactions on Graphics(TOG)，Volume 21，Issue 3(July 2002)，Proceedings of ACM SIGGRAPH 2002，SESSION:Character animation，399-407.

［2］M Rastegari，N Gheissari.Multi-scale Cartoon Motion Capture and Retargeting without Shape Matching［J］.Proceedings of the 2008 Digital Image Computing:Techniques and Applications(DICTA)，2008，Australia，Canberra，320-326.

［3］胡士強(qiáng)，敬忠良.粒子濾波原理及其應(yīng)用［M］.北京:科學(xué)出版社，2010.

［4］F Sumi，M Nakajima.A Production Method of Reusing Existing 2D Animation Sequences［J］.In Proceedings of Computer Graphics International 2003(CGI)，July，2003，Tokyo，Japan，282-287.

［5］朱志宇.粒子濾波算法及其應(yīng)用［M］.北京:科學(xué)出版社，2010.

［6］MRastegari，M Rouhani，N Gheissari，M M Pedram.Cartoon Motion Capturing and Retargeting by Rigid Shape Manipulation［J］.Digital Image Computing:Techniques and Applications(DICTA)，2009，498-504.

［7］Wang Hongbin，Li Hua.Cartoon Motion Capture by Shape Matching［J］.In Journal of Computer-aided Design ＆ computer Graphics，Vol 15，No 19，Sep，2003.

［8］Chui Haili，Rangarajan A.A new algorithm for non-rigid point matching［J］.In Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition，Hilton Head Island，2001，44-51.