基于關(guān)鍵姿態(tài)約束的人體運動序列插值生成

楊 華，蘇勢林，閆雨奇，李寶川，劉翠微

(沈陽航空航天大學(xué) 計算機學(xué)院，沈陽 110136)

人體運動序列的生成，涉及圖像采集與處理、模式識別、數(shù)據(jù)挖掘等理論和技術(shù)，在人體運動仿真、姿態(tài)預(yù)測、體育輔助訓(xùn)練、影視動畫制作、體感游戲、仿人機器人研制等方面應(yīng)用廣泛[1-2]。有大量的人體運動數(shù)據(jù)庫被用于商業(yè)發(fā)展和科學(xué)研究，例如：卡內(nèi)基·梅隆大學(xué)的GLMCD(Graphics Lab Motion Capture Database)、加州大學(xué)洛杉磯分校的Multiview Action3D、德州大學(xué)達拉斯分校的MHAD(Multimodal Human Action Dataset)等[3-4]。其中GLMCD使用12個MX-40攝像機以120Hz的采樣率捕獲人體43個關(guān)節(jié)點的運動數(shù)據(jù)，而Multiview Action3D和MHAD則基于Kinect體感設(shè)備以30Hz的采樣率捕獲人體20個關(guān)節(jié)點的運動數(shù)據(jù)。然而，人體運動捕獲數(shù)據(jù)呈現(xiàn)出周期非線性、難以實時計算等特點。為滿足視覺和數(shù)據(jù)驅(qū)動方面的要求，需從不同的行為運動數(shù)據(jù)中解析出關(guān)鍵姿態(tài)用于生成新的人體運動序列，常用算法有PCA(Principal Components Analysis)、PPCA(Probabilistic PCA)、K-means、GMM(Gaussian Mixed Model)等[5]。近年來，隨著采集設(shè)備的發(fā)展和動作數(shù)據(jù)庫的建立，如何利用既有人體運動數(shù)據(jù)庫生成新的符合不同應(yīng)用需求、自然逼真的人體運動序列成為運動數(shù)據(jù)重用技術(shù)中的研究熱點。Lucas等提出了一種有向運動圖模型，該模型包含關(guān)鍵姿態(tài)運動數(shù)據(jù)，根據(jù)對圖的遍歷實現(xiàn)不同運動的連接[6]。Min等構(gòu)建了一種基于運動圖的語義運動分析與合成模型，通過對不同關(guān)鍵姿態(tài)間的遷移概率來實現(xiàn)運動的編輯[7]。Holden等采用深度學(xué)習(xí)框架來實現(xiàn)角色動作的合成與編輯[8]。夏時洪等則采用無標記異構(gòu)人體運動的實時風(fēng)格轉(zhuǎn)換方法，構(gòu)造自回歸模型的局部混合來捕捉不同風(fēng)格間的復(fù)雜運動關(guān)系[9]。然而，由于人體運動內(nèi)在的復(fù)雜性和時序性，上述方法普遍存在網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜、訓(xùn)練時間長、參數(shù)調(diào)試困難、計算量大等問題。

本文提出了一種基于關(guān)鍵姿態(tài)約束的人體運動插值序列生成方法：采用PPCA[5]聚類分析將動作的高維數(shù)據(jù)投影到低維空間，從而抽取出關(guān)鍵姿態(tài)數(shù)據(jù)，建立動作節(jié)點；基于有限狀態(tài)機(Finite-state Machine,FSM)概念構(gòu)建含有關(guān)鍵姿態(tài)的運動圖譜；應(yīng)用過程發(fā)生數(shù)據(jù)缺失時，通過計算不同關(guān)鍵姿態(tài)的幀間最小距離解析出最佳過渡幀，再通過幀間插值算法實現(xiàn)動作序列平滑過渡。本方法為克服設(shè)備捕獲數(shù)據(jù)缺失、生成復(fù)雜人體運動長序列以及提高人體運動數(shù)據(jù)的可重用提供技術(shù)支撐。

1 數(shù)據(jù)格式及轉(zhuǎn)換

本文選用BVH[10]文件用于運動數(shù)據(jù)處理，包含骨架層次和運動數(shù)據(jù)兩部分。骨架層次描述以人體髖關(guān)節(jié)為根節(jié)點組成的樹形結(jié)構(gòu)，運動數(shù)據(jù)記錄了各節(jié)點相對于其父節(jié)點的旋轉(zhuǎn)角度。使用m(t)=[h(t),r1(t),r2(t),…,rJ(t)]描述t時刻捕獲的人體運動位姿數(shù)據(jù)。其中，h(t)表示根關(guān)節(jié)的世界坐標，ri(t)表示第i個關(guān)節(jié)相對于其父關(guān)節(jié)的旋轉(zhuǎn)變換。BVH文件記錄的是人體關(guān)節(jié)點的歐拉角，存在非線性、耦合等特點，造成在插值過程中位姿數(shù)據(jù)難以預(yù)測。為便于計算，本文將歐拉角轉(zhuǎn)化成四元數(shù)來實現(xiàn)插值過程的平滑過渡，四元數(shù)比歐拉轉(zhuǎn)換矩陣所需的運算量更小，更節(jié)約存儲空間，其一般形式如公式(1)所示

(1)

2 運動圖譜

2.1 運動數(shù)據(jù)提取

人體運動插值生成是通過對已有數(shù)據(jù)的分析來揭示運動數(shù)據(jù)的規(guī)律，在樣本間進行線性和非線性插值來生成新的人體運動數(shù)據(jù)。人體運動捕獲數(shù)據(jù)經(jīng)常具有周期非線性、特征維度高、難以實時計算等特點。本文采用PPCA算法[11]將高維數(shù)據(jù)投影到低維空間，用于數(shù)據(jù)特征選擇。從GLMCD數(shù)據(jù)庫中抽取出典型動作的關(guān)鍵姿態(tài)，并建模為一系列運動節(jié)點M={M0，M1，…，Mn}，每個運動節(jié)點包含一組關(guān)鍵幀序列Mi=[m0,m1,…,mt]。圖1給出從連續(xù)人體序列中抽取出典型動作節(jié)點(奔跑、走、下蹲等)的分割過程示例。圖2給出了奔跑動作所對應(yīng)的幾個關(guān)鍵姿態(tài)。

圖1 人體運動序列分割提取

圖2 提取出的奔跑序列

2.2 關(guān)鍵姿態(tài)運動圖譜

以提取的動作節(jié)點為基礎(chǔ)，本文設(shè)計了一個基于有限狀態(tài)機的關(guān)鍵姿態(tài)約束運動圖譜。圖譜中的頂點是運動節(jié)點，由一組起始狀態(tài)、終止狀態(tài)和狀態(tài)遷移函數(shù)組成；允許從一個動作過渡到另一動作，實現(xiàn)不同關(guān)鍵姿態(tài)間運動序列過渡。在某一狀態(tài)下給定輸入后，狀態(tài)遷移使不同的關(guān)鍵姿態(tài)合成平滑的運動序列。狀態(tài)機從M0開始，根據(jù)狀態(tài)遷移函數(shù)來合成不同的人體運動序列，狀態(tài)遷移函數(shù)則為幀間插值算法。

圖3 運動圖譜

對GLMCD數(shù)據(jù)庫進行PPCA算法分割提取出關(guān)鍵姿態(tài)數(shù)據(jù)(包括：行走、奔跑、拳擊、跳躍等)，建立運動圖譜如圖3所示。矩形框則表示為提取出的關(guān)鍵姿態(tài)序列(如站立、下蹲等基本姿態(tài)，行走、跑、拳擊等典型動作)。

3 運動插值生成

3.1 最佳過渡幀計算

不同關(guān)鍵姿態(tài)間往往具有不同的空間位置和朝向。為了使運動平滑過渡，需計算查找不同運動節(jié)點間的最佳過渡幀，本文通過查找最小幀間距離來衡量和選取。幀間距離計算如公式(2)所示

(2)

圖4 運動插值生成過程

3.2 運動插值

常用插值方法有四元數(shù)樣條插值、歐拉角線性插值、B樣條插值等[12-13]。本文選用四元數(shù)球面插值算法，該算法計算量小、插值平滑，被廣泛地應(yīng)用于游戲引擎和控制領(lǐng)域[14-15]。由于坐標系的不同，插值之前要將不同的人體運動序列規(guī)約到相同的坐標系下，變換方法如公式(3)所示

PA(t)=Tθ,x,y,z(t)PB(t)

(3)

其中，A,B∈M，PA(t)和PB(t)表示根關(guān)節(jié)的坐標；Tθ,x,y,z(t)表示變換矩陣，是平移變換(x,y,z)和繞y軸旋轉(zhuǎn)θ角度的旋轉(zhuǎn)變換組成。兩段序列經(jīng)過規(guī)約操作后可利用四元數(shù)球面插值計算。根據(jù)找到的最佳過渡點A(m)、B(n)，生成A(i)～A(m)，B(n)～B(j)的插值序列。插值序列sk計算方法如公式(4)所示

sk=slerp(qAi+k-1,qBj-k+1,α(k))=

(4)

其中，k∈[1,2,…,N]表示插入幀序，N為總插值幀數(shù)，α(k)表示插值系數(shù)，范圍0<α(k)<1，計算方法如公式(5)所示

(5)

此外，公式(4)的角度可通過計算四元數(shù)q和p點積的反余弦獲取計算，如公式(6)所示

(6)

3.3 算法設(shè)計

采集的實時運動數(shù)據(jù)在運動圖譜中進行跟蹤查找匹配，通過幀間距離D與預(yù)設(shè)閾值Δ比較進行丟幀判斷，D(Mc，Mi)>Δ表示丟幀。

當數(shù)據(jù)缺失發(fā)生在運動節(jié)點內(nèi)時，則查找缺失數(shù)據(jù)前后的邊界幀進行插值計算；當數(shù)據(jù)缺失發(fā)生在運動節(jié)點間時，根據(jù)圖譜遍歷查找運動節(jié)點，經(jīng)由運動節(jié)點間最佳匹配幀進行插值計算，算法流程如圖5所示。

圖5 插值序列生成算法

4 實驗

實驗采用GLMCD人體運動數(shù)據(jù)庫進行測試，確保結(jié)果的客觀性和有效性。該數(shù)據(jù)庫記錄了2605個實驗數(shù)據(jù)，分成6大類、23小類，包含髖部、脊柱、肩部等43個關(guān)節(jié)點信息。本文選取行走過程所需要的13個主要關(guān)節(jié)點信息，如表1所示，包含行走關(guān)節(jié)角度值在各個軸上的角度范圍。

實驗選取495幀行走運動數(shù)據(jù)來模擬一個動作節(jié)點內(nèi)數(shù)據(jù)缺失的情況，按等間隔插值驗證公式(4)的有效性。圖6(a)為一個行走周期的原始數(shù)據(jù)，圖6(b)為行走數(shù)據(jù)缺失時插值生成的人體運動序列，圖6(b)中，第5幀、第35幀為原始數(shù)據(jù)，第10幀、第15幀、第20幀、第25幀、第30幀為插值數(shù)據(jù)。以左髖(lThigh)為例，圖7給出關(guān)節(jié)角在各個軸向上插值數(shù)據(jù)與原始數(shù)據(jù)的差異，虛線代表原始數(shù)據(jù)，實線代表插值數(shù)據(jù)?？梢钥闯?，該算法能有效、準確地克服運動節(jié)點內(nèi)的數(shù)據(jù)缺失。圖8給出當復(fù)雜連續(xù)動作(跨運動節(jié)點)數(shù)據(jù)采集發(fā)生缺失處理，以從“奔跑”到“下蹲”為例。該過程通常不能直接完成，需要根據(jù)運動圖譜進行跨運動節(jié)點的遍歷匹配，再經(jīng)由不同動作節(jié)點的關(guān)鍵姿態(tài)間的最相似幀進行插值。過程如下：第1幀為“奔跑”動作，第12幀為“下蹲”動作，兩幀之間發(fā)生數(shù)據(jù)連續(xù)缺失；遍歷運動圖譜找到“行走”、“站立”作為過渡動作節(jié)點；查找并計算過渡動作節(jié)點間的關(guān)鍵姿態(tài)過渡幀(第5、8幀)；插值計算生成其它缺失姿態(tài)幀(第2、3、4、6、7、9、10、11幀)，最終生成“奔跑-行走-站立-下蹲”的連貫動作，克服了運動數(shù)據(jù)采集的缺失。

表1 行走過程的主要關(guān)節(jié)點數(shù)據(jù)

圖6 運動節(jié)點內(nèi)插值生成序列

圖7 行走時左髖(lThigh)角度變化

圖8 奔跑-行走-站立-下蹲(M2-M1-M0-M7)關(guān)鍵姿態(tài)插值生成序列

5 結(jié)論

本文提出一種基于關(guān)鍵姿態(tài)約束的人體運動序列插值生成方法，當發(fā)生運動數(shù)據(jù)缺失時，根據(jù)建立的動作圖譜的過渡關(guān)系計算并插入若干過渡動作幀，實現(xiàn)動作的接續(xù)連貫。該方法能有效克服動作數(shù)據(jù)采集過程的缺失，并可用于復(fù)雜人體動作的組合生成，實現(xiàn)動作序列的流暢，提高人體運動捕獲數(shù)據(jù)的可用性、魯棒性。