基于深度學(xué)習(xí)和動(dòng)態(tài)時(shí)間規(guī)整的人體運(yùn)動(dòng)檢索

楚超勤,肖秦琨,高 嵩

(西安工業(yè)大學(xué) 電子信息工程學(xué)院，陜西 西安 710032)

0 引 言

近年來，隨著創(chuàng)新科技的發(fā)展，計(jì)算機(jī)動(dòng)畫在各種應(yīng)用中日益普及[1-8]。人體運(yùn)動(dòng)編輯對(duì)計(jì)算機(jī)動(dòng)畫制作尤為重要，在動(dòng)畫制作領(lǐng)域，很多企業(yè)公司對(duì)制作非常逼真的人類動(dòng)畫產(chǎn)生了極大的需求?，F(xiàn)在市場(chǎng)上已經(jīng)有很多方法來產(chǎn)生人體運(yùn)動(dòng)數(shù)據(jù)。運(yùn)動(dòng)捕獲(MoCap)是一種眾所周知的獲取運(yùn)動(dòng)數(shù)據(jù)的方法，因此運(yùn)動(dòng)捕獲設(shè)備的應(yīng)用價(jià)值也越來越突出，推動(dòng)了大規(guī)模人體和物體運(yùn)動(dòng)數(shù)據(jù)庫的發(fā)展[8-9]。然而，隨著各種運(yùn)動(dòng)數(shù)據(jù)的增長，檢索能滿足特定要求的動(dòng)畫運(yùn)動(dòng)是一件困難的事情。因此，運(yùn)動(dòng)檢索技術(shù)成為近年來在運(yùn)動(dòng)捕捉動(dòng)畫領(lǐng)域的研究重點(diǎn)。

目前已經(jīng)提出了一些運(yùn)動(dòng)檢索方法，其中許多創(chuàng)新方法是在現(xiàn)有的音頻檢索方法上加以拓展應(yīng)用，如所熟知的動(dòng)態(tài)時(shí)間規(guī)整(dynamic time warping，DTW)[10]。然而，因?yàn)檫@種類型的數(shù)據(jù)的屬性和參數(shù)數(shù)據(jù)量很大，所以單一使用DTW方法對(duì)運(yùn)動(dòng)捕獲數(shù)據(jù)的檢索效率低。為了支持索引和提高DTW的檢索性能，提出一種基于均勻縮放(uniform scaling，US)的算法[11]。然而，基于均勻縮放的方法通常具有較高的計(jì)算成本?；贒TW方法和典型相關(guān)分析(canonical correlation analysis，CCA)擴(kuò)展方法，被稱為廣義的典型時(shí)間規(guī)整(generalized canonical time warping，GCTW)，這種方法被用于調(diào)整多模態(tài)序列[12]。除了基于DTW的方法，其他方法是尋求邏輯上類似的運(yùn)動(dòng)匹配。例如，用于呈現(xiàn)運(yùn)動(dòng)的模板技術(shù)，以及使用模板匹配的運(yùn)動(dòng)搜索[13]。此外，提出使用幾何特征構(gòu)建索引樹，使用聚類和分割，然后根據(jù)峰值點(diǎn)進(jìn)行動(dòng)作匹配[14]。然而，這些方法都不能很好地區(qū)分緊密匹配的運(yùn)動(dòng)。

文中利用給定查詢的運(yùn)動(dòng)序列，從運(yùn)動(dòng)數(shù)據(jù)庫檢索非常相似的運(yùn)動(dòng)。如上所述，基于DTW的檢索方法的表現(xiàn)比統(tǒng)計(jì)匹配方法有更好的性能，但檢索效率較低，因此提出將基于深度學(xué)習(xí)和動(dòng)態(tài)時(shí)間規(guī)整的人體運(yùn)動(dòng)檢索方法，以提高運(yùn)動(dòng)匹配的性能和效率。然后，基于優(yōu)化的代表性識(shí)別特征通常比原始無序描述符具有更好的性能，使用模糊聚類將冗余姿態(tài)描述符轉(zhuǎn)換成判別描述符[15]。最后通過實(shí)驗(yàn)對(duì)該算法進(jìn)行驗(yàn)證。

1 檢索算法

1.1 算法概述

提出算法的圖解說明如圖1所示，其中算法分為兩個(gè)階段：系統(tǒng)學(xué)習(xí)和運(yùn)動(dòng)檢索。

圖1 算法說明

在系統(tǒng)學(xué)習(xí)階段，首先由相互間可分辨的運(yùn)動(dòng)集合構(gòu)建運(yùn)動(dòng)數(shù)據(jù)庫，其次通過聚類方法獲取代表性幀圖像，進(jìn)而基于代表幀圖像集合訓(xùn)練自動(dòng)編碼器模型，使用已經(jīng)獲取的編碼器模型提取運(yùn)動(dòng)幀圖像的特征；在運(yùn)動(dòng)檢索階段，基于上述步驟獲取查詢運(yùn)動(dòng)關(guān)鍵幀圖像，進(jìn)而應(yīng)用自動(dòng)編碼器提取每一幀圖像特征，應(yīng)用曼哈頓動(dòng)態(tài)規(guī)劃算法計(jì)算待查詢運(yùn)動(dòng)與運(yùn)動(dòng)數(shù)據(jù)庫運(yùn)動(dòng)之間的相似度距離，排序輸出檢索結(jié)果。

1.2 系統(tǒng)學(xué)習(xí)

(1)基于聚類獲取代表性的幀。系統(tǒng)學(xué)習(xí)的關(guān)鍵一步是獲取基于聚類的代表性框架。給定運(yùn)動(dòng)序列{Fi}i=1:n，其中n是幀數(shù)，使用模糊c-均值(fuzzy c-means，F(xiàn)CM)聚類方法生成代表性幀。為了計(jì)算兩幀之間的距離，使用四元數(shù)[15]來呈現(xiàn)身體姿態(tài)。設(shè)Fi為第i幀中的運(yùn)動(dòng)描述符，F(xiàn)1和F2之間的距離計(jì)算公式如下：

d(F1,F2)=(F1-F2)(F1-F2)T

(1)

如果使用聚類方法來生成c個(gè)聚類中心，則選擇距離聚類中心最短距離的一些幀作為代表幀，然后代表幀可以表示為RF={rfk}k=1:c，其中rfk對(duì)應(yīng)于第k個(gè)聚類中心。因此可以使用FCM聚類對(duì)代表性幀進(jìn)行提取。

圖2(a)顯示了代表性幀的第一主成分，對(duì)于圖2(b)中的運(yùn)動(dòng)序列，在卡納基梅隆大學(xué)CMU數(shù)據(jù)庫中對(duì)應(yīng)于“01-01.bvh”，從所有運(yùn)動(dòng)視頻幀中找到20個(gè)聚類中心，不同的聚類數(shù)據(jù)用不同的顏色表示。為了便于展示，原始特征(84維四元數(shù)矢量)使用主成分分析(principal component analysis，PCA)來縮小維數(shù)，只保留第一和第二主要分量。圖2(b)顯示了與聚類中心對(duì)應(yīng)的代表幀。

1.3 使用自動(dòng)編碼器提取運(yùn)動(dòng)特征

自動(dòng)編碼器可以看作是神經(jīng)網(wǎng)絡(luò)。使用自動(dòng)編碼器可以減小輸入數(shù)據(jù)的維數(shù)，并將重構(gòu)的信號(hào)作為輸出。在深層網(wǎng)絡(luò)中，自動(dòng)編碼器始終作為自動(dòng)學(xué)習(xí)對(duì)象特征的良好模式，其在無監(jiān)督的學(xué)習(xí)機(jī)制環(huán)境下訓(xùn)練，這一訓(xùn)練過程是必不可少的。自動(dòng)編碼器由編碼器和解碼器組成。

(a)運(yùn)動(dòng)特征的第一主要部分

(b)20個(gè)代表性框架對(duì)應(yīng)于20個(gè)中心

假設(shè)自動(dòng)編碼器的輸入為x，首先，該編碼器將原始信號(hào)x映射到特征信號(hào)z[16]：

z(e)=h(e)(W(e)x+b(e))

(2)

其中，“(e)”是指神經(jīng)網(wǎng)絡(luò)編碼層；h(e)是傳遞函數(shù)；W(e)是加權(quán)矩陣；b(e)是偏置向量。

(3)

其中，“(d)”是指第d網(wǎng)絡(luò)層；h(d)是解碼器的傳遞函數(shù)；W(d)是權(quán)重矩陣；b(d)是偏置向量。

(4)

代價(jià)函數(shù)E由3部分組成，第1部分是均方誤差，第2部分是L2正則化，第3部分是稀疏正則化，L2正則化系數(shù)為λ，稀疏正則化系數(shù)為β。

如果將L2正則化：

(5)

其中，L,n,k分別是訓(xùn)練數(shù)據(jù)中的隱層數(shù)、觀測(cè)數(shù)和變量數(shù)。

通常添加一個(gè)正則化來激勵(lì)稀疏項(xiàng)，如果將第i個(gè)神經(jīng)元激活估量定義為[17]：

(6)

接下來，利用Kullback Leibler發(fā)散呈現(xiàn)稀疏正則化[17-18]：

(7)

1.4 運(yùn)動(dòng)檢索

(8)

(9)

此外，RFX和RFY之間的最佳規(guī)整路徑是在所有可能的規(guī)整路徑中具有最小總成本的規(guī)整路徑p*。然后定義RFX和RFY之間的MDDP距離是p*的總成本：

dMDDP(RFX,RFY)=Cp*(RFX,RFY)

(10)

為了確定最優(yōu)路徑p*，使用動(dòng)態(tài)規(guī)劃，根據(jù)文獻(xiàn)[6]，有以下定理：

定理1：累積成本矩陣D滿足：

(11)

根據(jù)定理1，最終優(yōu)化MDDP的距離是：

dMDDP(RFX,RFY)=Cp*(RFX,RFY)=D(n,m)

(12)

文中選擇曼哈頓距離作為本地成本測(cè)量，與使用歐幾里德距離作為本地成本測(cè)量的傳統(tǒng)DTW算法相比，提出的檢索方式[6]具有更好的性能，接下來的實(shí)驗(yàn)將會(huì)對(duì)此進(jìn)行驗(yàn)證。基于兩個(gè)關(guān)鍵步驟，代表幀提取和相似性距離匹配，可以根據(jù)相似距離順序獲得檢索結(jié)果。

2 實(shí) 驗(yàn)

實(shí)驗(yàn)選擇使用HDM5運(yùn)動(dòng)數(shù)據(jù)庫[9]，從數(shù)據(jù)庫中獲得3 000個(gè)不同的動(dòng)作片段，將3 000個(gè)運(yùn)動(dòng)片段分類到100個(gè)運(yùn)動(dòng)集合中。得到30個(gè)隨機(jī)選擇的運(yùn)動(dòng)集合，其中每個(gè)集合包括10個(gè)運(yùn)動(dòng)。實(shí)驗(yàn)的測(cè)試環(huán)境是在具有奔騰6 GHz CPU和2 GB RAM的電腦上進(jìn)行評(píng)估。

由于每個(gè)原始動(dòng)作通常包含不止一個(gè)活動(dòng)，為了獲得準(zhǔn)確的測(cè)試結(jié)果，這些片段被分割成由單個(gè)活動(dòng)組成的基本運(yùn)動(dòng)序列。為了與提出的方法進(jìn)行比較，也實(shí)施了DTW方法和US方法。測(cè)試目的是根據(jù)給定的查詢運(yùn)動(dòng)序列從運(yùn)動(dòng)數(shù)據(jù)庫中搜索最佳匹配的運(yùn)動(dòng)序列。

自動(dòng)編碼器深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)模型[19]由四個(gè)模塊構(gòu)成，即輸入端信號(hào)是1 600維的向量組，對(duì)輸入的數(shù)據(jù)進(jìn)行編碼的編碼器模塊，對(duì)編碼后的數(shù)據(jù)進(jìn)行重構(gòu)的解碼器模塊以及輸出模塊。每一單個(gè)運(yùn)動(dòng)姿勢(shì)的圖像是40*40像素的尺寸大小，構(gòu)成1 600維的向量，這一運(yùn)動(dòng)序列存儲(chǔ)在向量組中，經(jīng)過深度學(xué)習(xí)網(wǎng)絡(luò)預(yù)處理把原運(yùn)動(dòng)序列降至100維。

為計(jì)算30種運(yùn)動(dòng)集合的平均精度值，同時(shí)采用了Deep-DTW、Quat-DTW和Deep-US方法。運(yùn)動(dòng)序列不同檢索精度的對(duì)比如圖3所示，圖3代表了數(shù)據(jù)庫中的一個(gè)運(yùn)動(dòng)動(dòng)作：clap5Resp。

圖3 運(yùn)動(dòng)序列檢索精度的對(duì)比

圖4是運(yùn)動(dòng)序列檢索精度仿真結(jié)果，對(duì)應(yīng)于圖3一樣的運(yùn)動(dòng)，并將所有查詢的運(yùn)動(dòng)序列的精度值進(jìn)行平均，得到運(yùn)動(dòng)類別的平均值，檢索精度使用PR(precision-recall)曲線圖進(jìn)行評(píng)估：

(13)

(14)

其中，#retrieved是檢索到的運(yùn)動(dòng)序列的數(shù)量；#relevant是相關(guān)運(yùn)動(dòng)序列的數(shù)量。

圖4 PR曲線檢索精度仿真結(jié)果

從圖4可以看到，使用Deep-DTW方法對(duì)序列進(jìn)行檢索[20-25]，精度都高于其他兩種方法。說明使用Deep-DTW方法對(duì)序列進(jìn)行檢索較其他檢索方法性能好。

3 結(jié)束語

提出一種基于深度學(xué)習(xí)和動(dòng)態(tài)時(shí)間規(guī)劃相結(jié)合的運(yùn)動(dòng)檢索算法。針對(duì)運(yùn)動(dòng)數(shù)據(jù)庫中的運(yùn)動(dòng)序列，首先利用模糊聚類獲取運(yùn)動(dòng)代表性幀及其對(duì)應(yīng)的權(quán)重值，進(jìn)而建立關(guān)鍵幀圖像集合?；谏疃葘W(xué)習(xí)，通過對(duì)圖像集合學(xué)習(xí)來訓(xùn)練自動(dòng)編碼器，運(yùn)用訓(xùn)練的自動(dòng)編碼器提取各個(gè)關(guān)鍵幀運(yùn)動(dòng)姿態(tài)特征，建立運(yùn)動(dòng)特征數(shù)據(jù)庫。為了計(jì)算相似度距離，在運(yùn)動(dòng)檢索方法中，針對(duì)待查詢運(yùn)動(dòng)序列，使用訓(xùn)練獲取的自動(dòng)編碼器對(duì)每一關(guān)鍵幀圖片提取特征，進(jìn)而使用基于曼哈頓距離的動(dòng)態(tài)規(guī)劃方法計(jì)算待查詢運(yùn)動(dòng)與數(shù)據(jù)庫中運(yùn)動(dòng)的相似度，并根據(jù)相似度量值對(duì)檢索結(jié)果進(jìn)行排序。實(shí)驗(yàn)結(jié)果證明，該方法具有很好的精確性和有效性。

參考文獻(xiàn)：

[1] XIAO Jun，TANG Zhangpeng， FENG Yinfu,et al.Sketchbased human motion retrieval via selected 2D geometric posture descriptor[J].Signal Processing，2015，113:1-8.

[2] WANG Pengjie，LAU R W H，PAN Zhigeng,et al.An Eigen-based motion retrieval method for real-time animation[J].Computers & Graphics，2014，38:255-267.

[3] LI Meng，LEUNG H，LIU Zhiguang,et al.3D human motion retrieval using graph kernels based on adaptive graph construction[J].Computers & Graphics，2016，54:104-112.

[4] MüLLER M，RODER T,CLAUSEN M.Efficient content-based retrieval of motion capture data[J].ACM Transactions on Graphics，2005，24(3):677-685.

[5] MüLLER M,BAAK A,SEIDEL H P.Efficient and robust annotation of motion capture data[C]//ACM SIGGRAPH/Eurographics symposium on computer animation.New Orleans：ACM,2009:17-26.

[6] KRUGER B，TAUTGES J，WEBER A，et al.Fast local and global similarity searches in large motion capture databases[C]//Proceedings of the 2010 ACM SIGGRAPH/Eurographics symposium on computer animation.Madrid，Spain:ACM，2010:1-10.

[7] VOGELE A，KRUGER B，KLEIN R.Efficient unsupervised temporal segmentation of human motion[C]//Proceedings of the ACM SIGGRAPH/Eurographics symposium on computer animation.Copenhagen,Denmark:ACM,2015:167-176.

[8] MULLER M,RODER T,CLAUSEN M,et al.Documentation mocap database HDM05[R].[s.l.]:[s.n.],2007.

[9] Graphics Lab.Motion capture database[EB/OL].2012.http://mocap.cs.cmu.edu/.

[10] KEIGH E，RATANAMAHATANA C A.Exact indexing of dynamic time warping[J].Knowledge & Information Systems，2005，7(3):358-386.

[11] KAPADIA M，CHIANG I K，THOMAS T，et al.Efficient motion retrieval in large motion databases[C]//ACM SIGGRAPH symposium on interactive 3d graphics and games.Orlando,Florida:ACM，2013:19-28.

[12] ZHOU Feng.Generalized time warping for multimodal alignment of human motion[C]//IEEE conference on computer vision and pattern recognition.[s.l.]:IEEE，2012:1282-1289.

[13] BAAK A，MüLLER M,SEIDEL H P.An efficient algorithm for keyframe-based motion retrieval in the presence of temporal deformations[C]//ACM international conference on multimedia information retrieval.Vancouver,British Columbia,Canada:ACM，2008:451-458.

[14] CHEN Cheng，ZHUANG Yueting，NIE Feiping,et al.Learning a 3D human pose distance metric from geometric pose descriptor[J].IEEE Transactions on Visualization & Computer Graphics，2011,17(11):1676-1689.

[15] ZHOU Feng，TORRE F D L，HODGINS J K.Hierarchical aligned cluster analysis for temporal clustering of human motion[J].IEEE Transactions on Pattern Analysis & Machine Intelligence，2012，35(3):582-596.

[16] ZHAN Xiwu，HOUSER P R，WALKER J P,et al.A method for retrieving high-resolution surface soil moisture from hydros L-band radiometer and radar observations[J].IEEE Transactions on Geoscience & Remote Sensing，2006，44(6):1534-1544.

[17] KOVAR L，GLEICHER M.Automated extraction and parameterization of motions in large data sets[J]. ACM Transactions on Graphics,2004,23(3):559-568.

[18] SALTON G,MCGILL M J.Introduction to modern information retrieval[M].New York:McGrawHill，1983.

[19] 尹 征，唐春暉，張軒雄.基于改進(jìn)型稀疏自動(dòng)編碼器的圖像識(shí)別[J].電子科技,2016,29(1):124-127.

[20] 肖秦琨,李俊芳,肖秦漢.基于四元數(shù)描述和EMD的人體運(yùn)動(dòng)捕獲數(shù)據(jù)檢索[J].計(jì)算機(jī)技術(shù)與發(fā)展,2014,24(3):90-93.

[21] 呂 剛,郝 平,盛建榮.一種改進(jìn)的深度神經(jīng)網(wǎng)絡(luò)在小圖像分類中的應(yīng)用研究[J].計(jì)算機(jī)應(yīng)用與軟件,2014,31(4):182-184.

[22] 楊 濤.運(yùn)動(dòng)捕獲數(shù)據(jù)關(guān)鍵幀提取及檢索研究[D].杭州:浙江大學(xué),2006.

[23] 李 婷.基于運(yùn)動(dòng)捕獲數(shù)據(jù)的人體運(yùn)動(dòng)編輯技術(shù)研究[D].武漢:華中科技大學(xué),2008.

[24] 鄭啟財(cái).基于深度學(xué)習(xí)的圖像檢索技術(shù)的研究[D].福州:福建師范大學(xué),2015.

[25] 連荷清.人體運(yùn)動(dòng)捕獲數(shù)據(jù)的檢索方法研究[D].南京:南京理工大學(xué),2013.