基于耦合多隱馬爾可夫模型和深度圖像數(shù)據(jù)的人體動(dòng)作識(shí)別

張全貴，蔡　豐，李志強(qiáng)

(遼寧工程技術(shù)大學(xué) 電子與信息工程學(xué)院，遼寧 葫蘆島 125105)(*通信作者電子郵箱545130868@qq.com)

0　引言

人體動(dòng)作識(shí)別是為了讓計(jì)算機(jī)通過(guò)一些方法判別出捕捉到的人體動(dòng)作類別，在行為科學(xué)[1]、社交媒體等方面得到了廣泛的應(yīng)用及發(fā)展，如智能視頻監(jiān)控、家庭服務(wù)機(jī)器人[2]等。在微軟公司發(fā)布Kinect之后，使得獲取的圖像數(shù)據(jù)受較少外部因素干擾而更為準(zhǔn)確，因此近年來(lái)基于深度圖像數(shù)據(jù)的人體動(dòng)作識(shí)別成為一個(gè)研究熱點(diǎn)。例如，申小霞等[3]利用Kinect獲取圖像信息及金字塔特征來(lái)描述行為信息，并且通過(guò)使用支持向量機(jī)(Support Vector Machine,SVM)算法進(jìn)行行為分類；Shotton等[4]提出一種新的方法從一個(gè)單一的深度圖像預(yù)測(cè)人類姿勢(shì)，該方法基于當(dāng)前目標(biāo)識(shí)別策略，通過(guò)設(shè)計(jì)中間表示部分把復(fù)雜姿態(tài)問(wèn)題化為簡(jiǎn)單問(wèn)題；張毅等[5]將行為識(shí)別應(yīng)用到醫(yī)療康復(fù)訓(xùn)練方面，同樣采用Kinect采集數(shù)據(jù)，同時(shí)使用了樸素貝葉斯模型，并通過(guò)調(diào)整模型閾值提高識(shí)別率。

以上這些方法都具有一定的優(yōu)勢(shì)，并且能達(dá)到較好的識(shí)別效果。但現(xiàn)有的基于人體關(guān)節(jié)點(diǎn)進(jìn)行人體動(dòng)作識(shí)別的研究一般假設(shè)關(guān)節(jié)點(diǎn)之間是相互獨(dú)立的，即沒(méi)有考慮關(guān)節(jié)之間的相互關(guān)系。根據(jù)人體運(yùn)動(dòng)解剖學(xué)，人體在完成某個(gè)動(dòng)作的時(shí)候各個(gè)關(guān)節(jié)點(diǎn)之間是相互制約和協(xié)同工作的，即關(guān)節(jié)點(diǎn)之間具有一定的耦合關(guān)系[6]。例如，從桌子上拿起水杯這個(gè)動(dòng)作，胳膊的肘部活動(dòng)一定會(huì)影響到手腕的活動(dòng)。如果忽略各部位之間的交互，這樣分析可能會(huì)導(dǎo)致大量信息的損失，因此本文將考慮人體各部分之間的相互影響關(guān)系，即耦合關(guān)系。建立人體動(dòng)作的多隱馬爾可夫模型(multi-Hidden Markov Model, Multi-HMM)，并運(yùn)用耦合相似度分析與K最鄰近(K-Nearest Neighbors, KNN)算法[7]進(jìn)行基于耦合的人體動(dòng)作識(shí)別，以便充分利用人體各個(gè)關(guān)節(jié)點(diǎn)之間的協(xié)同交互關(guān)系。

1　特征值提取

本文將Kinect提取的人體20個(gè)節(jié)點(diǎn)分成5個(gè)區(qū)域，從上到下、從左到右依次為左上肢、軀干、右上肢、左下肢和右下肢，分別用R1、R2、R3、R4和R5來(lái)表示。在每個(gè)區(qū)域中選取合適的向量及夾角，通過(guò)對(duì)向量夾角的劃分進(jìn)行特征值的提取，完成人體動(dòng)作特征的描述。

人體各關(guān)節(jié)點(diǎn)名稱如圖1(a)所示；為方便描述將每個(gè)節(jié)點(diǎn)名稱用英文字母代替全稱，如圖1(b)所示。例如，在R1區(qū)域內(nèi)，節(jié)點(diǎn)c與節(jié)點(diǎn)d形成向量Vcd，節(jié)點(diǎn)c與節(jié)點(diǎn)b形成向量Vcb，向量Vcd與向量Vcb所形成夾角用Acd-cb表示。在其他四個(gè)區(qū)域以同樣的方式選取向量及夾角。具體所選的向量如表1所示。

表1　選取向量Tab. 1　Selected vectors

圖1　關(guān)節(jié)點(diǎn)名稱和編號(hào)示意圖Fig. 1　Schematic diagram for name and label of joint nodes

在空間坐標(biāo)系中左上肢與右上肢相對(duì)應(yīng)，左下肢與右下肢對(duì)應(yīng)，結(jié)合實(shí)際情況活動(dòng)的范圍大致相同，所以會(huì)有相同的角度劃分。例如在區(qū)域R1中，左上臂與左前臂活動(dòng)角度的范圍比較大，所以設(shè)置的角度范圍是最小0°到最大180°，以間隔為20°將此區(qū)間劃分成9個(gè)區(qū)間，依次編號(hào)為0～8。左前臂與左手動(dòng)作范圍較小，所以設(shè)置為0°到90°，間隔區(qū)間為10°，同樣將此范圍劃分成9個(gè)區(qū)間，編號(hào)為0～8。右上肢將有與左上肢相同的角度劃分。本文將五個(gè)區(qū)域中的向量夾角均劃分成9個(gè)區(qū)間，編號(hào)為0～8 。經(jīng)過(guò)實(shí)驗(yàn)分析得到每個(gè)角度的最佳變化范圍及劃分區(qū)間如表2所示。

表2　角度劃分Tab. 2　Angle division

當(dāng)求兩個(gè)空間向量之間的夾角時(shí)，需要使用余弦函數(shù)，例如有向量a=(x1,y1,z1)和向量b=(x2,y2,z2)，則向量a、b之間夾角可以由式(1)計(jì)算得到:

(1)

其中|a|≠0，|b|≠0。如果|a|≠0且|b|≠0，而a·b=x1x2+y1y2+z1z2，|a|2=x12+y12+z12，則〈a,b〉=0，即a和b為正交向量。例如，通過(guò)式(1)求得某個(gè)區(qū)域的一個(gè)夾角大小為23°時(shí)，根據(jù)角度及編號(hào)的劃分可以得到：當(dāng)此向量角處于0°～180°范圍時(shí)，它對(duì)應(yīng)的編號(hào)為1 ；當(dāng)此向量角處于0°～90°范圍時(shí)到此角度對(duì)應(yīng)標(biāo)號(hào)為2 。

本文將取T幀視頻序列，每個(gè)分區(qū)將形成一個(gè)觀察序列(or1,or2,…,orT)，其中r表示分區(qū)，取值為{1,2,…,5} 。

2　動(dòng)作識(shí)別

2.1　基于隱馬爾可夫模型的局部分類

最初的隱馬爾可夫模型(Hidden Markov Model, HMM)[8]是在統(tǒng)計(jì)學(xué)中提出的。一個(gè)HMM包含兩組狀態(tài)集合和三組概率集合,可以用五個(gè)元素來(lái)描述，記為λ=(S,O,π,A,B)。其中：S表示隱含狀態(tài)，所有隱含狀態(tài)之間滿足馬爾可夫性；O表示可觀測(cè)狀態(tài)；π表示初始狀態(tài)概率矩陣；A表示隱含狀態(tài)轉(zhuǎn)移概率矩陣；B表示觀測(cè)狀態(tài)移概率矩陣。也可以將HMM用一個(gè)三元組(π,A,B)來(lái)表示。

在第1章中已經(jīng)獲取了每個(gè)分區(qū)的觀測(cè)序列，接下來(lái)將使用Baum-Welch算法訓(xùn)練得到各個(gè)分區(qū)的多個(gè)HMM，并使用前向算法計(jì)算觀察序列的概率。具體流程如下：

算法1分區(qū)訓(xùn)練HMM并計(jì)算觀察序列概率。

輸入分區(qū)觀察序列O={ort}，其中r={1,2,…,5}，1≤t≤T。

過(guò)程：

1)初始化參數(shù)模型λ0。

2)根據(jù)式(2)計(jì)算t+1時(shí)刻狀態(tài)為j的概率。

εt(i,j)=P(qt=i,qt+1=j/O,λ)=

(2)

其中:1≤i≤N，1≤j≤N，1≤k≤M，N表示隱含狀態(tài)的個(gè)數(shù)，M表示觀測(cè)狀態(tài)的個(gè)數(shù);βt+1(j)表示后向概率。

3)根據(jù)式(3)計(jì)算t時(shí)刻狀態(tài)i的概率。

(3)

其中:1≤i≤N，1≤t≤T。

4)根據(jù)式(4)、(5)、(6)計(jì)算分別得到模型的三個(gè)參數(shù)值，即能獲得模型λi+1。

πt(i)=γt(i)

(4)

(5)

其中:1≤i≤N，1≤j≤N，1≤t≤T-1。

(6)

其中:1≤j≤N，1≤k≤M。

5)重復(fù)步驟2)、3)、4)，循環(huán)迭代直到πt、aij、bjk三個(gè)參數(shù)收斂，為這次訓(xùn)練的最終模型。

6)模型訓(xùn)練結(jié)束后，取新的觀察序列。使用前向算法：當(dāng)t=1時(shí)，根據(jù)式(7)計(jì)算局部概率;當(dāng)t>1時(shí)，采用遞歸的方法，根據(jù)式(8)計(jì)算當(dāng)前HMM下一個(gè)觀察序列的概率。

a1(j)=π(j)bjk1

(7)

(8)

7)根據(jù)式(9)計(jì)算給定觀察序列的概率等于T時(shí)刻所有局部概率之和。

(9)

輸出結(jié)果為當(dāng)前的觀察序列在HMM下的概率值。

2.2　基于HMM的局部分類

觀察序列輸入到模型后會(huì)計(jì)算得到概率矩陣如下：P={pxy}，pxy表示第x分區(qū)中第y個(gè)HMM對(duì)觀察序列的概率，其中x、y取值均為{1,2，…,5}。

當(dāng)某個(gè)動(dòng)作發(fā)生時(shí)，通過(guò)矩陣P可以知道是身體哪個(gè)區(qū)域發(fā)出這個(gè)動(dòng)作，但是并不能知道此動(dòng)作是由身體的單一區(qū)域還是多個(gè)區(qū)域共同完成?；谝陨瞎ぷ鳎ㄟ^(guò)進(jìn)一步分析各個(gè)概率值之間耦合關(guān)系，并使用基于耦合的KNN算法得到最終的動(dòng)作分類。因此需要分析處理：將得到的矩陣P變換成25維的向量，即(p11,p12,…,p15,p21,p22,…,p25,…,p51,p52,…,p55)，并且這個(gè)向量在訓(xùn)練數(shù)據(jù)中有相應(yīng)的分類標(biāo)簽。每一個(gè)視頻序列都形成一個(gè)向量，那么取m個(gè)視頻序列{s1,s2,…,

sm}便可以得到m個(gè)25維向量。本文共取100個(gè)視頻序列。每一維看作一個(gè)屬性，計(jì)算各屬性的內(nèi)耦合及間耦合關(guān)系，通過(guò)屬性的內(nèi)耦合及間耦合來(lái)分析各個(gè)動(dòng)作序列之間的隱含關(guān)系。本文借鑒文獻(xiàn)[6]的方法計(jì)算內(nèi)耦合、間耦合。

2.2.1內(nèi)耦合分析

本節(jié)將屬性值af擴(kuò)展出L-1個(gè)屬性值，本文的L取值為2，分別為〈af〉2，〈af〉3，…, 〈af〉L，那么屬性值af的內(nèi)耦合關(guān)系可以表示成L×L的矩陣R-Ia(af)，其中〈af〉v表示屬性af的v次冪。

(10)

其中：φpq(f)=Cor(〈af〉p,〈af〉q)是屬性〈af〉p和屬性〈af〉q的皮爾遜相關(guān)系數(shù)。屬性af和ag之間的皮爾遜相關(guān)系數(shù)為：

Cor(af,ag)=

其中μf、μg分別表示屬性值af、ag的均值。

2.2.2間耦合分析

假設(shè)有n個(gè)屬性值(這里n=25)，將每一個(gè)屬性值af都擴(kuò)展出L-1個(gè)屬性值：〈af〉2，〈af〉3，…, 〈af〉L，〈af〉v表示屬性af的v次冪。那么數(shù)值型屬性af與屬性ag及屬性〈af〉v(f≠g)的間耦合關(guān)系可以表示為大小為L(zhǎng)×(L×(n-1))的矩陣R-Ie(af|{ag}g≠f)。計(jì)算公式如下：

2.2.3對(duì)象的耦合表示及KNN分類

對(duì)象u在其他的屬性值上的向量為：

由公式可以得到對(duì)象u在屬性af上的1×L向量：

到此，已完成了多個(gè)HMM形成的概率矩陣的耦合相似性分析?；诖耍褂肒NN算法完成最后的人體動(dòng)作分類。在使用KNN算法時(shí)，使用以上介紹的對(duì)象耦合相似度計(jì)算方法代替?zhèn)鹘y(tǒng)的歐氏距離方法。

3　實(shí)驗(yàn)分析

3.1　實(shí)驗(yàn)數(shù)據(jù)集及實(shí)驗(yàn)過(guò)程

實(shí)驗(yàn)在公開(kāi)數(shù)據(jù)集MSR-Daily-Activity 3D(MSR Daily Activity 3D Dataset)[9]上進(jìn)行。MSR-Daily-Activity 3D數(shù)據(jù)集中包含16種人體動(dòng)作，每種動(dòng)作分別由10個(gè)人來(lái)做，每類動(dòng)作做2次，一共有320個(gè)樣本。該數(shù)據(jù)集是在客廳中錄制的，基本上涵蓋了人類的日?；顒?dòng)。行為者是站在沙發(fā)附近完成的各種動(dòng)作，使得骨骼追蹤非常復(fù)雜，因此使得這個(gè)數(shù)據(jù)集更具有挑戰(zhàn)性。該數(shù)據(jù)集同時(shí)提供了三種數(shù)據(jù)信息：深度圖像、骨骼關(guān)節(jié)位置和RGB視頻，本文選擇骨骼關(guān)節(jié)位置中的drinking、cheer up、walk、sit down和stand up共5種動(dòng)作的數(shù)據(jù)進(jìn)行實(shí)驗(yàn)。

實(shí)驗(yàn)時(shí)取出上述5種動(dòng)作序列的數(shù)據(jù)集后分成訓(xùn)練數(shù)據(jù)集與測(cè)試數(shù)據(jù)集兩組，其中第一個(gè)到第八個(gè)人的動(dòng)作數(shù)據(jù)集用作訓(xùn)練，第九、第十這兩個(gè)人的動(dòng)作數(shù)據(jù)集用作測(cè)試。為避免過(guò)擬合現(xiàn)象，本文從這些數(shù)據(jù)集中按照等間距標(biāo)準(zhǔn)從原視頻序列選取關(guān)鍵幀組成新的序列。根據(jù)第2章中特征提取方法把每種視頻序列用矩陣表示，進(jìn)行HMM訓(xùn)練得到參數(shù)λi，再利用前向算法計(jì)算觀察序列的概率即完成分區(qū)動(dòng)作識(shí)別，最后根據(jù)基于耦合關(guān)系的KNN算法完成整體的動(dòng)作識(shí)別。

3.2　實(shí)驗(yàn)結(jié)果與分析

本文動(dòng)作識(shí)別算法的動(dòng)作識(shí)別率結(jié)果如表1所示，均在90%以上，其中walk的識(shí)別率最高為96.86%，這說(shuō)明本文算法的識(shí)別率水平較高。

表3　動(dòng)作識(shí)別率Tab. 3　Recognition rates of actions

為了進(jìn)一步驗(yàn)證本文算法的有效性，將其與同樣使用此數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)的文獻(xiàn)[10-12]的方法對(duì)所有動(dòng)作的綜合識(shí)別率進(jìn)行比較。其中，文獻(xiàn)[10]的實(shí)驗(yàn)中將動(dòng)作分為了兩類，一類是低運(yùn)動(dòng)動(dòng)作，另一類是高運(yùn)動(dòng)動(dòng)作，兩種類型的識(shí)別率分別為60%和85%。由于本文所選取的動(dòng)作屬于高運(yùn)動(dòng)動(dòng)作，所以只考慮與文獻(xiàn)[10]中高運(yùn)動(dòng)動(dòng)作的識(shí)別率比較。文獻(xiàn)[11]的數(shù)據(jù)獲取較為復(fù)雜，且整體計(jì)算量較大，其設(shè)置了多組實(shí)驗(yàn)，因此這里取平均值與本文方法進(jìn)行比較。文獻(xiàn)[12]使用的是骨骼形狀軌跡的方法，而MSR-Daily-Activity 3D數(shù)據(jù)集本身所處的環(huán)境較復(fù)雜，所以在使用骨骼追蹤時(shí)比較困難，以至于識(shí)別率較低。本文取與文獻(xiàn)[12]相同的實(shí)驗(yàn)設(shè)置，即取前5個(gè)人作為訓(xùn)練，后5個(gè)人作為測(cè)試。

經(jīng)過(guò)實(shí)驗(yàn)，本文方法的綜合識(shí)別率為87.16%，3D Trajectories方法[10]識(shí)別率為85%，Actionlet Ensemble Model方法[11]識(shí)別率為85.75%，Skeletal Shape Trajectories方法[12]識(shí)別率為70.00%。可以看出，本文所提出的識(shí)別方法與其他三種方法相比具有較高的識(shí)別率，并且達(dá)到了較好的預(yù)期識(shí)別效果，由于能夠在復(fù)雜的環(huán)境下表現(xiàn)良好，所以體現(xiàn)出了較強(qiáng)的魯棒性。

4　結(jié)語(yǔ)

本文使用關(guān)節(jié)點(diǎn)角度值描述特征，通過(guò)Baum-Welch算法建立多HMM得到相應(yīng)參數(shù)，根據(jù)前向算法對(duì)人體分區(qū)進(jìn)行動(dòng)作識(shí)別，然后利用基于耦合關(guān)系的KNN算法完成整體的動(dòng)作識(shí)別，充分利用了人體的各個(gè)部分之間的隱含交互關(guān)系。實(shí)驗(yàn)結(jié)果表明本文提出的方法具有一定的優(yōu)越性。

本文方法只識(shí)別了五種動(dòng)作，沒(méi)有對(duì)更復(fù)雜背景下的復(fù)雜動(dòng)作進(jìn)行識(shí)別驗(yàn)證，這將是我們要繼續(xù)研究的內(nèi)容。

參考文獻(xiàn):

[1]ZACHARIAS G L, MacMILLAN J, VAN HEMEL S B, et al. Behavioral modeling and simulation: from individuals to societies [J]. Journal of Artificial Societies & Social Simulation, 2008, 12(3): 291-304.

[2]田國(guó)會(huì),尹建芹,韓旭,等.一種基于關(guān)節(jié)點(diǎn)信息的人體行為識(shí)別新方法[J].機(jī)器人,2014,36(3):285-292. (TIAN G H, YIN J Q, HAN X, et al. A new method of human behavior recognition based on joint information [J]. Robot, 2014, 36(3): 285-292.)

[3]申小霞,張樺,高贊.基于Kinect和金字塔特征的行為識(shí)別算法[J].光電子·激光,2014(2):357-363. (SHEN X X, ZHANG H, GAO Z. Behavior recognition algorithm based on Kinect and pyramid feature[J]. Journal of Optoelectronics · Laser, 2014(2): 357-363.)

[4]SHOTTON J, FITZGIBBON A, COOK M, et al. Real-time human pose recognition in parts from single depth images [C]// CVPR 2011: Proceedings of the 2011 IEEE Conference on Computer Vision and Pattern Recognition, SCI 411. Washington, DC: IEEE Computer Society, 2011: 1297-1304.

[5]張毅,黃聰,羅元.基于改進(jìn)樸素貝葉斯分類器的康復(fù)訓(xùn)練行為識(shí)別方法[J].計(jì)算機(jī)應(yīng)用,2013,33(11):3187-3189. (ZHANG Y, HUANG C, LUO Y. Rehabilitation training behavior recognition method based on improved naive Bayesian classifier [J]. Journal of Computer Applications, 2013, 33(11): 3187-3189.)

[6]WANG C, SHE Z, CAO L. Coupled attribute analysis on numerical data [C]// IJCAI ’13: Proceedings of the 2013 International Joint Conference on Artificial Intelligence. Menlo Park, CA: AAAI Press, 2013: 1736-1742.

[7]FIGUEIREDO F, ROCHA L, COUTO T, et al. Word co-occurrence features for text classification [J]. Information Systems, 2011, 36(5): 843-858.

[8]MOGHADDAM Z, PICCARDI M. Training initialization of hidden markov models in human action recognition [J]. IEEE Transactions on Automation Science & Engineering, 2014, 11(2): 394-408.

[9]WANG J, LIU Z, WU Y, et al. Mining actionlet ensemble for action recognition with depth cameras [C]// CVPR 2012: Proceedings of the 2012 IEEE Conference on Computer Vision and Pattern Recognition. Washington, DC: IEEE Computer Society, 2012: 1290-1297.

[10]KOPERSKI M, BILINSKI P, BREMOND F. 3D trajectories for action recognition [C]// ICIP 2014: Proceedings of the 2014 IEEE International Conference on Image Processing. Piscataway, NJ: IEEE, 2014: 4176-4180.

[11]LI W, ZHANG Z, LIU Z. Action recognition based on a bag of 3D points [C]// CVPRW 2010: Proceedings of the 2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops. Washington, DC: IEEE Computer Society, 2010: 9-14.

[12]AMOR B B, SU J, SRIVASTAVA A. Action recognition using rate-invariant analysis, of skeletal shape trajectories [J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2016, 38(1): 1-13.