基于混合關(guān)節(jié)特征的人體行為識(shí)別*

胡珂杰， 蔣 敏， 孔 軍

(江南大學(xué) 輕工業(yè)先進(jìn)過程控制重點(diǎn)實(shí)驗(yàn)室，江蘇 無錫 214122)

0 引 言

近幾年中，基于深度信息的行為識(shí)別因其受環(huán)境影響小等特點(diǎn)得到了廣泛關(guān)注和重視。微軟公司生產(chǎn)的Kinect是可以同時(shí)獲取紅綠藍(lán)三原色(red green blue,RGB)彩色圖像和深度圖像的三目攝像頭，能通過深度信息快速地獲取人體關(guān)節(jié)位置和三維骨架，這些數(shù)據(jù)包含了豐富的信息，給人體行為識(shí)別帶來了新的思路和方法。

Ofli F等人[1]根據(jù)人體關(guān)節(jié)點(diǎn)空間坐標(biāo)點(diǎn)提取了關(guān)節(jié)角，并計(jì)算每個(gè)關(guān)節(jié)角在整個(gè)動(dòng)作過程中的方差，然后根據(jù)方差的大小排序，獲取了若干個(gè)最具信息量的關(guān)節(jié)點(diǎn)，最后采用排序靠前的關(guān)節(jié)點(diǎn)數(shù)據(jù)進(jìn)行分類。Lin S Y等人[2]計(jì)算了人體各部分的平均速度，根據(jù)各部分速度變化規(guī)律采用馬爾可夫模型實(shí)現(xiàn)行為識(shí)別。Papadopoulos G T等人[3]采用了關(guān)節(jié)點(diǎn)形成的球面角以及角速度并結(jié)合動(dòng)能表征不同的行為動(dòng)作，再利用馬爾可夫模型進(jìn)行分類識(shí)別。Khoshhal K等人[4]根據(jù)拉班運(yùn)動(dòng)分析(Laban movement analysis，LMA)法，將人體分為6個(gè)部分并計(jì)算了各個(gè)部分的形狀、空間位置變化等作為特征進(jìn)行人體識(shí)別。

綜上所述,人的不同動(dòng)作不僅表現(xiàn)在位置信息上的區(qū)別，而且表現(xiàn)在關(guān)節(jié)點(diǎn)序列的能量特征上。受動(dòng)能定理和萬有引力的啟發(fā)，發(fā)現(xiàn)動(dòng)能和勢(shì)能能夠有效地表現(xiàn)出人體能量的變化，這種能量變化相較于單個(gè)骨骼特征更加具有意義的描述。因此，本文將能量信息和骨骼關(guān)節(jié)信息結(jié)合作為一個(gè)新的特征，定義為混合關(guān)節(jié)特征。

1 混合關(guān)節(jié)特征提取

1.1 關(guān)節(jié)點(diǎn)動(dòng)能特征

人的行為狀態(tài)可以分為2種：靜止和運(yùn)動(dòng)。當(dāng)人從靜止?fàn)顟B(tài)變?yōu)檫\(yùn)動(dòng)狀態(tài)時(shí)，多個(gè)關(guān)節(jié)點(diǎn)位置信息均會(huì)發(fā)生變化，此時(shí)這些關(guān)節(jié)點(diǎn)都具有運(yùn)動(dòng)速度。定義關(guān)節(jié)點(diǎn)的動(dòng)能作為運(yùn)動(dòng)的特征。在不同的行為下，人體關(guān)節(jié)點(diǎn)動(dòng)能還表現(xiàn)出不同的變化規(guī)律，例如當(dāng)人在踢腿時(shí)踝關(guān)節(jié)點(diǎn)的動(dòng)能變化幅度很大且變化頻率較快，而在慢跑時(shí)踝關(guān)節(jié)的動(dòng)能變化幅度相對(duì)平緩且變化頻率較慢。因此，關(guān)節(jié)點(diǎn)動(dòng)能是人體行為識(shí)別的重要特征。

為了計(jì)算人體骨骼關(guān)節(jié)點(diǎn)動(dòng)能信息，首先要獲取人體關(guān)節(jié)點(diǎn)的空間三維坐標(biāo)(x,y,z)，然后根據(jù)相鄰兩幀的坐標(biāo)信息變化計(jì)算出每一幀人體骨骼關(guān)節(jié)點(diǎn)動(dòng)能

(zi,t-zi,t-Δt)2),

Δs=Δt×(1/30)

(1)

式中EKi,t為Ft幀中第i個(gè)關(guān)節(jié)點(diǎn)的動(dòng)能;k為動(dòng)能參數(shù),文中k取1;Δt為相鄰兩幀的時(shí)間間隔，根據(jù)所使用Kinect的性能指標(biāo)，文中取1/30 s；Pi,t為第i個(gè)關(guān)節(jié)點(diǎn)在Ft幀中的空間位置，即三維空間坐標(biāo)(xi,t,yi,t,zi,t)。

1.2 方向變化特征

根據(jù)三維關(guān)節(jié)點(diǎn)坐標(biāo)計(jì)算每個(gè)關(guān)節(jié)點(diǎn)的方向變化向量，計(jì)算公式為

φi,t=(xi,t-xi,t-1,yi,t-yi,t-1,zi,t-zi,t-1)

(2)

式中φi,t為Ft幀中第i個(gè)關(guān)節(jié)點(diǎn)相對(duì)于上一幀中第i個(gè)關(guān)節(jié)點(diǎn)的方向變化向量;xi,t,yi,t,zi,t分別為該關(guān)節(jié)點(diǎn)在Ft幀中的空間三維坐標(biāo)。

1.3 人體姿態(tài)勢(shì)能特征

由于關(guān)節(jié)點(diǎn)的坐標(biāo)是相對(duì)于攝像機(jī)的坐標(biāo)，而攝像機(jī)的位置不同會(huì)導(dǎo)致同一個(gè)人同一個(gè)動(dòng)作的關(guān)節(jié)點(diǎn)的坐標(biāo)值相差很大?？紤]到人的姿態(tài)主要是由人體各部分之間的相對(duì)位置來決定的，若在人體上取一個(gè)運(yùn)動(dòng)相對(duì)穩(wěn)定的點(diǎn)作為參照點(diǎn)，計(jì)算各關(guān)節(jié)點(diǎn)相對(duì)于這點(diǎn)的相對(duì)坐標(biāo)，可以消除人和攝像機(jī)的相對(duì)位置不同而造成的影響。本文引入相對(duì)勢(shì)能Ei,t來表示關(guān)節(jié)點(diǎn)之間的相對(duì)位置信息。選擇頭部關(guān)節(jié)點(diǎn)Ph,t作為零勢(shì)能參照點(diǎn)效果較好且便于計(jì)算，人體姿態(tài)勢(shì)能定義如下

Ei,t=L(|Pi,t-Ph,t|)

(3)

式中L為勢(shì)能參數(shù)，取值9.8;Pi,t為t幀中第i個(gè)關(guān)節(jié)點(diǎn)位置；Ph,t為t幀中頭部關(guān)節(jié)點(diǎn)即零勢(shì)能參照點(diǎn)位置。

1.4 關(guān)節(jié)角特征

四肢關(guān)節(jié)角作為一種識(shí)別特征是非常直觀有效的。本文根據(jù)人體運(yùn)動(dòng)規(guī)律定義了6個(gè)最具代表性人體關(guān)節(jié)角。

圖1 關(guān)節(jié)角示意

如圖1所示θ4和θ2表示左、右手大臂與小臂形成的夾角，θ5和θ6分別表示左、右腿大腿與小腿的夾角，θ1和θ3分別表示左、右手大臂與軀干形成的夾角。關(guān)節(jié)角計(jì)算方法如下

(4)

式中θn,t為Ft幀中第n個(gè)關(guān)節(jié)角;“·”符號(hào)為向量的內(nèi)積；“| |”表示向量的模；α和β分別為關(guān)節(jié)角對(duì)應(yīng)向量。

2 LSTM神經(jīng)網(wǎng)絡(luò)

選擇LSTM神經(jīng)網(wǎng)絡(luò)[5]作為分類器對(duì)每個(gè)動(dòng)作分類，利用特殊的調(diào)控機(jī)制存儲(chǔ)長(zhǎng)時(shí)間的信息，網(wǎng)絡(luò)包括一個(gè)輸入層、一個(gè)輸出層、一個(gè)具有記憶塊的隱含層。單獨(dú)的記憶單元塊，包含4個(gè)特殊的神經(jīng)元：輸入門、記憶細(xì)胞、遺忘門和輸出門。根據(jù)前述特征描述，網(wǎng)絡(luò)的輸入為由4個(gè)特征組成的行向量

xt=[EK1,t…EK20,t,φ1,t…φ20,t,E1,t…E20,t,θ1,t…θ6,t]

(5)

式中EKi,t,φi,t,Ei,t分別為動(dòng)能特征、方向特征、勢(shì)能特征，t=1,…,T；T為動(dòng)作的總幀數(shù)；i=1,…,20為每幀的特征值個(gè)數(shù);θn,t為關(guān)節(jié)角度特征;n=1,…,6為關(guān)節(jié)角的個(gè)數(shù)。

輸出門、輸入門和遺忘門均選用Sigmoid激活函數(shù)，記憶細(xì)胞選用Tanh激活函數(shù)。

如圖2，給出了整個(gè)LSTM神經(jīng)網(wǎng)絡(luò)。本文網(wǎng)絡(luò)中，共114個(gè)輸入神經(jīng)元，一個(gè)記憶塊，20個(gè)輸出神經(jīng)元(每個(gè)神經(jīng)元對(duì)應(yīng)每個(gè)動(dòng)作類別)。在每個(gè)時(shí)間步長(zhǎng)中，輸入神經(jīng)元的值是混合關(guān)節(jié)特征組成的行向量。隨后，基于上一個(gè)時(shí)間步長(zhǎng)的存儲(chǔ)單元值和當(dāng)前時(shí)間步長(zhǎng)的輸入值，計(jì)算記憶單元與各個(gè)門之間的激活值，然后將激活值傳送至輸出層，通過輸出層的激活函數(shù)Softmax得出輸出值。每個(gè)輸出的神經(jīng)元加權(quán)過后應(yīng)用于Softmax激活函數(shù)，可以確保輸出的總和等于1。最后,通過網(wǎng)絡(luò)預(yù)測(cè)將最高輸出的神經(jīng)元的值對(duì)應(yīng)相應(yīng)的類別。

圖2 LSTM神經(jīng)網(wǎng)絡(luò)

3 實(shí) 驗(yàn)

3.1 數(shù)據(jù)庫(kù)

本文在MSR Action 3D數(shù)據(jù)庫(kù)上進(jìn)行實(shí)驗(yàn)， 數(shù)據(jù)庫(kù)包含了20個(gè)動(dòng)作類別，由10個(gè)人演示。每個(gè)動(dòng)作演示2～3次，從RGB-D視頻中提取3D人體位置的20個(gè)關(guān)節(jié)，包含了567個(gè)序列，在實(shí)驗(yàn)中因?yàn)槠渲杏?0個(gè)序列的骨骼點(diǎn)缺失或錯(cuò)誤太嚴(yán)重，不使用。進(jìn)行了2組實(shí)驗(yàn)，在第一組實(shí)驗(yàn)，從所有序列中選擇1，3，5，7，9實(shí)驗(yàn)者作為訓(xùn)練，剩余的實(shí)驗(yàn)者作為測(cè)試;第二組實(shí)驗(yàn)，與文獻(xiàn)[6]相似，將數(shù)據(jù)庫(kù)分為AS1，AS2，AS3。AS1和AS2摻雜了一些相近的動(dòng)作,而AS3將各類動(dòng)作組合在一起。

3.2 結(jié)果與分析

將本文方法與其他最新基于骨骼特征的行為識(shí)別方法相比較。實(shí)驗(yàn)結(jié)果表明：僅使用關(guān)節(jié)軌跡[7]作為特征對(duì)MSR Action 3D數(shù)據(jù)庫(kù)分類準(zhǔn)確率為89 %，僅采用關(guān)節(jié)點(diǎn)位置[8]信息作為特征識(shí)別率為78.97 %，文獻(xiàn)[9]將關(guān)節(jié)角度與深度圖像相融合進(jìn)行分類，準(zhǔn)確率提高至85.35%。本文采用混合關(guān)節(jié)作為特征利用LSTM神經(jīng)網(wǎng)絡(luò)進(jìn)行分類,識(shí)別率達(dá)到了93.3 %。本文方法得出的特征表達(dá)更加具有描述性。

圖3給出了在實(shí)驗(yàn)1設(shè)定下重復(fù)實(shí)驗(yàn)得出的混淆矩陣。從混淆矩陣中可以發(fā)現(xiàn)20個(gè)類中有14個(gè)類的識(shí)別率達(dá)到了100 %，但揮手、錘擊、畫叉、畫圈和網(wǎng)球罰球這幾個(gè)動(dòng)作卻有著明顯的混淆。發(fā)現(xiàn)錯(cuò)誤分類主要發(fā)生在一些非常相似的行為。例如，動(dòng)作揮手主要是被誤分類為高拋，動(dòng)作錘擊被誤分類為畫勾。這些動(dòng)作有很多重疊的序列，區(qū)分這些行為是項(xiàng)目的關(guān)鍵技術(shù)。

圖3 MSR Action 3D數(shù)據(jù)分類混淆矩陣

由表1可以看出本文提出的方法在某些方面要于方法文獻(xiàn)[10～12]。盡管文獻(xiàn)[11，12]在AS3和AS2的數(shù)據(jù)集上取得了最好的結(jié)果，但本文方法相對(duì)于AS1擁有更高的識(shí)別率,在其他2個(gè)數(shù)據(jù)集上的表現(xiàn)亦較好，說明對(duì)于各種數(shù)據(jù)本文方法具有一定的魯棒性。

表1 MSR Action 3D(實(shí)驗(yàn)2設(shè)定)的動(dòng)作分類識(shí)別率 %

4 結(jié)束語

提出了一種新的人體骨骼特征。根據(jù)人體生物學(xué)和運(yùn)動(dòng)學(xué)提取人體的動(dòng)能特征、姿態(tài)勢(shì)能、方向變化特征以及關(guān)節(jié)角度特征構(gòu)成混合關(guān)節(jié)特征，然后利用LSTM神經(jīng)網(wǎng)絡(luò)作為分類器進(jìn)行分類和識(shí)別。結(jié)果表明：運(yùn)用混合關(guān)節(jié)特征和LSTM分類器的效果優(yōu)于現(xiàn)有的行為識(shí)別方法，具有良好的研究?jī)r(jià)值和應(yīng)用前景。未來工作方向是提取與環(huán)境有關(guān)的特征，實(shí)現(xiàn)對(duì)與人體發(fā)生交互物體的識(shí)別，并考慮人體與周圍環(huán)境的交互信息，進(jìn)一步提高行為識(shí)別的準(zhǔn)確性和適用性。

[1] Ofli F,Chaudhry R,Kurillo G,et al.Sequence of the most infor-mative joints(SMIJ):A new representation for human skeletal action recognition[J].Journal of Visual Communication and Image Representation,2014,25(1):24-38.

[2] Lin S Y,Shie C K,Chen S C,et al.Human action recognition using action trait code[C]∥2012 The 21st International Confe-rence on Pattern Recognition (ICPR),IEEE,Tsukuba,Japan,2012:3456-3459.

[3] Papadopoulos G T,Axenopoulos A,Daras P.Real-time skeleton-tracking-based human action recognition using kinect data[M].Multi-Media Modeling,Springer International Publishing,2014:473-483.

[4] Khoshhal K,Aliakbarpour H,Quintas J,et al.Probabilistic LMA-based classification of human behavior understanding using power spectrum technique[C]∥2010 The 13th Conference on Information Fusion,IEEE,UK,2010:1-7.

[5] Gers F A,Schmidhuber J,Cummins F.Learning to forget:Conti-nual prediction with LSTM[J].Neural Computation,2000,12(10):2451.

[6] Eweiwi A,Cheema F,Bauckhage C,et al.Efficient pose-based action recognition[C]∥Proceedings of Asian Conference on Computer Vision,Singapore,2015:428-443.

[7] Amor B B,Su J,Srivastava A.Action recognition using rate-invariant analysis of skeletal shape trajectories[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2016,38(1):1-13.

[8] Xia L,Chen C C,Aggarwal J K.View invariant human action recognition using histograms of 3D joints[C]∥Proceedings of IEEE Conference on Computer Vision and Pattern Recognition Workshops,Xi’an,China,2012:20-27.

[9] Ohnbar E,Trivedi M M.Joint angles similarities and HOG 2 for action recognition[C]∥Proceedings of IEEE Conference on Computer Vision and Pattern Recognition Workshops,Tianjin,China,2013:465-470.

[10] Li W,Zhang Z,Liu Z.Action recognition based on a bag of 3D points[C]∥Proceedings of IEEE Conference on Computer Vision and Pattern Recognition Workshops,San Francisco,USA,2010:9-14.

[11] Vemulapalli R,Arrate F,Chellappa R.Human action recognition by representing 3D skeletons as points in a lie group[C]∥Proceedings of IEEE Conference on Computer Vision and Pattern Recognition,OH,USA,2014:588-595.

[12] Du Y,Wang W,Wang L.Hierarchical recurrent neural network for skeleton-based action recognition[C]∥Proceedings of IEEE Conference on Computer Vision and Pattern Recognition,2015:1110-1118.