帶有關節(jié)權(quán)重的DTW動作識別算法研究

汪成峰， 陳 洪， 張瑞萱， 朱德海， 王 慶， 梅樹立

(1. 中國農(nóng)業(yè)大學信息與電氣工程學院，北京 100083；2. 北京九藝同興科技有限公司，北京 100083)

帶有關節(jié)權(quán)重的DTW動作識別算法研究

汪成峰1， 陳 洪1， 張瑞萱2， 朱德海1， 王 慶1， 梅樹立1

(1. 中國農(nóng)業(yè)大學信息與電氣工程學院，北京 100083；2. 北京九藝同興科技有限公司，北京 100083)

大多數(shù)動作僅包含部分關節(jié)的運動，現(xiàn)有方法未對運動劇烈的關節(jié)與幾乎不參與運動的關節(jié)進行區(qū)分，一定程度上降低了動作識別精度。針對這個問題，提出一種自適應關節(jié)權(quán)重計算方法。結(jié)合動態(tài)時間規(guī)整(DTW)方法，利用獲得的關節(jié)權(quán)重進行動作識別。首先對分類動作序列進行分段，每段動作序列中運動較劇烈的關節(jié)選擇分配更高權(quán)重，其余關節(jié)平均分配權(quán)重；然后提取特征向量，計算兩段動作序列的DTW距離；最后采用K近鄰方法進行動作識別。實驗結(jié)果表明，該算法的總體分類識別準確率較高，且對于較相似的動作也能獲得較好的識別結(jié)果。關 鍵 詞：動作識別；人體運動分析；動態(tài)時間規(guī)整；關節(jié)權(quán)重；姿態(tài)特征

人體動作識別是計算機視覺的重要研究領域之一，在視頻監(jiān)控、人機交互和虛擬現(xiàn)實等方向具有廣泛的應用。在以往的研究中，人們提出了許多人體動作識別的方法，Galna等[1]基于 Vicon動作分析系統(tǒng)和M icrosoft Kinect，提出了一種用于準確的檢測帕金森病癥的動作分析方法。王向東等[2]提出了一種軌跡引導下的舉重視頻關鍵姿態(tài)自動提取方法，分析關鍵姿態(tài)和杠鈴運動軌跡

的關系，為運動分析提供了技術(shù)基礎?？傮w來說，人體動作識別方法大多選用一個或多個特征參數(shù)表示人體動作，并在其特征參數(shù)下研究動作比較和分類算法。

人體骨架結(jié)構(gòu)能夠?qū)⑸眢w部位簡化表示為具有層次結(jié)構(gòu)的骨骼數(shù)據(jù)，使用該結(jié)構(gòu)的時間序列數(shù)據(jù)能夠很直觀地表現(xiàn)人體動作。近年來，隨著若干成本較低且相對精確的動捕系統(tǒng)的普及，例如 M icrosoft Kinect[3]使得實時骨骼數(shù)據(jù)提取已變得更加容易，基于人體骨架結(jié)構(gòu)的動作識別越來越吸引研究者的關注。Wang等[4]提出了一種結(jié)合時間和空間信息的人體結(jié)構(gòu)模型進行動作識別，獲得了較好的效果。張丹等[5]針對基于視覺的體態(tài)識別對環(huán)境要求較高、抗干擾性差等問題，提出了一種基于人體骨骼預定義的動作識別方法。李學相和安學慶[6]提出一種 Murkowski距離三維圖像動作識別算法，采用非線性優(yōu)化方法進行求解獲取人體三維行為特征模型，進而實現(xiàn)對人體行為的準確判斷。朱國剛和曹林[7]利用Kinect深度傳感器獲取動作數(shù)據(jù)，根據(jù)坐標系變換構(gòu)建人體骨骼拓撲結(jié)構(gòu)，通過多類支持向量機訓練以及動作識別。

雖然文獻[4-7]的方法能夠較好地進行動作識別，但這些方法未針對不同關節(jié)設置不同權(quán)重。對于一些簡單全身動作如跑步，將肢體軀干關節(jié)設置相同的權(quán)重即可獲得較好的結(jié)果；但是對于一些局部關節(jié)運動較劇烈的動作，如拳擊或跳躍等，不同關節(jié)的運動劇烈程度差異較大，如對所有關節(jié)賦予相同權(quán)重，將對動作識別的結(jié)果造成影響。針對這個問題，本文提出了自適應關節(jié)權(quán)重的計算方法，并使用動態(tài)時間規(guī)整方法(dynam ic time warping, DTW)計算兩個動作序列的距離，最后采用K近鄰方法進行動作分類。

1 基于自適應關節(jié)權(quán)重的特征提取

1.1 基于人體骨架結(jié)構(gòu)的動作序列表示

人體動作序列是人體姿態(tài)的時間序列數(shù)據(jù)，而人體姿態(tài)可以由骨架結(jié)構(gòu)近似表示，因此人體動作序列可以采用人體骨架結(jié)構(gòu)中每個關節(jié)的時間序列數(shù)據(jù)表示。關節(jié)動作的時間序列數(shù)據(jù)可以簡單地表示為三維位置的時間序列數(shù)據(jù)，即三維軌跡。這種動作數(shù)據(jù)表示方法不具有平移和縮放不變性，對于同一動作，不同體型的數(shù)據(jù)采集人員會得到不同的結(jié)果，而使用關節(jié)方向的時間序列數(shù)據(jù)描述關節(jié)運動則可以很好地解決這個問題。因此，本文采用關節(jié)方向而非位置對人體骨架姿態(tài)進行描述。動作序列可以表示為，其中ip為第i個關節(jié)方向的時間序列數(shù)據(jù)，T為關節(jié)數(shù)量。本文采用公開動作數(shù)據(jù)集Florence3D-Action[8]進行實驗，該動作數(shù)據(jù)集所使用的骨骼模型包含15個關節(jié)，如圖1所示。在人體骨架結(jié)構(gòu)中，關節(jié)之間存在父子關系，關節(jié)的方向由其父關節(jié)坐標空間中的相對方向進行描述，根骨(如圖1中的3號關節(jié))采用模型坐標空間中的位置和方向進行描述。

圖1 動作數(shù)據(jù)集Florence3D-Action使用的骨骼模型，包含15個關節(jié)

1.2 動作序列分割

為了計算關節(jié)權(quán)重，本文首先將動作序列P劃分為N個片段。令為第i個關節(jié)的第n個片段的時間序列數(shù)據(jù)，則，其中為第i個關節(jié)的第m幀位置和方向數(shù)據(jù)，T為關節(jié)數(shù)量，分別為第n個片段的開始和結(jié)束幀。令i p為第i個關節(jié)的時間序列數(shù)據(jù)，則。

一個動作序列通常是由多個原子動作組成，動作序列分割方式會影響動作相似度評價的結(jié)果，而動作序列分割為原子動作的方法到目前為止還是一個開放問題。自頂向下的方法通常依賴于專家知識和訓練數(shù)據(jù)，將動作序列分割為若干原子動作[9-10]；而自底向上的方法通常采用主成分分析與數(shù)據(jù)壓縮理論分割動作序列[11-12]。這些方法都有各自的局限性，例如需要大量的訓練數(shù)據(jù)及時間復雜度過高，因此，通常采用 2種方法進行動作序列分割：

(1) 固定片段數(shù)量。該方法將不同的動作序列均勻分割為相同數(shù)量的片段。對于較短的動作序

列，其分割后的片段也較短；對于較長的動作序列，其分割后的片段也比較長。由于該方法分割不同長度的動作序列都能得到相同數(shù)量的片段，因此該方法時序上具有歸一化特性。

(2) 固定時間長度。該方法將不同的動作序列分割為相同長度的片段。對于較短的動作序列，其分割后的片段數(shù)量較少；對于較長的動作序列，其分割后的片段數(shù)量較多。由于該方法對動作片段提取的特征僅用于關節(jié)權(quán)重計算，每個動作序列單獨處理，因此不會受到動作片段數(shù)量不同的影響。

固定片段數(shù)量劃分法的優(yōu)點是在時序上具有歸一化的特性，但若不同類型的動作長度差異較大，將導致每個片段包含的信息量差異較大，而固定時間長度的劃分方法可以很好地克服這個問題。由于本文使用DTW進行動作序列匹配，該方法實現(xiàn)了兩個不同長度動作序列的歸一化，因此本文選用固定時間長度的動作片段劃分方法。

1.3 關節(jié)權(quán)重計算

本文按照關節(jié)運動劇烈程度，即運動能量大小進行權(quán)重分配。令為能量大小相對值，為參考動作序列P的第n個動作片段所有關節(jié)能量相對大小的向量。在信息論中，熵用來對信息進行度量，其定義如下

其中，x為隨機變量，f為概率密度函數(shù)。對于方差為2σ的高斯分布，熵定義為[13]

其中，函數(shù)sort按照關節(jié)的運動能量按降序排列，向量Tn為第n個片段運動能量降序排序的關節(jié)ID，。取Tn的前H個關節(jié)ID，記為，令，關節(jié)權(quán)重將根據(jù)每個關節(jié) ID在HT中出現(xiàn)的次數(shù)進行計算。定義關節(jié)i能量最大的片段占所有片段的比例

其中，count函數(shù)計算HT 中第i個關節(jié)出現(xiàn)的次數(shù)。圖2為Si的可視化表示，橫坐標為關節(jié)的ID，縱坐標為不同動作，每個方格用灰度值表示Si的大小。由圖 2可以看出，不同類型的動作在不同關節(jié)的能量分布有較大的差異。

圖2 不同關節(jié)的Si可視化表示

當輕微運動及靜止不動時，關節(jié)的Si接近0，但在進行動作相似度評價時也需賦予一定的權(quán)重。因此本文對運動較劇烈的關節(jié)按Si進行權(quán)重分配，這些關節(jié)占所有權(quán)重的比例為α，對其余關節(jié)平均分配剩余權(quán)重。對Si進行降序排序，得到

取S′的前m個元素直到這些元素相加大于α，并將其所對應的關節(jié)ID加入集合C中，計算得到每

個關節(jié)的權(quán)重

其中，比例α為運動較劇烈關節(jié)所占的總體權(quán)重，動作相似度評價結(jié)果將受到α取值的影響，具體取值將在實驗章節(jié)進行討論。自適應關節(jié)權(quán)重計算可由以下4個步驟完成：

(1) 將動作序列P劃分為N個片段；

(3) 統(tǒng)計每個關節(jié) ID(i=1,…,T)在向量HT中出現(xiàn)的次數(shù)，則可以求得關節(jié)i能量較大的片段占所有片段的比例Si；

(4) 取′S中最大的m個元素直到其相加大于α，這些關節(jié)的權(quán)重為，其余關節(jié)按式(6)平分剩余權(quán)重。

2 基于關節(jié)權(quán)重特征的 DTW 動作識別

2.1 經(jīng)典DTW算法

假設有兩個長度分別為n和m時間序列Q和C，令

為了對齊兩個時間序列Q和C，需要構(gòu)造一個大小為n×m的矩陣M，該矩陣的第i行第j列的元素Mi,j為qi和cj的距離 d( qi, cj)，該距離通常使用歐氏距離，即 d( qi, cj) =(qi-cj)2。該路徑為矩陣M中的連續(xù)元素，用于表示時間序列Q和C之間的映射關系，定義其中第k個元素為wk=(i, j)k。W可以表示為

DTW方法基于動態(tài)規(guī)劃的原理求解出最優(yōu)匹配路徑，該路徑使兩個時間序列Q和C的總匹配距離達到最小

其中，路徑長度 K作為分母用于消除規(guī)整路徑長度不同所帶來的影響。

DTW 尋找最優(yōu)匹配路徑的過程如下：從w1= (1,1)開始，循環(huán)計算路徑距離γ(i,j)，基于上述規(guī)整的3個條件，到達 wk=(i, j)k的前一個匹配只能為 γ(i - 1, j - 1)、 γ(i- 1,j)和 γ( i,j- 1)其中一個，因此只需要挑選出其中最小的一個，加上當前距離即可得到路徑的最小距離[14]

2.2 人體動作識別

動作序列P由若干幀骨架數(shù)據(jù)組成，本文逐幀對骨架特征進行提取，并基于該特征進行動作識別。動作序列的每一幀可以看作靜態(tài)人體骨架結(jié)構(gòu)數(shù)據(jù)，其包含了每個關節(jié)的位置和方向數(shù)據(jù)。由于采用關節(jié)的方向數(shù)據(jù)描述人體骨架結(jié)構(gòu)具有平移和縮放不變性，因此本文在預處理階段通過關節(jié)位置數(shù)據(jù)計算出關節(jié)方向數(shù)據(jù)，再采用關節(jié)方向數(shù)據(jù)即關節(jié)的級聯(lián)四元數(shù)對人體骨架結(jié)構(gòu)進行描述。

文獻[15]定義了兩個四元數(shù)距離的度量方式，本文將此用于對靜態(tài)骨架結(jié)構(gòu)進行相似性度量。設參考向量 E0∈R3，q1、q2為兩個單位四元數(shù)，如圖3所示，將E1旋轉(zhuǎn)到E2，若= [x, y, z, w] =[n ·sinφ, cosφ]，則q1、q2的距離可以定義為

圖3 四元數(shù)距離計算

輸入動作序列為 P= [ p1, p2,…,pr,…, pR]和Q = [q1, q2,…,qr′,…,qR′]，其中R和R′分別為P和

計算DTW的代價矩陣，通過式(10)得到最優(yōu)規(guī)整路徑 W= w1, w2,…,wk,… ,wK，其中K為路徑W的長度，wk為采用式(12)計算的每對匹配幀的距離，最后得到規(guī)整路徑距離的平均值

即動作序列P和Q的距離度量結(jié)果。圖 4為Florence3D-Action動作數(shù)據(jù)集中兩個“Sit down”動作采用動態(tài)規(guī)整路徑進行幀匹配的示意圖。

圖4 兩個動作序列的幀匹配示意圖

基于式(13)的距離度量函數(shù)，本文采用K近鄰分類器對未知動作序列的類型進行分類。設L={λ1,λ2,… ,λl}為l個訓練樣本標記，訓練動作數(shù)據(jù)集 C={(Pi,λi)|1 ≤i≤ N}包含N個動作序列，λi∈ L為動作序列Pi所屬的類別。輸入待分類動作序列Q，采用式(13)計算Pi與Q的距離

將訓練樣本按照Di進行升序排序，前K個訓練樣本構(gòu)成近鄰樣本集。統(tǒng)計訓練樣本中第j個(1≤j≤l)標記的樣本個數(shù)，采用多數(shù)表決原則決定未知動作序列Q的所屬類別λ

其中，函數(shù)I為指示函數(shù)，定義為

算法總體流程如圖5所示。

圖5 算法總體流程

3 實驗結(jié)果與分析

實驗采用真實世界中采集的動作數(shù)據(jù)集測試本文方法的性能。實驗環(huán)境為CPU：Intel i7-4790K，內(nèi)存：8 G，操作系統(tǒng)：Windows 8，集成開發(fā)環(huán)境：Matlab 2012。

3.1 實驗數(shù)據(jù)

采用公開的動作數(shù)據(jù)集Florence3D-Action對本文方法的有效性進行驗證。采用微軟 Kinect對人體動作數(shù)據(jù)以每秒15幀進行采集，其人體骨架包含15個關節(jié)位置。該數(shù)據(jù)集包含9類動作，每類動作由10人重復2～3次完成，共獲得215個動作序列。該數(shù)據(jù)集中包含一些較為相似但類型不同的動作，例如“Drink from a bottle”與“Answer phone”這兩個動作不屬于同類動作，但是較為相似，僅在手部的高度有些差異，如圖6所示。

圖6 “Drink from a bottle”與“Answer phone”動作比較

3.2 實驗結(jié)果

本文在動作數(shù)據(jù)集Florence3D-Action采樣交叉驗證的策略進行實驗，即一半的數(shù)據(jù)用于訓練分類器，另一半數(shù)據(jù)用于驗證分類準確度。定義測試數(shù)據(jù)集中每個類型動作的分類準確率為

其中，x為動作類型， correct( x)為測試數(shù)據(jù)集中屬于x的動作序列被正確分類的次數(shù)，total(x)為測試數(shù)據(jù)集中屬于x的動作序列的總數(shù)。圖7顯示了該動作數(shù)據(jù)集中五類動作在不同參數(shù)下的分類準確率，其中，參數(shù)H分別取5、6和7，參數(shù)α分別取0.6、0.7、0.8和0.9。

圖7 采用自適應關節(jié)權(quán)重的分類結(jié)果

從圖7可以看出，選擇較小的H和α能夠提高相似動作的識別率，但是太小的H或α容易造成差異較大的動作識別率下降；選擇較大的H和α則降低了權(quán)重選擇方法的效果，相似的動作識別率出現(xiàn)明顯的下降，總體來說H=6，α=0.7時分類準確率較高。此外，在不同的H和α的條件下，動作分段長度在0.8附近具有較高的識別率。

圖8為動作分段長度在0.8的條件下，取不同H和α得到的動作識別率?？梢钥闯?，H=6，α= 0.7時能夠得到最優(yōu)的分類準確率。結(jié)合圖 7的結(jié)果，得到本文方法的最優(yōu)參數(shù)，即動作分段長度取0.8，H=6和α=0.7。

將動作數(shù)據(jù)集Florence3D-Action采用4種隨機的訓練集和測試集劃分方式，在選取本文算法參數(shù)H=6，α=0.7，分割時間片段為0.8 s條件下，表 1給出了本文方法與其他方法實驗結(jié)果比較，結(jié)果顯示本文方法有較好地識別結(jié)果。本文方法的平均混淆矩陣如圖 9所示，可以看出，本文方法對動作具有較高的識別率。

圖8 選取不同H和α得到的分類結(jié)果

表1 Florence3D-Action動作數(shù)據(jù)集上分類準確率對比(%)

圖9 本文方法在選擇最優(yōu)參數(shù)下在Florence3D-Action進行實驗獲得的混淆矩陣

4 結(jié) 束 語

本文提出了一種自適應關節(jié)權(quán)重計算方法，該方法從運動特性出發(fā)，將動作序列劃分為多個子片段，通過每個子片段不同關節(jié)的熵值計算關節(jié)權(quán)重，再將關節(jié)權(quán)重與DTW結(jié)合計算兩個動作序列的距離，最后采用K近鄰方法進行動作識別。本文方法充分利用了不同關節(jié)的運動特性，對運

動較為劇烈的關節(jié)與幾乎靜止不動的關節(jié)在權(quán)重上進行區(qū)分。實驗結(jié)果表明，該算法具有較高的識別準確率，對相似動作也能有較好的區(qū)分。在后續(xù)研究中，將考慮基于本文的自適應關節(jié)權(quán)重，進一步研究動作特征及分類策略，以提高識別準確率。

[1] Galna B, Barry G, Jackson D, et al. Accuracy of the M icrosoft Kinect sensor for measuring movement in people w ith Parkinson’s disease [J]. Gait & Posture, 2014, 39(4): 1062-1068.

[2] 王向東, 張靜文, 毋立芳, 等. 一種運動軌跡引導下的舉重視頻關鍵姿態(tài)提取方法[J]. 圖學學報, 2014, 35(2): 256-261.

[3] Zhang Z Y. M icrosoft Kinect sensor and its effect [J]. IEEE MultiMedia, 2012, 19(2): 4-10.

[4] Wang C Y, Wang Y Z, Yuille A L. An approach to pose-based action recognition [C]//CVPR 2013: 26th Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2013: 915-922.

[5] 張 丹, 陳興文, 趙姝穎, 等. 基于 Kinect 骨骼預定義的體態(tài)識別算法[J]. 計算機應用, 2014, 34(12): 3441-3445.

[6] 李學相, 安學慶. 基于三維圖像動作識別算法研究[J].計算機仿真, 2013, 30(9): 374-377.

[7] 朱國剛, 曹 林. 基于 Kinect傳感器骨骼信息的人體動作識別[J]. 計算機仿真, 2014, 31(12): 329-333.

[8] Seidenari L, Varano V, Berretti S, et al. Recognizing actions from depth cameras as weakly aligned multi-part bag-of-poses [C]//Computer Vision and Pattern Recognition Workshops (CVPRW), IEEE Conference on. New York: IEEE Press, 2013: 479-485.

[9] Beaudoin P, Coros S, van de Panne M, et al. Motion-motif graphs [C]//ACM Siggraph/Eurographics Symposium on Computer Animation (2008). New York: ACM Press, 2008: 117-126.

[10] Müller M, Baak A, Seidel H P. Efficient and robust annotation of motion capture data [C]//ACM Siggraph/ Eurographics Symposium on Computer Animation (2009). New York: ACM Press, 2009: 17-26.

[11] Barbi? J, Safonova A, Pan J Y, et al. Segmenting motion capture data into distinct behaviors [J]. Proceedings of Graphics Interface 2004. Canadian Human-Computer Communications Society, 2004, (5): 185-194.

[12] López-Méndez A, Gall J, Casas J R, et al. Metric learning from poses for temporal clustering of human motion [CD]. Proceedings BMVC 2012 Pages: CD-rom, 2012: CD-rom.

[13] Shannon C E, Weaver W. A mathematical theory of communication, 1949 [M]. Urbana: University of Illinois Press, 1949: 24-30.

[14] Berndt D J, Clifford J. Using dynamic time warping to find patterns in time series [C]//Working Notes of the Know ledge Discovery in Databases Workshop, United States, Massachusetts: Association for the Advancement of A rtificial Intelligence Press, 1994: 359-370.

[15] 沈軍行, 孫守遷, 潘云鶴. 從運動捕獲數(shù)據(jù)中提取關鍵幀[J]. 計算機輔助設計與圖形學學報, 2004, 16(5): 719-723.

[16] Ohn-Bar E, Trivedi M M. Joint angles sim ilarities and HOG2for action recognition [C]//Computer Vision and Pattern Recognition Workshops (CVPRW), 2013 IEEE Computer Society Conference on, New York: IEEE Press, 2013: 465-470.

[17] Xia L, Chen C C, Aggarwal J K. View invariant human action recognition using histograms of 3D joints [C]// Computer Vision and Pattern Recognition Workshops (CVPRW), 2012 IEEE Computer Society Conference on, New York: IEEE Press, 2012: 20-27.

[18] 應 銳, 蔡 瑾, 馮 輝, 等. 基于運動塊及關鍵幀的人體動作識別[J]. 復旦學報: 自然科學版, 2014, (6): 815-822.

Research on DTW Action Recognition A lgorithm w ith Joint Weighting

Wang Chengfeng1, Chen Hong1, Zhang Ruixuan2, Zhu Dehai1, Wang Qing1, Mei Shuli1

(1. College of Information and Electrical Engineering, China Agricultural University, Beijing 100083, China; 2. Beijing Jiu Yi Tong Xing Technology Co., Ltd, Beijing 100083, China)

Human motions always contain only motions of some body parts, but much of the existing methods on action recognition don’t take the motion intensity of each joint into account, which lower the accuracy of action recognition in some extent. To solve this problem, an adaptive joint weighting scheme is proposed to calculate the weight of each joint and combined the weights w ith dynam ic time warping (DTW) to recognize actions. Firstly, the action sequence was segmented into several segments and some most violent joints in each segment are assigned higher weight while the remaining joints are evenly weighted. Then feature vectors of two action sequences were extracted and the distance between two action sequences were calculated by DTW. Finally the action recognition was achieved by K-nearest neighbor method. The experiments showed that the overall classification accuracy of the proposed method is higher, and the result is also good for some similar actions.

action recognition; human motion analysis; dynam ic time warping; joint weight; pose feature

TP 301.6

10.11996/JG.j.2095-302X.2016040537

A

2095-302X(2016)04-0537-08

2016-03-08；定稿日期：2016-05-04

國家科技支撐計劃項目(2013BAH48F02)

汪成峰(1988–)，男，福建南平人，博士研究生。主要研究方向為虛擬現(xiàn)實與人機交互技術(shù)。E-mail：147750373@qq.com

陳 洪(1976–)，男，四川大竹人，副教授，博士。主要研究方向為虛擬現(xiàn)實與人機交互技術(shù)、數(shù)字游戲與虛擬學習環(huán)境。

E-mail：norman_chen@263.net