一種使用3D骨架片段表示的人體動作識別方法

劉 沿,姚亞強,陳歡歡

(中國科學技術大學 計算機科學與技術學院,合肥 230027)

1 引 言

人體動作識別是計算機視覺領域最受關注的研究課題之一[1-3],具有廣泛的應用領域,包括視頻監(jiān)控,服務機器人和人機交互娛樂等諸多方面.人體動作識別問題實際上是一個分類問題,即根據從訓練集中學習到的各種動作特征,找到與測試動作特征最相似的那一類活動,作為測試動作的分類結果.

之前的研究工作專注于從二維視頻幀圖像中提取圖像的局部時空特征[4-6,28,29],比如尺度不變特征(SIFT)[4],方向梯度直方圖特征(HOG)和方向光流直方圖特征(HOF)[5],以及運動邊界直方圖特征(MBH)[6].近年來,隨著深度攝像機如微軟體感攝像機Kinect的出現(xiàn),同時,Shotton等[7]提供了一種實時地提取人體骨架關節(jié)三維坐標位置的方法,兩者共同促進了人體動作識別的進一步發(fā)展,主要包括基于深度圖像[8-11]和基于人體3D骨架信息[12-17]的人體動作識別方法.

通過將人體動作序列坐標通過數(shù)學方法轉換為李群上的曲線,文獻[15]將所得的動作曲線映射為對應的李代數(shù)從而達到動作識別的目的.文獻[16]根據人體本身的物理結構,將人體骨架劃分為五個部分,同時用一種基于端到端的分層的循環(huán)神經網絡來識別動作.在文獻[17]中,為實現(xiàn)更具魯棒性的識別效果,挖掘具有代表性的稱為關鍵姿勢主題的一系列動作視頻幀表示對應的動作片段.文獻[12,13]與[14]則分別設計了稱為3D關節(jié)位置統(tǒng)計直方圖(HOJ3D)、3D關節(jié)位置協(xié)方差(Cov3D)和方向位移統(tǒng)計直方圖(HOD)的人體動作算子用于動作識別.為表達動作算子序列之間的時間關系,離散隱馬爾可夫模型被用于文獻[12],而文獻[13]和[14]則采用一種平均分割的方法將一個序列分割為長度相等的兩段,最終得到一個對人體動作分層的時序的表示.

文獻[18]表明,相較于傳統(tǒng)的提取的視頻圖像特征,3D骨架信息在人體動作識別任務中的表現(xiàn)更好,主要原因是相比于視頻幀圖像特征,3D骨架信息保持了人體姿態(tài)的本質信息,且具有觀測視角的不變性.基于3D骨架信息所設計的動作算子如3D關節(jié)位置統(tǒng)計直方圖算子(HOJ3D)[12]、3D關節(jié)位置協(xié)方差算子(Cov3DJ)[13]以及對應的特征向量)方向位移統(tǒng)計直方圖算子(HOD)[14]將該結論應用于人體動作識別領域,取得了令人滿意的結果.

本文提出了一種新的使用3D骨架片段表示的人體動作識別方法.圖1展示了整個人體動作識別的框架流程圖.對于一個人體動作視頻,通過Shotton等[7]的方法,可以從每一幀中提取出15(或20)個主要關節(jié)的3D坐標位置(x,y,z),這15(或20)個主要關節(jié)的坐標位置描述了人體在這一幀中的姿勢.對于每一個關節(jié)坐標,通過求得其與臀部中心的相對位置,從而保證了姿勢的平移不變性.通過這樣的處理方式,將一個人體動作表示為一系列的3D骨架坐標(每一幀的3D骨架坐標代表了人體動作在該幀中的具體姿勢),其中每一個姿勢的坐標點可以看作是高維空間中的點.

本文將人體動作識別問題歸結為從訓練集中找到與測試樣本距離最近的人體動作,從而將測試樣本歸為該訓練動作類別以達到識別未知動作的目標.通過傳統(tǒng)的滑動窗口方法,將一個人體動作(一系列的3D骨架坐標)劃分為3D骨架片段序列,其中每一個骨架片段都是由一系列連續(xù)的高維空間點組成.對于每一個片段,計算該片段包含點的均值及協(xié)方差矩陣,其中均值代表了人體動作在這一時間段的主要姿勢,而協(xié)方差矩陣的前T個特征向量(最大的T個特征值代表了人體動作在這一時間段的主要動作趨勢,即片段中動作的進展.主要姿勢和主要動作趨勢相結合即是對人體動作在該時間段的全面表示.本文同時定義了3D骨架片段與片段之間的距離,該距離的定義結合了主要姿勢和主要動作趨勢兩方面特征.

圖1 使用3D骨架片段表示的人體動作識別框架流程圖Fig.1 Framework of proposed approach

為了描述人體動作的全局時間關系,用動態(tài)時間規(guī)整(DTW)算法來度量兩個不同動作之間的距離.動態(tài)時間規(guī)整算法是一個模板匹配算法,其在給定的限制條件下,計算兩個給定序列之間(本文中的序列即為3D骨架片段序列)的最優(yōu)匹配路徑及對應的最小成本,該成本即代表了兩個序列的匹配程度(距離).本文提出的方法被應用于兩個公開發(fā)布的人體動作數(shù)據集KARD[19]和CAD60[20]上,實驗結果表明所提出的使用3D骨架片段表示的方法適用于人體動作識別.

本文主要貢獻有以下三個方面:首先,設計出了針對Kinect設備獲得的3D骨架信息的使用3D骨架片段表示的人體動作識別框架;其次,對3D骨架片段的表示結合了基于平均值的主要姿勢特征和基于主特征向量的主要動作趨勢特征,該表示方法具有較強的可解釋性;最后,片段之間的距離定義全面地結合了人體動作片段的主要姿勢和主要動作趨勢兩方面特征,使用動態(tài)時間規(guī)整的模板匹配算法在實驗中取得了有競爭力的結果.

2 動作表示

人體骨架可以看作是由剛性桿通過關節(jié)鏈接起來的鉸接系統(tǒng),人體動作則是這個鉸接系統(tǒng)的不斷變化[21].本文中,將人體動作表示為3D骨架坐標序列.根據文獻[7]中實時提取骨架信息的方法,可以得到15(或20)個可接受精度關節(jié)點的3D坐標信息:頭部、頸部、軀干、左/右肩部、左/右肘部、左/右手、左/右臀部、左/右膝蓋、左/右腳、(臀部中心、左/右手腕和左/右腳踝),如圖2所示.

圖2 人體骨架關節(jié)圖示Fig.2 Illustration of human skeletons

對于一個人體動作視頻,取得其J(15或20)個主要關節(jié)的3D坐標位置,其中每個關節(jié)的坐標可以表示為:

pj(f)=(xj(f),yj(f),zj(f))

(1)

其中f表示視頻幀序數(shù),J個關節(jié)的3D坐標位置描述了人體在這一幀中的姿勢.對于每一個關節(jié),為了保證姿勢的平移不變性,計算其與臀部中心的相對位置:

(2)

其中pc為每一幀中臀部中心的坐標.當J=20時,可直接取得臀部中心的3D坐標;當J=15時,臀部中心的3D坐標為左/右臀部3D坐標的平均.經過這些處理步驟,某一視頻幀f中的人體骨架信息可以表示為:

(3)

每一個P(f)代表了人體動作在視頻幀f中的姿勢.文獻[18]表明3D骨架信息在人體動作識別工作中的表現(xiàn)比其它基于視頻幀圖像特征提取的方法更好,同時,基于姿勢序列的動作表示描述了人體動作的固有特征且符合人類自身對動作的學習和認知過程[22],這是本文選擇使用3D骨架信息表示人體動作的兩個主要原因.

至此,將一個人體動作表示為一系列姿勢:

P={P(1),P(2),…,P(f),…,P(F)}

(4)

此處F為動作視頻中的總幀數(shù),亦即該動作中包含的總姿勢數(shù).每一個姿勢P(f)被表示為N維空間中的一個點.

3 動作識別

本文將人體動作識別問題歸結為從訓練集中找到與測試樣本距離最近的人體動作,從而將測試樣本歸為該訓練動作類別以達到識別未知動作的目標.本節(jié)首先介紹傳統(tǒng)的滑動窗口方法,從而將一個人體動作劃分為一系列的3D骨架片段;其次,從每一個3D骨架片段中提取主要姿勢和主要動作趨勢特征;然后,給出度量兩個3D骨架片段之間距離的定義,該定義全面地結合了主要姿勢和主要動作趨勢特征;最后,介紹動態(tài)時間規(guī)整算法用來匹配兩個動作,從而達到分類的目的.

3.1 滑動窗口劃分人體動作序列

窗口寬度參數(shù)K決定了片段的大小和一個動作序列所能劃分的片段的個數(shù).較大的K意味著每個片段中包含更多的姿勢,對人體動作的描述更加粗糙;相反,較小的K則意味著每個片段中包含更少的姿勢,對人體動作的描述更顯精確.盡管較小的K對人體動作的描述更加精確,但這意味著更小的片段,其更容易受到3D骨架位置追蹤結果噪聲的影響,進而影響人體動作的識別效果.本文中探討了K的大小對人體動作識別結果的影響,從而驗證上述推測.

3.2 3D骨架片段特征提取

(5)

該片段內所有姿勢的樣本協(xié)方差矩陣如下:

(6)

Cs是一個N×N的對稱矩陣.每一個對稱矩陣都是可正交對角化的[23],也就是說,存在一個正交矩陣Q滿足:

Q-1CPQ=Λ

(7)

其中Λ是一個對角矩陣,對角線上的元素為實數(shù)值,代表了矩陣Cs的N個特征值.主要動作趨勢特征T*定義為最大的T個特征值對應的特征向量:

T*=[q1,q2,…,qT]

(8)

qt是一個N維向量代表第t大特征值對應的特征向量.一般而言,對于特定的簡單人體動作,實際參與的人體關節(jié)數(shù)是有限的,甚至在三維空間中的運動方向也是有限的.比如說,動作“畫圈”的主要參與人體關節(jié)為左手(或右手),在三維空間中的主要運動方向為x和y方向(以垂直于攝像機攝像平面的方向為z軸),因而該動作的運動趨勢用左手(或右手)在x和y方向上的變化即可表示.基于上述分析,T*包含最大的T個特征值對應的特征向量,進而描述了動作片段S的主要動作趨勢特征.

圖3 動作片段主要姿勢特征及主要動作趨勢特征圖示Fig.3 Illustration of major posture feature and main tendency feature of action snippet

圖3顯示了所定義的動作片段主要姿勢特征和主要動作趨勢特征,其中T=2.從中可以看出,主要姿勢特征代表了人體動作在這一時間段的整體狀態(tài),主要動作趨勢特征則刻畫了人體動作在這一時間段的整體發(fā)展方向,兩者相結合從而全面地描述了該動作片段.

與此同時,特征向量數(shù)T決定了對動作片段主要動作趨勢描述的精確程度與魯棒性.較大的T意味著更多的發(fā)展趨勢特征,卻帶來較差的魯棒性,反之亦然.與前一小節(jié)相似,本文中同時探討了T的大小對人體動作識別結果的影響,從而驗證上述推測.

3.3 動作片段間距離度量

圖4 動作片段間距離定義圖示Fig.4 Illustration of action snippet-snippet distance

以下分別給出主要姿勢距離,主要動作趨勢距離的定義,最后將兩者結合給出本文提出的動作片段之間的距離定義.

(9)

此處選擇正弦距離是為了將其更合理地與主要動作趨勢距離相結合,下文中將會涉及.

(10)

類似的,可以定義第二主特征向量正弦距離dT2(S1,S2),第三主特征向量正弦距離dT3(S1,S2)等.本文中,主要動作趨勢距離定義為所有主特征向量正弦距離的平均:

(11)

該定義與度量兩個子空間距離的方法(主角)基本一致[24],同時考慮到人體動作的特殊性(大部分人體動作僅由人體的部分關節(jié)參與),本文中T取1或2.

(12)

3.4 動態(tài)時間規(guī)整算法匹配

動態(tài)時間規(guī)整是在給定特定限制條件下計算兩個序列間最優(yōu)匹配及對應距離的模板匹配算法.本文中,給定兩個動作序列:訓練序列R={R1,R2,…,RM}和測試序列T={T1,T2,…,TN},其中Rm和Tn分別表示訓練序列R和測試序列T中的某個動作片段.存在規(guī)整路線p={p1,p2,…,pL}從而對齊Rml和Tnl,其中,pl=(ml,nl)代表一個從Rml到Tnl的映射,L是路線長度.兩個動作序列之間的距離被定義為具有最小代價的規(guī)整路線所對應的距離:

DDTW(R,T)=DTWp*(R,T)

(13)

其中p*是具有最小代價的規(guī)整路線,其所對應的距離為:

(14)

其中第一個和第二個限制分別稱為邊界限制和連續(xù)單調限制.動態(tài)時間規(guī)整算法是通過動態(tài)規(guī)劃實現(xiàn)的,可以有效地找到兩個動作序列之間的最佳匹配并計算相對距離.測試動作序列的類別被指派為距離它最近的訓練動作序列所對應的類別:

(15)

4 實驗結果與分析

為評估本文所提出的人體動作識別方法,將該方法應用于兩個公開的人體動作數(shù)據集KARD[19]和CAD60[20],每個數(shù)據集都提供了人體的15(或20)個關節(jié)的3D坐標信息,這些3D關節(jié)坐標信息直接應用于人體動作表示.本文中將所提出的方法與其它已公布方法在兩個數(shù)據集(KARD數(shù)據集與CAD60數(shù)據集)上的實驗結果分別進行比較,并在KARD數(shù)據集上進行了相關參數(shù)分析.

4.1 KARD數(shù)據集

KARD是由Gaglio等人[19]收集的一個人體動作數(shù)據,其中包含18種動作,并被劃分為10個手勢動作(horizontal arm wave,high arm wave,two hand wave,high throw,draw x,draw tick,forward kick,side kick,bend和hand clap)和8個簡單活動動作(catch cap,toss paper,take umbrella,walk,phone call,drink,sit down和stand up).每一個動作分別由10個不同對象執(zhí)行3次,因而總共有540(18×10×3)個視頻動作序列.

表1 KARD數(shù)據集中的3個動作子集
Table 1 Activity sets grouping different and similar activities from the KARD dataset

動作集合1動作集合2動作集合3HorizontalarmwaveHigharmwaveDrawtickTwo?handwaveSidekickDrinkBendCatchcapSitdownPhonecallDrawtickPhonecallStandupHandclapTakeumbrellaForwardkickForwardKickTosspaperDrawXBendHighthrowWalkSitdownHorizontalarmwave

與文獻[19]保持一致,本文中分別考慮三種實驗設置和兩種動作類別劃分方式.其中三種實驗設置為:

1)設置A:每個對象的三分之一樣本作為訓練集,其余的作為測試.

2)設置B:每個對象的三分之二樣本作為訓練集,其余的作為測試.

3)設置C:所有樣本的一半作為訓練集,另一半作為測試.

表2 本文方法在KARD數(shù)據集上與Gaglio方法[19]識別率的比較(%)
Table 2 Accuracy(%)of the proposed approach compared with the original method[19]using the KARD dataset for different experiment setups with different Activity Sets and split in Gestures/Actions

實驗設置Gaglio方法[19]本文方法手勢動作ABC86．593．086．797．298．197．5簡單活動ABC92．595．090．194．297．896．9動作集合1ABC95．199．193．097．198．897．7動作集合2ABC89．994．990．197．699．699．2動作集合3ABC84．289．581．793．496．895．5

兩種動作類別劃分方式為:

1)10個手勢動作與8個簡單活動.

2)動作集合1,動作集合2和動作集合3,如表1所示.其中,動作集合1包含彼此間相似度較低的動作,其它兩個動作集合所包含的動作相似度更高.

在KARD數(shù)據集上,取滑動窗口寬度參數(shù)K=8,主要動作趨勢特征中主特征向量數(shù)T=1.由于劃分原始數(shù)據集為訓練集和測試集的過程中存在隨機性,每個實驗設置運行10次并取其平均,實驗結果如表2所示.可以看出,本文的方法在幾乎所有實驗設置中的識別率優(yōu)于原始方法[19],證明了本文方法的有效性.

同時,本文執(zhí)行稱為“新對象”(leave-one-person-out)的實驗設置,即將10個對象中的9個作為訓練集,余下的一個作為測試集,該設置與文獻[25]保持一致,保證了在測試集中的測試對象不會出現(xiàn)在訓練集中,識別結果及與已公布方法的比較如表3所示.本文中使用不同的動作片段間距離度量方法:主要姿勢距離、主要動作趨勢距離(T=1/2)和定義的動作片段距離(T=1/2,主要姿勢與主要動作趨勢距離相結合),分別達到的識別準確率為92.5%,93.2%和85.4%,以及96.5%和93.0%,最好結果的識別準確率超出已公布方法的最好結果達1.4%,其它幾個結果也達到了較高的識別準確率.

圖5顯示了對應的混淆矩陣,可以看出,本文方法準確識別了一半以上的動作,但對部分動作之間存在輕微的混淆(如Phone Call與Drink).可以推斷,這主要是由3D骨架信息的限制所導致的,添加相對應的圖像特征如方向梯度直方圖特征(HOG)是一個值得探討的方法(Phone Call中的電話與Drink中的水杯的圖像特征差異較大).總之,從該混淆矩陣中整體上較大的對角線元素可以看出,本文方法在該數(shù)據集上有較高的識別準確率.

表3 本文方法在KARD數(shù)據集上的識別率(%)與已公布方法的比較,采用“新對象”實驗設置
Table 3 Accuracy(%)of the proposed approach compared with the state-of-the-art approaches,using the KARD dataset under “l(fā)eave-one-person-out” setting

方 法識別率%公布方法Gaglio方法[19]2015Cippitelli方法[25]201684．895．1本文方法主要動作趨勢距離(T=2)主要姿勢距離動作片段距離(T=2)主要動作趨勢距離(T=1)動作片段距離(T=1)85．492．593．093．296．5

圖5 本文方法在KARD數(shù)據集上采用“新對象”實驗設置的混淆矩陣Fig.5 Confusion matrix of the proposed approach on the KARD dataset using “l(fā)eave-one-person-out” setting

圖6 本文方法在KARD數(shù)據集上采用“新對象”實驗設置的CPU時間比較圖Fig.6 CPU time comparison of the proposed approach on the KARD dataset using “l(fā)eave-one-person-out” setting

算法運行時間比較分析:文獻[19]中在CPU為2.6-GHz Dual Core的臺式電腦上運行MATLAB實現(xiàn)了一個實時人體動作識別系統(tǒng).本文所有實驗同樣使用MATLAB運行于CPU為3.4-GHz Dual Core的臺式電腦,如圖6所示,橫坐標為滑動窗口寬度K,縱坐標為對應的CPU時間(KARD上所有540個人體動作采用“新對象”實驗設置的CPU時間),K以間隔1從4取到20.實際上,本文方法的時間復雜度與F/K近似成正比(主要由動態(tài)時間規(guī)整算法決定,復雜度為O(M+N),其中M和N分別為兩個序列的長度,與F/K相關),即與K成反比,圖6中近似反曲線去我們的分析相一致.此外,本文的方法同樣實現(xiàn)了實時性,以K=8為例,540個人體動作的CPU時間約為1844s,則每一個人體動作的CPU時間3.4s,小于人體動作視頻的平均長度(4.9s),因而,本文方法在基本配置條件下依然實現(xiàn)了一個實時的人體動作識別系統(tǒng).

本文方法參數(shù)分析:這部分評估不同的參數(shù)組合(滑動窗口寬度K、主要動作趨勢特征中主特征向量數(shù)T)及不同的動作片段距離度量方式對動作識別性能的影響.在圖7中,橫坐標為滑動窗口寬度K,縱坐標為對應的識別率,K以間隔1從4取到20.對比識別率曲線“動作片段距離(T=1)”與“動作片段距離(T=2)”,可以看出“T=1”的識別率始終高于“T=2”,這是因為第一主特征向量已具有較強的區(qū)分能力,第二主特征向量則相互間有混淆,在計算主要動作趨勢距離時給予兩者相同的權重導致了識別率的下降,也就是說,在該數(shù)據集上,主要動作趨勢特征中主特征向量數(shù)T取值1是一個基于準確率的最佳選擇.對比識別率曲線“主要姿勢距離”與“主要動作趨勢距離(T=1)”,可以看出,K較小時,“主要姿勢距離”的識別率優(yōu)于“主要動作趨勢距離(T=1)”,而隨著K的增長,“主要姿勢距離”的識別率逐漸下降,而“主要動作趨勢距離(T=1)”的識別率基本保持平穩(wěn),即K較大時,“主要姿勢距離”的識別率差于“主要動作趨勢距離(T=1)”.該現(xiàn)象的可以歸結為隨著K的增大,“主要姿勢特征”已不能夠精確表達動作片段的特征,導致“主要姿勢距離”的區(qū)分度下降,而“主要動作趨勢特征”具有描述更大片段中動作趨勢的能力,因而“主要動作趨勢距離”的識別率并不隨K的增大而下降,其描述動作趨勢的能力彌補了大片段精確度表達不足的問題,因而識別率保持平穩(wěn).總體而言,“動作片段距離(T=1)”結合了“主要姿勢距離”和“主要動作趨勢距離(T=1)”兩方面的優(yōu)勢,在幾乎所有的參數(shù)條件下達到了最高的識別率,并隨滑動窗口寬度K的變化保持平穩(wěn),這是本文提出該動作片段距離度量方法的主要原因.

圖7 本文方法在KARD數(shù)據集上采用“新對象”實驗設置的不同參數(shù)比較圖Fig.7 Parameter comparison of the proposed approach on the KARD dataset using “l(fā)eave-one-person-out” setting

4.2 CAD60數(shù)據集

CAD60[20]數(shù)據集英文全稱為Cornell Activity Dataset,其中包含12個獨立的動作:rising mouth with water,brushing teeth,wearing contact lens,talking on the phone,drinking water,opening pill container,cooking(chopping),cooking(stirring),talking on couch,relaxing on couch,writing on whiteboard,working on computer.四個不同的對象(其中一個為左撇子,兩位男性,兩位女性)在五種不同的環(huán)境(浴室、臥室、廚房、客廳和辦公室)中執(zhí)行以上活動,每種環(huán)境包括三到四種動作.

表4 本文方法在CAD60數(shù)據集上的識別率(%)與已公布方法的比較
Table 4 Accuracy(%)of the proposed approach compared with the state-of-the-art approaches,using the CAD60 dataset under “l(fā)eave-one-person-out” setting

方 法識別率%Wang方法[10]201474．7Koppula方法[26]201380．8Hu方法[27]201584．1Cippitelli[25]方法201693．9本文方法(K=10，T=1)98．5

與文獻[10]所采用的實驗設置保持一致,即對于每一種環(huán)境,執(zhí)行被稱為“新對象”(leave-one-person-out)的實驗設置,這意味著測試對象不會出現(xiàn)在訓練集中.由于四個人中的一個是左撇子,實驗中當左手的y坐標大于右手時,交換兩者的y坐標以及與之關聯(lián)的左右肘關節(jié)、肩關節(jié)的y坐標,通過該方法實現(xiàn)了左撇子與其它三人操作的統(tǒng)一.取K=10且T=1時,采用本文所定義的“動作片段距離”,將所有20(5×4)可能的劃分分別進行實驗,所得識別率與已公布方法的比較如表4所示,本文方法的識別率達到98.5%,較之已公布的方法有了大幅度的提升(最好的為93.9%).

5 結 論

本文針對Kinect獲得的3D骨架數(shù)據,提出了一種新的使用3D骨架片段表示的人體動作識別方法.提出的動作片段的表示結合了均值所代表的主要姿勢特征和主特征向量所代表的主要動作趨勢特征,并對兩者的表示能力進行了實驗分析.運用動態(tài)時間規(guī)整算法匹配動作片段序列從而達到動作識別的目的,在兩個公開數(shù)據集KARD和CAD60的實驗結果表明本文提出的方法具有較高的識別率和較強的普適性.在未來的工作中,考慮結合圖像特征信息從而擺脫3D骨架數(shù)據的限制性,以期達到更佳的識別能力.

[1] Aggarwal J K,Ryoo M S.Human activity analysis:a review[J].ACM Computing Surveys(CSUR),2011,43(3):16：1-16：43.

[2] Aggarwal J K,Xia L.Human activity recognition from 3d data:a review[J].Pattern Recognition Letters,2014,48(1):70-80.

[3] Vrigkas M,Nikou C,Kakadiaris I A.A review of human activity recognition methods[J].Frontiers in Robotics and AI,2015,2(1):1-28.

[4] Lowe D G.Distinctive image features from scale-invariant keypoints[J].International Journal of Computer Vision(IJCV),2004,60(2):91-110.

[5] Laptev I,Marszalek M,Schmid C,et al.Learning reslistic human actions from movies[C].IEEE Conference on Computer Vision and Pattern Recognition(CVPR),2008:1-8.

[6] Wang H,Kl?ser A,Schmid C,et al.Dense trajectories and motion boundary descriptors for action recognition[J].International Journal of Computer Vision(IJCV),2013,103(1):60-79.

[7] Shotton J,Sharp T,Kipman A,et al.Real-time human pose recognition in parts from single depth images[J].Communications of the ACM,2013,56(1):116-124.

[8] Oreigej O,Liu Z.Hon4d:histogram of oriented 4d normals for activity recognition from depth sequences[C].IEEE Conference on Computer Vision and Pattern Recognition(CVPR),2013:716-723.

[9] Xia L,Aggarwal J K.Spatio-temporal depth cuboid similarity feature for activity recognition using depth camera[C].IEEE Conference on Computer Vision and Pattern Recognition(CVPR),2013:2834-2841.

[10] Wang J,Liu Z,Wu Y,et al.Learning actionlet ensemble for 3d human action recognition[J].IEEE Transactions on Pattern Analysis and Machine Intelligence(TPAMI),2014,36(5):914-927.

[11] Rahmani H,Mahmood A,Huynh D,et al.Histogram of oriented principal components for cross-view action recognition[J].IEEE Transactions on Pattern Analysis and Machine Intelligence(TPAMI),2016,38(12):2430-2443.

[12] Xia L,Chen C C,Aggarwal J K.View invariant human action recognition using histograms of 3d joints[C].IEEE Conference on Computer Vision and Pattern Recognition Workshops(CVPRW),2012:20-27.

[13] Hussein M E,Torki M,Gowayyed M A,et al.Human action recognition using a temporal hierarchy of covariance descriptors on 3d joints locations[C].International Joint Conference on Artificial Intelligence(IJCAI),2013:2466-2472.

[14] Gowayyed M A,Torki M,Hussein M E,et al.Histogram of oriented displacement(hod):describing trajectories of human joints for action recognition[C].International Joint Conference on Artificial Intelligence(IJCAI),2013:1351-1357.

[15] Vemulapalli R,Arrate F,Chellappa R.Human action recognition by representing 3d skeletons as points in a lie group[C].IEEE Conference on Computer Vision and Pattern Recognition(CVPR),2014:588-595.

[16] Du Y,Wang W,Wang L.Hierarchical recurrent neural network for skeleton based action recognition[C].IEEE Conference on Computer Vision and Pattern Recognition(CVPR),2015:1110-1118.

[17] Wang C,Wang Y,Yuille A L.Mining 3d key-pose-motifs for action recognition[C].IEEE Conference on Computer Vision and Pattern Recognition(CVPR),2016:2639-2647.

[18] Yao A,Gall J,Fanelli F,et al.Does human action recognition benefit from pose estimation[C].British Machine Vision Conference(BMVC),2011:67.1-67.11.

[19] Gaglio S,Re G L,Morana M.Human activity recognition process using 3-d posture data[J].IEEE Transactions on Human-Machine Systems(THMS),2015,45(5):586-597.

[20] Sung J,Phonce C,Selman B,et al.Unstructured human activity detection from rgbd images[C].IEEE International Conference on Robotics and Automation(ICRA),2012:842-849.

[21] Zarsiorsky V M.Kinects of human motion[M].Human Kinects,2002.

[22] Bülthoff I,Bülthoff H,Sinha P.Top-down influences on stereoscopic depth-perception[J].Nature Neuroscience,1998,1(3):254-257.

[23] Lang S.Introduction to linear algebra[M].Springer Science & Business Media,2012.

[24] Bj?rck A,Golub G H.Numerical methods for computing angles between linear subspaces[J].Mathematics of Computation,1973,27(123):579-594.

[25] Cippitelli E,Gasparrini S,Gambi E,et al.A human activity recognition system using skeleton data from rgbd sensors[J].Computational Intelligence and Neuroscience,2016,10(1):1-15.

[26] Koppula H S,Gupta R,Saxena A.Learning human activities and object affordances from rgb-d videos[J].International Journal of Robotics Research(IJRR),2013,32(8):951-970.

[27] Hu J,Zheng W S,Lai J,et al.Jointly learning heterogeneous features for rgb-d activity recognition[C].IEEE Conference on Computer Vision and Pattern Recognition(CVPR),2015:5344-5352.

[28] Liu Chang-hong,Yang Yang,Liu Ying-hui.Spatio-temporal pyramid matching using sparse coding for action recognition[J].Journal of Chinese Computer Systems(JCCS),2012,33(1):169-172.

[29] Feng Ming,Chen Jun.Efficient action recognition based on local binary descriptor[J].Journal of Chinese Computer Systems(JCCS),2016,37(6):1289-1292.

附中文參考文獻：

[28] 劉長紅,楊 楊,劉應輝.基于稀疏編碼的時空金字塔匹配的動作識別[J].小型微型計算機系統(tǒng),2012,33(1):169-172.

[29] 馮 銘,陳 軍.基于局部二進制描述符的高效動作識別方法[J].小型微型計算機系統(tǒng),2016,37(6):1289-1292.