基于骨骼時空圖的人體行為識別

谷學(xué)靜，沈 攀+，劉海望，郭 俊，位占鋒

(1.華北理工大學(xué) 電氣工程學(xué)院，河北 唐山 063210；2.唐山市科技中心 數(shù)字媒體工程技術(shù)研究中心，河北 唐山 063000；3.華北理工大學(xué)輕工學(xué)院 電氣信息學(xué)院，河北 唐山 063000)

0 引 言

就目前而言，人體行為識別[1]研究主要分為3個方向，分別是基于靜態(tài)圖片信息、視頻序列片段信息以及骨骼點(diǎn)的特征信息的研究方向，通過對3種不同數(shù)據(jù)類型進(jìn)行建模，分析人體姿態(tài)的行為特征，從而識別出人體的具體行為類型。目前，針對前兩種方法的研究已經(jīng)取得很大進(jìn)展，例如文獻(xiàn)[3]采用雙流法(TWO-stream)分別對輸入視頻的每幀RGB圖像和幀與幀之間的密集光流序列信息進(jìn)行建模，用CNN的方法訓(xùn)練得到的靜態(tài)信息和短時序列模型進(jìn)行融合(fusion)[3]，從而完成對視頻行為的識別和分類，取得良好效果；文獻(xiàn)[4]中分析了視頻和圖像在維度上的不同之處，采用三維卷積(C3D)的方法用于視頻中的行為特征提取，卷積核由二維變成三維來進(jìn)行端到端的訓(xùn)練，其識別速度得到很大提升[4]。相比較而言，基于人體骨骼信息的行為識別關(guān)注較少，但是其蘊(yùn)含著人體重要行為信息用來表示人體的行為特征，因此考慮如何對人體的動態(tài)骨骼信息進(jìn)行深入挖掘，獲得更有效的特征來提高人體識別的準(zhǔn)確率仍然有待探索。

基于骨骼信息的研究仍然具有很大的挑戰(zhàn)，骨骼的動態(tài)信息可以通過人體的關(guān)節(jié)位置和時間序列的組合來表示，然后通過分析其關(guān)節(jié)點(diǎn)的聯(lián)合坐標(biāo)向量來提取動作特征并完成預(yù)測。隨著機(jī)器學(xué)習(xí)的發(fā)展，利用深度學(xué)習(xí)方法處理骨骼數(shù)據(jù)是當(dāng)前研究的主流方向[5]，比如yang等利用在視頻幀間的關(guān)節(jié)坐標(biāo)距離變化量矩陣生成視頻特征，然后把視頻特征輸入到支持向量機(jī)中進(jìn)行訓(xùn)練和分類[6]，yong等在此基礎(chǔ)上提出了一種端到端的分層神經(jīng)網(wǎng)絡(luò)用于提取骨骼特征，將骨骼信息進(jìn)行劃分，分塊輸入到神經(jīng)網(wǎng)絡(luò)中，突出了整體結(jié)構(gòu)與部分的關(guān)系[7]，liu等在RNN的基礎(chǔ)上通過引入新的門控單元對輸入數(shù)據(jù)序列進(jìn)行學(xué)習(xí)，可以有效解決三維骨架中的遮擋問題[8]。Song等通過加入注意力機(jī)制對每一幀的骨骼數(shù)據(jù)進(jìn)行不同程度的關(guān)注，從而能夠更有效獲取骨骼的動態(tài)數(shù)據(jù)信息[9]。

由此可見，行為識別的關(guān)鍵在于如何設(shè)計網(wǎng)絡(luò)模型提取人體骨骼的動態(tài)信息，受到圖卷積(GCN)研究的啟發(fā)，考慮保留骨骼信息中關(guān)節(jié)在運(yùn)動中的自然連接的空間結(jié)構(gòu)，將骨架整體作為拓?fù)鋱D輸入到圖卷積網(wǎng)絡(luò)，結(jié)合多尺度時間卷(multi scale TCN)對骨骼的時間動態(tài)進(jìn)行建模，使得骨骼信息可以從時空維度進(jìn)行整合，從而學(xué)習(xí)更有效的信息來提升行為識別的模型效果。

1 圖卷積網(wǎng)絡(luò)

1.1 圖卷積概述

卷積神經(jīng)網(wǎng)絡(luò)對圖像數(shù)據(jù)具有很強(qiáng)的特征抽取與整合能力，廣泛應(yīng)用于圖像處理工作，但是其應(yīng)用有一定限制，輸入的圖像數(shù)據(jù)必須是具有規(guī)則的網(wǎng)格化結(jié)構(gòu)的類型，也就是說需要將數(shù)據(jù)類型先轉(zhuǎn)化成規(guī)則排列的矩陣類型，如圖1所示。

圖1 規(guī)則的網(wǎng)格結(jié)構(gòu)

因此對骨骼信息的應(yīng)用必須將骨骼的坐標(biāo)序列轉(zhuǎn)換成2D的網(wǎng)格形式，從本質(zhì)來講還是圖像的識別。但是在實際研究和生活過程中并非都具備規(guī)則的序列結(jié)構(gòu)，比如社交網(wǎng)絡(luò)、通信網(wǎng)絡(luò)等都是一定數(shù)量的節(jié)點(diǎn)相互連接構(gòu)成的不規(guī)則拓?fù)鋱D，如圖2所示。

圖2 網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)

即圖論中點(diǎn)和邊構(gòu)成的集合，用G(E,V)表示，其中E表示邊的集合，V表示點(diǎn)的集合[10]。圖卷積就是在傳統(tǒng)卷積(CNN)的基礎(chǔ)上將其拓展應(yīng)用到拓?fù)鋱D的結(jié)構(gòu)上，更好捕捉圖上節(jié)點(diǎn)與節(jié)點(diǎn)之間的連接特征關(guān)系，并且對連接邊賦予一定權(quán)值來進(jìn)行節(jié)點(diǎn)的特征提取過程。

1.2 圖卷積原理

卷積的本質(zhì)實質(zhì)是對一定范圍內(nèi)的像素加權(quán)求平均的過程，圖卷積則是對每個節(jié)點(diǎn)的特征和與其相連接的鄰居結(jié)點(diǎn)進(jìn)行加權(quán)求平均后，傳遞到下一層的過程，如圖3和圖4所示。

圖3 卷積原理

圖4 圖卷積原理

不難看出，同卷積過程類似，將拓?fù)鋱D上的頂點(diǎn)理解成像素點(diǎn)，人為給定其傳播方向，將卷積核函數(shù)作用得到的聚合特征值作為一個特征圖(featuremap)傳遞到下一個網(wǎng)絡(luò)層，同一個卷積核的權(quán)值共享，在應(yīng)用GCN時需要注意由于拓?fù)鋱D沒有規(guī)則的網(wǎng)絡(luò)結(jié)構(gòu)，因此本質(zhì)上并無明確核函數(shù)的概念[11]，為了便于理解，在圖中添加了陰影區(qū)域，將這個區(qū)域視為卷積中的核函數(shù)，其權(quán)重為所有參與聚合的節(jié)點(diǎn)按一定規(guī)則劃分的不同子集構(gòu)成的集合，例如圖中距離中間節(jié)點(diǎn)w0的距離劃分為1和2的不同子集，在對每個鄰域子集的內(nèi)的節(jié)點(diǎn)進(jìn)行特征值聚合時保持權(quán)重不變從而實現(xiàn)權(quán)值共享。特征在層與層之間的傳播方式可以用式(1)表示

Mi=f(Mi-1,A),其中M0=X，

f(Mi,A)=σ(AMiWi)

(1)

在式(1)中，M表示特征矩陣，i表示層數(shù)，當(dāng)i=0時，M0表示節(jié)點(diǎn)自身的特征矩陣，A表示鄰接矩陣，W為權(quán)重，節(jié)點(diǎn)特征矩陣分別左乘和右乘鄰接矩陣與權(quán)重，可以實現(xiàn)對特征的聚合和加權(quán)，因此，如何設(shè)計鄰接矩陣A和權(quán)重分配策略W是基于骨骼圖卷積研究的重點(diǎn)。

2 基于骨骼的時空圖卷積

2.1 骨骼時空圖構(gòu)建

人體的骨骼構(gòu)成也是由關(guān)節(jié)點(diǎn)和肢體連接線構(gòu)成的點(diǎn)和邊的集合，符合圖的定義，因此，可以對人體骨骼使用圖卷積，但是需要考慮的一個問題是，在人體動作過程中，并非都是一個靜止的信息，而是具有連續(xù)時間序列的一系列數(shù)據(jù)，為了更好利用圖卷積來提取骨骼的動態(tài)信息，除了對空間上的骨骼關(guān)節(jié)點(diǎn)的自然連接的空間邊以外，還加入了不同時間幀之間的時間邊信息用來描述行為在時序上的變化特征，將傳統(tǒng)的圖卷積擴(kuò)展應(yīng)用到時間鄰域上，如圖5所示。

圖5 骨骼時空

關(guān)節(jié)點(diǎn)作為圖的節(jié)點(diǎn)與時空邊的連接構(gòu)成了時空骨骼圖的結(jié)構(gòu)G(V，E)，圖的信息包含了關(guān)節(jié)點(diǎn)的數(shù)量N，以及輸入的一段視頻所包含的幀數(shù)T，每個關(guān)節(jié)點(diǎn)對應(yīng)的特征矩陣用Vi表示。所以可以得到所有節(jié)點(diǎn)在T幀的特征矩陣集合如式(2)所示

(2)

其中，單幀內(nèi)的第i個關(guān)節(jié)點(diǎn)特征向量用f(vi)表示，包含每個關(guān)節(jié)的坐標(biāo)以及置信度，在構(gòu)造骨骼時空圖的過程主要分為兩步，第一步是獲取人體骨架在動作過程中的原始連接關(guān)系，不需要進(jìn)行人為的手工設(shè)計，通過openpose工具或者相關(guān)設(shè)備獲取到視頻序列中的人體關(guān)節(jié)點(diǎn)信息，依靠獲取到的關(guān)節(jié)點(diǎn)信息構(gòu)成自然的身體骨骼結(jié)構(gòu)。多幀的連續(xù)骨骼圖還需要對時間邊進(jìn)行連接，因此邊的集合有兩部分構(gòu)成，分別用Es和Ef表示，如式(3)所示

(3)

其中，Es為單幀內(nèi)的骨骼點(diǎn)的連接，Ef為相同骨骼點(diǎn)在不同幀間的連接，通過構(gòu)建時空圖描述人體運(yùn)動過程隨時間變化的軌跡信息。

2.2 骨骼空間圖卷積

首先，對骨骼的空間信息進(jìn)行建模，按照圖卷積的定義，可以在卷積網(wǎng)絡(luò)的公式上進(jìn)行拓展，以卷積運(yùn)算為例，如式(4)所示

(4)

其中，包含兩個主要函數(shù)，分別為采樣函數(shù)和權(quán)重函數(shù)，采樣函數(shù)p主要用來對x的鄰域像素進(jìn)行獲取，即圍繞中心點(diǎn)x的一個大小為K*K的網(wǎng)格狀區(qū)域，權(quán)重矩陣w則是對采樣函數(shù)p所選擇的網(wǎng)格區(qū)域內(nèi)的數(shù)據(jù)按照一定空間順序進(jìn)行索引，用權(quán)重矩陣w與采樣區(qū)域做內(nèi)積運(yùn)算即可獲取每個鄰域像素與中心點(diǎn)的權(quán)重關(guān)系，可以對此公式進(jìn)行改進(jìn)來應(yīng)用于骨骼時空圖，分別對采樣函數(shù)和權(quán)重函數(shù)進(jìn)行改進(jìn)，上一節(jié)已經(jīng)構(gòu)造了時空骨骼圖得到關(guān)節(jié)點(diǎn)的集合V，因此采樣函數(shù)的中心點(diǎn)變成骨骼的關(guān)節(jié)點(diǎn)v，采樣區(qū)域變成與節(jié)點(diǎn)相鄰節(jié)點(diǎn)鄰域集合，用B(vti)={vtj|d(vtj,vti>=K)} 表示，其中d表示距離采樣點(diǎn)vti的最小距離，K表示距離范圍為K的集合，這里K值取1用來選取距離節(jié)點(diǎn)為1的鄰域集合。

然后對權(quán)重函數(shù)進(jìn)行重新定義，由于圖卷積在空間并無固定順序，所以需要對鄰域集合B(vti)進(jìn)行劃分，假設(shè)劃分的子集數(shù)量為N，通過一個標(biāo)簽映射函數(shù)對其中每個子集進(jìn)行編碼，如公式所示l(vi)=B(vi)→{0,1,...N}，使鄰域中的點(diǎn)映射到劃分之后特定的子集中，使其具有相同的標(biāo)簽，可以得到新的權(quán)重函數(shù)，用式(5)表示

w(vti,vtj)=w′(lti(vtj))

(5)

因此，將式進(jìn)行拓展，應(yīng)用新的權(quán)重和采樣函數(shù)可以得到骨骼的圖卷積表達(dá)式如式(6)所示

(6)

其中，Zti(vtj)=|{vtk|lti(vtk)=lti(vtj)}|等于子集的基數(shù)，用來減少不同子集對輸出結(jié)果的影響。

2.3 多尺度時間卷積

不同的行為類型具有不同的時間特征，動作的持續(xù)時間也會隨著動作類型的不同而變化。為了更好描述這一動作變化特征，提出了一種多尺度方法對不同時間跨度的動作類型同時進(jìn)行卷積，然后將卷積的結(jié)果進(jìn)行線性加權(quán)融合，這樣可以讓網(wǎng)絡(luò)模型同時捕獲不同時間長度的動作類型特點(diǎn)，適應(yīng)不同復(fù)雜度的行為變化。

將圖卷積的公式擴(kuò)展到時間域建模，上一節(jié)分析的節(jié)點(diǎn)鄰域為單幀t內(nèi)的骨骼圖連接，接下來將考慮其連續(xù)幀之間的相同節(jié)點(diǎn)之間的連接，如式(7)所示

S(vti)={vqj|d(vtj,vti)≤K,|q-t|≤|Γ/2|}

(7)

式中：Γ表示時間軸的跨度，其值決定了時間卷積時時卷積核的大小，為了使節(jié)點(diǎn)vi可以在時間和空間維度生成對應(yīng)的鄰域空間，需要對上文中已經(jīng)構(gòu)建的標(biāo)簽映射函數(shù)進(jìn)行修改如公式所示

(8)

2.4 多尺度時間卷積方法框架描述

在傳統(tǒng)時間卷積TCN的單一卷積核尺度進(jìn)行擴(kuò)充，采用多尺度時間卷積(multi scale TCN)(以下簡稱(MS-TCN))，增加一個時間跨度為2Γ大小的卷積核用來提取持續(xù)時間長的行為特征，如圖6所示，在進(jìn)行時間卷積過程中增加一個尺度為原來卷積核大小兩倍的新卷積對時間特征進(jìn)行卷積，卷積核的總數(shù)量保持不變。此時網(wǎng)絡(luò)中包含兩個不同時間跨度的卷積核對骨骼向量同時進(jìn)行特征提取，這樣可以在每一個卷積層進(jìn)行多尺度卷積，獲取輸入骨骼信息在不同尺度下的特征，最后，將兩種卷積核提取到的信息進(jìn)行融合，經(jīng)過平均池化輸入到softmax完成行為分類，其原理結(jié)構(gòu)如圖6所示。

圖6 多尺度時間卷積網(wǎng)絡(luò)結(jié)構(gòu)

多尺度時間卷積中包含的每個卷積核的計算過程是相同的，其原理如式(9)所示

fi=fi-1+Wl*λfi-1

(9)

其中，f表示輸出，i表示網(wǎng)絡(luò)層數(shù)，W表示第l層所有濾波器的集合，λ為Relu激活函數(shù)，設(shè)原始TCN網(wǎng)絡(luò)濾波器個數(shù)為N，則經(jīng)過多尺度變化為兩個數(shù)量為N/2，大小分別為k*1和2k*1的卷積核，在T幀視頻上進(jìn)行卷積操作，每個節(jié)點(diǎn)的特征維度為C,首先對節(jié)點(diǎn)Xi進(jìn)行特征提取，沿著時間序列的方向按照步長為1進(jìn)行移動，卷積完成后向下移動，遍歷所有的關(guān)節(jié)點(diǎn)，在每次卷積過程中，將兩種尺度卷積的結(jié)果進(jìn)行連接形成卷積結(jié)果，依次在所構(gòu)建的10個網(wǎng)絡(luò)層之間進(jìn)行傳遞累加，然后將最終的本次網(wǎng)絡(luò)的輸入為經(jīng)過openpose處理后的關(guān)節(jié)點(diǎn)向量X，經(jīng)過多尺度卷積分別對X進(jìn)行卷積，兩個跨度卷積過程如圖中黑色實線和虛線框所示，然后將卷積后的所有結(jié)果拼接，將最后得到的結(jié)果進(jìn)行線性加權(quán)融合。

3 多尺度時空圖卷積的應(yīng)用

將時空圖卷積應(yīng)用到行為識別，首先將對輸入視頻中的人體行為利用openpose處理工具進(jìn)行姿態(tài)估計，將人體標(biāo)注的關(guān)節(jié)點(diǎn)連接成骨骼輸出，然后由BN層對不同幀的節(jié)點(diǎn)坐標(biāo)進(jìn)行批歸一化，可以消除不同量綱之間的影響，降低數(shù)據(jù)特征由于評價指標(biāo)不同而對結(jié)果產(chǎn)生的影響，進(jìn)一步增強(qiáng)數(shù)據(jù)集的可比性。同時在整個網(wǎng)絡(luò)中還加入注意力模型層(ATTENTION)，用來學(xué)習(xí)相鄰節(jié)點(diǎn)的權(quán)值。因為人體運(yùn)動過程中的節(jié)點(diǎn)不斷變化，每個動態(tài)部位的建模與節(jié)點(diǎn)聯(lián)系的相關(guān)度不同，比如在跑步這個動作類型中，腿部信息的重要性要大于脖子，因此加入注意力模型層(ATTENTION)層可以讓網(wǎng)絡(luò)模型能夠自主學(xué)習(xí)每個空間邊緣的重要性，然后輸入圖卷積GCN和多尺度時間卷積(MS-TCN)融合的網(wǎng)絡(luò)模型，最后利用softmax分類器，完成人體行為的分類，網(wǎng)絡(luò)總體結(jié)構(gòu)如圖7所示。

圖7 網(wǎng)絡(luò)結(jié)構(gòu)

3.1 數(shù)據(jù)預(yù)處理

Openpose可以對預(yù)先定義好的人體關(guān)節(jié)點(diǎn)比如頸部、肩膀、手臂等關(guān)鍵部位進(jìn)行標(biāo)注，然后將標(biāo)注的關(guān)節(jié)點(diǎn)進(jìn)行連接，即人體骨架的提取，這里選取每幀平均置信度最高的兩個人，提取其關(guān)鍵點(diǎn)的坐標(biāo)向量作為輸入。

通常每次輸入網(wǎng)絡(luò)的一個批次(batch)視頻可以用一個5維矩陣來表示(N，C，T，V，M)，其中N代表一個批次中視頻的數(shù)量，C用來表示關(guān)節(jié)的特征，即x和y的坐標(biāo)，以及置信度等3個特征，T表示關(guān)鍵幀的數(shù)量，V表示關(guān)節(jié)的數(shù)量，由于openpose的標(biāo)注有不同數(shù)量的關(guān)節(jié)點(diǎn)，因此V的值不一樣所以最終輸入網(wǎng)絡(luò)的形狀為(256，3，150，18，2)。

3.2 子集劃分

在進(jìn)行空間圖卷積的時候，需要對每個節(jié)點(diǎn)的鄰域進(jìn)行劃分，這里考慮到不同行為動作的特點(diǎn)以及節(jié)點(diǎn)時空結(jié)構(gòu)特征，將鄰域按照根節(jié)點(diǎn)距離重心(所有骨骼點(diǎn)的坐標(biāo)平均值)的距離劃分為3個子圖，采樣點(diǎn)作為選取的根節(jié)點(diǎn)，以根節(jié)點(diǎn)距離重心的距離ri為標(biāo)準(zhǔn)，鄰域內(nèi)的點(diǎn)距離重心的距離rj如果大于ri，則被劃分到子集1，如果距離重心的距離小于ri，則被劃分到另子集2，如式(10)所示

(10)

劃分后的子圖有3個子圖如圖8所示。

圖8 劃分后的3個子圖

通過這樣的劃分方式，分解成3個子圖，分別表示離心、向心和靜止3種運(yùn)動形態(tài)，可以更有效捕獲行為動作的時空信息，卷積核的數(shù)量由1個變成3個，即(1,18,18)變?yōu)?3,18,18)。然后根據(jù)卷積的尺度不變特性，對3個卷積核分別進(jìn)行卷積，再進(jìn)行加權(quán)平均(和圖像卷積相同)就可以得到最終結(jié)果。

3.3 多尺度時間卷積與模型融合

對于網(wǎng)絡(luò)而言還需要考慮的一點(diǎn)是如何對模型進(jìn)行有效融合，由于采用的分類器都為softmax，考慮其函數(shù)性質(zhì)將所有的函數(shù)輸出映射到(0，1)輸出，為了體現(xiàn)每個模型的優(yōu)勢，采用線性加權(quán)融合，如式(11)所示

pfusion(yi)=αpa(yi)+(1-α)pb(yi)

(11)

其中，α為參數(shù)，p為概率矩陣，按照公式運(yùn)算即可得到模型融合之后行為類型輸出。

4 實驗結(jié)果及分析

本次實驗的數(shù)據(jù)集采用目前最大的3D行為識別數(shù)據(jù)集NTU RGB+D數(shù)據(jù)集，在骨架序列中，包含兩個評估基準(zhǔn)，分別是交叉受試者(cross subject，CS)，即來自一個演員的訓(xùn)練片段子集，通過其他演員的視頻片段對模型進(jìn)行評估，以及交叉視圖(cross view，CV)，即來自2號和3號攝像頭的視頻片段用于訓(xùn)練，用1號攝像頭采集的片段對模型進(jìn)行評估。本次實驗從這兩個角度對網(wǎng)絡(luò)模型進(jìn)行評估。對網(wǎng)絡(luò)的初始參數(shù)進(jìn)行設(shè)定，整個ST GCN網(wǎng)絡(luò)配置見表1。

表1 網(wǎng)絡(luò)模型參數(shù)配置

10個網(wǎng)絡(luò)層的神經(jīng)元分成3部分，分別為前4層、中間3層以及最后3層，對應(yīng)神經(jīng)元數(shù)量分別為64，128，256，同時為了能夠在訓(xùn)練過程不斷調(diào)整模型的訓(xùn)練效果，對學(xué)習(xí)速率進(jìn)行調(diào)整，每10個epoch以后變?yōu)樵瓉淼?.1倍，然后對網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，分別在CS和CV上進(jìn)行模型準(zhǔn)確率和損失率的評估，其結(jié)果如圖9所示。

圖9 訓(xùn)練準(zhǔn)確率變化

圖9顯示用多尺度ST GCN網(wǎng)絡(luò)模型在數(shù)據(jù)集CS和CV的實驗效果，經(jīng)過100次迭代以后，模型的準(zhǔn)確率分別可以達(dá)到80.1%和89.8%，在前20個epoch準(zhǔn)確率的速率變化非常明顯，大約60個epoch以后，準(zhǔn)確率變化逐漸趨于平緩。

同時為了驗證改進(jìn)的多尺度時間卷積與原始TCN之間的模型效果，在數(shù)據(jù)集上進(jìn)一步設(shè)計了基于骨骼特征向量的行為識別對比實驗，構(gòu)建的網(wǎng)絡(luò)模型如2.4節(jié)的圖6所示，網(wǎng)絡(luò)參數(shù)不變的前提下，分別使用尺度為8*1的單尺度TCN以及8*1和16*1兩個尺度融合的多尺度時間卷積進(jìn)行特征提取，在相同的訓(xùn)練次數(shù)和網(wǎng)絡(luò)參數(shù)下進(jìn)行訓(xùn)練，結(jié)果如圖10所示。

圖10 不同尺度下的模型準(zhǔn)確率對比

由實驗結(jié)果圖可以看出，在模型最終的識別準(zhǔn)確率上，多尺度的模型要優(yōu)于單尺度的模型效果，在CS和CV上分別驗證得到的對比結(jié)果為61%和70%，78%和83%，分別提高了9個和5個百分點(diǎn)，主要是因為多尺度模型可以捕獲不同時長下的行為特征，針對越復(fù)雜的行為動作類型，提升的效果越明顯，將長時信息和短時信息結(jié)合，獲取的動作特征具有更強(qiáng)的表征能力，使得模型學(xué)習(xí)到更具魯棒性的特征，因此，所提出的多尺度時間卷積模型具有更好的性能，相比于單尺度網(wǎng)絡(luò)具有更高的識別準(zhǔn)確率。

此外，為了進(jìn)一步驗證模型的效果，與其它幾種主流的網(wǎng)絡(luò)模型進(jìn)行對比，結(jié)果見表2。

表2 不同網(wǎng)絡(luò)模型準(zhǔn)確率對比

從實驗結(jié)果來看，Multi scale ST GCN的網(wǎng)絡(luò)模型準(zhǔn)確率要高于其它幾種算法，無論是和傳統(tǒng)的手工方法還是基于RNN等方法的特征提取相比，均具有一定優(yōu)勢，主要是因為構(gòu)建的網(wǎng)絡(luò)模型可以從多尺度挖掘骨骼運(yùn)動的時空信息獲取到更高層的時空結(jié)構(gòu)特征，因此，在模型最終的識別準(zhǔn)確率上有了明顯的提升。

5 結(jié)束語

從時空層面構(gòu)建了時空圖卷積網(wǎng)絡(luò)，用于人體骨架運(yùn)動信息的特征提取，從中獲取骨架自然邊的連接關(guān)系來構(gòu)建骨骼時空圖，充分挖掘骨架運(yùn)動所蘊(yùn)含的信息，在傳統(tǒng)圖像卷積的基礎(chǔ)上，對圖卷積進(jìn)行拓展，將骨骼運(yùn)動的方式進(jìn)行劃分，從而更好描述和捕捉運(yùn)動的形態(tài)。在原始時間卷積(TCN)的基礎(chǔ)上進(jìn)行多尺度時間卷積(MS-TCN)的改進(jìn)，解決了持續(xù)時長不同的行為動作類型的識別問題，對連續(xù)動作的不同時長的行為特征疊加，同時融合了骨骼空間圖卷積的行為特征，可以更加完整的對骨骼的時空信息進(jìn)行整合，在NTU RGB+D數(shù)據(jù)集上取得了很好的效果。在今后的工作中，嘗試對通過引入自適應(yīng)的方法增加肢體方向和長度等特征，結(jié)合雙流框架對骨骼流和節(jié)點(diǎn)流進(jìn)行特征融合的行為識別。