基于自適應(yīng)多尺度圖卷積網(wǎng)絡(luò)的骨架動作識別

劉寬，奚小冰，周明東

（1.上海交通大學(xué) 機械與動力工程學(xué)院 上海市復(fù)雜薄板結(jié)構(gòu)數(shù)字化制造重點實驗室，上海 200240；2.上海交通大學(xué)醫(yī)學(xué)院附屬瑞金醫(yī)院，上海 200240）

0 概述

人體動作識別廣泛應(yīng)用于人機交互、運動輔助、行為檢測等領(lǐng)域?，F(xiàn)有研究對表示人體動作的各類數(shù)據(jù)模態(tài)進行了探索，如RGB 圖像、深度圖像、光流、人體骨架等。在這些數(shù)據(jù)模態(tài)中，人體骨架數(shù)據(jù)只包含骨架關(guān)節(jié)點的二維或三維空間坐標，高度抽象的動作表達對動態(tài)環(huán)境和復(fù)雜背景具有更強的魯棒性［1］。同時，由于運動傳感器、3D 深度相機和人體姿態(tài)估計算法的不斷發(fā)展，基于骨架數(shù)據(jù)的動作識別方法吸引了愈來愈多的學(xué)者進行研究［2-6］。

早期的人體骨架動作識別方法多采用手工設(shè)計特征方法捕捉骨架關(guān)節(jié)點之間的相對位置關(guān)系［7-9］，該方法主要依賴關(guān)節(jié)點之間的相對平移和旋轉(zhuǎn)提取骨架序列的時空特征，設(shè)計復(fù)雜的特征提取器限制模型性能［10］。近年來，由于深度學(xué)習(xí)算法的不斷發(fā)展，基于深度學(xué)習(xí)的動作識別方法受到廣泛關(guān)注?；谏疃葘W(xué)習(xí)方法的人體骨架動作識別方法主要分為3 類：基于循環(huán)神經(jīng)網(wǎng)絡(luò)的骨架數(shù)據(jù)動作識別方法［11-17］、基于卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）的骨架數(shù)據(jù)動作識別方法［18-22］以及基于圖神經(jīng)網(wǎng)絡(luò)（Graph Convolution Network，GCN）的骨架數(shù)據(jù)動作識別方法［23-34］?；谘h(huán)神經(jīng)網(wǎng)絡(luò)的骨架數(shù)據(jù)動作識別方法將骨架序列逐幀編碼為向量后輸入到循環(huán)神經(jīng)網(wǎng)絡(luò)單元或長短期記憶網(wǎng)絡(luò)單元中，學(xué)習(xí)序列間的時空特征以進行動作識別?；诰矸e神經(jīng)網(wǎng)絡(luò)的骨架數(shù)據(jù)動作識別方法首先將骨架數(shù)據(jù)預(yù)處理轉(zhuǎn)化為偽圖像，然后采用卷積神經(jīng)網(wǎng)絡(luò)對偽圖像進行多尺度的特征提取和分類。但是，上述兩類動作識別方法將骨架數(shù)據(jù)轉(zhuǎn)化為向量或偽圖像的建模方式忽略了人體骨架的自然拓撲結(jié)構(gòu)，識別效果有限?；趫D神經(jīng)網(wǎng)絡(luò)的骨架數(shù)據(jù)動作識別方法的圖神經(jīng)網(wǎng)絡(luò)將人體骨架的拓撲結(jié)構(gòu)定義為鄰接矩陣，使用圖結(jié)構(gòu)對骨架序列進行建模以提取人體的時空運動特征。YAN等［23］將圖卷積網(wǎng)絡(luò)（STGCN）應(yīng)用于基于人體骨架數(shù)據(jù)的動作識別任務(wù)中，將自然人體骨架的拓撲結(jié)構(gòu)和時空域中的時間運動依賴性定義為稀疏連接的時空無向圖，模型分別使用空間圖卷積算子和時間圖卷積算子學(xué)習(xí)骨架序列的空間運動特征和時間運動特征。SHI等［24-25］改進圖卷積網(wǎng)絡(luò)，提出自適應(yīng)注意力模塊學(xué)習(xí)骨架的拓撲結(jié)構(gòu)圖，并將骨架關(guān)節(jié)點和骨架長度一同作為模型的輸入，提升了圖卷積網(wǎng)絡(luò)在動作識別任務(wù)中的分類性能。SHI等［26］基于自然人體中關(guān)節(jié)和骨架之間的運動依賴關(guān)系，將骨架數(shù)據(jù)表示為有向無環(huán)圖并設(shè)計了一種有向圖神經(jīng)網(wǎng)絡(luò)，提取骨架序列運動的特征信息。LIU等［27］提出一種時間和空間分離的多尺度圖卷積算子和時間和空間統(tǒng)一的時空圖卷積算子，通過多尺度聚合方法實現(xiàn)有效的動作特征提取。DING等［28］提出語義引導(dǎo)圖卷積網(wǎng)絡(luò)，使用拓撲結(jié)構(gòu)圖提取模塊、動作圖推理模塊和注意圖迭代模塊聚合特征信息并捕獲動作的潛在依賴關(guān)系。孫琪翔等［29］設(shè)計基于圖卷積網(wǎng)絡(luò)的非局部網(wǎng)絡(luò)模塊，有效獲取全局特征信息，從而提高網(wǎng)絡(luò)識別準確率。CHEN等［30］提出通道拓撲細化圖卷積模塊（CTR-GC）以學(xué)習(xí)骨架拓撲結(jié)構(gòu)并聚合不同通道的骨架關(guān)節(jié)點特征，實現(xiàn)基于骨架的動作識別。王小娟等［31］基于空間注意力機制和通道注意力機制，對骨架數(shù)據(jù)的動作特征進行多粒度卷積和動態(tài)融合。ZHANG等［32］提出SATD-GCN網(wǎng)絡(luò)，基于空間自注意力模塊和時間擴展圖卷積模塊，有效減輕了數(shù)據(jù)冗余問題并增強模型魯棒性。TU等［33］采用骨架關(guān)節(jié)點與骨架長度融合的關(guān)系驅(qū)動圖卷積網(wǎng)絡(luò)作為特征提取器并采用姿勢預(yù)測模塊實現(xiàn)半監(jiān)督學(xué)習(xí)。BIAN等［34］提出人物關(guān)系圖卷積模塊，以自監(jiān)督的方式學(xué)習(xí)群體活動識別的骨架動作特征。

上述圖卷積網(wǎng)絡(luò)大多使用預(yù)定義的固定拓撲圖表達人體不同部位之間的連接關(guān)系，但是人體在執(zhí)行不同動作時，各個部位之間具有不同的關(guān)系，比如“脫鞋”動作需要手和腳相互配合才能完成，而上述使用預(yù)定義拓撲圖的圖卷積網(wǎng)絡(luò)很難捕捉兩者之間的關(guān)系，因為預(yù)定義的拓撲圖中手與腳并不存在直接的連接關(guān)系。此外，固定的拓撲圖無法根據(jù)動作調(diào)節(jié)人體各部位之間連接關(guān)系的強弱，例如“脫帽”動作手和頭之間應(yīng)該具有更強的關(guān)系，而“踢球”動作則應(yīng)弱化兩者之間的連接關(guān)系。上述方法在研究骨架數(shù)據(jù)的時間維度建模時多采用固定尺寸的單支路時間圖卷積算子，但由于各類動作的持續(xù)時間、重復(fù)次數(shù)不同，例如“鼓掌”是重復(fù)動作，每次“鼓掌”只持續(xù)很短的時間，而“脫鞋”是持續(xù)時間很長的單次動作，因此固定尺寸的單支路時間圖卷積算子難以捕捉具有不同時空粒度的動作特征。

為了解決上述問題，本文提出基于自適應(yīng)多尺度圖卷積網(wǎng)絡(luò)的人體骨架動作識別方法，自適應(yīng)多尺度圖卷積網(wǎng)絡(luò)包括自適應(yīng)空間圖卷積層和多尺度時間圖卷積層。自適應(yīng)空間圖卷積層基于自注意力機制，以數(shù)據(jù)驅(qū)動的方式動態(tài)構(gòu)建骨架的拓撲結(jié)構(gòu)，根據(jù)動作輸入網(wǎng)絡(luò)自行調(diào)節(jié)人體各部位的連接關(guān)系。多尺度時間圖卷積層對單支路時間圖卷積核進行多支路擴展，從而捕獲動作的多粒度時空特征，使得模型具有多尺度的時空感受野。將骨架關(guān)節(jié)點、骨架長度、骨架關(guān)節(jié)點運動、骨架長度運動四路信息作為模型輸入，并在NTU RGB+D 60 動作識別數(shù)據(jù)集和NTU RGB+D 120 動作識別數(shù)據(jù)集上開展實驗驗證所提方法的有效性。

1 圖卷積網(wǎng)絡(luò)

1.1 人體骨架序列

人體骨架序列由每幀中每個人體骨架關(guān)節(jié)點的二維或三維坐標表示。在具有N個關(guān)節(jié)點和T幀的骨架序列上構(gòu)造無向時空圖G=(V，E)，其中V={vti|t=1，2，…，N}表示骨架序列中的所有骨架關(guān)節(jié)點，vti代表第t幀的第i個骨架點。根據(jù)骨架結(jié)構(gòu)的自然具有的連接特性，建立同一幀內(nèi)各個骨架點之間的連接關(guān)系。骨架邊集E由連接同一幀內(nèi)人體各個骨架點的骨架邊集ES={vtivtj|(i，j) ∈H}和連接前后兩幀之間相同骨骼點的骨架邊集EF={vtiv(t+1)i}的兩個子集組成，H表示人體骨架點集。

1.2 空間圖卷積

圖卷積網(wǎng)絡(luò)是針對具有圖結(jié)構(gòu)數(shù)據(jù)設(shè)計的基于神經(jīng)網(wǎng)絡(luò)的特征提取算法，被廣泛應(yīng)用于有圖性質(zhì)的推薦系統(tǒng)、社交網(wǎng)絡(luò)、交通預(yù)測等任務(wù)中［35-37］。圖卷積網(wǎng)絡(luò)通過式（1）計算：

空間圖卷積算子對骨架序列的第τ幀進行圖卷積操作，如圖1 黑色框線所示，該幀包含有N個骨架點的骨架點集Vτ和連接該幀內(nèi)各個骨架點的骨架邊集ES(τ)={vtivtj|τ=t，(i，j) ∈H}，空間圖卷積算子表達式為：

圖1 空間圖卷積算子和時間圖卷積算子Fig.1 Spatial graph convolution operator and temporal graph convolution operator

其中：fin表示維度為Cin×T×N的輸入骨架序列；fout表示維度Cout×T×N的輸出骨架序列；?為卷積操作；WS表示維度為Cin×Cout×1×1 的空間圖卷積核；A是維度N×N的鄰接矩陣，表達式如式（3）所示：

式（2）中的Λ為防止圖卷積網(wǎng)絡(luò)在反向傳播時出現(xiàn)梯度消失或梯度爆炸問題的度矩陣，表達式為：

1.3 時間圖卷積

時間圖卷積算子對骨架序列的第ι個骨架點進行圖卷積操作，如圖1 淺色框線所示，包含T幀中所有該骨架點組成的點集Vι和前后連接該骨架點的骨架邊集EF={vtiv(t+1)i|i=ι}。時間圖卷積算子和空間圖卷積算子類似，時間圖卷積算子表達式為：

其中：WF表示維度為Cin×Cout×T×1 的時間圖卷積核，是時間圖卷積核的訓(xùn)練參數(shù)。

2 自適應(yīng)多尺度圖卷積網(wǎng)絡(luò)

2.1 自適應(yīng)空間圖卷積層A-GCN

本文基于自注意力機制［24-25，38］提出自適應(yīng)空間圖卷積層（A-GCN），根據(jù)骨架序列輸入樣本對骨架拓撲結(jié)構(gòu)進行數(shù)據(jù)驅(qū)動的自適應(yīng)優(yōu)化，將骨架的拓撲結(jié)構(gòu)作為參數(shù)與空間圖卷積內(nèi)核一起作為參數(shù)進行學(xué)習(xí)，流程如圖2 所示。

圖2 自適應(yīng)空間圖卷積層的流程Fig.2 Procedure of adaptive spatial graph convolution network

首先，按每τ幀長度將輸入骨架序列fin劃分為T/τ個不重疊的維度為N×τ×Cin的時空窗口，自適應(yīng)空間圖卷積層分別在每個時空窗口內(nèi)計算τ幀內(nèi)所有骨架關(guān)節(jié)點之間的連接關(guān)系。

維度為Cin×Cin/r×1×1 的空間圖卷積核WQ、WK、WV將窗口劃分后的輸入fin分別投射為Q、K、V3 個特征矩陣，提取骨架動作特征的同時將骨架序列的通道維度降維為Cin/r以提升計算效率。

在骨架序列的每個時空窗口內(nèi)分別將Q、KT矩陣相乘，得到維度為T/τ×N×τ×N×τ的自適應(yīng)骨架拓撲結(jié)構(gòu)鄰接矩陣AATTN，將自適應(yīng)骨架拓撲矩陣AATTN與歸一化后的預(yù)定義骨架拓撲鄰接矩陣相加后使用Tanh 激活函數(shù)將矩陣元素歸一化到(-1，1)之間，得到最終的骨架拓撲結(jié)構(gòu)矩陣Bk，矩陣元素Bk[i，j]代表第i個骨架點和第j個骨架點之間連接關(guān)系的強弱，Ak定義如圖3 所示。每個骨架樣本在不同時空窗口內(nèi)其拓撲結(jié)構(gòu)都是唯一的、由輸入樣本生成的自適應(yīng)拓撲結(jié)構(gòu)矩陣，數(shù)據(jù)驅(qū)動的骨架拓撲動態(tài)調(diào)整人體各部位的連接關(guān)系。AATTN、Bk、Tanh 函數(shù)的表達式分別如下所示：

圖3 k 階鄰接矩陣Fig.3 k-hop adjacency matrix

基于多頭注意力機制［38］，對骨架序列輸入重復(fù)r次上述操作。多頭注意力網(wǎng)絡(luò)能夠感知并提取骨架不同鄰域范圍的空間信息，加強了人體各關(guān)節(jié)點之間的聯(lián)系。

骨架拓撲結(jié)構(gòu)矩陣Bk與特征矩陣V相乘并經(jīng)過維度為Cin/r×Cout×1×1 的空間圖卷積核W，將骨架序列的通道維度升維為Cout，最后合并r層骨架動作特征并加入殘差連接［39］，窗口還原后得到自適應(yīng)空間圖卷積層輸出fout。

2.2 多尺度時間圖卷積層MS-TCN

自適應(yīng)空間圖卷積層的各個時空窗口之間相對閉合，信息無法進行有效交互，因此需要對骨架序列的時間維度進行特征建模。本文采用多尺度時間圖卷積層（MS-TCN）將單支路時間圖卷積核進行多支路擴展［27］，以捕獲人體動作特征不同粒度的時空模式。多尺度時間圖卷積層的算法流程如圖4 所示。

圖4 多尺度時間圖卷積層的算法流程Fig.4 Algorithm procedure of multi-scale temporal graph convolution network

多尺度時間圖卷積層采用瓶頸設(shè)計對骨架數(shù)據(jù)的時間維度進行建模，在6 條支路分別使用維度為Cin×Cin/6×1×1 的時間圖卷積核將骨架序列的通道維度降維為Cin/6 以提升計算效率。其中4 條支路分別使用膨脹率為1、2、3、4 的維度為Cin×Cout×3×1 的時間圖卷積核，分別以3 幀、6 幀、9 幀、12 幀的采樣率對骨架序列進行多種時間粒度的特征提取。為進一步擴張模型的時空感受野，加入維度為Cin×Cin/6×1×1 時間圖卷積支路和最大池化支路。最后在通道維度上對6 條支路的輸出進行拼接將骨架序列的通道維度升維為Cout，并在輸入和輸出之間加入殘差連接［39］得到多尺度時間圖卷積層的最終輸出。

2.3 時空圖卷積網(wǎng)絡(luò)總體架構(gòu)

時空圖卷積網(wǎng)絡(luò)模型的整體架構(gòu)如圖5 所示。

圖5 時空圖卷積網(wǎng)絡(luò)模型的整體架構(gòu)Fig.5 Overall architecture of spatiotemporal graph convolutional network model

模型輸入數(shù)據(jù)維度為T×N×3 的骨架序列，線性投影層將骨架序列的通道維度升維為C并將幀數(shù)T減半，使用6 層串聯(lián)連接的自適應(yīng)空間圖卷積層（A-GCN）和多尺度時間圖卷積層（MS-TCN）提取骨架時空特征，在第2 層尾部和第4 層尾部對骨架特征的時間維度進行下采樣，通道數(shù)C翻倍的同時幀數(shù)T減半。

原始骨架序列通過6 層A-GCN+MS-TCN 模塊建立維度為T/8×N×8C的多層次骨架動作特征表示，采用Softmax 函數(shù)對經(jīng)過平均池化層和分類頭的骨架特征進行動作預(yù)測，最終模型輸出維度為S×1的向量，該向量即代表模型最終得出S類動作的概率分布。

3 實驗結(jié)果與分析

3.1 數(shù)據(jù)集

本文使用NTU RGB+D 60 數(shù)據(jù)集和NTU RGB+D 120 數(shù)據(jù)集。

NTU RGB+D 60 數(shù)據(jù)集［11］是使用3 臺動作捕捉相機拍攝的動作識別任務(wù)的數(shù)據(jù)集，包含由40 名10～35 歲志愿者完成的共60 類動作以及56 880 個數(shù)據(jù)樣本。每個骨架樣本數(shù)據(jù)的維度為T×N×3，其中T表示該骨架序列的總幀數(shù)，N表示每幀中的總骨架關(guān)節(jié)點數(shù)，3 表示每個骨架關(guān)節(jié)點都有(x，y，z)3 個坐標值。NTU RGB+D 60 數(shù)據(jù)集使用人物劃分（Cross-Subject，CS）和視角劃 分（Cross-View，CV）兩種模式劃分訓(xùn)練集和測試集，其中CS 劃分模式按照志愿者劃分訓(xùn)練集和測試集，訓(xùn)練集包含40 320 個樣本，測試 集包含16 560 個樣本；CV 劃分模式按照相機劃分訓(xùn)練集和測試集，將相機2 和相機3 采集的37 920 個樣本作為訓(xùn)練集，相機1 采集的19 960 個樣本作為測試集。

NTU RGB+D 120 數(shù)據(jù)集［40］是對NTU RGB+D 60數(shù)據(jù)集的擴展數(shù)據(jù)集，另外增加包含60 類新動作的57 367 個數(shù)據(jù)樣本，數(shù)據(jù)集共包含120 類動作以及113 945 個數(shù)據(jù)樣本。NTU RGB+D 120 數(shù)據(jù)集使用CS 和設(shè)置劃分（Cross-Setup，CT）兩種模式劃分訓(xùn)練集和測試集，其中CS 劃分模式按照志愿者劃分訓(xùn)練集和測試集，訓(xùn)練集包含63 026 個樣本，測試集包含50 919 個樣本；CT 劃分模式按照相機設(shè)置方案劃分訓(xùn)練集和測試集，訓(xùn)練集包含54 468 個樣本，測試集包含49 477 個樣本。

3.2 數(shù)據(jù)預(yù)處理

為將數(shù)據(jù)樣本的各維度坐標歸一化到同一區(qū)間，并消除特征間的相關(guān)性以便于模型學(xué)習(xí)，使用如下步驟對原始骨架序列進行預(yù)處理［27］：

1）將骨架序列的第1幀坐標值線性投影到［-1，1］的區(qū)間內(nèi)，其余幀采取相同線性變換與第1 幀進行對齊；

2）對骨架序列進行三維坐標旋轉(zhuǎn)，使骨架的左右肩線平行于x軸，脊柱平行于z軸；通過重新放映骨架動作，將所有的骨架序列幀數(shù)統(tǒng)一填充為288幀。預(yù)處理前后的骨架序列樣本對比如圖6 所示。

圖6 原始骨架序列和預(yù)處理后骨架序列對比Fig.6 Comparison between original skeleton sample and preprocessed skeleton sample

3.3 網(wǎng)絡(luò)設(shè)置與實驗數(shù)據(jù)預(yù)處理

使用Python 語言PyTorch 深度學(xué)習(xí)框架建立網(wǎng)絡(luò)，NTU RGB+D 數(shù)據(jù)集預(yù)處理方式如第3.2 節(jié)所述，整體網(wǎng)絡(luò)模型如第2.3 節(jié)所述。通過大量實驗最終確定使用6 層A-GCN+MS-TCN 搭建自適應(yīng)多尺度時空圖卷積網(wǎng)絡(luò)模型，每層的通道數(shù)C分別定義為96、96、192、192、384、384；注意力頭數(shù)量r定義為4；時空窗口長度τ定義為1。訓(xùn)練批數(shù)據(jù)大小為32，優(yōu)化算法使用帶動量的隨機梯度下降算法，動量設(shè)置為0.9。初始學(xué)習(xí)率為0.05，模型共訓(xùn)練100輪，在訓(xùn)練到35 輪和70 輪時學(xué)習(xí)率乘1/10。損失函數(shù)使用交叉熵函數(shù)，權(quán)重衰減參數(shù)設(shè)置為0.000 4。為防止模型出現(xiàn)過擬合，在每個模塊的殘差連接部分加入drop path層，drop path 層隨機丟棄概率設(shè)置為0.2。使用標簽平滑方法加速訓(xùn)練同時防止網(wǎng)絡(luò)過擬合，標簽平滑參數(shù)設(shè)置為0.1。

為驗證本文所提的自適應(yīng)空間圖卷積層和多尺度時間圖卷積層的有效性，在NTU RGB+D 60 數(shù)據(jù)集CV 劃分模式下進行消融實驗，網(wǎng)絡(luò)僅輸入骨架關(guān)節(jié)點坐標，不使用數(shù)據(jù)增強。實驗結(jié)果如表1 所示，采用自適應(yīng)的空間圖卷積層A-GCN 和固定尺寸的單支路時間圖卷積層TCN，相比于ST-GCN 基線模型，模型的識別準確率提升了5.1 個百分點；同時采用自適應(yīng)的空間圖卷積層A-GCN 和多尺度時間圖卷積層MS-TCN 時模型識別準確率進一步提升至95.6%。

表1 NTU RGB+D 60 數(shù)據(jù)集下的消融實驗結(jié)果Table 1 Ablation experiment results under the NTU RGB+D 60 data set %

圖7 為預(yù)定義的骨架拓撲圖和自適應(yīng)的骨架拓撲圖實例對比，矩陣中元素的灰度表示兩骨架關(guān)節(jié)點之間連接關(guān)系的強弱。圖7（a）是預(yù)定義的骨架拓撲圖，圖7（b）是A-GCN+MS-TCN 模型在NTU RGB+D 60 數(shù)據(jù)集的CV 劃分模式下學(xué)習(xí)到的骨架拓撲圖實例。自適應(yīng)的空間圖卷積算子能夠根據(jù)輸入動作自適應(yīng)調(diào)整骨架關(guān)節(jié)點之間聯(lián)系的強弱，顯著增強模型的表達能力，有效提升模型的分類性能。

圖7 預(yù)定義骨架拓撲圖和自適應(yīng)骨架拓撲圖對比Fig.7 Comparison between predefined skeleton topology graph and adaptive skeleton topology graph

為提高算法模型的動作識別準確率，將骨架關(guān)節(jié)點、骨架長度、以及骨架關(guān)節(jié)點運動和骨架長度運動共4 路信息輸入模型，在NTU RGB+D 60 數(shù)據(jù)集CV劃分模式下進行消融實驗，結(jié)果如表2 所示，由表2 可知，當僅使用骨架關(guān)節(jié)點作為模型輸入時，模型的top-1 準確率為95.6%，將骨架長度和骨架關(guān)節(jié)點兩路信息一同輸入模型后準確率提高至96.5%，將骨架關(guān)節(jié)點、長度、關(guān)節(jié)點運動和長度運動完整4 路信息輸入時模型準確率進一步提升至96.8%，與僅輸入骨架關(guān)節(jié)點相比，網(wǎng)絡(luò)的識別準確率提高了1.2個百分點。

表2 多流融合的NTU RGB+D 60 數(shù)據(jù)集下的消融實驗結(jié)果Table 2 Ablation experiment results of multi stream fusion on the NTU RGB+D 60 data set %

將本文所提的A-GCN+MS-TCN 完整模型與在NTU RGB+D 60 數(shù)據(jù)集和NTU RGB+D 120 數(shù)據(jù)集上識別效果較好的其他模型進行對比，如表3、表4所示，表中加粗數(shù)字表示該組數(shù)據(jù)最大值。由表3可知，A-GCN+MS-TCN 模型在NTU RGB+D 60 數(shù)據(jù)集的CS、CV 劃分模式下分別取得90.5%和96.8%的動作識別準確率，相比于ST-GCN 基線模型，在CS、CV 劃分模式下的識別準確率分別提升了9.0、8.5 個百分點。由 表4可知，A-GCN+MS-TCN模型在NTU RGB+D 120 數(shù)據(jù)集的CS、CT 劃分模式下分別取得86.0%和88.7%的動作識別準確率。

表3 不同模型在NTU RGB+D 60 數(shù)據(jù)集下的結(jié)果對比Table 3 Results comparison of different models under the NTU RGB+D 60 data set %

表4 不同模型在NTU RGB+D 120數(shù)據(jù)集下的結(jié)果對比Table 4 Results comparison of different models under the NTU RGB+D 120 data set %

以上結(jié)果表明，自適應(yīng)多尺度圖卷積網(wǎng)絡(luò)能夠根據(jù)輸入動作動態(tài)調(diào)節(jié)骨架關(guān)節(jié)點間的連接關(guān)系提取骨架動作的多粒度的時空特征，具有良好的泛化性能和表達能力，提升了圖卷積網(wǎng)絡(luò)的識別性能。

4 結(jié)束語

本文提出基于自適應(yīng)多尺度圖卷積網(wǎng)絡(luò)的人體骨架動作識別方法。針對預(yù)定義骨架拓撲圖連接關(guān)系固定導(dǎo)致模型泛化能力不足的問題，提出自適應(yīng)空間圖卷積層對骨架拓撲結(jié)構(gòu)進行自適應(yīng)調(diào)整，使用數(shù)據(jù)驅(qū)動的骨架拓撲圖提升模型的泛化能力。針對單支路圖卷積核提取特征導(dǎo)致模型表達能力不足的問題，提出多尺度時間圖卷積層對時間圖卷積算子進行多支路擴展，采用動態(tài)融合的骨架序列的時空特征提升模型的表達能力。在NTU RGB+D 60 和NTU RGB+D 120 動作識別數(shù)據(jù)集上驗證本文模型的有效性，實驗結(jié)果表明本文模型相比現(xiàn)有圖卷積網(wǎng)絡(luò)動作識別模型顯著提升了分類準確率，具有良好的泛化性和魯棒性。但本文模型僅針對人體骨架進行動作識別，由于忽略了環(huán)境、場景等輔助信息，導(dǎo)致模型對某些特定動作的識別能力較差，因此下一步將對多模態(tài)數(shù)據(jù)融合的動作識別模型進行研究，以提升模型的動作識別準確率。