基于時(shí)空?qǐng)D神經(jīng)網(wǎng)絡(luò)的手勢(shì)識(shí)別

袁 冠，邴 睿，劉 肖，代 偉，張艷梅，蔡 卓

（1. 礦山數(shù)字化教育部工程研究中心，江蘇徐州 221116；2. 中國(guó)礦業(yè)大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，江蘇徐州 221116；3. 中國(guó)礦業(yè)大學(xué)信息與控制工程學(xué)院，江蘇徐州 221116）

1 引言

近年來(lái)，感知計(jì)算、傳感器集成技術(shù)的快速發(fā)展，使得全方位感知的人機(jī)交互成為了可能. 手勢(shì)識(shí)別具有便利性、自然化和用戶友好等特點(diǎn)，給人機(jī)交互帶來(lái)了新機(jī)遇［1］. 利用手勢(shì)進(jìn)行交互，不僅可以保留用戶原有的交互習(xí)慣，還可以豐富人機(jī)交互的內(nèi)涵和形式［2，3］. 基于可穿戴多傳感器的手勢(shì)識(shí)別主要利用多傳感器融合的方法采集手部姿態(tài)及運(yùn)動(dòng)數(shù)據(jù)，并進(jìn)行計(jì)算、分析及識(shí)別. 將其作為指令輸入，實(shí)現(xiàn)用戶與設(shè)備之間的交互，充分體現(xiàn)了交互方式的自然性、人機(jī)關(guān)系的和諧性、交互途徑的隱含性以及感知通道的多樣性.因此，基于可穿戴多傳感器的手勢(shì)識(shí)別已經(jīng)成為現(xiàn)階段人機(jī)交互研究的熱點(diǎn)，被廣泛地應(yīng)用于虛擬現(xiàn)實(shí)［4］、健康醫(yī)療［5，6］、工業(yè)控制［7］、智能家居［8］及軍事作戰(zhàn)［9］等多個(gè)領(lǐng)域.

根據(jù)模型識(shí)別方法的不同，現(xiàn)有的手勢(shì)識(shí)別算法可以分為兩大類：基于統(tǒng)計(jì)模型的方法和基于深度學(xué)習(xí)的方法. 常用于手勢(shì)識(shí)別的統(tǒng)計(jì)模型有支持向量機(jī)（Support Vector Machine，SVM）［10］、隱馬爾可夫模型（Hidden Markov Model，HMM）［11］. 例如：Chen 等人［12］使用MYO 腕帶采集手勢(shì)數(shù)據(jù)，并對(duì)原始手勢(shì)數(shù)據(jù)進(jìn)行預(yù)處理，降低噪聲，檢測(cè)肌肉活動(dòng)區(qū)域，然后通過(guò)滑動(dòng)窗口對(duì)傳感器數(shù)據(jù)進(jìn)行特征提取，最后，結(jié)合SVM 完成對(duì)手勢(shì)的識(shí)別；Kumar 等人［13］借助耦合隱馬爾可夫模型，提出了多傳感器融合手勢(shì)識(shí)別方法，該方法克服了HMM 中使用觀察狀態(tài)的缺點(diǎn)，在狀態(tài)空間中提供信息交互，從而提高了手勢(shì)識(shí)別的性能. 統(tǒng)計(jì)模型在小樣本、小標(biāo)簽的數(shù)據(jù)集上取得了良好的識(shí)別效果［14］. 但是隨著手勢(shì)數(shù)據(jù)維度的增多、手勢(shì)數(shù)據(jù)軌跡復(fù)雜化，統(tǒng)計(jì)模型識(shí)別性能大大降低，主要原因在于手動(dòng)提取的統(tǒng)計(jì)特征無(wú)法表征手勢(shì)數(shù)據(jù)之間的類內(nèi)相似性和類間相異性，并受限于專業(yè)領(lǐng)域知識(shí)差異，人工特征提取對(duì)結(jié)果影響比較大.

深度學(xué)習(xí)在手勢(shì)識(shí)別方向應(yīng)用廣泛，簡(jiǎn)化了統(tǒng)計(jì)模型的特征工程過(guò)程，避免了人工干擾，實(shí)現(xiàn)了跨領(lǐng)域的知識(shí)共享. 常用于手勢(shì)識(shí)別的神經(jīng)網(wǎng)絡(luò)模型有卷積神經(jīng)網(wǎng)絡(luò)［15］、循環(huán)神經(jīng)網(wǎng)絡(luò)［16］以及圖神經(jīng)網(wǎng)絡(luò)［17］. 在手勢(shì)識(shí)別過(guò)程中經(jīng)常利用不同模型的優(yōu)勢(shì)互補(bǔ)信息，增強(qiáng)手勢(shì)識(shí)別的效果. 比如Nunez 等人［18］考慮到使用長(zhǎng)短期記憶單元（Long Short Term Memory，LSTM）提取手勢(shì)數(shù)據(jù)的時(shí)序特征時(shí)，需要依賴上一時(shí)刻的信息，無(wú)法并行執(zhí)行，導(dǎo)致模型訓(xùn)練速度慢，首先使用卷積神經(jīng)網(wǎng)絡(luò)（Convolution Neural Network，CNN）提取手勢(shì)數(shù)據(jù)特征，再通過(guò)權(quán)值共享減少網(wǎng)絡(luò)模型訓(xùn)練的參數(shù)量；Chen等人［19］為避免傳統(tǒng)機(jī)器學(xué)習(xí)方法提取手勢(shì)數(shù)據(jù)特征時(shí)的人工干擾，使用CNN 自動(dòng)提取手勢(shì)數(shù)據(jù)的隱性特征，結(jié)合SVM 完成對(duì)手勢(shì)的識(shí)別，提高了手勢(shì)識(shí)別精度；劉肖等人［20］通過(guò)卷積神經(jīng)網(wǎng)絡(luò)提取手勢(shì)數(shù)據(jù)特征，結(jié)合多分類器進(jìn)行決策融合，提高手勢(shì)識(shí)別的準(zhǔn)確率；為充分融合不同模型之間的優(yōu)勢(shì)，Zhu等人［21］采用混合深度模型對(duì)手勢(shì)數(shù)據(jù)進(jìn)行識(shí)別，該模型由卷積神經(jīng)網(wǎng)絡(luò)和長(zhǎng)短期記憶單元組成.

雖然現(xiàn)有的深度學(xué)習(xí)模型在一定程度上增強(qiáng)了手勢(shì)識(shí)別性能，但是忽略了手勢(shì)數(shù)據(jù)的空間關(guān)聯(lián)性［22］，即相鄰關(guān)節(jié)點(diǎn)的手勢(shì)在空間上相互連接、相互影響. 因此本文提出了基于時(shí)空?qǐng)D神經(jīng)網(wǎng)絡(luò)的手勢(shì)識(shí)別模型（Spatial-Temporal Graph Neural Network based Hand Gesture Recognition，STGNN-HGR），可以提取手勢(shì)數(shù)據(jù)的空間關(guān)聯(lián)信息與長(zhǎng)距離依賴關(guān)系，以實(shí)現(xiàn)更優(yōu)的識(shí)別精度. 在中國(guó)手語(yǔ)及標(biāo)準(zhǔn)軍隊(duì)手語(yǔ)數(shù)據(jù)集上的實(shí)驗(yàn)證明了本文方法的有效性.

2 基礎(chǔ)知識(shí)

2.1 問(wèn)題描述

基于多傳感器融合的手勢(shì)識(shí)別可以看作多分類問(wèn)題，其目的是從原始傳感器數(shù)據(jù)中提取具有強(qiáng)表征能力的信息，進(jìn)而識(shí)別手勢(shì)的類型. 給定一系列預(yù)處理的傳感器數(shù)據(jù){Di}Ti=1，T表示手勢(shì)數(shù)據(jù)的采樣數(shù)，則t時(shí)刻的手勢(shì)數(shù)據(jù)Dt∈RN×S，如式（1）所示：

其中，N表示嵌入在人體上肢傳感器的數(shù)量；S表示每個(gè)傳感器的屬性維度. 根據(jù)人體自然連接性和傳感器的空間位置，將傳感器數(shù)據(jù)D轉(zhuǎn)換為圖結(jié)構(gòu)數(shù)據(jù)G=(V，E，F(xiàn))，其中V表示人體關(guān)節(jié)點(diǎn)，E表示人體上肢自然連接性，F(xiàn)表示各關(guān)節(jié)點(diǎn)處傳感器特征，轉(zhuǎn)換如式（2）所示：

其中，H為轉(zhuǎn)換矩陣，其功能為將傳感器數(shù)據(jù)構(gòu)造為圖結(jié)構(gòu)數(shù)據(jù). 假設(shè)φ表示特征提取模型，給定t時(shí)刻預(yù)處理后的圖結(jié)構(gòu)Gt，則特征向量Xt可以按式（3）的方式提?。?/p>

使用手勢(shì)識(shí)別模型φ，計(jì)算每個(gè)手勢(shì)Y={y1，y2，…，yc}的置信度得分P，即條件概率分布，如式（4）所示：

其中，θ表示手勢(shì)識(shí)別模型φ中所有的參數(shù)；c為手勢(shì)種類的數(shù)量. 已知手勢(shì)的置信度得分P，則識(shí)別模型的預(yù)測(cè)值為概率最大的手勢(shì)數(shù)據(jù)標(biāo)簽，計(jì)算方式如式（5）所示：

2.2 基于空間關(guān)聯(lián)的手勢(shì)圖構(gòu)建

為了描述嵌入在關(guān)節(jié)點(diǎn)處傳感器的空間分布信息，STGNN-HGR 引入圖結(jié)構(gòu)G=(V，E，F(xiàn))對(duì)嵌入在人體上肢傳感器的空間位置進(jìn)行建模，即對(duì)上臂、前臂、手掌以及五指進(jìn)行關(guān)節(jié)點(diǎn)抽象建模［23］. 圖的頂點(diǎn)表示各個(gè)關(guān)節(jié)點(diǎn)，頂點(diǎn)集V={v1，v2，…，vM}，M表示關(guān)節(jié)點(diǎn)數(shù)量. 圖的邊表示肢體連接特性，邊集E={e1，e2，…，en}，n表示邊的數(shù)量. 圖的輸入特征為各關(guān)節(jié)點(diǎn)處的傳感器數(shù)值，組成特征集合F={f1，f2，…，fT}，T表示采樣數(shù). 手勢(shì)建模如圖1所示.

圖1 手勢(shì)建模

傳感器的空間信息由鄰接矩陣和特征矩陣組成.鄰接矩陣A∈RM×M表示傳感器空間關(guān)聯(lián)特性，鄰接矩陣aij∈A描述如式（6）：

其中，當(dāng)不同關(guān)節(jié)點(diǎn)vi和vj存在自然連接時(shí)，鄰接矩陣aij的取值為1，aij=1 的數(shù)量為2n；否則，鄰接矩陣aij的取值為0.

特征矩陣F∈RM×S由嵌入在人體上肢關(guān)節(jié)點(diǎn)的傳感器數(shù)據(jù)組成，M表示關(guān)節(jié)點(diǎn)數(shù)量，S表示關(guān)節(jié)點(diǎn)的特征維度.表示關(guān)節(jié)點(diǎn)vi的特征屬性表示不同關(guān)節(jié)點(diǎn)處特征fj的傳感器數(shù)值.

3 基于時(shí)空?qǐng)D神經(jīng)網(wǎng)絡(luò)的手勢(shì)識(shí)別

本文提出的基于時(shí)空?qǐng)D神經(jīng)網(wǎng)絡(luò)的手勢(shì)識(shí)別模型（STGNN-HGR）主要包含以下三部分：數(shù)據(jù)建模、特征提取、手勢(shì)識(shí)別. 圖2 展示了STGNN-HGR 的框架. 首先，為了充分利用關(guān)節(jié)點(diǎn)之間的連通性，STGNN-HGR使用圖結(jié)構(gòu)表示嵌入在人體上肢的傳感器空間信息.空間信息主要由鄰接矩陣和特征矩陣組成，鄰接矩陣表示人體上肢關(guān)節(jié)點(diǎn)的自然連接性，特征矩陣表示手部運(yùn)動(dòng)及姿態(tài)信息即各關(guān)節(jié)點(diǎn)處的傳感器數(shù)值. 然后，STGNN-HGR 結(jié)合圖卷積神經(jīng)網(wǎng)絡(luò)（Graph Neural Networks，GCN）聚合相互連通關(guān)節(jié)點(diǎn)的運(yùn)動(dòng)信息. 最后，按照時(shí)序信息，將同一關(guān)節(jié)點(diǎn)不同采樣的空間特征轉(zhuǎn)換為時(shí)間序列，并借助入門(mén)控制循環(huán)單元（Gated Recurrent Unit，GRU）提取手勢(shì)數(shù)據(jù)的時(shí)序特征，解決動(dòng)態(tài)手勢(shì)的時(shí)序性和長(zhǎng)期依賴問(wèn)題，從而完成對(duì)手勢(shì)動(dòng)作的識(shí)別.

圖2 STGNN-HGR框架

3.1 圖卷積神經(jīng)網(wǎng)絡(luò)

為了解決非歐氏空間數(shù)據(jù)的特征提取問(wèn)題，STGNN-HGR 采用圖卷積經(jīng)神經(jīng)網(wǎng)絡(luò)聚合相互連通關(guān)節(jié)點(diǎn)的手勢(shì)姿態(tài)信息. 首先，為了聚合各關(guān)節(jié)點(diǎn)的自身運(yùn)動(dòng)特征，形成自環(huán)，將鄰接矩陣A與單位矩陣I∈RM×M相加，即A+I. 然后，由于各個(gè)節(jié)點(diǎn)的度的差異性會(huì)導(dǎo)致梯度消失或梯度爆炸現(xiàn)象，因此，為了加強(qiáng)模型學(xué)習(xí)時(shí)的數(shù)值穩(wěn)定性，需要將A+I進(jìn)行歸一化處理，即Λ-1/2(A+I)Λ-1/2. 最 后，t∈T時(shí) 刻 的 空 間 特 征由式（7）提?。?/p>

其中，W表示權(quán)重矩陣；Λ表示節(jié)點(diǎn)的對(duì)角度矩陣；LeakyReLU（·）為非線性激活函數(shù)，用來(lái)解決常用的ReLU（·）激活函數(shù)由于單側(cè)抑制導(dǎo)致神經(jīng)元無(wú)法有效更新的問(wèn)題，如式（8）所示：

其中，參數(shù)λ為取值在［0，1］上的超參數(shù)，用于控制變量x為負(fù)值時(shí)映射函數(shù)的斜率大小，避免在變量x小于0時(shí)梯度消失的情況.

3.2 門(mén)控循環(huán)單元

動(dòng)態(tài)手勢(shì)數(shù)據(jù)不僅具有時(shí)序性，而且存在著長(zhǎng)距離依賴問(wèn)題，這意味著手勢(shì)數(shù)據(jù)不僅隨時(shí)間不斷變化，還受到之前某一時(shí)刻輸入數(shù)據(jù)的影響. 為了充分提取手勢(shì)數(shù)據(jù)的時(shí)序信息，STGNN-HGR 將同一關(guān)節(jié)點(diǎn)不同采樣處的空間特征轉(zhuǎn)化為時(shí)間序列，如圖3所示.已知手勢(shì)數(shù)據(jù)空間特征表示為且表示采樣數(shù). 按照時(shí)間序列，將同一關(guān)節(jié)點(diǎn)vi不同采樣的空間特征轉(zhuǎn)化為時(shí)間特征序列轉(zhuǎn)化過(guò)程如式（9）所示：

圖3 手勢(shì)時(shí)序特征

其中，H為轉(zhuǎn)化矩陣，用于將空間特征按照時(shí)間流順序轉(zhuǎn)化為時(shí)序信息.

傳統(tǒng)機(jī)器學(xué)習(xí)模型（如HMM）能夠有效地識(shí)別序列數(shù)據(jù)，但無(wú)法解決手勢(shì)數(shù)據(jù)的長(zhǎng)距離依賴關(guān)系，即在較長(zhǎng)手勢(shì)序列中，當(dāng)前位置的手勢(shì)類別可能依賴輸入開(kāi)始時(shí)的數(shù)據(jù). 為了表征節(jié)點(diǎn)時(shí)序信息，解決動(dòng)態(tài)手勢(shì)數(shù)據(jù)的長(zhǎng)距離依賴問(wèn)題，STGNN-HGR采用GRU利用門(mén)控機(jī)制控制輸入與記憶等信息，不僅解決了循環(huán)神經(jīng)網(wǎng)絡(luò)的梯度消失問(wèn)題，又簡(jiǎn)化了長(zhǎng)短期記憶單元的計(jì)算機(jī)制，提高了手勢(shì)識(shí)別的效率和精度.GRU 的結(jié)構(gòu)如圖4所示.

圖4 GRU結(jié)構(gòu)圖

首先，時(shí)間序列特征ftime與上一時(shí)刻隱層狀態(tài)ht-1構(gòu)成更新門(mén)，得到更新?tīng)顟B(tài)zt，用于控制前一刻時(shí)間步和當(dāng)前時(shí)間步傳遞信息量，其計(jì)算如公式（10）所示：

其中，Wz與Uz分別為更新門(mén)中對(duì)特征和上一時(shí)刻隱層狀態(tài)的權(quán)重矩陣，bz為偏置量. 然后，設(shè)置重置門(mén)決定當(dāng)前時(shí)刻遺忘多少上一時(shí)刻的手勢(shì)信息，如式（11）所示：

其中，Wr與Ur分別為重置門(mén)中對(duì)特征和上一時(shí)刻隱層狀態(tài)的權(quán)重矩陣，br為偏置量. 接著，計(jì)算新記憶狀態(tài)，其得到的上一時(shí)刻手勢(shì)信息量由重置門(mén)rt決定，如式（12）所示：

與式（10）、式（11）類似，Wh與Uh分別為新記憶狀態(tài)計(jì)算中對(duì)特征和上一時(shí)刻隱層狀態(tài)的權(quán)重矩陣，bh為偏置量. 最后，得到當(dāng)前時(shí)間步的最終信息量，即保留當(dāng)前單元的信息量并傳遞到下一個(gè)單元，如式（13）所示：

其中，⊙表示數(shù)乘，主要用于計(jì)算不同時(shí)刻信息的保留與傳遞情況.

3.3 時(shí)空?qǐng)D神經(jīng)網(wǎng)絡(luò)手勢(shì)識(shí)別

本文提出的STGNN-HGR 模型將關(guān)節(jié)點(diǎn)處的傳感器數(shù)據(jù)轉(zhuǎn)化圖結(jié)構(gòu)數(shù)據(jù)，結(jié)合圖卷積神經(jīng)網(wǎng)絡(luò)聚合鄰接節(jié)點(diǎn)信息，解決了手勢(shì)數(shù)據(jù)的空間關(guān)聯(lián)性問(wèn)題. 此外，STGNN-HGR通過(guò)GRU提取手勢(shì)數(shù)據(jù)的時(shí)間序列信息，解決了動(dòng)態(tài)手勢(shì)的時(shí)序性和長(zhǎng)距離依賴問(wèn)題.STGNN-HGR的算法流程如算法1所示.

算法1 時(shí)空?qǐng)D神經(jīng)網(wǎng)絡(luò)手勢(shì)識(shí)別STGNN-HGR輸入:手勢(shì)數(shù)據(jù)集D={d1，d2，…，dT}與對(duì)應(yīng)標(biāo)簽Y={y1，y2，…，yT}輸出:手勢(shì)識(shí)別的精確度acc創(chuàng)建手勢(shì)鄰接矩陣A ∈RM×M;創(chuàng)建特征矩陣{Ft}T t=1 ∈RM×S;FOREACH dt ∈D={d1，d2，…，dT}:Ft=reshape(dt); //將傳感器數(shù)據(jù)轉(zhuǎn)化為特征矩陣END FOR FOREACH 采樣數(shù)t ∈T:f t space=LeakyReLu(Λ-1 2(A+I)Λ-1 2 FtW); //提取手勢(shì)數(shù)據(jù)的空間特征END FOR{f i time}M i=1=H{f t space}T t=1; //空間特征轉(zhuǎn)換時(shí)間序列FOREACH vi ∈V={v1，v2，…，vm}: //對(duì)于每個(gè)節(jié)點(diǎn)時(shí)間流f i ts=GRU(f i time); //提取手勢(shì)數(shù)據(jù)的時(shí)序特征END FOR fts=concat{f 1 ts，f 2 ts，…，f M ts }; //特征融合y?=softmax(fts); //獲得手勢(shì)數(shù)據(jù)預(yù)測(cè)值loss=-∑i=1 Tyi log(⌒yi); //使用損失函數(shù)訓(xùn)練模型acc=STGNN(Dtest); //計(jì)算模型測(cè)試集識(shí)別準(zhǔn)確率RETURN acc //返回準(zhǔn)確率

4 實(shí)驗(yàn)與性能分析

為了驗(yàn)證本文方法的有效性，在中國(guó)手語(yǔ)數(shù)據(jù)集與標(biāo)準(zhǔn)軍隊(duì)動(dòng)態(tài)手勢(shì)數(shù)據(jù)集上設(shè)計(jì)對(duì)比實(shí)驗(yàn). 選擇由基于統(tǒng)計(jì)模型與基于深度學(xué)習(xí)模型組成的5 種不同的手勢(shì)識(shí)別算法進(jìn)行對(duì)比分析.

4.1 實(shí)驗(yàn)數(shù)據(jù)分析

本文設(shè)計(jì)實(shí)現(xiàn)了集成雙手臂環(huán)的數(shù)據(jù)手套作為數(shù)據(jù)采集平臺(tái)，創(chuàng)建了中國(guó)手語(yǔ)數(shù)據(jù)集（Chinese Sign Language，CSL）.CSL由6名志愿者（3名男性和3名女性）完成，他們按照日常中國(guó)手語(yǔ)的動(dòng)作協(xié)議［24］采集了的手勢(shì)數(shù)據(jù). 所有的志愿者在實(shí)驗(yàn)過(guò)程中佩戴數(shù)據(jù)手套.以20Hz 的固定頻率，利用嵌入在數(shù)據(jù)手套中的彎曲傳感器、陀螺儀以及加速度計(jì)，采集手指的彎曲信息、手掌以及大小臂的姿態(tài)信息，并對(duì)手勢(shì)數(shù)據(jù)進(jìn)行手動(dòng)標(biāo)記.CSL 被隨機(jī)分為兩組，其中70%的數(shù)據(jù)用作訓(xùn)練集，30%用作測(cè)試集.CSL 數(shù)據(jù)集主要包含復(fù)合動(dòng)態(tài)手勢(shì)（如“你好”復(fù)合手勢(shì)由“你”和“好”兩個(gè)基本手勢(shì)組成）和基本動(dòng)態(tài)手勢(shì)（如再見(jiàn)、驚訝等手勢(shì)）.

公開(kāi)數(shù)據(jù)集選用標(biāo)準(zhǔn)軍隊(duì)動(dòng)態(tài)手勢(shì)數(shù)據(jù)集［25］（Standardized Hand Signals for Close Range Engagement Operations，CRE）. CRE 包含6 類動(dòng)態(tài)手勢(shì)，每類采集81次，每次采樣數(shù)據(jù)是可變長(zhǎng)度的時(shí)間序列. 采樣過(guò)程中，彎曲傳感器采集手指、手腕以及肘部的彎曲信息，使用慣性測(cè)量單元（IMU-MPU-9250）捕捉手臂的姿態(tài)信息. 圖5 為“Come”手勢(shì)和“I don’t understand”手勢(shì)采集過(guò)程中的傳感器數(shù)值.

圖5 CRE傳感器數(shù)據(jù)圖

CRE與CSL兩種數(shù)據(jù)集的統(tǒng)計(jì)如表1所示.

表1 實(shí)驗(yàn)數(shù)據(jù)集

4.2 評(píng)價(jià)指標(biāo)

評(píng)價(jià)標(biāo)準(zhǔn)是衡量模型魯棒性、泛化性的主要方式.手勢(shì)識(shí)別作為典型的多分類問(wèn)題，在本文中使用準(zhǔn)確率作為評(píng)價(jià)指標(biāo)對(duì)識(shí)別結(jié)果做出評(píng)價(jià). 混淆矩陣是一個(gè)N×N矩陣，N表示手勢(shì)類別標(biāo)簽數(shù)量，行表示識(shí)別模型的預(yù)測(cè)值，列表示實(shí)例對(duì)應(yīng)的真實(shí)值，單元格Cij則表示真實(shí)值yj被識(shí)別為yi的次數(shù).

手勢(shì)識(shí)別過(guò)程中會(huì)出現(xiàn)以下情況：真實(shí)的手勢(shì)種類被正確預(yù)測(cè)為正手勢(shì)種類的情況，記為T(mén)P（True Positive）；不相關(guān)的手勢(shì)種類被正確地預(yù)測(cè)為負(fù)手勢(shì)種類的情況，記為T(mén)N（True Negative）；不相關(guān)的手勢(shì)種類被錯(cuò)誤地預(yù)測(cè)為正手勢(shì)種類的情況，記為FP（False Positive）；真實(shí)的手勢(shì)數(shù)據(jù)被錯(cuò)誤預(yù)測(cè)為負(fù)手勢(shì)種類的情況，記為FN（False Negative）.

準(zhǔn)確率（Accuracy）是指對(duì)于給定的測(cè)試手勢(shì)數(shù)據(jù)集，識(shí)別模型正確分類器的樣本數(shù)占總樣本數(shù)的比值.準(zhǔn)確率的計(jì)算如式（14）所示：

4.3 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證STGNN-HGR 能夠自動(dòng)提取具有強(qiáng)表征能力的深度特征，STGNN-HGR 與基于統(tǒng)計(jì)模型的識(shí)別方法進(jìn)行對(duì)比，包含K 最近鄰（K-Nearest Neighbor，KNN）［26］、SVM［27］等. 此外，為了驗(yàn)證STGNN-HGR 能夠提取手勢(shì)數(shù)據(jù)的空間關(guān)聯(lián)信息，解決動(dòng)態(tài)手勢(shì)的時(shí)序性以及長(zhǎng)距離依賴問(wèn)題，將STGNN-HGR 與CNN［28］，GRU［29］，CNN-LSTM［18］進(jìn)行對(duì)比. 對(duì)比算法的具體描述如表2所示.

表2 對(duì)比算法

4.3.1 參數(shù)分析

（1）圖卷積神經(jīng)網(wǎng)絡(luò)層數(shù)分析

圖卷積神經(jīng)網(wǎng)絡(luò)能夠聚合相互連通關(guān)節(jié)點(diǎn)的手部運(yùn)動(dòng)信息，借助不同粒度的空間特征來(lái)表征不同層次的語(yǔ)義信息. 淺層特征包含更多的原始信息，但語(yǔ)義歧義的問(wèn)題突出；深層特征具有較高的語(yǔ)義性，能夠有效表征原始數(shù)據(jù)，但會(huì)丟失原始數(shù)據(jù)的特性. 因此圖卷積神經(jīng)網(wǎng)絡(luò)的層數(shù)影響著手勢(shì)識(shí)別的性能. 經(jīng)過(guò)多次實(shí)驗(yàn)，圖6 給出了不同網(wǎng)絡(luò)層數(shù)下的手勢(shì)識(shí)別精度. 隨著圖卷積神經(jīng)網(wǎng)絡(luò)層數(shù)增加，識(shí)別準(zhǔn)確率也越高；但當(dāng)層數(shù)增加到3 層時(shí)，準(zhǔn)確率逐漸趨于平穩(wěn)，甚至出現(xiàn)下降趨勢(shì). 因此本文使用深度為3 的圖卷積神經(jīng)網(wǎng)絡(luò)提取手勢(shì)的空間特征.

圖6 圖卷積層數(shù)分析

（2）維度填充方式分析

本文的數(shù)據(jù)集是基于異構(gòu)多傳感器融合的數(shù)據(jù)集，在構(gòu)建圖特征矩陣過(guò)程中，手臂、手掌的特征維度和手指的特征維度出現(xiàn)不一致現(xiàn)象（如慣性測(cè)量單元的特征維度與彎曲傳感器的特征維度不一致），影響了圖的構(gòu)造. 本文采用3 種方法對(duì)傳感器缺失的特征維度進(jìn)行填充.

（a）0 填充. 為了減少負(fù)相關(guān)特征對(duì)識(shí)別精度的影響，每次經(jīng)過(guò)圖卷積運(yùn)算迭代更新后，得到的空間圖特征中缺失的運(yùn)動(dòng)信息用0填充.

（b）統(tǒng)計(jì)特征填充. 為了充分挖掘動(dòng)態(tài)手勢(shì)數(shù)據(jù)的空間特征，將彎曲傳感器缺少的特征信息，用統(tǒng)計(jì)特征進(jìn)行填充，包含均值特征、最值特征、方差特征等，具體描述如表3所示.

表3 常用統(tǒng)計(jì)特征

（c）自由填充. 為了聚合相互連通關(guān)節(jié)點(diǎn)的動(dòng)態(tài)特征信息，使用自由填充方法對(duì)缺失的特征值進(jìn)行填充.首先將彎曲傳感器處缺少的特征信息用0 填充的方式填充. 經(jīng)過(guò)每次圖卷積運(yùn)算迭代更新后，得到的圖特征向量數(shù)值維持不變，此時(shí)缺失的彎曲傳感器特征值為周邊關(guān)節(jié)點(diǎn)特征的聚合值.

圖7給出了在不同維度填充方法下，時(shí)空?qǐng)D神經(jīng)網(wǎng)絡(luò)模型的識(shí)別精度圖.

圖7 維度填充方式分析

從圖7 可知，自由填充的識(shí)別準(zhǔn)確率最高，主要原因在于0 填充方法和統(tǒng)計(jì)填充方法帶來(lái)了人工干擾問(wèn)題，從而影響手勢(shì)識(shí)別的精度；而自由填充的方法充分聚合周邊各關(guān)節(jié)點(diǎn)傳感器運(yùn)動(dòng)特征，從而增強(qiáng)了動(dòng)態(tài)手勢(shì)識(shí)別的性能. 因此，本文采用自由填充方式填充空缺維度值.

（3）超參數(shù)分析

經(jīng)過(guò)多次實(shí)驗(yàn)，將模型參數(shù)設(shè)置為以下參數(shù)值時(shí)，模型具有最優(yōu)效果：中國(guó)手語(yǔ)數(shù)據(jù)集訓(xùn)練過(guò)程中，學(xué)習(xí)率設(shè)為0.005，批次大小設(shè)為100，迭代次數(shù)設(shè)為100；標(biāo)準(zhǔn)軍隊(duì)動(dòng)態(tài)手勢(shì)數(shù)據(jù)集訓(xùn)練過(guò)程中，學(xué)習(xí)率設(shè)為0.001，批次大小設(shè)為100，迭代次數(shù)設(shè)為250. 結(jié)果如圖8所示.

圖8的損失和正確率具有相同的坐標(biāo)量綱，其中圖8（a）為中國(guó)手語(yǔ)基于以上參數(shù)設(shè)置的訓(xùn)練過(guò)程，圖8（b）為標(biāo)準(zhǔn)軍隊(duì)動(dòng)態(tài)手勢(shì)基于以上參數(shù)設(shè)置的訓(xùn)練過(guò)程. 從圖8 中可以看出，模型訓(xùn)練過(guò)程收斂速度較快，且收斂平穩(wěn). 因此，訓(xùn)練出來(lái)的模型具有強(qiáng)魯棒性、高適應(yīng)性的優(yōu)點(diǎn).

圖8 參數(shù)選擇

4.3.2 實(shí)驗(yàn)結(jié)果分析

中國(guó)手語(yǔ)數(shù)據(jù)集數(shù)據(jù)由手臂姿態(tài)信息、手掌姿態(tài)信息以及手指彎曲信息構(gòu)成，能夠?qū)崿F(xiàn)全面描述手勢(shì)的變化軌跡. 而標(biāo)準(zhǔn)軍隊(duì)動(dòng)態(tài)手勢(shì)數(shù)據(jù)集關(guān)注手指、腕部、肘部彎曲信息以及手臂姿態(tài)信息. 圖9 為對(duì)比算法實(shí)驗(yàn)結(jié)果圖.

圖9 對(duì)比算法準(zhǔn)確率分析

從圖中看出，基于深度學(xué)習(xí)的方法手勢(shì)識(shí)別效果高于基于統(tǒng)計(jì)模型的方法，主要原因?yàn)樯疃忍卣鹘鉀Q了統(tǒng)計(jì)特征的人工干擾問(wèn)題，更能夠精確地表征手勢(shì)數(shù)據(jù). 此外，由于中國(guó)手語(yǔ)數(shù)據(jù)集更具動(dòng)態(tài)性、時(shí)序性，因此GRU 識(shí)別效果優(yōu)于其他對(duì)比算法. 而標(biāo)準(zhǔn)軍隊(duì)動(dòng)態(tài)手勢(shì)數(shù)據(jù)集主要關(guān)注手勢(shì)的空間特性，因此，CNN 的識(shí)別準(zhǔn)確率略優(yōu)于其他算法. 整體上，STGNNHGR的識(shí)別效果優(yōu)于其他對(duì)比算法，中國(guó)手語(yǔ)數(shù)據(jù)集的識(shí)別準(zhǔn)確率為97.20%，平均高于對(duì)比算法5%. 標(biāo)準(zhǔn)軍隊(duì)動(dòng)態(tài)手勢(shì)數(shù)據(jù)集識(shí)別準(zhǔn)確率為98.63%，平均高于對(duì)比算法4%.

同時(shí)，為了精確評(píng)價(jià)手勢(shì)識(shí)別模型的性能，圖10給出了CSL 數(shù)據(jù)集和CRE 手勢(shì)數(shù)據(jù)集識(shí)別過(guò)程中的混淆矩陣，其中各手勢(shì)標(biāo)簽含義如表4 所示. 基于混淆矩陣，結(jié)合基于加權(quán)特征增強(qiáng)的手勢(shì)識(shí)別結(jié)果，可以發(fā)現(xiàn)時(shí)空?qǐng)D神經(jīng)網(wǎng)絡(luò)模型和加權(quán)特征增強(qiáng)模型識(shí)別精度相似，易混淆的高層次復(fù)雜手勢(shì)相同，即分別從數(shù)據(jù)特征和傳感器空間分布角度，實(shí)現(xiàn)了對(duì)動(dòng)態(tài)復(fù)雜手勢(shì)的有效識(shí)別.

圖10 混淆矩陣

此外，表4還給出了兩種數(shù)據(jù)集中各個(gè)手勢(shì)的識(shí)別準(zhǔn)確率. 從表4 可以看出，STGNN-HGR 對(duì)中國(guó)手語(yǔ)數(shù)據(jù)集和標(biāo)準(zhǔn)軍隊(duì)動(dòng)態(tài)手勢(shì)數(shù)據(jù)集的每個(gè)手勢(shì)都達(dá)到了良好的識(shí)別效果. 其中，在中國(guó)手語(yǔ)數(shù)據(jù)集識(shí)別過(guò)程中，“再見(jiàn)”手勢(shì)、“翻”等手勢(shì)識(shí)別準(zhǔn)確率達(dá)到了100%；在標(biāo)準(zhǔn)軍隊(duì)動(dòng)態(tài)手勢(shì)數(shù)據(jù)集識(shí)別過(guò)程中，“I don’t understand”等手勢(shì)識(shí)別準(zhǔn)確率也達(dá)到了100.00%.

通過(guò)深入分析表4 和圖10 發(fā)現(xiàn)，在中國(guó)手語(yǔ)的識(shí)別過(guò)程中，一部分標(biāo)簽為“驚訝”的手勢(shì)數(shù)據(jù)被誤識(shí)別為標(biāo)簽為“誰(shuí)”的手勢(shì). 可能原因在于使用歐拉角描述手部的姿態(tài)變化信息存在一定的局限性，即當(dāng)手勢(shì)數(shù)據(jù)發(fā)生小角度變化時(shí)，傳感器數(shù)據(jù)耦合性降低，導(dǎo)致三軸的傳感器數(shù)值相互獨(dú)立，無(wú)法協(xié)同全方位表示現(xiàn)實(shí)手勢(shì)的運(yùn)動(dòng)軌跡，從而影響了手勢(shì)識(shí)別的效果.

表4 標(biāo)簽信息

圖11 展示了“驚訝”手勢(shì)和“誰(shuí)”手勢(shì)的歐拉角數(shù)據(jù)圖.

圖11（a）和圖11（b）分別為“驚訝”手勢(shì)與“誰(shuí)”手勢(shì)的大臂關(guān)節(jié)點(diǎn)的歐拉角變化圖，圖11（c）和圖11（d）分別為“驚訝”手勢(shì)與“誰(shuí)”手勢(shì)的前臂關(guān)節(jié)點(diǎn)的歐拉角變化圖，圖11（e）和圖11（f）分別為“驚訝”手勢(shì)與“誰(shuí)”手勢(shì)的手掌關(guān)節(jié)點(diǎn)的歐拉角角變化圖. 從圖11 可以看出，“驚訝”手勢(shì)和“誰(shuí)”手勢(shì)的歐拉角變化具有一定的相似性，導(dǎo)致手勢(shì)識(shí)別的精度下降.

圖11 CSL數(shù)據(jù)集手勢(shì)歐拉角

此外，在軍隊(duì)手勢(shì)識(shí)別過(guò)程中，“Vehicle”手勢(shì)和“Hurry up”手勢(shì)容易產(chǎn)生混淆. 從數(shù)據(jù)采集的過(guò)程可知，軍隊(duì)手勢(shì)主要關(guān)注的是手臂的姿態(tài)信息. 因此，導(dǎo)致“Vehicle”手勢(shì)和“Hurry up”手勢(shì)混淆的可能原因在于佩戴在手臂上的慣性測(cè)量單元捕捉到的手勢(shì)數(shù)據(jù)具有很高的相似度，包含加速度計(jì)數(shù)值、陀螺儀數(shù)值、磁力計(jì)數(shù)值等.

圖12 為“Vehicle”手勢(shì)和“Hurry up”手勢(shì)的手臂姿態(tài)與運(yùn)動(dòng)信息. 從圖12 中可以看出，兩個(gè)手勢(shì)的運(yùn)動(dòng)軌跡具有一定的重疊性，手臂擺動(dòng)的幅度和變化的頻率存在一定的相似性.

圖12 CRE數(shù)據(jù)集

4.4 模型消融實(shí)驗(yàn)

本文提出的STGNN-HGR 模型主要包括了時(shí)空?qǐng)D神經(jīng)網(wǎng)絡(luò)與GRU 模塊. 其中，時(shí)空?qǐng)D神經(jīng)網(wǎng)絡(luò)用于提取手臂、手掌上關(guān)節(jié)點(diǎn)的空間連接特征；GRU 用于捕獲手勢(shì)數(shù)據(jù)的時(shí)序特征. 為了驗(yàn)證STGNN-HGR 模型的表征能力與動(dòng)作識(shí)別的有效性，本節(jié)設(shè)計(jì)了消融實(shí)驗(yàn)來(lái)分析模型組成對(duì)手勢(shì)識(shí)別結(jié)果的影響，在CRE 與CSL 兩種數(shù)據(jù)集上進(jìn)行了驗(yàn)證，在消融實(shí)驗(yàn)中，設(shè)置學(xué)習(xí)率為0.001，迭代次數(shù)為200. 實(shí)驗(yàn)結(jié)果如表5 所示，STGNN-HGR-w/o GCN 表示在STGNN-HGR 基礎(chǔ)上去除GCN 模塊，只保留GRU 模塊用于手勢(shì)識(shí)別，用于驗(yàn)證GCN 模塊是否能提升手勢(shì)識(shí)別的準(zhǔn)確率. 由于本文識(shí)別的手勢(shì)還擁有長(zhǎng)距離依賴的特征，無(wú)法直接去除GRU 模塊進(jìn)行分析，因此，采用長(zhǎng)短時(shí)記憶單元（LSTM）替 換STGNN-HGR 中 的GRU 模 塊，表 示 為STGNN-HGR-LSTM，通過(guò)這種方式驗(yàn)證GRU 模塊是否能更好地提取時(shí)序化手勢(shì)數(shù)據(jù)特征.

手勢(shì)空間具有連接關(guān)系，圖結(jié)構(gòu)能夠更好地表達(dá)這種空間連接關(guān)系，借助圖卷積網(wǎng)絡(luò)能夠更好地識(shí)別這種復(fù)雜手勢(shì). 因此，在手勢(shì)識(shí)別模型STGNN-HGR 中將用于空間連接關(guān)系計(jì)算的GCN 消除以后，會(huì)導(dǎo)致明顯的精度降低，如表5 中的第一行所示，在兩種數(shù)據(jù)集上均有顯著的識(shí)別精度損失. 盡管LSTM 也能夠表達(dá)復(fù)雜手勢(shì)的時(shí)序信息，但是在使用LSTM 替換GRU 時(shí)也帶來(lái)了輕微精度損失，如表5 的第二行所示，其主要原因?yàn)镚RU 單元中的參數(shù)相比于LSTM 更少，在長(zhǎng)時(shí)序的手勢(shì)數(shù)據(jù)上訓(xùn)練得到的模型泛化能力更優(yōu)，因此在未知的測(cè)試集上識(shí)別效果高于LSTM.

表5 消融實(shí)驗(yàn)結(jié)果

此外，GRU 相比于LSTM，具有待學(xué)習(xí)參數(shù)少、訓(xùn)練時(shí)間短的特性，因此本文還比較了GRU 與LSTM 在模型參數(shù)量以及訓(xùn)練時(shí)間上的差異，實(shí)驗(yàn)結(jié)果如圖13所示.

圖13（a）與圖13（b）分別給出了STGNN-HGR 使用GRU 與LSTM 進(jìn)行手勢(shì)識(shí)別時(shí)，待學(xué)習(xí)參數(shù)量與訓(xùn)練時(shí)間上的差異. 從圖13（a）中可以看出，相比于LSTM，在手勢(shì)識(shí)別中使用GRU 可以有效地減少模型中待學(xué)習(xí)的參數(shù)以提升模型的泛化能力. 此外，由圖13（b）中的訓(xùn)練時(shí)間對(duì)比可知，使用GRU 去捕獲時(shí)序手勢(shì)特征可以顯著降低模型訓(xùn)練所需的時(shí)間.

圖13 GRU與LSTM性能對(duì)比

綜上所述，由于STGNN-HGR 的手勢(shì)識(shí)別準(zhǔn)確率均高于兩種消融對(duì)比方法，證明了本文綜合考慮復(fù)雜手勢(shì)的空間連接性以及手勢(shì)的時(shí)序特征，利用圖結(jié)構(gòu)、圖神經(jīng)網(wǎng)絡(luò)提取手勢(shì)的空間特征信息，且使用GRU 捕獲手勢(shì)動(dòng)作的時(shí)序特征，并將兩種特征信息用于手勢(shì)識(shí)別，能有效地提升手勢(shì)識(shí)別的準(zhǔn)確率，取得了較好的識(shí)別效果.

5 結(jié)論

本文提出了基于時(shí)空?qǐng)D神經(jīng)網(wǎng)絡(luò)的手勢(shì)識(shí)別模型STGNN-HGR，通過(guò)將關(guān)節(jié)點(diǎn)建模為圖結(jié)構(gòu)并使用時(shí)空?qǐng)D神經(jīng)網(wǎng)絡(luò)，有效地提取手勢(shì)數(shù)據(jù)的空間關(guān)聯(lián)信息，表征了人體關(guān)節(jié)點(diǎn)的空間關(guān)聯(lián)性，充分挖掘關(guān)節(jié)點(diǎn)之間的依賴關(guān)系. 此外，STGNN-HGR 利用門(mén)控循環(huán)單元解決了手勢(shì)的時(shí)序性和長(zhǎng)距離依賴問(wèn)題. 實(shí)驗(yàn)結(jié)果表明，STGNN-HGR 能夠有效地識(shí)別手勢(shì)，在中國(guó)手語(yǔ)數(shù)據(jù)集識(shí)別準(zhǔn)確率為97.2%，在標(biāo)準(zhǔn)軍隊(duì)動(dòng)態(tài)手勢(shì)數(shù)據(jù)集上的識(shí)別準(zhǔn)確率為98.63%，均優(yōu)于對(duì)比算法的識(shí)別效果.