基于加權(quán)DTW的多特征分級(jí)融合動(dòng)態(tài)手勢(shì)識(shí)別

摘" 要： AR設(shè)備以第一視角獲取的動(dòng)態(tài)手勢(shì)往往存在手掌角度偏轉(zhuǎn)問(wèn)題，各關(guān)節(jié)點(diǎn)位移軌跡相較正視角度發(fā)生變化，現(xiàn)有的手掌關(guān)節(jié)點(diǎn)位移特征無(wú)法有效識(shí)別，并且受限于AR設(shè)備性能，部分神經(jīng)網(wǎng)絡(luò)模型無(wú)法取得良好表現(xiàn)。針對(duì)該應(yīng)用場(chǎng)景，提出一種使用多特征分級(jí)融合的手勢(shì)識(shí)別方法。該方法構(gòu)造位移、長(zhǎng)度、角度三個(gè)特征對(duì)手勢(shì)進(jìn)行描述，并進(jìn)行向量編碼與歸一化以消除抖動(dòng)干擾。根據(jù)關(guān)節(jié)點(diǎn)與標(biāo)準(zhǔn)手勢(shì)的相似度距離，仿照sigmoid函數(shù)分配關(guān)節(jié)點(diǎn)權(quán)重，以加權(quán)的動(dòng)態(tài)時(shí)間規(guī)整（DTW）距離進(jìn)行KNN匹配，并根據(jù)最佳的KNN置信度與特征優(yōu)先級(jí)篩選出最可信的特征識(shí)別結(jié)果。實(shí)驗(yàn)結(jié)果表明：該方法能有效識(shí)別9種存在角度偏轉(zhuǎn)的動(dòng)態(tài)手勢(shì)；相較于傳統(tǒng)的位移特征方法，該方法的平均準(zhǔn)確率提高了4%，能有效應(yīng)對(duì)手掌偏轉(zhuǎn)情況下的動(dòng)態(tài)手勢(shì)識(shí)別問(wèn)題。

關(guān)鍵詞： 動(dòng)態(tài)手勢(shì)識(shí)別； 多特征融合； DTW算法； 關(guān)節(jié)點(diǎn)； 位移特征；" KNN分類

中圖分類號(hào)： TN911.73?34； TP391.4" " " " " " " " " "文獻(xiàn)標(biāo)識(shí)碼： A" " " " " " " " 文章編號(hào)： 1004?373X（2024）10?0079?07

Multi?feature hierarchical fusion for dynamic gesture recognition based on DTW

Abstract： Hand angle variation in dynamic motions captured from a first?person perspective is a common problem for augmented reality （AR） systems. Existing palm key point displacement features are ineffective for recognition because different key points' displacement trajectories differ from the frontal perspective. AR device limits also impose performance limitations for some neural network models. A gesture recognition method using multi feature hierarchical fusion is proposed for this application scenario. In this method， the displacement， length， and angle features are constructed to describe gestures， and vector encoding and normalization are conformed to eliminate jitter interference. Based on the similarity distance between the joint points and the standard gesture， the joint weights are assigned by means of the sigmoid function， and KNN matching is performed by means of the weighted dynamic time warming （DTW） distance. The most reliable feature recognition result is selected based on the best KNN confidence and feature priority. The experimental results show that this method can effectively recognize 9 dynamic gestures with angle deviation; in comparison with the traditional displacement feature methods， this method has an average accuracy improvement of 4% and can effectively address the dynamic gesture recognition problem under palm deflection.

Keywords： dynamic gesture recognition; multi feature fusion; DTW algorithm; joint points; displacement characteristics; KNN classification

0" 引" 言

動(dòng)態(tài)手勢(shì)識(shí)別作為AR系統(tǒng)的重要組成部分之一，廣泛應(yīng)用于虛擬現(xiàn)實(shí)、智能交互以及人機(jī)界面等領(lǐng)域[1]。按手部數(shù)據(jù)的獲取方式，動(dòng)態(tài)手勢(shì)識(shí)別可大致分為基于硬件與基于視覺(jué)兩種。

基于硬件的動(dòng)態(tài)手勢(shì)識(shí)別依賴于一些特殊的設(shè)備，如電容傳感陣列[2]等，使用不便；基于視覺(jué)的方法則使用方便，有許多研究人員使用視覺(jué)方法進(jìn)行手勢(shì)識(shí)別。A. Mujahid等提出一種基于YOLOv3和 DarkNet?53卷積神經(jīng)網(wǎng)絡(luò)的手勢(shì)識(shí)別模型[3]。羅標(biāo)等將DarkNet網(wǎng)絡(luò)與TCN網(wǎng)絡(luò)結(jié)合，提高了動(dòng)態(tài)手勢(shì)識(shí)別的魯棒性[4]。上述方法是通過(guò)深度神經(jīng)網(wǎng)絡(luò)對(duì)手勢(shì)特征進(jìn)行自主學(xué)習(xí)，對(duì)設(shè)備性能有較高要求，不適用于常規(guī)的AR設(shè)備。

動(dòng)態(tài)時(shí)間規(guī)整（DTW）算法[5]與隱馬爾可夫（HMM）模型[6]是動(dòng)態(tài)手勢(shì)識(shí)別的常用方法。魏秋月等使用Kinect獲取指尖的移動(dòng)軌跡并按八個(gè)方向進(jìn)行向量編碼，使用改進(jìn)的DTW算法進(jìn)行匹配識(shí)別[7]。王劍波將軌跡向量轉(zhuǎn)換為向量角，將靜態(tài)手勢(shì)特征識(shí)別結(jié)果與手部運(yùn)動(dòng)軌跡特征識(shí)別結(jié)果相結(jié)合，實(shí)現(xiàn)對(duì)動(dòng)態(tài)手勢(shì)的識(shí)別[8]。上述方法的局限性在于只用位移特征對(duì)手勢(shì)進(jìn)行描述，當(dāng)手勢(shì)存在角度偏轉(zhuǎn)的情況時(shí)，由于原有的位移軌跡發(fā)生了偏轉(zhuǎn)，僅憑位移特征無(wú)法有效進(jìn)行識(shí)別。

針對(duì)這一問(wèn)題，本文在位移特征的基礎(chǔ)上，提出一種結(jié)合位移、長(zhǎng)度和角度的多特征分級(jí)融合動(dòng)態(tài)手勢(shì)識(shí)別方法。該方法構(gòu)建3個(gè)特征來(lái)對(duì)手勢(shì)進(jìn)行描述，根據(jù)關(guān)節(jié)點(diǎn)與標(biāo)準(zhǔn)模板的相似度分配權(quán)重，通過(guò)KNN最佳置信度與特征優(yōu)先級(jí)來(lái)篩選出可信結(jié)果。

1" 特征描述

1.1" 手勢(shì)數(shù)據(jù)提取

MediaPipe[9]是谷歌開(kāi)發(fā)的多媒體機(jī)器學(xué)習(xí)應(yīng)用框架，它可以從一張圖片中快速提取21個(gè)手掌關(guān)節(jié)點(diǎn)，如圖1所示。

21個(gè)關(guān)節(jié)點(diǎn)示意圖

為解決金手指[10]問(wèn)題，即從連續(xù)的視頻幀中截取屬于有效動(dòng)態(tài)手勢(shì)的部分，可以使用雙滑動(dòng)窗口閾值方法來(lái)對(duì)有效的動(dòng)作幀進(jìn)行提取，步驟如下：

1） 設(shè)定X幀的起始窗口、Y幀的結(jié)束窗口；

2） 當(dāng)檢測(cè)到連續(xù)X幀中手掌各關(guān)節(jié)點(diǎn)最大變化幅度均大于起始閾值，則判定手勢(shì)開(kāi)始；

3） 當(dāng)檢測(cè)到連續(xù)Y幀中手掌各關(guān)節(jié)點(diǎn)最大變化幅度均小于結(jié)束閾值，則判定手勢(shì)結(jié)束。

1.2" 特征描述

手勢(shì)的位移特征可以使用八方向編碼來(lái)進(jìn)行描述。該方法的原則是將關(guān)節(jié)點(diǎn)幀間位移近似編碼為八個(gè)方向中相近的向量，Z字形軌跡與八向量表示如圖2所示。其中Z字形移動(dòng)軌跡的向量編碼為（0，0，3，3，3，3，0，0），該編碼即為位移特征。

在手掌發(fā)生角度偏轉(zhuǎn)時(shí)，close手勢(shì)如圖3所示。

各關(guān)節(jié)點(diǎn)的軌跡相較于手掌正對(duì)面時(shí)發(fā)生變化，從而導(dǎo)致位移特征無(wú)法有效識(shí)別。針對(duì)這一問(wèn)題，可以使用關(guān)節(jié)點(diǎn)相對(duì)掌心的距離與傾角變化對(duì)該偏轉(zhuǎn)的手勢(shì)重新進(jìn)行描述。

手部關(guān)節(jié)點(diǎn)的極坐標(biāo)表示如圖4所示，其中長(zhǎng)度D與角度θ分別表示關(guān)節(jié)點(diǎn)相對(duì)掌心的距離與傾角，公式如下：

同時(shí)考慮到手掌大小差異、相機(jī)距離不同、手部自然抖動(dòng)等因素都會(huì)導(dǎo)致坐標(biāo)數(shù)據(jù)發(fā)生變化，因此還需要對(duì)數(shù)據(jù)進(jìn)行閾值濾波處理。

2" 加權(quán)DTW算法

2.1" 經(jīng)典DTW方法

每個(gè)動(dòng)態(tài)手勢(shì)的時(shí)間序列長(zhǎng)度不一定相同，要比較不同幀長(zhǎng)度的手勢(shì)之間的相似度，可以使用DTW算法。DTW算法能夠計(jì)算出兩個(gè)長(zhǎng)度不同的序列之間的相似度距離，且無(wú)需大量數(shù)據(jù)進(jìn)行訓(xùn)練，相對(duì)于其他機(jī)器學(xué)習(xí)算法，簡(jiǎn)單快速。DTW的計(jì)算過(guò)程如下：

對(duì)于序列[A={a1，a2，…，aN}]與序列[B={b1，b2，…，bM}]，要計(jì)算A、B序列的相似度距離，需要構(gòu)建大小為N×M的距離矩陣D，矩陣中各元素值為A、B序列對(duì)應(yīng)位置上各元素距離。對(duì)于一維元素，可以取絕對(duì)值之差作為該距離。位移特征的距離計(jì)算公式為：

[D（i，j）=min（xi-yj，8-xi-yj）] （3）

隨后根據(jù)動(dòng)態(tài)規(guī)劃構(gòu)建累計(jì)距離矩陣[D1]，矩陣右上角元素[D1 N，M]即為序列A、B的距離：

對(duì)于兩個(gè)需要進(jìn)行DTW匹配的手勢(shì)X、Y，需要遍歷21個(gè)關(guān)節(jié)點(diǎn)，并累加總距離，選取距離最小的手勢(shì)作為識(shí)別結(jié)果。總距離公式如下：

2.2" 加權(quán)DTW方法

傳統(tǒng)DTW方法在計(jì)算手勢(shì)相似度時(shí)，認(rèn)為各關(guān)節(jié)點(diǎn)同等重要，然而在實(shí)際手勢(shì)中，不同關(guān)節(jié)點(diǎn)在其中的重要性是不同的。文獻(xiàn)[11]以關(guān)節(jié)點(diǎn)的位移量大小作為權(quán)重的評(píng)判標(biāo)準(zhǔn)；文獻(xiàn)[12]以關(guān)節(jié)點(diǎn)活動(dòng)劇烈程度即序列方差來(lái)計(jì)算權(quán)重。在一個(gè)手勢(shì)中，運(yùn)動(dòng)較小的關(guān)節(jié)點(diǎn)也可能占據(jù)一定的權(quán)重，因此本文設(shè)計(jì)了一種根據(jù)關(guān)節(jié)點(diǎn)運(yùn)動(dòng)與標(biāo)準(zhǔn)模板的相似程度來(lái)分配權(quán)重的方法。

同種手勢(shì)的樣本并不完全一致，因此需要統(tǒng)一每個(gè)手勢(shì)類的標(biāo)準(zhǔn)模板。標(biāo)準(zhǔn)模板應(yīng)盡可能與同種手勢(shì)的各樣本相似，即與各樣本之間的DTW距離和最小，從而轉(zhuǎn)化為目標(biāo)函數(shù)優(yōu)化問(wèn)題。優(yōu)化算法使用序貫最小二乘規(guī)劃（SLSQP）算法[13]，該算法的性能良好，是帶有約束條件優(yōu)化問(wèn)題的默認(rèn)算法，公式如下：

式中：N表示該種手勢(shì)的樣本總數(shù)；[Ti]為標(biāo)準(zhǔn)模板中關(guān)節(jié)點(diǎn)i的運(yùn)動(dòng)序列；[Xni]為第n個(gè)樣本中關(guān)節(jié)點(diǎn)i的運(yùn)動(dòng)序列；[DTWXni，Ti]表示標(biāo)準(zhǔn)手勢(shì)與第n個(gè)樣本的DTW距離。

手勢(shì)樣本中各關(guān)節(jié)點(diǎn)相對(duì)于標(biāo)準(zhǔn)模板的DTW距離表示該關(guān)節(jié)點(diǎn)與標(biāo)準(zhǔn)模板的相似程度，顯然，該關(guān)節(jié)點(diǎn)的距離值越小，其與標(biāo)準(zhǔn)模板越相似，因此重要性越高。21個(gè)關(guān)節(jié)點(diǎn)與標(biāo)準(zhǔn)模板的DTW距離數(shù)組[R=[r1，r2，…，r21]]，可以通過(guò)以下公式計(jì)算：

為防止[R]中個(gè)別數(shù)據(jù)過(guò)大或過(guò)小，從而影響權(quán)重分配，還需要對(duì)其進(jìn)行處理，公式如下：

式中：[ra]表示R中最小值；[rb]表示R中最大值；[T1]、[T2]表示雙閾值。根據(jù)處理后的R數(shù)組，仿照sigmoid函數(shù)對(duì)關(guān)節(jié)點(diǎn)權(quán)重進(jìn)行分配：

式中：[Wi]表示關(guān)節(jié)點(diǎn)i的權(quán)重；[β]為優(yōu)化參數(shù)，其作用是避免[sigmoid（-β·ri）]值過(guò)大或過(guò)小。

3" 多特征分級(jí)融合

3.1" KNN置信度

在計(jì)算出樣本之間的相似度距離的基礎(chǔ)上，進(jìn)行多特征分類。一種常用的分類方法是KNN，其原理可以描述為：在離待檢測(cè)樣本最近的K個(gè)樣本中，尋找出現(xiàn)次數(shù)最多的類別，然后判定檢測(cè)樣本為該類別；若有多個(gè)類別占比相同，則可以考慮平均距離最小的類別[14]。KNN分類示意圖如圖5所示。

某待測(cè)樣本的K鄰域中，類別A所占比例最多，因此將該待測(cè)樣本判定為類別A。根據(jù)KNN原理可知，在分類過(guò)程中影響分類結(jié)果的主要有兩個(gè)因素：一是待檢測(cè)樣本的K近鄰樣本中某分類的占比；二是待檢測(cè)樣本對(duì)于該分類的平均距離。因此對(duì)于KNN方法得到的分類結(jié)果，其置信度可以由這兩個(gè)因素來(lái)計(jì)算。

若待檢測(cè)樣本為X，其屬于分類T的置信度為C，則有：

3.2" 多特征識(shí)別流程

多特征會(huì)得到多個(gè)KNN分類結(jié)果，但需要對(duì)KNN分類結(jié)果進(jìn)行取舍，篩選其中更為可信的結(jié)果。因此結(jié)合KNN分類置信度，設(shè)計(jì)了一種多特征分級(jí)融合的識(shí)別方法。該方法首先需要計(jì)算特征識(shí)別優(yōu)先級(jí)和對(duì)應(yīng)的最佳置信度。

選取不同的置信度閾值[TC]對(duì)KNN分類的結(jié)果進(jìn)行篩選，僅保留置信度大于閾值的識(shí)別結(jié)果，計(jì)算篩選后的查準(zhǔn)率結(jié)果如圖6所示。

特征優(yōu)先級(jí)即為最高查準(zhǔn)率降序排序，以圖6為例，長(zhǎng)度特征曲線查準(zhǔn)率最高值為0.96，位移、角度特征最高值分別為0.77與0.95?？芍獙?duì)于該手勢(shì)的識(shí)別，長(zhǎng)度特征具有更高的可信度，其特征優(yōu)先級(jí)依次是：長(zhǎng)度、角度、位移。最佳置信度為是否保留識(shí)別結(jié)果的主要依據(jù)，故以查準(zhǔn)率作為關(guān)鍵詞，對(duì)置信度閾值進(jìn)行排序，可以得到最佳置信度。仍以圖6為例，當(dāng)[TC]大于0.55時(shí)，得到的長(zhǎng)度查準(zhǔn)率為最值。因此認(rèn)為，長(zhǎng)度特征在[TC]等于0.55時(shí)有最好的識(shí)別效果，最佳置信度為0.55。即待檢測(cè)樣本若在長(zhǎng)度特征中被識(shí)別為該手勢(shì)，且置信度大于0.55，則認(rèn)為該結(jié)果是可信的。同理可得其他兩個(gè)特征的最佳置信度分別為0.45和0.75。

多特征分級(jí)融合的識(shí)別流程如圖7所示。

首先依次使用三個(gè)特征獨(dú)立對(duì)樣本進(jìn)行KNN分類，得到結(jié)果與置信度集合記為{（A1，C1），（A2，C2），（A3，C3）}；隨后遍歷結(jié)果集合，若識(shí)別結(jié)果A的對(duì)應(yīng)特征為第一優(yōu)先級(jí)且識(shí)別置信度C值大于對(duì)應(yīng)的最佳置信度，則說(shuō)明該結(jié)果A可信，可提前終止識(shí)別流程。

單憑第一優(yōu)先級(jí)的特征無(wú)法識(shí)別所有樣本，為此再加入重復(fù)性和唯一最高優(yōu)先級(jí)檢測(cè)。即若A1、A2、A3中存在重復(fù)的結(jié)果，也可認(rèn)為該重復(fù)的值為識(shí)別結(jié)果；查詢A1、A2、A3對(duì)應(yīng)特征的優(yōu)先級(jí)，若存在唯一的最高優(yōu)先級(jí)，則說(shuō)明相對(duì)于另外兩個(gè)結(jié)果，該結(jié)果更可信，也可認(rèn)為該最高優(yōu)先級(jí)的手勢(shì)為識(shí)別結(jié)果。

相較于傳統(tǒng)的位移特征識(shí)別，多特征的優(yōu)勢(shì)是在不影響原有的位移特征識(shí)別基礎(chǔ)上，增加長(zhǎng)度與角度特征檢測(cè)偏轉(zhuǎn)手勢(shì)。當(dāng)手部正面朝向時(shí)，位移特征可以對(duì)其進(jìn)行識(shí)別；當(dāng)手部發(fā)生偏轉(zhuǎn)，長(zhǎng)度與角度特征也能對(duì)其進(jìn)行補(bǔ)充，從而有效提升識(shí)別效果。

4" 實(shí)驗(yàn)數(shù)據(jù)分析

4.1" 數(shù)據(jù)集

第一人稱的動(dòng)態(tài)手勢(shì)數(shù)據(jù)集主要有EgoGesture[15]、FPHA[16]等，大多是含有深度圖像的手勢(shì)數(shù)據(jù)集，與本文使用的普通RGB相機(jī)不符，且其中沒(méi)有針對(duì)手勢(shì)偏轉(zhuǎn)情況作特殊處理，因此本文選擇自建數(shù)據(jù)集。為模擬日常使用情況，設(shè)計(jì)了9種一般軟件交互的常用手勢(shì)，如左右滑動(dòng)、打開(kāi)關(guān)閉等，每個(gè)手勢(shì)均在不同的偏轉(zhuǎn)角度下采集了不同幀長(zhǎng)度的樣本。手勢(shì)定義具體內(nèi)容如表1所示。

4.2" 實(shí)驗(yàn)分析

本文在自建數(shù)據(jù)集上采用預(yù)訓(xùn)練方法進(jìn)行實(shí)驗(yàn)，即選取一部分手勢(shì)樣本進(jìn)行關(guān)節(jié)權(quán)重、特征識(shí)別優(yōu)先級(jí)與最佳置信度等參數(shù)訓(xùn)練。特征識(shí)別優(yōu)先級(jí)與最佳置信度結(jié)果如表2所示。置信度閾值[TC]取值為0～1，間隔0.05，各手勢(shì)查準(zhǔn)率隨[TC]變化情況如圖8所示。大部分手勢(shì)的查準(zhǔn)率隨閾值[TC]變化較為明顯，如up、open等，因此可以快速計(jì)算出對(duì)應(yīng)的最佳置信度。但也有一些例外，如rotation手勢(shì)雖然數(shù)據(jù)表現(xiàn)良好，各特征查準(zhǔn)率都接近1，但其隨[TC]增加，數(shù)值變化不明顯，這說(shuō)明數(shù)據(jù)集里該手勢(shì)的樣本量不足。

為衡量本文方法改進(jìn)的效果，定義手勢(shì)的識(shí)別率[Precision（x）]、平均準(zhǔn)確率[Accuracy]為：

式中：x為手勢(shì)類型；[TPx]為x手勢(shì)被正確分類的樣本數(shù)；[FPx]為錯(cuò)誤識(shí)別為手勢(shì)x的樣本數(shù)；[TP+TN]表示所有樣本中被正確分類的樣本數(shù)；[TP+FP+TN+FN]表示所有樣本數(shù)。

本文方法的實(shí)驗(yàn)結(jié)果混淆矩陣如圖9所示，表3給出了本文提出的多特征分級(jí)融合方法與其他方法在自建數(shù)據(jù)集上的對(duì)比結(jié)果。

由表3可以看出：本文方法相比傳統(tǒng)的單特征方法在識(shí)別率上有一定提升，最大提升了7.91%，平均準(zhǔn)確率提升了4%；所提出的權(quán)重計(jì)算方法相比較其他權(quán)重計(jì)算方法也有一定改善，這說(shuō)明多特征能補(bǔ)充識(shí)別位移特征不能有效識(shí)別的手勢(shì)樣本，證明了本文方法的優(yōu)越性。

5" 結(jié)" 論

本文在傳統(tǒng)的位移特征基礎(chǔ)上，增加了長(zhǎng)度與角度特征對(duì)動(dòng)態(tài)手勢(shì)進(jìn)行描述，提出了關(guān)節(jié)點(diǎn)與標(biāo)準(zhǔn)模板的相似度分配權(quán)重的方法；并結(jié)合KNN置信度，設(shè)計(jì)了一種多特征分級(jí)融合識(shí)別方法。

實(shí)驗(yàn)數(shù)據(jù)證明，所提出的權(quán)重計(jì)算方法能對(duì)手勢(shì)關(guān)節(jié)點(diǎn)權(quán)重進(jìn)行有效分配，設(shè)計(jì)的多特征識(shí)別方法能夠通過(guò)多特征對(duì)手勢(shì)進(jìn)行有效識(shí)別。相較于傳統(tǒng)的單特征與其他文獻(xiàn)的改進(jìn)方法，本文方法在手勢(shì)偏轉(zhuǎn)情況下有著更高的識(shí)別率，能有效地識(shí)別日常使用頻率較高的9種交互手勢(shì)，為高準(zhǔn)確率動(dòng)態(tài)手勢(shì)識(shí)別在人機(jī)交互上的應(yīng)用提供了一種新的解決方法。

參考文獻(xiàn)

[1] 王立軍，李爭(zhēng)平，李穎，等.元宇宙終端：虛擬（增強(qiáng)）現(xiàn)實(shí)關(guān)鍵硬科技發(fā)展趨勢(shì)[J].科技導(dǎo)報(bào)，2023，41（15）：46?60.

[2] 王子懿，沈三民，佘碩鋮.基于平面電容傳感器陣列的動(dòng)態(tài)手勢(shì)識(shí)別技術(shù)[J].測(cè)試技術(shù)學(xué)報(bào)，2023，37（1）：54?59.

[3] MUJAHID A， AWAN M J， YASIN A， et al. Real?time hand gesture recognition based on deep learning YOLOv3 model [J]. Applied sciences， 2021， 11（9）： 4164.

[4] 羅標(biāo)，陳勇.融合TCN的時(shí)空域雙流動(dòng)態(tài)手勢(shì)識(shí)別方法[J].現(xiàn)代電子技術(shù)，2022，45（1）：50?55.

[5] HANG C， RUI Z， CHEN Z， et al. Dynamic gesture recognition method based on improved DTW algorithm [C]// International Conference on Industrial Informatics?computing Technology. Nanjing： IEEE， 2017： 1041?1052.

[6] 毛瑞瑛.虛擬實(shí)驗(yàn)中的手交互關(guān)鍵技術(shù)研究與實(shí)現(xiàn)[D].西安：西安理工大學(xué)，2022.

[7] 魏秋月，劉雨帆.基于Kinect和改進(jìn)DTW算法的動(dòng)態(tài)手勢(shì)識(shí)別[J].傳感器與微系統(tǒng)，2021，40（11）：127?130.

[8] 王劍波.基于Kinect的動(dòng)態(tài)手勢(shì)交互控制技術(shù)研究[D].西安：西安工程大學(xué)，2021.

[9] LUGARESI C， TANG J， NASH H， et al. MediaPipe： a framework for building perception pipelines [EB/OL]. [2023?08?20]. https：//arxiv.org/pdf/1906.08172.pdf.

[10] 張維，林澤一，程堅(jiān)，等.動(dòng)態(tài)手勢(shì)理解與交互綜述[J].軟件學(xué)報(bào)，2021，32（10）：3051?3067.

[11] 高晨.基于靜態(tài)和動(dòng)態(tài)手勢(shì)控制移動(dòng)機(jī)器人研究[D].北京：北京化工大學(xué)，2017.

[12] 汪成峰.基于自適應(yīng)關(guān)節(jié)權(quán)重和插值小波的體感動(dòng)作評(píng)價(jià)方法研究[D].北京：中國(guó)農(nóng)業(yè)大學(xué)，2016.

[13] KRAFT D. A software package for sequential quadratic programming [J]. DFVLR Forschungsber， 1988， 28： 33.

[14] 童先群，周忠眉.基于屬性值信息熵的KNN改進(jìn)算法[J].計(jì)算機(jī)工程與應(yīng)用，2010，46（3）：115?117.

[15] ZHANG Y， CAO C， CHENG J， et al. EgoGesture： a new dataset and benchmark for egocentric hand gesture recognition [J]. IEEE transactions on multimedia， 2018， 20（5）： 1038?1050.

[16] GARCIA?HERNANDO G， YUAN S， BAEK S， et al. First?person hand action benchmark with RGB?D videos and 3D hand pose annotations [C]// 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City， UT， USA： IEEE， 2018： 409?419.

[17] GALVáN?RUIZ J， TRAVIESO?GONZáLEZ C M， PINAN?ROESCHER A， et al. Robust identification system for spanish sign language based on three?dimensional frame information [J]. Sensors， 2023， 23（1）： 481.

[18] LU Chenghong， AMINO Shingo， JING Lei. Data glove with bending sensor and inertial sensor based on weighted DTW fusion for sign language recognition [J]. Electronics， 2023， 12（3）： 13.