基于視覺(jué)和肌電信息融合的手勢(shì)識(shí)別方法

彭金柱， 董夢(mèng)超， 楊 揚(yáng)

(鄭州大學(xué) 電氣工程學(xué)院，河南 鄭州 450001)

0 引言

近年來(lái)，隨著人機(jī)交互技術(shù)的快速發(fā)展，利用各類傳感器進(jìn)行手勢(shì)識(shí)別從而控制機(jī)器完成指定任務(wù)已經(jīng)變得非常普遍[1]。手勢(shì)動(dòng)作交流具有較高的靈活性且生動(dòng)形象，當(dāng)將其應(yīng)用于人機(jī)交互中時(shí)，對(duì)可識(shí)別手勢(shì)動(dòng)作的種類和手勢(shì)動(dòng)作信息的精準(zhǔn)獲取提出了更高的要求。

從手勢(shì)信息獲取方式來(lái)看，手勢(shì)識(shí)別主要分為2種:通過(guò)人體手勢(shì)視覺(jué)圖像信息實(shí)現(xiàn)手勢(shì)識(shí)別和獲取人體手勢(shì)肌電信號(hào)(EMG)進(jìn)行手勢(shì)識(shí)別[2]。Saha 等[3]通過(guò)Kinect視覺(jué)傳感器采集人體手勢(shì)圖像信息，利用隱馬爾可夫模型(HMM)識(shí)別手勢(shì),但該方法存在難以調(diào)參的問(wèn)題，對(duì)識(shí)別時(shí)間和效率有一定影響。任彧等[4]提取方向梯度直方圖(HOG)特征作為手勢(shì)圖像的特征描述符，基于支持向量機(jī)(SVM)多分類算法完成對(duì)手勢(shì)識(shí)別模型的訓(xùn)練，消除了光照不均和手勢(shì)角度旋轉(zhuǎn)對(duì)手勢(shì)識(shí)別的影響。但該方法要求背景簡(jiǎn)單，且只對(duì)有限的9類手勢(shì)進(jìn)行識(shí)別。Naik等[5]通過(guò)采集到的手臂EMG信號(hào)，提取信號(hào)的分維數(shù)特征，用SVM等方法進(jìn)行手部運(yùn)動(dòng)模式的分類，識(shí)別正確率較高。張啟忠等[6]提出了球均值Lyapunov指數(shù)計(jì)算的方法提取EMG信號(hào)特征，利用SVM作為分類器完成4類手勢(shì)的分類，準(zhǔn)確率達(dá)到96%。Lahiani等[7]開(kāi)發(fā)了一種基于HOG和局部二值模式(LBP)特征的靜態(tài)手勢(shì)識(shí)別系統(tǒng)，對(duì)10種手勢(shì)的識(shí)別正確率達(dá)到了92%。但是，受限于當(dāng)前常用特征的區(qū)分能力，目前已有的大多數(shù)手勢(shì)識(shí)別算法只能在手勢(shì)類別數(shù)量較少時(shí)獲得不錯(cuò)的性能。當(dāng)需要處理的手勢(shì)種類增多時(shí)，不同手勢(shì)的類間距離迅速變小，使得這些方法的識(shí)別正確率難以保證。

針對(duì)上述問(wèn)題，本文提出一種基于視覺(jué)和EMG信息融合的手勢(shì)識(shí)別方法，主要分為3個(gè)部分：對(duì)單一視覺(jué)HOG特征和單一肌電信號(hào)時(shí)域特征的提??；將2種單一特征進(jìn)行特征融合，得到融合特征；以融合后特征作為SVM多分類器的輸入訓(xùn)練手勢(shì)識(shí)別模型。該方法利用融合特征代替單一特征，從視覺(jué)和肌電2個(gè)角度完成對(duì)手勢(shì)信息的特征描述，所需數(shù)據(jù)量遠(yuǎn)小于同等識(shí)別效果的單一HOG特征，在手勢(shì)種類多達(dá)36種的情況下識(shí)別正確率達(dá)到96%。

1 特征提取

1.1 視覺(jué)HOG特征提取

HOG最早由Dalal于2005年提出，具有幾何不變矩的特性，多用于行人檢測(cè)中，并取得了較好的效果[8]。HOG依據(jù)一幅圖像的形狀、外觀等特征能夠被梯度或邊緣的方向密度分布很好地描述的原理，來(lái)適應(yīng)光照變化和目標(biāo)旋轉(zhuǎn)。

視覺(jué)HOG特征提取過(guò)程：首先利用Kinect視覺(jué)傳感器獲取手勢(shì)圖像并對(duì)其進(jìn)行圖像中值濾波、顏色空間轉(zhuǎn)換等預(yù)處理操作；然后基于YCbCr顏色空間的橢圓模型完成對(duì)手勢(shì)區(qū)域的分割；最后對(duì)圖像進(jìn)行灰度化操作，計(jì)算并提取手勢(shì)HOG特征。HOG特征提取過(guò)程如圖1所示。

圖1 HOG特征提取流程Figure 1 Flow chart of HOG feature extraction

1.1.1 手勢(shì)分割

手勢(shì)分割是把人的手勢(shì)區(qū)域從完整的圖像中分割出來(lái)，減少背景帶來(lái)的訓(xùn)練識(shí)別過(guò)程的計(jì)算量冗余。

橢圓模型是一種在YCbCr顏色空間下的手勢(shì)分割模型。研究表明：把人體手勢(shì)膚色像素投影到CbCr子空間上，其投影近似在一個(gè)橢圓范圍內(nèi)[9]。通過(guò)計(jì)算圖像中像素點(diǎn)的投影位置是否在橢圓范圍內(nèi)，判定當(dāng)前像素點(diǎn)是否是人體手勢(shì)像素點(diǎn)[10]。橢圓模型的表達(dá)式為：

(1)

(2)

式中：Cx=109.38；Cy=152.02；θ=2.53 rad；eCx=1.60；eCy=2.41；a=25.39；b=14.03。

橢圓模型具有計(jì)算速度快和檢測(cè)準(zhǔn)確率高等特點(diǎn)，所以本文選用橢圓模型完成對(duì)手勢(shì)的分割。圖2為基于YCbCr顏色空間的橢圓模型手勢(shì)分割效果。

圖2 橢圓模型手勢(shì)分割效果Figure 2 Ellipse model gesture segmentation renderings

1.1.2 HOG特征計(jì)算

與其他圖像幾何特征不同，HOG特征將圖像細(xì)分為多個(gè)小的細(xì)胞單元(cell)，然后計(jì)算所有細(xì)胞單元中各像素點(diǎn)的梯度或邊緣的方向直方圖。為提高性能，將若干個(gè)細(xì)胞單元組成一個(gè)區(qū)間(block)，圖像變?yōu)橛扇舾蓚€(gè)區(qū)間組成的連通圖，然后在這些區(qū)間內(nèi)對(duì)各細(xì)胞單元的梯度進(jìn)行歸一化，取得最終的梯度方向向量。

圖像的梯度方向向量數(shù)由圖像大小、cell大小、每個(gè)cell所取梯度維數(shù)等因素決定。計(jì)算式為：

(3)

式中：Bn=(Bs-Bt)，Bt表示block移動(dòng)步長(zhǎng)，Bs表示block大小；Cs表示cell大??；Cd表示cell維數(shù)；w與h分別表示圖像寬與高。

1.2 肌電信號(hào)時(shí)域特征提取

EMG的時(shí)域特征提取過(guò)程：首先利用Myo臂環(huán)獲取手勢(shì)動(dòng)作信號(hào)并進(jìn)行去噪等預(yù)處理操作；其次，對(duì)預(yù)處理后的肌電信號(hào)進(jìn)行有效活動(dòng)段檢測(cè)；最后完成對(duì)EMG的時(shí)域特征提取。EMG信號(hào)的時(shí)域特征提取過(guò)程如圖3所示。

圖3 EMG時(shí)域特征提取流程Figure 3 Flow chart of EMG time domain feature extraction

1.2.1 有效活動(dòng)段檢測(cè)

使用4階巴特沃斯帶通濾波器對(duì)EMG進(jìn)行濾波處理[11]，然后，對(duì)手勢(shì)動(dòng)作的肌電信號(hào)進(jìn)行活動(dòng)段檢測(cè)，找到手勢(shì)動(dòng)作的有效起止點(diǎn)，從而能快速完成手勢(shì)動(dòng)作的特征提取，且能夠提高特征提取的準(zhǔn)確度。

移動(dòng)平均法可以在一定程度上減輕隨機(jī)波對(duì)時(shí)間序列信號(hào)整體走勢(shì)的影響，因此，選用移動(dòng)平均法進(jìn)行有效活動(dòng)段檢測(cè)。對(duì)獲取到的時(shí)間序列信號(hào)設(shè)定一定寬度的時(shí)間窗和滑動(dòng)步長(zhǎng)，按順序疊加平均，計(jì)算此時(shí)間窗內(nèi)的采樣數(shù)據(jù)點(diǎn)，進(jìn)而獲得一個(gè)新的時(shí)間序列信號(hào)[12]。對(duì)手勢(shì)肌電信號(hào)進(jìn)行有效活動(dòng)段檢測(cè)時(shí)，分別對(duì)8通道肌電信號(hào)數(shù)據(jù)進(jìn)行移動(dòng)平均處理，具體操作步驟如下。

(1)定義每個(gè)通道表面肌電信號(hào)Sk(t)，k=1，2，…，8。對(duì)各通道表面肌電信號(hào)Sk(t)進(jìn)行平方處理，從而獲得EMG瞬時(shí)能量的時(shí)間序列E(t)：

(4)

(2)在采樣頻率為1 000時(shí)，設(shè)定窗口大小W=64，在滑動(dòng)步長(zhǎng)為16時(shí)，對(duì)EMG能量時(shí)間序列E(t)進(jìn)行滑動(dòng)平均計(jì)算，進(jìn)而獲得滑動(dòng)平均后的時(shí)間序列EM(t)：

(5)

通過(guò)觀察，設(shè)置合適的閾值，比較EM(t)和閾值的大小，從而確定手勢(shì)動(dòng)作肌電信號(hào)有效活動(dòng)段的起止點(diǎn)。具體方法是：將時(shí)間序列EM(t)大于閾值且之后的2個(gè)連續(xù)點(diǎn)數(shù)據(jù)值都大于閾值的點(diǎn)確認(rèn)為有效活動(dòng)段的起始點(diǎn)；將時(shí)間序列EM(t)小于閾值且之后的2個(gè)連續(xù)點(diǎn)數(shù)據(jù)值小于閾值的點(diǎn)確認(rèn)為有效活動(dòng)段的結(jié)束點(diǎn)。

1.2.2 時(shí)域特征提取

特征提取的目的是利用手勢(shì)攜帶的特定信息將不同手勢(shì)動(dòng)作區(qū)別開(kāi)來(lái)，這對(duì)后續(xù)不同手勢(shì)肌電信號(hào)的分類有至關(guān)重要的作用。目前，肌電信號(hào)特征提取在信號(hào)分類方面具有較好的效果，其方法包括：時(shí)域分析方法、頻域分析方法、時(shí)頻域分析方法及非線性動(dòng)力學(xué)方法。從國(guó)內(nèi)外學(xué)者的研究來(lái)看，相較于其他分析方法，時(shí)域分析方法在表征手勢(shì)特征方面效果更好，且計(jì)算簡(jiǎn)單、獲取迅速、實(shí)時(shí)性高。

由于EMG屬于生理信號(hào)，是一種隨機(jī)性較大、不易重復(fù)的生物電信號(hào)，所以一種特征參數(shù)并不能實(shí)現(xiàn)肌電信號(hào)的全面描述。本文選用時(shí)域統(tǒng)計(jì)學(xué)特征來(lái)作為不同手勢(shì)的分類標(biāo)準(zhǔn)，5個(gè)時(shí)域統(tǒng)計(jì)學(xué)特征如下：均方根值(RMS)、波形長(zhǎng)度(WL)、平均絕對(duì)值(MAV)、過(guò)零點(diǎn)數(shù)(ZC)、斜率變化數(shù)(SSC)。5個(gè)時(shí)域統(tǒng)計(jì)學(xué)特征的數(shù)學(xué)定義如表1所示。

表1 時(shí)域特征的定義Table 1 Definition of time domain feature

2 特征融合及分類器設(shè)計(jì)

2.1 特征融合

相比其他技術(shù)，多傳感器信息融合技術(shù)最大的優(yōu)勢(shì)在于能夠獲得其他單一傳感器不能得到的被感知物體的完善的基本特性，并且多傳感器信息融合技術(shù)在信息融合后具有較強(qiáng)的可靠性、時(shí)效性、魯棒性[13]。同一被感知物體在不同背景下，表現(xiàn)出來(lái)的特征信息其實(shí)都不相同，但是對(duì)于多傳感器信息融合來(lái)說(shuō)，一般都是在同一個(gè)級(jí)別下完成的。根據(jù)被感知物體信息抽象程度，將多傳感器信息融合分為像素級(jí)數(shù)據(jù)融合、特征級(jí)數(shù)據(jù)融合和決策級(jí)數(shù)據(jù)融合[14]。

選擇特征級(jí)數(shù)據(jù)融合作為多傳感器信息融合的融合結(jié)構(gòu)，串行特征融合是直接將來(lái)自2類傳感器的特征向量進(jìn)行首尾相接，從而獲得包含不同特征類型的高維特征向量。假設(shè)樣本空間為Ω且A、B對(duì)應(yīng)不同的特征空間類型，任意選擇一個(gè)樣本ζ∈Ω，其所對(duì)應(yīng)的2類特征向量分別是α∈A，β∈B,那么ζ的串行融合特征向量φ定義為：

φ=αβ。

(6)

提高特征向量有效數(shù)據(jù)維數(shù)是對(duì)當(dāng)前樣本更細(xì)致的特征描述，可以增加不同樣本之間的可區(qū)分性。提高單一特征向量的有效數(shù)據(jù)維數(shù)從而細(xì)致刻畫(huà)不同樣本在當(dāng)前特征下的差異，是一種提高識(shí)別正確率的方法[15]。但是該方法在數(shù)據(jù)量上的增加，會(huì)給計(jì)算量帶來(lái)量級(jí)上的增大，甚至帶來(lái)維數(shù)災(zāi)難問(wèn)題；其次，有效數(shù)據(jù)維數(shù)提高存在瓶頸期，當(dāng)數(shù)據(jù)維數(shù)高到一定量級(jí)時(shí)，再持續(xù)增加特征向量維數(shù)，對(duì)結(jié)果提升不明顯。

融合特征向量有效數(shù)據(jù)維數(shù)的提高是基于增加樣本特征描述的類別，通過(guò)不同特征下樣本差異性的累加來(lái)提高其可區(qū)分性?？紤]到2種特征融合占比的均衡性，為了更直觀地展現(xiàn)融合特征給正確率帶來(lái)的提升，本文融合特征向量γ(184維)由HOG特征向量α(144維)和EMG時(shí)域特征向量β(40維)串行融合而成。相比于對(duì)單一特征細(xì)致描述產(chǎn)生的數(shù)據(jù)量，融合特征數(shù)據(jù)量增加較少且給樣本之間加入另一特征下的差異描述，性價(jià)比更高，且多特征的提升空間更大，能有效解決瓶頸期問(wèn)題。

2.2 SVM多分類器設(shè)計(jì)

SVM通過(guò)建立一個(gè)分類超平面作為決策面，使不同類之間的隔離邊緣最大化，從而實(shí)現(xiàn)分類?；A(chǔ)的SVM僅針對(duì)二分類問(wèn)題，不能滿足實(shí)際問(wèn)題中多分類問(wèn)題的需要。為將SVM良好的分類性能運(yùn)用到多分類問(wèn)題，專家提出一對(duì)多[16]、一對(duì)一[17]、基于有向無(wú)環(huán)圖[18]以及基于決策樹(shù)[19]等方法構(gòu)建組合式SVM多分類器。本文采用基于一對(duì)一方式實(shí)現(xiàn)的組合式SVM多分類器解決手勢(shì)識(shí)別問(wèn)題。

對(duì)于一個(gè)具有N(N≥2)個(gè)類別的分類問(wèn)題，此方法共構(gòu)建N(N-1)/2個(gè)SVM分類器，每個(gè)分類器實(shí)現(xiàn)對(duì)2個(gè)類別的分類，使得N個(gè)類別中任意2類都有其相對(duì)應(yīng)的分類器。假定N=3，對(duì)應(yīng)的3分類組合式SVM分類器結(jié)構(gòu)如圖4所示。

圖4 3分類SVM結(jié)構(gòu)Figure 4 3 classification SVM structure chart

每個(gè)分類器對(duì)輸入樣本進(jìn)行非此即彼的分類判定，采用投票策略對(duì)輸入樣本進(jìn)行最終識(shí)別，即票數(shù)最多的一類為輸入樣本所屬類別。當(dāng)出現(xiàn)多個(gè)類別票數(shù)相同的情況時(shí)，由算法判定類別序號(hào)最小的類別為輸入樣本最終所屬類別。

基于一對(duì)一方式實(shí)現(xiàn)的組合式SVM多分類器中每個(gè)SVM面對(duì)的都是2個(gè)類別的分類問(wèn)題，易于訓(xùn)練，充分發(fā)揮了SVM解決二分類問(wèn)題的優(yōu)勢(shì)。本文使用的SVM分類器的類型是C-SVC。選用徑向基核函數(shù)(RBF)作為核函數(shù)，其具有較寬的收斂性，易于調(diào)參，可以在一定程度上消除高維空間中的復(fù)雜內(nèi)積運(yùn)算。通過(guò)網(wǎng)格搜索法對(duì)懲罰系數(shù)以及核參數(shù)進(jìn)行尋優(yōu)。

3 實(shí)驗(yàn)結(jié)果及對(duì)比

本文以圖像HOG特征與肌電信號(hào)時(shí)域特征組成的融合特征作為手勢(shì)的特征描述符，基于SVM多分類算法實(shí)現(xiàn)對(duì)36種手勢(shì)(包含10個(gè)數(shù)字和26個(gè)英文字母)的識(shí)別。由于識(shí)別手勢(shì)種類的多樣性以及多特征融合的方法在當(dāng)下沒(méi)有合適的公開(kāi)數(shù)據(jù)集供研究使用，所以采用自制的手勢(shì)數(shù)據(jù)集完成相關(guān)研究工作。

自制手勢(shì)數(shù)據(jù)集共由10位實(shí)驗(yàn)者提供組成，其中男女人數(shù)比例為1∶1。36種手勢(shì)與所代表含義的對(duì)應(yīng)關(guān)系如圖5所示，每人每種手勢(shì)采集3張圖片以及相對(duì)應(yīng)的3組手勢(shì)肌電信號(hào)，即每種手勢(shì)共分別得到30組有效數(shù)據(jù)。

圖5 手勢(shì)對(duì)應(yīng)關(guān)系Figure 5 Gesture corresponding chart

本文實(shí)驗(yàn)硬件平臺(tái)配置：Inter i5-4460處理器，8 G內(nèi)存(1 600 MHz)。SVM多分類算法在MATLAB 2020b平臺(tái)基于Libsvm功能包實(shí)現(xiàn)。

使用十折交叉驗(yàn)證評(píng)價(jià)算法的分類性能，并記錄每個(gè)類別手勢(shì)的識(shí)別正確率，總體正確率為每個(gè)類別的正確率之和與總類別數(shù)的比值。采用融合特征的36種手勢(shì)識(shí)別的正確率如表2所示。

相同實(shí)驗(yàn)條件下，分別對(duì)單獨(dú)HOG特征(144維)、單獨(dú)EMG時(shí)域特征以及基于SLMF(score-level multifeature fusion)方式[20]的特征融合(144維HOG特征與EMG時(shí)域特征的融合)進(jìn)行36種手勢(shì)的識(shí)別實(shí)驗(yàn)，并將得到的手勢(shì)識(shí)別正確率與本文提出的特征融合做對(duì)比，對(duì)比情況如圖6所示。該方法的實(shí)驗(yàn)結(jié)果在圖6、8和表3中由HOG144+EMG(S)表示。

表2 特征融合識(shí)別正確率Table 2 Feature fusion recognition accuracy

圖6 特征融合前后分類識(shí)別正確率比較Figure 6 Comparison of classification accuracy before and after feature fusion

本文在基于SLMF方式的特征融合實(shí)驗(yàn)中，自制數(shù)據(jù)集的60%作為訓(xùn)練集，40%作為測(cè)試集；由訓(xùn)練集樣本訓(xùn)練不同特征類型對(duì)應(yīng)的模型，記錄樣本識(shí)別分?jǐn)?shù)并計(jì)算不同特征類型對(duì)應(yīng)的權(quán)重；測(cè)試得到測(cè)試集樣本的識(shí)別分?jǐn)?shù)，結(jié)合不同特征對(duì)應(yīng)的權(quán)重，完成特征融合過(guò)程。

對(duì)比上述實(shí)驗(yàn)結(jié)果發(fā)現(xiàn)，本文提出的特征融合的手勢(shì)識(shí)別方法在36種手勢(shì)識(shí)別正確率方面明顯高于單一特征，其中33種手勢(shì)識(shí)別正確率在90%以上，更有14種達(dá)到了100%。特征融合對(duì)視覺(jué)上相似手勢(shì)0、m、n、s、t的識(shí)別正確率有24%～53%不等的提升，表明EMG時(shí)域特征的融合增加了相似手勢(shì)之間的差異性；對(duì)EMG時(shí)域特征識(shí)別正確率較差的手勢(shì)c、e、h、y等有良好的識(shí)別效果，正確率都在90%以上，其中c、e、y等的正確率提高到了100%。

與串行融合特征相似，基于SLMF方式的手勢(shì)識(shí)別正確率總體上高于融合前單一特征。由圖6可以看出，該方法雖然部分字符識(shí)別的正確率較高，但是有11種手勢(shì)的正確率下降明顯，如手勢(shì)1的正確率比融合前單一EMG時(shí)域特征識(shí)別方法下降了40%，手勢(shì)b的正確率下降了16%。其原因是，當(dāng)分類類別過(guò)多以及類別之間差異性不大時(shí)，分類器無(wú)法對(duì)正確的類別做出堅(jiān)定的選擇，使得正確類別與相似類別的評(píng)判分?jǐn)?shù)相近。以SLMF為代表基于權(quán)重系數(shù)的決策級(jí)特征融合無(wú)法有效處理上述情況，甚至?xí)驗(yàn)闄?quán)重而提高相似類別的評(píng)判分?jǐn)?shù)，使其大于正確類別，導(dǎo)致融合后正確率的降低。

串行融合方式的特征融合則會(huì)提供更多的特征，增加相似樣本之間的差異性，促使分類器做出正確的選擇。串行融合特征下唯有手勢(shì)q的正確率相對(duì)于單一特征下降了7%，正確率降到90%，特征的融合對(duì)極個(gè)別手勢(shì)的差異性帶來(lái)一定損失。

特征融合后與特征融合前的總體正確率對(duì)比如表3所示。本文串行融合特征總體識(shí)別率相對(duì)于單一HOG特征提高了33%，相對(duì)于EMG時(shí)域特征提高了16%。相對(duì)于SLMF融合方式提高了9%?；诖腥诤戏绞?，融合特征的手勢(shì)識(shí)別方法對(duì)手勢(shì)識(shí)別正確率有明顯提升。

表3 總體正確率對(duì)比Table 3 Comparison of overall accuracy

為驗(yàn)證串行融合特征的高效性，提高手勢(shì)圖像信息單一HOG特征的有效維數(shù)到576維和2 304維，與串行融合特征進(jìn)行對(duì)比實(shí)驗(yàn)，不同種類手勢(shì)的識(shí)別正確率和總體正確率如圖7、表3所示。

圖7 與高維HOG特征的分類識(shí)別正確率比較Figure 7 Comparison of classification accuracy with high-dimensional HOG features

對(duì)比上述實(shí)驗(yàn)結(jié)果可知，隨著HOG特征數(shù)據(jù)維數(shù)的增加，識(shí)別正確率雖然也在提高，但是提高幅度越來(lái)越小。相較于576維的HOG特征，串行融合特征向量只有184維，分類別手勢(shì)識(shí)別正確率普遍有提高，總體正確率比其要高了12%。直至HOG特征向量達(dá)到2 304維，此時(shí)HOG特征的數(shù)據(jù)量是串行融合特征的12倍，其總體正確率仍比特征融合低4%。

在各類別手勢(shì)中隨機(jī)選取10組樣本數(shù)據(jù)，共計(jì)360組樣本數(shù)據(jù)，分別放入6種不同特征類型對(duì)應(yīng)的模型中，記錄不同特征類型下360組樣本數(shù)據(jù)計(jì)算識(shí)別過(guò)程所需時(shí)間，每組樣本數(shù)據(jù)的平均計(jì)算耗時(shí)如圖8所示。

圖8 計(jì)算耗時(shí)比較Figure 8 Comparison of calculation time

圖8實(shí)驗(yàn)結(jié)果中，本文串行融合特征下對(duì)每個(gè)樣本的平均識(shí)別時(shí)間是0.274 ms，融合前144維單一HOG特征是0.272 ms，2 304維HOG特征是2.709 ms，基于SLMF方式的特征融合的平均耗時(shí)是0.607 ms。結(jié)合圖8計(jì)算耗時(shí)與表3中總體正確率，有以下分析：①本文串行融合方法的計(jì)算耗時(shí)與融合前144維單一HOG特征相近，總體正確率卻由63%提升至96%；②提升單一HOG特征至2 304維，單一HOG特征比串行融合特征總體正確率低4%，計(jì)算耗時(shí)是本文串行融合特征的將近10倍；③以基于SLMF方式為代表的決策級(jí)特征融合由算法特性決定，需要多個(gè)模型參與識(shí)別，其計(jì)算耗時(shí)是多個(gè)模型計(jì)算識(shí)別時(shí)間的總和，故該算法雖然與本文串行融合特征維數(shù)相同，但計(jì)算耗時(shí)是本文方法的2倍多。相對(duì)于本文串行融合特征96%的總體正確率，該方法為87%，比本文方法低9%。

4 結(jié)論

本文提出一種融合視覺(jué)HOG特征和肌電信號(hào)時(shí)域特征進(jìn)行手勢(shì)識(shí)別的方法，實(shí)驗(yàn)結(jié)果表明：在識(shí)別手勢(shì)種類多達(dá)36種的情況下，特征融合后的識(shí)別正確率明顯高于融合前單一特征。與高維HOG特征對(duì)比表明，特征融合能夠以較少的特征數(shù)據(jù)量完成對(duì)手勢(shì)信息更完善的描述，減少計(jì)算量，有效提高正確率。