表面肌電信號(hào)的多流卷積網(wǎng)絡(luò)融合手勢(shì)識(shí)別方法

谷學(xué)靜 沈 攀 劉海望 郭 俊 位占鋒

1(華北理工大學(xué)電氣工程學(xué)院 河北 唐山 063210)2(唐山市數(shù)字媒體工程技術(shù)研究中心 河北 唐山 063000)3(華北理工大學(xué)輕工學(xué)院電氣信息學(xué)院 河北 唐山 063000)

0 引 言

在人機(jī)交互領(lǐng)域中，手勢(shì)識(shí)別技術(shù)是一個(gè)非常重要的技術(shù)，尤其是隨著計(jì)算機(jī)技術(shù)、人工智能的發(fā)展，人們對(duì)于高效、便捷的交互方式的需求也變得更加迫切。手作為人體最常用和靈巧的部位，如何提升手勢(shì)識(shí)別的準(zhǔn)確率以獲得更加自然的交互方式就顯得尤為重要。就目前而言，基于手勢(shì)的研究方法主要分為兩大類。一種是基于機(jī)器視覺(jué)的方法[1]，通過(guò)RGB相機(jī)、深度相機(jī)、紅外相機(jī)等設(shè)備獲取手部姿態(tài)的圖像作為輸入，比如李明東[2]采用HSV膚色模型區(qū)域檢測(cè)技術(shù)可以識(shí)別13種手勢(shì)動(dòng)作類型，楊萍萍[3]采用Kinect設(shè)備獲取手部的深度信息進(jìn)行研究，可以識(shí)別24種手勢(shì)類型，識(shí)別準(zhǔn)確率可以達(dá)到90%?；谝曈X(jué)的手勢(shì)識(shí)別的缺點(diǎn)也非常明顯，容易受到遮擋、光照、環(huán)境等因素的影響。另一種則是基于表面肌電信號(hào)的研究方法，表面肌電信號(hào)是一種人體生理信號(hào)，當(dāng)人體肌肉進(jìn)行動(dòng)作的時(shí)候，肌肉通過(guò)伸縮產(chǎn)生一種微弱電信號(hào)，是多個(gè)運(yùn)動(dòng)單元發(fā)放的動(dòng)作電位序列在皮膚表面呈現(xiàn)的時(shí)間上和空間上綜合疊加的結(jié)果[4]。如圖1所示，MU為單位動(dòng)作電位，不同手勢(shì)動(dòng)作所產(chǎn)生的電信號(hào)類型是不同的，肌肉力度越大所產(chǎn)生的信號(hào)幅值越大，從時(shí)間上看，一般在手勢(shì)動(dòng)作前的30 ms～150 ms就可以產(chǎn)生[5]。因此，如何利用肌電信號(hào)進(jìn)行特征提取，是手勢(shì)識(shí)別技術(shù)的關(guān)鍵。

圖1 運(yùn)動(dòng)單元?jiǎng)幼麟娢恍蛄?MUPT)

SEMG信號(hào)受環(huán)境因素的影響較小，已經(jīng)廣泛應(yīng)用于醫(yī)療、康復(fù)和人機(jī)交互領(lǐng)域[6]。目前，基于SEMG的研究已經(jīng)取得了很大的進(jìn)展，Naik等[7]通過(guò)采集到的手臂EMG信號(hào)，并提取信號(hào)的分維數(shù)特征，采用支持向量機(jī)的方法對(duì)手部動(dòng)作進(jìn)行分類，達(dá)到了較高的識(shí)別率。Zhang等[8]在EMG信號(hào)的基礎(chǔ)上加入了手部運(yùn)動(dòng)的加速度數(shù)據(jù)，融合兩種信號(hào)特征，可以有效地提升手語(yǔ)識(shí)別的準(zhǔn)確率。在深度學(xué)習(xí)方面，Geng等[9]提出了一種GengNet的卷積神經(jīng)網(wǎng)絡(luò)模型用于端到端的肌電手勢(shì)識(shí)別，其性能優(yōu)于傳統(tǒng)分類器模型的手勢(shì)識(shí)別方法，證明了卷積神經(jīng)網(wǎng)絡(luò)在肌電手勢(shì)識(shí)別領(lǐng)域具有一定的優(yōu)勢(shì)。Zhai等[10]提出的卷積神經(jīng)網(wǎng)絡(luò)在NinaPro稀疏多通道肌電數(shù)據(jù)集上取得了78.9%的準(zhǔn)確率。周旭東等[11]通過(guò)對(duì)原始信號(hào)進(jìn)行時(shí)頻域信息拓展，提出兩類組合RNN網(wǎng)絡(luò)架構(gòu)處理多流信號(hào)，實(shí)時(shí)準(zhǔn)確率可達(dá)90.78%。鮑磊等[12]針對(duì)四路表面肌電與三軸加速度提出融合SEMG和加速度的方法，在6種手語(yǔ)識(shí)別準(zhǔn)確率達(dá)到91.2%。

為了進(jìn)一步提升手勢(shì)識(shí)別準(zhǔn)確率，本文在CNN基礎(chǔ)上提出一種多流卷積融合的深度學(xué)習(xí)方法，在數(shù)據(jù)集SIA_delsys進(jìn)行實(shí)驗(yàn)驗(yàn)證，并且與傳統(tǒng)機(jī)器學(xué)習(xí)算法對(duì)比，取得了良好的效果。

1 基于表面肌電的手勢(shì)識(shí)別方法

對(duì)于手勢(shì)識(shí)別而言，其本質(zhì)屬于模式識(shí)別的分類問(wèn)題，通過(guò)提取不同手勢(shì)動(dòng)作過(guò)程中所產(chǎn)生表面肌電信號(hào)特征，選擇合適的機(jī)器學(xué)習(xí)分類器進(jìn)行訓(xùn)練，最終達(dá)到識(shí)別手勢(shì)分類的目的。根據(jù)分類器模型和提取特征方式的不同，表面肌電的手勢(shì)識(shí)別方法可以分成基于傳統(tǒng)機(jī)器學(xué)習(xí)和深度學(xué)習(xí)兩種方法。

1.1 傳統(tǒng)機(jī)器學(xué)習(xí)方法

首先對(duì)肌電信號(hào)進(jìn)行預(yù)處理，預(yù)處理常用的方法包括濾波和降噪等，然后采用滑動(dòng)窗進(jìn)行采樣[12]，分割數(shù)據(jù)樣本，分割的過(guò)程中對(duì)信號(hào)時(shí)域、頻域或者時(shí)頻域特征進(jìn)行提取，將提取出的信號(hào)特征采用PCA(主成分分析法)、SVD分解等方法進(jìn)行降維[13]，最后送入分類器模型進(jìn)行訓(xùn)練，完成手勢(shì)識(shí)別的研究。整體過(guò)程如圖2所示。

圖2 基于傳統(tǒng)機(jī)器學(xué)習(xí)手勢(shì)識(shí)別框架

1.2 深度學(xué)習(xí)方法

在深度學(xué)習(xí)方法中，不需要人為來(lái)提取肌電信號(hào)特征，而是將肌電信號(hào)作為圖像輸入到神經(jīng)網(wǎng)絡(luò)中，通過(guò)卷積網(wǎng)絡(luò)對(duì)肌電圖像進(jìn)行特征提取，逐層地抽取出該肌電信號(hào)的特征信息。隨著網(wǎng)絡(luò)深度不斷加深，能夠提取出更具有表征能力的肌電信號(hào)特征，替代了手工提取肌電特征的繁瑣步驟，同時(shí)能夠?qū)λx擇的特征進(jìn)一步優(yōu)化，最終實(shí)現(xiàn)端到端的手勢(shì)識(shí)別。深度學(xué)習(xí)方法處理肌電信號(hào)進(jìn)行手勢(shì)識(shí)別的整體框架如圖3所示。

圖3 基于卷積神經(jīng)網(wǎng)絡(luò)的有監(jiān)督手勢(shì)識(shí)別框架

可以看出，肌電信號(hào)經(jīng)預(yù)處理后轉(zhuǎn)化為肌電圖像，通過(guò)卷積網(wǎng)絡(luò)對(duì)圖像進(jìn)行特征提取，將手勢(shì)標(biāo)簽和特征進(jìn)行有監(jiān)督的訓(xùn)練[3]，訓(xùn)練得到的模型用來(lái)預(yù)測(cè)輸入的肌電信號(hào)的類別，進(jìn)行手勢(shì)的分類，進(jìn)一步完成相關(guān)的控制和決策。

2 多流卷積下的手勢(shì)識(shí)別

2.1 多流卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)通常由輸入層、卷積層、池化層、全連接層和輸出層構(gòu)成[1]。卷積實(shí)質(zhì)就是把一幅圖像經(jīng)過(guò)卷積核進(jìn)行特征提取，卷積核的大小決定了局部感受野，通過(guò)與每個(gè)神經(jīng)元的權(quán)值共享，獲得每幅圖像有效特征信息的同時(shí)，減少參數(shù)的數(shù)量，通過(guò)卷積層的下采樣進(jìn)一步減小圖像的大小。針對(duì)手部運(yùn)動(dòng)信息的特征，如何對(duì)其產(chǎn)生的肌電信號(hào)進(jìn)行有效的表征，是研究動(dòng)態(tài)手勢(shì)識(shí)別一個(gè)核心的問(wèn)題。為了避免手部運(yùn)動(dòng)產(chǎn)生數(shù)據(jù)的特征被弱化，考慮將多種具有代表性的數(shù)據(jù)信息分別送入卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取，這樣將會(huì)大大提高數(shù)據(jù)間的聯(lián)系。然后通過(guò)特征融合網(wǎng)絡(luò)，將每個(gè)卷積流的數(shù)據(jù)在特征層融合，最后送入分類器，完成手勢(shì)動(dòng)作的識(shí)別。

2.2 手勢(shì)肌電信號(hào)的多流表征

將采集到的肌電信號(hào)進(jìn)行多流表征是構(gòu)建多流卷積神經(jīng)網(wǎng)絡(luò)的前提，受到Zhang等[8]對(duì)前臂肌肉群區(qū)域與手語(yǔ)動(dòng)作關(guān)系研究的啟發(fā)，考慮不同肌群與手勢(shì)動(dòng)作之間的對(duì)應(yīng)的關(guān)系，對(duì)前臂肌群產(chǎn)生的肌電信號(hào)進(jìn)行多流表征，將一個(gè)原始肌電信號(hào)圖像劃分為子圖像進(jìn)行多流表征，輸入到多個(gè)卷積神經(jīng)網(wǎng)絡(luò)的分支中去進(jìn)行建模，實(shí)現(xiàn)肌電信號(hào)的多流卷積操作。主要過(guò)程可分為多流表征、多流卷積、網(wǎng)絡(luò)融合三部分。首先對(duì)每一幀采集到的原始信號(hào)圖像進(jìn)行分解，設(shè)采集到的肌電原始圖像大小為w×h，每幅圖像x∈Rw×h，將一幅原始圖像進(jìn)行分解操作D(x)，那么如果要得到N幅子圖像，則子圖像表示為式(1)。

(1)

(2)

然后，對(duì)這分解后的N幅子圖像分別進(jìn)行建模，構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)，每個(gè)卷積神經(jīng)網(wǎng)絡(luò)分別對(duì)這幾個(gè)子圖像進(jìn)行特征提取，得到不同的特征Mi，可以表示為式(3)。

(3)

Yout=hw(M1，M2，…,MN)

(4)

2.3 網(wǎng)絡(luò)融合結(jié)構(gòu)

網(wǎng)絡(luò)融合結(jié)構(gòu)是一種基于特征層的融合方法，經(jīng)多流表征的肌電圖像分別送入卷積神經(jīng)網(wǎng)絡(luò)層，得到N個(gè)分支的深度特征送入網(wǎng)絡(luò)融合層進(jìn)行特征融合。融合過(guò)程如圖4所示。

圖4 多流卷積的網(wǎng)絡(luò)融合結(jié)構(gòu)

在圖4中的網(wǎng)絡(luò)融合結(jié)構(gòu)中，主要分為兩個(gè)單元，F(xiàn)F單元是特征融合單元，AU表示特征分析單元，F(xiàn)F單元主要把多分支的N個(gè)特征進(jìn)行拼接，分析單元AU主要由兩個(gè)全連接層和Softmax層構(gòu)成。隱含單元的神經(jīng)元個(gè)數(shù)分別為1 028和128，中間應(yīng)用ReLU激活函數(shù)來(lái)進(jìn)行批歸一化。通過(guò)網(wǎng)絡(luò)融合層完成特征向量的轉(zhuǎn)化和融合，最后G個(gè)隱含單元為待分類的手勢(shì)數(shù)目，經(jīng)Softmax來(lái)完成手勢(shì)分類。

3 實(shí)驗(yàn)與分析

3.1 數(shù)據(jù)采集與預(yù)處理

實(shí)驗(yàn)選用SIA_delsys_16_movements數(shù)據(jù)集：在離線狀態(tài)下對(duì)4位健康受試者采集16種手部動(dòng)作，采集設(shè)備為Delsys(2 000 Hz)，粘貼6個(gè)電極，16種手部動(dòng)作類型如圖5所示。

數(shù)據(jù)預(yù)處理主要有以下幾個(gè)步驟：標(biāo)簽修正、特征歸一化和數(shù)據(jù)增強(qiáng)。在有監(jiān)督的機(jī)器學(xué)習(xí)中，需要對(duì)大量數(shù)據(jù)進(jìn)行標(biāo)簽的標(biāo)注，所以對(duì)于數(shù)據(jù)本身的質(zhì)量要求非常嚴(yán)格，標(biāo)簽修正是對(duì)每個(gè)動(dòng)作產(chǎn)生的肌電數(shù)據(jù)的標(biāo)簽進(jìn)行校正，可以提升卷積網(wǎng)絡(luò)訓(xùn)練的準(zhǔn)確率，確保標(biāo)注的標(biāo)簽和對(duì)應(yīng)的肌電信號(hào)的準(zhǔn)確。采用最大面積法進(jìn)行標(biāo)簽修正，修正的結(jié)果如圖6所示。

圖6 最大面積法標(biāo)簽修正

圖6中深色的線條表示修正以后的標(biāo)簽，淺色的線表示修改前的標(biāo)簽。在數(shù)據(jù)送入神經(jīng)網(wǎng)絡(luò)之前，需要進(jìn)行數(shù)據(jù)的特征值歸一化，將數(shù)據(jù)的特征值映射到(0,1)之間，可以消除數(shù)據(jù)間量綱的影響，采用min-max離差標(biāo)準(zhǔn)化的方法如下：

(5)

式中：x表示樣本數(shù)據(jù)的值；min為采集的樣本數(shù)據(jù)最小值，max為最大值，將數(shù)據(jù)進(jìn)行特征值歸一化。為了進(jìn)一步地提高神經(jīng)網(wǎng)絡(luò)的模型效果，還可以對(duì)肌電圖像進(jìn)行信號(hào)通道反轉(zhuǎn)，添加高斯噪聲、時(shí)間窗和增量窗等方式進(jìn)行數(shù)據(jù)增強(qiáng)，利用卷積神經(jīng)網(wǎng)絡(luò)的尺度不變性這一性質(zhì)來(lái)進(jìn)一步強(qiáng)化數(shù)據(jù)特征。

3.2 構(gòu)建多流卷積網(wǎng)絡(luò)

首先將預(yù)處理后的數(shù)據(jù)轉(zhuǎn)化為大小為200×6肌電圖像，作為原始輸入圖像，將原始肌電圖像再進(jìn)一步劃分為肌電子圖像進(jìn)行多流表征。設(shè)定不同大小的卷積核對(duì)原始圖像進(jìn)行自動(dòng)劃分，劃分后的子圖具有不同的原始圖像的特征，分別送入卷積神經(jīng)網(wǎng)絡(luò)對(duì)子圖再進(jìn)行特征提取，然后經(jīng)過(guò)網(wǎng)絡(luò)融合特征層完成多流卷積的融合，最終送入末端的Softmax進(jìn)行手勢(shì)分類。網(wǎng)絡(luò)模型如圖7所示。

圖7 多流卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

原始圖像的w、h分別為200和6，N的大小為4，分解后的子圖xi∈R200×6，分解操作D(x)由不同大小的卷積核來(lái)完成，第一層的二維卷積網(wǎng)絡(luò)神經(jīng)元都保持不變?yōu)?2，卷積核大小分別為20×3、16×3、12×3、8×3，原始圖像分別經(jīng)過(guò)卷積作用得到包含原始圖像不同信息的4種類型的子圖，大小分別為181×4、185×4、187×4、189×4，卷積層的卷積過(guò)程可以用式(6)表示。

(6)

式中：y表示卷積作用后的輸出特征圖；l和j分別表示層數(shù)和特征圖的數(shù)量；b表示l層第j個(gè)特征圖的偏置；*號(hào)表示卷積層的卷積作用；Mi表示輸入卷積層的特征集合；f表示激活函數(shù)。卷積神經(jīng)網(wǎng)絡(luò)中常用的激活函數(shù)為ReLU(線性整流函數(shù))。通過(guò)卷積核與神經(jīng)元進(jìn)行局部連接，然后在卷積核的滑動(dòng)過(guò)程中實(shí)現(xiàn)特征的提取。在卷積過(guò)程中，每個(gè)卷積核的權(quán)值是保持不變的，通過(guò)權(quán)值共享來(lái)減少訓(xùn)練過(guò)程中的網(wǎng)絡(luò)參數(shù)。卷積后由池化層進(jìn)行下采樣進(jìn)一步減小特征圖的大小，通過(guò)最大池化作用對(duì)提取到的信息進(jìn)行過(guò)濾和篩選。通常有兩種池化的方法，分別為最大池化和平均池化。最大值池化方法和原理如圖8所示。

圖8 最大值池化原理

在一個(gè)4×4區(qū)域內(nèi)，池化步長(zhǎng)為2，取選中區(qū)域2×2內(nèi)的所有值的最大值，使得最終變?yōu)?×2大小的一個(gè)特征量。具體原理如式(7)所示。

(7)

式中：S和R分別表示池化步長(zhǎng)和大小。通過(guò)上述步驟的處理使卷積之后的數(shù)據(jù)特征具有尺度不變性、位移不變性和局部依賴性。

在卷積和池化過(guò)程之后需要對(duì)不同卷積提取到的信息進(jìn)行融合，具體方法是將4個(gè)卷積流的輸出通過(guò)融合層轉(zhuǎn)化為一維向量傳入1 024個(gè)神經(jīng)元的全連接層進(jìn)行特征的加權(quán)和求和，來(lái)完成多流卷積的特征融合。為了在訓(xùn)練過(guò)程中避免產(chǎn)生過(guò)擬合現(xiàn)象，還在網(wǎng)絡(luò)中加入了參數(shù)為0.5的dropout層用來(lái)隨機(jī)丟棄某些特征信息，減少參數(shù)之間的耦合從而抑制過(guò)擬合。最后，通過(guò)Softmax來(lái)進(jìn)行分類，將輸出結(jié)果映射到(0,1)之間，Softmax的分類依據(jù)是根據(jù)計(jì)算數(shù)據(jù)集中16種手部動(dòng)作類型的識(shí)別概率來(lái)進(jìn)行判斷的，其原理如式(8)所示。

(8)

式中：S表示分類的個(gè)數(shù)，本次實(shí)驗(yàn)數(shù)據(jù)集有16種動(dòng)作類型；ai表示輸入的數(shù)據(jù)。計(jì)算出每種動(dòng)作的概率進(jìn)行輸出來(lái)判斷某一種動(dòng)作出現(xiàn)概率最大的類型，得到最終輸出的結(jié)果。

3.3 實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)采用TensorFlow2.0框架來(lái)搭建深度學(xué)習(xí)的多流卷積網(wǎng)絡(luò)模型，配合自帶的可視化學(xué)習(xí)工具TensorBoard可以更直觀地觀察網(wǎng)絡(luò)模型的效果以及學(xué)習(xí)的準(zhǔn)確率和損失率曲線，觀察手勢(shì)識(shí)別準(zhǔn)確率變化。實(shí)驗(yàn)的硬件配置為Winows 10系統(tǒng)環(huán)境搭載GTX1070顯卡，神經(jīng)網(wǎng)絡(luò)的參數(shù)配置如表1所示。

表1 實(shí)驗(yàn)網(wǎng)絡(luò)參數(shù)配置表

在實(shí)驗(yàn)中，將預(yù)處理的數(shù)據(jù)按照第3.2節(jié)的步驟送入神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，并且設(shè)置對(duì)比實(shí)驗(yàn)，網(wǎng)絡(luò)參數(shù)不變的情況下，用單流卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行手勢(shì)識(shí)別，即第一層的卷積核大小和卷積層數(shù)都不發(fā)生變化，預(yù)處理后的原始肌電圖像作為網(wǎng)絡(luò)的輸入，其他參數(shù)不變，只有一個(gè)卷積流的特征輸入，利用TensorBoard可視化工具觀察其準(zhǔn)確率的變化過(guò)程如圖9所示。

圖9 訓(xùn)練準(zhǔn)確率變化

可以看出，多流卷積網(wǎng)絡(luò)模型的準(zhǔn)確率高于普通的單流卷積網(wǎng)絡(luò)，并且隨著訓(xùn)練次數(shù)的不斷增大，準(zhǔn)確率的增長(zhǎng)速率也明顯高于普通的單流卷積網(wǎng)絡(luò)，這說(shuō)明多流卷積提取的特征被強(qiáng)化。同樣的條件下網(wǎng)絡(luò)提取的數(shù)據(jù)特征優(yōu)于普通單流卷積網(wǎng)絡(luò)，從而使網(wǎng)絡(luò)對(duì)于手勢(shì)肌電信號(hào)的特征學(xué)習(xí)效率更高，神經(jīng)網(wǎng)絡(luò)更容易記住和區(qū)分?jǐn)?shù)據(jù)的多流特征，達(dá)到更快的識(shí)別速度和更高的準(zhǔn)確率。

為了驗(yàn)證不同手勢(shì)數(shù)量對(duì)模型結(jié)果的影響，在不同數(shù)據(jù)集上采用相同的網(wǎng)絡(luò)模型進(jìn)行實(shí)驗(yàn)，設(shè)置三組對(duì)比實(shí)驗(yàn)，其結(jié)果如表2所示。

表2 不同手勢(shì)數(shù)量識(shí)別準(zhǔn)確率對(duì)比

實(shí)驗(yàn)結(jié)果表明，不同數(shù)量的手勢(shì)數(shù)據(jù)集對(duì)實(shí)驗(yàn)結(jié)果有一定影響，網(wǎng)絡(luò)模型的準(zhǔn)確率隨著手勢(shì)數(shù)量的增加略有下降。不過(guò)總體看來(lái)，網(wǎng)絡(luò)模型依然保持較高的識(shí)別準(zhǔn)確率，具有一定通用性，可用于手勢(shì)識(shí)別分類任務(wù)。

除此之外，為了進(jìn)一步地研究所提出網(wǎng)絡(luò)模型的效果，還與傳統(tǒng)機(jī)器學(xué)習(xí)的手勢(shì)識(shí)別方法進(jìn)行對(duì)比，說(shuō)明深度學(xué)習(xí)方法在肌電信號(hào)手勢(shì)識(shí)別上的優(yōu)勢(shì)，在同樣數(shù)據(jù)集下，采用1.1節(jié)提到的傳統(tǒng)機(jī)器學(xué)習(xí)方法對(duì)數(shù)據(jù)處理和建模，分別用KNN(最近鄰算法)、J48(決策樹(shù))、SVM(支持向量機(jī))等傳統(tǒng)分類器模型進(jìn)行訓(xùn)練和分類，手勢(shì)識(shí)別準(zhǔn)確率用式(9)計(jì)算。

P(準(zhǔn)確率)=M(正確分類數(shù))/N(樣本總數(shù))

(9)

其結(jié)果如表3所示。

表3 不同算法識(shí)別準(zhǔn)確率對(duì)比表

不難看出，在最終識(shí)別準(zhǔn)確率上，多流卷積網(wǎng)絡(luò)融合模型的效果要遠(yuǎn)高于傳統(tǒng)機(jī)器學(xué)習(xí)方法，準(zhǔn)確率比單流卷積高出9.09百分點(diǎn)，比最低的決策樹(shù)高出17.78百分點(diǎn)，說(shuō)明深度學(xué)習(xí)的模型效果要優(yōu)于傳統(tǒng)機(jī)器學(xué)習(xí)的分類模型，這是由于通過(guò)多流卷積網(wǎng)絡(luò)自身的結(jié)構(gòu)捕捉肌電信號(hào)圖像的特征，可以更好捕捉前臂產(chǎn)生的肌電信號(hào)與不同手勢(shì)動(dòng)作間的依賴關(guān)系，特征的表征能力得到強(qiáng)化，比人為設(shè)計(jì)提取特征效果更好。

4 結(jié) 語(yǔ)

本文提出一種多流卷積融合的方法對(duì)肌電信號(hào)的原始圖像進(jìn)行多流表征，不依賴人工設(shè)計(jì)特征，簡(jiǎn)化了預(yù)處理的過(guò)程；在單流卷積的基礎(chǔ)上，使用多流卷積對(duì)原始圖像進(jìn)行分割，每個(gè)卷積流分別對(duì)子圖像進(jìn)行特征提取，可以更好捕捉肌電信號(hào)與手勢(shì)動(dòng)作的關(guān)系；通過(guò)特征層的融合，使獲得特征的表征能力要遠(yuǎn)遠(yuǎn)優(yōu)于單流卷積，從而獲得更高的手勢(shì)識(shí)別準(zhǔn)確率。在今后的工作中，考慮加入對(duì)肌電信號(hào)的時(shí)序信息進(jìn)行建模，加入循環(huán)神經(jīng)網(wǎng)絡(luò)提取信號(hào)的時(shí)序信息進(jìn)一步優(yōu)化網(wǎng)絡(luò)模型的識(shí)別能力。