融合注意力機(jī)制的多視圖卷積手勢(shì)識(shí)別研究

袁文濤，衛(wèi)文韜，高德民*

（1.南京林業(yè)大學(xué)信息科學(xué)技術(shù)學(xué)院，江蘇 南京 210037；2.南京理工大學(xué)設(shè)計(jì)藝術(shù)與傳媒學(xué)院，江蘇 南京 210094）

0 引言

表面肌電信號(hào)（sEMG）是通過(guò)放置在皮膚上的電極來(lái)記錄骨骼肌收縮過(guò)程中的生物信號(hào)，該類(lèi)生物信號(hào)提供了人們豐富的活動(dòng)信息。目前，表面肌電信號(hào)已經(jīng)發(fā)展成為一種測(cè)量、分析和診斷工具，廣泛應(yīng)用于康復(fù)醫(yī)學(xué)［1］、人機(jī)交互［2］、假肢控制［3］等領(lǐng)域。由于手是人體中最多樣化和最靈巧的部分，可以采用不同的運(yùn)動(dòng)策略來(lái)與環(huán)境交互，因此基于表面肌電信號(hào)的手勢(shì)識(shí)別成為肌肉計(jì)算接口（MCI）的技術(shù)核心［4］。與基于視覺(jué)圖像進(jìn)行手勢(shì)識(shí)別的方法相比，基于表面肌電信號(hào)的手勢(shì)識(shí)別方法可以忽略光照、背景、遮擋等復(fù)雜因素的影響［5］，記錄真實(shí)的動(dòng)作電位，從而更好地應(yīng)用于現(xiàn)實(shí)場(chǎng)景中。

根據(jù)所用傳感器密度的不同，sEMG 數(shù)據(jù)采集可分為稀疏多通道sEMG 和高密度sEMG（HDsEMG）。HD-sEMG 一般使用二維電極陣來(lái)捕獲肌肉活動(dòng)中運(yùn)動(dòng)電位的空間和時(shí)間分布［6］，這不僅增加了數(shù)據(jù)收集的數(shù)量和成本，還提高了手勢(shì)識(shí)別系統(tǒng)的復(fù)雜性。相比之下，稀疏多通道sEMG 使用更少的電極來(lái)記錄運(yùn)動(dòng)信息，并且對(duì)sEMG 的域變化非常敏感，在可穿戴設(shè)備中得到了廣泛應(yīng)用。

文獻(xiàn)［7］提出一種基于卷積神經(jīng)網(wǎng)絡(luò)（CNN）的手勢(shì)識(shí)別模型，在HD-sEMG 上得到的手勢(shì)識(shí)別準(zhǔn)確率為99.30%。文獻(xiàn)［8］所提模型在CapgMyo DB-a高密度sEMG 數(shù)據(jù)集上達(dá)到了99.20%的識(shí)別準(zhǔn)確率。目前，基于稀疏多通道sEMG 的識(shí)別模型準(zhǔn)確率與上述模型相比仍有較大差距，因此，如何針對(duì)稀疏多通道sEMG 來(lái)提升手勢(shì)識(shí)別準(zhǔn)確率是一項(xiàng)具有挑戰(zhàn)性的工作?；谙∈瓒嗤ǖ纒EMG 的手勢(shì)識(shí)別主要使用傳統(tǒng)機(jī)器學(xué)習(xí)和深度學(xué)習(xí)2 種方法，傳統(tǒng)機(jī)器學(xué)習(xí)通常在肌電信號(hào)中提取時(shí)域、頻域和時(shí)頻域特征并進(jìn)行必要的降維處理［9-10］，將其輸入傳統(tǒng)的機(jī)器學(xué)習(xí)分類(lèi)模型中，如支持向量機(jī)（SVM）、隨機(jī)森林（RF）、線(xiàn)性判別式分析（LDA）等。文獻(xiàn)［11］使用隨機(jī)森林算法獲得了NinaPro DB1 和NinaPro DB2數(shù)據(jù)集的平均分類(lèi)準(zhǔn)確率，分別為75.32%和75.27%。文獻(xiàn)［12］在NinaPro DB7 的40 個(gè)手勢(shì)分類(lèi)中基于LDA 算法取得的平均分類(lèi)準(zhǔn)確率為60.10%。

深度學(xué)習(xí)方法主要有2 種模式：一種是直接將原始肌電信號(hào)轉(zhuǎn)換為肌電圖像輸入CNN 中，自動(dòng)學(xué)習(xí)高級(jí)特征來(lái)進(jìn)行手勢(shì)識(shí)別。如文獻(xiàn)［13］使用sEMG 瞬時(shí)圖像對(duì)NinaPro DB1 的平均手勢(shì)分類(lèi)準(zhǔn)確率為78.90%，MSCANet［14］使用多 流卷積 網(wǎng)絡(luò)對(duì)NinaPro DB1 的平均分類(lèi)準(zhǔn)確率為84.39%；另一種是和機(jī)器學(xué)習(xí)方法一樣對(duì)原始肌電信號(hào)進(jìn)行特征提取，將肌電特征轉(zhuǎn)換為肌電圖像輸入CNN 中。文獻(xiàn)［15］提出一種雙流CNN 結(jié)構(gòu)，在NinaPro DB2 上的平均分類(lèi)準(zhǔn)確率為84.90%。文獻(xiàn)［16］提出一種基于注意力的混合CNN-RNN 網(wǎng)絡(luò)結(jié)構(gòu)，在NinaPro DB1 上的平均分類(lèi)準(zhǔn)確率為84.80%。由于稀疏多通道sEMG 數(shù)據(jù)通道較少，深度學(xué)習(xí)方法大多使用特征提取來(lái)增強(qiáng)肌電圖像質(zhì)量，提高手勢(shì)識(shí)別準(zhǔn)確率。但是，由于特征數(shù)量增多導(dǎo)致特征維度變高，硬件計(jì)算開(kāi)銷(xiāo)增大，因此輸入特征的組合和篩選成為提升模型手勢(shì)識(shí)別準(zhǔn)確率的關(guān)鍵。

針對(duì)上述問(wèn)題，本文提出一種融合ECA 注意力機(jī)制的多視圖卷積識(shí)別模型，多視圖卷積方法將多個(gè)特征集組合成視圖輸入多流CNN 中，通過(guò)融合訓(xùn)練后的高層特征來(lái)提高模型準(zhǔn)確率。ECA 注意力機(jī)制避免使用機(jī)器學(xué)習(xí)中的降維方法，通過(guò)跨通道交互提取通道間肌電數(shù)據(jù)的依賴(lài)關(guān)系，以得到特征通道權(quán)重，便于卷積篩選有效特征并提高模型魯棒性。使用巴特沃斯（Butterworth）低通濾波對(duì)原始肌電信號(hào)進(jìn)行噪聲過(guò)濾，利用文獻(xiàn)［17］驗(yàn)證過(guò)的3 個(gè)性能較優(yōu)的經(jīng)典特征集，即小波包變換（DWPT）、小波變換（DWT）和Phin_FS1 特征集［18］在200 ms 滑動(dòng)時(shí)間窗口上進(jìn)行特征提取。針對(duì)所提取的特征，利用通道重排列算法［19］將其合并成3 個(gè)視圖輸入多流CNN 網(wǎng)絡(luò)中，網(wǎng)絡(luò)中融合ECA 注意力機(jī)制模塊，強(qiáng)化有效特征并弱化無(wú)效特征，以加快模型擬合速度并提高手勢(shì)識(shí)別準(zhǔn)確率。

1 數(shù)據(jù)預(yù)處理

1.1 信號(hào)濾波

巴特沃斯濾波器結(jié)構(gòu)簡(jiǎn)單，性能優(yōu)越，通頻帶的頻率響應(yīng)曲線(xiàn)平滑，很適合處理稀疏多通道sEMG原始肌電數(shù)據(jù)。巴特沃斯低通濾波器的傳遞函數(shù)如式（1）所示：

其中：N為濾波器的階數(shù)；ωc為截止頻率。

sEMG 是一種非平穩(wěn)的微電信號(hào)，有效的肌電信號(hào)頻譜一般分布在10 Hz～500 Hz 之間。此外，原始sEMG 中可能存在工頻干擾噪聲、運(yùn)動(dòng)偽影、基線(xiàn)漂移以及記錄設(shè)備引起的噪聲［20］，這對(duì)手勢(shì)識(shí)別準(zhǔn)確率有很大影響。為此，本文采用截止頻率為1 Hz的一階巴特沃斯低通濾波對(duì)原始肌電信號(hào)進(jìn)行噪聲過(guò)濾。如圖1 所示（彩色效果見(jiàn)《計(jì)算機(jī)工程》官網(wǎng)HTML 版，下同），經(jīng)過(guò)噪聲過(guò)濾后的肌電信號(hào)曲線(xiàn)更加光滑，體現(xiàn)了巴特沃斯低通濾波很好的去噪效果，為后面手勢(shì)識(shí)別模型訓(xùn)練提供了保證。

圖1 原始sEMG 濾波前后對(duì)比Fig.1 Comparison of the original sEMG before and after filtering

1.2 特征提取

sEMG 一般是由多個(gè)電極采集的多通道數(shù)據(jù)，為了貼近真實(shí)情況，本文采用滑動(dòng)窗口的方法對(duì)信號(hào)進(jìn)行截取，在sEMG 控制領(lǐng)域，合適的滑動(dòng)采樣窗口可以保證最小的分類(lèi)誤差和系統(tǒng)延遲。參考文獻(xiàn)［21］的研究結(jié)果，使用150 ms～250 ms 的窗口對(duì)肌電信號(hào)進(jìn)行滑動(dòng)采樣能取得最優(yōu)結(jié)果。為了兼顧準(zhǔn)確率與實(shí)時(shí)性，本文采取200 ms 滑動(dòng)窗口對(duì)濾波完的肌電信號(hào)進(jìn)行滑動(dòng)采樣和特征提取，從而得到三維的表面肌電特征圖。特征提取采用3 個(gè)經(jīng)典特征集共9 個(gè)特征，計(jì)算方式如表1 所示。其中：N為sEMG 幀 數(shù)；fj和Pj分別為第j幀sEMG 進(jìn)行傅里葉變換得到的頻譜和功率譜；*表示計(jì)算方式較復(fù)雜，表格中不再贅述。由于Phin_FS1 特征集中包含7 個(gè)特征，7 個(gè)特征全部輸入手勢(shì)識(shí)別模型中會(huì)消耗極大的系統(tǒng)資源，為了平衡性能與準(zhǔn)確率，將Phin_FS1 特征集中的特征按通道維度拼接成一個(gè)視圖。

表1 特征集中特征描述與計(jì)算方式Table 1 Feature description and calculation method in feature set

為了加強(qiáng)稀疏多通道數(shù)據(jù)通道之間的相關(guān)性，使用改進(jìn)后的通道重排列算法［17］對(duì)特征進(jìn)行處理。通道重排列算法使得特征每個(gè)通道都能與其他通道相鄰，從而提取通道間隱藏的相關(guān)性。受文獻(xiàn)［21］的啟發(fā)，本文采用已驗(yàn)證準(zhǔn)確率最高的混合通道圖像的重排列方式來(lái)處理提取后的特征。假設(shè)原始特征圖像大小為L(zhǎng)×l×C，L為肌電圖像的高度，即原始sEMG 通道數(shù)，l為肌電圖像的寬度，C為肌電圖像的通道數(shù)，即特征數(shù)量。如圖2 所示，混合通道圖像方式將重排列算法應(yīng)用于8 通道原始特征圖像，得到33×l×C的肌電圖像，33 為應(yīng)用通道重排列算法得到的圖像高度。

圖2 通道重排列算法示例Fig.2 Example of channel rearrangement algorithm

2 網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)

2.1 多視圖卷積神經(jīng)網(wǎng)絡(luò)

本文融合注意力機(jī)制的多視圖卷積神經(jīng)網(wǎng)絡(luò)，也稱(chēng)為多視圖卷積注意力網(wǎng)絡(luò)（MVCANet），主要由特征視圖模塊、多流卷積模塊和特征融合模塊組成，網(wǎng)絡(luò)結(jié)構(gòu)如圖3 所示。原始肌電信號(hào)經(jīng)過(guò)數(shù)據(jù)預(yù)處理fvc得到多個(gè)特征視圖，特征視圖由多流CNN 并行建模。每個(gè)CNN 流由ECA 注意力機(jī)制模塊、2 個(gè)卷積層和1 個(gè)局部連接層組成。為避免不同通道提取的sEMG 特征之間有幅度變化的潛在干擾，在第1 個(gè)卷積層之前使用批量歸一化（BN）。ECA 注意力機(jī)制模塊對(duì)輸入的肌電特征圖像從通道維度進(jìn)行加權(quán)，便于后面卷積篩選有效特征。前2 個(gè)卷積層使用64 個(gè)3×3 的2D 濾波器，步長(zhǎng)為1，對(duì)帶有注意力權(quán)重的特征進(jìn)一步進(jìn)行訓(xùn)練。最后1 個(gè)局部連接層（LC）使用64 個(gè)1×1 的2D 濾波器，步長(zhǎng)為1，使用不共享權(quán)重的策略來(lái)進(jìn)一步學(xué)習(xí)肌電圖像不同區(qū)域的不同特征分布，同時(shí)加入Dropout 層來(lái)防止模型過(guò)擬合。為了提升模型訓(xùn)練速度并加快收斂過(guò)程，在每個(gè)層后面都加入BN、ReLU 非線(xiàn)性激活函數(shù)。

圖3 多視圖卷積注意力網(wǎng)絡(luò)框架Fig.3 Multiview convolutional attention network framework

注意力機(jī)制是模仿人類(lèi)視覺(jué)系統(tǒng)中可高效關(guān)注重點(diǎn)區(qū)域這一特性，在語(yǔ)音識(shí)別、機(jī)器翻譯、圖像分類(lèi)等領(lǐng)域得到廣泛應(yīng)用［22］，因其對(duì)提升模型準(zhǔn)確率有顯著效果，肌電手勢(shì)識(shí)別領(lǐng)域也逐漸開(kāi)始應(yīng)用注意力機(jī)制［14，16］。多視圖肌電特征經(jīng)過(guò)通道重排列算法后，通道數(shù)增加且手勢(shì)信息更豐富。本文采用ECA 注意力機(jī)制來(lái)對(duì)多視圖肌電特征在通道維度進(jìn)行加權(quán)，強(qiáng)化關(guān)鍵手勢(shì)特征。與對(duì)輸入特征圖通道進(jìn)行壓 縮降維 的SE-Net［23］相比，ECA 注意力 機(jī)制更加高效和合理，其使用1D 卷積高效實(shí)現(xiàn)了局部跨通道交互，根據(jù)肌電圖像通道間的依賴(lài)關(guān)系獲得注意力權(quán)重。如圖4 所示，ECA 注意力模塊首先對(duì)輸入的H×W×C的特征圖進(jìn)行全局平均池化，接著使用卷積核大小為k的1D 卷積操作。卷積核大小k值是由輸入通道數(shù)C的自適應(yīng)函數(shù)而得到的，如式（2）所示，其中|x|odd表示距離x最近的奇數(shù)。

圖4 ECA 注意力模塊結(jié)構(gòu)Fig.4 ECA attention module structure

卷積操作后經(jīng)過(guò)Sigmoid 激活函數(shù)得到各通道的權(quán)重W，為進(jìn)一步提高網(wǎng)絡(luò)性能，使用卷積共享權(quán)重來(lái)高效抓取局部交互通道信息，減少網(wǎng)絡(luò)參數(shù)量。共享權(quán)重方法如式（3）所示：

其中：σ為Sigmoid 激活操 作；Wi為C個(gè)通道 進(jìn)行分組得到的第i個(gè)權(quán)重矩陣；為第i個(gè)權(quán)重矩陣中的第j個(gè)局部權(quán)重矩陣；同理可得。最后將得到的權(quán)重與原始輸入特征圖相乘得到帶有注意力權(quán)重的特征圖。ECA 注意力機(jī)制作為一種即插即用的模塊，與其他注意力機(jī)制相比，使用了簡(jiǎn)便的思想和運(yùn)算，對(duì)網(wǎng)絡(luò)處理速度影響較小，同時(shí)還能較好地提升分類(lèi)準(zhǔn)確率。

2.2 特征融合模塊設(shè)計(jì)

由于不同肌電特征集的數(shù)據(jù)維度和手勢(shì)信息不同，特征融合模塊使用中間融合［24］的方式，即對(duì)多視圖經(jīng)過(guò)卷積訓(xùn)練后得到的高層特征進(jìn)行融合。通過(guò)融合多視圖的高層特征，可以在降低數(shù)據(jù)維度的同時(shí)顯著提高識(shí)別的準(zhǔn)確性和魯棒性。

模塊第1 層將多流卷積層特征扁平化為1D 向量，使用帶有512 個(gè)神經(jīng)元的全連接層將卷積層學(xué)習(xí)到的分布式特征映射到樣本標(biāo)記空間，同時(shí)使用Dropout 層來(lái)防止過(guò)擬合。第2 層在通道維度對(duì)第1 個(gè)全連接層提取的高層特征進(jìn)行特征融合。第3 層再次使用帶有512 個(gè)神經(jīng)元的全連接層來(lái)增加模型深度，提高非線(xiàn)性表達(dá)能力。每個(gè)全連接層后使用與卷積層相同的BN 層和ReLU 非線(xiàn)性激活函數(shù)。最后1 層使用帶有Softmax 激活函數(shù)的全連接層來(lái)進(jìn)行手勢(shì)標(biāo)簽預(yù)測(cè)。手勢(shì)標(biāo)簽采用one-hot編碼形式解決類(lèi)別數(shù)據(jù)中的離散值問(wèn)題，手勢(shì)預(yù)測(cè)類(lèi)別定義公式如下：

其中：N為手勢(shì)類(lèi)別總數(shù)；pGN為預(yù)測(cè)為手勢(shì)N的概率。取概率最大的N作為最終預(yù)測(cè)的手勢(shì)G。

3 實(shí)驗(yàn)驗(yàn)證

實(shí)驗(yàn)基于TensorFlow 2.0 框架來(lái)搭建MVCANet，程序編寫(xiě)語(yǔ)言為Python，數(shù)據(jù)預(yù)處理和模型訓(xùn)練在AMAX TD21-Z2 工作站上運(yùn)行，具體硬件配置為：Ubuntu 20.04 操作系統(tǒng)，運(yùn)行內(nèi)存為128 GB，處理器為英特爾I9 10900X，顯卡為2 塊英偉達(dá)Ge-Force GTX3080。

3.1 實(shí)驗(yàn)數(shù)據(jù)集

NinaPro 是目前最大的擁有sEMG 信息的公共數(shù)據(jù)庫(kù)之一，它擁有豐富的手勢(shì)數(shù)量和手勢(shì)動(dòng)作。本文使用NinaPro 的3 個(gè)子集（分別為NinaPro DB1、NinaPro DB5 和NinaPro DB7）進(jìn)行訓(xùn)練和評(píng)估。NinaPro DB1 數(shù)據(jù)集包含27 名健康被試者（20 名男性，7 名女性；25 名右手，2 名左手）的數(shù)據(jù)，NinaPro DB5 數(shù)據(jù)集包含10 名健康被試者（8 名男性，2 名女性；10 名左手）的數(shù)據(jù)，NinaPro DB7 數(shù)據(jù)集包含20 名健康被試者和2 名右手截肢被試者（18 名右手，4 名左手）的數(shù)據(jù)。

數(shù)據(jù)集記錄的動(dòng)作分為3 個(gè)不同類(lèi)別，包括手指的基本動(dòng)作、基本手腕動(dòng)作和抓握及功能性動(dòng)作。每個(gè)動(dòng)作重復(fù)6 次，每次重復(fù)持續(xù)5 s 后進(jìn)入持續(xù)3 s的休息。本文在NinaPro DB1 上選取52 個(gè)動(dòng)作、在NinaPro DB5 上選取41 個(gè)動(dòng)作、在NinaPro DB7 上選取41 個(gè)動(dòng)作來(lái)進(jìn)行手勢(shì)識(shí)別，選擇的這些動(dòng)作覆蓋了日常生活中發(fā)現(xiàn)的大多數(shù)手部動(dòng)作，同時(shí)考慮到手勢(shì)分類(lèi)以及機(jī)器人學(xué)和康復(fù)學(xué)的信息［17］。表2 所示為數(shù)據(jù)集的詳細(xì)信息，圖5 所示為NinaPro DB5 數(shù)據(jù)集示例手勢(shì)1～6 的通道1 原始肌電信號(hào)波形圖，圖中手勢(shì)圖片來(lái)自文獻(xiàn)［11］。

表2 NinaPro 的3 個(gè)子數(shù)據(jù)集信息Table 2 NinaPro's three sub-datasets information

圖5 示例手勢(shì)的sEMG 對(duì)比Fig.5 sEMG comparison of example gestures

3.2 實(shí)驗(yàn)設(shè)置

MVCANet 網(wǎng)絡(luò)模型使用分類(lèi)交叉熵?fù)p失函數(shù)，如式（5）所示，其中，yj為真實(shí)標(biāo)簽的第j個(gè)值，Sj為Softmax 輸出向量的第j個(gè)值，N為手勢(shì)數(shù)量。采用隨機(jī)梯度下降（SGD）進(jìn)行訓(xùn)練，批處理數(shù)據(jù)量為64，迭代次數(shù)為28。為了使模型更快地?cái)M合，使用動(dòng)態(tài)調(diào)整學(xué)習(xí)率策略，初始學(xué)習(xí)率設(shè)置為0.1，在第16 次和第24 次迭代時(shí)將學(xué)習(xí)率除以10，Dropout設(shè)置為0.5。

數(shù)據(jù)集劃分采用與文獻(xiàn)［11］中相同的方案，該方案使用每個(gè)主題的2/3 作為訓(xùn)練集，剩余部分作為測(cè)試集。本文中NinaPro DB1 數(shù)據(jù)集采用重復(fù)次數(shù)分別為1、3、4、6、8、9、10 次的數(shù)據(jù)作為訓(xùn)練集，重復(fù)次數(shù)分別為2、5、7 次的數(shù)據(jù)作為測(cè)試集；NinaPro DB5 和NinaPro DB7 數(shù)據(jù)集采用重復(fù)次數(shù)分別為1、3、4、6 次的數(shù)據(jù)作為訓(xùn)練集，重復(fù)次數(shù)分別為2、5 次的數(shù)據(jù)作為測(cè)試集。由于實(shí)驗(yàn)設(shè)備內(nèi)存限制，對(duì)NinaPro DB7 的sEMG 進(jìn) 行2 000 Hz～100 Hz 的下采樣處理。本文采用被試內(nèi)（intra-subject）的手勢(shì)識(shí)別方法，即計(jì)算數(shù)據(jù)集中每一名被試者的手勢(shì)識(shí)別準(zhǔn)確率，最終取平均準(zhǔn)確率作為模型識(shí)別準(zhǔn)確率，計(jì)算公式如式（6）所示，其中n為被試總?cè)藬?shù)。本文使用預(yù)訓(xùn)練方法來(lái)加快擬合速度并提高準(zhǔn)確率［25］，預(yù)訓(xùn)練方法使用所有被試者的訓(xùn)練集數(shù)據(jù)進(jìn)行訓(xùn)練得到網(wǎng)絡(luò)權(quán)重參數(shù)，在每一個(gè)被試者進(jìn)行訓(xùn)練時(shí)使用該權(quán)重參數(shù)進(jìn)行初始化。

3.3 結(jié)果分析

3.3.1 消融實(shí)驗(yàn)

為了驗(yàn)證多視圖卷積網(wǎng)絡(luò)模型的合理性和有效性，參考文獻(xiàn)［14］中使用的消融實(shí)驗(yàn)策略，以不加注意力機(jī)制的單視圖卷積網(wǎng)絡(luò)作為基準(zhǔn)模型來(lái)進(jìn)行消融實(shí)驗(yàn)，各分組網(wǎng)絡(luò)具體為：

分組1使用多視圖卷積網(wǎng)絡(luò)。

分組2在分組1 的基礎(chǔ)上加入注意力機(jī)制，即MVCANet。

分組3在分組2 的基礎(chǔ)上加入預(yù)訓(xùn)練方法。

其中，單視圖CNN 網(wǎng)絡(luò)結(jié)構(gòu)使用MVCANet 中不帶注意力機(jī)制模塊的單流CNN，并且取消特征融合模塊中的融合操作，取準(zhǔn)確率最高的特征集作為消融實(shí)驗(yàn)中的對(duì)比特征集。由表3 結(jié)果可知，在3 個(gè)數(shù)據(jù)集上，MVCANet+預(yù)訓(xùn)練的模型均獲得了最高的準(zhǔn)確率，相比單視圖CNN，MVCANet+預(yù)訓(xùn)練的模型最終準(zhǔn)確率平均提升1.76 個(gè)百分點(diǎn)。

表3 消融實(shí)驗(yàn)平均準(zhǔn)確率對(duì)比Table 3 Comparison of the average accuracy of ablation experiments %

圖6 所示為NinaPro DB5 數(shù)據(jù)集10 個(gè)被試者在不同步驟時(shí)的消融實(shí)驗(yàn)準(zhǔn)確率對(duì)比結(jié)果。由圖6 可知，在每一個(gè)被試者上，隨著實(shí)驗(yàn)步驟的增加，準(zhǔn)確率均有提升，其中多視圖CNN 相比單視圖CNN 平均提升最高。由于被試者的個(gè)體差異和每次重復(fù)實(shí)驗(yàn)過(guò)程中混合信號(hào)的干擾，使得每個(gè)被試者的提升程度不一致。

圖6 NinaPro DB5 數(shù)據(jù)集中每個(gè)被試者的消融實(shí)驗(yàn)結(jié)果Fig.6 Ablation experiment results of each subject in the NinaPro DB5 dataset

3.3.2 系統(tǒng)性能分析

為驗(yàn)證手勢(shì)模型的實(shí)時(shí)識(shí)別性能，使用訓(xùn)練階段保存的離線(xiàn)模型對(duì)測(cè)試集上數(shù)據(jù)進(jìn)行手勢(shì)實(shí)時(shí)測(cè)試。手勢(shì)測(cè)試使用多數(shù)原則投票來(lái)計(jì)算所有整段手勢(shì)動(dòng)作上的平均準(zhǔn)確率，其中多數(shù)原則投票的判定方式為：每段手勢(shì)重復(fù)動(dòng)作上的標(biāo)簽為離線(xiàn)模型對(duì)所有200 ms 滑動(dòng)采樣窗口的預(yù)測(cè)標(biāo)簽中出現(xiàn)次數(shù)最多的標(biāo)簽［26］。由于信息傳輸率（ITR）能夠兼顧準(zhǔn)確率和識(shí)別速度，是腦機(jī)接口研究中最優(yōu)的性能指標(biāo)之一［26］，因此本文引入這一指標(biāo)來(lái)檢驗(yàn)系統(tǒng)的實(shí)時(shí)識(shí)別性能。ITR 計(jì)算方式如式（7）所示：

其中：N為所有的識(shí)別手勢(shì)數(shù)；P為多數(shù)原則投票平均準(zhǔn)確率；T為系統(tǒng)對(duì)一段手勢(shì)動(dòng)作的完整識(shí)別時(shí)間。

由表4 可知，本文系統(tǒng)在3 個(gè)數(shù)據(jù)集上平均投票準(zhǔn)確率為97.63%，平均識(shí)別時(shí)間為0.26 s，平均信息傳輸率為1 308.71 bit/min。系統(tǒng)在整段手勢(shì)動(dòng)作的實(shí)時(shí)識(shí)別上具有更高的識(shí)別準(zhǔn)確率以及高效的信息傳輸率，同時(shí)也證明了在實(shí)時(shí)手勢(shì)識(shí)別系統(tǒng)中加入多數(shù)投票策略的必要性。

表4 多數(shù)原則投票和信息傳輸率結(jié)果Table 4 Majority principle voting and information transmission rate results

3.3.3 多模態(tài)實(shí)驗(yàn)

隨著手勢(shì)識(shí)別中手勢(shì)數(shù)目和手勢(shì)相似性的增加，僅依靠sEMG 來(lái)進(jìn)行手勢(shì)分類(lèi)變得更加困難，sEMG 與IMU（Inertial Measurement Unit）相結(jié)合的多模態(tài)形式可以有效提升手勢(shì)識(shí)別準(zhǔn)確率［12］。使用單視圖CNN 和MVCANet 模型在帶有IMU 數(shù)據(jù)的NinaPro DB5 和NinaPro DB7 數(shù)據(jù)集上進(jìn)行對(duì)比實(shí)驗(yàn)，結(jié)果如表5 所示。從表5 可以看出，2 種方法通過(guò)加入IMU 數(shù)據(jù)，在2 個(gè)數(shù)據(jù)集上準(zhǔn)確率平均提升了2.83 和2.13 個(gè)百分點(diǎn)，同時(shí)MVCANet 在多模態(tài)實(shí)驗(yàn)中相比單視圖CNN 準(zhǔn)確率平均提升了0.75 個(gè)百分點(diǎn)。實(shí)驗(yàn)結(jié)果表明，通過(guò)加入IMU 數(shù)據(jù)可以有效提高手勢(shì)識(shí)別準(zhǔn)確率，相比于單視圖CNN，MVCANet由于加入了ECA 注意力機(jī)制和使用多視圖CNN，在多模態(tài)手勢(shì)識(shí)別上具有更優(yōu)的性能。

表5 多模態(tài)實(shí)驗(yàn)結(jié)果對(duì)比Table 5 Comparison of multimodal experimental results

3.3.4 與其他手勢(shì)識(shí)別模型的對(duì)比

表6 所示為本文MVCANet 模型與傳統(tǒng)機(jī)器學(xué)習(xí)方法和當(dāng)今主流深度學(xué)習(xí)肌電手勢(shì)識(shí)別模型的對(duì)比結(jié)果。從表6 可知，傳統(tǒng)機(jī)器學(xué)習(xí)方法的手勢(shì)識(shí)別準(zhǔn)確率與當(dāng)今主流深度學(xué)習(xí)模型相比均較低，這是由于深度學(xué)習(xí)中卷積網(wǎng)絡(luò)可以更好地捕捉多通道肌電信號(hào)與手勢(shì)動(dòng)作之間的關(guān)聯(lián)性，因此在肌電手勢(shì)識(shí)別中具有一定的優(yōu)越性。本文MVCANet 模型在NinaPro DB1、NinaPro DB5、NinaPro DB7 數(shù)據(jù)集上平均手勢(shì)識(shí)別準(zhǔn)確率分別為87.98%、94.97%、89.67%，在3 個(gè)數(shù)據(jù)集上均達(dá)到了最高的肌電手勢(shì)識(shí)別準(zhǔn)確率。在對(duì)比的手勢(shì)模型中，CNN-RNN 模型結(jié)構(gòu)與本文網(wǎng)絡(luò)結(jié)構(gòu)最為相似，CNN-RNN 基于MXNet 框架實(shí)現(xiàn)，使用融合注意力機(jī)制的多視圖CNN 與LSTM 組合結(jié)構(gòu)，特征提取采用Phin_FS1 特征集。相比之下，本文基于更優(yōu)越的TensorFlow 2.0框架實(shí)現(xiàn)模型網(wǎng)絡(luò)結(jié)構(gòu)，特征提取額外使用了更豐富的小波包變換與小波變換特征，同時(shí)，在MVCANet 卷積前使用ECA 注意力機(jī)制來(lái)獲得特征通道權(quán)重，便于卷積提取有效特征。因此，在NinaPro DB1 數(shù)據(jù)集上，本文模型手勢(shì)識(shí)別準(zhǔn)確率相比CNN-RNN 模型提高了3.18 個(gè)百分點(diǎn)。

表6 sEMG 手勢(shì)識(shí)別模型性能對(duì)比Table 6 Performance comparison of sEMG gesture recognition models

4 結(jié)束語(yǔ)

為了提高基于稀疏多通道的sEMG 手勢(shì)識(shí)別準(zhǔn)確率，本文提出一種融合注意力機(jī)制的多視圖卷積神經(jīng)網(wǎng)絡(luò)模型。對(duì)原始sEMG 進(jìn)行濾波處理，使用200 ms滑動(dòng)窗口從原始肌電信號(hào)中提取經(jīng)典的表面肌電信號(hào)特征集，對(duì)提取后的特征使用通道重排列算法得到通道相關(guān)性更高的肌電圖。為了提高有效特征關(guān)注度，防止模型信息過(guò)載，模型加入ECA 注意力機(jī)制模塊，對(duì)特征視圖進(jìn)行加權(quán)來(lái)強(qiáng)化有效特征，使得多視圖卷積網(wǎng)絡(luò)能夠?qū)W習(xí)到與手勢(shì)動(dòng)作相關(guān)性更高的特征。在此基礎(chǔ)上，通過(guò)特征融合模塊融合多視圖卷積特征來(lái)加強(qiáng)手勢(shì)識(shí)別的準(zhǔn)確性和魯棒性。在NinaPro DB1、NinaPro DB5 和NinaPro DB7 公共肌電數(shù)據(jù)集 上的實(shí)驗(yàn)結(jié)果驗(yàn)證了該模型的有效性，與傳統(tǒng)機(jī)器學(xué)習(xí)方法和近年來(lái)主流的深度學(xué)習(xí)手勢(shì)識(shí)別方法相比，所提模型在肌電手勢(shì)識(shí)別上具有更優(yōu)的性能。下一步將測(cè)試其他類(lèi)型的肌電信號(hào)，如Capgmyo、CSL-HDEMG 等高密度sEMG，同時(shí)優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)，以提升本文模型在嵌入式平臺(tái)上的實(shí)時(shí)性。