基于深度學(xué)習(xí)模型的表面肌電信號(hào)手勢(shì)動(dòng)作識(shí)別算法研究

曹書豪　許成哲

【摘 要】本文提出了一種基于深度學(xué)習(xí)模型的表面肌電信號(hào)手勢(shì)動(dòng)作識(shí)別算法，采用瑞士Ninapro公開數(shù)據(jù)庫，通過2階巴特沃斯濾波器進(jìn)行帶阻濾波對(duì)原始信號(hào)進(jìn)行預(yù)處理，并利用標(biāo)準(zhǔn)偏差濾除無信號(hào)段，采用時(shí)間窗重疊的方式將原始數(shù)據(jù)擴(kuò)充至符合深度學(xué)習(xí)模型訓(xùn)練的數(shù)據(jù)量。最后將預(yù)處理后的數(shù)據(jù)輸入34層ResNet深度學(xué)習(xí)模型并得出識(shí)別結(jié)果。實(shí)驗(yàn)結(jié)果顯示本文提出的算法較比同類論文取得了更高的識(shí)別精度，在52手勢(shì)動(dòng)作分類識(shí)別準(zhǔn)確率達(dá)到92.66%，驗(yàn)證了本算法的有效性。

【關(guān)鍵詞】深度學(xué)習(xí);表面肌電信號(hào);手勢(shì)動(dòng)作識(shí)別

中圖分類號(hào)： TP391.41文獻(xiàn)標(biāo)識(shí)碼： A文章編號(hào)： 2095-2457（2019）01-0118-003

0 引言

表面肌電信號(hào)是通過表面電極記錄下來的肌肉運(yùn)動(dòng)生物電信號(hào)，它可以反映神經(jīng)、肌肉的功能狀態(tài)，近年來隨著科學(xué)技術(shù)的發(fā)展，國內(nèi)外對(duì)本課題研究也逐漸深入，使得其在臨床醫(yī)學(xué)、運(yùn)動(dòng)醫(yī)學(xué)、康復(fù)醫(yī)學(xué)及體育運(yùn)動(dòng)等領(lǐng)域被廣泛應(yīng)用。

2014年Jongin Kim等人[2]以四種手勢(shì)動(dòng)作的PSD做為特征輸入支持向量機(jī)進(jìn)行識(shí)別，識(shí)別率達(dá)91.97%。Manfredo Atzori等人[3]采用RMS、HIST等特征對(duì)Ninapro提供的手勢(shì)動(dòng)作進(jìn)行分類識(shí)別，其中利用隨機(jī)森林神經(jīng)網(wǎng)絡(luò)進(jìn)行52動(dòng)作分類的最高精確率達(dá)75.27%。2017年Stefano Pizzolato等人[4]利用RMS等特征對(duì)Ninapro數(shù)據(jù)庫提供的DB子數(shù)據(jù)庫中27個(gè)人的52個(gè)手勢(shì)動(dòng)作進(jìn)行分類識(shí)別，最高分類精度達(dá)69.13%。2017年浙江大學(xué)杜宇[5]將深度學(xué)習(xí)模型運(yùn)用到了手勢(shì)識(shí)別當(dāng)中，采用基于深度卷積網(wǎng)絡(luò)的方法，通過對(duì)Ninapro數(shù)據(jù)庫提供的手勢(shì)動(dòng)作進(jìn)行對(duì)比實(shí)驗(yàn)，訓(xùn)練好的分類器逐幀的對(duì)輸入的肌電圖像進(jìn)行分類，手勢(shì)動(dòng)作分類結(jié)果為識(shí)別出的手勢(shì)標(biāo)簽中所占比例最高的標(biāo)簽。

針對(duì)現(xiàn)有方法的不足，本文提出了一種基于深度學(xué)習(xí)模型的表面肌電信號(hào)手勢(shì)動(dòng)作識(shí)別算法，將預(yù)處理后的數(shù)據(jù)輸入34層ResNet深度學(xué)習(xí)模型并得出識(shí)別結(jié)果。實(shí)驗(yàn)結(jié)果顯示本文提出的算法較比同類論文取得了更高的識(shí)別精度，驗(yàn)證了本算法的有效性。

1 表面肌電信號(hào)的預(yù)處理

1.1 Ninapro數(shù)據(jù)庫簡(jiǎn)介

Ninapro[1]是一個(gè)針對(duì)基于稀疏多通道肌電信號(hào)的手勢(shì)識(shí)別的標(biāo)準(zhǔn)數(shù)據(jù)集，主要用于主動(dòng)假肢的研發(fā)。本文主要采用DB1及DB4進(jìn)行對(duì)比實(shí)驗(yàn)。其中DB1包含27個(gè)完整個(gè)體的52種手勢(shì)動(dòng)作，如圖1所示，每人毎種手勢(shì)重復(fù)10次，DB4包含10人的52種手勢(shì)，采樣頻率為100Hz。在采集過程中，要求受試者右手進(jìn)行重復(fù)動(dòng)作，每個(gè)手勢(shì)重復(fù)持續(xù)5秒，然后休息3秒，每人每種手勢(shì)重復(fù)6次。DB4包含10個(gè)完整個(gè)體的52個(gè)手勢(shì)動(dòng)作，采集協(xié)議同DB1一致，采樣頻率為2000Hz。

1.2 表面肌電信號(hào)的濾波處理

表面肌電信號(hào)是一種非常微弱的信號(hào)，其頻譜范圍為0-1000Hz之間，功率譜的最大頻率隨肌肉而定，通常在30～300Hz之間，表面肌電信號(hào)的主要能量集中在300Hz以下。因此本文采用2階巴特沃斯濾波器進(jìn)行帶阻濾波，阻帶邊界為45-55Hz。該濾波器的平方幅度響應(yīng)函數(shù)定義為公式（1）：

公式中N為濾波器的階數(shù)，是正整數(shù)，是該低通濾波器截止頻率，在設(shè)計(jì)低通濾波器的過程中，從式（1）可以看出選擇和階次N是設(shè)計(jì)濾波器的關(guān)鍵。根據(jù)信號(hào)的頻譜特性確定通頻帶的截止頻率、阻頻帶的截止頻率、通帶內(nèi)最大限度的衰減和阻帶內(nèi)最小衰減。然后利用如下公式（2）、公式（3）得出階次N和截止頻率。

Ninapro數(shù)據(jù)庫在數(shù)據(jù)處理過程中發(fā)現(xiàn)，部分信號(hào)存在幅值極低的情況，本文利用STD對(duì)原始數(shù)據(jù)進(jìn)行篩選，每0.05秒截取一段信號(hào)，如STD大于300則保留該段信號(hào)，如小于300則濾除該段信號(hào)，重復(fù)此操作直至全部信號(hào)篩選完畢為止。濾除無信號(hào)段之后的表面肌電信號(hào)如圖2所示。

1.3 表面肌電信號(hào)的擴(kuò)充

以Ninapro數(shù)據(jù)庫子集DB4為例，本文采用時(shí)間窗重疊的方式將原始數(shù)據(jù)庫進(jìn)行擴(kuò)充，選取信號(hào)長(zhǎng)度為0.5秒，時(shí)間窗重疊為0.3秒的方式將DB1中8424個(gè)原始信號(hào)擴(kuò)充至229276個(gè)，DB4中3120個(gè)原始信號(hào)擴(kuò)充至25249個(gè)，這樣基本滿足了深度學(xué)習(xí)對(duì)于樣本數(shù)量的要求，在一定程度上減小了數(shù)據(jù)過擬合的可能。

2 表面肌電信號(hào)識(shí)別方法

2.1 深度殘差網(wǎng)絡(luò)

深度殘差網(wǎng)絡(luò)是于2015年提出的一種深度學(xué)習(xí)網(wǎng)絡(luò)，簡(jiǎn)單的堆疊網(wǎng)絡(luò)會(huì)導(dǎo)致嚴(yán)重的梯度消失問題，在更深的網(wǎng)絡(luò)上，精確度達(dá)到了飽和，效果反而變差。針對(duì)上述情況，ResNet引入了殘差學(xué)習(xí)來解決深度網(wǎng)絡(luò)難以優(yōu)化的問題。形式上看，神經(jīng)網(wǎng)絡(luò)實(shí)際上是將一個(gè)空間維度的向量x，用表示最優(yōu)的映射，讓堆疊的非線性層去擬合另一個(gè)映射，此時(shí)最優(yōu)映射可以表示為：

H（x）=F（x）-x（4）

假設(shè)殘差映射比原映射更易優(yōu)化，那么，在極端情況下就很容易將殘差推至0，這比將映射逼近另一個(gè)映射要簡(jiǎn)單得多?？梢酝ㄟ^在前饋網(wǎng)絡(luò)中增加一個(gè)“快捷連接”來表示。“快捷連接”跳過一個(gè)或多個(gè)層，執(zhí)行簡(jiǎn)單的恒等映射，既不會(huì)增加額外參數(shù)，也不會(huì)增加計(jì)算復(fù)雜度，且整個(gè)網(wǎng)絡(luò)依然可以用反向傳播進(jìn)行端到端的訓(xùn)練，殘差塊示意圖如圖3所示：

2.2 基于ResNet殘差網(wǎng)絡(luò)的表面肌電信號(hào)識(shí)別

本文采用基于Python的TensorFlow來設(shè)計(jì)ResNet殘差網(wǎng)絡(luò)，本文選用34層的ResNet，ResNet整體流程框圖如圖5所示：

（1）卷積層。卷積層是一個(gè)卷積神經(jīng)網(wǎng)絡(luò)中最為重要的部分，卷積層的每一個(gè)節(jié)點(diǎn)的輸入只是上一層神經(jīng)網(wǎng)絡(luò)的一小塊，本文采用34層ResNet殘差網(wǎng)絡(luò)，由于表面肌電信號(hào)為一維信號(hào)，故這個(gè)小塊的大小為1×3，一般來說，經(jīng)過卷積層之后的節(jié)點(diǎn)矩陣會(huì)變得更深。

（2）池化層。池化層神經(jīng)網(wǎng)絡(luò)不會(huì)改變矩陣的深度，但是它可以縮小矩陣的大小，通過池化層，可以進(jìn)一步縮小最后全連接層中節(jié)點(diǎn)的個(gè)數(shù)，從而達(dá)到減少整個(gè)神經(jīng)網(wǎng)絡(luò)中參數(shù)的目的。

（3）全連接層。經(jīng)過5輪卷積層和池化層的處理之后，在ResNet中是由全連接層給出最后的分類結(jié)果。我們可以將卷積層和池化層看成信號(hào)特征提取的過程，在特征提取完成之后，仍然需要使用全連接層來完成分類任務(wù)。

（4）Softmax層。通過Softmax層可以得到當(dāng)前樣例屬于不同種類的概率分布情況。本文使用的Ninapro數(shù)據(jù)庫當(dāng)中，DB1和DB4均為52手勢(shì)動(dòng)作分類，故本文選擇52節(jié)點(diǎn)的全連接層和Softmax層。

3 實(shí)驗(yàn)結(jié)果及分析

本實(shí)驗(yàn)平臺(tái)CPU采用Inter i7 7800X，GPU采用微星GTX1080Ti，軟件采用TensorFlow（ResNet）。對(duì)于每一個(gè)手勢(shì)動(dòng)作類別，選取其中的10%測(cè)試集，90%作為訓(xùn)練集。網(wǎng)絡(luò)結(jié)構(gòu)選擇為34層ResNet殘差網(wǎng)絡(luò)，其中權(quán)重衰減因子0.0001，學(xué)習(xí)速率初始為0.1，分別在DB1和DB4中進(jìn)行對(duì)比實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如表1所示：

我們將文獻(xiàn)[2]-[5]所運(yùn)用的方法在DB1和DB4中做對(duì)比實(shí)驗(yàn)，并將表1中取得的最優(yōu)分類精度與其相比較，實(shí)驗(yàn)結(jié)果如表2所示：

4 結(jié)論及下一步工作

本研究提出了一種基于深度學(xué)習(xí)模型的表面肌電信號(hào)手勢(shì)動(dòng)作識(shí)別算法，實(shí)驗(yàn)結(jié)果表明本研究提出的方法較比傳統(tǒng)機(jī)器學(xué)習(xí)方法及現(xiàn)有深度學(xué)習(xí)方法在表面肌電信號(hào)手勢(shì)動(dòng)作的識(shí)別率上有了較大提升，在52手勢(shì)動(dòng)作識(shí)別的研究中獲得了92.66%的準(zhǔn)確率。

本文實(shí)驗(yàn)需要大量的表面肌電信號(hào)數(shù)據(jù)支持以及長(zhǎng)時(shí)間的訓(xùn)練過程，下一步擬采用精調(diào)參數(shù)的方式對(duì)本算法進(jìn)行調(diào)試，以便取得最佳的識(shí)別精度。另外本文提出的算法沒有考慮靜態(tài)手勢(shì)和過渡手勢(shì)的區(qū)別，兩種動(dòng)作具有不同的發(fā)力模式，應(yīng)當(dāng)區(qū)別對(duì)待。未來的工作包括對(duì)靜態(tài)手勢(shì)和過渡手勢(shì)的分別建模，從而更好的學(xué)習(xí)手勢(shì)動(dòng)作的不同階段中表面肌電信號(hào)的靜態(tài)和動(dòng)態(tài)特征。

【參考文獻(xiàn)】

[1]Atzori M， Gijsberts A， Heynen S， et al. Building the NinaPro Database： a Resource for the Biorobotics Community[C]//IEEE Ras & Embs International Conference on Biomedical Robotics & Biomechatronics. IEEE， 2012.

[2]Atzori M， Gijsberts A， Castellini C， et al. Electromyography data for non-invasive naturally-controlled Robotic hand prostheses[J]. Nature， 2014， 1.

[3]Kim J， Cho D， Lee K J， et al. A Real-Time Pinch-to-Zoom Motion Detection by Means of， a Surface EMG-Based Human-Computer Interface[J]. Sensors， 2014， 15（1）：394-407.

[4]Pizzolato S， Tagliapietra L， Cognolato M， et al. Comparison of six electromyography acquisition setups on hand movement classification tasks[J]. Plos One， 2017， 12（10）：e0186132.

[5]Du Y， Jin W， Wei W， et al. Surface EMG-Based Inter-Session Gesture Recognition Enhanced by Deep Domain Adaptation[J]. Sensors， 2017，17（3）：458.