基于表面肌電圖的人體運(yùn)動(dòng)意圖識(shí)別研究進(jìn)展

曹夢(mèng)琳，陳宇豪，王玨，劉天

1.生物醫(yī)學(xué)信息工程教育部重點(diǎn)實(shí)驗(yàn)室，西安交通大學(xué)生命科學(xué)與技術(shù)學(xué)院健康與康復(fù)科學(xué)研究所，陜西西安市 710049；2.國(guó)家醫(yī)療保健器具工程技術(shù)研究中心，廣東廣州市 510500；3.神經(jīng)功能信息學(xué)與康復(fù)工程民政部重點(diǎn)實(shí)驗(yàn)室，陜西西安市710049

可穿戴外骨骼機(jī)器人得到廣泛研究，但幫助肢體運(yùn)動(dòng)障礙者進(jìn)行運(yùn)動(dòng)功能重建的電刺激設(shè)備存在功能單一、人機(jī)交互性不強(qiáng)的缺點(diǎn)，而現(xiàn)代人機(jī)交互技術(shù)正由機(jī)器人被動(dòng)接受指令向機(jī)器人主動(dòng)識(shí)別人的行為意圖方向改變?，F(xiàn)代化的可穿戴外骨骼機(jī)器人通過(guò)收集和分析相關(guān)信息，獲取人的運(yùn)動(dòng)意圖，制定有效控制策略。準(zhǔn)確實(shí)時(shí)識(shí)別人體運(yùn)動(dòng)意圖是實(shí)現(xiàn)完美人機(jī)交互和佩戴舒適的關(guān)鍵[1]。

目前，外骨骼機(jī)器人通常基于力和角度傳感器獲得的數(shù)據(jù)、腦電圖(electroencephalography,EEG)信號(hào)或表面肌電圖(surface electromyography,sEMG)信號(hào)識(shí)別運(yùn)動(dòng)意圖。從力和角度傳感器獲得的數(shù)據(jù)實(shí)時(shí)性較差，而EEG 和sEMG 在動(dòng)作產(chǎn)生前就會(huì)生成。EEG 信號(hào)微弱，受噪聲和偽跡影響較大。骨骼肌運(yùn)動(dòng)產(chǎn)生的肌電信號(hào)反映特定肌群的活動(dòng)，使用sEMG進(jìn)行運(yùn)動(dòng)意圖識(shí)別可以縮短信息延遲[2?3]。由于包含豐富的信息、成熟的采集技術(shù)和無(wú)創(chuàng)性，基于sEMG的人體運(yùn)動(dòng)意圖識(shí)別將成為主流[4?5]。

基于sEMG 的運(yùn)動(dòng)意圖識(shí)別方法可分為3 類：基于肌肉骨骼模型的運(yùn)動(dòng)意圖識(shí)別、基于傳統(tǒng)機(jī)器學(xué)習(xí)的運(yùn)動(dòng)意圖識(shí)別，以及基于深度學(xué)習(xí)的運(yùn)動(dòng)意圖識(shí)別。肌肉骨骼模型以肌肉的生物力學(xué)建立sEMG和關(guān)節(jié)力矩、角速度或角加速度之間的函數(shù)，這種方法的優(yōu)勢(shì)是可以解釋運(yùn)動(dòng)產(chǎn)生的過(guò)程[3,6]；傳統(tǒng)機(jī)器學(xué)習(xí)模型將sEMG特征作為輸入；深度學(xué)習(xí)模型通常將經(jīng)過(guò)預(yù)處理的sEMG 信號(hào)或sEMG 特征作為輸入。在傳統(tǒng)機(jī)器學(xué)習(xí)模型和深度學(xué)習(xí)模型中，離散運(yùn)動(dòng)分類或連續(xù)運(yùn)動(dòng)估計(jì)通過(guò)建立輸入與人類運(yùn)動(dòng)意圖之間的映射實(shí)現(xiàn)。常用于運(yùn)動(dòng)意圖識(shí)別的傳統(tǒng)機(jī)器學(xué)習(xí)模型包括支持向量機(jī)(support vector machine,SVM)、線性判別分析(linear discriminant analysis,LDA)、反向傳播神經(jīng)網(wǎng)絡(luò)(back propagation neural network,BPNN)、多層感知器(multilayer perceptron,MLP)等。機(jī)器學(xué)習(xí)模型具有計(jì)算復(fù)雜度低、運(yùn)算時(shí)間短、實(shí)時(shí)性強(qiáng)的特點(diǎn)。近來(lái)，深度學(xué)習(xí)研究被越來(lái)越多地用于人體運(yùn)動(dòng)意圖識(shí)別。深度學(xué)習(xí)極大改善了模型的非線性、解決復(fù)雜問(wèn)題的能力和識(shí)別的準(zhǔn)確性[7]，可作為一種端對(duì)端的運(yùn)動(dòng)意圖識(shí)別方法，減少手工特征篩選，節(jié)省特征計(jì)算時(shí)間，常用的方法為卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network,CNN) 和遞歸神經(jīng)網(wǎng)絡(luò)(recurrent neural network,RNN)。

本文檢索PubMed、Web of Science、中國(guó)知網(wǎng)、萬(wàn)方數(shù)據(jù)、維普數(shù)據(jù)庫(kù)建庫(kù)至2020 年12 月文獻(xiàn)，篩選基于表面肌電圖的人體運(yùn)動(dòng)意圖識(shí)別實(shí)驗(yàn)研究，提取相關(guān)數(shù)據(jù)，進(jìn)行描述性分析。

1 肌肉骨骼模型

sEMG 是非平穩(wěn)、微弱的信號(hào)，振幅集中在0.01～10 mV，頻率集中在20～500 Hz，特別是50～150 Hz。由于sEMG 在產(chǎn)生相應(yīng)的運(yùn)動(dòng)前約30～150 ms產(chǎn)生，是運(yùn)動(dòng)意圖識(shí)別的理想選擇[8?9]。

sEMG 驅(qū)動(dòng)的肌肉骨骼模型可以分為三個(gè)子模型，即激活模型、收縮模型和肌肉骨骼幾何模型[6]。原始sEMG在經(jīng)過(guò)高通濾波、全波整流、低通濾波和歸一化等預(yù)處理后，作為模型的輸入[3]。

對(duì)于激活模型，肌肉激活ai(t)和處理后sEMGui(t)之間的關(guān)系可以表示為以下等式[10?11]：

其中i表示肌肉，t代表時(shí)刻；-3 ＜Ai＜0，是肌肉i的非線性形狀因子。

收縮模型總是使用Hill肌肉模型(圖1)[12]。

圖1 Hill肌肉模型

Karavas 等[10]采用肌肉骨骼模型估計(jì)膝關(guān)節(jié)扭矩、軌跡和剛度趨勢(shì)，估計(jì)值與實(shí)際值之間的歸一化均方根誤差(root mean squared error,RMSE)約0.12。Lloyd等[11]利用改進(jìn)的Hill 型肌肉模型估計(jì)肌肉力量和膝蓋力矩，平均相關(guān)系數(shù)(correlative coefficient,CC)為0.91，均方誤差(mean squared error,MSE)為12 N·m。陳江城等[14]根據(jù)肌絲滑行理論，使用改進(jìn)的肌肉模型估計(jì)膝關(guān)節(jié)動(dòng)態(tài)關(guān)節(jié)力矩，預(yù)測(cè)最大絕對(duì)誤差平均值為(11.0±1.32)N·m，平均殘差為(4.43±0.698)N·m，平均線性CC為(0.927±0.042)。

Hill 肌肉模型通過(guò)振幅信息描述肌肉激活程度，沒(méi)有考慮微觀特性，無(wú)法有效反映活體肌肉生理參數(shù)對(duì)肌肉收縮的影響。改進(jìn)的肌肉骨骼模型更加貼合實(shí)際肌肉收縮過(guò)程，但sEMG 信號(hào)驅(qū)動(dòng)的肌肉骨骼模型中存在多個(gè)未知參數(shù)，需要通過(guò)初步實(shí)驗(yàn)進(jìn)行參數(shù)識(shí)別。

2 傳統(tǒng)機(jī)器學(xué)習(xí)

基于傳統(tǒng)機(jī)器學(xué)習(xí)的運(yùn)動(dòng)意圖識(shí)別可以分為兩種：離散運(yùn)動(dòng)分類和連續(xù)運(yùn)動(dòng)回歸。前者需要建立sEMG 信號(hào)與上下肢離散運(yùn)動(dòng)之間的映射關(guān)系。常見(jiàn)的下肢運(yùn)動(dòng)分類包括行走/跑步/站立/上樓梯/下樓梯、伸膝/屈膝、支撐前期/支撐中期/支撐后期/擺動(dòng)前期/擺動(dòng)后期等。后者需要構(gòu)建sEMG 信號(hào)和上下肢連續(xù)運(yùn)動(dòng)之間的映射。常見(jiàn)的連續(xù)運(yùn)動(dòng)回歸包括角度、角速度、角加速度、力和髖部、膝蓋、踝部、肩部、肘部和腕部關(guān)節(jié)的力矩。后者對(duì)穿戴機(jī)器人的平滑控制更有價(jià)值，將是未來(lái)研究的重點(diǎn)[8]。

2.1 sEMG的特征提取與特征選擇

特征提取和特征選擇是基于傳統(tǒng)機(jī)器學(xué)習(xí)的運(yùn)動(dòng)意圖識(shí)別中重要的步驟。常用特征可以分為時(shí)域特征、頻域特征和時(shí)頻域特征。常用的時(shí)域特征有平均絕對(duì)值(mean absolute value,MAV)、均方根(root mean square,RMS)、方差(variance,VAR)、標(biāo)準(zhǔn)差(standard deviation,SD)、過(guò)零點(diǎn)數(shù)(zero crossings,ZC)、波形長(zhǎng)度(wave length,WL)、斜率信號(hào)變化(slope signal change,SSC)、積分肌電值(integral electromyogram,iEMG)和平均絕對(duì)值差(difference of mean absolute val?ue,DMAV)。時(shí)域特征的計(jì)算雖然簡(jiǎn)單，但不足以描述信號(hào)的信息。頻域特征通常使用峰值頻率(peak fre?quency,PF)、中值頻率(median frequency,MF)和平均功率頻率(mean power frequency,MPF)。時(shí)頻域特征通常使用傅立葉變換特征和小波變換特征。時(shí)頻域特征雖然可以獲得信號(hào)的綜合信息，但提取過(guò)程復(fù)雜且耗時(shí)。

多通道sEMG 信號(hào)用于特征提取時(shí)，常存在冗余特征，需要使用合適的方法進(jìn)行特征選擇，以最少的肌肉組合、有效且耗時(shí)少的肌肉特征組合，實(shí)現(xiàn)運(yùn)動(dòng)意圖的識(shí)別；既減少佩戴的傳感器，又可以提高運(yùn)動(dòng)意圖識(shí)別的實(shí)時(shí)性。常用的特征選擇和降維方法有主成分分析、獨(dú)立成分分析等，費(fèi)舍爾分?jǐn)?shù)[15]、輪廓似然最大化[15]、Davies Bouldin 指數(shù)(Davies Bouldin In?dex,DBI)[16]等也可以用來(lái)評(píng)估肌肉特征的重要性。也有研究使用一些變體方法進(jìn)行特征選擇，如獨(dú)立成分分析?熵約束最小化[17]、核主成分分析[18]等。

2.2 離散運(yùn)動(dòng)分類

構(gòu)建分類模型是基于傳統(tǒng)機(jī)器學(xué)習(xí)的離散運(yùn)動(dòng)分類中的關(guān)鍵步驟。SVM的分類模型通過(guò)構(gòu)造具有最大間隔的最優(yōu)分類超平面來(lái)分離兩類樣本，具有解決非線性二元分類問(wèn)題的能力[19]。而為了解決多分類問(wèn)題，通常需要進(jìn)行多次SVM 二分類。鄭瀟[20]使用遺傳算法(genetic algorithm,GA)優(yōu)化的SVM，將支撐前期、中期、后期，擺動(dòng)前期、后期5個(gè)步態(tài)階段分類，使用MAV 和VAR 作為特征；SVM 平均識(shí)別率最高的是支撐前期，達(dá)97.1%；最低的是支撐后期，超過(guò)95%。Wei 等[21]使用SVM 進(jìn)行站立中期、站立末期、擺動(dòng)前期、擺動(dòng)中期、擺動(dòng)末期5種步態(tài)階段的識(shí)別，分別提取SD 和ZC，MAV 和ZC，MF 和ZC，MPF 和ZC，RMS 和ZC，WL 和ZC，iEMG 和ZC 共7 組特征進(jìn)行測(cè)試，MAV 和ZC 的識(shí)別性能優(yōu)于其他特征集，平均分類精度為89.40%。

LDA、K 均值聚類(k?means clustering algorithm,K?Means)、樸素貝葉斯(na?ve bayes,NB)、極限學(xué)習(xí)機(jī)(extreme learning machine,ELM)等也經(jīng)常用于離散運(yùn)動(dòng)分類。Barberi 等[22]從sEMG 信號(hào)中提取MF，使用LDA 進(jìn)行標(biāo)準(zhǔn)步行、上坡、下坡、上樓梯、下樓梯5種運(yùn)動(dòng)意圖識(shí)別，訓(xùn)練集的準(zhǔn)確率為100%，計(jì)算時(shí)間為100 ms。鄭瀟等[20]使用改進(jìn)K?Means 將支撐前期、中期、后期，擺動(dòng)前期、后期5個(gè)步態(tài)階段分類，該算法基于樣本分布密度和散度，對(duì)初始聚類中心的選擇進(jìn)行優(yōu)化，排除孤立噪聲點(diǎn)的干擾，使用Katz算法提取的非線性分形維數(shù)作為特征，分類準(zhǔn)確率為92.1%。Xie 等[23]使用ELM 進(jìn)行伸膝、屈膝分類，計(jì)算有效PF 的多尺度熵作為分類特征，發(fā)現(xiàn)EEG 和EMG雙模態(tài)特征融合可以提高分類準(zhǔn)確率。

也有研究使用XGBoost 和LightGBM 框架進(jìn)行離散運(yùn)動(dòng)分類。Peng 等[16]提取SSC、WL、Willison 幅值(Wamp)、對(duì)數(shù)方差(Logvar)和DB7 小波分解系數(shù)絕對(duì)均值(DB7?MAV)作為特征向量，分別使用基于LDA的簡(jiǎn)單多數(shù)投票融合(SV?LDA)、基于LDA 的加權(quán)多數(shù)投票融合(WT?LDA)、XGBoost、LightGBM 4 種分類方法，對(duì)站立前態(tài)、站立中間態(tài)、站立末端態(tài)、前擺、中擺、終擺6 個(gè)步態(tài)階段進(jìn)行分類，結(jié)果顯示，LightGBM 算法在步態(tài)相識(shí)別方面優(yōu)于傳統(tǒng)的融合決策算法，平均準(zhǔn)確率94.3%，運(yùn)算時(shí)間85 ms。

基于人工神經(jīng)網(wǎng)絡(luò)(artificial neural network,ANN)的分類模型通過(guò)調(diào)整“突觸權(quán)重”的自由參數(shù)學(xué)習(xí)復(fù)雜的非線性模式。典型的淺層ANN 結(jié)構(gòu)由輸入層、隱藏層和輸出層組成，每層包含權(quán)重矩陣、偏置向量和輸出向量。輸入層的神經(jīng)元數(shù)量由特征數(shù)量給出，輸出層的神經(jīng)元數(shù)量由需要分類的運(yùn)動(dòng)數(shù)量給出。Astudillo 等[24]設(shè)計(jì)一種基于Levenberg?Marquardt 方法訓(xùn)練的ANN 進(jìn)行運(yùn)動(dòng)意圖模式識(shí)別，分類準(zhǔn)確率94.88%，計(jì)算時(shí)間(12.6±10) ms。Morbidoni 等[25]使用MLP 分類站立、擺動(dòng)階段，使用的特征為EMG 信號(hào)的包絡(luò)，結(jié)果發(fā)現(xiàn)結(jié)構(gòu)為(512,256,128)的MLP 分類效果最好，訓(xùn)練集準(zhǔn)確率94.9%，測(cè)試集準(zhǔn)確率93.4%。Karantarat 等[26]使用BPNN 識(shí)別步行、坐、站立3 種運(yùn)動(dòng)意圖，使用的神經(jīng)網(wǎng)絡(luò)有25 個(gè)輸入層、10 個(gè)隱藏層和3 個(gè)輸出層，分別測(cè)試不同的時(shí)域、頻域特征組合，結(jié)果表明，所有時(shí)域特征的組合識(shí)別率最高，達(dá)99.39%。

一般來(lái)說(shuō)，離散運(yùn)動(dòng)分類的運(yùn)動(dòng)描述相對(duì)簡(jiǎn)單，沒(méi)有統(tǒng)一的分類標(biāo)準(zhǔn)。此外，離散運(yùn)動(dòng)分類預(yù)定義了用于分類的運(yùn)動(dòng)類型，當(dāng)出現(xiàn)未定義的運(yùn)動(dòng)類型時(shí)，將發(fā)生無(wú)法分類的情況。相關(guān)研究的主要特征總結(jié)于表1。

表1 基于傳統(tǒng)機(jī)器學(xué)習(xí)的離散運(yùn)動(dòng)分類研究特征

2.3 連續(xù)運(yùn)動(dòng)回歸

離散運(yùn)動(dòng)分類只能識(shí)別少量離散的身體運(yùn)動(dòng)，不能用于可穿戴機(jī)器人的平滑控制。估計(jì)運(yùn)動(dòng)信息的連續(xù)運(yùn)動(dòng)回歸成為新的研究熱點(diǎn)。與肌肉骨骼模型類似，sEMG 信號(hào)與關(guān)節(jié)角度、角速度、角加速度或關(guān)節(jié)力矩之間的映射也可以通過(guò)傳統(tǒng)機(jī)器學(xué)習(xí)來(lái)建立。常用的基于傳統(tǒng)機(jī)器學(xué)習(xí)的連續(xù)運(yùn)動(dòng)回歸方法為淺層ANN。

對(duì)于關(guān)節(jié)運(yùn)動(dòng)學(xué)回歸，通常建立sEMG 與關(guān)節(jié)角度之間的映射，將估計(jì)的角度輸入可穿戴機(jī)器人的控制系統(tǒng)，實(shí)現(xiàn)精確角度軌跡跟蹤。Luh 等[27]使用BPNN 估計(jì)肘關(guān)節(jié)角度，第一層由16 個(gè)sEMG 信號(hào)特征節(jié)點(diǎn)組成，隱藏層由240 個(gè)節(jié)點(diǎn)構(gòu)成，第三層有1個(gè)角度輸出節(jié)點(diǎn)，仿真結(jié)果表明，該方法能夠較好估計(jì)彎頭角度，具有較高精度。Zhang 等[28]采用BPNN建立sEMG 信號(hào)和腳踝、膝蓋、臀部關(guān)節(jié)角度之間的映射，該網(wǎng)絡(luò)輸入層為60 個(gè)神經(jīng)元，隱含層為20 個(gè)神經(jīng)元，輸出層為3 個(gè)神經(jīng)元，結(jié)果不同腿部運(yùn)動(dòng)的平均誤差＜9°。Xie等[29]采用黃金分割算法優(yōu)化的回歸神經(jīng)網(wǎng)絡(luò)(GS?GRNN)實(shí)現(xiàn)對(duì)髖、膝、踝關(guān)節(jié)角度的同時(shí)預(yù)測(cè)，神經(jīng)網(wǎng)絡(luò)的輸入為sEMG 的RMS、髖關(guān)節(jié)角度、腳底壓力值，與BPNN 的預(yù)測(cè)結(jié)果相比，GRNN處理時(shí)間更少，預(yù)測(cè)精度更高。

對(duì)于關(guān)節(jié)動(dòng)力學(xué)回歸，一般建立sEMG 信號(hào)與關(guān)節(jié)力或力矩之間的映射關(guān)系。相對(duì)于關(guān)節(jié)運(yùn)動(dòng)學(xué)回歸，動(dòng)力學(xué)回歸的研究相對(duì)較少。Masayuki 等[4]利用基于sEMG 信號(hào)的ANN 預(yù)測(cè)握力，提出的網(wǎng)絡(luò)由1 個(gè)輸入層、4 個(gè)隱藏層和1 個(gè)輸出層組成；將4 個(gè)sEMG的RMS 作為輸入，以估計(jì)的握力作為輸出，每個(gè)隱藏層分別使用64、32、16 和8 個(gè)神經(jīng)元；結(jié)果表明，預(yù)測(cè)值與觀測(cè)值之間平均CC 為0.84。Chandrapal等[30]通過(guò)ANN，建立5 個(gè)sEMG 信號(hào)與膝關(guān)節(jié)扭矩之間的映射，在MLP 隱藏層有3個(gè)神經(jīng)元，在全連接網(wǎng)絡(luò)有3 個(gè)神經(jīng)元，結(jié)果表明，該方法的平均最低估計(jì)誤差為10.46%。

由于sEMG 信號(hào)濾波方法的原因，常出現(xiàn)預(yù)測(cè)值曲線接近測(cè)量值，但存在高頻抖動(dòng)的現(xiàn)象。為消除高頻抖動(dòng)，可以優(yōu)化sEMG 信號(hào)濾波方法或優(yōu)化輸出結(jié)果，以提高預(yù)測(cè)精度。Shi 等[31]利用遺傳算法優(yōu)化BPNN，構(gòu)造sEMG 與膝關(guān)節(jié)角度的關(guān)系，并對(duì)輸出結(jié)果進(jìn)行高頻濾波以優(yōu)化輸出結(jié)果，結(jié)果表明預(yù)測(cè)值的RMSE降低24%。

基于sEMG 信號(hào)的關(guān)節(jié)運(yùn)動(dòng)學(xué)和動(dòng)力學(xué)回歸可用于可穿戴機(jī)器人的平滑控制，但與離散運(yùn)動(dòng)分類相比，連續(xù)運(yùn)動(dòng)回歸的研究較少。與深度ANN 相比，淺層ANN是基于sEMG信號(hào)連續(xù)運(yùn)動(dòng)回歸最常用的方法?；趥鹘y(tǒng)機(jī)器學(xué)習(xí)的連續(xù)運(yùn)動(dòng)回歸仍需要進(jìn)行特征選擇，否則可能出現(xiàn)過(guò)擬合現(xiàn)象，降低模型預(yù)測(cè)精度。目前針對(duì)連續(xù)運(yùn)動(dòng)回歸的自動(dòng)特征選擇常被研究人員忽視。相關(guān)研究的主要特征總結(jié)于表2。

表2 基于傳統(tǒng)機(jī)器學(xué)習(xí)的連續(xù)運(yùn)動(dòng)回歸研究特征

3 深度學(xué)習(xí)

基于傳統(tǒng)機(jī)器學(xué)習(xí)方法的運(yùn)動(dòng)意圖識(shí)別需要進(jìn)行大量的特征選擇和提取，選取特征的重要性決定了識(shí)別結(jié)果的準(zhǔn)確性。深度學(xué)習(xí)方法一般不需要手工選取EMG 信號(hào)特征，通過(guò)深度學(xué)習(xí)網(wǎng)絡(luò)可以學(xué)習(xí)輸入信號(hào)的多層次特征，從而進(jìn)行分類或回歸。深度學(xué)習(xí)提高了模型的非線性和識(shí)別的準(zhǔn)確性，近年來(lái)在人體運(yùn)動(dòng)分類中得到廣泛應(yīng)用。基于深度學(xué)習(xí)的運(yùn)動(dòng)意圖識(shí)別也可分為兩種：離散運(yùn)動(dòng)分類和連續(xù)運(yùn)動(dòng)回歸。常用的方法為CNN、RNN。典型的CNN 由輸入層、卷積層、池化層、全連接層和輸出層組成。常用的RNN為長(zhǎng)短 期記憶網(wǎng)絡(luò)(long short?term memory,LSTM)。時(shí)間卷積網(wǎng)絡(luò)(temporal convolution network,TCN)的出現(xiàn)也為基于sEMG的運(yùn)動(dòng)意圖識(shí)別帶來(lái)新的機(jī)遇。

3.1 離散運(yùn)動(dòng)分類

基于深度學(xué)習(xí)的離散運(yùn)動(dòng)分類需要建立sEMG 信號(hào)與上下肢離散運(yùn)動(dòng)之間的映射關(guān)系。

Park 等[32]采用基于CNN 的深度特征學(xué)習(xí)模型對(duì)6種手部運(yùn)動(dòng)進(jìn)行分類，提出的模型由1 個(gè)輸入層、4個(gè)卷積層、4 個(gè)池化層和2 個(gè)全連接層組成，該方法的分類準(zhǔn)確率達(dá)90%。C?té?Allard 等[33]采用基于Con?vNet的遷移學(xué)習(xí)策略進(jìn)行手勢(shì)識(shí)別，結(jié)果顯示，基于連續(xù)小波變換(continuous wavelet transform,CWT)的ConvNet，17 名參與者的7 個(gè)手勢(shì)識(shí)別準(zhǔn)確率為98.31%；基于原始EMG 的ConvNet，10 名參與者的18 個(gè)手勢(shì)識(shí)別準(zhǔn)確率為68.98%。Wei 等[34]提出了一種基于CNN 的多視圖深度學(xué)習(xí)框架用于手勢(shì)識(shí)別，通過(guò)窮舉，找到3種EMG特征作為網(wǎng)絡(luò)輸入，結(jié)果表明與單視圖深度學(xué)習(xí)框架和最先進(jìn)的學(xué)習(xí)方法相比，提出的網(wǎng)絡(luò)能獲得更高的姿態(tài)識(shí)別精度。Bu等[35]利用五層遞歸對(duì)數(shù)線性化高斯混合網(wǎng)絡(luò)對(duì)6 種手部運(yùn)動(dòng)進(jìn)行分類，包括屈伸、內(nèi)旋、內(nèi)旋、外旋、抓取和張開(kāi)，平均識(shí)別正確率為88.4%。

CNN 可以提取sEMG 的空間特征，而sEMG 信號(hào)本質(zhì)上是時(shí)間序列。LSTM 是為解決一般RNN 存在的長(zhǎng)期依賴問(wèn)題而設(shè)計(jì)的，可用來(lái)提取sEMG 信號(hào)的時(shí)間尺度特征。Song 等[36]從日常生活中7 種常見(jiàn)運(yùn)動(dòng)中提取sEMG 信號(hào)時(shí)域和頻域特征，構(gòu)建訓(xùn)練集，建立基于多層感知器和LSTM 的下肢運(yùn)動(dòng)模式識(shí)別方法，結(jié)果表明，采用多層感知器的最佳識(shí)別準(zhǔn)確率為95.53%，采用LSTM 的最佳識(shí)別準(zhǔn)確率為96.57%。Cheng 等[37]采用CNN?LSTM 混合模型識(shí)別4 個(gè)踝關(guān)節(jié)運(yùn)動(dòng)：背屈、跖屈、足內(nèi)翻和足外翻，混合模型由2層CNN 和3 層LSTM 組成，識(shí)別準(zhǔn)確率(97.55±1.93)%，高于單一使用CNN和LSTM模型。

TCN 既有時(shí)域上的建模能力，又有低參數(shù)量下CNN 的特征提取能力。與CNN?LSTM 相比，TCN 具有更簡(jiǎn)單的網(wǎng)絡(luò)結(jié)構(gòu)和更少的參數(shù)。Betthauser等[38]采用TCN識(shí)別3個(gè)手部運(yùn)動(dòng)，網(wǎng)絡(luò)輸入為sEMG的MAV特征，TCN 識(shí)別準(zhǔn)確性與LSTM 相當(dāng)，但識(shí)別穩(wěn)定性更高。

相關(guān)研究的主要特征總結(jié)于表3。

表3 基于深度學(xué)習(xí)的離散運(yùn)動(dòng)分類研究特征

3.2 連續(xù)運(yùn)動(dòng)回歸

sEMG 信號(hào)與關(guān)節(jié)角度、關(guān)節(jié)力或關(guān)節(jié)力矩之間的映射也可以通過(guò)深度學(xué)習(xí)來(lái)建立。

對(duì)于CNN，Bao 等[39]提出一種將sEMG 映射到三自由度腕部關(guān)節(jié)角度的CNN，在時(shí)域和頻域上分別構(gòu)造了兩種類型sEMG 特征圖作為輸入，與6 種傳統(tǒng)機(jī)器學(xué)習(xí)方法進(jìn)行比較，表明CNN 表現(xiàn)最佳，頻譜圖比時(shí)域圖效果更好。Rane 等[40]使用CNN 估計(jì)骨骼肌力，預(yù)測(cè)精度良好，計(jì)算時(shí)間71 ms；而自由體逆動(dòng)力學(xué)與靜態(tài)優(yōu)化時(shí)間為16 min。Ameri 等[41]采用CNN連續(xù)預(yù)測(cè)2 個(gè)腕部關(guān)節(jié)的自由度，預(yù)測(cè)誤差＜10%，小于SVM 的預(yù)測(cè)誤差，且CNN 的處理時(shí)間為6 ms，SVM為13 ms。Yang等[42]使用CNN連續(xù)預(yù)測(cè)腕關(guān)節(jié)自由度，與SVM 模型相比，CNN 模型泛化能力更強(qiáng)，預(yù)測(cè)速度更快，在多個(gè)體訓(xùn)練的基礎(chǔ)上，可以直接對(duì)新個(gè)體進(jìn)行足夠控制，而不需要進(jìn)一步訓(xùn)練。

Dao[43]采用基于權(quán)重轉(zhuǎn)移學(xué)習(xí)策略的LSTM 預(yù)測(cè)骨骼肌力，內(nèi)部和外部驗(yàn)證的RMSE 分別＜5%和10%，CC 范圍0.95～0.99，所有數(shù)據(jù)和預(yù)測(cè)值間波形完美相似。Ma 等[44]利用sEMG 的RMS 及其時(shí)間提前特征作為輸入，采用LSTM 估計(jì)連續(xù)膝關(guān)節(jié)角度，與實(shí)際角 度間平 均RMSE 為(3.4726±0.6162)°，高 于BPNN。Ma 等[45]提出一種基于短時(shí)連接自動(dòng)編碼器的LSTM 網(wǎng)絡(luò)(SCA?LSTM)預(yù)測(cè)上肢關(guān)節(jié)角度，sEMG 信號(hào)包絡(luò)作為輸入，結(jié)果顯示實(shí)際值間的CC 為(0.957±0.013)。

CNN可以多層次學(xué)習(xí)輸入信號(hào)的特征，生成特征圖。RNN 擅長(zhǎng)處理序列數(shù)據(jù)，如語(yǔ)音和文本[46]，因?yàn)樗梢岳眯蛄械臍v史信息。EMG 作為時(shí)間序列數(shù)據(jù)，需要存儲(chǔ)歷史信息彌補(bǔ)使用時(shí)間窗的不足。Xia等[46]用循環(huán)卷積神經(jīng)網(wǎng)絡(luò)(recurrent convolutional neu?ral network,RCNN)估計(jì)上肢運(yùn)動(dòng)軌跡，該RCNN架構(gòu)由1 個(gè)輸入層、3 個(gè)卷積層、2 個(gè)池化層、2 個(gè)長(zhǎng)短時(shí)記憶層和1 個(gè)輸出層組成，平均CC 為0.903。Xu 等[47]比較CNN、LSTM 和CNN?LSTM 對(duì)上肢力的估計(jì)效果，結(jié)果表明，三種模型均適用于力的估計(jì)，LSTM和CNN?LSTM 性能較好，平均RMSE 維持在(9.07±1.29)%和(8.67±1.14)%的低水平，CNN 的平均RMSE為(12.13±1.98)%。Gautam等[48]提出一種基于遷移學(xué)習(xí)的長(zhǎng)期遞歸卷積網(wǎng)絡(luò)(long?term recurrent convolution network,LRCN)預(yù)測(cè)膝關(guān)節(jié)角度，輸入為sEMG 信號(hào)CNN 提取特征，LSTM 進(jìn)行序列學(xué)習(xí)，健康人和膝關(guān)節(jié)病患者關(guān)節(jié)角預(yù)測(cè)MAE分別為8.1%和9.2%。

與傳統(tǒng)機(jī)器學(xué)習(xí)相比，基于深度學(xué)習(xí)的運(yùn)動(dòng)意圖預(yù)測(cè)研究相對(duì)較少，而主要集中在上肢。與上肢相比，下肢主動(dòng)運(yùn)動(dòng)意圖的識(shí)別對(duì)安全性和實(shí)時(shí)性要求更高。未來(lái)有望通過(guò)深度學(xué)習(xí)方法進(jìn)一步提高識(shí)別精度，并且在下肢運(yùn)動(dòng)意圖預(yù)測(cè)上得到廣泛的應(yīng)用。CNN 與LSTM 結(jié)合使用有望實(shí)現(xiàn)端到端的連續(xù)運(yùn)動(dòng)預(yù)測(cè)，無(wú)需進(jìn)行特征計(jì)算，可以節(jié)省時(shí)間，提高預(yù)測(cè)效率。TCN 也有望被用于基于sEMG 的連續(xù)運(yùn)動(dòng)回歸，降低模型復(fù)雜度和參數(shù)量，進(jìn)一步提高預(yù)測(cè)效率。

相關(guān)研究的主要特征總結(jié)于表4。

表4 基于深度學(xué)習(xí)的連續(xù)運(yùn)動(dòng)回歸研究特征

4 小結(jié)

很難找到一種基于sEMG 信號(hào)的識(shí)別方法能夠完全、徹底地估計(jì)所有人體運(yùn)動(dòng)意圖。由于缺乏日常的可重復(fù)性和訓(xùn)練過(guò)程冗長(zhǎng)，基于sEMG 信號(hào)的運(yùn)動(dòng)意圖識(shí)別方法仍處于實(shí)驗(yàn)室階段，很少市場(chǎng)化；大多研究識(shí)別的是正常人的運(yùn)動(dòng)意圖，僅適用于特定用戶和運(yùn)動(dòng)模式；特征提取的計(jì)算過(guò)程耗費(fèi)時(shí)間，缺乏實(shí)時(shí)性。

由于有運(yùn)動(dòng)障礙的患者與健康人的肌電特征可能有所不同，我們需要進(jìn)一步研究患者運(yùn)動(dòng)意圖的識(shí)別，提高識(shí)別方法的魯棒性和實(shí)用性非常重要。在未來(lái)下肢運(yùn)動(dòng)意圖識(shí)別研究中，需要將實(shí)時(shí)性作為一個(gè)重要評(píng)價(jià)指標(biāo)。從運(yùn)動(dòng)捕捉系統(tǒng)中提取部分?jǐn)?shù)據(jù)特征改善算法分類或回歸性能，在康復(fù)機(jī)器人中只集成少量關(guān)鍵傳感器，可減少佩戴的傳感器數(shù)，節(jié)省特征計(jì)算時(shí)間，提高運(yùn)動(dòng)意圖識(shí)別的實(shí)時(shí)性?；谏疃葘W(xué)習(xí)的方法對(duì)提高識(shí)別準(zhǔn)確率和實(shí)現(xiàn)端到端的運(yùn)動(dòng)意圖識(shí)別有重要作用，會(huì)成為未來(lái)發(fā)展的趨勢(shì)。開(kāi)發(fā)更加精確和實(shí)時(shí)的人體運(yùn)動(dòng)意圖識(shí)別方法仍然是未來(lái)的挑戰(zhàn)。

利益沖突聲明：所有作者聲明不存在利益沖突。