基于sEMG和LSTM的下肢連續(xù)運(yùn)動(dòng)估計(jì)

王 斐， 魏曉童， 秦 皞

(東北大學(xué) 機(jī)器人科學(xué)與工程學(xué)院， 遼寧 沈陽(yáng) 110169)

下肢助力外骨骼是一種供人穿戴的人機(jī)一體化機(jī)械裝置.隨著生物電信息技術(shù)的發(fā)展，通過(guò)腦電、肌電等生物電信號(hào)來(lái)實(shí)現(xiàn)人與協(xié)同對(duì)象和外界環(huán)境的交流，將生物電蘊(yùn)含的人體運(yùn)動(dòng)信息作用于機(jī)器人，是人機(jī)交互實(shí)現(xiàn)的新途徑[1-2].表面肌電信號(hào)(sEMG)是從肌肉表面通過(guò)電極記錄的生物電信號(hào)，與人體的期望動(dòng)作直接相關(guān)，具有分辨率高、采集技術(shù)成熟、采集無(wú)創(chuàng)等優(yōu)點(diǎn)，是現(xiàn)代人機(jī)交互接口技術(shù)中最常用的生物電信號(hào)[3].

下肢連續(xù)運(yùn)動(dòng)預(yù)測(cè)對(duì)于下肢外骨骼運(yùn)動(dòng)控制具有重要意義.基于生物電的運(yùn)動(dòng)估計(jì)方法，可采用生物力學(xué)模型[4]、神經(jīng)網(wǎng)絡(luò)和高階多項(xiàng)式擬合等方法構(gòu)建表面肌電信號(hào)與運(yùn)動(dòng)量之間的函數(shù)關(guān)系[4-5].生物力學(xué)建模方法從肌骨模型出發(fā)，建立表面肌電信號(hào)與關(guān)節(jié)運(yùn)動(dòng)量之間的關(guān)系，對(duì)于人體在行走過(guò)程中所涉及到的下肢多種肌群，因內(nèi)部共同作用的過(guò)程復(fù)雜，使生物力學(xué)建模方法的實(shí)用性降低[6].因此，基于神經(jīng)網(wǎng)絡(luò)回歸方法建立的表面肌電信號(hào)與運(yùn)動(dòng)量之間的映射關(guān)系就顯得簡(jiǎn)單快捷[7].

對(duì)于采用建立sEMG和關(guān)節(jié)運(yùn)動(dòng)量的回歸模型進(jìn)行運(yùn)動(dòng)信息預(yù)測(cè)的研究，國(guó)內(nèi)外學(xué)者已有不少相關(guān)研究進(jìn)展，如Cheron等應(yīng)用的DRNN網(wǎng)絡(luò)估計(jì)下肢關(guān)節(jié)角度、角速度等量[8]，Kwon等應(yīng)用ANN模型對(duì)上肢肩關(guān)節(jié)和肘關(guān)節(jié)角度進(jìn)行估計(jì)[9]，Zhang等應(yīng)用BP神經(jīng)網(wǎng)絡(luò)模型估計(jì)下肢踝關(guān)節(jié)、膝關(guān)節(jié)、髖關(guān)節(jié)角度[10].但傳統(tǒng)神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練時(shí)間長(zhǎng)，模型精度較低，沒(méi)有規(guī)范方法定義合適的網(wǎng)絡(luò)結(jié)構(gòu)[11]，無(wú)法滿足正常行走助力外骨骼的準(zhǔn)確性及實(shí)時(shí)性的要求.

基于sEMG的連續(xù)運(yùn)動(dòng)估計(jì)對(duì)于穿戴型外骨骼的控制意義重大，但仍存在精度不高、實(shí)時(shí)性差等問(wèn)題[12]，嚴(yán)重制約了人機(jī)交互的發(fā)展.LSTM是一種時(shí)間遞歸神經(jīng)網(wǎng)絡(luò)，適合學(xué)習(xí)時(shí)序相關(guān)的數(shù)據(jù)[13]，同時(shí)適用于處理和預(yù)測(cè)時(shí)間序列，能夠改善梯度消失的現(xiàn)象，增強(qiáng)網(wǎng)絡(luò)可靠性，對(duì)于時(shí)間序列相關(guān)的肌電連續(xù)運(yùn)動(dòng)具有很好的預(yù)測(cè)效果.因此，本文運(yùn)用新型神經(jīng)網(wǎng)絡(luò)LSTM提高了預(yù)測(cè)精度[14]，同時(shí)對(duì)特征信號(hào)進(jìn)行降維處理，以奇異值分解矩陣特征值的誤差算法，將輸入特征的維度進(jìn)行標(biāo)準(zhǔn)化處理[1]，提高了系統(tǒng)的實(shí)時(shí)性.對(duì)比傳統(tǒng)網(wǎng)絡(luò)訓(xùn)練方法SVM及BP在助力外骨骼實(shí)驗(yàn)平臺(tái)上的應(yīng)用，證明了本研究方法的準(zhǔn)確性和實(shí)時(shí)性.

1 信號(hào)提取及研究方法

1.1 實(shí)驗(yàn)平臺(tái)及實(shí)驗(yàn)設(shè)計(jì)

實(shí)驗(yàn)選取5名平均年齡為23歲的健康男性受試者參與數(shù)據(jù)采集實(shí)驗(yàn)，被試者分別進(jìn)行下肢跑步機(jī)固定步速行走，3種步速設(shè)置分別為2，3，5 km/h，采集3種步速下的sEMG及同步信號(hào)髖、膝關(guān)節(jié)角度數(shù)據(jù)，每人采集3組，采集時(shí)長(zhǎng)為5 min，訓(xùn)練數(shù)據(jù)為4 min，測(cè)試數(shù)據(jù)時(shí)長(zhǎng)為1 min.肌電信號(hào)采用ErgoLAB肌電采集系統(tǒng)進(jìn)行采集，關(guān)節(jié)角度采用IMU進(jìn)行采集，肌電采樣頻率為1 kHz，IMU采樣頻率為250 Hz，采集實(shí)驗(yàn)如圖1所示.其中肌電選擇下肢7個(gè)位置進(jìn)行肌電信號(hào)的測(cè)量，按標(biāo)號(hào)順序分別為股直肌、股內(nèi)側(cè)肌、脛骨前肌、腓腸肌內(nèi)側(cè)、股二頭肌、半腱肌、股外側(cè)肌，角度采集為3個(gè)IMU傳感，各傳感器編號(hào)與所對(duì)應(yīng)的位置如表1所示.

圖1 IMU與sEMG傳感器分布

將下肢骨骼肌肉模型簡(jiǎn)化為三連桿模型，三關(guān)節(jié)角度如圖2所示.其中髖、膝、踝三個(gè)關(guān)節(jié)對(duì)應(yīng)的角度分別為θ1,θ2,θ3，踝關(guān)節(jié)角度為足心垂直坐標(biāo)線與小腿線的夾角，膝關(guān)節(jié)角度為大腿與小腿的補(bǔ)角，因受試者是在跑步機(jī)上運(yùn)動(dòng)，故設(shè)定為軀干始終直立行走，所以髖關(guān)節(jié)角度簡(jiǎn)化為大腿延長(zhǎng)線與重力線的夾角.實(shí)驗(yàn)結(jié)果用實(shí)驗(yàn)室搭建的如圖3所示的助力外骨骼平臺(tái)測(cè)試.

表1 各傳感器對(duì)應(yīng)位置

圖2 下肢骨骼肌肉簡(jiǎn)化模型

1.2 信號(hào)提取與處理

sEMG信號(hào)的處理過(guò)程包括濾波去噪和提取特征兩個(gè)環(huán)節(jié).預(yù)處理過(guò)程采用IIR數(shù)字帶通濾波器進(jìn)行去噪，主要濾除10～200 Hz以外的信號(hào)和50 Hz工頻干擾.由于采集到的肌電信號(hào)是一個(gè)時(shí)間序列信號(hào)，具有復(fù)雜的非線性，為了保證數(shù)據(jù)的連續(xù)性，采用設(shè)置時(shí)間窗的方式提取特征，進(jìn)而進(jìn)行運(yùn)動(dòng)估計(jì)，如式(1)所示，Nt為時(shí)間窗長(zhǎng)度，xi為時(shí)間窗內(nèi)第i個(gè)sEMG信號(hào)值.肌電信號(hào)的特征提取通常有時(shí)域方法、頻域方法和時(shí)頻域方法，為降低計(jì)算復(fù)雜度，本文選用時(shí)域方法進(jìn)行特征提取.所采用的時(shí)域特征為平均絕對(duì)值(MAV)、零穿越次數(shù)(ZC)、波形長(zhǎng)(WL)、均方根(RMS)、肌肉激活度(ACT).

圖3 助力外骨骼實(shí)驗(yàn)平臺(tái)

1) 平均絕對(duì)值 (MAV).sEMG在幅值上表現(xiàn)出很強(qiáng)的隨機(jī)性，且幅值的正負(fù)通常具有對(duì)稱性.絕對(duì)值運(yùn)算將信號(hào)的幅值全部轉(zhuǎn)換成正值，可以直觀地反映肌肉的收縮力量，絕對(duì)值均值越大，則說(shuō)明肌肉的收縮強(qiáng)度越大.滑動(dòng)窗口下絕對(duì)值均值的數(shù)學(xué)表達(dá)式如下：

(1)

2) 零穿越次數(shù)(ZC).零穿越次數(shù)描述一段時(shí)間內(nèi)信號(hào)幅值變化過(guò)程中穿過(guò)x軸的次數(shù)，該特征從時(shí)域的角度對(duì)信號(hào)的頻域特征進(jìn)行估計(jì)，滑動(dòng)窗口下過(guò)零點(diǎn)的數(shù)學(xué)表達(dá)式為

(2)

(3)

其中，|xi-xi+1|>ε，引入ε是為了防止小值噪聲.

3) 波形長(zhǎng)(WL).波形長(zhǎng)是描述一段時(shí)間內(nèi)信號(hào)變化幅值累加之和，是信號(hào)復(fù)雜度的一種量測(cè)，其表達(dá)式為

(4)

4) 均方根(RMS).RMS是信號(hào)能量的一種量測(cè)，其表達(dá)式為

(5)

(6)

預(yù)處理后的sEMG信號(hào)與肌肉激活程度之間的關(guān)系通過(guò)式(7)的非線性函數(shù)表示.式中a(t)表示t時(shí)刻的激活度：

(7)

式(7)得到的是每個(gè)時(shí)刻的肌肉激活度，為了保證與其他時(shí)域特征的維度相同，采用時(shí)間窗內(nèi)的均值作為肌電信號(hào)的特征，其計(jì)算式為

(8)

根據(jù)上述描述取股內(nèi)側(cè)肌在運(yùn)動(dòng)過(guò)程的信號(hào)處理為例，選擇Nt=100的時(shí)間窗來(lái)計(jì)算肌電信號(hào)的時(shí)域特征，其數(shù)據(jù)特征圖如圖4所示.

圖4 sEMG信號(hào)及其時(shí)域特征

1.3 LSTM回歸算法

LSTM是一種特殊的RNN類型，通過(guò)添加門限，包括輸入門限、遺忘門限和輸出門限，使得自循環(huán)的權(quán)重是變化的，解決了RNN在處理時(shí)間間隔或較遠(yuǎn)節(jié)點(diǎn)數(shù)據(jù)(時(shí)間序列上距離較遠(yuǎn)節(jié)點(diǎn))時(shí)會(huì)遇到巨大的困難所導(dǎo)致的梯度消失和梯度膨脹的問(wèn)題.圖5為L(zhǎng)STM模型t時(shí)刻的時(shí)間序列處理模塊CELL示意圖，LSTM的計(jì)算方法與簡(jiǎn)單地計(jì)算輸入信號(hào)的加權(quán)和并施加非線性函數(shù)的遞歸單元不同，LSTM的每個(gè)模塊具有保存t時(shí)刻ct的記憶單元.模塊的輸出ht如式(9)所示：

ht=ottanh(ct).

(9)

其中ot是調(diào)整當(dāng)前輸入xt和前神經(jīng)元信息ht-1的輸出門，其輸出門由下式計(jì)算：

ot=σ(Woxt+Uoht-1+Voct).

(10)

其中σ為sigmoid函數(shù)，輸出0到1之間的數(shù)值，用來(lái)描述每個(gè)部分有多少數(shù)據(jù)量可以通過(guò).Vo是一個(gè)對(duì)角矩陣，代表計(jì)算輸出控制的中間計(jì)算量，無(wú)特殊含義[2].

(11)

新的記憶單元的計(jì)算方法為

(12)

記憶單元的內(nèi)容由遺忘門ft進(jìn)行調(diào)整，并且新的記憶單元的內(nèi)容被添加到記憶單元的程度由輸入門ii進(jìn)行調(diào)整，其計(jì)算公式為

(13)

其中Vf和Vi為對(duì)角陣，代表計(jì)算遺忘控制與輸入控制的中間計(jì)算量，無(wú)特殊含義[3].本研究中xt為時(shí)間序列的肌電時(shí)域特征值.

圖5 LSTM處理t時(shí)刻的CELL模型示意圖

1.4 PCA降維算法

下肢三關(guān)節(jié)角度的預(yù)測(cè)設(shè)計(jì)肌群較為復(fù)雜，選擇多個(gè)特征進(jìn)行提取時(shí)維度較大，其實(shí)時(shí)性受到影響.本研究采用主元分析(PCA)算法對(duì)特征矩陣進(jìn)行降維，若定義X={xk}是一個(gè)特征矩陣的樣本集，其中xk是q維樣本向量，可獲得xk的任意兩維，如Y=xki,Z=xkj的協(xié)方差，其計(jì)算式為

(14)

q為xk的樣本數(shù)量，進(jìn)而構(gòu)建協(xié)方差矩陣：

(15)

對(duì)C進(jìn)行奇異值(SVD)分解：

C=USV.

(16)

其中：U為q階的左奇異值；V為q階的右奇異值；S為特征值矩陣，具體分解算法這里不再陳述[6,14]，S矩陣其對(duì)角線以外的值均為0，本研究選取的主元數(shù)量參照公式為

(17)

其中：m為欲求取的主元數(shù)量；η為PCA的誤差值.根據(jù)預(yù)測(cè)效果調(diào)整η的值，進(jìn)而選擇特征降維維度m，將C的特征向量的前m個(gè)主成分作為轉(zhuǎn)換矩陣C，用數(shù)據(jù)協(xié)方差矩陣右乘轉(zhuǎn)換矩陣獲得降維后的網(wǎng)絡(luò)輸入數(shù)據(jù)特征.

2 實(shí)驗(yàn)結(jié)果與分析

2.1 網(wǎng)絡(luò)預(yù)測(cè)結(jié)果

本研究的目的是提出不同運(yùn)動(dòng)速度下基于肌電信號(hào)進(jìn)行關(guān)節(jié)連續(xù)運(yùn)動(dòng)預(yù)測(cè)的方法，通過(guò)5名受試者的實(shí)驗(yàn)驗(yàn)證方法的有效性及通用性.在訓(xùn)練階段，分別從每個(gè)時(shí)間窗的7塊肌肉，5個(gè)特征值，提取出35維肌電特征值和三維關(guān)節(jié)角度數(shù)據(jù)中取前4 min樣本組成訓(xùn)練數(shù)據(jù)集，應(yīng)用SVM,BP神經(jīng)網(wǎng)絡(luò)及LSTM網(wǎng)絡(luò)進(jìn)行訓(xùn)練，其參數(shù)應(yīng)用網(wǎng)格搜索法參數(shù)尋優(yōu)，找到最佳網(wǎng)絡(luò)參數(shù)，其中SVM選擇高斯核函數(shù)(RBF)，代價(jià)函數(shù)C=0.1，對(duì)應(yīng)的參數(shù)γ=0.05.BP網(wǎng)絡(luò)為4層，輸入、輸出分別為35維肌電特征值和3維的關(guān)節(jié)角度值，隱藏層神經(jīng)元個(gè)數(shù)選定為50和20，神經(jīng)網(wǎng)絡(luò)的隱層和輸出層的傳輸函數(shù)均為線性整流函數(shù)(ReLU).對(duì)預(yù)測(cè)結(jié)果進(jìn)行平滑濾波處理，以均方根誤差作為評(píng)估預(yù)測(cè)方法的準(zhǔn)確性，得到最優(yōu)預(yù)測(cè)結(jié)果，因3個(gè)關(guān)節(jié)角度值相差較小，所以選擇3 km/h步速下的膝關(guān)節(jié)角度為例，進(jìn)行對(duì)比分析，其三種網(wǎng)絡(luò)下的膝關(guān)節(jié)實(shí)驗(yàn)預(yù)測(cè)結(jié)果如圖6所示，按順序分別為SVM,BP,LSTM的訓(xùn)練結(jié)果.

為驗(yàn)證所研究方法的準(zhǔn)確性，采用5名受試者在3 km/h的勻速運(yùn)動(dòng)時(shí)的數(shù)據(jù)為例，利用SVM，BP神經(jīng)網(wǎng)絡(luò)及LSTM網(wǎng)絡(luò)訓(xùn)練進(jìn)行膝關(guān)節(jié)的預(yù)測(cè)誤差對(duì)比分析.由表2可見(jiàn)，5名受試者用SVM預(yù)測(cè)髖、膝、踝三個(gè)關(guān)節(jié)角度均方根誤差分別為8.76°，7.65°，9.50°；BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)三關(guān)節(jié)角度均方根誤差分別為7.82°，8.17°，9.01°；LSTM網(wǎng)絡(luò)訓(xùn)練預(yù)測(cè)的三關(guān)節(jié)角度均方根誤差分別為5.87°，6.28°，7.56°.盡管重復(fù)實(shí)驗(yàn)預(yù)測(cè)結(jié)果存在一定的波動(dòng)性，但從表2中可以明顯看出利用LSTM神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)誤差最小，因此可以得知LSTM算法的關(guān)節(jié)角度預(yù)測(cè)準(zhǔn)確性明顯高于SVM，BP神經(jīng)網(wǎng)絡(luò).

圖6 SVM，BP，LSTM膝關(guān)節(jié)角度估計(jì)實(shí)驗(yàn)結(jié)果

2.2 LSTM網(wǎng)絡(luò)預(yù)測(cè)結(jié)果

本實(shí)驗(yàn)采用LSTM網(wǎng)絡(luò)為最終網(wǎng)絡(luò)，對(duì)肌電信號(hào)進(jìn)行濾波與特征提取后，對(duì)每種特征進(jìn)行單獨(dú)歸一化處理，以保證每種特征的訓(xùn)練權(quán)重，其中優(yōu)化器選擇AdamOptmizer，其學(xué)習(xí)率learning_rate=0.006，批尺寸batch_size=20，隱藏層狀態(tài)變量State的維度CELL_SIZE=10，最終下肢髖、膝、踝三個(gè)關(guān)節(jié)角度在3km/h的步速下的預(yù)測(cè)結(jié)果如圖7所示.

本研究對(duì)5名受試者在穩(wěn)定行走過(guò)程的各關(guān)節(jié)預(yù)測(cè)精度進(jìn)行了統(tǒng)計(jì).5名被試者的下肢髖、膝、踝三個(gè)關(guān)節(jié)的平均預(yù)測(cè)的均方根誤差分別為5.87°，6.28°，7.56°，實(shí)驗(yàn)結(jié)果證明對(duì)于有規(guī)律性的適速行走，基于LSTM的預(yù)測(cè)是可行的.

2.3 實(shí)時(shí)性分析

表3評(píng)估訓(xùn)練后模型的實(shí)時(shí)性，以LSTM估計(jì)角度為例，整個(gè)評(píng)估過(guò)程中，評(píng)估期間的輸出時(shí)間為保留模型參數(shù)后的原始sEMG估計(jì)角度值.經(jīng)過(guò)多次實(shí)驗(yàn)分析與驗(yàn)證，當(dāng)式(17)中η的 取值為0.002時(shí)，有效保留原始估計(jì)角度(不采用降維的預(yù)測(cè)角度值)的峰值數(shù)據(jù)，同時(shí)，可達(dá)到原始預(yù)測(cè)數(shù)據(jù)準(zhǔn)確度的90%以上，降維維度m=10，測(cè)試實(shí)驗(yàn)是在PC主頻2.5 GHz的PyCharm2017環(huán)境下運(yùn)行，共進(jìn)行15組估計(jì)，每組預(yù)測(cè)值為1 min的數(shù)據(jù)(600個(gè)樣本)，原始估計(jì)耗時(shí)和PCA降維后估計(jì)耗時(shí)及膝關(guān)節(jié)均方根誤差(誤差占比相似，以膝關(guān)節(jié)為例)的對(duì)比分析如表3所示.

表2 SVM，BP，LSTM均方根誤差統(tǒng)計(jì)

圖7 LSTM下髖、膝、踝角度預(yù)測(cè)結(jié)果

表3 神經(jīng)網(wǎng)絡(luò)實(shí)時(shí)性對(duì)比評(píng)估

由表3可知，采用PCA降維后的LSTM角度預(yù)測(cè)的實(shí)時(shí)性獲得了明顯提高，其單次運(yùn)動(dòng)估計(jì)的平均耗時(shí)增加了0.5 ms左右，有效地提高了網(wǎng)絡(luò)預(yù)測(cè)的實(shí)時(shí)性.

3 結(jié) 語(yǔ)

本研究以助力外骨骼為研究背景，提出了基于LSTM及表面肌電信號(hào)的下肢3個(gè)關(guān)節(jié)的連續(xù)運(yùn)動(dòng)估計(jì)，并通過(guò)PCA降維處理提高了連續(xù)運(yùn)動(dòng)估計(jì)系統(tǒng)的應(yīng)用實(shí)時(shí)性.通過(guò)實(shí)驗(yàn)結(jié)果和統(tǒng)計(jì)數(shù)據(jù)，證明了LSTM在處理時(shí)間序列肌電信號(hào)的連續(xù)運(yùn)動(dòng)估計(jì)具有更好的精確性及穩(wěn)定性，同時(shí)與傳統(tǒng)網(wǎng)絡(luò)BP， SVM的訓(xùn)練方法相比，獲得了更高準(zhǔn)確度的髖、膝、踝三個(gè)關(guān)節(jié)的連續(xù)運(yùn)動(dòng)估計(jì).在實(shí)驗(yàn)室助力外骨骼平臺(tái)上，實(shí)驗(yàn)者穿戴外骨骼能夠保持適速行走，實(shí)驗(yàn)結(jié)果表明：基于sEMG和LSTM的下肢多關(guān)節(jié)連續(xù)運(yùn)動(dòng)估計(jì)，尤其是在規(guī)律性的適速行走預(yù)測(cè)時(shí)是可行的.研究表明通過(guò)肌電預(yù)測(cè)關(guān)節(jié)運(yùn)動(dòng)是可行的，為神經(jīng)網(wǎng)絡(luò)估計(jì)關(guān)節(jié)連續(xù)運(yùn)動(dòng)量對(duì)于下肢助力外骨骼的應(yīng)用提供了又一新的理論依據(jù).