基于實時意圖識別的外骨骼機器人步態(tài)切換

宋春寧，郭子銘，，王 燦

(1.廣西大學電氣工程學院，廣西 南寧 530004；2.中國科學院深圳先進技術(shù)研究院，廣東 深圳 518055)

1 引言

下肢外骨骼機器人依據(jù)仿生學的原理，在人體外部構(gòu)建外骨骼的框架和驅(qū)動，對穿戴者提供支撐和助力功能。然而隨著科技的發(fā)展以及康復需求的增加，人們對康復外骨骼的人機交互控制要求越來越高，使用物理信號(足底壓力信號、關(guān)節(jié)角度信號)實現(xiàn)人機交互實時，因采集信號滯后性，造成實時控制外骨骼機器人不夠穩(wěn)定。人體表面肌電信號(Surface electromyography，sEMG)響應速度快，易于人機交互實現(xiàn)實時控制，成為當前研究的熱點。

在sEMG信號識別方面，中國科學院研發(fā)了基于sEMG信號手勢識別的外骨骼機器人[1]。西北工業(yè)大學研發(fā)了基于sEMG的多類adaboost算法來對手勢進行識別[2]。加拿大拉瓦爾大學研究團隊捕獲sEMG信號活動來檢測手勢，完成對機械臂的引導工作[3]。為了解決意圖識別問題，電子科技大學研發(fā)了通過模糊算法進行控制的下肢外骨骼機器人[4]；中國科學院深圳先進技術(shù)研究院研究的第四代康復外骨骼機器人，采用腦電與sEMG結(jié)合的方式控制外骨骼站立和行走[5]；浙江大學研究團隊采用了卷積神經(jīng)網(wǎng)絡將sEMG信號分解為多個流，模擬肌肉和手勢之間的相關(guān)性完成對意圖的識別[6]；上海交通大學通過預編程控制方式，使用慣性測量傳感器在線監(jiān)測使用者的姿態(tài)，研發(fā)了基于肌電的BP神經(jīng)網(wǎng)絡手寫識別系統(tǒng)[7]。

綜上所述，目前對于康復外骨骼機器人的人機交互控制的研究還不夠完善，只有少數(shù)是通過sEMG實現(xiàn)人機交互完成對手勢意圖的識別，絕大多數(shù)都是通過物理信號采用預編程被動式的控制方式規(guī)劃行走步態(tài)，并沒有將意圖與控制步態(tài)聯(lián)系起來。因此，本文采用基于手臂sEMG信號實現(xiàn)人體運動意圖識別；利用運動過程中關(guān)節(jié)在空間位移曲線函數(shù)規(guī)劃與運動意圖相對應的步態(tài)；構(gòu)建運動意圖與步態(tài)控制的聯(lián)系，完成運動意圖控制步態(tài)實時切換，改善外骨骼與穿戴者的人機交互體驗。

2 實驗設備系統(tǒng)描述

SIAT康復外骨骼機器人重15千克，共有4個主動驅(qū)動關(guān)節(jié)和2個被動的彈性關(guān)節(jié)。主動驅(qū)動關(guān)節(jié)與人體的左右膝、髖四個關(guān)節(jié)耦合，采用盤式伺服電機加諧波減速器的驅(qū)動方式，為外骨骼穿戴者在矢狀面上助力；被動彈性關(guān)節(jié)與左右踝關(guān)節(jié)耦合，裝配有彈簧，可以有效地增加運動時的緩沖。為適應不同體型的外骨骼穿戴者，外骨骼機械結(jié)構(gòu)部分的大腿和小腿連桿可在一定范圍內(nèi)調(diào)節(jié)長度，腰部在可在一定范圍內(nèi)調(diào)節(jié)寬度。通過調(diào)整連桿長度和腰部寬度，可適用身高在165cm-185cm之間的殘疾人進行穿戴，圖1所示。

圖1 實驗設備

本文使用了Biometrics PS850便攜式sEMG信號采集系統(tǒng)，該系統(tǒng)包括專門用于sEMG測量的傳感器和儀器。圖1中顯示了8通道無線sEMG信號采集設備，本文使用了3個通道，其中每個通道對應一塊肌肉的sEMG數(shù)據(jù)。

Vicon-nexus(VN)動作捕捉系統(tǒng)可用于實時在線或離線運動捕捉和分析。工作原理基于反射式捕獲系統(tǒng)，該系統(tǒng)需要佩戴反射球，當VN攝像機向反射球發(fā)射紅光時，反射球會將相同波長的紅光反射到攝像機確定每個反射球的二維坐標，通過VN軟件處理獲得每個反射球的3D坐標和軌跡。在這項研究中，使用了六個攝像機捕捉運動狀態(tài)并對步態(tài)進行分析如圖1所示。

3 運動意圖識別與步態(tài)設計分析

針對不同的運動意圖設定不同的運動步態(tài)，是人機交互的一項重要環(huán)節(jié)。BP神經(jīng)網(wǎng)絡可以有效地幫助外骨骼機器人在實際中獲得自主學習的能力，通過辨識sEMG識別運動意圖，達到實時控制外骨骼機器人的目標。

3.1 運動意圖識別

BP神經(jīng)網(wǎng)絡是一種通用函數(shù)逼近，可將輸入信號投影到具有一組特定權(quán)重值的線性可分離空間中[8]。對于基于sEMG信號的運動意圖識別，輸入的是從特征提取階段處理的手臂sEMG信號。三角肌、肱二頭肌和指伸肌信號從輸入層經(jīng)過隱藏層傳遞到輸出層。使用多層感知機(MLP)的輸出用于幫助分析步行，如圖2所示。

圖2 BP神經(jīng)網(wǎng)絡

由圖所示輸入層中的節(jié)點數(shù)為3，代表sEMG信號的通道數(shù)。輸入向量是與每個通道相對應的sEMG特征向量的序列。輸出向量是運動意圖。從輸入層到隱藏層的傳遞函數(shù)是雙曲正切S型傳輸函數(shù)(tansig)，從隱藏層到輸出層的傳遞函數(shù)是邏輯回歸中的sigmoid函數(shù)。選擇動量批梯度下降函數(shù)(traingdm)作為BPNN的訓練函數(shù)，學習率設置為0.01。

(1)

(2)

n1=log2n

(3)

3.2 步態(tài)分析

外骨骼的運動步態(tài)通常是基于正常人的運動步態(tài)規(guī)劃的，如圖3所示。

圖3 行走相位

康復式外骨骼一般會結(jié)合拐杖幫助穿戴者維持身體平衡，在這種狀態(tài)下一個完整的步態(tài)周期可以按照圖4所示的方式進行劃分。

圖4 外骨骼運動相位

根據(jù)不同的運動意圖，建立相對應的運動模型，通過運動模型規(guī)劃適用于特定運動意圖的步態(tài)。將踝關(guān)節(jié)作為坐標原點，大腿和小腿看作是兩個相連的連桿。

在本文中，驅(qū)動關(guān)節(jié)的運動被約束在矢狀面內(nèi)。使用連桿模型近似表示人體的軀干和大小腿，膝關(guān)節(jié)和髖關(guān)節(jié)為連桿的轉(zhuǎn)軸。在水平地面上行走的過程中，髖關(guān)節(jié)、膝關(guān)節(jié)及踝關(guān)節(jié)在矢狀面內(nèi)其運動軌跡是周期性的曲線。在進行外骨骼步態(tài)軌跡規(guī)劃時，可以采用正弦波、三角波的方式來近似關(guān)節(jié)的運動軌跡。當關(guān)節(jié)點的運動軌跡確定后，可使用連桿約束反解出關(guān)節(jié)角度。最終達到髖關(guān)節(jié)與膝關(guān)節(jié)協(xié)同控制，如圖5所示。采用正弦波y=Asin(ωx+φ)+k對步態(tài)軌跡進行規(guī)劃。

圖5 連桿結(jié)構(gòu)模型

同理可求出左腳水平坐標xlf(i)=2sl/T*t(i)，左腳縱坐標ylf(i)其中振幅A=sh/2，常數(shù)k=sh/2，角頻率ω=2π/sl，初相位φ=π/2。左膝xlk與ylk計算如下所示

(4)

(5)

運動方向為x軸正方向，左膝值取xlk的最大值與其對應的ylk。

當xlf(i)=xh(i)，同時滿足ylk=0.5yh(i)時，xlk(i)=(xh(i)+xlf(i))/2。當xlf(i)=xh(i)，同時滿足ylk≠0.5yh(i)時，xlk(i)=xlk(i-1)。

同理，右膝位置值取xrk的最大值與其對應的yrk。

當xrf(i)=xh(i)，同時滿足yrk(i)=0.5yh(i)時，xrk(i)=(xh(i)+xrf(i))/2。當xrf(i)=xh(i)，同時滿足yrk(i)≠0.5yh(i)時，xrk(i)=xrk(i-1)。

關(guān)節(jié)角度為

左髖角度：

(6)

右髖角度：

(7)

右膝角度：

(8)

左膝角度：

(9)

為了確保實驗的穩(wěn)定性，測取了10名身高在165～185cm的正常被試者行走時抬腿的高度，見表1。

表1 行走過程抬腳高度

取中間值11.5cm為抬腳高度，四自由度膝關(guān)節(jié)和髖關(guān)節(jié)角度如圖6所示。

圖6 下肢關(guān)節(jié)角度

根據(jù)運動模型規(guī)劃出運動軌跡，如圖7所示。

圖7 規(guī)劃步態(tài)軌跡

4 意圖識別與步態(tài)穩(wěn)定性驗證實驗

運動意圖識別需要對原始sEMG信號進行解碼。利用特定運動動作可以有效的幫助sEMG信號規(guī)律化，降低解碼的難度。步態(tài)的穩(wěn)定性需要對當前的運動狀態(tài)進行分析，利用關(guān)節(jié)角度與足底壓力的相關(guān)性以及判斷重心位置都可以有效判斷當前運動狀態(tài)的穩(wěn)定性。

4.1 運動意圖

本文對小步行走，大步行走和停止行走三種運動意圖進行識別。在外骨骼穿戴訓練過程中，訓練穿戴者通過特定手部動作產(chǎn)生相應的運動意圖sEMG信號。三種運動意圖與特定手部動作對應關(guān)系(見表2)為：

表2 意圖識別動作

sEMG采集傳感器在信號采集過程中，需要一直緊貼受試者的皮膚表面；需要考慮到sEMG信號穩(wěn)定可復現(xiàn)；同時還需兼顧到信號采集傳感器不能干涉外骨骼穿戴者的其它運動。在本文中，采集手臂特定肌肉(三角肌、肱二頭肌和指伸肌)的sEMG信號進行特征編碼，如圖8所示。根據(jù)國際電生理學和運動機能學學會(ISEK)的標準以及sEMG的指南對電極進行定位，對每塊肌肉進行無創(chuàng)評估。為了獲得準確的實驗數(shù)據(jù)，本實驗采用了五名年齡在20～30歲之間的健康志愿者。

圖8 sEMG信號采集位置

本文中sEMG信號采集頻率為1000Hz。受試者在每種運動意圖下，連續(xù)的做相應的手部動作10次；總共采集45000個數(shù)據(jù)點。sEMG信號的電壓范圍在0～1mV，如圖9所示。信號預處理階段，sEMG信號首先需要使用50Hz的陷波處理消除工頻干擾；接著需要使用無限長單位脈沖響應數(shù)字濾波器(IIR)進行帶寬為10～500Hz帶通濾波[9]；最后經(jīng)過信號預處理后，進行特征提取。

圖9 采集sEMG信號

常用的特征提取方法可以分為三類：時域分析，頻域分析和時頻域分析。時域分析中的均方根(Root Mean Square，RMS)特征可以反映sEMG信號幅度隨時間變化的特性，與信號的電功率直接相關(guān)，延遲小因而具有較好的實時性。

本文使用RMS對sEMG信號的特征進行提取。RMS的滑動窗口尺度設定為20，窗口的移動步長設定為10。sEMG信號通過RMS提取的特征向量會產(chǎn)生毛刺，需要使用截止頻率為1Hz巴特沃斯濾波器(Butterworth filter)進行低通濾波，結(jié)果如圖10所示。

圖10 sEMG信號

同一時刻的三個肌肉的RMS特征即可構(gòu)成一個三維的特征向量，特征向量的類別標簽通過相應時刻所對應的手部動作給定。

經(jīng)過上述的特征提取后，總共得到4500組帶類別標簽的特征向量，每個動作包含1500個數(shù)據(jù)樣本。將整個數(shù)據(jù)集按照隨機抽取的方式，訓練集與測試集的方式分配為80%：20%，通過間隔0.5的交叉驗證在[-10，10]的區(qū)間中尋找最佳的懲罰系數(shù)c和幅寬參數(shù)g，最后使用反歸一化得出測試集預測結(jié)果。為減少錯誤預測結(jié)果的數(shù)量，將預測值在區(qū)間[-0.5，0.5]的特征向量判定為類別0，預測值大于0.5的特征向量判定為類別1，預測值小于-0.5的特征向量判定為類別-1。通過上述處理，測試集測試結(jié)果如圖11所示。

圖11 測試集預測結(jié)果

其中1，0，-1分別代表小步行走、停止行走及大步行走三種運動意圖的類別標簽，○代表真實類別標簽，*代表預測結(jié)果。訓練集識別結(jié)果，如圖12所示。

圖12 訓練集預測結(jié)果

通過交叉驗證，采用不同的折數(shù)測試最優(yōu)意圖識別率。調(diào)節(jié)折數(shù)后對比預測結(jié)果可知，當折數(shù)達到9折的時候，意圖識別準確率達到最高，混淆矩陣對比結(jié)果如圖13所示。意圖識別率見表3。

圖13 混淆矩陣對比結(jié)果(BPNN)

表3 意圖識別率

建立的意圖識別模型針對同一被試者在不同的時間點均可以有效的識別運動意圖。

4.2 步態(tài)穩(wěn)定性驗證

通過地面上標記路線和拐杖支撐點位置。外骨骼穿戴者需要將手杖支撐點放在地面上的標記附近，在行走過程所構(gòu)成的支撐結(jié)構(gòu)如圖14所示。

圖14 三角形支撐面重心

其中α為COP點到每條邊的最短距離。P代表支撐點，G代表重心位置，f代表地面壓力。

αca=dc⊥p1p2

(10)

(11)

支撐點的位置會影響支撐結(jié)構(gòu)的穩(wěn)定性。當支撐結(jié)構(gòu)為銳角三角形時，重心會落在三角形內(nèi)部，構(gòu)成穩(wěn)定狀態(tài)；當支撐結(jié)構(gòu)為直角三角形時，重心會落在三角形斜邊上，構(gòu)成臨界穩(wěn)定狀態(tài)；當支撐結(jié)構(gòu)為鈍角三角形時，重心會落在三角形之外，構(gòu)成不穩(wěn)定狀態(tài)[10]。

外骨骼運動過程中采集不同步長與步態(tài)下的足底壓力數(shù)據(jù)(取最大支撐壓力的平均值)如表4所示。支撐點壓力數(shù)據(jù)使用VN動態(tài)捕捉系統(tǒng)配合三維測力跑臺采集。

表4 不同步長與步態(tài)下的足底壓力

足底壓力數(shù)據(jù)產(chǎn)生在足部的支撐階段，但整體的運動過程中包含足部的搖擺相階段，所以只分析足部支撐階段足底壓力與關(guān)節(jié)角度的相關(guān)系數(shù)。

(12)

表5 關(guān)節(jié)角度與足底壓力相關(guān)系數(shù)

相關(guān)系數(shù)越高步態(tài)就越穩(wěn)定[11][12]。從表5中發(fā)現(xiàn)r>0.7說明相關(guān)性比較強，規(guī)劃的步態(tài)趨于穩(wěn)定。

畫出步長為55厘米濾波后的步態(tài)重心軌跡圖，如圖15所示。

圖15 運動重心變化軌跡

圖15表明了運動重心變化的步態(tài)標準值(通過VN動態(tài)捕捉采集)，規(guī)劃步態(tài)(按照規(guī)劃步態(tài)行走)，未規(guī)劃步態(tài)(未按照規(guī)劃步態(tài)行走)。對比每組步態(tài)中兩種步態(tài)和標準值的差異，發(fā)現(xiàn)規(guī)劃的步態(tài)和標準值更為相近，在穩(wěn)定行走時重心軌跡的波峰波谷更為非常相近，由此得出規(guī)劃步態(tài)更為穩(wěn)定。

5 實時意圖控制

為了能夠?qū)崟r獲取運動意圖，通過不同的運動意圖改變外骨骼機器人的步態(tài)。使用Visual-Stutio建立外骨骼Windows presentation foundation (WPF)控制界面；建立基于BPNN的Matlab意圖識別程序；使用IP地址和端口建立Matlab與外骨骼WPF控制界面實時通信連接，搭建sEMG信號實時采集系統(tǒng)與Matlab實時通信連接，使其同時運行。實時意圖控制框圖如圖16所示。

圖16 實時意圖控制框圖

sEMG信號實時采集系統(tǒng)將采集的sEMG信號連續(xù)發(fā)送到Matlab建立的BPNN模型中，通過對sEMG信號解碼，識別人體運動意圖。不同的運動意圖設定不同的編碼，當識別到小步行走的意圖，系統(tǒng)向后臺發(fā)送編碼信號1；識別到停止運動意圖，系統(tǒng)向后臺發(fā)送編碼信號0；識別到大步行走的意圖，系統(tǒng)向后臺發(fā)送編碼信號-1。外骨骼控制界面實時偵聽已識別的意圖信號編碼，并在控制界面運行與編碼意圖相對應的控制程序，完成步態(tài)切換。最終實現(xiàn)外骨骼機器人通過不同的意圖切換與意圖相對應的步態(tài)。

為了確保安全性，觸發(fā)方式設定為需要偵聽到連續(xù)三組相同意圖信號的觸發(fā)方式，并設定在每組步態(tài)運行時偵聽的編碼信號無效。當外骨骼機器人在每組步態(tài)運行完畢時，下一組意圖偵聽開始，偵聽結(jié)果會有一定程度的延遲。

6 結(jié)論

實驗結(jié)果表明：

1)通過BP神經(jīng)網(wǎng)絡對手部特定動作的sEMG信號解碼識別率可以達到96.68%，實現(xiàn)對外骨骼穿戴者運動意圖的精確識別，解決物理信號滯后的問題。

2)根據(jù)外骨骼穿戴者的運動意圖實時控制步態(tài)切換，可以有效地提升外骨骼的人機交互體驗。

3)本文建立的運動模型可以根據(jù)步高和步長兩個參數(shù)構(gòu)建出足底壓力與關(guān)節(jié)角度相關(guān)系數(shù)均大于0.7的步態(tài)，實現(xiàn)穩(wěn)定的外骨骼步態(tài)軌跡以及驅(qū)動單元對電機的控制軌跡規(guī)劃。在康復訓練中，穩(wěn)定的步態(tài)可以幫助患者更加安全、快速的恢復腿部肌肉活力。