一種基于EEG和sEMG的假手控制策略

吳常鋮 熊鵬文 曾洪 徐寶國(guó) 宋愛(ài)國(guó)

假手是一類(lèi)典型的人機(jī)交互設(shè)備,對(duì)于輔助手臂截肢患者恢復(fù)手部功能有著重要的作用.針對(duì)殘疾人的需求,國(guó)內(nèi)外學(xué)者開(kāi)展了大量的研究工作[1?5],研制了眾多的假手,包括:美容師式假手、拉索控制式假手、開(kāi)關(guān)控制電動(dòng)假手、肌電控制假手.其中基于肌電控制的假手由于動(dòng)作自然、符合人體的操作習(xí)慣而受到廣泛的關(guān)注.

為全面描述肌電假手的控制過(guò)程,Losier提出了一種包含3個(gè)大層共8個(gè)子層的肌電假手控制模型[6],該模型明確了肌電假手各個(gè)環(huán)節(jié)的任務(wù)和功能.按可活動(dòng)關(guān)節(jié)的數(shù)量分類(lèi),肌電假手可以分為單自由度假手和多自由度假手,目前學(xué)者更多地關(guān)注多自由度假手的研究.基于肌電信號(hào)的多自由度假手研究中,常用的方法有人工神經(jīng)網(wǎng)絡(luò)(Arti ficial neural network,ANN)[7?9]、支持向量機(jī) (Support vector machines,SVM)[9?12]、局部加權(quán)投影回歸(Locally weighted projection regression,LWPR),線性映射等,這些方法的目的都是在于尋找一種從肌電信號(hào)特征到人體肢體動(dòng)作的映射關(guān)系.國(guó)內(nèi)外學(xué)者利用多層感知器網(wǎng)絡(luò)(Multi-layer perception network,MLP)[13?18]和遞歸神經(jīng)網(wǎng)絡(luò)(Recurrent neural network)在該領(lǐng)域做了大量的研究.此外,文獻(xiàn)[19]基于肌電信號(hào)的生成模型并采用非負(fù)矩陣分解方法(Nonnegative matrix factorization,NMF)從多通道肌電信號(hào)中同步識(shí)別肢體的多關(guān)節(jié)運(yùn)動(dòng)信息;文獻(xiàn)[16,20?22]采用線性分類(lèi)方法實(shí)現(xiàn)上肢多關(guān)節(jié)的同步運(yùn)動(dòng)識(shí)別,并將線性分類(lèi)識(shí)別的結(jié)果與MLP、ANN和SVM的識(shí)別結(jié)果進(jìn)行比較,其結(jié)果顯示線性映射的訓(xùn)練時(shí)間遠(yuǎn)遠(yuǎn)小于ANN、SVM等復(fù)雜的方法所需的訓(xùn)練時(shí)間,同時(shí)線性映射方法也表現(xiàn)出了較好的運(yùn)動(dòng)意圖識(shí)別效果.

總結(jié)現(xiàn)有研究文獻(xiàn),多自由度肌電假手的控制依賴(lài)于多通道的肌電信號(hào),對(duì)于截肢后肌肉出現(xiàn)萎縮、截肢部位較高等情況的患者,他們手臂上殘留的可以進(jìn)行肌電信號(hào)測(cè)量的部位較少,無(wú)法采用多個(gè)傳感器測(cè)量多路信號(hào)來(lái)進(jìn)行動(dòng)作模式的識(shí)別,給假手的使用帶來(lái)困難.本文針對(duì)這一類(lèi)患者的需求,提出了一種基于腦電信號(hào)(Electroencephalogram,EEG)與表面肌電信號(hào)(Surface electromyogram signal,sEMG)結(jié)合的假手控制策略.本文采用1個(gè)便攜式腦電傳感器和1個(gè)表面肌電傳感器實(shí)現(xiàn)了二自由度假手的控制.腦電傳感器用于捕獲頭部前額區(qū)域的EEG信號(hào),將從中提取到的眨眼信息用于假手動(dòng)作的編碼;表面肌電傳感器用于捕獲手臂上的肌電信號(hào),經(jīng)過(guò)處理后用于估計(jì)手部動(dòng)作的強(qiáng)度;為了實(shí)現(xiàn)EEG和sEMG在假手控制中的協(xié)同工作,設(shè)計(jì)了用于觸覺(jué)反饋的振動(dòng)袖帶,袖帶可向佩戴者提供假手當(dāng)前的動(dòng)作模式,便于佩戴者及時(shí)調(diào)整假手的控制模式以達(dá)到最佳控制效果.

1 控制策略設(shè)計(jì)

EEG是人機(jī)交互中常用的一種信號(hào),基于EEG的假手控制,最大的優(yōu)勢(shì)在于不受限于肢體的殘疾程度,即使是手臂高位截肢的殘疾人,只要其腦功能完整,能夠發(fā)出肢體的控制指令就可以利用EEG來(lái)實(shí)現(xiàn)假手的控制.但是,與sEMG相比,基于EEG的肢體運(yùn)動(dòng)意圖識(shí)別準(zhǔn)確率較低,存在較大的隨機(jī)性,表情、情緒、注意力等的改變都會(huì)影響到大腦產(chǎn)生的EEG信號(hào).為此,本文提出一種基于EEG和sEMG協(xié)同控制假手的方法.

本文設(shè)計(jì)的假手控制策略框圖如圖1所示,主要包括基于EEG的動(dòng)作類(lèi)型判別、基于sEMG的動(dòng)作強(qiáng)度估計(jì)和動(dòng)作類(lèi)型的觸覺(jué)提示等幾個(gè)部分.

圖1 控制策略框圖Fig.1 Diagram of the control strategy

首先,當(dāng)用戶需要控制假手時(shí),根據(jù)預(yù)先編碼做出相應(yīng)的動(dòng)作,控制器根據(jù)EEG信號(hào)進(jìn)行特征提取和動(dòng)作類(lèi)型判別.然后通過(guò)觸覺(jué)反饋將動(dòng)作的類(lèi)型反饋給用戶,用戶在接收到觸覺(jué)反饋后可以根據(jù)需要對(duì)動(dòng)作進(jìn)行確認(rèn)和取消;若用戶確認(rèn),則控制器根據(jù)sEMG信號(hào)對(duì)動(dòng)作的期望強(qiáng)度進(jìn)行估計(jì),并控制假手動(dòng)作的強(qiáng)度;若用戶取消,則控制器重新檢測(cè)用戶期望的動(dòng)作類(lèi)型.

1.1 動(dòng)作類(lèi)型編碼

在測(cè)試者的頭皮粘貼導(dǎo)電電極來(lái)捕獲信號(hào)是腦電信號(hào)測(cè)量的常用方法,這種方法需要專(zhuān)業(yè)人士操作,且操作過(guò)程復(fù)雜、測(cè)量設(shè)備龐大,給實(shí)際應(yīng)用帶來(lái)了不便.本文采用Neurosky公司生產(chǎn)的便攜式測(cè)量設(shè)備MindWave進(jìn)行腦電信號(hào)的測(cè)量,由于MindWave只在測(cè)試者前額設(shè)置一個(gè)測(cè)量點(diǎn),因此很難從測(cè)量得到的信號(hào)中提取到腦部的運(yùn)動(dòng)想象信號(hào).通過(guò)觀察信號(hào)發(fā)現(xiàn),眨眼動(dòng)作的信號(hào)可以在MindWave的測(cè)試中明顯地體現(xiàn)出來(lái),因此本文擬從測(cè)試者前額的EEG信號(hào)中提取眨眼動(dòng)作的信息,并將單位時(shí)間內(nèi)檢測(cè)到的眨眼信息用于假手動(dòng)作的編碼.

本文設(shè)計(jì)基于單位時(shí)間內(nèi)眨眼次數(shù)的假手動(dòng)作編碼,如圖2和表1所示.動(dòng)作編碼分兩個(gè)環(huán)節(jié)進(jìn)行,第一環(huán)節(jié)為手爪動(dòng)作和手腕動(dòng)作的判別,第二環(huán)節(jié)為具體動(dòng)作類(lèi)型(手爪張開(kāi)、合,手腕順、逆旋轉(zhuǎn))的判別.后續(xù)實(shí)驗(yàn)中本文選擇單位時(shí)間長(zhǎng)度為2s.

圖2 動(dòng)作編碼環(huán)節(jié)Fig.2 Process of the motion coding

當(dāng)用戶有手部動(dòng)作需求時(shí),根據(jù)預(yù)設(shè)的編碼作出相應(yīng)的眨眼動(dòng)作,控制器通過(guò)分析EEG信號(hào)的特征來(lái)進(jìn)行動(dòng)作的判別.本文選取方差作為特征來(lái)進(jìn)行眨眼動(dòng)作的檢測(cè).

表1 單位時(shí)間內(nèi)眨眼次數(shù)與假手動(dòng)作類(lèi)型的關(guān)系Table 1 The relationship between the blink times and the motion type of the prosthetic hand

其中,Et為當(dāng)前采樣時(shí)刻的EEG信號(hào),N為窗口長(zhǎng)度,AE為EEG信號(hào)的均值.

MindWave測(cè)量得到的EEG信號(hào)以及信號(hào)的方差如圖3所示.通過(guò)統(tǒng)計(jì)EEG方差信號(hào)中極值點(diǎn)的數(shù)量即可得到單位時(shí)間內(nèi)受試者的眨眼次數(shù).

圖3 MindWave測(cè)量得到的EEG信號(hào)及其方差Fig.3 EEG signal and its variance

1.2 動(dòng)作強(qiáng)度估計(jì)

表面肌電信號(hào)(sEMG)是由肌肉興奮時(shí)所募集的運(yùn)動(dòng)單元產(chǎn)生的一個(gè)個(gè)動(dòng)作電位序列(Motor unit action potential trains,MUAPT)在皮膚表面疊加而成,是一種非平穩(wěn)的微弱信號(hào).它既與肌肉本身的組織生理特性有關(guān),也與神經(jīng)控制系統(tǒng)有關(guān).

由于肌電信號(hào)存在很強(qiáng)的個(gè)體差異,不同測(cè)試者在手臂相同位置測(cè)量得到的肌電信號(hào)差異較大;測(cè)量部位不確定,同樣會(huì)帶來(lái)肌電信號(hào)的差異,如圖4所示,在人體手臂尺側(cè)腕屈肌上粘貼兩個(gè)肌電傳感器,測(cè)量得到的兩路信號(hào)如圖5所示,從圖中可以看出,同一佩戴者在其手臂同一塊肌肉不同位置測(cè)量得到的肌電信號(hào)是存在差異的,而在使用過(guò)程中,傳感器在手臂上的貼合位置不可避免地會(huì)發(fā)生變化,這導(dǎo)致使用過(guò)程中肌電信號(hào)會(huì)發(fā)生變化;此外由于環(huán)境溫、濕度的變化會(huì)引起傳感器和皮膚之間阻抗的變化,從而導(dǎo)致測(cè)量得到的肌電信號(hào)發(fā)生變化.這些因素導(dǎo)致殘疾人在安裝佩戴假手時(shí),需要先對(duì)其殘臂上的肌電信號(hào)進(jìn)行測(cè)量,然后根據(jù)其肌電信號(hào)的強(qiáng)度對(duì)假手的控制參數(shù)進(jìn)行調(diào)整,并且往往需要經(jīng)過(guò)一段較長(zhǎng)時(shí)間的訓(xùn)練和適應(yīng),佩戴者才能夠較為靈活地控制假手.而且對(duì)于同一個(gè)佩戴者,在使用假手一段時(shí)間后,其假手的控制參數(shù)也可能需要重新進(jìn)行調(diào)整,這給假手的使用帶來(lái)極大的不便.

圖4 肌電傳感器貼合位置示意圖Fig.4 Sketch of the measurement locations of the sEMG sensors

圖5 同一塊肌肉不同位置測(cè)量得到的兩路肌電信號(hào)Fig.5 Two channels of sEMG captured from different locations of the same muscle

為了消除肌電信號(hào)個(gè)體差異和傳感器測(cè)量位置差異等因素給假手控制帶來(lái)的不便,本文采用自適應(yīng)方法進(jìn)行假手開(kāi)合速度/握力的估計(jì)[23],如圖6所示.圖6中傳感器采集得到肌電信號(hào)經(jīng)過(guò)絕對(duì)值均值處理后送入肌電記錄器,肌電記錄器實(shí)時(shí)記錄并更新肌電絕對(duì)值均值的最大值和最小值,并將其用于調(diào)整比例因子KE.

圖6 基于肌電信號(hào)的手部動(dòng)作強(qiáng)度估計(jì)Fig.6 Action strength estimation based on sEMG

傳感器采集得到原始肌電信號(hào),在幅值上表現(xiàn)出很強(qiáng)的隨機(jī)性,無(wú)法直接用于假手的控制.肌電信號(hào)的絕對(duì)值均值(Mean absolute value,MAV)是能夠直觀地反映出肌肉的收縮強(qiáng)度的一個(gè)時(shí)域特征,因此本文選用MAV進(jìn)行動(dòng)作強(qiáng)度的估計(jì),MAV的計(jì)算如下:

其中,EMG(i)為第i個(gè)采樣時(shí)刻采集得到的肌電信號(hào),N為滑動(dòng)窗口的長(zhǎng)度.

設(shè)計(jì)調(diào)節(jié)因子KE為

其中,K為預(yù)設(shè)的常數(shù),MaxE和MinE分別為肌電絕對(duì)值均值的最大值和最小值.MaxE和MinE的更新過(guò)程如下:

步驟1.計(jì)算MAV的均值

其中,MAV(t)為當(dāng)前采樣時(shí)刻的 MAV值,MAV(t?n)為前n采樣時(shí)刻的MAV值.

步驟2.數(shù)據(jù)更新

為了減少假手佩戴者的手臂在放松狀態(tài)下由于微小干擾而造成假手誤動(dòng)作,在動(dòng)作強(qiáng)度估計(jì)中增加了去抖動(dòng)環(huán)節(jié)f(E)[24].

其中,E0為手臂放松狀態(tài)下測(cè)量得到的肌電信號(hào)的絕對(duì)值均值.

動(dòng)作強(qiáng)度的估計(jì)值為

將Fd對(duì)應(yīng)于假手手爪的開(kāi)合速度、握力、手腕旋轉(zhuǎn)速度,即可實(shí)現(xiàn)假手動(dòng)作強(qiáng)度的控制.對(duì)于手爪而言,在自由空間內(nèi)Fd對(duì)應(yīng)于手爪的期望開(kāi)合速度,在約束空間內(nèi)對(duì)應(yīng)于手爪的期望握力;對(duì)于手腕而言,Fd對(duì)應(yīng)于手腕的旋轉(zhuǎn)速度.本文后續(xù)實(shí)驗(yàn)中采用文獻(xiàn)[25]中所述的基于剛度模糊觀測(cè)的反演控制方法進(jìn)行假手動(dòng)作的控制.

1.3 觸覺(jué)提示

人體皮膚表面分布有大量的觸覺(jué)感受器,能夠感知外界的刺激.在觸覺(jué)刺激的研究中,常用的方法有電刺激、頂針刺激、熱刺激和振動(dòng)刺激等,其中機(jī)械振動(dòng)刺激是一種較為理想的觸覺(jué)刺激方式,其裝置簡(jiǎn)單小巧、感知舒適性好、響應(yīng)速度快、可調(diào)范圍大、平均功耗低、一致性好且易于驅(qū)動(dòng)控制.振動(dòng)刺激裝置產(chǎn)生的機(jī)械振動(dòng)作用于人體不同部位皮膚,可以通過(guò)控制機(jī)械振動(dòng)信號(hào)的波形、頻率、幅值和作用方式等產(chǎn)生不同的觸覺(jué)刺激.因此,本文選擇振動(dòng)刺激來(lái)實(shí)現(xiàn)向人體進(jìn)行信息反饋.

為了便于使用,本文將觸覺(jué)提示裝置設(shè)計(jì)成袖帶形式,如圖7所示,主要包括4個(gè)微型振動(dòng)器、振動(dòng)器驅(qū)動(dòng)模塊、控制模塊、藍(lán)牙模塊以及鋰電池等.藍(lán)牙模塊接收假手當(dāng)前的動(dòng)作信息并輸入控制模塊,控制模塊根據(jù)接收到的信息輸出相應(yīng)的振動(dòng)編碼控制振動(dòng)器的振動(dòng).振動(dòng)器在袖帶上的位置可以根據(jù)需要進(jìn)行調(diào)整,使用時(shí)將袖帶綁在測(cè)試者的上臂,調(diào)整振動(dòng)器的位置即可得到如圖8所示的振動(dòng)器分布.

圖8 振動(dòng)器分布示意圖Fig.8 Distribution sketch of the vibrators

振動(dòng)器是本文觸覺(jué)提示裝置的核心,選用振動(dòng)型空心杯電機(jī)作為振子,直徑10mm,厚度4mm,該電機(jī)最大工作電壓為5V,最大工作電流100mA,由脈沖寬度調(diào)制PWM控制.本文依據(jù)前人研究采用頻率100Hz,占空比50%,電平5V的PWM控制振動(dòng)器的振動(dòng)[26].

本文設(shè)計(jì)振動(dòng)袖帶的目的在于實(shí)現(xiàn)EEG和sEMG對(duì)假手的協(xié)同控制.為了便于測(cè)試者準(zhǔn)確把握假手當(dāng)前的狀態(tài),設(shè)計(jì)了6種振動(dòng)刺激編碼用于向佩戴者反饋假手當(dāng)前的工作狀態(tài).如圖9所示,設(shè)計(jì)的6種振動(dòng)刺激分別對(duì)應(yīng)于手爪動(dòng)作、手腕動(dòng)作、手爪閉合、手爪張開(kāi)、手腕順時(shí)針旋轉(zhuǎn)、手腕逆時(shí)針旋轉(zhuǎn).

圖9 觸覺(jué)反饋提示編碼Fig.9 Coding of the tactile feedback

2號(hào)和4號(hào)振子同時(shí)振動(dòng)代表動(dòng)作類(lèi)型為手爪開(kāi)合動(dòng)作,只有2號(hào)振子振動(dòng)代表動(dòng)作類(lèi)型為手爪的閉合動(dòng)作,只有4號(hào)振子振動(dòng)代表動(dòng)作類(lèi)型為手爪的張開(kāi)動(dòng)作.

1～4號(hào)振子同時(shí)振動(dòng)代表動(dòng)作類(lèi)型為手腕的旋轉(zhuǎn)動(dòng)作,4個(gè)振子的振動(dòng)順序?yàn)?-2-3-4時(shí)代表動(dòng)作類(lèi)型為手腕的逆時(shí)針轉(zhuǎn)動(dòng),4個(gè)振子的振動(dòng)順序?yàn)?-4-3-2時(shí)代表動(dòng)作類(lèi)型為手腕的順時(shí)針旋轉(zhuǎn).

圖10為本文設(shè)計(jì)的EEG和sEMG協(xié)同控制流程.控制器首先進(jìn)行手爪動(dòng)作和手腕動(dòng)作的判別,并給出相應(yīng)的觸覺(jué)提示,隨后進(jìn)行具體動(dòng)作類(lèi)型(手爪張開(kāi)、合,手腕順、逆旋轉(zhuǎn))的判別.

以手爪閉合動(dòng)作為例,用戶首先眨眼兩次,觸覺(jué)反饋系統(tǒng)會(huì)控制振動(dòng)袖帶中2號(hào)和4號(hào)振子振動(dòng),提示用戶當(dāng)前為手爪動(dòng)作;用戶繼續(xù)眨眼三次,觸覺(jué)反饋系統(tǒng)會(huì)控制振動(dòng)袖帶中2號(hào)振子振動(dòng),提示用戶當(dāng)前為手爪閉合動(dòng)作;隨后控制器根據(jù)sEMG信號(hào)對(duì)動(dòng)作的期望強(qiáng)度進(jìn)行估計(jì),并控制假手動(dòng)作的強(qiáng)度;閉合動(dòng)作完成后,用戶只需再眨眼三次即可停止當(dāng)前的動(dòng)作.

2 實(shí)驗(yàn)

為驗(yàn)證該控制策略的可行性,進(jìn)行了實(shí)驗(yàn).10名健康受試者(5男,5女;年齡:22～29歲)參與了本文實(shí)驗(yàn).實(shí)驗(yàn)包括動(dòng)作編碼實(shí)驗(yàn)、觸覺(jué)感知實(shí)驗(yàn)和假手取物實(shí)驗(yàn).實(shí)驗(yàn)場(chǎng)景如圖11所示.

實(shí)驗(yàn)中采用MindWave測(cè)量EEG信號(hào),如圖12所示,該設(shè)備將一個(gè)干電極貼合在測(cè)試者前額部位進(jìn)行EEG信號(hào)的測(cè)量,設(shè)備通過(guò)藍(lán)牙接口實(shí)時(shí)輸出采樣率512Hz的腦電信號(hào).

實(shí)驗(yàn)中采用實(shí)驗(yàn)室自行研制的表面肌電傳感器進(jìn)行sEMG信號(hào)的測(cè)量,如圖13所示.該傳感器在一個(gè)3.5cm×5cm的塑料板上設(shè)置兩個(gè)用于連接電極片的按扣,兩個(gè)按扣的中心距為2.5cm,所用的電極片為上海鈞康醫(yī)用設(shè)備有限公司生產(chǎn)的JK-1(A)型一次性電極片,該電極片由Ag/AgCl電極板、導(dǎo)電膠和背襯等組成,背襯粘貼面積為3.4cm×4.8cm,能夠很好地滿足粘貼要求.使用時(shí)將該傳感器粘貼在手臂肱側(cè)腕屈肌皮膚表面即可進(jìn)行肌電信號(hào)的測(cè)量,實(shí)驗(yàn)中設(shè)置sEMG信號(hào)的采樣率為512Hz.

實(shí)驗(yàn)中所用的假手為實(shí)驗(yàn)室與丹陽(yáng)假肢廠有限公司聯(lián)合研制的假手,如圖14所示.該假手為二自由度假手,由兩個(gè)直流電機(jī)分別控制手爪開(kāi)合機(jī)構(gòu)和手腕旋轉(zhuǎn)機(jī)構(gòu)的動(dòng)作,戴上硅膠手套后該假手具有與自然人手一樣的外形.

2.1 動(dòng)作編碼實(shí)驗(yàn)

動(dòng)作編碼實(shí)驗(yàn)過(guò)程中,受試者根據(jù)電腦屏幕的動(dòng)作提示,結(jié)合圖2和表1所示的編碼流程進(jìn)行眨眼動(dòng)作.電腦屏幕隨機(jī)輸出4種動(dòng)作提示,每種動(dòng)作輸出25次,對(duì)于每個(gè)電腦屏幕給出的動(dòng)作,要求受試者在5秒鐘內(nèi)完成相應(yīng)的眨眼動(dòng)作.圖15為某受試者對(duì)手爪閉合動(dòng)作進(jìn)行眨眼編碼時(shí)測(cè)量得到的EEG數(shù)據(jù).

圖10 EEG和sEMG協(xié)同控制流程圖Fig.10 Flow chart of the coordinated control based on EEG and sEMG

圖11 實(shí)驗(yàn)場(chǎng)景Fig.11 Experimental scene

圖15中,T1時(shí)間段內(nèi)眨眼兩次代表選擇的動(dòng)作為手爪動(dòng)作,T2時(shí)間段內(nèi)振動(dòng)袖帶中的2號(hào)和4號(hào)振動(dòng)器會(huì)發(fā)生振動(dòng)提示用戶當(dāng)前的動(dòng)作類(lèi)型為手爪動(dòng)作,T3時(shí)間段內(nèi)眨眼3次代表選擇的動(dòng)作為手爪閉合,T4時(shí)間段袖帶中的2號(hào)振動(dòng)器會(huì)發(fā)生振動(dòng)提示用戶當(dāng)前動(dòng)作為手爪閉合,T5時(shí)間段內(nèi)眨眼3次代表取消了手爪的動(dòng)作.

統(tǒng)計(jì)10位受試者的實(shí)驗(yàn)結(jié)果如表2所示.從表2可以看出,10位受試者對(duì)手部4個(gè)動(dòng)作進(jìn)行眨眼編碼的平均正確率均達(dá)到92%以上,受試者可以很好地通過(guò)眨眼來(lái)實(shí)現(xiàn)手部動(dòng)作的編碼.

圖12 EEG測(cè)量設(shè)備Fig.12 EEG measuring device

圖13 表面肌電傳感器Fig.13 sEMG sensor

圖14 兩自由度假手Fig.14 Two DOF Prosthetic hand

圖15 對(duì)手爪閉合動(dòng)作進(jìn)行眨眼編碼時(shí)測(cè)量得到的EEGFig.15 EEG captured in the process of blink coding of the hand closing

2.2 觸覺(jué)感知實(shí)驗(yàn)

將振動(dòng)袖帶佩戴于受試者的上臂,觸覺(jué)感知實(shí)驗(yàn)過(guò)程中(如圖8所示),計(jì)算機(jī)通過(guò)藍(lán)牙接口隨機(jī)向振動(dòng)袖帶發(fā)送6種振動(dòng)編碼,每種編碼發(fā)送20次,受試者根據(jù)自身感覺(jué)記錄當(dāng)前振動(dòng)編碼對(duì)應(yīng)的動(dòng)作類(lèi)型.統(tǒng)計(jì)10位受試者的實(shí)驗(yàn)結(jié)果如表3所示.從表3可以看出,10位受試者對(duì)手部動(dòng)作的觸覺(jué)編碼感知的平均正確率均達(dá)到98.33%以上,受試者可以很好地分辨出4種手部動(dòng)作對(duì)應(yīng)的觸覺(jué)編碼.

2.3 假手取物實(shí)驗(yàn)

進(jìn)行動(dòng)作編碼實(shí)驗(yàn)和觸覺(jué)感知實(shí)驗(yàn)后,進(jìn)行了假手取物實(shí)驗(yàn),即受試者采用本文提出的控制策略控制假手抓取物體.實(shí)驗(yàn)前每位受試者有5分鐘時(shí)間熟悉假手的控制,實(shí)驗(yàn)內(nèi)容分為硬物抓取實(shí)驗(yàn)和紙杯抓取實(shí)驗(yàn),如圖16所示.

表2 手部動(dòng)作識(shí)別結(jié)果Table 2 Results of the hand motion recognition experiments

表3 觸覺(jué)感知實(shí)驗(yàn)結(jié)果Table 3 Results of the tactile perception experiments

硬物抓取實(shí)驗(yàn):要求每位受試者控制假手抓取并移動(dòng)重量為200g的砝碼20次,砝碼掉落視為抓取失敗,統(tǒng)計(jì)10位受試者的實(shí)驗(yàn)結(jié)果如表4所示.

紙杯抓取實(shí)驗(yàn):要求每位受試者控制假手抓取并移動(dòng)裝有水的紙杯20次,紙杯掉落或杯中的水溢出視為抓取失敗,統(tǒng)計(jì)10位受試者的實(shí)驗(yàn)結(jié)果如表5所示.

圖16 物品抓取實(shí)驗(yàn)場(chǎng)景Fig.16 Experimental scene of the grasping objects

表4 砝碼抓取實(shí)驗(yàn)結(jié)果Table 4 Results of the grasping weights

表5 紙杯取實(shí)驗(yàn)結(jié)果Table 5 Results of the grasping paper cups

從表4和表5可以看出,在硬物(砝碼)的抓取實(shí)驗(yàn)中,10位受試者的抓取成功率均達(dá)到90%以上,在紙杯的抓取實(shí)驗(yàn)中,10位受試者的抓取成功率均達(dá)到70%以上.紙杯抓取實(shí)驗(yàn)的成功率明顯低于砝碼抓取實(shí)驗(yàn)的成功率.紙杯抓取過(guò)程中受試者由于緊張等因素易造成手臂上的sEMG出現(xiàn)波動(dòng),從而導(dǎo)致將抓取失敗.

3 結(jié)論

本文針對(duì)殘臂較短或殘臂上肌電測(cè)量點(diǎn)較少的殘疾人使用假手的需求,提出了一種基于EEG和sEMG協(xié)同處理的假手控制策略,僅用1個(gè)肌電傳感器和1個(gè)腦電傳感器實(shí)現(xiàn)了多自由度假手的控制.從頭部前額捕獲腦電信號(hào)并從中提取出眨眼動(dòng)作信息,提取得到的眨眼動(dòng)作信息用于假手動(dòng)作的編碼;從人體手臂上獲取肌電信號(hào),經(jīng)過(guò)自適應(yīng)處理后用于估計(jì)手部動(dòng)作的強(qiáng)度;設(shè)計(jì)用于觸覺(jué)反饋的振動(dòng)袖帶,可將假手當(dāng)前的動(dòng)作類(lèi)型反饋給假手的佩戴者,佩戴者在振動(dòng)袖帶的幫助下可以及時(shí)把握當(dāng)前假手的動(dòng)作模式,以便更好地控制假手.為驗(yàn)證該控制策略的有效性,進(jìn)行了實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果表明本文提出的方法具有有效性.

References

1 Maat B,Smit G,Plettenburg D,Breedveld P.Passive prosthetic hands and tools:a literature review.Prosthetics and Orthotics International,2018,42(1):66?74

2 Clement R G E,Bugler K E,Oliver C W.Bionic prosthetic hands:a review of present technology and future aspirations.The Surgeon,2011,9(6):336?340

3 Brunelli D,Tadesse A M,Vodermayer B,Nowak M,Castellini C.Low-cost wearable multichannel surface EMG acquisition for prosthetic hand control.In:Proceedings of the 6th IEEE International Workshop on Advances in Sensors and Interfaces.Gallipoli,Turkey:IEEE,2015.94?99

4 Tong Li-Na,Hou Zeng-Guang,Peng Liang,Wang Wei-Qun,Chen Yi-Xiong,Tan Min.Multi-channel sEMG time series analysis based human motion recognition method.Acta Automatica Sinica,2014,40(5):810?821(佟麗娜,侯增廣,彭亮,王衛(wèi)群,陳翼雄,譚民.基于多路sEMG 時(shí)序分析的人體運(yùn)動(dòng)模式識(shí)別方法.自動(dòng)化學(xué)報(bào),2014,40(5):810?821)

5 Wu C,Song A,Ji P.A control strategy for prosthetic hand based on attention concentration and EMG.In:Proceedings of the 8th International Conference on Intelligent Robotics and Applications.Portsmouth,UK:Springer,2015.307?318

6 Losier Y G.Shoulder Complex Motion Based Input Strategies for Prosthetic Limb Control[Ph.D.dissertation],University of New Brunswick,Canada,2009.

7 Tamura H,Gotoh T,Okumura D,Tanaka H,Tanno K.A study on the S-EMG pattern recognition using neural network.International Journal of Innovative Computing,Information and Control,2009,5(12):4877?4884

8 Caesarendra W,Lekson S U,Mustaqim K A,Winoto A R,Widyotriatmo A.A classi fication method of hand EMG signals based on principal component analysis and arti ficial neural network.In:Proceedings of the 2016 International Conference on Instrumentation,Control,and Automation(ICA).Bandung,Indonesia:IEEE,2016.22?27

9 Yang S X,Yang G Y.Emotion recognition of EMG based on improved L-M BP neural network and SVM.Journal of Software,2011,6(8):1529?1536

10 Elhariri E,El-Bendary N,Hassanien A E.A hybrid classi fication model for emg signals using grey wolf optimizer and SVMs.In:Proceedings of the 1st International Conference on Advanced Intelligent System and Informatics(AISI2015).Cham,Germany:Springer International Publishing,2016.297?307

11 Alkan A,Günay M.Identi fication of EMG signals using discriminant analysis and SVM classi fier.Expert Systems with Applications,2012,39(1):44?47

12 Li N,Yang D P,Jiang L,Liu H,Cai H G.Combined use of FSR sensor array and SVM classi fier for finger motion recognition based on pressure distribution map.Journal of Bionic Engineering,2012,9(1):39?47

13 Ziai A,Menon C.Comparison of regression models for estimation of isometric wrist joint torques using surface electromyography.Journal of Neuroengineering and Rehabilitation,2011,8:Article No.56

14 Nielsen J L G,Holmgaard S,Jiang N,Englehart K,Farina D,Parker P.Enhanced EMG signal processing for simultaneous and proportional myoelectric control.In:Proceedings of the 2009 Annual International Conference of the IEEE Engineering in Medicine and Biology Society.Minneapolis,MN,USA:IEEE,2009.4335?4338

15 Nielsen J L G,Holmgaard S,Jiang N,Englehart K B,Farina D,Parker P A.Simultaneous and proportional force estimation for multifunction myoelectric prostheses using mirrored bilateral training.IEEE Transactions on Biomedical Engineering,2011,58(3):681?688

16 Fougner A,Kyberd P J,Stavdahl ?.EMG feature selection for simultaneous proportional control of multifunctional upper-limb prostheses.In:Proceedings of the 13th World Congress of the International Society for Prosthetics and Orthotics(ISPO).Leipzig,Germany:ISPO,2010.

17 Pulliam C L,Lambrecht J M,Kirsch R F.Continuous and simultaneous EMG-based neural network control of transradial prostheses.In:Proceedings of the 2011 MEC011 conference.Fredericton,Canada:University of New Brunswick,2011.

18 Muceli S,Farina D.Simultaneous and proportional estimation of hand kinematics from EMG during mirrored movements at multiple degrees-of-freedom.IEEE Transactions on Neural Systems and Rehabilitation Engineering,2012,20(3):371?378

19 Jiang N,Englehart K B,Parker P A.Extracting simultaneous and proportional neural control information for multiple-DOF prostheses from the surface electromyographic signal.IEEE Transactions on Biomedical Engineering,2009,56(4):1070?1080

20 Fougner A L.Proportional Myoelectric Control of a Multifunction Upper-Limb Prosthesis[Master dissertation],Institutt for Teknisk Kybernetikk,Norway,2007.

21 Kyranou I,Krasoulis A,Erden M S,Nazarpour K,Vijayakumar S.Real-time classi fication of multi-modal sensory data for prosthetic hand control.In:Proceedings of the 6th IEEE International Conference on Biomedical Robotics and Biomechatronics(BioRob).Singapore,Singapore:IEEE,2016.536?541

22 Geethanjali P.A mechatronics platform to study prosthetic hand control using EMG signals.Australasian Physical and Engineering Sciences in Medicine,2016,39(3):765?771

23 Wu C C,Song A G,Ling Y,Wang N,Tian L.A control strategy with tactile perception feedback for emg prosthetic hand.Journal of Sensors,2015,2015:Article No.869175.

24 Wu Chang-Cheng,Song Ai-Guo,Zhang Hua-Tao.Adaptive fuzzy control method for EMG prosthetic hand.Chinese Journal of Scienti fic Instrument,2013,34(6):1339?1345(吳常鋮,宋愛(ài)國(guó),章華濤.一種肌電假手的自適應(yīng)模糊控制方法.儀器儀表學(xué)報(bào),2013,34(6):1339?1345)

25 Wu Chang-Cheng,Song Ai-Guo,Zhang Hua-Tao,Feng Chao.A backstepping control strategy for prosthetic hand based on fuzzy observation of stiffness.Robot,2013,35(6):686?691(吳常鋮,宋愛(ài)國(guó),章華濤,馮超.基于剛度模糊觀測(cè)的假手反演控制策略.機(jī)器人,2013,35(6):686?691)

26 Sherrick C E.A scale for rate of tactual vibration.Journal of the Acoustical Society of America,1985,78:78?83