基于腦肌電信號的機(jī)械臂控制方法與實現(xiàn)

(1.北京航天測控技術(shù)有限公司,北京 100041；2.北京郵電大學(xué) 自動化學(xué)院,北京 100876)

0 引言

智能人機(jī)交互是以人體生物電信號檢測為基礎(chǔ)、以人工智能、深度學(xué)習(xí)為特色，實現(xiàn)機(jī)器主動理解人的行為意圖的高端人機(jī)交互技術(shù)，代表了人機(jī)交互的最新熱點與潮流[1]。近年來基于腦電(Electroencephalogram，EEG)或肌電(Electromyography，EMG)的人機(jī)交互技術(shù)[2-3]在生物醫(yī)學(xué)[4]、康復(fù)輪椅[5-6]、航空航天[7]、步態(tài)識別[8-9]、人體外骨骼[10-11]等領(lǐng)域取得了很大的應(yīng)用成果。

然而，目前有關(guān)腦-機(jī)接口(Brain-Computer Interface，BCI)或肌-機(jī)接口(Electromyography-Computer Interface，MCI)的智能人機(jī)交互系統(tǒng)，絕大部分是采取單一模式的生物電信號實現(xiàn)對外部設(shè)備的控制。這種單一模式具有信息傳輸率低、信息源單一、外部設(shè)備輸出控制指令少的缺點。相對于單模式腦-機(jī)接口系統(tǒng)，多模式混合腦-機(jī)接口(Hybrid Brain-Computer Interface)能夠有效地利用多源信息的融合互補，彌補現(xiàn)有腦-機(jī)接口在控制識別準(zhǔn)確率上較低的不足。對腦-機(jī)接口的發(fā)展具有一定的指導(dǎo)意義。

目前許多學(xué)者在多源信息混合腦-機(jī)接口方面進(jìn)行了深入的研究，并取得了卓越的成績。Li[12]針對截肢者殘留肌肉過少、肌電信號源不足的問題，提出腦肌電融合的多功能假肢控制方法，實現(xiàn)上肢運動的高精度識別。李翔等[13]等提出一種基于運動想象和運動起始時刻，將不同范式進(jìn)行結(jié)合的混合型 BCI 系統(tǒng)，并驗證了可提高BCI系統(tǒng)性能的有效性。Brunner[14]等采用混合兩種不同類型的腦信號ERD和SSVEPs提高大腦活動模式的分類準(zhǔn)確度。謝平[15]等通過腦電與肌電特征層融合，實現(xiàn)單側(cè)手腕屈、伸動作模式的分類識別分類的準(zhǔn)確度提升。Leeb[16]等探索肌肉疲勞下的控制混合BCI機(jī)制，驗證了肌肉和大腦活動的多模式融合方法具有更好和更穩(wěn)定的性能。Wang[17]等提出一種融合腦電-眼電的混合 BCI 系統(tǒng)來實現(xiàn)對輪椅的聯(lián)合控制。吳松[18]提出了一種結(jié)合MI 和眼動 EEG 的兩種模態(tài)的異步BCI系統(tǒng)。Duan[19]等實現(xiàn)了一種結(jié)合了μ節(jié)律、SSVEP、以及 MI 3個腦電信號的多模態(tài)在線 BCI 系統(tǒng)，控制機(jī)器人來抓取物體。Ma[20]等提出了一種基于MI和mVEP結(jié)合的多模態(tài)光標(biāo)控制系統(tǒng)，實現(xiàn)了BCI系統(tǒng)的控制效率的整體性提升。

綜上所述，多源信息混合是通過采用兩種或兩種以上不同“EEG特征層”的混合增強(qiáng)，實現(xiàn)BCI系統(tǒng)的輸出準(zhǔn)確性的提高。但這種多模式融合要求被試者在更高的注意力下，同時完成多種任務(wù)，長時間會造成被試者過度疲勞，影響系統(tǒng)控制穩(wěn)定性，且設(shè)備控制指令輸出類別十分有限。

為實現(xiàn)BCI系統(tǒng)穩(wěn)定性上的提升并且能夠具備多種控制指令的系統(tǒng)模型，本研究基于混合腦-機(jī)接口的思想，進(jìn)行“腦-肌”電同步采集，采用“并行”模式對不同信號進(jìn)行特征提取、分類識別，最終實現(xiàn)六自由度機(jī)械臂的多指令實時控制。首先，對肌電信號進(jìn)行特征提取，構(gòu)建特征向量，采用典型相關(guān)性分析方法(canonical correlation，CCA)實現(xiàn)肌電信號模式的分類、識別；然后基于小波分解、低頻重構(gòu)，進(jìn)行左右手運動想象執(zhí)行下的EEG事件相關(guān)去同步化(event-related desynchronization，ERD)/同步化(event-related synchronization，ERS)特征提取，并采用支持向量機(jī)(support vector machine，SVM)分類方法，實現(xiàn)腦電特征的二分類識別；最后，利用腦肌電特征的協(xié)同互補性實現(xiàn)對六自由度機(jī)械臂的多指令實時控制。

1 信號采集與預(yù)處理方法

1.1 數(shù)據(jù)采集

被試者無任何病史的健康受試者，并簽署了知情同意書。實驗環(huán)境安靜無絕對噪聲，受試者端坐在舒適的座椅上，與屏幕水平距離為 70-80 cm。要求被試者根據(jù)電腦屏幕的提示，進(jìn)行相應(yīng)的單側(cè)手臂及左右手運動想象動作。

肌電信號采集：肌電電極依據(jù)人體手臂肌肉群分布，采用環(huán)式貼法，進(jìn)行相應(yīng)的單側(cè)手腕伸(wrist flexion)、手腕屈(wrist extension)、握拳(hand close)、手張開(hand open)、手指動作(fine pinch)、休息(no movement)6個動作的肌電信號采集，見圖1。肌電電極采用10個通道，電極分布見圖2。訓(xùn)練采用單試次，持續(xù)時間2 s。腦電信號采集：腦電帽電極放置按照國際標(biāo)準(zhǔn)10-20系統(tǒng)。共采集C3、C4 、FZ、A1四通道腦電信號，選取A1左側(cè)乳突部位為參考電極，F(xiàn)Z 額頭中央接地。腦電左右手運動想象，采集實驗分成10個試次(trials)，單試次持續(xù)2 s，左右各1 s，如圖3所示。

數(shù)據(jù)記錄采用 Neuroscan 腦電采集系統(tǒng)，同步采集腦電和肌電信號。采樣頻率設(shè)定為 500 Hz，并進(jìn)行50 Hz 工頻陷波處理。為了保證數(shù)據(jù)采集質(zhì)量，實驗之前使用酒精棉清潔受試者的肌肉皮膚表面，使用導(dǎo)電膏減小皮膚、頭皮與電極之間的阻抗。具體實驗過程包括5個步驟。腦肌電時序圖如圖4所示。

步驟 1:t= 0～2 s 時，屏幕中央出現(xiàn)一個十字光標(biāo)、START狀態(tài)，提示受試者實驗即將開始，需集中注意力，等待動作提示指令出現(xiàn)。

步驟 2:t= 2～14 s 時，屏幕上出現(xiàn)單側(cè)手腕伸、手腕屈、握拳、手張開、手指動作、休息6個動作的肌電信號運動的圖片提示，受試者根據(jù)提示進(jìn)行手臂動作，6個動作任務(wù)按順序執(zhí)行，每個動作在2 s時間內(nèi)完成。

步驟 3：t= 14～16 s時，屏幕出現(xiàn)十字光標(biāo)，提示受試者腦電實驗即將開始，需集中注意力，等待動作提示指令出現(xiàn)。

步驟 4：t= 16～18 s時，屏幕出現(xiàn)左右指示箭頭，被試者依據(jù)箭頭方向提示，做相應(yīng)的左右手運動想象動作，兩種動作任務(wù)出現(xiàn)的順序執(zhí)行。運動想象執(zhí)行10次實驗。

步驟 5：當(dāng)執(zhí)行腦電次數(shù)結(jié)束，顯示器處于END狀態(tài)，提示受試者實驗結(jié)束。

圖2 肌電電腦極布置

圖3 腦電信號采集通道

圖4 腦肌電采集實驗時序圖

1.2 信號預(yù)處理

1.2.1 EMG數(shù)據(jù)預(yù)處理

肌電信號的有效頻率成分分布在0～500 Hz，其中主要能量集中在10～200 Hz范圍內(nèi)，采用自適應(yīng)濾波器去除工頻50 Hz干擾，然后進(jìn)行10～200 Hz 的帶通濾波，并進(jìn)行去均值、去線性趨勢光滑處理有效地去除了肌電信號中各種噪聲干擾。EMG手臂動作肌電信號預(yù)處理之后的結(jié)果，如圖5所示。

圖5 手臂動作肌電信號

1.2.2 EEG數(shù)據(jù)預(yù)處理

由于腦電信號的特征主要體現(xiàn)在低頻段，因此對原始腦電信號進(jìn)行0～30 Hz 帶通濾波，同時去均值光滑處理。依據(jù)腦電實驗范式對C3、C4腦電數(shù)據(jù)進(jìn)行每隔1 000 ms數(shù)據(jù)長度進(jìn)行切分，共5組，腦電預(yù)處理之后的結(jié)果，如圖6所示。

圖6 C3、C4腦電信號

2 特征提取方法

2.1 EMG 特征提取

為了得到不同手臂肌肉動作特征，在特征提取之前對信號先進(jìn)行“加窗”截取處理，然后依次對每個時間窗長度為k的肌電信號xn(n=1,2,3,…,k)進(jìn)行特征提取。本研究選取肌電信號常用的功率譜、短時過零率、短時能量、符號變化次數(shù)、波形長度5個特征作為肌電特征。其計算公式如下：

通過對肌電信號先進(jìn)行自相關(guān)函數(shù)處理再進(jìn)行維納-辛欽功率密度計算：

(1)

維納-辛欽(Wiener-Khintchine)功率譜密度計算公式：

(2)

短時過零率：為單個時間窗內(nèi)肌電信號通過零點的次數(shù)，該時域特征可以反映肌電信號的頻域信息，被廣泛應(yīng)用在聲音、肌電信號特征提取。

(3)

短時能量：短時能量為單個時間窗內(nèi)肌電信號能量的大小。

(4)

符合變化次數(shù)：符號變化次數(shù)為單個時間窗內(nèi)肌電信號符號的變化次數(shù)。

(5)

波形長度：波形長度為單個時間窗內(nèi)肌電信號波形長度隨時間的積分，通常用來衡量信號的復(fù)雜度。

(6)

2.2 EEG 特征提取

研究表明，當(dāng)進(jìn)行左右手運動運動想象時，大腦兩側(cè)半球產(chǎn)生某些頻段的增強(qiáng)減弱，這一電生理現(xiàn)象被稱為EEG事件相關(guān)去同步化(event-related desynchronization，ERD)/同步化(event-related synchronization，ERS)。

當(dāng)人們想象左手運動時，ERD現(xiàn)象會出現(xiàn)在大腦右半球，使其功率譜減弱，ERS現(xiàn)象會出現(xiàn)在大腦左半球，使其功率譜出現(xiàn)增強(qiáng)；與此相反，當(dāng)想象右手運動時，ERD現(xiàn)象會出現(xiàn)在大腦左半球，而ERS現(xiàn)象會出現(xiàn)在大腦右半球。對應(yīng)于大腦主觀想象肢體動作思維和作業(yè)提示所誘發(fā)被動思維的ERD/ERS在具體表現(xiàn)特征頻段和運動皮層區(qū)域均有所不同。因此本文選取ERD/ERS作為判斷想象左右手運動的判別依據(jù)。

本研究采用多尺度小波分解、低頻重構(gòu)，提取左右手腦電信號C3和C4低頻段平均功率之差的ERD/ERS信息，作為區(qū)分腦電左右手運動想象的腦電特征。對實驗采集數(shù)據(jù)進(jìn)行10次切分成5組左手，5組右手。就是C3和C4左手、右手5次，左右手平均功率譜，如圖7、8所示。

圖7 C3、C4左手平均功率

圖8 C3、C4右手平均功率

小波分解與重構(gòu)是通過不同帶通濾波器將含有綜合信息的一組原始序列分解成多組不同特征的時間序列，一組信號反應(yīng)原時間序列的內(nèi)在變化趨勢的逼近信號；其余組的序列反映隨機(jī)擾動帶來的影響的細(xì)節(jié)信號。小波分解原理如圖9所示。對腦電信號的平均功率進(jìn)行小波分解，并通過小波系數(shù)重構(gòu)構(gòu)建第五層低頻段為[0 15.6250]Hz的信息。

圖9 小波分解原理圖

小波系數(shù)重構(gòu)C3、C4平均功率譜之差的第五層重構(gòu)信息，提取低頻信號的功率尺度特征。如圖10、11所示。

左手想象的特征，C3通道減去C4通道的功率譜。第五層小波重構(gòu)的5組左手運動想象特征。

圖10 左手運動想象特征

右手想象的特征，C3通道減去C4通道的功率譜。第五層小波重構(gòu)的5組左手運動想象特征。

圖11 右手運動想象特征

對比被試者進(jìn)行左右手運動想象時，五組特征具有一定的差異性，可將此特征集作為左右手腦電特征的識別分類。

3 腦肌電信號的機(jī)械臂控制

為了驗證腦-肌電協(xié)同控制的實際應(yīng)用效果，以六自由度機(jī)械臂為控制對象，實現(xiàn)對機(jī)械臂的七指令(6個機(jī)械臂控制指令和一個腦肌切換指令)實時控制。為實現(xiàn)機(jī)械臂“腦”“肌”控制指令切換，設(shè)定手指執(zhí)行動作為連續(xù)兩次，以提高腦-肌控制指令識別的準(zhǔn)確率。對肌電信號進(jìn)行中值濾波、光滑處理?？梢钥闯觯种竸幼髟?0uV以上具有兩個波峰與其他手臂動作相比具有顯著性差異，如圖12所示，當(dāng)“腦”“肌”控制指令切換和手臂休息時，機(jī)械臂靜止不動。

圖12 手臂肌電信號

3.1 控制方法

被試者根據(jù)屏幕中實驗范式的提示進(jìn)行相應(yīng)的手勢動作和左右手運動想象，產(chǎn)生的原始肌電、腦電信號通過預(yù)處理后進(jìn)行特征提?。猾@得的肌電特征采用典型相關(guān)性分析法CCA進(jìn)行多元統(tǒng)計算法分類識別，CCA常用來分析兩個數(shù)據(jù)集之間潛在的相關(guān)性[21]。獲得的EEG腦電信號特征，采用支持向量機(jī)SVM進(jìn)行分類識別，SVM因其具有較高的魯棒性和準(zhǔn)確率[22]，通常被作為二分類分類器。最后，根據(jù)訓(xùn)練的分類模型進(jìn)行基于腦-肌信號的機(jī)械臂的單側(cè)手臂和左右手運動想象動作各 100次數(shù)據(jù)記錄?？刂撇呗匀鐖D13所示。機(jī)械臂控制器根據(jù)腦-肌輸出信號，輸出相應(yīng)的控制指令信號，驅(qū)動機(jī)械臂運動。同時，依據(jù)被試者動作與機(jī)械臂控制指令吻合度相對比，結(jié)合期望值評估分類表現(xiàn)。

圖13 機(jī)械臂控制策略

3.2 結(jié)果分析

首先，告知每位被試者實驗范式流程，待所有電極安置完畢后，被試被要求坐在屏幕前，右手自然地放置在桌上，如圖14所示。被試需要完成 1次單側(cè)手臂6個動作和10 次左右手想象動作，作為訓(xùn)練數(shù)據(jù)集，然后被試者隨機(jī)動作控制機(jī)械臂運動。

實驗征集20名被試者，每名被試者進(jìn)行10次實驗操作，100次數(shù)據(jù)統(tǒng)計，如圖15所示。機(jī)械臂動作指令平均準(zhǔn)確率，如表1。綜合實驗結(jié)果表明：機(jī)械臂控制指令平均準(zhǔn)確率達(dá)到95%以上。

4 結(jié)論

本文提出了一種基于腦肌電信號的單側(cè)手臂和左右手運動想象的控制系統(tǒng)。并將其成功應(yīng)用于實現(xiàn)六自由度機(jī)械臂多指令實時控制中。實驗結(jié)果表明：被試者在執(zhí)行不同操作任務(wù)時，無明顯疲勞現(xiàn)象，實現(xiàn)了BCI控制系統(tǒng)的穩(wěn)定識別，并且機(jī)械臂控制指令平均準(zhǔn)確率可達(dá)到95%以上。不僅豐富了人機(jī)交互-混合腦-機(jī)接口的多樣性，為面向機(jī)械臂等領(lǐng)域控制的腦-機(jī)接口技術(shù)，提供了實踐基礎(chǔ)和理論依據(jù)。

圖14 機(jī)械臂控制應(yīng)用

圖15 識別準(zhǔn)確率

表1 機(jī)械臂控制指令準(zhǔn)確率