融合運動想象腦電與眼電信號的機(jī)械臂控制系統(tǒng)開發(fā)

鄧欣，肖立峰，楊鵬飛，王進(jìn)，張家豪

（重慶郵電大學(xué) 計算機(jī)科學(xué)與技術(shù)學(xué)院，重慶 400065）

腦機(jī)接口(brain computer interface，BCI)是一 種不依賴于外圍神經(jīng)和肌肉組織組成的傳輸通路的通信系統(tǒng)技術(shù)，旨在直接通過人類或動物的大腦與外部設(shè)備相連接，通過對采集的腦電數(shù)據(jù)進(jìn)行分析，識別出人或動物的思維，生成控制指令，實現(xiàn)大腦對外部設(shè)備的直接控制[1-2]。近幾年來，基于BCI 的控制系統(tǒng)引起了研究人員的廣泛關(guān)注，其在殘疾人輔助設(shè)備上表現(xiàn)突出，如腦控機(jī)械臂、腦控輪椅、康復(fù)機(jī)器人等。

隨著技術(shù)的發(fā)展，基于非侵入式腦機(jī)接口的機(jī)械臂控制成為研究熱點。對于控制機(jī)械臂的腦電信號的提取，目前主流的實驗范式是運動想象(motor imagery,MI)和穩(wěn)態(tài)視覺誘發(fā)(steady-state visual-evoked potentials,SSVEP)。例如，Zhang 等[3]提出了一種基于異步MI 的腦驅(qū)動機(jī)械臂抓取系統(tǒng)，通過MI 控制機(jī)械臂向3 個方向（左、右、前）移動，成功控制機(jī)械臂在規(guī)避障礙物的同時抓取物體。Zhu 等[4]提出了一種基于15 個目標(biāo)類別的SSVEP 系統(tǒng)，設(shè)計了基于EOG(electrooculography)的開關(guān)，使用3 次眨眼來激活或關(guān)閉基于SSVEP的閃爍，成功地完成了操作機(jī)械臂來抓取、舉起和移動目標(biāo)物體。但是，SSVEP 是一種誘發(fā)腦電，需要外部刺激，因此要求被試長時間地關(guān)注電腦屏幕，容易引起視覺疲勞，而MI 是一種自發(fā)腦電，是大腦的一種主觀運動意圖，由被試自主決定，更具有主觀性，因此備受腦機(jī)接口研究領(lǐng)域的歡迎。

目前基于MI 的機(jī)械臂控制系統(tǒng)主要有兩類：單一腦電控制系統(tǒng)和混合腦電控制系統(tǒng)。單一腦電控制系統(tǒng)只使用MI 實現(xiàn)對機(jī)械臂的控制，因此要獲得更多控制指令，需要采用多分類。例如：徐寶國等[5]開發(fā)了基于MI 四分類的機(jī)械臂二維連續(xù)控制系統(tǒng)，實現(xiàn)了對四個方向上的目標(biāo)抓取。Jeong 等[6]提出了一種基于CNNBiLSTM(convolution neural network-bidirectional long short-term memory network)深度學(xué)習(xí)框架的腦控機(jī)械臂系統(tǒng)，從MI 腦電圖中解碼了用戶關(guān)于手臂在三維多方向（左、右、前、后、上、下）的直觀意向，被試成功完成了在三維空間上的物體抓取和自飲。Li 等[7]提出了一種用于在整個工作空間中執(zhí)行串行機(jī)械臂運動的BCI 系統(tǒng)，采用小世界神經(jīng)網(wǎng)絡(luò)對基于MI 的5 種大腦狀態(tài)進(jìn)行分類，控制策略采用6 條二元命令實現(xiàn)機(jī)械臂在三維笛卡爾空間中的運動控制?；旌夏X電控制系統(tǒng)指的是混合多種腦電任務(wù)對機(jī)械臂進(jìn)行控制，例如Rakshit 等[8]開發(fā)了基于MI、SSVEP 和P300 的混合BCI 機(jī)械臂控制系統(tǒng)，在該系統(tǒng)中，利用LED的閃爍來誘發(fā)SSVEP 進(jìn)行機(jī)械臂連桿選擇，使用MI 實現(xiàn)已選連桿的運動，最后用末端執(zhí)行器過目標(biāo)時的刺激來產(chǎn)生P300 進(jìn)行反饋，實現(xiàn)了精準(zhǔn)定位目標(biāo)物體。Gao 等[9]開發(fā)了一種結(jié)合MI、EMG(electromyogram)和SSVEP 的機(jī)械臂控制系統(tǒng)，采用MI 作為單刀雙擲腦開關(guān)(single-pole double throw brain switch,SPDTBS)，通過將SPDTBS 與基于4 級SSEVP 相結(jié)合，實現(xiàn)了對機(jī)械臂運動的三維控制，此外，還檢測了咬牙狀態(tài)的EMG，并將其作為中斷器用于初始化SPDTBS 語句，參與這項研究的被試成功地通過操縱機(jī)械臂寫出了單詞“HI”。Bhattacharyya 等[10]提出了一種利用MI、P300 和誤差相關(guān)電位(ErRP)對機(jī)械臂進(jìn)行定位的腦控系統(tǒng)，該系統(tǒng)中MI 用于移動或旋轉(zhuǎn)機(jī)器人手臂，P300 用來停止機(jī)械臂運動，使用ErRP 來判定MI 解碼器是否對輸入信號進(jìn)行了錯誤分類或機(jī)器人連桿端是否越過了目標(biāo)位置，然后通過調(diào)整連桿位置實現(xiàn)對機(jī)械臂的精準(zhǔn)控制。

綜上，雖然目前基于MI 的機(jī)械臂控制系統(tǒng)已取得了不少成就，但是仍存在二分類MI 無法獲取更多的控制指令，多分類MI 分類準(zhǔn)確率低，混合幾種腦電信號來執(zhí)行更多的任務(wù)又會給用戶造成負(fù)擔(dān)等問題。本研究以控制過程簡單，控制完全靠自發(fā)，為被試減少負(fù)擔(dān)為目的，設(shè)計了基于二分類運動想象腦電與眼電信號融合的機(jī)械臂控制系統(tǒng)。首先，對采集的運動想象腦電數(shù)據(jù)做離線分析，在預(yù)處理后，提取提升小波變換(lifting wavelet transform,LWT)8～32 Hz 的小波系數(shù)作為共空間模式(common spatial pattern,CSP)的輸入，通過空間濾波矩陣得到特征向量，并使用支持向量機(jī)(support vector machines,SVM)得到離線分類模型。然后，將離線眼電數(shù)據(jù)濾波處理后，對比無意識眼電和有意識眼電的峰值設(shè)定眼電閾值。最后，利用離線分類模型和眼電閾值搭建機(jī)械臂在線控制系統(tǒng)，該系統(tǒng)通過分階段的方式來實現(xiàn)機(jī)械臂控制，將整個流程分為幾個階段，用單次眼電切換至下一階段，在各個階段左右手運動想象生成不同的控制指令。

本文為了進(jìn)一步驗證該系統(tǒng)的可行性設(shè)計了一項自主服藥實驗，該實驗過程分為3 個階段：抓取階段、服藥階段、藥瓶回收階段。被試通過雙次眼電來控制任務(wù)的開始，單次眼電用來進(jìn)入下一任務(wù)階段。在第一階段，想象左右手運動控制機(jī)械臂左右轉(zhuǎn)動，當(dāng)達(dá)到物品位置時通過單次眼電進(jìn)行抓?。蝗缓?，使用單次眼電進(jìn)入第二階段，在此階段想象左右手運動控制著機(jī)械爪的翻轉(zhuǎn)；最后，進(jìn)入第三階段，再次通過單次眼電來進(jìn)行藥瓶回收，機(jī)械臂復(fù)位到初態(tài)。

1 系統(tǒng)設(shè)計

1.1 系統(tǒng)結(jié)構(gòu)

融合運動想象腦電和眼電信號的機(jī)械臂控制系統(tǒng)需要實現(xiàn)腦電和眼電信號采集、運動想象腦電特征提取和分類、指令傳遞和機(jī)械臂控制等功能。其中信號采集，采用的是Brain Products 公司的actiCHamp 放大器，將采集的數(shù)據(jù)通過TCP/IP協(xié)議發(fā)送給客戶端計算機(jī)。由客戶端計算機(jī)對傳來的實時數(shù)據(jù)經(jīng)判斷為任務(wù)態(tài)后進(jìn)行特征提取和分類，并將分類結(jié)果轉(zhuǎn)化為控制命令，再將控制命令發(fā)送給機(jī)械臂的控制單元，由控制單元對機(jī)械臂進(jìn)行控制，控制單元是由Arduino 和藍(lán)牙模塊組成。系統(tǒng)結(jié)構(gòu)如圖1 所示。

圖1 系統(tǒng)結(jié)構(gòu)Fig.1 System architecture

1.2 誘發(fā)實驗

運動想象范式的實驗流程設(shè)計如圖2 所示，使用E-prime 軟件進(jìn)行設(shè)計實現(xiàn)。在實驗開始前屏幕將顯示實驗開始界面，該界面簡要描述了實驗任務(wù)。在確認(rèn)被試準(zhǔn)備好之后，按下空格鍵開始本次實驗。實驗開始時有2 s 緩沖時間，2 s 后屏幕上出現(xiàn)加號提示，持續(xù)1 s，提醒被試1 s 后進(jìn)入任務(wù)階段，在3 s 時屏幕上會隨機(jī)出現(xiàn)向左或向右的箭頭，被試根據(jù)箭頭的方向想象哪側(cè)手動，即左箭頭想象左手運動，右箭頭想象右手運動，想象時間持續(xù)4 s，接著為3 s 的休息時間，休息結(jié)束后進(jìn)行下一次實驗。在實驗過程中，被試盡量減少頭部晃動、眨眼、肢體運動等。整個實驗共分為10 組，每組包含了10 次實驗，共采集了200個數(shù)據(jù)，左右手分別100 個。眼電實驗設(shè)計跟腦電類似，不同之處在于將其中的左右箭頭提示更換為數(shù)字“1”和“2”，“1”表示眨眼一次，“2”表示眨眼兩次。眼電實驗共分為3 組，每組進(jìn)行20 次實驗，共采集60 個數(shù)據(jù)，單雙次眨眼各30 個。

圖2 實驗流程設(shè)計Fig.2 Experimental process design

在本研究中，采用Brain Products 公司的actiCHamp 腦電放大器和32 導(dǎo)腦電帽，根據(jù)國際標(biāo)準(zhǔn)的10～20 導(dǎo)聯(lián)系統(tǒng)，采集了大腦皮層Fz、FC5、FC1、C3、CP5、CP1、Pz、CP6、CP2、C4、Cz、FC6、FC2 共13 個通道數(shù)據(jù)用于運動想象分析，同時也采集水平眼電HEOG 和垂直眼電VEOG 數(shù)據(jù)用于眼電分析，如圖3 所示。所有采集的數(shù)據(jù)都以TP9 為參考電極，前額處接地，所有電極的阻抗均保持在10 kΩ 以下，采樣頻率設(shè)置為1 000 Hz。

圖3 EEG 電極分布Fig.3 EEG electrode distribution

有9 名健康志愿者參與了本次實驗，均為男性，右利手，年齡在20～30 歲，在此之前均沒有類似實驗經(jīng)歷。本實驗經(jīng)通過校倫理委員會審核，在進(jìn)行實驗前對被試進(jìn)行了實驗過程講解，告訴被試本次實驗采集的是大腦頭皮電，對人體無害，并在征得被試同意后，簽署了《實驗同意書》。

2 腦電及眼電信號處理

2.1 腦電信號處理

研究表明，在進(jìn)行運動想象時，大腦在運動感覺區(qū)域會產(chǎn)生明顯的事件相關(guān)同步電位(event-related synchronization,ERS)和事件相關(guān)去同步電位(event-related desynchronization,ERD)現(xiàn)象[11]。ERD 是當(dāng)人們做單側(cè)肢體運動時，大腦對側(cè)感覺運動皮層的μ節(jié)律（8～12 Hz）和β節(jié)律（14～30 Hz）的幅度會明顯減小。ERS 是指在運動結(jié)束后感覺運動皮層的μ節(jié)律和β節(jié)律的幅度會明顯增加。在運動想象中只進(jìn)行肢體的想象運動，而不進(jìn)行實際的運動，同樣會產(chǎn)生事件相關(guān)同步和事件相關(guān)去同步現(xiàn)象[12]。比如，想象左手運動時，對側(cè)的腦區(qū)的運動感覺皮層會產(chǎn)生ERD 現(xiàn)象，相應(yīng)的同側(cè)的運動感覺皮層會產(chǎn)生ERS 現(xiàn)象。運動想象的ERD/ERS 現(xiàn)象是判斷左右手運動想象的重要依據(jù)。

2.1.1 預(yù)處理和特征提取

本文預(yù)處理過程包括降采樣、濾波、標(biāo)準(zhǔn)化、數(shù)據(jù)切片。首先對原始數(shù)據(jù)降采樣到250 Hz；然后經(jīng)過多次實驗，發(fā)現(xiàn)使用4 階巴特沃斯濾波器得到的7～32 Hz 頻段腦電數(shù)據(jù)效果最佳；再對數(shù)據(jù)進(jìn)行0-1 標(biāo)準(zhǔn)化處理；最后進(jìn)行數(shù)據(jù)切片。因被試通過視覺刺激接受并處理信息需要一定的時間，故本文選取實驗流程（圖2）中的4～6 s 數(shù)據(jù)進(jìn)行運動想象分析。

特征提取采用小波變換(wavelet transform,WT)和共空間模式結(jié)合的方法。CSP 能夠得到針對明確被試的可辨的空間濾波，但是由于想象時時域信息之間的差異很小，很難通過時域數(shù)據(jù)找到全局最優(yōu)投影矩陣，根據(jù)ERD/ERS，μ節(jié)律和β節(jié)律的頻率值差異更明顯，因此基于頻率值的最優(yōu)投影矩陣更容易訓(xùn)練[13]。小波變換是一種時頻分析方法，小波系數(shù)更具有時頻信息，本文在使用CSP 提取特征前，先提取小波分解后的小波系數(shù)，再用小波系數(shù)作為CSP 的輸入。

小波變換是常見的腦電信號處理方法，對于腦電信號這種非平穩(wěn)性信號來說，是一種理想的時頻分析工具。但是傳統(tǒng)的小波變換在小波構(gòu)造和時頻轉(zhuǎn)化上占用大量系統(tǒng)資源，且時耗大。因此本文使用繼承第一代小波多分辨率特性的二代小波變換，提升小波變換。LWT 相比于傳統(tǒng)小波變換不依賴于傅里葉變換，且不需要占用大量系統(tǒng)資源，運算速度快，對于反變換也很容易從正變換得到[14]。

2.1.2 共空間模式

共同空間模式算法的基本原理是利用矩陣的對角化，找到一組最優(yōu)空間濾波器進(jìn)行投影，使得兩類信號的方差值差異最大化，從而得到具有較高區(qū)分度的特征向量[15-16]。

腦電實驗數(shù)據(jù)是一個N×T的矩陣X，其中N為通道數(shù)，T為單個通道的采樣點數(shù)。則歸一化的協(xié)方差矩陣可表示為

式中：R1、R2分別表示左右手的歸一化協(xié)方差矩陣；Xi表示標(biāo)簽為i的腦電數(shù)據(jù)?；旌峡臻g協(xié)方差矩陣可表示為

經(jīng)過白化后R1、R2再進(jìn)行如下變換可得

式中：S1和S2有共同的特征向量B，對其做主分量分 解，則 有S1=Bλ1BT，S2=Bλ2BT，且 λ1+λ2=I。因為左右手兩類矩陣的特征值相加總是為1，則S1最大特征值所對應(yīng)的特征向量使S2有最小特征值，反之亦然。選取特征向量B的前m(m＜N/2)列和后m列后獲得投影矩陣可表示為

2.1.3 LWT-CSP

提升小波變換分為3 個過程：分裂、預(yù)測、更新[17]。分解過程如圖4 所示。

圖4 LWT 分離系數(shù)過程Fig.4 Process of the LWT separation coefficient

1）分裂。將原始信號分裂為偶數(shù)序列和數(shù)序列。

我們在前面說過，實踐標(biāo)準(zhǔn)的討論具有啟蒙的意義。我們可以從反思啟蒙的角度來反思實踐標(biāo)準(zhǔn)。在反思啟蒙的理論中有兩種啟蒙辯證法值得我們重視。一個是黑格爾對于啟蒙和信仰的分析，一個是霍克海默和阿多諾對于啟蒙的分析。

2）預(yù)測。用偶數(shù)序列來預(yù)測其周圍的奇數(shù)序列，奇數(shù)序列的實際值與通過偶數(shù)序列預(yù)測出來的預(yù)測值的差值對應(yīng)于原始信號的高頻系數(shù)。

3）更新。通過奇數(shù)序列的預(yù)測值來更新偶數(shù)序列，得到原始信號的低頻部分。

通過以上3 個步驟可以將原始信號的高低頻分離開來。本文預(yù)處理后數(shù)據(jù)的采樣頻率為250 Hz，根據(jù)奈奎斯特采樣定理信號的有效頻率為125 Hz，因此采用了4 層小波分解，如圖5 所示，將原始信號分為了5 個頻段，分別為0～8 Hz，8～16 Hz，16～31 Hz，31～63 Hz，63～125 Hz。預(yù)處理時cD1、cD2和cA4頻段已被濾除，故不做考慮。上文提及運動想象ERD/ERS 現(xiàn)象在μ節(jié)律和β節(jié)律的表現(xiàn)最為明顯，在4 層小波分解后的細(xì)節(jié)系數(shù)cD4和cD3剛好對應(yīng)μ節(jié)律和β節(jié)律。因此提取了細(xì)節(jié)系數(shù)cD4和cD3構(gòu)建矩陣E作為CSP 的輸入，由式(1)求出空間濾波矩陣W，小波系數(shù)矩陣E可變換為Zi=WE，空間域特征向量由式(2)求出：

圖5 采樣頻率250 Hz 信號4 層小波分解過程Fig.5 Four-layer wavelet decomposition process of a 250 Hz sampling frequency signal

2.1.4 分類方法

對于二分類問題來說支持向量機(jī)是非常優(yōu)秀的分類器，通過非線性映射找到一個超平面來分割兩類數(shù)據(jù)，使得能夠最小化分類錯誤的同時最大化分類邊界[18]。支持向量機(jī)對異常數(shù)據(jù)具有魯棒性以及很好的泛化能力。

對于非線性問題來說，可將其從原始空間映射到更高維的空間，使得樣本在這個空間中線性可分。腦電信號是非線性信號，本文使用核SVM來進(jìn)行分類[19]。

設(shè)分類超平面方程為x·ω+b=0，則在m維空間中，使得對線性可分的樣本集(xi,yi),i=1,2,···,n,x∈Rm,y∈{+1,-1}，滿足：

使用核函數(shù)得到對偶問題：

2.2 眼電信號處理

眼電信號具有易采集、波峰大易識別、單次眨眼和多次眨眼易區(qū)分等特點。因此，本文將眼電信號與腦電信號結(jié)合實現(xiàn)對機(jī)械臂的控制。為了實現(xiàn)在線控制時任務(wù)狀態(tài)的檢測，本文設(shè)計了雙次眨眼當(dāng)作發(fā)送控制指令的開關(guān)。當(dāng)被試想要控制機(jī)械臂運動時，通過雙次眨眼發(fā)送控制指令給Arduino 單片機(jī)，此時蜂鳴器響起，被試根據(jù)實際情況做相應(yīng)的任務(wù)，并通過上位機(jī)轉(zhuǎn)化為機(jī)械臂控制指令，通過藍(lán)牙傳輸給單片機(jī)，實現(xiàn)機(jī)械臂控制。

本文采集了水平眼電和垂直眼電數(shù)據(jù)，采集位置如圖6 所示。通過對比發(fā)現(xiàn)水平眼電的波峰更明顯，故采用水平眼電來實現(xiàn)腦控機(jī)械臂系統(tǒng)。首先將采集的4 s 眼電數(shù)據(jù)進(jìn)行1～40 Hz 的帶通濾波，再對其進(jìn)行降采樣為62.5 Hz，通過檢測波峰的個數(shù)來實現(xiàn)對眨眼次數(shù)的檢測。如圖7(a)所示，為被試1 的一次眼電實驗中有意識眨眼和無意識眨眼產(chǎn)生的眼電，可以看到有意識的眨眼比無意識的眨眼峰值更高，因此可以通過設(shè)定閾值的方式過濾無意識眼電，圖7(b)為該被試一次雙次眨眼產(chǎn)生的眼電，可以看到通過前面得到的眼電閾值可以檢測出雙次眼電。

圖6 眼電信號采集位置Fig.6 Location of eye electrical signal acquisition

圖7 眼電檢測Fig.7 Electrooculogram detection

3 在線實驗及結(jié)果分析

3.1 在線實驗

在線實驗分為兩個部分：在線測試實驗和自主服藥實驗。在線測試實驗是將離線實驗的腦電任務(wù)和眼電任務(wù)結(jié)合在一起。根據(jù)運動想象的離線模型和眼電閾值，可以得到在線準(zhǔn)確率。在持續(xù)5 min 的實驗中，采集左右手?jǐn)?shù)據(jù)各10 個，單次眼電和雙次眼電各5 個，共進(jìn)行4 次。

在自主服藥實驗時，BCI 系統(tǒng)不再產(chǎn)生任務(wù)提示，任務(wù)的執(zhí)行種類是由被試根據(jù)實際情況主動決定并發(fā)起的。為了使BCI 系統(tǒng)能夠進(jìn)行連續(xù)工作，區(qū)分任務(wù)態(tài)和空閑態(tài)是很重要的[20]，本研究使用雙次眼電當(dāng)作發(fā)送指令的開關(guān)，從而達(dá)到區(qū)分的效果。當(dāng)被試欲控制機(jī)械臂時，眨兩次眼后，蜂鳴器響起，被試執(zhí)行控制任務(wù)，上位機(jī)分析腦電或眼電信號后發(fā)送控制指令給下位機(jī)，下位機(jī)控制機(jī)械臂做相應(yīng)的運動?？刂屏鞒倘鐖D8 所示。單純的左右手運動想象只能產(chǎn)生兩個控制指令，本文使用單次眼電來輔助完成自主服藥工作。

圖8 控制流程Fig.8 Control flow

本文將整個服藥過程分為3 個階段。第一階段，抓取階段，如圖9(a)～(c)所示，此階段通過運動想象控制機(jī)械臂左右轉(zhuǎn)，即想象左手運動機(jī)械臂左轉(zhuǎn)，想象右手運動機(jī)械臂右轉(zhuǎn)。根據(jù)實驗場景，本文設(shè)置該階段左轉(zhuǎn)距離是右轉(zhuǎn)的一半，可以通過左轉(zhuǎn)來調(diào)節(jié)機(jī)械臂的位置，以便更精確定位物體。如圖9(c)所示，當(dāng)定位物體后，利用單次眼電發(fā)送抓取指令，機(jī)械臂夾爪移動到藥瓶位置抓取藥瓶。再次利用單次眼電發(fā)送切換狀態(tài)指令，進(jìn)入第二個階段，服藥階段，此時機(jī)械臂轉(zhuǎn)動到被試面前，如圖9(d)、(e)所示，在此階段想象左手控制機(jī)械臂夾爪向被試方向翻轉(zhuǎn)，想象右手恰好相反，在被試服完藥后，通過單次眼電進(jìn)入下一個階段，藥瓶回收階段。在此階段，夾帶著空藥瓶的機(jī)械臂會轉(zhuǎn)動到指定的廢棄藥品回收處，如圖9(f)所示，在執(zhí)行未出錯的情況下，夾持藥瓶的機(jī)械夾爪停留在圖中垃圾桶上方，再次發(fā)送單次眼電指令，機(jī)械爪松開藥瓶，將其放入垃圾桶中，并復(fù)位到初始狀態(tài)。

圖9 自主服藥過程Fig.9 Process of autonomous medication

3.2 實驗結(jié)果分析

3.2.1 離線實驗結(jié)果分析

離線運動想象數(shù)據(jù)采用分類準(zhǔn)確率和Kappa值作為評判標(biāo)準(zhǔn)[21]。分類準(zhǔn)確率是采用5 折交叉驗證來計算的。Kappa 值是用于預(yù)測結(jié)果和實際結(jié)果一致性的評判。Kappa 值介于0～1，0 表示分類結(jié)果是隨機(jī)造成的，1 表示預(yù)測結(jié)果和實際結(jié)果完全一致。Kappa 計算公式為

式中：po為分類正確率；pe表示為

式中ai和bi分別代表第i類真實樣本和預(yù)測樣本個數(shù)。

Kappa 值可分為5 個等級：0.0～0.20 代表極低的一致性；0.21～0.40 代表一般的一致性；0.41～0.60 代表中等的一致性；0.61～0.80 代表高度的一致性；0.81～1 代表幾乎完全一致[14]。

針對在線控制系統(tǒng)，不光要考慮準(zhǔn)確率，還要考慮到實時性，因此多數(shù)機(jī)械臂控制系統(tǒng)采用傳統(tǒng)的特征提取方法提取腦電信號特征。例如：文獻(xiàn)[1,8]使用了傳統(tǒng)的CSP 提取特征；文獻(xiàn)[10,22]使用自回歸模型(autoregressive model,AR)提取特征。表1 為本文自采數(shù)據(jù)在7 種特征提取方法下使用SVM 分類的分類準(zhǔn)確率，表2 為對應(yīng)的Kappa 值。可以看到，在使用LWT-CSP 提取的特征下9 名被試運動想象的平均準(zhǔn)確率為76.5%，高于其他的6 種方法，平均Kappa 值為0.53，達(dá)到了中等一致性。其中有3 名被試的準(zhǔn)確率超過了80%，被試5 甚至達(dá)到了91% 的分類準(zhǔn)確率，Kappa 值為0.82，達(dá)到了幾乎完全一致。從表1、2 還可以看到，改進(jìn)的CSP 算法比傳統(tǒng)的CSP 算法取得了更好的平均分類準(zhǔn)確率，本文所使用的LWT-CSP 方法與在運動想象表現(xiàn)較好的濾波器組共空間模式(filter bank common sptial pattern,FBCSP)方法[23]對比，取得了更佳的效果；第二代小波提升小波LWT 比第一代小波離散小波變換(discrete wavelet transform,DWT)[24]取得了更好的平均分類準(zhǔn)確率和Kappa 值，同樣本文所使用的LWT-CSP 也比使用DWT-CSP 的方法取得了更佳的效果。

表1 運動想象分類準(zhǔn)確率Table 1 Classification accuracy of motor imagery %

表2 Kappa 值Table 2 Kappa value

續(xù)表 2

對采集的原始眼電數(shù)據(jù)提取任務(wù)范圍內(nèi)的單次眼電和雙次眼電以及任務(wù)范圍外被試的無意識眼電。通過比較單次眼電跟無意識眼電峰值可以找出一個閾值，在過濾掉無意識眼電的同時檢測出有意識的眼電。通過對離線眼電數(shù)據(jù)的分析發(fā)現(xiàn)在降采樣到62.5Hz 后兩次眼電的峰值間的間隔數(shù)不會小于10，因此設(shè)定峰值間的最小間隔為10。分析9 個被試的眼電發(fā)現(xiàn)無意眼電的峰值都小于400，而有意識眼電峰值遠(yuǎn)大于400，因此設(shè)峰值閾值為400。

3.2.2 在線實驗結(jié)果分析

對于實時BCI 系統(tǒng)來說，在線數(shù)據(jù)不能像離線數(shù)據(jù)一樣從分類正確率和Kappa 值來進(jìn)行評價，結(jié)合本研究的具體情況，選用分類正確率和有效識別率（identification rate,IR）作為在線數(shù)據(jù)的評價指標(biāo)，IR 定義為某種思維狀態(tài)被正確識別的數(shù)目與該狀態(tài)的總數(shù)的比值[25]。

式中：mleft為左手運動想象被正確識別的數(shù)目；Nleft為左手運動想象總數(shù)；mright為右手運動想象被正確識別的數(shù)目；Nright為右手運動想象總數(shù)。

在線測試結(jié)果如表3 所示，除被試5 和8 之外，其他被試的分類準(zhǔn)確率都比離線時低，而被試5 和8 正好是離線準(zhǔn)確率最高的兩名被試。被試8 的左右手有效識別率相同，而被試5 的左右手有效識別率差距超過10%，表明了被試5 在想象時對于左手的精準(zhǔn)度是相對高的，而對于右手的想象控制是低于左手的，被試8 對左右手的把控是均衡的。

從表3 中可以看出，除被試4 和被試9 以外其他被試的IRleft和IRright差距不大，而被試4 和9 的IRleft和IRright差距過大。分析實驗過程，可能產(chǎn)生較大差異的原因有：首先是被試自身，因為離線數(shù)據(jù)采集和在線測試不在同一時間段，被試可能會存在不同時間腦電信號差距很大的情況；其次通過對被試實驗后的情緒分析，發(fā)現(xiàn)兩名被試都有出現(xiàn)睡眠不足的情況；最后在實驗流程方面，因為兩次實驗配戴的腦電帽大小不一置導(dǎo)致電極位置會有細(xì)微區(qū)別。

表3 運動想象在線準(zhǔn)確率Table 3 Online classification accuracy of motor imagery %

眼電的在線準(zhǔn)確率如表4 所示，只有被試6和被試9 的眼電準(zhǔn)確率比較差，其余被試的眼電準(zhǔn)確率都在90%以上，被試3 甚至可以達(dá)到100%。在線實驗過程中發(fā)現(xiàn)，眼電識別準(zhǔn)確率可以通過短暫的訓(xùn)練得到大幅度提高，在實驗開始初期由于被試不適應(yīng)或是不熟悉眨眼的力度和頻率，導(dǎo)致前期的眼電準(zhǔn)確率較低，在經(jīng)過兩組實驗后，被試掌握了眨眼力度和頻率，眼電準(zhǔn)確率明顯提升，甚至接近于100%。

表4 眼電在線準(zhǔn)確率Table 4 Online accuracy of the electrooculogram %

結(jié)合運動想象腦電和眼電的在線測試結(jié)果，選取被試5 和被試8 進(jìn)行自主服藥實驗。如表5所示，為被試5 和被試8 在線自主服藥實驗中發(fā)送的控制指令個數(shù)和錯誤識別個數(shù)，其中也包括雙次眼電開關(guān)指令。被試5 錯誤識別的3 個指令分別為2 個單次眼電指令和1 個想象右手指令，被試8 是單次眼電指令和想象左手指令。本實驗設(shè)置在單次眼電識別錯誤時不發(fā)送控制指令給機(jī)械臂，因此機(jī)械臂不會有任何動作，被試只需要重復(fù)發(fā)送識別錯誤的指令即可。被試5 在抓取階段識別想象右手為左手控制指令，因抓取階段機(jī)械臂左轉(zhuǎn)是右轉(zhuǎn)的一半，因此被試5 通過發(fā)送一次左手指令和一次右手指令回到出錯之前的狀態(tài)。被試8 在服藥階段想象左手出錯，被識別為想象右手，導(dǎo)致機(jī)械臂夾爪向遠(yuǎn)離被試方向翻轉(zhuǎn)，只需要發(fā)送一次左手指令就能回到出錯前的狀態(tài)。被試5 和8 都在發(fā)現(xiàn)指令錯誤的情況下調(diào)整自身狀態(tài)，成功地在第2 次發(fā)送正確的指令，并最終完成自主服藥實驗。

表5 指令發(fā)送個數(shù)和錯誤識別個數(shù)Table 5 Number of instruction sendings and error recognitions

4 結(jié)束語

本文實現(xiàn)了由腦電和眼電信號控制機(jī)械臂運動的腦機(jī)接口系統(tǒng)。該系統(tǒng)融合腦電和眼電并通過劃分階段的方式實現(xiàn)對機(jī)械臂的連續(xù)控制，即被試通過雙次眼電控制任務(wù)的開始，根據(jù)實際情況執(zhí)行特定任務(wù)。在執(zhí)行任務(wù)過程中檢測到運動想象腦電信號時，檢測程序發(fā)送方向控制指令，使機(jī)械臂執(zhí)行該階段對應(yīng)的動作；當(dāng)檢測到單次眼電時，檢測程序發(fā)送切換指令進(jìn)入下一階段。為了驗證本系統(tǒng)的實用性，本文設(shè)計了一項自主服藥實驗，通過在線測試實驗，驗證了本文算法對腦電信號識別準(zhǔn)確率最高可達(dá)90%，被試能順利通過本系統(tǒng)在不使用任何肢體的情況下實現(xiàn)自主服藥，證明了本系統(tǒng)的有效性。在后續(xù)的工作中，可對本系統(tǒng)進(jìn)行改進(jìn)，使其能夠應(yīng)用在更多的場景中。