腦電信號(hào)識(shí)別及其在機(jī)械手臂控制中的應(yīng)用*

劉剛，李曉歐，2△

（1.上海理工大學(xué)醫(yī)療器械與食品學(xué)院，上海200093；2.上海健康醫(yī)學(xué)院，醫(yī)療器械學(xué)院，上海201318）

1 引 言

腦機(jī)接口（brain computer interface，BCI）技術(shù)是指不依賴于正常腦部神經(jīng)和肌肉響應(yīng)，而直接通過(guò)人腦與計(jì)算機(jī)交流的通道。自1929年Hans Berger發(fā)現(xiàn)腦電信號(hào)以來(lái)，人們一直設(shè)想是否可以利用EEG來(lái)實(shí)現(xiàn)各種外部通訊和控制［1］。隨著科技進(jìn)步，腦機(jī)接口技術(shù)使得這一設(shè)想成為可能?；谀X電信號(hào)對(duì)機(jī)械手臂的控制研究，一方面要能夠?qū)⒋竽X發(fā)出的信息轉(zhuǎn)換為機(jī)械手臂的驅(qū)動(dòng)命令；另一方面，應(yīng)該讓外部信息（如視覺(jué)刺激）可以直接傳入大腦，通過(guò)視覺(jué)刺激直接刺激大腦神經(jīng)來(lái)產(chǎn)生腦電信號(hào)。對(duì)于上肢運(yùn)動(dòng)能力較弱的患者，設(shè)計(jì)腦機(jī)接口控制系統(tǒng)時(shí)，應(yīng)考慮到其自身的生理狀況，有針對(duì)性地補(bǔ)償其不足，發(fā)揮其主觀能動(dòng)性。一般上肢運(yùn)動(dòng)障礙的患者思維與正常人無(wú)異，因而可以通過(guò)分析其大腦對(duì)肢體運(yùn)動(dòng)的控制意圖，獲取其腦電信號(hào)的思維活動(dòng)，轉(zhuǎn)化成控制外部機(jī)械手臂的命令，進(jìn)而幫助他們實(shí)現(xiàn)自主控制的意愿，其研究?jī)r(jià)值和實(shí)施的可行性得到越來(lái)越多的研究機(jī)構(gòu)及相關(guān)科研人員的密切關(guān)注［2-4］。

在腦電控制機(jī)械手臂的研究中，田京提出了一種基于經(jīng)驗(yàn)?zāi)B(tài)分解（empirical mode decomposition，EMD）小波閾值消噪、模糊熵算法提取特征并用支持向量機(jī)分類的方法來(lái)控制假手［5-10］。以上方法克服了傳統(tǒng)EMD去噪無(wú)法保留高頻成分中有用信息的缺陷，避免了近似熵及樣本熵使用二值函數(shù)方法缺乏連續(xù)性、對(duì)閾值的取值敏感、容易導(dǎo)致熵值突變的問(wèn)題?；谝陨侠碚摚狙芯坎捎霉部臻g模式濾波提取特征，結(jié)合支持向量機(jī)進(jìn)行分類，并利用網(wǎng)格搜索法選取最優(yōu)參數(shù)，這種方法比用腦電的頻帶能量作為特征的方法具有更好的泛化能力，最后通過(guò)實(shí)驗(yàn)方式驗(yàn)證了此方法用于控制機(jī)械手臂的可行性。

將腦機(jī)接口技術(shù)運(yùn)用于對(duì)機(jī)械手臂的控制，以輔助上肢行動(dòng)不便的人士提升自由活動(dòng)度，補(bǔ)償弱化的機(jī)體功能，提高自主生活質(zhì)量，對(duì)于如何使得殘疾患者擺脫日常生活困擾有著重大意義。

2 系統(tǒng)結(jié)構(gòu)

基于腦電信號(hào)的上肢運(yùn)動(dòng)控制系統(tǒng)需要實(shí)現(xiàn)視覺(jué)刺激時(shí)腦電信號(hào)的在線采集、特征提取和分類、串口通信技術(shù)、機(jī)械手臂控制等功能。系統(tǒng)的硬件部分由腦電電極帽、腦電導(dǎo)聯(lián)線、腦電放大器、PC機(jī)、串口通信線和機(jī)械手臂組成。采集開(kāi)始時(shí)，運(yùn)行在PC機(jī)上的刺激圖片（向上箭頭、向下箭頭、十字、黑屏）刺激患者想象上肢運(yùn)動(dòng)，通過(guò)腦電采集帽和腦電放大器采集此時(shí)的腦電信息，經(jīng)特征提取和模式分類后，通過(guò)串口通信技術(shù)把分類的標(biāo)簽發(fā)送到機(jī)械手臂VC控制平臺(tái)，機(jī)械手臂VC控制平臺(tái)接收標(biāo)簽并啟動(dòng)相應(yīng)的程序發(fā)送控制命令，控制機(jī)械手臂運(yùn)動(dòng)，系統(tǒng)結(jié)構(gòu)見(jiàn)圖1。

圖1 機(jī)械手臂控制系統(tǒng)結(jié)構(gòu)圖Fig 1 Mechnical arm contral system diagram

3 信號(hào)處理

3.1 腦電信號(hào)預(yù)處理

在腦電信號(hào)預(yù)處理中，可以利用導(dǎo)聯(lián)數(shù)比較多的特點(diǎn)對(duì)腦電數(shù)據(jù)進(jìn)行空間濾波來(lái)提高腦電信號(hào)的信噪比。本研究采用公共平均值參考（common average reference，CAR）的空間濾波方法，可以發(fā)現(xiàn)，CAR的作用是為去除共有的空間低頻成分，突出空間分布上高度集中的腦電成分。在CAR方法的基礎(chǔ)上，我們?cè)賹?duì)信號(hào)進(jìn)行濾波處理，以此濾除工頻干擾和肌電干擾。圖2和圖3分別是預(yù)處理之后的C3、C4導(dǎo)聯(lián)的腦電信號(hào)。

3.2 CSP特征提取

公共空間模式（common space pattern，CSP）是一種空間濾波方法，能夠抽取受試者特殊的、有差別的腦部空間模型，提取人的EEG有效特征，特別對(duì)兩類數(shù)據(jù)的特征提取具有很高的效率，基于本文旨在提取手臂向上和向下兩個(gè)運(yùn)動(dòng)特征，因此選用CSP算法用于特征提取。在本次試驗(yàn)中將單個(gè)任務(wù)的實(shí)驗(yàn)數(shù)據(jù)表示為一個(gè)N×T維的矩陣E，其中N代表測(cè)量的通道數(shù)，而T代表每個(gè)通道的采樣點(diǎn)數(shù)。對(duì)想象手臂向上和向下兩個(gè)動(dòng)作的腦電信號(hào)分別進(jìn)行數(shù)據(jù)采集，CSP運(yùn)算步驟如下：

圖2 C3導(dǎo)聯(lián)預(yù)處理示意圖Fig 2 C3 lead preprocessed diagram

第一步：分別計(jì)算2類腦電信號(hào)采集的協(xié)方差，公式如下：

圖3 C4導(dǎo)聯(lián)預(yù)處理示意圖Fig 3 C4 lead preprocessed diagram

其中，Eu、Ed分別代表想象向上和向下的數(shù)據(jù)矩陣，trace（Eu×ETu）表示矩陣的對(duì)角線元素之和。

第二步：求出混合空間的協(xié)方差：

第三步：求出混合空間協(xié)方差矩陣的特征值和特征向量：

其中，U為混合協(xié)方差矩陣的特征向量，A為對(duì)角線元素為混合協(xié)方差矩陣特征值的對(duì)角矩陣。

第四步：白化處理：

對(duì)Cu和Cd分別進(jìn)行白化 ：

第五步：利用白化后SU、Sd具有相同的特征向量的特點(diǎn)，經(jīng)特征值分解后可得：

并且 y1+y2=I，其中 I為單位陣，y1、y2為 Su、Sd對(duì)應(yīng)的特征值對(duì)角矩陣，B為Su和Sd共同的特征向量。由于兩類矩陣的特征值相加總和為1，所以當(dāng)Su的特征值最大時(shí)，Sd的特征值最小；反之，當(dāng)Su的特征值最小時(shí)，Sd的特征值最大。將白化后的EEG信號(hào)投影在特征向量B的前m和后m列特征向量上，就可以得出最佳的分類特征。

第六步：求出提取特征所需的空間濾波器：

則單次實(shí)驗(yàn)的腦電數(shù)據(jù)E可以變換為Z=WE。

第七步：求出運(yùn)動(dòng)想象的特征值：

將變換后的信號(hào) Zp（p=1，2，…，2m，2m＜N）做如下變化后作為特征值：

式中var（Zp）表示Zp信號(hào)的方差。

3.3 支持向量機(jī)分類

支持向量機(jī)（support vector machine，SVM）是建立在統(tǒng)計(jì)理論中結(jié)構(gòu)風(fēng)險(xiǎn)最小原理上的一種自監(jiān)督神經(jīng)學(xué)習(xí)方法，它通過(guò)適當(dāng)?shù)姆蔷€性映射將輸入向量映射到一個(gè)高維的特征空間，使得數(shù)據(jù)總能被一個(gè)高維的平面分割，而最優(yōu)分類面的意思是此高維的分類面不僅能將兩類數(shù)據(jù)正確分開(kāi)，而且分開(kāi)的間隔最大。

其中，n為支持向量的個(gè)數(shù)，ai為 Lagrange乘子。從而最優(yōu)超平面可表示為：

約束于：

其中，δi為松弛變量，C為懲罰因子。C越大，表示對(duì)學(xué)習(xí)集上的識(shí)別度越高，而‖w‖越大，樣本到超平面的距離減小，因此，可以通過(guò)調(diào)節(jié)C來(lái)選擇出一個(gè)最優(yōu)的超平面。

在非線性問(wèn)題上，可以通過(guò)非線性轉(zhuǎn)化為另一個(gè)空間中的線性問(wèn)題，再構(gòu)造出一個(gè)最優(yōu)超平面，相應(yīng)的最優(yōu)決策函數(shù)變?yōu)椋?/p>

式中，K（xi，x）為內(nèi)核函數(shù)，滿足 Mercer定理，選擇不同的核函數(shù)可以構(gòu)造不同的支持向量機(jī)分類器。常用的核函數(shù)有線性核函數(shù)、多項(xiàng)式核函數(shù)、徑向基核函數(shù)等等，本研究采用徑向基核函數(shù)：

核參數(shù)γ和懲罰因子C是影響支持向量機(jī)性能的主要參數(shù)，γ的取值影響支持向量機(jī)中樣本數(shù)據(jù)在高維特征空間分布的復(fù)雜程度，而懲罰因子C負(fù)責(zé)調(diào)節(jié)支持向量機(jī)的經(jīng)驗(yàn)風(fēng)險(xiǎn)和置信范圍的比例，因此，γ和C的取值很大程度上影響了腦電信號(hào)的識(shí)別率。本研究采用交叉驗(yàn)證選取最優(yōu)參數(shù)，其基本思想是讓參數(shù)C和γ在某一限定范圍內(nèi)均勻離散取值，即采用網(wǎng)格劃分的方式進(jìn)行參數(shù)調(diào)整。本研究通過(guò)網(wǎng)格搜索得到最佳的C=2^（-1）和γ=2^6，最大分類正確率為90.0%。

4 機(jī)械手臂控制

4.1 機(jī)械手臂工作原理

機(jī)械手臂由執(zhí)行機(jī)構(gòu)、驅(qū)動(dòng)機(jī)構(gòu)和控制機(jī)構(gòu)三部分組成。執(zhí)行機(jī)構(gòu)由手部、腕部、臂部、手臂等部件組成。驅(qū)動(dòng)機(jī)構(gòu)采用ELMO無(wú)刷伺服驅(qū)動(dòng)器驅(qū)動(dòng)。控制機(jī)構(gòu)由每個(gè)關(guān)節(jié)的控制單元模塊組成，并與總控制器相連，由PC機(jī)作為總控制器，利用上位機(jī)操作軟件來(lái)發(fā)出控制命令，控制命令的選取由MATLAB分類識(shí)別的動(dòng)作標(biāo)簽決定，分類識(shí)別的動(dòng)作標(biāo)簽通過(guò)串口發(fā)送至上位機(jī)操作平臺(tái)。

在本次設(shè)計(jì)中，用到的硬件設(shè)施有Elmo無(wú)刷伺服驅(qū)動(dòng)器、旋轉(zhuǎn)電機(jī)和光電式旋轉(zhuǎn)編碼器。伺服驅(qū)動(dòng)器用來(lái)控制電機(jī)轉(zhuǎn)動(dòng)，電機(jī)每接收到1個(gè)脈沖，就會(huì)旋轉(zhuǎn)1個(gè)脈沖對(duì)應(yīng)的角度，從而實(shí)現(xiàn)位移，電機(jī)的轉(zhuǎn)動(dòng)帶動(dòng)編碼器旋轉(zhuǎn)。光電編碼器是用來(lái)測(cè)量轉(zhuǎn)速并配合PWM技術(shù)可以實(shí)現(xiàn)快速調(diào)速的裝置，光電式旋轉(zhuǎn)編碼器通過(guò)光電轉(zhuǎn)換，可將輸出軸的角位移、角速度等機(jī)械量轉(zhuǎn)換成相應(yīng)的電脈沖以數(shù)字量輸出。

在旋轉(zhuǎn)的過(guò)程中可以檢測(cè)到電機(jī)旋轉(zhuǎn)的角速度和角位移并反饋到機(jī)械手臂控制結(jié)構(gòu)中。應(yīng)用Elmo的Composer軟件工具可以設(shè)置和調(diào)整伺服驅(qū)動(dòng)器，Composer軟件基于Windows操作系統(tǒng)，能使用戶迅速方便的設(shè)定伺服驅(qū)動(dòng)器，以達(dá)到對(duì)自己電機(jī)的最佳應(yīng)用，并且，在電機(jī)的旋轉(zhuǎn)過(guò)程中可以實(shí)時(shí)監(jiān)控電機(jī)轉(zhuǎn)動(dòng)的角速度和角位移。

4.2 機(jī)械手臂設(shè)計(jì)

設(shè)計(jì)的機(jī)械手臂由5個(gè)關(guān)節(jié)構(gòu)成，用5個(gè)電機(jī)分別帶動(dòng)5個(gè)活動(dòng)關(guān)節(jié)轉(zhuǎn)動(dòng)，可以在兩個(gè)平面的水平和垂直方向運(yùn)動(dòng)，見(jiàn)圖4。在啟動(dòng)機(jī)械手臂運(yùn)動(dòng)之前，應(yīng)用Composer軟件設(shè)置每一次脈沖發(fā)過(guò)來(lái)時(shí)電機(jī)轉(zhuǎn)動(dòng)的轉(zhuǎn)速與位移。當(dāng)控制機(jī)械手臂運(yùn)動(dòng)的信號(hào)發(fā)出后，傳感部件將物體的位置信號(hào)傳遞給控制器，然后控制器發(fā)出控制信號(hào)控制電機(jī)轉(zhuǎn)動(dòng)，電機(jī)帶動(dòng)關(guān)節(jié)旋轉(zhuǎn)。圖4中各個(gè)控制關(guān)節(jié)單元模塊與總控制器相連，由PC機(jī)作為總控制器，利用上位機(jī)軟件發(fā)送控制命令。本研究設(shè)計(jì)的機(jī)械手臂利用CAN總線作為各個(gè)關(guān)節(jié)模塊的控制網(wǎng)絡(luò)，各個(gè)關(guān)節(jié)模塊為控制網(wǎng)絡(luò)中的一個(gè)節(jié)點(diǎn)，將這5個(gè)關(guān)節(jié)模塊搭建在CAN總線上，每個(gè)節(jié)點(diǎn)的關(guān)節(jié)模塊通過(guò)CAN總線接口連接在CAN Bus上，各節(jié)點(diǎn)從CAN總線接收所需要的數(shù)據(jù)包，通過(guò)對(duì)總線的檢測(cè)與控制，完成所需要的功能。同時(shí)，編碼器也將機(jī)械手臂動(dòng)作的實(shí)時(shí)信息通過(guò)CAN接口傳送到CAN Bus上，形成閉環(huán)控制系統(tǒng)。系統(tǒng)的控制流程見(jiàn)圖5。

圖4 機(jī)械手臂示意圖Fig 4 Mechanical arm diagram

圖5 總體控制流程Fig 5 Total contral flow

與機(jī)械手臂對(duì)應(yīng)的是VC控制平臺(tái)的設(shè)計(jì)，VC控制平臺(tái)連接著機(jī)械手臂的硬件設(shè)施，通過(guò)基于VC平臺(tái)的控制界面，主要包括初始化、接收串口信息、發(fā)送控制指令功能。機(jī)械手臂的VC控制界面通過(guò)串口接收到SVM分類的動(dòng)作標(biāo)簽，再啟動(dòng)對(duì)應(yīng)的程序發(fā)送指令，電機(jī)通過(guò)CAN總線接口從CAN Bus上收到指令后開(kāi)始運(yùn)轉(zhuǎn)，同時(shí)，編碼器實(shí)時(shí)記錄電機(jī)運(yùn)轉(zhuǎn)的角速度與位移，將手臂實(shí)時(shí)狀態(tài)信息再通過(guò)CAN總線接口發(fā)送到CAN Bus上，從而實(shí)現(xiàn)對(duì)機(jī)械手臂的控制與實(shí)時(shí)監(jiān)測(cè)。機(jī)械手臂VC控制界面見(jiàn)圖6。

本文中，因腦電信號(hào)的分類識(shí)別結(jié)果用于選擇機(jī)械手臂的控制指令，因此，對(duì)運(yùn)動(dòng)想象腦電信號(hào)的動(dòng)作識(shí)別直接影響機(jī)械手臂能否正確運(yùn)動(dòng)。

圖6 機(jī)械手臂控制界面Fig 6 Mechnical arm coutral surface

5 實(shí)驗(yàn)設(shè)計(jì)分析

5.1 實(shí)驗(yàn)平臺(tái)

本次實(shí)驗(yàn)是按照國(guó)際腦電圖學(xué)會(huì)標(biāo)定的10～20電極導(dǎo)聯(lián)定位標(biāo)準(zhǔn)，選用 FP1、FP2、F3、F4、C3、C4、P3、P4、O1、O2、F7、F8、T3、T4、T5、T6、Sp1、Sp2、Fz、Cz、Pz、Oz導(dǎo)聯(lián)的腦電數(shù)據(jù)作為實(shí)驗(yàn)數(shù)據(jù)，采樣率為512 Hz，實(shí)驗(yàn)場(chǎng)景見(jiàn)圖7。

本次實(shí)驗(yàn)的受試者來(lái)源于上海理工大學(xué)的5名男同學(xué)，年齡20歲-25歲，有自主意識(shí)活動(dòng)，均為健康人。

圖7 實(shí)驗(yàn)場(chǎng)景示意圖Fig 7 Test scenario diagram

5.2 實(shí)驗(yàn)要求

由于腦電信號(hào)微弱，容易受到如工頻干擾、采集設(shè)備內(nèi)部電子器件干擾以及環(huán)境電磁干擾等影響，所以在采集數(shù)據(jù)時(shí)應(yīng)關(guān)閉手機(jī)、空調(diào)等干擾設(shè)備。盡量讓室內(nèi)光線柔和，避免分散受試者注意力。受試者在實(shí)驗(yàn)時(shí)要集中注意力在刺激界面上，中途避免說(shuō)話以及眼部的各種運(yùn)動(dòng)，以減少其對(duì)腦電信號(hào)的影響。

5.3 實(shí)驗(yàn)流程

刺激界面由向上箭頭、向下箭頭、十字架和黑屏4種圖片隨機(jī)出現(xiàn)，實(shí)驗(yàn)開(kāi)始時(shí)，受試者正視刺激界面的正中央，根據(jù)界面中隨機(jī)顯示的提示進(jìn)行想象活動(dòng)，當(dāng)顯示向上箭頭時(shí)，要求受試者想象手臂向上運(yùn)動(dòng)，顯示向下箭頭時(shí)，要求受試者想象手臂向下運(yùn)動(dòng)。每次刺激持續(xù)9 s，在訓(xùn)練開(kāi)始時(shí)，前4 s顯示黑色空白屏幕讓受試者放空思維，靜息狀態(tài)，第5 s開(kāi)始隨機(jī)顯示向上或者向下的箭頭，此時(shí)受試者應(yīng)按提示開(kāi)始想象。從第6 s至第9 s刺激界面顯示一個(gè)十字圖片，此時(shí)間段受試者一直處于第5 s提示任務(wù)的想象狀態(tài)，隨后十字架圖片消失，如此循環(huán)刺激直至刺激結(jié)束，實(shí)驗(yàn)?zāi)Ｊ揭?jiàn)圖8。

圖8 腦電實(shí)驗(yàn)時(shí)序圖Fig 8 Brain electrical experiment sequence chart

5.4 實(shí)驗(yàn)分類結(jié)果

對(duì)機(jī)械手臂上下兩種運(yùn)動(dòng)的特征分別貼上1和-1兩個(gè)標(biāo)簽，給想象手臂向上運(yùn)動(dòng)的特征貼上標(biāo)簽1，給想象手臂向下運(yùn)動(dòng)的特征貼上標(biāo)簽-1。分別想象向上和向下兩種動(dòng)作各50組，通過(guò)實(shí)驗(yàn)發(fā)現(xiàn)想象手臂向上運(yùn)動(dòng)的腦電信號(hào)識(shí)別率為94%，想象手臂向下運(yùn)動(dòng)的腦電信號(hào)識(shí)別率為86%，想象手臂向上和向下兩類運(yùn)動(dòng)想象的平均識(shí)別率即為90%，分類結(jié)果見(jiàn)圖9。

為了克服單次實(shí)驗(yàn)分類識(shí)別結(jié)果具有的偶然性，我們分別對(duì)5個(gè)正常人進(jìn)行了實(shí)驗(yàn)，得到的分類結(jié)果見(jiàn)表1。從表1可以看出因每個(gè)人的集中想象能力的差異以及環(huán)境等外在因素的影響，使得每位受試者運(yùn)動(dòng)想象的平均分類精度略有差異。通過(guò)對(duì)5位受試者的識(shí)別率進(jìn)行求取平均值，可得本次實(shí)驗(yàn)的總平均識(shí)別率為86.1%，具有良好的分類效果。

表1 分類結(jié)果Table 1 Classification result

6 小結(jié)

CSP空間濾波具有排除相同任務(wù)成分，提取不同任務(wù)成分的特質(zhì)，因此在研究腦電信號(hào)控制機(jī)械手臂上下運(yùn)動(dòng)的過(guò)程中，利用CSP方法提取的特征具有明顯的差異，對(duì)特征的分類更具有針對(duì)性。本研究通過(guò)對(duì)腦電信號(hào)采集、預(yù)處理、CSP濾波提取特征向量、SVM分類等方法識(shí)別出預(yù)定的運(yùn)動(dòng)想象狀態(tài)，并把這種運(yùn)動(dòng)想象任務(wù)下的運(yùn)動(dòng)標(biāo)簽發(fā)送到機(jī)械手臂控制平臺(tái)，啟動(dòng)相應(yīng)的程序發(fā)送控制命令，通過(guò)CAN總線實(shí)現(xiàn)對(duì)電機(jī)運(yùn)轉(zhuǎn)的控制，并且利用Composer軟件實(shí)現(xiàn)機(jī)械手臂運(yùn)動(dòng)的實(shí)時(shí)監(jiān)測(cè)。

本研究設(shè)計(jì)了基于腦電信號(hào)的上肢運(yùn)動(dòng)控制系統(tǒng)，將BCI技術(shù)應(yīng)用于對(duì)機(jī)械手臂的運(yùn)動(dòng)控制，為未來(lái)將BCI技術(shù)應(yīng)用于殘疾人對(duì)外部環(huán)境的控制打下基礎(chǔ)。因此，下一步的工作重點(diǎn)是提高機(jī)械手臂的運(yùn)動(dòng)自由度，讓機(jī)械手臂不僅能夠?qū)崿F(xiàn)上下運(yùn)動(dòng)，還能實(shí)現(xiàn)抓、握等其它功能。