采用Emotiv 感知的智能輪椅運(yùn)動(dòng)控制的研究

張 毅，張 輝，羅 元，胡豁生

(重慶郵電大學(xué)國(guó)家信息無(wú)障礙工程研發(fā)中心智能系統(tǒng)及機(jī)器人研究所，重慶400065)

0 引言

隨著社會(huì)老齡化進(jìn)程的加快以及由于各種疾病、工傷、交通事故等原因造成下肢損傷的人數(shù)的增加，為老年人和殘疾人提供性能優(yōu)越的代步工具已成為整個(gè)社會(huì)重點(diǎn)關(guān)注的問(wèn)題之一［1］。其中，作為代步工具的一種，智能輪椅受到了世界各國(guó)研究者的廣泛關(guān)注。

智能輪椅作為一種服務(wù)機(jī)器人，除了具有自主導(dǎo)航、避障等多種功能之外，還融合了人機(jī)交互技術(shù)的多種控制方式，如語(yǔ)音、手勢(shì)、肌電信號(hào)、腕部運(yùn)動(dòng)、頭部運(yùn)動(dòng)和腦電信號(hào)等。其中，基于腦電信號(hào)的腦機(jī)接口技術(shù)近年來(lái)受到高度關(guān)注。

腦機(jī)接口(brain computer interface，BCI)是一種新的人機(jī)交互方式，它是基于腦電信號(hào)實(shí)現(xiàn)人腦與計(jì)算機(jī)或其他電子設(shè)備的通訊和控制［2］。BCI相比于肌電、語(yǔ)音、腕部運(yùn)動(dòng)、手勢(shì)等人機(jī)交互方式，有其先天的優(yōu)勢(shì)。BCI不依賴于人體的外周神經(jīng)系統(tǒng)及肌肉組織，僅根據(jù)大腦思維意念或感官反映所產(chǎn)生的腦電信號(hào)進(jìn)行工作。因此BCI技術(shù)應(yīng)用范圍更廣，并且在助老助殘的智能輪椅中有著廣闊的應(yīng)用前景。但是由于腦電信號(hào)十分微弱并且存在較強(qiáng)的干擾，使得腦電信號(hào)的采集和處理都困難，從而導(dǎo)致使用腦電信號(hào)進(jìn)行控制難度較大。除此之外，由于人的個(gè)體差異，導(dǎo)致使用腦電信號(hào)控制的效果并不理想，從而影響控制的穩(wěn)定性。

基于上述狀況，本文采用Emotiv傳感器設(shè)計(jì)了一種基于運(yùn)動(dòng)想象的控制系統(tǒng)。該系統(tǒng)可以通過(guò)想象左右手、邁腿動(dòng)作與平靜狀態(tài)來(lái)實(shí)現(xiàn)對(duì)智能輪椅的實(shí)時(shí)控制。實(shí)驗(yàn)結(jié)果表明該控制系統(tǒng)可行，并且具有較好的穩(wěn)定性。

1 系統(tǒng)框架

本系統(tǒng)主要包括腦電信號(hào)采集、放大、濾波、去噪、特征提取與特征分類以及控制實(shí)現(xiàn)和仿真訓(xùn)練等部分。其中，腦電信號(hào)的采集、放大和濾波通過(guò)Emotiv傳感器完成。Emotiv傳感器采集得到的腦電信號(hào)經(jīng)過(guò)去噪、特征提取與特征分類，最終設(shè)計(jì)出控制指令并通過(guò)無(wú)線網(wǎng)絡(luò)將控制指令傳送給智能輪椅，以達(dá)到控制輪椅運(yùn)動(dòng)的目的。除此之外，本系統(tǒng)還采用虛擬物體運(yùn)動(dòng)形式仿真上述控制指令，用來(lái)讓受試者進(jìn)行訓(xùn)練。該控制系統(tǒng)的框架圖如圖1所示。

圖1 控制系統(tǒng)框架圖Fig.1 Framework of the control system

2 系統(tǒng)設(shè)計(jì)

2.1 腦電信號(hào)獲取

本系統(tǒng)采用的腦電信號(hào)采集設(shè)備是Emotiv System公司開(kāi)發(fā)的Emotiv傳感器，其主要部件的外觀如圖2a所示。Emotiv傳感器以P3/P4為參考電極，上面安裝著14個(gè)電極，可以采集到14個(gè)通道的腦電信號(hào)，并進(jìn)行放大與濾波，然后通過(guò)無(wú)線技術(shù)傳回計(jì)算機(jī)［3］。Emotiv傳感器的電極安放位置采用國(guó)際10-20導(dǎo)聯(lián)制，如圖2b所示。

2.2 腦電信號(hào)去噪

傳感器采集的腦電信號(hào)雖然經(jīng)過(guò)了放大和濾波等處理，但是還會(huì)伴有各種生理干擾，如眼電、心電和肌電等偽跡。為了降低偽跡對(duì)腦電信號(hào)分析的影響，我們要對(duì)腦電信號(hào)進(jìn)行去噪。腦電信號(hào)去噪的方法有多種，本文采用獨(dú)立分量分析(independent component analysis，ICA)算法對(duì)腦電信號(hào)進(jìn)行去噪。

圖2 Emotiv外觀及電極安放位置Fig.2 Appearance and electrode placement of Emotiv

ICA算法是近年來(lái)由盲信源分離技術(shù)發(fā)展起來(lái)的一項(xiàng)多導(dǎo)信號(hào)處理方法［4-5］。其基本含義是將多道觀察信號(hào)按照統(tǒng)計(jì)獨(dú)立的原則通過(guò)優(yōu)化算法分解為若干獨(dú)立分量，從而實(shí)現(xiàn)信號(hào)的增強(qiáng)和分析。因?yàn)椴杉降哪X電信號(hào)是自發(fā)腦電信號(hào)與各種偽跡的線性混合，滿足信號(hào)源獨(dú)立的條件，所以ICA算法適用于分離腦電中的偽跡。

ICA 可描述為:設(shè) x(t)=［x1(t)，x2(t)，…，xN(t)］T是N個(gè)腦電頭皮電極陣列測(cè)得的N維觀測(cè)信號(hào)，s(t)=［s1(t)，s2(t)，…，sN(t)］T是產(chǎn)生觀測(cè)信號(hào)的N個(gè)相互統(tǒng)計(jì)獨(dú)立的源信號(hào)，且觀測(cè)信號(hào)x(t)是源信號(hào)s(t)經(jīng)過(guò)線性混合矩陣A而產(chǎn)生的，如(1)式所示

ICA所要解決的問(wèn)題是在混合矩陣A以及源信號(hào)s(t)均未知的情況下，以分離結(jié)果相互獨(dú)立為前提，尋找一個(gè)優(yōu)化解混矩陣W，使得變換后的輸出能很好地逼近源信號(hào)s(t)。

對(duì)于腦電信號(hào)去噪，我們需要找到優(yōu)化解混矩陣W，使得去噪后的信號(hào)y(t)更好地逼近純凈的腦電信號(hào)s(t)。去噪步驟如下:

1)對(duì)腦電信號(hào)進(jìn)行獨(dú)立分量分析，得到各個(gè)獨(dú)立分量;

2)將偽跡的獨(dú)立分量置零，其他獨(dú)立分量保持不變;

3)利用得到的解混矩陣W的逆矩陣W－1還原腦電信號(hào)，得到不含偽跡的腦電信號(hào)。

2.3 特征提取與分類

腦電信號(hào)是腦內(nèi)眾多神經(jīng)元活動(dòng)產(chǎn)生的突觸后電位的同步振蕩產(chǎn)生的生理電活動(dòng)。由頭皮上記錄到的腦電信號(hào)是大腦皮層及皮層下大量神經(jīng)元或神經(jīng)網(wǎng)絡(luò)的同步活動(dòng)的反映。當(dāng)大腦受到感官刺激、動(dòng)作指令和想象運(yùn)動(dòng)等電信號(hào)刺激時(shí)，皮層神經(jīng)元之間的聯(lián)系結(jié)構(gòu)發(fā)生改變，使它們的同步性被抑制或增強(qiáng)，從而產(chǎn)生事件相關(guān)去同步(event-related desynchronization，ERD)和事件相關(guān)同步(event related synchronization，ERS)。

研究表明:當(dāng)人想象左手運(yùn)動(dòng)時(shí)，管理左側(cè)人體活動(dòng)的右側(cè)大腦便開(kāi)始興奮，腦部神經(jīng)活動(dòng)變化較劇烈，平靜態(tài)時(shí)各種同步活動(dòng)被打破，表現(xiàn)為測(cè)量到的相關(guān)電極腦電信號(hào)幅度下降。當(dāng)人想象右手運(yùn)動(dòng)時(shí)，以上表現(xiàn)反之。當(dāng)想象邁腿運(yùn)動(dòng)時(shí)，管理人體下肢活動(dòng)的大腦中央部分便開(kāi)始興奮，腦部神經(jīng)活動(dòng)變化較劇烈，平靜態(tài)時(shí)各種同步活動(dòng)被打破，表現(xiàn)為測(cè)量到的相關(guān)電極腦電信號(hào)幅度下降［6-7］。

根據(jù)文獻(xiàn)［7］，我們可以知道當(dāng)人在進(jìn)行運(yùn)動(dòng)想象時(shí)，大腦兩側(cè)相關(guān)電極附近會(huì)產(chǎn)生ERD和ERS現(xiàn)象，從而導(dǎo)致不同想象運(yùn)動(dòng)誘發(fā)的事件相關(guān)電位在大腦皮層的空間分布也不相同。因此本文選取大腦兩側(cè)的F3，F(xiàn)4，F(xiàn)C5和FC6電極進(jìn)行研究，并將其采集的腦電信號(hào)組成 x(t)=［xF3，xF4，xFC5，xFC6］T，然后對(duì)其進(jìn)行ICA算法處理，得到4×4維的解混矩陣W。由于解混矩陣的逆矩陣W－1可以反映誘發(fā)的事件相關(guān)電位在大腦皮層的空間分布，所以我們將W－1的列向量提取出來(lái)作為運(yùn)動(dòng)想象的特征向量進(jìn)行分類。由(2)式可得

本文采用BP(back propagation)神經(jīng)網(wǎng)絡(luò)對(duì)提取的特征向量進(jìn)行分類［8］，分類器如圖3所示。由(3)式可以得到W－1有4個(gè)列向量，所以神經(jīng)網(wǎng)絡(luò)輸入層設(shè)為4個(gè)神經(jīng)元。神經(jīng)網(wǎng)絡(luò)輸出層設(shè)為2個(gè)神經(jīng)元，可以分類出想象左手、右手運(yùn)動(dòng)、邁腿運(yùn)動(dòng)和平靜狀態(tài)。對(duì)于隱層神經(jīng)元數(shù)量目前還沒(méi)有好的方法進(jìn)行計(jì)算，我們憑借經(jīng)驗(yàn)根據(jù)分類的正確率選取5個(gè)神經(jīng)元。

2.4 控制實(shí)現(xiàn)

經(jīng)過(guò)特征分類后，Emotiv的應(yīng)用程序編程接口將分類結(jié)果:想象左右手、邁腿動(dòng)作與平靜狀態(tài)生成4個(gè)運(yùn)動(dòng)事件，即 COG_LEFT，COG_RIGHT，COG_LIFT和COG_NEUTRAL。我們利用Visual Studio進(jìn)行編程，用上述的4個(gè)運(yùn)動(dòng)事件分別設(shè)定4個(gè)運(yùn)動(dòng)控制指令:左轉(zhuǎn)、右轉(zhuǎn)、前進(jìn)和停止。然后將控制指令傳送給智能輪椅，實(shí)現(xiàn)運(yùn)動(dòng)控制。最后用虛擬物體的運(yùn)動(dòng)［9］形式仿真上述4個(gè)運(yùn)動(dòng)指令，用來(lái)進(jìn)行訓(xùn)練，從而讓受試者更熟練的掌握運(yùn)動(dòng)控制。虛擬運(yùn)動(dòng)仿真界面如圖4所示。運(yùn)動(dòng)想象、智能輪椅和虛擬物體仿真之間的詳細(xì)關(guān)系見(jiàn)表1。

圖3 BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 BP neural network structure

圖4 虛擬運(yùn)動(dòng)仿真界面Fig.4 Virtual movement simulation interface

表1 運(yùn)動(dòng)想象、智能輪椅和虛擬運(yùn)動(dòng)的關(guān)系Tab.1 Relationship of motor imagery，virtual movement and intelligent wheelchair

對(duì)于表1中所示的對(duì)應(yīng)關(guān)系，在此做一些說(shuō)明:運(yùn)動(dòng)想象和智能輪椅運(yùn)動(dòng)的對(duì)應(yīng)關(guān)系并不是必然的。以想象左手為例，并不是每一次想象左手運(yùn)動(dòng)都能使智能輪椅左轉(zhuǎn)。反之，智能輪椅左轉(zhuǎn)并不一定是由于想象左手運(yùn)動(dòng)所致。這種現(xiàn)象與腦電信號(hào)的特征提取、分類及模式識(shí)別的準(zhǔn)確性有著密切的聯(lián)系。因?yàn)闇?zhǔn)確性不可能達(dá)到百分之百，所以這種現(xiàn)象是無(wú)法避免的。我們只能通過(guò)完善算法、提高系統(tǒng)性能來(lái)彌補(bǔ)這種不足。

3 實(shí)驗(yàn)及分析

為了驗(yàn)證該控制系統(tǒng)的可行性和穩(wěn)定性，我們需要選取受試者在智能輪椅上進(jìn)行軌跡重復(fù)性實(shí)驗(yàn)。

在此之前，我們選取5名受試者并且使用虛擬物體運(yùn)動(dòng)仿真界面對(duì)設(shè)定的4個(gè)控制指令進(jìn)行訓(xùn)練，使得受試者熟悉用想象運(yùn)動(dòng)來(lái)控制指令。訓(xùn)練時(shí)間為5天，每天訓(xùn)練90 min。訓(xùn)練完畢后，測(cè)試受試者的控制指令識(shí)別率，得到4個(gè)控制指令的平均識(shí)別率，如表2所示。

表2 控制指令的平均識(shí)別率Tab.2 Average recognition rate of the control commands

本文設(shè)計(jì)的實(shí)驗(yàn)路線如圖5所示，軌跡實(shí)驗(yàn)要求受試者通過(guò)運(yùn)動(dòng)想象控制智能輪椅從A點(diǎn)開(kāi)始運(yùn)動(dòng)，繞過(guò)2個(gè)長(zhǎng)方體的障礙物到達(dá)B點(diǎn)。由于受試者對(duì)指令控制存在著誤差，所以輪椅不一定能順利地準(zhǔn)確到達(dá)B點(diǎn)。因此本實(shí)驗(yàn)只要求受試者控制輪椅到達(dá)B點(diǎn)附近區(qū)域即可。

圖5 實(shí)驗(yàn)路線圖Fig.5 Experimental roadmap

實(shí)驗(yàn)開(kāi)始，我們要求訓(xùn)練好的5名受試者分別進(jìn)行5次軌跡重復(fù)性實(shí)驗(yàn)。實(shí)驗(yàn)過(guò)程中，記錄每次實(shí)驗(yàn)所用的時(shí)間。實(shí)驗(yàn)完畢，從每名受試者的5次軌跡實(shí)驗(yàn)中選出所用時(shí)間最短的一個(gè)，并將其繪制成圖。然后，從軌跡圖中選出所用時(shí)間最短和所用時(shí)間最長(zhǎng)的軌跡，如圖6所示。圖6中a為所用時(shí)間最短的軌跡圖，b為所用時(shí)間最長(zhǎng)的軌跡圖，帶箭頭的平滑曲線為理想軌跡路線。圖中x為實(shí)驗(yàn)軌跡坐標(biāo)橫軸，y為實(shí)驗(yàn)軌跡坐標(biāo)縱軸，單位為毫米。

圖6 實(shí)驗(yàn)軌跡圖Fig.6 Experimental trajectories

從圖6中可以看到，雖然受試者訓(xùn)練的時(shí)間相同，但是由于個(gè)體差異等原因而導(dǎo)致受試者對(duì)智能輪椅控制情況不同，具體表現(xiàn)為b軌跡比a軌跡的路線長(zhǎng)。雖然如此，但是a和b兩個(gè)軌跡相差并不是很大，并且都較穩(wěn)定的完成了從A點(diǎn)到B點(diǎn)的運(yùn)動(dòng)。除此之外，由表2可以看到4個(gè)運(yùn)動(dòng)控制指令的識(shí)別率都達(dá)到了70%以上。因此本文設(shè)計(jì)的腦電信號(hào)控制智能輪椅可行，并且具有較好的穩(wěn)定性。

此外，我們還看到兩組軌跡偏離理想運(yùn)動(dòng)路線的程度。由于腦電信號(hào)不容易控制，所以想要走出理想運(yùn)動(dòng)路線是不可能的。造成這種現(xiàn)象的原因有以下3個(gè):

1)控制指令存在著識(shí)別錯(cuò)誤;

2)受試者對(duì)控制指令間切換掌握的不夠熟練;

3)系統(tǒng)有一定的延遲性。

下一步我們將通過(guò)優(yōu)化算法提高控制指令識(shí)別率，并通過(guò)訓(xùn)練解決指令間的切換熟練程度問(wèn)題。最終降低系統(tǒng)的延遲性，進(jìn)一步完善系統(tǒng)的性能。

4 結(jié)束語(yǔ)

本文采用Emotiv傳感器感知腦電信號(hào)設(shè)計(jì)了一種智能輪椅控制系統(tǒng)。這個(gè)系統(tǒng)可以通過(guò)想象左右手和腳的運(yùn)動(dòng)實(shí)時(shí)控制智能輪椅。通過(guò)軌跡重復(fù)性實(shí)驗(yàn)，證明了該控制系統(tǒng)具有較好可行性和穩(wěn)定性，為腦電信號(hào)控制在智能輪椅中的實(shí)際應(yīng)用奠定了基礎(chǔ)。我們將會(huì)在以后的改進(jìn)中充分考慮和解決系統(tǒng)暴露出來(lái)的問(wèn)題，進(jìn)一步完善系統(tǒng)的性能。

［1］魯濤，原魁，朱海兵.智能輪椅研究現(xiàn)狀及發(fā)展趨勢(shì)［J］.機(jī)器人技術(shù)與應(yīng)用，2008，2(2):1-5.LU Tao，YUAN Kui，ZHU Hai-bin.Research status and development trend of intelligent wheelchair［J］.Robot Technology and Application，2008，2(2):1-5.

［2］WOLPAW J R，MCFARLAND D J，NEAT G W.An EEG-based brain computer interface for cursor control［J］.Electroenceph Clin Neurophysiol，1991，78(3):252-259.

［3］EMOTIV.Emotiv SDK User Manual［EB/OL］.［2011-11-29］.http://www.emotiv.com.

［4］周宗潭，董國(guó)華，徐昕.獨(dú)立成分分析［M］.北京:電子工業(yè)出版社，2007:2-8.ZHOU Zong-tan，DONG Guo-hua，XU Xi.Inde-pendent component analysis［M］.Beijing:Electronics Industry Press，2007:2-8.

［5］楊福生，洪波.獨(dú)立分量分析的原理與應(yīng)用［M］.北京:清華大學(xué)出版社，2006:1-5.YANG Fu-sheng，HONG Bo.Principles and app-lications of independent component analysis［M］.Beijing:Tsinghua University Press，2006:1-5.

［6］白雪.腦電波實(shí)時(shí)控制電動(dòng)輪椅［J］.機(jī)器人技術(shù)與應(yīng)用，2010，2(3):10-12.BAI Xue.Brain wave real-time control of electric wheelchair［J］.Robot Technology and Application，2010，2(3):10-12.

［7］王攀，沈繼忠，施錦河.想象左右手運(yùn)動(dòng)的腦電特征提?。跩］.傳感技術(shù)學(xué)報(bào)，2010，23(9):1220-1225.WANG Pan，SHEN Ji-zhong，SHI Jin-he.Feature extraction of EEG for imagery left-right hands movement［J］.Chinese Journal of Sensors and Actuators，2010，23(9):1220-1225.

［8］胡人君，李坤，吳小培.腦機(jī)接口應(yīng)用中的思維任務(wù)分類［J］.計(jì)算機(jī)工程與應(yīng)用，2007，43(3):201-203.HU Ren-jun，LI Kun，WU Xiao-pei.Mental task classification for brain computer interface applic-ation ［J］.Computer Engineering and Application，2007，43(3):201-203.

［9］FRANCESCO Carrino，JULIEN Tscherrig.Head-computer interface:a multimodal approach to navigate through real and virtual worlds［C］//International Conference on Human-Computer Interaction.Florida:Springer Press，2011:222-230.