一種基于兩種不同范式的混合型腦-機接口系統(tǒng)

李 翔 高小榕 高上凱

(清華大學(xué)醫(yī)學(xué)院生物醫(yī)學(xué)工程系，北京 100084)

引言

腦-機接口接口(brain-computer interface，BCI)是一種使大腦能夠不依賴外周神經(jīng)和肌肉通道，而與外部環(huán)境進行交互的系統(tǒng)［1］。BCI系統(tǒng)采集大腦的信號，通過信號處理算法提取其中特征進行分類，并將結(jié)果翻譯成外部設(shè)備的控制命令。BCI為改善肌萎縮性脊髓側(cè)索硬化、腦干中風(fēng)、脊髓損傷、腦癱、肌萎縮等病癥患者的生活質(zhì)量提供了新的可能。

目前的BCI系統(tǒng)絕大部分基于單一模式的腦電信號，包括視覺誘發(fā)電位、P300事件相關(guān)電位、慢皮層電位和與運動想象相關(guān)的mu/beta節(jié)律等。隨著BCI技術(shù)的發(fā)展，借助單一模式腦電信號的BCI系統(tǒng)，要想進一步提高信息傳輸率已經(jīng)比較困難。此外，特定的單一模式的固有缺點也是制約 BCI性能提高的瓶頸。因此開始有人通過研究不同感覺模式混合控制的 BCI，為BCI系統(tǒng)性能的進一步提高提供了一種新的途徑。

混合模式腦-機接口(hybrid brain-computer interface，hybrid BCI)是指在一種感覺模式的 BCI的基礎(chǔ)上，加入新的控制方式進行混合控制的BCI。這里所說的新的控制方式，可以是另一種感覺模式的BCI，也可以是由諸如眼動、心率、血流變化等生理信號產(chǎn)生的控制方式［2］。

混合模式BCI按照其混合控制的方式可以分成兩種基本類型:串行(sequential)模式和并行(simultaneous)模式［2］。串行模式中兩種不同的感覺模式按先后順序進行控制，此類系統(tǒng)可以有效降低系統(tǒng)的假陽性率;而并行模式則是兩種感覺模式同時協(xié)同進行控制，相當(dāng)于增加了系統(tǒng)可識別的任務(wù)數(shù)。

Pfurtscheller等進行過多種混合模式 BCI的嘗試，包括基于運動想象和穩(wěn)態(tài)視覺誘發(fā)電位(steadystate visual evoked potential，SSVEP)的 BCI，基于近紅外光譜(near-infrared spectroscopy，NIRS)開關(guān)控制SSVEP的BCI，引入心率控制模式的 BCI以及引入眼睛注視控制模式的 BCI等，取得了一定的成果［2］。

李遠(yuǎn)清等完成了一套可以進行二維光標(biāo)控制的BCI系統(tǒng)，光標(biāo)在水平和豎直方向的運動分別由運動想象和P300電位兩種模式進行控制。這是一種并行混合的系統(tǒng)，采用了兩種相對獨立的控制信號，可以控制光標(biāo)在屏幕上的自由運動［3］。

觀察現(xiàn)有的混合兩種腦電范式的 BCI系統(tǒng)，可以發(fā)現(xiàn)它們都采用了諸如SSVEP及P300這樣的需要引入較強視覺刺激的范式，長時間使用容易對使用者的眼睛造成一定損害，同時也容易產(chǎn)生疲勞，降低了系統(tǒng)的實用性。因此本研究希望通過結(jié)合運動想象和運動起始時刻視覺誘發(fā)電位這兩種都不需要借助強烈刺激的范式，開發(fā)出一套實用性較強的BCI系統(tǒng)。

運動想象主要提取的特征是大腦感覺運動皮層mu/beta節(jié)律的能量變化。mu節(jié)律是一種自主的腦電節(jié)律信號，它產(chǎn)生于感覺運動皮層，頻率范圍為8～12 Hz。通常mu節(jié)律出現(xiàn)的同時還伴有18～26 Hz的beta節(jié)律出現(xiàn)，肢體的真實運動和運動想象中伴隨著感覺運動皮層mu/beta節(jié)律的事件相關(guān)去同步化/同步化(event-related desynchronization/synchronization，ERD/ERS)［4］。

運動起始時刻視覺誘發(fā)電位(motion-onset visual evoked potential，mVEP)是一種產(chǎn)生于大腦middle temporal area(MT)和medial superior temporal area(MST)由視覺運動刺激引起的皮層電位，具有較大的幅度和較小的受試差異性［5］。

運動想象的特點是響應(yīng)速度快，但是可識別目標(biāo)數(shù)少;而借助運動起始時刻視覺誘發(fā)電位可以實現(xiàn)較多的可識別目標(biāo)數(shù)，但做一次判斷需要的時間較長。因此將這兩種范式結(jié)合起來實現(xiàn)混合控制具有獨特的優(yōu)勢。本研究實現(xiàn)了一種基于運動想象及運動起始時刻視覺誘發(fā)電位的混合型BCI系統(tǒng)，初步評估了其性能并提出了今后改進的方向。

1 方法

1.1 實驗范式

本研究基于運動想象和mVEP的混合控制實現(xiàn)了一套字符輸入系統(tǒng)。系統(tǒng)在Matlab R2010b環(huán)境下編寫，顯示界面部分運用了Psychtoolbox-3工具箱實現(xiàn)，樣式如圖1所示。界面的主體部分是一個6×6的方框陣列，每個方框分別代表一個目標(biāo)，所有目標(biāo)包含全部26個英文字母和數(shù)字0～9。方框內(nèi)部顯示mVEP的視覺刺激，通過mVEP的分類判斷使用者在注視哪一個方框，從而選出該方框代表的目標(biāo)并顯示在屏幕上方。

屏幕左右兩側(cè)靠近邊沿的位置會顯示可以向兩側(cè)伸長的橫條，代表了一段時間內(nèi)左手和右手運動想象的強度。如果在一段時間內(nèi)一側(cè)的橫條達(dá)到一定長度，則判斷使用者正在進行相應(yīng)側(cè)手的運動想象，據(jù)此進行界面開關(guān)或切換輸入下一字符的操作。例如識別為左手運動想象，則將字符輸入界面關(guān)閉;識別為右手運動想象時，若字符輸入界面未開啟，則開啟界面;若界面已開啟，則開始輸入下一字符。

系統(tǒng)的混合控制采用串行的方式，保證兩種感覺模式不會產(chǎn)生相互干擾。系統(tǒng)具有兩種工作狀態(tài)，一種是字符輸入的狀態(tài)，在這種狀態(tài)下只有mVEP的范式在工作;另一種是非字符輸入的“空閑”狀態(tài)，在這種狀態(tài)下只進行運動想象的判斷。

圖1 字符輸入系統(tǒng)界面Fig.1 The interface of character input system

運動想象的分類基于感覺運動皮層 C3、C4兩個導(dǎo)聯(lián)及其周圍區(qū)域 mu節(jié)律的 ERD，使用了兩側(cè)分別以C3、C4為中心的各9個導(dǎo)聯(lián)以及 FCz共19個導(dǎo)聯(lián)的信號。系統(tǒng)處于非字符輸入的狀態(tài)時每0.5 s進行1次運動想象的判斷，每次判斷采用的數(shù)據(jù)窗長為1 s，如果判斷為某側(cè)手的運動想象，則將界面上代表該側(cè)的橫條加長1格。如果在3s內(nèi)進行的6次判斷中，有4次以上被識別為同一側(cè)手的運動想象，則會進行1次操作，否則認(rèn)為使用者處在空閑狀態(tài)。

mVEP 的分類使用了腦后的 P3、P4、P7、P8、Pz以及O1、O2、Oz共8個導(dǎo)聯(lián)的信號。刺激呈現(xiàn)的形式是在方框中部出現(xiàn)一個豎條，并迅速向左側(cè)運動，持續(xù)約150 ms后消失。如果使用者在此期間注視該方框，則會記錄到由此運動目標(biāo)引發(fā)的 mVEP響應(yīng)。刺激會在一整行或一整列的方框中同時出現(xiàn)，出現(xiàn)時向放大器發(fā)出一個同步信號，用于標(biāo)記刺激出現(xiàn)的起始時刻。每一輪按照隨機的順序掃描完所有的行和列。在訓(xùn)練階段，使用者依次注視沿對角線的6個目標(biāo)，系統(tǒng)提取出相應(yīng)目標(biāo)內(nèi)的刺激引發(fā)的響應(yīng)用于訓(xùn)練分類器。在測試階段，刺激每呈現(xiàn)4輪后會進行一次判斷，找出使用者注視的行列對應(yīng)的目標(biāo)。

1.2 信號采集

系統(tǒng)采用Neuroscan SynAmps2腦電放大器采集腦電數(shù)據(jù)，采樣率為1000 Hz，共采集27導(dǎo)聯(lián)，電極的位置如圖2所示。其中包括用于運動想象的分類的位于感覺運動皮層的19個導(dǎo)聯(lián)以及用于mVEP的分類的后部8個導(dǎo)聯(lián)。以雙耳乳突為參考，此外還記錄一個同步信號導(dǎo)聯(lián)用于mVEP的數(shù)據(jù)分割。信號采集計算機接收由放大器發(fā)出的腦電信號，再通過網(wǎng)絡(luò)發(fā)送給信號處理計算機，如圖3(a)所示。

圖2 系統(tǒng)使用的27導(dǎo)聯(lián)電極位置分布Fig.2 The scalp map of 27 electrodes used in this system

1.3 數(shù)據(jù)處理

在進行實際的控制之前，使用者需要單獨進行運動想象和mVEP兩種范式的訓(xùn)練，以獲得相應(yīng)的分類器。實際控制時，采集的腦電信號經(jīng)過提取后獲得的不同特征分別輸入到兩個分類器，運動想象分類器的輸出結(jié)果負(fù)責(zé)界面的開關(guān)和開始輸入下一字符的控制;mVEP分類器的輸出結(jié)果決定了輸入的是哪個字符，如圖3(b)所示。

運動想象的特征提取采用共迭代時空模式(iterative common spatial-temporal patterns，ICSTP)方法，相比于流行的共空間模式(common spatial patterns，CSP)方法，ICSTP用與空域濾波器設(shè)計相同的廣義特征值問題優(yōu)化時域濾波器，避免了人工選擇時域濾波器的弊端［6］。在提取特征之后，采用線性核的支持向量機作為特征分類方法。

圖3 系統(tǒng)結(jié)構(gòu)框圖。(a)整體腦電信號傳輸流程;(b)信號處理計算機上的控制流程框圖Fig.3 System diagram.(a)Overall EEG signal transmission process;(b)Control flow diagram in signal processing computer

mVEP的特征提取主要依據(jù)其時域的波形特征。將進行1～10 Hz帶通濾波后的數(shù)據(jù)按照刺激呈現(xiàn)的起始時刻進行分割，將同一目標(biāo)下相鄰4次刺激誘發(fā)的波形進行疊加平均，以獲得特征較為明顯的視覺誘發(fā)電位，降采樣后得到的樣本點用于訓(xùn)練線性核的支持向量機［7］。在進行多目標(biāo)分類的時候，為了提高分類正確率，采用了整合空間輪廓(integrating spatial profile)的方法［8］。

2 實驗

完成實驗全過程的共有5名受試者，其中受試者1和2具有相對豐富的運動想象訓(xùn)練經(jīng)驗，受試者2具有相對豐富的mVEP訓(xùn)練經(jīng)驗。對于每名受試者，在開始實際的混合控制之前都需要完成兩種范式的單獨訓(xùn)練。由于mVEP特征隨時間變化的差異較小，范式的穩(wěn)定性較強，而運動想象特征隨時間的變化可能較大，且較依賴受試的狀態(tài)，故首先進行mVEP的訓(xùn)練，后進行運動想象的訓(xùn)練，運動想象一旦訓(xùn)練好馬上投入測試，以保證受試者的狀態(tài)。

mVEP的訓(xùn)練共分兩組，每組沿著字符面板的對角線依次注視6個目標(biāo)，注視每個目標(biāo)期間經(jīng)過10輪刺激，共120輪刺激，訓(xùn)練持續(xù)時間約8 min。

在運動想象訓(xùn)練時，作為視覺反饋，每次有1個小球從屏幕下方向上方勻速運動，4 s內(nèi)到達(dá)頂部，在此期間小球在水平方向上的運動由運動想象分類器的輸出結(jié)果控制，對應(yīng)于左手、右手的想象和空閑狀態(tài)，共有向左、向右和方向不變等3種狀態(tài)。屏幕上方會依據(jù)想象任務(wù)而在兩側(cè)顯示目標(biāo)區(qū)域，如果最后小球擊中此區(qū)域則認(rèn)為任務(wù)成功完成。每組訓(xùn)練任務(wù)結(jié)束后，系統(tǒng)會根據(jù)擴充后的數(shù)據(jù)集重新訓(xùn)練分類器，以求在訓(xùn)練過程中能達(dá)到較好的反饋效果。

運動想象的訓(xùn)練共分為8組，每組10次，想象左手和右手運動的任務(wù)交替進行。每次包含3 s的想象準(zhǔn)備時間、4 s的想象任務(wù)和3 s的結(jié)果顯示及休息時間，另外每兩組之間有10 s的休息時間，訓(xùn)練持續(xù)時間約15 min。

所有的訓(xùn)練工作完成后進入測試階段，受試者被要求首先通過運動想象打開字符輸入的面板，按照順序輸入10個字符，每輸入完一個字符后系統(tǒng)會給出開始輸入下一字符的提示，等待受試者通過運動想象操作開始輸入，并記下從提示開始到實際開始的時間。以上實驗重復(fù)3輪，受試共輸入30個字符。

3 結(jié)果

在實驗過程中，經(jīng)過一定訓(xùn)練的受試者能夠順利完成界面的開關(guān)和字符的輸入，過程中不需借助其他非腦電途徑的幫助，并且在較長的實驗時間內(nèi)并未明顯感到疲勞。統(tǒng)計出每名受試者通過運動想象進行單步操作的平均時間以及字符輸入的準(zhǔn)確率如表1所示。

表1 不同受試的單步運動想象操作平均時間及字符輸入準(zhǔn)確率Tab.1 Average time of the single-step motor imagery operation and character input accuracy of different subjects

4 討論

從表1可見，在運動想象操作環(huán)節(jié)，不同受試者的情況存在較大差異，其中具有相對豐富運動想象訓(xùn)練經(jīng)驗的受試者1和2進行單步操作所用的時間顯著低于其他受試者。而在字符輸入的環(huán)節(jié)，大部分受試者都能達(dá)到較高的準(zhǔn)確率，尤其是具有較豐富經(jīng)驗的受試者2;受試者1準(zhǔn)確率較低的原因在于誘發(fā)出的mVEP成分幅度顯著低于其他受試者，特征不顯著。

不同的受試者在不同范式下的表現(xiàn)各有差異，造成這種情況的主要原因是腦電信號的特征，包括強度、頻段、分布區(qū)域等隨著受試者不同都會有所差別。即便是像mVEP這種由視覺刺激誘發(fā)產(chǎn)生的響應(yīng)，不同受試者由同樣刺激誘發(fā)出的響應(yīng)特征也可能具有較大差異，而像運動想象的 mu節(jié)律這種完全自主產(chǎn)生的腦電信號，受試者間的差異更為明顯。在這種情況下，除了在信號處理領(lǐng)域?qū)で蟾玫姆椒ㄟM行特征提取和分類外，受試者的訓(xùn)練也是提升BCI的人機交互性能的一個重要方面。已經(jīng)有不少例子表明，適當(dāng)?shù)挠?xùn)練有助于提高受試者在BCI系統(tǒng)使用中的表現(xiàn)。

對比基于單一感覺模式的BCI系統(tǒng)，本系統(tǒng)顯現(xiàn)出了明顯的優(yōu)勢:與單純的運動想象控制相比，引入mVEP范式擴充了任務(wù)目標(biāo)數(shù)，使得系統(tǒng)可以完成字符輸入這種復(fù)雜的任務(wù);而與單純的 mVEP控制字符輸入相比，引入運動想象范式使得系統(tǒng)有了一種較靈活的控制方式。原先需要借助外界條件完成的開啟、關(guān)閉和切換輸入字符等功能，現(xiàn)在可以直接通過使用者的腦電控制完成，提高了作為一種BCI系統(tǒng)的完善性和實用性。

目前在本系統(tǒng)的運動想象操作環(huán)節(jié)采用的是比較保守的控制策略，即通過在一段時間內(nèi)計算各種分類可能獲得的票數(shù)，只有超過一定多數(shù)的情況才會被判斷執(zhí)行。實際上這是為了降低誤操作概率而做出的一種折中。對于具有較強運動想象能力的受試者來說，目前的這套控制參數(shù)可能制約了他們的表現(xiàn)，因此這部分的控制策略在未來有必要進行優(yōu)化，以更好地適應(yīng)不同水平的使用者。

5 結(jié)論

本研究提出并實現(xiàn)了一種基于運動想象及運動起始時刻視覺誘發(fā)電位的混合型 BCI系統(tǒng)，并且通過實驗證明了這套系統(tǒng)的可行性。本研究從一個方面再一次驗證了混合不同感覺模式是提高BCI系統(tǒng)性能的一種有效手段。

［1］Wolpaw JR，Birbaumer N，McFarland DJ，et al.Brain-computer interfaces for communication and control［J］. Clinical Neurophysiology，2002，113(6):767－791.

［2］Pfurtscheller G，Allison BZ，Brunner C，et al.The hybrid BCI［J］.Frontiers in Neuroscience，2010，4(Article 42):1 －11.

［3］LI Yuanqing，WANG Chuanchu，ZHANG Haihong，et al.An EEG based BCIsystem for2D cursorcontrol［C］//International Joint Conference on Neural Networks 2008，Hong Kong:2008:2214－2219.

［4］Pfurtscheller G，Lopes da Silva FH.Event-related EEG/MEG synchronization and desynchronization:basic principles［J］.Clinical Neurophysiology，1999，110:1842－1857.

［5］Guo Fei，Hong Bo，Gao Xiaorong，et al.A brain-computer interface using motion-onset visual evoked potential［J］.Journal of Neural Engineering，2008，5:477－485.

［6］段放，高小榕.一種基于運動想象的腦-機接口時空濾波器迭代算法［J］.中國生物醫(yī)學(xué)工程學(xué)報，2011，30(1):11－16.

［7］Hong Bo，Guo Fei，Liu Tao，et al.N200 －speller using motiononset visual response ［J］.Clinical Neurophysiology，2009，120:1658－1666.

［8］Zhang Dan，Xu Honglai，Wu Wei，et al.Integrating the spatial profile of the N200 speller for asynchronous brain-computer interfaces［C］//Proceedingsof 33rdAnnualInternational Conference of the IEEE EMBS.Boston:IEEE，2011:4564－4567.