基于異步腦-機接口的文本閱讀器

趙 麗 郭旭宏

（天津市信息傳感與智能控制重點實驗室 天津職業(yè)技術(shù)師范大學(xué)，天津 300222）

引言

腦-機接口（brain-computer interface，BCI）是在人腦與計算機或其他電子設(shè)備之間建立的直接交流和控制的通道，它不依賴于腦的正常輸出通路，是一種全新的對外信息交流和控制方式［1－2］。根據(jù)系統(tǒng)運作方式的不同，BCI系統(tǒng)可以分做同步 BCI和異步BCI兩類。

同步BCI是受試者在固定的時間內(nèi)，在系統(tǒng)的同步提示下，利用腦波發(fā)出指令控制外部設(shè)備，因此使用者并不是完全意義上的控制者［3］。在異步 BCI系統(tǒng)中，受試者自主控制思維活動，系統(tǒng)記錄并分析連續(xù)的EEG信號，實現(xiàn)對外設(shè)的實時控制。它提供了一種更加靈活、自然的人機交互方式，代表了BCI研究發(fā)展的趨勢［4］。

目前，基于運動想象的腦-機接口系統(tǒng)，大都需要給出同步信號，在規(guī)定時間內(nèi)想象，利用事件相關(guān)去同步化和同步化現(xiàn)象判定想象動作，在很大程度上限制了運動想象腦-機接口的實際應(yīng)用。

劉美春等提出以訓(xùn)練各類運動想象樣本的類內(nèi)散度和正確檢測率為指標(biāo)，結(jié)合接收機曲線確定分類閾值，設(shè)計最佳三分類器，實現(xiàn)異步腦-機接口的空閑狀態(tài)檢測，對2005年BCI競賽數(shù)據(jù)測試的均方誤差為0.278 7，取得了不錯的識別效果［5］。

李翔等將運動想象和運動起始時刻視覺誘發(fā)電位以串行方式結(jié)合，以運動起始時刻視覺誘發(fā)電位控制字符輸入，運動想象控制界面開關(guān)和容許輸入下一個字符，實現(xiàn)了一種可用于字符輸入的混合模式腦-機接口系統(tǒng)［6］。

現(xiàn)有的解決異步BCI的方法，主要以設(shè)計復(fù)雜的分類器和混合不同范式兩大種：第一種算法復(fù)雜，影響B(tài)CI系統(tǒng)的實時性；第二種往往需要采集很多導(dǎo)聯(lián)，影響B(tài)CI系統(tǒng)的實用性。本研究設(shè)計了一套基于LabVIEW平臺的異步腦-機接口系統(tǒng)，采用睜閉眼引起的α波能量差作為系統(tǒng)的主控信號，利用小波包分解將左右手的運動想象信號轉(zhuǎn)換為控制命令，采用ActiveX實現(xiàn)了對Word文檔的閱讀。算法簡單容易實現(xiàn)，只需3個導(dǎo)聯(lián)數(shù)，實用性較強。

1 系統(tǒng)設(shè)計與實驗流程

本系統(tǒng)由腦電信號采集、閾值測定、信號處理和文本控制等4個模塊組成，系統(tǒng)流程如圖1所示。

圖1 系統(tǒng)流程圖Fig.1 The flow chart of the system

系統(tǒng)開始時首先進(jìn)入信號采集模塊，啟動腦電信號采集器。然后進(jìn)入閾值測定模塊，系統(tǒng)采集5 s靜息狀態(tài)的數(shù)據(jù)進(jìn)行計算，分別測得α波和μ節(jié)律的閾值。然后進(jìn)入信號處理模塊，每隔1 s對O1區(qū)域的腦電信號進(jìn)行一次計算，如果超過α波閾值則發(fā)出提示音，提示受試者開始想象左/右手運動，3 s后系統(tǒng)對此段時間C3、C4區(qū)域的信號進(jìn)行計算，如果超過μ節(jié)律的閾值，則將計算結(jié)果轉(zhuǎn)化為控制命令。

文本閱讀系統(tǒng)搭建在LabVIEW平臺上，程序開啟后默認(rèn)打開上次閱讀的文檔和段落，使用者需要切換段落時，首先閉眼，聽到提示音后開始想象左（右）手運動，3 s后系統(tǒng)做出判定，即可切換到上（下）一頁。需要切換文檔時，首先閉眼，聽到提示音后立刻睜眼，然后再次閉眼，即可切換到下一篇文檔。系統(tǒng)前面板界面如圖2所示。

圖2 前面板界面Fig.2 The interface of front panel

2 模塊介紹

2.1 腦電采集

腦電采集部分采用中科新拓NT9200數(shù)字腦電圖儀，分辨率0.5μV，采樣率200Hz，采集C3、C4、O1等3個通道的腦電信號，以雙耳乳突A1、A2作為參考電極，經(jīng)過A/D轉(zhuǎn)化后將數(shù)字量由USB傳給計算機。界面首先顯示“儀器開啟中，請稍候”，然后進(jìn)入閾值測定模塊。

2.2 閾值測定

由于每個使用者的腦電信號都具有特異性，因此必須為不同使用者確定不同的閾值。界面顯示“基線測定中，請靜息”，使用者保持睜眼安靜狀態(tài)5 s，系統(tǒng)對O1、C3和C4通道分別采用db4小波進(jìn)行7層分解，提取出11～12.5Hz頻段，計算重構(gòu)后的能量，O1通道1 s的平均能量記為y1，作為α波的閾值；C3-C4的差值記為y2，作為運動想象的閾值。閾值測定模塊的框圖程序如圖3所示。

2.3 信號處理

信號處理模塊分為α波檢測和運動想象處理兩個部分，α波檢測的結(jié)果作為主控信號，滿足閾值要求才會進(jìn)入運動想象處理模塊，分析使用者運動想象產(chǎn)生的腦電信號，進(jìn)而發(fā)出控制命令；如果α波檢測的結(jié)果沒有超過閾值，則系統(tǒng)繼續(xù)檢測下一次的α波，即使使用者想象左右手運動，系統(tǒng)也不會發(fā)出控制命令，從而實現(xiàn)α波與運動想象的異步控制。信號處理模塊的框圖程序如圖4所示。

2.3.1 α波檢測

α波是有節(jié)律性腦電波中最明顯的波，頻率為8～13Hz，振幅約為20～100 μV。清醒閉目時α波出現(xiàn)，睜眼、思考問題，或接受其他刺激時，α波消失而出現(xiàn)快波，這稱為α波阻斷現(xiàn)象［7］。如果受試者又安靜閉目，α波又重新出現(xiàn)，一般以枕、頂、后顆部波幅最高，有時擴(kuò)展至中央?yún)^(qū)域。通常右側(cè)波幅高于左側(cè)，但左側(cè)的波幅不應(yīng)少于右側(cè)的2/3［8］。雖然α波的波幅存在個體差異性，但是睜閉眼引起的α波阻斷現(xiàn)象在O1、O2位置均可明顯的檢測到，為減少導(dǎo)聯(lián)數(shù)，提高系統(tǒng)的簡便與實用性，只采集O1通道的腦電信號做處理。

利用這一特點，采用db4小波，對每1 s采集到的O1通道的信號，進(jìn)行7層小波包分解，由于采樣率為200Hz，因此節(jié)點（7.8）的頻段即為11～12.5Hz，將此段數(shù)據(jù)小波包重構(gòu)，計算能量值x1，若大于閾值y1，則發(fā)生閉眼動作，發(fā)出提示音，系統(tǒng)進(jìn)入運動想象階段。

圖5為利用小波包分解重構(gòu)1名受試者按照“5 s靜息－1 s閉眼－3 s睜眼”流程得到的腦電信號圖，由圖可以看出11～12.5Hz頻段的信號在閉眼時能量增大，睜眼后又迅速減少，這與α波阻斷現(xiàn)象一致，證明了利用閉眼增大α波能量可以超過閾值進(jìn)入運動想象模塊，從而實現(xiàn)異步控制。

圖3 閾值測定的框圖程序Fig.3 The block diagram program of threshold calculation

圖4 信號處理的框圖程序Fig.4 The block diagram program of signal processing

2.3.2 運動想象處理

當(dāng)人在做單側(cè)肢體運動想象時，大腦對側(cè)及左腦皮層對應(yīng)區(qū)域的μ節(jié)律（8～12Hz）和β波（18～23Hz）的振幅會較未做運動前有明顯減小，與此同時大腦同側(cè)及右腦皮層對應(yīng)區(qū)域的μ節(jié)律和β波的振幅會較未做運動前有明顯增大，這種現(xiàn)象被稱為事件相關(guān)同步/去同步（ERS/ERD）［9］。因此利用這個特點即可實現(xiàn)左右手運動想象的有效分類。

聽到提示音后，受試者開始自主進(jìn)行運動想象，想象時間3 s。同樣采用db4小波對C3、C4通道3 s的數(shù)據(jù)進(jìn)行7層小波包分解，重構(gòu)節(jié)點（7.8），計算兩通道的能量差x2，若小于閾值y2即可判定為右手想象，反之則為左手想象。圖6為對一名受試者3 s左右手運動想象時C3、C4通道的小波包分解圖，（a）為想象左手運動時C3、C4的分解圖，（b）為想象右手運動時C3、C4的分解圖。

圖5 小波分解后的Alpha波形圖Fig.5 The figure of wavelet decomposition

2.4 文本控制

ActiveX是微軟倡導(dǎo)的網(wǎng)絡(luò)化多媒體對象技術(shù)，是一套跨越編程語言的軟件開發(fā)方法和規(guī)范，它允許應(yīng)用程序或組件（服務(wù)器）控制另一個應(yīng)用程序或組件（客戶端）的運行［10－11］。在本系統(tǒng)中LabVIEW作為客戶端，通過調(diào)用ActiveX控件完成對Word的操作。

LabVIEW與Word的鏈接方法為：首先打開自動化引用，該引用指向Word應(yīng)用程序；然后設(shè)置Documents，通過文件路徑打開文檔，切換文檔的操作就是通過改變Documents-Filename實現(xiàn)的，再設(shè)置Range，它代表文檔的一個范圍，改變文章段落的操作就是通過改變Range-start/end實現(xiàn)的；最后關(guān)閉自動化引用。程序框圖如圖7所示。

圖6 運動想象小波包分解圖。（a）左手C3通道（左）C4通道（右）；（b）右手C3通道（左）C4通道（右）Fig.6 The figure of wavelet decomposition.（a）Left hand C3（left）and C4（right）；（b）Right hand C3（left）and C4（right）

圖7 文本控制的程序框圖Fig.7 The block diagram program of text operation

3 實驗結(jié)果與分析

受試者為3名年齡在23歲到26歲身體健康的實驗室同學(xué)，其中2名為男性，1名為女性。由于睜閉眼引起的α波較為穩(wěn)定，左右手運動想象則相對復(fù)雜，因此首先需要對受試者進(jìn)行運動想象訓(xùn)練，保證受試者熟悉自發(fā)腦電的誘發(fā)過程。運動想象訓(xùn)練共40次，其中左右手各20次，每次5 s，第1 s有提示音，受試者開始想象左或右手拍籃球持續(xù)3 s，然后1 s休息。根據(jù)受試者的個體差異可以適當(dāng)增加或減少訓(xùn)練次數(shù)，一般訓(xùn)練約5 min即可。

訓(xùn)練結(jié)束后3名受試者進(jìn)行實驗，分別完成文檔和文章段落切換各10次。切換段落時，首先閉眼，聽到提示音后開始想象左（右）手運動3 s。切換文檔時，首先閉眼，聽到提示音后立刻睜眼，然后再次閉眼。表1為實驗的正確次數(shù)和完成操作的時間統(tǒng)計?？梢钥闯?名受試者都能較好的完成文本操作，平均正確率86.5％，文章段落切換平均時間6.3 s，文檔切換平均時間4.3 s，表明文本閱讀系統(tǒng)具有較高的操作性和穩(wěn)定性。

表1 系統(tǒng)正確次數(shù)和完成時間統(tǒng)計Tab.1 The statistics of correct numbers and times

4 討論和結(jié)論

從上表中可以看出不同受試者的實驗結(jié)果不盡相同，主要是因為受試者存在著個體差異，因此在實驗前必須對受試者做訓(xùn)練，保證受試者注意力集中，熟悉系統(tǒng)的操作流程。此外，為了減少外界因素的干擾，還必須保證實驗環(huán)境相對安靜、盡量避免電磁干擾、電極與頭皮充分接觸等。

本系統(tǒng)以自主閉眼引起的α波變化作為開始運動想象的信號，避免了設(shè)計多維分類器，解決了運動想象“空閑狀態(tài)”的檢測困難，簡化了系統(tǒng)的復(fù)雜度。α波與左右手運動想象的組合相比以往單一的α波或運動想象范式擴(kuò)充了自由度，實現(xiàn)了運動想象的多維控制。

從實驗結(jié)果看，平均控制時間為5.3 s，證明了α波與左右手運動想象的組合BCI系統(tǒng)具有可行性，克服了單一模式的缺點，為下一步更多模式的組合做了嘗試。正確率86.5％，也證明了運用腦電在LabVIEW環(huán)境下閱讀和操作文本的實用性，為下一步在LabVIEW上開發(fā)功能更為復(fù)雜的閱讀系統(tǒng)做了鋪墊。

目前許多相關(guān)研究尚處在實驗室階段，所以腦-機接口距離商業(yè)化應(yīng)用還有一定的距離。但是腦-機接口在諸多領(lǐng)域中的潛在應(yīng)用價值不可忽視，異步腦-機接口的獨立自主性，受到眾多研究者的關(guān)注，本文通過α波與左右手運動想象的聯(lián)合控制，實現(xiàn)了基于異步腦-機接口的文本閱讀器的系統(tǒng)設(shè)計。實驗結(jié)果證明了系統(tǒng)的可行性，為進(jìn)一步開發(fā)功能更為完備的異步腦-機接口系統(tǒng)做了嘗試。

［1］萬柏坤，高揚，趙麗，等.腦-機接口：大腦對外信息交流的新途徑［J］.國外醫(yī)學(xué)生物醫(yī)學(xué)工程分冊，2005，28（1）：4－9.

［2］馬彥臻.基于運動想象的腦電信號處理方法研究［D］.天津：天津職業(yè)技術(shù)師范大學(xué)，2012.

［3］楊紅宇，徐鵬，陳彥.異步腦機接口技術(shù)現(xiàn)狀及發(fā)展趨勢［J］.中國生物醫(yī)學(xué)工程學(xué)報，2011，30（5）：774－780.

［4］鄧志東，李修全，鄭寬浩，等.一種基于SSVEP的仿人機器人異步腦機接口控制系統(tǒng)［J］.機器人，2011，33（1）：129－135.

［5］劉美春，謝勝利.異步腦-機接口的空閑狀態(tài)檢測新方法［J］.計算機應(yīng)用研究，2010，27（1）：151－153.

［6］李翔，高小榕，高上凱.一種基于兩種不同范式的混合型腦－機接口系統(tǒng)［J］.中國生物醫(yī)學(xué)工程學(xué)報，2012，31（3）：326－330.

［7］王坤，崔維棋，李國珍，等.單側(cè)睜閉眼引起的全腦腦電圖差異研究［J］.首都醫(yī)科大學(xué)學(xué)報，2012，33（2）：205－208.

［8］耿麗清，趙麗，崔世鋼，等.基于腦電alpha波的便攜式腦－機接口系統(tǒng)研究［J］.系統(tǒng)仿真學(xué)報，2008，20（17）：4748－4750.

［9］伏云發(fā)，徐保磊，裴立力，等.基于腦電運動速度想象的單次識別研究［J］.中國生物醫(yī)學(xué)工程學(xué)報，2011，30（4）：555－561.

［10］董英斌，韓冰.LabVIEW中利用ActiveX技術(shù)訪問Excel的接口研究［J］.微計算機信息，2006，22（2）：165－167.

［11］張仁輝.基于ActiveX技術(shù)的LabVIEW與 Word通信實現(xiàn)［J］.儀器儀表用戶，2007，14（5）：92－93.