P300的BCI漢字在線輸入系統(tǒng)

徐鑫，方慧娟

（華僑大學(xué) 信息科學(xué)與工程學(xué)院，福建 廈門361021）

腦－機(jī)接口（brain－computer interface，BCI）是一種新的人－機(jī)交互方式，其特點(diǎn)在于直接通過人腦來控制外界設(shè)備或字符輸入，而不用借助外周肌肉.考慮到一個(gè)思維正常但有運(yùn)動(dòng)障礙的人（如肌萎縮性側(cè)索硬化、嚴(yán)重脊髓損傷或完全癱瘓患者）沒有辦法和外界進(jìn)行交流溝通.越來越多的研究者開發(fā)基于腦電圖（eletroencepalograph，EEG）的交互系統(tǒng)，以輔助以上人群［1－2］.基于P300信號(hào)特征的腦－機(jī)接口系統(tǒng)具有目標(biāo)多，個(gè)體差異較少的優(yōu)點(diǎn).目前在P300領(lǐng)域內(nèi)，具有在線打字功能的P300－BCI大多針對(duì)英文字母和數(shù)字，常見的誘發(fā)界面與Donchin 等［3］最早研制的字母矩陣相似，也有一些研究采用不同的字母排列及閃爍方式.但國內(nèi)能熟練使用英語人群的比例不高，很多患者還不能夠自由運(yùn)用英語表達(dá)自己的思想，因此，很多學(xué)者開始研究繁體中文范式的BCI系統(tǒng)和中文筆畫范式的BCI系統(tǒng).香港大學(xué)的中文系語言工程實(shí)驗(yàn)室利用基于P300的繁體中文輸入字符系統(tǒng)，最后得到了每分鐘1.1個(gè)中文字的輸入的效果［4］.浙江大學(xué)的吳邊設(shè)計(jì)了基于筆畫的漢字輸入BCI系統(tǒng)，其實(shí)驗(yàn)的正確率分布在0.38～0.84之間，理論信息傳輸比特率為14.0bit·min－1，實(shí)際有效比特率為1.23～8.80bit·min－1，基本可以實(shí)現(xiàn)漢字的輸入［5］.但對(duì)于用戶來說，輸入速度較慢，而且現(xiàn)在絕大多數(shù)中國人還是習(xí)慣使用拼音來打字，只有極少部分人使用筆畫輸入法打字，因此，設(shè)計(jì)一個(gè)快捷方便的拼音輸入系統(tǒng)的任務(wù)變得更加迫切.本文首次設(shè)計(jì)并實(shí)現(xiàn)了基于P300的簡體中文拼音輸入BCI系統(tǒng)，解決了不懂英語和不習(xí)慣筆畫輸入的受試者的困擾.

1 試驗(yàn)方法

1.1 受試者

4名志愿者平均年齡是23.4歲，視力正?；虺C正到正常，右利手.其中兩名為本科生，兩名為碩士研究生.被試者在實(shí)驗(yàn)開始之前已明確自己的任務(wù)，保持頭皮干凈、情緒穩(wěn)定、身體狀況良好.

1.2 信號(hào)采集

系統(tǒng)信號(hào)采集存儲(chǔ)等處理模塊采用自建的微軟基礎(chǔ)類（microsoft foundation classes，MFC）平臺(tái)，實(shí)現(xiàn)19導(dǎo)（FP1，F(xiàn)P2，F(xiàn)3，F(xiàn)4，C3，C4，P3，P4，O1，O2，F(xiàn)7，F(xiàn)8，T7，T8，P7，P8，F(xiàn)z，Cz，Pz）EEG（electroencephalogram）的同步采集.腦電信號(hào)被銀－氯化銀電極制作的電極帽采集，然后經(jīng)過UEA－24BZ型數(shù)字放大器（北京市中科新拓儀器有限公司）放大，其中采樣頻率定為100Hz.采用單極導(dǎo)聯(lián)，參考電極取于耳垂.實(shí)驗(yàn)期間受試者安靜地坐在一張椅子上，放松身體，集中注意力，盡可能減少眨眼及肢體運(yùn)動(dòng).

1.3 用戶界面

實(shí)驗(yàn)分為訓(xùn)練過程和測試過程.訓(xùn)練期的用戶界面，如圖1所示.界面可分為兩個(gè)部分：3×4的字母矩陣、目標(biāo)字符.測試期的用戶界面，如圖2所示.界面可分為4個(gè)區(qū)：一級(jí)選擇的字母刺激區(qū)（Ⅰ）、二級(jí)選擇的候選漢字刺激區(qū)（Ⅱ）、目標(biāo)拼音區(qū)（Ⅲ）、目標(biāo)漢字區(qū)（Ⅳ）.一級(jí)選擇的字母刺激區(qū)按3×4矩陣排列，由26個(gè)英文字母、兩個(gè)標(biāo)點(diǎn)符號(hào)（“，”、“.”）和兩個(gè)功能鍵（“Enter”——一級(jí)選擇完畢確認(rèn)，“×”——?jiǎng)h除）組成；二級(jí)選擇的漢字刺激區(qū)里包含了一級(jí)選擇的字母對(duì)應(yīng)最常見的11個(gè)漢字和一個(gè)候選字換頁功能鍵（“Λ”——將候選字區(qū)換成下一頁的候選字）；目標(biāo)拼音區(qū)包含了一級(jí)選擇得到的目標(biāo)拼音；目標(biāo)漢字區(qū)含有二級(jí)選擇得到的漢字（圖1）.系統(tǒng)處在二級(jí)選擇期，此時(shí)一級(jí)選擇的刺激區(qū)不會(huì)消失，處于靜止?fàn)顟B(tài)，在一定程度上可以使界面更加直觀明朗，使用更加方便.

圖1 訓(xùn)練期的用戶界面Fig.1 User interface in the training period

圖2 測試期的用戶界面Fig.2 User interface in test period

1.4 實(shí)驗(yàn)過程

整個(gè)實(shí)驗(yàn)進(jìn)行6d，前3d是訓(xùn)練期，后3d是測試期，實(shí)驗(yàn)過程如圖3所示.訓(xùn)練期，訓(xùn)練開始后，3s的準(zhǔn)備時(shí)間.屏幕左上方給出目標(biāo)字母.然后字母矩陣開始單個(gè)單元隨機(jī)閃爍，每個(gè)單元都重復(fù)了10次后進(jìn)入下一個(gè)字母的訓(xùn)練，直到訓(xùn)練字符數(shù)達(dá)到設(shè)定值退出，受試者每天訓(xùn)練30個(gè)字母.

測試期，實(shí)驗(yàn)開始有3s的準(zhǔn)備時(shí)間.界面上的12個(gè)按鍵隨機(jī)閃爍一次稱為一個(gè)Run，12個(gè)按鍵都閃爍完一次稱為一個(gè)Tri，n次Tri后，調(diào)用數(shù)據(jù)處理模塊后的結(jié)果，查看是否為“Enter”功能按鈕，這一個(gè)過程稱為Epoch.如果不是“Enter”功能按鈕，顯示出與這個(gè)結(jié)果相關(guān)聯(lián)的候選字，繼續(xù)下一個(gè)字母的選擇；如果是“Enter”功能按鈕則進(jìn)入二級(jí)選擇狀態(tài)，得到的候選字群隨機(jī)閃爍，n次Tri后，調(diào)用數(shù)據(jù)處理模塊的結(jié)果，并將結(jié)果顯示在用戶界面左下角.

一個(gè)中文字被成功選擇之后，返回進(jìn)入到了下一個(gè)中文字環(huán)節(jié)，直到達(dá)到了事先設(shè)定好的字?jǐn)?shù)，則退出系統(tǒng).一個(gè)中文字的整個(gè)過程，如圖4所示.

圖3 中文輸入系統(tǒng)的實(shí)驗(yàn)流程圖Fig.3 Experimental diagram using Chinese input system

圖4 測試階段整體流程Fig.4 Whole process in the testing phase

測試階段的打字?jǐn)?shù)設(shè)定為7個(gè)，且為“華僑大學(xué)歡迎你”，當(dāng)字?jǐn)?shù)達(dá)到設(shè)定值時(shí)，系統(tǒng)自動(dòng)退出.單個(gè)字符閃爍刺激的正確率高于以行列閃爍［6］，系統(tǒng)采用單字符閃爍刺激.參考刺激間隔時(shí)間對(duì)系統(tǒng)性能的影響［7－9］，實(shí)驗(yàn)字符閃爍亮暗時(shí)間（ms）設(shè)置為［75 100］，［75 200］，［100 100］，［100 200］4組.

2 數(shù)據(jù)處理部分

實(shí)驗(yàn)的BCI系統(tǒng)的結(jié)構(gòu)，如圖5所示.圖5中包括信號(hào)的采集和數(shù)據(jù)處理部分（預(yù)處理、特征提取和分類）.

2.1 數(shù)據(jù)的預(yù)處理

第一步，選擇一個(gè)0～700 ms的EEG 信號(hào)作為分類識(shí)別所需的特征；第二步，數(shù)據(jù)的濾波，將上一步提取出來的數(shù)據(jù)經(jīng)過4階切比雪夫低通濾波器進(jìn)行濾波，保留頻率為1～15 Hz的有效部分；第三步，數(shù)據(jù)的降采樣，對(duì)數(shù)據(jù)進(jìn)行重采樣，按照處理算法的需要，以一定的數(shù)據(jù)結(jié)構(gòu)格式對(duì)數(shù)據(jù)進(jìn)行保存.

圖5 BCI系統(tǒng)的結(jié)構(gòu)圖Fig.5 Structure diagram of a BCI

2.2 特征提取

特征處理是從預(yù)處理后的數(shù)據(jù)中提取出能夠最大體現(xiàn)用戶意圖的信號(hào)特征，疊加平均法是最經(jīng)典的提取P300電位方法.拼音選擇階段的一個(gè)Epoch區(qū)間段中，將n次不同Tri中的同一個(gè)按鍵閃爍定義為一類，即有12類，其中每一類有n個(gè)Run數(shù)據(jù)段.疊加平均后，一個(gè)Epoch包含12個(gè)數(shù)據(jù)段.疊加方式為

式（1）中：Epochi，j為第i個(gè)Epoch的第j類平均數(shù)據(jù)段；Epochi，k，j為第i個(gè)Epoch中的第k個(gè)Tri中第j類數(shù)據(jù)段.疊加平均可以有效地提高信號(hào)中的刺激時(shí)刻后300 ms左右的P300特征成分的信噪比（signal to noise ratio，SNR）.漢字選擇階段信號(hào)特征的提取方法類似于拼音選擇階段.

2.3 分類算法

支持向量機(jī)（SVM）在二元分類中表現(xiàn)出很好的分類效果，廣泛地應(yīng)用于基于P300的BCI系統(tǒng)的分類.

2.4 自然語言處理

自然語言處理就是利用計(jì)算機(jī)，對(duì)人類特有的書面形式和口頭形式的語言進(jìn)行各種類型處理和加工的技術(shù).自然語言處理要研制表示語言能力和語言應(yīng)用的模型，根據(jù)這樣的語言模型設(shè)計(jì)各種實(shí)用系統(tǒng)［10］.一個(gè)語言模型通常構(gòu)建一個(gè)字符串s的概率分布p（s），反映的是一個(gè)字符串s作為一個(gè)整體出現(xiàn)的概率.假設(shè)

其概率計(jì)算公式可以表示為

系統(tǒng)采用二元語法模型（k＝2），利用該語言模型，找出在線實(shí)驗(yàn)中輸入目標(biāo)漢字后續(xù)概率大的幾個(gè)漢字，并顯示在候選區(qū)中.這樣與前面目標(biāo)字吻合的漢字就更可能被選中，可以提高系統(tǒng)的通信速度和正確率.

3 結(jié)果分析

在訓(xùn)練期內(nèi)每個(gè)受試者都完成3組實(shí)驗(yàn)，每個(gè)受試者都有90字目標(biāo)字符，包含了900次的Run，刺激后0.7s的數(shù)據(jù)疊加平均后的波形，如圖6所示.由圖6可知：受試者在Cz通道的P300波形明顯，波峰大約出現(xiàn)在刺激后的300ms處，整個(gè)波峰的時(shí)間區(qū)大約分布在200～480ms，目標(biāo)刺激的幅度值也明顯高出非目標(biāo)刺激的幅度值，符合文獻(xiàn)［11－12］中P300特征.實(shí)驗(yàn)的范式可以誘發(fā)出P300.圖6中：箭頭為300ms時(shí)Cz電極的位置.參考文獻(xiàn)［13－15］，最終選擇下列通道：Cz，F(xiàn)z，Pz，P3，P4，O1和O2，用于測試過程的分類.

圖6 刺激之后的0.7s的目標(biāo)和非目標(biāo)波形以及P300成分電壓空間分布Fig.6 0.7swaveform of target and no target after stimuli and voltage spatial distribution of P300

對(duì)以上得到的數(shù)據(jù)進(jìn)行10次8折交叉驗(yàn)證，發(fā)現(xiàn)對(duì)于同一組的刺激間隔，系統(tǒng)的正確率隨著字符重復(fù)閃速的次數(shù)的增加而增加，如圖7所示.由圖7可知：字符重復(fù)閃爍次數(shù)在7～10之間，系統(tǒng)的正確率基本達(dá)到穩(wěn)定，n取8；4個(gè)受試者在刺激亮暗時(shí)間為［75 100］這組效果最好，刺激亮暗時(shí)間定為［75 100］；存儲(chǔ)離線分析系統(tǒng)最高正確率對(duì)應(yīng)的訓(xùn)練模型參數(shù)W，用于后面的測試階段的實(shí)驗(yàn).

圖7 字符重復(fù)閃爍次數(shù)和刺激間隔對(duì)系統(tǒng)的正確率的影響Fig.7 Effect of the character repeat scintillation frequency and stimulus interval on the accuracy of the system

在線測試階段里，A 組分別統(tǒng)計(jì)出三天內(nèi)4位受試者通過該系統(tǒng)輸出目標(biāo)中文字所花的時(shí)間，每分鐘打字個(gè)數(shù)的結(jié)果，如表1所示.表1中：“A 組”表示沒有使用自然語言處理技術(shù)；“B組”表示使用自然語言處理技術(shù)；“平均＾”表示將3d相應(yīng)系統(tǒng)速度進(jìn)行平均；“平均值”表示將4位受試者對(duì)應(yīng)的系統(tǒng)速度進(jìn)行平均.由表1可知：最好的結(jié)果是B組的受試者1在第3d達(dá)到了1.37 字·min－1，比A 組每分鐘多打0.35個(gè)字，比香港大學(xué)的系統(tǒng)每分鐘多打0.27個(gè)字.

表1 系統(tǒng)每分鐘打字個(gè)數(shù)Tab.1 Typing number of the system in a minute 字·min－1

4 討論

4.1 系統(tǒng)準(zhǔn)確率

刺激間隔對(duì)系統(tǒng)的正確率影響非常明顯（圖7），受試者4表現(xiàn)得尤為明顯，間隔時(shí)間為［75 100］的一組高出［100 200］一組的20%.這表明字符閃爍重復(fù)次數(shù)和刺激間隔都能夠影響系統(tǒng)的性能，在以后的研究中要注意能夠影響系統(tǒng)性能的其他因素.

4.2 性能

在重復(fù)次數(shù)和刺激間隔相同的情況下，每位受試者使用相同的系統(tǒng)，卻表現(xiàn)出不同系統(tǒng)性能.隨著實(shí)驗(yàn)天數(shù)的增加，受試者的打字速度（v）越來越快，如圖8所示.從某一角度來說，該系統(tǒng)類似于一種日常生活中的技能，而且該技能是可以訓(xùn)練的，效果會(huì)越來越好.

4.3 二級(jí)模式

由于沒有與其他二級(jí)模式比較，所以提出的二級(jí)模式的優(yōu)點(diǎn)沒有表現(xiàn)出來.接下來工作可以通過其他研究者的二級(jí)模式的范式進(jìn)行比較，研究他們的優(yōu)缺點(diǎn).

4.4 自然語言處理

由圖8可知：受試者1在B 組的打字速度高出A 組0.35 字·min－1，因此，自然語言處理技術(shù)可以提高系統(tǒng)的速度.挖掘語言本身的特點(diǎn)和設(shè)計(jì)簡單方便的界面將會(huì)是設(shè)計(jì)在線腦電輸入系統(tǒng)的基礎(chǔ).

圖8 4位受試者3d的打字速度Fig.8 Typing speed of the four subjects in three days

4.5 中文輸入系統(tǒng)的下一步優(yōu)化

中文拼音輸入系統(tǒng)是為身體嚴(yán)重癱瘓患者設(shè)計(jì)的，實(shí)驗(yàn)的受試者都是健康正常人群，所以接下來的工作就是將該系統(tǒng)用于醫(yī)院真正的病人身上.該系統(tǒng)是同步系統(tǒng)，系統(tǒng)最好升級(jí)到異步系統(tǒng)，并且尋找更方便的用戶界面和更好的分類方法提高系統(tǒng)的正確率和通信速度.

5 結(jié)束語

提出了一種新的二級(jí)模式的實(shí)驗(yàn)范式，操作步驟類似于手機(jī)輸入漢字，用戶更加熟悉.參與實(shí)驗(yàn)的4名受試者都可以通過在線系統(tǒng)進(jìn)行拼音選擇和漢字的選擇，基本達(dá)到了預(yù)期通過拼音打字的目標(biāo)，使用自然語言處理的二元模型也明顯地提高了系統(tǒng)的打字速度和輸入效率.

［1］LIU Yi－h(huán)uan，AYAZ H，Onaral B，et al.EEG band powers for characterizing user engagement in P300－BCI［C］∥6th International IEEE／EMBS Conference on Neural Engineering（NER）.San Diego：IEEE Press，2013：1066－1069.

［2］DIMITRIADIS S I，SUN Y，LASKARIS N A，et al.Effective connectivity patterns associated with P300unmask differences in the level of attention／cognition between normal and disabled subjects［C］∥ⅩⅢMediterranean Conference on Medical and Biological Engineering and Computing.Seville：Springer International Publishing，2014：1710－1713.

［3］SERBY H，YOM－TPV E，INBAR G F.An improved P300－based brain－computer interface［J］.Neural Systems and Rehabilitation Engineering，2005，13（1）：89－98.

［4］MINETT J W，PENG Gang，ZHOU Lin，et al.An assistive communication brain－computer interface for chinese text input［C］∥4th International Conference on IEEE Bioinformatics and Biomedical Engineering.Chengdu：IEEE Press，2010：1－4.

［5］LI Yi，ZHANG Jian－h(huán)ui，SU Yu，et al.P300based BCI messenger［C］∥International Conference on CME ICME.Gold Coast：IEEE Press，2009：1－5.

［6］SELLERS E W，KRUSIENSKI D J，MCFARLAND D J，et al.A P300event－related potential brain－computer interface（BCI）：The effects of matrix size and inter stimulus interval on performance［J］.Biological Psychology，2006，73（3）：242－252.

［7］POURATIAN N，SPEIER W，HU Xiao，et al.The effects of stimulus timing features on P300speller performance［J］.Clinical Neurophysiology，2013，124（2）：306－314.

［8］POLICH J.Updating P300：An integrative theory of P3aand P3b［J］.Clinical Neurophysiology，2007，118（10）：2128－2148.

［9］DUNCAN C C，BARRY R J，CONNOLLY J F，et al.Event－related potentials in clinical research：Guidelines for eliciting，recording，and quantifying mismatch negativity，P300，and N400［J］.Clinical Neurophysiology，2009，120（11）：1883－1908.

［10］馮志偉.自然語言的計(jì)算機(jī)處理［M］.上海：上海外語教育出版社，1996：26－27.

［11］WOLPAW J R，BIRBAUMER N，MCFARLAND D J，et al.Brain－computer interfaces for communication and control［J］.Clinical Neurophysiology，2002，113（6）：767－791.

［12］BIRBAUMER N.Breaking the silence：Brain－computer interfaces（BCI）for communication and motor control［J］.Psychophysiology，2006，43（6）：517－532.

［13］RAKOTOMAMONJY A，GUIGUE V，MALLET G，et al.Ensemble of SVMs for improving brain computer interface P300speller performances［M］.Warsaw：Springer Berlin Heidelberg，2005：45－50.

［14］SALVARIS M，SEPULVEDA F.Visual modifications on the P300speller BCI paradigm［J］.Journal of Neural Engineering，2009，6（4）：046011.

［15］CORRALEJO R，NICOLáS－ALONSO L F，áLVAREZ D，et al.Assessment of an assistive P300－based brain computer interface by users with severe disabilities［C］∥ⅩⅢMediterranean Conference on Medical and Biological Engineering and Computing.Seville：Springer International Publishing，2014：1647－1650.