基于極限學(xué)習(xí)機的“模擬閱讀”腦-機接口異步化研究

李　洋　謝國棟　官金安，

（1.認知科學(xué)國家民委重點實驗室　武漢　430074）（2.醫(yī)學(xué)信息分析及腫瘤診療湖北省重點實驗室　武漢　430074）

1　引言

腦-機接口（Brain Computer Interface，BCI）是指不依賴于語言或肢體動作在人腦和計算機或其它電子設(shè)備之間建立直接交流或控制通道的一種新穎的人-機通信與控制系統(tǒng)［1］。

依據(jù)BCI系統(tǒng)不同的工作方式，常把BCI系統(tǒng)分為同步BCI和異步BCI。同步BCI是通過對使用者接受系統(tǒng)發(fā)出相關(guān)提示信息后的固定時間段內(nèi)誘發(fā)的腦電信號進行處理，輸出指令實現(xiàn)對外部設(shè)備的控制，而對于異步BCI，使用者可以根據(jù)自己的意圖對系統(tǒng)自主控制［2］。在異步BCI系統(tǒng)中，將使用者有意圖的控制外設(shè)的過程稱為工作狀態(tài)，反之沒有意愿去控制外設(shè)的過程稱之為空閑狀態(tài)。由于異步BCI能在工作狀態(tài)和空閑狀態(tài)間自由切換，更貼合實際應(yīng)用。

實現(xiàn)異步BCI的關(guān)鍵是如何區(qū)分開工作狀態(tài)和空閑狀態(tài)?，F(xiàn)階段對空閑狀態(tài)的檢測方式主要采用基于閾值算法和分類器算法這兩類［3］。文獻［4］依據(jù)訓(xùn)練集中各類運動想象樣本的類內(nèi)散度和正確檢測率，用接收機曲線確定分類閾值，以設(shè)計最佳三分類器，并采用模糊化技術(shù)對預(yù)測標(biāo)簽進行處理，有著較好的識別效果。文獻［5］運用把近似熵與公共空間模式（CSP）結(jié)合的方法，基于二級分類策略的前提下，通過近似熵與CSP方法分別從時間復(fù)雜度和空間模式上提取不同類型的腦電特征，從而訓(xùn)練出不同的分類器，進而使用多分類器投票的方法將它們綜合以提高判斷空閑狀態(tài)的正確率。文獻［6］采用離線訓(xùn)練，基于最大化兩類運動想象正確判別率、最小化空閑狀態(tài)錯誤判別率的思想，利用接收機檢測特性曲線，尋找最優(yōu)的上下閾值，對應(yīng)上下閾值之間的過程定義為空閑狀態(tài)。

本文是在“模擬閱讀”腦-機接口（Imitating-Reading，IR-BCI）模式下，通過極限學(xué)習(xí)機（Extreme LearningMachine，ELM）對采集到的腦電信號的工作狀態(tài)和空閑狀態(tài)進行檢測識別。在實驗中設(shè)計了三種空閑狀態(tài)情景：閉眼、自由思想、文本閱讀，用以代表一般性的空閑狀態(tài)。在實驗時，先基于極限學(xué)習(xí)機對工作狀態(tài)的特征進行選擇，進而將工作狀態(tài)與閉眼、自由思想、文本閱讀等三種空閑狀態(tài)以及與三種空閑狀態(tài)的混合進行分類識別。

2　實驗?zāi)Ｊ郊皵?shù)據(jù)描述

2.1　實驗?zāi)Ｊ?/h3>

模擬閱讀腦-機接口是中南民族大學(xué)認知科學(xué)國家民委重點實驗室提出的一種人機交互范式［7～10］。通過讓受試者在該模式的實驗過程中，像日常閱讀文本時一樣，以獲得視覺上的刺激，從而產(chǎn)生事件相關(guān)電位。與通常閱讀不同，整個實驗過程中，受試者的視線和視覺誘發(fā)界面這兩者是保持靜止的，轉(zhuǎn)而通過刺激符號串相對于視線滾動達到移動效果，以減少通常閱讀文本時視線移動引起的眼電信號對腦電信號的污染。在這種刺激模式中，將一個靶標(biāo)符號（圖1（a））隨機放到多個相似的非靶標(biāo)符號（圖1（b））中，構(gòu)成刺激符號串（圖1（c）），實驗時，符號串勻速移過小視窗。一個試次的運行時間指的是符號串剛開始進入小視窗到符號串全部離開小視窗的時間間隔。圖1（d）為一個試次中符號串移動的示意圖，一旦靶標(biāo)通過小視窗就會產(chǎn)生穩(wěn)定的事件相關(guān)電位，其中，靶標(biāo)符號、非靶標(biāo)符號和小視窗的尺寸都是30*30像素，靶標(biāo)符號和非靶標(biāo)符號具有相同的結(jié)構(gòu)，兩種符號的差別在于靶標(biāo)符號的中間豎線被染成紅色，非靶標(biāo)符號則沒有。

圖1　“模擬閱讀”模式下的誘發(fā)字符串

2.2　數(shù)據(jù)描述

實驗使用Biosemi Active Two多導(dǎo)生理信號采集裝置，采樣頻率為2048Hz。實驗受試者7人，年齡23～26歲，均為右利手，無病史，自愿參加實驗，視力校正正常。實驗采集了受試者在不同狀態(tài)下32個通道的腦電數(shù)據(jù)。工作狀態(tài)為受試者處于正常進行IR-BCI實驗?zāi)Ｊ较碌臄?shù)據(jù)，而空閑狀態(tài)則是受試者仍處于IR-BCI的實驗?zāi)Ｊ?，閉眼狀態(tài)時只采集受試者處于閉眼休息狀態(tài)下的腦電數(shù)據(jù)，自由思想時采集受試者處于不看屏幕自由發(fā)散思維狀態(tài)下的腦電數(shù)據(jù)，文本閱讀時采集受試者處于閱讀自己喜愛的書籍狀態(tài)下的腦電數(shù)據(jù)。

7位受試者的數(shù)據(jù)分別編號S1，S2，S3，S4，S5，S6，S7。工作狀態(tài)的一個數(shù)據(jù)集是由180個試次數(shù)的靶刺激和非靶刺激時間段的數(shù)據(jù)組成，數(shù)據(jù)截取時，分別選取600ms的非靶刺激數(shù)據(jù)和600ms的靶刺激數(shù)據(jù)，即截取中間1.2s的數(shù)據(jù)作分析使用。三種空閑狀態(tài)同樣采集180個試次數(shù)的數(shù)據(jù)，截取與工作狀態(tài)對應(yīng)的1.2s時間段內(nèi)的數(shù)據(jù)作分析使用，數(shù)據(jù)的存儲格式為：通道數(shù)×通道的采樣點數(shù)×實驗的試次數(shù)。

3　極限學(xué)習(xí)機原理

3.1　極限學(xué)習(xí)機概述

極限學(xué)習(xí)機是一種針對單隱含層前饋神經(jīng)網(wǎng)絡(luò)（Single-hidden Layer Feed-forward Neural Network，SLFN）的新算法。相對于傳統(tǒng)前饋神經(jīng)網(wǎng)絡(luò)訓(xùn)練速度慢，容易陷入局部極小值點，學(xué)習(xí)率的選擇敏感等缺點，ELM算法隨機產(chǎn)生輸入層與隱含層的連接權(quán)值及隱含層神經(jīng)元的閾值，且在訓(xùn)練過程中無需調(diào)整，只需要設(shè)置隱含層神經(jīng)元的個數(shù)，便可以獲得唯一的最優(yōu)解。與之前的傳統(tǒng)訓(xùn)練方法相比，ELM方法具有學(xué)習(xí)速度快泛化性能好等優(yōu)點。

3.2　極限學(xué)習(xí)機理論［14～16］

給定任意 N 個訓(xùn)練樣本{(xi，tj)}∈Rn×Rm，隱含層神經(jīng)元數(shù)目L，激勵函數(shù)選擇一個非常數(shù)的連續(xù)函數(shù) G(ai，bi，x) ，隨機選取隱含層參數(shù) ai，bi，i=1，2，…，L，標(biāo)準(zhǔn)單隱含層前饋神經(jīng)網(wǎng)絡(luò)可表述為表示為

其中，ai是輸入權(quán)值，bi是隱含層神經(jīng)元閾值，xi是輸入向量，βi是第i個隱含層元和輸出節(jié)點的連接權(quán)值，Oj是輸出向量。上式可以簡化為Hβ=T，H為隱含層輸出矩陣，其中：

計算輸出權(quán)值 β=H+T，H+是隱含層輸出矩陣的左偽逆矩陣。

圖2　極限學(xué)習(xí)機單隱含層前饋神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖

根據(jù)黃廣斌提出的相關(guān)理論知識，當(dāng)訓(xùn)練集樣本數(shù)比較大時，隱含層神經(jīng)元個數(shù)可以比樣本數(shù)小，此時，單隱含層前饋神經(jīng)網(wǎng)絡(luò)的訓(xùn)練誤差可以無限小，即

其中ε為誤差。

其解為：β=H+T，其中 H+為H的穆耳-潘洛斯（Moore-Penrose）廣義逆。

標(biāo)準(zhǔn)的ELM算法過程為

1）設(shè)定隱含層神經(jīng)元的個數(shù)L，給出連接權(quán)值a和隱含層神經(jīng)元閾值b；

2）選擇合適的激活函數(shù)，計算隱含層輸出矩陣H；

3）根據(jù)公式β=H+T計算輸出權(quán)值β。

4　實驗過程

4.1　腦電信號的預(yù)處理

實驗中為提高信噪比，有效地提取腦電信號的特征，需將采集到的腦電信號中所包含的噪聲去除。對腦電信號進行了以下預(yù)處理［2］：1）去均值；2）低通濾波，實驗中采集到的原始腦電信號難免摻雜有各種噪聲信號，腦電信號主要集中在20Hz以下，所以采用了20Hz低通濾波器進行濾波處理；3）降采樣，為提高對腦電信號的后續(xù)處理速度，在滿足采樣定理的前提下對濾波后的信號進行了4分頻降采樣處理。

4.2　數(shù)據(jù)集獲取及模式識別

本文把實驗數(shù)據(jù)分兩種組合方式導(dǎo)入ELM進行分類。為了使分類結(jié)果準(zhǔn)確、可信，在每次分類選取數(shù)據(jù)集前，分別以單個試次的數(shù)據(jù)為單位，將工作狀態(tài)和三種空閑狀態(tài)的數(shù)據(jù)進行隨機打亂。然后按照以下兩種組合方式進行組合，第一種組合方式為：將工作狀態(tài)分別與三種空閑狀態(tài)進行分類識別；取工作狀態(tài)試次數(shù)的1/2（90個試次）和每個空閑狀態(tài)試次數(shù)的1/2（90個試次），分別組成3組包含180個試次數(shù)的訓(xùn)練集數(shù)據(jù)，取工作狀態(tài)剩余的1/2試次數(shù)和三種空閑狀態(tài)剩余的1/2試次數(shù)，分別組合成3組包含180個試次數(shù)的測試集數(shù)據(jù)；第二種組合方式為：將工作狀態(tài)與混合空閑狀態(tài)進行分類識別；先取每個空閑狀態(tài)試次數(shù)的1/3（每種空閑狀態(tài)取60個試次）的數(shù)據(jù)，組合成包含有180個試次數(shù)的混合空閑狀態(tài)數(shù)據(jù)，再取工作狀態(tài)試次數(shù)的1/2和混合空閑狀態(tài)試次數(shù)的1/2，組合成1組包含180個試次數(shù)的訓(xùn)練集數(shù)據(jù)，最后將工作狀態(tài)剩余的1/2試次數(shù)和混合空閑狀態(tài)剩余的1/2試次數(shù)，組成包含180個試次數(shù)的測試集數(shù)據(jù)。

實驗中進行5次數(shù)據(jù)選取，每次選取完后導(dǎo)入ELM分類器中進行分類，獲取7名受試者腦電數(shù)據(jù)在ELM分類方式下的分類正確率。

利用ELM進行分類時，首先要設(shè)定ELM的隱含層神經(jīng)元個數(shù)L，隨機產(chǎn)生連接權(quán)值a和隱含層神經(jīng)元閾值b，選擇合適的激活函數(shù)，本文選擇的是“sigmoid”激活函數(shù)。由于隱含層的神經(jīng)元個數(shù)會對分類正確率有影響，所以在訓(xùn)練前需對隱含層神經(jīng)元數(shù)進行尋優(yōu)，通過多次訓(xùn)練和參數(shù)調(diào)整，進而獲得最佳的分類器模型。

5　結(jié)果與分析

在IR-BCI實驗?zāi)Ｊ较拢ǔ＿x定靶刺激出現(xiàn)的時刻為0ms時間點，工作狀態(tài)分為靶刺激和非靶刺激這兩種時間段，把受試者的靶刺激和非靶刺激時間段的數(shù)據(jù)疊加平均后，分別與各空閑狀態(tài)數(shù)據(jù)進行時域?qū)Ρ?，從圖3中可以看出：IR-BCI模式下的工作狀態(tài)的靶刺激時間段內(nèi)的腦電數(shù)據(jù)與非靶刺激時間段內(nèi)的腦電數(shù)據(jù)相比，更容易與各個空閑狀態(tài)區(qū)分開來，基于實驗室累積的研究成果［7，11～13］，選取單次提取N2-P3成分作為特征，也就是選取由靶刺激誘發(fā)的N2-P3成分所處的150ms～600ms時間段數(shù)據(jù)，作為工作狀態(tài)特征參與后續(xù)分類。由于每個受試者的不同通道的效果不同，因而本文選取最佳單通道的數(shù)據(jù)用于分析使用。

為了更有力地說明選取靶刺激比用非靶刺激作為工作狀態(tài)特征更有效，實驗中將靶刺激和非靶刺激時間段的數(shù)據(jù)分別導(dǎo)入ELM中與空閑狀態(tài)進行分類。表1為使用ELM對7位受試者進行5次分類時，靶刺激和非靶刺激分別與空閑狀態(tài)（三種空閑狀態(tài)的混合）進行分類時的正確率?？梢钥闯?，使用靶刺激時間段的數(shù)據(jù)作為工作狀態(tài)特征一致比使用非靶刺激時間段的數(shù)據(jù)作為工作狀態(tài)特征，與空閑狀態(tài)進行分類時有更高的正確率，所以選擇靶刺激作為工作狀態(tài)特征有明顯的優(yōu)勢。

圖3　靶刺激和非靶刺激與各空閑狀態(tài)的時域?qū)Ρ?/p>

表1　靶和非靶與空閑狀態(tài)的識別正確率（%）

在確定把IR-BCI實驗?zāi)Ｊ较碌陌写碳ぷ鳛楣ぷ鳡顟B(tài)特征后，根據(jù)3.2節(jié)的數(shù)據(jù)組合方式，將數(shù)據(jù)集導(dǎo)入ELM進行分類，圖4為靶與閉眼、自由思想、文本閱讀、混合空閑狀態(tài)的數(shù)據(jù)載入ELM進行5次分類的平均正確率。從圖中可以看出，選擇三種不同的空閑狀態(tài)及三者的混合空閑狀態(tài)都可以有效地作為空閑狀態(tài)用來識別。對于一些受試者而言，混合的空閑狀態(tài)與單獨的空閑狀態(tài)相比，其分類識別的正確率并沒有多少下降，反而比某些單獨的空閑狀態(tài)有所提高，總體上，混合空閑狀態(tài)的識別正確率相對穩(wěn)定，因此，可以選擇用混合形式的狀態(tài)作為普遍適用的空閑狀態(tài)，同時增加混合空閑狀態(tài)的形式對識別的正確率影響較小，可以考慮增加更多的空閑狀態(tài)形式，拓展系統(tǒng)處于空閑狀態(tài)的場景。

圖4　靶與各空閑狀態(tài)識別的平均正確率

6　結(jié)語

本文利用基于典型的單隱含層前饋神經(jīng)網(wǎng)絡(luò)的極限學(xué)習(xí)機對IR-BCI模式下的工作狀態(tài)的特征進行選擇，實驗表明靶刺激相對于非靶刺激作為工作狀態(tài)特征在分類時有很好的識別正確率，設(shè)計的三種空閑狀態(tài)形式都可以作為空閑狀態(tài)參與分類識別，但三種空閑狀態(tài)的混合形式與三種空閑狀態(tài)的單獨形式相比對受試者有著的較高正確率，把混合形式作為空閑狀態(tài)提高了系統(tǒng)的普遍適用性，且ELM具有學(xué)習(xí)速度快，泛化性能好等優(yōu)點，對IR-BCI系統(tǒng)性能有著良好的提升。

［1］高上凱.淺談腦-機接口的發(fā)展現(xiàn)狀與挑戰(zhàn)［J］.中國生物醫(yī)學(xué)工程學(xué)報，2007，26（6）：801-803.GAO Shangkai.Comments on Recent Progress and Challenges in the Study of Brain-Computer Interface［J］.Chinese Journal of Biomedical Engineering，2007，26（6）：801-803.

［2］曹巧玲，官金安.模擬閱讀腦-機接口異步化研究［J］.計算機應(yīng)用，2014，34（3）：771-774.CAO Qiaolin，GUAN Jinan.Research of Asynchronous Reading Imitating of Brain-Computer Interface［J］.Journalof Computer Applications，2014，34（3）：771-774.

［3］楊紅宇，徐鵬，陳彥.異步腦-機接口技術(shù)現(xiàn)狀及發(fā)展趨勢［J］.中國生物醫(yī)學(xué)工程學(xué)報，2011，30（5）：774-780.YANG Hongyu，XU Peng，CHEN Yan.Current Status and Trend of Asynchronous Brain-Computer Interface［J］.Chinese Journal of Biomedical Engineering，2011，30（5）：774-780.

［4］劉美春，謝勝利.異步腦-機接口的空閑狀態(tài)檢測新方法［J］.計算機應(yīng)用研究，2010，27（1）：151-153.LIU Meichun，XIE Shengli.Novel Method for Detection of Idle State in Brain-Computer Interface System［J］.Application Research ofComputers，2010，27（1）：151-153.

［5］羅登，方慧娟，徐鑫.基于近似熵與CSP的異步BCI空閑狀態(tài)檢測方法［J］.計算機系統(tǒng)應(yīng)用，2014，23（6）：153-157.LUO Deng，F(xiàn)ANG Huijuan，XU Xin.Test Method of Idle State in Asynchronous BCIBased on Approximate Entropy and CSP［J］.Computer Systems&Applications，2014，23（6）：153-157.

［6］Townsend G，Graimann B，Pfurtscheller G.Continuous EEG Classification During Motor Imagery-Simulation of an Asynchronous BCI［J］.IEEE Trans Neural Syst Rehabil Eng，2004，12（2）：258-265.

［7］官金安.腦-機接口及其信號的單次提取［D］.武漢：華中科技大學(xué)，2005.GUAN Jinan.Brain-Computer Interface and the Single-Trial Estimaion of Its Communication Carriers［D］.Wuhan：Huazhong University of Science and Technology，2005.

［8］官金安，陳亞光.腦控雙頁虛擬鍵盤的設(shè)計與性能分析［J］.中國組織工程研究，2006，10（9）：124-126.GUAN Jinan，CHEN Yaguang.Design and Performance Analysis of Mental Controlled Dual Virtual Keyboard［J］.Chinese Journal of Clinical Rehabilitation，2006，10（9）：124-126.

［9］賈貝.在線IR-BCI系統(tǒng)軟件設(shè)計［D］.武漢：中南民族大學(xué)，2015.JIA Bei.The Software Design of Online IR-BCI System［D］.Wuhan：South-Central University For Nationalities，2015.

［10］Gao W，Guan J A，Gao J，et al.Multi-ganglion ANN Based Feature Learning with Application to P300-BCI Signal Classification［J］.Biomedical Signal Processing&Control，2015，18：127-137.

［11］官金安，陳亞光.通道選擇對誘發(fā)腦電單次提取精度影響的研究［J］.計算機應(yīng)用，2006，26（8）：1932-1934.GUAN Jinan，CHEN Yaguang.Channel Selection in Single-Trial Evoked Potentials Estimation［J］.Journal of Computer Applications，2006，26（8）：1932-1934.

［12］官金安，荊漢娜，李梅.“模擬閱讀”腦-機接口信號的核Fisher分類［J］.中南民族大學(xué)學(xué)報（自然科學(xué)版），2013，32（2）：87-91.GUAN Jinan，JING Hanna，LIMei.Kernel Fisher Based EEG Classification for“Imitating Reading”Brain-Computer Interface［J］.Journal of South-Central University for Nationalities（Natural Science Edition），2013，32（2）：87-91.

［13］官金安，陳亞光.用多通道特征組合和SVM單次提取誘發(fā)腦電信號［J］.華中科技大學(xué)學(xué)報（自然科學(xué)版），2006，34（8）：19-22.GUAN Jinan，CHEN Yaguang.Single-Trial Estimation of Visual-EvokedPotentialsUsingSVMwith Multi-Channel Feature Montages［J］.Journal of Huazhong University of Science and Technology（Natural Science Edition），2006，34（8）：19-22.

［14］Huang G B，Zhu Q Y，Siew CK.Extreme Learning Machine：a New Learning Scheme of Feedforward Neural Networks［C］//IEEE International Joint Conference on Neural Networks，2004.Proceedings.IEEE，2005：985-990 vol.2.

［15］Huang G B，Zhu Q Y，Siew C K.Extreme Learning Machine：Theory and Applications［J］.Neurocomputing，2006，70（1-3）：489-501.

［16］Huang G B，Ding X，Zhou H.Optimization Method Based Extreme Learning Machine for Classification［M］.Elsevier Science Publishers B.V.2010，74（1-3）：155-163.