多類運(yùn)動(dòng)想象腦電信號(hào)的兩級(jí)特征提取方法

孟明 朱俊青 佘青山 馬玉良 羅志增

多類運(yùn)動(dòng)想象腦電信號(hào)的兩級(jí)特征提取方法

孟明1朱俊青1佘青山1馬玉良1羅志增1

共同空間模式(Common spatial pattern,CSP)是運(yùn)動(dòng)想象腦機(jī)接口(Brain-computer interface,BCI)中常用的特征提取方法,但對(duì)多類任務(wù)的分類正確率卻明顯低于兩類任務(wù).通過引入堆疊降噪自動(dòng)編碼器(Stacked denoising autoencoders,SDA),提出了一種多類運(yùn)動(dòng)想象腦電信號(hào)(Electroencephalogram,EEG)的兩級(jí)特征提取方法.首先利用一對(duì)多CSP(One versus rest CSP,OVR-CSP)將腦電信號(hào)變換到使信號(hào)方差區(qū)別最大的低維空間,然后通過SDA網(wǎng)絡(luò)提取其中可以更好表達(dá)類別屬性的高層抽象特征,最后使用Softmax分類器進(jìn)行分類.在對(duì)BCI競(jìng)賽IV中Data-sets 2a的4類運(yùn)動(dòng)想象任務(wù)進(jìn)行的分類實(shí)驗(yàn)中,平均Kappa系數(shù)達(dá)到0.69,表明了所提出的特征提取方法的有效性和魯棒性.

腦機(jī)接口,特征提取,共同空間模式,堆疊降噪自動(dòng)編碼器

DOI10.16383/j.aas.2016.c160122

通過大腦神經(jīng)活動(dòng)來控制一些外部輔助設(shè)備(輪椅、服務(wù)機(jī)器人等),是使脊髓損傷、肌萎縮脊髓側(cè)索硬化、腦癱等嚴(yán)重神經(jīng)肌肉障礙患者在一定程度上恢復(fù)其交流和運(yùn)動(dòng)能力的有效途徑[1].腦機(jī)接口(Brain-computer interface,BCI)正是這樣一種不依賴人體神經(jīng)和肌肉組織的正常傳輸通路,而直接進(jìn)行人腦與外界之間信息交流的新通道.人在進(jìn)行不同肢體運(yùn)動(dòng)或想象時(shí),在大腦皮層運(yùn)動(dòng)感知區(qū)會(huì)產(chǎn)生特定的自發(fā)性的腦電信號(hào)(Electroencephalogram,EEG)[2].運(yùn)動(dòng)想象型BCI通過捕捉和識(shí)別不同運(yùn)動(dòng)想象任務(wù)時(shí)的EEG,來實(shí)現(xiàn)大腦和外界的信息交換和控制.如何從高度復(fù)雜的運(yùn)動(dòng)想象EEG中提取出能有效識(shí)別運(yùn)動(dòng)任務(wù)的特征,對(duì)于BCI系統(tǒng)的性能至關(guān)重要.目前,共同空間模式(Common spatial pattern,CSP)及其改進(jìn)方法是運(yùn)動(dòng)想象EEG分析中最有效的特征提取方法[3].

CSP是一種針對(duì)兩類運(yùn)動(dòng)想象EEG的處理算法,通過同時(shí)對(duì)角化兩個(gè)協(xié)方差矩陣構(gòu)建最優(yōu)濾波器來進(jìn)行特征提取,在兩類運(yùn)動(dòng)想象任務(wù)問題上得到很高的分類準(zhǔn)確率.李明愛等[4]運(yùn)用CSP對(duì)BCI競(jìng)賽II Data-sets III的兩類運(yùn)動(dòng)想象腦電數(shù)據(jù)得到的最優(yōu)正確率高達(dá)100%和98.57%;Zhang等[5]利用最優(yōu)空間譜濾波器網(wǎng)絡(luò)對(duì)CSP進(jìn)行優(yōu)化,在BCI競(jìng)賽IV Data-sets I數(shù)據(jù)集上得到最好的正確率達(dá)到96%.因此,許多研究者嘗試將CSP推廣到多類運(yùn)動(dòng)想象EEG分類問題上,提出基于CSP的改進(jìn)算法,如一對(duì)多CSP(One versus rest CSP, OVR-CSP)[6]、一對(duì)一CSP(One versus one CSP, OVO-CSP)[7]等.但是,這些方法在多類運(yùn)動(dòng)想象任務(wù)識(shí)別問題上獲得的正確率卻遠(yuǎn)低于兩類問題.這在一定程度上是由于對(duì)多類運(yùn)動(dòng)想象EEG來說,盡管CSP方法尋找使各類任務(wù)之間差別最大的空間濾波器進(jìn)行投影,但得到的多類特征空間分布復(fù)雜,區(qū)分度較低,給后續(xù)的分類帶來困難.除了對(duì)CSP中的濾波器進(jìn)行改進(jìn)和優(yōu)化以外[8?9],從CSP特征中進(jìn)一步提取任務(wù)區(qū)分度高的特征也是提高識(shí)別正確率的可行方向,最近興起的深度學(xué)習(xí)理論正是能夠?qū)崿F(xiàn)這一目的的有效方法.

堆疊降噪自動(dòng)編碼器(Stacked denoising autoencoders,SDA)是一種典型的深度學(xué)習(xí)網(wǎng)絡(luò)模型,它模仿人類大腦機(jī)制來解釋數(shù)據(jù),通過組合低層特征形成更加抽象的高層次的特征表達(dá),是一種自動(dòng)提取表示屬性類別的高層樣本特征的方法[10].但是SDA是以半監(jiān)督方式自動(dòng)學(xué)習(xí)數(shù)據(jù)的特征,如果原始數(shù)據(jù)過于復(fù)雜或者信噪比較低(例如腦電信號(hào)、自然圖像、語音信息等),SDA直接學(xué)習(xí)到的可能并不是與類別屬性緊密相關(guān)的特征,反而最終導(dǎo)致分類效果并不理想[11?13].而經(jīng)過CSP特征提取后, EEG的類別區(qū)分性得到提高,消除了部分干擾信息,為SDA提取更抽象的類別屬性提供了條件.為充分提取原始EEG數(shù)據(jù)中的有效特征,獲得更好的分類效果,本文結(jié)合OVR-CSP和SDA方法各自的優(yōu)勢(shì),對(duì)于每個(gè)運(yùn)動(dòng)想象任務(wù)EEG,先使用OVRCSP進(jìn)行變換,再將變換后的信號(hào)作為SDA的輸入信號(hào)進(jìn)行高層次特征提取,構(gòu)成一個(gè)兩級(jí)的多類運(yùn)動(dòng)想象EEG特征提取方法,并利用BCI競(jìng)賽IV中Data-sets 2a的數(shù)據(jù)進(jìn)行了分類實(shí)驗(yàn)驗(yàn)證.

1 一對(duì)多共同空間模式

CSP是一種兩類空間濾波器,通過同時(shí)對(duì)角化兩個(gè)協(xié)方差矩陣,使得不同模式之間的EEG信號(hào)方差能夠最大化的區(qū)分開來.針對(duì)多類運(yùn)動(dòng)想象任務(wù)的需要,OVR-CSP是將CSP擴(kuò)展到多類別分類的一種常用方法[7].它把其中一類模式當(dāng)成一類,而余下的所有模式當(dāng)成另外的一類,從而形成一個(gè)兩類的CSP,這樣依次對(duì)每一類模式計(jì)算對(duì)應(yīng)的CSP.

對(duì)于C類運(yùn)動(dòng)想象任務(wù)的特征提取,OVRCSP最后形成C個(gè)兩類CSP濾波器.記每個(gè)運(yùn)動(dòng)想象任務(wù)樣本的EEG分別為N×T維的矩陣Xi,i=1,···,C,其中N為通道數(shù),T表示每個(gè)通道的采樣點(diǎn)數(shù),則每一類想象任務(wù)信號(hào)的歸一化協(xié)方差矩陣為

式中,U0和∧分別為特征矢量矩陣和特征值對(duì)角陣.對(duì)U0和∧進(jìn)行白化變換使方差均勻化,得到白化矩陣

然后采用經(jīng)典CSP算法，計(jì)算各個(gè)想象任務(wù)模式的空間濾波器.對(duì)于模式1為一類，其余C?1個(gè)模式為另一類的情況,記其中H1是白化矩陣.可以證明,如果S1可以被分解為則可以被分解為且有綜合以上各式,可得

從式(3)可以看出,變換后原協(xié)方差矩陣的特征值滿足和等于1,即在第1類信號(hào)的方差值最大的情況下其余所有模式信號(hào)的方差值最小.因此,可以選擇U1中前m個(gè)最大的特征值所對(duì)應(yīng)的特征向量來設(shè)計(jì)第1類模式的空間濾波器,此類模式下的投影方向可以表示為

其中,var(zp)表示Z中第p行分量的方差,得到向量F=[f1,···,fM]作為樣本的特征.

2 堆疊降噪自動(dòng)編碼器

2.1 自動(dòng)編碼器

自動(dòng)編碼器(Autoencoders,AE)是根據(jù)人工神經(jīng)網(wǎng)絡(luò)層次結(jié)構(gòu)建立起來的特征表達(dá)網(wǎng)絡(luò),是深度學(xué)習(xí)的一個(gè)經(jīng)典模型[14].對(duì)于一個(gè)AE網(wǎng)絡(luò),如果使輸出結(jié)果等于輸入,那么可以通過訓(xùn)練使得網(wǎng)絡(luò)對(duì)輸入進(jìn)行重構(gòu),從而得到每一隱含層的權(quán)重.自然地,我們就得到了輸入的集中表達(dá),因?yàn)閷W(xué)習(xí)過程中沒有使用樣本標(biāo)簽,所以是屬于無監(jiān)督的方法.AE由輸入層、隱含層和輸出層組成,網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示.

圖1 自動(dòng)編碼器結(jié)構(gòu)Fig.1 The autoencoder architecture

AE的工作分為編碼和解碼兩個(gè)過程,其中編碼過程是輸入x到隱含層h的映射,表示為

其中,Sf是非線性激活函數(shù),常用Sigmoid函數(shù),即Sf(x)=1/(1+exp(?x)),參數(shù)集合記為θ={W,b}.解碼過程是函數(shù)將隱含層數(shù)據(jù)h映射回重構(gòu)y,表示為

其中,Sg是采用Sigmoid函數(shù)的非線性激活函數(shù),參數(shù)集合記為

在兩個(gè)參數(shù)集θ和θ′中,給權(quán)值矩陣W和W′增加限制,使其滿足W′=WT.然后利用訓(xùn)練樣本數(shù)據(jù),通過最小化網(wǎng)絡(luò)的重構(gòu)誤差L(x,y)=‖x?y‖2,來找最優(yōu)參數(shù)

2.2 降噪自動(dòng)編碼器

DAE是AE模型的一種變形,對(duì)AE的輸入數(shù)據(jù)x添加一定比例的噪聲,將污染了的數(shù)據(jù)作為編碼器的輸入進(jìn)行訓(xùn)練,調(diào)節(jié)參數(shù)使其能重新構(gòu)造出被修復(fù)的輸入數(shù)據(jù)[15].DAE的噪聲添加與重構(gòu)過程如圖2所示,首先利用隨機(jī)函數(shù)按一定的概率p,隨機(jī)地選擇輸入數(shù)據(jù)x的一些單元置0，余下的數(shù)據(jù)單元保持不變.再對(duì)添加了噪聲的數(shù)據(jù),根據(jù)式(6)～(8),訓(xùn)練網(wǎng)絡(luò)使其能最大化地重構(gòu)原始數(shù)據(jù)x.

圖2 降噪自動(dòng)編碼器加噪重構(gòu)過程Fig.2 The procedure of corrupting and reconstruction of DAE

由于DAE網(wǎng)絡(luò)要消除這些添加了噪聲的數(shù)據(jù)所受到的污染,重構(gòu)出沒有被污染的原始數(shù)據(jù),這就使得網(wǎng)絡(luò)可以學(xué)習(xí)到對(duì)輸入的魯棒表達(dá)方式,也說明DAE相比于一般的AE網(wǎng)絡(luò)其泛化能力更強(qiáng).

2.3 堆疊降噪自動(dòng)編碼器

把若干個(gè)DAE網(wǎng)絡(luò)堆疊在一起,就可以形成具有深度網(wǎng)絡(luò)結(jié)構(gòu)的SDA[10,16]，如圖3所示.SDA的每一層都將前一層的輸出作為干凈的輸入數(shù)據(jù),添加噪聲后作為被污染的數(shù)據(jù)進(jìn)行訓(xùn)練,從而使得每一層都是對(duì)輸入的一種特征表達(dá).

圖3 堆疊降噪自動(dòng)編碼器結(jié)構(gòu)Fig.3 The SDA architecture

SDA是一個(gè)特征提取器,通過訓(xùn)練網(wǎng)絡(luò)得到原始輸入的不同表達(dá),使高維數(shù)據(jù)壓縮成低維的數(shù)據(jù)表達(dá),達(dá)到特征提取的目的.

3 基于OVR-CSP和SDA的兩級(jí)特征提取方法

結(jié)合OVR-CSP和SDA方法各自在特征提取上的特點(diǎn),本文提出一種多類運(yùn)動(dòng)想象EEG兩級(jí)特征提取方法:1)將預(yù)處理后的數(shù)據(jù)通過CSP進(jìn)行變換和特征提取;2)將得到的特征子集作為SDA網(wǎng)絡(luò)的輸入進(jìn)行第2級(jí)的特征提取.由于SDA不具有分類能力,所以在SDA網(wǎng)絡(luò)特征提取后,選取Softmax分類器對(duì)運(yùn)動(dòng)想象任務(wù)進(jìn)行分類.多類運(yùn)動(dòng)想象任務(wù)的EEG特征提取和分類的步驟如下:

步驟1.由于運(yùn)動(dòng)想象時(shí)的腦電特征主要體現(xiàn)在α節(jié)律與β節(jié)律,所以選用8～30Hz的Butterworth帶通濾波器對(duì)EEG進(jìn)行預(yù)處理.

步驟2.對(duì)濾波后的訓(xùn)練數(shù)據(jù)集,利用OVRCSP進(jìn)行第1級(jí)特征提取.首先對(duì)C類運(yùn)動(dòng)想象任務(wù)構(gòu)建C個(gè)空間濾波器,每個(gè)濾波器的投影方向可以由式(4)求得,然后將訓(xùn)練樣本向這C個(gè)投影模式方向上投影并按式(5)計(jì)算特征,從而得到降維的第1級(jí)特征向量F.

步驟3.將訓(xùn)練數(shù)據(jù)集的第1級(jí)特征作為SDA網(wǎng)絡(luò)的輸入,運(yùn)用Hinton等[17]提出的貪婪逐層訓(xùn)練算法訓(xùn)練網(wǎng)絡(luò),即把前一層的輸出添加噪聲之后作為后一層的輸入逐層訓(xùn)練n層網(wǎng)絡(luò),計(jì)算網(wǎng)絡(luò)的參數(shù)集合θ={W,b}.

步驟4.在第n層網(wǎng)絡(luò)上添加Softmax分類器,作為網(wǎng)絡(luò)的第n+1層,對(duì)整個(gè)網(wǎng)絡(luò)通過有監(jiān)督學(xué)習(xí)的方式進(jìn)行微調(diào).微調(diào)過程中運(yùn)用反向傳播算法,將誤差從最后一層開始逐層向前進(jìn)行傳遞,最小化誤差并更新網(wǎng)絡(luò)的參數(shù)集合.

步驟5.利用訓(xùn)練好的網(wǎng)絡(luò)對(duì)測(cè)試數(shù)據(jù)進(jìn)行分類.按步驟2提取測(cè)試數(shù)據(jù)集的第1級(jí)特征,然后輸入到步驟4中得到的SDA網(wǎng)絡(luò)中,對(duì)其進(jìn)行二次特征提取并得出分類結(jié)果.

4 實(shí)驗(yàn)及結(jié)果分析

4.1 實(shí)驗(yàn)數(shù)據(jù)描述

本文采用的實(shí)驗(yàn)數(shù)據(jù)來自2008年國(guó)際BCI競(jìng)賽IV中的Data-sets 2a數(shù)據(jù)集[18],由奧地利格拉茨科技大學(xué)提供,包含9名受試者(編號(hào)A01～A09)的左手、右手、舌頭和足部動(dòng)作這四類運(yùn)動(dòng)想象任務(wù).數(shù)據(jù)采集的實(shí)驗(yàn)范式如圖4所示,在開始后的前2s中,受試者放松并舒適地坐在屏幕前方,屏幕顯示“+”符號(hào);在2s結(jié)束時(shí)屏幕開始提供對(duì)應(yīng)表示四種任務(wù)的上下左右方向箭頭,受試者需要根據(jù)出現(xiàn)的箭頭方向做相應(yīng)的運(yùn)動(dòng)想象任務(wù),任務(wù)想象的時(shí)間為4s,即一直持續(xù)到第6s;接下來是一段時(shí)間的休息,受試者放松為下一組實(shí)驗(yàn)做準(zhǔn)備.每個(gè)受試者的實(shí)驗(yàn)采集在兩天內(nèi)完成,每天采集6組,每組為48次運(yùn)動(dòng)想象數(shù)據(jù),所有數(shù)據(jù)被分為288個(gè)訓(xùn)練樣本和288個(gè)測(cè)試樣本.

圖4 實(shí)驗(yàn)范式時(shí)序圖[18]Fig.4 Timing scheme of the paradigm[18]

實(shí)驗(yàn)共采集了25個(gè)通道的信號(hào),其中22個(gè)通道為EEG,另外3個(gè)通道為眼電信號(hào),均為以左乳突為參考、右乳突為地的單極信號(hào).信號(hào)的采樣頻率為250Hz,并使用0.05～100Hz帶通濾波器和50Hz工頻陷波器進(jìn)行濾波.競(jìng)賽使用Kappa系數(shù)作為衡量分類準(zhǔn)確率的標(biāo)準(zhǔn),Kappa系數(shù)的計(jì)算方法為

其中,D為分類正確率,C為類別數(shù)目.

4.2 參數(shù)選取

在兩級(jí)特征提取中,需要確定第1級(jí)CSP特征提取時(shí)每類模式所選取的特征向量數(shù)目m,第2級(jí)高層特征提取時(shí)SDA網(wǎng)絡(luò)結(jié)構(gòu)和加噪水平等參數(shù),這些參數(shù)將直接影響特征提取的精度,并影響最終的分類正確率.本文采用訓(xùn)練樣本數(shù)據(jù)10倍交叉驗(yàn)證的方法來選取這些參數(shù).

每位受試者數(shù)據(jù)的分類正確率及全部受試者數(shù)據(jù)的分類正確率總體均值隨m變化的實(shí)驗(yàn)結(jié)果如圖5所示.從圖5可以看出,隨著m值從2增大到20,各受試者數(shù)據(jù)的分類正確率都是按先逐漸增大,達(dá)到最大值后開始降低的趨勢(shì)變化.這個(gè)結(jié)果與文獻(xiàn)[19?20]中所述選取過多的特征值并不能提高分類正確率的論述相吻合.雖然各受試者數(shù)據(jù)的分類正確率有較大區(qū)別,但是正確率最大時(shí)所對(duì)應(yīng)的m值都在4～10之間.對(duì)于全部受試者數(shù)據(jù)的分類正確率總體均值,m=6時(shí),平均正確率最高,考慮到算法對(duì)不同受試者的適應(yīng)性,本文選取最優(yōu)特征向量數(shù)m=6來對(duì)全部受試者數(shù)據(jù)構(gòu)建空間濾波器進(jìn)行CSP特征提取.

圖5 取不同m值時(shí)的分類準(zhǔn)確率Fig.5 Classifcation accuracies with various value ofm

分別選取不同隱含層層數(shù)和隱含層單元數(shù)進(jìn)行實(shí)驗(yàn),為方便不同層數(shù)的比較,每個(gè)隱含層的單元數(shù)都取為24,平均Kappa值隨層數(shù)變化的結(jié)果如表1所示.可以看出,在隱藏層為4層情況下對(duì)所有受試者的平均Kappa系數(shù)值是最優(yōu)的.隨著層數(shù)的增加,網(wǎng)絡(luò)會(huì)變得的更加復(fù)雜,分類性能反而有明顯下降.確定隱含層數(shù)為4層進(jìn)行隱含層單元數(shù)的比較,考慮降低特征維數(shù)和避免過擬合,除了各隱含層設(shè)置相同單元數(shù)外,還選取了各層隱含層單元數(shù)不同的網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行實(shí)驗(yàn).三種典型組合結(jié)構(gòu)下的平均Kappa系數(shù)如表2所示,與隱含層層數(shù)相比,不同隱含層單元數(shù)的組合對(duì)平均Kappa系數(shù)影響不明顯.所以,選取網(wǎng)絡(luò)層數(shù)n=4,隱含層單元數(shù)為24-20-16-8,數(shù)據(jù)加噪水平p=0.1,進(jìn)行SDA特征提取.

表1 平均Kappa系數(shù)隨隱含層層數(shù)的變化Table 1 Mean Kappa coefcient variation with the number of hidden layers

表2 平均Kappa系數(shù)隨隱含層單元數(shù)組合的變化Table 2 Mean Kappa coefcient variation with the combination of the number of units in the hidden layer

4.3 結(jié)果分析

應(yīng)用基于OVR-CSP和SDA的兩級(jí)特征提取方法在Data-sets 2a數(shù)據(jù)集上進(jìn)行了四類運(yùn)動(dòng)想象任務(wù)分類測(cè)試實(shí)驗(yàn),表3給出了各受試者數(shù)據(jù)的分類結(jié)果,包括BCI競(jìng)賽IV中在Data-sets 2a數(shù)據(jù)集上成績(jī)前三名的分類結(jié)果[21],以及采用OVOCSP/KNN方法的文獻(xiàn)[22]在同一數(shù)據(jù)集上的分類結(jié)果.

從表3可以看出,本文方法得到的全部受試者總體平均Kappa系數(shù)為0.69,高出競(jìng)賽成績(jī)第1名0.12,相比結(jié)果稍優(yōu)的文獻(xiàn)[22]方法也有明顯提高.其中競(jìng)賽第1名采用OVR方式將改進(jìn)的濾波器組CSP擴(kuò)展到多類,使用的分類器為樸素貝葉斯Parzen窗分類器[9,21].競(jìng)賽第2名采用OVO-CSP提取特征后再用LDA方法進(jìn)一步降維,使用貝葉斯分類器進(jìn)行分類[7,21].競(jìng)賽第3名采用CSP進(jìn)行特征提取,利用SVM作為分類器構(gòu)建了三組兩層二叉樹多類分類器進(jìn)行分類[21].從這五種方法結(jié)果的比較來看,OVO-CSP和OVR-CSP這兩種多類推廣方式的結(jié)果比較接近,但相比于分層二叉樹的方式有一定的優(yōu)勢(shì).由于本文方法是在OVR-CSP基礎(chǔ)上又進(jìn)行了一級(jí)的SDA特征提取,分類性能比只采用CSP特征的方法有明顯提高,總體Kappa系數(shù)均值提高約20%,在單個(gè)受試者上本文方法也表現(xiàn)出明顯優(yōu)勢(shì),僅在A03受試者數(shù)據(jù)上得到的Kappa系數(shù)比其他方法略低一些.

表3 本文方法與BCI競(jìng)賽前三名以及其他文獻(xiàn)方法的Kappa系數(shù)比較Table 3 Comparison of Kappa coefcient obtained from proposed method,frst three teams of the competition and other reference method

從表3中Kappa系數(shù)總體均值的標(biāo)準(zhǔn)差來看,本文方法得到的標(biāo)準(zhǔn)差為0.146,在五種方法中最小,雖然第3名的標(biāo)準(zhǔn)差為0.153,僅略高一點(diǎn),但這是在較低的平均Kappa系數(shù)情況下得到的.說明本文方法對(duì)各個(gè)受試者數(shù)據(jù)的分類結(jié)果都比較穩(wěn)定,在達(dá)到較高的分類正確率的同時(shí)還具有較佳的魯棒性.盡管文獻(xiàn)[18]指出基于競(jìng)賽數(shù)據(jù)的分類性能比較,會(huì)有隨機(jī)波動(dòng)因素的影響,不能充分表明一個(gè)算法的性能優(yōu)劣.但表3中的綜合比較結(jié)果仍在很大程度上表明本文方法在多類運(yùn)動(dòng)想象EEG的特征提取上具有很好的性能.為進(jìn)一步分析兩級(jí)特征提取方法的優(yōu)勢(shì),本文對(duì)組合使用OVR-CSP與SDA的兩級(jí)特征提取方法與分別單獨(dú)使用OVR-CSP和SDA特征提取方法的分類性能進(jìn)行了比較.實(shí)驗(yàn)中,從數(shù)據(jù)集的288個(gè)訓(xùn)練樣本中隨機(jī)選取192個(gè)作為訓(xùn)練集,訓(xùn)練SDA和分類器.分類測(cè)試使用兩個(gè)測(cè)試集,其一由余下的96個(gè)訓(xùn)練樣本構(gòu)成,測(cè)試結(jié)果如圖6(a)所示;其二由從數(shù)據(jù)集的288個(gè)測(cè)試樣本中隨機(jī)選取的96個(gè)構(gòu)成,測(cè)試結(jié)果如圖6(b)所示.

從圖6(a)和圖6(b)可以看出,單獨(dú)使用SDA方法的結(jié)果明顯低于另外兩個(gè)方法,平均正確率略高于0.25,接近隨機(jī)分類的水平,說明SDA對(duì)于EEG的特征提取受到其復(fù)雜性的影響比較大,難以從中學(xué)習(xí)到與類別屬性相關(guān)的特征.當(dāng)測(cè)試集為訓(xùn)練樣本時(shí),OVR-CSP和SDA的兩級(jí)方法在所有受試者數(shù)據(jù)上的分類結(jié)果上都比單獨(dú)OVR-CSP方法要好,這種優(yōu)勢(shì)尤其表現(xiàn)在受試者A02、A04和A06上.而當(dāng)測(cè)試集來自測(cè)試樣本時(shí),兩種方法的正確率都有所降低,但兩級(jí)方法仍要優(yōu)于單獨(dú)OVR-CSP方法,只有受試者A03的正確率較OVR-CSP略低.綜上所述,兩級(jí)特征提取方法明顯優(yōu)于單一的OVR-CSP以及SDA特征提取,第1級(jí)的CSP特征提取能夠得到使運(yùn)動(dòng)想象任務(wù)具有最大區(qū)別的特征,第2級(jí)的SDA網(wǎng)絡(luò)通過自學(xué)習(xí)更加抽象的類別表達(dá),能提取更高層次的低維特征,使得分類正確率得到明顯提高.

圖6 三種方法的分類性能比較Fig.6 Comparison of classifcation performance of three methods

5 結(jié)論

從復(fù)雜的運(yùn)動(dòng)想象EEG中提取能夠很好表達(dá)運(yùn)動(dòng)意圖的特征是腦機(jī)接口系統(tǒng)的關(guān)鍵環(huán)節(jié),CSP類方法雖然在兩類想象任務(wù)分類問題中取得較好的結(jié)果,但對(duì)于多類任務(wù)卻難以達(dá)到較高的分類正確率.SDA網(wǎng)絡(luò)可以自動(dòng)學(xué)習(xí)復(fù)雜的高層次特征,并通過對(duì)輸入添加噪聲使得網(wǎng)絡(luò)泛化能力增強(qiáng).本文使用SDA網(wǎng)絡(luò)從由OVR-CSP變換得到的特征中提取更抽象的類別屬性特征,并采用Softmax分類器進(jìn)行任務(wù)分類,構(gòu)建了多類EEG的兩級(jí)特征提取方法.該方法在BCI競(jìng)賽IV中的Data-sets 2a數(shù)據(jù)集上對(duì)四類運(yùn)動(dòng)想象任務(wù)取得了較好的分類效果,同時(shí)相比于單獨(dú)的OVR-CSP和SDA方法,兩級(jí)方法的分類性能得到明顯提高,為多類運(yùn)動(dòng)想象腦機(jī)接口中的特征提取提供了一種新的思路.但本文方法在第1級(jí)CSP特征提取中,直接采用經(jīng)典方法求解空間濾波器,沒有結(jié)合運(yùn)動(dòng)想象EEG的特點(diǎn)進(jìn)行濾波器的改進(jìn)和優(yōu)化[8?9],同時(shí)在SDA網(wǎng)絡(luò)學(xué)習(xí)的微調(diào)步驟中運(yùn)用反向傳播算法,會(huì)面臨局部最優(yōu)解的問題,這些問題可能是限制分類正確率進(jìn)一步提高的原因.因此,CSP濾波器的改進(jìn)與SDA參數(shù)集的優(yōu)化將是后續(xù)工作中的研究?jī)?nèi)容.

1 Wang Xing-Yu,Jin Jing,Zhang Yu,Wang Bei.Brain control:human-computer integration control based on braincomputer interface.Acta Automatica Sinica,2013,39(3): 208?221 (王行愚,金晶,張宇,王蓓.腦控:基于腦-機(jī)接口的人機(jī)融合控制.自動(dòng)化學(xué)報(bào),2013,39(3):208?221)

2 Nicolas-Alanso L F,Corralejo R,Gomez-Pilar J,lvarez D,Hornero R.Adaptive stacked generalization for multiclass motor imagery-based brain computer interfaces.IEEE Transactions on Neural Systems and Rehabilitation Engineering,2015,23(4):702?712

3 Aghaei A S,Mahanta M S,Plataniotis K N.Separable common spatio-spectral patterns for motor imagery BCI systems.IEEE Transactions on Biomedical Engineering,2016,63(1):15?29

4 Li Ming-Ai,Liu Jing-Yu,Hao Dong-Mei.EEG recognition of motor imagery based on improved CSP algorithm.Chinese Journal of Biomedical Engineering,2009,28(2):161?165 (李明愛,劉凈瑜,郝冬梅.基于改進(jìn)CSP算法的運(yùn)動(dòng)想象腦電信號(hào)識(shí)別方法.中國(guó)生物醫(yī)學(xué)工程學(xué)報(bào),2009,28(2):161?165)

5 Zhang H H,Chin Z Y,Ang K K,Guan C T,Wang C C.Optimum spatio-spectral fltering network for brain-computer interface.IEEE Transactions on Neural Networks,2011,22(1):52?63

6 Wu W,Gao X R,Gao S K.One-versus-the-rest(OVR)algorithm:an extension of common spatial patterns(CSP) algorithm to multi-class case.In:Proceedings of the 2005 IEEE Engineering in Medicine and the 27th Biology Annual Conference.Shanghai,China:IEEE,2006.2387?2390

7 Liu Guang-Quan,Huang Gan,Zhu Xiang-Yang.Application of CSP method in multi-class classifcation.Chinese Journal of Biomedical Engineering,2009,28(6):935?938 (劉廣權(quán),黃淦,朱向陽.共空域模式方法在多類別分類中的應(yīng)用.中國(guó)生物醫(yī)學(xué)工程學(xué)報(bào),2009,28(6):935?938)

8 Zhang Y,Zhou G X,Jin J,Wang X Y,Cichocki A.Optimizing spatial patterns with sparse flter bands for motorimagery based brain-computer interface.Journal of Neuroscience Methods,2015,255:85?91

9 Ang K K,Chin Z Y,Wang C C,Guan C T,Zhang H H. Filter bank common spatial pattern algorithm on BCI competition IV datasets 2a and 2b.Frontiers in Neuroscience, 2012,6:39

10 Vincent P,Larochelle H,Lajoie I,Bengio Y,Manzagol P A. Stacked denoising autoencoders:learning useful representations in a deep network with a local denoising criterion.The Journal of Machine Learning Research,2010,11:3371?3408

11 Li J H,Struzik Z,Zhang L Q,Cichocki A.Feature learning from incomplete EEG with denoising autoencoder.Neurocomputing,2015,165:23?31

12 Geng Jie,Fan Jian-Chao,Chu Jia-Lan,Wang Hong-Yu.Research on marine foating raft aquaculture SAR image target recognition based on deep collaborative sparse coding network.Acta Automatica Sinica,2016,42(4):593?604 (耿杰,范劍超,初佳蘭,王洪玉.基于深度協(xié)同稀疏編碼網(wǎng)絡(luò)的海洋浮筏SAR圖像目標(biāo)識(shí)別.自動(dòng)化學(xué)報(bào),2016,42(4):593?604)

13 Xu Shou-Jing,Han Li-Xin,Zeng Xiao-Qin.Natural images classifcation and retrieval based on improved SDA.Pattern Recognition and Artifcial Intelligence,2014,27(8):750?757 (徐守晶,韓立新,曾曉勤.基于改進(jìn)型SDA的自然圖像分類與檢索.模式識(shí)別與人工智能,2014,27(8):750?757)

14 Rumelhart D E,Hinton G E,Williams R J.Learning representations by back-propagating errors.Nature,1986,323(6088):533?536

15 Vincent P,Larochelle H,Bengio Y,Manzagol P A.Extracting and composing robust features with denoising autoencoders.In:Proceedings of the 25th International Conference on Machine Learning.Helsinki,Finland:ACM,2008.1096?1103

16 Erhan D,Bengio Y,Courville A,Manzagol P A,Vincent P,Bengio Y.Why does unsupervised pre-training help deep learning?The Journal of Machine Learning Research,2010,11:625?660

17 Hinton G E,Osindero S,Teh Y W.A fast learning algorithm for deep belief nets.Neural Computation,2006,18(7):1527?1554

19 Ramoser H,Muller-Gerking J,Pfurtscheller G.Optimal spatial fltering of single trial EEG during imagined hand movement.IEEE Transactions on Rehabilitation Engineering, 2000,8(4):441?446

20 Wang H X,Xu D.Comprehensive common spatial patterns with temporal structure information of EEG data:minimizing nontask related EEG component.IEEE Transactions on Biomedical Engineering,2012,59(9):2496?2505

21 Berlin Brain-Computer Interface.BCI competition IV-fnal results[Online],available:http://www.bbci.de,January 1,2016

22 Liu Chong,Yan Shi-Yu,Zhao Hai-Bin,Wang Hong.Study on multi-class motor imagery EEG classifcation based on KNN.Chinese Journal of Scientifc Instrument,2013,33(8): 1714?1720 (劉沖,顏世玉,趙海濱,王宏.多類運(yùn)動(dòng)想象任務(wù)腦電信號(hào)的KNN分類研究.儀器儀表學(xué)報(bào),2013,33(8):1714?1720)

孟 明杭州電子科技大學(xué)副教授.主要研究方向?yàn)闄C(jī)器人智能控制,生物醫(yī)學(xué)信息處理和腦機(jī)接口.

E-mail:mnming@hdu.edu.cn

(MENG MingAssociate professor at Hangzhou Dianzi University.His research interest covers intelligent control of robot,biomedical information processing and brain-computer interface.)

朱俊青杭州電子科技大學(xué)自動(dòng)化學(xué)院碩士研究生.主要研究方向?yàn)槟Ｊ阶R(shí)別,腦機(jī)接口及相關(guān)應(yīng)用.

E-mail:141060042@hdu.edu.cn

(ZHU Jun-QingMaster student at the School of Automation,Hangzhou Dianzi University.His research interest covers pattern recognition and braincomputer interface and its applications.)

佘青山杭州電子科技大學(xué)副教授.主要研究方向?yàn)槟Ｊ阶R(shí)別,生物醫(yī)學(xué)信號(hào)處理,腦機(jī)接口及相關(guān)應(yīng)用.

E-mail:qsshe@hdu.edu.cn

(SHE Qing-ShanAssociate professor at Hangzhou Dianzi University.His research interest covers pattern recognition,biomedical signal processing,and brain-computer interface and its applications.)

馬玉良杭州電子科技大學(xué)副教授.主要研究方向?yàn)槟Ｊ阶R(shí)別,腦機(jī)接口技術(shù)和機(jī)器人智能控制.

E-mail:mayuliang@hdu.edu.cn

(MA Yu-LiangAssociate professor at Hangzhou Dianzi University.His research interest covers pattern recognition,brain-computer interface,and intelligent control of robot.)

羅志增杭州電子科技大學(xué)教授.主要研究方向?yàn)槟Ｊ阶R(shí)別與智能系統(tǒng),康復(fù)機(jī)器人,生物信息檢測(cè)與處理.本文通信作者.E-mail:luo@hdu.edu.cn

(LUO Zhi-ZengProfessor at Hangzhou Dianzi University.His research interest covers pattern recognition and intelligent systems,rehabilitation robot,and detection and processing of biological information.Corresponding author of this paper.)

Two-level Feature Extraction Method for Multi-class Motor Imagery EEG

MENG Ming1ZHU Jun-Qing1SHE Qing-Shan1MA Yu-Liang1LUO Zhi-Zeng1

Common spatial pattern(CSP)is a popular method of feature extraction for motor imagery based braincomputer interface(BCI).However,the classifcation accuracy of multi-class tasks is obviously lower than that of twoclass tasks with CSP.By employing the stacked denoising autoencoders(SDA),a two-level feature extraction method for multi-class motor imagery electroencephalogram(EEG)is proposed.Firstly,one versus rest CSP(OVR-CSP)is adopted to convert EEG into low dimensional space in which the discrimination of signal variances is maximized.Then, SDA network is used to extract the higher level abstract features which can characterize the category attributes more efectively.Finally,the motor imagery tasks are classifed with Softmax classifer.In the classifcation experiment with four-class motor imagery tasks from Data-sets 2a of the BCI competition IV,this method achieves the average Kappa value of 0.69.The results show that the proposed method is efective and robust.

Brain-computer interface(BCI),feature extraction,common spatial pattern(CSP),stacked denoising autoencoders(SDA)

孟明,朱俊青,佘青山,馬玉良,羅志增.多類運(yùn)動(dòng)想象腦電信號(hào)的兩級(jí)特征提取方法.自動(dòng)化學(xué)報(bào),2016,42(12): 1915?1922

Meng Ming,Zhu Jun-Qing,She Qing-Shan,Ma Yu-Liang,Luo Zhi-Zeng.Two-level feature extraction method for multi-class motor imagery EEG.Acta Automatica Sinica,2016,42(12):1915?1922

2016-02-03 錄用日期2016-06-14

Manuscript received February 3,2016;accepted June 14,2016

國(guó)家自然科學(xué)基金(61671197,61372023),浙江省自然科學(xué)基金(LY 14F030023,LY15F010009)資助

Supported by National Natural Science Foundation of China (61671197,61372023)and Natural Science Foundation of Zhejiang Province(LY14F030023,LY15F010009)

本文責(zé)任編委程龍

Recommended by Associate Editor CHENG Long

1.杭州電子科技大學(xué)自動(dòng)化學(xué)院智能控制與機(jī)器人研究所杭州3100 18

1.Institute of Intelligent Control and Robotics,School of Automation,Hangzhou Dianzi University,Hangzhou 310018