CNN與CSP相結(jié)合的腦電特征提取與識(shí)別方法研究

孔祥浩 馬 琳 薄洪健 李海峰

(哈爾濱工業(yè)大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,黑龍江哈爾濱 150001)

1 引言

研究對(duì)腦電(Electroencephalograph, EEG)信號(hào)的快速精準(zhǔn)的解析方法,高效地實(shí)現(xiàn)從復(fù)雜的EEG信號(hào)中提取有用的認(rèn)知信息,實(shí)現(xiàn)對(duì)外部設(shè)備的控制是腦機(jī)接口(Brain Computer Interface, BCI)[1-3]領(lǐng)域的核心問題。但由于大腦活動(dòng)的復(fù)雜性,認(rèn)知狀態(tài)下的EEG信號(hào)不是腦認(rèn)知信號(hào)和干擾信號(hào)的簡單疊加,而是非線性、時(shí)變信號(hào)。因此,獲得高效低維 EEG特征是BCI可靠應(yīng)用的重中之重。近幾年,通過大腦皮層電位信息來實(shí)現(xiàn)人與外界溝通聯(lián)系的BCI技術(shù)成為了該領(lǐng)域的一個(gè)研究熱點(diǎn)。2011年美國教授賀斌實(shí)現(xiàn)了基于運(yùn)動(dòng)想象的EEG控制三維空間的直升飛機(jī)飛行[4]。2012年,美國男子扎克·沃特利用腦控義肢,通過想象成功攀登了103層的芝加哥威利斯大廈。2014年巴西世界杯開幕式上,一名高位截癱少年身穿腦控外骨骼盔甲大腦想象開出世界杯第一球。在國內(nèi)的研究中,清華大學(xué)的高上凱課題組是研究腦電波控制技術(shù)最早的團(tuán)隊(duì)之一,于2006展示了利用運(yùn)動(dòng)想象控制機(jī)器狗進(jìn)行踢球的BCI系統(tǒng)[5- 6]?？焖俚貜膹?fù)雜的腦電信號(hào)中獲取有用的認(rèn)知信息,進(jìn)而實(shí)現(xiàn)對(duì)外部設(shè)備的控制,需要更加高效的信息解析技術(shù)。

小波變換[7-9]、AR模型[10-12]、頻帶能量[13-15]、獨(dú)立分量分析[16-17]和公共空間模式[18-19]等信號(hào)處理算法常常應(yīng)用于EEG信號(hào)的特征提取中。公共空間模式(Common Spatial pattern,CSP)算法做為一種高效的空間濾波算法,能夠在最大化第一類方差的同時(shí)最小化另一類方差,采用同時(shí)對(duì)角化協(xié)方差矩陣的方式,得到具有最大分辨能力的特征向量。因此CSP作為一種有效的空間特征提取方法被廣泛采用。

1991年,Z.J.Koles首次提出了應(yīng)用在EEG信號(hào)中的CSP方法[20]。1999年H.Ramoser等人使用CSP方法對(duì)運(yùn)動(dòng)想象領(lǐng)域的多導(dǎo)EEG信號(hào)進(jìn)行特征提取,取得了較好結(jié)果,然而這種方法僅考慮空間信息,而忽略了時(shí)間信息[21]。2012年Wojciech Samek等人提出了一種將CSP正則化到固定子空間(sCSP)的方法,增加了分類精度,特別是對(duì)那些難以控制BCI的受試者[22]。2013年Mahnaz Arvaneh等人提出了一種KLCSP算法在最大化類均值差異的同時(shí),通過基于KL散度的損失函數(shù)的測量最小化類內(nèi)的差異,但此方法過于依賴數(shù)據(jù)[23]。CSP能夠在腦電特征提取過程中特異性提取空間信息特征,因此可以對(duì)含有大量電極的多通道腦電信號(hào)進(jìn)行分析,但同時(shí),含有大量電極的腦電信號(hào)必然含有大量的冗余信息,經(jīng)CSP處理后的特征矩陣包含大量的冗余信息,這些冗余信息會(huì)導(dǎo)致計(jì)算復(fù)雜性提高,降低處理算法的速度,也會(huì)導(dǎo)致信號(hào)的識(shí)別率降低。因此需要對(duì)特征進(jìn)行二次篩選,從特征矩陣中選擇具有更加代表性的特征,能夠提高識(shí)別率并降低計(jì)算的復(fù)雜性。

卷積神經(jīng)網(wǎng)絡(luò)[24](Convolutional Neural Network,CNN)是近些年發(fā)展起來,并廣受重視的一種高效識(shí)別方法,特別是在模式識(shí)別領(lǐng)域,得到了廣泛的應(yīng)用。CNN不僅具有傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的容錯(cuò)性強(qiáng)、自適應(yīng)能力強(qiáng)和自學(xué)習(xí)能力強(qiáng)的優(yōu)點(diǎn),還能夠隱式地從訓(xùn)練數(shù)據(jù)中對(duì)特征模式進(jìn)行學(xué)習(xí),從而有效提取特征。另外,CNN具有局部權(quán)值共享的特殊結(jié)構(gòu),更加接近于實(shí)際的生物神經(jīng)網(wǎng)絡(luò),而權(quán)值共享地特性降低了網(wǎng)絡(luò)的復(fù)雜程度,因此對(duì)于多維輸入向量可以直接輸入網(wǎng)絡(luò),有效降低了特征提取和分類過程中數(shù)據(jù)重建的復(fù)雜程度。而且,在對(duì)網(wǎng)絡(luò)的學(xué)習(xí)行為進(jìn)行分析時(shí),CNN相比于多層前饋網(wǎng)絡(luò)更容易找到起作用的神經(jīng)元,更容易觀察到數(shù)據(jù)在網(wǎng)絡(luò)中的表現(xiàn)形式,進(jìn)而對(duì)整個(gè)學(xué)習(xí)過程有更加深度地理解。

本文針對(duì)腦電信號(hào)分類識(shí)別中的特征優(yōu)化和選擇問題進(jìn)行研究。本文采用CSP算法提取腦電信號(hào)特征,其特征選擇直觀可見,便于對(duì)特征選擇方法進(jìn)行驗(yàn)證。利用CNN的學(xué)習(xí)特性對(duì)EEG分類識(shí)別中提取的大量特征進(jìn)行優(yōu)選,并定義基于CNN權(quán)值矩陣特性的特征篩選準(zhǔn)則,得到效能高的最優(yōu)特征集。本文工作在BCI Competition IV數(shù)據(jù)集[25]上進(jìn)行了實(shí)驗(yàn),證明了本文方法的高效性。本方法具有普遍性,適用于各種情況下的特征選擇問題。

本文后續(xù)章節(jié)安排如下：第二部分主要介紹公共空間模式(CSP)和卷積神經(jīng)網(wǎng)絡(luò)(CNN)的基本原理,第三部分是對(duì)CNN與CSP相結(jié)合的腦電特征提取方法的基本原理,第四部分是對(duì)本文提出的腦電特征提取方法進(jìn)行進(jìn)一步的實(shí)驗(yàn)及相應(yīng)結(jié)果分析,第五部分為本文結(jié)論。

2 公共空間模式(CSP)與卷積神經(jīng)網(wǎng)絡(luò)(CNN)技術(shù)原理

2.1 CSP原理

公共空間模式(CSP)算法做為一種高效的空間濾波算法,CSP算法的目標(biāo)是創(chuàng)建出一個(gè)最優(yōu)的公共空間濾波器,能夠最大化一類方差的同時(shí)最小化另一類方差,采用同時(shí)對(duì)角化兩類任務(wù)協(xié)方差矩陣的方式,得到兩種任務(wù)的最大分辨能力的特征向量。

圖1 CSP特征提取方法過程示意圖

CSP算法的過程如下：

(1)先將原始數(shù)據(jù)按照類別分段。

將原始數(shù)據(jù)按照類別進(jìn)行分段。如兩類樣本數(shù)據(jù)D可分段為D1和D2,D1表示第一類樣本數(shù)據(jù),D2表示第二類樣本數(shù)據(jù)。

(2)計(jì)算分段后的原始數(shù)據(jù)的協(xié)方差矩陣。則協(xié)方差矩陣的計(jì)算方式如下：

(1)

其中,DT為矩陣D的轉(zhuǎn)置矩陣,trace(D)表示求矩陣D的跡。

使用C1表示第一類樣本數(shù)據(jù)的空間協(xié)方差矩陣的期望,C2表示第二類樣本的空間協(xié)方差矩陣的期望,Cc表示兩類數(shù)據(jù)的空間協(xié)方差矩陣之和,則有：

Cc=C1+C2

(2)

上述的協(xié)方差矩陣可以通過平均多次實(shí)驗(yàn)結(jié)果的方式獲得。

(3)對(duì)空間協(xié)方差矩陣進(jìn)行正交白化變換并且同時(shí)對(duì)角化。

Cc作為兩個(gè)協(xié)方差矩陣的和,是一個(gè)正定矩陣,因此可令：

(3)

其中Uc表示特征向量矩陣,Λc表示特征值的對(duì)角陣。Λc中的特征值是降序排列的,白化轉(zhuǎn)換Uc后可以得到：

(4)

將矩陣P作用于C1和C2,可得到：

S1=PC1PT,S2=PC2PT

(5)

S1、S2具有公共特征向量,而且存在兩個(gè)對(duì)角矩陣Λ1、Λ2和特征向量矩陣B,滿足如下的條件：

S1=BΛ1BT

(6)

S2=BΛ2BT

(7)

Λ1+Λ2=I

(8)

其中I是單位陣。由此可見特征值λ1和λ2的和等于1。

(4)計(jì)算投影矩陣。

對(duì)于特征向量矩陣B,當(dāng)一個(gè)類別S1有最大的特征值時(shí),此時(shí)另一個(gè)類別S2有最小的特征值,因此可以利用矩陣B實(shí)現(xiàn)兩類問題的分類,可以得到投影矩陣：

W=(BTP)T

(9)

(5)經(jīng)過投影得到特征矩陣。

因此可以將一個(gè)原始腦電數(shù)據(jù)EM×N通過投影矩陣W進(jìn)行投影,得到：

ZM×N=WM×MEM×N

(10)

可選擇ZM×N的前m行和后m行(2m

由CSP算法的原理可知,對(duì)于算法生成的CSP特征矩陣,其信息是不等效的。特征信息主要集中在特征矩陣的頭部和尾部,而中間的特征信息不明顯。但是,在傳統(tǒng)的CSP算法中,并沒有給出如何選取頭尾特征行數(shù),即選取m值的方法。因此如何選擇m,是一個(gè)關(guān)鍵性的問題。選擇的m值過小,特征信息并不足夠,導(dǎo)致識(shí)別率不夠高；選擇的m值過大,會(huì)有冗余的信息,導(dǎo)致訓(xùn)練難度增大,訓(xùn)練的速度減慢,進(jìn)而導(dǎo)致識(shí)別率不夠理想。

2.2 卷積神經(jīng)網(wǎng)絡(luò)原理

卷積神經(jīng)網(wǎng)絡(luò)(Convolution Neural Network,CNN)是一種高效的識(shí)別方法,它可以直接輸入原始特征空間,并在網(wǎng)絡(luò)內(nèi)部對(duì)特征的進(jìn)行提取和進(jìn)一步優(yōu)化,因此再解決高維度特征的分類問題具有很好的效果。相比于全連接網(wǎng)絡(luò),卷積神經(jīng)網(wǎng)絡(luò)具有兩個(gè)特性,分別是權(quán)值共享和局部感知。權(quán)值共享指的是同層某些神經(jīng)元之間的連接權(quán)值是共享的,局部感知指的是神經(jīng)元之間的連接并非是全連接,是局部的。這兩個(gè)特點(diǎn)能夠極大減少連接權(quán)值的數(shù)量,從而減少了模型的復(fù)雜度。卷積神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)如圖2所示。

圖2 CNN網(wǎng)絡(luò)結(jié)構(gòu)圖

卷積操作是CNN中最為重要的操作,是用來提取某種特征。在卷積層中,一般設(shè)置多個(gè)不同的卷積核來對(duì)輸入進(jìn)行操作從而獲得不一樣的特性,進(jìn)而達(dá)到提取特征的效果。具體計(jì)算過程如下,首先將卷積核的權(quán)值與上層數(shù)據(jù)進(jìn)行卷積運(yùn)算,然后使用激活函數(shù)進(jìn)行處理并加上偏置值,于是可以得到一種特征表達(dá)。進(jìn)而通過不同的卷積核便可以得到不同的特征表達(dá),在不斷的迭代訓(xùn)練過程中有效的特征便會(huì)得到強(qiáng)化從而達(dá)到提取特征的目的。

具體來說,可用如下公式表示卷積層的卷積運(yùn)算的過程：

(11)

在網(wǎng)絡(luò)的訓(xùn)練過程中,為了能夠使網(wǎng)絡(luò)有效收斂,需要設(shè)置一個(gè)loss函數(shù),也就是需要優(yōu)化的目標(biāo)函數(shù)。因此可以設(shè)置目標(biāo)函數(shù)為數(shù)據(jù)集所有數(shù)據(jù)的loss平均值。進(jìn)而可以得到如下loss函數(shù)：

(12)

fW(x)計(jì)算的是數(shù)據(jù)X上的loss,D為整個(gè)數(shù)據(jù)集。方法是,求出所有樣本X(i)的loss值并且求和,最后再求均值。均方根誤差作為一種常用的loss函數(shù),求得是所有樣本估計(jì)值和預(yù)測值的歐氏距離的平方的均值。另外,r(W)是為了減弱過擬合現(xiàn)象而設(shè)置的正則項(xiàng)。

(13)

Wt+1=Wt+Vt+1

(14)

學(xué)習(xí)率為α,μ為上一次梯度的權(quán)重值,表示之前梯度下降的方向?qū)ΜF(xiàn)在梯度方向影響。

3 CNN與CSP相結(jié)合的腦電特征提取方法

3.1 CNN與CSP相結(jié)合的腦電特征提取方法工作流程

本文提出的CNN與CSP相結(jié)合的腦電特征提取與識(shí)別方法,工作流程如圖3所示。

在將原始腦電信號(hào)經(jīng)過預(yù)處理后,通過CSP空間變換得到相應(yīng)的特征矩陣。構(gòu)建CNN網(wǎng)絡(luò)進(jìn)行特征矩陣學(xué)習(xí),獲得CNN網(wǎng)絡(luò)全連接層的權(quán)值矩陣,并對(duì)其進(jìn)行分析,定義了CSP矩陣特征篩選準(zhǔn)則,得到降維高效的EEG特征集F；計(jì)算特征集F規(guī)模并構(gòu)建一個(gè)新網(wǎng)絡(luò)CNN分類器。

3.2 CNN學(xué)習(xí)與權(quán)值矩陣分析

本文的分析方法中,通過CSP空間變換得到相應(yīng)的特征矩陣。將得到的特征矩陣用CNN進(jìn)行學(xué)習(xí),進(jìn)一步分析其全連接層的權(quán)值情況從而對(duì)特征矩陣進(jìn)行二次特征提取。

圖3 基于CNN的自適應(yīng)CSP特征提取方法腦電分析框架圖

在對(duì)特征矩陣的學(xué)習(xí)過程中,本文所使用的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。整個(gè)CNN網(wǎng)絡(luò)結(jié)構(gòu)由5層組成,第1層為輸入層,第2、3層為卷積層,第4、5層為全連接層。

CNN網(wǎng)絡(luò)的具體參數(shù)如下：

(1)第一層(Data)：輸入層。輸入為經(jīng)CSP變換后的特征矩陣,維度為M×N,M為電極數(shù)目,N為每一個(gè)電極上的特征點(diǎn)數(shù)。

(2)第二層(C1)：該層為卷積層,該層設(shè)置32個(gè)卷積核,卷積核的大小為1×50,卷積步長為1×2,使用ReLU激活函數(shù)。為了在特征篩選階段對(duì)CSP特征矩陣的特征進(jìn)行進(jìn)一步篩選,在這里不在電極的維度上進(jìn)行卷積,僅在特征點(diǎn)的維度上進(jìn)行卷積。

(3)第三層(C2)：該層為卷積層,主要是對(duì)第二層的特征圖進(jìn)行進(jìn)一步的卷積,提取相應(yīng)的特征。 該層也設(shè)置為32個(gè)卷積核,卷積核的大小為1×20,步長為1×2,使用ReLU激活函數(shù)。

(4)第四層(FC1)：該層為全連接層,神經(jīng)元的個(gè)數(shù)為1000個(gè),作用是配合卷積層形成對(duì)腦電信號(hào)的分類。

(5)第五層(FC2)：該層也為全連接層,共有2個(gè)神經(jīng)元,代表了二分類問題。

網(wǎng)絡(luò)中各層的具體參數(shù)是由實(shí)驗(yàn)擇優(yōu)確定。

在使用CNN對(duì)特征矩陣進(jìn)行學(xué)習(xí)之后,為了對(duì)篩選特征的有效性進(jìn)行驗(yàn)證,對(duì)CNN中全連接層的權(quán)值進(jìn)行分析。我們展示第4節(jié)運(yùn)動(dòng)想象實(shí)驗(yàn)中的2號(hào)被試一個(gè)實(shí)驗(yàn)結(jié)果,對(duì)CNN全連接層的權(quán)值進(jìn)行可視化,可得到如4所示。2號(hào)被試的原始腦電數(shù)據(jù)大小為118*200,其中118代表118個(gè)電極,200代表每個(gè)電極上的采樣點(diǎn)數(shù)是200。經(jīng)過CSP變換后得到特征矩陣大小為118*200,再經(jīng)過CNN學(xué)習(xí),圖4為全連接層對(duì)應(yīng)第二層卷積層輸出的權(quán)值連接圖像(所有卷積核求平均,具體算法在3.2節(jié)),維度為118*29(為了顯示效果,對(duì)圖片進(jìn)行了橫向放置)。

從圖4中可以觀察到大的權(quán)值(亮的部分)主要集中在前4列和后2列,分別對(duì)應(yīng)CSP矩陣前4行和后2行特征。表明CSP矩陣的有效特征信息主要集中在這幾行。為了對(duì)比圖4中每一列的權(quán)值大小差異,分別對(duì)每一行的權(quán)值進(jìn)行疊加平均,并繪制柱狀圖,如圖5所示。

由圖5觀察可得,亮度大的權(quán)值主要集中前面4列和后面2列,這說明有效的特征主要集中在CSP特征矩陣的頭部和尾部?？梢?對(duì)CSP處理后的特征矩陣進(jìn)行有效選擇可以得到更加有效的特征。

圖4 CNN全連接層可視化圖像

圖5 CNN全連接層對(duì)應(yīng)CSP矩陣各行特征的平均權(quán)值大小

3.3 基于CNN權(quán)值矩陣特性的CSP特征篩選準(zhǔn)則

我們知道對(duì)于CSP的特征矩陣ZM×N,有效的信息集中在矩陣的前m行和后m行,一般選擇2行或者3行特征,但是對(duì)于具體問題,m值的確定是個(gè)難點(diǎn)問題,定義準(zhǔn)確求取m值方法是CSP技術(shù)發(fā)揮最佳性能的關(guān)鍵。因此,本文提出基于CNN的CSP特征篩選算法,主要思路為,將特征矩陣輸送到CNN中進(jìn)行學(xué)習(xí),進(jìn)而提取其全連接層的權(quán)值,通過其權(quán)值大小的分布來判斷特征矩陣中哪些部分對(duì)分類更加有效果,從而對(duì)部分特征進(jìn)行篩選。

具體步驟如下：

首先求得有益加權(quán)權(quán)值矩陣。設(shè)CNN中全連接層接受的輸入特征圖數(shù)量為s,特征圖的維度為n×l,且有t層全連接層,每一層全連接層分別用W1,W2,…,Wt表示,且節(jié)點(diǎn)數(shù)目為k1,k2,…,kt。第t層全連接層,有kt個(gè)節(jié)點(diǎn),在二分類問題中,kt為2。

當(dāng)t=1時(shí),即只有1個(gè)全連接層,即W1(維度為[s×n×l，kt])可作為有益加權(quán)權(quán)值矩陣。

當(dāng)t>1時(shí),為求得最有效的權(quán)值矩陣,對(duì)每一層,我們以下一層權(quán)值為權(quán)重對(duì)該層權(quán)值進(jìn)行加權(quán),即有如下公式：

W=W1×W2×…×Wt

(15)

則W的維度為[s×n×l,kt],其中s為最后一層卷積層的卷積核數(shù)量,且卷積出來的特征圖大小為n×l,kt為第t層的節(jié)點(diǎn)數(shù)目,因?yàn)槎诸悊栴},kt為2,且[s×n×l,1]與[s×n×l,2]權(quán)值的趨勢(shì)變化是相反的。然后將得到的W矩陣的第2個(gè)維度的第1行進(jìn)行重排列得到[s,n,l]大小的矩陣W′。

矩陣W′可以看成是s幅n×l權(quán)值圖像。我們對(duì)每一幅圖像都進(jìn)行取絕對(duì)值操作,即求得一幅圖中所有值對(duì)平均值的偏差程度,這樣會(huì)使有效的權(quán)值包括正相關(guān)權(quán)值和負(fù)相關(guān)權(quán)值變?yōu)榇笾?而無效的權(quán)值會(huì)趨近于0。進(jìn)而對(duì)矩陣W′的s幅圖像求平均得：

(16)

對(duì)矩陣T,便可以求得每一行的標(biāo)準(zhǔn)差,i的取值范圍是(1≤i≤n)：

(17)

(18)

P為一個(gè)列向量,表示CSP特征矩陣中每一行的偏差程度,偏差程度越大說明這一行的特征越明顯。可以觀察到CSP特征矩陣中的列向量P有如下特征,中間的值趨近于0,而兩邊值較大。

可以對(duì)P的大小進(jìn)行排序并選取前m′行,使得P(i)≥φ(φ為閾值,我們認(rèn)為偏差標(biāo)準(zhǔn)值的0.5為有效特征,因此取φ=0.5)。

對(duì)應(yīng)選擇CSP矩陣中m′行做為特征集F。

具體如算法1所示。

算法1 基于CNN的CSP特征篩選算法

對(duì)于CSP特征篩選的過程,首先將全部的CSP特征矩陣輸送到一個(gè)CNN中進(jìn)行識(shí)別,得到收斂后的CNN網(wǎng)絡(luò)權(quán)值,運(yùn)用CSP特征篩選算法,即可從CNN網(wǎng)絡(luò)權(quán)值的分布計(jì)算得到最優(yōu)的特征集。

4 實(shí)驗(yàn)及結(jié)果分析

我們?cè)诠_數(shù)據(jù)集(BCI Competition Ⅲ的Data set IVa數(shù)據(jù)集)[25]的運(yùn)動(dòng)想象數(shù)據(jù)集上進(jìn)行了方法測試,并與傳統(tǒng)CSP方法、sCSP方法和KLCSP方法進(jìn)行比較。

4.1 實(shí)驗(yàn)數(shù)據(jù)集

BCI Competition Ⅲ的Data set IVa數(shù)據(jù)集是由Fraunhofer FIRST、Intelligent Data Analysis Group (Klaus-Robert Müller, Benjamin Blankertz)和Campus Benjamin Franklin of the Charité-University Medicine Berlin, Department of Neurology, Neurophysics Group (Gabriel Curio)提供的一個(gè)公共數(shù)據(jù)集。

此數(shù)據(jù)集是從五個(gè)健康被試身上采集下來的。被試坐在舒適的椅子上,雙臂放在扶手上。被試需要觀察3.5 s的視覺提示,然后被試進(jìn)行運(yùn)動(dòng)想象,想象的內(nèi)容為兩個(gè)類型中的一個(gè)：(R)右手運(yùn)動(dòng),(F)右腳運(yùn)動(dòng),然后被試進(jìn)行1.75～2.25的休息。每名被試需要做280次重復(fù)實(shí)驗(yàn)。

本數(shù)據(jù)集為含有118個(gè)電極的連續(xù)腦電,每名被試的訓(xùn)練集與測試集數(shù)量分布如表1所示。

表1 訓(xùn)練集與測試集數(shù)量分布表

4.2 數(shù)據(jù)預(yù)處理

為了與相應(yīng)研究中的數(shù)據(jù)處理方法保持一致,本實(shí)驗(yàn)使用每次試驗(yàn)開始后0.5到2.5 s的腦電信號(hào)數(shù)據(jù)作為一個(gè)樣本數(shù)據(jù)[26],然后使用8至30 Hz的單帶通濾波器對(duì)腦電數(shù)據(jù)進(jìn)行濾波。最后,選取于運(yùn)動(dòng)想象任務(wù)相關(guān)的兩個(gè)頻帶mu(8～12 Hz)和beta(18～25 Hz)節(jié)律[27]。

4.3 CSP算法處理

對(duì)經(jīng)過預(yù)處理后的腦電數(shù)據(jù)通過CSP算法提取相應(yīng)的特征。具體操作如下。

首先將原始EEG數(shù)據(jù)按照類別進(jìn)行分段。一次腦電實(shí)驗(yàn)中的任務(wù)數(shù)據(jù)表示為一個(gè)矩陣D,D的維度為M×N,M為電極數(shù)目,N為電極上的采樣點(diǎn)數(shù)?？蓪根據(jù)類別分段為D1和D2,D1表示第一類樣本數(shù)據(jù),D2表示第二類樣本數(shù)據(jù)。

根據(jù)CSP算法的步驟,然后對(duì)D1和D2分別求得協(xié)方差矩陣的期望并進(jìn)行加和,然后再進(jìn)行正交白化變換并且同時(shí)對(duì)角化,計(jì)算投影矩陣并進(jìn)行投影得到相關(guān)的特征矩陣ZM×N。

4.4 最優(yōu)特征集的驗(yàn)證實(shí)驗(yàn)及識(shí)別結(jié)果

為了驗(yàn)證由基于CNN的CSP特征篩選算法提取出來的最優(yōu)特征集的識(shí)別效果,進(jìn)行如下對(duì)比實(shí)驗(yàn)。

首先測試全部被試分別在不同m值(即對(duì)稱選取CSP特征矩陣的頭部和尾部各m行,由CSP矩陣的性質(zhì),取1≤m≤10)的情況下的識(shí)別率,為了防止網(wǎng)絡(luò)的隨機(jī)初始化給網(wǎng)絡(luò)的識(shí)別率帶來影響,因此,對(duì)于每一個(gè)被試的每一個(gè)m值,訓(xùn)練并測試5次,算出識(shí)別率的平均值作為真正的識(shí)別率。

然后運(yùn)用基于CNN的CSP特征篩選算法計(jì)算出每一個(gè)被試的最優(yōu)特征集。

得到特征集后,為了驗(yàn)證本文方法篩選的特征的有效性,分別對(duì)應(yīng)于不同m值,選取相同數(shù)量的最優(yōu)特征作為特征集,并再次構(gòu)建CNN分類器對(duì)特征集進(jìn)行分類識(shí)別。為了提高訓(xùn)練的效率,加快收斂速度,使用的CNN分類器與CNN學(xué)習(xí)過程的網(wǎng)絡(luò)參數(shù)大致相同,并且復(fù)用卷積核權(quán)值和全連接層對(duì)應(yīng)特征的權(quán)值作為初始值進(jìn)行訓(xùn)練。

具體的識(shí)別率對(duì)比如圖6所示,下圖的內(nèi)容為不同被試在不同m值下的識(shí)別率。

由圖6可以觀察到,本文方法選擇出來的特征集,相比于原CSP算法直接提取特征矩陣前m行和后m行的方法,具有很好的分類識(shí)別性能,能夠達(dá)到更高的識(shí)別率。說明本文方法能夠有效優(yōu)選出最佳特征。由圖中還可以觀察到,本文方法選取的特征集得到識(shí)別率隨著特征數(shù)量的增多呈現(xiàn)先增加后減小的趨勢(shì),這說明隨著有效特征數(shù)量的增多,識(shí)別性能不斷增加,但增加到一個(gè)程度,即較有效的特征已經(jīng)被篩選完畢,再增加特征只會(huì)增大系統(tǒng)的負(fù)擔(dān),導(dǎo)致識(shí)別率的降低。

對(duì)五名被試的觀察可以發(fā)現(xiàn),前三名被試的識(shí)別率比較穩(wěn)定,而后兩名被試隨著特征數(shù)量的增多識(shí)別率降低較為明顯。我們推測是因?yàn)橛?xùn)練樣本數(shù)較少的緣故,第4名被試的訓(xùn)練集只有56個(gè)樣本,而第5名只有28個(gè)樣本,在這種情況,很容易出現(xiàn)訓(xùn)練集過擬合,而同時(shí)測試集識(shí)別率并不高的情況。由于每次訓(xùn)練設(shè)置的網(wǎng)絡(luò)初始值是隨機(jī)的,在網(wǎng)絡(luò)收斂后測試集的識(shí)別率會(huì)有較大波動(dòng)。我們?cè)趯?shí)驗(yàn)過程中觀察到被試4和5在特征較多的情況下出現(xiàn)訓(xùn)練集識(shí)別率達(dá)到100%而測試集識(shí)別率相差較大的情況。而低的識(shí)別率會(huì)拉低平均識(shí)別率,這就是被試4、5隨著特征數(shù)量的增多平均識(shí)別率出現(xiàn)較大下滑的原因。

圖6 五名被試在不同m值下特征經(jīng)過篩選和未經(jīng)過篩選情況下的識(shí)別率

對(duì)同一被試由基于CNN的CSP特征篩選算法選擇出來的最優(yōu)特征集所對(duì)應(yīng)的識(shí)別率基本上為最優(yōu)識(shí)別率,因此基于CNN的CSP特征篩選算法能夠有效優(yōu)選出最佳特征。

4.5 CNN與CSP相結(jié)合的腦電特征提取與識(shí)別方法的對(duì)比實(shí)驗(yàn)及結(jié)果

為了驗(yàn)證本方法的有效性,在BCI Competition Ⅲ 的 Data set IVa數(shù)據(jù)集上與一些其他方法進(jìn)行對(duì)比實(shí)驗(yàn)。本文方法與傳統(tǒng)CSP方法、sCSP方法[22]和KLCSP方法[23]進(jìn)行比較,這些方法的識(shí)別結(jié)果均是根據(jù)文獻(xiàn)中的記錄而來。在數(shù)據(jù)訓(xùn)練的過程中,需要為每一名被試單獨(dú)訓(xùn)練一個(gè)模型,并通過此模型來統(tǒng)計(jì)對(duì)應(yīng)被試的識(shí)別率。

現(xiàn)將各方法的結(jié)果總結(jié)如表2所示。

可以看到,CNN與CSP相結(jié)合的腦電特征提取與識(shí)別方法相比經(jīng)典CSP以及其一些改進(jìn)方法在識(shí)別率上有一定程度的提高。與sCSP方法和KLCSP方法相比,本文方法的平均識(shí)別準(zhǔn)確率分別提升了3.2%和2.4%,且本方法使用了全部的原始數(shù)據(jù),未剔除任何不佳的樣本數(shù)據(jù)?？梢哉f明本文方法在對(duì)運(yùn)動(dòng)想象數(shù)據(jù)進(jìn)行識(shí)別方面是有很好的效果。

表2 不同實(shí)驗(yàn)方法識(shí)別率對(duì)比表

表3 BCI Competition III的競賽數(shù)據(jù)集IVa上的最好分類結(jié)果

此外,在BCI Competition III的競賽數(shù)據(jù)集IVa上的最好分類結(jié)果如表3所示。本文的特征提取和分類算的最優(yōu)結(jié)果為88.3%。與競賽的第二優(yōu)勝者識(shí)別率有5%的提高。雖不及排名第一的清華大學(xué)識(shí)別結(jié)果,但系統(tǒng)在采用的特征數(shù)量和系統(tǒng)復(fù)雜性方面具有很好的優(yōu)勢(shì)。

5 結(jié)論

本文提出了一種CNN與CSP相結(jié)合的腦電特征提取與識(shí)別方法。首先在經(jīng)過預(yù)處理的原始腦電信號(hào)上進(jìn)行CSP空間變換得到相應(yīng)的特征矩陣；其次,構(gòu)建CNN網(wǎng)絡(luò)進(jìn)行特征矩陣學(xué)習(xí),獲得 CNN網(wǎng)絡(luò)全連接層的權(quán)值矩陣,并對(duì)其進(jìn)行分析,定義了CSP矩陣特征篩選準(zhǔn)則,得到了低維高效的EEG特征集F；最后,根據(jù)特征集F構(gòu)建一個(gè)CNN網(wǎng)絡(luò)分類器進(jìn)行分類。本文方法在BCI2005Ⅳa競賽數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn),首先通過CSP特征篩選算法的驗(yàn)證實(shí)驗(yàn)觀察到得到的特征集F都是最優(yōu)的,從而驗(yàn)證了算法選取的特征集的有效性。然后通過與其他方法的對(duì)比實(shí)驗(yàn)發(fā)現(xiàn),相比于sCSP和KLCSP方法,本文所提出的方法平均識(shí)別準(zhǔn)確率分別提升了3.2%和2.4%。而且,本方法使用了全部的原始數(shù)據(jù),未剔除任何不佳的樣本數(shù)據(jù),更加適用于腦機(jī)接口系統(tǒng)。本文方法結(jié)合了時(shí)間、空間的特征信息,而且引入了根據(jù)結(jié)果對(duì)特征進(jìn)行二次選擇的新觀點(diǎn),為腦電的特征提取問題提供了一個(gè)新的思路。

[1] Guger C, Allison B, Ushiba J. Recent Advances in Brain-Computer Interface Research—A Summary of the BCI Award 2015 and BCI Research Trends[M]∥Brain-Computer Interface Research. Springer International Publishing, 2017: 131-136.

[2] Holz E M, Botrel L, Kaufmann T, et al. Long-term independent brain-computer interface home use improves quality of life of a patient in the locked-in state: a case study[J]. Archives of physical medicine and rehabilitation, 2015, 96(3): S16-S26.

[3] Hsu W Y. Brain-computer interface: The next frontier of telemedicine in human-computer interaction[J]. Telematics and Informatics, 2015, 32(1): 180-192.

[4] Doud A J, Lucas J P, Pisansky M T, et al. Continuous three-dimensional control of a virtual helicopter using a motor imagery based brain-computer interface[J]. PloS one, 2011, 6(10): 263-296.

[5] Gao X, Xu D, Cheng M, et al. A BCI-based environmental controller for the motion-disabled[J]. IEEE Transactions on Neural Systems and Rehabilitation Engineering, 2003, 11(2): 137-140.

[6] Xu N, Gao X, Hong B, et al. BCI competition 2003-data set IIb: enhancing P300 wave detection using ICA-based subspace projections for BCI applications[J]. IEEE Transactions on Biomedical Engineering, 2004, 51(6): 1067-1072.

[7] Bashar S K, Hassan A R, Bhuiyan M I H. Identification of motor imagery movements from eeg signals using dual tree complex wavelet transform[C]∥Advances in Computing, Communications and Informatics (ICACCI), 2015 International Conference on. IEEE, 2015: 290-296.

[8] Hassan A R, Bhuiyan M I H. A decision support system for automatic sleep staging from EEG signals using tunable q-factor wavelet transform and spectral features[J]. Journal of Neuroscience Methods, 2016, 271: 107-118.

[9] Boonnak N, Kamonsantiroj S, Pipanmaekaporn L. Wavelet transform enhancement for drowsiness classification in EEG records using energy coefficient distribution and neural network[J]. International Journal of Machine Learning and Computing, 2015, 5(4): 288.

[10]Li P, Wang X, Li F, et al. Autoregressive model in the Lp norm space for EEG analysis[J]. Journal of Neuroscience Methods, 2015, 240: 170-178.

[11]Fang Y, Chen M, Zheng X. Extracting features from phase space of EEG signals in brain-computer interfaces[J]. Neurocomputing, 2015, 151: 1477-1485.

[12]Hsu W Y. Assembling a multi-feature EEG classifier for left-right motor imagery data using wavelet-based fuzzy approximate entropy for improved accuracy[J]. International Journal of Neural Systems, 2015, 25(8): 1550037.

[13]Meyer M C, Janssen R J, van Oort E S B, et al. The quest for EEG power band correlation with ICA derived fMRI resting state networks[J]. Frontiers in Human Neuroscience, 2013, 7: 315.

[14]Dan'ko S G, Gracheva L V, Boǐtsova I A, et al. Induction of emotional states during oral reading of texts with different emotional valence and EEG power dynamics in frequency bands beta2 and gamma[J]. Fiziologiia Cheloveka, 2011, 37(5): 46.

[15]Zheng W L, Lu B L. Investigating critical frequency bands and channels for EEG-based emotion recognition with deep neural networks[J]. IEEE Transactions on Autonomous Mental Development, 2015, 7(3): 162-175.

[16]Fitzgibbon S P, DeLosAngeles D, Lewis T W, et al. Automatic determination of EMG-contaminated components and validation of independent component analysis using EEG during pharmacologic paralysis[J]. Clinical Neurophysiology, 2016, 127(3): 1781-1793.

[17]Burger C, van den Heever D J. Removal of EOG artefacts by combining wavelet neural network and independent component analysis[J]. Biomedical Signal Processing and Control, 2015, 15: 67-79.

[18]Koles Z J. The quantitative extraction and topographic mapping of the abnormal components in the clinical EEG[J]. Electroencephalography and Clinical Neurophysiology, 1991, 79(6): 440- 447.

[19]Ramoser H, Muller-Gerking J, Pfurtscheller G. Optimal spatial filtering of single trial EEG during imagined hand movement[J]. Rehabilitation Engineering, IEEE Transactions on, 2000, 8(4): 441- 446.

[20]Koles Z J. The quantitative extraction and topographic mapping of the abnormal components in the clinical EEG[J]. Electroencephalography and Clinical Neurophysiology, 1991, 79(6): 440- 447.

[21]Ramoser H, Muller-Gerking J, Pfurtscheller G. Optimal spatial filtering of single trial EEG during imagined hand movement[J]. Rehabilitation Engineering, IEEE Transactions on, 2000, 8(4): 441- 446.

[22]Samek W, Vidaurre C, Müller K R, et al. Stationary common spatial patterns for brain-computer interfacing[J]. Journal of Neural Engineering, 2012, 9(2): 026013.

[23]Arvaneh M, Guan C, Ang K K, et al. Optimizing spatial filters by minimizing within-class dissimilarities in electroencephalogram-based brain-computer interface[J]. IEEE Transactions on Neural Networks and Learning Systems, 2013, 24(4): 610- 619.

[24]Lawrence S, Giles C L, Tsoi A C, et al. Face recognition: A convolutional neural-network approach[J]. Neural Networks, IEEE Transactions on, 1997, 8(1): 98-113.

[25]Dornhege G, Blankertz B, Curio G, et al. Boosting bit rates in noninvasive EEG single-trial classifications by feature combination and multiclass paradigms[J]. IEEE Transactions on Biomedical Engineering, 2004, 51(6): 993-1002.

[26]Ang K K, Chin Z Y, Wang C, et al. Filter bank common spatial pattern algorithm on BCI competition IV datasets 2a and 2b[J]. Frontiers in Neuroscience, 2012, 6(2): 268-275.

[27]McFarland D J, Miner L A, Vaughan T M, et al. Mu and beta rhythm topographies during motor imagery and actual movements[J]. Brain Topography, 2000, 12(3): 177-186.