基于時(shí)空特征卷積神經(jīng)網(wǎng)絡(luò)的運(yùn)動(dòng)想象腦電信號(hào)識(shí)別方法

許學(xué)添 蔡躍新

1(廣東司法警官職業(yè)學(xué)院信息管理系 廣東 廣州 510520) 2(中山大學(xué)孫逸仙紀(jì)念醫(yī)院耳鼻喉科聽(tīng)力學(xué)與言語(yǔ)研究所 廣東 廣州 510120)

0 引 言

腦-機(jī)接口(Brain-Computer Interface,BCI)通過(guò)將大腦信號(hào)解碼成計(jì)算機(jī)設(shè)備可識(shí)別的指令從而實(shí)現(xiàn)將大腦的活動(dòng)模式轉(zhuǎn)換為與外部世界通信的命令系統(tǒng)[1]，是腦神經(jīng)世界與外部物理世界連接的橋梁。通過(guò)腦-機(jī)接口可以幫助殘疾人、老年人和運(yùn)動(dòng)能力有限的人控制輪椅、家用電器和機(jī)器人。腦電圖(Electroencephalogram,EEG)由于其低成本和非入侵等優(yōu)點(diǎn)，在BCI系統(tǒng)中得到最多的應(yīng)用與研究[2]?；贓EG的運(yùn)動(dòng)想象(Motor Imager,MI)分類與識(shí)別是腦機(jī)接口的一個(gè)重要研究方向，特別是近年來(lái)，結(jié)合機(jī)器學(xué)習(xí)算法，BCI系統(tǒng)的發(fā)展取得了巨大的進(jìn)展[3]。然而，腦電圖信號(hào)由于幅值較低，容易受諸如眼動(dòng)、肌動(dòng)和偽影等噪聲的影響，具有分類精度低和泛化能力差等缺點(diǎn)。

傳統(tǒng)的運(yùn)動(dòng)想象分類方法要在預(yù)處理之后，依靠腦電信號(hào)的特征提取來(lái)完成分類。預(yù)處理主要包括帶通濾波器、獨(dú)立成分分析和典型相關(guān)分析等方法；典型的腦電特征提取方法包括共空間模式(Common Spatial Pattern，CSP)、濾波器組共空間模式(Filter Bank Common Spatial Pattern，F(xiàn)BCSP)[4]、功率譜密度(Power Spectral Density，PSD)[5]和非負(fù)矩陣分解(Nonnegative Matrix Factorization，NMF)[6]等，之后再通過(guò)支持向量機(jī)、最近鄰分類器和非線性貝葉斯分類器等分類方法進(jìn)行分類。這些方法很大程度依靠先驗(yàn)知識(shí)去選擇腦電信號(hào)的特征，比如帶通濾波器的范圍與數(shù)量、功率譜的范圍和矩陣分解后要取的特征向量的數(shù)量等，而且預(yù)處理的方式對(duì)分類的效果也會(huì)有很大的影響，這些方法帶有一定的主觀成分，無(wú)法完全實(shí)現(xiàn)腦電信號(hào)的智能識(shí)別。

深度學(xué)習(xí)算法具有自主提取樣本抽象特征的能力，已經(jīng)被廣泛應(yīng)用于圖像、視頻和文本等信息的識(shí)別，將深度學(xué)習(xí)算法應(yīng)用到腦電圖信號(hào)的分類識(shí)別，可以避免耗時(shí)的預(yù)處理和特征工程步驟，直接處理原始的大腦信號(hào)，通過(guò)反向傳播來(lái)學(xué)習(xí)可識(shí)別的信息，能夠同時(shí)捕獲具有代表性的高級(jí)特征和潛在的隱藏特征，因此能取得較好的識(shí)別效果。一些學(xué)者也做了這方面的研究，驗(yàn)證了卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network，CNN)在腦電信號(hào)識(shí)別應(yīng)用中的可行性，但這些研究仍然是要在腦電信號(hào)的一些特征上進(jìn)行深度學(xué)習(xí)。例如，唐智川等[7]將腦電信號(hào)事件相關(guān)去同步和事件相關(guān)同步模式下的EEG功率值作為分類特征。Sakhavi等[8]基于CSP算法選擇特征值，將輸出特征序列組成特征矩陣，再利用CNN算法進(jìn)行分類。Olivas-Padilla等[9]通過(guò)不同濾波器組和CSP算法建立二分類特征序列，再將特征序列組成特征矩陣用CNN算法進(jìn)行分類識(shí)別。Sakhavi等[10]獲取輸入腦電數(shù)據(jù)的動(dòng)態(tài)能量再進(jìn)行CNN分類。胡章芳等[11]將腦電信號(hào)經(jīng)過(guò)短時(shí)傅里葉變換得到的時(shí)頻圖作為CNN網(wǎng)絡(luò)的輸入進(jìn)行分類，這些方法在深度學(xué)習(xí)網(wǎng)絡(luò)運(yùn)行之前實(shí)質(zhì)上仍是進(jìn)行了特征提取的學(xué)習(xí)。本文設(shè)計(jì)了一個(gè)基于時(shí)空特征提取的卷積神經(jīng)網(wǎng)絡(luò)，可以在不進(jìn)行預(yù)處理和額外特征提取的情況下，自主學(xué)習(xí)最優(yōu)的時(shí)空濾波器參數(shù)，加上在小樣本情況下優(yōu)化腦電信號(hào)在CNN網(wǎng)絡(luò)中訓(xùn)練的一些策略，可以達(dá)到較好的識(shí)別效果。

1 基于時(shí)空特征的卷積神經(jīng)網(wǎng)絡(luò)模型設(shè)計(jì)

1.1 卷積神經(jīng)網(wǎng)絡(luò)模型

卷積神經(jīng)網(wǎng)絡(luò)[12]是一種經(jīng)典的深度學(xué)習(xí)算法，與傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)模型相比，采用局部連接和權(quán)值共享的方法以提高反向傳播的訓(xùn)練效率。卷積神經(jīng)網(wǎng)絡(luò)一般包括卷積層和池化層。卷積層通過(guò)卷積核與信息對(duì)象的卷積運(yùn)算，將原始信息的特征變換到不同的特征空間，提取信息對(duì)象不同層次的特征信息。池化層[13]為下采樣操作，對(duì)數(shù)據(jù)進(jìn)行合并以減少數(shù)據(jù)規(guī)模，能夠減少網(wǎng)絡(luò)過(guò)擬合的程度，包括最大值合并、平均值合并和隨機(jī)合并等。

本文提出一種基于時(shí)空特征的卷積神經(jīng)網(wǎng)絡(luò)模型(Temporal-Spatial Features Convolution Neural Network，TSCCN)設(shè)計(jì)，主要包括第一層時(shí)空卷積層、兩層時(shí)序卷積層和一層全連接層，最后通過(guò)Softmax分類器輸出分類結(jié)果，其結(jié)構(gòu)如圖1所示。其中第一層時(shí)空卷積層是整個(gè)模型的核心，負(fù)責(zé)提取運(yùn)動(dòng)想象腦電信號(hào)的時(shí)空特征，在1.2節(jié)進(jìn)行詳細(xì)介紹，之后兩層時(shí)序卷積層是對(duì)EEG信號(hào)時(shí)空特征進(jìn)一步提取不同層次的局部特征，再輸入到全連接層，將學(xué)習(xí)到的EEG信號(hào)特征映射到樣本標(biāo)記空間，完成分類識(shí)別。

1.2 時(shí)空卷積層

本模型的第一層是時(shí)空卷積層，主要包括兩層的卷積神經(jīng)網(wǎng)絡(luò)，分別為時(shí)間卷積層和空間卷積層，如圖2所示。

時(shí)間卷積層的濾波器維度為(1,TFlength)，TFlength為卷積核的長(zhǎng)度，這一層實(shí)質(zhì)是由模型自主學(xué)習(xí)時(shí)間濾波器的參數(shù)范圍，選擇最優(yōu)的不同頻段的信息，因此對(duì)比傳統(tǒng)的腦電信號(hào)處理方法，本文的方法可以不用濾波預(yù)處理?？臻g卷積層的濾波器維度為(SFlength,1)，SFlength對(duì)應(yīng)EEG信號(hào)的電極數(shù)(本文為22)，對(duì)全部電極進(jìn)行卷積運(yùn)算，主要用于學(xué)習(xí)不同電極的權(quán)重信息，類似于共空間模式(CSP)對(duì)電極的排序選擇，這里是由模型自主學(xué)習(xí)不同電極的權(quán)重參數(shù)。在時(shí)間卷積層和空間卷積層之后采用指數(shù)線性單元(Exponential Linear Units，ELU)作為激活函數(shù)，最后再經(jīng)過(guò)池化層將特征進(jìn)行降采樣操作，減少運(yùn)算量，防止過(guò)擬合。這一層的計(jì)算公式為：

(1)

(2)

(3)

(4)

2 實(shí)驗(yàn)介紹

2.1 實(shí)驗(yàn)數(shù)據(jù)

本文的實(shí)驗(yàn)數(shù)據(jù)集采用的是BCI Competition IV Dataset 2a(http://www.bbci.de/competition/iv/)，數(shù)據(jù)來(lái)自9名身體健康、右撇子和視力正常的受試志愿者[14]，運(yùn)動(dòng)想象的類型有4樣，分別為左手、右手、腳和舌頭。數(shù)據(jù)采集電極分布如圖3所示，單極記錄所有信號(hào)，共有22個(gè)EEG通道和3個(gè)EOG通道，以左乳突為參照，右乳突為地信號(hào)。信號(hào)采樣頻率為250 Hz，帶通濾波范圍為0.5～100 Hz，放大器的靈敏度被設(shè)置為100 μV，另外一個(gè)50 Hz陷波濾波器被用來(lái)抑制線噪聲。

數(shù)據(jù)采集范式如圖4所示，在每一次實(shí)驗(yàn)開(kāi)始(0秒)，會(huì)發(fā)有蜂鳴聲，之后屏幕出現(xiàn)一個(gè)固定的“十”字光標(biāo)，持2秒，之后出現(xiàn)運(yùn)動(dòng)想象標(biāo)識(shí)(左手、右手、腳和舌頭)，持續(xù)1.25秒，在第3秒到6秒為運(yùn)動(dòng)想象階段，之后休息，開(kāi)始下一次實(shí)驗(yàn)。數(shù)據(jù)集總共有9個(gè)人，每個(gè)人進(jìn)行6輪的運(yùn)動(dòng)想象采集，每一輪4種運(yùn)動(dòng)想象類型(左手、右手、腳和舌頭)實(shí)驗(yàn)各12次，因此每個(gè)人總共有288次的運(yùn)動(dòng)想象實(shí)驗(yàn)樣本作為訓(xùn)練數(shù)據(jù)集，另外還有相同數(shù)量的測(cè)試數(shù)據(jù)集。

2.2 優(yōu)化策略

EEG信號(hào)的采集在技術(shù)、設(shè)備和時(shí)間上都具有一定的要求和限制，因此會(huì)存在樣本數(shù)量不足的情況。例如，本文所用的BCI Competition IV Dataset 2a運(yùn)動(dòng)想象腦電數(shù)據(jù)，每個(gè)人的訓(xùn)練樣本數(shù)僅為288。因此，需要采取一些優(yōu)化策略來(lái)解決小樣本的問(wèn)題，并且加快訓(xùn)練收斂速度。

(1) 分段處理。本文對(duì)EEG信號(hào)分段處理再進(jìn)行訓(xùn)練，對(duì)于同一個(gè)樣本信號(hào)，具有相同的標(biāo)簽，共用一個(gè)模型參數(shù)計(jì)算反向誤差。如圖5所示，取運(yùn)動(dòng)想象EEG信號(hào)對(duì)應(yīng)數(shù)據(jù)段的前0.5秒和后1秒的數(shù)據(jù)，將信號(hào)分為EEG分段1和EEG分段2兩段相同長(zhǎng)度的信號(hào)，這樣可以加大樣本數(shù)量，提高識(shí)別準(zhǔn)確率。

(2) 膨脹卷積。空洞卷積(Dilation Convolution)在需要全局信息的圖像處理或者需要較長(zhǎng)語(yǔ)句信息的語(yǔ)音、文本處理中都能很好的應(yīng)用[15]，其操作就是擴(kuò)大卷積核，不改變卷積核相應(yīng)位置的參數(shù)，其他位置用0來(lái)擴(kuò)展。EEG信號(hào)為時(shí)序信息，相鄰節(jié)點(diǎn)所包含的信息比較相似具有冗余性，應(yīng)用膨脹卷積可以加大卷積核的感受視野，讓每個(gè)卷積輸出都包含較大范圍的信息。一維的空洞卷積只是在時(shí)序方向進(jìn)行擴(kuò)展，如圖6所示，例如對(duì)于一個(gè)大小為(1，5)的卷積核，感受的范圍有10個(gè)時(shí)序點(diǎn)。

(3) 批標(biāo)準(zhǔn)化。批標(biāo)準(zhǔn)化(Batch Normalization)[16]將每個(gè)卷積層的輸出結(jié)果進(jìn)行標(biāo)準(zhǔn)化運(yùn)算(均值為0方差為1的正態(tài)分布)后再送入下一層，這樣可以使CNN的批訓(xùn)練過(guò)程中每一層神經(jīng)網(wǎng)絡(luò)的輸入保持相同分布，從而加快訓(xùn)練的收斂速度，Batch Normalization層設(shè)置在激活層之前。

(4) dropout。dropout是指在深度學(xué)習(xí)網(wǎng)絡(luò)的訓(xùn)練過(guò)程中，按照一定的概率p將神經(jīng)網(wǎng)絡(luò)單元暫時(shí)從網(wǎng)絡(luò)中丟棄[17]。在機(jī)器學(xué)習(xí)的模型中，如果模型的參數(shù)太多，而訓(xùn)練樣本又太少，訓(xùn)練出來(lái)的模型很容易產(chǎn)生過(guò)擬合的現(xiàn)象。通過(guò)dropout，讓一些隱藏節(jié)點(diǎn)的權(quán)重暫時(shí)不加入網(wǎng)絡(luò)，它可以有效防止過(guò)擬合。

2.3 模型訓(xùn)練及評(píng)價(jià)指標(biāo)

本文采用Early Stopping來(lái)訓(xùn)練模型，將訓(xùn)練數(shù)據(jù)集的30%作為驗(yàn)證數(shù)據(jù)集，設(shè)置停止訓(xùn)練的原則為：每個(gè)epoch結(jié)束后，在驗(yàn)證集上驗(yàn)證測(cè)試結(jié)果，如果連續(xù)10個(gè)epoch內(nèi)驗(yàn)證集的最低誤差值都沒(méi)有變化或者超過(guò)最大訓(xùn)練次數(shù)60，則停止訓(xùn)練，以驗(yàn)證集最低誤差值所對(duì)應(yīng)的模型作為最優(yōu)的模型，對(duì)測(cè)試數(shù)據(jù)集進(jìn)行檢驗(yàn)。模型訓(xùn)練batch大小設(shè)置為60，反向傳播訓(xùn)練，使用自適應(yīng)動(dòng)量估計(jì)優(yōu)化器(Adaptive Moment Estimation，Adam)進(jìn)行參數(shù)學(xué)習(xí)，學(xué)習(xí)速率為0.001。采用交叉熵(Cross Entropy)指標(biāo)作為損失函數(shù)，其定義如下：

(5)

式中：L為誤差損失值；K為分類類別數(shù)量；yi對(duì)應(yīng)i分類標(biāo)簽；pi為i分類通過(guò)Softmax層輸出的概率。

由準(zhǔn)確率Accuracy和kappa系數(shù)來(lái)衡量分類結(jié)果。

(6)

(7)

式中：TP為真陽(yáng)性；TN為真陰性；FP為假陽(yáng)性；FN假陰性。kappa系數(shù)的計(jì)算基于混淆矩陣，p0為分類準(zhǔn)確率，其值等于準(zhǔn)確率Accuracy，pe為預(yù)測(cè)與實(shí)際一致性概率，其值等于分類類別對(duì)應(yīng)的實(shí)際與預(yù)測(cè)數(shù)量的乘積總和再除以樣本總數(shù)的平方，kappa系數(shù)用來(lái)表示分類識(shí)別的一致性級(jí)別，如表1所示。

表1 kappa系數(shù)一致性

3 結(jié)果分析

3.1 模型參數(shù)分析

時(shí)間卷積層的卷積核維度(1,TFlength)，TFlength對(duì)于分類結(jié)果有著重要的影響。如果TFlength取值太小，會(huì)忽略EEG信號(hào)在時(shí)序上的關(guān)聯(lián)信息，如果取值太大，會(huì)加入太多無(wú)關(guān)的特征信息，并且增加計(jì)算量。另外，在時(shí)空卷積層之后，CNN卷積層的數(shù)量對(duì)分類結(jié)果也有較大影響，不同的時(shí)間卷積核長(zhǎng)度和卷積層數(shù)對(duì)模型的分類性能影響如圖7所示，CNN1、CNN2、CNN3分別代表時(shí)空卷積層后加1層卷積層，2層卷積層和3層卷積層。結(jié)果表明，CNN層增加到3層平均分類準(zhǔn)確率反而下降，主要原因是數(shù)據(jù)樣本量太少，網(wǎng)絡(luò)參數(shù)太多導(dǎo)致過(guò)擬合，當(dāng)TFlength取值30，在時(shí)空卷積層之后再加2層CNN卷積層，可以取得最佳的平均分類準(zhǔn)確率。

3.2 實(shí)驗(yàn)結(jié)果

對(duì)于9名受試者，準(zhǔn)確率和kappa系數(shù)值如表2所示，本文所提出的方法對(duì)9名受試者4類運(yùn)動(dòng)想象類型的識(shí)別準(zhǔn)確達(dá)到78.8%，平均kappa系數(shù)為0.72，能夠取得較好的分類效果。Subject2、Subject5和Subject6三名受試者的識(shí)別效果較差，主要是由于腦電信號(hào)采集時(shí)干擾較大，樣本數(shù)量不足，無(wú)法訓(xùn)練學(xué)習(xí)到最佳的時(shí)空特征。

表2 9名受試者實(shí)驗(yàn)結(jié)果

9名受試者在測(cè)試數(shù)據(jù)集上全部分類結(jié)果的混淆矩陣如圖8所示，可見(jiàn)本文的方法對(duì)腳部運(yùn)動(dòng)的識(shí)別效果最好，對(duì)左手運(yùn)動(dòng)的識(shí)別效果較差。

3.3 方法比較

為了評(píng)估本方法的識(shí)別性能，與其他文獻(xiàn)的方法進(jìn)行比較，采用kappa系數(shù)作為比較指標(biāo)，結(jié)果如表3所示，本文總體識(shí)別效果優(yōu)于對(duì)比的方法。其中文獻(xiàn)[18-19]的方法屬于經(jīng)典CSP算法的變型與改進(jìn)，主要是利用腦電信號(hào)矩陣的對(duì)角化，找到一組最優(yōu)空間濾波器進(jìn)行投影，使得分類信號(hào)的方差值差異最大化，從而得到具有較高區(qū)分度的特征向量，再結(jié)合機(jī)器學(xué)習(xí)分類算法進(jìn)行識(shí)別。文獻(xiàn)[20]是根據(jù)腦電信號(hào)的二階統(tǒng)計(jì)特性，將后驗(yàn)概率的對(duì)稱變換建模為線性函數(shù)，再通過(guò)線性回歸進(jìn)行參數(shù)學(xué)習(xí)完成分類。文獻(xiàn)[8]和文獻(xiàn)[9]是在根據(jù)CSP算法特征提取之后，將特征向量組成特征矩陣再采用CNN算法進(jìn)行識(shí)別。本文則是利用CNN算法進(jìn)行時(shí)空特征提取再進(jìn)行識(shí)別，可見(jiàn)結(jié)合深度學(xué)習(xí)算法的大腦運(yùn)動(dòng)想象的識(shí)別效果要比優(yōu)于傳統(tǒng)的特征提取算法，這也是未來(lái)BCI的重要研究方向之一。

表3 不同方法的kappa系數(shù)

續(xù)表3

4 結(jié) 語(yǔ)

本文提出了一種基于時(shí)空特征提取的卷積神經(jīng)網(wǎng)絡(luò)方法，包括一個(gè)時(shí)間域的卷積核和一個(gè)空間域的卷積核心，可以自主學(xué)習(xí)時(shí)間和空間濾波器參數(shù)，從而提取有價(jià)值的多路腦電信號(hào)的時(shí)空間特征，并結(jié)合分段、膨脹卷積等優(yōu)化策略，完成運(yùn)動(dòng)想象分類識(shí)別。在BCI Competition IV Dataset 2a數(shù)據(jù)集上取得78.8%的準(zhǔn)確率和0.72的kappa系數(shù)。該方法可以免去腦電信號(hào)復(fù)雜的預(yù)處理和特征提取過(guò)程，并在小樣本的情況下取得較好的運(yùn)動(dòng)想象分類效果，為基于多路腦電信號(hào)的運(yùn)動(dòng)想象分類提供一種新的方法。