基于GST-ECNN的運動想象腦電信號識別方法

金海龍, 鄔 霞, 樊鳳杰, 王金萍

(燕山大學 河北省測試計量技術(shù)及儀器重點實驗室, 河北 秦皇島 066004)

1 引 言

腦-機接口技術(shù)(brain-computer interface,BCI)是一種涉及神經(jīng)科學、信號檢測、信號處理和模式識別等多學科的交叉技術(shù),其主要功能是在人腦和外部設(shè)備之間建立起直接的交流與控制通道。通過對腦電(electroencephalogram,EEG)信號進行有效解碼,使得身體嚴重殘疾但大腦意識正常的患者能夠自主與外界交流成為可能,故BCI技術(shù)在康復(fù)領(lǐng)域獲得了廣泛應(yīng)用[1]。

運動想象腦電信號的分類識別主要包括4個步驟：數(shù)據(jù)采集、數(shù)據(jù)預(yù)處理、特征提取和分類。目前,眾多研究者研究了不同的運動圖像特征提取和圖像分類的方法：Fu等應(yīng)用稀疏共空間模式(sparse common spatial pattern, SCSP)對腦電信號進行特征提取,并采用線性判別分析(linear discriminant analysis, LDA)進行分類,此方法多用于二分類任務(wù)中[2]；Hu等使用短時傅里葉變換(short-time Fourier transform, STFT)和CNN的組合對運動想象腦電信號進行分析,并取得了不錯的分類準確率,但STFT具有窗函數(shù)尺寸固定的缺陷[3]；Hsu等利用小波變換(wavelet transform,WT)對腦電信號進行特征提取,雖然此算法克服了STFT窗函數(shù)尺寸固定的不足,但其存在容易丟失局部頻率之間的連接,合適的母波函數(shù)難以選擇等缺點[4]；Dai等提出了一種混合尺度CNN結(jié)構(gòu)(HS-CNN),該結(jié)構(gòu)可以在混合尺度上進行卷積,以提高分類準確率[5]；Lawhern等提出了一種基于腦電BCIs的精簡卷積神經(jīng)網(wǎng)絡(luò)(enhanced convolutional neural network, ECNN)腦電網(wǎng)絡(luò),引入深度卷積和可分離卷積構(gòu)建腦電圖特征模型,封裝了腦機接口腦電圖特征提取的概念[6]；Tabar等提出了一種結(jié)合CNN和棧式自動編碼器(stacked autoencoders, SAE)的方法,利用CNN進行特征提取,SAE進行分類,獲得了更好的分類準確率[7]。隨著研究的深入和多樣化,深度信念網(wǎng)絡(luò)DBN(deep belief network)和混合遷移學習HTR(hybrid transfer learning)作為分類器在運動想象分類中也取得了不俗的成果[8,9]。

目前,對多通道腦電信號進行通道選擇的研究主要有：Chaurasiya等通過改進支持向量機(support vector machine, SVM)算法進行通道選擇[10]；付榮榮等提出了一種貪婪搜索的方法得出了最佳通道組合[11]；Arvaneh等充分考慮通道間的相關(guān)性,通過在CSP中加入l0范數(shù)正則化引入稀疏實現(xiàn)通道選擇,并得到了較好的分類效果[12]。

針對目前存在的一些問題,本研究旨在對多通道腦電信號進行特征提取和分類以實現(xiàn)運動想象的解碼。首先利用廣義S變換(generalized S transform, GST)進行腦電信號特征提取,再結(jié)合Relief算法和向前選擇搜索策略(forward selection search strategy,FSSS)的包裹式方法進行通道選擇,最后利用引入SELU激活函數(shù)和分層正則化的增強卷積神經(jīng)實現(xiàn)特征分類。利用第Ⅳ屆BCI的數(shù)據(jù)集I對本研究提出的算法組合進行了驗證。

2 材料與方法

2.1 數(shù)據(jù)集準備

本研究使用的驗證數(shù)據(jù)集來源于BCI比賽第Ⅳ屆的數(shù)據(jù)集I[13]。實驗中每位受試者根據(jù)屏幕上出現(xiàn)的左手、右手或者腳3類指示類別選擇2類進行想象運動,每人進行200次無反饋實驗,采樣通道數(shù)為59,采樣頻率為1 000 Hz,數(shù)據(jù)集中a、b、f、g為真實數(shù)據(jù),c、d、e為人工合成數(shù)據(jù)。為了后續(xù)實驗的進行,先對數(shù)據(jù)集進行100 Hz降采樣,再對數(shù)據(jù)集進行有效數(shù)據(jù)段的截取,選取其中最有效的4 s數(shù)據(jù),最后使用FIR數(shù)字濾波器進行1～30 Hz的帶通濾波,人工剔除眼電和肌電偽跡等[14]。

2.2 基于廣義S變換的特征提取算法

S變換是地球物理學家Stockwell在1996年提出的一種時頻分析方法[15]。它吸收并發(fā)展了短時傅里葉變換(STFT)與連續(xù)小波變換(CWT)。它既克服了STFT窗口高度和寬度固定的缺陷,同時含有相位因子,這是CWT所不具有的特性。

一維連續(xù)S變換表達式如式(1)、式(2)所示：

(1)

(2)

式中：x(t)為信號函數(shù)；f為頻率；τ為平移因子；控制窗口函數(shù)在時間軸t上的位置；i為虛函數(shù)；Sx(τ, f)為變換之后的時頻譜矩陣；w(t-τ, f)為高斯窗函數(shù)；σ1(f)為窗函數(shù)的標準差,其與頻率f密切相關(guān),表達式如式(3)：

(3)

標準差函數(shù)σ1(f)的存在正是ST優(yōu)于其它時頻分析方法的主要原因。ST采用高斯窗函數(shù)作為窗口函數(shù),其窗寬與頻率的導(dǎo)數(shù)成比例,即在低頻處具有優(yōu)越的時間和頻率分辨率,在高頻處也具有良好的時間分辨率。但是,由式(2)、式(3)可知,標準差函數(shù)固定為頻率倒數(shù)導(dǎo)致窗函數(shù)對于所有頻率范圍內(nèi)的函數(shù)都是固定的,而腦電信號具有頻率成分多、易受采集環(huán)境和受試者情緒影響等特點,故某些情況下ST得到的時頻分辨率還不夠理想。因此,基于ST的改進方法被提出,廣義S變換(GST)就是其中之一。

GST與ST的主要區(qū)別在于引入p和q兩個自適應(yīng)參數(shù),改進了ST的高斯窗函數(shù),其表達式見式(4)～式(6)：

(4)

(5)

(6)

由式(6)可知,當p=1,q=1時,GST為ST,即ST是GST的特殊情況。GST能根據(jù)腦電信號的頻率分布,靈活得調(diào)節(jié)窗函數(shù)隨頻率尺度f的變化趨勢,GST比ST具有更好的靈活性和實用性。

(7)

由于正常成年人運動想象腦電的主要成分集中在alpha節(jié)律(8～13 Hz)、beta節(jié)律(14～30 Hz),故選取PSD特征的頻率范圍為7～30 Hz。每次實驗的單通道特征提取過程如圖1所示。每次實驗經(jīng)過GST時頻映射和PSD特征計算,最終提取到24個特征值,單次試驗59個通道最終能提取到1 416(59×24)個特征值。

圖1 單次實驗單通道特征提取過程圖Fig.1 Single-channel feature extraction process diagram of a single experiment

2.3 包裹式通道選擇方法

由于腦電信號為多通道數(shù)據(jù),從多通道中剔除無關(guān)或與腦電分類相關(guān)性低的通道,挑選出最優(yōu)組合,既能提高分類準確率又能提高分類效率。本研究提出了一種結(jié)合Relief算法和向前選擇搜索策略(FSSS)的包裹式方法進行通道選擇,其流程圖如圖2 所示。本文數(shù)據(jù)集為59通道,經(jīng)過Relief計算后丟棄了權(quán)重靠后的20個通道。剩余的39通道計算平均準確率m和每個通道的分類準確率k(i),準確率排名前n個通道準確率稍大于或者等于39通道準確率m,此后依次增加一個通道,增加通道后的準確率(ACC)若大于m,則保留此通道,若小于或者等于m,則丟棄此通道,以此類推,直到39個通道遍歷完畢,確定最后的最佳通道組合K。

圖2 包裹式通道選擇方法流程圖Fig.2 Flow diagram of wrapped channel selection method

在通道選擇模型中,Relief算法能夠根據(jù)各個通道特征和類別的相關(guān)性賦予特征不同的權(quán)重,并按照從小到大排序。本研究將權(quán)重值排名后20個通道直接丟棄,以達到對數(shù)據(jù)快速降維的作用。在此基礎(chǔ)上,再采用FSSS挑選出最佳通道組合K,為后續(xù)的分類判別做好準備。通過對比實驗證明,最后保留24個通道既保留了絕大多數(shù)的優(yōu)質(zhì)通道,又利于后續(xù)的卷積神經(jīng)網(wǎng)絡(luò)的計算。

2.4 增強卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)常用的激活函數(shù)是ReLU,但其具有一定的局限性。當學習率較高時,容易形成過多的死亡節(jié)點,導(dǎo)致訓(xùn)練中斷。當學習率較小時,網(wǎng)絡(luò)很容易陷入局部最優(yōu)。為了克服上述缺陷,本文使用SELU激活函數(shù)來訓(xùn)練模型。SELU引入了一種自歸一化屬性,在有效避免死亡節(jié)點的同時自動收斂到零均值和單位方差。SELU函數(shù)由Günter Klambauer提出[16],定義為：

(8)

式中:λ=1.050 7;α=1.673 3。SELU函數(shù)具有以下優(yōu)點[17]:(1) 可以訓(xùn)練多層深度神經(jīng)網(wǎng)絡(luò);(2) 采用強正則化;(3) 增強了網(wǎng)絡(luò)學習的魯棒性。

深度學習模型中不同層的輸出具有不同的維度,故各層的承載能力也不同。若所有層使用同一個正則化參數(shù),很容易導(dǎo)致過度正則化。為了克服這個缺陷,本文對不同層使用不同的正則化參數(shù),由于每一層的矩陣維數(shù)代表逐層遞減深度的特征,遵循正則化參數(shù)值逐層遞減的原則,將前隱層的特征矩陣廣義定義為粗粒度數(shù)據(jù),將其他層的特征矩陣廣義定義為細粒度數(shù)據(jù),以此可以獲得更好的分類精度。

如圖3所示為7層ECNN的分類結(jié)構(gòu)圖,包括：輸入層、第一層卷積層、第一層池化層、第二層卷積層、第二層池化層、全連接層和softmax層。ECNN模型各項參數(shù)如表1所示。通過比較不同正則化強度組合的精度,將第1、2層的正則化強度分別設(shè)為0.1、0.05為最佳。

圖3 7層ECNN的分類結(jié)構(gòu)圖Fig.3 Classification structure diagram of 7-layers ECNN

表1 網(wǎng)絡(luò)訓(xùn)練參數(shù)設(shè)置Tab.1 Network training parameter settings

3 實驗結(jié)果與分析

3.1 GST參數(shù)的確定

時頻分析算法GST與ST最主要的區(qū)別在于,GST引入了2個參數(shù)p和q,改造了ST的高斯窗函數(shù),使GST具有更靈活多變的窗函數(shù)。圖4是基于ST和GST的時頻圖。由圖可以看出GST時頻圖像比ST時頻圖像的幅值更高,時頻帶寬更寬,且GST能量帶更加清晰,GST在時頻域比ST具有更理想的時頻空間分布和更高的時頻分辨率,進一步說明GST具有更強的特征提取能力。

圖4 時頻圖Fig.4 Time-frequency diagram

GST特征提取的能力與參數(shù)p和q密切相關(guān)。p和q的不同取值,決定窗函數(shù)的窗口寬度不同,提取到的特征也不盡相同。因此,為選取到最佳參數(shù)組合,需要通過實驗不斷尋優(yōu)。圖5為不同的p、q取值時,對應(yīng)的分類準確率。由圖5可以看出,當p=0.50～0.52時,系統(tǒng)都能取得較高的分類準確率,其中,當q=1時,分類準確率最高,能達到98%左右。

圖5 p和q的取值與分類準確率的關(guān)系圖Fig.5 The relationship between the values of p and q and the classification accuracy

3.2 最佳通道的確定

本文提出的包裹式通道選擇包括2個步驟：1) Relief算法權(quán)重篩選；2) 向前選擇搜索策略(FSSS)二次篩選。

首先,利用Relief算法計算每一個通道的權(quán)重,根據(jù)權(quán)重的大小進行第一輪的通道篩選。以數(shù)據(jù)集g為例,該數(shù)據(jù)集59通道的權(quán)重分布如圖6所示。由圖6可以看出,前36個通道(除通道4以外)的權(quán)重占比較高,后23個通道雖然也有個別通道權(quán)重較高,但是總體權(quán)重較低。第1輪篩選將權(quán)重排名后20位的通道(4、34、37～39、42～44、47～48、50～59)直接剔除其次,再利用本文提出的FSSS進行第2輪通道篩選。第1輪篩選后的39通道平均準確率為94.36%,39個通道的平均準確率見圖7所示。按照本文提出的FSSS方法,剔除掉干擾通道之后保留下的24個優(yōu)質(zhì)通道如圖7中紅色標注所示。從選中的通道可以看出,絕大多數(shù)準確率高的通道都被選中,但其中包含幾個準確率不高的通道(如通道12、22、29),推測原因可能是因為通道之間的聯(lián)系也是通道選擇重要考慮的因素之一。

圖6 數(shù)據(jù)集g的59個通道權(quán)重占比分布圖Fig.6 Distribution of 59 channel weights in dataset g

圖7 39個通道的平均準確率及選中通道示意圖Fig.7 The average accuracy of 39 channels and the schematic diagram of the selected channels

3.3 分類結(jié)果評價

本研究使用的數(shù)據(jù)集中a、b、f、g為真實數(shù)據(jù),c、d、e為人工合成數(shù)據(jù),分別對7個數(shù)據(jù)集進行GST特征提取、包裹式通道選擇、改進卷積神經(jīng)網(wǎng)絡(luò)特征分類,為了減少結(jié)果的隨機性,采用10折交叉驗證,分類結(jié)果如表2、表3所示。

表2 真實數(shù)據(jù)分類結(jié)果Tab.2 Classification results of real data

表3 合成數(shù)據(jù)分類結(jié)果Tab.3 Classification results of synthetic data

表2、表3中,ACC(accuracy)為準確率,SPE(specificity)為特異性,SEN為(sensitivity)為靈敏度,PPV(positive predictive value)為陽性預(yù)測值,AUC(area under curve)為工作特性曲線下面積,STD(standard deviations)為各自的標準差。由表2可以看出,受試者g獲得了最好的分類效果,其平均準確率高達98.44±0.5%,AUC值高達93.36±1.4%,4個真實受試者的平均分類準確率達到了93.17±2.0%。通過表2、表3的對比可知,真實數(shù)據(jù)(a、b、f、g)的各項統(tǒng)計參數(shù)值普遍高于人工合成數(shù)據(jù)(c、d、e)。

由于采集的腦電數(shù)據(jù)因人而異,每位受試者最后選中的24個通道各不相同,但均獲得較好的分類結(jié)果,進一步說明了本研究提出方法的有效性和普遍適用性。

4 討 論

在BCI腦機接口系統(tǒng)中,能快速有效地從原始腦電信號中進行特征的提取并準確的分類是任務(wù)的關(guān)鍵。本文提出利用廣義S變換算法解碼EEG數(shù)據(jù)并提取7～30 Hz的24個PSD特征,再利用提出的結(jié)合Relief算法和向前選擇搜索策略的包裹式方法進行通道選擇,挑選出24個高質(zhì)量通道組合,最后將得到的n個24×24矩陣輸入增強的卷積神經(jīng)網(wǎng)絡(luò)進行分類。

與Chang等[18]采用ST算法提取PSD特征相比,雖然他們也提取到明顯的特征并獲得了較好的分類結(jié)果,但是本文采用的GST算法提取PSD特征的方法更加靈活,能量的聚集性更好,提取的特征更加明顯。付榮榮等提出的利用SCSP提取特征,貪婪搜索模式挑選通道,Fisher進行分類,最后得到真實數(shù)據(jù)平均準確率90.73%,合成數(shù)據(jù)平均準確率80.13%,雖然該方法保留的信道較少(3～5個),但本文提出的方法在真實數(shù)據(jù)平均準確率提高2.44%,合成數(shù)據(jù)平均準確率提高了5.11%,在分類精度上略占優(yōu)勢。Xu等[19]利用GST提取特征,采用優(yōu)化包裹式方法挑選出32個信道組合,最后以32×32的矩陣輸入CNN進行分類得到最高97%的準確率。與本文提出的方法相比,其分類準確率略低,且該方法保留的通道更多,使得計算負擔更重,計算效率更低。另一方面,本文提出的ECNN比該方法使用的CNN擁有更優(yōu)的過擬合能力和更高的魯棒性。此外,本文的研究結(jié)果證明,真實的腦電數(shù)據(jù)與人工合成的數(shù)據(jù)各分類指標差異較大,即本文提出的方法也可作為區(qū)分真實數(shù)據(jù)與合成數(shù)據(jù)的一種手段。

5 結(jié) 論

針對運動想象腦電信號解碼過程中遇到的新問題,本文提出了一種基于廣義S變換特征提取和增強卷積神經(jīng)網(wǎng)絡(luò)分類的方法,并創(chuàng)新性地提出包裹式通道選擇方法,獲得了最好98.44%的分類精度。與傳統(tǒng)的ST算法相比,GST提取特征的頻率范圍更廣,提取到的特征更加明顯；與傳統(tǒng)的CNN相比,提出的ECNN能獲得更高的分類精度和具有更好的適應(yīng)性；此外,提出的包裹式通道選擇方法,有效減少了模型的計算負擔,提高了分類效率。實驗結(jié)果充分證明,本文提出的方法實現(xiàn)了對多通道的運動想象腦電信號正確、高效地分類。