基于3DC-BGRU的腦電情感識(shí)別

胡章芳，劉鵬飛，蔣 勤，羅 飛，王明麗

1.重慶郵電大學(xué) 光電工程學(xué)院，重慶 400065

2.重慶郵電大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，重慶 400065

1 引言

情感計(jì)算在醫(yī)學(xué)領(lǐng)域、教育領(lǐng)域、道路安全領(lǐng)域都有著非常重要的作用[1-3]。當(dāng)前情感識(shí)別主要圍繞人臉表情、語音、手勢(shì)等非生理信號(hào)進(jìn)行。而基于腦電信號(hào)（Electroencephalogram，EEG）這種生理信號(hào)的情感識(shí)別由于能夠避免情感的偽裝性以及主觀性，能更好地評(píng)價(jià)人的情感狀態(tài)，正逐漸成為情緒識(shí)別領(lǐng)域的研究重點(diǎn)[4]。

傳統(tǒng)的基于腦電信號(hào)模式識(shí)別是將特征提取和特征分類分開進(jìn)行的。常用的特征提取方法主要是基于時(shí)域、頻域、時(shí)頻域和空域特征。基于時(shí)域的特征主要有能量特征[5]和幅值特征[6]；基于頻域的特征主要有功率譜密度（Power Spectral Density，PSD）[7]和自回歸系數(shù)（Auto Regressive，AR）[8]；基于時(shí)頻域的特征提取方法主要有小波變換（Wavelet Transform，WT）[9]、小波包變換（Wavelet Packet Transform，WPT）[10]和經(jīng)驗(yàn)?zāi)B(tài)分解（Empirical Mode Decomposition，EMD）[11]；基于空域特征的提取方法主要是共空間模式（Common Spatial Patterns，CSP）[12]。此外，也有學(xué)者對(duì)非線性動(dòng)力學(xué)特征進(jìn)行了研究，孫穎等[13]將非線性全局特征和譜特征融合對(duì)腦電情感識(shí)別，提高了分類準(zhǔn)確率。但是，以上這些傳統(tǒng)的特征提取方法都是根據(jù)經(jīng)驗(yàn)設(shè)計(jì)的手動(dòng)特征提取方法，易造成特征遺失，不能保證特征質(zhì)量，且計(jì)算復(fù)雜。傳統(tǒng)的特征分類方法有支持向量機(jī)（Support Vector Machine，SVM）[14]、K最近鄰（K-Nearest Neighbor，KNN）[15]和隱馬爾可夫模型（Hidden Markov Model，HMM）[16]，這些算法比較依賴于特征質(zhì)量，且自適應(yīng)能力不強(qiáng)。因此，設(shè)計(jì)一種腦電特征的自動(dòng)提取和分類模型是提高腦電信號(hào)識(shí)別率的關(guān)鍵。

深度學(xué)習(xí)是在神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上提出的一種機(jī)器學(xué)習(xí)模型，能將底層特征組合為更加抽象的高層特征，以發(fā)現(xiàn)數(shù)據(jù)的分布式特征表示[17]，能夠?qū)斎敫呔S數(shù)據(jù)進(jìn)行特征自動(dòng)提取和分類，因此，比較適合對(duì)腦電信號(hào)進(jìn)行分析。Zheng 等[18]用深度信念網(wǎng)絡(luò)（Deep Belief Network，DBN）代替?zhèn)鹘y(tǒng)的分類器對(duì)腦電情感進(jìn)行分類，識(shí)別率達(dá)到了86.08%，但是隨著訓(xùn)練參數(shù)的增加，DBN 訓(xùn)練變得困難，分類效果變差。隨后Li 等[19]采用卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）作為分類器對(duì)腦電情感進(jìn)行分類，相比于DBN而言，平均識(shí)別率提高了1.12%。但是文獻(xiàn)[18-19]都是將微分熵（Differential Entropy，DE）作為特征，未能很好地利用腦電信號(hào)的特征。此后，Moon 等[20]將原始腦電信號(hào)直接輸入CNN 模型進(jìn)行情緒識(shí)別。Zhang 等[21]設(shè)計(jì)了多層2DCNN結(jié)構(gòu)對(duì)腦電信號(hào)的時(shí)頻域信息進(jìn)行特征提取和分類。這兩種CNN模型雖然都達(dá)到了不錯(cuò)的分類效果，但是都沒有考慮到腦電信號(hào)各個(gè)通道之間的空間特征。另外，研究發(fā)現(xiàn)，長短時(shí)記憶（Long Short Term Memory，LSTM）、門控循環(huán)單元（Gated Recurrent Unit，GRU）等循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN）能很好地處理序列信息，學(xué)習(xí)序列的動(dòng)態(tài)信息。Wang 等[22]采用LSTM 對(duì)腦電特征進(jìn)行提取和分類，證實(shí)了此方法良好的分類性能。Roy 等[23]將GRU 應(yīng)用到癲癇檢測中，得到了很好的分類效果，并且實(shí)驗(yàn)結(jié)果表明，GRU 在處理腦電信號(hào)這種小樣本數(shù)據(jù)時(shí)優(yōu)于LSTM。進(jìn)一步研究發(fā)現(xiàn)CNN 提取的深層空間特征是一種序列形式，直接進(jìn)行分類會(huì)給分類器的學(xué)習(xí)帶來困難，而GRU能很好地處理序列信息，學(xué)習(xí)到特征序列的動(dòng)態(tài)信息，卻忽略了信號(hào)的空間特征，并且雙向門控循環(huán)單元（Bidirectional Gated Recurrent Unit，BGRU）的性能優(yōu)于GRU。

結(jié)合上面的分析，本文提出了一種基于3DC-BGRU的腦電特征自動(dòng)提取及情感識(shí)別方法。首先采用短時(shí)傅里葉變換（Short Time Fourier Transform，STFT）對(duì)腦電信號(hào)進(jìn)行處理，將多通道腦電信號(hào)構(gòu)建為一種全新的時(shí)間-頻率-通道的三維數(shù)據(jù)形式，然后引入三維卷積核，設(shè)計(jì)了一種新穎的卷積神經(jīng)網(wǎng)絡(luò)來提取三維數(shù)據(jù)的深層特征，最后在卷積神經(jīng)網(wǎng)絡(luò)之后設(shè)計(jì)了BGRU對(duì)深層特征序列信息進(jìn)行處理并配合Softmax進(jìn)行分類。相比于傳統(tǒng)的腦電識(shí)別，該算法可以自動(dòng)提取腦電特征，確保了特征質(zhì)量，且自適應(yīng)能力強(qiáng)；相比于當(dāng)前先進(jìn)的深度學(xué)習(xí)算法，該算法用時(shí)間-頻率-通道的三維信息取代原來的一維或者二維信息的輸入，避免了特征信息的遺漏，并且BGRU 能夠?qū)W習(xí)深層特征的動(dòng)態(tài)信息，從而提高識(shí)別的準(zhǔn)確性。

2 基于3DC-BGRU的腦電情感識(shí)別

腦電信號(hào)由多通道采集設(shè)備獲得，具有多通道特點(diǎn)，每個(gè)通道的輸出信號(hào)又具有豐富的時(shí)頻信息，如何充分利用這些信息是提高識(shí)別率的關(guān)鍵。本文充分考慮腦電信號(hào)的時(shí)頻信息以及各個(gè)通道之間的空間信息，提出了一種基于3DC-BGRU 的腦電情感識(shí)別方法，其模型框架如圖1所示。該模型主要包括3個(gè)模塊，即：信號(hào)預(yù)處理模塊、3DCNN模塊和BGRU模塊。

圖1 3DC-BGRU框架

信號(hào)預(yù)處理模塊：其主要作用是對(duì)腦電信號(hào)進(jìn)行變換，將輸入的腦電信號(hào)轉(zhuǎn)化成一種全新的三維數(shù)據(jù)類型，作為下一個(gè)模塊的輸入。

3DCNN模塊：本文引入三維卷積核，設(shè)計(jì)了一種新穎的多層卷積神經(jīng)網(wǎng)絡(luò)模型，其主要作用是對(duì)輸入的數(shù)據(jù)進(jìn)行深層特征提取。

BGRU模塊：該模塊的作用是對(duì)上一個(gè)模塊提取的深層特征序列進(jìn)行處理，對(duì)上下文信息進(jìn)行學(xué)習(xí)，并配合Softmax進(jìn)行分類。

2.1 信號(hào)預(yù)處理模塊的設(shè)計(jì)與構(gòu)建

信號(hào)預(yù)處理模塊是結(jié)合腦電信號(hào)豐富的時(shí)頻性以及多通道的特點(diǎn)，將多通道腦電信號(hào)轉(zhuǎn)換成一種全新的三維數(shù)據(jù)形式。首先，采用STFT 將每一個(gè)道的腦電信號(hào)轉(zhuǎn)化成時(shí)頻圖，如圖2所示。本文設(shè)置漢明窗的大小為128，步長為20，F(xiàn)FT 點(diǎn)數(shù)為256，采樣率與本文所用數(shù)據(jù)集的采樣率保持一致為200 Hz。經(jīng)過STFT，得到了大小為129×34 的時(shí)頻圖，其中129 和34 分別表示沿頻率軸和時(shí)間軸上的樣本數(shù)。

圖2 單通道時(shí)頻圖

文獻(xiàn)[18]表明與情感狀態(tài)相關(guān)的腦電信號(hào)主要分布在 beta（14～30 Hz）頻段和 gamma（31～50 Hz）頻段。進(jìn)一步從每一個(gè)通道的時(shí)頻圖中提取出14～50 Hz頻段所組成的二維時(shí)頻圖，這兩個(gè)頻段的時(shí)頻圖大小為48×34，如圖3所示。

圖3 14～50 Hz頻段時(shí)頻圖

考慮到腦電信號(hào)是多通道腦電采集設(shè)備獲得，進(jìn)一步將腦電信號(hào)按照時(shí)間、頻率和通道的形式處理成一種全新的三維數(shù)據(jù)形式，如圖4 所示。因此，經(jīng)過預(yù)處理得到的數(shù)據(jù)形式為48×34×C，其中48×34表示單通道時(shí)頻圖的大小，C代表腦電通道數(shù)，本文中C=62。

圖4 時(shí)間-頻率-通道三維數(shù)據(jù)形式

2.2 3DCNN模塊的設(shè)計(jì)與構(gòu)建

CNN能很好地處理腦電信號(hào)這種非線性非穩(wěn)定性的高維數(shù)據(jù)，CNN一般有卷積層和池化層組成，卷積層的作用是對(duì)輸入的數(shù)據(jù)進(jìn)行卷積操作，通過卷積計(jì)算，原始數(shù)據(jù)的特征得到增強(qiáng)。池化層對(duì)來自卷積層的特征圖進(jìn)行壓縮處理，降低特征維度，使網(wǎng)絡(luò)計(jì)算復(fù)雜度降低。

本文沒有采用傳統(tǒng)的CNN 直接將腦電信號(hào)作為CNN的輸入進(jìn)行一維或者二維卷積，而是將時(shí)間-頻率-通道三維數(shù)據(jù)作為本文CNN 模型的輸入，并引入三維卷積核，設(shè)計(jì)了一種新穎的3DCNN模型，對(duì)腦電信號(hào)的深層特征進(jìn)行充分提取。本文的3DCNN模型包括8個(gè)卷積層，2個(gè)池化層和8個(gè)批規(guī)范化（Batch Normalization，BN）層。卷積核的個(gè)數(shù)采用逐漸增加的方式，這樣設(shè)計(jì)是為了盡可能避免高層特征的丟失。本文設(shè)計(jì)的3DCNN模型結(jié)構(gòu)如圖5所示。

圖5 3DCNN模型框架圖

圖5中，前2個(gè)卷積層，每個(gè)卷積層均設(shè)置了大小為3×3×3的3維卷積核，可以對(duì)腦電信號(hào)時(shí)間、頻率和通道上進(jìn)行卷積，提取深層特征。前2個(gè)卷積層的卷積核個(gè)數(shù)設(shè)置為16 個(gè)，第3 和第4 個(gè)卷積核個(gè)數(shù)設(shè)置為32 個(gè)。其中前3 個(gè)卷積層的步長設(shè)置為1×1×1，第4 個(gè)步長設(shè)置為1×1×2。并且每一個(gè)卷積層后面都加入了BN 層，對(duì)數(shù)據(jù)分布做規(guī)范化處理，使梯度更具有預(yù)測性和穩(wěn)定性，能夠避免梯度消失或者爆炸的問題，同時(shí)能夠加快訓(xùn)練速度。然后，設(shè)置了池化層，池化大小設(shè)置為2×2×1，步長為2×2×1，這樣設(shè)置的目的是只在時(shí)間和頻率進(jìn)行池化，沒有對(duì)腦電通道進(jìn)行池化，避免了在通道上進(jìn)行下采樣，以便盡可能地保留通道信息。

第5和第6個(gè)卷積層設(shè)置了64個(gè)大小為3×3×5的卷積核，步長設(shè)置為1×1×1。第7 和第8 個(gè)卷積層分別設(shè)置128個(gè)大小為3×3×5的卷積核，其中第7個(gè)步長為1×1×1，第8卷積層步長為1×1×2。每個(gè)卷積層后面同樣設(shè)置了BN層。卷積之后再經(jīng)過池化，這里的池化也只對(duì)時(shí)間和頻率進(jìn)行池化，最終輸出腦電信號(hào)的深層特征。

2.3 BGRU模塊的設(shè)計(jì)與構(gòu)建

經(jīng)過上述3DCNN模塊得到的腦電信號(hào)深層特征是一種序列的形式。因此，需要對(duì)這些特征序列進(jìn)行進(jìn)一步的處理。RNN 能夠很好地對(duì)序列信息進(jìn)行處理，但是RNN易陷入梯度消失問題，為了解決這個(gè)問題，提出了 LSTM[24]和 GRU[25]，而 GRU 相比于 LSTM 而言，能夠處理較小的數(shù)據(jù)量，計(jì)算速度更快，能夠更好地解決梯度消失問題。因此，本文采用GRU 對(duì)深層特征序列信息進(jìn)行處理。GRU的結(jié)構(gòu)如圖6所示。

圖6 門控循環(huán)單元

GRU是通過重置門rt和更新門zt對(duì)序列信息進(jìn)行處理，其參數(shù)更新公式如式（1）～（4）所示：

式（1）～（4）中的h?t代表t時(shí)刻候選激活單元，ht代表t時(shí)刻的隱藏單元，σ代表激活函數(shù)，W,Wz,Wh,Ur,Uz,Uh代表網(wǎng)絡(luò)的權(quán)重參數(shù)，⊙代表逐元素相乘，tanh(x)代表雙曲線激活函數(shù)。

GRU 可以很好地對(duì)深層特征序列信息進(jìn)行處理，但是只能夠?qū)W習(xí)上文信息，無法兼顧對(duì)下文信息學(xué)習(xí)，為了更好地學(xué)習(xí)上下文信息，提高識(shí)別率，本文設(shè)計(jì)了BGRU 模塊。BGRU 的基本原理與GRU 相同，通過兩個(gè)方向相反的GRU 對(duì)輸入數(shù)據(jù)的序列信息進(jìn)行處理，實(shí)現(xiàn)對(duì)上下文信息的學(xué)習(xí)，再通過正向和反向傳播之后，將這兩個(gè)方向的輸出信息進(jìn)行融合并傳送到下一個(gè)隱藏層，克服了GRU 只能對(duì)上文信息進(jìn)行學(xué)習(xí)的缺點(diǎn)。本文構(gòu)建的BGRU模塊如圖7所示。

圖7 BGRU模塊

在圖7 中，首先將3DCNN 提取的深層特征經(jīng)過Reshape層，轉(zhuǎn)換成適合BGRU輸入的序列形式，然后考慮到整個(gè)模型的計(jì)算復(fù)雜度，設(shè)計(jì)了兩層BGRU對(duì)深層特征序列進(jìn)行處理，接著設(shè)計(jì)了全連接層（FC），它起到橋梁作用，連接BGRU和分類器Softmax，實(shí)現(xiàn)對(duì)腦電信號(hào)的最終分類識(shí)別。

3 實(shí)驗(yàn)分析

3.1 實(shí)驗(yàn)數(shù)據(jù)

本文所提出的算法在SEED[18]公開數(shù)據(jù)集進(jìn)行驗(yàn)證（http：//bcmi.sjtu.edu.cn/～seed/seed.html）。SEED數(shù)據(jù)集是上海交大建立的一個(gè)針對(duì)腦電情緒識(shí)別的數(shù)據(jù)集，它采集了15位（7名男生和8名女生）健康受試者的腦電信號(hào)。每個(gè)受試者做3 次實(shí)驗(yàn)，每次實(shí)驗(yàn)間隔一周左右，每次實(shí)驗(yàn)做15 組實(shí)驗(yàn)（積極、消極和中性3 種情緒狀態(tài)各做5 組）。實(shí)驗(yàn)過程采用電影片段進(jìn)行刺激，誘發(fā)相應(yīng)的情緒狀態(tài)，這些影片都是經(jīng)過精心剪輯的，以確保情緒狀態(tài)連貫誘發(fā)，每個(gè)電影片段剪輯的時(shí)長約4 min。在觀影的同時(shí)，采用62 通道的腦電采集設(shè)備對(duì)受試者腦電信號(hào)進(jìn)行采集。該數(shù)據(jù)集的數(shù)據(jù)由兩部分組成，一部分是去除眼電、肌電偽跡，降采樣為200 Hz的預(yù)處理之后的腦電數(shù)據(jù)；一部分是提取了6 種特征的腦電數(shù)據(jù)。本文采用SEED數(shù)據(jù)集中前一部分?jǐn)?shù)據(jù)。

為了保證所選用腦電信號(hào)的質(zhì)量，本文對(duì)每一次實(shí)驗(yàn)大約4 min 時(shí)長的腦電信號(hào)進(jìn)行截取，每次實(shí)驗(yàn)保留30～50 s 的腦電信號(hào)數(shù)據(jù)，這樣既能避免剛開始觀影情緒沒有處于穩(wěn)定狀態(tài)，又能夠避免長時(shí)間觀影造成疲勞，對(duì)情緒狀態(tài)產(chǎn)生影響。為了增加樣本數(shù)量，本文采用4 s無重疊時(shí)間窗對(duì)20 s數(shù)據(jù)進(jìn)行分段處理，每4 s代表一個(gè)樣本，共計(jì)3 375個(gè)干凈樣本，3種情緒狀態(tài)各有1 125個(gè)樣本。

3.2 實(shí)驗(yàn)衡量指標(biāo)及參數(shù)設(shè)置

本文探索了情緒狀態(tài)的二分類和三分類問題，用平均識(shí)別率作為衡量指標(biāo)，三分類的計(jì)算指標(biāo)如式（5）所示：

式中，TP、TNg和TNu分別代表積極、消極和中性3種情緒的正確識(shí)別率，P、Ng和Nu分別代表3種情緒的樣本數(shù)。兩分類衡量指標(biāo)與式（5）相似，不再羅列。

本文選用ReLU做3DCNN的激活函數(shù)，采用Adam作為優(yōu)化器（初始學(xué)習(xí)率設(shè)置為0.01，β1=0.9,β2=0.999,?＝10E-8。全連接層的節(jié)點(diǎn)數(shù)設(shè)置為4 096，分類器的損失函數(shù)選用交叉損失函數(shù)。

3.3 實(shí)驗(yàn)環(huán)境

本文中腦電信號(hào)的三維數(shù)據(jù)轉(zhuǎn)換在Windows7系統(tǒng)（64 bit）上通過Matlab2016b 軟件實(shí)現(xiàn)。深度學(xué)習(xí)中神經(jīng)網(wǎng)絡(luò)框架訓(xùn)練和測試采用Caffe；深度學(xué)習(xí)硬件平臺(tái)：Ubantu 16.04（64 bit），內(nèi)存為 16 GB，GPU 設(shè)備為 4 臺(tái)GXT1080ti。

3.4 單一模型和組合模型實(shí)驗(yàn)對(duì)比

本文提出的模型是將3DCNN 與BGRU 相結(jié)合，為了驗(yàn)證組合模型的使用優(yōu)于單一模型的使用，以及BGRU 的使用優(yōu)于GRU，證實(shí)本文模型的優(yōu)越性，另外設(shè)計(jì)了GRU、3DCNN、3DC-GRU 三種全新模型與本文提出的3DC-BGRU模型進(jìn)行實(shí)驗(yàn)對(duì)比。其中本文所設(shè)計(jì)的另外三種對(duì)比模型的結(jié)構(gòu)如表1所示。

表1 不同模型的結(jié)構(gòu)

表1 中，GRU 輸入為 62 × 800 的腦電序列，62 表示通道數(shù)，800 表示4 s 數(shù)據(jù)的采樣點(diǎn)數(shù)。另3DCNN 和3DC-GRU 的輸入與本文提出模型輸入一致，卷積核參數(shù)設(shè)置也一致，目的是確保實(shí)驗(yàn)更具有可比性。不同模型的識(shí)別率如圖8所示。

圖8 單一模型和組合模型對(duì)比

由圖8的實(shí)驗(yàn)結(jié)果可知，組合模型的識(shí)別率高于單一模型，這是因?yàn)楸疚奶岢龅?DC-BGRU 模型不僅能夠提取信號(hào)的時(shí)-頻-通道三維數(shù)據(jù)的深層特征，而且能夠?qū)W習(xí)到這些深層特征序列的動(dòng)態(tài)信息。另外，3DCBGRU 模型的識(shí)別率高于3DC-GRU，是因?yàn)锽GRU 可以對(duì)上下文信息進(jìn)行學(xué)習(xí)，而GRU 只能對(duì)上文信息進(jìn)行學(xué)習(xí)。圖8 也表明二分類的識(shí)別率高于三分類的識(shí)別率，這是因?yàn)殡S著所分類別的增加，分類器誤判的概率會(huì)增加，導(dǎo)致分類效果有所下降。在兩兩分類中發(fā)現(xiàn)積極和消極兩種情緒狀態(tài)的分類效果最好，其次是積極和中性，然后是中性和消極。因?yàn)槿嗽谔幱诜e極和消極兩個(gè)狀態(tài)時(shí)，腦電信號(hào)有著非常明顯的差別，所以易于區(qū)分。而處于消極和中性兩種情緒狀態(tài)時(shí)腦電信號(hào)的差別略低于前者的差別，所以識(shí)別率有所下降。

3.5 3DC-BLSTM與3DC-BGRU實(shí)驗(yàn)對(duì)比

考慮到GRU型循環(huán)神經(jīng)網(wǎng)絡(luò)在處理小樣本時(shí)優(yōu)于LSTM 型循環(huán)神經(jīng)網(wǎng)絡(luò)[23]。本文所提出的模型在對(duì)3DCNN模塊提取的深度特征序列處理時(shí)，采用了BGRU而不是BLSTM。為了驗(yàn)證本文模型中選用BGRU的優(yōu)越性，進(jìn)一步設(shè)計(jì)了3DC-BLSTM模型與本文提出的模型進(jìn)行實(shí)驗(yàn)對(duì)比。對(duì)比實(shí)驗(yàn)3DC-BLSTM 模型與本文所提出的3DC-BGRU的模型結(jié)構(gòu)如表2所示。

表2 3DC-BLSTM與3DC-BGRU模型結(jié)構(gòu)

由表2可知，本文所設(shè)計(jì)的對(duì)比模型與本文提出的模型在輸入和網(wǎng)絡(luò)結(jié)構(gòu)上基本相同，在對(duì)比實(shí)驗(yàn)?zāi)Ｐ驮O(shè)計(jì)時(shí)，將3DC-BGRU 模型中的兩層BGRU 替換成兩層BLSTM，其他參數(shù)保持一致，目的是確保實(shí)驗(yàn)更具有可比性。實(shí)驗(yàn)結(jié)果如圖9 和圖10 所示。圖9 為兩種模型進(jìn)行二分類和三分類的識(shí)別率對(duì)比，圖10 為兩種模型三分類時(shí)的迭代次數(shù)對(duì)比。

圖9 3DC-BLSTM和3DC-BGRU識(shí)別率對(duì)比

圖10 兩種模型的迭代次數(shù)對(duì)比

由圖9 可知，3DC-BGRU 模型的識(shí)別率略高于3DC-BLSTM 模型的識(shí)別率，這是因?yàn)楸疚牟捎玫臉颖玖枯^小，GRU在處理小樣本方面的性能優(yōu)于LSTM。由圖10 可知，對(duì)3 種情緒狀態(tài)進(jìn)行三分類實(shí)驗(yàn)，3DC-BGRU模型訓(xùn)練時(shí)，迭代次數(shù)為10 000次左右達(dá)到最高識(shí)別率并逐漸趨于穩(wěn)定，3DC-BLSM 模型迭代次數(shù)為14 000 次左右才達(dá)到最高識(shí)別率并逐漸趨于穩(wěn)定。結(jié)果表明3DC-BGRU 模型的收斂性更好。這是因?yàn)锽LSTM 在對(duì)深層特征序列進(jìn)行處理時(shí)需要對(duì)輸入門、輸出門和遺忘門三個(gè)門進(jìn)行參數(shù)更新，而BGRU是對(duì)更新門和重置門兩個(gè)門進(jìn)行參數(shù)更新。因此，BLSTM 需要學(xué)習(xí)的參數(shù)更多，收斂更慢。

3.6 不同方法的實(shí)驗(yàn)對(duì)比

為了驗(yàn)證本文算法的優(yōu)越性，將本文算法與DE+DBN[18]、DE+CNN[19]、DE+GRLS[26]、非線性全局特征和譜特征融合+SVM[13]和2DCNN[21]等算法進(jìn)行實(shí)驗(yàn)對(duì)比。幾種方法在SEED 數(shù)據(jù)集上進(jìn)行驗(yàn)證對(duì)三種情緒狀態(tài)的識(shí)別結(jié)果如表3 所示，對(duì)一組腦電信號(hào)進(jìn)行測試時(shí)，幾種方法的耗時(shí)如圖11所示。

表3 不同方法識(shí)別率

圖11 一組腦電信號(hào)測試耗時(shí)對(duì)比

根據(jù)表3和圖11的實(shí)驗(yàn)結(jié)果可知，前三種算法由于只采用了DE 作為特征，特征較單一，故識(shí)別率偏低，但測試耗時(shí)相應(yīng)較少。非線性全局特征和譜特征進(jìn)行融合，采用SVM 進(jìn)行分類相對(duì)于幾種單一特征的方法雖然識(shí)別率有所提高，但是特征計(jì)算復(fù)雜，SVM分類器也比較耗時(shí)，所以整體算法比較耗時(shí)。2DCNN 算法，對(duì)時(shí)-頻域特征進(jìn)行自動(dòng)提取，提取特征較為全面，故識(shí)別率得到進(jìn)一步提升，但是該方法沒有考慮到腦電通道之間的空間特征，并且忽略了深層特征序列的動(dòng)態(tài)信息，故識(shí)別率有待提高。本文提出的3DC-BGRU算法不僅充分考慮到腦電信號(hào)的時(shí)域、頻域和各個(gè)通道之間的特征，而且進(jìn)一步學(xué)習(xí)到深層特征序列的動(dòng)態(tài)信息，所以識(shí)別率最高，達(dá)到了91.82%，但是對(duì)一組信號(hào)的識(shí)別耗時(shí)較長，因?yàn)樵谶M(jìn)行識(shí)別前，本文算法有一個(gè)預(yù)處理過程，將一維的腦電信號(hào)轉(zhuǎn)化為三維數(shù)據(jù)。

4 結(jié)束語

本文針對(duì)腦電信號(hào)情感識(shí)別率低的問題，提出了一種基于3DC-BGRU 的算法，對(duì)單通道腦電信號(hào)進(jìn)行STFT，提取相關(guān)頻帶的二維時(shí)頻圖，將多個(gè)通道二維時(shí)頻圖轉(zhuǎn)成一種全新的三維數(shù)據(jù)形式。然后創(chuàng)新性地引入三維卷積核，設(shè)計(jì)了全新的卷積神經(jīng)網(wǎng)絡(luò)對(duì)三維腦電數(shù)據(jù)進(jìn)行深層特征提取，并通過雙向GRU 對(duì)深層特征序列信息進(jìn)行處理和分類。由表3和圖11可知，本文算法的識(shí)別率均高于其他幾種算法，但是，對(duì)一組腦電信號(hào)進(jìn)行測試時(shí)，本文方法需要110.5 s，較為耗時(shí)。此后，將通過選擇最優(yōu)腦電通道來減少通道數(shù)，減少耗時(shí)。另外，本文在進(jìn)行三維數(shù)據(jù)轉(zhuǎn)換時(shí)，只是將腦電通道按順序進(jìn)行簡單排列，此后也將進(jìn)一步研究各個(gè)通道之間的關(guān)聯(lián)性，通過通道重排的方式進(jìn)行數(shù)據(jù)轉(zhuǎn)換，提高識(shí)別率。