基于三維特征圖和改進(jìn)DenseNet的腦電情緒識(shí)別方法

蘇靖然　李秋生

摘要：情感作為人腦的高級(jí)功能，對(duì)人的心理健康狀態(tài)有很大的影響。為了充分考慮腦電信號(hào)的空間信息以及時(shí)頻信息，更好地實(shí)現(xiàn)人機(jī)交互，論文提出了1種基于三維特征圖的改進(jìn)DenseNet情緒識(shí)別模型。通過(guò)提取腦電信號(hào)θ、α、β和γ 4個(gè)頻段的微分熵特征，結(jié)合腦電通道電極的位置映射關(guān)系，構(gòu)造三維特征圖，最后使用改進(jìn)DenseNet網(wǎng)絡(luò)進(jìn)行二次特征提取與分類。為了驗(yàn)證該方法的有效性，在SEED數(shù)據(jù)集上進(jìn)行了包含積極、中性、消極3種情緒的分類實(shí)驗(yàn)，單被試者實(shí)驗(yàn)和所有被試者實(shí)驗(yàn)獲得的分類準(zhǔn)確率分別達(dá)98.51%和98.68%。實(shí)驗(yàn)結(jié)果表明，三維特征圖結(jié)合特征重用方法能夠得到高精度的分類結(jié)果，為情緒識(shí)別提供了可以嘗試的新方向。

關(guān)鍵詞：腦電信號(hào)；電極映射；三維特征圖；特征重用；多尺度卷積核

中圖分類號(hào)：R318;TN911.7文獻(xiàn)標(biāo)志碼：A文獻(xiàn)標(biāo)識(shí)碼

An EEG emotion recognition method based on 3D feature and improved DenseNet

SU Jingran1，2，LI? Qiusheng1，2*

（1 School of Physics and Electronic Information， Gannan Normal University，Ganzhou， Jiangxi 341000， China; 2 Center for Intelligent

Control Engineering Research， Gannan Normal University，Ganzhou， Jiangxi 341000，China）

Abstract：? Emotion， as a high-level function of the human brain， greatly influences human mental health. To fully consider EEG signals′ spatial information and time-frequency information and realize human-computer interaction better. An improved DenseNet emotion recognition model was proposed based on a three-dimensional feature map. By extracting the differential entropy features of theta， alpha， beta， and gamma frequency bands of EEG signal and combining with the position mapping of EEG channel electrodes， a 3D feature map was constructed. Finally， the improved DenseNet network was used for secondary feature extraction and classification. In order to verify the effectiveness of this method， positive， neutral， and negative classification experiments were carried out on the SEED data set. The classification accuracy of the single-subject experiment and all subjects experiment was 98.51% and 98.68%， respectively. Experimental results showed that 3D feature maps combined with the feature reuse method could obtain high-precision classification results. It provides a compelling new direction for emotion recognition.

Key words： EEG;electrode mapping;3D feature map;feature reuse;the multi-scale convolution kernel

情緒，體現(xiàn)了人對(duì)客觀事物的態(tài)度及反應(yīng)，一般認(rèn)為，它是1種以個(gè)體愿望和需要為中介的心理活動(dòng)［1］。近年來(lái)，疲勞駕駛以及精神心理健康等問(wèn)題日益出現(xiàn)在大眾面前，積極的情緒能夠提高工作效率，對(duì)人類生活和工作起到積極推動(dòng)的作用，而消極情緒則會(huì)導(dǎo)致工作效率下降，長(zhǎng)期積累的負(fù)面情緒也是抑郁癥爆發(fā)的主要源泉，因此，情緒識(shí)別在人類的生命安全以及心理健康中扮演著重要角色。

情緒識(shí)別是融合心理學(xué)、神經(jīng)科學(xué)、醫(yī)學(xué)和計(jì)算機(jī)的交叉學(xué)科，目前，各國(guó)研究者對(duì)于情緒識(shí)別的研究已經(jīng)取得了一定進(jìn)展。從數(shù)據(jù)來(lái)源分析，情緒識(shí)別的研究主要基于非生理因素與生理因素兩方面，由于人會(huì)刻意隱瞞自己的情緒，所以基于非生理因素的外在特征無(wú)法有效地識(shí)別出人的真實(shí)情緒狀態(tài)，而生理信號(hào)則不具偽裝性，不易受人的主觀情緒影響，常見的生理信號(hào)有心電、腦電、肌電等，腦電信號(hào)由于其易測(cè)量、設(shè)備便攜的特點(diǎn)，被廣泛應(yīng)用于情緒識(shí)別中；從分類器的使用分析來(lái)看，國(guó)內(nèi)外研究者主要圍繞機(jī)器學(xué)習(xí)與深度學(xué)習(xí)2種方法進(jìn)行情緒識(shí)別的分類研究。機(jī)器學(xué)習(xí)采用人工提取特征與支持向量機(jī)（Support Vector Machine，SVM）［2］、K近鄰（K-Nearest Negihbour，KNN）、隨機(jī)森林等傳統(tǒng)機(jī)器學(xué)習(xí)方法相結(jié)合以實(shí)現(xiàn)情緒狀態(tài)的分類識(shí)別。其中，用于情緒識(shí)別的腦電特征主要包括時(shí)域、頻域以及時(shí)頻域內(nèi)的Hjorth參數(shù)、分形維數(shù)特征［3］、微分熵（Differential Entropy，DE）、功率譜密度等，Alazrai等［4］提出1種新的基于時(shí)頻（Time-frequency， TF）的特征提取方法，將提取到的特征結(jié)合SVM進(jìn)行分類研究，采用國(guó)際公開DEAP數(shù)據(jù)集進(jìn)行驗(yàn)證，達(dá)到了86.20%的正確率；Zhang等［5］采用經(jīng)驗(yàn)?zāi)B(tài)分解的方法提取樣本熵特征，形成特征向量，作為SVM的輸入，在DEAP數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)驗(yàn)證，平均準(zhǔn)確率達(dá)到93.20%。由于腦電信號(hào)的非平穩(wěn)性、非線性以及不同通道之間、不同頻帶之間的關(guān)聯(lián)性，傳統(tǒng)的機(jī)器學(xué)習(xí)方法無(wú)法有效利用腦電信號(hào)的空間信息、時(shí)頻信息，以進(jìn)一步提高腦電情緒分類的準(zhǔn)確性，而深度學(xué)習(xí)方法則可以彌補(bǔ)這一缺陷。深度學(xué)習(xí)主要采用端到端的訓(xùn)練方法，不需要借助人工經(jīng)驗(yàn)完成特征提取，能夠自動(dòng)提取特征并完成分類測(cè)試。隨著深度學(xué)習(xí)的深入發(fā)展，國(guó)內(nèi)外研究者便將目光放在了深度學(xué)習(xí)方法上，如深度信念網(wǎng)絡(luò)（Deep Belief Network， DBN）、卷積神經(jīng)網(wǎng)絡(luò)（Convolution Neural Network， CNN）［6］、長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)（Long Short-Term Memory， LSTM）［7］等多種深度神經(jīng)網(wǎng)絡(luò)在腦電情緒識(shí)別領(lǐng)域已取得較好的成果。如Song等［8］提出動(dòng)態(tài)圖卷積神經(jīng)網(wǎng)絡(luò)（Dynamical Graph Convolutional Neural Network， DGCNN）的概念，對(duì)SEED［9］數(shù)據(jù)集中的5種特征（DE、PSD、DASM、RASM、DCAU）進(jìn)行二次特征提取與分類，單被試識(shí)別準(zhǔn)確率達(dá)到90.40%，跨被試者實(shí)驗(yàn)分類準(zhǔn)確率為79.00%；Asghar等［10］采用深度特征聚類（DFC）結(jié)合多種神經(jīng)網(wǎng)絡(luò)來(lái)選擇高質(zhì)量的特征，減少冗余特征的存在，大大縮短了網(wǎng)絡(luò)的訓(xùn)練時(shí)間。Liu等［11］則提出了1種基于多層長(zhǎng)短期記憶循環(huán)神經(jīng)網(wǎng)絡(luò)（Long Short-Term Memory Recurrent Neural Network，LSTM-RNN）的注意力模型，實(shí)現(xiàn)了基于時(shí)間注意力（Temporal Attention，TA）和頻段注意力（Band Attention，BA）的腦電情緒識(shí)別算法，有效提升了分類的效果。

基于以上分析，無(wú)論是使用機(jī)器學(xué)習(xí)還是深度學(xué)習(xí)，大多數(shù)研究都是基于腦電信號(hào)的全頻段，心理學(xué)和神經(jīng)科學(xué)的研究表明， 腦電的5個(gè)經(jīng)典節(jié)律（δ （1～3 Hz）、θ （4～7 Hz）、α （8～13 Hz）、β （14～30 Hz）和γ （31～50 Hz））與人的各項(xiàng)生理及心理活動(dòng)有著密切的關(guān)系，然而只有少數(shù)研究者在研究過(guò)程中考慮到了這一特點(diǎn)，其中，Koelstra等［12］提取了腦電5個(gè)節(jié)律的功率譜密度，用于情緒分類識(shí)別，而李昕等［13］先對(duì)情緒腦電信號(hào)分解和重構(gòu)獲取4個(gè)節(jié)律波，隨后對(duì)4個(gè)節(jié)律波提取小波能量、小波熵、近似熵和Hurst指數(shù)，最后利用PCA算法對(duì)其降維處理并將處理后的結(jié)果送入支持向量機(jī)分類器中獲得情緒識(shí)別結(jié)果。為了進(jìn)一步研究腦電信號(hào)不同節(jié)律對(duì)分類識(shí)別精度的影響，本文提取4個(gè)節(jié)律（θ、α、β和γ）的微分熵特征并結(jié)合腦電通道的空間信息以提高情緒分類準(zhǔn)確率。δ波屬于無(wú)意識(shí)的波，主要在成人睡眠中產(chǎn)生，對(duì)情緒識(shí)別研究的影響不大，而其他4個(gè)節(jié)律的波，則是屬于有意識(shí)的波，會(huì)在人處于刺激、憤怒、興奮、悲傷等狀態(tài)時(shí)出現(xiàn)，與人類的情緒狀態(tài)息息相關(guān)，可以有效表征情緒狀態(tài)。首先將腦電通道電極之間的位置信息映射為二維，使其盡可能地保留各電極之間的相對(duì)位置信息，然后結(jié)合4個(gè)節(jié)律的微分熵特征，組成一個(gè)三維特征圖，最后采用改進(jìn)的密連卷積網(wǎng)絡(luò)（Densely Connected Convolutional Networks， DenseNet）［14］進(jìn)行二次特征提取并完成積極、中性、消極3種情緒的分類實(shí)驗(yàn)，選用準(zhǔn)確率（Accuracy）、F1分?jǐn)?shù)（F1-score）等評(píng)價(jià)指標(biāo)對(duì)算法的情緒狀態(tài)識(shí)別性能進(jìn)行評(píng)價(jià)。

1 資料與方法

1.1 情緒識(shí)別模型

一個(gè)完整的情緒識(shí)別模型通常由數(shù)據(jù)采集階段、數(shù)據(jù)預(yù)處理階段、特征提取階段以及分類器組成，本文所采用的模型的總體框架如圖1所示。

比較采用不同數(shù)據(jù)集得到的準(zhǔn)確率是毫無(wú)意義的，為了促進(jìn)腦電信號(hào)情緒識(shí)別的可持續(xù)發(fā)展，本文采用由上海交通大學(xué)BCMI實(shí)驗(yàn)室提供的SEED數(shù)據(jù)集［9］進(jìn)行三分類（積極、中性、消極）實(shí)驗(yàn)研究，經(jīng)平滑處理后的微分熵特征構(gòu)成三維特征圖，最后使用加入多尺度卷積核的DenseNet網(wǎng)絡(luò)進(jìn)行空間信息、時(shí)頻信息的二次特征提取并完成分類。

1.2 腦電信號(hào)的獲取與特征提取

1.2.1 SEED情感數(shù)據(jù)集及其預(yù)處理

SEED中記錄了62個(gè)通道上的腦電信號(hào)，選擇15個(gè)電影片段（5個(gè)積極、5個(gè)中性和5個(gè)消極）作為情感誘發(fā)素材，15個(gè)電影片段詳細(xì)信息來(lái)源于表1中的電影，每個(gè)電影片段都最大化地體現(xiàn)了被試者的情緒狀態(tài)，為了避免片段過(guò)長(zhǎng)而導(dǎo)致被試者產(chǎn)生疲勞感，每個(gè)電影片段時(shí)長(zhǎng)大約4min。每個(gè)被試者每次實(shí)驗(yàn)需要觀看15個(gè)電影片段，有7名男性，8名女性，共15名被試者參與其中，且進(jìn)行3次實(shí)驗(yàn)，間隔約1周，共有45次（15×3）腦電數(shù)據(jù)的采集實(shí)驗(yàn)。由于每進(jìn)行一次實(shí)驗(yàn)都需要觀看15個(gè)電影片段，因此每次實(shí)驗(yàn)中包含了15個(gè)小實(shí)驗(yàn)，每一個(gè)小實(shí)驗(yàn)都是由5 s的提示階段、4 min的電影觀看時(shí)間、45 s的自我測(cè)評(píng)以及15 s的休息階段組成。

首先對(duì)采集到的腦電信號(hào)進(jìn)行降采樣處理，原始1 000 Hz的腦電數(shù)據(jù)被降采樣到200 Hz，然后應(yīng)用0～75 Hz的帶通濾波器進(jìn)行噪聲與去偽影處理，得到預(yù)處理數(shù)據(jù)集。為了有足夠的數(shù)據(jù)樣本進(jìn)行深度學(xué)習(xí)訓(xùn)練，對(duì)每個(gè)樣本使用1 s的滑動(dòng)窗口進(jìn)行無(wú)重疊切分，針對(duì)1次實(shí)驗(yàn)，每個(gè)被試者將得到3394個(gè)數(shù)據(jù)樣本。

為了探究腦電信號(hào)的時(shí)頻信息，本文在4個(gè)節(jié)律中分別進(jìn)行微分熵特征提取，同時(shí)用線性動(dòng)態(tài)系統(tǒng)進(jìn)行特征平滑，從微分熵特征中濾除一些與情緒無(wú)關(guān)的信息，減少噪聲與偽影的存在。

1.2.3 腦電通道電極映射

圖2、圖3分別描述了腦電通道電極映射過(guò)程和二維特征到三維特征的轉(zhuǎn)化過(guò)程，可以得到大小為9×9×4的三維微分熵特征圖，具體轉(zhuǎn)化過(guò)程詳見文獻(xiàn)［15-16］。

將三維空間中的復(fù)雜電極位置關(guān)系映射為大小9×9的二維圖，以模擬電極之間的相對(duì)位置，為卷積神經(jīng)網(wǎng)絡(luò)探索各通道之間的空間位置關(guān)系，即提取空間信息提供了便利，在9×9的二維圖中，使用的腦電通道中即黃色部分填充微分熵特征，未使用的腦電通道即藍(lán)色部分填充0。

將腦電信號(hào)先映射到4個(gè)節(jié)律（θ （4～7 Hz）、α （8～13 Hz）、β （14～30 Hz）和γ （31～50 Hz）），再分別提取出各個(gè)頻段對(duì)應(yīng)的微分熵特征，圖3中的第一步就是分別提取每個(gè)頻段的微分熵特征；第二步，每一頻段的微分熵特征按照?qǐng)D2的映射原則組成1個(gè)二維特征圖；最后通過(guò)堆疊4個(gè)頻段的二維特征圖形成三維特征圖。此三維特征圖充分融合了腦電信號(hào)的空間信息以及時(shí)頻信息，為后面使用CNN進(jìn)行二次特征提取以及更好的進(jìn)行情緒分類奠定了堅(jiān)實(shí)的基礎(chǔ)。

1.3 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)［17］是目前深度學(xué)習(xí)的重要代表性算法之一，在圖片識(shí)別與分類中得到了廣泛應(yīng)用，由于其在圖片識(shí)別與分類中的成熟表現(xiàn)，眾多研究者將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用到情緒識(shí)別的研究領(lǐng)域，且取得了不錯(cuò)的效果。在其他研究者的研究基礎(chǔ)上，本文將DenseNet引入到情緒識(shí)別研究之中，DenseNet淺層特征重用的特點(diǎn)為情緒識(shí)別的研究開辟了一條可以嘗試的新道路。

1.3.1 DenseNet網(wǎng)絡(luò)

密連卷積網(wǎng)絡(luò)（Densely Connected Convolutional Networks， DenseNet）［14］，區(qū)別于其他深度神經(jīng)網(wǎng)絡(luò)，沒有從網(wǎng)絡(luò)的深度或?qū)挾葘ふ姨卣?，而是通過(guò)特征重用來(lái)最大化地發(fā)揮網(wǎng)絡(luò)的能力，對(duì)于其中的每一層，前面所有層的特征都被用作輸入，其自身特征也被用作后面所有層的輸入，允許任意2個(gè)非相鄰層之間進(jìn)行跨層連接，可以連接不同層學(xué)習(xí)到的特征，增強(qiáng)特征表示的能力。DenseNet主要由密連模塊（dense block）、過(guò)渡層（transition layer）以及瓶頸層（bottleneck layer）構(gòu)成，其中密連模塊實(shí)現(xiàn)特征重用功能。

其中，［x0，x1，…，xl-1］表示對(duì)第0層到第l－1層產(chǎn)生的特征圖進(jìn)行張量拼接，Hl（·）是1個(gè)由3種相繼操作組成的復(fù)合函數(shù)：塊歸一化（Batch Normalization， BN）、校正線性單元（Rectified Linear Unit， ReLU）和3×3卷積（Convolution， Conv）。

1.3.2 MSC-DenseNet網(wǎng)絡(luò)

受GoogleNet的Inception結(jié)構(gòu)啟發(fā)，將多尺度卷積核并行合并模塊（Multi-scale convolution kernel parallel merging module， MSC）引入DenseNet網(wǎng)絡(luò)，MSC模塊如圖4所示。

MSC采用3種尺寸大小的卷積核（1×1、3×3、5×5），小尺寸的卷積核可獲得更細(xì)致的特征，大尺寸的卷積核，感受野更大，可以充分考慮腦電各個(gè)通道之間的相對(duì)位置關(guān)系，提取腦電信號(hào)的空間信息。

其中5×5卷積核采用2個(gè)3×3卷積替代，一方面堆疊的3×3提供了更多數(shù)量的激活函數(shù)，增加了網(wǎng)絡(luò)的非線性特性；另一方面，在具有相同感受野的條件下，一定程度上可以提升神經(jīng)網(wǎng)絡(luò)的效果，減少網(wǎng)絡(luò)參數(shù)的計(jì)算量。在3×3卷積前面都有1個(gè)1×1的卷積操作，可以對(duì)不同通道間的信息做線性組合，實(shí)現(xiàn)跨通道的信息交互和信息整合，最終，MSC-DenseNet的整體網(wǎng)絡(luò)結(jié)構(gòu)如圖5所示。

整個(gè)網(wǎng)絡(luò)主要由3個(gè)密連模塊，2個(gè)過(guò)渡層以及多尺寸卷積核并行合并模塊組成。其中，首先使用16個(gè)3×3大小的卷積核進(jìn)行卷積運(yùn)算，進(jìn)行特征的初次提取；然后，使用16個(gè)3×3，步長(zhǎng)為2的最大池化進(jìn)行下采樣處理。在經(jīng)過(guò)卷積和池化之后，進(jìn)入到第一個(gè)dense block，也就是網(wǎng)絡(luò)的核心部分，不僅可以實(shí)現(xiàn)淺層特征重用，還能夠借助MSC模塊中的多尺度卷積實(shí)現(xiàn)特征的多層提?。辉赿ense block之后有1個(gè)過(guò)渡層，由1×1卷積和2×2最大池化組成，經(jīng)過(guò)多次實(shí)驗(yàn)驗(yàn)證，使用3個(gè)dense block模塊、2個(gè)過(guò)渡層得到的實(shí)驗(yàn)效果最佳，在第三個(gè)dense block后使用全局平均池化代替全連接層，最后經(jīng)過(guò)softmax分類器進(jìn)行積極、消極、中性3種情緒狀態(tài)的分類。

1.3.3 實(shí)驗(yàn)環(huán)境

本文的MSC-DenseNet模型是在Tensorflow框架下通過(guò)Python編程實(shí)現(xiàn)的。實(shí)驗(yàn)環(huán)境為英特爾Core i5-8500 CPU@3.00 GHz 16 GB內(nèi)存，英特爾UHD Graphics 630顯卡，64位Windows10系統(tǒng)。

表2記錄了MSC-DenseNet結(jié)構(gòu)詳細(xì)的參數(shù)設(shè)置信息，其中，學(xué)習(xí)率決定了整個(gè)優(yōu)化過(guò)程中的步長(zhǎng)更新，在訓(xùn)練初期使用較大的學(xué)習(xí)率，前進(jìn)的步長(zhǎng)就會(huì)較長(zhǎng)，能夠以較快的速度進(jìn)行梯度下降，在訓(xùn)練后期，逐步減小學(xué)習(xí)率，有利于算法的收斂，使其接近最優(yōu)值。本文采用了分段常數(shù)衰減，在訓(xùn)練的前3 600個(gè)Batch size使用的學(xué)習(xí)率為0.00001，初始階段使用較大的學(xué)習(xí)率，不僅加快梯度下降的速度，也可以節(jié)省一定的訓(xùn)練時(shí)間，提高訓(xùn)練速率，此后逐漸減小學(xué)習(xí)率，3 600～5 000個(gè)Batch size學(xué)習(xí)率設(shè)置為0.000005，5 000～7 000個(gè)Batch size學(xué)習(xí)率設(shè)置為0.0000025，最后使用0.000001的學(xué)習(xí)率實(shí)現(xiàn)算法的收斂。在網(wǎng)絡(luò)的最后使用全局平均池化代替全連接層，其余部分采用最大池化進(jìn)行特征提取與降維。

2 結(jié)果與分析

本節(jié)在4個(gè)節(jié)律中分別進(jìn)行實(shí)驗(yàn)，找出最能表征情緒狀態(tài)的節(jié)律并與4個(gè)節(jié)律全部組合使用得到的效果進(jìn)行比較，所有實(shí)驗(yàn)都是基于被試者第一次實(shí)驗(yàn)測(cè)得的腦電數(shù)據(jù)。

2.1 評(píng)估指標(biāo)

本文采用準(zhǔn)確率（Accuracy）、F1分?jǐn)?shù)（F1-score）以及混淆矩陣進(jìn)行模型性能的評(píng)估。

混淆矩陣（confusion matrix），又稱為可能性表格或是錯(cuò)誤矩陣。它不僅僅局限于準(zhǔn)確率，可以帶來(lái)更多的分析，呈現(xiàn)算法性能的可視化效果，直觀地看出分類判別錯(cuò)誤之處。

2.2 單被試者實(shí)驗(yàn)

在實(shí)驗(yàn)開始前將每一位被試者的數(shù)據(jù)樣本隨機(jī)打亂分為訓(xùn)練集、驗(yàn)證集與測(cè)試集3部分，其中訓(xùn)練集占70%，驗(yàn)證集占20%，測(cè)試集占10%。

表3記錄了單被試者4個(gè)節(jié)律以及所有節(jié)律共同使用的F1分?jǐn)?shù)以及準(zhǔn)確率，其中，被試者2無(wú)論處于哪個(gè)節(jié)律，其準(zhǔn)確率都可達(dá)100%，說(shuō)明本文模型在被試者2中可以得到理想的分類精度，從15個(gè)被試者的平均F1分?jǐn)?shù)以及平均準(zhǔn)確率分析，4個(gè)節(jié)律的F1分?jǐn)?shù)都在0.97以上，γ節(jié)律達(dá)到了0.9821，其準(zhǔn)確率也達(dá)到了98.24%，驗(yàn)證了淺層特征重用以及多尺度卷積核共同使用的優(yōu)越性，α節(jié)律與其他3種節(jié)律相比，得到的分類準(zhǔn)確率相對(duì)較低。

4個(gè)節(jié)律共同使用分別與θ、α、β、γ得到的結(jié)果進(jìn)行比較，γ節(jié)律得到的F1分?jǐn)?shù)以及準(zhǔn)確率與所有節(jié)律共同使用得到的結(jié)果相近，說(shuō)明在只使用γ節(jié)律的情況下，也可以得到較好的分類效果，其實(shí)驗(yàn)結(jié)果與腦電信號(hào)的基本知識(shí)相吻合。γ波頻率范圍約為31～50 Hz，是腦電信號(hào)中頻率最高的成分，出現(xiàn)該頻段時(shí)人通常處于十分激動(dòng)、亢奮的狀態(tài)，或是受到了強(qiáng)烈的刺激，而α波較多出現(xiàn)在成人安靜閉目狀態(tài)下，θ波在成年人受挫或者抑郁以及精神病患者中極為顯著，所以人在正常情況下，γ波中包含更多的情緒狀態(tài)信息。

2.3 所有被試者實(shí)驗(yàn)

訓(xùn)練數(shù)據(jù)采用全部被試者的實(shí)驗(yàn)數(shù)據(jù)，每位被試者3 394個(gè)數(shù)據(jù)樣本，共15個(gè)被試者，將數(shù)據(jù)樣本隨機(jī)打亂分為訓(xùn)練集、驗(yàn)證集與測(cè)試集3部分，其中訓(xùn)練集占70%，驗(yàn)證集占20%，測(cè)試集占10%。

表4記錄了所有被試者的實(shí)驗(yàn)結(jié)果，在θ、α、β、γ 4個(gè)節(jié)律中，β節(jié)律得到的準(zhǔn)確率最高，為98.47%，與γ節(jié)律的98.45%相近，β節(jié)律在處于精神緊張或情緒激動(dòng)時(shí)會(huì)出現(xiàn)，在使用所有節(jié)律的情況下，得到的準(zhǔn)確率為98.68%，略高于β節(jié)律。表5展示了每個(gè)節(jié)律的混淆矩陣，每一列代表預(yù)測(cè)類別，每一行代表的是實(shí)際類別。其中，在θ節(jié)律中，對(duì)于中性狀態(tài)的預(yù)測(cè)結(jié)果最差，錯(cuò)誤率最高；在α節(jié)律中，對(duì)于積極與消極狀態(tài)的預(yù)測(cè)與其他節(jié)律相比，其誤差率也較高，積極與消極情緒大多被錯(cuò)誤的預(yù)測(cè)成了中性狀態(tài)；在β、γ以及所有節(jié)律中，其預(yù)測(cè)結(jié)果相近，同時(shí)也表明在使用更少的參數(shù)量以及工作量的情況下，可以使用β或γ節(jié)律代替使用所有節(jié)律。

從2個(gè)實(shí)驗(yàn)的實(shí)驗(yàn)結(jié)果可知，本文提出的MSC-DenseNet模型呈現(xiàn)出明顯的優(yōu)勢(shì)，單被試者實(shí)驗(yàn)平均準(zhǔn)確率達(dá)到了98.51%，所有被試者實(shí)驗(yàn)準(zhǔn)確率達(dá)到了98.68%，說(shuō)明三維特征圖結(jié)合特征重用在關(guān)于腦電信號(hào)的情感識(shí)別研究上具有很好的分類性能。

2.4 不同算法對(duì)比

為了驗(yàn)證本文提出方法的有效性，選用常用的機(jī)器學(xué)習(xí)算法支持向量機(jī)（SVM）以及深度學(xué)習(xí)算法CNN與本文方法在所有被試者實(shí)驗(yàn)中進(jìn)行對(duì)比分析。其中，SVM核函數(shù)選用高斯核函數(shù)，懲罰因子設(shè)置為1；CNN選用1×1、3×3、5×5三個(gè)不同尺寸大小的卷積核，3×3最大池化層，全局平均池化代替全連接層，最后Softmax輸出分類結(jié)果。圖6直觀地展示了SVM、CNN以及本文方法在所有被試者實(shí)驗(yàn)中得到的準(zhǔn)確率對(duì)比結(jié)果。

從圖6可以看出，使用本文方法得到的分類準(zhǔn)確率最高，達(dá)到了98.68%；其次，使用CNN的方法準(zhǔn)確率是97.84%；使用SVM的方法只有93.69%。說(shuō)明相較于機(jī)器學(xué)習(xí)，深度學(xué)習(xí)在腦電情緒識(shí)別領(lǐng)域具有一定的優(yōu)勢(shì)，使用多尺度卷積核的CNN模型得到的準(zhǔn)確率最高達(dá)到97.84%，但是本文方法在每個(gè)節(jié)律上得到的準(zhǔn)確率都具有一定的優(yōu)勢(shì)，且最高準(zhǔn)確率可以達(dá)到98.68%，表明了多尺度卷積核結(jié)合特征重用的有效性。

另外，單從識(shí)別準(zhǔn)確率這一指標(biāo)來(lái)看，本文方法具有一定優(yōu)勢(shì)性，但與SVM、CNN模型相比，本文模型相對(duì)復(fù)雜，計(jì)算量較大，導(dǎo)致準(zhǔn)確率提高的同時(shí)帶來(lái)了效率的降低，這將是未來(lái)研究中重點(diǎn)優(yōu)化內(nèi)容。

2.5 同類研究對(duì)比

目前，已有大量研究提出了關(guān)于腦電信號(hào)情緒識(shí)別的方法，在本節(jié)中，我們將本文方法與其他同樣采用SEED數(shù)據(jù)集的現(xiàn)有方法進(jìn)行比較。文獻(xiàn)［9］對(duì)腦電信號(hào)的前期處理同本文一樣，提取腦電信號(hào)5個(gè)頻段的微分熵特征，然后選取最能表現(xiàn)情緒狀態(tài)的腦電通道，使用深度信念網(wǎng)絡(luò)實(shí)現(xiàn)分類。文獻(xiàn)［18］根據(jù)腦電通道電極位置，將一維腦電時(shí)域信息轉(zhuǎn)換成二維的微分熵頻域特征，使用分層卷積神經(jīng)網(wǎng)絡(luò)（Hierarchical Convolutional Neural Network，HCNN）進(jìn)行二次特征提取與分類。文獻(xiàn)［19］先采用小波包變換對(duì)信號(hào)進(jìn)行分解，構(gòu)建二維結(jié)構(gòu)樣本，然后對(duì)設(shè)計(jì)的6種深度不同的CNN模型進(jìn)行投票與加權(quán)建立集成模型，在單被試者實(shí)驗(yàn)中得到了93.12%的分類準(zhǔn)確度。文獻(xiàn)［20］提出1種新的深度學(xué)習(xí)分類模型—三維卷積注意神經(jīng)網(wǎng)絡(luò)（Three-dimension Convolution Attention Neural Network， 3DCANN），該模型由時(shí)空特征提取模塊和腦電圖通道注意權(quán)重學(xué)習(xí)模塊組成，最終獲得了97.35%的分類準(zhǔn)確度。文獻(xiàn)［21］提出1種新的自適應(yīng)優(yōu)化空頻微分熵（Adaptive Optimized Spatial-frequency Differential Entropy，? AOSFDE）特征，首先根據(jù)導(dǎo)聯(lián)重要性進(jìn)行通道選擇，然后通過(guò)稀疏回歸算法對(duì)微分熵特征進(jìn)行優(yōu)化選擇，針對(duì)15名被試者的積極/消極、積極/中性、中性/消極這3個(gè)情緒二分類場(chǎng)景平均準(zhǔn)確率分別達(dá)到91.80%、93.30%和85.10%。

由表6可知，本文的MSC-DenseNet方法在SEED數(shù)據(jù)集上獲得的分類準(zhǔn)確率比其他文獻(xiàn)方法都高，說(shuō)明本文方法在SEED數(shù)據(jù)集上取得的效果更好，在情緒識(shí)別方面具有一定價(jià)值。

3 結(jié)論

隨著深度學(xué)習(xí)算法在眾多領(lǐng)域的成功應(yīng)用，越來(lái)越多的研究者嘗試將深度學(xué)習(xí)應(yīng)用到腦電信號(hào)情緒識(shí)別領(lǐng)域并取得了一定成就。本文結(jié)合腦電信號(hào)的空間特性與時(shí)頻特性構(gòu)造三維微分熵特征圖，并使用改進(jìn)的DenseNet網(wǎng)絡(luò)進(jìn)行特征提取與分類，最終在單被試者實(shí)驗(yàn)中得到了98.51%的平均分類準(zhǔn)確率，在所有被試者實(shí)驗(yàn)中得到了98.68%的分類準(zhǔn)確率，引入DenseNet特征重用的特點(diǎn)為腦電信號(hào)情緒識(shí)別的進(jìn)一步研究開辟了新道路，有較好的研究潛力。通過(guò)與支持向量機(jī)、卷積神經(jīng)網(wǎng)絡(luò)的對(duì)比實(shí)驗(yàn)驗(yàn)證了本文方法的科學(xué)性與可行性，同時(shí)也證實(shí)了深度學(xué)習(xí)在情緒識(shí)別中的表現(xiàn)比機(jī)器學(xué)習(xí)效果好。

參考文獻(xiàn)（References）

［1］WILAIPRASITPORN T， DITTHAPRON A， MATCHAPARN K， et al. Affective EEG-based person identification using the deep learning approach［J］. IEEE Transactions on Cognitive and Developmental Systems， 2020， 12（3）： 486-496.

［2］王春晨，文治洪，王航，等. 基于腦電信號(hào)的情緒狀態(tài)識(shí)別算法研究［J］. 醫(yī)療衛(wèi)生裝備， 2020， 41（2）： 20-25.

WANG C C，WEN Z H，WANG H，et al. Research on emotional state recognition algorithm based on EEG signals［J］.Chinese Medical Equipment Journal， 2020，41 （2）： 20-25.

［3］TUNCER T， DODAN S， SUBASI A. A new fractal pattern feature generation function based emotion recognition method using EEG［J］. Chaos， Solitons & Fractals， 2021， 144： 110671.

［4］ALAZRAI R，HOMOUD R，ALWANNI H， et al. EEG-based emotion recognition using quadratic time-frequency distribution［J］. Sensors， 2018， 18（8）： 2739.

［5］ZHANG Y， JI X M， ZHANG S H. An approach to EEG-based emotion recognition using combined feature extraction method［J］. Neuroscience Letters， 2016， 633： 152-157.

［6］LIU C L， HSAIO W H， TU Y C. Time series classification with multivariate convolutional neural network［J］. IEEE Transactions on Industrial Electronics， 2018， 66（6）： 4788-4797.

［7］RAMZAN M， DAWN S. Fused CNN-LSTM deep learning emotion recognition model using electroencephalography signals［J］. International Journal of Neuroscience， 2023， 133（6）： 587-597.

［8］SONG T F， ZHENG W M， SONG P， et al. EEG emotion recognition using dynamical graph convolutional neural networks［J］. IEEE Transactions on Affective Computing， 2020， 11（3）： 532-541.

［9］ZHENG W L， LU B L. Investigating critical frequency bands and channels for EEG-based emotion recognition with deep neural networks［J］. IEEE Transactions on Autonomous Mental Development， 2015， 7（3）： 162-175.

［10］ASGHAR M A， KHAN M J， RIZWAN M， et al. An innovative multi-model neural network approach for feature selection in emotion recognition using deep feature clustering［J］. Sensors， 2020， 20（13）： 3765.

［11］LIU J M， SU Y Q， LIU Y H. Multi-modal emotion recognition with temporal-band attention based on LSTM-RNN［M］. Berlin：Springer， 2017.

［12］KOELSTRA S. Deap： a database for emotion analysis using physiological signals［J］. IEEE Transactions on Affective Computing， 2012， 3（1）： 18-31.

［13］李昕， 蔡二娟， 田彥秀， 等. 一種改進(jìn)腦電特征提取算法及其在情感識(shí)別中的應(yīng)用［J］. 生物醫(yī)學(xué)工程學(xué)雜志， 2017， 34（4）： 510-517，528.

LI X， CAI E J， TIAN Y X， et al. An improved EEG feature extraction algorithm and its application in emotion recognition［J］. Journal of Biomedical Engineering， 2017， 34 （4）： 510-517，528.

［14］HUANG G， LIU Z， MAATEN L V D， et al. Densely connected convolutional networks［J］. IEEE Computer Society， 2016： 4700-4708.

［15］尹永強(qiáng). 基于卷積神經(jīng)網(wǎng)絡(luò)的腦電情緒識(shí)別方法研究［D］. 濟(jì)南：山東師范大學(xué)， 2021.

YIN Y Q. Research on EEG emotion recognition methods based on convolutional neural networks［D］. Jinan： Shandong Normal University， 2021.

［16］李穎潔， 李玉玲， 楊幫華. 基于腦電信號(hào)深度學(xué)習(xí)的情緒識(shí)別研究現(xiàn)狀［J］. 北京生物醫(yī)學(xué)工程， 2020， 39（6）： 634-642.

LI Y J， LI Y L， YANG B H. A review of EEG emotion recognition based on deep learning［J］. Beijing Biomedical Engineering， 2020， 39（6）： 634-642.

［17］PHAN T， KIM S， YANG H， et al. EEG-based emotion recognition by convolutional neural network with multi-scale kernels［J］. Sensors， 2021， 21（15）： 5092.

［18］LI J P， ZHANG Z X， HE H G. Implementation of EEG emotion recognition system based on hierarchical convolutional neural networks［C］∥International Conference on Brain Inspired Cognitive Systems， Cham：Springer， 2016： 22-33.

［19］魏琛， 陳蘭嵐， 張傲. 基于集成卷積神經(jīng)網(wǎng)絡(luò)的腦電情感識(shí)別［J］. 華東理工大學(xué)學(xué)報(bào)（自然科學(xué)版）， 2019， 45（4）： 614-622.

WEI C， CHEN L L， ZHANG A. Emotion Recognition of EEG based on ensemble convolutional neural networks［J］. Journal of East China University of Science and Technology， 2019，45 （4）： 614-622.

［20］LIU S Q， WANG X， ZHAO L， et al. 3DCANN： a spatio-temporal convolution attention neural network for EEG emotion recognition［J］. IEEE Journal of Biomedical and Health Informatics， 2022， 26（11）： 5321-5331.

［21］苗敏敏， 徐寶國(guó)， 胡文軍， 等. 基于自適應(yīng)優(yōu)化空頻微分熵的情感腦電識(shí)別［J］. 儀器儀表學(xué)報(bào)， 2021， 42（3）： 221-230.

MIAO M M， XU B G， HU W J， et al. Emotion EEG recognition based on the adaptive optimized spatial-frequency differential entropy［J］. Chinese Journal of Scientific Instrument， 2021，42 （3）： 221-230.（責(zé)任編輯：編輯郭蕓婕）

收稿日期：中文收稿日期2022-03-03

基金項(xiàng)目：國(guó)家自然科學(xué)基金項(xiàng)目（61561004），江西省教育廳科學(xué)技術(shù)研究項(xiàng)目（GJJ201408）

作者簡(jiǎn)介：蘇靖然（1997—），女，碩士研究生，專業(yè)方向?yàn)橹悄苄畔⑻幚?、深度學(xué)習(xí)。

*通信作者：李秋生（1976—），男，教授，從事智能信息處理方向的研究，e-mail： liqiusheng@gnnu.edu.cn。