基于微分熵與深度殘差網(wǎng)絡(luò)的腦電信號情感識別

杜秀麗 馬振倩 郭慶汝 邱少明 呂亞娜

(大連大學(xué)通信和網(wǎng)絡(luò)重點實驗室 遼寧 大連 116622) (大連大學(xué)信息工程學(xué)院 遼寧 大連 116622)

0 引 言

人類的情感既包含人類對所處外界環(huán)境或者自身心理活動而引發(fā)的生理反應(yīng),還包含這些生理反應(yīng)而觸發(fā)的心理反應(yīng),可以概括為一種整合了人類的行為、感覺、思維的狀態(tài)活動[1]。人的情感是人與人交往的一個重要因素,對一個自然的人機(jī)交互界面來說,識別、解釋和響應(yīng)語音中表達(dá)的情感史至關(guān)重要的[2]。在人-機(jī)交互系統(tǒng)中,如果能夠準(zhǔn)確并且快速地識別出體驗者的情感變化,智能設(shè)備可以以此作為依據(jù)進(jìn)行相應(yīng)的調(diào)整,使得在使用過程更加滿足使用者的生理與心理需求[3];在軍事領(lǐng)域運用情感識別,能夠輔助指揮人員依據(jù)戰(zhàn)士的情感狀態(tài)制定相應(yīng)合適的作戰(zhàn)計劃。所以,對人的情感狀態(tài)進(jìn)行準(zhǔn)確而有效的評估與識別,已經(jīng)成為各個研究領(lǐng)域的重點話題[4]。

腦電信號(Electroencephalogram,EEG)因具有不可偽裝性、實時差異性和容易采集等優(yōu)點逐步成為研究情感識別的生理依據(jù)。Duan等[5]利用能量頻譜特征對積極與消極情感進(jìn)行二分類,分類準(zhǔn)確率為76.56%。柳長源等[6]通過左、右側(cè)導(dǎo)聯(lián)的微分熵特征,提取腦電信號的不對稱性特征,結(jié)合支持向量機(jī)對情感分類識別,平均準(zhǔn)確率為88.625%。Murugappan等[7]提取EEG信號熵特征,比較了六種情緒狀態(tài),如恐懼、高興、驚奇等,發(fā)現(xiàn)利用腦電熵特征分類的最大平均準(zhǔn)確率為83.04%,表明腦電熵特征可以有效地區(qū)分不同情感狀態(tài)。Chai等[8]提取腦電信號的六種時域統(tǒng)計特征,利用卷積神經(jīng)網(wǎng)絡(luò)識別憤怒、驚奇和悲傷等情感,識別準(zhǔn)確率最高可達(dá)95%。Zheng等[9]利用挑選的8個電極:AF3、AF4、F3、F4、F7、F8、T7和T8,得到了87.5%的情感識別效果。田莉莉等[10]將截取的62導(dǎo)聯(lián)的腦電信號數(shù)據(jù)結(jié)合改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)實現(xiàn)腦電情感狀態(tài)的識別,達(dá)到94.7%的準(zhǔn)確率。張家瑞等[11]采用多頻帶與多通道的EEG信號情感識別方法提取EEG信號的微分熵特征實現(xiàn)情感狀態(tài)識別,總體準(zhǔn)確率為91.99%?？偨Y(jié)以上分析方法可以發(fā)現(xiàn):現(xiàn)有的腦電信號情感識別方法大都是挑選出與EEG信號情感變化相關(guān)度較大的某幾個單導(dǎo)聯(lián)進(jìn)行特征提取與特征選擇,往往會忽略掉其他導(dǎo)聯(lián)EEG信號的信息以及導(dǎo)聯(lián)間隱匿存在的空間拓?fù)浣Y(jié)構(gòu)特征,而這些信息和特征往往對情感狀態(tài)的識別具有關(guān)鍵性作用。

本文提出基于微分熵特征(Differential Entropy,DE)[12]和深度殘差網(wǎng)絡(luò)(Deep Residual Network,ResNet)[13]相結(jié)合的腦電信號情感識別方法。在對原始EEG信號進(jìn)行分頻帶后,采用微分熵來衡量每個導(dǎo)聯(lián)在特定時間間隔的特征,將各個導(dǎo)聯(lián)的特征組織映射到二維平面中,作為深度殘差網(wǎng)絡(luò)的輸入,進(jìn)行腦電信號特征自動提取、學(xué)習(xí)和分類,以提高EEG信號情感識別的準(zhǔn)確率。

1 全導(dǎo)聯(lián)腦電信號微分熵特征

傳統(tǒng)的腦電信號情感識別過程中往往是挑選某幾個導(dǎo)聯(lián)進(jìn)行特征提取,實現(xiàn)特征識別的目的?，F(xiàn)存的方法沒有利用其他導(dǎo)聯(lián)采集的信息,也會忽略掉導(dǎo)聯(lián)間存在的整體空間拓?fù)浣Y(jié)構(gòu)特征,這些隱匿的特征往往對提高情感識別的準(zhǔn)確率發(fā)揮著舉足輕重的作用。針對以上問題,本文提出基于微分熵特征的全導(dǎo)聯(lián)腦電信號特征表示方法。對情感EEG信號利用短時傅里葉變換,分別將EEG信號的全頻段、γ段、β段和α段的微分熵特征映射到二維平面,得到情感腦電信號的二維特征表示。

1.1 腦電信號短時傅里葉變換與微分熵特征

EEG信號是最常見的非平穩(wěn)、隨機(jī)信號,如果僅僅從時域或者頻域上進(jìn)行特征分析,很難達(dá)到我們所期待的目的。信號的時頻分析往往相對于時域和頻域分析更能隨著時間的變化反映出頻域的變化特征。短時傅里葉變換就是種常用的時頻分析工具,因具備簡捷有效的優(yōu)點,被廣泛應(yīng)用。

假設(shè)研究的原始信號為x(n),選取的窗函數(shù)為d(n),利用式(1)可以得到腦電信號的短時傅里葉變換,本文在實際操作中選擇漢寧窗作為窗函數(shù)(漢寧窗不但能夠得到EEG信號隨時間變量的頻譜變化,還能有效減少頻譜能量泄露):

(1)

對于微分熵的定義如下:

(2)

式中:f(x)表示時間序列的概率密度函數(shù)。滿足高斯分布特性的連續(xù)時間信號微分熵計算公式如下[13]:

(3)

根據(jù)上述公式可以清晰地發(fā)現(xiàn):滿足高斯分布的時間序列信號的微分熵只與方差相關(guān)。對于一段已經(jīng)經(jīng)過歸一化處理的EEG信號XN(N表示腦電信號的長度),可以得到其方差表示如下:

(4)

EEG信號的方差可以由能量譜P的均值表示,得:

(5)

通過上述的敘述,EEG信號某個頻帶的DE可以由此頻帶能量譜的對數(shù)近似表示。

1.2 腦電信號微分熵二維特征映射

為了盡可能多地挖掘到所有導(dǎo)聯(lián)間隱匿空間拓?fù)浣Y(jié)構(gòu)特征,將截取的62通道的腦電信號分別提取得到信號的全頻段、γ段(31～50 Hz)、β段(14～31 Hz)和α段(8～14 Hz)的微分熵映射到二維平面,具體的映射排列方式如圖1所示(沒有放置電極的部位進(jìn)行置零處理)。圖1中左側(cè)為腦電信號采集時62路電極放置方式,右側(cè)分別表示全頻段、γ段、β段和α段的62導(dǎo)聯(lián)微分熵特征,以此作為深度殘差網(wǎng)絡(luò)的輸入,實現(xiàn)全導(dǎo)聯(lián)信息及空間拓?fù)浣Y(jié)構(gòu)特征的自動挖掘和學(xué)習(xí),建立EEG情感分類模型。

圖1 EEG信號微分熵二維特征映射展示

2 本文方法

2.1 框 架

卷積神經(jīng)網(wǎng)絡(luò)(Convolution Neural Network,CNN)是一種非常高效的深層前饋神經(jīng)網(wǎng)絡(luò),其網(wǎng)絡(luò)結(jié)構(gòu)對平移、比例縮放、傾斜或其他形式的變形具有高度不變性。典型的CNN結(jié)構(gòu)由輸入層、卷積層、池化層、全連接層、輸出層組成。

對于深度神經(jīng)網(wǎng)絡(luò),普遍認(rèn)為加深網(wǎng)絡(luò)層次是增強(qiáng)非線性擬合能力、提高模型識別準(zhǔn)確率的有效手段。但隨著網(wǎng)絡(luò)層次的增加,會伴隨出現(xiàn)梯度消失和梯度爆炸的問題。為了解決深度卷積神經(jīng)網(wǎng)絡(luò)因網(wǎng)絡(luò)層數(shù)加深而引發(fā)的退化現(xiàn)象,He等[13]提出了深度殘差網(wǎng)絡(luò)的模型結(jié)構(gòu),解決了深層網(wǎng)絡(luò)面臨的收斂難、調(diào)優(yōu)難等問題,克服了傳統(tǒng)卷積網(wǎng)絡(luò)隨著網(wǎng)絡(luò)層數(shù)增加而導(dǎo)致的退化問題。

為自動挖掘各個導(dǎo)聯(lián)信息及導(dǎo)聯(lián)間空間拓?fù)浣Y(jié)構(gòu)特征,本文提出的基于微分熵特征與深度殘差網(wǎng)絡(luò)的腦電信號情感識別方法整體流程如圖2所示。對預(yù)處理后的情感腦電信號按照不同的頻帶提取微分熵特征,并將全頻段、γ段、β段和α段的微分熵特征映射到二維平面,得到情感腦電信號的二維特征表示;進(jìn)一步地將EEG信號的二維特征微分熵特征作為深度殘差網(wǎng)絡(luò)的輸入,實現(xiàn)多導(dǎo)聯(lián)間隱匿空間拓?fù)浣Y(jié)構(gòu)特征的自動提取和學(xué)習(xí),建立EEG情感分類模型。

圖2 基于微分熵特征與深度殘差網(wǎng)絡(luò)相結(jié)合的腦電信號情感識別總體框架

2.2 腦電信號情感識別的深度殘差網(wǎng)絡(luò)設(shè)計

62導(dǎo)聯(lián)的情感腦電信號經(jīng)過預(yù)處理、短時傅里葉變換后得到全頻帶、γ段、β段和α段的微分熵特征,將提取到的特征按照圖1的排列方式轉(zhuǎn)化為二維特征。由于圖像的像素較小,并且數(shù)據(jù)較為“集中”,所以本文將原始圖像利用“雙立方插值算法”[14]放大到224×224×1的像素,以此作為深度殘差網(wǎng)絡(luò)的輸入。表1為設(shè)計的網(wǎng)絡(luò)結(jié)構(gòu)參數(shù),圖3為結(jié)構(gòu),本文針對EEG情感狀態(tài)這個數(shù)據(jù)集,采用ResNet18網(wǎng)絡(luò)模型進(jìn)行分析,并通過Softmax函數(shù)得到情感識別的結(jié)果。

表1 ResNet18超參數(shù)

圖3 本文設(shè)計的ResNet18結(jié)構(gòu)

3 實驗與結(jié)果分析

3.1 實驗數(shù)據(jù)

本文采用國際公認(rèn)的人類腦電情感數(shù)據(jù)集SEED作為實驗數(shù)據(jù)[3]。該數(shù)據(jù)集使用電影片段作為情感誘發(fā)素材,情感狀態(tài)分為3類:積極、消極和中性。

EEG基本頻段如圖4所示,對EEG信號數(shù)據(jù)預(yù)處理,截取的腦電數(shù)據(jù)長度為800,樣本總量為10 860。EEG信號經(jīng)過歸一化處理后,得到EEG信號微分熵二維特征映射圖。

3.2 仿真及實驗結(jié)果分析

實驗采用的硬件設(shè)備為Intel Core 4.20 GHz i7-7700 K CPU和NVIDA Geforce GTX 1080 Ti GPU。軟件環(huán)境采用MATLAB2014a和PyCharm 2019,同時借助Keras框架實現(xiàn)改進(jìn)的ResNet18網(wǎng)絡(luò),采用自適應(yīng)動量估計(Adaptive Moment Estimation,Adam)優(yōu)化算法,分別設(shè)置參數(shù)為:循環(huán)迭代次數(shù)100次,初始化學(xué)習(xí)率為0.001。

本文采用下列四個定量模型評估指標(biāo)對模型的性能進(jìn)行評估:準(zhǔn)確率(Accuracy)、精確率(Precision)、召回率(Recall)與綜合調(diào)和分?jǐn)?shù)指標(biāo)(F1)。評估指標(biāo)定義如下:

(6)

(7)

(8)

(9)

式中:TP表示被模型分類正確的正樣本;FP表示被模型分類錯誤的負(fù)樣本;TN表示被模型分類正確的負(fù)樣本;FN表示被模型分類錯誤的正樣本。

對于N分類問題的綜合調(diào)和分?jǐn)?shù)指標(biāo)為:

(10)

3.2.1 基于全導(dǎo)聯(lián)腦電信號微分熵識別結(jié)果

為了驗證本文方法的優(yōu)越性,同樣提取了相同時間段內(nèi)情感腦電數(shù)據(jù)的功率譜密度、近似熵特征,按照以上方法得到相應(yīng)的二維特征映射圖開展對照實驗。表2分別給出了利用功率譜密度(PSD)、近似熵(ApEn)[15-16]和本文的微分熵(DE)特征進(jìn)行腦電信號情感識別的每折實驗測試集準(zhǔn)確率、五折實驗的平均準(zhǔn)確率、標(biāo)準(zhǔn)差。

表2 不同EEG信號特征每折實驗測試集準(zhǔn)確率、五折實驗的平均準(zhǔn)確率、標(biāo)準(zhǔn)差

分析表2可以得出:應(yīng)用功率譜密度、近似熵和本文的微分熵特征識別的平均準(zhǔn)確率分別達(dá)到了90.985%、86.916%和95.091%。腦電信號的三種特征分別結(jié)合本文方法進(jìn)行情感識別都得到了比較令人滿意的準(zhǔn)確率,說明本文將全部導(dǎo)聯(lián)腦電信號作為統(tǒng)一整體,利用深度殘差網(wǎng)絡(luò)自動地挖掘全導(dǎo)聯(lián)信息及導(dǎo)聯(lián)間隱匿的整體空間拓?fù)浣Y(jié)構(gòu)特征進(jìn)行情感識別的方法是十分有效的。

每折實驗對應(yīng)的分類混淆矩陣如表3所示。為了更全面地對模型性能進(jìn)行評估,采用精準(zhǔn)率、召回率和均值作為評級指標(biāo),結(jié)果如表4所示?？梢钥闯?每折實驗的精準(zhǔn)率與召回率之間都相差大約0.02,并且兩個指標(biāo)普遍保持在0.92以上,整體在0.92～0.97之間,體現(xiàn)出本文模型具有很強(qiáng)的泛化能力。對于綜合指標(biāo)Macro而言,模型每折實驗的值均在0.940以上,說明在Precision與Recall一樣重要的情況下,本文方法達(dá)到了較為理想的結(jié)果。

表3 微分熵特征混淆矩陣

表4 微分熵特征分類指標(biāo)

3.2.2 同類研究對比

為了進(jìn)一步驗證基于本文方法的腦電情感識別效果的科學(xué)性與優(yōu)越性,將本文方法與采用相同數(shù)據(jù)集的其他識別方法進(jìn)行比較。Li等[17]將提取到的不同導(dǎo)聯(lián)腦電信號的微分熵映射為二維形式,以此作為分層卷積神經(jīng)網(wǎng)絡(luò)的輸入,識別準(zhǔn)確率為88.20%,同時發(fā)現(xiàn)Beta波和Gamma波對情感識別起著關(guān)鍵作用。Zheng等[3]提取腦電信號的微分熵特征進(jìn)行特征平滑、降維,將得到的低維特征結(jié)合判別圖正則極限學(xué)習(xí)機(jī)進(jìn)行情感識別,準(zhǔn)確率為91.07%。田莉莉等[10]采用一維卷積神經(jīng)網(wǎng)絡(luò)隨機(jī)森林情感識別的方法對62導(dǎo)聯(lián)的腦電數(shù)據(jù)進(jìn)行自動特征提取,識別準(zhǔn)確度達(dá)到94.7%。對比發(fā)現(xiàn),本文基于微分熵特征與深度殘差網(wǎng)絡(luò)的腦電信號情感識別方法在相同數(shù)據(jù)集上充分挖掘了各個導(dǎo)聯(lián)信息及導(dǎo)聯(lián)間隱匿的空間拓?fù)浣Y(jié)構(gòu)特征,該方法的識別平均準(zhǔn)確率為95.10%。

4 結(jié) 語

本文針對現(xiàn)有EEG信號情感識別中沒有考慮到導(dǎo)聯(lián)間存在的整體空間拓?fù)浣Y(jié)構(gòu)問題,提出基于微分熵與深度殘差網(wǎng)絡(luò)的識別方法。首先,將全部導(dǎo)聯(lián)腦電信號作為一個整體,把EEG信號各個頻帶的微分熵特征按照相應(yīng)的電極空間位置、頻段順序映射為EEG信號微分熵二維特征;然后,利用深度殘差網(wǎng)絡(luò)實現(xiàn)二維特征的自動提取,以充分挖掘了各個導(dǎo)聯(lián)信息,及導(dǎo)聯(lián)間EEG信號中隱匿的空間拓?fù)浣Y(jié)構(gòu)特征,進(jìn)而提高腦電信號情感識別的準(zhǔn)確率。

為了驗證本文方法的性能,分別提取了相同時間段內(nèi)各導(dǎo)聯(lián)EEG信號的功率譜密度、近似熵和微分熵特征得到二維映射特征圖,以此作為深度殘差網(wǎng)絡(luò)的輸入。實驗結(jié)果表明:腦電信號的三種特征分別結(jié)合本文設(shè)計的網(wǎng)絡(luò)進(jìn)行情感識別都得到了比較令人滿意的準(zhǔn)確率,說明本文將全部導(dǎo)聯(lián)腦電信號作為統(tǒng)一整體,利用深度殘差網(wǎng)絡(luò)自動地挖掘?qū)?lián)間隱匿的整體空間拓?fù)浣Y(jié)構(gòu)特征進(jìn)行情感識別的方法是十分有效的;進(jìn)一步對比三種特征結(jié)合本文方法的準(zhǔn)確率可知,微分熵的平均識別準(zhǔn)確率最高,功率譜特征次之,近似熵特征最低,說明微分熵特征更適合表示腦電信號。與其他識別方法進(jìn)行比較可知,本文基于微分熵特征與深度殘差網(wǎng)絡(luò)的腦電信號情感識別方法在相同數(shù)據(jù)集上充分挖掘了各個導(dǎo)聯(lián)信息及導(dǎo)聯(lián)間隱匿的空間拓?fù)浣Y(jié)構(gòu)特征,識別平均準(zhǔn)確率為95.10%,進(jìn)一步表明了本文方法的優(yōu)越性。