基于mRMR 和BiLSTM 的腦電信號(hào)情緒識(shí)別

朱以帥， 甘良志， 王 順

（江蘇師范大學(xué) 電氣工程及自動(dòng)化學(xué)院， 江蘇 徐州 221116）

0 引 言

情感的表達(dá)是人類(lèi)生活的一個(gè)重要方面［1］。表情描繪了對(duì)事件、人類(lèi)互動(dòng)、決策和智能的感知。情緒表達(dá)一個(gè)人的心理、生理和心理狀態(tài)［2］。 人的情緒狀態(tài)對(duì)人的心理健康有重要影響，通過(guò)腦電信號(hào)，可以識(shí)別這些情緒并對(duì)其進(jìn)行分類(lèi)［3］。 情緒的概念在幾十年前就已經(jīng)形成，但至今還沒(méi)有得到心理學(xué)家認(rèn)可的標(biāo)準(zhǔn)思想。 研究者將情緒的分類(lèi)描述為兩種方法：

（1）情緒分成離散的類(lèi)別；

（2）使用多個(gè)維度來(lái)識(shí)別情緒［4］。 根據(jù)喚醒和效價(jià)狀態(tài)導(dǎo)出的量表可以對(duì)情緒進(jìn)行多維分類(lèi)［5］。喚醒維度從未喚起到興奮狀態(tài)，而效價(jià)維度則表現(xiàn)為積極情緒或消極情緒。

腦電信號(hào)是一組包含冗余信息的離散時(shí)間序列，特征提取的目的是消除冗余，提取最能反映腦電信號(hào)本質(zhì)的特征［6］。 近年來(lái)，隨著特征提取方法的發(fā)展與完善，單一的特征提取方法已經(jīng)不能滿(mǎn)足目前的研究需要，研究者們開(kāi)始提出一些基于組合策略的特征提取方法，如將時(shí)頻分析方法與非線性方法相結(jié)合，實(shí)現(xiàn)更好的識(shí)別效果。 Duan 等［7］提出微分熵（Differential Entropy，DE）特征對(duì)腦電信號(hào)進(jìn)行情緒識(shí)別，識(shí)別準(zhǔn)確率得到顯著提升；苗敏敏等［8］提出一種新的自適應(yīng)優(yōu)化空頻微分熵特征，通過(guò)稀疏回歸算法對(duì)多重局部空間-頻域內(nèi)的微分熵特征進(jìn)行優(yōu)化選擇；Zhong 等［9］提出用滑動(dòng)平均技術(shù)來(lái)平滑短期波動(dòng)，突出長(zhǎng)期趨勢(shì)或周期，利用Gamma頻段進(jìn)行情緒識(shí)別。

上述的熵特征值只對(duì)小樣本效果顯著，且需要一個(gè)匹配的模板，常規(guī)微分熵雖然對(duì)情緒有較好識(shí)別，但其在不同腦電信號(hào)頻段中特征不同，且在不同通道電極間特征數(shù)不同。 針對(duì)以上問(wèn)題，本文提出了一種基于最小冗余最大相關(guān)的多頻段腦電信號(hào)特征提取方法，針對(duì)腦電信號(hào)在不同通道電極間特征數(shù)不同，利用最小冗余最大相關(guān)性算法自適應(yīng)選取空點(diǎn)通道集，根據(jù)空間導(dǎo)聯(lián)電極與特征頻段分布不同，選擇與情緒特性關(guān)聯(lián)較大的空間電極并提出多頻段融合算法，對(duì)提取微分熵特征進(jìn)行優(yōu)化；通過(guò)提取不同頻段的腦電信號(hào)特征，更好的保留具有區(qū)分度的關(guān)鍵信息，可以有效提高情感腦電識(shí)別的精度。

1 特征提取與模型設(shè)計(jì)

1.1 微分熵特征

微分熵（Differential Entropy，DE）是香農(nóng)信息熵在連續(xù)變量上的推廣形式，式（1）：

其中，p（x） 為連續(xù)腦電信號(hào)的概率密度函數(shù)。

[a，b] 為腦電信號(hào)的數(shù)據(jù)區(qū)間。 對(duì)于任意長(zhǎng)度的一段近似服從高斯分布N（μ，σ2i） 的腦電信號(hào)，利用FFT 切片分段后其微分熵如式（2）所示：

由式（2）可知，對(duì)于常規(guī)腦電信號(hào)的微分熵，只需要分析σ2就可以得到其微分熵特征，常規(guī)正態(tài)分布N（μ，σ2i） 的方差計(jì)算如式（3）所示：

通常定義離散信號(hào)的頻譜能量p，式（4）：

由式（4）可知在不同頻段腦電信號(hào)的方差為該頻段上平均能量值的數(shù)倍，即由此可以得出對(duì)于某一頻段微分熵特征，如式（5）所示：

由式（5）可知，在頻譜能量計(jì)算中i一定的情況下，腦電信號(hào)在不同頻段上微分熵為該頻段平均能量值數(shù)倍，此時(shí)利用微分熵特征可以有效減小在特征提取計(jì)算時(shí)產(chǎn)生的誤差，從而提高特征提取的精度。

1.2 通道特征提取

空間導(dǎo)聯(lián)電極腦電信號(hào)包含情緒特征數(shù)目具有明顯差異，不同信號(hào)頻段情緒特征也不相同，本文自適應(yīng)選取18 個(gè)空間電極導(dǎo)聯(lián)處的腦電信號(hào)進(jìn)行分析處理。

結(jié)合自適應(yīng)選取的腦電通道，將腦電信號(hào)分解至theta、alpha、beta 、gamma 4 個(gè)頻段，分別對(duì)每一個(gè)頻段內(nèi)的信號(hào)，進(jìn)行微分熵特征提取。

最小冗余最大相關(guān)性（mRMR）是一種濾波式的特征選擇方法，最大化特征與分類(lèi)變量之間的相關(guān)度，可以有效對(duì)空間導(dǎo)聯(lián)電極間進(jìn)行互信息交換，尋找有利于情緒識(shí)別相關(guān)通道電極。 為了提高空間導(dǎo)聯(lián)電極相關(guān)性對(duì)于情緒識(shí)別的準(zhǔn)確性，本文基于mRMR 對(duì)腦電信號(hào)通道相關(guān)性進(jìn)行優(yōu)化。

mRMR 方法的通道集合的相關(guān)性由情緒特征與通道電極間的信息增益均值計(jì)算得出。 結(jié)合不同通道間的特征數(shù)量，利用通道電極間的互信息量，求取不同通道間的特征冗余。 互信息量為式（6）：

其中，x，y為隨機(jī)數(shù)，p（x）、p（y）、p（x，y） 為概率密度函數(shù)。

本文用增量搜索方法尋找最優(yōu)的通道特征集合。 根據(jù)已有通道集Sm-1，從剩下的特征X - Sm-1中找到第m個(gè)特征，使用mRMR 進(jìn)行通道特征選擇后，會(huì)得到一個(gè)重要性排名。

最終結(jié)合交叉驗(yàn)證來(lái)選擇結(jié)果性能最好的通道集，根據(jù)排名對(duì)特征子集從高優(yōu)先級(jí)至低優(yōu)先級(jí)逐次交叉驗(yàn)證測(cè)試，選擇結(jié)果最好的一組通道集合。通道特征優(yōu)化條件為式（7）：

根據(jù)mRMR 選取通道集后，利用多頻段融合進(jìn)行特征提取，多頻段融合為4-8 Hz、9-14 Hz、14-24 Hz、25-31 Hz、32-45 Hz，由于beta 頻段產(chǎn)生本文將其分解為high-beta（25-31Hz）和low-beta（14-24Hz）兩部分進(jìn)行特征提取，可以有效去除特征中冗余信息，提升分類(lèi)準(zhǔn)確性。

本文采用DEAP 數(shù)據(jù)集32 腦電通道以及由mRMR 選取用于情緒識(shí)別18 通道集合，如圖1 所示。

圖1 腦電通道地形圖Fig.1 Topographic map of EEG channel

1.3 模型設(shè)計(jì)與分析

針對(duì)腦電信號(hào)特征在時(shí)間序列上的特殊性，使用LSTM 可以避免特征丟失等情況發(fā)生，可以有效對(duì)腦電信號(hào)的時(shí)間序列上的特征信息進(jìn)行傳遞分析。

本文采用具有BiLSTM 層的LSTM 模型進(jìn)行特征訓(xùn)練，利用正向和反向LSTM 的輸出結(jié)合以提供給后續(xù)的網(wǎng)絡(luò)模塊作為輸入；結(jié)合一個(gè)雙向循環(huán)的LSTM 模型，利用過(guò)去的和未來(lái)的輸入特征；結(jié)合本文特征提取算法進(jìn)行情緒識(shí)別，有效提高識(shí)別精確度。

含有雙向循環(huán)的LSTM 層可以通過(guò)正向和逆向?qū)斎胄蛄羞M(jìn)行特征提取，并將兩個(gè)輸出向量進(jìn)行拼接作為該特征的最終向量表達(dá)。 利用BiLSTM 對(duì)輸入熵特征進(jìn)行訓(xùn)練，使訓(xùn)練速度更快、訓(xùn)練效果更好。

BiLSTM 中兩個(gè)LSTM 網(wǎng)絡(luò)單元是相互獨(dú)立的，可以讓模型運(yùn)行更加穩(wěn)定。 BiLSTM 模型基本結(jié)構(gòu)如圖2 所示。

圖2 BiLSTM 模型基本結(jié)構(gòu)Fig.2 Basic Structure of BiLSTM model

在第一層Dense 層之后應(yīng)用一個(gè)ReLU 激活函數(shù)，將函數(shù)的非線性和稀疏性加入LSTM 網(wǎng)絡(luò)訓(xùn)練中，從而得到更加精確的結(jié)果。 ReLU 定義如式（8）所示：

本文中情緒分類(lèi)采用激活函數(shù)為Softmax，是常見(jiàn)的歸一化函數(shù)，與交叉熵?fù)p失函數(shù)一起使用，可以達(dá)到很好的分類(lèi)效果。 因此在最后的1 個(gè)Dense 層使用Softmax 函數(shù)，其定義如式（9）所示。

本文提出的情緒識(shí)別BiLSTM 模型體系結(jié)構(gòu)如圖3 所示，用于特征分類(lèi)的結(jié)構(gòu)包括1 個(gè)BiLSTM層、4 個(gè)LSTM 層和2 個(gè)Dense 層。 合理設(shè)置參數(shù)可以達(dá)到更好的使用效果，其基本設(shè)置見(jiàn)表1。

表1 LSTM 層基本設(shè)置Tab.1 Basic settings of LSTM layer

圖3 情緒識(shí)別模型基本結(jié)構(gòu)Fig.3 Basic structure of emotion recognition model

對(duì)于4 層LSTM 層每層Dropout 設(shè)置為0.5，選擇控制輸入線性變換的神經(jīng)元斷開(kāi)比例，在訓(xùn)練過(guò)程中可以有效避免過(guò)擬合情況產(chǎn)生。

4 層LSTM 層神經(jīng)元個(gè)數(shù)units 分別設(shè)置為128、64、64、32，合理遞減每層神經(jīng)元個(gè)數(shù)，可以充分對(duì)輸入特征進(jìn)行降維，最終利用Dense 層進(jìn)行分類(lèi)。

2 實(shí)驗(yàn)數(shù)據(jù)預(yù)處理

DEAP（Database for Emotion Analysis using Physi-ological Signals） 數(shù)據(jù)集包含32 組腦電數(shù)據(jù)，由16名男性數(shù)據(jù)和16 名女性數(shù)據(jù)構(gòu)成，保證進(jìn)行數(shù)據(jù)采集過(guò)程中每人身體狀況都處在健康狀態(tài)［10］。 利用32 個(gè)傳感器在每個(gè)人不同腦區(qū)進(jìn)行信號(hào)采集，腦電信號(hào)采集過(guò)程中，讓每位實(shí)驗(yàn)者分別觀看時(shí)間為60 s的40 段不同視頻，針對(duì)去除眼電信號(hào)等干擾，并將原始數(shù)據(jù)降采樣至128 Hz。

研究表明，腦電的主要頻段delta （1-3 Hz）、theta（4-7 Hz）、alpha （8-12 Hz）、beta（13-30 Hz）和gamma（31-45 Hz）等5 個(gè)節(jié)律與人的生理活動(dòng)有著密切的聯(lián)系，并發(fā)現(xiàn)在不同頻帶內(nèi)包含不同比例的情緒特征［11］。

本文利用快速傅里葉變換（Fast Fourier Transform， FFT）對(duì)原始腦電信號(hào)進(jìn)行預(yù)處理及切片操作，分頻段進(jìn)行腦電信號(hào)分析和特征提取。

DEAP 數(shù)據(jù)集中，每個(gè)通道的腦電信號(hào)都由40種不同情緒腦電信號(hào)組合而成，為防止在特征提取過(guò)程中產(chǎn)出過(guò)度的特征冗余，對(duì)腦電信號(hào)進(jìn)行數(shù)據(jù)切片。 如圖4 所示腦電信號(hào)單通道數(shù)據(jù)構(gòu)成為1*40*8 064（40 min 數(shù)據(jù)）個(gè)數(shù)據(jù)點(diǎn)，首先將其分解成40 個(gè)1*8 064 的數(shù)據(jù)段，針對(duì)每段信號(hào)前3 s 都會(huì)有靜默階段，剔除掉前3 s（384 個(gè)數(shù)據(jù)點(diǎn)）的基線信號(hào)，將剩余60 s 腦電信號(hào)切片分為30 個(gè)2 s（256 個(gè)數(shù)據(jù)點(diǎn)）的信號(hào)進(jìn)行FFT，將其分解為theta、alpha、beta 和gamma 這4 個(gè)頻段上的頻域信號(hào)，可以達(dá)到最好的特征提取效果。

圖4 FFT 數(shù)據(jù)切片流程Fig.4 FFT data slicing process

3 實(shí)驗(yàn)與分析

實(shí)驗(yàn)進(jìn)行多次分類(lèi)驗(yàn)證并計(jì)算分類(lèi)均值用來(lái)評(píng)估情緒分類(lèi)過(guò)程中采用不同頻段特征對(duì)分類(lèi)準(zhǔn)確率的影響，分別對(duì)Arousal 和Valence 兩種特征進(jìn)行分類(lèi)驗(yàn)證，不通頻段特征分類(lèi)準(zhǔn)確率見(jiàn)表2 和表3。

表2 不同頻段特征分類(lèi)準(zhǔn)確率對(duì)比（Arousal）Tab.2 Comparison of feature classification accuracy in different frequency bands （Arousal）

表3 不同頻段特征分類(lèi)準(zhǔn)確率對(duì)比（Valence）Tab.3 Comparison of feature classification accuracy in different frequency bands （Valence）

特征提取均采用設(shè)定的18 導(dǎo)聯(lián)集合，分析了beta、gamma 和多頻段融合共3 個(gè)頻段，其中多頻段融合為4-8 Hz、9-14 Hz、14-24 Hz、25-31 Hz、32-45 Hz。 從表2 和表3 可知，多頻段融合后利用mRMR 改進(jìn)的熵特征分類(lèi)效果優(yōu)于常規(guī)beta 頻段和gamma 頻段特征，使用BiLSTM 網(wǎng)絡(luò)模型，利用多頻段特征融合后分類(lèi)正確率也遠(yuǎn)高于單頻段的特征分類(lèi)。

與常規(guī)32 通道導(dǎo)聯(lián)的識(shí)別方法進(jìn)行對(duì)比，本文選取與情緒相關(guān)性較大的18 通道導(dǎo)聯(lián)集合在特征提取及情緒分類(lèi)方面有更高的準(zhǔn)確率。

為了全方位評(píng)估本文提出算法，將本文提出mRMR 通道特征選取算法與常見(jiàn)微分熵特征和差分不對(duì)稱(chēng)熵特征算法進(jìn)行對(duì)比實(shí)驗(yàn)，結(jié)果見(jiàn)表4，可見(jiàn)本文引入的BiLSTM 網(wǎng)絡(luò)模型結(jié)構(gòu)，對(duì)比常見(jiàn)算法在情緒識(shí)別準(zhǔn)確率方面有了明顯提升。

表4 算法分類(lèi)準(zhǔn)確率對(duì)比（Arousal）Tab.4 Comparison of algorithm classification accuracy （Arousal）

4 結(jié)束語(yǔ)

針對(duì)現(xiàn)有情感腦電特征提取算法存在特征冗余及對(duì)相關(guān)通道電極特征分類(lèi)不明確的情況，本文提出了基于mRMR 優(yōu)化通道的熵特征提取并用于情緒分類(lèi)，同時(shí)根據(jù)空間導(dǎo)聯(lián)重要性進(jìn)行通道電極選擇。 本 文 使 用DEAP 數(shù) 據(jù) 集， 針 對(duì)Arousal 和Valence 兩種不同情緒模式進(jìn)行分析研究，實(shí)驗(yàn)結(jié)果表明本文采用的基于mRMR 消除冗余改進(jìn)微分熵特征在Arousal 和Valence 兩種情緒模式下達(dá)到了96.23%和93.16%的識(shí)別準(zhǔn)確率，高于單個(gè)頻段的識(shí)別準(zhǔn)確率。 此外，本文在常規(guī)LSTM 網(wǎng)絡(luò)中引入BiLSTM 層，輸入情緒特征訓(xùn)練速度更快、更加穩(wěn)定。未來(lái)可以聯(lián)合腦電通道間影響進(jìn)行時(shí)-空-頻域融合算法研究，進(jìn)一步提高分類(lèi)準(zhǔn)確率。