注意力殘差網(wǎng)絡(luò)結(jié)合LSTM 的EEG 情緒識(shí)別研究

摘要：基于腦電信號(hào)的情感識(shí)別已成為情感計(jì)算和人機(jī)交互領(lǐng)域的一個(gè)重要挑戰(zhàn)。由于腦電信號(hào)中具有時(shí)間、空間、頻率維度信息，采用結(jié)合注意力殘差網(wǎng)絡(luò)與長短時(shí)記憶網(wǎng)絡(luò)的混合網(wǎng)絡(luò)模型（ECA-ResNet-LSTM）對(duì)腦電信號(hào)進(jìn)行特征提取與識(shí)別。首先，提取時(shí)域分段后腦電信號(hào)不同頻帶微分熵特征，將從不同通道中提取出的微分熵特征轉(zhuǎn)化為四維特征矩陣；然后通過注意力殘差網(wǎng)絡(luò)（ECA-ResNet）提取腦電信號(hào)中空間與頻率信息，并引入注意力機(jī)制重新分配更相關(guān)頻帶信息的權(quán)重，長短時(shí)記憶網(wǎng)絡(luò)（ LSTM）從ECA-ResNet 的輸出中提取時(shí)間相關(guān)信息。實(shí)驗(yàn)結(jié)果表明： 在DEAP 數(shù)據(jù)集喚醒維和效價(jià)維二分類準(zhǔn)確率分別達(dá)到了97.15% 和96.13%，喚醒-效價(jià)維四分類準(zhǔn)確率達(dá)到了95.96%，SEED 數(shù)據(jù)集積極-中性-消極三分類準(zhǔn)確率達(dá)到96.64%，相比現(xiàn)有主流情感識(shí)別模型取得了顯著提升。

關(guān)鍵詞：腦電信號(hào)；情感識(shí)別；微分熵；注意力機(jī)制；殘差網(wǎng)絡(luò)

中圖分類號(hào)：TP391 文獻(xiàn)標(biāo)志碼：A

近年來，由于情感識(shí)別在人機(jī)交互、疾病評(píng)估、駕駛疲勞檢測(cè)和心理壓力評(píng)估等方面的廣泛應(yīng)用得到了研究者們?cè)絹碓蕉嗟年P(guān)注。情感識(shí)別方法的研究可分為兩大類，一類是基于非生理信號(hào)的研究，例如面部表情和言語語音，另一類是基于生理信號(hào)的研究，例如腦電信號(hào)（ElectroencEphaloGram， EEG）和心電信號(hào)（ ElectrocardioGram， ECG） [1]。相比于非生理信號(hào)，腦電信號(hào)不受人為主觀控制，能真實(shí)反應(yīng)人的內(nèi)心情緒狀態(tài)，且采集腦電信號(hào)具有無創(chuàng)傷、實(shí)驗(yàn)成本小、采集設(shè)備便于攜帶等特點(diǎn)。此外，腦電信號(hào)可以從頻帶、電極位置和時(shí)間信息等維度獲得與情緒識(shí)別相關(guān)的各種信息，因此基于腦電信號(hào)的情緒識(shí)別成為了情感計(jì)算領(lǐng)域的研究重點(diǎn)。

從傳統(tǒng)的手工提取腦電特征的方法到使用深度學(xué)習(xí)方法提取深度特征并進(jìn)行情感識(shí)別，基于腦電信號(hào)進(jìn)行情緒識(shí)別已經(jīng)取得了很大的進(jìn)步。然而在以往的研究中，大多數(shù)研究者只考慮提取腦電信號(hào)中的時(shí)域、頻域或者時(shí)頻域等淺層特征[2]，這些淺層特征并沒有足夠的判別信息去進(jìn)行情感識(shí)別。因此，近年來越來越多的研究者開始使用深度學(xué)習(xí)算法提取腦電信號(hào)中的深層信息去進(jìn)行情感識(shí)別。闞威等[3] 使用長短時(shí)記憶網(wǎng)絡(luò)（LSTM）提取腦電信號(hào)中時(shí)域信息進(jìn)行情感識(shí)別，在DEAP 數(shù)據(jù)集效價(jià)維與喚醒維二分類識(shí)別準(zhǔn)確率分別為73.52% 和75.10%。Yang 等[4] 考慮了腦電信號(hào)在進(jìn)行情緒識(shí)別實(shí)驗(yàn)中存在的時(shí)間依賴性問題，使用時(shí)間卷積網(wǎng)絡(luò)進(jìn)行情感識(shí)別并在DEAP 數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，在效價(jià)維與喚醒維的分類準(zhǔn)確率分別為74.42% 和71.40%。梁椰舷等[5] 提出一種多通道連續(xù)卷積神經(jīng)網(wǎng)絡(luò)方法，在DEAP 數(shù)據(jù)集上效價(jià)維與喚醒維的分類準(zhǔn)確率分別為93.63% 和92.58%。宋振振等[6] 根據(jù)腦電信號(hào)具有時(shí)序性特點(diǎn)，提出了一種基于Snapshot 集成的時(shí)序卷積網(wǎng)絡(luò)（TCN），在DEAP 數(shù)據(jù)集二分類與四分類平均識(shí)別準(zhǔn)確率分別達(dá)到95% 和93%。上述研究結(jié)果表明，通過使用深度學(xué)習(xí)算法提取腦電信號(hào)中深層特征有助于提高情感分類準(zhǔn)確率。