深度學習在腦電情感識別方面的應用研究進展

尹旺　李惠媛

摘要：情緒狀態(tài)在人與人的交流中發(fā)揮重要作用，人類腦電信號（EEG）在情緒識別上的應用具有良好的效果。目前深度學習算法在腦電信號情緒識別上的研究主要針對兩個目標，一是提高情感識別的平均準確率;二是對多維情感進行多分類準確識別。文章在二分類、三分類、四分類三個方面概述了近幾年深度學習應用于EEG情緒識別的研究進展，總結了深度學習算法在腦電信號（EEG）解碼情感狀態(tài)中一些仍待解決的關鍵問題和發(fā)展方向。

關鍵詞：深度學習;腦電;情緒識別;分類

中圖分類號：TP391 文獻標識碼：A 文章編號：1006-8228（2020）08-1 4-04

0 引言

腦電（Electroencephalogram，EEG）是一種使用電生理指標記錄大腦活動的方法，它記錄大腦活動時的電波變化，是腦神經細胞的電生理活動在大腦皮層或頭皮表面的總體反映[1]。人類的情緒變化就是一種大腦皮層上的高級神經活動，通過腦電來實現(xiàn)情緒識別具有很好的前景。EEG情緒識別的本質是選擇有監(jiān)督機器學習和無監(jiān)督機器學習分類器，通過提取好的腦電特征與未經訓練的特征樣本經過學習和分類來確定各種情緒狀態(tài)，從而達到情緒識別的目的[2]。

在以前的情緒識別研究中普遍采用淺層分類器，需要人工進行特征選擇和提取，但是這些特征是否能穩(wěn)定和準確地反映情緒信息，在很大程度上需要依靠研究者的專業(yè)知識和長期經驗積累[3]。在基于EEG的情緒識別研究中，利用傳統(tǒng)的分類器進行應用是比較困難的，主要原因是不同情緒的邊界較為模糊，如何提取并有效地識別與情緒相關的特征是一個巨大的挑戰(zhàn)，隨著機器學習近年來的迅猛發(fā)展，研究者逐漸將新型高效的機器學習算法（如深度學習）應用于EEG解碼中，并初步展現(xiàn)出其強于傳統(tǒng)機器學習的優(yōu)勢[4]。深度學習是以不少于二個隱含層的神經網(wǎng)絡對輸入進行非線性變換或表示學習的技術，強調直接從原始數(shù)據(jù)開始進行“端到端（end-to-end）'的學習，而不像過去一樣要從人工設計的特征開始進行學習，因此深度學習在很多場合下也被稱為表示學習[5]。目前，有一些用于分析人類情感狀態(tài)的多模態(tài)腦電情感數(shù)據(jù)庫供研究者們使用，例如DREAMER[6]，MPED[7]，DEAP[8]，SEED[9]等。這些數(shù)據(jù)庫通常以愉悅度（Valence）、喚醒度（ Arousal）和支配度（Dominance）三個維度作為受試者的情感評價指標，即通過對P-A-D這三個維度進行評分來判斷受試者當前的情緒狀態(tài)。本文是對現(xiàn)有研究的綜述，為該領域下一步研究方向提供參考。

1 論述

1.1 研究進展

（1）二分類研究進展

愉悅度（ Valence）表示積極或消極的情緒狀態(tài)，如興奮、愛、平靜等積極情緒及羞愧、無趣、厭煩等消極情緒。喚醒度（Arousal）表示生理活動和心理警覺的水平差異，低喚醒如睡眠、厭倦、放松等;高喚醒如清醒、緊張等。由于通過Valence和Arousal兩個維度就可以解釋絕大部分情緒變化，所以目前基于Valence和Arousal兩個維度的二分類器成為熱點[10]。

情緒識別在傳統(tǒng)的機器學習淺層分類器下已經取得了較好的分類效果。Zhang[11]等人將概率神經網(wǎng)絡（Probabilistic Neural Networks，PNN）作為分類器，以4個EEG頻帶的功率為特征，最終得到了對Valence81.21%的平均準確率，對Arousa181. 76%的平均準確率。李昕[12]等人提出了一種基于小波包熵和自回歸模型相結合的腦電信號特征提取算法，得出單一類型的特征量分類識別率明顯低于二者融合的結果，融合特征的算法情感識別分類正確率均在90%以上，平均分類正確率為95.51%。Liu㈣等人提出了一種利用融合的ResNet-50和LFCC特征以及多種分類器來解決腦電信號情感識別問題的自動方法，當使用k近鄰（KNN）作為分類器時，性能最好，對Valence得到90.39%的精度均值，對Arousal得到89.06%的精度均值。陳景霞[14]等人提取PSD功率譜密度特征和微分偏側與因果差異特征，利用DSA-CSP迭代的空間濾波算法，緩解了日間腦電信號的波動和差異導致情感分類性能下降的問題。

人工智能的革命式發(fā)展為深度學習網(wǎng)絡的實現(xiàn)提供了技術支持，也逐漸拓寬了深度學習的應用領域，現(xiàn)被大規(guī)模應用于EEG腦電信號的信息解碼。Li[15]等人提出了一種融合CNN和RNN的深度學習模型C-RNN，得到對Valence的平均識別精度為74.12%，對Arousal的平均識別精度為72.06%。Xu[16]等人采用的兩種半監(jiān)督的深度學習方法：疊加去噪自編碼器（SDAE）和深信念網(wǎng)絡（DBN）顯著提高了當前最先進的分類性能。Yang[17]等人使用卷積神經網(wǎng)絡（Cnn）和遞歸神經網(wǎng)絡（Rnn）對人的情緒狀態(tài)進行有效學習，模型在Valence和Arousal分類任務上的平均準確率分別為90.80%和91.03%。Yang[18]等人以差分熵（differential entropy，DE）為最終特征，提出了一種利用時間卷積網(wǎng)絡（TCN）處理基于腦電的情感識別問題的新序列模型。Chen[19]等人提取時域、頻域特征及其時頻域組合特征，使用卷積神經網(wǎng)絡（ ConvolutionNeural Network.CNN）作為分類器，證明了深度CNN模型在時域和頻域組合特征上均取得了目前最好的兩類識別性能。

近年來，情緒二分類研究不斷成熟，根據(jù)上述描述可知，未來研究的方向是特征的融合和網(wǎng)絡模型的融合。

（2）三分類研究進展

三個情感類別的識別研究相對來說比較少，同時分為三種情感類型的腦電情感數(shù)據(jù)集也比較少。目前三分類應用最多的是上海交通大學提供的情緒腦電數(shù)據(jù)庫SEED，此數(shù)據(jù)集采用電影視頻片段來誘發(fā)受試者的情緒，一般分為三類情感：積極（Positive）、消極（ Negative）、中性（Neutral）[9]。魏琛[20]等人采用小波包分解，產生64個節(jié)點，各個節(jié)點的能量作為特征，利用深度學習中的集成卷積神經網(wǎng)絡（CNN）借助集成學習的優(yōu)勢，集成了6個深度不同的基分類器，獲得了93.12%的平均分類精度。Shao[21]等人的創(chuàng)新之處在于將CNN的卷積核進行調整以適應腦電信號的輸入，最終在三分類的情緒腦電信號中，分類精度達到了85. 7go-/o。Wang[22]等人以差分熵（DE）特征作為輸入數(shù)據(jù)設計了一種魯棒的腦電情感識別系統(tǒng)廣義動態(tài)圖學習系統(tǒng)（BDGLS），在DE特征的全頻段性能上，BDGLS的平均識別準確率最高，為93.66%，標準偏差為6. 11%?？梢蕴峁┰囼灁?shù)據(jù)的不只有此SEED數(shù)據(jù)集，DEAP也曾被應用于三分類。Mei[23]等人研究了一種用卷積神經網(wǎng)絡（CNN）直接利用函數(shù)連通矩陣和特征提取的方法，利用cnn技術同時完成了二分類任務、三分類任務和四分類任務，其平均準確率分別達到了85%、78%、75%。

（3）四分類研究進展

對比近幾年一些采用DEAP數(shù)據(jù)集進行四分類的情感識別研究，識別的準確率和穩(wěn)定性都有所上升。早期Chen[24]等人將視頻實驗數(shù)據(jù)進行分段求取每段的alpha和beta波段的能量、beta和theta波段的能量比率、3個Hjorth參數(shù)、CO復雜度、方差和譜熵共計9個特征，運用KNN算法實現(xiàn)了70.04%的高準確度。隨后Ali[25]等人將小波能量、修正能量、小波熵和統(tǒng)計特征相結合，使用三個不同的分類器（二次鑒別分析、k-最近的鄰居和支持向量機）來魯棒地識別患者的情緒，獲得了83 .87%的總體分類精度。影響深度學習算法的識別率的因素還有生理信號的單模態(tài)和多模態(tài)，李幼軍[26]等人提出一種將棧式自編碼神經網(wǎng)絡（SAE）和長短周期記憶單元循環(huán)神經網(wǎng)絡（ISTM RNN）融合的多模態(tài)融合特征情感識別方法，發(fā)現(xiàn)了皮膚電信號、眼電信號以及肌電信號在進行情感分類識別過程中，對于腦電信號來說是有益的補充，能夠提高情感分類的準確率。

總體來說，三分類和四分類的識別準確率整體偏低，提高識別準確率的方法有待探索。

1.2 未來發(fā)展方向

（1）情緒刺激材料的專業(yè)化。目前研究常用例如電影片段，音樂視頻等視聽刺激結合的方式作為情感刺激材料。利用這種方式產生的腦電信號在動態(tài)性方面固然有一定優(yōu)勢，但是更有研究意義的腦電信號應該是通過人與刺激材料的互動而產生的。這種方式下產生的腦電信號，才能更直接的呈現(xiàn)出情感的差異變化，并具有穩(wěn)定性。

（2）情感腦電數(shù)據(jù)庫的豐富化。已有情緒庫中的正性情緒種類較少，正負情緒材料和樣本數(shù)量不平衡，不利于情緒模型建立和應用[27]。P-A-D三個維度作為受試者的情感評價指標有時候很難描述更復雜的情緒狀態(tài)，所以在未來應該增強情感腦電數(shù)據(jù)庫的平衡性和多樣性。現(xiàn)有數(shù)據(jù)庫的標注也不是完美準確的，所以數(shù)據(jù)庫的優(yōu)化將有比較大的空間。

（3）情感特征的最優(yōu)化。PAD維度是基于情感特征客觀預測的結果，情感特征的選擇對PAD維度的預測效果有影響作用[28]。研究表明，基于多種情感特征的融合特征作為深度學習模型的輸入特征能提高識別的準確率。在今后的研究中，尋找對情感維度貢獻大的最優(yōu)情感特征集是主要的研究方向。

（4）深度學習模型的高效化。為了具有更高的識別準確率，對于不同的受試者通常需要對模型進行重新訓練，而深度學習模型的訓練時間一般較長，故遷移學習將是未來應用廣泛且高效的深度學習模型。此外，單一的深度學習模型或無法滿足應用的需求，集成深度學習算法為這個問題提供了思路。

（5）交叉學科的融合性。對于人體生理信號的相關研究屬于交叉學科，在相關研究中，涉及到了認知心理學、計算機、腦科學等多個學科[29]。通過多學科的知識，全面了解生理信號與情緒的關系，有助于找出與情緒狀態(tài)最相關的腦電特征或大腦區(qū)域。

2 結論

情緒識別作為人機交互的一項重要內容，近年來由于深度學習算法的大熱而取得了前所未有的進展。腦電信號EEG可以用于評估和理解大腦中與心理、生理狀態(tài)相關的變化，所以，作為情緒狀態(tài)的識別指標具有明顯的優(yōu)勢。結論是提取與情緒關聯(lián)性最大的腦電特征或者融合特征有助于提高平均識別準確率，采用集成學習的原理集成深度學習算法可以使深度學習模型更高效，從而提高識別準確率。未來需要攻破的難點是實現(xiàn)多種情緒的準確識別。

本文從二分類、三分類、四分類三個方面敘述了近幾年深度學習應用于EEG情緒識別的研究進展，不只是識別準確率的提升，深度學習模型也正在向著易操作、時間成本低等方向發(fā)展。我們在總結已有成果基礎上，提出了目前存在的問題和未來解決的方向，為進一步研究提供思路。相信在不久的將來，基于深度學習模型的情緒識別研究一定會有更大的進步，在相關領域得到實際應用。

參考文獻（References）：

[1]張海軍，王浩川.多導聯(lián)EEG信號分類識別研究[J].計算機工程與應用，2008.24：228-230

[2]馬新斐，劉志宏，姜添浩.腦電波情緒分類算法的研究[J].成都信息工程大學學報，2018.33（4）：365-369

[3]楊豪，張俊然，蔣小梅，等.基于深度信念網(wǎng)絡腦電信號表征情緒狀態(tài)的識別研究[J].生物醫(yī)學工程學雜志，2018.35（2）：182-190

[4]韋夢瑩，李琳玲，黃淦等.深度學習算法在腦電信號解碼中的應用[J].中國生物醫(yī)學工程學報，2019.38（4）：464-472

[5]山世光，闞美娜，劉昕等.深度學習：多層神經網(wǎng)絡的復共與變革[J].科技導報，2016.34（14）：60-70

[6]Katsigiannis S，Ramzan N.DREAMER： adatabase foremotion recognition through EEG and ECG signalsfrom wireless Low-cost Off-the-Shelf devices[J]. IEEEJournal of Biomedical and Health Informatics，2018.22（1）：98-107

[7] Song T， Zheng W， Lu C， et al. MPED：a Multi-ModalPhysiological Emotion Database for discrete emotionrecognition[J].IEEE Access，2019.7：12177-12191

[8] Koelstra S， et al. DEAP： adatabase for emotion analysisusing physiological signals[Jl. IEEE Transactions onAffective Computing，2012.3（1）：18-31

[9] Zheng W， Lu B. Investigating critical frequency bands andchannels for EEG-based emotion recognition with deepneural netxvorks[J]. IEEE Transactions on AutonomousMental

Development， 2015.7（3）： 162-175

[10]宋振振，陳蘭嵐，婁曉光.基于時序卷積網(wǎng)絡的情感識別算法[J].華東理工大學學報（自然科學版），2020.1：1-9

[11] Zhang J，Chen M， Hu S， et al. PNN for EEG-basedemotion recognition[C]//2016 IEEE InternationalConference on SIJstems， Man， and Cybernetics（SMC）， Budapest：IEEE， 2016：002319-002323

[12]李昕，孫小棋，王欣等.基于自回歸小波包熵特征融合算法的情感識別研究[J].生物醫(yī)學工程學雜志，2017.34（6）：831-836

[13] Liu N， Fang Y， Li L. et al. Multiple feature fusion forautomatic emotion recognition using EEG signals[C]//2018 IEEE International Conference on Acoustics，Speech and Signal Processing （ICASSP）， CalgaW：AB，IEEE，2018：896-900

[14]陳景霞，鄭茹，張鵬偉等.基于數(shù)據(jù)空間自適應與共空間模式的腦電情感分類[J].計算機工程，2019.45（4）：296-301

[15] Li X， Song D， Zhang P， et al. Emotion recognition frommulti-channel EEG data through ConvolutionalRecurrent Neural Network[Cl//2016 IEEE IntemationalConference on Bioinformatics and Biomedicine （BIBM），Shenzhen：IEEE，2016：352-359

[16] Xu H， Konstantinos N. Plataniotis. Affective StatesClassifification using EEG and Semi-supervised Deep Learning Approaches[C]//2016 IEEE 18th Interna-tional Workshop on Multimedia Signal Processing（MMSP）. USA： IEEE，2016：1-6

[17] Yang Y， Wu Q， Qiu M， et al. Emotion recognition from Multi-Channel EEG through Parallel ConvolutionalRecurrent NeuralNehAiork[CV/2018 InternationalJoint Conference on Neural Nehvorks （UCNN），Rio deJaneiro：IEEE，2018：1-7

[18] Yang L， Liu J.EEG-Based emotion recognition usingtemporal convolutional net.^iork[C]//2019 IEEE 8thData Driven Control and Learning Systems Confer-ence （DDCLS）， Dali， China：IEEE，2019：437-442

[19] Chen J，Zhang P， Mao Z，et al. Accurate EEG-Basedemotion recognition on combined features using deepconvolutional neural networks[J]. IEEE Access， 2019.7：44317-44328

[20]魏琛，陳蘭嵐，張傲.基于集成卷積神經網(wǎng)絡的腦電情感識別[J].華東理工大學學報（自然科學版），2019.45（4）：614-622

[21] Shao H， Wang J，Wang Y， et aL EEG-Based emotionrecognition with deep convolution neural network[C]// 2019 IEEE 8th Data Driven Control andLearning Systems Conference （DDCLS）， Dali， China：IEEE，2019：1225-1229

[22] Wang X， Zhang T， Xu X， et al. EEG emotion recognitionusing dynamical graph convolutional neural networksand broad Iearning system[CV/2018 IEEE Interna-tional Conference on Bioinformatics and Biomedicine（BIBM）， Madrid， Spain：IEEE，2018：1240-1244

[23] Mei H， Xu X. EEG-based emotion classification usingconvolutional neural nehAiork[C]//2017 InternationalConference on Security， Pattern Analysis， and Cyber-netics （SPAC）， Shenzhen2017：130-135

[24] Chen J，Hu B， Wang Y， et al.A three-stage decisionframework for multi-subject emotion recognition us-ing physiological signals[CV/2016 IEEE IntemationalConference on Bioinformatics and Biomedicine （BIBM），Shenzhe：IEEE， 2016：470-474

[25] Ali M， Mosa F，Machot F，et al. EEG-based emotionrecognition approach for e-healthcare applications[C]//2016 Eighth Intemational Conference on Ubiquitous andFuture Net.^iorks （ICUFN），Vienna：IEEE，2016：946-950

[26]李幼軍，黃佳進，王海淵，鐘寧.基于SAE和LSTM RNN的多模態(tài)生理信號融合和情感識別研究[J]，通信學報，2017.38（12）：109-120

[27]張冠華，余更睛，陳果，韓義恒，張丹，趙國朕，劉永進.面向情緒識別的腦電特征研究綜述[J].中國科學：信息科學，2019.49（9）：1097-1118

[28]孫穎，胡艷香，張雪英，段淑斐.面向情感語音識別的情感維度PAD預測[J].浙江大學學報（工學版），2019.53（10）：2041-2048

[29]侯曉瑩.基于深度學習和腦電信號的情感分類方法研究[D].山東大學.2019.

作者簡介：尹旺（1998-），男，湖南人，研究生，主要研究方向：機器學習深度學習。

通訊作者：李惠媛（1998），女，云南人，研究生，主要研究方向：機器學習深度學習。