基于深度森林的腦電情緒識別研究

金雨鑫 駱懿 于洋

摘 要：為了改善傳統(tǒng)腦電情緒識別方法需要對腦電信號進行深入了解，且需要人工提取相關特征的缺點，基于深度森林的表征學習能力對腦電樣本的時域與頻域數(shù)據(jù)進行自動特征提取，并融合32通道腦電信號的時域特征向量和頻域特征向量，通過級聯(lián)森林對特征作進一步學習。實驗結果表明，該方法對效價二分類預測的準確率達到68.4%，查準率達到66.3%，查全率達到89.9%，F(xiàn)1分數(shù)達到76.3%;對喚醒度二分類預測的準確率達到68.2%，查準率達到65.8%，查全率達到91.2%，F(xiàn)1分數(shù)達到76.4%。通過與DEAP數(shù)據(jù)集使用EEG信號給出的二分類實驗結果進行對比，基于深度森林的腦電情緒識別方法對未知樣本的識別準確率高于DEAP的結果。

關鍵詞：情緒識別;DEAP;腦電;深度森林

DOI：10. 11907/rjdk. 182720 開放科學（資源服務）標識碼（OSID）：

中圖分類號：TP301 文獻標識碼：A文章編號：1672-7800（2019）007-0053-03

Research on EEG Emotion Recognition Based on Deep Forest

JIN Yu-xin， LUO Yi， YU Yang

（School of Communication Engineering，Hangzhou Dianzi University，Hangzhou 310018，China）

Abstract：In order to improve the traditional EEG emotion recognition method， the EEG signals need to be deeply understood， and the shortcoming of relevant features need to be extracted manually.Based on the representation learning ability of deep forest， the time-domain data and frequency-domain data of EEG samples were automatically extracted. Then，the time-domain feature vectors and frequency-domain feature vectors of 32-channel EEG signals were integrated. The features were further learned through the cascade forest.Experimental results show that the binary classification accuracy rate of valence is 68.4%， the precision rate is 66.3%， the recall rate is 89.9% and the F1 score is 76.3%. The binary classification accuracy rate of arousal reached 68.2%， the precision rate reached 65.8%， the recall rate reached 91.2%， and the F1 score reached 76.4%. EEG recognition based on deep forest can not only extract features automatically， but also identify unknown samples more accurately than the results in DEAP paper.

Key Words： emotion recognition; DEAP; EEG; deep forest

作者簡介：金雨鑫 （1994-），男，杭州電子科技大學通信工程學院碩士研究生，研究方向為情感計算、情緒識別;駱懿（1976-），男，杭州電子科技大學通信工程學院高級實驗師，研究方向為嵌入式系統(tǒng)、模式識別;于洋 （1995-），男，杭州電子科技大學通信工程學院碩士研究生，研究方向為模式識別、計算機視覺。本文通訊作者：駱懿。

0 引言

情緒是集人們心理和生理作用于一體的復雜表現(xiàn)，早在1884年，心理學之父James第一次提出了情緒概念。自情感計算[1]提出以來，學者們致力于對情緒進行數(shù)學化處理，從而使計算機能夠識別與處理，為人機交互提供更加可靠的信號輸入。在該研究領域，通常使用生理信號提取有用特征，并應用統(tǒng)計機器學習領域相關技術識別情緒結果。

腦電信號是大腦皮層錐體細胞及垂直樹突共同作用產(chǎn)生的電位總和，其包含了大量人體生理、心理的有效信息[2]。因此，測量與分析腦電信息能更加有效地認識人體生理及心理狀態(tài)。Verma等[3]提取了EEG信號alpha、beta、gamma和theta 4個頻率帶的相對能量、對數(shù)相對能量、對數(shù)絕對值相對能量、標準差及譜熵特征，并采用SVM、MLP、KNN等算法對情緒進行分類;Sepideh等[4]使用AR模型對EEG信號進行建模，然后提取相關特征，并使用KNN算法對情緒進行分類;Xu等[5]采用短時傅里葉變換計算功率譜，以及theta、alpha、lower beta、upper beta和gamma頻帶相關特征，并利用深度信念網(wǎng)絡對情緒進行分類;Jenke等[6]使用EEG提取統(tǒng)計特征、Hjorth特征、分形維數(shù)、高階譜特征、希爾伯特—黃譜特征、離散小波時頻譜特征及微分幾何特征等，并利用Relief進行特征選擇;Zhang等[7]采用經(jīng)驗模態(tài)分解方法，并提取固有模態(tài)函數(shù)的樣本熵作為特征;Al等[8]使用離散小波變換提取多個通帶的小波熵，統(tǒng)計特征并使用SVM進行分類;陳明[9-10]將腦電信號劃分為4s一組，使用巴特沃茲濾波器將信號分解為多個頻帶，提取其中的信號功率作為特征，并采用RelifF算法進行通道選擇;成敏敏[11]利用遷移學習方法對腦電情緒特征提取與分類進行研究;趙國朕[12]綜述了國內外基于生理大數(shù)據(jù)的情緒識別發(fā)展現(xiàn)狀，并推薦學者使用公開發(fā)表的DEAP數(shù)據(jù)集進行研究;蔣靜芳[13]綜述了基于腦電的情緒識別研究，對腦電特征提取方法進行了詳細介紹?？v觀國內外學者的已有研究，其大多采用傳統(tǒng)特征工程提取方法，需要研究者對EEG信號有很深入的了解。近年來隨著深度學習算法的發(fā)展，由于其具有獨特的表征學習能力，使對EEG信號分析的門檻大大降低。

針對目前EEG信號情緒識別研究大多采用傳統(tǒng)機器學習方法，人工提取相關特征向量的現(xiàn)狀，本文主要研究內容如下：采用公開發(fā)表且目前數(shù)據(jù)量最大的情緒分析生理信號數(shù)據(jù)集DEAP[14]，使用該標準數(shù)據(jù)集的32路腦電EEG數(shù)據(jù)，應用深度森林對時域與頻域數(shù)據(jù)進行多粒度特征掃描，自動提取特征向量，并融合32路EEG信號時域特征向量和32路EEG信號頻域特征向量，給出對未知數(shù)據(jù)的預測。

1 數(shù)據(jù)選取及預處理

基于生理信號的情緒識別公開數(shù)據(jù)集主要有奧格斯堡大學數(shù)據(jù)集[15]、DEAP數(shù)據(jù)集[14]等。DEAP數(shù)據(jù)集是目前數(shù)據(jù)樣本最大、生理信號種類及數(shù)量最多的數(shù)據(jù)集，因此本實驗采用DEAP數(shù)據(jù)集32通道腦電數(shù)據(jù)作為數(shù)據(jù)樣本。DEAP數(shù)據(jù)集主要屬性如表1所示。

表1 DEAP數(shù)據(jù)集屬性簡介

DEAP數(shù)據(jù)集采用SAM（Self-Assessment Manikins）表給每一次情緒觸發(fā)實驗標注4個維度的標簽值（Valence，Arousal，Liking，Dominance）。常見情緒模型是以Russell[16]為代表的維度模型，也是以愉悅度—喚醒度組成的二維空間模型，愉悅度又稱為效價[17]。圖1為愉悅度和喚醒度二維模型與某些情緒的對應關系，圖2為全部1 280個數(shù)據(jù)樣本在效價和喚醒度平面上的分布。研究中采用與DEAP數(shù)據(jù)集相同的二分類劃分方法，即以效價和喚醒度評分的中值5進行劃分。

圖1 情緒效價-喚醒度模型

圖2 1 280個數(shù)據(jù)樣本分布

2 深度森林識別算法

深度森林（Deep Forest）[18]是一種基于多粒度掃描（Multi-Grained Scanning）與級聯(lián)森林結構（Cascade Forest）的深度學習模型[19]。深度森林不僅具有與卷積神經(jīng)網(wǎng)絡相似的表征學習（Representation Learning）能力及端到端學習能力，且后續(xù)使用級聯(lián)森林對表征學習所學習的特征向量作進一步加工處理。深度森林相比于普通卷積神經(jīng)網(wǎng)絡更加容易訓練，沒有過多的超參數(shù)，能夠自動學習特征，而且還能自動確定級聯(lián)森林的層數(shù)。在泛化性能方面與卷積神經(jīng)網(wǎng)絡相近，且在特定領域的數(shù)據(jù)集上具有更優(yōu)異的表現(xiàn)。

2.1 多粒度掃描

通常對腦電信號采用傳統(tǒng)機器學習工具進行分類時，需要使用人工特征工程進行預處理，而分類效果很大程度上取決于特征質量。傳統(tǒng)機器學習模型需要強有力的特征，使學者們不得不在特征工程方面花費大量時間。深度森林使用可變的滑動窗口，根據(jù)預先設定的步長，在腦電數(shù)據(jù)上通過滑窗提取原始特征向量。將原始特征向量送入第一級級聯(lián)森林并給出每一個樣本預測結果，將所有預測向量拼接形成下一級級聯(lián)森林的輸入。圖3展示了深度森林對8 064個點的生理時域信號進行多粒度掃描、提取原始特征向量的過程。

圖3 多粒度掃描一個樣本EEG信號

EEG信號頻域特征往往具有時域特征無法表達的重要信息，頻域分析是EEG信號分析領域不可或缺的重要工具。通常對時域信號采用傅里葉變換，將其變換成頻域信息。使用離散傅里葉（DFT）變換將8 064點時域信號變換為頻域，并利用多粒度掃描對頻域幅度譜進行特征提取。8 064點DFT公式定義如下：

[DFT8064[x（n）]=n=08064-1x（n）e-j2πnk/8064，（k=0，1，？，8064-1）] （1）

2.2 多通道信號向量融合

多粒度掃描可以提取序列數(shù)據(jù)的抽象特征，并用于后續(xù)級聯(lián)森林對特征向量的進一步處理。不同通道的腦電信號采用AgCl電極采集，代表了大腦不同位置的生理活動強弱，比如Coan等[20]研究發(fā)現(xiàn)具有積極作用的情緒通常與大腦左部額葉有關，而消極情緒則與大腦右部額葉有關。因此，需要融合32個不同位置的EEG信號，通過信號整體對情緒結果作出預測。多通道信號向量融合步驟如圖4所示，提取32通道EEG信號時域特征向量和頻域特征向量融合成高維特征向量并送入級聯(lián)森林。

圖4 多通道信號向量融合過程

2.3 級聯(lián)森林

級聯(lián)森林輸入為多通道信號融合之后的向量。級聯(lián)森林采用與深層神經(jīng)網(wǎng)絡類似的層級堆疊結構，從淺層輸入數(shù)據(jù)，數(shù)據(jù)結果作為更深一層的輸入，并且每一層都拼接原始輸入向量。不同于深層神經(jīng)網(wǎng)絡采用的神經(jīng)元結構，深度森林的神經(jīng)元是決策樹，在此之上組合成隨機森林。如圖5所示，每層包含兩種隨機森林，分別為完全隨機森林和普通隨機森林。每一層級聯(lián)森林將多粒度掃描輸出的向量與當前層所有森林預測輸出的向量組合形成下一層輸入。由于隨機森林引入了屬性擾動和樣本擾動，增加了各個基模型之間的差異性和多樣性，使得集成之后的學習效果魯棒性更強。由于級聯(lián)森林對森林個數(shù)等超參數(shù)不是特別敏感，在研究中每一級采用2片隨機森林與2片完全隨機森林進行組合，每片森林擁有101棵決策樹，級聯(lián)森林的深度由算法交叉驗證，確定預測精度沒有提升或提升不大時則森林停止生長。圖5展示了級聯(lián)森林對多通道信號融合之后向量的訓練過程。

圖5 級聯(lián)森林對多通道信號融合之后的向量訓練過程

3 實驗與結果分析

在樣本劃分上，為檢驗模型對未知EEG信號的泛化能力，通過分層采樣劃分70%的樣本作為訓練集，30%的樣本作為未知測試集。采用準確率（Accuracy）、查準率（Precision）、查全率（Recall）、F1分數(shù) （F1-score）衡量模型效果，并與DEAP數(shù)據(jù)集使用EEG信號給出的二分類實驗結果進行對比。實驗結果如表2所示，相比于DEAP數(shù)據(jù)集，由深度森林學習給出的效價二分類準確率提高了10.8%，F(xiàn)1分數(shù)提高了20.0%，喚醒度二分類準確率提高了6.2%，F(xiàn)1分數(shù)提高了18.1%。

表2 實驗結果與DEAP數(shù)據(jù)集結果對比

4 結語

本文使用深度森林算法對DEAP數(shù)據(jù)集32路腦電數(shù)據(jù)進行多粒度掃描，并融合32通道掃描結果形成多維向量。實驗結果表明，基于深度森林的表征學習能力可對腦電數(shù)據(jù)實現(xiàn)有效的自動特征提取，且二分類精確度高于使用人工特征工程提取的算法。雖然深度森林自動學習特征并未在預測精度上超過專家學者精心設計的人工特征，但在一定程度上降低了分析EEG信號所需的專業(yè)知識門檻。

參考文獻：

[1] PICARD R W. Affective computing[M]. Massachusetts：MIT Press， 1997.

[2] 李穎潔. 腦電信號分析方法及其應用[M]. 北京：科學出版社，2009.

[3] VERMA G K，TIWARY U S. Multimodal fusion framework： a multiresolution approach for emotion classification and recognition from physiological signals.[J]. Neuroimage， 2014， 102：162-172.

[4] SEPIDEH H，KEIVAN M，MOTIE N A. The emotion recognition system based on autoregressive model and sequential forward feature selection of electroencephalogram signals[J]. Journal of Medical Signals & Sensors， 2014， 4（3）：194-201.

[5] XU H， PLATANIOTIS K N. Affective states classification using EEG and semi-supervised deep learning approaches[C].IEEE， International Workshop on Multimedia Signal Processing， 2017：1-6.

[6] JENKE R，PEER A，BUSS M. Feature extraction and selection for emotion recognition from EEG[J]. IEEE Transactions on Affective Computing， 2017， 5（3）：327-339.

[7] ZHANG Y， JI X， ZHANG S. An approach to EEG-based emotion recognition using combined feature extraction method[J]. Neuroscience Letters， 2016， 633：152-157.

[8] ALI M， MOSA A H， MACHOT F A， et al. EEG-based emotion recognition approach for e-healthcare applications[C].ACM Symposium on Applied Computing. ACM， 2016：162-164.

[9] 陳明. 基于腦電信號的情緒識別[D]. 杭州：杭州電子科技大學，2017.

[10] ZHANG J，CHEN M，HU S，et al. PNN for EEG-based emotion recognition[C].IEEE International Conference on Systems， Man， and Cybernetics， 2017：002319-002323.

[11] 成敏敏. 基于EEG的情緒信息特征及其分類方法研究[D]. ？南京：東南大學，2017.

[12] 趙國朕，宋金晶，葛燕，等. 基于生理大數(shù)據(jù)的情緒識別研究進展[J]. 計算機研究與發(fā)展，2016，53（1）：80-92.

[13] 蔣靜芳，曾穎，林志敏，等. 基于腦電信號的情緒評估研究綜述[J]. 信息工程大學學報，2016，17（6）：686-693.

[14] KOELSTRA S，MUHL C，SOLEYMANI M，et al. DEAP： a database for emotion analysis using physiological signals[J]. IEEE Transactions on Affective Computing， 2012， 3（1）：18-31.

[15] WAGNER J，KIM N J，ANDRE E. From physiological signals to emotions： implementing and comparing selected methods for feature extraction and classification[C]. IEEE International Conference on Multimedia and Expo. IEEE， 2005：940-943.

[16] RUSSELL J A. A circumplex model of affect [J]. Journal of Personality & Social Psychology， 1980， 39（6）：1161-1178.

[17] 鄒吉林，張小聰，張環(huán)，等. 超越效價和喚醒——情緒的動機維度模型述評[J]. 心理科學進展，2011，19（9）：1339-1346.

[18] ZHOU Z H，F(xiàn)ENG J. Deep forest： towards an alternative to deep neural networks[C]. IJCAI，2017.

[19] 孫志軍，薛磊， 許陽明， 等. 深度學習研究綜述[J]. 計算機應用研究，2012，29（8）：2806-2810.

[20] COAN J A，ALLEN J J B，HARMON-JONES E. Voluntary facial expression and hemispheric asymmetry over the frontal cortex[J]. Psychophysiology， 2010， 38（6）：912-925.

（責任編輯：黃 健）