基于腦電信號(hào)的情緒識(shí)別概述

羅靖宇

（四川大學(xué)計(jì)算機(jī)學(xué)院，成都610065）

0 引言

情感是大腦的高級(jí)活動(dòng)，它是一種復(fù)雜的心理和生理狀態(tài)，而情緒是情感的一個(gè)外部表現(xiàn)，是我們對(duì)事件內(nèi)在或外在的反應(yīng)[1]。情緒在人類生活中起著非常重要的作用。積極情緒有助于改善人類健康和工作效率，而負(fù)面情緒可能會(huì)導(dǎo)致健康問(wèn)題。長(zhǎng)期積聚的負(fù)面情緒是抑郁癥的誘發(fā)因素，在最壞的情況下可能會(huì)導(dǎo)致自殺。

在現(xiàn)有的研究中，情緒檢測(cè)的方法基本可以分為兩大類：①一種是基于面部表情、語(yǔ)音等表面物理信號(hào)的方法，這類方法的優(yōu)點(diǎn)是信號(hào)易于收集并且有大量相關(guān)研究作為基礎(chǔ)。但是缺點(diǎn)是可靠性較差，因?yàn)楸辉嚳赡軙?huì)在實(shí)驗(yàn)過(guò)程中刻意控制自己的表情或是聲音。②第二種方法則是基于腦電信號(hào)（EEG）、皮膚電、體溫等生理信號(hào)，由于這類信號(hào)難以受被試主觀意念控制，因而可以獲得更加可靠的結(jié)果[2]。這其中，基于EEG 信號(hào)的研究憑借較高的識(shí)別準(zhǔn)確度逐漸成為研究的重點(diǎn)[3]。

本文首先將對(duì)一些相關(guān)概念進(jìn)行介紹并概括這一領(lǐng)域下最近幾年不同方向上的研究成果，然后總結(jié)當(dāng)前研究的現(xiàn)狀以及存在的問(wèn)題。

1 情緒的定義與情緒模型

為了能夠準(zhǔn)確地識(shí)別出情緒，首先需要可以定量的定義情緒。情緒的在心理學(xué)界并沒(méi)有一個(gè)被廣泛認(rèn)可的定義，心理學(xué)家主要使用兩種方式來(lái)定義情緒：一種是離散的將情緒分為不同的類別。另一種是使用多個(gè)維度來(lái)定量的測(cè)量情緒。

第一種方式最具代表性的就是Ekman 情緒模型[4]，Ekman 將情緒分為快樂(lè)、悲傷、憤怒、恐懼、驚訝和厭惡的六種基本情緒，并將其他情緒視為這些基本情緒組合后的產(chǎn)物。離散情緒模型可以使用簡(jiǎn)單的詞匯來(lái)描述情緒，但無(wú)法進(jìn)行定量的分析。

為了表明不同情緒的強(qiáng)烈程度，Lang 等人[5]提出了喚醒度-愉悅度（Arousal-Valence）模型，該模型將情緒映射到喚醒度和愉悅度組成的2 維空間中，其中喚醒度表示情緒的強(qiáng)烈程度，愉悅度表示情緒的正負(fù)面性。這種模型的問(wèn)題在于會(huì)將某些不同情緒映射到同一區(qū)域從而難以區(qū)分，例如恐懼和憤怒都會(huì)被映射到高喚醒度低愉悅度的區(qū)域內(nèi)。為了解決這個(gè)問(wèn)題，Mehrabian 等人[6]提出了PAD 模型，該方法在喚醒度-愉悅度模型的基礎(chǔ)上擴(kuò)展了支配度維度，該維度描述了當(dāng)前情緒主體的優(yōu)勢(shì)程度，例如憤怒會(huì)有較高的支配度（優(yōu)勢(shì)），而恐懼則有較低的支配度（屈從）。

2 基于腦電信號(hào)的情緒識(shí)別研究進(jìn)展

近幾年來(lái)，隨著機(jī)器學(xué)習(xí)等相關(guān)技術(shù)的快速發(fā)展以及各個(gè)領(lǐng)域?qū)τ诟哔|(zhì)量情緒識(shí)別的需求日益增長(zhǎng)，國(guó)內(nèi)外學(xué)者都開(kāi)始對(duì)基于EEG 信號(hào)的情緒識(shí)別展開(kāi)研究。從使用方法上來(lái)看，大致可以分為傳統(tǒng)機(jī)器學(xué)習(xí)方法和深度學(xué)習(xí)方法兩類。從研究所針對(duì)的場(chǎng)景來(lái)看，現(xiàn)有研究可以被分為“被試依賴（subjects-dependence）場(chǎng)景下的情緒識(shí)別”和“跨被試（cross-subject）場(chǎng)景下的情緒識(shí)別”兩類。接下來(lái)將在2.1 和2.2 小節(jié)對(duì)被試依賴和跨被試這兩種不同類別的情緒識(shí)別研究進(jìn)行介紹。

2.1 被試依賴場(chǎng)景下的情緒識(shí)別

如果一個(gè)情緒分類器在訓(xùn)練階段中只使用一個(gè)特定被試的實(shí)驗(yàn)數(shù)據(jù)，最終也只在該被試的數(shù)據(jù)上進(jìn)行測(cè)試。那么我們稱這種識(shí)別方法為被試依賴場(chǎng)景下的情緒識(shí)別，在這種場(chǎng)景下，當(dāng)被試變更時(shí)，需要重新使用新被試的數(shù)據(jù)對(duì)分類器進(jìn)行訓(xùn)練。

Koelstra 等人在2011 年建立DEAP 數(shù)據(jù)集[7]后，使用該數(shù)據(jù)集的數(shù)據(jù)，提取α、β、γ和θ四個(gè)頻段上的譜功率作為特征，并通過(guò)Fisher 線性判別進(jìn)行特征選擇，最后使用樸素貝葉斯方法對(duì)被試情緒進(jìn)行分類并分別在喚醒度和愉悅度上得到了62%和58.3%的平均準(zhǔn)確率作為數(shù)據(jù)集的基線準(zhǔn)確率。而Soleymanie 等人也在建立MAHNOB-HCI 數(shù)據(jù)集[8]后中在數(shù)據(jù)集上使用支持向量機(jī)對(duì)被試情緒進(jìn)行分類并在喚醒度和愉悅度上分別得到了67.7%和76.1%的分類準(zhǔn)確率。

在機(jī)器學(xué)習(xí)方法中，支持向量機(jī)（Support Vector Machine，SVM）[9]因?yàn)閷?duì)于非線性分類具有良好的性能，在相關(guān)研究中被廣泛使用。Verma 等人在他們的研究[10]中使用SVM 對(duì)DEAP 數(shù)據(jù)庫(kù)的32 通道的EEG信號(hào)和8 通道的其他生理信號(hào)進(jìn)行多模態(tài)情緒識(shí)別，準(zhǔn)確率為85.46%。此外，K 近鄰算法（K-Nearest Neighbor，KNN）也常被用于基于EEG 信號(hào)的情緒識(shí)別研究中，Kolodyazhniy 在其研究[11]中以電影片段作為情緒引導(dǎo)的刺激源，然后通過(guò)序列反向選擇和序列前向選擇對(duì)收集到的面部肌肉活動(dòng)等生理信號(hào)進(jìn)行特征提取與優(yōu)化，最后使用KNN 模型在K=17 時(shí)達(dá)到了73.2%的最高準(zhǔn)確率。

相比需要手動(dòng)提取特征的傳統(tǒng)機(jī)器學(xué)習(xí)方法，深度學(xué)習(xí)方法因?yàn)榻档土颂卣鞴こ痰碾y度，在2017 年之后的論文中被廣泛使用。卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）是近年來(lái)最為流行的深度神經(jīng)網(wǎng)絡(luò)方法之一，它被廣泛用于如圖像分類[12]、圖像分割[13]和目標(biāo)檢測(cè)[14]等領(lǐng)域。在一些較新的研究中陸續(xù)有研究開(kāi)始將CNN 應(yīng)用在EEG 信號(hào)的處理上，Tripathi 等人在其研究[15]將DEAP 數(shù)據(jù)集中的樣本分為10個(gè)batch 并將每batch 中的平均值中位數(shù)、最大最小值、標(biāo)準(zhǔn)差與方差、取值的范圍、偏度和峰態(tài)等9 個(gè)信息放入特征向量中，對(duì)總共40 個(gè)通道的實(shí)驗(yàn)數(shù)據(jù)進(jìn)行以上操作并拼接形成特征矩陣之后輸入CNN 中，并在DEAP 數(shù)據(jù)集上的喚醒度和愉悅度分別達(dá)到了81.4%和73.3%的平均分類準(zhǔn)確率。早期使用CNN 處理EEG 信號(hào)的方法一般都是像Tripathi 等人的研究那樣把EEG 數(shù)據(jù)提取特征然后拼接起來(lái)，再建立特征向量到情緒標(biāo)簽的映射。但這種方法會(huì)導(dǎo)致電極（通道）之間的空間關(guān)系丟失，而不同通道信號(hào)之間的關(guān)系可能會(huì)有助于情緒的分類。針對(duì)這個(gè)問(wèn)題，Zhang 等人在其研究[16]中保留了電極之間拓?fù)浣Y(jié)構(gòu)，將電極位置轉(zhuǎn)換為圖像，利用CNN 進(jìn)行測(cè)試，得到88%的最佳分類準(zhǔn)確率。

總的來(lái)說(shuō)目前的被試依賴場(chǎng)景下的情緒識(shí)別研究以及達(dá)到了較高的識(shí)別準(zhǔn)確率，但在這種用戶依賴場(chǎng)景下各個(gè)被試不能相互使用其他被試的分類器，在泛化能力上有很大的缺陷。

2.2 跨被試場(chǎng)景下的情緒識(shí)別

由于每個(gè)人的體質(zhì)以及對(duì)于情緒的感知程度，不同的人在面對(duì)同一情緒刺激時(shí)表現(xiàn)出來(lái)的生理信號(hào)模式以及蘊(yùn)含的情緒都有可能不同。因此，當(dāng)來(lái)自不同被試的生理模式在同一情緒上表現(xiàn)出較大的差異時(shí)，分類器往往不能對(duì)多個(gè)被試的情緒做出準(zhǔn)確的判斷。當(dāng)前相關(guān)研究普遍使用的都是被試依賴的方式進(jìn)行情緒識(shí)別，即使用單個(gè)被試的數(shù)據(jù)對(duì)針對(duì)該被試的情緒分類器進(jìn)行訓(xùn)練，當(dāng)變更被試時(shí)，需要重新針對(duì)該被試訓(xùn)練新的分類器。這種被試依賴的方式由于各個(gè)被試不能相互使用其他被試的分類器，在泛化能力上有很大的缺陷。因此，越來(lái)越多的研究開(kāi)始關(guān)注跨被試的方式，即考慮數(shù)據(jù)集中所有被試的數(shù)據(jù)，訓(xùn)練出一個(gè)與特定被試無(wú)關(guān)的分類器。

在Song 等人的研究[17]中，作者使用留一交叉驗(yàn)證法對(duì)SEED 數(shù)據(jù)集[18]進(jìn)行劃分，即14 名被試的EEG 數(shù)據(jù)用于訓(xùn)練模型，其余一名被試的EEG 數(shù)據(jù)用作測(cè)試數(shù)據(jù)，并重復(fù)劃分訓(xùn)練最終取平均值得到了79%的最好識(shí)別準(zhǔn)確率。該論文中使用的這種方法是在考慮了剩余14 個(gè)被試的所有特征的情況下建立了一個(gè)對(duì)于新被試的分類器。但是不是所有已有被試的EEG 信號(hào)特征都會(huì)對(duì)新被試的情緒識(shí)別起到正面作用，因?yàn)椴煌说纳眢w情況不同，對(duì)于同樣的情緒刺激給到的生理反應(yīng)模式會(huì)有所不同。這個(gè)原因?qū)е伦髡弑辉嚜?dú)立實(shí)驗(yàn)得到的準(zhǔn)確率相對(duì)于被試依賴實(shí)驗(yàn)的準(zhǔn)確率90.4%下降較多。

Chen 等人在研究[19]中提出了一種新的三階段決策方法，用于在多被試的情況下從生理信號(hào)中識(shí)別情緒。在第一階段中，訓(xùn)練數(shù)據(jù)以生理信號(hào)特征聚類為多個(gè)組；第二個(gè)階段為每個(gè)組建立情緒池，將標(biāo)簽中的四種情緒分配到各個(gè)組的兩個(gè)情緒池中；在第三階段中，針對(duì)各個(gè)被試訓(xùn)練分類器以對(duì)每個(gè)情緒池中的兩種情緒進(jìn)行分類。在每個(gè)階段中作者都實(shí)驗(yàn)多個(gè)分類器進(jìn)行實(shí)驗(yàn)并選用效果最佳的分類器作為該階段的分類器。該模型在DEAP 數(shù)據(jù)集上的總體平均分類準(zhǔn)確率達(dá)到了77.57%。該模型中三個(gè)階段的識(shí)別結(jié)果合成了最終結(jié)果，這種模式下前兩個(gè)階段的錯(cuò)誤分類會(huì)影響第三階段的分類。此外，模型性能也不夠穩(wěn)定，分類結(jié)果會(huì)極大的受到第二階段情緒池劃分方法的影響：當(dāng)創(chuàng)建兩個(gè)情感池為高喚醒度（HA）和低喚醒度（LA）時(shí)，高喚醒度和低喚醒度的正向情緒分類準(zhǔn)確率分別為86.67%和80%，但高喚醒度和低喚醒度的負(fù)向情緒分類準(zhǔn)確率僅為58.33%和30.56%。當(dāng)構(gòu)建的兩個(gè)情緒池為高愉悅度（HV）和低愉悅度（LV）時(shí)，高喚醒度正向情緒的分類優(yōu)于其他情緒。最佳分類準(zhǔn)確率達(dá)到83.33%，但其他三種情緒的分類準(zhǔn)確率不超過(guò)55.00%。

3 現(xiàn)有研究不足

現(xiàn)有的基于EEG 信號(hào)的情緒識(shí)別研究雖然已經(jīng)取得了一定的進(jìn)展，但依然存在若干問(wèn)題與挑戰(zhàn)需要解決：

（1）樣本數(shù)量不足。由于EEG 信號(hào)數(shù)據(jù)收集和處理較為困難，目前多數(shù)研究都面臨訓(xùn)練樣本不足的問(wèn)題。而樣本數(shù)量有限會(huì)導(dǎo)致跨被試場(chǎng)景下的情緒分類器在測(cè)試集中新被試數(shù)據(jù)上的分類性能不佳。

（2）許多研究都努力從EEG 信號(hào)中找到與情緒最相關(guān)的特征，目前已經(jīng)有時(shí)域特征、頻域特征、統(tǒng)計(jì)特征和時(shí)域-頻域特征這四大類特征被用于EEG 信號(hào)情緒分類。盡管已經(jīng)嘗試了如上的許多特征，但仍然沒(méi)有明確的研究表明哪些EEG 信號(hào)特征組合與情緒變化最顯著相關(guān)。

（3）由于每個(gè)人對(duì)于情緒的感知程度和生理特征上的差異，使得目前跨被試的情緒識(shí)別模型性能不佳，無(wú)法真正運(yùn)用于實(shí)際場(chǎng)景中，仍然需要進(jìn)一步的研究與改進(jìn)。

4 結(jié)語(yǔ)

情緒自動(dòng)識(shí)別作為人機(jī)交互的一個(gè)重要研究分支，在心理醫(yī)療、社會(huì)安全保障和安全駕駛等諸多領(lǐng)域均有廣泛的需求。本文總結(jié)了當(dāng)前識(shí)別準(zhǔn)確率最高的基于EEG 信號(hào)的情緒識(shí)別研究，從被試依賴和跨被試兩個(gè)研究類別切入對(duì)相關(guān)研究常用的機(jī)器學(xué)習(xí)方法、所做的改進(jìn)、取得的研究成果以及已有研究存在的問(wèn)題等進(jìn)行了分析。目前，被試依賴的研究雖已取得較好成果但無(wú)法適用于現(xiàn)實(shí)場(chǎng)景，跨被試作為未來(lái)研究的重要方向目前研究較少，且現(xiàn)有研究的識(shí)別準(zhǔn)確率較低，還需要對(duì)現(xiàn)有的模型進(jìn)行進(jìn)一步改進(jìn)以促進(jìn)基于EEG 信號(hào)的情緒自動(dòng)識(shí)別研究的發(fā)展。