多特征融合的腦電情緒分類

梁明晶，王 璐，溫 昕，曹 銳

太原理工大學(xué) 軟件學(xué)院，山西 晉中 030600

情緒識(shí)別是人腦高級(jí)認(rèn)知功能之一。作為一個(gè)跨學(xué)科領(lǐng)域，情緒識(shí)別的研究得益于心理學(xué)、現(xiàn)代神經(jīng)科學(xué)、認(rèn)知科學(xué)和計(jì)算機(jī)科學(xué)的發(fā)展[1]?，F(xiàn)階段，基于腦電圖（electroencephalogram，EEG）的情緒識(shí)別正成為該領(lǐng)域的研究熱點(diǎn)。相比于其他無(wú)創(chuàng)探測(cè)腦結(jié)構(gòu)、功能成像或信號(hào)技術(shù)，EEG具有很高的時(shí)間分辨率，從大腦皮層、情緒理論到腦機(jī)接口應(yīng)用的研究都表明使用EEG進(jìn)行情緒識(shí)別是非常可行的[2-4]。

在傳統(tǒng)的基于EEG的情緒識(shí)別方法中，不同頻段的EEG功率譜密度（power spectral density，PSD）是情緒識(shí)別中最為常用的統(tǒng)計(jì)特征[5-7]。而近年來(lái)研究表明，微分熵（differential entropy，DE）是反映情緒變化更穩(wěn)定和準(zhǔn)確的EEG特征[8-9]。例如，Pan等人[5]提取DEAP數(shù)據(jù)集全頻段的PSD和DE特征，由SVM分類器獲得的LV/HV情緒的分類的平均精度和標(biāo)準(zhǔn)偏差分別為69.04%/5.91%和77.17%/6.37%；劉雙[10]基于觸覺(jué)和EEG融合的情感研究中，在不同頻段上使用DE特征的分類準(zhǔn)確率優(yōu)于PSD和小波熵，在γ頻段無(wú)觸覺(jué)和有觸覺(jué)狀態(tài)下分別達(dá)到70.89%和75.23%。

由于很多研究人員認(rèn)識(shí)到人體是一個(gè)非線性系統(tǒng)，由人體自發(fā)產(chǎn)生的EEG是一種非線性信號(hào)，從而將熵引入到基于EEG的情緒識(shí)別研究中，特別是樣本熵（sample entropy，SampEn）在情緒識(shí)別任務(wù)中得到較多應(yīng)用。Xiang等人[11]在DEAP數(shù)據(jù)集上基于SampEn對(duì)情感進(jìn)行分類，在愉悅度和喚醒度準(zhǔn)確率分別為80.43%和79.11%；蘇建新[12]使用SampEn對(duì)壓力狀態(tài)和平靜狀態(tài)進(jìn)行情緒分類，分類準(zhǔn)確率為77.8%。

但情緒活動(dòng)涉及腦區(qū)間的交互和信息傳遞，研究人員嘗試將腦功能連接特征引入情緒識(shí)別研究中。最小生成樹(shù)（minimum spanning tree，MST）代表了網(wǎng)絡(luò)中關(guān)鍵的信息流，避免了傳統(tǒng)網(wǎng)絡(luò)閾值選擇等諸多爭(zhēng)議問(wèn)題，在腦網(wǎng)絡(luò)研究領(lǐng)域展現(xiàn)出了潛在的優(yōu)越性。例如，F(xiàn)arashi等人[13]利用腦功能連接中MST在DEAP數(shù)據(jù)集基于喚醒-效價(jià)空間象限進(jìn)行情緒二元分類的系統(tǒng)性能高于80%；Xing等人[14]利用MST改變動(dòng)態(tài)腦電圖連接組相空間特征進(jìn)行社會(huì)焦慮的情緒調(diào)節(jié)。

使用單一特征可能丟失一些腦功能信息，認(rèn)為不同類型的特征融合可以盡可能地涵蓋情緒變化中大腦活動(dòng)模式的變化。因此，為充分考慮特征的互補(bǔ)性，在DE基礎(chǔ)上將分別提取非線性SampEn特征和功能連接MST屬性獲取更為豐富的EEG情感信息進(jìn)行分類，以期達(dá)到更好的分類效果，為探索大腦認(rèn)知機(jī)制提供新的研究思路。

1 情緒分類實(shí)驗(yàn)

1.1 實(shí)驗(yàn)數(shù)據(jù)

實(shí)驗(yàn)數(shù)據(jù)來(lái)自上海交通大學(xué)BCMI實(shí)驗(yàn)室提供的SEED-IV數(shù)據(jù)集[15]，包含由ESI神經(jīng)掃描系統(tǒng)和SMI眼動(dòng)追蹤眼鏡收集的15個(gè)被試的62通道腦電信號(hào)以及眼動(dòng)信號(hào)。實(shí)驗(yàn)范式如圖1所示。其中電影片段播放開(kāi)始提示時(shí)間為5 s，電影片段約為2 min，看完電影后有45 s的自我評(píng)估時(shí)間。每個(gè)被試進(jìn)行3次實(shí)驗(yàn)（即3個(gè)session），每次實(shí)驗(yàn)相隔一周。每次實(shí)驗(yàn)觀看24個(gè)電影片段，電影片段包含快樂(lè)、悲傷、恐懼和中性4種情緒，每種情緒的電影片段為6個(gè)。

圖1 SEED-IV數(shù)據(jù)集實(shí)驗(yàn)范式Fig.1 Experimental protocol in SEED-IV dataset

只使用62通道的腦電信號(hào)作為實(shí)驗(yàn)數(shù)據(jù)，原始腦電數(shù)據(jù)降采樣至200 Hz，并使用1~75 Hz的帶通濾波器過(guò)濾噪聲、去除偽影。已有研究表明[16-17]，γ頻段與情緒過(guò)程具有高度相關(guān)性，其能更好地揭示情緒認(rèn)知控制機(jī)制。將處理得到的γ頻段的腦電數(shù)據(jù)以4 s（800個(gè)采樣點(diǎn)）為一非重疊段劃分時(shí)間窗生成足夠數(shù)量的樣本用于情緒分類，時(shí)間窗個(gè)數(shù)視為樣本個(gè)數(shù)。

1.2 特征提取

1.2.1 微分熵（DE）

DE用于衡量連續(xù)隨機(jī)信號(hào)包含信息的總量，對(duì)于連續(xù)信號(hào)的概率密度分布中的不確定性進(jìn)行統(tǒng)計(jì)。對(duì)于EEG時(shí)間序列X，已知其概率密度分布函數(shù)為P(x)，可以利用DE表示EEG序列復(fù)雜程度。隨機(jī)變量的DE計(jì)算如公式（1）所示：

研究表明雖然原始EEG信號(hào)不滿足某種特定概率密度分布函數(shù)，但是通過(guò)子頻帶分解，各子頻帶信號(hào)近似服從高斯分布x~N(μ,σ2)，EEG時(shí)間序列在固定子頻帶DE特征計(jì)算如公式（2）所示[9]：

本實(shí)驗(yàn)中計(jì)算DE特征使用公式（2），重點(diǎn)研究處理得到的γ頻段的腦電數(shù)據(jù)。

1.2.2 樣本熵（SampEn）

SampEn用以量化EEG時(shí)間序列波動(dòng)規(guī)律性和不可預(yù)測(cè)性的非線性動(dòng)力學(xué)參數(shù)，其基于ApEn進(jìn)行相應(yīng)改進(jìn)克服對(duì)時(shí)間序列長(zhǎng)度依賴的缺點(diǎn)，保證較短時(shí)間序列也能計(jì)算SampEn。具體計(jì)算過(guò)程如公式（3）~（8）所示：

（1）定義參數(shù)m與r，其中m為重構(gòu)向量維度，r為相似容限。

（2）將時(shí)間序列{x(i),i=1,2,…,N}重構(gòu)N-m+1個(gè)m維向量X(1),X(2),…,X(N-m+1)，其中X(i)=[x(i),x(i+1),…,x(i+m-1)],1≤i≤N-m+1。

（3）計(jì)算每個(gè)向量與其他N-m個(gè)向量之間的距離d[Xm(i),Xm(j)]。將計(jì)算所得N-m個(gè)距離與給定相似容限r(nóng)進(jìn)行比較，當(dāng)計(jì)算所得距離小于相似容限r(nóng)時(shí)認(rèn)為兩個(gè)向量相似，滿足條件的向量個(gè)數(shù)記為Bm

i(r)，計(jì)算過(guò)程如公式（3）所示：

（4）求Bmi(r)對(duì)所有i的平均值，記為Bm(r)，Bm(r)的計(jì)算過(guò)程如公式（4）所示：

（5）將時(shí)間序列重構(gòu)為m+1維向量，重復(fù)上述步驟，根據(jù)公式（5）得到Bm+1(r)：

其中(r)計(jì)算過(guò)程如公式（6）所示：

則EEG時(shí)間序列SampEn可由公式（7）計(jì)算得到：

實(shí)際計(jì)算過(guò)程中N不可能為無(wú)窮，當(dāng)N為有限值時(shí)，SampEn的計(jì)算如公式（8）所示：

本實(shí)驗(yàn)計(jì)算EEG時(shí)間序列過(guò)程中，m設(shè)置為2，r設(shè)置為0.2 SD（SD為EEG時(shí)間序列的標(biāo)準(zhǔn)差）。

1.2.3 最小生成樹(shù)（MST）

以腦電節(jié)點(diǎn)作為腦網(wǎng)絡(luò)的節(jié)點(diǎn)，相位滯后指數(shù)（phase lag index，PLI）通過(guò)衡量腦電節(jié)點(diǎn)間的依賴關(guān)系作為腦網(wǎng)絡(luò)的邊，計(jì)算功能腦網(wǎng)絡(luò)關(guān)聯(lián)矩陣，然后采用算法效率更快的Kruskal算法得到MST。此過(guò)程將腦網(wǎng)絡(luò)所有的連接權(quán)重從最低權(quán)重排序到最高權(quán)重，首先斷開(kāi)所有節(jié)點(diǎn)的連接，其次添加權(quán)重最高的連接，接下來(lái)添加權(quán)重第二高的連接，并重復(fù)此過(guò)程，直到所有節(jié)點(diǎn)都處于同一個(gè)連通圖中，并且沒(méi)有形成閉環(huán)。

為了更好地衡量MST的結(jié)構(gòu)，計(jì)算了如表1所示的常用6種度量指標(biāo)[18]，分別是節(jié)點(diǎn)度（degree）、直徑（diameter，Dia）、離心率（eccentricity，Ecc）、葉子分?jǐn)?shù)（leaf fraction，Lf）、中間中心度（betweenness centrality，BC）、樹(shù)層次（tree hierarchy，Th）。

表1 MST屬性的常用度量指標(biāo)Table 1 Common metrics for minimum spanning tree attributes

1.2.4 特征融合與選擇

從不同的EEG中提取了大量特征，將所有提取的特征矩陣使用串行拼接的融合方式構(gòu)建新的特征向量。其融合特征計(jì)算過(guò)程如公式（9）~（12）所示：

其中，Di代表第i個(gè)樣本的DE特征，Mi代表第i個(gè)樣本的MST屬性（上述6個(gè)度量指標(biāo)拼接得到），Si代表第i個(gè)樣本的Sampen特征，Yi代表融合特征，由Di、Mi和Si串行拼接得到。

每種特征對(duì)情緒最終的影響不盡相同，為了提高特征敏感性，正確地對(duì)每種情緒進(jìn)行分類，使用雙樣本T檢驗(yàn)（sample t-test）來(lái)選擇合適且重要的特征。其權(quán)重基于sample t-test的絕對(duì)值和合并方差估計(jì)，計(jì)算過(guò)程如公式（13）所示：

其中，W(i)是特征i的權(quán)重，m是特征均值，Nx是情緒類別中的樣本數(shù)量，mx和σx2是預(yù)期特征中的情緒分類的均值和方差。本實(shí)驗(yàn)選擇特征時(shí)，將權(quán)重臨界值設(shè)為0.05，如果小于0.05，則視為顯著，反之不顯著。

1.2.5 分類方法

SVM分類器通常是通過(guò)建立超平面，盡可能區(qū)分正反例來(lái)解決兩類問(wèn)題。本文使用LIBSVM[19]工具包對(duì)腦電不同情緒進(jìn)行分類，通過(guò)訓(xùn)練樣本和相應(yīng)的標(biāo)簽、核函數(shù)和懲罰因子構(gòu)建用于測(cè)試樣本的決策函數(shù)。同時(shí)，使用五折交叉驗(yàn)證盡可能地避免過(guò)擬合。

2 實(shí)驗(yàn)結(jié)果與分析

2.1 基于單特征的情緒分類

為了研究不同類型特征對(duì)腦電情緒分類的影響，選取第一次實(shí)驗(yàn)采集的腦電情緒數(shù)據(jù)（即1個(gè)session），將其快樂(lè)、悲傷、恐懼和中性4種情緒的EEG信號(hào)進(jìn)行兩兩對(duì)比實(shí)驗(yàn)共設(shè)計(jì)6組，分別采用DE、MST、SampEn作為SVM分類器的輸入向量并得出分類結(jié)果，分類結(jié)果如表2所列。

表2 單特征的情緒分類結(jié)果Table 2 Sentiment classification results with single feature 單位：%

結(jié)果表明，DE特征的分類效果要明顯優(yōu)于MST和SampEn，其平均分類準(zhǔn)確率為77.86%，而MST屬性的平均分類準(zhǔn)確率僅為52.47%，SampEn特征的平均分類準(zhǔn)確率為60.34%。這可能是因?yàn)楦哳l特征與情緒處理的關(guān)聯(lián)更大，而DE特征對(duì)于大腦情緒的高頻特征具有一定程度上的平衡作用[20]，使高頻特征的作用變得更強(qiáng)，進(jìn)而更容易被有效區(qū)分，因此推測(cè)DE特征相較其他兩種特征更適用于EEG的情緒分類。而且，較Zheng等人[15]在同一數(shù)據(jù)集采用DE特征達(dá)到70.58%的平均分類準(zhǔn)確率，本文經(jīng)sample t-test特征選擇之后平均分類準(zhǔn)確率提升了7.28個(gè)百分點(diǎn)，這說(shuō)明提取的原始特征包含的冗余信息可能會(huì)影響情緒的分類。

2.2 基于多特征的情緒分類

為了進(jìn)一步驗(yàn)證特征之間互補(bǔ)性在腦電情緒分類中的作用，在上述實(shí)驗(yàn)基礎(chǔ)上，分別將MST、SampEn與DE進(jìn)行多特征融合后作為SVM分類器的輸入向量并得出分類結(jié)果，其中，DE+MST平均分類準(zhǔn)確率為83.07%，DE+SampEn平均分類準(zhǔn)確率為81.87%，MST+SampEn平均分類準(zhǔn)確率為61.92%，DE+MST+SampEn平均分類準(zhǔn)確率為84.58%。分類結(jié)果如表3所列。

表3 多特征的情緒分類結(jié)果Table 3 Sentiment classification results with multiple features 單位：%

對(duì)比表2和表3，可以發(fā)現(xiàn)相較于單特征分類結(jié)果，以DE特征作為融合時(shí)基準(zhǔn)特征的多特征融合后的分類準(zhǔn)確率均有明顯提高。相比于使用MST屬性的分類效果提升最高，高達(dá)30.6和32.11個(gè)百分點(diǎn)，而相比使用SampEn特征分類準(zhǔn)確率提高了21.53和24.24個(gè)百分點(diǎn)。而簡(jiǎn)單的MST和SampEn融合效果也有所提升，其分類準(zhǔn)確率分別提升9.45和1.58個(gè)百分點(diǎn)。雖然單獨(dú)的MST屬性和SampEn特征情緒分類效果不太理想，但通過(guò)特征融合后改善了分類結(jié)果，說(shuō)明兩者均包含表征情緒的有效信息，而利用不同特征對(duì)情緒狀態(tài)表征特性的互補(bǔ)性能有效提高最終的分類效果[15]。綜上結(jié)果也說(shuō)明將腦功能連接特征引入情緒識(shí)別研究中是有效的。

圖2展示了不同特征及其融合的分類結(jié)果，可以發(fā)現(xiàn)，DE+MST+SampEn分類效果最好，DE+MST和DE+SampEn相差不大，而MST+SampEn小幅提升。這可能是因?yàn)?，DE是一種衡量復(fù)雜性的有效方法，可以穩(wěn)定地描述EEG特征，適用于情緒解碼和分類[21]。而在腦網(wǎng)絡(luò)中，大腦功能被認(rèn)為是由幾個(gè)信息處理節(jié)點(diǎn)的同步活動(dòng)產(chǎn)生的，MST可有效用于大腦特定行為（如對(duì)情緒刺激的感知）背后的主干結(jié)構(gòu)，它允許在情緒處理任務(wù)期間研究大腦的動(dòng)態(tài)狀態(tài)，有助于理解大腦網(wǎng)絡(luò)復(fù)雜性在情緒狀態(tài)之間轉(zhuǎn)換時(shí)的變化方式[13]。人體又是一個(gè)非線性動(dòng)力系統(tǒng)，人體自發(fā)產(chǎn)生的EEG是非線性的，SampEn作為一種非線性特征可以用來(lái)衡量EEG的復(fù)雜程度，有效表征EEG情緒變化中更多的非線性信息[22]。將上述不同類型的腦電特征融合后，其在情緒處理過(guò)程中能夠相互作用，從而蘊(yùn)含了EEG中更為豐富的情緒信息，這說(shuō)明提取的DE、MST、SampEn三者之間存在互補(bǔ)性，同時(shí)驗(yàn)證了多特征融合對(duì)腦電情緒分類的有效性。

圖2 不同特征及其融合的分類結(jié)果Fig.2 Classification results of different features and fusion

2.3 重復(fù)測(cè)量實(shí)驗(yàn)

為進(jìn)一步驗(yàn)證本方法的有效性與穩(wěn)定性，對(duì)被試在不同時(shí)間段做3次實(shí)驗(yàn)采集的腦電情緒數(shù)據(jù)進(jìn)行重復(fù)實(shí)驗(yàn)，圖3展示不同特征及其融合在不同實(shí)驗(yàn)中的分類結(jié)果，每一列代表一種特征或者一種融合特征，從左至右依次是DE、MST、SampEn、DE+MST、DE+SampEn、MST+SampEn、DE+MST+SampEn，每一行代表一次實(shí)驗(yàn)，從上至下依次為1、2、3，顏色代表了平均分類準(zhǔn)確率，越接近紅色代表平均分類準(zhǔn)確率越高，越接近紫色代表平均分類準(zhǔn)確率越低。

圖3 不同特征及其融合在不同實(shí)驗(yàn)中的分類結(jié)果Fig.3 Classification results of different features and fusion in different experiments

結(jié)果表明，每種特征及其融合在不同實(shí)驗(yàn)中的平均分類準(zhǔn)確率沒(méi)有較大差異，在3次實(shí)驗(yàn)中總體分別呈現(xiàn)綠色、紫色、藍(lán)色、淺藍(lán)色、橘色、橘黃色、橘紅色。這說(shuō)明采集期的EEG隨情緒變化的模式是穩(wěn)定的，即利用EEG對(duì)同一被試進(jìn)行情緒分類是可以重復(fù)的，這與之前的研究結(jié)果是一致的[23]。而在相同實(shí)驗(yàn)中，不同特征及其融合的平均分類準(zhǔn)確率有較大的差異，相較于單獨(dú)的DE、MST、SampEn，MST+SampEn、DE+MST、DE+SampEn更接近紅色，平均分類準(zhǔn)確率更高，但平均分類準(zhǔn)確率最高的為DE+MST+SampEn，其顏色趨近紅色。這與2.2節(jié)所述結(jié)果一致，再次驗(yàn)證了多特征融合對(duì)腦電情緒分類的有效性。

3 結(jié)束語(yǔ)

本文提出了一種基于多特征融合的腦電情緒分類新方法。具體地說(shuō)，首先對(duì)EEG的DE、功能連接MST和非線性SampEn特征進(jìn)行提取，然后結(jié)合sample t-test檢驗(yàn)算法進(jìn)行特征選擇去除冗余。最后，使用SVM進(jìn)行情緒分類。實(shí)驗(yàn)結(jié)果表明，與基于單一特征的情緒分類相比，本文提出的多特征融合方法在準(zhǔn)確率方面取得了更好的性能，而且發(fā)現(xiàn)不同時(shí)間段內(nèi)的EEG隨情緒變化的模式是穩(wěn)定的。但本文僅在傳統(tǒng)的機(jī)器學(xué)習(xí)模型上予以討論，結(jié)合卷積神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)等深度學(xué)習(xí)算法模型還有待研究。另外，多模態(tài)生理信號(hào)攜帶的特征信息具有互補(bǔ)性，在將來(lái)的研究中基于多模態(tài)生理信號(hào)進(jìn)行情緒識(shí)別也有望得到更好的分類效果。