基于腦電同源樣本捆綁法的情緒識別研究^

劉 爽 仝晶晶 楊佳佳 綦宏志 明 東

(天津大學(xué)精密儀器與光電子工程學(xué)院生物醫(yī)學(xué)工程系， 天津 300072)

基于腦電同源樣本捆綁法的情緒識別研究^

劉 爽 仝晶晶 楊佳佳 綦宏志 明 東#*

(天津大學(xué)精密儀器與光電子工程學(xué)院生物醫(yī)學(xué)工程系， 天津 300072)

近年來，越來越多的研究者投入到基于腦電的情緒識別研究中，新理論方法的提出使得情緒的識別準(zhǔn)確率有了進(jìn)一步提高。然而，一旦走向?qū)嶋H應(yīng)用，識別率大幅度下降，建立高精確率的情緒識別模型仍面臨巨大的挑戰(zhàn)。一個非常重要的原因是同源樣本攜帶的非情緒信息使情緒識別模型更容易識別測試集的樣本，使得傳統(tǒng)的情緒識別方法出現(xiàn)識別正確率虛高的問題。為此，提出一種新的樣本劃分方法-同源樣本捆綁法，并對10名被試開展情緒誘發(fā)實(shí)驗(yàn)，利用情緒圖片和視頻誘發(fā)平靜、愉悅、難過和惡心等4種情緒狀態(tài)。提取6個頻段的腦電信號(θ∶4～8 Hz,α:8～12 Hz,β1: 13～18 Hz,β2:18～30 Hz,γ1:30～36 Hz和γ2:36～44 Hz)的功率譜特征，然后利用支持向量機(jī)進(jìn)行情緒識別，并對比傳統(tǒng)隨機(jī)方法與同源樣本捆綁法的情緒識別效果。結(jié)果顯示，對于圖片誘發(fā)任務(wù)，隨機(jī)法四分類平均正確率為43.92%，而捆綁法只得到34.15%的平均正確率；在視頻誘發(fā)任務(wù)下，隨機(jī)法和捆綁法分別得到94.45%和37.88%的平均正確率，隨機(jī)法顯著高于捆綁法，證明傳統(tǒng)的樣本隨機(jī)劃分方法會帶來虛高情緒識別率。最后利用基于遞歸篩選的支持向量機(jī)(SVM-RFE)算法剔除基于同源樣本捆綁法下的非情緒特征，提高情緒識別正確率，圖片和視頻誘發(fā)任務(wù)分別得到76.22%和72.53%的平均識別正確率。綜上，所提出的同源樣本捆綁法可以剔除非情緒因素的影響，避免傳統(tǒng)的樣本劃分方法帶來的虛高情緒識別率，是情緒識別從理論研究走向?qū)嶋H應(yīng)用重要且必要的一步。

腦電；情緒識別；支持向量機(jī)(SVM)；同源樣本捆綁法

引言

情緒(emotion)是人對客觀事物是否滿足自身需要而產(chǎn)生的綜合狀態(tài)。它作為人腦的高級功能，保證有機(jī)體的生存和適應(yīng)，不同程度上影響著人的學(xué)習(xí)、記憶與決策[1]。在人們的日常工作和生活中，情緒的作用無處不在。消極情緒會影響身心健康，降低工作質(zhì)量與效率，嚴(yán)重者會引發(fā)心理疾病，造成工作失誤。有研究證明，消極情緒的長期積累，會損害免疫系統(tǒng)的功能，使人們更容易受到周圍病毒的感染[2]。所以，適時地發(fā)現(xiàn)消極情緒并給予適當(dāng)?shù)母深A(yù)與調(diào)控十分必要，尤其是對司機(jī)，航天員等一些特殊工作者[3]。另外，在人機(jī)交互系統(tǒng)里，如果系統(tǒng)能夠捕捉到人的情緒狀態(tài)，那么人機(jī)交互就會變得更加友好、自然與高效。情緒的分析與識別已經(jīng)成為神經(jīng)科學(xué)、心理學(xué)、認(rèn)知科學(xué)、計(jì)算機(jī)科學(xué)和人工智能等領(lǐng)域?qū)W科交叉的一項(xiàng)重要的研究課題。

隨著神經(jīng)生理學(xué)的發(fā)展和腦成像技術(shù)的興起，腦電信號(electroencephalography, EEG)因其時間分辨率高、不受人為因素控制、能夠客觀真實(shí)地反映人的情緒狀態(tài)而受到研究人員的重視并被引入到情緒識別領(lǐng)域[4-6]。雖然目前的情緒識別在理論研究上得到了較為可觀的識別正確率，但在實(shí)際應(yīng)用中仍面臨嚴(yán)重的挑戰(zhàn)，識別率大幅度下降。其中一個重要的原因就是研究者們忽略了一個潛在的問題：同源樣本(見圖1)中攜帶的非情緒信息會導(dǎo)致識別正確率的虛高。實(shí)驗(yàn)中記錄的腦電信號不但包含與情緒相關(guān)的信息，也包含非情緒信息，例如大腦對圖片或視頻中的信息內(nèi)容，以及視頻中的視聽覺信息的處理等。研究顯示，人們在看節(jié)奏較快的視頻時，在枕區(qū)會產(chǎn)生與看節(jié)奏較慢的視頻不同的腦電活動[7]。在模式識別領(lǐng)域，提取的樣本一部分用于訓(xùn)練分類模型，稱之為訓(xùn)練集；其余樣本用于測試分類模型，稱之為測試集。在傳統(tǒng)的情緒識別中，所有的樣本被隨機(jī)分配到訓(xùn)練集與測試集中，稱其為同源樣本隨機(jī)劃分法(簡稱隨機(jī)法)。隨機(jī)法中，同源樣本極有可能一部分分到訓(xùn)練集，一部分分到測試集。那么同源樣本之間攜帶的共有的非情緒信息會導(dǎo)致識別正確率虛高。例如，A1分到了訓(xùn)練集，B1分到了測試集，那么A1與B1共有的非情緒特征會使分類器更容易識別B1，從而造成了識別率虛高的現(xiàn)象。

圖1 同源樣本圖示(樣本A1,B1,C1,D1來自于同一個視頻誘發(fā)的腦電信號，稱為同源樣本；相反地，A1與A2稱為非同源樣本)Fig.1 Homologous samples and non-homologous samples (Samples A1,B1,C1 and D1, extracted from EEGs evoked by one video, were called homologous samples; while A1 and A2 were called non-homologous samples)

本研究主要針對傳統(tǒng)情緒識別方法導(dǎo)致識別率虛高的問題，提出了一種新的樣本劃分方法-同源樣本捆綁法(簡稱捆綁法)，即將同源樣本捆綁在一起，將同源樣本都分配到訓(xùn)練集，或者都分配到測試集。最后，利用SVM-RFE算法對捆綁法下的情緒特征進(jìn)行優(yōu)化，剔除非情緒特征影響的同時以期提高識別正確率。

1 對象和方法

1.1 對象

實(shí)驗(yàn)被試共 10 人(男女各5 人)，均為在校大學(xué)生，年齡 20～25 周歲。身心健康、視覺聽覺正常，無過往精神及神經(jīng)性疾病史，自愿參與實(shí)驗(yàn)，并簽署知情同意書。實(shí)驗(yàn)前 4 h內(nèi)未參與劇烈運(yùn)動，實(shí)驗(yàn)前一周內(nèi)未使用任何藥品。實(shí)驗(yàn)開始之前，被試均充分了解實(shí)驗(yàn)過程。

1.2 刺激方法

實(shí)驗(yàn)包含兩類任務(wù)，圖片誘發(fā)任務(wù)和視頻誘發(fā)任務(wù)，實(shí)驗(yàn)任務(wù)中誘發(fā)被試愉悅、難過、惡心、中性等4種情緒狀態(tài)。圖片主要來自于佛羅里達(dá)大學(xué)NIMH情緒與注意研究中心的國際情感誘發(fā)圖片庫(International Affective Picture System, IAPS)[8]。該圖片庫中的圖片經(jīng)由大量被試進(jìn)行效價值和喚醒度評估，具有較高的可信度。目前國際上沒有標(biāo)準(zhǔn)的情緒視頻庫，大多研究都是根據(jù)本土文化自行挑選和評定。

1.3 數(shù)據(jù)采集

腦電采集裝置為Neuroscan公司的40導(dǎo)聯(lián)放大器和Scan 4.5采集系統(tǒng)，電極遵照國際腦電協(xié)會規(guī)定的標(biāo)準(zhǔn)10-20系統(tǒng)放置，去除眼電和參考電極外的30電極的導(dǎo)聯(lián)分布如圖2所示。采集時以右側(cè)乳突作為參考電極，腦部前額頂側(cè)中央處接地，所有電極的阻抗均保持在5 kΩ以下，采樣頻率為 1 000 Hz。

圖2 30導(dǎo)聯(lián)電極分布Fig.2 EEG cap layout of 30 channels

圖片誘發(fā)任務(wù)中包含112張圖片，愉悅、難過和惡心的圖片各24張，中性40張。視頻誘發(fā)任務(wù)每類情緒誘發(fā)狀態(tài)的視頻有2～3個。圖片和視頻呈現(xiàn)結(jié)束后，被試需要對自己的真實(shí)感受進(jìn)行主觀評分。因?yàn)閷τ谇榫w的感受具有較大的個體差異性，所以被試的主觀評分將作為后續(xù)情緒識別的真實(shí)標(biāo)簽。圖3是圖片誘發(fā)任務(wù)下隨機(jī)挑選的圖片示例。

圖3 擬誘發(fā)不同情緒的圖片示例。(a)擬誘發(fā)被試中性的情緒；(b)擬誘發(fā)被試難過的情緒；(c)和(d)擬誘發(fā)被試愉悅的情緒Fig.3 Image examples in the image evoked task. (a) Aimed to evoke the neutral states; (b) Aimed to evoke the sadness state; (c) and (d) Aimed to evoke the joy state

1.4 數(shù)據(jù)處理

1.4.1 預(yù)處理

數(shù)據(jù)預(yù)處理過程包括變參考到雙耳平均，1～45 Hz帶通濾波、去除眼電干擾、降采樣到128 Hz和截取有效數(shù)據(jù)段等5個步驟。由于電磁和工頻干擾常發(fā)生在高頻段，偽跡噪聲往往分布在低頻段，而正常成年人的腦電頻率主要成分集中在45 Hz以下，因此使用1～45 Hz的帶通濾波濾掉易產(chǎn)生干擾的頻段，保留主要頻段。本研究的兩種任務(wù)均涉及視覺誘發(fā)，被試的眨眼和眼動是無可避免的，所以腦電信號中混雜了較多的眼電干擾。獨(dú)立分量分析(independent component analysis, ICA)[9-10]屬于盲信源分離方法，它可以避免信號主要成分的丟失，對信號的去噪效果較為理想，本研究采用獨(dú)立分量分析去除眼電干擾。圖片誘發(fā)任務(wù)中，截取從每張圖片刺激開始的0.5～2.5 s的腦電數(shù)據(jù)；視頻誘發(fā)任務(wù)中，根據(jù)量表中被試反饋的情緒強(qiáng)烈的時間段，截取腦電中對應(yīng)時間段的信號供后續(xù)分析。

1.4.2 特征提取

采用參數(shù)模型法中常用的AR (auto-regressive)模型[11]提取腦電信號的功率譜特征，其運(yùn)算簡單，能用較少的參數(shù)提供較多的譜信息，在混雜噪聲信號的分析上具有魯棒性，可以較好地描述腦電特征。

AR模型屬于線性預(yù)測模型，也稱自回歸模型。這種譜估計(jì)具有遞推特性，因此在處理瞬態(tài)的短數(shù)據(jù)信號時，也具有較高的頻率分辨率，而且譜圖連續(xù)光滑?；谝陨蟽?yōu)勢，其在信號處理領(lǐng)域頗受研究重視。假定所研究的隨機(jī)信號是由輸入的白噪聲序列w(n)經(jīng)過一個線性系統(tǒng)后的輸出，p階的AR模型可表示為

(1)

式中，w(n)表示均值為0，方差為δ的白噪聲序列，p代表模型的階數(shù)，ap(k)(k=1,2,3,…,p-1)是AR模型的系數(shù)。

本研究選用伯格(Burg)算法估計(jì)AR模型的系數(shù)，該算法是在遞歸約束下，從觀測的數(shù)據(jù)利用線性預(yù)測器的前向和后向預(yù)測的總均方誤差(功率)之和為最小的準(zhǔn)則來估計(jì)反射系數(shù)，之后根據(jù)Levinson-Durbin算法的遞推公式求出AR模型的參數(shù)。 采用Matlab中的pburg函數(shù)實(shí)現(xiàn)功率譜估計(jì)，模型的階數(shù)為8階，分別計(jì)算30 導(dǎo)腦電每一導(dǎo)6個頻段的功率譜密度，6個頻段定義如下：θ(4～ 8 Hz)、α(8～12 Hz)、β1(13～18 Hz)、β2(18～ 30 Hz)、γ1(30～36 Hz)、γ2(36～44 Hz)。然后，將每個頻段內(nèi)的各個頻率點(diǎn)對應(yīng)的幅值相加，得到每一導(dǎo)聯(lián)對應(yīng)頻段的功率譜能量值(功率譜和)，能量特征維數(shù)為30×6=180維。

1.4.3 模式識別

支持向量機(jī)(support vector machine, SVM)[12]是建立在統(tǒng)計(jì)學(xué)習(xí)VC維理論和結(jié)構(gòu)風(fēng)險最小化原理基礎(chǔ)上的一種機(jī)器學(xué)習(xí)方法,在解決小樣本、非線性和高維度模式識別問題中表現(xiàn)出突出優(yōu)勢，目前在生物電信號識別、醫(yī)學(xué)圖像分割等領(lǐng)域都獲得了廣泛應(yīng)用。SVM 的基本思想是在特征空間尋找一個最優(yōu)超平面, 可以把兩類樣本正確分開, 而且要求距離超平面最近的不同類樣本集之間的間隔最大, 這樣才能達(dá)到最大的泛化能力。SVM輸出為

(2)

式中，xi是輸入樣本，wi是拉格朗日乘子，w=∑kakykxk，b=〈yk-wxk〉，K(x,xi)是核函數(shù)，這里使用的是徑向基核函數(shù)。

本研究的模式識別是在LibSVM平臺上實(shí)現(xiàn)的[13]，運(yùn)用“一對一”(one-versus-one)的多分類策略。在本研究中，分別對樣本數(shù)據(jù)進(jìn)行了隨機(jī)法和同源樣本捆綁法的抽取，并進(jìn)行SVM分類識別。

1.4.4 特征篩選

基于遞歸特征篩選的支持向量機(jī)(SVM-recursivefeatureelimination,SVM-RFE)是一種后向消去的循環(huán)過程，屬于有監(jiān)督的機(jī)器學(xué)習(xí)。該算法著眼于全局特征，能保證特征信息的完整性，具有較強(qiáng)的穩(wěn)定性和可重復(fù)性，簡單且易用。其基本思想如圖4所示。從全體特征開始逐個篩選，根據(jù)分類器在分類過程中移去某一維特征后識別率的降低量來衡量該特征對分類結(jié)果的影響，識別率下降得越厲害，說明該特征在所有特征的分類貢獻(xiàn)中所占的比重越大[14]。計(jì)算每一維特征的分類貢獻(xiàn)比重后將其排序，然后從特征集中逐一剔除對分類貢獻(xiàn)率最小的特征后，繼續(xù)重復(fù)上述過程，直到特征維數(shù)變?yōu)橐痪S為止。當(dāng)?shù)^程結(jié)束時，可得到一列按照特征貢獻(xiàn)度從小到大排列的特征表。采用SVM-RFE算法對提取的信號特征進(jìn)行優(yōu)化篩選。

圖4 SVM-RFE算法流程Fig.4 The procedure of SVM-RFE

2 結(jié)果

2.1 基于兩種樣本劃分方法的分類結(jié)果

圖5給出了圖片和視頻誘發(fā)任務(wù)下兩種樣本劃分方法的四分類識別正確率。可以看出，所有被試在同源樣本捆綁法下的識別正確率要低于隨機(jī)法。對于圖片誘發(fā)任務(wù)，隨機(jī)法四分類平均正確率為43.92%，而捆綁法只得到了34.15%的平均正確率；在視頻誘發(fā)任務(wù)下，隨機(jī)法和捆綁法分別得到了94.45%和37.88%的平均正確率，隨機(jī)法顯著高于捆綁法(P<0.01)。

由此可以得出，傳統(tǒng)的同源樣本隨機(jī)劃分方法確實(shí)帶來了正確率虛高的現(xiàn)象，而且視頻誘發(fā)任務(wù)下的虛高效應(yīng)大于圖片誘發(fā)任務(wù)。

圖5 兩種樣本劃分方法的情緒識別結(jié)果。(a)圖片誘發(fā)任務(wù)；(b)視頻誘發(fā)任務(wù)Fig.5 Classification rates based on two sample-divided methods. (a) Picture induced task; (b) Video induced task

2.2 基于SVM-RFE的識別結(jié)果

采用SVM-RFE算法來提高基于捆綁法的分類器性能，剔除非情緒特征影響的同時提高識別正確率。圖6是基于SVM-RFE的識別結(jié)果。

圖6 基于SVM-RFE特征優(yōu)化后的識別率。(a)圖片誘發(fā)任務(wù)；(b)視頻誘發(fā)任務(wù)Fig.6 Recognition rates with SVM-RFE. (a) Picture induced task and (b) Video induced task

從圖6中可以看出，SVM-RFE可以顯著提高識別正確率(P<0.01)。對于圖片誘發(fā)任務(wù)，平均正確率提高到了76.22%；對于視頻誘發(fā)任務(wù)，平均正確率則提高到了72.53%。

3 討論

現(xiàn)有的情緒識別研究中，視頻誘發(fā)任務(wù)得到的正確率高于圖片誘發(fā)任務(wù)[7, 15-17]，本研究在利用傳統(tǒng)的隨機(jī)法也得到了相同的結(jié)果。這可能是由于一段視頻材料時間較長，提取出的同源樣本較多，在幾十到幾百個之間，而從一張圖片中提取的樣本數(shù)較少，一般只有幾個。所以從理論上講，視頻誘發(fā)任務(wù)中的虛高效應(yīng)理應(yīng)比圖片任務(wù)更加嚴(yán)重。本研究的結(jié)果也驗(yàn)證了這一點(diǎn)。在現(xiàn)有研究的樣本提取過程中，樣本之間的時間重疊會帶來更加嚴(yán)重的虛高效應(yīng)[17]。所以現(xiàn)有的情緒識別研究中，很多比較可觀的結(jié)果是有待商榷的。本研究提出的同源捆綁法雖然不能解決情緒識別走向?qū)嶋H應(yīng)用的全部問題，但是同源捆綁法的提出是情緒識別從理論研究走向?qū)嶋H應(yīng)用重要且必要的一步。

在視頻誘發(fā)任務(wù)中，同源樣本捆綁法得到的4分類識別正確率較低，僅達(dá)到37.88%平均正確率，略高于隨機(jī)正確率(25%)。但這并不能說明視頻誘發(fā)情緒的效果不好或者算法不可靠，究其原因，可能是因?yàn)閷τ诿恳粋€被試用于誘發(fā)每一種情緒的視頻個數(shù)太少，例如誘發(fā)難過的視頻僅為兩個，其中一個視頻的數(shù)據(jù)樣本做訓(xùn)練集，另外一個則做測試集。這就使得分類器在訓(xùn)練時很難挑選出情緒相關(guān)的特征，剔除無關(guān)特征，從而造成情緒分類器訓(xùn)練不夠充分，致使識別率較低。因此，在未來的研究中，增加每一種類的視頻個數(shù)十分必要。

大腦是一個復(fù)雜的結(jié)構(gòu)，腦電信號包含的信息也是多種多樣。虛高效應(yīng)不只存在于情緒識別領(lǐng)域，在其他認(rèn)知領(lǐng)域也同樣存在，例如腦力負(fù)荷領(lǐng)域[18]。在實(shí)際應(yīng)用中，模式識別模型不可能只局限于同一個或同一類誘發(fā)事件，用某一個誘發(fā)事件的數(shù)據(jù)建立的模型如果只能識別同一個事件誘發(fā)的情緒狀態(tài)，那么這個模型是失敗的，在現(xiàn)實(shí)應(yīng)用中難以推廣。時間效應(yīng)對識別模型的影響也是情緒模型走向應(yīng)用的一個重大挑戰(zhàn)[19]，也是情緒識別領(lǐng)域亟待解決的一個問題。未來的工作將進(jìn)一步擴(kuò)展情緒相關(guān)的腦電信號樣本，探索更為有效的特征提取及特征優(yōu)化算法，從而完善情緒識別模型，將情緒識別模型逐步推廣到實(shí)際應(yīng)用中。

4 結(jié)論

本課題通過圖片以及視頻任務(wù)誘發(fā)了被試愉悅、難過、惡心和中性4種情緒狀態(tài)，并提出了一種新的樣本劃分方法-同源樣本捆綁法，從而避免了傳統(tǒng)的樣本劃分方法造成的情緒識別率虛高的問題。接著，利用SVM-RFE算法剔除與情緒狀態(tài)無關(guān)的特征，同時也提高了基于同源樣本捆綁法的識別效果，這是情緒識別從理論研究走向?qū)嶋H應(yīng)用重要且必要的一步。

(致謝：感謝參與本實(shí)驗(yàn)所有的志愿者被試)

[1] Blanchette I, Richards A. The influence of affect on higher level cognition: A review of research on interpretation, judgement, decision making and reasoning [J]. Cognition & Emotion, 2010, 24(4): 561-595.

[2] Picard RW, Vyzas E, Healey J. Toward machine emotional intelligence: Analysis of affective physiological state [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2001, 23(10): 1175-1191.

[3] Liu S, Zhang D, Xu M, et al. Randomly dividing homologous samples leads to overinflated accuracies for emotion recognition [J]. International Journal of Psychophysiology Official Journal of the International Organization of Psychophysiology, 2015, 96(1): 29-37.

[4] Verma GK, Tiwary US. Multimodal fusion framework: A multiresolution approach for emotion classification and recognition from physiological signals [J]. NeuroImage, 2014, 102：162-172.

[5] Wang XW, Nie D, Lu BL. Emotional state classification from EEG data using machine learning approach [J]. Neurocomputing, 2014, 129：94-106.

[6] Khaliliardali Z. Emotion detection using brain and peripheral signals[C]// International Biomedical Engineering Conference. Cairo: IEEE 2008:1-4.

[7] Soleymani M, Pantic M, Pun T. Multimodal emotion recognition in response to videos [J]. IEEE Transactions on Affective Computing, 2012, 3(2): 211-223.

[8] Moltó J, Montaés S, Poy R, et al. Un nuevo método para el estudio experimental de las emociones: El International Affective Picture System (IAPS) [J]. Revista De Psicología General Y Aplicada, 1999, 52(1):55-87.

[9] Cohen B, Bravo-Fernandez E, Sances Jr A. Automated electroencephalographic analysis as a prognostic indicator in stroke [J]. Medical and Biological Engineering and Computing, 1977, 15(4): 431-437.

[10] 萬柏坤, 朱欣, 楊春梅, 等. ICA去除EEG中眼動偽差和工頻干擾方法研究 [J]. 電子學(xué)報, 2003, 31(10): 1571-1574.

[11] 陳海英. AR模型功率譜估計(jì)常用算法的性能比較 [J]. 漳州師范學(xué)院學(xué)報：自然科學(xué)版, 2009, 22(1): 48-52.

[12] Hidalgo-Mu Oz AR, L Pez MM, Santos IM, et al. Application of SVM-RFE on EEG signals for detecting the most relevant scalp regions linked to affective valence processing [J]. Expert Systems with Applications, 2013, 40(6): 2102-2108.

[13] Chang CC, Lin CJ. LIBSVM: A library for support vector machines [J]. Acm Transactions on Intelligent Systems & Technology, 2006, 2(3): 389-396.

[14] 白艷茹. 用于生物特征識別的多范式誘發(fā)腦電個體差異性研究 [D]. 天津：天津大學(xué), 2012.

[15] Brown L, Grundlehner B, Penders J. Towards wireless emotional valence detection from EEG.[C]// International Conference of the IEEE Engineering in Medicine & Biology Society. Boston: IEEE, 2011:2188-2191.

[16] Nie D, Wang XW, Shi LC, et al. EEG-based emotion recognition during watching movies[C]// International IEEE/EMBS Conference on Neural Engineering. Antalya: IEEE Computer Society, 2011:667-670.

[17] Peng H, Long F, Ding C. Feature selection based on mutual information criteria of max-dependency, max-relevance, and min-redundancy [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2005, 27(8): 1226-1238.

[18] Ke Y, Qi H, Zhang L, et al. Towards an effective cross-task mental workload recognition model using electroencephalography based on feature selection and support vector machine regression [J]. International Journal of Psychophysiology, 2015, 98(2): 157-166.

[19] Christensen JC, Estepp JR, Wilson GF, et al. The effects of day-to-day variability of physiological data on operator functional state classification [J]. Neuroimage, 2012, 59(1): 57-63.

Study on Emotion Recognition with Integrating EEG Homologous Samples Method

Liu Shuang Tong Jingjing Yang Jiajia Qi Hongzhi Ming Dong#*

(DepartmentofBiomedicalEngineering,CollegeofPrecisionInstrumentsandOptoelectronicsEngineering,TianjinUniversity，Tianjin300072,China)

There are numerous studies measuring brain emotional status by analyzing EEGs under the emotional stimuli that have occurred, and acceptable accuracies were obtained in existing researches. However, emotion classification model would be challenged when it was applied in practical application. Shared non-emotional information in homologous samples may make the classification model easier to recognize the samples in the testing set, resulting in higher accuracies in EEG-based emotion recognition. In the pattern recognition, we proposed a new sample-divided method, named integrating homologous samples method, where the homologous samples were either used to build a classifier, or to be tested. In this paper, affective pictures and videos were used to elicit four emotional states of neutral, happy, sad, and disgust from 10 subjects, and EEG signals were recorded during the pictures or videos display. PSD were extracted from EEGs of 6 frequency bands (θ: 4-8 Hz, α: 8-12 Hz, β1: 13-18 Hz, β2: 18-30 Hz, γ1: 30-36 Hz and γ2: 36-44 Hz), and then sent to a SVM for classification. The results showed that the classification accuracy was much lower for the integrating homologous samples method (IHSM) than for the traditional dividing the samples randomly (TDSR). For the image evoked task, 43.92% and 34.15% were obtained by TDSR and IHSM, respectively. There were 94.45% and 37.88% for video evoked task. SVM-RFE was employed to select emotional features and improved the classification rates to 76.22% and 72.35% for these two tasks. The proposed method avoided the overinflated accuracies brought by the traditional method, and handle this problem is an important and necessary step from the laboratory to the practical application.

electroencephalography (EEG); emotion recognition; support vector machine (SVM); integrating homologous samples method

10.3969/j.issn.0258-8021. 2016. 03.003

2016-01-10， 錄用日期:2016-03-16

國家自然科學(xué)基金重大研究計(jì)劃(91520205)；國家自然科學(xué)基金(81571762, 31500865)

R318

A

0258-8021(2016) 03-0272-06

^ 中國生物醫(yī)學(xué)工程學(xué)會2015年學(xué)術(shù)大會優(yōu)秀青年論文

# 中國生物醫(yī)學(xué)工程學(xué)會會員(Member, Chinese Society of Biomedical Engineering)

*通信作者(Corresponding author)， E-mail: richardming@tju.edu.cn