一種多特征提取的腦電情感識(shí)別方法

賈小云，鄭 茹，陳景霞

(陜西科技大學(xué) 電氣與信息工程學(xué)院，陜西 西安 710021)

0 引言

大腦管控著人們的日常情感變化，是人體中最為復(fù)雜的信息處理中心.腦電信號(hào)(Electroencephalogram,EEG)是由電極記錄下來(lái)的腦細(xì)胞群的自發(fā)性、節(jié)律性電活動(dòng)，其蘊(yùn)含著豐富的生理、心理及病理信息[1].隨著腦科學(xué)的迅速發(fā)展，神經(jīng)科學(xué)和認(rèn)知科學(xué)對(duì)情感的深入研究，以及計(jì)算機(jī)數(shù)據(jù)處理能力的大幅提高，腦檢測(cè)技術(shù)和腦信號(hào)處理為基于情感的腦機(jī)制研究提供了科學(xué)的依據(jù)和新的研究方法.現(xiàn)在，基于腦電的情感分類與識(shí)別已經(jīng)成為情感研究的一個(gè)熱門(mén)課題[2]，對(duì)于實(shí)現(xiàn)高級(jí)人機(jī)交互，腦-機(jī)接口以及人工智能系統(tǒng)等具有重要意義.

數(shù)據(jù)空間自適應(yīng)(Data Space Adaptation，DSA)能夠使目標(biāo)空間與源空間的分布差異最小化.Arvaneh M等[3]采用監(jiān)督和非監(jiān)督版的DSA技術(shù)，來(lái)緩解EEG數(shù)據(jù)中的間歇性非平穩(wěn)性導(dǎo)致腦機(jī)接口性能惡化的問(wèn)題.公共空間模式(Common Spatial Patterns,CSP)可以使信號(hào)矩陣的方差最大化.張學(xué)軍等[4]針對(duì)CSP需要大量輸入通道與缺乏頻域信息的缺陷，將EMD和CSP算法結(jié)合.吳林彥等[5]提取小波包分析和CSP特征，對(duì)比二者的分類精度，得出提取小波包分析的分類精度較高的結(jié)論.李昕等[6]結(jié)合小波包熵和自回歸模型進(jìn)行提取EEG特征，分類精度提高了5%～7%.

如何有效地緩解不同人的腦電信號(hào)之間的差異對(duì)情感分類的影響，是基于EEG的情感分類研究所面臨的挑戰(zhàn)[7,8]之一.Lin等[9]預(yù)處理采用獨(dú)立成分分析(Independent Component Analysis,ICA)等步驟去除腦電偽跡，有效地緩解了EEG的非平穩(wěn)性.Jao等[10]采用魯棒的主成分分析(Robust Principal Component Analysis，RPCA)緩解了不同受試者之間EEG信號(hào)的差異，并稍微改善了情感的分類.Lin、Jao等[11]采用RPCA分解的稀疏信號(hào)捕獲了情感反應(yīng)一致性的EEG振蕩，其分類精度提高了6%.

針對(duì)如何有效減小不同受試者試驗(yàn)間的腦電信號(hào)差異對(duì)分類性能的影響，本文采用DSA-CSP迭代算法來(lái)處理腦電信號(hào)，通過(guò)DSA算法將EEG數(shù)據(jù)從源空間線性算法進(jìn)行線性變換得到投影矩陣，將多通道EEG數(shù)據(jù)投影到低維子空間，使信號(hào)矩陣的方差最大化，并對(duì)EEG數(shù)據(jù)進(jìn)行DSA和CSP的多次迭代，提取EEG的頻帶能量和小波包能量特征進(jìn)行分類.

1 EEG情感識(shí)別方法

1.1 數(shù)據(jù)源和預(yù)處理

DEAP(Database for Emotion Analysis Using Physiological Signals)情緒分析數(shù)據(jù)集由兩部分組成：在線自我評(píng)分和參與者評(píng)分.在線自我評(píng)分，記錄了由14～16名受試者根據(jù)喚醒度、效價(jià)和優(yōu)勢(shì)，對(duì)120分鐘的音視頻片段的評(píng)分；參與者評(píng)分，記錄了觀看40個(gè)音視頻片段時(shí)32位受試者的評(píng)分、EEG和外圍生理信號(hào).受試者對(duì)音視頻的喚醒度、效價(jià)、喜好、優(yōu)勢(shì)和喜歡的評(píng)分等級(jí)從1到9.上述40個(gè)音視頻片段的情感視覺(jué)刺激等級(jí)也是從1到9，其中有20個(gè)代表高價(jià)視覺(jué)刺激，20個(gè)代表低價(jià)視覺(jué)刺激，每個(gè)音視頻片段持續(xù)1分鐘.采用32通道的電極記錄EEG，每個(gè)電極記錄63秒的EEG信號(hào)，前3秒是試驗(yàn)的基線信號(hào).這些數(shù)據(jù)記錄在兩個(gè)不同的地點(diǎn)，第1位到第22位受試者在Twente進(jìn)行實(shí)驗(yàn)記錄，而后的第23位到第32位受試者在日內(nèi)瓦進(jìn)行實(shí)驗(yàn)記錄.本文實(shí)驗(yàn)采用前22位受試者觀看前20部影片的EEG數(shù)據(jù).

EEG數(shù)據(jù)預(yù)處理過(guò)程如下：最初使用128 Hz對(duì)EEG數(shù)據(jù)進(jìn)行下采樣，使用4.0～45.0 Hz的帶通濾波器去除低頻漂移.刪除EOG文物，把數(shù)據(jù)分割成3秒的試驗(yàn)前基線與60秒的試驗(yàn).利用受試者的自我評(píng)分作為標(biāo)簽，分析喚醒度和效價(jià)的二分類.如果評(píng)分大于等于4，則喚醒度/效價(jià)的標(biāo)簽高，即表示第一類；如果評(píng)分小于4，則喚醒度/效價(jià)的標(biāo)簽低，即表示第二類.然后按照時(shí)間段的先后順序把每個(gè)受試者的EEG數(shù)據(jù)均分為5段.

1.2 特征提取

1.2.1 DSA算法

z=VTx

(1)

式(1)中：V?Rn×n為轉(zhuǎn)換矩陣，n是EEG通道的數(shù)量，T是轉(zhuǎn)置運(yùn)算符.通過(guò)計(jì)算轉(zhuǎn)換矩陣V，最小化目標(biāo)空間和源空間之間的分布差異.

假設(shè)非平穩(wěn)性只存在于單次EEG的前兩個(gè)時(shí)刻(即平均值和協(xié)方差)，只比較源空間和目標(biāo)空間之間EEG試驗(yàn)的平均分布，來(lái)計(jì)算一個(gè)最小化其前兩個(gè)時(shí)刻差異的變換矩陣.

由于帶通EEG測(cè)量結(jié)果具有近似為零的平均值，所以可以將單蹤EEG的歸一化協(xié)方差矩陣估計(jì)為：

(2)

式(2)中：x?Rn×t代表一條單一試驗(yàn)EEG信號(hào)，該信號(hào)是一個(gè)由n個(gè)通道t個(gè)采樣點(diǎn)構(gòu)成的矩陣，tr(x)為x的對(duì)角線元素之和，即x的跡.

因此，一組EEG信號(hào)的平均分布可以通過(guò)零均值和通過(guò)對(duì)多次EEG試驗(yàn)中的相關(guān)性進(jìn)行平均而計(jì)算出的協(xié)方差矩陣來(lái)定義.基于最大熵原理，用于建模與零均值和協(xié)方差矩陣一致的單徑腦電的分布的最適合模型是高斯分布.因此，為衡量?jī)蓚€(gè)高斯分布之間的差異，采用Kullback-Leibler(KL)散度.

(3)

為了最小化上式，則計(jì)算損失函數(shù)L1(V)關(guān)于V的一階導(dǎo)數(shù)并且將其設(shè)置為0，結(jié)果如下：

(4)

1.2.2 CSP算法

共空間模式[12,13]利用線性變換將多通道腦電信號(hào)數(shù)據(jù)投影到帶有映射矩陣的低維空間子空間中，其中映射矩陣每一行由通道權(quán)值組成.能夠最大化兩類信號(hào)矩陣的差異.

若X為某個(gè)受試者第一類情感狀態(tài)的數(shù)據(jù)，Y為該受試者第二類情感狀態(tài)的數(shù)據(jù).EEG數(shù)據(jù)的歸一化空間協(xié)方差表示為：

(5)

(6)

式(6)中：U0是特征向量矩陣，Σ是特征值的對(duì)角矩陣.白化轉(zhuǎn)換矩陣如下：

(7)

轉(zhuǎn)換平均協(xié)方差矩陣如下：

(8)

Sx和Sy共享共同的特征向量，兩個(gè)矩陣對(duì)應(yīng)的特征值之和總是1.

Sx=UΣxUT

Sy=UΣyUT

(9)

對(duì)于Sx具有最小特征值的特征向量對(duì)于Sy具有最大的特征值.將白化的EEG轉(zhuǎn)化為對(duì)應(yīng)于Σx和Σy中最大特征值的特征向量，對(duì)于兩類信號(hào)矩陣的分離差異是最優(yōu)的.定義映射矩陣W如下：

W=UTP

(10)

根據(jù)映射矩陣，原始EEG數(shù)據(jù)可按照如下方式轉(zhuǎn)換：

Zx=WX

Zy=WY

(11)

式(11)中：Zx和Zy可以看作是腦電信號(hào)源的組成部分，包括不同任務(wù)的共同和特定的組成部分.通過(guò)下式可以重構(gòu)腦電X和Y：

X=W-1Zx

Y=W-1Zy

(12)

式(12)中：W-1是W的逆陣.W-1的列是空間模式，是EEG源分布向量.W-1的第一列和最后一列是解釋一個(gè)任務(wù)的最大方差和另一個(gè)的最小方差的最重要的空間模式.

1.2.3 DSA-CSP迭代算法

將經(jīng)過(guò)DSA和CSP處理過(guò)的EEG數(shù)據(jù)作為DSA的輸入進(jìn)行處理，再進(jìn)行CSP處理，如此迭代若干次.迭代步驟如圖1所示.通過(guò)多次DSA-CSP算法的迭代，尋求與腦電相關(guān)的隱性情緒狀態(tài)特征.

圖1 DSA-CSP算法迭代

1.2.4 功率譜能量特征

對(duì)DSA-CSP處理過(guò)的數(shù)據(jù)，把每個(gè)受試者觀看每個(gè)音視頻片段的高喚醒度/效價(jià)和低喚醒度/效價(jià)的數(shù)據(jù)連接在一起.EEG數(shù)據(jù)采樣頻率為128 Hz，使用經(jīng)典譜估計(jì)中的周期圖法，把隨機(jī)序列x(n)的N個(gè)數(shù)據(jù)視為一能量有限的序列，再計(jì)算x(n)的離散傅立葉變換，得到X(k)，然后取其幅值的平方并除N，得出序列x(n)的功率譜估計(jì).分別求出EEG 5個(gè)頻帶的功率譜密度(Power Spectral Density，PSD)特征，包括δ(1～3 Hz)、θ(4～7 Hz)、α(8～13 Hz)、β(14～30 Hz)和γ(31～43 Hz).圖2所示為第10個(gè)人的EEG信號(hào)經(jīng)過(guò)DSA-CSP迭代計(jì)算后5個(gè)頻帶的能量圖.

圖2 S10的5個(gè)頻帶的能量圖

1.2.5 小波包能量

小波分析是一種被廣泛應(yīng)用的時(shí)頻分析工具.小波分析相比于傅里葉變換和短時(shí)傅里葉變換，其優(yōu)點(diǎn)是：具有多分辨率分析，能多尺度反映信號(hào)的局部細(xì)節(jié)[14].愛(ài)用小波包來(lái)分解EEG信號(hào)s(t)到第i級(jí)時(shí)，得到2i個(gè)子帶.s(t)定義如下：

(13)

式(13)中：fi,j(tj)是節(jié)點(diǎn)(i,j)的重建信號(hào).若EEG信號(hào)s(t)的最低頻率為0，最高頻率為ωm，則第i層的頻率寬度為ωm/2i.

根據(jù)譜分析中的帕斯瓦爾定理，得到EEG信號(hào)s(t)小波包能量譜，公式如下：

(14)

式(14)中：xj,k是重建信號(hào)fi,j(tj)的離散采樣點(diǎn)振幅，j=0,1,2,…,2i-1，k=1,2,…,m，m代表采樣點(diǎn)數(shù)目.Ei,j(tj)是EEG信號(hào)在第j個(gè)節(jié)點(diǎn)分解為第i層時(shí)的頻帶能量.計(jì)算EEG信號(hào)s(t)的小波包能量和的公式如下：

(15)

將經(jīng)過(guò)DSA-CSP迭代處理的EEG信號(hào)采用小波包分解進(jìn)行處理，圖3所示為4層小波包分解的小波包樹(shù).圖4所示為第10個(gè)人的EEG信號(hào)經(jīng)過(guò)小波包分解的波形圖，重建后的EEG波形圖如圖5所示，各個(gè)節(jié)點(diǎn)小波包能量占比如圖6所示.

圖3 四層小波包分解的小波包樹(shù)

圖4 EEG信號(hào)的第四層小波包分解

圖5 第四層小波包分解的重建

圖6 第四層小波包能量占比

1.3 分類和驗(yàn)證

本文測(cè)試了所提算法從二維情感分類任務(wù)(高喚醒度/效價(jià)和低喚醒度/效價(jià))的腦電數(shù)據(jù)集中提取特征的適用性.

Bagging Tree(BT)的性能依賴于基分類器的穩(wěn)定性，通過(guò)降低基分類器的方差能夠減小泛化誤差.線性判別分析(Linear Discriminative Analysis,LDA)的核心思想是把高維的樣本投射到低維上，使同類的樣本聚集，不同類的樣本遠(yuǎn)離分散.貝葉斯線性判別分析(Bayesian Linear Discriminative Analysis,BLDA)計(jì)算每個(gè)樣本的后驗(yàn)概率和判錯(cuò)率，用最大后驗(yàn)概率劃分樣本的分類使期望損失最小化.支持向量機(jī)(Support Vector Machine,SVM)的最終決策函數(shù)由少數(shù)的支持向量確定，其計(jì)算的復(fù)雜性取決于支持向量的數(shù)目，而非樣本空間的維數(shù)，避免了“維數(shù)災(zāi)難”.

本文使用簡(jiǎn)單分類算法中性能最好的四種分類算法(BT、LDA、BLDA和SVM等)進(jìn)行EEG數(shù)據(jù)的二分類.根據(jù)采樣頻率將EEG數(shù)據(jù)分成五段，采用其中四段的EEG數(shù)據(jù)用于訓(xùn)練分類模型和訓(xùn)練模型，使用余留下的EEG數(shù)據(jù)對(duì)訓(xùn)練模型進(jìn)行測(cè)試.通過(guò)該方法，共得到5組交叉驗(yàn)證集.實(shí)驗(yàn)結(jié)果使用分類精度作為評(píng)判標(biāo)準(zhǔn)，分類精度是正確分類的樣本數(shù)除以分類的總樣本數(shù).分類精度越高說(shuō)明所用的特征提取方法能夠提取出與EEG信號(hào)情感相關(guān)的判別性特征.

2 結(jié)果與討論

選用Deap數(shù)據(jù)集中22個(gè)受試者的5段EEG數(shù)據(jù)進(jìn)行預(yù)處理.再進(jìn)行DSA-CSP迭代，首先使用DSA算法，來(lái)最小化每個(gè)對(duì)象之間EEG的不一致性和非平穩(wěn)性，然后將DSA的輸出作為CSP的輸入，以最大化兩個(gè)類別之間的差異.然后將每個(gè)CSP變換的輸出作為下一輪DSA變換的輸入，進(jìn)行多次迭代，再提取功率譜密度和小波包能量的進(jìn)行二分類，經(jīng)過(guò)1～5次迭代的最終分類精度如表1所示.

表1 DSA-CSP迭代算法結(jié)合功率譜密度和小波包能量特征的分類精度

由表1可知，當(dāng)?shù)螖?shù)為1時(shí)，DSA-CSP算法迭代處理后產(chǎn)生的EEG情感分類精度最高，其中最優(yōu)分類器精度達(dá)到0.703 4，高于其他迭代次數(shù)的分類結(jié)果.分類精度沒(méi)有隨著迭代次數(shù)增加而提高，可能是在使用CSP算法進(jìn)行類間差異最大化空間映射時(shí)，削減了某些日間差異較小的判別性特征.因此，迭代次數(shù)增加并非能增加處理后的分類精度.

主成分分析(Principal Component Analysis,PCA)算法將原始EEG數(shù)據(jù)通過(guò)線性變換轉(zhuǎn)化為每個(gè)維度上的一組線性無(wú)關(guān)向量，提取數(shù)據(jù)的主要特征.特征提取時(shí)使用PCA、DSA-CSP迭代&小波包能量、DSA-CSP迭代&功率譜密度、DSA-CSP迭代&功率譜密度&小波包能量的分類精度如表2所示.

表2 4種特征提取算法的分類精度

實(shí)驗(yàn)結(jié)果顯示，DSA-CSP迭代算法結(jié)合功率譜密度和小波包能量特征的分類精度，在1次迭代得到最佳BLDA分類精度為0.703 4，這一結(jié)果比其他多次迭代后的分類精度更高，同時(shí)也比PCA算法的最好分類精度0.552 0高0.151 4；相比于DSA-CSP迭代&小波包能量，在1次迭代得到最佳分類精度為0.600 0高0.103 4；相比于DSA-CSP迭代&功率譜密度，在1次迭代得到的最佳分類精度0.607 6高0.095 8.結(jié)果表明通過(guò)DSA-CSP迭代算法結(jié)合功率譜密度和小波包能量特征，能夠得到較好的分類精度，說(shuō)明該方法能夠提取出與EEG信號(hào)情感相關(guān)的判別性特征.由于不同受試者之間EEG數(shù)據(jù)的差異性和非平穩(wěn)性，故而容易導(dǎo)致每個(gè)人的EEG信號(hào)提取出的情感特征之間有較大的差異和波動(dòng)，從而致使分類精度的下降.而本文所用方法能夠提取出與EEG信號(hào)情感相關(guān)的判別性特征，有較好的分類精度，所提取的EEG特征與情感相關(guān)性越大分類精度越高，本文所用方法從某種程度上縮小了不同受試者之間EEG數(shù)據(jù)的差異性和非平穩(wěn)性.

3 結(jié)論

本文提出了一種基于DSA-CSP迭代算法的腦電情感識(shí)別方法，運(yùn)用該方法處理22個(gè)受試者觀看20部音視頻片段的EEG數(shù)據(jù)，提取功率譜能量和小波包能量，然后使用四種經(jīng)典分類算法進(jìn)行分類.結(jié)果顯示：(1)DSA-CSP迭代算法結(jié)合功率譜密度和小波包能量的特征提取方法，能提取出與EEG信號(hào)情感相關(guān)的判別性特征，從而縮小不同受試者之間EEG數(shù)據(jù)的差異；(2)該方法緩解了EEG的間歇性非平穩(wěn)特性，并提高了分類的精度.雖然本文所用方法一定程度上提高了EEG信號(hào)的分類性能，但在這方面還有待深入研究.接下來(lái)的工作進(jìn)一步將DSA和CSP統(tǒng)一到一個(gè)框架中進(jìn)行優(yōu)化，進(jìn)一步提高EEG情感分類性能.