基于腦網(wǎng)絡的多特征融合情感識別方法

房春英, 張馨桐, 王 璞

(黑龍江科技大學 計算機與信息工程學院, 哈爾濱 150022)

0 引 言

情感識別的方式有很多,多是通過研究面部表情、手勢、語音語調等生理特征比較和分析不同人群的情感。個體可以通過不同的情緒類型(悲傷、恐懼、平靜、快樂等)有效地向他人傳遞不同的信息。與人類主觀意識容易控制的表情、態(tài)度、聲音等外在表現(xiàn)相比,人類自主神經(jīng)系統(tǒng)和內(nèi)分泌系統(tǒng)直接傳遞的生理信號不易受意識的影響,因此,它可以更準確、更直接地表達人們的情感狀態(tài)[1]。腦電信號(EEG)是反映皮層神經(jīng)元潛在活動的生理信號,能較好地反映中樞神經(jīng)系統(tǒng)在不同領域的活動,如駕駛疲勞檢測[2]、運動想象任務[3]。EEG與人體的身心活動密切相關,且具有良好的時間分辨率以及對認知和心理狀態(tài)的敏感性。因此,可以用EEG來判斷人類的情感狀態(tài)。

現(xiàn)有研究表明,在情感識別領域,基于EEG進行研究能夠有效對不同的情感狀態(tài)進行分類。Gupta[4]在DEAP情感數(shù)據(jù)集上構建了幅值平方相干功能腦網(wǎng)絡,提取了平均路徑長度、全局效率、局部效率等特征,在兩個維度上分類準確率均達 67%以上。Hosseini[5]提取近似熵特征,并利用支持向量機進行情感識別,識別正確率達到73.25%。Murugappan[6]采用線性分類器來識別興奮、驚恐、厭煩等情感,在研究中對比不同頻段以及不同電極點個數(shù)對情感識別率的影響,研究發(fā)現(xiàn)使用熵特征的識別正確率能夠達到83.04%,比時域統(tǒng)計特征表現(xiàn)更好。李立等[7]提取EEG的gamma波段信號,并利用SVM進行正負情緒識別,得到識別率為93.5%。

筆者通過基于情感腦電數(shù)據(jù)集(SEED),利用FastICA算法進行數(shù)據(jù)預處理,基于皮爾遜相關構建腦網(wǎng)絡并提取網(wǎng)絡模塊度特征,以及基于腦電信號提取差分熵(DE)、功率譜密度(PSD)和樣本熵(SE)三種單一特征。運用支持向量機將網(wǎng)絡模塊度特征和三種單一特征分別進行情感識別,將模塊度特征分別與三種單一特征融合后進行情感識別,比較不同特征的分類準確率。

1 特征提取

文中對采集的原始腦電信號進行預處理來獲得較純凈的腦電信號,預處理的主要步驟包括去偽跡、去噪聲和FastICA。通過預處理來完成數(shù)據(jù)的初步提取,再根據(jù)實驗內(nèi)容提取并劃分相應的實驗數(shù)據(jù),分別從腦網(wǎng)絡構建和信號處理兩個方面提取腦電特征。

1.1 數(shù)據(jù)集

文中采用上海交通大學仿腦計算與機器智能研究中心(BCMI)提供的情感腦電數(shù)據(jù)集(SEED)作為情感識別的訓練和測試數(shù)據(jù)。共有15名中國受試者(男性7名,女性8名;平均年齡:23.27,標準差:2.37)參加了情感刺激實驗,從材料庫(6部電影)中選擇了15個中文電影剪輯(積極,中性和消極情緒)作為實驗中使用的刺激。每個實驗有15個trials,每個trial都會播放一個4 min左右的電影片段。每個受試者需要做三次相同的實驗,以保證提取腦電數(shù)據(jù)的真實性和普遍性。原始腦電數(shù)據(jù)采用ESI NeuroScan系統(tǒng),根據(jù)國際10-20系統(tǒng),配有62個電極,采樣頻率為1 kHz。

1.2 數(shù)據(jù)預處理

EEG數(shù)據(jù)的預處理一般通過EEGLAB(基于MATLAB的EEG處理工具箱)來實現(xiàn),為了降低計算復雜度,在預處理階段,使用EEGLAB將原始數(shù)據(jù)降采樣到200 Hz。為了更好地提取特征數(shù)據(jù),需進行數(shù)據(jù)濾波,應用0～75 Hz的帶通濾波器。

受到各種偽影的顯著影響,常采用獨立成分分析(ICA)方法去除噪聲。ICA算法原本就是針對盲源分離問題而提出的,利用了源信號的獨立性和非高斯性。ICA算法從提出至今就處于不斷改進中,文中采用其改進算法FastICA預處理數(shù)據(jù)。FastlCA算法是一種最小化估計分量互信息的神經(jīng)網(wǎng)絡方法,采用了批處理的方式,即在每一步迭代中有大量的樣本數(shù)據(jù)參與運算,使收斂更穩(wěn)健。

1.3 腦網(wǎng)絡的特征提取

選擇腦網(wǎng)絡的節(jié)點,應盡可能多地考慮大腦的每個區(qū)域,確保節(jié)點的外部獨立性和內(nèi)部一致性。在確定腦網(wǎng)絡的節(jié)點時,應確保所確定節(jié)點的內(nèi)部信息盡可能完整,外部信息相互獨立。在基于EEG構建腦網(wǎng)絡時,可選擇神經(jīng)元、腦區(qū)、頭皮以及其他腦部區(qū)域作為節(jié)點,考慮到頭皮電極位置固定、方便測量和計算,因此選擇頭皮電極為節(jié)點是目前應用最廣泛的方法。文中采用的節(jié)點選擇方法是將按國際標準10-20系統(tǒng)電極擺放位置的頭皮電極作為節(jié)點。邊指的是大腦區(qū)域間的功能連接,主要根據(jù)是否需要加權操作以及屬于有向網(wǎng)絡或者無向網(wǎng)絡進行綜合定義,通過某種指標度量不同節(jié)點之間的時間序列相關性來建立連接,然后選擇合適的方法進行腦功能網(wǎng)絡的構建。

功能性腦網(wǎng)絡是依據(jù)時間序列關系建立的無向網(wǎng)絡,皮爾遜相關系數(shù)是衡量時間序列之間無向關系的經(jīng)典方法之一。電極X與Y的皮爾遜相關系數(shù)為

(1)

式中:T——時間窗口大小;

Xs[t]——時間節(jié)點s處,電極X的時間窗口中第t個節(jié)點的EEG信號;

研究基于皮爾遜相關構建腦網(wǎng)絡,提取網(wǎng)絡模塊度特征。Newman在文獻[8]中給出了模塊度Q的定義,網(wǎng)絡中節(jié)點v的邊數(shù)為m,模塊度的公式為

(2)

式中:kv——節(jié)點的度;

A——網(wǎng)絡的鄰接矩陣,Avω=0表示節(jié)點v和ω之間沒有邊,Avω=1表示有邊;

δνω——量化表示v和ω是否在同一社區(qū),如果是則等于1,不是則等于0。

1.4 腦電信號的特征提取

特征提取是指對腦電信號進行變換,找出與任務相關的代表性特征的方法,是情感識別研究中至關重要的一個環(huán)節(jié)[9]。文中分別提取功率譜密度(PSD)、差分熵(DE)和樣本熵(SE)三種腦電信號特征。

功率譜密度是頻域分析中常用的方法之一,它反映了單位頻帶內(nèi)信號的功率信息[10],表示輸入信號的功率隨頻率的變化情況,即信號的功率在頻域內(nèi)的分布特征。根據(jù)Parseval定理有:

(3)

其功率譜密度為

(4)

式中:s(t)——長度為T的能量;

S(f)——傅里葉變換。

差分熵常用來統(tǒng)計連續(xù)信號包含的信息總量,對連續(xù)性隨機信號的概率分布中不確定性總量進行量化[11]。相比于功率譜密度,差分熵可以有效地減少由腦電信號在不同頻域的能量差引起的計算誤差。高斯分布的差分熵定義為

(5)

樣本熵(SampEn)是以近似熵作為計算基礎、用來衡量時間信號序列復雜度的特征參數(shù)。樣本熵定義為數(shù)據(jù)向量在由m維增加至m+1維時繼續(xù)保持其相似性的條件概率[12],樣本熵的計算過程如下。

首先將一組以等時間間隔采樣、長度為N的時間序列X=x(1),x(2),…,x(n)重構為m維矢量組合,給定閾值r(r>0),即

(6)

式中:d——X(i)和X(j)之間的距離,由對應元素計算得到的最大差決定;

Bm(r)——符合條件d[X(i),X(j)

理論上該初始序列的樣本熵計算公式為

(7)

由于實際情況中,N的值不可能趨近于無窮大,應為一個有限的常數(shù)值,則樣本熵的估計值計算公式為

(8)

2 實驗結果

實驗計算功率譜密度(PSD)、差分熵(DE)和樣本熵(SE)特征在以下五種頻段下進行:delta (1～3 Hz), theta (4～7 Hz), alpha (8～13 Hz), beta (14～30 Hz) 和gamma (31～50 Hz)。實驗選擇10位受試者,每位受試者觀看積極電影片段和消極電影片段各5個,共計100個樣本。為了提高識別的準確度,按照2 s一次切片,將樣本擴展為9 000個,其中選取80×90個作為訓練集,20×90個作為測試集。分別將10位受試者三次采集的數(shù)據(jù)都提取相關的特征進行分類并疊加平均后,可以得到三種特征在各頻段下的平均分類準確率η,如表1所示。

表1 三種特征在各頻段下平均分類準確率Table 1 Average classification accuracy of three features in each frequency band

從表1可以看出,PSD、DE、SE三種特征在Gamma頻段下的平均分類準確率均高于其它四個頻段,分別為72.06%、80.47%、83.28%。這表明Gamma頻段在腦電情感分類中效果最好,其中,DE和SE特征比PSD特征的分類準確率高。

為了進一步對比基于網(wǎng)絡模塊度與三種傳統(tǒng)特征的情感識別準確率,先基于10位受試者三次采集的數(shù)據(jù)提取網(wǎng)絡模塊度特征進行情感分類,得到網(wǎng)絡模塊度特征Q的平均分類準確率,如表2所示。

表2 網(wǎng)絡模塊度特征的平均分類準確率Table 2 Average classification accuracy of network modular feature

從表2可見,模塊度特征的平均分類準確率高于PSD、DE、SE特征的準確率,其中,三次實驗的平均分類準確率分別為89.67%、90.82%和89.93%,結果表明,網(wǎng)絡模塊度這一特征在情感識別方面有良好的效果。

將網(wǎng)絡模塊度分別與功率譜密度、差分熵和樣本熵特征組成融合特征,并進行情感分類,得到的融合特征的平均分類準確率,如表3所示。

表3 融合特征的平均分類準確率Table 3 Average classification accuracy of fused features

從表3可以看出,相比于單一的PSD、DE、SE特征,融合網(wǎng)絡模塊度特征后的分類準確率在各頻段均有提高。其中,Gamma頻段的分類準確率仍為最高,樣本熵融合特征最高可達90.92%,融合樣本熵特征后的分類準確率比單一特征提高了7.64%。四種特征全部融合后的分類準確率最高可達89.28%。結果表明,腦網(wǎng)絡模塊度在情感識別方面具有較高的準確性。

為了能更好更有針對性地分析上述幾種特征的情感識別效果,將文中的特征與現(xiàn)有的方法進行對比,數(shù)據(jù)均選取自基于SEED數(shù)據(jù)集進行SVM分類的研究。不同研究方法提取的腦電特征、情感識別所采用的分類器及其分類的準確率,見表4。

表4 不同方法的情感識別準確率 Table 4 Accuracy of emotion recognition by different methods

由表4可知,網(wǎng)絡模塊度作為情感識別的特征具有良好的識別效果。對比特征和算法包括:Zheng等[13]進行基于深度神經(jīng)網(wǎng)絡的腦電情感識別臨界頻帶和通道研究,分類準確率為86.65%。Lu等[14]提出基于動態(tài)熵的模式學習從個體的腦電信號中識別情緒的方法,分類準確率為85.11%。Vipin等[15]使用 EEG 信號的靈活解析小波變換的跨主體情感識別方法,分類準確率為83.33%。本研究提取網(wǎng)絡模塊度特征進行情感分類平均準確率為90.14%,融合網(wǎng)絡模塊度特征和樣本熵特征后在Gamma頻段的平均分類準確率最高可達90.92%,識別效果更優(yōu)。

3 結 論

基于特征提取研究了腦電的情感識別:一方面,從腦電信號處理角度提取功率譜密度、差分熵、樣本熵特征,分析比較不同頻段下情感的差異性;另一方面,構建腦功能網(wǎng)絡,將網(wǎng)絡模塊度作為情感腦電特征,在SEED數(shù)據(jù)集上利用SVM分類不同特征,并將網(wǎng)絡模塊度特征分別與功率譜密度、差分熵、樣本熵特征融合,得到融合特征分類準確率較之前的單一特征有所提高。其中,最高的Gamma頻段的分類準確率最高可達到90.92%,比單一特征提高了7.64%,更好地驗證了網(wǎng)絡模塊度特征的有效性。