基于腦電信號的三種情緒區(qū)別分析*

曹宇杰，高亞罕，郭國棟

(上海健康醫(yī)學(xué)院，上海 201318)

引言

人類的情緒是個(gè)人的行為、思維方式以及對客觀事物的感覺總體整合后的內(nèi)心表現(xiàn)。情緒具有連續(xù)的特征，會影響之后的行為和心理動機(jī)，在人類的主觀和外部環(huán)境的客觀發(fā)展中發(fā)揮重要作用[1-2]。

人在正常狀態(tài)下保持的平穩(wěn)情緒是最平常的一種狀態(tài)，在受到外部的良性刺激時(shí)，平常的情緒會得到加強(qiáng)，于是就表現(xiàn)出喜悅這樣的正性的情緒[3]。有關(guān)研究表明，正性的情緒在健康人群和患有腎功能衰竭患者的死亡率呈現(xiàn)負(fù)相關(guān)[4]。負(fù)性的情緒在受到惡性的刺激或者樂極生悲時(shí)產(chǎn)生，若不能及時(shí)有效地調(diào)節(jié)控制，長時(shí)間沉溺其中會對身心造成持續(xù)性的負(fù)面影響，是抑郁癥的主要因素之一[5]。

情緒研究一直是研究者們關(guān)注的重點(diǎn)。近年來隨著人工智能技術(shù)的不斷發(fā)展，以計(jì)算機(jī)為手段的情緒識別研究正成為情緒研究的新興領(lǐng)域[6]。生理信號是情緒識別的主要依據(jù)，其中，基于腦電信號的研究憑借較高的識別率成為情緒識別的重點(diǎn)[7]。Duan等[8]以腦電頻譜能量強(qiáng)度為基礎(chǔ)對情緒做正性、負(fù)性的二分類，分類準(zhǔn)確率達(dá)到了76.56%。Krisnandhika等[9]使用小波能量相對利用率為特征，情感識別的準(zhǔn)確率達(dá)到了76%。我國為加快腦科學(xué)研究，“十三五”規(guī)劃綱要將“腦科學(xué)與類腦研究”列為“科技創(chuàng)新2030—重大項(xiàng)目”[10]。

本研究選用14個(gè)通道的腦電設(shè)備采集喜悅、憤怒和悲傷三種情緒的腦電信號，嘗試以自適應(yīng)濾波對采集的腦電信號進(jìn)行預(yù)處理，從功率譜和腦電地形圖對三種情緒的特征進(jìn)行分析。實(shí)驗(yàn)結(jié)果較好地反映了喜悅、憤怒和悲傷三種情緒在腦電上的區(qū)別與聯(lián)系。

1 實(shí)驗(yàn)設(shè)計(jì)

采用美國的神經(jīng)科技公司Emotiv Systems推出的神經(jīng)頭盔(neuroheadset)來記錄受試者情緒變化的腦電信號，通過計(jì)算機(jī)對采集到的原始數(shù)據(jù)進(jìn)行處理，實(shí)驗(yàn)流程見圖1。

圖1 實(shí)驗(yàn)系統(tǒng)流程圖

1.1 實(shí)驗(yàn)準(zhǔn)備

在高校公開招募年齡在18～22歲，身心健康的在校學(xué)生16名，男女各占一半，平均年齡為(20±1.3)歲。實(shí)驗(yàn)開始前，告知受試者實(shí)驗(yàn)?zāi)康?、流程及注意事?xiàng)，確保受試者填寫的問卷量表屬實(shí)。

設(shè)備采樣頻率為128 Hz，按國際統(tǒng)一的標(biāo)準(zhǔn)電極放置法選擇AF3、F7、F3、FC5、T7、P7、O1、O2、P8、T8、FC6、F4、F8、AF4共14個(gè)電極位置，其中大多位于大腦的左右前區(qū)，單極導(dǎo)聯(lián)。電極放置見圖2。

圖2 電極通道定位圖

1.2 實(shí)驗(yàn)過程

在一個(gè)安靜、溫度且亮度適宜的房間內(nèi)為受試者佩戴腦電信號采集設(shè)備。實(shí)驗(yàn)共分為3小節(jié)，每節(jié)為受試者播放一段誘發(fā)特定情緒的視頻，每段視頻持續(xù)時(shí)間約180 s，播放順序?yàn)橄矏偂嵟约翱謶?。在每小?jié)實(shí)驗(yàn)結(jié)束時(shí)，受試者需填寫一張情緒評測問卷，評價(jià)當(dāng)前的情緒狀態(tài)，問卷內(nèi)容包括當(dāng)前情緒強(qiáng)度、愉悅度、優(yōu)勢度和喚起度。之后播放一段約60 s的平靜視頻，待受試者情緒平復(fù)后進(jìn)行下一小節(jié)。采集完成后，為受試者取下腦電采集設(shè)備，清洗頭部并整理實(shí)驗(yàn)采集的腦電數(shù)據(jù)，準(zhǔn)備下一場實(shí)驗(yàn)。實(shí)驗(yàn)過程見圖3。

圖3 每小節(jié)流程

2 原始數(shù)據(jù)處理

2.1 自適應(yīng)濾波(AF)

本研究以自適應(yīng)濾波提取目標(biāo)頻率為1～30 Hz的腦電信號。自適應(yīng)濾波器由參數(shù)可調(diào)的數(shù)字濾波器和自適應(yīng)算法兩部分組成[11]。輸入信號x(n)通過參數(shù)可調(diào)數(shù)字濾波器后產(chǎn)生輸出信號y(n)，將其與期望信號d(n)進(jìn)行比較，形成誤差信號e(n)，利用前一時(shí)刻得到的濾波器參數(shù)的結(jié)果，自動調(diào)節(jié)當(dāng)前時(shí)刻的濾波器參數(shù)，以適應(yīng)信號和噪聲未知的或隨時(shí)間變化的統(tǒng)計(jì)特性，最終使e(n)的均方值最小，見圖4。

圖4 自適應(yīng)濾波示意圖

2.2 獨(dú)立分量分析

濾波過后的腦電信號仍存在著眼電、肌電和工頻等干擾信號，為了去除這些信號，本研究采取了獨(dú)立分量分析(independent component analysis，ICA)來消除噪聲[12]。獨(dú)立分量分析又稱盲源分析，是伴隨著信號盲源問題發(fā)展起來的一種新的信號處理技術(shù)[13]。所謂盲源指的是源信號s除了為獨(dú)立統(tǒng)計(jì)之外均未知。假設(shè)在采集到的信號x與源信號s之間存在相應(yīng)的線性映射關(guān)系W，其迭代公式為：

(1)

g(u)=ue(-u2/2)

(2)

2.3 特征分析

經(jīng)過預(yù)處理完成的腦電數(shù)據(jù)剔除了眼電，肌電和工頻等干擾。將此時(shí)的腦電信號進(jìn)行快速傅里葉變換即可獲得腦電信號的功率譜密度。它表示了信號功率隨頻率變化的情況，即信號功率與頻率的變化關(guān)系[14]。因此，腦電功率譜可以從能量的角度對δ波、θ波、α波和β波進(jìn)行比較從而得出不同情緒下各波段的主次要程度。

本實(shí)驗(yàn)采用的腦電采集設(shè)備實(shí)際采樣頻率為128 Hz，因此在數(shù)據(jù)的處理上使用了128點(diǎn)的快速傅里葉變換，可以得到X(k),k為對應(yīng)采樣頻率的128個(gè)點(diǎn)，n為采樣點(diǎn)數(shù)。

(3)

2.4 情緒波段指數(shù)

腦電信號分為四個(gè)不同的基礎(chǔ)波段，即δ波(1～3 Hz)、θ波(4～7 Hz)、α波(8～13 Hz)和β波(14～30 Hz)[15]。研究表明，δ波通常在成年人疲勞或深度睡眠狀態(tài)表現(xiàn)明顯；θ波通常在成人精神放松或淺度睡眠狀態(tài)表現(xiàn)明顯[16]；α波通常在成人安靜、清醒或養(yǎng)神狀態(tài)表現(xiàn)明顯；β波通常在成人情緒激動或緊張狀態(tài)表現(xiàn)明顯[17]。因此，隨著人情緒的改變這四個(gè)波段的能量也會產(chǎn)生相應(yīng)的變化。而從腦部區(qū)域能量強(qiáng)度變化上而言，大腦的左前區(qū)與快樂、憤怒這些趨近性的情緒有關(guān)，大腦右前區(qū)則與悲傷、恐懼這些回避式的情緒有關(guān)[18]。情緒波段指數(shù)以平靜情緒下的各波段能量變動和腦電地形圖為基準(zhǔn)，將三種情緒對應(yīng)的波段能量與之對比。

以δ波為例情緒波段指數(shù)計(jì)算公式如下

(4)

式中，Gδ為對應(yīng)δ波段能量指數(shù)，Eδ為δ波段總能量，EPδ為平靜情緒下δ波段的平均能量。

3 結(jié)果與討論

3.1 受試者對情感視頻的評分

情緒評測問卷包含愉悅度、喚起度、優(yōu)勢度和情緒強(qiáng)度共四個(gè)維度，每個(gè)維度按1～9分打分。愉悅度、喚起度和優(yōu)勢度均以5分為中性分界點(diǎn)，高于5分的是正性如愉悅、情緒喚起強(qiáng)烈和感官上處于優(yōu)勢，低于5分的是負(fù)性如不愉悅、無感覺和感官上被主導(dǎo)。而情緒強(qiáng)度則是分為三個(gè)等級分別是輕度(1～3)、中度(4～6)和重度(7～9)。

以受試者實(shí)驗(yàn)過程中填寫的情緒自評問卷為基礎(chǔ)，計(jì)算出喜悅、憤怒和恐懼三種情緒的達(dá)成率。情緒的達(dá)成率是指情緒強(qiáng)度達(dá)到中度及以上的程度比率。本研究所用材料誘發(fā)的三種情緒達(dá)成率均在80%以上，因此，可認(rèn)為本研究對目標(biāo)情緒達(dá)成具有有效準(zhǔn)確的誘發(fā)。

受試者實(shí)驗(yàn)過程中記錄的情緒自評問卷和情緒達(dá)成率詳見表1。

表1 情緒自評問卷和情緒達(dá)成率

由表1可知，情緒的愉悅度與視頻對應(yīng)誘發(fā)的正負(fù)情緒有關(guān)，正性情緒愉悅度高，反之愉悅度低；情緒的喚起度與情緒強(qiáng)度正相關(guān)，喚起度越高，受試者自身興奮程度越高，對應(yīng)的情緒強(qiáng)度也越強(qiáng)；情緒的優(yōu)勢度與情緒強(qiáng)度呈負(fù)相關(guān)，優(yōu)勢度越高，受試者對自身情緒的掌握度越高，誘發(fā)情緒的強(qiáng)度越低。

3.2 預(yù)處理后的腦電信號功率譜

三種情緒的功率譜選取對應(yīng)每段視頻最后30 s的腦電數(shù)據(jù)，并以3 s為基礎(chǔ)，分為10段，平靜情緒的功率譜選取三種情緒前播放平靜情緒視頻的后12 s，同樣以3 s為基礎(chǔ)，分為4段。對分段出的腦電數(shù)據(jù)進(jìn)行驗(yàn)證，得出14個(gè)電極的部分腦電功率譜，見圖5。

圖5 腦電功率譜

3.3 腦電頻譜地形圖比較

據(jù)腦電功率譜繪制腦電地形圖，見圖6。由圖6可知，在三種情緒的腦電地形圖互相對比下，喜悅時(shí)大腦左前區(qū)θ波和α波功率較高；憤怒時(shí)大腦左前區(qū)β波功率較高；恐懼時(shí)大腦右前區(qū)功率較高。

圖6 三種情緒θ、α和β波段腦電地形圖對比

3.4 情緒波段指數(shù)對比

得到腦電功率譜后，按照式(2)對三種不同情緒下的情緒波段指數(shù)進(jìn)行計(jì)算。采用單因素ANOVA檢驗(yàn)分析比較喜悅、憤怒和恐懼三種情緒在大腦左右前區(qū)的能量差異，結(jié)果顯示有統(tǒng)計(jì)學(xué)意義時(shí)，再根據(jù)方差齊性用LSD-T或塔姆黑尼T2檢驗(yàn)方法進(jìn)一步分析，結(jié)果見表2。

由表2可知，在左前區(qū)，喜悅情緒θ頻帶的能量顯著高于恐懼情緒；喜悅情緒α頻帶的能量顯著高于憤怒和恐懼情緒；憤怒情緒β頻帶的能量顯著差異于喜悅和恐懼情緒。在右前區(qū)，θ頻帶三種情緒無明顯差異；恐懼情緒在α和β頻帶的能量顯著高于喜悅和憤怒情緒。

表2 16名學(xué)生在不同情緒下的情緒波段指數(shù)

3.5 討論

目前關(guān)于額葉腦電功率譜技術(shù)的研究主要集中在額葉的中線地帶或僅對一個(gè)波段進(jìn)行分析[19]。詹啟生等[20]發(fā)現(xiàn)在平靜狀態(tài)下，有自殺方式的大學(xué)生額葉中線的過穩(wěn)態(tài)值顯著低于無自殺方式的大學(xué)生。Cavanagh等[21]發(fā)現(xiàn)焦慮程度高的受試者在面對懲罰、沖突和錯(cuò)誤時(shí)，額葉中線θ波功率顯著增強(qiáng)。鄭樊慧等[22]發(fā)現(xiàn)在青少年手槍運(yùn)動員訓(xùn)練時(shí)，在擊發(fā)前3 s，運(yùn)動員左顳區(qū)的α波功率值顯著地高于右顳區(qū)。而本研究在傳統(tǒng)功率譜研究基礎(chǔ)上進(jìn)行延伸，在受試者頭部對稱選用14個(gè)電極，并從額葉的左右分別綜合θ波、α波和β波進(jìn)行分析，進(jìn)一步啟示腦電功率譜是情緒分類有效特征的同時(shí)，結(jié)合地形圖對情緒區(qū)分，提高了效率。這對于改進(jìn)腦電信息采集方式、推廣應(yīng)用場景和提高情緒識別準(zhǔn)確率均有十分重要的意義。

雖然本研究能夠有效提取出受試者的情緒特征，并對不同的情緒進(jìn)行區(qū)分，但本研究僅以身心健康的大學(xué)生為基準(zhǔn)，而精神障礙者對情緒的感知可能與健康人不同[23]。為了能更好地將研究成果轉(zhuǎn)化為實(shí)際應(yīng)用，未來應(yīng)基于精神障礙患者做對照研究，比較出健康人群與精神障礙人群的腦電差異。

4 結(jié)論

本研究通過情緒視頻有效誘發(fā)了受試者喜悅、憤怒和恐懼三種情緒的腦電信號，同時(shí)記錄了對應(yīng)的情緒評測問卷，利用自適應(yīng)濾波，功率譜分析等技術(shù)對原始腦電數(shù)據(jù)進(jìn)行處理分析，比較了三種不同情緒下測評問卷、腦電特征的功率譜、地形圖和情緒波段指數(shù)等差異。

情緒測評問卷的結(jié)果很好地驗(yàn)證了愉悅度、喚起度、優(yōu)勢度，情緒強(qiáng)度與情緒正負(fù)性之間的關(guān)系[24]。

喜悅、憤怒和恐懼三種情緒的θ波、α波和β波在腦前區(qū)的功率強(qiáng)度具有地形分布上的顯著差異。喜悅情緒下θ波和α波在大腦左前區(qū)提升明顯；憤怒情緒下β波在大腦左前區(qū)的提升明顯；恐懼情緒下β波在大腦右前區(qū)的提升明顯。波段能量的起伏與腦電波段的理論意義相符[25]。因此，大腦前區(qū)θ波、α波和β波的功率譜是情緒分類的有效特征，本研究將在精神醫(yī)學(xué)等領(lǐng)域具有良好的啟示意義。