視聽情緒誘發(fā)的腦電信號(hào)同步性分析

張　琪， 喬曉艷

(山西大學(xué) 物理電子工程學(xué)院， 山西 太原 030006)

?

視聽情緒誘發(fā)的腦電信號(hào)同步性分析

張琪， 喬曉艷

(山西大學(xué) 物理電子工程學(xué)院， 山西 太原 030006)

摘要:為探究視聽感知愉快、 憤怒、 悲傷、 驚訝、 厭惡、 恐懼6種情緒時(shí)， 不同腦區(qū)之間的腦電同步現(xiàn)象， 本文設(shè)計(jì)了視聽情緒誘發(fā)實(shí)驗(yàn)范式， 利用Neuroscan 40導(dǎo)聯(lián)腦電放大器采集腦電信號(hào)， 采用AR模型以及相干平均去除基線漂移和自發(fā)腦電干擾， 小波變換進(jìn)行腦電特征提取， Hilbert變換獲得腦電特征信號(hào)的瞬時(shí)相位， 使用相位同步指數(shù)分析腦電活動(dòng)的同步性. 實(shí)驗(yàn)結(jié)果表明： Hilbert變換得到的相位同步指數(shù)能夠較好地反映腦電的同步活動(dòng)， 為“大腦半球效價(jià)假說”提供了有效的依據(jù). 此外， 在視聽感知愉快情緒時(shí)， 大腦皮層視覺區(qū)域占據(jù)主導(dǎo)作用， 而感知悲傷情緒時(shí)， 大腦皮層聽覺區(qū)域占據(jù)主導(dǎo)作用. 該研究可以被應(yīng)用于大腦情緒認(rèn)知和仿生機(jī)器人中.

關(guān)鍵詞:視聽情緒； 腦電信號(hào)； 小波變換； Hilbert變換； 相位同步指數(shù)

0引言

情緒是綜合了人腦對(duì)內(nèi)部或外部刺激的感覺， 并伴隨著認(rèn)知和意識(shí)的一種心理活動(dòng)， 是由語言、 生理、 行為和神經(jīng)機(jī)制互相協(xié)調(diào)的一組反應(yīng). 對(duì)情緒的研究已經(jīng)得到科學(xué)家廣泛關(guān)注， 研究?jī)?nèi)容主要包括面部表情、 語音、 動(dòng)作以及生理信號(hào). 國(guó)外對(duì)基于生理信號(hào)的情感識(shí)別研究已有很多年， 而國(guó)內(nèi)的相關(guān)研究在近些年來才逐漸增多. 美國(guó)著名心理學(xué)家Ekman等通過大量實(shí)驗(yàn)研究發(fā)現(xiàn)， 對(duì)于某些情緒其生理信號(hào)是特定的[1,2]； Picard教授所帶領(lǐng)的MIT媒體實(shí)驗(yàn)小組以圖片誘發(fā)憤怒、 厭惡、 悲傷等7種情感， 并使用從生理信號(hào)中提取出的特征進(jìn)行了情感識(shí)別[3]. 由于腦電(EEG)信號(hào)能夠快速、 切實(shí)地反映人的情緒活動(dòng)， 不能被輕易偽裝， 逐漸被廣泛應(yīng)用于情緒識(shí)別研究領(lǐng)域[4]. Tsang等通過音樂誘發(fā)情緒， 使用EEG進(jìn)行分析研究， 驗(yàn)證了“大腦半球效價(jià)假說”， 即積極情緒表現(xiàn)為左額葉活動(dòng)性高， 而消極情緒表現(xiàn)為右額葉活動(dòng)性高[5]. 賀玲姣等采用聲音樣本誘發(fā)情緒， 研究發(fā)現(xiàn)在愉悅聲刺激下， 左額葉ɑ波平均功率低于右額葉， 即左額葉活動(dòng)性高于右額葉， 而在不愉悅聲刺激下有相反的結(jié)論[6]. 目前， 對(duì)單一的圖片或聲音誘發(fā)情緒的研究已經(jīng)取得了一定進(jìn)展， 但是對(duì)于視聽同時(shí)誘發(fā)情緒的腦電同步性研究仍存在一些問題需要解決.

大腦的同步活動(dòng)是指在接受到感覺信號(hào)后， 大腦不同功能區(qū)域在實(shí)現(xiàn)信息整合時(shí)伴有的同步振蕩現(xiàn)象. 人在感知和識(shí)別物體時(shí)， 相關(guān)腦區(qū)會(huì)自動(dòng)發(fā)生同步化神經(jīng)活動(dòng)[7]. 隨著研究的深入， 同步現(xiàn)象越來越被認(rèn)為是大腦不同區(qū)域間交換信息的重要特征， 特別是在情緒識(shí)別中有著重要的作用. 本文設(shè)計(jì)了視聽情緒誘發(fā)腦電的實(shí)驗(yàn)范式. 通過比較和分析與情緒處理有關(guān)的腦電ɑ波段信號(hào)的相位同步指數(shù)， 闡明視聽情緒誘發(fā)腦電的同步活動(dòng)機(jī)制.

1視聽情緒誘發(fā)實(shí)驗(yàn)范式及腦電采集

情緒的誘發(fā)可以通過外部刺激和內(nèi)部響應(yīng)等方式實(shí)現(xiàn)， 目前人們普遍使用的方法是通過圖片、 音樂或視頻等外部刺激誘發(fā)被試的不同情緒. 本文選擇由美國(guó)著名心理學(xué)家保羅·艾克曼(Paul Ekman)編寫的Pictures of Facial Affect (POFA)中提供的能夠表現(xiàn)愉快、 憤怒、 悲傷、 驚訝、 厭惡、 恐懼6種情緒的圖片[8,9]作為視覺誘發(fā)源； 使用與情緒圖片對(duì)應(yīng)的6種聲音情緒音頻作為聽覺誘發(fā)源. 視覺和聽覺情緒誘發(fā)同步刺激并進(jìn)行記錄.

實(shí)驗(yàn)采用雙通道刺激模式進(jìn)行， 即視聽同步刺激模式. 實(shí)驗(yàn)分為兩種： 一種是空白組， 既不提供視覺也不提供聽覺刺激， 記錄被試者在平靜狀態(tài)下的腦電信號(hào)； 另一種是視聽情緒同步刺激， 記錄被試者受到視聽同步刺激后的誘發(fā)腦電信號(hào).

圖 1　實(shí)驗(yàn)范式流程圖Fig.1　The flow chart of the experimental paradigm

實(shí)驗(yàn)范式通過E-Prime軟件編程實(shí)現(xiàn). 視聽情緒同步刺激實(shí)驗(yàn)范式中每組實(shí)驗(yàn)提供6幅情緒圖片， 并配合與之對(duì)應(yīng)的6種情緒音頻， 組合隨機(jī)出現(xiàn). 實(shí)驗(yàn)設(shè)定一次視聽刺激時(shí)間為15 s， 首先出現(xiàn)5 s倒計(jì)時(shí)， 用來提示被試者整理情緒， 接下來出現(xiàn)2 s“+”， 用來讓被試注視屏幕， 然后出現(xiàn)情緒圖片及對(duì)應(yīng)聲音3 s， 接著再出現(xiàn)5 s白屏， 用來讓被試者放松心情， 之后再進(jìn)行下一次情緒誘發(fā). 一輪完整的實(shí)驗(yàn)需6種不同情緒各隨機(jī)出現(xiàn)一次， 共耗時(shí)90 s， 實(shí)驗(yàn)范式流程圖如圖 1 所示. 空白組實(shí)驗(yàn)是將情緒圖片換成普通白屏， 且不組合任何聲音， 其余與視聽情緒刺激實(shí)驗(yàn)范式相同. 出現(xiàn)情緒圖片時(shí)， 要求被試盡可能理解或體會(huì)圖片中的情緒， 不需要被試模仿或者醞釀相應(yīng)的情緒.

使用Neuroscan 40導(dǎo)聯(lián)腦電儀， 在Scan 4.5采集軟件平臺(tái)上進(jìn)行腦電信號(hào)采集實(shí)驗(yàn). 實(shí)驗(yàn)開始后， 腦電儀以1 kHz的采樣頻率對(duì)腦電信號(hào)進(jìn)行同步采集， 視聽誘發(fā)實(shí)驗(yàn)對(duì)所有導(dǎo)聯(lián)的腦電數(shù)據(jù)均進(jìn)行了記錄， 用于后續(xù)的腦電信號(hào)處理.

2算法理論分析

2.1小波變換

小波變換是一種時(shí)頻分析方法， 適于處理非平穩(wěn)的腦電信號(hào). 小波變換分析主要包括分解和重構(gòu)兩部分. 首先要對(duì)信號(hào)進(jìn)行多尺度的分解， 設(shè)其尺度函數(shù)為φ(t)， 則與之對(duì)應(yīng)的小波函數(shù)為ψ(t)， 它們滿足差分方程(1)

(1)

式中：hk，gk代表正交低通和高通濾波器系數(shù)序列.

由于φ(t)和ψ(t)滿足正交條件， 則hk和gk可由式(2)求得

(2)

(3)

式中：j=1，2，3…， 表示小波分解的不同尺度， 隨著j的取值變化就可實(shí)現(xiàn)多分辨率分析.

小波重構(gòu)過程體現(xiàn)了分解算法的逆過程， 可由式(4)實(shí)現(xiàn)， 即

(4)

由于需要得到ɑ波段的腦電信號(hào)， 故采用頻帶劃分較好的緊支集正交實(shí)小波函數(shù)族db5小波進(jìn)行小波分解[10].

2.2Hilbert相位同步性分析

相位同步分析是分析兩個(gè)或多個(gè)周期性振蕩信號(hào)的關(guān)聯(lián)關(guān)系. 相位同步是大腦功能整合的基本機(jī)制之一. 傅立葉變換只能反映信號(hào)頻域的特征， 而經(jīng)過Hilbert變換構(gòu)建解析信號(hào)后可得到獨(dú)立的相位與幅度， 能夠完全保留原信號(hào)的相位關(guān)系， 且具有更好的實(shí)時(shí)性， 因此本文選用Hilbert變換進(jìn)行相位提取.

對(duì)于一個(gè)實(shí)信號(hào)， 其Hilbert變換為

(5)

定義其解析信號(hào)為

(6)

(7)

式中：n∶m為兩信號(hào)的相位鎖定比， 一般選擇n∶m=1∶1.

定義相位同步指數(shù)為

(8)

式中： “〈·〉t”表示時(shí)間平均；γH的取值范圍為0～1. 當(dāng)γH=0時(shí)， 兩信號(hào)之間無任何相位同步； 當(dāng)γH=1 時(shí)， 兩信號(hào)之間有穩(wěn)定的相位差， 即表現(xiàn)為相位同步.γH最重要的一個(gè)特點(diǎn)就是， 它只對(duì)信號(hào)的相位敏感， 而對(duì)幅度沒有反應(yīng). 相位同步指數(shù)法直觀， 且可應(yīng)用于非線性信號(hào)之間的同步性分析.

3實(shí)驗(yàn)結(jié)果與分析

對(duì)情緒圖片及聲音情緒同步誘發(fā)的腦電數(shù)據(jù)進(jìn)行如下處理： ① 去除基線漂移和腦電偽跡， 利用AR模型結(jié)合相干平均方法去除自發(fā)腦電， 獲得純凈的誘發(fā)腦電信號(hào)； ② 對(duì)無作業(yè)狀態(tài)(即空白組實(shí)驗(yàn))與6種情緒刺激兩組實(shí)驗(yàn)下的腦電數(shù)據(jù)分別進(jìn)行了t檢驗(yàn)分析. 根據(jù)t檢驗(yàn)的結(jié)果， 選擇具有顯著性差異(P<0.05)的10個(gè)導(dǎo)聯(lián)(前額Fp1、 Fp2、 額區(qū)F3、 F4、 顳葉T3、 T4、 頂區(qū)P3、 P4、 枕區(qū)O1、 O2)的誘發(fā)腦電數(shù)據(jù). ③ 使用小波變換提取腦電特征ɑ節(jié)律信號(hào)， 由于需要得到ɑ波(8 Hz～13 Hz)特征信號(hào)， 所以對(duì)誘發(fā)腦電信號(hào)進(jìn)行了7層小波分解， 選用第6層的小波系數(shù)進(jìn)行重構(gòu)； ④ 采用Hilbert變換提取各導(dǎo)聯(lián)小波重構(gòu)特征信號(hào)的瞬時(shí)相位， 計(jì)算各導(dǎo)聯(lián)的瞬時(shí)相位差， 帶入上述相位同步指數(shù)公式(8)， 得到相位同步指數(shù)并進(jìn)行對(duì)比分析. 圖 2(a) 顯示了愉快刺激狀態(tài)下O2導(dǎo)聯(lián)的腦電數(shù)據(jù)經(jīng)過AR模型和20次相干平均預(yù)處理之后獲得的誘發(fā)腦電信號(hào)， 圖 2(b) 為小波變換重構(gòu)后的腦電特征波形圖.

圖 2　O2導(dǎo)聯(lián)預(yù)處理后與小波重構(gòu)后的波形Fig.2　The waveform after preprocessing and Wavelet processing in O2lead

由圖 2 可知， 經(jīng)過小波變換之后， 特征信號(hào)變得平滑， 特征更加明顯， 可以有效減少由于毛刺而引起的偽同步現(xiàn)象. 且在232 ms處出現(xiàn)事件相關(guān)電位信號(hào)特征， 表明在刺激出現(xiàn)232 ms后， 大腦對(duì)接收到的視聽刺激進(jìn)行了信息整合. 圖3(a)和圖3(b)分別為愉快情緒刺激下， Fp1、 Fp2導(dǎo)聯(lián)與其它導(dǎo)聯(lián)間同步性指數(shù)， 圖4(a)和圖4(b)分別為悲傷情緒刺激下， Fp1、 Fp2導(dǎo)聯(lián)與其它導(dǎo)聯(lián)間同步性指數(shù). 其它誘發(fā)情緒狀態(tài)下， 各導(dǎo)聯(lián)間也有相對(duì)應(yīng)的同步性指數(shù).

通過對(duì)比圖3(a) Fp1導(dǎo)聯(lián)與其它導(dǎo)聯(lián)同步性指數(shù)與圖3 (b) Fp2導(dǎo)聯(lián)與其它導(dǎo)聯(lián)同步性指數(shù)可知， Fp1導(dǎo)聯(lián)與F3, P3, P4, O1導(dǎo)聯(lián)表現(xiàn)出了較高的同步性(γH>0.6)， 而Fp2導(dǎo)聯(lián)與這些導(dǎo)聯(lián)間并未表現(xiàn)出高相位同步性(γH<0.5)， 表明在愉快情緒刺激下大腦左額葉表現(xiàn)出了高度的相位同步活動(dòng)性. 同樣， 通過對(duì)比圖4中(a)、 (b)圖可知， Fp2導(dǎo)聯(lián)與T3, T4, P3, O1, O2導(dǎo)聯(lián)表現(xiàn)出了較高的相位同步性(γH>0.6)， 而Fp1導(dǎo)聯(lián)與這些導(dǎo)聯(lián)間并未表現(xiàn)出高同步性(γH<0.4)， 表明在悲傷情緒刺激下大腦右額葉表現(xiàn)出了高度的同步活動(dòng)性， 其它幾種情緒刺激下也能得到類似結(jié)論. 以上實(shí)驗(yàn)結(jié)果有力支持了“大腦半球效價(jià)假說”， 提供了有效的實(shí)驗(yàn)依據(jù).

根據(jù)對(duì)大腦布羅德曼分區(qū)系統(tǒng)及各區(qū)位置及功能的研究， 可知前額葉與情緒有關(guān)， 枕葉與視覺有關(guān)， 顳葉與聽覺有關(guān)， 頂葉是綜合各種感覺的感覺區(qū)域. 結(jié)合上述實(shí)驗(yàn)分析可知： 在視聽同步接收到愉快刺激后， 頂枕葉與左額葉產(chǎn)生了很高的腦電相位同步性， 即視覺區(qū)域與左情緒區(qū)域產(chǎn)生了同步振蕩現(xiàn)象， 而顳葉與左額葉的同步性不高， 即同步振蕩現(xiàn)象不明顯. 由此可以推斷在感知愉快情緒時(shí)， 視覺占主導(dǎo)作用； 在視聽同步接收到悲傷刺激后， 枕葉、 顳葉都與右額葉產(chǎn)生了很高的腦電相位同步性， 即視覺區(qū)域、 聽覺區(qū)域都與右情緒區(qū)域產(chǎn)生了同步振蕩現(xiàn)象， 但顳葉與右額葉的同步性要高于枕葉與右額葉的同步性. 由此可以推斷在感知悲傷情緒時(shí)， 聽覺占主導(dǎo)作用， 視覺起輔助作用.

圖 3　愉快情緒刺激時(shí)的同步性指數(shù)Fig.3　The synchronization index in Happy mood stimulation

圖 4　悲傷情緒刺激時(shí)的同步指數(shù)Fig.4　The synchronization index in sad mood stimulation

4結(jié)束語

本文設(shè)計(jì)了一種視聽情緒誘發(fā)的實(shí)驗(yàn)范式， 腦電測(cè)量實(shí)驗(yàn)表明該范式能夠較好誘發(fā)出不同情緒的腦電信號(hào). 通過小波變換提取誘發(fā)腦電特征信號(hào)， 利用Hilbert變化得到Hilbert相位同步指數(shù)能夠很好的反映腦電的同步性. 表明在愉快刺激情況下， 左額葉比右額葉表現(xiàn)出了更高的同步活動(dòng)性， 而在悲傷情緒刺激情況下， 右額葉比左額葉表現(xiàn)出了更高的同步活動(dòng)性， 這與之前的研究結(jié)果相符合； 在感知愉快情緒時(shí)， 視覺占主導(dǎo)作用， 而感知悲傷情緒時(shí)， 聽覺占主導(dǎo)作用. 該研究結(jié)果可以被應(yīng)用于情緒腦認(rèn)知科學(xué)和放生機(jī)器人中.

參考文獻(xiàn)：

[1]Ekman P. An argument for basic emotion[J]. Cognition and Emotion, 1992, 6(3-4): 169-200.

[2]Stemmler G, Heldmann M， Pauls C A, et al. Constraints for emotion specificity in fear and anger: the context counts[J]. Psychophysiology, 2001, 38(2): 275-291.

[3]Picard R W, Healey J. Affective wearable[A]. In Proceedings of the First International Symposium on Wearble Computers[C]. Washington, DC, USA: IEEE Computer Society Press, 1997: 231-240.

[4]陳曾. 腦電信號(hào)在情感識(shí)別中的研究[D]. 重慶： 西南大學(xué), 2010.

[5]Tsang C D, Trainor L J, Santesso D L, et al. Frontal EEG responses as a function of affective musical features[J]. Annals of the New York Academy of Sciences, 2001, 930: 439-442.

[6]賀玲姣. 不同聲刺激下的情緒反應(yīng)與識(shí)別[D]. 浙江： 浙江大學(xué)， 2013.

[7]趙麗娜, 周群, 劉鐵軍， 等. 視覺聽覺同時(shí)刺激模式下ERP的同步性研究[J]. 臨床神經(jīng)電生理學(xué)雜志, 2005, 14(1): 4-6.

Zhao Lina, Zhou Qun, Liu Tiejun, et al. Study on synchronization of ERP evoked by simultaneous visual-audio stimuli[J]. Journal of Clinical Electroneurophysiology(China), 2005, 14(1): 4-6. (in Chinese)

[8]Ekman P, Friesen W V. Pictures of facial affect[M]. Palo Alto, CA.: Consulting Psychologists Press, 1976.

[9]Panagiotis C P, Leontios J H. Emotion recognition from brain signals using hybrid adaptive filtering and higher Order crossings analysis[J]. IEEE Transactions on Affective Computing, 2010, 1(2): 81-97.

[10]喬曉艷， 彭佳卉. 視聽誘發(fā)腦電特征提取與大腦認(rèn)知機(jī)理分析[J]. 測(cè)試技術(shù)學(xué)報(bào), 2013, 27(6): 509-515.

Qiao Xiaoyan, Peng Jiahui. The analysis on the brain cognitive mechanism and audio-visual evoked EEG feature extraction[J]. Journal of Test And Measurement Technology, 2013, 27(6): 509-515. (in Chinese)

Analysis on Synchronization of EEG Signal Evoked by Audio-Visual Emotion Stimuli

ZHANG Qi, QIAO Xiaoyan

(College of Physics and Electronic Engineering, Shanxi University, Taiyuan 030006, China)

Abstract:To investigate the synchronization between different brain regions, an experimental paradigm for audio-visual stimulation based on six basic emotions (happiness, anger, sadness, surprise, disgust, and fear) was designed. By using Neuroscan40 leads brain event related potentials instrument, EEG signal was collected. AR model and the coherent averaging method were used to remove baseline drift and the EEG interference. The Hilbert transform was used to get the phase of the EEG feature signal which was extracted by Wavelet transform. Then we used the phase synchronization index to analyze the synchronization of brain electrical activity. The result shows that the phase synchronization index based on Hilbert transform can better reflect the synchronization of EEG activity, also provides an effective basis for the hemisphere valence hypothesis. In addition, in the perception of happy mood, visual area in brain plays the dominant role, but in the perception of the sad mood, auditory area plays the dominant role. This research can be applied to the brain's emotional cognition and bionic robot.

Key words:audio-visual emotion; electroencephalogram(EEG); wavelet transform(WT); hilbert transform(HT); the phase synchronization index

中圖分類號(hào):R318.04； Q-331

文獻(xiàn)標(biāo)識(shí)碼:A

doi:10.3969/j.issn.1671-7449.2016.01.016

作者簡(jiǎn)介：張琪 (1990-)， 女， 碩士生， 主要從事生物醫(yī)學(xué)信號(hào)處理的研究.

收稿日期:2015-08-30
基金資助： 國(guó)家基礎(chǔ)科學(xué)人才培養(yǎng)基金(J1103210)； 山西省自然科學(xué)基金資助項(xiàng)目(2013011016-2)； 山西省回國(guó)留學(xué)人員科研資助項(xiàng)目(2014-010)

文章編號(hào):1671-7449(2016)01-0086-06