聯(lián)合腦電信號與虛擬技術(shù)的大腦情緒狀態(tài)的半球不對稱性研究

藍(lán)文威 陳 晨 張 金 張家琦 黎 峰 高軍峰*

1(中南民族大學(xué)生物醫(yī)學(xué)工程學(xué)院, 武漢 430074)

2(認(rèn)知科學(xué)國家民委重點實驗室，武漢 430074)

引言

大腦功能狀態(tài)的研究一直是人類探索自身奧秘的熱點，隨著近年腦科學(xué)、神經(jīng)科學(xué)及信息科學(xué)的快速發(fā)展，大腦功能狀態(tài)的研究日新月異，關(guān)于大腦情緒狀態(tài)的研究也逐漸深入。情緒作為人類大腦的高級功能，綜合了個人的思想和行為，在一定程度上表現(xiàn)出對外界或者自身刺激的反應(yīng)，同時伴隨著一系列的生理以及心理上的變化。在情緒判別方面，之前人們對于情緒的理解皆基于自身對自身的內(nèi)在思想或者他人對自身的外在行為進(jìn)行主觀評估，實際上，通過生理信號對人類大腦情緒狀態(tài)的客觀評估手段則更具有科學(xué)性，腦電信號(electroencephalogram, EEG)由于其高效率和低成本的優(yōu)勢，在近年來檢測情緒狀態(tài)的研究中得到了廣泛的應(yīng)用[1-2]。

國內(nèi)外已有大量關(guān)于大腦情緒狀態(tài)的研究。有報告指出，參與情緒的腦區(qū)主要集中于杏仁核、基底神經(jīng)節(jié)、前額皮層、扣帶回皮層和頂葉皮層[3]。另外，早在20世紀(jì)90年代Canli在使用正電子發(fā)射型計算機斷層顯像(positron emission computed tomography，PET)功能性成像技術(shù)對大腦情感的半球不對稱研究時，已經(jīng)發(fā)現(xiàn)積極(或與進(jìn)近相關(guān))的情緒更傾向于偏向左半球，而消極(或與退縮相關(guān))的情緒則是更加強烈地偏向右半球[4]。Zibman等[5]進(jìn)行皮質(zhì)-皮質(zhì)配對聯(lián)合刺激(ccPAS)實驗，結(jié)果發(fā)現(xiàn)，外側(cè)前額葉皮層的左右側(cè)的電生理和行為均顯示出半球不對稱性的變化。Crawford等[6]在受試覺醒和催眠狀態(tài)下引發(fā)愉快和悲傷的情緒，并且對大腦前額區(qū)(F3F4)、中央?yún)^(qū)(C3C4)和頂區(qū)(P3P4)的EEG窄波頻帶進(jìn)行分析。研究發(fā)現(xiàn)，低頻alpha波(8.0～9.5 Hz)在頂區(qū)左右大腦半球存在差異。Lu等[7]使用左前(后)、右前(后)、左半球、右半球、前半球、后半球等8個不同大腦區(qū)域的腦電信號，基于動態(tài)熵的模式學(xué)習(xí)來識別個體之間的積極和消極情緒。

隨著計算機技術(shù)的蓬勃發(fā)展，人機交互技術(shù)被廣泛應(yīng)用于各大領(lǐng)域。虛擬現(xiàn)實技術(shù)(virtual reality, VR)是20世紀(jì)快速發(fā)展起來的一項新興的實用技術(shù)，通過計算機模擬虛擬環(huán)境，以自然的方式與虛擬三維環(huán)境中的物體或者虛擬人類進(jìn)行交互，創(chuàng)造出身臨其境的感官體驗。這種技術(shù)很適合作為認(rèn)知科學(xué)、心理學(xué)等領(lǐng)域的研究方法，衍生出更加新穎的實驗方案。利用虛擬現(xiàn)實技術(shù)仿真技術(shù)，可以實現(xiàn)視覺與聽覺上的雙重刺激，可以在大腦情緒狀態(tài)的研究中更加逼近現(xiàn)實場景的真實感受[8]。有效地解讀個體的情緒狀態(tài)能解決工作生活中的各種現(xiàn)實問題，如判定人們工作生活中的精神亞健康狀態(tài)、了解客戶對產(chǎn)品的滿意度進(jìn)而調(diào)整營銷策略、檢測車輛行駛過程中司機的精神狀況，在教育領(lǐng)域中可以通過解讀學(xué)生的學(xué)習(xí)狀態(tài)來調(diào)整學(xué)習(xí)內(nèi)容和方式等[9]。

本研究引入半球不對稱性指數(shù)作為研究大腦情緒狀態(tài)的工具。實驗使用VR中的3D影片刺激誘發(fā)積極、中性以及消極情緒，同時記錄腦電信號，從功率譜腦地形圖上觀察各腦區(qū)，在此基礎(chǔ)上重點分析差異較大的腦區(qū)，計算各頻段平均功率譜密度和半球不對稱指數(shù)，從中探尋主要腦區(qū)的左右半球不同情緒下的差異和情緒生理活動的顯著特征。

1 材料和方法

1.1 實驗設(shè)計

由10/20系統(tǒng)標(biāo)準(zhǔn)64導(dǎo)腦電帽和德國BrainProducts公司的腦電圖儀一同采集腦電數(shù)據(jù)，使用Recorder數(shù)據(jù)采集軟件、BrainAmp信號放大器與隔離電源。VR使用的是美國Facebook公司輕量級VR頭顯一體機Oculus Go。實驗中選擇雙側(cè)乳突作為參考電極，水平眼電電極放置于外眼角處，垂直眼電電極放置于左眼下約2 cm處，前額Afz電極接地，采樣頻率為500 Hz，各導(dǎo)聯(lián)阻抗均小于5 kΩ[10]。實驗材料刺激采用的是YouTube上的3D影片以及網(wǎng)絡(luò)上一些VR團(tuán)隊所制作的影片，一共12個影片片段，如圖1所示，其中2個喜劇片和2個愛情片、4個風(fēng)景紀(jì)錄片、2個驚悚片和2個災(zāi)難片，分別對應(yīng)積極情緒、中性情緒、消極情緒，每個影片時長4～6 min，12個片段依次播放，每觀看一個影片充分留出休息時間讓受試平復(fù)心情再繼續(xù)。圖2展示了受試在實驗時的狀態(tài)。

圖1 部分刺激材料展示Fig.1 Display of some stimulating materials

圖2 受試實驗中Fig.2 The subject in the experiment

1.2 受試者

實驗選取了20名受試者，男受試10名，女受試10名，均來自本校在校大學(xué)生與研究生，年齡范圍在23～25歲，平均年齡23.9歲，身體健康，裸眼視力或矯正后視力正常，沒有色盲色弱缺陷，沒有心理疾病或精神疾病史，參加實驗前睡眠良好，實驗時精神狀態(tài)良好。在進(jìn)行腦電數(shù)據(jù)采集之前，讓受試了解實驗無害性，告知實驗流程及規(guī)則，并簽署實驗知情同意書。

1.3 信號預(yù)處理

利用Matlab平臺中的EEGLAB工具箱進(jìn)行EEG預(yù)處理。順序為電極通道定位，去除IO眼電電極。以雙側(cè)乳突(TP9、TP10)作為參考電極、進(jìn)行1～49 Hz帶通濾波去除工頻干擾，采樣頻率500 Hz保持不變，然后對其進(jìn)行獨立成分分析(independent component analysis, ICA)并使用AJUST插件輔助去除腦電信號中肌電、眼電等偽跡信號，得到干凈的腦電信號。

2 腦電分析方法

2.1 功率譜密度和半球不對稱性指數(shù)

特征提取是對腦電信號進(jìn)行變換，找出具有代表性的特征。常用的腦電特征提取主要有3個方向：時域特征、頻域特征和時頻特征，本實驗所采用的分析方法是功率譜估計分析。在對EEG信號進(jìn)行頻域分析時，功率譜估計是一種很常用的方法，可以將EEG信號轉(zhuǎn)換成功率隨頻率變化的譜圖，更加直觀的從功率譜圖中分析EEG信號不同波段的功率分布與變化情況[11]。本研究中采用的是Matlab中BrainStorm工具箱，使用Welch法對EEG信號中的各頻段進(jìn)行功率譜估計。

首先，分析大腦各腦區(qū)在積極情緒、中性情緒、消極情緒中的功率譜密度分布情況，64導(dǎo)腦電帽導(dǎo)聯(lián)分布如圖3所示。進(jìn)一步地，選取幾個腦區(qū)的相關(guān)導(dǎo)聯(lián)作為主要研究對象，這些腦區(qū)包括額區(qū)(F3-F4)、中央?yún)^(qū)(C3-C4)、頂區(qū)(P3-P4)以及枕區(qū)(O1-O2)，利用BrainStorm工具箱將功率譜數(shù)據(jù)導(dǎo)出，然后計算半球不對稱性指數(shù)。

圖3 64導(dǎo)腦電帽電極分布Fig.3 Distribution of 64-lead EEG cap electrode

半球不對稱性指數(shù)是計算同一頻率下的左右半球功率譜密度之間的相對差，差異表征大腦的半球不對稱性，差異的大小表征偏大腦左半球或者右半球的不對稱性程度[12]。本研究在alpha(8～13 Hz)、beta(14～30 Hz)、gamma(31～49 Hz)頻帶中分別計算不對稱指數(shù)。首先，在每個EEG頻帶中，計算20名受試的某一腦區(qū)左側(cè)導(dǎo)聯(lián)平均功率譜密度(WLmn)和右側(cè)導(dǎo)聯(lián)平均功率譜密度(WRmn)。然后計算每個EEG頻段，通道和對象的半球間EEG不對稱性指數(shù)為

(1)

式中，f表示某一頻段，m和n表示某一腦區(qū)左右半球?qū)?yīng)導(dǎo)聯(lián)。半球不對稱性指數(shù)A越高則表示相對左半球越活躍，由此對不同腦區(qū)的兩個通道進(jìn)行不對稱分析。

2.2 統(tǒng)計學(xué)處理方法

對積極、中性、消極情緒下的半球不對稱性指數(shù)運用重復(fù)測量方差分析，采用Greenhouse-Geisser法校正，獲得3種情緒下半球不對稱性指數(shù)上的差異，有

(2)

(3)

事后成對比較采用Bonferroni法校正，目的在于調(diào)整兩兩比較時的檢驗水準(zhǔn)，有

(4)

式中，α表示之前的檢驗水準(zhǔn)，m為比較次數(shù)。

3 結(jié)果

3.1 功率譜密度

對所采集的不同情緒的腦電信號進(jìn)行信號預(yù)處理，再通過EEGLAB將20名受試的3種情緒的功率譜密度根據(jù)不同情緒和不同波段分別疊加平均后，繪制alpha、beta和gamma頻段上的大腦地形圖，見圖4。將3種情緒的功率譜密度進(jìn)行對比，結(jié)果發(fā)現(xiàn)在各情緒下，積極情緒的額區(qū)的激活程度高于另兩種情緒，而在各頻段之間的對比以及不對稱性上未觀察到有明顯差異。

圖4 不同情緒下各頻段功率譜密度(每列上中下分別為積極情緒、中性情緒和消極情緒)。(a)Alpha頻段；(b)Beta頻段；(c)Gamma頻段Fig.4 The power spectral density of each frequency band under different emotions (positive emotion, neutral emotion and negative emotion in each column). (a)Alpha band; (b) Beta band; (c) Gamma band

3.2 半球不對稱性指數(shù)

圖5給出了在不同情緒下的各腦區(qū)通道之間的alpha、beta和gamma頻段的不對稱性指數(shù)值?？傮w上看，在3種情緒下額區(qū)的各頻段不對稱性指數(shù)均為正值，頂區(qū)以及枕區(qū)均為分?jǐn)?shù)較高的負(fù)值，表明3種情緒下額區(qū)的激活程度左側(cè)半球大于右側(cè)半球，頂區(qū)、枕區(qū)則相反。中央?yún)^(qū)的不對稱性指數(shù)正負(fù)值均有。

圖5 不同情緒下各頻段不對稱性指數(shù)。(a)積極情緒；(b)中性情緒；(c)消極情緒Fig.5 Asymmetry index of different frequency bands under different emotions. (a) Positive emotions; (b) Neutral emotions; (c) Negative emotions

進(jìn)一步集中觀察并對比積極情緒與消極情緒的不對稱性指數(shù)，各頻段下的額區(qū)、頂區(qū)和枕區(qū)結(jié)果如下：

1)額區(qū)(F3-F4)的alpha、 beta和gamma頻段，積極情緒的指數(shù)值在0.1值上下，而消極情緒的指數(shù)值接近于0值；

2)頂區(qū)(P3-P4)的alpha、 beta和gamma頻段頻段在兩種情緒下均為負(fù)值(右半球更活躍)；

3)枕區(qū)(O1-O2)的3個頻段在兩種情緒下同樣均為負(fù)值(右半球更活躍)。

通過3種情緒下不對稱指數(shù)的重復(fù)測量方差分析，統(tǒng)計結(jié)果非球形性時采用Greenhouse-Geisser法校正P值，k為3，n為20。結(jié)果發(fā)現(xiàn)，3種情緒下額區(qū)alpha頻段的半球不對稱性指數(shù)的差異邊緣顯著，F(xiàn)(2,38)=2.879，P=0.069。事后成對比較采用Bonferroni法校正，α取0.05，m為3。發(fā)現(xiàn)額區(qū)alpha頻段的積極情緒與消極情緒兩組間有具顯著差異，P<0.05；積極與中性差異不顯著，P>0.05；消極與中性差異不顯著，P>0.05。而在3種情緒下額區(qū)的beta和gamma頻段，以及各頻段的中央?yún)^(qū)、頂區(qū)和枕區(qū)，均未發(fā)現(xiàn)顯著差異。

上述統(tǒng)計結(jié)果表明，研究只集中討論alpha頻段的3種情緒下的不對稱指數(shù)即可。圖6顯示了20名受試在額區(qū)(F3-F4)的alpha頻段不對稱性指數(shù)的分布情況。結(jié)果顯示3種情緒下的平均額區(qū)不對稱性指數(shù)均為介于0～0.2的正值，說明在3種情緒下的半球不對稱性特征—左側(cè)額區(qū)比右側(cè)額區(qū)的活躍程度高。同時，額區(qū)出現(xiàn)積極(0.130±0.227)、中性(0.058±0.240)、消極(0.006±0.130)依次遞減的趨勢，箱型圖中的數(shù)值分布也顯示出這一點，表明從積極到中性、再到消極的情緒過程中，左側(cè)額區(qū)的活躍程度是逐漸降低的。

圖6 額區(qū)(F3-F4)alpha頻段在3種情緒下的不對稱性指數(shù)對比(統(tǒng)計學(xué)顯著性表示為*P<0.05)Fig.6 Comparison of asymmetry index of frontal region (F3-F4) alpha band under three emotions(Statistically significant:*P<0.05)

4 討論

本研究聯(lián)合虛擬現(xiàn)實和腦電技術(shù)，首次將半球不對稱性指數(shù)用于研究不同情緒下大腦功能狀態(tài)的不對稱性。越來越多的神經(jīng)科學(xué)和認(rèn)知科學(xué)的研究顯示了虛擬現(xiàn)實和腦電技術(shù)結(jié)合的優(yōu)勢。臨床上，已經(jīng)有將其作為暴露療法治療心理疾病，主要包括自閉癥、創(chuàng)傷后應(yīng)激障礙、恐懼癥、社交焦慮癥、抑郁癥等疾病的治療。相關(guān)研究顯示該技術(shù)可以有效地減輕負(fù)面情感的癥狀，從而增強情緒調(diào)節(jié)能力[13]。因此，本研究在實驗刺激材料上使用VR影片，更真實地模擬情感觸發(fā)的場景，然后記錄了20名受試在導(dǎo)致不同情緒的VR影片下的腦電信號，基于功率譜密度，計算不同腦區(qū)半球不對稱性指數(shù)，統(tǒng)計分析后，集中對額區(qū)的alpha頻段進(jìn)行了深入分析。

從功率譜密度上來看，積極情緒與消極情緒下在額區(qū)存在差異，即積極情緒的額區(qū)能量高于消極情緒，但是在左右半球的不對稱性上卻未見明顯差異。 進(jìn)一步地對半球不對稱性指數(shù)的統(tǒng)計分析得出了額區(qū)alpha頻段激活程度為左側(cè)半球大于右側(cè)，從積極到消極情緒緩慢下降。體現(xiàn)了額區(qū)在表達(dá)情緒的過程中扮演著關(guān)鍵的角色。Bartolic等[14]在情緒狀態(tài)對額葉認(rèn)知任務(wù)影響的實驗結(jié)論，也顯示出額葉對情緒表達(dá)和情緒調(diào)節(jié)的重要性。在3種情緒下，額區(qū)左半球的激活程度均高于右半球，可以認(rèn)為左半球在處理情緒方面占主導(dǎo)地位，在表達(dá)的感知中具有優(yōu)勢。

本研究的結(jié)果也提示額區(qū)可以作為情緒研究的重要腦區(qū)進(jìn)行研究。額區(qū)作為人類大腦認(rèn)知功能最重要的腦區(qū)之一，其中背扣帶回、內(nèi)側(cè)前額葉皮質(zhì)參與情緒的產(chǎn)生[15]。大量的研究表明杏仁核是人體情緒產(chǎn)生的根源[16]。進(jìn)一步地，Davidson在其關(guān)于額葉不對稱性研究的綜述中指出， alpha頻段的不對稱性與背外側(cè)前額葉皮質(zhì)有關(guān)[17]。該作者認(rèn)為左側(cè)前額葉背外側(cè)的區(qū)域可能影響杏仁核的活動，并推測該區(qū)域負(fù)責(zé)了部分的情緒產(chǎn)生，此外，還發(fā)現(xiàn)左前額葉活性較高的個體的應(yīng)激激素皮質(zhì)醇水平較低，有力地揭示了具有較高水平的左側(cè)前額葉活動的個體確實具有更積極的外周生物學(xué)指標(biāo)。本研究的結(jié)果在一定程度上證實了該作者的上述推測。

本研究通過不對稱性指數(shù)，僅發(fā)現(xiàn)額區(qū)在alpha頻段上不同情緒間的差異，不過文獻(xiàn)顯示情緒的產(chǎn)生和調(diào)節(jié)以及它的不對稱性應(yīng)該不僅與前額葉相關(guān)，還可能與其它腦區(qū)存在重要的關(guān)系，本研究的結(jié)果不夠全面。另外，本研究僅適用了頭皮腦電，未對皮層上的神經(jīng)元活動信號進(jìn)行分析。今后可以通過溯源等方法進(jìn)行皮層腦電信號的分析，從而更精確地定位在不同情緒下激活的其他腦區(qū)。此外，還可以通過功能連接等方法進(jìn)一步了解左側(cè)前額葉背外側(cè)皮質(zhì)是如何調(diào)控其他腦區(qū)(如杏仁核、海馬體和丘腦)，從而導(dǎo)致在不同情緒下的大腦半球的神經(jīng)活動的不對稱性。

最后，本研究仍存在一定局限性，有些實驗材料的選擇可能未能使受試達(dá)到理想的不同情緒，且個體間的生理差異也會影響實驗結(jié)果的穩(wěn)定性等。需要擴(kuò)大試驗人群數(shù)量及實驗?zāi)挲g范圍，以驗證本研究方法的普適性。在未來，需要在實驗刺激上進(jìn)行更仔細(xì)的篩選，以期望可以更有效的模擬真實的腦電情緒狀態(tài)。

5 結(jié)論

本研究采用功率譜估計與半球不對稱性指數(shù)分析了不同情緒下左右半球的整體和區(qū)域特性。在處理情緒的過程中，左側(cè)額區(qū)的主導(dǎo)程度在積極、中性、消極情緒下依次遞減，提示左側(cè)額區(qū)在人類情緒狀態(tài)的表達(dá)中表現(xiàn)活躍，特別是在積極情緒中占據(jù)主導(dǎo)地位。本研究從功率譜的角度揭示了情緒與大腦半球不對稱性的關(guān)系，對大腦情緒機制和情緒心理學(xué)的研究提供了一定的參考價值。