基于便攜式腦電設備的快樂和悲傷情緒分類①

姚娟娟,路 堃,許金秀

1(北京市地鐵運營有限公司 地鐵運營技術(shù)研發(fā)中心 地鐵運營安全保障技術(shù)北京市重點實驗室,北京 100044)

2(上海帝儀科技有限公司,上海 200232)

情緒在日常生活中扮演著重要角色,消極的情緒會影響人的身心健康及工作狀態(tài).研究證明駕駛員的情緒狀態(tài)對其警覺度、危險意識和操控能力等方面有直接影響[1].據(jù)統(tǒng)計,與情緒化駕駛相關(guān)的交通事故約占事故總數(shù)的9.2～14.8%[2],其中與駕駛員開心和興奮狀態(tài)相關(guān)的事故占比約為5.6～7.4%,而與駕駛員悲傷狀態(tài)相關(guān)的事故占比約為3.3～4.6%.因此,情緒化駕駛行為是交通安全的影響因素之一,駕駛員情緒狀態(tài)的識別技術(shù)研究對于車輛主動安全技術(shù)和道路交通安全系統(tǒng)都具有一定的應用價值.

目前,在眾多情緒研究手段中,腦電信號(Electro Encephalo Graphy,EEG)因其時間分辨率高、不可偽裝、能夠客觀的反應人的狀態(tài)而受到研究人員的重視,成為情緒研究中常用的手段之一.由于情緒涉及的腦區(qū)較廣,大部分研究者利用多通道腦電設備進行情緒識別的研究.Lin 等通過32 通道腦電數(shù)據(jù)對稱電極位點功率的差異,使用SVM 分類器得到情緒4 分類的準確率為90.72%[3].Schaaff 等利用16 導腦電,基于短時傅里葉變換提取特征,得到情緒3 分類的準確率為62.07%[4].Li 等通過對62 通道的EEG 頻率信息進行特征統(tǒng)計,基于KNN 算法得情緒5 分類的準確率為83.04%[5].同時也有研究者利用較少導聯(lián)腦電信號來進行情緒的劃分.Liu 和Sourina 等通過4 通道腦電數(shù)據(jù)的分形維度,基于SVM 分類器對8 種情緒進行了分類,得到了53.75%的識別準確率[6].Ishino 等基于3 通道腦電數(shù)據(jù),對小波變換和傅里葉變化后提取的特征進行統(tǒng)計分析,最終提取其均值和方差特征,使用神經(jīng)網(wǎng)絡算法得4 種情緒的識別準確率為67.7%[7].Schaff 等對4 通道數(shù)據(jù),使用統(tǒng)計的方法對其功率特征和互相關(guān)特征進行提取并對提取的有效特征進行融合,最終針對3 種情緒的分類,僅得到47.11%的準確率[8].

本研究擬使用便攜式雙通道腦電信號研究受試者快樂和悲傷兩種情緒狀態(tài)下的腦電特征變化,選擇相對較優(yōu)分類器,為未來將腦電識別情緒技術(shù)應用于駕駛員情緒狀態(tài)的識別奠定理論基礎(chǔ).

1 對象和方法

1.1 對象

被試共17 人(男13 人,女4 人),年齡25～44 歲,平均(34.5±5.34)歲.身體健康,視力或矯正視力正常,聽覺正常,經(jīng)過癥狀自評量表(Symptom Check List 90,SCL90)、態(tài)-特質(zhì)焦慮問卷(State Trait Anxiety Inventory,STAI)、抑郁問卷(Beck Depression Inventory,BDI)檢查無明顯情緒問題和精神疾病[9–11].實驗開始前24 小時內(nèi)未服用咖啡、酒精飲品.實驗開始前被試充分了解實驗內(nèi)容和流程,并自愿簽寫知情同意書.被試如在實驗過程中無法接受影片所播放的內(nèi)容,可以選擇不觀看該影片或者終止實驗.其中有1 個被試實驗開始沒多久選擇終止實驗,共收集了16 人數(shù)據(jù)用于后續(xù)分析.

1.2 刺激方法

本研究采用視頻誘發(fā)情緒的方法.影片片段選擇羅躍嘉研究組制作的《中國情緒影像材料庫》中誘發(fā)快樂和悲傷的影片片段[12],每種情緒影片包含5 個片段.所用的影片片段示例如圖1所示,圖1(a)和圖1(b)擬誘發(fā)被試快樂的情緒;圖1(c)和圖1(d)擬誘發(fā)被試悲傷的情緒.

1.3 實驗流程

被試平靜放松準備1 min 后,進入實驗任務狀態(tài).根據(jù)實驗任務指令,被試先完成睜眼/閉眼實驗各2 分鐘,完成后休息1 分鐘,然后開始情緒實驗.被試首先進行PAD (Pleasure Arousal Dominance)情感量表評估受試者的初始情緒狀態(tài)[13],接著被試被要求觀看一系列的電影片段,感受電影的情境中的情緒.電腦屏幕全屏顯示不同的刺激情緒的影片片段,被試根據(jù)影片片段所呈現(xiàn)出的情緒類別以及任務提示進行試驗.所選擇的情緒庫中的影片隨機順序播放,但同種情緒類型的片段最多連續(xù)呈現(xiàn)兩次.每次觀看影片片段完成后受試者需要填寫喚醒度問卷,要求受試者報告看完該片段后的實際感受,而不是看完該片段后應該有的感受.

對于喚醒度,參考羅躍嘉研究組、Schaefer 等及Gross 等的研究,使用自我報告的5 點量表評分方法[14–16],對被試所誘發(fā)的主觀情緒強度進行評定.觀看影片時,產(chǎn)生的情緒越強烈,評分越接近4,越不強烈,評分約接近0,如:“你在觀看這個片段時,0=沒有產(chǎn)生任何情緒,4=產(chǎn)生了強烈的情緒”.被試評價完喚醒度后,休息的同時聽1 分鐘音樂,使情緒狀態(tài)恢復后再進行下一個片段的觀看.本研究中每個受試者對每個影片片段進行喚醒度評分后,結(jié)果顯示快樂和悲傷影片片段的喚醒度分別為(2.59±0.57)和(2.39±0.77).

2 數(shù)據(jù)采集與分析方法

基于視頻誘發(fā)情緒的方法,使用前額雙通道設備進行腦電信號的采集,為消除噪聲和冗余信號對腦電數(shù)據(jù)進行預處理,之后進行特征向量的提取與降維處理,最終基于機器學習分類算法進行情緒的分類.本研究整體流程如圖2所示.

2.1 數(shù)據(jù)采集

腦電采集裝置為自主研發(fā)的雙通道干電極腦電采集設備采集前額Fp1 和Fp2 位置的腦電信號,電極的阻抗保持在5 kΩ 以下,采樣頻率500 Hz.每位受試者每次實驗信號采集過程如表1所示.

表1 信號采集過程

2.2 數(shù)據(jù)預處理

采集的腦電信號有噪音等干擾信號,需要對腦電信號進行處理.依據(jù)表1信號采集過程采集數(shù)據(jù),對采集的前額Fp1 和Fp2 通道數(shù)據(jù)進行研究,由于該算法擬用于交通行駛過程中對駕駛員情緒的實時識別,因此在處理階段采用實時處理的方法進行特征的提取,所有處理過程不涉及當前時間之后的數(shù)據(jù)作為研究對象.

將時序信號按照4 s 一個窗長,步長為2 s 進行劃分,本研究中共劃分出快樂情緒幀數(shù)940 幀,悲傷情緒幀數(shù)245 幀.對每幀信號使用去直流處理,即每幀數(shù)據(jù)中的每個數(shù)值均減去每幀數(shù)據(jù)的均值.之后進行0.1–50 Hz 的帶通濾波器去噪處理.并且為縮短芯片的計算效率,對數(shù)據(jù)進行4 倍降采樣處理.

2.3 特征提取

本研究通過二階統(tǒng)計原理的盲源分離算法[17]將設備采集到的腦電信號中的眼電信號進行分離,基于提取的腦電信號通過時頻域分析的方法進行特征提取,最后對所有特征向量進行PCA 降維.對單幀腦電信號進行特征提取的具體方法如下.

數(shù)據(jù)預處理后,將兩通道矩陣按式(1)計算協(xié)方差矩陣,并計算該協(xié)方差矩陣對應的特征值和特征向量,將特征值進行降序排列,且將特征向量依據(jù)其對應特征值的順序進行重新排序.

式中,vector即對應的雙通道數(shù)據(jù)vector'表示雙通道矩陣的轉(zhuǎn)置矩陣,N為雙通道矩陣的長度,此處固定值為500.

對進行排序后的特征向量和特征值再進行白化處理,通過式(2)計算白化矩陣,以及式(3)計算白化矩陣的觀測信號矩陣.

其中,D和E表示通過式(1)計算得到的特征值和特征向量,Inv表示計算特征值平方根的逆矩陣,g(x)為經(jīng)預處理后雙通道矩陣.

對于白化后觀測信號矩陣通過式(1)計算其協(xié)方差矩陣與其協(xié)方差矩陣二范數(shù)的乘積矩陣M,并進行聯(lián)合近似對角化計算,最終輸出分離的源矩陣S和估計混合矩陣H.

2.3.1 基于時序序列的特征提取

對盲源分離后的源矩陣S中的每個通道內(nèi)的每幀時序信號進行研究,基于Katz 算法對其分形維數(shù)進行估算[18]具體公式為:

式中,D為分形維數(shù),N為盲源分離后源矩陣S的長度,d為所有采樣點距離與第一個采樣點相距在最大距離.

由于任一段數(shù)據(jù)的概率分布往往都是不可知的,因此本研究中使用樣本熵對每一幀腦電序列的熵進行估計.

對任一時間序列,其樣本熵的計算公式為:

其中,m為設定的固定子序列長度,r是判斷兩個子序列相似距離的誤差閾值,Bm(r)為序列中滿足誤差閾值條件的且長度為m的子序列個數(shù).

因此每幀數(shù)據(jù)在時序中提取四維特征向量:2(分形維數(shù)和樣本熵)×2(2 個通道)=4.

2.3.2 基于頻域的特征提取

對分離出的源信號矩陣S進行特征提取.對于每幀數(shù)據(jù)共有4 s 信息,將每幀數(shù)據(jù)分成4 段進行研究.首先使用海明窗(hamming)將時域信息轉(zhuǎn)變成頻域信息,對于每幀數(shù)據(jù)進行如下公式的轉(zhuǎn)換.

式中,f(x)為頻域信號,S(x)為盲源分離后的源矩陣,mean(S)和std(S)分別表示為該幀信號時域信息的均值和標準差,hamming為海明窗結(jié)構(gòu)體.

同時為了研究序列的復雜程度,引入微分熵進行度量,如式(7)所示.

其中,f(x)是序列X的概率密度函數(shù).

此研究中,根據(jù)每幀數(shù)據(jù)的時間序列,對每秒的信號進行提取其theta,alpha,beta1,beta2,gamma 波段的能量值,通過每個波段每秒的能量構(gòu)成一個時間序列,計算其微分熵.

統(tǒng)計上述4 段數(shù)據(jù)其頻域上每個通道內(nèi)theta,alpha,beta1,beta2,gamma 波段的能量,并分別計算其微分熵和均值,作為特征向量,即:2(2 個通道)×2(微分熵和均值)×5(5 個能量段)=20.

2.3.3 不對稱指數(shù)

Coan 等(2004)研究表明了大腦額葉不對稱現(xiàn)象與情緒分類有關(guān)[19],本研究主要針對大腦前額葉Fp1 和Fp2 腦電信號進行研究,分別計算了其特征參數(shù).最后基于上述特征計算其不對稱指數(shù),分別使用式(8)～(10)計算各個特征參數(shù)下的不對性,每個公式計算可計算得到12 維特征向量,共計36 維特征向量.

式中,fea_Fp1 為Fp1 通道的特征,同理fea_Fp2 為Fp2 通道的特征.

基于上述方法,每幀數(shù)據(jù)共提取60 維特征向量,使用主成分分析(PCA)降維的方法提取其前5 維特征向量進行模式識別.

2.4 模式識別

情緒信號分類是根據(jù)不同的行為意識,使腦電活動產(chǎn)生差異響應的特征性來確認行為的類型與特征信號之間的關(guān)系[20],本研究中選用4 種分類器對快樂和悲傷情緒進行分類,分別為RBF-SVC 和樸素貝葉斯分類,以及集成學習算法——梯度提升決策樹(Gradient Boosting Decision Tree,GBDT)和隨機森林(Random Forest,RF).

訓練集和測試集樣本分配比例為8:2,即訓練集快樂樣本為752 幀,悲傷樣本196 幀,測試集快樂樣本188,悲傷樣本49 例.

訓練集選用十折交叉驗證的方法分別計算每折特征快樂樣本和悲傷樣本各自的識別率以及總識別率.通過十折平均的方法計算訓練集的識別率,最終通過所有訓練集樣本預測最終測試集識別率.

3 結(jié)果與討論

最終基于上述訓練集和測試集劃分方法以及分類策略得各個分類器的結(jié)果如表2所示.

表2 各分類器識別結(jié)果(%)

從表2中可以看出,不論總識別率還是各狀態(tài)的識別率,基于集成學習算法的識別率高于樸素貝葉斯分類和RBF_SVC,且由于樣本的不均勻性,導致了RBF_SVC 和樸素貝葉斯分類的快樂樣本的識別率極高,而悲傷樣本的識別率很低,因此識別結(jié)果不具備代表性.對于此類問題,說明基于單核分類算法在劃分超平面時對樣本進行分類的能力略弱于基于多核分類的集成算法.且從表2可以看出,同樣是集成學習,GBDT 的分類效果優(yōu)于RF,說明建立使之前模型殘差往梯度方向減小的方法在本研究中比生成并行化決策樹的方法具有更加的分類效果.

現(xiàn)有的EEG 情緒算法大多基于被試的個人情況,在實時識別之前需要進行訓練,通過刺激(如聲音或影片)來誘發(fā)被試的情緒,并同時記錄實時EEG 信號,再基于采集到的信號進行特征提取和分類建模.現(xiàn)在已有一些研究通過機器學習的方法對情緒分類,而情緒分類的關(guān)鍵在于不同情感的特征提取過程,針對這個問題,研究人員從不同角度做了大量的工作,比如分別提取能量特征量、功率譜特征量、熵值等非線性參數(shù)以及統(tǒng)計特性量等.例如,劉爽等提取腦電的功率譜特征,使用SVM 對四分類進行分類,文章提出了使用同源樣本捆綁法,剔除非情緒因素的影響,避免傳統(tǒng)的樣本劃分方法帶來的虛高情緒識別率,提高了情緒識別的正確率,視頻誘發(fā)任務的平均識別率為72.53%[21].李昕等比較使用單一小波特征(小波系數(shù)能量和小波熵)、近似熵和Hurst 指數(shù)特征量與融合特征在情緒識別上的準確性,單一特征的正確率情感識別的均值分別是73.15%、50.00%和45.54%,而改進算法識別準確率均值在85%左右[22].鐘銘恩等利用db5 小波分解算法分解信號,提取情緒狀態(tài)顯著的腦電信號成分,并計算相應的功率譜,識別出平靜、興奮和悲傷3 種情緒狀態(tài)[23].Nie D 等使用多特征融合的方法,采用SVM分類器,進行2 分類,得到87.53%的準確率,對特征進行處理,去除與情緒無關(guān)的特征,得到89.22%[24].本文采用特征融合的方法,將分形維度、樣本熵、微分熵等特征進行特征融合,得到了較好的情緒識別的特征.

也有研究者對情緒識別的分類器進行的研究,例如,Zheng WL 等將深度學習與傳統(tǒng)的分類器KNN、SVM、GELM 等分類器進行對比,對情緒進行二分類[25].本文也選取了幾種分類器對情緒進行分類,結(jié)果顯示GBDT 的分類效果優(yōu)于RF.

在實際應用場景中,多通道腦電產(chǎn)品不適用,影響客戶體驗,雖然有研究使用較少的通道來進行情緒識別,但是有效率低,實際試用中可能出現(xiàn)識別不出或者區(qū)分錯誤的情況.本研究使用雙通道便攜式腦電設備采集前額腦電信號(Fp1 和Fp2),提取多種特征進行融合,比較多種分類器,表明了僅采集兩通道數(shù)據(jù)的情況下,也可以達到較高的識別率,成果可為駕駛員情緒化狀態(tài)的實時監(jiān)測和識別提供新方法,以利于提高行車的安全性.

然而,本研究只是針對特定的視頻片斷進行特征提取以及分類,還未達到對真實環(huán)境下的實時判斷,由于腦電信號中的時間動態(tài)信息至關(guān)重要,而深度學習理論下長短時記憶網(wǎng)絡在時間上的遞歸結(jié)構(gòu),可以有效地解決這個問題,因此在后續(xù)的實時環(huán)境下,可采用LSTM 分類模型對不同情緒進行了分類.

4 結(jié)論

本文采用便攜式設備采集前額雙通道腦電數(shù)據(jù),通過視頻誘發(fā)情緒的方法,對被試觀看快樂和悲傷視頻時提取的腦電信號作為研究對象,基于二階統(tǒng)計原理的盲源分離算法剔除前額腦電信號中的眼電信息,之后分別從時域、頻域以及特征對稱性3 個方面進行特征向量的提取,并對所有特征向量使用PCA 降維.通過比較不同分類器的識別結(jié)果,得到GBDT 算法對快樂和悲傷情緒分類的準確率最高,為95.78%.本研究采用便攜式設備,在僅采集了雙通道數(shù)據(jù)的情況下完成了快樂和悲傷情緒的分類,得到了較高的識別率,為將來對駕駛員情緒化狀態(tài)的實時監(jiān)測和識別奠定了基礎(chǔ),為提高行車的安全性提供了理論保障.