基于心率變異性的情緒識別研究*

易慧，陳瑞娟△，鄧光華，胡淑芬，肖淑綿，王慧泉,2

(1.天津工業(yè)大學(xué)生命科學(xué)學(xué)院，天津 300387；2.天津市光電檢測技術(shù)與系統(tǒng)重點實驗室，天津工業(yè)大學(xué)，天津 300387)

1 引 言

情緒在人們生活中扮演重要角色，它影響著人們的行為，人機(jī)情感交互的關(guān)鍵技術(shù)之一是情緒識別，引發(fā)“情感計算”的出現(xiàn)[1]，情緒識別是對他人情緒狀態(tài)進(jìn)行識別和解釋的方法[2]，近年來這一領(lǐng)域正逐漸成為研究熱點。在情感計算領(lǐng)域中，常用的算法有支持向量機(jī)、K-最近鄰法、線性判別函數(shù)、多層感知器等，通過對腦電、肌電、呼吸、皮電等生理信號的研究，以實現(xiàn)情緒的精準(zhǔn)識別。

文本、語音、表情和勢態(tài)均可通過主觀意識的控制來隱藏實際的情感，但生理信號特征主要來自于神經(jīng)系統(tǒng)和內(nèi)分泌系統(tǒng)，且不受主觀意識的控制，能夠更加真實地反映出人的情感特征[3]。目前，使用多種生理信號聯(lián)合識別的分類精度較單一生理參數(shù)的識別精度高，多模態(tài)生理信號的情緒識別被廣泛應(yīng)用。在上述生理信號中，心電信號蘊(yùn)藏豐富的生理信息。心率變異性(heart rate variability, HRV)不僅可以表現(xiàn)人體內(nèi)外環(huán)境對心血管系統(tǒng)的影響，也反映了心血管系統(tǒng)在自主神經(jīng)及體液調(diào)節(jié)下做出的相應(yīng)調(diào)節(jié)。因為情緒狀態(tài)的變化直接影響自主神經(jīng)系統(tǒng)及體液調(diào)節(jié)，所以個人的情緒變化可以在HRV中得到反映體現(xiàn)，即HRV能夠用來進(jìn)行情緒識別[4]。Picard等[5]通過一系列的實驗證明從人類的特定生理信號中提取某些有效的特征組合，將其用于情感識別的研究是可行的。Ekman[6]在對人體生理信號的研究過程中發(fā)現(xiàn)某些生理反應(yīng)對具體情感狀態(tài)的產(chǎn)生具有特異性,且心電采集設(shè)備較腦電采集設(shè)備更加便攜，易于采集，極大地方便人機(jī)情緒交流的市場化和商業(yè)化。

HRV[7]指心電信號R-R間期逐波之間的微小差異，它包含豐富的自主神經(jīng)系統(tǒng)反應(yīng)信息，心率變異性常常視作為心臟的窗口，HRV很大程度上反映了心臟對外界環(huán)境的適應(yīng)能力,而這種適應(yīng)性主要是由自主神經(jīng)系統(tǒng)對心臟的調(diào)控來實現(xiàn)的[8]，因其可以無創(chuàng)、定量評估自主神經(jīng)系統(tǒng)功能，不僅廣泛應(yīng)用在臨床上,也已越來越多地應(yīng)用在情緒識別中[9]。研究表明，通過加強(qiáng)對老年高血壓患者的心理疏導(dǎo)和支持可以緩解患者的焦慮抑郁情緒,從而改善老年高血壓患者的血壓變異性、心率變異性及生活質(zhì)量[10]。同時，對情緒進(jìn)行識別在提升新產(chǎn)品的用戶體驗、員工培訓(xùn)、改善醫(yī)療護(hù)理等方面均具有重要意義。

2 實驗設(shè)計與心電信號采集

2.1 情緒的誘發(fā)方式

情緒誘發(fā)方式多種多樣，有研究者使用音樂聽覺刺激的方式來誘發(fā)情緒，也有使用圖片即視覺刺激的方式來誘發(fā)情緒，目前國際上常用的情緒誘發(fā)素材庫包括國際情緒圖片系統(tǒng) ( international affective picture system,IAPS)和國際情緒聲音庫 ( international affective digitized sounds,IADS)為情緒研究工作提供了較標(biāo)準(zhǔn)的誘發(fā)素材庫，但是由于一定的文化差異，該情緒誘發(fā)素材并不適合在中國使用[11]。電影剪輯法既有視覺刺激也有聽覺刺激，可較好地誘發(fā)人的情緒，因此，本研究使用電影剪輯法來進(jìn)行情緒誘發(fā)。

情緒可通過效價和喚醒度的二維空間模型進(jìn)行精確定義，空間模型從這兩個方面給出情緒特有的特征。本研究選取不同喚醒度的八種情緒，即恬靜、氣憤、悲傷、恐懼、厭惡、平靜、驚奇、搞笑，這八種情緒的二維空間模型見圖1，每種情緒選取兩段不同的視頻來進(jìn)行誘發(fā)。實驗中選取視頻的標(biāo)準(zhǔn)是情節(jié)易于理解，且每段視頻僅誘發(fā)單一情緒。

圖1 情緒的二維空間模型Fig.1 The two-dimensional space modelofemotion

2.2 情緒誘發(fā)實驗的設(shè)計與采集

實驗采集了八種不同的情緒，每種情緒兩段視頻，每段視頻時長5 min，視頻總時長80 min，情緒誘發(fā)流程見圖2，每段視頻中間被試者休息2 min以平復(fù)情緒。

受試者在觀看視頻的同時填寫主觀量表，量表內(nèi)容包括情緒類型選擇及其誘發(fā)情緒的強(qiáng)度，強(qiáng)度等級分別為很強(qiáng)、較強(qiáng)、一般、無感。以主觀量表驗證誘發(fā)材料能否誘發(fā)相應(yīng)的情緒，誘發(fā)的情緒是否純凈，從而為客觀分類提供參考標(biāo)準(zhǔn)。

圖2 情緒誘發(fā)實驗流程Fig.2 Flowchart of emotion evoked experiment

本研究選擇23位無心理疾病和心血管疾病的在校學(xué)生為受試者，實驗前無劇烈運(yùn)動(避免運(yùn)動后心率過快)。實驗現(xiàn)場見圖3，在標(biāo)準(zhǔn)實驗室進(jìn)行，顯示器置于離受試者80～100 cm處，受試者間均隔板隔開，避免相互干擾。心電采集部分是由多功能生理信號采集系統(tǒng)中的心電采集單元完成的。

為了確定情緒材料信效度，即情緒材料是否成功誘發(fā)了相應(yīng)情緒，針對視頻材料進(jìn)行了事后分析，選取了受試者的主觀報告數(shù)據(jù)，進(jìn)行了統(tǒng)計學(xué)的分析評估，t檢驗的評估結(jié)果顯示，除了驚奇外其他情緒均成功誘發(fā)且純凈。

圖3 實驗場景Fig.3 Experimental scene

3 心電信號預(yù)處理和特征值提取

3.1 心電信號預(yù)處理

由于心電信號極其微弱，所以提取到的心電信號存在多種噪聲和電磁干擾，如肌電干擾、運(yùn)動偽差、電極接觸噪聲等。本研究采用小波變換(wavelet transform，WT)對心電信號進(jìn)行分解和重構(gòu)以減小噪聲，去噪前后對比見圖4。

圖4 小波變換去噪前后對比(a).去噪前心電波形;(b).小波變換去噪后心電波形Fig.4 Comparison of wavelet transform before and after denoising(a).before denoising; (b).after denoising

小波變換(WT)是一種新的變換分析方法，它繼承和發(fā)展了短時傅立葉變換局部化的思想，同時又克服了窗口大小不隨頻率變化等缺點，能夠提供一個隨頻率改變的“時間-頻率”窗口，是進(jìn)行信號時頻分析和處理的理想工具。WT的原理是把某一被稱為基本小波(也稱母小波，Mother Wavelet)的函數(shù)ψ(t)做位移τ后，再在不同尺度a下與待分析的信號x(t)做內(nèi)積：

(1)

等效的頻域表示為：

(2)

式中，X(w)和Ψ(w)分別是x(t)和ψ(t)的傅里葉變換。

與傅里葉變換相比，WT能夠準(zhǔn)確地分析出信號在何時發(fā)生畸變，可以檢測出其他分析方法忽略的信號特征，能以非常小的失真度實現(xiàn)對信號的壓縮與消噪。總之，研究中采用的WT模極大值去噪方法根據(jù)信號與噪聲在WT下不同的特性來對信號進(jìn)行消噪，最大的優(yōu)點是具有“局部化”性質(zhì)和“數(shù)學(xué)顯微鏡”性質(zhì)，很適合于非線性、非平穩(wěn)信號的分析[12]，能夠在去噪同時最大限度地保留信號的原始信息,因而利于用在信噪比較低的生物信號的提取中[13]。

3.2 特征值的提取

采用Pan等[14]提出的一種經(jīng)典pan_tompkin(PT)算法來檢測QRS波群信息，見圖5。提取的R波峰值信息，見圖6。該算法原理簡單，實時性好[15]，包含有帶通濾波、微分、微分、平方、滑窗積分等過程。

圖5 PT算法用于QRS信息檢測Fig.5 The PT algorithm have been used for information detection

圖6 提取的R峰Fig.6 The extracted R peak

本研究一共提取了16個HRV特征參數(shù)，包含9個時域特征，7個頻域特征，特征意義見表1和表2，時域上主要提取RR間期的相關(guān)參數(shù)，頻域上主要提取能量相關(guān)的參數(shù)，表3列出了一位受試者在不同的情緒下提取的部分HRV特征值。

表1 HRV時域特征Table 1 Time-domaincharacteristics of HRV

表2 HRV頻域特征Table 2 Frequency-domaincharacteristics of HRV

表3 不同情緒的部分特征值Table 3 Partial eigenvalues of different emotions

4 識別算法與結(jié)果分析

4.1 算法分析

提取特征值后，本研究采用支持向量機(jī)(support vector machine,SVM)來進(jìn)行情緒分類。SVM[16]是由Vapnik提出的基于結(jié)構(gòu)風(fēng)險最小化的準(zhǔn)則，其中結(jié)構(gòu)風(fēng)險是指經(jīng)驗風(fēng)險與置信區(qū)間的和。SVM尋找一個最優(yōu)分隔超平面，該超平面能最大程度地將這兩個類別的訓(xùn)練樣本分開，同時使每類樣本到它的距離盡可能的大[17]，它是一種解決小樣本、非線性、高維機(jī)器學(xué)習(xí)問題的較優(yōu)方法，適用于心電信號。

4.2 結(jié)果與分析

首先對特征值數(shù)據(jù)集進(jìn)行八分類，任意選取其中10組受試者數(shù)據(jù)共160段心電作為訓(xùn)練集，5組受試者數(shù)據(jù)共80段心電作為測試集，用SVM分類，核函數(shù)為徑向基，16個特征值作為數(shù)據(jù)集，精確度為13.75%(11/80)；已有研究表明MEAN、SDNN、RMSSD、PNN50、HFn、LFn、HF/LF這七個特征值與情緒之間的聯(lián)系更為緊密，若用以上七個特征值作為數(shù)據(jù)集進(jìn)行八分類，其他條件不變，精確度為16.25%(13/80)，分類效果不佳。

八分類的種類較多，加上個體差異性較大，因此分類效果不佳，現(xiàn)選取比較典型的、對心率變異性影響較大的四類情緒進(jìn)行分析，分別為搞笑、悲傷、恐懼、平靜。16個特征值作為數(shù)據(jù)集，選10組受試者數(shù)據(jù)共80例樣本作為訓(xùn)練集，5組受試者數(shù)據(jù)共40例樣本作為測試集，精確度為30% (12/40)；七個特征值作為數(shù)據(jù)集，選10組受試者數(shù)據(jù)共80例樣本作為訓(xùn)練集，5組受試者數(shù)據(jù)共40例樣本作為測試集，精確度為37.5% (15/40)；由上述可見，七個典型的特征值的分類結(jié)果較優(yōu)于16個特征值的分類結(jié)果。

對平靜、搞笑、悲傷、恐懼四類情緒分別作了一對一的分類(七個特征值)，結(jié)果見表4,由于恐懼和平靜兩種情緒在喚醒度上差異較大，分類效果最佳，達(dá)75%。

表4 二分類精確度Table 4 Accuracy of two-category

由于HRV存在較大的個體差異，所以對特征值作如下處理：(平靜狀態(tài)的特征值-各種情緒特征值)/平靜狀態(tài)的特征值。由于不同的情緒對SVM參數(shù)的敏感度不同，通過調(diào)整SVM的參數(shù)進(jìn)行建模的改進(jìn)，調(diào)參后的結(jié)果見表5，可見通過特征值優(yōu)化和參數(shù)調(diào)整提高分類精度。

表5 調(diào)參后的精確度Table 5 Accuracy after parameter adjustment

5 結(jié)論

本研究探究了不同情緒下的心電信號與自主神經(jīng)系統(tǒng)的特征變化，通過不同情緒下的心電信號采集實驗，對恬靜、氣憤、悲傷、恐懼、厭惡、平靜、驚奇、搞笑等八種情緒進(jìn)行了分類識別。首先采用WT法降低噪聲干擾，其次提取了HRV關(guān)于時域、頻域的特征參數(shù)，并提出了相對特征值法以減小個體差異；最后利用SVM算法實現(xiàn)情緒分類。經(jīng)過不斷調(diào)整SVM的參數(shù)得到精度為60%～75%的分類結(jié)果。針對本研究的分類結(jié)果，在以下方面可以進(jìn)一步探索，以提高識別精度：增加建模數(shù)據(jù)量，縮小個體差異；增加其他維度的生理信號，提高建模精度；改進(jìn)建模手段，用深度學(xué)習(xí)等方法提高建模精度。本研究提出的基于HRV的特征信息進(jìn)行多種情緒的分類識別方法將主觀情緒與客觀生理信號之間建立聯(lián)系，對情緒識別的研究奠定了基礎(chǔ)。本方法對影片的測評、培訓(xùn)評價、提升新產(chǎn)品的用戶體驗、員工培訓(xùn)、改善醫(yī)療護(hù)理等方面具有廣泛的應(yīng)用價值。