基于ECG和HRV特征提取的情緒狀態(tài)分析

郭景詩，喬曉艷

(山西大學(xué) 物理電子工程學(xué)院，山西 太原 030006)

情感在人們?nèi)粘Ｉ钪邪l(fā)揮著非常重要的作用，是決定認(rèn)知、 溝通和決策能力的關(guān)鍵因素. 情緒是情感的具體表現(xiàn)，利用機(jī)器分析和識別情緒是學(xué)者們一直追求的研究目標(biāo). 心電(ECG)是心臟每一個心動周期所產(chǎn)生的電活動變化，心電相鄰心拍中R-R間期的變化稱為心率變異性(HRV)，ECG信號和HRV信號可以直觀地反映心臟活動，與自主神經(jīng)系統(tǒng)有著密切關(guān)系，不同情緒狀態(tài)有特定的自主神經(jīng)反應(yīng)模式，因而，ECG和HRV可以反映人體情緒變化[1]. 目前，國內(nèi)外采用ECG和HRV信號進(jìn)行情緒識別研究取得了一定進(jìn)展. 如易慧、 陳瑞娟、 鄧光華等[2]提取了ECG信號的時域特征和頻域特征參數(shù)，并用支持向量機(jī)算法實(shí)現(xiàn)了情緒的分類，對于不同情緒的識別精度達(dá)到60%～75%； Nardell[3]等提取了HRV信號的時域、 頻域特征、 近似熵、 去趨勢波動分析(DFA)和滯后龐加萊圖(LPP)特征參數(shù)，使用二次判別分類器進(jìn)行情緒的分類識別，達(dá)到84%的正確率； Yu等[4]提取了HRV信號的11種時域特征、 6種頻域特征和龐加萊圖特征，采用遺傳算法進(jìn)行特征選擇后，利用支持向量機(jī)進(jìn)行情緒的4分類，最后得到了90%的平均分類正確率. 但是，用ECG和HRV信號進(jìn)行情緒識別提取特征過多，其特征對不同情緒狀態(tài)之間的特異性關(guān)系尚不明確，有效性也有待進(jìn)一步探討研究. 此外，心電和心率變異的非線性特征在情緒識別和分析中研究的不充分，而情緒的表現(xiàn)很復(fù)雜，時頻非線性特征更容易描述情緒的復(fù)雜性和動態(tài)特性. 通過提取較多信號特征量，再進(jìn)行特征優(yōu)化選擇，不利于情緒狀態(tài)實(shí)時分析，特別是針對可穿戴設(shè)備動態(tài)監(jiān)測情緒的實(shí)際應(yīng)用，需要獲得與情緒密切相關(guān)、 有特異性關(guān)系的少量生理特征. 因此，本文通過小波分解提取小波系數(shù)模極大極小值和過零點(diǎn)，充分利用小波變換對突變點(diǎn)檢測的有效性和準(zhǔn)確性，實(shí)現(xiàn)心電R波精確定位，獲得準(zhǔn)確反應(yīng)情緒的HRV特征信號. 然后，分別提取ECG和HRV信號時域、 頻域和時頻非線性特征，在統(tǒng)計分析ECG、 HRV情感特征的基礎(chǔ)上，旨在尋找到差異最顯著的生理信號特征，為利用心電信號進(jìn)行實(shí)時動態(tài)情緒識別提供有力支持.

1 情感生理數(shù)據(jù)庫和情感模型

1.1 情感生理數(shù)據(jù)庫

德國 Augsburg 大學(xué) HCM 實(shí)驗(yàn)室的情感生理數(shù)據(jù)庫是最簡單也最為常用的數(shù)據(jù)庫. 它采用4種不同風(fēng)格的音樂作為情感誘發(fā)素材，在25 d內(nèi)連續(xù)采集單一受試者4種離散情感狀態(tài)： 高興(joy)、 憤怒(anger)、 悲傷(sadness)和愉悅(pleasure)的生理信號，包括心電、 肌電、 皮膚電以及呼吸. 每種數(shù)據(jù)的長度是2 min，其中，心電的采樣頻率為256 Hz，心電信號含有100(25×4)個數(shù)據(jù)樣本，4種情緒狀態(tài)各25個心電數(shù)據(jù)樣本，該數(shù)據(jù)庫是目前對單人進(jìn)行情感研究最常用的數(shù)據(jù)庫. 為了更有效地處理數(shù)據(jù)，本文以60 s為時間間隔將每個ECG信號分成2段，得到200(50×4)個心電樣本，每種情感狀態(tài)包含50個ECG，選取30個組成ECG數(shù)據(jù)樣本集； 然后，從原始ECG信號以及ECG組合信號中，經(jīng)過HRV特征提取，截取HRV序列長度為130個采樣點(diǎn)，對4種情緒狀態(tài)各選取30組HRV特征信號，組成HRV數(shù)據(jù)樣本集. 該ECG和HRV數(shù)據(jù)樣本集用于后續(xù)的特征提取和情緒狀態(tài)分析.

1.2 情感模型

對于情緒的表征方式，目前在學(xué)術(shù)界達(dá)成明確共識的主要有離散情感模型和連續(xù)情感模型兩類. 離散模型認(rèn)為，所有的情緒是由若干基本情緒或?qū)厩榫w組合而構(gòu)成的,如Plutchik[5]等人提出了8種基本情緒： 憤怒，恐懼，期待，悲傷，厭惡，驚訝，接受和歡樂. 除此之外，其他情緒都可以通過這些基本情緒的組合形成，如失望可由悲傷和驚訝組合而成. 連續(xù)情感模型是用多維連續(xù)矢量表征情緒狀態(tài)，例如把情緒映射到效價(valence)、 喚醒度(arousal)、 優(yōu)勢度(dominance)3個維度上的V-A-D三維模型. 可以根據(jù)研究需求，對模型的表征空間進(jìn)行劃分，維度空間不同區(qū)域表示不同情緒類型： 如高興可認(rèn)為是一種高效價、 高喚醒程度的情緒，而憤怒則對應(yīng)低效價、 高喚醒程度的情緒. 本文所采用的情感生理數(shù)據(jù)庫是基于離散情感模型.

2 心電R波檢測與HRV特征提取

2.1 心電信號預(yù)處理

圖1 是一段典型的ECG信號波形，主要由P波、 T波和QRS波群構(gòu)成.

圖1 心電圖波形Fig.1 ECG waveform

人體的ECG信號頻率低且非常微弱，一般地，其幅值在5 mV以下，主要頻率范圍為0.051 Hz. 受周圍環(huán)境和人工測量的影響，ECG信號通常存在3種干擾類型： 肌電(EMG)干擾、 基線漂移和工頻干擾. 結(jié)合Augsburg數(shù)據(jù)庫的心電數(shù)據(jù)和本研究只需提取心電R波的實(shí)際情況，本文對ECG信號進(jìn)行濾除肌電干擾的預(yù)處理.

由于肌電信號的主要頻帶范圍為100 Hz～300 Hz，主要的能量集中在150 Hz. 論文采用5階Butterworth數(shù)字低通濾波器濾除肌電干擾[6].

圖2 所示是濾除肌電干擾前、 后的ECG信號(僅顯示5 s時長)，可以看出，高頻的肌電干擾得到有效濾除.

圖2 原始ECG信號和預(yù)處理后的ECG信號Fig.2 Original ECG signal and pre-processed ECG signal

2.2 小波變換的R波檢測

獲得HRV特征信號首先需要提取ECG信號的R波，根據(jù)小波變換(WT)檢測信號突變點(diǎn)的方法，選取與ECG信號形態(tài)近似的mexh小波作為小波母函數(shù)，提取ECG信號的R波. 具體算法過程如下：

1) 確定WT系數(shù)： 將預(yù)處理后的ECG信號進(jìn)行6層mexh小波分解，得到WT系數(shù)矩陣wsig.

2) 檢測極大極小值對： 在小波變換域上，首先找到所有峰值點(diǎn)并放入sigmax矩陣中； 將矩陣sigmax中的數(shù)據(jù)進(jìn)行排序，獲得前8個極大值點(diǎn)和后50個極小值點(diǎn)的兩個均值后，以兩者之間差值的25%～55%(根據(jù)不同數(shù)據(jù)幅值的差異來進(jìn)行靈活調(diào)整)作為閾值，檢測整條數(shù)據(jù)的極大極小值點(diǎn)來獲得極大極小值對(Max-Min Pairs)[7].

3) 初步確定R波峰值點(diǎn)： 求取Max-Min Pairs的零交叉點(diǎn)，記此點(diǎn)的位置點(diǎn)為rvalue(i)，初步確定rvalue(i)是R波峰值點(diǎn)，以此類推求取整條ECG數(shù)據(jù)的R波波峰.

4) 排除誤檢漏檢： 計算相鄰極值點(diǎn)之間的時間間隔Rt，若Rt小于100 ms或大于300 ms，則刪掉幅值較小的一個，以獲取新的R波峰值點(diǎn)矩陣rvalue.

5) 對原始信號進(jìn)行精確校準(zhǔn)： 在rvalue(i)之前和之后取5個采樣點(diǎn)，在這10個采樣點(diǎn)中找到最大值，并將該點(diǎn)重新確定為R波的峰值.

由此提取得到的心電R波波峰(圓點(diǎn))如圖3 所示，R波的檢測精度為100%.

圖3 小波變換提取的R波波峰Fig.3 R wave peak extracted by wavelet transform

2.3 HRV特征信號提取

HRV信號用來反映心臟在每個跳動節(jié)拍內(nèi)存在的周期差異變化現(xiàn)象，HRV的大小反映自主神經(jīng)系統(tǒng)的交感神經(jīng)活性與迷走神經(jīng)活性及平衡的協(xié)調(diào)關(guān)系，提供自主神經(jīng)系統(tǒng)和壓力狀態(tài)的信息，HRV能一定程度上表征情緒變化. 論文通過計算心電R波波峰對應(yīng)時間的一階差分，得到HRV特征信號，計算公式為

HRV(i)=R(i+1)-R(i),

(1)

式中：i為R波峰位置對應(yīng)的采樣點(diǎn).

圖4 為四種情緒狀態(tài)的HRV信號時域圖，橫坐標(biāo)為心電R波波峰位置對應(yīng)的采樣點(diǎn)，縱坐標(biāo)代表每種情緒的HRV值.

圖4 4種情緒狀態(tài)HRV信號波形圖Fig.4 HRV signal of different emotions

由圖4 中的HRV信號可以看出，不同情緒狀態(tài)下的HRV信號波形存在明顯差異，可通過分析HRV信號的各種特征來判斷被試者的情緒狀態(tài).

2.4 小波熵

小波熵(WE)是結(jié)合小波變換與信息熵理論的一種特征分析方法，可以反映信號的復(fù)雜性并獲得非線性動態(tài)時頻特征信息，其值越大，說明復(fù)雜性越高. 計算WE的過程如下：

2) 小波系數(shù)能量分布表示為Pi=Ei/E；

3) 計算小波熵WE(P)=-∑Piln(Pi).

3 ECG和HRV信號情感特征分析

提取ECG，HRV信號的時域、 頻域、 時頻非線性特征，進(jìn)一步分析不同情緒狀態(tài)的ECG，HRV特征差異.

3.1 時域特征

3.1.1 ECG時域特征

不同情緒的ECG信號在時域上存在差異，本文采用標(biāo)準(zhǔn)差來度量每一種不同情緒ECG信號的離散程度，標(biāo)準(zhǔn)差計算公式為

(2)

分別計算4種情緒狀態(tài)ECG信號的標(biāo)準(zhǔn)差，圖5 所示為其歸一化后標(biāo)準(zhǔn)差值的柱狀圖，表 1 為其差異性分析結(jié)果，其中SS為偏差平方和，df為自由度，MS為均方值；F為檢驗(yàn)統(tǒng)計量，等于組間MS與組內(nèi)MS的比值，F(xiàn)crit是檢驗(yàn)臨界值；P-value是顯著性差異水平. 在F>Fcrit時，若P-value<0.05，表明特征在顯著水平α上差異顯著，當(dāng)P-value<0.01時，表明特征在顯著水平α上差異極顯著.

表 1 ECG信號標(biāo)準(zhǔn)差的方差分析Tab.1 The variance analysis of standard deviation for ECG signals

圖5 不同情緒下的ECG信號標(biāo)準(zhǔn)差柱狀圖Fig.5 The histogram of standard deviations for ECG signalsunderfour emotions

3.1.2 HRV時域特征

HRV的時域分析是對提取到的RR時間間隔進(jìn)行數(shù)學(xué)運(yùn)算，可以評估自主神經(jīng)系統(tǒng)對心率變化的調(diào)節(jié)情況. 本文選用的時域評價指標(biāo)為：

1)SDNN： RR間期的標(biāo)準(zhǔn)差，單位為ms.

2)SDSD： 相鄰RR間期時間長度之差的標(biāo)準(zhǔn)差，單位為ms.

對4種情緒狀態(tài)HRV信號的SDNN，SDSD特征進(jìn)行統(tǒng)計分析，如圖6 為其歸一化后SDNN，SDSD的柱狀圖，表2為其差異性分析結(jié)果.

表 2 HRV信號時域特征的方差分析Tab.2 The variance analysis of time-domain featuresfor HRV signal

圖6 不同情緒下的HRV信號時域特征柱狀圖Fig.6 The histogram of time-domain features forHRV signals under four emotions

3.1.3 時域特征分析

從圖5 的柱狀圖可以看出，不同情緒下ECG信號的標(biāo)準(zhǔn)差存在明顯差異. 其中，憤怒和悲傷的標(biāo)準(zhǔn)差值較高興和愉悅的標(biāo)準(zhǔn)差值更高，表明憤怒和悲傷情緒的ECG信號與其平均值的離散程度大，ECG信號波動更大. 從圖6中的柱狀圖可以看出，不同情緒下HRV信號的SDNN，SDSD特征存在明顯差異. 其中，高興和悲傷的SDNN值較憤怒和愉悅的SDNN值更大，表明高興和悲傷情緒的心率總體變化較大； 負(fù)性情緒(憤怒和悲傷)的SDSD值較正性情緒(愉悅和高興)的SDSD值大，表明負(fù)性情緒的心率變化快的成分更多.

從表 1、 表 2 的差異性分析結(jié)果可以看出，ECG信號標(biāo)準(zhǔn)差的方差分析P-value=0.049<0.05，表明4種情緒下ECG標(biāo)準(zhǔn)差時域特征差異顯著； HRV信號SDNN特征的方差分析P-value=0.013 4<0.05，表明4種情緒下HRV的SDNN特征值差異顯著，SDSD特征的方差分析P-value=0.004 66<0.01，表明4種情緒下HRV的SDSD特征值差異極顯著. 同時，HRV信號時域特征的P-value明顯要比ECG信號時域 特征的P-value更小，表明4種情緒下HRV信號時域特征比ECG信號時域特征差異性更顯著.

3.2 頻域特征

3.2.1 ECG頻域特征

對信號進(jìn)行功率譜分析可以提取不同情緒狀態(tài)ECG信號頻域特征. 基于自回歸(AR)模型的現(xiàn)代譜估計，相比經(jīng)典周期圖譜估計得到的頻譜曲線更平滑，譜峰的中心頻率容易識別，對時間序列長度要求更短[8]. 本文采用pburg法AR模型功率譜估計，模型階數(shù)設(shè)置為8，計算4種情緒狀態(tài)ECG信號的功率譜密度. 為了能夠定量分析，對得到的功率譜密度進(jìn)行標(biāo)準(zhǔn)差計算，得到4種情緒狀態(tài)ECG信號功率譜密度的標(biāo)準(zhǔn)差. 圖7 為歸一化后的功率譜密度標(biāo)準(zhǔn)差柱狀圖，其差異性分析結(jié)果如表 3 所示.

表 3 ECG信號功率譜密度標(biāo)準(zhǔn)差的方差分析Tab.3 The variance analysis of PSD standard deviationfor ECG signal

圖7 不同情緒下ECG信號功率譜密度標(biāo)準(zhǔn)差柱狀圖

3.2.2 HRV頻域特征

正常人基礎(chǔ)狀態(tài)下HRV頻譜的頻率范圍為0 Hz～0.4 Hz，其中，0.003 Hz～0.04 Hz為甚低頻段(VLF)，0.04 Hz～0.15 Hz 為低頻段(LF)，0.15 Hz～0.4 Hz 為高頻段(HF). 對HRV信號進(jìn)行頻域分析時，發(fā)現(xiàn)頻譜的不同頻段對應(yīng)著不同神經(jīng)電活動，如低頻功率主要反映交感神經(jīng)的活動，高頻功率反映迷走神經(jīng)的活動[9]. 本文提取了4種情緒狀態(tài)下HRV信號頻譜的總功率TP、 高頻功率PHF、 低頻功率PLF、 低頻功率與高頻功率之比LF/HF4個頻域特征，繪制了如圖8 所示的歸一化后HRV頻域特征的柱狀圖，并進(jìn)行差異性分析，結(jié)果如表 4 所示.

表 4 HRV信號頻域特征的方差分析Tab.4 Variance analysis of frequency domain features for HRV signals

圖8 不同情緒下HRV信號頻域特征柱狀圖Fig.8 The histogram of frequency domain features forHRV signal under four emotions

3.2.3 頻域特征分析

從圖7 柱狀圖可以看出，不同情緒下ECG信號的功率譜密度存在明顯差異. 其中，憤怒和悲傷的功率譜密度的標(biāo)準(zhǔn)差值較高興和愉悅的更高，表明憤怒和悲傷情緒的ECG信號功率譜密度值波動更大.

從圖8柱狀圖可以看出，不同情緒下HRV信號的TP，PHF，PLF，LF/HF特征皆存在明顯差異. 其中，悲傷和愉悅的TP值較高興和憤怒的TP值更大，表明悲傷和愉悅情緒的自主神經(jīng)系統(tǒng)整體的活性較大； 憤怒和悲傷的高頻功率PHF值較愉悅和高興的PHF值大，表明憤怒和悲傷情緒下個體的迷走神經(jīng)對心率的調(diào)節(jié)更大； 高興和悲傷的低頻功率PLF值較愉悅和憤怒的PLF值大，表明高興和悲傷情緒下個體的交感神經(jīng)和迷走神經(jīng)對心率的共同調(diào)節(jié)更大； 高興和憤怒的LF/HF值較愉悅和悲傷的LF/HF值更大，表明高興和憤怒情緒下自主神經(jīng)系統(tǒng)的平衡狀態(tài)更好.

從表 3、 表 4 的差異性分析結(jié)果可以看出，ECG信號的功率譜密度標(biāo)準(zhǔn)差的方差分析P-value=0.013 4<0.05，表明4種情緒下ECG功率譜密度差異顯著； HRV信號的TP，PHF，PLF，LF/HF特征的方差分析P-value值皆小于0.01，表明4種情緒下HRV的TP，PHF，PLF，LF/HF特征值差異極顯著. 同時，HRV信號頻域特征的P-value值明顯小于ECG信號頻域特征的P-value值，表明4種情緒狀態(tài)HRV信號頻域特征相比ECG信號頻域特征的差異性更顯著.

3.3 時頻非線性特征

3.3.1 ECG小波熵特征

在不同情緒狀態(tài)下，ECG和HRV信號的幅度不同，而且不同情緒狀態(tài)的ECG信號小波分解后各尺度對應(yīng)頻帶上的能量也不相同，小波熵可以反映信號不同尺度小波系數(shù)能量分布的非線性復(fù)雜程度，所以采用小波熵對不同情緒狀態(tài)及具有非平穩(wěn)特性的ECG和HRV信號進(jìn)行分析是可行的[10]. Kutlu和Kuntalp[11]用不同小波基對ECG信號分解結(jié)果進(jìn)行了對比，指出db6小波基的平滑特性使得其分析ECG信號時可得到最好的特征集，更加適合用于心電信號的處理. 本文選取db6小波基函數(shù)對ECG信號進(jìn)行3層分解，提取4種情緒狀態(tài)下ECG信號的小波熵特征，繪制如圖9 所示的小波熵柱狀圖，并進(jìn)行情緒狀態(tài)的差異性分析，結(jié)果如表 5 所示.

圖9 不同情緒下ECG信號的小波熵柱狀圖Fig.9 WE histogram of ECG signal under four emotions

表 5 4種情緒狀態(tài)的ECG信號小波熵方差分析Tab.5 WE variance analysis for ECG signal under four emotions

3.3.2 HRV小波熵特征

對HRV信號小波基函數(shù)的選取根據(jù)自相似原則[12]，即若小波基函數(shù)與信號具有相似性，則小波變換后的能量比較集中，可減少計算量，本文選取db10小波基函數(shù)對HRV信號進(jìn)行3層小波分解. 然后，提取4種情緒下HRV信號的小波熵特征，繪制如圖10 所示的HRV小波熵柱狀圖，并進(jìn)行情緒狀態(tài)差異性分析，結(jié)果如表 6 所示.

表 6 4種情緒狀態(tài)的HRV信號小波熵方差分析Tab.6 WE variance analysis for HRV signal under four emotions

圖10 不同情緒下HRV信號小波熵柱狀圖

3.3.3 時頻非線性特征分析

從圖9 柱狀圖可以看出，不同情緒下ECG信號的小波熵存在明顯差異. 其中，高興和愉悅的小波熵值較憤怒和悲傷的小波熵值更高，表明高興和愉悅情緒的ECG信號復(fù)雜性和動態(tài)不確定性更高. 從圖10 柱狀圖可以看出，不同情緒下HRV信號的小波熵特征存在明顯差異. 其中，憤怒和悲傷的小波熵值相比高興和愉悅情緒的小波熵值更大，表明對于憤怒和悲傷情緒，HRV特征的復(fù)雜性和動態(tài)不確定性更高.

從表 5、 表 6 的差異性分析結(jié)果可以看出，ECG信號的小波熵方差分析P-value=0.001 4<0.01，HRV信號的小波熵特征方差分析P-value=2.483 01E-05<0.01，表明4種情緒下ECG，HRV信號的小波熵特征差異極顯著. 同時，HRV信號小波熵特征的P-value值明顯要比ECG信號小波熵特征的P-value值更小，表明4種情緒狀態(tài)HRV信號小波熵特征相比ECG信號差異性更顯著.

4 結(jié) 語

本文采用小波變換檢測奇異點(diǎn)的方法，通過提取ECG信號的模極值點(diǎn)和過零點(diǎn)，準(zhǔn)確定位R波并計算其波峰的一階差分，得到HRV特征信號. 然后提取ECG信號和HRV信號在時域、 頻域、 時頻非線性特征，實(shí)現(xiàn)對高興、 悲傷、 憤怒、 愉悅4種情緒狀態(tài)的特征分析. 結(jié)果表明，使用HRV特征對情緒進(jìn)行分析識別相比直接采用ECG特征更準(zhǔn)確、 差異性更顯著，而且小波熵、 HRV的頻譜總功率兩個生理特征量對應(yīng)的情緒狀態(tài)差異顯著性最高，故而在可穿戴設(shè)備情緒動態(tài)監(jiān)測分析中可以采用，該研究為情緒的機(jī)器識別提供了良好的借鑒.