基于灰色關(guān)聯(lián)法的生理信號(hào)與情緒關(guān)聯(lián)度研究

車敏詩(shī)，聶春燕，楊承金，阮新磊，范如俊

長(zhǎng)春大學(xué) 電子信息工程學(xué)院，長(zhǎng)春130022

情緒是人在客觀環(huán)境刺激下產(chǎn)生的短暫主觀反應(yīng)，其可以使人較好地適應(yīng)當(dāng)前環(huán)境[1]，是人與人交流的重要途徑之一。表情、語(yǔ)調(diào)和肢體動(dòng)作是人直觀表達(dá)情緒的方式，但這些方式主觀可控，存在無(wú)法反應(yīng)人真實(shí)情緒的可能性[2]。美國(guó)紐約城市大學(xué)的Andreassi指出，情緒的波動(dòng)伴隨著人體生理信號(hào)的變化，與生理信號(hào)存在密切客觀關(guān)系[3]。

近年來(lái)，隨著人機(jī)交互的發(fā)展，基于生理信號(hào)的情緒研究倍受關(guān)注。文獻(xiàn)[4]采用ReliefF算法提取Joy、Anger、Sadness、Pleasure狀態(tài)下心電（ECG）、肌電（EMG）、呼吸（RSP）、皮電（GSR）信號(hào)的特征，構(gòu)建J48決策樹(shù)模型進(jìn)行情緒識(shí)別；文獻(xiàn)[5]針對(duì)腦電（EEG）信號(hào)的時(shí)間動(dòng)態(tài)特性，采用長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)（LSTM）模型用于情緒識(shí)別；文獻(xiàn)[6]為解決模型所需訓(xùn)練數(shù)據(jù)大且計(jì)算復(fù)雜的問(wèn)題，基于GSR、ECG、EEG信號(hào)提出超維多模態(tài)情緒識(shí)別算法（HDC-MER）。然而，查閱大量相關(guān)文獻(xiàn)獲知，基于生理信號(hào)的情緒研究成果基本集中在情緒識(shí)別，關(guān)聯(lián)程度研究成果相對(duì)匱乏。明晰生理信號(hào)與情緒的關(guān)聯(lián)度有助于提高基于生理信號(hào)的情緒識(shí)別率，文獻(xiàn)[2]和文獻(xiàn)[7]是為數(shù)不多的關(guān)于生理信號(hào)與情緒關(guān)聯(lián)度的研究成果。文獻(xiàn)[2]基于自己建立的生理信號(hào)數(shù)據(jù)庫(kù)MPED，依據(jù)Spearman相關(guān)系數(shù)得出大腦前額葉的能量強(qiáng)度與積極情緒呈正相關(guān)，與消極情緒呈負(fù)相關(guān)的研究結(jié)果；文獻(xiàn)[7]使用經(jīng)驗(yàn)?zāi)B(tài)分解（EMD）算法提取EEG特征，并將其與心理狀態(tài)剖面圖（POMS）中的分量進(jìn)行皮爾森關(guān)聯(lián)分析，分析結(jié)果表明，前額葉FP1處的EEG與POMS中的憤怒分量呈顯著正相關(guān)。

情緒的波動(dòng)不僅與EEG有關(guān)聯(lián)，也與GSR、ECG、RSP等生理信號(hào)有關(guān)聯(lián)，但它們的關(guān)聯(lián)程度有待學(xué)者研究。本文采用德國(guó)Augsburg大學(xué)生理信號(hào)數(shù)據(jù)庫(kù)的數(shù)據(jù)，通過(guò)灰色關(guān)聯(lián)分析法對(duì)Joy、Anger、Sadness與ECG、RSP、SC信號(hào)進(jìn)行關(guān)聯(lián)度研究，并基于關(guān)聯(lián)度結(jié)果，采用CHAID決策樹(shù)模型進(jìn)行情緒識(shí)別分析。

1 生理數(shù)據(jù)的來(lái)源

生理信號(hào)數(shù)據(jù)的正確性和合理性是情緒關(guān)聯(lián)度研究的基礎(chǔ)，數(shù)據(jù)的質(zhì)量直接影響生理信號(hào)與情緒的關(guān)聯(lián)程度結(jié)果[8]。國(guó)際上有許多公開(kāi)的生理信號(hào)情緒數(shù)據(jù)庫(kù)，如東南大學(xué)情感信息處理實(shí)驗(yàn)室建立的MPED數(shù)據(jù)庫(kù)[2]、美國(guó)麻省理工學(xué)院媒體實(shí)驗(yàn)室建立的MIT情緒情感數(shù)據(jù)庫(kù)[9]和德國(guó)Augsburg大學(xué)計(jì)算機(jī)研究所建立的情緒數(shù)據(jù)庫(kù)[10]。

德國(guó)Augsburg大學(xué)使用被試者自選的4首音樂(lè)作為情緒誘發(fā)材料，歷時(shí)25天完成被試者在Joy、Anger、Sadness和Pleasure情緒狀態(tài)下的ECG、RSP、SC和EMG信號(hào)采集，其中ECG采集頻率是256 Hz，其余3種信號(hào)采集頻率為32 Hz，每個(gè)樣本時(shí)長(zhǎng)2 min。

本文選擇該數(shù)據(jù)庫(kù)的Joy、Anger、Sadness三種情緒及其相應(yīng)的ECG、RSP、SC信號(hào)作為實(shí)驗(yàn)數(shù)據(jù)來(lái)源，共75個(gè)樣本，每個(gè)樣本3 000數(shù)據(jù)點(diǎn)，用于生理信號(hào)與情緒關(guān)聯(lián)度研究。

2 灰色關(guān)聯(lián)分析法原理

關(guān)聯(lián)分析方法主要用于發(fā)現(xiàn)事物之間的依賴程度，常用方法有Apriori法[11]、FP-Growth法[12]、灰色關(guān)聯(lián)分析法[13]等。Apriori法計(jì)算效率低，存儲(chǔ)空間大，主要用于處理布爾型數(shù)據(jù)；FP-Growth法的計(jì)算效率高于Apriori法，但其性能受項(xiàng)表頭數(shù)據(jù)結(jié)構(gòu)模型影響；灰色關(guān)聯(lián)分析法對(duì)數(shù)據(jù)要求低，可以處理無(wú)規(guī)律數(shù)據(jù)，支持小樣本建模且計(jì)算量小，符合德國(guó)Augsburg大學(xué)生理情緒數(shù)據(jù)庫(kù)的特點(diǎn)，因此，本文采用灰色關(guān)聯(lián)分析法對(duì)生理信號(hào)與情緒進(jìn)行關(guān)聯(lián)度研究。

灰色關(guān)聯(lián)分析法的基本原理是基于樣本數(shù)據(jù)曲線幾何形狀的相似度獲得樣本關(guān)聯(lián)度，曲線越相似，樣本數(shù)據(jù)的關(guān)聯(lián)度越高，反之，則越低[13-14]。構(gòu)建灰色關(guān)聯(lián)分析模型需要五步，具體步驟如下：

步驟1標(biāo)記序列。記參考序列為Cj=Cj(k)，k=1，2,…,n；j=1,2,…,h，比較序列為Bi=Bi(k)，k=1,2,…,n；i=1,2,…,m。

步驟2數(shù)據(jù)序列無(wú)量綱化。為保證樣本數(shù)據(jù)的可比性，分別采用公式（1）和公式（2）對(duì)參考序列和比較序列進(jìn)行無(wú)量綱化處理。

其中，Cj(1)和Cj(k)分別是第j個(gè)參考序列的第1個(gè)和第k個(gè)數(shù)據(jù)，Bi(1)和Bi(k)分別是第i個(gè)比較序列的第1個(gè)和第k個(gè)數(shù)據(jù)。

步驟3計(jì)算序列差。通過(guò)公式（3）計(jì)算參考序列與比較序列差的絕對(duì)值序列。

其中，cj0(k)是第j個(gè)無(wú)量綱參考序列，bi(k)是第i個(gè)無(wú)量綱比較序列。

步驟4計(jì)算灰色關(guān)聯(lián)序列。根據(jù)公式（4）計(jì)算參考序列和比較序列每個(gè)點(diǎn)的灰色關(guān)聯(lián)程度，獲得灰色關(guān)聯(lián)序列。

步驟5求取灰色關(guān)聯(lián)度。通過(guò)公式（5）求取灰色關(guān)聯(lián)序列的平均值，獲得比較序列與參考序列的灰色關(guān)聯(lián)度。

其中γi(k)是第i個(gè)灰色關(guān)聯(lián)序列，n為γi(k)的個(gè)數(shù)。

3 關(guān)聯(lián)度計(jì)算與分析

3.1 灰色關(guān)聯(lián)度計(jì)算

本文研究Joy、Anger和Sadness情緒分別與其相應(yīng)狀態(tài)下ECG、RSP、SC生理信號(hào)的關(guān)聯(lián)度問(wèn)題，因此，需要分別標(biāo)記3種情緒為3個(gè)參考序列，其相應(yīng)狀態(tài)下的9種生理信號(hào)為9個(gè)比較序列，共12個(gè)數(shù)據(jù)序列，具體序列標(biāo)記如表1所示。

表1 情緒與生理信號(hào)序列標(biāo)記

Joy、Anger和Sadness情緒是非數(shù)值變量，需要將其轉(zhuǎn)換為數(shù)值變量方可進(jìn)行數(shù)據(jù)序列無(wú)量綱化處理。根據(jù)灰色關(guān)聯(lián)分析法原理可知，無(wú)論將Joy、Anger、Sadness分別轉(zhuǎn)換為哪個(gè)數(shù)值，關(guān)聯(lián)度結(jié)果均不變，所以本文把Joy、Anger、Sadness均轉(zhuǎn)換為數(shù)值“1”。比較序列無(wú)量綱化數(shù)據(jù)結(jié)果如表2所示。

表2 比較序列無(wú)量綱化數(shù)據(jù)結(jié)果

Joy、Anger、Sadness情緒與其相應(yīng)ECG、RSP、SC生理信號(hào)的序列差ΔJi(k)如圖1所示。由圖可知9組序列差的最小值均是0，最大值相異。

圖1 序列差ΔJi(k)計(jì)算結(jié)果

情緒與生理信號(hào)的灰色關(guān)聯(lián)序列數(shù)值范圍均為[0.333，1]，雖然9組灰色關(guān)聯(lián)序列的計(jì)算結(jié)果范圍一致，但在展開(kāi)的數(shù)據(jù)中這675 000個(gè)值不完全相等。

依據(jù)公式（5）求得的Joy、Anger、Sadness情緒與ECG、RSP、SC生理信號(hào)的灰色關(guān)聯(lián)度如表3所示，由表可知所得結(jié)果取值范圍均在[0.5，1]。

表3 灰色關(guān)聯(lián)度計(jì)算結(jié)果

3.2 灰色關(guān)聯(lián)度結(jié)果分析

在灰色關(guān)聯(lián)度色塊圖中，情緒與生理信號(hào)關(guān)聯(lián)度越高，色塊顏色越深，反之，則色塊顏色越淺?；诒?的情緒與生理信號(hào)灰色關(guān)聯(lián)度計(jì)算結(jié)果建立灰色關(guān)聯(lián)度色塊圖，如圖2所示。

通過(guò)圖2可以直觀地獲得Joy、Anger、Sadness情緒分別與ECG、RSP、SC生理信號(hào)的灰色關(guān)聯(lián)度結(jié)果。從圖2可以看出，（1）在標(biāo)記Joy為參考序列的情況下，色塊由深到淺的排序?yàn)镽SP>SC>ECG，說(shuō)明Joy與RSP的灰色關(guān)聯(lián)度最高，SC次之，與ECG的灰色關(guān)聯(lián)度最低；（2）在參考序列為Anger的情況下，RSP>SC>ECG是深色塊到淺色塊的排序，說(shuō)明Anger與RSP的灰色關(guān)聯(lián)度最高，SC次之，ECG最低；（3）在Sadness為參考序列的情況下，深色塊到淺色塊的排序?yàn)镽SP>SC>ECG，即Sadness與RSP的灰色關(guān)聯(lián)度高于SC，與SC的灰色關(guān)聯(lián)度高于ECG。

圖2 情緒-生理信號(hào)灰色關(guān)聯(lián)度色塊圖

以上研究結(jié)果表明，基于灰色關(guān)聯(lián)分析法，Joy、Anger、Sadness情緒與RSP、SC和ECG生理信號(hào)的關(guān)聯(lián)度一致，即3種情緒與RSP的關(guān)聯(lián)度均高于與SC的關(guān)聯(lián)度，與SC的關(guān)聯(lián)度均高于與ECG的關(guān)聯(lián)度。

4 情緒識(shí)別率結(jié)果與分析

因?yàn)榍榫w與生理信號(hào)存在密切的客觀關(guān)系[3]，因此，若一種情緒與一種生理信號(hào)關(guān)聯(lián)程度較高，那么通過(guò)該生理信號(hào)識(shí)別該情緒，識(shí)別正確率也較高。下面基于所選取的德國(guó)Augsburg大學(xué)的生理情緒數(shù)據(jù)，首先提取其混沌特征[15]，再根據(jù)前面已經(jīng)獲得的Joy、Anger、Sadness情緒與ECG、RSP、SC生理信號(hào)的關(guān)聯(lián)程度，分別采用CHAID決策樹(shù)[16]和SVM[17]對(duì)Joy、Anger、Sadness情緒進(jìn)行識(shí)別。

4.1 生理信號(hào)混沌特征提取

研究表明人體的生理信號(hào)是非線性信號(hào)，因此與線性特征相比，提取生理信號(hào)的混沌特征可以獲得更完整的信息。常見(jiàn)的混沌特征有關(guān)聯(lián)維、近似熵、復(fù)雜度、盒子維和Lyapunov指數(shù)[18]。本文分別利用Wolf法、L-Z法和DBC法提取生理信號(hào)的最大Lyapunov指數(shù)、復(fù)雜度和盒子維，它們的求解公式分別如公式（6）、公式（7）和公式（8）所示[19-21]。

其中，Li和Li′為不同時(shí)刻兩相鄰軌跡距離最小的兩點(diǎn)之間的距離，n是初始誤差迭代次數(shù)，t表示時(shí)間。

其中，n為時(shí)間序列長(zhǎng)度，c(n)是時(shí)間序列個(gè)數(shù)。

其中，x表示包圍假設(shè)曲面所需的盒子個(gè)數(shù)，h是盒子邊長(zhǎng)。

根據(jù)以上公式分別計(jì)算Joy、Anger、Sadness情緒及其相應(yīng)狀態(tài)下ECG、RSP、SC生理信號(hào)的最大Lyapunov指數(shù)、復(fù)雜度和盒子維3種特征值，計(jì)算結(jié)果的取值范圍如圖3所示。

圖3 生理信號(hào)的3種特征值取值范圍

4.2 情緒識(shí)別及分析

常用的情緒識(shí)別模型有KNN、決策樹(shù)、SVM等[17]，其中決策樹(shù)和SVM均可以有效處理非線性小樣本數(shù)據(jù)，與本文實(shí)驗(yàn)數(shù)據(jù)的特點(diǎn)相符，因此，使用SPSS Modeler14.1分別構(gòu)建CHAID決策樹(shù)和SVM模型進(jìn)行情緒識(shí)別。

基于Joy、Anger、Sadness情緒與生理信號(hào)的關(guān)聯(lián)度RSP>SC>ECG，使用RSP、SC和ECG的混沌特征，分別通過(guò)CHAID決策樹(shù)和SVM對(duì)Joy、Anger和Sadness進(jìn)行情緒識(shí)別，識(shí)別結(jié)果的混淆矩陣分別如表4～6所示。

表4 基于RSP生理信號(hào)的情緒識(shí)別混淆矩陣

表5 基于SC生理信號(hào)的情緒識(shí)別混淆矩陣

表6 基于ECG生理信號(hào)的情緒識(shí)別混淆矩陣

表4是基于RSP生理信號(hào)的混沌特征識(shí)別Joy、Anger和Sadness情緒的混淆矩陣。由表4可知：（1）CHAID決策樹(shù)正確識(shí)別20個(gè)Joy、25個(gè)Anger和7個(gè)Sadness樣本；（2）SVM對(duì)18個(gè)Joy、22個(gè)Anger和17個(gè)Sadness樣本識(shí)別無(wú)誤。

利用SC生理信號(hào)的混沌特征識(shí)別Joy、Anger和Sadness情緒的混淆矩陣如表5所示。由表5可知：（1）CHAID決策樹(shù)識(shí)別正確的樣本包括25個(gè)Joy、8個(gè)Anger和4個(gè)Sadness；（2）SVM正確識(shí)別14個(gè)Joy、11個(gè)Anger和15個(gè)Sadness樣本。

使用ECG生理信號(hào)的混沌特征識(shí)別Joy、Anger和Sadness情緒的混淆矩陣如表6所示。由表6可知：（1）CHAID對(duì)Anger完全識(shí)別正確、誤識(shí)全部Joy、正確識(shí)別7個(gè)Sadness樣本；（2）SVM對(duì)13個(gè)Joy、9個(gè)Anger和14個(gè)Sadness樣本識(shí)別無(wú)誤。

根據(jù)上述情緒識(shí)別結(jié)果獲得的基于CHAID決策樹(shù)、SVM分類法的情緒樣本正確識(shí)別統(tǒng)計(jì)圖如圖4所示，在圖4（a）、（b）中，藍(lán)色表示Joy，黃色是Anger，綠色為Sadness，同一色系中數(shù)值占比越大則色塊顏色越深，反之，則色塊顏色越淺。

通過(guò)圖4可以直觀獲得：（1）基于CHAID決策樹(shù)進(jìn)行情緒識(shí)別，Joy的識(shí)別效果為SC>RSP>ECG，Anger和Sadness的情緒識(shí)別效果均為RSP=ECG>SC，與情緒-生理信號(hào)關(guān)聯(lián)度結(jié)果基本相符；（2）SVM對(duì)Joy、Anger和Sadness的識(shí)別效果均為RSP>SC>ECG，與情緒-生理信號(hào)關(guān)聯(lián)度結(jié)果完全相符；（3）就識(shí)別無(wú)誤的樣本總數(shù)而言，無(wú)論是使用CHAID決策樹(shù)還是SVM識(shí)別Joy、Anger和Sadness，3種生理信號(hào)正確識(shí)別情緒的數(shù)目從多到少的排序?yàn)镽SP>SC>ECG，與情緒-生理信號(hào)關(guān)聯(lián)度結(jié)果一致。

圖4 情緒樣本正確識(shí)別統(tǒng)計(jì)圖

5 結(jié)論

文中采用德國(guó)Augsburg大學(xué)生理情緒數(shù)據(jù)庫(kù)的數(shù)據(jù)，基于灰色關(guān)聯(lián)分析法對(duì)喜、怒、哀情緒與心電、呼吸、皮膚電導(dǎo)生理信號(hào)進(jìn)行關(guān)聯(lián)度研究，研究結(jié)果表明喜、怒、哀3種情緒與3種生理信號(hào)的關(guān)聯(lián)度一致，即關(guān)聯(lián)度從高到低的排列順序均為呼吸信號(hào)、皮膚電導(dǎo)信號(hào)、心電信號(hào)。最后利用CHAID決策樹(shù)和SVM進(jìn)行情緒識(shí)別，結(jié)果表明整體情緒（喜、怒、哀）識(shí)別正確率的大小與關(guān)聯(lián)度研究結(jié)果相符，也驗(yàn)證了所得關(guān)聯(lián)度的正確性。