基于多模態(tài)生理信號特征融合的情感識別方法

陳心怡,陶小梅

(1.廣西師范大學(xué)計算機(jī)科學(xué)與工程學(xué)院,廣西 桂林 541000;2. 廣西多源信息挖掘與安全重點實驗室,廣西 桂林 541000;3. 桂林理工大學(xué) 信息科學(xué)與工程學(xué)院,廣西 桂林 541000)

1 引言

隨著人工智能的快速發(fā)展,情感智能也逐漸受到研究者的重視。情感計算是賦予計算機(jī)識別,理解,表達(dá)和適應(yīng)人情感的能力[1],使其能夠感知用戶的情感狀態(tài),適時做出正確的響應(yīng)。情感識別是情感計算研究的關(guān)鍵問題之一,對人機(jī)交互等各種不同場景下都具有重要意義。生理信號的變化由人體生理系統(tǒng)自發(fā)產(chǎn)生,不受個人主觀意愿控制[2],能為情感識別提供準(zhǔn)確可靠的依據(jù)。此外,隨著科學(xué)技術(shù)的發(fā)展,采集生理信號的設(shè)備日漸完善,具有便于攜帶,非侵入式,信號穩(wěn)定的特點,因此基于生理信號的情感識別研究具有很大的實用價值。

當(dāng)前國內(nèi)外融合眼動和PPG兩個模態(tài)的情感識別研究較少,多是使用眼動單模態(tài)分類情感或者眼動融合腦電等其它生理信號或者PPG融合其它生理信號來提升識別準(zhǔn)確率。如Bradley[3]的研究表明瞳孔的擴(kuò)張與情感狀態(tài)相關(guān)。Tarnowski[4]使用注視掃視和瞳孔直徑相關(guān)特征實現(xiàn)三種情感分類,支持向量機(jī)最高識別率80%。Zheng Wei-Long[5]使用深度神經(jīng)網(wǎng)絡(luò)融合EEG和眼動信號識別4種情感,平均識別率為85.11%。上述研究表明眼動數(shù)據(jù)中包含豐富的情感信息,融合其它生理信號能提高識別率,因此本文嘗試將眼動與PPG信號融合進(jìn)行情感分類。

PPG是一種叫做光電容積脈搏波描記的容積測量方法,通過光學(xué)技術(shù)測量血流速率以及血液中容量的變化。心率(Heart Rate,HR)、心搏間期和心率變異性(Heart Rate Variability,HRV)等與情感變化相關(guān)的生理指標(biāo)均可以通過光電脈搏信號計算得出[6]。HRV是指連續(xù)心跳之間的時間間隔變化,是個體情緒和心理狀態(tài)的重要指標(biāo),能夠很好的表征情感狀態(tài)的變化[7]。此外,脈搏信號相比腦電,呼吸等生理信號,采集方式更便捷,包含的情感特征更豐富[8]。研究中常用PPG的深度層次特征[9,10]、時頻域特征[11]以及心率相關(guān)的特征進(jìn)行情感分類。然而單個模態(tài)的生理信號進(jìn)行情感識別的研究具有一定的局限性,不同模態(tài)的生理信號具有互補(bǔ)性和相關(guān)性。以上文獻(xiàn)只是使用了單一模態(tài)生理信號的時頻域特征或者單一模態(tài)的時頻域特征融合深層特征或者多種模態(tài)生理信號的時域特征,未進(jìn)行多模態(tài)生理信號的時頻域特征融合深層特征,因此本文嘗試使用眼動和PPG雙模態(tài)生理信號的時頻域特征融合深層特征進(jìn)行情感分類。

本文采用眼動信號與PPG信號進(jìn)行分析,提取與情感狀態(tài)相關(guān)性顯著的眼動時域特征和PPG信號的時域、頻域特征,進(jìn)行淺層特征融合,提出特征提取卷積神經(jīng)網(wǎng)絡(luò)(Feature Extraction Convolutional Neural Network,FECNN)進(jìn)行深度特征提取,使用LSTM進(jìn)行情感分類,最終驗證了眼動和PPG信號的特征之間存在互補(bǔ)性,以及本文的基于FECNN-LSTM的眼動和PPG多模態(tài)融合模型的有效性。當(dāng)前基于PPG信號等生理信號的研究識別的情感種類較少,且識別率較低,與眼動特征融合后,識別性能得到較大提高。

2 數(shù)據(jù)采集與特征提取

2.1 數(shù)據(jù)采集實驗及預(yù)處理

本研究開展了一個數(shù)據(jù)采集實驗,采集了62名在校大學(xué)生在使用計算機(jī)觀看學(xué)習(xí)視頻時的表情、眼動和PPG等數(shù)據(jù)。選取四個不同主題總時長約為35分鐘的視頻作為刺激素材來引發(fā)困惑,感興趣,高興,無聊四種情感。實驗前被試簽署了知情同意書,允許數(shù)據(jù)用作科研目的。由于PPG原始數(shù)據(jù)的采集過程中會受到電磁干擾,光照影響,運動偽差等干擾而產(chǎn)生噪音,而PPG信號的有效帶通在0.8-10Hz之間,因此設(shè)定高通過濾器閾值為1Hz過濾掉信號在低頻處產(chǎn)生的漂移,設(shè)定低通過濾閾值為10過濾高于10Hz的噪聲干擾。并使用5s的滑動窗口劃分時間片段。

2.2 特征提取

2.2.1 淺層特征提取

淺層特征由同步時間窗口內(nèi)的PPG時頻域特征和眼動時域統(tǒng)計特征構(gòu)成。

對每個時間窗口的脈搏序列信號等間距采樣選取N點構(gòu)成離散序列,進(jìn)行離散傅里葉變換得到頻域序列,其中k為離散頻率變量,WN為正變換核,j為虛數(shù)單位。計算公式如下式(1)～(6)

(1)

由歐拉公式

e±jn=cosn±jsinn

(2)

則

WN=exp(-j2πnk)=cos 2πnk-jsin 2πnk

(3)

此時X(k)為復(fù)數(shù),

X(k)=R(k)+jI(k)

(4)

R(k)為實部,I(k)為虛部。則頻域序列的每個點的相位值為

(5)

頻率譜為:

(6)

下圖1示的是某被試在觀看刺激素材時的HRV頻域數(shù)據(jù)根據(jù)高低頻率劃分若干頻段。圖中PSD代表HRV的總功率密度譜,VLF表示處在頻段0-0.04Hz的極低頻功率,LF表示處在0.04-0.15Hz的低頻功率,HF表示處在0.15-0.5Hz的高頻功率,LF/HF表示低頻和高頻功率的比值。

圖1 HRV頻域劃分

設(shè)HRV序列為R=[R1,R2,…RN],Ri表示i時刻HRV的值,N代表序列長度。HRV時域特征計算公式如下式(7)～(10)。RR間期差值均方根RMSSD的計算公式如下式(7),其中RRi=R(i+1)-Ri。

(7)

標(biāo)準(zhǔn)差SDNN公式如下

(8)

其中

(9)

峰值間期大于50ms的百分比PNN50

(10)

根據(jù)每個模態(tài)得到的特征采用主成分分析(PCA)法篩選出與情感狀態(tài)顯著相關(guān)的眼動和PPG特征。實驗分析最終選取了32個眼動特征以及40個PPG特征,具體列舉如下表1所示。

表1 通過PCA方法選取的淺層特征

將同步時間窗口內(nèi)的眼動統(tǒng)計特征和PPG時頻域特征進(jìn)行特征層融合后構(gòu)成淺層特征,得到一個72維的組合特征向量。由于存在個體差異,不同人的生理信號基線值不同,因此需要去除個體的基線值,將眼動和PPG的每種情感特征用平靜狀態(tài)下的相應(yīng)特征值作標(biāo)準(zhǔn)化,用min-max歸一化將特征值映射到 [0,1]區(qū)間內(nèi)。

2.2.2 深層特征提取

針對人工提取特征容易受到多方因素影響的問題,情感識別領(lǐng)域中的研究常采用CNN,DBN等自適應(yīng)提取特征,以減少手工設(shè)計特征的不完整性,消除手工特征提取過程中產(chǎn)生的偽影[12-15],如Mohammad[16]等人使用無監(jiān)督深度信念網(wǎng)絡(luò)從EDA,PPG和EMG中提取深層特征,然后將三種模態(tài)的深層特征與統(tǒng)計特征進(jìn)行特征層融合,實現(xiàn)五種情感的分類。陳景霞等[17]基于EEG的時頻域以及組合特征,提出使用CNN進(jìn)行特征學(xué)習(xí)與分類。上述研究表明CNN能有效提取各種模態(tài)信號的深層特征。因此將CNN應(yīng)用到本研究中,將眼動、HR和RPeaks的相關(guān)特征以及HRV時頻域特征作為深度模型的輸入,探究這些特征的深層特征是否與情感狀態(tài)顯著相關(guān)。

本文通過改進(jìn)MinSeop[18]提出的一維深層卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)構(gòu)建了一個FECNN網(wǎng)絡(luò)模型(Feature Extraction Convolutional Neural Network,FECNN)用來自適應(yīng)提取眼動和PPG的深度特征,FECNN網(wǎng)絡(luò)結(jié)構(gòu)如下圖2所示。FECNN網(wǎng)絡(luò)中特征提取部分由連續(xù)的卷積層和池化層構(gòu)成,卷積層用來提取輸入數(shù)據(jù)的深層信息,池化層用于對獲得的特征圖進(jìn)行降采樣處理,以減輕網(wǎng)絡(luò)過擬合程度。FECNN的輸入是一個72×1的向量,共有4個卷積層,分別是Conv1,Conv2,Conv3,Conv4。每個卷積層都包含一個一維大小為3×1的卷積核,一個帶有2×1過濾器的最大池化層和一個正則化Dropout層。Dropout層以概率0.5使部分神經(jīng)元失活以防止模型出現(xiàn)過擬合。每個卷積層的步長設(shè)為1,使用Relu作為激活函數(shù)。卷積層Conv4后疊加一個Flatten展平層,然后用一個Dense層把Flatten層輸出特征壓縮成64×1維的深層特征。用皮爾遜相關(guān)系數(shù)選取與情感狀態(tài)相關(guān)的深層特征,共57維,再與淺層特征進(jìn)行特征層融合,輸出一個129×1維的特征向量,用于下一步情感分類器的輸入。

圖2 FECNN網(wǎng)絡(luò)結(jié)構(gòu)圖

3 基于FECNN-LSTM的多模態(tài)融合情感識別模型

3.1 長短時記憶單元

長短時記憶網(wǎng)絡(luò)(Long Short-Term Memory,LSTM)是循環(huán)神經(jīng)網(wǎng)絡(luò)的一種變形,常用于分析時間序列數(shù)據(jù)。近年來研究中常用LSTM分析生理信號,如朱兆坤等[19]使用LSTM學(xué)習(xí)經(jīng)過融合的ECG和呼吸信號的淺層特征,胡章芳等[20]使用LSTM實現(xiàn)腦電特征分類?？紤]到PPG信號和眼動信號也具有時序特性,因此本文使用LSTM作為情感分類器。

圖3 LSTM結(jié)構(gòu)圖

假設(shè)xt為t時刻LSTM單元的輸入,W和U表示權(quán)重,ht-1為上一層隱藏單元的輸出。具體描述如下式(11)～(16)所示。

it=σ(λWi(Wixt)+λUi(Uiht-1))

(11)

ft=σ(λWf(Wfxt)+λUf(Ufht-1))

(12)

ot=σ(λWo(Woxo)+λUo(Uoht-1))

(13)

(14)

(15)

ht=ottanh(ct)

(16)

由式(14)～(16),時刻t隱藏單元的最終輸出ht由前一個時間點隱藏單元輸出ht-1和當(dāng)前時間點輸入xt共同決定,實現(xiàn)了記憶功能。通過3個門控單元的設(shè)計,LSTM記憶單元能選擇性保存和更新長距離的信息,這有利于學(xué)習(xí)PPG信號和眼動的序列特征信息。

3.2 基于FECNN-LSTM的雙模態(tài)情感識別

本節(jié)主要介紹利用FECNN-LSTM模型進(jìn)行雙模態(tài)情感識別的過程。如下圖4所示為本文提出的基于CNN-LSTM的眼動和PPG多模態(tài)融合情感識別模型結(jié)構(gòu)圖。使用圖2 所示的FECNN提取沒有偽影的深層特征,經(jīng)過FECNN網(wǎng)絡(luò)的全連接層輸出,然后與淺層特征進(jìn)行特征層融合得到淺層+深層特征向量,輸入到LSTM進(jìn)行訓(xùn)練,以捕捉特征信號在時間序列上的變化規(guī)律并學(xué)習(xí)多個特征在同步時間窗口內(nèi)的關(guān)系。

圖4 基于CNN-LSTM的眼動和PPG多模態(tài)融合的情感識別方法模型結(jié)構(gòu)圖

本文設(shè)計的LSTM網(wǎng)絡(luò)具有3個隱藏層,隱藏單元數(shù)分別為32,64,72。將表1展示的淺層特征和FECNN提取的深層特征作為LSTM的輸入,訓(xùn)練階段通過反向梯度傳播更新網(wǎng)絡(luò)權(quán)重,為了優(yōu)化損失函數(shù)擺動幅度過大的問題,加快函數(shù)收斂速度,選擇自適應(yīng)學(xué)習(xí)率動態(tài)調(diào)整算法作為優(yōu)化算法。使用多分類的交叉熵?fù)p失函數(shù)來評估當(dāng)前訓(xùn)練得到的概率分布與真實分布的差異情況。在每個LSTM層后使用dropout防止訓(xùn)練過擬合減少特征的相互作用。輸出層使用softmax激活函數(shù)進(jìn)行分類,輸出一個由4個概率組成的二維數(shù)組,代表樣本數(shù)據(jù)屬于某種情感的概率值。LSTM最后輸出感興趣、高興、困惑和無聊四種情感狀態(tài)中的一種。

4 實驗結(jié)果分析

4.1 基于淺層特征的單模態(tài)情感識別實驗

為驗證眼動和PPG融合能提升識別性能,本文選取了目前在PPG信號情感識別研究中分類性能較好的支持向量機(jī)(Support Vector Machine,SVM),隨機(jī)森林(Random Forest,RF),K近鄰(k-Nearest Neighbor,KNN),和多層感知機(jī)(Multilayer Perceptron,MLP)四種機(jī)器學(xué)習(xí)算法作對比實驗。分別對1796個窗口下的眼動和PPG特征按照8:2劃分訓(xùn)練集和驗證集,并使用十折交叉進(jìn)行驗證。表2展示了對5s的時間窗口內(nèi)的眼動特征和PPG特征分別使用上述分類器進(jìn)行情感分類得到的平均識別率,平均召回率和F1分值。

表2 眼動和PPG單模態(tài)淺層特征識別結(jié)果

上述實驗結(jié)果表明5s時間窗口的眼動單模態(tài)特征總體平均識別率為70.44%高于PPG單模態(tài)特征總體平均識別率67.91%。眼動和PPG單模態(tài)特征在RF分類器的分類效果較好,眼動模態(tài)在MLP的識別率最高為71.25%,PPG模態(tài)在RF的識別率最高為73.4%。PPG模態(tài)和眼動模態(tài)都適合使用隨機(jī)森林算法進(jìn)行分類。如下圖5所示為PPG和眼動單模態(tài)用隨機(jī)森林的分類結(jié)果用混淆矩陣表示,其中0代表感興趣,1代表困惑,2代表無聊,3代表高興。由圖5可以看出相比眼動信號,PPG與困惑和高興兩種情感相關(guān)性較高;相比PPG信號,眼動與感興趣和無聊兩種情感狀態(tài)相關(guān)性較高,同時兩種模態(tài)下困惑的識別率較低,有可能是因為采集的樣本數(shù)量有限;選取的引發(fā)這兩種情感的刺激材料不夠準(zhǔn)確,導(dǎo)致引發(fā)的這兩種情感強(qiáng)度不夠高;也有可能是被試之間存在個體差異導(dǎo)致引發(fā)的情感不一樣等原因。

圖5 PPG單模態(tài)(a)和眼動單模態(tài)(b)的混淆矩陣

4.2 基于眼動和PPG特征融合情感識別實驗

本章節(jié)使用KNN、RF、SVM、MLP四種機(jī)器學(xué)習(xí)算法和LSTM網(wǎng)絡(luò)分別對淺層特征、深層特征以及淺層+深層融合特征進(jìn)行分類,實驗結(jié)果如下表3所示。

表3 深層特征、淺層特征識別結(jié)果

對表3進(jìn)行分析,眼動和PPG的深層特征在四種機(jī)器學(xué)習(xí)算法中的平均識別率都高于其淺層特征在相應(yīng)機(jī)器學(xué)習(xí)算法的平均識別率。說明深層特征比人工提取的淺層特征蘊(yùn)含更多的情感信息,FECNN提取的深層特征能有效表征情感狀態(tài)。同時深層特征使用LSTM網(wǎng)絡(luò)的平均識別率比其在四種機(jī)器學(xué)習(xí)算法的平均識別率高,說明LSTM網(wǎng)絡(luò)設(shè)計具有一定的合理性且LSTM能學(xué)習(xí)眼動和PPG數(shù)據(jù)的時序信息。

特征層融合方法可以利用不同模態(tài)之間的相互聯(lián)系。對表2和表3進(jìn)行分析,通過計算淺層特征、深層特征在五種分類器下的平均識別率的均值,得出眼動和PPG淺層特征的平均識別率為75.02%,深層特征平均識別率為79.16%,淺層+深層特征融合平均識別率為81.36%,比只使用眼動或者PPG單一模態(tài)特征平均識別率高。其中RF、KNN、MLP的多模態(tài)準(zhǔn)確率相比單模態(tài)都有所提升。實驗結(jié)果表明眼動和PPG各自都提供了一部分獨有的生理信息,通過這兩種模態(tài)的融合,識別率明顯提高,可見眼動和PPG特征之間存在互補(bǔ)性和相關(guān)性。

使用LSTM網(wǎng)絡(luò)對構(gòu)成的淺層深層特征融合矩陣進(jìn)行分類識別,識別準(zhǔn)確率和損失值如下圖6所示。經(jīng)多次試驗,該模型在迭代到600次后的準(zhǔn)確率和損失值趨于穩(wěn)定。迭代600次后訓(xùn)練的該模型在驗證集上的四種情感的平均識別率為84.68%,損失值為0.43。本文還將上述淺層融合深層特征進(jìn)行跨模態(tài)轉(zhuǎn)換為224×224×3的3維圖片,作為深度學(xué)習(xí)模型的輸入。微調(diào)了VGG16和ResNet50兩個深度學(xué)習(xí)模型作為對比,模型使用早停法避免過擬合。如圖7,8所示分別為使用VGG16和ResNet50對提取的淺層+深層特征作分類得到的準(zhǔn)確率和損失值。由圖7,8可以看出,VGG在迭代到700次時,驗證集準(zhǔn)確率穩(wěn)定在74%,而ResNet模型在迭代到500次時,驗證集準(zhǔn)確率穩(wěn)定在70%左右。上述實驗結(jié)果表明淺層+深層特征融合方法的識別率比只進(jìn)行淺層特征融合或只進(jìn)行深層特征融合的識別率高,FECNN-LSTM網(wǎng)絡(luò)對于眼動和PPG多模態(tài)融合進(jìn)行情感分類過程中分析長周期數(shù)據(jù)具有優(yōu)勢。

圖6 基于淺層+深層特征多模態(tài)特征融合LSTM的準(zhǔn)確率和損失值

圖7 基于淺層+深層特征多模態(tài)特征融合的VGG16模型準(zhǔn)確率和損失值

圖8 基于淺層+深層特征多模態(tài)特征融合的ResNet50模型準(zhǔn)確率和損失值

4.3 討論與分析

為了檢驗本研究方法中基于眼動和PPG模態(tài)融合情感識別的有效性,以及使用FECNN提取的深層特征與情感狀態(tài)相關(guān),能提高識別性能,下表4展示了一些使用其它生理信號(如EMG,EEG,ECG)進(jìn)行情感識別的研究。從生理信號模態(tài)、情感類別、分類方法以及平均識別率四個角度進(jìn)行對比。其中文獻(xiàn)[21]使用的是公開數(shù)據(jù)集SEED,其余研究使用的是實驗室自建數(shù)據(jù)集。表4的前四項研究都是進(jìn)行四種情感分類,從文獻(xiàn)[22]、[23]以及本文的識別率說明PPG單模態(tài)的識別率較低,融合了EMG或PPG,識別率提升了,說明了單模態(tài)情感識別分類效果較弱。從表4列舉的七種方法中可以看出,眼動和PPG融合情感識別能有效提高可識別的情感分類和分類性能,且相比其它生理信號,眼動和PPG的采集過程比較簡單,隨情感變化較為靈敏,可在人機(jī)交互等多種場景下廣泛應(yīng)用。

表4 情感識別研究結(jié)果對比

5 結(jié)論

本文提出一種基于CNN-LSTM的眼動和PPG多模態(tài)融合的情感識別方法。該方法利用CNN和LSTM提取眼動和PPG信號的深層特征,將深層和淺層特征融合后用LSTM實現(xiàn)情感分類。該方法為多模態(tài)生理信號特征融合提供了一種新思路。實驗分別采用淺層特征、通過FECNN提取的深層特征,以及深淺層融合后的特征結(jié)合SVM、KNN、RF、MLP和LSTM五種分類模型進(jìn)行情感分類,結(jié)果顯示采用深層特征的識別準(zhǔn)確率高于采用淺層特征,采用深淺層特征融合后識別準(zhǔn)確率較兩者有所提升,證實了眼動和PPG兩種模態(tài)經(jīng)過融合后可以有效提升識別性能。此外在LSTM模型上對眼動和PPG兩種信號的分類效果優(yōu)于VGG16、ResNet50等模型,其主要原因是眼動和PPG中包含時序信息,而LSTM能充分利用時序信息。今后,將探索更多模態(tài)的融合方式以及構(gòu)建更好的模型來提升識別性能。