基于IPPG 技術(shù)的情緒識別算法

粟立威，陶雪，饒治，李貴文，嵇曉強

（長春理工大學 生命科學技術(shù)學院，長春 130022）

面部表情被廣泛用于情緒識別中，并且取得了較好的結(jié)果，但在自然環(huán)境中，可靠性不能得到保證［1-2］。其識別精度除了會受相機角度、照明和面部遮擋等因素的影響之外，面部表情也更容易被人為控制或偽造，導致情緒識別的真實性和精度下降。因此，使用面部表情來識別情緒狀態(tài)可能會導致錯誤的分類。有研究通過腦電、心電、肌電、光體積描記等生理信號來實現(xiàn)人類情緒的識別［3-10］。與面部表情相比，使用生理參數(shù)來評估情緒更客觀和可靠，并能夠提供情緒狀態(tài)的有用特征。

生理信號是量化情緒的可靠數(shù)據(jù)［11］，但依賴于與傳感器的直接接觸。侵入性的傳感器會干擾受試者并改變其情緒狀態(tài)［12］。此外，這些設備測量的復雜性和電極的靈敏度限制了應用范圍，如燒傷、創(chuàng)傷、傳染病和嚴重感染等情況。最近，有研究提出使用IPPG 技術(shù)用于從面部提取生理線索的情緒識別系統(tǒng)［13-14］。這是一種從PPG（Photoplethysmography）發(fā)展而來的非接觸式的光學檢測技術(shù)［15］，使用視頻序列測量血容量脈搏引起的光吸收變化，以提取心肺參數(shù)，包括心率、脈搏率變異性（Pulae Rate Variability，PRV）和呼吸率［16-18］。

本文提出了一種基于IPPG 技術(shù)的非接觸式情緒識別方法，首先從面部視頻中提取IPPG 信號，并使用小波變換和帶通濾波對信號去噪，接下來提取有效特征，最后對比四種不同的機器學習算法模型進行情緒分類。與基于面部表情的情緒識別相比，測量結(jié)果更加客觀；與基于接觸式的生理信號測量相比，測量過程更加簡單，應用更加廣泛。

1 方法

1.1 整體框架

本文提出的情緒識別方法如圖1 所示。人臉面部視頻首先進行面部識別，再進行信號處理，提取到IPPG 信號，并通過去噪算法提高信號質(zhì)量，接著從IPPG 信號中提取心率變異性（Heart Rate Variability，HRV)特征，再使用機器學習對HRV 特征進行分類，最后得到基于IPPG 信號的情緒識別結(jié)果。

圖1 基于IPPG 信號的情緒識別流程

1.2 DEAP 數(shù)據(jù)集

本文使用DEAP 數(shù)據(jù)庫中22 位被測者的正面視頻作為IPPG 信號的數(shù)據(jù)來源。DEAP 數(shù)據(jù)庫是目前公開最大、最全面的物理信號情感數(shù)據(jù)集，已被廣泛地應用于情感識別相關(guān)的研究中［19-21］。該數(shù)據(jù)集提供了10 個通道的數(shù)據(jù)，包括腦電圖信號、皮膚電反應信號和光電容積脈搏波信號。32 名被測者（16 名女性，16 名男性）觀看了40 個音樂時長均為60 s 的MV 片段，每個MV 片段表達著不同的情感，在觀看視頻的同時采集被測者多種生理信號，并錄制了60 s 頻率為50 Hz 的面部視頻。同時，在觀看視頻結(jié)束后進行及時的自我評估，主要是對視頻的喚醒度、效價度、支配度和喜好度進行情感評價。本文選擇了喚醒和效價兩種維度。其中，喚醒度表示由平靜狀態(tài)逐漸過渡到興奮狀態(tài)；效價度表示心情愉悅程度，從消極狀態(tài)逐漸過渡到積極狀態(tài)。

1.3 IPPG 信號提取

1.3.1 人臉檢測與感興趣區(qū)域選取

DEAP 數(shù)據(jù)庫中的視頻包含不相關(guān)的背景，會影響到IPPG 信號的獲取，因此需要對視頻中的背景進行去除。Retina Face［22］是自然場景下較為精確且高效的輕量級人臉檢測算法之一，使用Retina Face 人臉檢測算法來定位視頻中的人臉并去除視頻中與人臉無關(guān)的背景。首先將視頻轉(zhuǎn)換成連續(xù)的圖像序列，序列長度為3 000，然后利用Retina Face 人臉檢測算法檢測每一幀的人臉區(qū)域。

在IPPG 信號的相關(guān)研究中，額頭、眼睛和臉頰是被用來作為感興趣區(qū)域（Region of Interest，ROI）比較多的地方［23］。在DEAP 數(shù)據(jù)庫中，觀察受試者的正面視頻，發(fā)現(xiàn)額頭區(qū)域均未出現(xiàn)大部分的毛發(fā)遮擋。由于人臉肌肉運動的不確定性會導致ROI 存在運動噪聲，如眼球運動和嘴部運動等。因此，本文選取額頭作為IPPG 信號的ROI 進行生理信號提取，如圖2 所示。

1.3.2 信號采集

將提取到的面部ROI 圖片進行顏色通道分離，將其分離為R、G、B 三個單通道圖像，通過計算單通道內(nèi)ROI 的像素均值得到IPPG 信號。皮膚的黑色素會吸收大量波長較短的波，并且在波長500～600 nm 的可見光波段，入射光大部分會被血紅蛋白吸收，對應可見光的黃綠色區(qū)域，因此綠色通道的信號更能夠反映心臟的周期性變化。本文選擇綠色通道的信號作為IPPG 的原始信號，信號原始曲線如圖3 所示。

圖3 原始曲線圖

1.4 信號去噪

原始信號中混雜著呼吸信號以及與心臟搏動無關(guān)的其他生理信號。在實驗過程中，存在采集設備自身干擾、運動偽跡等噪聲，主要包括高頻噪聲和基線漂移。為了獲取到人體有效脈搏波頻率范圍內(nèi)的信號，需要設計濾波器進行濾波處理。實驗使用小波變換和帶通濾波對信號進行濾波處理，信號去噪如圖4 所示，其中信號去噪流程如圖4（a）所示。

圖4 信號去噪

通過心率變異性（Heart Rate Variability，HRV）特征對情緒進行識別，需要計算心率?；谡Ｈ诵奶l率范圍，IPPG 信號集中在第三、四層分解信號中，將這兩層信號結(jié)果進行疊加，作為去除基線漂移后包含心跳頻率范圍的小波重構(gòu)波形，小波變換后的信號如圖4（b）所示。實驗設置帶通濾波器，通頻帶設置為0.9～3 Hz，對應心跳頻率為56～180 bmp，可以滿足短時間內(nèi)人體心跳的變化范圍。將經(jīng)過小波重構(gòu)后的信號進行帶通濾波處理，去噪后的信號如圖4（c）所示。

為了提取到質(zhì)量更高的IPPG 信號，并保證設置的濾波器適用于每一個樣本的自身有效脈搏波頻率范圍，需要先計算樣本的心率頻率。將小波重構(gòu)后的信號進行快速傅里葉變換，獲取幅值最大值對應的頻率值，即為對應的心率頻率，記為amax。依據(jù)獲得的心率頻率amax設置窄帶濾波器，張弛等人［24］提出的極短時非接觸式心率變異性分析的結(jié)論0.3 為其經(jīng)驗值，本文經(jīng)驗值設置為0.3，包含36 bmp 的心跳波動，可以滿足短時間內(nèi)人體心跳的變化范圍。因此將窄帶濾波器的最大截止頻率設置為amax+0.3，最小截止頻率設置為amax-0.3。將上一步驟小波及帶通濾波后的信號進行窄帶濾波，最終得到了質(zhì)量更高的IPPG 信號，最終IPPG 信號的結(jié)果如圖4（d）所示。

1.5 特征提取

HRV 與PRV 等價，可以用來判斷自主神經(jīng)活性，衡量其內(nèi)部交感與迷走神經(jīng)調(diào)節(jié)的均衡程度［25］。對IPPG 信號進行峰值點檢測。HRV 分析首先要獲取RR 間期序列，即相鄰峰值點之間的時間，為了獲取準確的特征值，需要去除RR間期序列的離群值，本文設置最大與最小的RR間隔時間為400 ms 和1 800 ms，刪除其范圍外的時間間隔，并采用3 次樣條插值添加新的RR 間期數(shù)值。

研究表明SDNN、RMSSD、PNN50、HF/LF 這些特征值與情緒之間的聯(lián)系更為緊密［26］，本文使用包括上述特征在內(nèi)的時域、頻域特征共8 個HRV 參數(shù)，如表1 所示。

表1 HRV 特征

1.6 特征分類

有效分類器的選擇對于識別情緒的準確性和效率至關(guān)重要。本文采用了四種分類器，包括SVM［27］、K 近鄰、決策樹和隨機森林［28］，并比較了它們從IPPG 信號中提取HRV 特征進行情感分類任務的優(yōu)劣。本文選擇SVM 等傳統(tǒng)分類器的原因有：（1）DEAP 數(shù)據(jù)集中包含了多位被試者的多模態(tài)生理數(shù)據(jù)、心理問卷數(shù)據(jù)和視頻刺激數(shù)據(jù)，SVM 等傳統(tǒng)分類器能夠?qū)@些數(shù)據(jù)進行較好分類，可以有效地區(qū)分不同情感狀態(tài)之間的差異；（2）相較于神經(jīng)網(wǎng)絡等模型，SVM 分類器在分類決策時所采用的決策函數(shù)具有很強的解釋性，這種特性有助于理解不同生理和心理特征與情感之間的關(guān)系，進而提高情感識別的效果；（3）情緒識別任務需要處理大量的視頻數(shù)據(jù)，涉及到高維特征的提取和分類，SVM 等算法具有良好的可擴展性，可以處理大規(guī)模的DEAP數(shù)據(jù)集，同時也適用于高維數(shù)據(jù)的分類；（4）在DEAP 數(shù)據(jù)集中存在著各種噪聲和干擾因素，例如環(huán)境光照和受試者不自主運動等。SVM 等算法具有較高的魯棒性和穩(wěn)定性，能夠有效地應對這些干擾因素，提高情感分類的準確度。

使用DEAP 數(shù)據(jù)庫中的22 名參與者的面部視頻為數(shù)據(jù)源，樣本數(shù)量為856，并采用5 折交叉驗證對SVM、決策樹、隨機森林和K 近鄰算法進行驗證以得到效果最佳的分類模型。即將樣本按照7：3 的比例劃分成訓練集和測試集，在訓練集上使用5 折交叉驗證得到最佳的分類模型，并在測試集進行測試得到最終的分類結(jié)果，四個分類模型的參數(shù)如表2 所示。

表2 分類模型參數(shù)

2 結(jié)果與分析

對于情感識別分類問題，本文使用多個評價指標，如準確率（Accuracy，Acc）、精確率（Precision，P）、召回率（Recall，R）和F1 值。這些測量的數(shù)學表達式是根據(jù)混淆矩陣參數(shù)定義的，如真正類（TP），表示將正類預測為正類數(shù)；真負類（TN），表示將負類預測為負類數(shù)；假正類（FP），表示將負類預測為正類數(shù)；假負類（FN），表示將正類預測為負類數(shù)。則：

將提取到的IPPG 信號的時域特征和頻域特征采用四種分類器在喚醒和效價兩個情感維度上進行分類，分類結(jié)果的混淆矩陣如圖5 所示，并利用公式（1）～（4）計算其分類準確率Acc、精確率P、召回率R和F1 值。

圖5 四種分類算法的混淆矩陣

使用DEAP 數(shù)據(jù)集進行分類訓練，對比不同分類器對情緒識別結(jié)果的影響，模型評價指標結(jié)果如表3 所示。

表3 模型評價指標結(jié)果

在喚醒維度上，SVM 的準確率、精確率和F1值三個指標都是最高的，分別為61.09%、67.20%、0.701。決策樹的召回率是最高的，其值為83.20%。SVM 的召回率為73.10%，排在第二。在效價維度上，SVM 的準確率和精確率最高，分別為53.31%和55.30%。召回率和F1 值最高的是KNN，分別是60.60%和0.572，SVM 的召回率和F1 值分別排在第三和第二。整體來看SVM 模型對喚醒和效價都有很好的分類性能。

本文的情緒識別系統(tǒng)在DEAP 數(shù)據(jù)集上與其他算法的比較如表4 所示。本文提出的框架在喚醒方面表現(xiàn)較全連接模型、貝葉斯分類器、決策樹好，SVM 分類器的準確度為61.09%，效價方面與全連接模型、決策樹相差不大，但較全連接模型差。這是由于分類器的結(jié)果是從各種外圍信號生成的，而本文的結(jié)果僅從IPPG 信號導出。與卷積神經(jīng)網(wǎng)絡、多波段特征矩陣和CapsNet 相比，本文準確度在喚醒和效價表現(xiàn)都一般。其中，卷積神經(jīng)網(wǎng)絡則結(jié)合了血液容積脈搏波（Blood Volume Pulse，BVP）和皮膚電導率（Skin Conductance，SV）兩種生理參數(shù)，多波段特征矩陣和CapsNet 則通過包含大量情緒信息的EEG（Electroencephalogram）信號實現(xiàn)情緒識別。盡管如此，差異并不大，表明了IPPG 用于情緒識別的潛力。IPPG 技術(shù)情緒識別精度目前難以達到非常高的準確度，這是由于許多因素會導致IPPG脈沖失真，包括成像儀器性能差、光源穩(wěn)定性和受試者的狀態(tài)（靜止或運動）等。其中，與受試者運動相關(guān)的偽影是最大的挑戰(zhàn)。

表4 情緒識別結(jié)果對比

3 結(jié)論

本文提出了一種基于IPPG 生理信號的情緒識別方法，IPPG 技術(shù)具有操作簡單、成本低、安全、能夠連續(xù)測量等優(yōu)勢。該模型在DEAP 數(shù)據(jù)集上進行了測試。其中，在使用SVM 算法下，模型的最高準確率在喚醒維度為61.09%，在效價維度為53.31%。結(jié)果表明了IPPG 信號進行情緒識別的客觀性和可行性。未來在以下幾個方面可做進一步研究：（1）改進IPPG 信號的處理方法，獲得更高質(zhì)量的IPPG 信號；（2）增加其他模態(tài)的情緒識別信號，提高建模精度；（3）改進建模手段，用深度學習等方法提高建模精度。該研究在遠程醫(yī)療、人機交互和情緒監(jiān)測等方面有廣泛的應用前景。