雙通道決策信息融合下的微表情識別

戎如意，薛珮蕓，白 靜，賈海蓉，謝婭利

(太原理工大學(xué) 信息與計算機(jī)學(xué)院，山西 太原 030024)

表情是一種人類社會中非語言式的交流方式，它能夠在人的內(nèi)心狀態(tài)發(fā)生變化時，直接反應(yīng)出人類的情感。根據(jù)持續(xù)時間的長短和強(qiáng)度的高低可以將表情分為宏表情和微表情，宏表情是一種面部動作幅度大且沒有經(jīng)過刻意掩藏和抑制的面部表情；而微表情是一種區(qū)別于宏表情的特殊面部表情，它具有持續(xù)時間短、動作幅度小的特點，通常在人們想要抑制他們的情感時產(chǎn)生[1]。相比于宏表情，微表情的識別難度更大。由于微表情可以作為一種判斷人們內(nèi)心真實情感的重要依據(jù)，微表情識別在很多領(lǐng)域都有著非常重要的應(yīng)用[2]。微表情能夠有效地幫助人們識別謊言，同時也可以為公共安全防范提供必要的線索，這對維護(hù)社會公共安全具有重要價值和現(xiàn)實意義。

目前現(xiàn)有的基于機(jī)器學(xué)習(xí)的微表情特征提取的算法主要有文獻(xiàn)[3]提出的主方向平均光流特征(Main Directional Mean Optical flow feature，MDMO)。首先將面部區(qū)域基于動作單元劃分為36個感興趣區(qū)域，然后在每個區(qū)域內(nèi)提取不同幀之間的光流運動信息。該方法簡單且有效，并且提取的特征維數(shù)較少。盡管主方向平均光流特征的操作簡單，但它很容易失去特征空間中內(nèi)在的流形結(jié)構(gòu)。文獻(xiàn)[4]提出通過Gabor特征描述每一幀的面部圖像，然后利用Gentle SVM對微表情進(jìn)行分類，這種方法可以自動完成對圖片序列的分割，并且付出較低的計算代價，但是在進(jìn)行幀分類時，容易將幀分錯，從而導(dǎo)致模型錯判。文獻(xiàn)[5]提出一種以光流場來描述微表情運動的特征提取方法(Facial Dynamics Map，F(xiàn)DM)。該方法把抽取出來的光流場分割成小的時空立方體，然后抽取每個立方體的主方向。該方法能夠很好地反應(yīng)微表情的運動模式，但是稠密光流場的計算時間相對較長，不適合進(jìn)行大規(guī)模的微表情識別。文獻(xiàn)[6]提出一種基于時空梯度特征的識別方法。該方法將微表情圖片劃分為12個區(qū)域，計算區(qū)域內(nèi)每一幀圖片中所有像素在3個方向(X，Y，T)上的梯度，并對其量化，從而將構(gòu)建的梯度直方圖作為微表情的特征。該方法的特征簡單，同時也存在局限性。文獻(xiàn)[7]提出了一種新的動態(tài)紋理識別方法(Local Binary Patterns on Three Orthogonal Planes，LBP-TOP)，并對其進(jìn)行了簡化和擴(kuò)展。該方法將特征提取從二維空間(X-Y平面)擴(kuò)展到了X-Y、X-T和Y-T三維空間平面上，而且此方法計算簡單、算法復(fù)雜度較低。

微表情是一種復(fù)雜的心理行為，目前微表情識別方面的研究主要集中在單一模態(tài)，由于單一模態(tài)自身的局限性，僅使用單一模態(tài)很難提高其識別率。近年來生理信號已經(jīng)成為隱藏情緒識別研究的熱門對象[8-9]，面部顏色作為一種生理信號，會伴隨著隱藏情緒的變化而發(fā)生改變。通過上述分析，筆者提出一種面部顏色特征提取算法，并將其與性能較好的LBP-TOP動態(tài)紋理識別算法共同構(gòu)建微表情雙模態(tài)情感識別模型。該模型首先利用SVM分類器分別訓(xùn)練微表情紋理和面部顏色兩種不同模態(tài)的特征，然后將兩種模態(tài)訓(xùn)練得到的分類信息進(jìn)行決策融合，最后得到微表情情緒分類結(jié)果。

1 微表情紋理特征提取

動態(tài)紋理是紋理向時域的擴(kuò)展。為了對動態(tài)文本進(jìn)行描述和識別，提出了一種動態(tài)紋理識別方法(LBP-TOP)，它是LBP從二維空間到三維空間的拓展。LBP-TOP在LBP(X-Y平面)的基礎(chǔ)上添加了X-T、Y-T平面的紋理特征，其中X-Y平面提取圖片的空間信息，X-T和Y-T平面提取圖片幀序列的運動信息。

LBP-TOP的提取過程如圖1所示[10]。首先將圖片幀序列分成3×3的區(qū)域塊，然后選取每一個分塊幀序列的中間幀的像素點作為中心，分別計算X-Y、X-T和Y-T平面上的LBP值，并用直方圖表示。筆者在提取LBP-TOP特征的過程中采用uniform code編碼，每個分塊產(chǎn)生59×3的數(shù)組，最后每個樣本生成3×3×59×3=1593維數(shù)的特征。

2 微表情面部顏色特征提取算法的提出

人們皮膚的外觀會隨著情緒的變化而發(fā)生變化，這是因為面部含有豐富的血管分布，這些血管中的血流以及血液成分的變化會使面部產(chǎn)生可見的顏色變化。面孔顏色與血紅蛋白的濃度有關(guān)，而血流以及血液成分的變化會使血紅蛋白濃度發(fā)生變化，從而引起膚色的變化[11]。由于膚色的變化是細(xì)微的，因此文中在提取面部膚色變化特征之前，先對圖片幀序列進(jìn)行了面部顏色放大，然后選取合適的兩幀圖片，計算其幀間色差作為面部特征。

筆者提出的面部顏色特征提取算法的主要思路是將圖片幀序列的第1幀圖片，即面部尚未因微表情情緒而產(chǎn)生顏色變化的圖片作為第1張目標(biāo)圖片。為避免動作特征影響實驗結(jié)果，并且突出面部顏色的變化，再選取1張圖片幀序列中顏色特征顯著且動作特征不明顯的圖片作為第2張目標(biāo)圖片，然后對兩張目標(biāo)圖片的每個像素點進(jìn)行色差計算。

由于 CIEL、a、b顏色空間是一種基于生理特征、與光線及設(shè)備無關(guān)的顏色系統(tǒng)，在人膚色相關(guān)的研究中擁有較好的應(yīng)用，且更適合人的視覺感應(yīng)[12]，所以在進(jìn)行特征提取之前，先將選取的目標(biāo)圖片的R、G、B值轉(zhuǎn)換到CIEL、a、b顏色空間中。L、a、b顏色空間由3個要素組成：L分量代表像素的亮度，表示從純黑到純白，取值范圍是[0，100]；a和b代表顏色通道，取值范圍均為[-128，127]，a表示從紅色到綠色，b表示從黃色到藍(lán)色。

為了將目標(biāo)圖片的R、G、B值轉(zhuǎn)換到L、a、b值中，需要先將R、G、B值轉(zhuǎn)換成基色系統(tǒng)XYZ值，再從XYZ值轉(zhuǎn)換成L、a、b值。其中，R、G、B值轉(zhuǎn)換成CIEXYZ值是線性轉(zhuǎn)換，其轉(zhuǎn)換公式如下：

(1)

再將獲取的CIEXYZ值轉(zhuǎn)換成L、a、b值，公式如下：

(2)

(3)

其中，X0，Y0，Z0參照白點的CIEXYZ三色刺激值。L、a、b色差用來表示兩種顏色之間的感知差別，其公式如下：

ΔE=[(L2-L1)2+(a2-a1)2+(b2-b1)2]1/2。

(4)

為避免亮度因素影響微表情面部顏色特征提取的結(jié)果，利用

ΔE′=[(a2-a1)2+(b2-b1)2]1/2

(5)

計算兩張輸入的面部圖像的每一個像素點之間的歐式距離來獲取顏色之間的感知差別，相比于計算視頻幀每幅圖像之間各個顏色通道的像素均值的變化，更能凸顯面部顏色發(fā)生變化的位置信息以及變化的程度大小，而且計算量相對較小。圖2為微表情面部顏色特征提取樣的圖。

3 微表情雙模態(tài)情感識別模型

筆者提出的微表情雙模態(tài)情感識別模型的總體結(jié)構(gòu)如圖3所示。一方面從微表情紋理特征入手，采用LBP-TOP算法進(jìn)行特征提取，然后通過SVM分類器進(jìn)行情感識別；另一方面從微表情面部顏色特征入手，將計算的圖片幀間色差作為要提取的特征，對提取的特征進(jìn)行特征選擇后通過SVM分類器進(jìn)行情感識別。最后將得到的紋理特征和顏色特征的分類信息進(jìn)行D-S決策融合，從而得到最終的微表情識別結(jié)果。

由于微表情具有動作強(qiáng)度低且面部顏色變化不明顯的特點，在進(jìn)行微表情紋理特征和面部顏色特征提取之前，先對經(jīng)過裁剪和配準(zhǔn)的人臉圖片幀序列分別進(jìn)行歐拉視頻動作放大(Euler Video action Magnification，EVMa)和顏色放大(Euler Video color Magnification，EVMc)。歐拉視頻放大[13-14]主要是通過結(jié)合空間和時間的處理方式來放大視頻中的微小變化的，其具體流程如圖4所示。動作放大是采用拉普拉斯金字塔對原始視頻進(jìn)行下采樣，接著利用巴特沃斯濾波器對金字塔的不同層進(jìn)行時域濾波，再利用放大因子對濾波后的信號進(jìn)行放大，最后將原始視頻和放大后的信號重構(gòu)，合成動作放大后的視頻。顏色放大是采用高斯金字塔對原始視頻進(jìn)行下采樣，接著利用理想帶通濾波器對金字塔的不同層進(jìn)行時域濾波，再利用放大因子對濾波后的信號進(jìn)行放大，最后將原始視頻和放大后的信號重構(gòu)，合成顏色放大后的視頻。

經(jīng)過色差計算得到的面部顏色特征的維數(shù)相對較高，此時的特征集中存在較多的冗余特征。為了提高模型精確度，減少運行時間，采用基于懲罰項的嵌入式特征選擇方法剔除不相關(guān)和冗余的特征。該方法為了緩解過擬合，引入L1、L2范數(shù)正則化，通過L1正則項來選擇特征，通過L2正則方法交叉檢驗，其目標(biāo)函數(shù)如下所示：

(6)

筆者采用D-S證據(jù)理論進(jìn)行決策信息的融合。D-S證據(jù)理論是一種用來處理不確定性信息的數(shù)學(xué)方法，它能夠有效地處理存在的不完整性、不確定性和非精確性的問題。在筆者給出的微表情雙模態(tài)情感識別模型中，它給予兩個單模態(tài)的分類器(m1，m2)基本分配概率(Basic Probability Assignment，BPA)，然后通過mass函數(shù)將m1和m2合成新的證據(jù)體m，從而為融合結(jié)果提供對分類類別的決策支持，即

(7)

其中，Ai表示第i個類別；m(A)表示證據(jù)對類別A的基本支持度；1/(1-K)為歸一化因子，K為沖突因子，K∈[0，1]：

(8)

筆者提出的微表情雙模態(tài)情感識別模型的具體操作方法如下：

(1) 對待測的圖片幀序列進(jìn)行人臉裁剪和配準(zhǔn)，提取面部關(guān)鍵區(qū)域；

(2) 將預(yù)處理好的人臉圖片幀序列進(jìn)行歐拉視頻動作放大(金字塔分解層數(shù)為6，頻率區(qū)間是[0.2，2.6]，放大倍數(shù)為8)，然后再經(jīng)時間插值模型[15](TIM為10)對圖片幀序列進(jìn)行抽取。對抽取的10幀圖片依次求每個子塊(5×5)的LBP-TOP特征，并將每個子塊提取的LBP-TOP特征進(jìn)行級聯(lián)，最后將級聯(lián)的LBP-TOP特征進(jìn)行串聯(lián)，得到最終的微表情紋理特征；

(3) 將預(yù)處理好的人臉圖片幀序列進(jìn)行歐拉視頻顏色放大(金字塔分解層數(shù)為4，頻率區(qū)間是[0，4]，放大倍數(shù)為15)，將顏色放大后的圖片利用式(1)～(3)進(jìn)行顏色空間的轉(zhuǎn)化，再根據(jù)式(5)進(jìn)行色差計算，鑒于獲取的特征維數(shù)較大，采用基于懲罰項的嵌入式特征選擇(式(6))(λ1=100，λ2=10，分類方式選擇“ovr”，優(yōu)化算法選用“l(fā)iblinear”)得到最終的微表情面部顏色特征；

(4) 分別將提取到的微表情紋理特征和面部顏色特征輸入到SVM中，訓(xùn)練SVM分類器；

(5) 根據(jù)D-S合成規(guī)則(式(7))將兩種不同模態(tài)的決策信息進(jìn)行合成，即當(dāng)決策信息不完全沖突(K≠1)時，利用證據(jù)合成法將兩個分類器得到的基本分類概率m1(Ai) 和m2(Ai) 合成一個新的信度函數(shù)m12(A)，該函數(shù)對微表情分類類別提供決策支持。

4 實驗結(jié)果分析

4.1 實驗數(shù)據(jù)集

為驗證文中提出方法的有效性，采用中科院心理所CASME Ⅱ[16]數(shù)據(jù)庫和芬蘭奧盧大學(xué)SMIC[17]數(shù)據(jù)庫進(jìn)行實驗論證。CASME Ⅱ數(shù)據(jù)庫包含255個圖片幀序列，并將微表情分為7類進(jìn)行標(biāo)注，分別是高興(happiness)、害怕(fear)、驚喜(surprise)、沮喪(sadness)、厭惡(disgust)、壓抑(repression)和其他(others)。鑒于CASME Ⅱ 數(shù)據(jù)集樣本數(shù)量小、分布不均勻的特點，將惡心(disgust)、厭惡(disgust)和害怕(fear)歸為消極(negative)情緒，將壓抑(repression)歸于其他(others)，對CASME Ⅱ數(shù)據(jù)庫進(jìn)行四分類情緒識別。SMIC(HS)數(shù)據(jù)庫包含164個圖片幀序列，將微表情的情緒分為3類進(jìn)行標(biāo)注，分別是積極(positive)、消極(negative)和驚喜(surprise)，對該數(shù)據(jù)集進(jìn)行三分類情緒識別。

4.2 實驗結(jié)果與分析

表1 單模態(tài)與雙模態(tài)特征識別結(jié)果對比

對CASME Ⅱ數(shù)據(jù)庫和SMIC(HS)數(shù)據(jù)庫進(jìn)行實驗測試，使用圖3網(wǎng)絡(luò)模型提取微表情特征，并對微表情序列進(jìn)行識別。為驗證筆者提出方法的有效性，將微表情單模態(tài)情感識別方法和微表情雙模態(tài)情感識別方法的識別率進(jìn)行比較。由表1可知，雙模態(tài)的微表情情感識別率相比于單一模態(tài)的紋理信息和面部顏色信息的識別率均有提升，在CAMSE Ⅱ和SMIC數(shù)據(jù)庫上分別提升了約3.38%、16.47%和2.85%、15.95%。

為驗證圖3網(wǎng)絡(luò)模型各個步驟的有效性，對其進(jìn)行消融實驗，實驗結(jié)果如表2所示。在紋理特征提取之前添加歐拉視頻動作放大模塊之后，在CAMSE Ⅱ和SMIC數(shù)據(jù)集中基于紋理特征的微表情識別準(zhǔn)確率分別提升了約1.86%和2.15%；在面部特征提取之前添加歐拉視頻顏色放大模塊之后，在CASME Ⅱ和SMIC數(shù)據(jù)集中基于面部顏色特征的微表情識別準(zhǔn)確率分別提升了約3.27%和2.37%；在進(jìn)行D-S決策融合之前，對提取的面部顏色特征進(jìn)行嵌入式特征選擇，可以使得微表情雙模態(tài)情感識別模型的準(zhǔn)確率在CASME Ⅱ和SMIC數(shù)據(jù)集上分別提升了約1.04%和0.29%。可以看出，歐拉視頻動作放大和顏色放大可以有效地提升微表情紋理特征和面部顏色特征分類的準(zhǔn)確率，且對面部顏色特征進(jìn)行特征選擇后，可以促進(jìn)D-S決策融合后微表情識別率的提升。

最后，為驗證筆者提出方法的優(yōu)越性，將筆者提出的方法與目前已有的微表情識別方法在CASME Ⅱ和SMIC數(shù)據(jù)庫上進(jìn)行比較，結(jié)果如表3所示。從表中可以看出，筆者提出的微表情雙模態(tài)情感識別模型相比于目前常用的微表情識別模型，識別效果更好。

表2 消融實驗結(jié)果對比

表3 筆者提出的方法與其他主流方法對比

5 結(jié)束語

筆者提出的融合微表情紋理特征和面部顏色特征的決策信息的雙模態(tài)情感識別模型，相比于單一模態(tài)的兩種識別方法在CASME Ⅱ和SMIC數(shù)據(jù)庫上均有一定的提升。此外，筆者提出的面部顏色特征提取算法屬于非接觸式特征提取方法，在實際操作中更具有便捷性，但基于面部顏色的微表情情感識別方法的準(zhǔn)確率相對較低。因此，在后續(xù)的工作中，需要進(jìn)一步研究如何提升微表情基于面部顏色的情感識別能力，從而提升微表情雙模態(tài)情感識別模型的準(zhǔn)確率。