結(jié)合FDM 與STLBP-IP 特征的微表情識(shí)別

韋麗娟，梁建娟，劉 洪，劉本永

（貴州大學(xué)大數(shù)據(jù)與信息工程學(xué)院，貴州貴陽(yáng) 550025）

0 引言

微表情分析逐漸成為機(jī)器視覺(jué)領(lǐng)域研究熱點(diǎn)。與普通表情不同，微表情無(wú)法偽造和抑制，可以反映人的真實(shí)情緒［1］。因此，通過(guò)分析和研究微表情，可以挖掘人內(nèi)心的真實(shí)情感［2］，不僅可以改善和促進(jìn)人們之間的交往，還可用于臨床醫(yī)學(xué)、司法刑偵、婚姻關(guān)系預(yù)測(cè)、教育等領(lǐng)域。

微表情持續(xù)時(shí)間短且動(dòng)作幅度微弱，加上人們?cè)噲D控制和壓抑，很難被檢測(cè)和識(shí)別。為幫助人們識(shí)別微表情，Ekman［3］開(kāi)發(fā)了微表情訓(xùn)練工具，但是這種通過(guò)訓(xùn)練來(lái)識(shí)別微表情的方法識(shí)別效率很低；Polikovsky 等［4］將人臉圖像分為12 個(gè)區(qū)域，使用3D 梯度直方圖表征微表情。但這種方法假設(shè)每一幀微表情圖像只有一個(gè)動(dòng)作單元，存在一定的局限性；Wu 等［5］使用Gabor 算法提取微表情特征進(jìn)行微表情識(shí)別，但是當(dāng)表情變化幅度較小時(shí)識(shí)別率很低；Wang等［6］將微表情看作三階張量并用判別式張量子空間分析算法生成判別特征進(jìn)行分類(lèi)，這種算法雖然能夠保存圖像的空間結(jié)構(gòu)信息，但容易丟失小幅度變化信息，并對(duì)噪聲敏感；Zhao 等［7］將LBP（Local Binary Patterns）擴(kuò)展到三維提取時(shí)空域信息并應(yīng)用到微表情識(shí)別，結(jié)果表明了LBP_TOP 提取微表情特征的有效性，而LBP-TOP 雖然考慮了圖像外觀和運(yùn)動(dòng)紋理信息，但只關(guān)注了像素之間的信息，沒(méi)有關(guān)注大小、方向等信息；為了描述面部圖像的形狀特征，Huang等［8］提出積分投影（Spatiotemporal Local Binary Pattern with Integral Projection，STLBP-IP）時(shí)空局部二值模式，通過(guò)計(jì)算差分圖像的積分投影并進(jìn)行LBP 編碼得到圖像的形狀外觀和運(yùn)動(dòng)特征，這種算法增強(qiáng)了微表情的識(shí)別能力；Liu等［9-11］使用主方向平均光流特征方法提取微表情特征，基于關(guān)鍵點(diǎn)對(duì)人臉面部進(jìn)行分塊，計(jì)算人臉面部分塊中光流主方向的平均光流并作為微表情特征，但該方法特別依賴于面部的有效分塊；Xu 等［12］認(rèn)為，如果觀察區(qū)間很小且觀察時(shí)間短暫，微表情會(huì)大致在相同的空間和時(shí)間上運(yùn)動(dòng)。通過(guò)對(duì)視頻序列兩幀之間稠密光流場(chǎng)在水平和垂直方向進(jìn)行修正，求出時(shí)空立方體的光流主方向并將其角度量化，從而得到微表情的面部動(dòng)力譜特征（Facial dynamics map，F(xiàn)DM），但是這種算法易受光照等因素影響。

以上研究工作大多是采用單一的特征進(jìn)行微表情識(shí)別，不能全面、細(xì)致地表征微表情運(yùn)動(dòng)，導(dǎo)致識(shí)別效果不理想，而目前比較流行的基于深度學(xué)習(xí)的方法則需要大量的樣本，訓(xùn)練復(fù)雜。因此，如何從特征結(jié)合方面提高平均識(shí)別率具有重要的研究意義和探討價(jià)值。

FDM 算法在計(jì)算光流時(shí)需要嚴(yán)格滿足兩個(gè)基本假設(shè)，而且光照帶來(lái)的亮度變化會(huì)影響光流計(jì)算，影響對(duì)運(yùn)動(dòng)信息的提取，并且FDM 方法對(duì)時(shí)空立方體主方向的描述只量化了10 個(gè)方向，對(duì)運(yùn)動(dòng)的描述不夠細(xì)致。針對(duì)這些問(wèn)題，本文結(jié)合STLBP-IP 從3 個(gè)平面提取特征以彌補(bǔ)FDM 對(duì)運(yùn)動(dòng)信息描述的不足，對(duì)人臉面部信息進(jìn)行補(bǔ)充描述，將FDM 特征與STLBP-IP 特征結(jié)合以提高微表情的識(shí)別效果。

1 FDM 特征提取與表示

FDM 算法以光流為基礎(chǔ)，采用一維直方圖統(tǒng)計(jì)實(shí)現(xiàn)光流場(chǎng)的精細(xì)化對(duì)齊，并利用迭代算法尋找時(shí)空立方體的主方向，從而構(gòu)造面部動(dòng)力譜特征。

計(jì)算相鄰針間的稠密光流場(chǎng)如下：

其中，Ut、Vt表示第t幀圖像、第t+1 幀圖像水平和垂直方向的光流場(chǎng)，Δu和Δv是水平和垂直方向的位移修正，I表示元素為1 的矩陣，Φ 用來(lái)統(tǒng)計(jì)矩陣中0 元素的數(shù)量。由于假設(shè)微表情中面部區(qū)域大部分保持靜止，所以要尋找水平和垂直方向上的修正量，使修正后的光流場(chǎng)中大多數(shù)元素為0，然后減去兩幀之間共同平移造成的誤差，處理后實(shí)現(xiàn)面部的精細(xì)化對(duì)齊。

將光流場(chǎng)分割成小的時(shí)空立方體，使用迭代算法尋找時(shí)空立方體的主方向。用ωi，j表示立方體在（i，j）處的光流運(yùn)動(dòng)向量，通過(guò)式（3）確定主方向：

式（3）的目的是要尋找一個(gè)主方向ξ來(lái)描述時(shí)空立方體的運(yùn)動(dòng)方向。當(dāng)ξ固定時(shí)，ξ與ωi，j方向越接近內(nèi)積就越大。但是通過(guò)式（3）迭代的方式尋找主方向計(jì)算量太大，因此涂亮等［13］提出用PCA 算法替代FDM 中的迭代算法來(lái)抽取時(shí)空立方體主方向。通過(guò)計(jì)算PCA 的第一主成分即最大特征值對(duì)應(yīng)的特征向量，就可確定時(shí)空立方體的主方向，通過(guò)這種方式可以快速尋找時(shí)空立方體的主方向，簡(jiǎn)化計(jì)算量，節(jié)約時(shí)間。

2 STLBP_IP 特征提取與表示

Mateos 等［14-15］提出積分投影方式以增加形狀屬性和面部圖像之間的判別性，及對(duì)白噪聲的魯棒性。通過(guò)對(duì)面部圖像的像素進(jìn)行橫向和縱向累加，得到與寬度和高度相同維度的特征向量［16］。

將一段微表情視頻序列所有幀減去某一中性表情的圖像作為新的人臉圖片。對(duì)每一幀新的人臉圖片進(jìn)行水平和垂直方向的累加求和得到圖像的積分投影，借用LBP_TOP 的性質(zhì)從3 個(gè)平面提取微表情的時(shí)空信息。

假設(shè)St為圖像在時(shí)間t的積分投影，將中心點(diǎn)和鄰域點(diǎn)的灰度值進(jìn)行比較，然后通過(guò)式（4）進(jìn)行1DLBP 編碼：

式（4）中，W為線性掩模（類(lèi)似LBP 的半徑），δ是狄拉克增量，St（zc）是中心像素值，zp是zc的相鄰像素。通過(guò)計(jì)算差分圖像的1DLBP 得到XY 方向特征fXY。XT 和YT 方向的處理過(guò)程相同，分別計(jì)算差分圖像的水平和垂直積分投影并進(jìn)行歸一化，然后計(jì)算LBP 編碼，得到特征fXT和fYT，最后結(jié)合fXY、fXT和fYT就可得到微表情圖像特征。

3 特征結(jié)合與微表情識(shí)別實(shí)驗(yàn)

特征結(jié)合過(guò)程如圖1 所示，結(jié)合的基本方式是直方圖級(jí)聯(lián)。

Fig.1 Feature combination and micro-expression recognition process圖1 特征結(jié)合與微表情識(shí)別過(guò)程

實(shí)驗(yàn)在中國(guó)科學(xué)院心理研究所2014 年建立的CASMEII［17］和芬蘭奧盧大學(xué)2011 年建立的SMIC［18］兩個(gè)微表情數(shù)據(jù)集上進(jìn)行。其中，CASMEII 微表情數(shù)據(jù)集由26 位受試者的255 個(gè)微表情圖像序列組成，分為高興、厭惡、壓抑、驚訝和其他5 類(lèi)表情；SMIC 微表情數(shù)據(jù)集由6 位受試者的152 段微表情的圖像序列組成，包含消極和積極表情兩類(lèi)。編程環(huán)境為Matlab2016b 和Python3.7。

為了更好地驗(yàn)證本文方法性能，實(shí)驗(yàn)分為不同特征結(jié)合的兩組。第一組實(shí)驗(yàn)是對(duì)微表情數(shù)據(jù)集CASMEII 和SMIC 進(jìn)行預(yù)處理，分別采用STLBP_IP 算法、FDM 算法和PCA 改進(jìn)的FDM 算法提取微表情特征，然后將STLBP_IP提取的特征分別與FDM 和PCA 改進(jìn)的FDM 提取的特征進(jìn)行結(jié)合。利用STLBP-IP 提取微表情圖像特征時(shí)，分別從3個(gè)平面計(jì)算面部特征，按照XY、XT、YT 的順序級(jí)聯(lián)直方圖得到微表情圖像的STLBP-IP 特征。其中，STLBP-IP 涉及的主要參數(shù)設(shè)置如下：掩模W=9，LBP 的半徑R=3，鄰域點(diǎn)數(shù)P=8。采用STLBP-IP 級(jí)聯(lián)直方圖方式分別將兩種特征相結(jié)合。對(duì)結(jié)合后的特征采用SVM 作為分類(lèi)器進(jìn)行分類(lèi)識(shí)別，采用libsvm［19］自帶的n-fold 交叉檢驗(yàn)計(jì)算識(shí)別率。

由表1 可以看出，相比于STLBP-IP 和改進(jìn)前后的FDM算法，特征結(jié)合后，微表情的識(shí)別率都有提高，表明兩種特征具有很好的互補(bǔ)性，不僅可以捕捉表情的細(xì)微運(yùn)動(dòng)，還可以很好地描述面部表情細(xì)節(jié)信息。

Table 1 Micro-expression recognition rate under different data sets表1 不同數(shù)據(jù)集下微表情識(shí)別率 （%）

第二組實(shí)驗(yàn)是將本文方法與其他傳統(tǒng)特征方法進(jìn)行比較，實(shí)驗(yàn)結(jié)果如表2 所示。LBP 和局部相位量化（Local Phase Quantization，LPQ）特征結(jié)合的方法［20］由于只考慮了紋理特征，所以識(shí)別效果較差；而光流（Optical Flow，OF）與LBP-TOP 特征結(jié)合的方法［21］雖然考慮了運(yùn)動(dòng)特征和紋理特征，但本文中的FDM 方法關(guān)注了人臉對(duì)齊對(duì)微表情識(shí)別的影響，加上STLBP-IP 方法考慮了人臉的形狀屬性，所以本文方法性能更好。

Table 2 Experimental comparison of different feature combination methods表2 不同特征結(jié)合方法的實(shí)驗(yàn)對(duì)比 （%）

將本文方法與深度學(xué)習(xí)方法相比，如STSTNet（Shallow Triple Stream Three-dimensional CNN）和光流法［22］相結(jié)合，從3 個(gè)方面提取微表情特征，卷積神經(jīng)網(wǎng)絡(luò)（Convolutionnal Neural Network，CNN）與長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)（Long Short-Term Memory，LSTM）結(jié)合［23-24］提取微表情的時(shí)域和空域特征，還有蘇育挺等［25］提出的多運(yùn)動(dòng)特征結(jié)合法。通過(guò)提取微表情序列3 種運(yùn)動(dòng)特征，在CNN+LSTN 框架下進(jìn)行微表情識(shí)別都離不開(kāi)樣本訓(xùn)練，計(jì)算量大，而且STSTNet 模型性能受光流法影響。綜合比較后發(fā)現(xiàn)，本文方法比較簡(jiǎn)便，能很好地表征微表情。

4 結(jié)語(yǔ)

本文從微表情特征提取環(huán)節(jié)入手，針對(duì)現(xiàn)有方法采用的單一特征不能很好描述微表情信息問(wèn)題，探討了采用FDM 特征和STLBP-IP 特征相結(jié)合的方法進(jìn)行微表情識(shí)別。在相同的實(shí)驗(yàn)條件下，兩種特征結(jié)合比單一特征的識(shí)別率高。本文方法雖然可以很好地表達(dá)微表情運(yùn)動(dòng)，增強(qiáng)人臉細(xì)節(jié)信息，但是采用這種方式表達(dá)微表情特征過(guò)于復(fù)雜，不利于實(shí)際環(huán)境中應(yīng)用。在后續(xù)微表情研究中應(yīng)考慮簡(jiǎn)化微表情特征表達(dá)形式，提高識(shí)別率，實(shí)現(xiàn)實(shí)時(shí)、大規(guī)模的微表情識(shí)別。