平均光流方向直方圖描述的微表情識(shí)別

馬浩原 安高云 阮秋琦

(1. 北京交通大學(xué)信息科學(xué)研究所，北京 100044; 2. 現(xiàn)代信息科學(xué)與網(wǎng)絡(luò)技術(shù)北京市重點(diǎn)實(shí)驗(yàn)室，北京 100044)

1 引言

表情是反應(yīng)人們精神和情感的面部運(yùn)動(dòng)，人們?cè)诮涣鲿r(shí)約55%的信息通過(guò)表情傳遞，因此它在社會(huì)交際中扮演重要角色，表情識(shí)別相關(guān)研究也成為熱點(diǎn)。然而，對(duì)表情的研究大多集中在傳統(tǒng)表情，即宏觀表情或全表情，而對(duì)微表情的研究相對(duì)較少。直到最近，越來(lái)越多的學(xué)者才開(kāi)始關(guān)注微表情的研究。

微表情難以被察覺(jué)，其持續(xù)時(shí)間僅為1/ 25 s至1/5 s；微表情既可能含普通表情的全部肌肉動(dòng)作，也可能只包含一部分；它表達(dá)了人類試圖隱藏的真實(shí)情感，是自發(fā)性表情。微表情的上述性質(zhì)，使它成為了解人類真實(shí)情感的窗口。因此，微表情有非常多的潛在應(yīng)用，如刑偵破案、國(guó)防安全、臨床診斷、人機(jī)交互等。但微表情持續(xù)時(shí)間短、發(fā)生強(qiáng)度低和通常只涉及局部運(yùn)動(dòng)的特點(diǎn)，對(duì)微表情的識(shí)別帶來(lái)了極大挑戰(zhàn)。Ekman和Friesen在進(jìn)行測(cè)謊研究時(shí)第一次提出了微表情的概念，之后Ekman在研究中發(fā)現(xiàn)，只有不到1%的人可以在沒(méi)經(jīng)過(guò)特殊訓(xùn)練的情況下檢測(cè)微表情，因此Ekman等開(kāi)發(fā)了一套微表情訓(xùn)練工具(Micro-Expression Training Tool, METT)來(lái)提升人們對(duì)微表情的感知能力。隨著計(jì)算機(jī)視覺(jué)的發(fā)展，一些研究者開(kāi)始嘗試提取各種特征用于微表情識(shí)別。Zhao等[1]提出了一種基于三個(gè)正交平面的動(dòng)態(tài)LBP特征(Local binary pattern from three orthogonal planes, LBP-TOP)進(jìn)行微表情識(shí)別， Pfister等[2]設(shè)計(jì)了一個(gè)雙階段系統(tǒng)第一次實(shí)現(xiàn)了自發(fā)微表情識(shí)別，在第一階段，系統(tǒng)采用了時(shí)域差值模型(Temporal Interpolation Model, TIM)對(duì)微表情序列的總幀數(shù)進(jìn)行歸一化，以此來(lái)解決短時(shí)視頻的問(wèn)題；在第二階段，系統(tǒng)通過(guò)LBP-TOP提取時(shí)空局部紋理描述子(Spatiotemporal Local texture descriptor, SLTD)實(shí)現(xiàn)微表情的識(shí)別。Huang等[3]在STLBP-IP[4]的基礎(chǔ)上，采用RPCA[5]法提取微表情的細(xì)微運(yùn)動(dòng)來(lái)替換差分圖像，并結(jié)合一種基于拉普拉斯的特征選擇方法來(lái)增強(qiáng)類與類之間的區(qū)分性，提出了一種基于改進(jìn)積分投影技術(shù)的差分時(shí)空LBP(DiSTLBP-RIP)特征，并在微表情識(shí)別方面取得了較好效果。除了基于LBP的特征之外，Polikovsky等[6]提出了一種3D梯度描述子(3D-gradient descriptor)并結(jié)合K均值(K-means)算法來(lái)識(shí)別微表情發(fā)生的三個(gè)階段和情感類別。此外，隨著光流在行為檢測(cè)[7]和行為識(shí)別[8]等方面的廣泛應(yīng)用，Li等[9]提出了一種基于深度學(xué)習(xí)的HOOF特征用于微表情檢測(cè)，Liu等[10]提出了一種MDMO(Main Directional Mean Optical-flow)特征來(lái)實(shí)現(xiàn)微表情識(shí)別并取得了較好效果。另一方面，隨著深度學(xué)習(xí)在動(dòng)作識(shí)別[11]、人臉認(rèn)證[12]、表情識(shí)別[13]等方面的成功應(yīng)用，Patel等[14]將深度學(xué)習(xí)應(yīng)用于微表情識(shí)別，但由于深度學(xué)習(xí)依賴大規(guī)模數(shù)據(jù)集，其所提深度特征的識(shí)別率未超過(guò)傳統(tǒng)特征的識(shí)別率。

本文提出了一種新的基于平均光流方向直方圖(Mean Histogram of Oriented Optical Flow, MHOOF)的微表情識(shí)別算法。為了提取更加準(zhǔn)確有效的特征，所提算法首先提取稠密人臉關(guān)鍵點(diǎn)并根據(jù)面部運(yùn)動(dòng)單元對(duì)人臉區(qū)域進(jìn)行ROI劃分，然后提取選定ROI內(nèi)相鄰兩幀之間的HOOF(Histogram of Oriented Optical Flow, HOOF)特征實(shí)現(xiàn)對(duì)峰值幀的檢測(cè)。本文進(jìn)行峰值幀檢測(cè)的原因有兩點(diǎn)：一是從起始至峰值這一段序列中，MHOOF特征可以更好地描述微表情的狀態(tài)，二是更短的圖片序列可以減少頭部姿態(tài)帶來(lái)的影響。在特征提取和識(shí)別階段，所提算法提取從起始幀到峰值幀表情序列的MHOOF特征并利用SVM分類器實(shí)現(xiàn)微表情的識(shí)別。

本文的組織結(jié)構(gòu)如下：第2節(jié)詳細(xì)介紹了基于MHOOF特征的微表情識(shí)別算法，第3節(jié)是實(shí)驗(yàn)細(xì)節(jié)和實(shí)驗(yàn)結(jié)果，第4節(jié)是對(duì)MHOOF算法的總結(jié)。

2 基于MHOOF特征的微表情識(shí)別算法

基于MHOOF特征的微表情識(shí)別的整體結(jié)構(gòu)如圖1所示，由于微表情通常只涉及局部運(yùn)動(dòng)，所提算法通過(guò)劃分特定的ROI來(lái)細(xì)化特征提取的范圍同時(shí)排除無(wú)關(guān)區(qū)域的干擾，然后提取選定ROI內(nèi)的HOOF特征檢測(cè)微表情序列的峰值幀，最后提取從起始幀到峰值幀的圖片序列的 MHOOF特征，利用SVM分類器實(shí)現(xiàn)微表情的識(shí)別。

圖1 基于MHOOF特征的微表情識(shí)別系統(tǒng)框圖

2.1 人臉關(guān)鍵點(diǎn)檢測(cè)和感興趣區(qū)域劃分

對(duì)于ROI劃分，首先要精確地檢測(cè)出稠密人臉關(guān)鍵點(diǎn)。本文采用Baltru?aitis等[15]提出的人臉行為分析工具OpenFace來(lái)提取人臉關(guān)鍵點(diǎn)。該工具在CLNF(Constrained Local Neural Model)[16]的基礎(chǔ)上，首先采用dlib library提供的人臉檢測(cè)器檢測(cè)出人臉框，然后學(xué)習(xí)一個(gè)從人臉框到68個(gè)人臉關(guān)鍵點(diǎn)邊界的簡(jiǎn)單線性映射來(lái)初始化CLNF模型，之后使用新提出的局部神經(jīng)場(chǎng)(Local Neural Field, LNF)來(lái)計(jì)算更多可靠的映射關(guān)系圖，并采用Non-Uniform Regularised Mean-Shift作為最優(yōu)化方法，將每個(gè)區(qū)域的可靠性考慮在內(nèi)從而使結(jié)果更加準(zhǔn)確。此外OpenFace還對(duì)眼睛、嘴唇和眉毛分別訓(xùn)練關(guān)鍵點(diǎn)分布模型，并將這些關(guān)鍵點(diǎn)進(jìn)行融合，該算法的檢測(cè)效果優(yōu)于之前的CLM[17]、DRMF[18]。68個(gè)人臉關(guān)鍵點(diǎn)的檢測(cè)效果如圖2所示。

圖2 68個(gè)人臉關(guān)鍵點(diǎn)的檢測(cè)和13個(gè)ROIs的分布

表1 13個(gè)ROIs和對(duì)應(yīng)的AUs及面部運(yùn)動(dòng)情況

2.2 光流場(chǎng)

光流用來(lái)估計(jì)發(fā)生在時(shí)間t和t+Δt的兩幀圖片之間的相對(duì)運(yùn)動(dòng)，目前有兩種光流計(jì)算技術(shù)：稠密光流和稀疏光流，但稠密光流的計(jì)算復(fù)雜度高于稀疏光流的，因此通常采用的是LK(Lucas-Kanade)光流算法[20]，該算法基于以下三點(diǎn)假設(shè)：

(1)亮度恒定。即圖片中像素點(diǎn)的亮度值在一個(gè)非常短的時(shí)間內(nèi)不變。

(2)微小運(yùn)動(dòng)。即圖片中像素塊的運(yùn)動(dòng)尺度和幀與幀之間的時(shí)間變化相比是非常小的。

(3)空間一致性。即圖片中鄰域內(nèi)的像素點(diǎn)有相同的運(yùn)動(dòng)。

假設(shè)在時(shí)間t和t+Δt時(shí)，一幀圖片中一個(gè)像素點(diǎn)的亮度值分別是I(x,y,t)和I(x+Δx,y+Δy,t+Δt)，基于第一條“亮度恒定”的假設(shè)，可以得到：

I(x,y,t)=I(x+Δx,y+Δy,t+Δt)

(1)

同時(shí)根據(jù)第二條“微小運(yùn)動(dòng)”的假設(shè)，對(duì)式(1)進(jìn)行泰勒展開(kāi)：

I(x+Δx,y+Δy,t+Δt)=I(x,y,t)+

(2)

忽略2階以上的高階項(xiàng)并結(jié)合式(1)可得：

(3)

當(dāng)Δt→0時(shí)有：

(4)

或：

(5)

其中Vx，Vy分別是光流運(yùn)動(dòng)速度的x和y分量，用Ix，Iy和It來(lái)表示其導(dǎo)數(shù)形式，可得：

IxVx+IyVy=-It

(6)

(7)

(ATA)d=ATb

(8)

將式(7)轉(zhuǎn)換成如下形式：

(9)

最后可得：

(10)

由于LK算法基于一個(gè)滑動(dòng)的局部小窗口，因此不適用于那些較大的可能會(huì)移出窗口的運(yùn)動(dòng)，為了解決這個(gè)問(wèn)題，Bouguet等[21]提出了一種金字塔LK光流算法(Pyramidal LK optical flow algorithm)，該算法從圖片金字塔的最高層開(kāi)始計(jì)算出光流和仿射變換矩陣，然后將計(jì)算結(jié)果作為初始值傳遞給下一層圖像，這一層的圖像在初始值的基礎(chǔ)上同樣計(jì)算出光流和仿射變換矩陣，然后將結(jié)果傳遞給下一層，以此類推，直至最后一層即原始圖像，其計(jì)算出的光流作為最后結(jié)果。

2.3 峰值檢測(cè)

人臉對(duì)齊是人臉識(shí)別中常用的預(yù)處理方法，但是在人臉對(duì)齊后會(huì)引起面部一定程度的變形，這對(duì)強(qiáng)度非常低的微表情就會(huì)產(chǎn)生較大影響。另外考慮到微表情發(fā)生的時(shí)間非常短，幀與幀之間的變化程度很小，因此本文沒(méi)有進(jìn)行傳統(tǒng)的人臉對(duì)齊，而是首先進(jìn)行峰值幀檢測(cè)。一個(gè)完整的微表情序列可以分為開(kāi)始發(fā)生、正在發(fā)生和結(jié)束三個(gè)階段，其中開(kāi)始發(fā)生和正在發(fā)生階段可以更好地反映微表情類別，如一個(gè)類別為高興的微表情通常會(huì)伴隨著嘴角上揚(yáng)，而其回落階段對(duì)于微表情的識(shí)別并沒(méi)有太多有效信息，此外更短的微表情序列可以減少頭部姿態(tài)變化引起的噪聲，因此通過(guò)峰值檢測(cè)就可以選取從起始幀到峰值幀的微表情序列。本文采用我們前期工作所提出的峰值檢測(cè)算法[22]，首先提取眉毛、嘴角和下巴周圍5個(gè)區(qū)域內(nèi)相鄰兩幀之間的光流場(chǎng)(如圖4(b)所示)，然后將光流方向劃分成8個(gè)區(qū)間(如圖3所示)。

圖3 8個(gè)光流方向區(qū)間的劃分

最后計(jì)算每個(gè)區(qū)域R內(nèi)的HOOF特征(如圖4(c)所示)并統(tǒng)計(jì)方向向下的像素點(diǎn)之和及方向向上的像素點(diǎn)之和，二者的差值δ如下所示：

(11)

圖4 類別為“高興”的微表情序列的光流變化。由于篇幅限制，在(a)和(b)中我們只選取了第2、5、9、10、17、22總共6幀，其中第2、5、9幀屬于“開(kāi)始發(fā)生”階段，第10幀屬于“正在發(fā)生”階段，第17、22幀屬于“結(jié)束”階段。我們以ROI1(右嘴角)為例，展示了微表情在各個(gè)階段中光流方向的變化

2.4 MHOOF特征提取與識(shí)別

考慮到微表情發(fā)生強(qiáng)度非常低的特點(diǎn)，即使在峰值幀，也很難用傳統(tǒng)的靜態(tài)特征進(jìn)行識(shí)別，所以本文提取微表情序列的動(dòng)態(tài)光流特征，此外，高速攝像機(jī)記錄的微表情序列，幀與幀之間變化非常微弱，這樣每個(gè)ROI內(nèi)的主方向(包含像素點(diǎn)最多的光流方向區(qū)間)相較于其他方向不明顯，容易被其他方向干擾，所以我們提取每一幀和第一幀之間的光流[Vx,Vy]，然后將歐氏坐標(biāo)轉(zhuǎn)換成極坐標(biāo)(ρ,θ)，并將光流方向劃分成圖3所示的8個(gè)方向區(qū)間，最后計(jì)算13個(gè)ROIs內(nèi)的HOOF特征。圖5(a)、(b)分別展示了一個(gè)類別為高興的微表情序列的三個(gè)階段中每一幀和第一幀之間光流場(chǎng)和光流方向直方圖，和圖4(b)、(c)相比，最大的區(qū)別在于“正在發(fā)生”階段和“結(jié)束”階段，在圖4(b)中，三個(gè)階段的光流主方向分別是上升、平穩(wěn)和下降，而在圖5(a)中，三個(gè)階段的光流主方向都為上升。同時(shí)在圖5(b)中每個(gè)ROI內(nèi)的主方向相較于其他方向更為明顯，從而可以更好地反映微表情的變化。計(jì)算得到13個(gè)ROIs內(nèi)的HOOF特征后，則一幀的HOOF特征?i可由如下所得：

(12)

接下來(lái)我們提取從起始幀到峰值幀的微表情序列的HOOF特征?i，由于每個(gè)微表情序列的幀數(shù)不同，因此我們采用池化方法對(duì)HOOF特征?i進(jìn)行歸一化，池化不僅可降低特征維數(shù)也可引入不變性，常用策略有平均池化(mean pooling)、最大池化(max pooling)和中值池化(median pooling)，考慮到平均池化可以更好地表示微表情變化過(guò)程和消除極值干擾，并在實(shí)驗(yàn)對(duì)比之后，所提算法最終采用效果最佳的平均池化。因此，微表情序列的MHOOF特征Ω可由如下所得：

(13)

其中nf是當(dāng)前微表情序列從起始幀到峰值幀的總幀數(shù)，?i是幀fi的HOOF特征。MHOOF特征也是一個(gè)104維的向量。最后提取的MHOOF特征如圖5(c)和圖6(d)所示，圖5(c)是類別為“高興”微表情序列右嘴角區(qū)域ROI1的MHOOF特征，圖6(d)是類別為“壓抑”的微表情序列右嘴角區(qū)域ROI1的MHOOF特征?？梢钥吹組HOOF特征很好地描述了這兩類微表情“嘴角上揚(yáng)”和“嘴角下降”的顯著特征。

圖5 (a)、(b)和圖4中的(b)、(c)相對(duì)應(yīng)，但ROI1內(nèi)計(jì)算的是每一幀和第一幀之間的光流場(chǎng)和光流方向直方圖，(c)是從起始幀到峰值幀ROI1內(nèi)的MHOOF特征

提取到每個(gè)微表情序列的MHOOF特征后，選用適當(dāng)?shù)姆诸惼鬟M(jìn)行識(shí)別。SVM(支持向量機(jī))在解決小樣本、非線性及高維模式識(shí)別中表現(xiàn)出許多特有的優(yōu)勢(shì)，目前微表情相關(guān)的數(shù)據(jù)庫(kù)規(guī)模相對(duì)較小，因此本文采用SVM進(jìn)行微表情識(shí)別。SVM通過(guò)核函數(shù)K(x,y)將數(shù)據(jù)映射到高維空間，并在高維空間構(gòu)造判別函數(shù)來(lái)解決在原始空間中線性不可分的問(wèn)題，常用的核函數(shù)如下：

(1)線性核函數(shù)(Linear Kernel):

K(x,y)=x·y+c

(2)多項(xiàng)式核函數(shù)(Polynomial Kernel):

K(x,y)=(γ*(x·y)+c)d

圖6 類別為“壓抑”的微表情從起始到峰值的光流變化。(a)是原始輸入的圖片序列，(b)和(c)是對(duì)應(yīng)ROI1內(nèi)的光流場(chǎng)和光流方向直方圖，(d)是ROI1內(nèi)的MHOOF特征

(3)徑向基核函數(shù)(RBF Kernel):

K(x,y)=exp(-γ*‖x-y‖2)

(4)卡方核函數(shù)(Chi-Square Kernel):

本文采用LIBSVM[26]設(shè)置不同的核函數(shù)，并通過(guò)網(wǎng)格搜索法對(duì)懲罰參數(shù)c和核函數(shù)中的γ進(jìn)行尋優(yōu)。

3 實(shí)驗(yàn)和結(jié)果

為了驗(yàn)證MHOOF特征的有效性，我們?cè)贑ASME II[23]微表情庫(kù)上進(jìn)行了實(shí)驗(yàn)，并和LBP-TOP[1]、MDMO[10]、STLBP-IP[4]、DiSTLBP-RIP[3]四種算法進(jìn)行了對(duì)比。

3.1 數(shù)據(jù)集

CASME II數(shù)據(jù)庫(kù)由中科院心理研究所負(fù)責(zé)維護(hù)的微表情庫(kù)，和之前的CASME[24]數(shù)據(jù)庫(kù)和SMIC[25]數(shù)據(jù)庫(kù)相比，CASME II有如下兩個(gè)優(yōu)點(diǎn)可以更好的滿足微表情研究的需要：

(2)CASME II中增加了微表情發(fā)生的多樣性，在CASME II采集過(guò)程中，一部分參與者在觀看視頻的過(guò)程中被要求始終保持中性狀態(tài)，另外一部分則只有意識(shí)到有微表情要出現(xiàn)時(shí)才會(huì)抑制面部運(yùn)動(dòng)，而CASME和SMIC中只考慮了前一種，不同類型的微表情可能會(huì)有不同的動(dòng)態(tài)特征。

基于上述特點(diǎn)，本文選用CASME II作為實(shí)驗(yàn)數(shù)據(jù)集，其中一共包含247個(gè)從26個(gè)參與者的將近3000個(gè)人臉運(yùn)動(dòng)中篩選出的微表情樣本，每個(gè)微表情樣本都標(biāo)注了起始幀、峰值幀和結(jié)束幀，另外對(duì)動(dòng)作單元和情感類別也都進(jìn)行了標(biāo)注。由于某些類別的樣本數(shù)太少，所以通常將這247個(gè)樣本的類別劃分成四類[10]或五類[3- 4]：

四類：積極(32)、消極(25)、驚訝(64)、其他(126)。

五類：高興(32)、驚訝(25)、厭惡(64)、壓抑(27)、其他(99)。

3.2 算法對(duì)比

由于無(wú)論是劃分成四類還是五類，每個(gè)類別的樣本數(shù)都不均衡，所以我們采用留一驗(yàn)證法(Leave-One-Subject-Out, LOSO)[1,3-4,10]作為衡量標(biāo)準(zhǔn)。CASME II中共有26個(gè)對(duì)象，每一個(gè)對(duì)象都用作一次測(cè)試集，其余的作為訓(xùn)練集，26次之后，我們就會(huì)得到所有樣本的預(yù)測(cè)值。由于算法MDMO和STLBP-IP、DiSTLBP-RIP分別是在四類劃分和五類劃分下進(jìn)行實(shí)驗(yàn)的，所以本文對(duì)上述算法進(jìn)行了重復(fù)，在四類和五類劃分進(jìn)行了統(tǒng)一比較。

LBP-TOP. 為了減少LBP-TOP的參數(shù)，我們將XY、XT、YT平面中鄰域內(nèi)的點(diǎn)數(shù)都設(shè)為4，X平面的半徑Rx和Y平面的半徑Ry設(shè)置為相等且從1到4，T平面的半徑Rt設(shè)為從2到4，因?yàn)楫?dāng)T平面的半徑設(shè)為1時(shí)，只能提取XY平面的空間特征而沒(méi)有提取T平面的時(shí)域特征。四類劃分下，當(dāng)Rx=Ry=2，Rt=4且SVM的參數(shù)t=Linear Kernel，c=12.5時(shí)LBP-TOP達(dá)到的最好識(shí)別率是53.44%；五類劃分下，當(dāng)Rx=Ry=4，Rt=3且SVM的參數(shù)t=Linear Kernel，c=7.3時(shí)LBP-TOP達(dá)到的最好識(shí)別率是47.37%。

MDMO. 由于文獻(xiàn)[10]中所用的DRMF人臉關(guān)鍵點(diǎn)檢測(cè)算法在一些樣本中不能正確檢測(cè)出關(guān)鍵點(diǎn)，所以Liu等移除了這些樣本，而我們?cè)谡鹿?jié)2.1中采用的算法可以很好地檢測(cè)出每個(gè)樣本的人臉關(guān)鍵點(diǎn)，所以我們首先使用該算法檢測(cè)出每個(gè)微表情樣本中第一幀的關(guān)鍵點(diǎn)，然后用Liu提供的源代碼提取MDMO特征，最后對(duì)同樣的247個(gè)樣本進(jìn)行實(shí)驗(yàn)。在四類劃分下，當(dāng)λ=0.75，SVM參數(shù)t=Linear Kernel，c=5.5時(shí)取得最好識(shí)別率為65.99%，在五類劃分下，當(dāng)λ=0.84，SVM參數(shù)t=Linear Kernel，c=6.1時(shí)取得最好識(shí)別率為58.30%。

MHOOF. 本文新提出的MHOOF算法主要和ROI劃分方法和峰值幀檢測(cè)相關(guān)，本文將人臉區(qū)域劃分成13個(gè)ROIs，并采用我們之前工作[22]中的峰值幀檢測(cè)方法，在四類劃分下，當(dāng)SVM參數(shù)t=Linear Kernel，c=5.9時(shí)取得的最好識(shí)別率為69.64%，在五類劃分下，當(dāng)SVM參數(shù)t=Linear Kernel，c=6.8時(shí)達(dá)到的最好識(shí)別率為66.80%。從表2和表3可以得到，和上述算法中四類劃分和五類劃分下識(shí)別率最好的MDMO和DiSTLBP-RIP相比，本文MHOOF的識(shí)別率分別提升了5.53%和3.12%。同時(shí)我們還對(duì)比了文獻(xiàn)[10]中的ROI劃分方法，將人臉區(qū)域劃分成36個(gè)ROIs，然后在相同條件下重新對(duì)MHOOF特征進(jìn)行了實(shí)驗(yàn)，在四類劃分下和五類劃分下的最好識(shí)別率為63.56%和61.13%。此外，我們還對(duì)三種池化方法進(jìn)行了對(duì)比，最大池化(MaxHOOF)和中值池化(MedianHOOF)在四類劃分下達(dá)到的最好識(shí)別率分別是65.59%(SVM參數(shù)t=Linear Kernel，c=4.1)和67.61%(SVM參數(shù)t=Linear Kernel，c=7.8)，在五類劃分下達(dá)到的最好識(shí)別率分別是61.94%(SVM參數(shù)t=Linear Kernel，c=11.4)和62.75%(SVM參數(shù)t=Linear Kernel，c=6.2)，兩者和平均池化相比識(shí)別率均有所下降，由此可見(jiàn)本文所提出的平均光流方向直方圖特征可以更好地用于微表情識(shí)別。

表2 “四類”劃分下，各算法識(shí)別結(jié)果的比較

表3 “五類”劃分下，各算法識(shí)別結(jié)果的比較

4 結(jié)論

本文提出了一種新的基于平均光流方向直方圖(MHOOF)的微表情識(shí)別算法，首先，準(zhǔn)確檢測(cè)出人臉稠密關(guān)鍵點(diǎn)并對(duì)人臉區(qū)域進(jìn)行ROI劃分，區(qū)別于已有算法，所提算法通過(guò)提取特定ROI內(nèi)相鄰兩幀之間的HOOF特征來(lái)檢測(cè)微表情序列的峰值幀，然后提取從起始幀到峰值幀這一段圖片序列的MHOOF特征進(jìn)行表情識(shí)別。微表情庫(kù)CASME II上的實(shí)驗(yàn)表明，從起始幀到峰值幀這一階段的MHOOF特征與之前提出的LBP-TOP、MDMO、STLBP-IP和DiSTLBP-RIP相比，可有效描述微表情的變化并提高識(shí)別準(zhǔn)確度。由于MHOOF特征依賴于第一幀為表情發(fā)生的起始幀，同時(shí)對(duì)峰值幀檢測(cè)的準(zhǔn)確性也有一定依賴，所以在今后的工作中，我們將進(jìn)一步解決這些限制條件，并提高對(duì)光照和噪聲的魯棒性。

[1] Zhao G, Pietikinen M. Dynamic Texture Recognition Using Local Binary Patterns with an Application to Facial Expressions[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2007, 29(6):915-928.

[2] Pfister T, Zhao G, Pietikainen M. Recognising spontaneous facial micro-expressions[C]∥International Conference on Computer Vision. IEEE Computer Society, 2011:1449-1456.

[3] Huang Xiaohua, Wang Sujing, Liu Xin, et al. Discriminative Spatiotemporal Local Binary Pattern with Revisited Integral Projection for Spontaneous Facial Micro-Expression Recognition[J]. IEEE Transactions on Affective Computing, 2017, PP(99):1-1.

[4] Huang X, Wang S J, Zhao G, et al. Facial Micro-Expression Recognition Using Spatiotemporal Local Binary Pattern with Integral Projection[C]∥IEEE International Conference on Computer Vision Workshop. IEEE Computer Society, 2015:1-9.

[5] Ganesh A, Ma Y, Rao S, et al. Robust Principal Component Analysis: Exact Recovery of Corrupted Low-Rank Matrices via Convex Optimization[J]. Journal of the Acm, 2009, 58(3):11.

[6] Polikovsky S, Kameda Y, Ohta Y. Facial micro-expressions recognition using high speed camera and 3D-gradient descriptor[C]∥International Conference on Crime Detection and Prevention. IET, 2009:1- 6.

[7] 柳晶晶, 陶華偉, 羅琳,等. 梯度直方圖和光流特征融合的視頻圖像異常行為檢測(cè)算法[J]. 信號(hào)處理, 2016, 32(1):1-7.

Liu Jingjing, Tao Huawei, Luo Lin, et al. Video Anomaly Detection Algorithm Combined with Histogram of Oriented Gradients and Optical Flow[J]. Journal of Signal Processing, 2016, 32(1): 1-7. (in Chinese)

[8] 岑翼剛, 王文強(qiáng), 李昂,等. 顯著性光流直方圖字典表示的群體異常事件檢測(cè)[J]. 信號(hào)處理, 2017, 33(3):330-337.

Cen Yigang, Wang Wenqiang, Li Ang, et al. Dictionary Representation for Group Anomaly Event Detection Based on the Histograms of Salience Optical Flow[J]. Journal of Signal Processing, 2017, 33(3): 330-337. (in Chinese)

[9] Li Xiaohong, Yu Jun, Zhan Shu. Spontaneous facial micro-expression detection based on deep learning[C]∥Signal Processing (ICSP), 2016 IEEE 13th International Conference on. IEEE, 2017:1130-1134.

[10] Liu Y J, Zhang J K, Yan W J, et al. A Main Directional Mean Optical Flow Feature for Spontaneous Micro-Expression Recognition[J]. IEEE Transactions on Affective Computing, 2016, 7(4):299-310.

[11] Maryam Asadi-Aghbolaghi, Albert Clapes, Marco Bellantonio, et al. A Survey on Deep Learning Based Approaches for Action and Gesture Recognition in Image Sequences[C]∥Automatic Face & Gesture Recognition (FG 2017), 2017 12th IEEE International Conference on. IEEE, 2017: 476- 483.

[12] Sun Y, Wang X, Tang X. Hybrid Deep Learning for Face Verification[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2016, 38(10):1997-2009.

[13] Li Huibin, Sun Jian, Xu Zongben, et al. Multimodal 2D+3D Facial Expression Recognition with Deep Fusion Convolutional Neural Network[J]. IEEE Transactions on Multimedia, 2017, PP(99):1-1.

[14] Patel Devangini, Hong Xiaopeng, Zhao Guoying. Selective Deep Features for Micro-Expression Recognition[C]∥Pattern Recognition (ICPR), 2016 23rd International Conference on. IEEE, 2016:2258-2263.

[15] Tadas Baltru?aitis, Peter Robinson, Louis-Philippe Morency. OpenFace: An open source facial behavior analysis toolkit[C]∥Applications of Computer Vision (WACV), 2016 IEEE Winter Conference on. IEEE, 2016:1-10.

[16] Baltrusaitis T, Robinson P, Morency L P. Constrained Local Neural Fields for Robust Facial Landmark Detection in the Wild[C]∥IEEE International Conference on Computer Vision Workshops. IEEE Computer Society, 2013:354-361.

[17] Morency L, Baltrusaitis T, Robinson P. 3D Constrained Local Model for rigid and non-rigid facial tracking[C]∥Computer Vision and Pattern Recognition. IEEE, 2012:2610-2617.

[18] Asthana A, Zafeiriou S, Cheng S, et al. Robust Discriminative Response Map Fitting with Constrained Local Models[C]∥IEEE Conference on Computer Vision and Pattern Recognition. IEEE Computer Society, 2013:3444-3451.

[19] Liong S T, See J, Wong K S, et al. Automatic apex frame spotting in micro-expression database[C]∥Pattern Recognition (ACPR), 2015 3rd IAPR Asian Conference on. IEEE, 2015:665- 669.

[20] Lucas B D, Kanade T. An iterative image registration technique with an application to stereo vision[C]∥International Joint Conference on Artificial Intelligence. Morgan Kaufmann Publishers Inc. 1981:674- 679.

[21] Bouguet J Y. Pyramidal implementation of the Lucas Kanade feature tracker description of the algorithm[J]. Opencv Documents, 1999, 22(2):363-381.

[22] Ma H Y, An G Y. A region histogram of oriented optical flow feature for apex frame spotting in micro-expression[C]∥IEEE International Symposium on Intelligent Signal Processing and Communication Systems. IEEE, 2017.

[23] Yan W J, Li X, Wang S J, et al. CASME II: An Improved Spontaneous Micro-Expression Database and the Baseline Evaluation[J]. Plos One, 2014, 9(1):1- 8.

[24] Yan W J, Wu Q, Liu Y J, et al. CASME database: A dataset of spontaneous micro-expressions collected from neutralized faces[C]∥IEEE International Conference and Workshops on Automatic Face and Gesture Recognition. IEEE, 2013:1-7.

[25] Li X, Pfister T, Huang X, et al. A Spontaneous Micro-expression Database: Inducement, collection and baseline[C]∥IEEE International Conference and Workshops on Automatic Face and Gesture Recognition. IEEE, 2013:1- 6.

[26] Chang C C, Lin C J. LIBSVM: A library for support vector machines[J]. Acm Transactions on Intelligent Systems & Technology, 2011, 2(3):1-27.