基于差分定位與光流特征提取的微表情識(shí)別

許 剛 趙中原 談元鵬

(華北電力大學(xué)電氣與電子工程學(xué)院 北京 102206)

基于差分定位與光流特征提取的微表情識(shí)別

許 剛 趙中原 談元鵬

(華北電力大學(xué)電氣與電子工程學(xué)院 北京 102206)

針對(duì)現(xiàn)有微表情識(shí)別算法中特征提取冗余、處理時(shí)間長(zhǎng)的問(wèn)題，提出基于差分定位與光流特征提取的微表情識(shí)別方法。首先對(duì)人臉的表情敏感部位進(jìn)行圖像序列差分，通過(guò)差分投影值劃定人臉運(yùn)動(dòng)區(qū)域，計(jì)算運(yùn)動(dòng)區(qū)域光流分析數(shù)據(jù)的主成分特征，最后利用支持向量機(jī)判斷臉部運(yùn)動(dòng)單元編號(hào)，識(shí)別微表情的類(lèi)別。實(shí)驗(yàn)結(jié)果表明，該方法較之于傳統(tǒng)識(shí)別技術(shù)在微表情識(shí)別效率與準(zhǔn)確度上有顯著提升。

微表情識(shí)別 光流分析 圖像差分 主成分分析 面部行為編碼系統(tǒng)

0 引 言

不同于普通表情，微表情通常具有表情強(qiáng)度低、表情速度快的特點(diǎn)，持續(xù)時(shí)間在1/25～1/5秒間。微表情往往反映人真實(shí)的情感變化，基于這一特點(diǎn)，微表情研究開(kāi)始受到諸如醫(yī)學(xué)臨床、安全保障、謊言識(shí)別、人工智能以及政治心理學(xué)等各個(gè)方面的專(zhuān)家學(xué)者的高度關(guān)注[1]。

微表情與傳統(tǒng)表情識(shí)別一樣，特征提取是它的關(guān)鍵環(huán)節(jié)。微表情自動(dòng)識(shí)別研究初期采用差分[2]、應(yīng)變模式[3]、Gabor[4]等傳統(tǒng)表情識(shí)別特征提取算法，然而由于微表情與普通表情在圖像細(xì)節(jié)紋理方面差異很大，傳統(tǒng)表情識(shí)別技術(shù)在微表情識(shí)別方面的應(yīng)用效果并不見(jiàn)佳[5]。Shreve等人將光流分析引入微表情識(shí)別[6]，能夠?qū)崿F(xiàn)對(duì)面部細(xì)微變化的捕捉與提取。但是其算法設(shè)計(jì)復(fù)雜、運(yùn)算量大，所提取的表情特征冗余度較高，缺乏針對(duì)性，致使計(jì)算處理時(shí)間過(guò)長(zhǎng)，同時(shí)非必要特征對(duì)后續(xù)分類(lèi)造成干擾。

本文提出了一種基于差分定位與光流特征提取的微表情識(shí)別算法，首先借助圖像差分劃定臉部運(yùn)動(dòng)區(qū)域；而后對(duì)臉部運(yùn)動(dòng)區(qū)域進(jìn)行光流分析并通過(guò)主成分分析PCA提取局部運(yùn)動(dòng)特征；最后借助支持向量機(jī)SVM進(jìn)行微表情分類(lèi)。實(shí)驗(yàn)結(jié)果分析表明，算法在識(shí)別效率與準(zhǔn)確度上都有一定提升，提升了微表情自動(dòng)識(shí)別水平。

1 差分定位

圖像差分通過(guò)順序圖像灰度值絕對(duì)差的求取，突出圖像序列中的變化區(qū)域。如圖1(a)、圖1(b)所示的兩幅圖為一個(gè)微表情序列，兩幅人臉圖像之間的差異很小，單憑肉眼甚至無(wú)法分辨。而在圖1(c)的圖像差分結(jié)果中，人物嘴角運(yùn)動(dòng)被明顯突出。

圖1 微表情圖像序列與差分

在圖像差分的基礎(chǔ)上，通過(guò)投影閾值的判斷實(shí)現(xiàn)運(yùn)動(dòng)區(qū)域定位。算法具體實(shí)現(xiàn)過(guò)程分為以下四步：

(1) 設(shè)Kl(t)∈pl*ql為灰度圖像序列l(wèi)在時(shí)刻t的灰度矩陣(pl×ql為圖像序列l(wèi)灰度矩陣大小)。對(duì)不同時(shí)刻圖像序列l(wèi)灰度矩陣進(jìn)行差分處理，取差分絕對(duì)值，獲得：

(1)

(2)

(3)

圖2 圖像差分投影

(3) 顯著性閾值判斷：在算法訓(xùn)練階段，對(duì)圖像序列l(wèi)的差分投影設(shè)定閾值Vel(垂直方向)和Hol(水平方向)，閾值設(shè)定根據(jù)圖像各敏感部位的差分平均值自適應(yīng)變化。在閾值的訓(xùn)練階段，通過(guò)人工處理訓(xùn)練樣本確定閾值的基值和一個(gè)以差分矩陣平均值為系數(shù)的浮動(dòng)變量。在算法識(shí)別階段，統(tǒng)計(jì)達(dá)到閾值的投影點(diǎn)數(shù)vel、hol，根據(jù)投影點(diǎn)數(shù)判定圖像序列l(wèi)是否發(fā)生運(yùn)動(dòng)。

(4) 運(yùn)動(dòng)區(qū)域定位：如果判定圖像序列l(wèi)發(fā)生運(yùn)動(dòng)，通過(guò)差分投影值進(jìn)一步劃定運(yùn)動(dòng)區(qū)域。首先對(duì)水平方向投影值從左向右掃描，至kl點(diǎn)滿(mǎn)足式(4)、式(5)：

(4)

(5)

即滿(mǎn)足kl點(diǎn)值與其后五點(diǎn)平均值都大于閾值Hol，則令leftl=kl。同理，從投影值右端向左掃描獲得橫向右終止點(diǎn)rightl，對(duì)垂直方向投影值重復(fù)上述操作并獲得縱向起、止點(diǎn)topl、bottoml，由這四點(diǎn)所對(duì)應(yīng)的橫縱軸圍成運(yùn)動(dòng)區(qū)域El(t1,t2)。差分定位算法能夠獲得準(zhǔn)確的圖像運(yùn)動(dòng)區(qū)域，進(jìn)一步采用光流特征提取算法獲得區(qū)域運(yùn)動(dòng)特征。

2 光流特征提取

2.1 圖像序列光流分析

光流法以順序圖像中像素的時(shí)空相關(guān)性為基礎(chǔ)，通過(guò)計(jì)算物體的運(yùn)動(dòng)場(chǎng)獲取圖像運(yùn)動(dòng)特征。針對(duì)圖像序列El(t1,t2)，設(shè)圖像上的點(diǎn)(x,y)在時(shí)刻t的灰度為el(x,y,t)，用u(x,y)和v(x,y)表示光流在該點(diǎn)的水平和垂直移動(dòng)分量：

(6)

經(jīng)過(guò)間隔Δt后對(duì)應(yīng)點(diǎn)為：

el(x+Δx,y+Δy,t+Δt)

(7)

根據(jù)圖像灰度一致性假設(shè)以及相鄰點(diǎn)具有相同運(yùn)動(dòng)速度的條件，建立光流值求取目標(biāo)方程：

(9)

2.2 光流數(shù)據(jù)特征提取

通過(guò)光流分析獲取的圖像運(yùn)動(dòng)特征，維數(shù)高、數(shù)據(jù)冗余。PCA變換能夠降低數(shù)據(jù)維度[7]，具體處理包括：

(1) 數(shù)據(jù)訓(xùn)練環(huán)節(jié)：建立數(shù)據(jù)空間特征基底。首先，每個(gè)訓(xùn)練樣本的矩陣數(shù)據(jù)向量化，即矩陣按列依次排列構(gòu)成向量。定義cov(xa,xb)為樣本a與樣本b所生成向量的協(xié)方差，則對(duì)nu個(gè)樣本計(jì)算協(xié)方差矩陣：

(10)

(2) 數(shù)據(jù)識(shí)別環(huán)節(jié)：基底系數(shù)特征提取。將待識(shí)別樣本數(shù)據(jù)y向基底空間映射：

(11)

其中i∈[1,s]，從而求取數(shù)據(jù)y映射到各特征基底的對(duì)應(yīng)系數(shù)KeyEl(t1,t2)={k1,k2,…,ks}，用基底系數(shù)作為光流分析的特征值。

3 微表情識(shí)別算法流程

差分定位與光流特征提取算法實(shí)現(xiàn)圖像運(yùn)動(dòng)區(qū)域的定位和區(qū)域特征的提取，是微表情識(shí)別的核心。以此為基礎(chǔ)提出的算法流程如圖3所示，主要包括四個(gè)步驟：圖像預(yù)處理、敏感部位劃分與運(yùn)動(dòng)區(qū)域定位、光流分析與PCA特征提取、SVM運(yùn)動(dòng)單元分類(lèi)[8]。其中后面三步需要通過(guò)訓(xùn)練樣本訓(xùn)練設(shè)定識(shí)別流程中的運(yùn)動(dòng)區(qū)域閾值、光流數(shù)據(jù)主成分基底、SVM分類(lèi)器參數(shù)等。

圖3 微表情識(shí)別算法流程圖

微表情識(shí)別算法流程具體如下：

在全面清理排查、實(shí)施分類(lèi)處置的同時(shí)，省廳進(jìn)一步完善工作機(jī)制，探索土地管理長(zhǎng)效機(jī)制，包括優(yōu)化新增計(jì)劃管理、嚴(yán)格出讓管理，強(qiáng)化合同履約管理、規(guī)范閑置土地處置等等。

第一步 在圖像數(shù)據(jù)預(yù)處理環(huán)節(jié)，針對(duì)輸入的不同尺寸RGB彩色人臉圖像序列，將圖像序列轉(zhuǎn)化為灰度圖像并采用雙三次插值法對(duì)臉部圖像序列進(jìn)行尺寸歸一化。

第二步 在敏感部位劃分與運(yùn)動(dòng)區(qū)域定位環(huán)節(jié)，以尺寸歸一化的灰度人臉圖像序列為輸入，按照面部行為編碼系統(tǒng)理論對(duì)人臉圖像進(jìn)行劃分[9]，將人臉圖像劃分為不同的表情敏感部位。設(shè)集合L={1,…，l,…，N}，對(duì)?l∈L，表征面部表情敏感部位，如眉毛、嘴唇、嘴角、鼻梁、眼睛等。按照不同的表情敏感部位截取人臉圖像區(qū)域構(gòu)成子圖像序列，在各子圖像序列中進(jìn)行差分定位處理，從而獲得顯著性敏感部位的運(yùn)動(dòng)區(qū)域。這一步驟實(shí)現(xiàn)人臉表情位置的準(zhǔn)確定位，縮小后續(xù)步驟的待處理數(shù)據(jù)量。

第三步 在光流分析與PCA特征提取環(huán)節(jié)，以上一步獲取的運(yùn)動(dòng)區(qū)域圖像序列為輸入，通過(guò)尺寸歸一化，對(duì)歸一化圖像序列進(jìn)行光流分析。通過(guò)PCA特征提取光流特征：為不同表情敏感部位的運(yùn)動(dòng)區(qū)域分別建立特征基底，并在識(shí)別流程中選擇對(duì)應(yīng)基底求取特征值。

第四步 在SVM分類(lèi)輸出環(huán)節(jié)，提出以運(yùn)動(dòng)單元AU編號(hào)分類(lèi)為基礎(chǔ)的表情識(shí)別。首先判斷臉部運(yùn)動(dòng)區(qū)域的運(yùn)動(dòng)形式：通過(guò)面部行為編碼系統(tǒng)理論為圖像序列編碼，獲得臉部AU編號(hào)，并借助表情、AU編號(hào)公式推導(dǎo)人物微表情[10]。為每個(gè)表情敏感部位設(shè)定單獨(dú)的分類(lèi)器，將不同表情敏感部位的光流主成分特征作為輸入，將與表情敏感部位所涉AU編號(hào)一一對(duì)應(yīng)的[0,1]向量作為輸出。SVM訓(xùn)練流程中，將訓(xùn)練樣本的PCA基底系數(shù)與AU編號(hào)作為輸入；SVM識(shí)別流程中，提取臉部單元運(yùn)動(dòng)特征，將PCA處理獲取的基底系數(shù)KeyEl′(t1,t2)作為臉部單位運(yùn)動(dòng)特征輸入SVM，獲得臉部的AU編號(hào)，實(shí)現(xiàn)微表情分類(lèi)。

4 實(shí)驗(yàn)與分析

4.1 實(shí)驗(yàn)數(shù)據(jù)

本文實(shí)驗(yàn)數(shù)據(jù)庫(kù)采用了中國(guó)科學(xué)院心理研究所建立的微表情數(shù)據(jù)庫(kù)CASME[11]。該數(shù)據(jù)庫(kù)采用60 fps幀率、1280×720分辨率攝像機(jī)記錄測(cè)試員微表情，對(duì)視頻剪裁、編碼并建立微表情分類(lèi)數(shù)據(jù)。本文所有仿真實(shí)驗(yàn)均使用Intel(R) Core(TM)2-T9600 CPU @2.80 GHz處理器在MATLAB 2012a環(huán)境下進(jìn)行。根據(jù)數(shù)據(jù)庫(kù)所含樣本及其數(shù)量，從數(shù)據(jù)庫(kù)中選取五類(lèi)表情、九類(lèi)AU編號(hào)組合，如表1所示。

表1 實(shí)驗(yàn)表情數(shù)據(jù)分類(lèi)

表1描述實(shí)驗(yàn)數(shù)據(jù)中各表情類(lèi)別與運(yùn)動(dòng)單元組合的關(guān)系及各運(yùn)動(dòng)單元編號(hào)組合的數(shù)量，以Disgust表情為例，其涉及臉部AU編號(hào)組合包括AU4與AU9組合、AU9組合，兩類(lèi)編號(hào)組合對(duì)應(yīng)樣本數(shù)量分別為15、15。圖4為表1中不同運(yùn)動(dòng)單元組合的圖像差分，運(yùn)動(dòng)單元編號(hào)不同，臉部發(fā)生運(yùn)動(dòng)的區(qū)域也有所差異，各AU編號(hào)所對(duì)應(yīng)臉部區(qū)域如圖4中方框所示。

圖4 運(yùn)動(dòng)單元組合圖像差分結(jié)果

實(shí)驗(yàn)中，表情敏感部位包括眉毛、嘴角、嘴唇和鼻梁四個(gè)部分，單一人臉部位的運(yùn)動(dòng)單元編號(hào)數(shù)量最多為3，情緒分類(lèi)數(shù)量最多為3。實(shí)驗(yàn)選取微表情數(shù)據(jù)庫(kù)中人物的無(wú)表情幀與微表情幀，通過(guò)對(duì)兩幀數(shù)據(jù)的處理，提取圖像間的運(yùn)動(dòng)特征，實(shí)現(xiàn)微表情分類(lèi)。

4.2 實(shí)驗(yàn)過(guò)程

實(shí)驗(yàn)流程包括：首先，通過(guò)預(yù)處理獲取尺寸歸一的灰度圖像序列。其次，在臉部灰度圖像劃分的各表情敏感部位差分定位。圖5(a)方框?yàn)槊济珗D像的差分定位結(jié)果，圖5(b)為對(duì)應(yīng)運(yùn)動(dòng)區(qū)域圖像。差分定位算法實(shí)現(xiàn)了表情位置的準(zhǔn)確選取，縮小待處理數(shù)據(jù)量。

圖5 臉部運(yùn)動(dòng)區(qū)域定位

然后對(duì)臉部運(yùn)動(dòng)區(qū)域進(jìn)行光流分析與PCA特征提取。圖6為AU4樣本眉毛運(yùn)動(dòng)區(qū)域的光流分析，數(shù)據(jù)顯示這一部位具有向下運(yùn)動(dòng)的趨勢(shì)。

圖6 AU4圖像光流分析

在PCA特征提取中，基底選擇特征值大小前20所對(duì)應(yīng)的特征向量。圖7(a)為眉毛區(qū)域PCA基底的各特征向量貢獻(xiàn)度，所選特征向量合計(jì)貢獻(xiàn)度達(dá)95%以上；圖7(b)為AU4樣本光流分析的PCA特征值。

圖7 PCA基底與特征值

將光流分析的PCA特征值作為SVM輸入，獲得臉部AU編號(hào)，通過(guò)AU編號(hào)表情公式識(shí)別微表情[10]。

4.3 實(shí)驗(yàn)分析

實(shí)驗(yàn)處理中，對(duì)不同面部區(qū)域分別進(jìn)行特征提取與SVM分類(lèi)訓(xùn)練。各區(qū)域訓(xùn)練樣本、測(cè)試樣本數(shù)量及識(shí)別準(zhǔn)確率如表2所示，眉毛、嘴角等區(qū)域識(shí)別率在79%～84%，總體穩(wěn)定。

表2 實(shí)驗(yàn)分區(qū)數(shù)據(jù)

實(shí)驗(yàn)同時(shí)對(duì)比分析另外兩種微表情分類(lèi)方法：(1)差分投影算法：直接將臉部區(qū)域圖像差分的水平、垂直投影作為特征進(jìn)行微表情分類(lèi)；(2)全局光流算法：對(duì)整個(gè)人臉圖像序列直接進(jìn)行光流分析和特征提取，實(shí)現(xiàn)微表情識(shí)別。表3為實(shí)驗(yàn)結(jié)果對(duì)比數(shù)據(jù)。

表3 實(shí)驗(yàn)結(jié)果對(duì)比

其中，差分投影算法計(jì)算簡(jiǎn)單，它與運(yùn)動(dòng)區(qū)域光流算法一樣均通過(guò)判斷不同臉部區(qū)域的運(yùn)動(dòng)形式實(shí)現(xiàn)表情分類(lèi)，單個(gè)輸入?yún)^(qū)域的最大分類(lèi)數(shù)為3。但算法特征提取不完整，分類(lèi)效果不好，識(shí)別率僅為33%。

運(yùn)動(dòng)區(qū)域光流算法是全局光流算法的改進(jìn)。相比后者，前者通過(guò)準(zhǔn)確定位運(yùn)動(dòng)區(qū)域，縮小處理范圍，提高處理效率，降低分類(lèi)難度且避免了臉部非重要部位的影響。算法識(shí)別率達(dá)82%，計(jì)算平均時(shí)間降至0.291s。

5 結(jié) 語(yǔ)

微表情是人類(lèi)心理活動(dòng)的下意識(shí)動(dòng)作，反映人物內(nèi)心的真實(shí)變化，它具有表情強(qiáng)度低、表情速度快的特點(diǎn)。據(jù)此提出基于差分定位與光流特征提取的微表情識(shí)別方法，依據(jù)面部行為編碼系統(tǒng)理論將人臉劃分為不同的表情敏感部位；并對(duì)表情敏感部位的圖像序列進(jìn)行差分，從而確定臉部的運(yùn)動(dòng)區(qū)域并計(jì)算其光流分析數(shù)據(jù)的主成分特征；最后利用支持向量機(jī)實(shí)現(xiàn)臉部AU編號(hào)分類(lèi)和微表情識(shí)別。實(shí)驗(yàn)結(jié)果表明，在微表情識(shí)別效率與準(zhǔn)確度上，該方法較之于傳統(tǒng)識(shí)別技術(shù)有顯著提升。

[1] 賁晛燁,楊明強(qiáng),張鵬，等.微表情自動(dòng)識(shí)別綜述[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào),2014,26(9):1385-1395.

[2] 夏海英,徐魯輝.基于主動(dòng)形狀模型差分紋理和局部方向模式特征融合的人臉表情識(shí)別[J].計(jì)算機(jī)應(yīng)用,2015,35(3):783-786,796.

[3] Shreve M,Godavarthy S,Manohar V,et al.Towards macro-and micro-expression spotting in video using strain patterns[C]//Applications of Computer Vision (WACV),2009 Workshop on.IEEE,2009:1-6.

[4] She X B,Wu Q,Fu X L.Effects of the duration of expressions on the recognition of micro expressions [J].Journal of Zhejiang University-SCIENCE B(Biomedicine and Biotechnology),2012,13(3):221-230.

[5] Wu Q,Shen X,Fu X.The machine knows what you are hiding:an automatic micro-expression recognition system [C]//Affective Computing and Intelligent Interaction.Springer Berlin Heidelberg,2011:152-162.

[6] Shreve M,Godavarthy S,Goldgof D,et al.Macro-and micro-expression spotting in long videos using spatio-temporal strain [C]// 2011 IEEE International Conference on Automatic Face and Gesture Recognition and Workshops (FG 2011),2011:51-56.

[7] 徐艷,陳孝威.基于差分圖像和PCA主元分析的人臉檢測(cè)[J].計(jì)算機(jī)應(yīng)用與軟件,2008,25(8):229-230,273.

[8] 曾夢(mèng)璐,王晅,石林楓，等.基于 Contourlet-NMF和 SVM 的近紅外人臉識(shí)別方法[J].計(jì)算機(jī)應(yīng)用與軟件,2014,31(12):229-232.

[9] Ekman P,Rosenberg E L.What the face reveals:Basic and applied studies of spontaneous expression using the Facial Action Coding System (FACS)[M].New York:Oxford University Press,1997:1-130.

[10] Ekman P.Telling Lies:Clues to Deceit in the Marketplace,Politics,and Marriage (Revised Edition)[M].New York:WW Norton & Company,2009:132-161.

[11] Yan W J,Wu Q,Liu Y J,et al.CASME database:a dataset of spontaneous micro-expressions collected from neutralized faces[C]// 2013 IEEE International Conference and Workshops on Automatic Face and Gesture Recognition (FG),2013:1-7.

MICRO EXPRESSION RECOGNITION BASED ON DIFFERENTIAL POSITIONING AND OPTICAL FLOW FEATURE EXTRACTION

Xu Gang Zhao Zhongyuan Tan Yuanpeng

(SchoolofElectricalandElectronicEngineering,NorthChinaElectricPowerUniversity,Beijing102206,China)

Existing micro expression recognition algorithm has the problems of redundancy in extracting feature and long processing time.In view of this,we proposed a micro expression recognition method which is based on differential positioning and optical flow feature extraction.First,it applies image sequence difference on sensitive parts of facial expression,delimits motion area on face by differential projection value.Then it calculates principal component feature of optical flow analysis data in motion area.Finally,it uses support vector machine to determine the number of facial movement unit and recognises the category of micro expression.Experimental results showed that compared with conventional recognition technology,this algorithm has significant improvement on efficiency and accuracy of micro expression recognition.

Micro expression recognition Optical flow analysis Image difference Principle component analysis Facial action coding system

2015-08-09。中央高?；究蒲袠I(yè)務(wù)費(fèi)專(zhuān)項(xiàng)項(xiàng)目(2015XS17)。許剛，教授，主研領(lǐng)域：電子信息技術(shù)，模式識(shí)別。趙中原，碩士生，談元鵬，博士生。

TP391.41

A

10.3969/j.issn.1000-386x.2017.01.030