一種視頻微表情檢測(cè)的改進(jìn)光流算法

李秋宇，張玉明，楊福猛，詹 曙

?

一種視頻微表情檢測(cè)的改進(jìn)光流算法

李秋宇1，張玉明2，楊福猛3，詹 曙1

(1. 合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院，安徽 合肥 230009；2. 蕪湖職業(yè)技術(shù)學(xué)院電氣工程學(xué)院，安徽 蕪湖 241000；3. 安徽信息工程學(xué)院，安徽 蕪湖 241000)

微表情是人們?cè)谠噲D隱藏自己真實(shí)情感時(shí)表現(xiàn)出的不受自主神經(jīng)控制、持續(xù)時(shí)間短暫，強(qiáng)度十分微弱的面部表情。由于微表情與謊言識(shí)別有著密切的聯(lián)系，其公共安全、偵查訊問、臨床醫(yī)學(xué)等領(lǐng)域有很大的應(yīng)用前景。針對(duì)人為識(shí)別微表情十分困難的問題，提出一種基于Horn-Schunck (HS)光流法改進(jìn)并應(yīng)用于微表情自動(dòng)檢測(cè)的方法。使用預(yù)條件Gauss-Seidel迭代方法改進(jìn)了HS光流法，加快了收斂速度。通過在自發(fā)微表情數(shù)據(jù)庫CASME中進(jìn)行實(shí)驗(yàn)，該驗(yàn)證方法在微表情檢測(cè)中有很好的效果。

微表情檢測(cè)；光流法；預(yù)條件迭代

面部表情是人與人之間重要的傳遞信息的方式，人類的非語言交流大部分是通過面部表情來進(jìn)行的。心理學(xué)表明，人類可以通過面部表情的自我控制，有意識(shí)地產(chǎn)生表情來達(dá)到欺詐的效果。但心理學(xué)研究表明人們?cè)谠噲D掩蓋自己真實(shí)情感時(shí)，會(huì)流露不能自主神經(jīng)控制的微表情[1]。近年來，微表情的研究受到了越來越多的關(guān)注。與普通表情不同，微表情有持續(xù)時(shí)間短、強(qiáng)度微弱和難以隱藏等特點(diǎn)。正是由于這些特征，微表情與謊言檢測(cè)有著密切的聯(lián)系，能夠在公共安全、訊問測(cè)謊、臨床醫(yī)學(xué)等領(lǐng)域有廣泛的應(yīng)用[2]。彭玉偉[3]提出微表情的分析技術(shù)在偵訊中有確定嫌疑程度、掌控應(yīng)訊心理、識(shí)別口供真?zhèn)?、審核證據(jù)材料和擴(kuò)大取證線索等應(yīng)用。HAGGARD和ISAACS[4]首先發(fā)現(xiàn)一種不易察覺的瞬時(shí)表情，認(rèn)為其與自我防御機(jī)制有關(guān)。EKMAN和FRIESEN[5]在仔細(xì)觀看一個(gè)病人的視頻錄像時(shí)，也發(fā)現(xiàn)了這種表情，他們將其定義為微表情。微表情強(qiáng)度很弱，持續(xù)時(shí)間約為1/25~1/3 s[6]，通過肉眼很難注意與觀察。為此，EKMAN[7]提出了微表情識(shí)別訓(xùn)練工具(micro expression training tool, METT)用于幫助人們提高對(duì)微表情的識(shí)別檢測(cè)能力。肉眼觀察出微表情還是十分困難，只有大約40%的準(zhǔn)確率。為了解決這個(gè)問題，計(jì)算機(jī)視覺技術(shù)開始被用于自動(dòng)檢測(cè)微表情并達(dá)到了更好的效果。

POLIKOVSKY等[8]使用三維梯度向量描述子來檢測(cè)微表情。PFISTER等[9]使用了在3個(gè)正交平面上的局部二值模式(local binary patterns on three orthogonal planes，LBP-TOP)[10]作為描述子來提取人臉微表情的紋理特征來識(shí)別微表情。WANG等[11]提出了在LBP-TOP的基礎(chǔ)上減少冗余特征，提高計(jì)算效率的在6個(gè)交點(diǎn)上的局部二值模式(LBP-six intersection points，SIP)方法用于微表情識(shí)別。WANG等[12]提出一種新的張量獨(dú)立的色彩空間，并結(jié)合使用LBP-TOP提取特征識(shí)別微表情，得到了很好的效果。LIU等[13]提出了使用一種主運(yùn)動(dòng)方向的平均光流特征來進(jìn)行微表情的識(shí)別，這種光流特征在選定的人臉區(qū)域中光流特征的主要運(yùn)動(dòng)方向。PATEL等[14]提出了使用一個(gè)基于人臉表情數(shù)據(jù)來進(jìn)行訓(xùn)練的深度卷積神經(jīng)網(wǎng)絡(luò)對(duì)微表情進(jìn)行識(shí)別。BEN等[15]利用張量表示的最大邊界投影方法來識(shí)別微表情。HUANG等[16]提出了完整的時(shí)空局部量化模式作為描述子進(jìn)行微表情分析，并且實(shí)驗(yàn)效果相較于LBP-TOP方法提高了很多。

本文提出一種基于光流法改進(jìn)的檢測(cè)自發(fā)微表情方法。光流法是利用圖像序列中像素的時(shí)域變化和相應(yīng)性來確定各自像素位置的運(yùn)動(dòng)[17]。光流法十分適用對(duì)于微表情產(chǎn)生時(shí)肌肉變化的描述。光流法在運(yùn)動(dòng)目標(biāo)的檢測(cè)與跟蹤以及對(duì)于物體運(yùn)動(dòng)的分析方面有很大地應(yīng)用。如孫正等[18]使用光流法對(duì)冠狀動(dòng)脈造影圖像序列中的血管運(yùn)動(dòng)進(jìn)行分析。湯石晨和陳鍛生[19]將光流法運(yùn)用監(jiān)控中的人數(shù)統(tǒng)計(jì)中，取得了很好的效果。本文使用Horn-Schunck(HS)光流法[20]對(duì)于微表情視頻中的圖像幀提取光流特征，并且對(duì)于HS光流法中采用的Gauss-Seidel迭代方法進(jìn)行改進(jìn)，使用預(yù)條件Gauss-Seidel迭代方法進(jìn)行迭代計(jì)算。預(yù)條件Gauss-Seidel迭代方法相比于原本的Gauss-Seidel迭代方法有著更快的收斂速度，更好的收斂性等優(yōu)點(diǎn)。很多研究者提出了不同的預(yù)條件Gauss-Seidel迭代方法，并且都對(duì)其所提出方法的優(yōu)越性進(jìn)行了說明[21-23]。本文采用的方法首先將人臉裁剪成等大小的正方形，之后使用改進(jìn)后的HS光流法對(duì)于人臉提取稠密的光流特征，再使用支持向量機(jī)(support vector machine, SVM)對(duì)于提取的光流特征進(jìn)行分類進(jìn)而檢測(cè)微表情。最后，使用本文所提出的方法在自發(fā)微表情數(shù)據(jù)庫CASME[2]中進(jìn)行實(shí)驗(yàn)并得到很好的效果。

1 改進(jìn)的HS光流法

1.1 約束假設(shè)

HS光流法包含了2點(diǎn)約束性假設(shè)：

(1) 光照不變性條件，即假設(shè)在任意一點(diǎn)處的光照強(qiáng)度不隨時(shí)間變化而變化。圖像中(,)點(diǎn)處在時(shí)間的光照強(qiáng)度用(,,)來表示，則有

由鏈?zhǔn)椒▌t得

則式(2)可以表示為

其中，EEE分別為光照強(qiáng)度分別對(duì)、、的偏導(dǎo)。和分別為橫、縱坐標(biāo)軸方向的像素運(yùn)動(dòng)的速率，即為所求的在橫縱坐標(biāo)軸上的光流。

(2) 光照平滑約束條件，即假設(shè)在圖像中的任意一點(diǎn)與其相鄰點(diǎn)處的光照強(qiáng)度的變化是平滑的，表達(dá)式則為

1.2 HS光流法模型建立

2個(gè)表達(dá)式表示之前兩點(diǎn)假設(shè)，即

為了求出合適的光流和值，最小化能量函數(shù)，即

其中，為一個(gè)權(quán)值參數(shù)，作用是為了避免噪聲對(duì)于光流速率出現(xiàn)偶然性的變化，可以根據(jù)不同的情況調(diào)節(jié)大小。

將變分法運(yùn)用到式(8)中進(jìn)行計(jì)算得到

其中，、分別為像素所在的空間位置；位像素所在的圖像幀數(shù)。

將式(10)帶入式(9)中化簡(jiǎn)得

進(jìn)一步化簡(jiǎn)式(12)，得到以下迭代式

其中，為迭代次數(shù)。使用Gauss-Seidel迭代進(jìn)行計(jì)算，在實(shí)現(xiàn)最小化能量函數(shù)的過程中，使用圖像關(guān)于灰度梯度和時(shí)間偏導(dǎo)數(shù)的方法計(jì)算，即

經(jīng)過上述步驟反復(fù)迭代計(jì)算后，得到所求的光流特征。

1.3 改進(jìn)光流法

HS光流法采用的迭代方式是使用Gauss-Seidel迭代方法最小化能量函數(shù)，本文對(duì)于迭代算法進(jìn)行改進(jìn)，使用預(yù)條件Gauss-Seidel迭代方法來加快迭代的收斂速度，使得比原有的HS光流法的計(jì)算速度更快。

線性方程組一般表示為

其中，非奇異矩陣被稱為預(yù)條件矩陣。預(yù)條件矩陣很多，本文采用MILASZEWICZ[24]提出預(yù)條件矩陣

其中，為單位矩陣；為基于矩陣中元素所添加的矩陣。

不失一般性的，設(shè)：

其中，為含有單位對(duì)角元素的非奇異矩陣；和分別為的嚴(yán)格下三角矩陣和嚴(yán)格上三角矩陣。則有

之后，使用式(20)的預(yù)條件Gauss-Seidel迭代矩陣對(duì)于上一部分使用Gauss-Seidel迭代方法的部分進(jìn)行迭代計(jì)算，即對(duì)于式(12)的等式兩邊左乘矩陣，之后進(jìn)一步化簡(jiǎn)與迭代計(jì)算，得到所求的光流特征。相鄰兩幀圖像的光流特征如圖1所示，其中圖1(a)、(b)是視頻中經(jīng)過灰度化后相鄰兩幀的圖像，圖1(c)中左右兩邊圖像分別為所得到的光流特征和，其中紅色表示正值，藍(lán)色表示負(fù)值，通過色度表示值的大小。

圖1 CASME數(shù)據(jù)庫中“sub02”對(duì)象的“EP03_2”視頻中相鄰兩幀圖像提取的光流特征

使用上述步驟進(jìn)行光流特征提取后，本文使用SVM進(jìn)行分類，用于檢測(cè)微表情視頻中出現(xiàn)的圖像幀。

2 實(shí)驗(yàn)與結(jié)果

本文僅著重于對(duì)于微表情的檢測(cè)，進(jìn)行實(shí)驗(yàn)的電腦配置為：Intel Corei7-6700K 4.0 GHz CPU，16 GB RAM。本文采用CASME自發(fā)微表情數(shù)據(jù)庫中20個(gè)實(shí)驗(yàn)對(duì)象的195個(gè)微表情視頻片段進(jìn)行實(shí)驗(yàn)。微表情視頻片段的采集使用幀率為60 fps的攝像機(jī)拍攝。CASME數(shù)據(jù)庫包括2個(gè)子集，其中子集A中的視頻分辨率為1280×720像素，采集于自然光照條件下，子集B中視頻分辨率為640×480像素，采集于LED光照條件下。在實(shí)驗(yàn)中本文使用SVM的線性核函數(shù)進(jìn)行留一視頻交叉驗(yàn)證方法進(jìn)行實(shí)驗(yàn)，即對(duì)同一對(duì)象不同視頻的實(shí)驗(yàn)中，選取一個(gè)視頻作為測(cè)試集，剩下視頻作為訓(xùn)練集進(jìn)行實(shí)驗(yàn)，之后重復(fù)此過程直到每個(gè)視頻都被作為測(cè)試集一次，最后求出檢測(cè)結(jié)果的平均值。在實(shí)驗(yàn)中，本文進(jìn)行了對(duì)于光流法計(jì)算中迭代次數(shù)的分析實(shí)驗(yàn)，這里采用部分實(shí)驗(yàn)對(duì)象的數(shù)據(jù)進(jìn)行迭代次數(shù)分析實(shí)驗(yàn)。

圖2 部分實(shí)驗(yàn)對(duì)象的迭代次數(shù)與檢測(cè)準(zhǔn)確率關(guān)系圖

圖2展現(xiàn)了部分實(shí)驗(yàn)對(duì)象在不同光流迭代次數(shù)下的檢測(cè)準(zhǔn)確率結(jié)果。從圖中可以看出，從100次至5 000次光流迭代計(jì)算中，檢測(cè)結(jié)果的準(zhǔn)確率是波動(dòng)上升的。而超過5 000次光流迭代計(jì)算后，準(zhǔn)確率變化不大且有所下降。另光流迭代次數(shù)越多，其計(jì)算所需的時(shí)間也越長(zhǎng)。所以結(jié)合兩方面考慮，本文方法選擇光流迭代次數(shù)為5 000次比較合適。

表1中對(duì)比了3種方法對(duì)于不同尺寸的圖片計(jì)算特征時(shí)所需的時(shí)間，對(duì)于LBP-TOP方法，采用了相鄰的比較點(diǎn)個(gè)數(shù)為4的參數(shù)進(jìn)行實(shí)驗(yàn)?？梢钥闯?，對(duì)于不同尺寸的圖片相比于原來的HS光流法，改進(jìn)的HS光流法加快了收斂速度，減少了特征計(jì)算所需的時(shí)間。雖然相比于LBP-TOP方法，光流法耗時(shí)要多一些，但從最后微表情檢測(cè)準(zhǔn)確率的結(jié)果來看，改進(jìn)的光流法能提取到更加有效、更加利于分類的特征。

表1 3種方法計(jì)算不同尺寸圖片的特征所需要時(shí)間的比較(s)

表2 在CASME數(shù)據(jù)庫中微表情檢測(cè)準(zhǔn)確率實(shí)驗(yàn)結(jié)果與比較

3 結(jié)束語

本文提出一種視頻微表情檢測(cè)的HS光流改進(jìn)算法。由于光流可以描述微弱強(qiáng)度運(yùn)動(dòng)，對(duì)于流露微表情時(shí)伴隨的臉部肌肉的細(xì)微變化比較適用，使得本研究將光流法使用在人臉微表情的特征提取中，并且使用預(yù)條件Gauss-Seidel迭代對(duì)原HS光流法進(jìn)行改進(jìn)，加快了迭代收斂速度。之后結(jié)合 SVM對(duì)于微表情視頻片段進(jìn)行檢測(cè)，并且在自發(fā)微表情數(shù)據(jù)庫CASME中得到的檢測(cè)效果相比于傳統(tǒng)的LBP-TOP的檢測(cè)方法效果好。本方法未來的研究會(huì)著重于使用其他光流法對(duì)于微表情進(jìn)行檢測(cè)分析，并且希望未來能將深度神經(jīng)網(wǎng)絡(luò)運(yùn)用到微表情檢測(cè)中去，還將目前僅對(duì)于微表情視頻片段的檢測(cè)工作進(jìn)一步擴(kuò)展到對(duì)于長(zhǎng)視頻中微表情的檢測(cè)中去，加大研究的深度與層次。

[1] EKMAN P. Telling lies: clues to deceit in the marketplace, politics, and marriage [M]. New York: WW Norton & Company, 2009: 16-18.

[2] YAN W J, WU Q, LIU Y J, et al. CASME database: a dataset of spontaneous micro-expressions collected from neutralized faces [C]//2013 10thIEEE International Conference and Workshops on Automatic Face and Gesture Recognition (FG). New York: IEEE Press, 2013: 1-7.

[3] 彭玉偉. 微表情分析技術(shù)在偵查訊問工作中的應(yīng)用研究[J]. 中國(guó)刑事法雜志, 2015(2): 95-103.

[4] HAGGARD E A, ISAACS K S. Micromomentary facial expressions as indicators of ego mechanisms in psychotherapy [M]//GOTTSCHALK L A, AUERBACH A H. Methods of research in psychotherapy. Berlin：Springer, 1966: 154-165.

[5] EKMAN P, FRIESEN W V. Nonverbal leakage and clues to deception [J]. Psychiatry-Interpersonal & Biological Processes, 1969, 32(1): 88-106.

[6] EKMAN P. Lie catching and microexpressions [EB/OL]. [2016-12-13]. https://www.researchgate.net/publication/ 280300677_Lie_Catching_and_Microexpressions.

[7] EKMAN P. Micro expression training tool (METT) [EB/OL]. [2016-12-20]. https://www. paulekman.com.

[8] POLIKOVSKY S, KAMEDA Y, OHTA Y. Facial micro-expressions recognition using high speed camera and 3D-gradient descriptor [C]//3rdInternational Conference on Imaging for Detection and Prevention (ICDP 2009). London：IET Press, 2009: 1-6.

[9] PFISTER T, LI X B, ZHAO G Y, et al. Recognising spontaneous facial micro-expressions [C]//2011 IEEE International Conference on Computer Vision (ICCV), New York：IEEE Press, 2011: 1449-1456.

[10] ZHAO G Y, PIETIK?NINEN M. Dynamic texture recognition using local binary patterns with an application to facial expressions [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2007, 29(6): 915-928.

[11] WANG Y, SEE J, PHAN R C, et al. Efficient spatio-temporal local binary patterns for spontaneous facial micro-expression recognition [EB/OL]. [2016-12-15]. http://journals.plos.org/plosone/article? id=10.1371/journal.pone.0124674

[12] WANG S J, YAN W J, LI X B, et al. Micro-expression recognition using dynamic textures on tensor independent color space [C]//2014 22ndInternational Conference on Pattern Recognition (ICPR). Los Alamitos: IEEE Computer Society Press, 2014: 4678-4683.

[13] LIU Y J, ZHANG J K, YAN W J, et al. A main directional mean optical flow feature for spontaneous micro-expression recognition [J]. IEEE Transactions on Affective Computing, 2016, 7(4): 299-310.

[14] PATEL D, HONG X P, ZHAO G Y. Selective deep features for micro-expression recognition[C]//2016 23rdInternational Conference on Pattern Recognition. New York：IEEE Press, 2017: 2258-2263.

[15] BEN X Y, ZHANG P, YAN R, et al. Gait recognition and micro-expression recognition based on maximum margin projection with tensor representation [J]. Neural Computing & Applications, 2015, 27(8): 1-18.

[16] HUANG X H, ZHAO G Y, HONG X P, et al. Spontaneous facial micro-expression analysis using Spatiotemporal Completed Local Quantized Patterns [J]. Neurocomputing, 2016, 175: 564-578.

[17] 陳至坤, 曾凱, RAMAN Paranjape, 等. 一種改進(jìn)的HS光流法在機(jī)器人避障系統(tǒng)中的應(yīng)用[J]. 科學(xué)技術(shù)與工程, 2017(4): 234-238.

[18] 孫正, 郁道銀, 陳曉冬, 等. 基于光流法的冠狀動(dòng)脈造影圖像序列中血管運(yùn)動(dòng)的估計(jì)[J]. 工程圖學(xué)學(xué)報(bào), 2003, 24(3): 83-88.

[19] 湯石晨, 陳鍛生. 基于光流法和行人面積特征的人數(shù)統(tǒng)計(jì)方法研究[J]. 圖學(xué)學(xué)報(bào), 2013, 34 (1): 139-144.

[20] HORN B K P, Schunck B G. Determining optical flow [J]. Artificial Intelligence, 1981, 17(1-3): 185-203.

[21] 薄利艷, 楊晉. 新預(yù)條件Gauss-Seidel迭代法及收斂性比較[J]. 中北大學(xué)學(xué)報(bào): 自然科學(xué)版, 2012(1): 63-65,69.

[22] 劉慶兵, 周成林. 預(yù)條件AOR迭代法的比較定理[J]. 浙江萬里學(xué)院學(xué)報(bào), 2006(2): 5-10.

[23] NIKI H, KOHNO T, MORIMOTO M. The preconditioned Gauss–Seidel method faster than the SOR method [J]. Journal of Computational and Applied Mathematics, 2008, 219(1): 59-71.

[24] MILASZEWICZ J P. Improving jacobi and gauss-seidel iterations [J]. Linear Algebra and Its Applications, 1987, 93: 161-170.

An Improved Optical Flow Algorithm for Micro Expression Detection in the Video Sequence

LI Qiuyu1, ZHANG Yuming2, YANG Fumeng3, ZHAN Shu1

(1. School of Computer and Information, Hefei University of Technology, Hefei Anhui 230009, China;2. School of Electrical Engineering, Wuhu Institute of Technology, Wuhu Anhui 241000, China; 3. Anhui Institute of Information Technology, Wuhu Anhui 241000, China)

Micro-expression is a kind of short-duration subtle expression which is not controlled by the autonomic nervous system. Micro-expression appears when a person is attempting to conceal his true emotion. Micro-expression detection boasts great application prospects in many fields, such as public security, investigation and interrogation as well as clinical medicine due to its close relationship with lie detection. Automatic detection of micro-expressions has come to the fore in research, because it is of great difficulty to artificially identify micro-expression . This paper proposes an improved algorithm based on the Horn-Schunck (HS) optical flow for automatic micro-expression detection. In this study, the pre-conditioned Gauss-Seidel iterative method is employed to improve the HS optical flow method, which accelerates the convergence rate. Experiments in the spontaneous micro-expression database CASME show that the propounded method exerts an excellent effect on the detection of micro-expression.

micro-expression detection; optical flow; preconditioned iteration

TP 391

10.11996/JG.j.2095-302X.2018030448

A

2095-302X(2018)03-0448-05

2017-01-14；

2017-05-11

國(guó)家自然科學(xué)基金面上項(xiàng)目(61371156)

李秋宇(1993-)，男，安徽霍邱人，碩士研究生。主要研究方向?yàn)橛?jì)算機(jī)視覺、深度學(xué)習(xí)。E-mail：lqy@mail.hfut.edu.cn

詹 曙(1968-)，男，安徽合肥人，教授，博士。主要研究方向?yàn)槿S人臉圖像分析和識(shí)別、醫(yī)學(xué)影像分析和醫(yī)學(xué)成像系統(tǒng)。E-mail：shu_zhan@hfut.edu.cn