微表情類別與區(qū)域間關(guān)聯(lián)度的分析方法研究

張延良，盧 冰，蔣涵笑，洪曉鵬，趙國英，張偉濤

1.河南理工大學(xué) 物理與電子信息學(xué)院，河南 焦作454000

2.西安交通大學(xué) 電子與信息工程學(xué)院，西安710049

3.奧盧大學(xué) 機器視覺和信號分析研究中心，芬蘭 奧盧FI-90014

4.西安電子科技大學(xué) 電子工程學(xué)院，西安710071

1 引言

微表情是無意識下非自主控制的面部表情，它通常出現(xiàn)在人們想要掩藏和抑制他們真實情感的時候[1-3]。微表情識別能夠檢測謊言、揭示真實情感，因此它廣泛應(yīng)用在心理診斷、公共安全、審訊等領(lǐng)域[4-5]。與常規(guī)表情相比，微表情出現(xiàn)在面部區(qū)域的面積更小，肌肉動作幅度更輕微，而且速度非?？欤ㄔ?/25～1/3 s之間），因此運用計算機自動識別微表情具有相當(dāng)?shù)碾y度。

微表情識別的研究主要集中在特征提取和分類上。賁晛燁及張軍平分別[6-7]對微表情識別中的一些關(guān)鍵技術(shù)進(jìn)行了綜述。芬蘭奧盧大學(xué)趙國英等人最早用動態(tài)紋理描述子LBP-TOP 算子提取微表情特征[8]。后續(xù)又出現(xiàn)了許多對該描述子的改進(jìn)方法，如CBP-TOP[9]、LBP-SIP[10]、STCLQP[11]等。文獻(xiàn)[12]以光流場為描述微表情運動模式的基礎(chǔ)特征，提出用面部動力譜特征進(jìn)行微表情識別。不同的微表情數(shù)據(jù)集是在不同的環(huán)境下用不同的拍攝設(shè)備建立的，文獻(xiàn)[13-14]運用遷移學(xué)習(xí)的方法研究了跨庫微表情識別的問題。文獻(xiàn)[15]運用遷移學(xué)習(xí)深度神經(jīng)網(wǎng)絡(luò)研究了小樣本集微表情識別的問題。

這些方法大多是通過對面部全局區(qū)域進(jìn)行無差別分塊，然后將各塊的時空模式特征串聯(lián)構(gòu)成總的特征向量用于分類。這種基于全局區(qū)域的方法忽略了微表情類別與各局部區(qū)域之間的聯(lián)系。

心理學(xué)研究發(fā)現(xiàn)，不同類別的微表情出現(xiàn)在面部區(qū)域位置也不同[3]，如高興體現(xiàn)為臉頰和嘴角區(qū)域的肌肉動作（表現(xiàn)為臉頰提升和嘴角上揚）、驚奇出現(xiàn)在眉毛和嘴部區(qū)域（表現(xiàn)為眉毛上提和雙唇微張）等。通過大量觀察發(fā)現(xiàn)，面部產(chǎn)生微表情的同時，也存在與微表情無關(guān)的面部動作變化。因此，準(zhǔn)確剔除與微表情無關(guān)的面部區(qū)域，只提取與微表情緊密相關(guān)的局部區(qū)域的特征，是提高識別效果的關(guān)鍵所在。這就要求研究微表情類別與面部各局部區(qū)域的關(guān)聯(lián)度，找出微表情經(jīng)常發(fā)生的關(guān)鍵區(qū)域。

本文提出了一種劃分面部關(guān)鍵局部區(qū)域及分析它們與微表情類別關(guān)聯(lián)度的方法。首先根據(jù)各類微表情對應(yīng)動作單元所在的位置信息確定出人臉最為關(guān)鍵的局部區(qū)域，即眼睛、鼻子、嘴巴、下巴及面頰等，然后采用面部形變鑒別模型自動檢測出的面部關(guān)鍵點并自動劃分出這些區(qū)域塊。通過分析各區(qū)域塊對各類微表情進(jìn)行分類的準(zhǔn)確率來確定兩者之間的關(guān)聯(lián)度。

2 全局區(qū)域方法與局部關(guān)鍵區(qū)域塊的劃分

2.1 全局區(qū)域微表情識別

全局區(qū)域的微表情識別是把整個面部圖像作為研究對象，再將人臉分割為若干個重疊或者不重疊的塊[4，8，16]，如圖1 所示。其中，圖（a）中人臉被劃分為不重疊的9×8 個區(qū)域塊，圖（b）中人臉被劃分為相互重疊的4×3 個區(qū)域塊。在每個區(qū)域塊上分別提取局部區(qū)域時空模式特征，然后將串聯(lián)后的特征作為整幅圖像的特征向量，過程示意圖如圖2所示。最后將特征向量輸入分類器實現(xiàn)微表情的分類。

圖1 人臉分割區(qū)域塊

圖2 特征向量的提取

全局區(qū)域的微表情識別，在全面地提取到人臉特征的同時，也會提取到與微表情無關(guān)區(qū)域的肌肉動作，從而降低識別的效果。為了剔除這些無關(guān)區(qū)域，需要確定面部各局部區(qū)域與微表情的關(guān)聯(lián)度。

2.2 面部動作單元與特定微表情的關(guān)系

面部動作編碼系統(tǒng)（Facial Action Coding System，F(xiàn)ACS）是美國心理學(xué)家Ekman 和Friesen 為客觀進(jìn)行人類面部表情識別而制定的[17]。該系統(tǒng)定義了46 個動作單元（Action Units，AUs），其中的32個AUs與面部肌肉動作有關(guān)，每個AUs描述面部一個局部肌肉群的特定動作模式。例如AU1表示眉毛內(nèi)端上揚，AU10表示上嘴唇上揚等。任何一個面部表情都可以認(rèn)為是由一個或者若干個AUs 的組合運動引起的。6 種常規(guī)表情與相應(yīng)AUs的對應(yīng)關(guān)系，如表1所示[17]。

微表情是人在高度緊張等特殊情形下面部肌肉的短暫、輕微動作，其與AUs的對應(yīng)關(guān)系與常規(guī)表情不同。例如，“厭惡”在常規(guī)表情時對應(yīng)AU9+AU15+AU16，但在微表情出現(xiàn)時對應(yīng)AU9 或者AU10 或者AU4+AU7。微表情數(shù)據(jù)集CASME2的建立者中科院心理所傅小蘭課題組從該數(shù)據(jù)集中總結(jié)的微表情與相應(yīng)AUs 的對應(yīng)關(guān)系，如表2所示[3]。

表1 常規(guī)表情與相應(yīng)FACS AUs的對應(yīng)關(guān)系

表2 微表情與相應(yīng)FACS AUs的對應(yīng)關(guān)系

2.3 人臉局部區(qū)域塊的自動劃分

依據(jù)表2 中給出的與微表情類別相應(yīng)AUs 所在的面部區(qū)域位置，可以將面部區(qū)域劃分為7 個局部區(qū)域塊，如圖3 所示。其中，1、2 局部區(qū)域塊為眼睛，3 為鼻子，4為嘴巴，5、6為臉頰，7為下巴。每塊區(qū)域都是一個或幾個面部動作單元的組合，所對應(yīng)的FACS AUs如表3 所示[18]。對表2 和表3 進(jìn)行比較可知，本文所劃分的7個局部區(qū)域塊完整涵蓋了各微表情類別所對應(yīng)的全部FACS AUs，并且剔除了與微表情無關(guān)區(qū)域，有效避免了無關(guān)區(qū)域?qū)ξ⒈砬樽R別的影響。

圖3 局部區(qū)域塊的劃分

表3 面部區(qū)域劃分及其對應(yīng)的FACS AUs

對于局部區(qū)域塊的自動劃分，首先要進(jìn)行面部關(guān)鍵點的定位。本文采用一種判別式算法—形變鑒別模型方法[19]，它不同于經(jīng)典的主動外觀模型方法（Active Appearance Model，AAM）[20]，是自動標(biāo)識人臉的49 個關(guān)鍵點坐標(biāo)，可以實現(xiàn)面部模型的增量學(xué)習(xí)，因此對關(guān)鍵點的定位精度高，同時速度也很快，可以達(dá)到80 f/s。依據(jù)這一方法可以實現(xiàn)上述區(qū)域塊的自動提取。圖4展示了49個關(guān)鍵點位置坐標(biāo)，依據(jù)相應(yīng)的關(guān)鍵點坐標(biāo)，分割出人臉的7 個矩形局部區(qū)域塊。矩形區(qū)域框的位置和大小取決于4個邊界（即上、下、左、右）對應(yīng)的坐標(biāo)點，這7個區(qū)域塊邊界對應(yīng)的坐標(biāo)點，如表4所示。

圖4 49個關(guān)鍵點位置

表4 各局部區(qū)域邊界坐標(biāo)點

3 局部時空模式特征提取

局部二值模式（Local Binary Patterns，LBP）是由Ojala 等人[21]在1996 年最先提出的，并成功地將其應(yīng)用在紋理分類中。LBP 算子是一種有效的局部紋理描述子，可以度量和提取灰度圖像中局部近鄰區(qū)域的紋理信息。其特點是計算簡單且對光照變化不敏感，具有旋轉(zhuǎn)不變性和灰度值單調(diào)變化的不變性。它是以一個像素點為中心，對該像素點周圍像素的灰度值進(jìn)行運算，然后對每個像素點賦予不同的權(quán)值，計算結(jié)果表示中心像素點的LBP值。

式中，是一個符號函數(shù)，gc表示中心點像素值，gp表示鄰域內(nèi)的一個像素值。鄰域像素的灰度值與中心像素點灰度值進(jìn)行比較，大于或等于中心像素點灰度值時標(biāo)記為1，反之，標(biāo)記為0。將所有的0和1串聯(lián)，形成一個二進(jìn)制數(shù)作為中心像素點的局部二進(jìn)制模式。圖5給出了鄰域像素點數(shù)p=8 時，計算一個像素LBP 模式的過程。通過統(tǒng)計紋理圖像中所有像素對應(yīng)的LBP 模式出現(xiàn)頻率的直方圖作為該圖像的特征向量。

圖5 LBP計算過程

LBP算子主要用于靜態(tài)紋理分類中，為了將LBP從2D 擴展到3D，Zhao 等人[16]提出考慮3 個正交平面上二維LBP模式的LBP-TOP描述子。將每個正交平面上的特征向量進(jìn)行串聯(lián)，如圖6所示。可以把這個視頻序列當(dāng)作一個長方體，那么可以獲得該圖像序列的3個正交面XY、XT、YT。XY平面提供了空域信息，XT和YT平面提供了人臉圖像隨時間變化信息。

圖6 特征描述子LBP-TOP

然而，LBP-TOP 的向量維度是3×2p，p是鄰域點個數(shù)。這樣高的維度增加了計算成本，降低了識別的性能。為了克服這一缺點，采用UniformLBP描述子[22]，在一個平面上的向量維度從2p降到p(p-1)+3，從3 個平面(XY、XT和YT)上提取出來的特征向量串聯(lián)起來作為LBP-TOP特征。

4 實驗結(jié)果與分析

本文采用的是中科院心理研究所建立的CASME2微表情數(shù)據(jù)集。該數(shù)據(jù)集里面的微表情視頻序列全部采用自然誘發(fā)的真實微表情，在拍攝過程中，要求所有參與者在出現(xiàn)自然的、動態(tài)的微表情前后，均保持中性表情。該數(shù)據(jù)集包括26 個測試者的微表情視頻序列，表情類別有高興、厭惡、驚奇、壓抑、悲傷、害怕及其他共7種。由于數(shù)據(jù)集中悲傷、害怕這兩種微表情樣本較少，故本文實驗中涉及到的微表情類別是剩余的5 種，共247個視頻序列。

在進(jìn)行人臉區(qū)域塊劃分和特征提取分類的實驗之前，需要首先對微表情視頻序列進(jìn)行人臉對齊。采用主觀形狀模型（Active Shape Model，ASM）自動標(biāo)定所有視頻序列人臉圖像的68 個關(guān)鍵點[23]，以這些點為基礎(chǔ)，運用局部加權(quán)平均算法計算每個視頻序列的第一幀面部圖像與模板面部圖像的形變關(guān)系矩陣，將這一矩陣作用于對應(yīng)序列的其他圖像。這一人臉對齊步驟，可以較好的消除不同人臉、不同序列在無表情狀態(tài)下的形狀和位置差異，從而提高后續(xù)操作的精確度。

為了科學(xué)分析各類微表情與2.3節(jié)劃定的局部關(guān)鍵區(qū)域的關(guān)聯(lián)度，在每個區(qū)域上分別提取LBP-TOP特征，并利用支持向量機進(jìn)行微表情分類。采用留一交叉驗證法對各區(qū)域的識別效果進(jìn)行評判。在該方法中，選擇一個測試者的視頻序列作為測試數(shù)據(jù)，其他測試者的視頻序列作為訓(xùn)練數(shù)據(jù)。這個過程重復(fù)K次，K=26 是數(shù)據(jù)集中被測者的數(shù)量，然后綜合26 次的識別效果以形成最終的分類準(zhǔn)確率。本文以分類準(zhǔn)確率作為評判標(biāo)準(zhǔn)，實驗的運行環(huán)境是MATLAB R2016a。

4.1 全局區(qū)域和局部區(qū)域?qū)Ρ葘嶒?/h3>

本章對比全局區(qū)域和局部區(qū)域兩類方法的微表情分類準(zhǔn)確率，以檢驗本文劃分的各局部區(qū)域?qū)ξ⒈砬樽R別的有效性。在提取面部局部時空模式LBP-TOP特征時，需要設(shè)置如下參數(shù)，鄰域像素點數(shù)p，鄰域半徑r，時空區(qū)域塊劃分方法(n,m,t)，其中n、m及t分別是沿X軸、Y軸及T軸的等分?jǐn)?shù)目。

表5列出了各局部區(qū)域塊在不同參數(shù)組合下的微表情分類準(zhǔn)確率及平均值，表6列出了全局區(qū)域方法在不同參數(shù)組合下的分類準(zhǔn)確率及平均值。在表中，各個區(qū)域在不同參數(shù)組合情況下的最佳分類準(zhǔn)確率加粗標(biāo)示。從表5 及表6 中可以看出，全局區(qū)域方法對微表情的平均分類準(zhǔn)確率為42.82%，臉頰、眼睛區(qū)域的平均分類準(zhǔn)確率分別為45.10%、43.28%，高于全局區(qū)域方法的平均分類準(zhǔn)確率。這說明臉頰和眼睛區(qū)域是各類微表情動作比較集中的區(qū)域，由于舍棄了全局方法中與微表情動作無關(guān)區(qū)域的特征，使其在較小的觀測區(qū)域內(nèi)實現(xiàn)了比全局方法更好的識別效果。而鼻子、嘴巴、下巴等局部區(qū)域?qū)ξ⒈砬榈钠骄诸悳?zhǔn)確率分別為31.62%、38.99%、29.88%，低于全局方法的分類準(zhǔn)確率。原因是這些區(qū)域與單一微表情動作有關(guān)，而僅用其中一個區(qū)域?qū)崿F(xiàn)對全部種類微表情的識別，勢必會降低整體的分類準(zhǔn)確率。

表5 各局部區(qū)域不同參數(shù)組合下的分類準(zhǔn)確率%

表6 全局區(qū)域方法不同參數(shù)組合下分類準(zhǔn)確率 %

4.2 局部區(qū)域與微表情類別關(guān)聯(lián)度實驗

本部分實驗通過各局部關(guān)鍵區(qū)域?qū)Ω魑⒈砬轭悇e分類準(zhǔn)確率的混淆矩陣[24]來分析兩者之間的關(guān)聯(lián)度。心理學(xué)研究發(fā)現(xiàn)，不同類別微表情的發(fā)生區(qū)域有一定的規(guī)律。因此，可以通過局部區(qū)域?qū)Ω魑⒈砬轭悇e識別的準(zhǔn)確率高低來估計兩者之間的關(guān)聯(lián)程度。具體來說，某區(qū)域?qū)δ愁愇⒈砬榈淖R別準(zhǔn)確率高，意味著這類微表情在該區(qū)域發(fā)生的概率較高，兩者有較高的關(guān)聯(lián)度，反之亦然。

不失一般性，這里列出了在4.1 節(jié)最優(yōu)參數(shù)組合下各局部區(qū)域?qū)ξ⒈砬檫M(jìn)行分類得到的混淆矩陣。由于在CASME2 數(shù)據(jù)集里標(biāo)定為“其他”的類別，不是某種特定的微表情，而是除了主要微表情類別之外其他多種微表情的集合。因此，這里僅分析微表情類別“高興”“厭惡”“驚奇”、“壓抑”與各局部區(qū)域的的關(guān)聯(lián)度。眼睛、臉頰、嘴巴、鼻子及下巴區(qū)域的混淆矩陣分別如表7～11所示?；煜仃囍校鲗蔷€上的元素給出了各類微表情正確識別率（準(zhǔn)確率較高的元素已加粗顯示），其他元素給出了將某類微表情（縱軸所示）誤識別為另一類微表情（橫軸所示）的比率?；煜仃嚸恳恍性氐暮蜑?00%。

表7 眼睛區(qū)域的混淆矩陣%

表8 臉頰區(qū)域的混淆矩陣%

表9 嘴巴區(qū)域的混淆矩陣 %

表10 鼻子區(qū)域的混淆矩陣 %

表11 下巴區(qū)域的混淆矩陣%

從表7中可以看出，眼睛區(qū)域?qū)Α案吲d”識別準(zhǔn)確率是18.75%，將“高興”誤識別為“厭惡”“壓抑”的比率均為9.38%；該區(qū)域?qū)ξ⒈砬椤皡拹骸焙汀绑@奇”的識別準(zhǔn)確率分別是46.88%和52%，說明這兩種微表情在眼睛區(qū)域發(fā)生的概率較高，表明眼睛區(qū)域與微表情“厭惡”和“驚奇”的關(guān)聯(lián)度較大。

如表8所示，臉頰區(qū)域?qū)Α案吲d”和“厭惡”的識別準(zhǔn)確率均為40.63%，表明臉頰區(qū)域與“高興”和“厭惡”的關(guān)聯(lián)度較大。

表9列出了嘴巴區(qū)域識別率的混淆矩陣，從表中可以看出，嘴巴區(qū)域?qū)Α案吲d”識別準(zhǔn)確率為43.75%，表明嘴巴區(qū)域與“高興”的關(guān)聯(lián)度較大。

從鼻子區(qū)域識別率混淆矩陣表10 中可以看出，鼻子區(qū)域?qū)Α案吲d”“厭惡”“驚奇”“壓抑”4種微表情的正確識別率均低于誤識別率，說明鼻子區(qū)域與各種微表情均沒有顯著的關(guān)聯(lián)度。

從表11 中可以看出，下巴區(qū)域?qū)Α皦阂帧弊R別準(zhǔn)確率為40.74%，表明下巴區(qū)域與“壓抑”的關(guān)聯(lián)度較大。

綜合上述實驗結(jié)果，可以得出，微表情“驚奇”及“厭惡”與眼睛區(qū)域、微表情“高興”與嘴巴區(qū)域、微表情“壓抑”與下巴區(qū)域有較高的關(guān)聯(lián)度。

此外，對CASME2 數(shù)據(jù)集中測試者中性表情和微表情發(fā)生時的面部圖像進(jìn)行了對比，從主觀感受角度分析微表情類別與局部區(qū)域的關(guān)系。圖7列出了部分“高興”“厭惡”“驚奇”“壓抑”的微表情樣本，用方框圈出了微表情發(fā)生時肌肉動作明顯的區(qū)域。通過對比分析，發(fā)現(xiàn)微表情“驚奇”和“厭惡”與眼睛區(qū)域、“高興”與嘴巴區(qū)域、“壓抑”與下巴區(qū)域有較高的關(guān)聯(lián)度，這和實驗結(jié)果相符，進(jìn)一步印證了相關(guān)結(jié)論。

圖7 CASME2數(shù)據(jù)庫不同情緒下的微表情樣本

5 結(jié)束語

不同于常規(guī)表情，微表情具有動作幅度和區(qū)域小、持續(xù)時間短的特點?，F(xiàn)有的基于全局區(qū)域的微表情識別方法是建立在對面部進(jìn)行無差別整體分塊的基礎(chǔ)上，忽略了微表情類別和局部關(guān)鍵區(qū)域的關(guān)聯(lián)。本文提出的面部關(guān)鍵區(qū)域劃分方法，充分利用了微表情發(fā)生時對應(yīng)動作單元的位置信息。更進(jìn)一步，本文通過分析各局部區(qū)域?qū)Ω黝愇⒈砬榈姆诸悳?zhǔn)確率，從定量角度分析了所劃分區(qū)域和各微表情的關(guān)聯(lián)度。本文的有關(guān)結(jié)論是在分析CASME2數(shù)據(jù)集的247個微表情樣本得出的，樣本數(shù)量較少，后續(xù)需要在更廣泛的微表情數(shù)據(jù)集上展開研究，以期得出更為詳盡乃至數(shù)量化的微表情類別與面部各區(qū)域的關(guān)聯(lián)度結(jié)果。本文的有關(guān)結(jié)論，為后續(xù)設(shè)計更為科學(xué)、高效的微表情識別算法提供了有益的指導(dǎo)。