基于混合特征與信息熵的人臉微表情識(shí)別算法

黃興祿,芶小珊,陳 希

(成都大學(xué)計(jì)算機(jī)學(xué)院,四川 成都 610000)

1 引言

人臉的面部微表情一直被認(rèn)為是人類情緒最真實(shí)的寫(xiě)照,當(dāng)一個(gè)人試圖隱藏自身情緒[1]、故作輕松或佯裝快樂(lè)時(shí),研究員可以通過(guò)觀察說(shuō)謊者的微表情,例如偶有幾幀的皺眉、撇嘴、眼神失焦等,這些轉(zhuǎn)瞬即逝且無(wú)法模仿、控制的自發(fā)式微表情,能讓研究員捕捉到說(shuō)謊者當(dāng)下最真實(shí)的情緒。盡管研究員通過(guò)眾多的培訓(xùn)鍛煉,已經(jīng)具備了專業(yè)知識(shí)和辨識(shí)能力,但單靠人工識(shí)別人臉微表情在準(zhǔn)確率和時(shí)間成本方面均不能做到高效精確,因此,依賴互聯(lián)網(wǎng)技術(shù)與相關(guān)算法識(shí)別人臉微表情[2]已經(jīng)成為近年來(lái)研究的熱點(diǎn)。

李國(guó)豪[3]等人通過(guò)觀察公安部門的嫌疑人審問(wèn)過(guò)程和醫(yī)院門診的患者心理測(cè)試,針對(duì)試圖隱藏真實(shí)情緒的嫌疑人和患者的面部肌肉運(yùn)動(dòng)進(jìn)行解析,并在注意力區(qū)域模型中輸入肌肉運(yùn)行曲線解碼單位幀內(nèi)肌肉變化幅度,最終輸出微表情肌肉解碼數(shù)據(jù),實(shí)現(xiàn)人臉微表情的識(shí)別,該方法存在識(shí)別率低的問(wèn)題。賴振意[4]等人通過(guò)多卷積層計(jì)算微表情持續(xù)時(shí)間和表情牽動(dòng)五官產(chǎn)生的細(xì)微幅度獲取微表情特征,并在空洞卷積核中計(jì)算表情特征權(quán)重,完成微表情特征提取,再利用CASME分類器對(duì)特征數(shù)據(jù)集進(jìn)行實(shí)時(shí)分類,實(shí)現(xiàn)人臉微表情的識(shí)別,該方法存在精確度低的問(wèn)題。吳進(jìn)[5]等人通過(guò)視覺(jué)幾何網(wǎng)絡(luò)中的短期記憶卷積網(wǎng)絡(luò)和長(zhǎng)期記憶卷積網(wǎng)絡(luò)分別對(duì)人臉微表情數(shù)據(jù)進(jìn)行時(shí)域特征和空域特征的提取,將提取到的數(shù)據(jù)集擬合,獲得囊括時(shí)域、空域兩種特點(diǎn)的擴(kuò)增序列,在擴(kuò)增序列中加入批量丟棄算法,最終獲得微表情識(shí)別矩陣,根據(jù)矩陣結(jié)果實(shí)現(xiàn)人臉微表情識(shí)別,該方法存在運(yùn)算耗時(shí)長(zhǎng)的問(wèn)題。

為了解決上述方法中存在的問(wèn)題,提出基于混合特征與信息熵的人臉微表情識(shí)別算法的方法。

2 基于混合特征與信息熵的人臉微表情特征提取

2.1 基于混合特征的眼睛及眉毛區(qū)域的微表情特征提取

混合特征的主要存在形式是二維Gabor小波變換[6],其小波系數(shù)具備良好的顏色信號(hào)提取特性和生物紋理提取特性,因此混合特征常用于人臉表情圖像的處理和識(shí)別等領(lǐng)域。

二維Gabor小波變換函數(shù)表達(dá)式如下

(1)

1)顏色信號(hào)提取特性

正常情況下,普通的掃描儀器在對(duì)人臉微表情識(shí)別時(shí),會(huì)由于偏色現(xiàn)象導(dǎo)致人臉微表情識(shí)別結(jié)果出現(xiàn)不自然、不精細(xì)等問(wèn)題,為了避免這種偏色現(xiàn)象導(dǎo)致的微表情“維數(shù)災(zāi)難”,混合特征結(jié)合可量化小波色頻HSV對(duì)人臉微表情顏色信號(hào)進(jìn)行特征提取,設(shè)眼球、眼白、眉毛的顏色取值為(s,f,z),可量化小波色頻HSV表達(dá)式如下

(2)

式中,l表示小波色頻系數(shù);log2(s,f,z)表示人臉微表情圖像色彩豐富度。S、F、Z分別表示人臉微表情圖像中的眼球、眼白和眉毛的可量化顏色特征維數(shù)。

首先選定圖像顏色空間,規(guī)定人臉微表情顏色維數(shù)閾值為s,f,z∈[0,60],再利用非等間隔和等間隔兩種方法,將微表情所包括的全部色調(diào)劃分為72維矢量區(qū)間和50維矢量區(qū)間,72維矢量區(qū)間表示為

(3)

50維矢量區(qū)間表示為:

(4)

式中,h、n、m分別表示兩區(qū)間的飽和度、色彩偏光屬性和亮度。經(jīng)過(guò)對(duì)比,可見(jiàn)兩區(qū)間存在間隔量化差別。根據(jù)縮減特征維數(shù)算法在兩區(qū)間內(nèi)分別加入F、P、O三項(xiàng)權(quán)值參數(shù),72維矢量區(qū)間輸出計(jì)算量小、復(fù)雜性高、效率低的人臉微表情顏色信號(hào)特征數(shù)據(jù),50維矢量區(qū)間輸出計(jì)算量大、復(fù)雜性低、效率高的人臉微表情顏色信號(hào)特征數(shù)據(jù)?？s減特征維數(shù)算法的表達(dá)式如下

(5)

式中,υ表示人臉微表情信號(hào)提取數(shù)據(jù)的復(fù)雜程度;j表示縮減特征維數(shù)向量。

選擇量化基數(shù)、色頻帶寬度更優(yōu)的50維矢量區(qū)間作為微表情顏色特征維矢量矩陣,繼續(xù)下一步人臉微表情特征提取。

2)生物紋理特征提取

運(yùn)用設(shè)備對(duì)人臉微表情進(jìn)行紋理特征進(jìn)行提取的過(guò)程中,圖像中的自然光線起到?jīng)Q定性作用,自然光線位置合理、光線柔和的圖像與自然光線位置閉塞、光線犀利的圖像在統(tǒng)計(jì)紋理特征提取率方面具有顯著差異。在紋理特征提取過(guò)程中考慮自然光線的影響,是混合特征提取方法的一項(xiàng)優(yōu)勢(shì)。自然光線最佳取值可以根據(jù)光線y的軌跡矩陣獲取

(6)

通過(guò)光信號(hào)奇異值分解原理獲取光信號(hào)奇異值分解原理表達(dá)式如下

(7)

式中,t表示光信號(hào)頻率;|x|表示自然光線位置序列;ε表示自然光線射頻波形;(n,m)表示自然光線的最佳取值。

混合特征采用灰色共生矩陣的方法對(duì)符合自然光線最佳取值的人臉微表情圖像進(jìn)行紋理特征提取?；疑采仃嚨谋磉_(dá)式如下:

(8)

2.2 基于信息熵的鼻子及嘴區(qū)域的微表情特征提取

信息熵由多種小波信號(hào)頻帶組成,因而在描述局部微表情特征時(shí),常表現(xiàn)出以小波包[7]為單位的非線性熵定量異譜。利用多分辨率信號(hào)頻譜的Mallat算法[8]對(duì)小波包進(jìn)行分解,可以提取到區(qū)域微表情變量特征信息,這些變量特征信息投射到人臉上,恰巧對(duì)應(yīng)人臉鼻子及嘴的區(qū)域。Mallat算法表達(dá)式如下

(9)

在小波包分解的基礎(chǔ)上,根據(jù)信息熵關(guān)聯(lián)算法對(duì)所提取的區(qū)域微表情變量特征信息進(jìn)行優(yōu)化處理,主要目的在于強(qiáng)化微表情特征,使粗糙的特征數(shù)據(jù)蛻變成具備色彩、紋理的高維特征序列。信息熵關(guān)聯(lián)算法表達(dá)式如下

(10)

式中,f(x)表示聯(lián)合算法的能量熵;s表示顏色信號(hào)指數(shù);t表示紋理分布復(fù)雜度;p(j)表示信息熵優(yōu)化率。

通過(guò)混合特征與信息熵的共同協(xié)作,完成人臉微表情特征提取,為下一步支持向量機(jī)對(duì)特征的分類奠定了堅(jiān)實(shí)的基礎(chǔ)。

3 支持向量機(jī)的分類

支持向量機(jī)(Support Vectot Machine,SVM)是依賴統(tǒng)計(jì)算法的一種新式識(shí)別分類模型,其圖像特征輸出的分類結(jié)果在查全率、查準(zhǔn)率方面,都優(yōu)于其它現(xiàn)有方法。支持向量機(jī)的具體操作原理為:首先將特征數(shù)據(jù)作為分離訓(xùn)練樣本,根據(jù)線性函數(shù)將樣本T1和T2分別置于相交不平行的兩條分類線上,再運(yùn)用歸一化處理當(dāng)前分類線平面,直至樣本T1和T2所處的分類線歸于平行,即最優(yōu)超平面非線性函數(shù)推導(dǎo)完成,樣本T1和T2稱為此過(guò)程的支持向量,非線性函數(shù)輸出結(jié)果稱為支持向量機(jī)的特征分類矩陣。線性函數(shù)表達(dá)式如下

Y·X+g=0

(11)

式中,Y表示線性約束條件;X表示線性向量常數(shù)。

(12)

式中,β表示極大化泛函常數(shù);α表示分類平面最優(yōu)解;(xi,yj)2表示特征樣本總量,其編碼序號(hào)分別為x和y;W(α)表示特征分類矩陣。

將上述混合特征與信息熵所提取的人臉微表情圖像全部特征與非線性函數(shù)式結(jié)合,可以得到人臉微表情圖像分類矩陣,其表現(xiàn)形式如下

(13)

盡管支持向量機(jī)輸出的分類矩陣具有良好的人臉微表情識(shí)別能力,但由于此時(shí)的分類矩陣僅處于特征分類的淺層學(xué)習(xí)階段,其對(duì)于人臉微表情識(shí)別還存在消耗時(shí)間長(zhǎng)和成本高的問(wèn)題,因此在分類矩陣的基礎(chǔ)上完成深層特征學(xué)習(xí),是一種提升微表情識(shí)別精確度、減少時(shí)間成本的全新策略。

首先在分類矩陣中加入Larange乘子,處理矩陣的極值問(wèn)題,獲得回歸置信度[9]更高的優(yōu)化分類矩陣。Larange乘子的表達(dá)式如下

(14)

在Sigmoid函數(shù)基礎(chǔ)上構(gòu)建深度學(xué)習(xí)模型,將優(yōu)化分類矩陣代入模型中進(jìn)行多項(xiàng)式階次訓(xùn)練。滿足Merce條件的分類矩陣?yán)碚撋隙紝儆诤撕瘮?shù)矩陣,但不同的核函數(shù)參數(shù)所對(duì)應(yīng)的分類矩陣性能完全不同,多項(xiàng)式階次訓(xùn)練的目的,就是在眾多核函數(shù)矩陣中,選擇參數(shù)最優(yōu),性能最強(qiáng)的分類矩陣,為此,需要在深度學(xué)習(xí)模型中設(shè)置兩項(xiàng)限制條件,一是徑向基函數(shù)[10],其表達(dá)式如下

(15)

式中,x1-x2表示相鄰兩項(xiàng)核函數(shù)的參數(shù)差值。

二是多項(xiàng)式核函數(shù)[11],其表達(dá)式如下

(16)

式中,x1·x2表示相鄰兩項(xiàng)核函數(shù)的參數(shù)乘積;p表示多項(xiàng)式系數(shù)。

深度學(xué)習(xí)模型[12,13]的表達(dá)式如下

(17)

式中,K表示模型學(xué)習(xí)能力;r表示多項(xiàng)式階次訓(xùn)練次數(shù);1≥i,j≥s≠0表示核函數(shù)最優(yōu)參數(shù)取值;Con表示性能最強(qiáng)的分類矩陣的輸出結(jié)果,根據(jù)輸出結(jié)果可以實(shí)現(xiàn)人臉微表情圖像的識(shí)別[14,15]。

4 實(shí)驗(yàn)與結(jié)果

為了驗(yàn)證基于混合特征與信息熵的人臉微表情識(shí)別算法的整體有效性,需要對(duì)其進(jìn)行測(cè)試。

在神經(jīng)網(wǎng)絡(luò)中構(gòu)建三組虛擬人臉圖像數(shù)據(jù)庫(kù),第一組稱為ORL數(shù)據(jù)庫(kù),收集100個(gè)志愿者的1000張人臉微表情圖像,這些圖像中的志愿者性別、微表情各不相同,圖像的光線照射方向也有較大差異,圖像寬度和高度分別限制在100像素和120像素。第二組稱為AR數(shù)據(jù)庫(kù),收集200個(gè)志愿者的2000張人臉微表情圖像,這些圖像中的志愿者人臉角度、姿態(tài)及微表情各不相同,圖像的比例也有較大差異,圖像寬度和高度分別限制在150像素和180像素。第三組稱為HD紅外射線數(shù)據(jù)庫(kù),收集500個(gè)志愿者的5000張人臉微表情圖像,這些圖像中的志愿者年齡、微表情各不相同,圖像的拍攝角度也有較大差異,圖像限制寬度和高度分別為10像素和40像素。

以上述三組數(shù)據(jù)庫(kù)為實(shí)驗(yàn)數(shù)據(jù)進(jìn)行下列驗(yàn)證。

1)人臉微表情識(shí)別率

對(duì)比所提方法、文獻(xiàn)[3]方法和文獻(xiàn)[4]方法在上述三組數(shù)據(jù)庫(kù)中的人臉微表情識(shí)別率。人臉微表情識(shí)別率對(duì)比如下表1所示。

表1 人臉微表情識(shí)別率對(duì)比

由上表1可見(jiàn),所提方法在三組人臉微表情數(shù)據(jù)庫(kù)的識(shí)別率都高于98%,說(shuō)明所提方法對(duì)于數(shù)據(jù)庫(kù)內(nèi)的圖像樣本處理效果好,識(shí)別性能強(qiáng)。文獻(xiàn)[3]方法和文獻(xiàn)[4]方法在三組人臉微表情數(shù)據(jù)庫(kù)內(nèi)的識(shí)別率較低,兩者與所提方法存在較大差距。經(jīng)上述對(duì)比可知,所提方法的識(shí)別效果較好。

2)不同方法下的平均ROC曲線

ROC曲線即感受性曲線,又稱受試者工作特征曲線。ROC曲線作為綜合向量衡量指標(biāo),主要描述持續(xù)性變量的敏感性和特異性。以三組人臉微表情數(shù)據(jù)庫(kù)為基礎(chǔ),通過(guò)臨界值計(jì)算法統(tǒng)計(jì)數(shù)據(jù)庫(kù)內(nèi)一系列微表情的平均ROC曲線,已知ROC曲線面積與識(shí)別準(zhǔn)確率為正相關(guān)關(guān)系,即ROC曲線面積越大,識(shí)別準(zhǔn)確率越高。不同方法下的平均ROC曲線如圖1所示。

圖1 不同方法下的平均ROC曲線

由上圖1可見(jiàn),所提方法的ROC曲線位于其它方法的上方,即所提方法的平均曲線面積大,識(shí)別準(zhǔn)確率高。文獻(xiàn)[3]方法和文獻(xiàn)[4]方法的ROC曲線接近水平線,說(shuō)明二者的平均ROC曲線面積小,識(shí)別準(zhǔn)確率低。經(jīng)上述對(duì)比可知,所提方法優(yōu)于傳統(tǒng)方法,具有較高的精確度。

3)運(yùn)算復(fù)雜度

除識(shí)別率、準(zhǔn)確率外,還可以在每組人臉微表情數(shù)據(jù)庫(kù)內(nèi)隨機(jī)選取1張圖像,共計(jì)3張圖像,進(jìn)行運(yùn)算處理時(shí)間的比對(duì)。假定三張圖像的選擇結(jié)果為a、b、c,觀察所提方法、文獻(xiàn)[3]方法和文獻(xiàn)[4]方法的運(yùn)算處理時(shí)間,不同方法識(shí)別同一張圖像所用的時(shí)間如下圖2所示。

圖2 不同方法識(shí)別同一張圖像所用的時(shí)間

由上圖2可見(jiàn),所提方法的三張圖像運(yùn)算處理時(shí)間均不超過(guò)0.2秒,體現(xiàn)出所提方法的高效性。文獻(xiàn)[3]方法的三張圖像運(yùn)算處理時(shí)間均超過(guò)1.0秒,文獻(xiàn)[4]方法的三張圖像運(yùn)算處理時(shí)間均超過(guò)0.8秒,二者與所提方法存在一定差距。經(jīng)上述對(duì)比可見(jiàn)所提方法能夠使時(shí)間消耗和效率水平達(dá)到最佳平衡點(diǎn),即所提方法用時(shí)短、效率高。

5 結(jié)束語(yǔ)

微表情是一種相當(dāng)短暫且不受思維控制的面部表情,通常出現(xiàn)在人類試圖掩蓋自身真實(shí)情緒的時(shí)候,由于微表情能夠反映人類的心理狀態(tài),在現(xiàn)代生活中,微表情的識(shí)別常用于刑偵、審訊、職場(chǎng)應(yīng)聘或心理輔導(dǎo)等多種領(lǐng)域。隨著社會(huì)發(fā)展逐漸科技化,微表情的識(shí)別也步入計(jì)算機(jī)依賴的時(shí)代?，F(xiàn)有的微表情識(shí)別算法常與測(cè)謊領(lǐng)域相結(jié)合,如何在保證微表情高識(shí)別率的前提下,將微表情與心理反應(yīng)間的能量關(guān)系表現(xiàn)出來(lái),是下一步研究工作的重點(diǎn)。