結(jié)合運(yùn)動(dòng)時(shí)序性的人臉表情識(shí)別方法

邱　玉,趙杰煜,汪燕芳

(寧波大學(xué)信息科學(xué)與工程學(xué)院,浙江寧波 315211)

?

結(jié)合運(yùn)動(dòng)時(shí)序性的人臉表情識(shí)別方法

邱玉,趙杰煜,汪燕芳

(寧波大學(xué)信息科學(xué)與工程學(xué)院,浙江寧波 315211)

臉部肌肉之間的時(shí)空關(guān)系在人臉表情識(shí)別中起著重要作用,而當(dāng)前的模型無(wú)法高效地捕獲人臉的復(fù)雜全局時(shí)空關(guān)系使其未被廣泛應(yīng)用.為了解決上述問(wèn)題,本文提出一種基于區(qū)間代數(shù)貝葉斯網(wǎng)絡(luò)的人臉表情建模方法,該方法不僅能夠捕獲臉部的空間關(guān)系,也能捕獲臉部的復(fù)雜時(shí)序關(guān)系,從而能夠更加有效地對(duì)人臉表情進(jìn)行識(shí)別.且該方法僅利用基于跟蹤的特征且不需要手動(dòng)標(biāo)記峰值幀,可提高訓(xùn)練與識(shí)別的速度.在標(biāo)準(zhǔn)數(shù)據(jù)庫(kù)CK+和MMI上進(jìn)行實(shí)驗(yàn)發(fā)現(xiàn)本文方法在識(shí)別人臉表情過(guò)程中有效提高了準(zhǔn)確率.

表情識(shí)別；臉部肌肉運(yùn)動(dòng)的時(shí)序性；貝葉斯網(wǎng)絡(luò)；區(qū)間代數(shù)

1　引言

人臉表情識(shí)別技術(shù)是涉及生物特征識(shí)別、圖像處理、運(yùn)動(dòng)跟蹤、機(jī)器視覺(jué)、模式識(shí)別、生理學(xué)、心理學(xué)等研究領(lǐng)域的一個(gè)富有挑戰(zhàn)性的交叉課題,是多年以來(lái)模式識(shí)別與人工智能領(lǐng)域研究的一個(gè)熱點(diǎn)問(wèn)題.

傳統(tǒng)的表情識(shí)別方法是在靜態(tài)圖片上分析表情.最常用的是基于人臉幾何結(jié)構(gòu)的方法[1,2],優(yōu)點(diǎn)是數(shù)據(jù)量少,內(nèi)存需求小,但幾何特征的提取忽略了皮膚紋理變化等臉部其他重要信息,且識(shí)別效果的好壞很大程度依賴于基準(zhǔn)點(diǎn)提取的準(zhǔn)確性,在圖像質(zhì)量差和背景復(fù)雜的情況下不易實(shí)現(xiàn).還有一些基于像素、頻域的方法,通過(guò)濾波器來(lái)提取特征.如Gabor小波變換[3,4]、LBP(Local Binary Patterns)特征[5].LBP 特征可以更快地從原始圖像中提取出來(lái)且維度較低,同時(shí)又保留了有效的圖像局部信息.另外還有一些基于模型匹配的方法.如主動(dòng)外觀模型(AAM,Active Appearance Models)方法[6]描述了臉部運(yùn)動(dòng)的空間關(guān)系,但沒(méi)有表達(dá)不同表情下運(yùn)動(dòng)時(shí)序關(guān)系的差別,因此未能全面捕捉表情識(shí)別中的關(guān)鍵信息,識(shí)別率還有待提高.

然而研究表明,運(yùn)動(dòng)信息而非僅僅靜態(tài)特征對(duì)識(shí)別細(xì)微的表情變化更有效.心理學(xué)家也表明,人通過(guò)靜態(tài)圖片來(lái)識(shí)別表情的準(zhǔn)確率不如通過(guò)視頻來(lái)得高.

光流模型是提取圖像運(yùn)動(dòng)信息的重要方法,在表情識(shí)別中被用于估計(jì)肌肉活動(dòng)或特征點(diǎn)的位移[7].但光流分析很容易受到非剛性運(yùn)動(dòng)或者光線變化的影響,對(duì)運(yùn)動(dòng)的連續(xù)性要求比較高,一旦丟幀或者臉部定位有誤,效果便不好.近來(lái)很多研究在提取表情特征中,越來(lái)越注重提取時(shí)空域的特征.Koelstra等人[8]使用了兩種基于動(dòng)態(tài)紋理的特征提取方法來(lái)提取人臉動(dòng)作特征:基于運(yùn)動(dòng)歷史圖像的方法和使用 FFD 的非剛性配準(zhǔn)方法.Wu等人[9]使用考慮時(shí)域信息的Gabor運(yùn)動(dòng)能量濾波器來(lái)提取特征,并通過(guò)SVM來(lái)分類.經(jīng)過(guò)比較,其效果比Gabor濾波好.

利用動(dòng)態(tài)模型可以研究臉部肌肉的時(shí)間動(dòng)態(tài),很多研究人員已經(jīng)將動(dòng)態(tài)模型應(yīng)用于表情識(shí)別.其中動(dòng)態(tài)貝葉斯網(wǎng)絡(luò)(DBN,Dynamic Bayesian Network)是比較常用的.Tong等人[10]將DBN用于識(shí)別面部動(dòng)作單元,Zhang等人[11]用多傳感器信息融合技術(shù)和DBN為人臉表情的時(shí)序關(guān)系建模.李永強(qiáng)[12]則將動(dòng)態(tài)貝葉斯網(wǎng)絡(luò)用于人面部運(yùn)動(dòng)識(shí)別的研究.動(dòng)態(tài)貝葉斯網(wǎng)絡(luò)提供了一個(gè)連貫統(tǒng)一的分層概率框架來(lái)表示各表情單元之間的概率關(guān)系,并且考慮到隨時(shí)間變化面部活動(dòng)的發(fā)展.但DBN模型中不同單元之間的依存關(guān)系主要是手動(dòng)設(shè)置的[12],若先驗(yàn)知識(shí)不足可能導(dǎo)致信息的缺失.

面部運(yùn)動(dòng)單元(AU,Action Unit)作為表情識(shí)別的特征是目前的研究熱點(diǎn),國(guó)內(nèi)外有很多研究是通過(guò)對(duì)面部動(dòng)作單元進(jìn)行定位、檢測(cè)來(lái)實(shí)現(xiàn)表情識(shí)別的[13,14].利用AU可以非常精確的描述人臉表情,但AU很難精確定位,尤其在圖像序列中間AU強(qiáng)度較低的圖片很難準(zhǔn)確識(shí)別其AU,因此會(huì)出現(xiàn)計(jì)算量大、耗時(shí)長(zhǎng)等難題.

為了突破上述表情識(shí)別方法的限制,本文將人臉表情視為一個(gè)復(fù)雜的活動(dòng)并建模為一些順序或重疊發(fā)生的基本運(yùn)動(dòng)組合,每一個(gè)基本運(yùn)動(dòng)占用一個(gè)時(shí)間區(qū)間.進(jìn)而通過(guò)訓(xùn)練數(shù)據(jù)而自動(dòng)學(xué)習(xí)這些臉部肌肉運(yùn)動(dòng)之間的依存關(guān)系,并用區(qū)間代數(shù)貝葉斯網(wǎng)絡(luò)(IABN,Interval Algebra Bayesian Network)表達(dá)全局時(shí)空關(guān)系,提高人臉表情的識(shí)別效率.

區(qū)間代數(shù)貝葉斯網(wǎng)絡(luò)是將區(qū)間代數(shù)(IA,interval algebra)與貝葉斯網(wǎng)絡(luò)(BNs,Bayesian networks)相結(jié)合,這種將時(shí)序語(yǔ)義與概率語(yǔ)義結(jié)合的思想早在1996就由Young等人[15]提出,他們以區(qū)間代數(shù)理論為基礎(chǔ),提出了貝葉斯網(wǎng)絡(luò)的時(shí)間誘導(dǎo)問(wèn)題.之后一些研究對(duì)該思想進(jìn)行了改進(jìn)與應(yīng)用,Arroyo-Figueroa等人[16]介紹了一種應(yīng)用于診斷與預(yù)測(cè)的時(shí)序貝葉斯網(wǎng)絡(luò);Shi等人[17]提出了一種時(shí)間節(jié)點(diǎn)貝葉斯網(wǎng)絡(luò)P- Nets,用于識(shí)別部分有序的活動(dòng)序列;涂傳飛[18]利用了貝葉斯網(wǎng)絡(luò)進(jìn)行本體知識(shí)的不確定推理,并將區(qū)間代數(shù)理論引入到本體建模方法中.

本文將區(qū)間代數(shù)貝葉斯網(wǎng)絡(luò)應(yīng)用于人臉表情識(shí)別,基于表情圖像序列對(duì)人臉表情進(jìn)行建模與識(shí)別.這樣就可以充分利用貝葉斯網(wǎng)絡(luò)的概率基礎(chǔ)和區(qū)間代數(shù)的時(shí)間關(guān)系基礎(chǔ),可以同時(shí)表示臉部活動(dòng)之間的空間關(guān)系及時(shí)間關(guān)系.在對(duì)表情進(jìn)行識(shí)別的過(guò)程中,首先要識(shí)別所有相關(guān)的臉部基本運(yùn)動(dòng),然后跟蹤這些運(yùn)動(dòng)提取其在每一幀圖片中的空間位置,并根據(jù)空間位置的變化計(jì)算出運(yùn)動(dòng)的時(shí)間區(qū)間,從而可以根據(jù)區(qū)間代數(shù)理論得出這些運(yùn)動(dòng)之間的時(shí)序關(guān)系.最后利用IABN表達(dá)基本運(yùn)動(dòng)之間的時(shí)間空間關(guān)系,訓(xùn)練得到在不同表情下的不同IABN結(jié)構(gòu)及參數(shù),進(jìn)而對(duì)不同表情進(jìn)行分類.

2　基于IABN的表情識(shí)別

2.1臉部基本運(yùn)動(dòng)及其時(shí)序關(guān)系

為了綜合人臉表情中多層次的信息,首先要識(shí)別出所有相關(guān)的臉部基本運(yùn)動(dòng).本文將人臉基本運(yùn)動(dòng)定義為局部臉部肌肉的移動(dòng),但直接計(jì)算臉部肌肉的移動(dòng)比較困難,所以用臉部特征點(diǎn)的移動(dòng)來(lái)近似代替.因此,一個(gè)基本運(yùn)動(dòng)即為一個(gè)特征點(diǎn)的移動(dòng).圖1(a)中畫出了兩個(gè)基本運(yùn)動(dòng),其中特征點(diǎn)P1的移動(dòng)對(duì)應(yīng)于運(yùn)動(dòng)E1,特征點(diǎn)P2的移動(dòng)對(duì)應(yīng)于運(yùn)動(dòng)E2.

一個(gè)基本運(yùn)動(dòng)有一定的持續(xù)時(shí)間,持續(xù)時(shí)間即為對(duì)應(yīng)的特征點(diǎn)從離開中間位置開始到重新回到中間位置為止的時(shí)間段.中間位置是指人臉在無(wú)表情時(shí)特征點(diǎn)的位置,如圖1(a)中第一個(gè)和第四個(gè)人臉中P1和P2的位置即為中間位置.在圖1(b)中,T1和T2分別是基本運(yùn)動(dòng)E1和E2的持續(xù)時(shí)間.

通過(guò)跟蹤臉部特征點(diǎn)可以得到每個(gè)基本運(yùn)動(dòng)的持續(xù)時(shí)間,從而研究它們之間的時(shí)序關(guān)系.在這里,時(shí)序關(guān)系就涉及到區(qū)間代數(shù)的概念.

區(qū)間代數(shù)[19]是由James F.Allen在1983年提出的,它可以方便地表示兩個(gè)時(shí)間區(qū)間的關(guān)系,表達(dá)能力強(qiáng),也容易理解,因此被廣泛的應(yīng)用在自然語(yǔ)言理解等領(lǐng)域.在區(qū)間代數(shù)中定義了13種基本區(qū)間關(guān)系,它們分別是Ⅱ={b,bi,m,mi,o,oi,s,si,d,di,f,fi,eq},如表1所示為其中的7種關(guān)系,其中x和y分別表示連續(xù)的時(shí)間區(qū)間,txs表示x的起始時(shí)刻,txe表示x的終止時(shí)刻,tys表示y的起始時(shí)刻,tye表示y的終止時(shí)刻.而若x對(duì)y的基本區(qū)間關(guān)系為b,則y對(duì)x的基本區(qū)間關(guān)系為bi,此即為一對(duì)逆關(guān)系.在這13種關(guān)系中,有6對(duì)關(guān)系互逆,即b與bi、d與di、o與oi、m與mi、s與si、f與fi,而equals關(guān)系和它自身互逆.

給定兩個(gè)時(shí)間區(qū)間X和Y,它們之間的時(shí)序關(guān)系可以根據(jù)表1而得到.如在圖1(b)中,運(yùn)動(dòng)E1和E2的時(shí)序關(guān)系為E1duringE2,即E1含于E2.

2.2IABN及其學(xué)習(xí)

區(qū)間代數(shù)貝葉斯網(wǎng)絡(luò)IABN是一個(gè)有向圖G(V,E),其中V是節(jié)點(diǎn)集合,在本文中表示臉部基本運(yùn)動(dòng),E是連線集合,在本文中表示的是臉部基本運(yùn)動(dòng)之間的時(shí)間及空間關(guān)系.IABN中的一條連線就是一個(gè)時(shí)序關(guān)系的載體.如圖2(a)為一個(gè)IABN的例子,其中包含三個(gè)節(jié)點(diǎn):A,B和C.

用一個(gè)對(duì)應(yīng)的貝葉斯網(wǎng)絡(luò)(BN)來(lái)實(shí)現(xiàn)IABN,這樣可以利用貝葉斯網(wǎng)絡(luò)良好的數(shù)學(xué)結(jié)構(gòu).圖2(b)是對(duì)應(yīng)于圖2(a)中的IABN的貝葉斯網(wǎng)絡(luò)圖形表示,引入了另一類節(jié)點(diǎn)來(lái)代表時(shí)間關(guān)系.如此,一個(gè)IABN被表示為一個(gè)BN,其中包括兩類節(jié)點(diǎn):基本運(yùn)動(dòng)節(jié)點(diǎn)(方形)和時(shí)序關(guān)系節(jié)點(diǎn)(橢圓形).因此,也會(huì)有兩類連線:空間關(guān)系(實(shí)線)和時(shí)間關(guān)系(虛線).空間關(guān)系連線將基本運(yùn)動(dòng)連接起來(lái),描述它們之間的空間關(guān)系;時(shí)間關(guān)系連線將時(shí)序關(guān)系節(jié)點(diǎn)和與之對(duì)應(yīng)的基本運(yùn)動(dòng)連接起來(lái),表達(dá)兩個(gè)相連接的基本運(yùn)動(dòng)之間的時(shí)間關(guān)系.這樣,基本運(yùn)動(dòng)以及它們之間時(shí)空信息的聯(lián)合概率可以由式(1)計(jì)算:

貝葉斯網(wǎng)絡(luò)的訓(xùn)練包括結(jié)構(gòu)學(xué)習(xí)與參數(shù)估計(jì),則被簡(jiǎn)化為BN的IABN同樣也包括這兩個(gè)步驟,區(qū)別在于IABN的結(jié)構(gòu)學(xué)習(xí)由兩部分組成:時(shí)間關(guān)系的結(jié)構(gòu)學(xué)習(xí)、空間關(guān)系的結(jié)構(gòu)學(xué)習(xí).

2.2.1結(jié)構(gòu)學(xué)習(xí)

(1)時(shí)間關(guān)系的結(jié)構(gòu)學(xué)習(xí)

對(duì)時(shí)間關(guān)系的結(jié)構(gòu)進(jìn)行學(xué)習(xí)即為對(duì)時(shí)間關(guān)系節(jié)點(diǎn)的選擇.由于有些基本運(yùn)動(dòng)之間的時(shí)間關(guān)系并不能對(duì)表情識(shí)別起到作用,甚至可能不利于表情的識(shí)別,所以要選擇對(duì)表情識(shí)別有利的基本運(yùn)動(dòng)對(duì),即選擇合適的時(shí)間關(guān)系節(jié)點(diǎn).為此,本文引入了一個(gè)基于KL距離得分制的方法用于評(píng)估每一對(duì)運(yùn)動(dòng)之間的時(shí)間關(guān)系節(jié)點(diǎn),最終選擇出那些得分相對(duì)較高的節(jié)點(diǎn).基本運(yùn)動(dòng)A和基本運(yùn)動(dòng)B之間的時(shí)間關(guān)系RAB的得分為式(2)所示.其中i,j=1,2,…,m(表情種類數(shù)),Pi和Pj分別是在第i種表情和第j種表情下RAB的條件概率,DKL代表的是KL距離,計(jì)算方法如式(3)、式(4)所示.所有實(shí)體對(duì)根據(jù)它們的得分進(jìn)行順序排列,得分最高的k對(duì)將會(huì)被選擇出來(lái),則它們之間的時(shí)間關(guān)系也將被保留在IABN模型里.

(2)

(3)

(4)

(2)空間關(guān)系的結(jié)構(gòu)學(xué)習(xí)

學(xué)習(xí)IABN的空間結(jié)構(gòu)也就是找到一個(gè)網(wǎng)絡(luò)G使其可以與訓(xùn)練數(shù)據(jù)D進(jìn)行最好配對(duì).本文采用K2算法進(jìn)行結(jié)構(gòu)學(xué)習(xí),用貝葉斯信息準(zhǔn)則BIC值來(lái)評(píng)估每個(gè)IABN.

(5)

其中,S(G:D)表示網(wǎng)絡(luò)G的BIC值,Θ表示估計(jì)的參數(shù)向量,logP(D|G,Θ)表示對(duì)數(shù)似然函數(shù),d表示自由參數(shù)的個(gè)數(shù).

2.2.2參數(shù)估計(jì)

IABN的參數(shù)包括每個(gè)節(jié)點(diǎn)在給定其父親節(jié)點(diǎn)時(shí)的條件概率分布.給定一個(gè)數(shù)據(jù)集D,其中包含了每個(gè)基本運(yùn)動(dòng)的合理預(yù)測(cè)形態(tài)以及他們之間的時(shí)間關(guān)系.進(jìn)行參數(shù)估計(jì)的目的就是找到參數(shù)Θ的最大似然估計(jì),如式(6)所示.

(6)

求此Θ的最大似然估計(jì)值的步驟為:

(1)對(duì)似然函數(shù)(6)取對(duì)數(shù),并將得到對(duì)數(shù)函數(shù)進(jìn)行整理；

(2)求導(dǎo)數(shù),令導(dǎo)數(shù)為0,得到似然方程；

表1　7種基本區(qū)間關(guān)系

(3)解似然方程,得到的參數(shù)即為所求.

2.3人臉表情識(shí)別

為了識(shí)別N種人臉表情,本文將建立N個(gè)區(qū)間代數(shù)貝葉斯網(wǎng)絡(luò)IABN,使得每一個(gè)IABN對(duì)應(yīng)一種表情.在每個(gè)IABN中,一個(gè)實(shí)體節(jié)點(diǎn)代表一個(gè)基本運(yùn)動(dòng).對(duì)于一個(gè)采樣x,它的表情由式(7)來(lái)計(jì)算得到.

(7)

3　實(shí)驗(yàn)及結(jié)果分析

3.1實(shí)驗(yàn)設(shè)計(jì)

實(shí)驗(yàn)利用CK+數(shù)據(jù)庫(kù)[20]和MMI數(shù)據(jù)庫(kù)[21]對(duì)本文的方法進(jìn)行了評(píng)估,并與當(dāng)前識(shí)別效果最好的方法進(jìn)行了對(duì)比.

CK+數(shù)據(jù)庫(kù):擴(kuò)展的Cohn-Kanade人臉表情數(shù)據(jù)庫(kù).它是由卡內(nèi)基梅隆大學(xué)中的機(jī)器人研究所和心理學(xué)系共同建立的一個(gè)人臉表情數(shù)據(jù)庫(kù),是對(duì)CK數(shù)據(jù)庫(kù)的一個(gè)擴(kuò)充,在很多研究中被看作算法之間比較的標(biāo)準(zhǔn).在數(shù)據(jù)集中共標(biāo)出7種表情,分別為:生氣(An),蔑視(Co),討厭(Di),害怕(Fe),高興(Ha),悲傷(Sa),驚奇(Su).CK+數(shù)據(jù)集的臉部特征點(diǎn)有51個(gè),如圖3(a).

MMI數(shù)據(jù)庫(kù):由英國(guó)帝國(guó)理工大學(xué)的人機(jī)交互研究實(shí)驗(yàn)室所創(chuàng)建,包括30多個(gè)對(duì)象的740幅靜態(tài)圖像以及848個(gè)動(dòng)態(tài)的圖像序列.在數(shù)據(jù)集中被標(biāo)記了表情標(biāo)簽的有213個(gè)序列,其中有205個(gè)是正面人臉.用這所有的205個(gè)表情序列作為樣本進(jìn)行網(wǎng)絡(luò)的訓(xùn)練,它們共被標(biāo)記為6種表情,分別為:生氣(An),討厭(Di),害怕(Fe),高興(Ha),悲傷(Sa),驚奇(Su).MMI數(shù)據(jù)集的臉部特征點(diǎn)有61個(gè),如圖3(b).

在時(shí)間關(guān)系的結(jié)構(gòu)學(xué)習(xí)中,先要確定被選中的時(shí)間關(guān)系節(jié)點(diǎn)的個(gè)數(shù).針對(duì)兩個(gè)數(shù)據(jù)庫(kù),研究進(jìn)行表情識(shí)別時(shí)逐漸增加時(shí)間關(guān)系節(jié)點(diǎn)的個(gè)數(shù)時(shí)IABN的識(shí)別效果,發(fā)現(xiàn)對(duì)CK+數(shù)據(jù)庫(kù)選擇50個(gè)時(shí)間關(guān)系節(jié)點(diǎn)可使識(shí)別率達(dá)到最大值88.1%,比未引入時(shí)間關(guān)系時(shí)提高了5.8%;對(duì)MMI數(shù)據(jù)庫(kù)選擇52個(gè)時(shí)間關(guān)系節(jié)點(diǎn)可使識(shí)別率達(dá)到最大值62.5%,比未引入時(shí)間關(guān)系時(shí)提高了9%.在空間關(guān)系的結(jié)構(gòu)學(xué)習(xí)中,將圖像序列的中間幀圖像中特征點(diǎn)的空間位置作為區(qū)間代數(shù)貝葉斯網(wǎng)絡(luò)節(jié)點(diǎn)的空間位置,其間的空間關(guān)系即為節(jié)點(diǎn)間的空間關(guān)系.

3.2實(shí)驗(yàn)結(jié)果

分別跟蹤兩個(gè)數(shù)據(jù)庫(kù)的臉部特征點(diǎn),得出與特征點(diǎn)個(gè)數(shù)相同的一些基本運(yùn)動(dòng),跟蹤這些基本運(yùn)動(dòng)得出其運(yùn)動(dòng)開始時(shí)間和運(yùn)動(dòng)結(jié)束時(shí)間,并根據(jù)區(qū)間代數(shù)理論和式1、表1來(lái)計(jì)算這些基本運(yùn)動(dòng)之間的時(shí)序關(guān)系,進(jìn)而依據(jù)2.2節(jié)的方法學(xué)習(xí)IABN的時(shí)間關(guān)系結(jié)構(gòu).同時(shí),針對(duì)每一種表情進(jìn)行IABN的空間關(guān)系結(jié)構(gòu)學(xué)習(xí).

實(shí)驗(yàn)可得兩個(gè)數(shù)據(jù)庫(kù)上產(chǎn)生的IABN空間結(jié)構(gòu)及時(shí)間關(guān)系結(jié)構(gòu).圖4(a)展示了針對(duì)CK+數(shù)據(jù)庫(kù)在表情An下訓(xùn)練得到的IABN空間結(jié)構(gòu),其中每個(gè)節(jié)點(diǎn)代表一個(gè)特征點(diǎn)對(duì)應(yīng)的運(yùn)動(dòng),每條連線代表運(yùn)動(dòng)之間的空間關(guān)系.圖4(b)表示了選擇出的50個(gè)時(shí)間關(guān)系節(jié)點(diǎn).如果RAB被選擇,則在運(yùn)動(dòng)A和運(yùn)動(dòng)B之間劃一條線,表示A、B之間的時(shí)間關(guān)系在不同的表情下差別較大.如圖中特征點(diǎn)7與特征點(diǎn)32之間的連線表示E7與E32之間的時(shí)序關(guān)系在7種不同表情中表現(xiàn)出較大的差異,從而可以較好地分辨這7種表情.對(duì)數(shù)據(jù)庫(kù)MMI,可得類似空間結(jié)構(gòu)與時(shí)間關(guān)系結(jié)構(gòu),文中不再單獨(dú)列出.

對(duì)每一個(gè)測(cè)試樣本,按2.3節(jié)方法選擇相似性最高的IABN模型,該IABN模型所對(duì)應(yīng)的表情即為最終識(shí)別的表情.對(duì)這兩個(gè)數(shù)據(jù)庫(kù),最終的平均識(shí)別準(zhǔn)確率分別為:對(duì)數(shù)據(jù)庫(kù)CK+,識(shí)別率為88.1%;對(duì)數(shù)據(jù)庫(kù)MMI,識(shí)別率為62.5%.

3.3與相關(guān)工作的比較

從上面的實(shí)驗(yàn)結(jié)果可以看出IABN可以成功捕捉并運(yùn)用時(shí)空信息進(jìn)行表情識(shí)別.表2將不同方法在數(shù)據(jù)庫(kù)CK+上的表情識(shí)別準(zhǔn)確率進(jìn)行了比較,其中Lucey等[20]采用的特征是SPTS和CAPP,與本文類似,是對(duì)臉部51個(gè)特征點(diǎn)進(jìn)行跟蹤得到的.陳雄[22]選取CK+數(shù)據(jù)庫(kù)全部593個(gè)表情序列中的包含驗(yàn)證表情的327個(gè)進(jìn)行表情識(shí)別試驗(yàn),利用AU構(gòu)建貝葉斯網(wǎng)絡(luò).其中訓(xùn)練樣本占總實(shí)驗(yàn)樣本的36.70%,測(cè)試樣本占總樣本的63.30%.本文也是將數(shù)據(jù)庫(kù)的全部標(biāo)記表情的327個(gè)表情序列進(jìn)行實(shí)驗(yàn),其中訓(xùn)練樣本占總實(shí)驗(yàn)樣本的30.58%,測(cè)試樣本占69.42%.對(duì)比發(fā)現(xiàn):利用AU與貝葉斯網(wǎng)絡(luò)相結(jié)合來(lái)進(jìn)行表情識(shí)別比IABN方法的識(shí)別率更高,證實(shí)了AU描述人臉表情的高效性.但在進(jìn)行AU定位時(shí)會(huì)增加耗時(shí),具體比較如表3所示.

表2　數(shù)據(jù)庫(kù)CK+的表情識(shí)別準(zhǔn)確率比較

表3　數(shù)據(jù)庫(kù)CK+的表情識(shí)別耗時(shí)分析

表4將不同方法在數(shù)據(jù)庫(kù)MMI上的表情識(shí)別準(zhǔn)確率進(jìn)行了比較.在所有對(duì)數(shù)據(jù)集MMI進(jìn)行表情識(shí)別的方法中,文獻(xiàn)[23]的方法是與本文最相似的,他們進(jìn)行訓(xùn)練的樣本與本文一樣,為所有的正面人臉表情序列(205個(gè)).不同的是,他們的方法是基于LBP特征并通過(guò)學(xué)習(xí)圖像塊的共性與特性來(lái)進(jìn)行表情分類.表4中把該文方法與本文方法進(jìn)行了比較,其中CPL是僅使用普通圖像塊的方法,CSPL是既用了普通圖像塊又用了特有圖像塊的方法,ADL是使用了由Adaboost算法選擇出的圖像塊的方法.可以看出,本文方法比CPL和ADL方法的識(shí)別效果要好很多.雖然CSPL方法比本文方法效果好,但是該方法是基于外觀特征的并且需要手工標(biāo)定峰值幀,而本文方法僅僅利用了基于跟蹤的特征并且不需要手工標(biāo)定峰值幀.

表4　數(shù)據(jù)庫(kù)MMI的表情識(shí)別準(zhǔn)確率比較

綜上可以看出IABN成功地捕捉了復(fù)雜的時(shí)空關(guān)系并將其轉(zhuǎn)換為對(duì)表情識(shí)別有用的信息.其表現(xiàn)明顯優(yōu)于基于時(shí)間片的動(dòng)態(tài)模型和其他同樣使用基于跟蹤的特征的方法,而且與基于外觀的方法效果相當(dāng)甚至比它們效果更佳.

4　結(jié)論

本文將人臉表情建模為一個(gè)復(fù)雜的活動(dòng),這個(gè)活動(dòng)是由在時(shí)間上重疊或連續(xù)的臉部基本運(yùn)動(dòng)組成的.并提出將時(shí)間區(qū)間代數(shù)與貝葉斯網(wǎng)絡(luò)結(jié)合起來(lái),以便充分利用表情識(shí)別中臉部基本運(yùn)動(dòng)之間的時(shí)空關(guān)系.在標(biāo)準(zhǔn)數(shù)據(jù)集上的實(shí)驗(yàn)表明:與現(xiàn)有動(dòng)態(tài)模型相比,本文方法在研究復(fù)雜關(guān)系上表現(xiàn)更佳,即使它僅僅以人臉肌肉的運(yùn)動(dòng)為基礎(chǔ)而未使用任何外觀的信息.但本文方法得出的區(qū)間代數(shù)貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜,存在冗余信息,需要進(jìn)一步優(yōu)化網(wǎng)絡(luò),去除冗余,實(shí)現(xiàn)網(wǎng)絡(luò)的最優(yōu)結(jié)構(gòu).

[1]Pantic M,Rothkrantz L J.Expert system for automatic analysis of facial expressions[J].Image and Vision Computing,2000,18(11):881-905.

[2]Pantic M,Rothkrantz L J.Facial action recognition for facial expression analysis from static face images[J].Systems,Man,and Cybernetics,Part B:Cybernetics,IEEE Transactions on,2004,34(3):1449-1461.

[3]Buciu I,Kotropoulos C,Pitas I.ICA and Gabor representation for facial expression recognition[A].Proceedings of the International Conference on Image Processing[C].Barcelona:IEEE Computer Society,2003.855-858.

[4]劉曉旻,章毓晉.基于Gabor直方圖特征和MVBoost的人臉表情識(shí)別[J].計(jì)算機(jī)研究與發(fā)展,2007,44(7):1089-1096.

Xiaomin L,Yujin Z.Facial expression recognition based on Gabor histogram feature and MVBoost[J].Journal of Computer Research and Development,2007,44(7):1089-1096.(in Chinese)

[5]Ahonen T,Hadid A,Pietikainen M.Face description with local binary patterns:Application to face recognition[J].Pattern Analysis and Machine Intelligence,IEEE Transactions on,2006,28(12):2037-2041.

[6]Cheon Y,Kim D.Natural facial expression recognition using differential-AAM and manifold learning[J].Pattern Recognition,2009,42(7):1340-1350.

[7]Sánchez A,Ruiz J V,Moreno A B,et al.Differential optical flow applied to automatic facial expression recognition[J].Neurocomputing,2011,74(8):1272-1282.

[8]Koelstra S,Pantic M,Patras I.A dynamic texture-based approach to recognition of facial actions and their temporal models[J].Pattern Analysis and Machine Intelligence,IEEE Transactions on,2010,32(11):1940-1954.

[9]Wu T,Bartlett M S,Movellan J R.Facial expression recognition using gabor motion energy filters[A].Proceedings of the Computer Vision and Pattern Recognition Workshops[C].San Francisco,CA:IEEE Computer Society,2010.42-47.

[10]Tong Y,Liao W,Ji Q.Facial action unit recognition by exploiting their dynamic and semantic relationships[J].Pattern Analysis and Machine Intelligence,IEEE Transactions on,2007,29(10):1683-1699.

[11]Zhang Y,Ji Q.Active and dynamic information fusion for facial expression understanding from image sequences[J].Pattern Analysis and Machine Intelligence,IEEE Transactions on,2005,27(5):699-714.

[12]李永強(qiáng).基于動(dòng)態(tài)貝葉斯網(wǎng)絡(luò)的人面部運(yùn)動(dòng)識(shí)別方法研究[D].哈爾濱:哈爾濱工業(yè)大學(xué),2013.

[13]Yang P,Liu Q,Metaxas D N.Exploring facial expressions with compositional features[A].Proceedings of the Computer Vision and Pattern Recognition[C].San Francisco,CA:IEEE Computer Society,2010.2638-2644.

[14]Valstar M F,Pantic M.Fully automatic recognition of the temporal phases of facial actions[J].Systems,Man,and Cybernetics,Part B:Cybernetics,IEEE Transactions on,2012,42(1):28-43.

[15]Young J D,Santos Jr E.Introduction to temporal bayesian networks[ED/OL].http://www.cs.indiana.edu/event/maics96/Proceedings/ Young/maics-96.html,1996.

[16]Arroyo-Figueroa G,Suear L E.A temporal Bayesian network for diagnosis and prediction[A].Proceedings of the Fifteenth conference on Uncertainty in artificial intelligence[C].Stockholm:Eprint Arxiv,1999.13-20.

[17]Shi Y,Huang Y,Minnen D,et al.Propagation networks for recognition of partially ordered sequential action[A].Proceedings of Conference on Computer Vision and Pattern Recognition[C].Atlanta,GA:IEEE Computer Society,2004.862-869.

[18]涂傳飛.考慮時(shí)態(tài)信息的本體知識(shí)的不確定性推理研究[D].武漢:華中科技大學(xué),2013.

[19]Allen J F.Maintaining knowledge about temporal intervals[J].Communications of the ACM,1983,26(11):832-843.

[20]Lucey P,Cohn J F,Kanade T,et al.The extended Cohn-Kanade Dataset (CK+):A complete dataset for action unit and emotion-specified expression[A].Proceedings of Conference on Computer Vision and Pattern Recognition Workshops[C].San Francisco,CA:IEEE Computer Society,2010.94-101.

[21]Pantic M,Valstar M,Rademaker R,et al.Web-based database for facial expression analysis[A].Proceedings of Conference on the Multimedia and Expo[C].Netherlands:IEEE Computer Society,2005.317-321.

[22]陳雄.基于序列特征的隨機(jī)森林表情識(shí)別[D].成都:電子科技大學(xué),2013.

[23]Zhong L,Liu Q,Yang P,et al.Learning active facial patches for expression analysis[A].Proceedings of Conference on Computer Vision and Pattern Recognition[C].Providence,RI:IEEE Computer Society,2012.2562-2569.

[24]Cheon Y,Kim D.A natural facial expression recognition using differential-AAM and k-NNS[A].Proceedings of International Symposium on Multimedia[C].Berkeley,CA:IEEE Computer Society,2008.220-227.

[25]Wang L,Qiao Y,Tang X.Motionlets:Mid-level 3D parts for human motion recognition[A].Proceedings of Conference on Computer Vision and Pattern Recognition[C].Portland,OR:IEEE Computer Society,2013.2674-2681.

[26]Zhao G,Pietikainen M.Dynamic texture recognition using local binary patterns with an application to facial expressions[J].Pattern Analysis and Machine Intelligence,IEEE Transactions on,2007,29(6):915-928.

[27]Klaser A,Marszalek M.A spatio-temporal descriptor based on 3d-gradients[A].Proceedings of the the 19th British Machine Vision Conference[C].Leeds:British Machine Vision Association,2008.1-10.

邱玉女,1990年12月生于山東濟(jì)寧,碩士研究生.研究方向:圖像處理、模式識(shí)別.

E-mail:qiuyu1204@126.com

趙杰煜男,1965年11月生于浙江寧波,教授,博士生導(dǎo)師.研究方向:計(jì)算智能、模式識(shí)別、人機(jī)自然交互.

E-mail:zhao-jieyu @nbu.edu.cn

汪燕芳女,1989年1月生于安徽安慶,碩士研究生.研究方向:軟件開發(fā).

Facial Expression Recognition Using Temporal RelationsAmong Facial Movements

QIU Yu,ZHAO Jie-yu,WANG Yan-fang

(FacultyofElectricalEngineeringandComputerScience,NingboUniversity,Ningbo,Zhejiang315211,China)

Spatial and temporal relations between different facial muscles are very important in the facial expression recognition process.However,these implicit relations have not been widely used due to the limitation of the current models.In order to make full use of spatial and temporal information,we model the facial expression as a complex activity consisting of different facial events.Furthermore,we introduce a special Bayesian network to capture the temporal relations among facial events and develop the corresponding algorithm for facial expression modeling and recognition.We only use the features based on tracking results and this method does not require the peak frames,which can improve the speed of training and recognition.Experimental results on the benchmark databases CK+ and MMI show that the proposed method is feasible in facial expression recognition and considerably improves the recognition accuracy.

facial expression recognition;sequential facial events;Bayesian network;interval algebra

2014-08-08;修回日期:2015-05-17;責(zé)任編輯：梅志強(qiáng)

國(guó)家自然科學(xué)基金(No.61571247);科技部國(guó)際科技合作專項(xiàng)(No.2013DFG12810,No.2012BAF12B11);浙江省國(guó)際科技合作專項(xiàng)(No.2013C24027)；浙江省自然科學(xué)基金(No.LZ16F030001)

TN391.4

A

0372-2112 (2016)06-1307-07