融合LBP和局部稀疏表示的人臉表情識(shí)別

唐恒亮，孫艷豐，朱杰，趙明茹

TANG Hengliang1，2,SUN Yanfeng1,ZHU Jie2,ZHAO Mingru1，2

1.北京工業(yè)大學(xué)多媒體與智能軟件技術(shù)北京市重點(diǎn)實(shí)驗(yàn)室，北京100124

2.北京物資學(xué)院智能物流系統(tǒng)北京市重點(diǎn)實(shí)驗(yàn)室，北京101149

1.Beijing Key Laboratory of Multimedia and Intelligent Software Technology,Beijing University of Technology,Beijing 100124,China

2.Beijing Key Laboratory of Intelligent Logistics System,Beijing Wuzi University,Beijing 101149,China

1 引言

人臉識(shí)別研究已取得了較大進(jìn)展，但仍存在許多問(wèn)題值得深入研究，特別是針對(duì)人臉表情、姿態(tài)和光照等的識(shí)別問(wèn)題。目前，大部分工作都致力于改進(jìn)人臉表示方法，以提升人臉認(rèn)知和識(shí)別的魯棒性。

在人臉表情識(shí)別方面，近年來(lái)涌現(xiàn)了大量的研究成果。從識(shí)別方法上分析，大致可分為基于全局特征的方法和基于局部特征的方法?；谌痔卣鞯姆椒ㄖ饕崛∶娌繄D像的宏觀信息刻畫面部的獨(dú)特性，側(cè)重對(duì)整體特征的描述，并用以識(shí)別。常用的全局人臉表征方式有主成分分析[1]、線性判別分析[2-3]、獨(dú)立成分分析[4-5]、支持向量機(jī)[6]等；基于局部特征的方法側(cè)重分析面部圖像的局部細(xì)節(jié)特性，研究表情對(duì)人臉局部區(qū)域的影響，提取利于分類的人臉微觀屬性。近年來(lái)，基于LBP[7-13]的方法因其原理簡(jiǎn)單，計(jì)算復(fù)雜度低，同時(shí)具備旋轉(zhuǎn)和灰度不變性而備受關(guān)注，并被廣泛應(yīng)用于圖像識(shí)別、目標(biāo)檢測(cè)和跟蹤等領(lǐng)域。宋克臣等人[14]針對(duì)當(dāng)前LBP方法表現(xiàn)出的理論和實(shí)際應(yīng)用價(jià)值進(jìn)行了詳盡的匯總，并系統(tǒng)綜述了在紋理分析和分類、人臉?lè)治龊妥R(shí)別以及其他檢測(cè)與應(yīng)用中的各種LBP方法。

本文通過(guò)深入分析人臉圖像特征以及表情對(duì)人臉局部區(qū)域的非剛性影響，提出了一種融合LBP和局部稀疏表示的人臉表情識(shí)別方法（見圖1）。首先，對(duì)規(guī)格化后的訓(xùn)練集人臉圖像進(jìn)行特征分區(qū)，對(duì)于每個(gè)人臉?lè)謪^(qū)計(jì)算該區(qū)域的LBP特征，并采用直方圖統(tǒng)計(jì)方法整合該區(qū)域特征分量，形成由特定人臉的局部特征組成的訓(xùn)練集局部特征庫(kù)；對(duì)于測(cè)試人臉，同樣進(jìn)行人臉圖像規(guī)格化、人臉?lè)謪^(qū)、局部LBP特征計(jì)算和局部直方圖統(tǒng)計(jì)操作；最后，對(duì)于測(cè)試人臉的局部直方圖統(tǒng)計(jì)特征，利用訓(xùn)練集特征庫(kù)進(jìn)行局部稀疏重構(gòu)表示，并采用局部稀疏重構(gòu)殘差加權(quán)方法進(jìn)行最終人臉表情分類識(shí)別。

圖2 LBP算子編碼方式

2 人臉局部特征提取

表情對(duì)人臉區(qū)域可產(chǎn)生非剛性的變化，進(jìn)而使得帶表情的人臉表征因面部區(qū)域變化的不可預(yù)期性而相對(duì)比較困難。而LBP是一種簡(jiǎn)單有效、非參數(shù)化的局部紋理模式描述算子，它描述圖像紋理特征是基于紋理像素間的關(guān)聯(lián)性，利用結(jié)構(gòu)法思想分析固定窗口特征，然后利用統(tǒng)計(jì)法作整體特征提取，所以LBP算子能夠很好地提取面部的紋理關(guān)聯(lián)特征。因此，本文針對(duì)人臉表情問(wèn)題從LBP算子著手展開了深入研究。

對(duì)于原始人臉樣本，首先通過(guò)標(biāo)定其雙眼中心位置，將其規(guī)格化為64×64的標(biāo)準(zhǔn)圖像；為深入分析表情對(duì)人臉局部區(qū)域的影響，更好地研究不同表情因素對(duì)人臉產(chǎn)生的非剛性變化，根據(jù)面部五官特征對(duì)人臉圖像進(jìn)行了非均勻的分區(qū)；對(duì)于每個(gè)人臉局部區(qū)域，采用LBP算子計(jì)算局部特征，通過(guò)重疊滑動(dòng)3×3子區(qū)域窗口，對(duì)非邊界區(qū)域進(jìn)行局部二值化編碼（如圖2所示），即

其中，ic表示窗口中心位置紋理特征，in表示中心點(diǎn)8鄰域的紋理特征，二值化算子s(x)可表示為：

對(duì)于人臉局部區(qū)域的LBP特征，分區(qū)域統(tǒng)計(jì)其直方圖信息來(lái)描述該區(qū)域的屬性。對(duì)于人臉圖像樣本s的第k(本文k=1，2，…，10）個(gè)區(qū)域的直方圖統(tǒng)計(jì)特征hk，s，在M個(gè)灰度級(jí)別上分別對(duì)其進(jìn)行統(tǒng)計(jì)，每個(gè)灰度級(jí)別的直方圖分量特征可定義為：

其中，i表示灰度級(jí)別，則第k個(gè)區(qū)域的直方圖統(tǒng)計(jì)特征hk，s可表示為：

對(duì)于所有人臉樣本的每個(gè)局部區(qū)域均可表征為公式（4）所示的局部直方圖統(tǒng)計(jì)特征。該特征采用LBP算子提取人臉子區(qū)域的局部微觀特征，又通過(guò)統(tǒng)計(jì)直方圖的方法整合局部微觀特征，最終形成對(duì)人臉子區(qū)域的局部完整性描述。

3 人臉局部稀疏重構(gòu)表示與識(shí)別

通過(guò)第2章的處理，可將人臉樣本從圖像信息抽象成分區(qū)域的統(tǒng)計(jì)特征。在此基礎(chǔ)上，通常將每個(gè)特定樣本的所有子區(qū)域直方圖特征串聯(lián)，并組成對(duì)該特定樣本的整體描述，最后采用整體直方圖匹配算法進(jìn)行分類識(shí)別。人臉子區(qū)域直方圖串聯(lián)僅是一種機(jī)械的局部特征整合方法，對(duì)分類識(shí)別的貢獻(xiàn)作用有限。因此，在人臉局部區(qū)域直方圖表征基礎(chǔ)上，為了更精確、細(xì)致地描述人臉局部信息，深入挖掘表情對(duì)人臉各個(gè)子區(qū)域的影響，通過(guò)對(duì)稀疏表示方法的深入探討，本文提出了一種基于人臉局部區(qū)域稀疏重構(gòu)表示的表情識(shí)別方法。

稀疏表示[15-16]是一種高維信號(hào)獲取、表示與壓縮方法。近年來(lái)，隨著數(shù)學(xué)領(lǐng)域的研究發(fā)展，特別是對(duì)于l1范數(shù)優(yōu)化問(wèn)題的研究突破，推動(dòng)了稀疏表示在計(jì)算機(jī)視覺(jué)[17]領(lǐng)域的應(yīng)用，并且取得了一定的成果。相比傳統(tǒng)的人臉識(shí)別方法，稀疏表示的目標(biāo)函數(shù)更適合人臉識(shí)別的最終任務(wù)；稀疏表示具有信源與誤差分離的固有屬性，只要人臉表征方式信息量充分，其他人臉無(wú)關(guān)特征的介入不會(huì)影響算法的識(shí)別性能；另外，在稀疏表示框架下，增加訓(xùn)練樣本數(shù)量一定程度上能夠提高訓(xùn)練集的稀疏特性，使稀疏表示更準(zhǔn)確，但不會(huì)因過(guò)多樣本的介入而使算法識(shí)別性能下降。

第2章獲取的人臉子區(qū)域的局部完整性描述可將每個(gè)人臉樣本抽象成一組局部特征向量，也可看作是一組人臉局部描述符的集合，該局部描述符在一定程度上刻畫了人臉的獨(dú)特性。在同類樣本相似度較高的先驗(yàn)知識(shí)前提下，根據(jù)稀疏表示原理，每個(gè)待識(shí)別樣本可由訓(xùn)練集中其同類樣本的線性組合近似表示出。

對(duì)于人臉表情樣本s，其第k個(gè)區(qū)域的局部描述符可表示為hk，s，則訓(xùn)練集中所有樣本該區(qū)域的表征方式可按列向量形式排列成訓(xùn)練矩陣Hk，即

其中，N為訓(xùn)練集中人臉樣本數(shù)量，M為單個(gè)人臉樣本的特征維度，即上文所指的灰度級(jí)別數(shù)量。

對(duì)于某個(gè)測(cè)試人臉樣本p，其第k個(gè)區(qū)域的局部描述符可表示為hk，p。在稀疏表示框架下，對(duì)于人臉樣本p的局部稀疏重構(gòu)可表示為：

上式所描述的最小化優(yōu)化問(wèn)題則可通過(guò)線性規(guī)劃方法求解，進(jìn)而可將測(cè)試樣本p的局部區(qū)域分別進(jìn)行稀疏重構(gòu)表示。在分類識(shí)別階段，利用公式（6）求出的最優(yōu)解，可計(jì)算出測(cè)試樣本p與訓(xùn)練樣本si在第k個(gè)子區(qū)域的殘差（局部殘差），即

由于表情使人臉發(fā)生了非剛性的形變，而每個(gè)人臉子區(qū)域受表情因素的影響不盡相同。為了更客觀、深入地分析每個(gè)人臉子區(qū)域受各種表情影響的程度，本文采用加權(quán)融合的方式整合上述局部殘差，并將最小全局殘差對(duì)應(yīng)的訓(xùn)練樣本定義為測(cè)試樣本的最佳匹配對(duì)象。測(cè)試樣本p與訓(xùn)練樣本si的全局殘差可表示為：

其中，wk表示人臉表情對(duì)第k個(gè)子區(qū)域的影響因子，影響因子越大表明該區(qū)域受表情影響越大。在識(shí)別特定表情時(shí)，應(yīng)一定程度強(qiáng)化該區(qū)域?qū)ψR(shí)別的貢獻(xiàn)率；而在識(shí)別特定人臉時(shí)，應(yīng)一定程度削弱該區(qū)域?qū)ψR(shí)別的貢獻(xiàn)率。該影響因子可通過(guò)實(shí)驗(yàn)獲得經(jīng)驗(yàn)值，可近似定義為該區(qū)域?qū)ψR(shí)別的貢獻(xiàn)率。

4 實(shí)驗(yàn)結(jié)果及分析

為驗(yàn)證所提出的融合LBP和人臉局部區(qū)域稀疏表示的人臉表情識(shí)別方法的有效性，深入剖析表情對(duì)人臉子區(qū)域的影響，在JAFFE2表情庫(kù)上做了詳細(xì)的對(duì)比實(shí)驗(yàn)。該庫(kù)包含生氣、厭惡、害怕、高興、中性、悲哀、吃驚7種表情，實(shí)驗(yàn)選用該庫(kù)除中性表情外的每個(gè)人每種表情的1組數(shù)據(jù)做訓(xùn)練，剩余表情樣本做測(cè)試，實(shí)驗(yàn)結(jié)果見表1。針對(duì)表情對(duì)人臉子區(qū)域的影響，本文做了兩組實(shí)驗(yàn)，一組將該影響因子均設(shè)為1（“本文1”），另一組通過(guò)實(shí)驗(yàn)獲得該影響因子的經(jīng)驗(yàn)值（“本文2”）。同時(shí)，為了進(jìn)一步驗(yàn)證本文方法的有效性，實(shí)驗(yàn)對(duì)比了原始LBP算法和同仁的實(shí)驗(yàn)結(jié)果。

表1 人臉表情識(shí)別實(shí)驗(yàn)結(jié)果（%）

從表1“本文2”的實(shí)驗(yàn)結(jié)果可看出，本文提出的融合LBP和人臉局部區(qū)域稀疏重構(gòu)表示的方法對(duì)人臉表情識(shí)別具有較強(qiáng)的魯棒性，取得了93%左右的平均識(shí)別率。對(duì)比各個(gè)表情的識(shí)別效率，高興和吃驚表情的識(shí)別率較高，而厭惡和悲傷表情的識(shí)別效果稍差。其原因是高興和吃驚表情比較夸張，對(duì)人臉面部局部紋理影響較大，更容易捕捉該表情的獨(dú)特性；而厭惡和悲傷表情對(duì)人臉的紋理影響相對(duì)較弱，進(jìn)而影響了識(shí)別效率。在相同的實(shí)驗(yàn)條件下，對(duì)比原始LBP算法、“本文1”方案和“本文2”方案對(duì)不同表情的實(shí)驗(yàn)結(jié)果，本文方法的識(shí)別性能明顯優(yōu)于原始LBP算法，表明人臉局部稀疏重構(gòu)表示方法對(duì)人臉表情識(shí)別更加有效，也表明融合LBP和局部稀疏重構(gòu)表示的識(shí)別框架能夠有效捕捉人臉表情的局部結(jié)構(gòu)信息，較好地整合人臉局部特征，并精細(xì)刻畫人臉局部紋理，進(jìn)而取得了較好的效果。雖然稀疏表示的時(shí)間復(fù)雜度較高，但人臉局部特征維度較低，因此，基于人臉局部子區(qū)域的稀疏重構(gòu)表示時(shí)間性能尚可。

對(duì)于表情對(duì)人臉局部區(qū)域的影響情況，表1中“本文2”（根據(jù)表情對(duì)人臉各子區(qū)域的實(shí)際影響分別設(shè)置影響因子）的實(shí)驗(yàn)結(jié)果要明顯優(yōu)于“本文1”（假設(shè)表情對(duì)人臉各子區(qū)域的影響相同）的實(shí)驗(yàn)結(jié)果，表明基于局部稀疏重構(gòu)的加權(quán)融合方法能夠較好地捕捉表情對(duì)人臉局部區(qū)域的特定影響，進(jìn)而提升了人臉表情識(shí)別的準(zhǔn)確率，因此，“本文2”方案對(duì)人臉表情識(shí)別問(wèn)題更加魯棒。為更直觀地分析表情對(duì)人臉的影響，本文通過(guò)對(duì)所有人臉數(shù)據(jù)訓(xùn)練學(xué)習(xí)，獲取到了表情對(duì)人臉各子區(qū)域的影響因子（見圖3右圖，顏色越深表明影響因子越大）。從圖3可看出鼻子和下巴兩側(cè)區(qū)域受表情影響較小，對(duì)表情識(shí)別貢獻(xiàn)較弱；而嘴巴、眼睛和眉毛區(qū)域紋理受表情影響較大，其中嘴巴區(qū)域尤為明顯，這些區(qū)域?yàn)楸砬樽R(shí)別提供了較強(qiáng)的分類信息。

圖3 表情對(duì)人臉局部的影響

另外，許多研究者針對(duì)人臉表情識(shí)別問(wèn)題也作了深入的研究，在相同的實(shí)驗(yàn)數(shù)據(jù)下，本文方法的平均性能一定程度上優(yōu)于文獻(xiàn)[11-13]中的方法，這也證明了本文方法的優(yōu)越性；對(duì)于特定表情的識(shí)別性能不同方法各有千秋。由于實(shí)驗(yàn)數(shù)據(jù)的組織方式存在差異，因此，對(duì)比實(shí)驗(yàn)僅供參考。

5 結(jié)束語(yǔ)

本文提出了一種融合LBP和局部稀疏重構(gòu)表示的人臉表情識(shí)別方法。為更細(xì)致分析表情對(duì)人臉的影響，根據(jù)五官位置信息對(duì)人臉進(jìn)行非均勻分區(qū)，然后提取局部區(qū)域的LBP特征；在此基礎(chǔ)上，為精確刻畫人臉表情局部特征，采用局部稀疏表示的方法對(duì)人臉局部子區(qū)域進(jìn)行稀疏重構(gòu)，并根據(jù)表情對(duì)各局部區(qū)域的影響因子，加權(quán)融合局部重構(gòu)殘差進(jìn)行人臉表情識(shí)別。在JAFFE2表情人臉庫(kù)上的對(duì)比實(shí)驗(yàn)驗(yàn)證了本文方法的可行性和有效性。本文對(duì)人臉采用了粗粒度的分區(qū)，以后可根據(jù)表情的影響對(duì)面部進(jìn)行細(xì)粒度分區(qū)研究；另外，人臉面部具有左右對(duì)稱特征，以后可在局部稀疏重構(gòu)表示時(shí)，適當(dāng)引入人臉結(jié)構(gòu)約束，以提高表情識(shí)別率。

[1] Chen X W，Thomas H.Facial expression recognition：a clustering-based approach[J].Pattern Recognition Letters，2003，24（9/10）：1295-1302.

[2] 支瑞聰，阮秋琦.基于線性判別局部保留映射的人臉表情識(shí)別[J].信號(hào)處理，2009，25（2）：233-237.

[3] Li M，Yuan B Z.2D-LDA：a statistical linear discriminant analysis for image matrix[J].Pattern Recognition Letters，2005，26（5）：527-532.

[4] Buclu C，Kotropoulos I，Ptas.Comparison of ICA approaches for facial expression recognition[J].Signal，Image and Video Processing，2009，3（4）：345-361.

[5] 徐正光，閆恒川，張利欣.基于表情識(shí)別的獨(dú)立成分分析方法的研究[J].計(jì)算機(jī)工程，2006，32（24）：183-185.

[6] 應(yīng)自爐，唐京海，李景文，等.支持向量鑒別分析及在人臉表情識(shí)別中的應(yīng)用[J].電子學(xué)報(bào)，2008，36（4）：725-730.

[7] Ojala T，Pietikainen M，Harwood D.A comparative study of texture measures with classification based on feature distributions[J].Pattern Recognition，1996，29（1）：51-59.

[8] Feng X，Pietikainen M，Hadid A.Facial expression recognition with local binary patterns and linear programming[J].Pattern Recognition and Image Analysis，2005，15（2）：546-548.

[9] Zhao G，Pietikainen M.Dynamic texture recognition using local binary patterns with an application to facial expressions[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2007，29（6）：915-928.

[10] Shan C，Gong S，McOwan P W.Facial expression recognition based on local binary patterns：a comprehensive study[J].Image and Vision Computing，2009，27：803-816.

[11] 應(yīng)自爐，方謝燕.基于局部二元模式的面部表情識(shí)別研究[J].計(jì)算機(jī)工程與應(yīng)用，2009，45（29）：180-183.

[12] 姜銳，許建龍，張愛(ài)朋.基于改進(jìn)LBP的人臉表情識(shí)別[J].浙江理工大學(xué)學(xué)報(bào)，2013，30（4）：546-549.

[13] 李睿，趙曉.融合DCT和LBP特征的表情識(shí)別[J].計(jì)算機(jī)工程與應(yīng)用，2013，49（15）：171-174.

[14] 宋克臣，顏云輝，陳文輝，等.局部二值模式方法研究與展望[J].自動(dòng)化學(xué)報(bào)，2013，39（6）：730-744.

[15] Donoho D.Compressed sensing[J].IEEE Transactions on Information Theory，2006，52（4）：1289-1306.

[16] 石光明，劉丹華，高大化，等.壓縮感知理論及其研究進(jìn)展[J].電子學(xué)報(bào)，2009，37（5）：1070-1078.

[17] Wright J，Yang A，Ganesh A，et al.Robust face recognition via sparse representation[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2009，31（2）：210-227.