混合表情的稀疏表達分析

宋彩風(fēng)，劉偉鋒，王延江

中國石油大學(xué)（華東）信息與控制工程學(xué)院，山東 青島 266555

混合表情的稀疏表達分析

宋彩風(fēng)，劉偉鋒，王延江

中國石油大學(xué)（華東）信息與控制工程學(xué)院，山東 青島 266555

1 引言

表情在日常人際交流以及人機交互中起著重要的作用。人臉表情分析是一種有效地理解人類情感的方式。研究人員大都是把表情歸為單一的某種表情，如高興、悲傷、生氣等[1-4]；P.Ekman[5]把人臉表情分為了六類（生氣、厭惡、恐懼、高興、悲傷、驚訝），但是，由于人類的情感和表情具有模糊性，日常的表情往往表現(xiàn)為多種基本表情的混合表情，例如驚喜、驚恐等；因此，混合表情的分析更符合日常表情的表現(xiàn)，混合表情的有效分析能使人和機器更加友好地交流，使機器更好地理解人類情感。對混合表情的研究已引起研究人員的注意，Dr.R.Parthasarathi[6]等利用神經(jīng)網(wǎng)絡(luò)算法對經(jīng)過PCA降維處理后的混合表情特征進行識別，提高了混合表情的識別率，但未給出各類基本表情在混合表情中所占的比重；左坤隆[7]等采用AAM提取表情特征，并用人工神經(jīng)網(wǎng)絡(luò)方法對提取的特征進行混合表情的分類，取得了不錯的識別結(jié)果，但也只是對混合表情圖像進行了表情識別，并沒有給出表情圖像中各基本表情的定量描述。

基于壓縮感知理論，本文提出了一種混合表情的定量描述方法。以面部特征點的Gabor小波系數(shù)作為表情特征，基于壓縮感知理論框架分析表情中各基本表情的混合成分，結(jié)合模糊數(shù)學(xué)理論，利用隸屬度函數(shù)對混合表情的各基本表情進行定量的描述，實驗結(jié)果表明此方法對于描述混合表情簡單有效。

2 混合表情分析

如圖1為混合表情分析系統(tǒng)框架。首先是對經(jīng)過預(yù)處理的表情圖像（主要是對圖像進行標準化處理，統(tǒng)一圖像的幾何尺寸和灰度對比度等）提取面部特征點的Gabor特征；然后基于壓縮感知理論對表情進行分析；最后依據(jù)模糊數(shù)學(xué)理論對混合表情中各基本表情的組成進行分析。

圖1 混合表情分析框架

2.1 Gabor小波特征

二維Gabor小波核函數(shù)[8-9]具有與人類大腦皮層簡單細胞的二維反射區(qū)相同的特性，對人類視覺系統(tǒng)的較好模擬和其自身優(yōu)于其余方法的計算特性。因此，在人臉表情識別中具有廣泛的應(yīng)用。

二維Gabor小波核定義：

一方面考慮到計算復(fù)雜度以及人臉表情信息主要集中在眉毛、眼睛、嘴巴區(qū)域，則只需提取這些區(qū)域的特征即可；另一方面由于本文的表情圖像都是已經(jīng)配準好的，面部各個器官的位置大致是相同的，則對面部關(guān)鍵點的提取手工標注比自動檢測更加精確以及更加具有靈活性。因此，本文手工定位了如圖2所示的122個面部特征點（主要包含眉毛、眼睛以及嘴巴部分）并對這些特征點進行了Gabor特征提取。

圖2 提取特征點示意圖

2.2 基于壓縮感知的表情分析

假設(shè)存在一個完備表情樣本矩陣A，A中包含k類基本表情，即A=[A1，A2，…，Ak]，其中，Ai=[vi，1，vi，2，…，vi，ni]∈Rm×ni，是每個表情類充足的表情樣本；m=w×h，其中，w為圖像的寬度，h為圖像的高度；vi，j表示每一幅表情圖像。若測試表情 y屬于第i類基本表情，則 y可表示成第i類所有表情圖像的線性組合，即

其中系數(shù)xi，j?R，j=1，2，…，ni。

若 A表示所有訓(xùn)練樣本的矩陣 A=[A1，A2，…，Ak]= [v1，1，v1，2，…，vk，1，…，vk，nk]，則公式（2）即

圖3 表情識別示意圖

由圖3可以看出，y被分解為不同表情的組合，系數(shù)矩陣X對應(yīng)于各表情的分量，則表情分析問題轉(zhuǎn)化為求解線性方程y=AX的問題。X中非0系數(shù)越少越稀疏，y的組成越明晰，所以，需要找到滿足方程 y=AX的最稀疏解X。由壓縮感知理論可知這個問題可以轉(zhuǎn)化為求解最小l0范數(shù)問題，即

‖?‖0表示零范數(shù)，用來表示一個矢量中非零系數(shù)的個數(shù)。然而由于X解的不確定性，該算法成為NP難題。已經(jīng)證明，l1最小范數(shù)在一定條件下和l0最小范數(shù)具有等價性，l0范數(shù)最小化問題就等效為如下的l1范數(shù)最小化問題：

因此，通過求解l1范數(shù)最小化問題即可得到特征向量近似解X。

2.3 基于隸屬度的混合表情表示

模糊數(shù)學(xué)[10]能夠?qū)δ：F(xiàn)象進行定量分析處理。

設(shè)在論域U上給定了一個映射：

則F為U上模糊集，F(xiàn)(u)為F的隸屬函數(shù)（或稱u對F的隸屬度）。

設(shè)某混合表情 y包含多種基本表情，y對基本表情i的隸屬度為Fi(y)，則可以用：

表示表情y的基本表情組成情況。

考慮公式（3）、（5）、（6），X反映了測試表情 y中每一類基本表情的組成，可定義表情y對每一類基本表情的隸屬度：

其中，xij為第i類基本表情中第 j個表情樣本的系數(shù)。這樣，得到了混合表情的一種定量描述。

表情分析中，往往只需要分析混合表情的主要基本表情，因此引入模糊數(shù)學(xué)中的截集的概念：

設(shè)定某表情閾值λ，可以獲得表情y的主要基本表情分析：

則此問題轉(zhuǎn)化為傳統(tǒng)的表情識別問題。因此，結(jié)合文獻[11]，基于稀疏表達的混合表情的分析算法如下：

（1）對JAFFE表情數(shù)據(jù)庫中經(jīng)過預(yù)處理的表情圖像，提取122個面部特征點的Gabor系數(shù)；每一幅表情樣本圖像的系數(shù)值ai，j作為表情樣本矩陣A中的一列，即

（3）求解l1范數(shù)最小化問題：

（4）輸出：F(y)={F1(y)，F(xiàn)2(y)，…，F(xiàn)7(y)}。其中，F(xiàn)i(y)=為第i類基本表情在該表情圖像中所占的比例（或測試表情樣本 y隸屬于第i類的概率）；xij為第i類表情中第 j個樣本的系數(shù)。

3 實驗與分析

本文在日本ATR的女性表情數(shù)據(jù)庫（JAFFE）[8]中進行了實驗分析。JAFFE是以7類基本表情（6種基本表情和中性表情）為基礎(chǔ)的數(shù)據(jù)庫，包含10位日本女性，每種表情大約2～4幅圖像，總共約213幅表情圖像，每幅圖像大小為256×256。

3.1 基于壓縮感知的混合表情定量分析

圖4所示為表情圖像KA_AN3的特征系數(shù)（本文特征系數(shù)求解采用文獻[12]的L1-magic范數(shù)包）。由圖4可見，特征系數(shù)x在各基本表情都存在，某類基本表情對應(yīng)的特征系數(shù)越大，表明包含該表情類別成分越多。

圖4 表情圖像KA_AN3及特征系數(shù)x的值

圖5 各類基本表情所占的比例

圖6 不同人的表情差異

圖6為不同表情圖像的隸屬度表示。其中（a）（b）是同一個人做出同一種表情時，該表情所包含的各類基本表情所占的比重；（c）（d）為不同的人做出同一種表情時，該表情所包含的各類基本表情所占的比重。可見，同一個體在表現(xiàn)同一表情時各基本表情的分布基本相同，而不同的人表現(xiàn)同一基本表情時，該基本表情相對其他類基本表情比較突出，但由于個體差異，即使表現(xiàn)同一表情，各基本表情的分布也是不同的。根據(jù)最大隸屬度原則，（a）（b）均識別為厭惡表情，但厭惡在兩幅表情圖像中所占的比重不同，則表現(xiàn)出厭惡的程度也有所差異；（c）（d）均識別為悲傷表情，但表現(xiàn)出悲傷的程度也不一樣。

圖7 不同方法對混合表情的分析結(jié)果

3.2 不同方法對混合表情的分析結(jié)果比較

如圖7為本文方法與SLAP-CGBP[13]方法對混合表情的分析。（a）為表情圖像樣本NA_SU1；（b）為SLAP-CGBP方法對該表情所包含的各類表情成分的分析結(jié)果，該方法把該表情判為驚訝和高興的混合表情；（c）為本文的方法。根據(jù)截集的概念，若取λ=0.2，則該表情也為驚訝和高興的混合表情，但本文方法包含其他基本表情成分相對于SLAP-CGBP方法要少；（d）為表情樣本MK_SU1；（e）為SLAP-CGBP方法對該表情所包含的各表情成分的分析結(jié)果，該方法把該表情判為驚訝和恐懼的混合表情；（f）為本文方法對該表情成分的分析，取λ=0.2，則本文方法也是把該表情判為驚訝和恐懼的混合表情。由此看出，兩種方法對混合表情判斷基本相同，只是包含基本表情的成分的大小不同；但本文算法分析得到的主要表情成分相對于其他表情成分要突出，更適合于用截集判斷混合表情中的主要成分。

3.3 不同光照下的人臉表情的分析

為研究本文算法的魯棒性，對JAFFE表情庫中的表情進行不同光照的處理，并采用最大隸屬度函數(shù)分析各表情中最主要的表情成分。如圖8為強光照和微弱光照下的表情圖像。在強光、弱光以及正常光照下的表情圖像中分別選取70幅圖像作為測試表情圖像，其余的143幅正常情況下的圖像作為訓(xùn)練表情樣本。測試結(jié)果如表1，表2，表3。

由表1，表2，表3可看出即使光照變化很大，本文方法仍能取得不錯的表情識別率，在正常光照、強光和弱光下的識別率分別達到了94.3%、80%以及75.7%；可見，利用Gabor算子提取表情特征，基于壓縮感知的分類器對表情分析具有一定的魯棒性，可用于人臉表情識別以及人臉表情的混合分析中。

圖8 不同光照下的人臉表情圖像（上面為強光照，下面為弱光照）

表1 正常情況下的表情識別結(jié)果

表2 強光照下的表情識別結(jié)果

綜上，基于壓縮感知和Gabor特征能夠提取表情特征，結(jié)合隸屬度和模糊截集，可以實現(xiàn)混合表情分析和表情識別。實驗結(jié)果表明，本文方法能夠簡單有效地對混合表情進行定量表示；另一方面，不同個體的表情表現(xiàn)是有差異的（即使是表現(xiàn)同一基本表情），表情分析需要考慮個體差異；第三，表情往往是混合的，現(xiàn)實中很少有單一的基本表情，究其原因是表情源于人類情感，而情感復(fù)雜多變，因此結(jié)合情感理論的表情將會更符合實際。

表3 弱光照下的表情識別結(jié)果

4 結(jié)論與展望

本文基于壓縮感知的理論框架，以面部特征點的Gabor小波系數(shù)為表情特征對混合表情進行了分析；利用隸屬度函數(shù)對表情所包含的基本表情成分進行定量描述，并分析了不同情況下人臉表情的混合表情成分以及在光照有較大變化時人臉表情的識別情況。實驗結(jié)果表明，本文方法能夠簡單有效地對日常混合表情進行定量表示。

表情源于情感，亦與個體相關(guān)，探索表情與情感的內(nèi)在聯(lián)系以及表情與個體的表現(xiàn)規(guī)律是本文的后續(xù)工作。

[1]Jabid T，Kabir M H，Chae O.Facial expression recognition using Local Directional Pattern（LDP）[C]//IEEE International Conference on Image Processing，2010：1605-1608.

[2]Li Xiaoli，Ruan Qiuqi，Ruan Chengxiong.Facial expression recognition with local Gabor filters[C]//IEEE International Conference on Signal Processing，2010：1013-1016.

[3]Ahmed F，Hossain E，Bari A S M H，et al.Compound Local Binary Pattern（CLBP）for robust facial expression recognition[C]//IEEE International Symposium on Computational Intelligence and Informatics（CINTI），2011：391-395.

[4]Jain S，Hu Changbo，Aggarwal J K.Facial expression recognition with temporal modeling of shapes[C]//IEEE International Conference on Computer Vision Workshops，2011：1642-1649.

[5]Ekman P，F(xiàn)riesen W V.Unmasking the face：a guide to recognizing emotions from facial clues[M].[S.l.]：Consulting Psychologists Press，1975.

[6]Parthasarathi D R，Reddy V L，Vishnuthej K，et al.Facial expressions with some mixed expressions recognition using neuralnetworks[J].InternationalJournalon ComputerScience and Engineering（IJCSE），2011，3（1）：173-176.

[7]左坤隆.人臉表情自動分析與識別系統(tǒng)的研究[D].天津：天津大學(xué)，2004.

[8]Lyons M，Akamatsu S.Coding facial expressions with Gabor wavelets[C]//Proceedings of the 3rd IEEE International Conference on Automatic Face and Gesture Recognition，Nara，Japan，1998：200-205.

[9]Zhang Baochang，Gao Yongsheng，Qiao Yu.Face recognition based on Gradient gabor feature[C]//IEEE International Conference on Image Processing，2008：1904-1907.

[10]楊綸標，高英儀.模糊數(shù)學(xué)原理及其應(yīng)用[M].廣州：華南理工大學(xué)出版社，2005.

[11]Wright J，Yang A，Ganesh A，et al.Robust face recognition via sparse representation[J].IEEE Trans on PAMI，2009，31（2）：210-227.

[12]Candes E，Romberg J.L1-magic：recovery of sparse signals via convex programming[R].[S.l.]：Caltech，2005.

[13]付曉峰.基于二元模式的人臉識別與表情識別研究[D].杭州：浙江大學(xué)，2008：112-114.

SONG Caifeng,LIU Weifeng,WANG Yanjiang

College of Information and Control Engineering,China University of Petroleum（East China）,Qingdao,Shandong 266555,China

A quantitative description method of mixed facial expression is proposed.Based on compressive sensing,mixed facial expression is analyzed using Gabor features.Different components of mixed expression are quantitatively represented by employing membership function.Experimental results show that this method can express the composition of each basic expression in mixed expression simply and effectively.

expression analysis;compressive sensing;mixed expression;Gabor;membership function;cut set

提出了一種混合表情的定量描述方法?；趬嚎s感知的理論框架，以面部特征點的Gabor小波系數(shù)為表情特征對混合表情進行了分析；利用隸屬度函數(shù)定量表示混合表情中的不同組成。實驗結(jié)果表明，該方法可以簡單有效地表示混合表情中各基本表情的組成。

表情分析；壓縮感知；混合表情；Gabor；隸屬度；截集

A

TP391.41

10.3778/j.issn.1002-8331.1203-0425

SONG Caifeng,LIU Weifeng,WANG Yanjiang.Mixture facial expression analysis using sparse representation.Computer Engineering and Applications,2013,49（23）：122-126.

國家自然科學(xué)基金（No.61271407）；山東省自然科學(xué)基金青年基金（No.ZR2011FQ016）。

宋彩風(fēng)（1988—），女，碩士研究生，主要研究方向為智能信息處理；劉偉鋒（1979—），男，副教授，研究領(lǐng)域：表情識別、圖像處理、模式識別；王延江（1966—），男，教授，研究領(lǐng)域：智能信息處理、仿生智能、模式識別與圖像處理。E-mail：liuwfxy@gmail.com

2012-03-19

2012-05-17

1002-8331（2013）23-0122-05