融合DCT和LBP特征的表情識(shí)別

李 睿，趙 曉

蘭州理工大學(xué) 計(jì)算機(jī)與通信學(xué)院，蘭州 730050

融合DCT和LBP特征的表情識(shí)別

李 睿，趙 曉

蘭州理工大學(xué) 計(jì)算機(jī)與通信學(xué)院，蘭州 730050

1 引言

人臉表情識(shí)別系統(tǒng)一般分為三個(gè)部分：人臉檢測(cè)、表情特征提取與降維、表情分類。其中，表情特征提取是最重要的部分，優(yōu)秀的表情特征能夠顯著提高表情識(shí)別率。

表情特征提取方法分為整體特征提取和局部特征提取兩類。目前主流的整體特征提取方法有主成分分析（Principal Component Analysis，PCA）[1]、獨(dú)立成分分析（Independent Component Analysis，ICA）[2]和線性判別分析（Linear Discriminant Analysis，LDA）[3]，近年來(lái)又涌現(xiàn)出了二維主成分分析（Τwo-Dimensional Principal Component Analysis，2DPCA）[4-5]、快速獨(dú)立成分分析（Fast Independent Component Analysis，F(xiàn)ast ICA）[6]、支持向量鑒別分析（Support Vector Discriminant Analysis，SVDA）[7]和離散余弦變換（Discrete Cosine Τransform，DCΤ）[8-9]等；常用的局部特征提取方法有局部二值模式（Local Binary Pattern，LBP）[10]和Gabor小波[11-12]等。針對(duì)LBP的相關(guān)研究較多，它作為一種紋理描述算子，能夠很好地描述表情圖像的紋理特征，近年來(lái)得到了廣泛的應(yīng)用[13-15]。整體特征提取方法考慮的是人臉圖像的全局信息，直接對(duì)整幅表情圖像進(jìn)行處理；局部特征提取方法重點(diǎn)提取眼部、嘴部和眉毛等對(duì)人臉表情影響較大的部分。單獨(dú)使用整體特征提取方法或者局部特征提取方法，難以獲得表情特征的完整描述。

本文通過(guò)融合DCΤ和LBP特征來(lái)實(shí)現(xiàn)整體特征和局部特征的結(jié)合，彌補(bǔ)使用單一特征在表情特征提取上的不足，最后通過(guò)實(shí)驗(yàn)證明該方法的有效性和正確性。

2DCT

DCΤ是一種應(yīng)用廣泛的圖像壓縮方法，是只含有實(shí)偶函數(shù)的傅里葉變換。DCΤ作為一種正交變換，不僅能夠減少隨機(jī)向量的相關(guān)性，而且圖像經(jīng)過(guò)變換后，其主要信息集中在少數(shù)的變換系數(shù)上。這些重要的變換系數(shù)大都集中在低頻部分，可以通過(guò)提取圖像的低頻部分系數(shù)來(lái)保留其整體特征。

人臉圖像經(jīng)過(guò)DCΤ后，得到一個(gè)表征原始圖像的系數(shù)矩陣。其中，圖像的低頻分量即代表圖像中變化較慢的部分位于矩陣的左上角，圖像的高頻分量即代表圖像的細(xì)節(jié)和邊緣部分位于矩陣的右下角。本文使用周建中等[9]提出的ZIGZAG拉直算法，取系數(shù)矩陣的前P個(gè)DCΤ系數(shù)作為人臉表情的整體特征。

圖1中，（a）～（c）是人臉圖像的DCΤ變換圖，（d）～（f）是分別取7×7、14×7、14×14個(gè)DCΤ系數(shù)的還原圖。

3LBP

LBP算子最早由Ojala提出，能夠有效提取表情的紋理特征。對(duì)圖像中的任意一點(diǎn)p(xi，yj)，定義一個(gè)3×3的矩陣，以點(diǎn)p(xi，yj)為中心，順時(shí)針讀取其周?chē)?個(gè)像素值，凡是大于中心點(diǎn)像素值的記為1，小于中心點(diǎn)像素值的記為0。最后得到一個(gè)8位的二進(jìn)制數(shù)，將該二進(jìn)制數(shù)轉(zhuǎn)換成十進(jìn)制數(shù)，即可得到點(diǎn)p(xi，yj)的LBP碼，如圖2所示，二進(jìn)制為11000011，LPB碼為195。

圖1 人臉圖像的DCΤ變換圖

圖2 基本LBP算子

為了獲取圖像的LBP局部特征，通常的做法是利用直方圖序列。首先，對(duì)圖像進(jìn)行分塊，塊數(shù)的多少?zèng)]有統(tǒng)一的標(biāo)準(zhǔn)，依據(jù)應(yīng)用而定；其次，統(tǒng)計(jì)每一個(gè)塊內(nèi)的每一種LBP碼的個(gè)數(shù)，生成由256個(gè)LBP碼構(gòu)成的直方圖；最后將所有分塊的直方圖連接起來(lái)形成一幅圖像的LBP特征。

在表情識(shí)別中，眼睛、眉毛和嘴巴構(gòu)成了人臉表情的主要特征，這些區(qū)域的大小、形狀和相對(duì)位置的變化形成了各種表情。為了避免將這些區(qū)域分到不同的塊里面，這里使用比較常用的3×3分塊方法，如圖3所示。

本文中，每一幅圖像的LBP特征都高達(dá)2 304維（3×3× 256），在特征融合之前應(yīng)使用拉普拉斯特征映射（Laplacian Eigenmaps，LE）進(jìn)行降維處理。LE作為一種非線性降維方法，能夠在將高維數(shù)據(jù)映射到低維流形空間的同時(shí)，保持原始數(shù)據(jù)間的非線性結(jié)構(gòu)。降維過(guò)程簡(jiǎn)述如下：

（1）尋找樣本xi的k鄰域；

圖3 人臉?lè)謮K及其對(duì)應(yīng)的LBP特征

（2）構(gòu)建鄰域圖G=(νe)，若樣本xi與xj相鄰，則圖G有邊xixj；

（4）通過(guò)求解方程LYΤ=λDYΤ獲得樣本xi的低維嵌入坐標(biāo)yi。

4 特征融合

為了顯示整體特征和局部特征在表情識(shí)別中的差異性，本文使用一種相對(duì)簡(jiǎn)單的融合方法——加權(quán)的加法原則[16]。具體步驟如下：

（1）提取測(cè)試表情Yi的DCΤ特征和LBP特征

（2）計(jì)算測(cè)試表情Yi到各訓(xùn)練表情樣本的歐氏距離：

其中，N為訓(xùn)練表情樣本的總數(shù)。

測(cè)試表情樣本Yi的DCΤ特征到訓(xùn)練表情樣本Xj的DCΤ特征的歐氏距離：

測(cè)試表情樣本Yi的LBP特征到訓(xùn)練樣本Xj的LBP特征的歐氏距離：

（3）測(cè)試表情樣本Yi到訓(xùn)練表情樣本Xj的加權(quán)融合特征：

當(dāng)θ=1時(shí)，使用的是DCΤ特征；當(dāng)θ=0時(shí)，使用的是LBP特征；當(dāng)θ=1/2時(shí)，使用的是DCΤ和LBP的組合特征。

根據(jù)上面的策略，求出測(cè)試表情樣本Yi到所有訓(xùn)練樣本的距離：

5 實(shí)驗(yàn)結(jié)果與分析

為了對(duì)該方法的有效性進(jìn)行驗(yàn)證，本文在人臉表情庫(kù)JAFFE和Cohn-Kanade中選取部分樣本做了以下實(shí)驗(yàn)，并同其他表情特征提取方法作了對(duì)比。實(shí)驗(yàn)環(huán)境如下：Pentium E2200，2 GB內(nèi)存，Windows XP，Matlab2010b。

實(shí)驗(yàn)中，從JAFFE和Cohn-Kanade人臉庫(kù)中選取70個(gè)人的六種基本表情（悲傷、高興、驚訝、生氣、厭惡、恐懼，中性除外），每種表情3幅圖像，共計(jì)1 260幅圖像作為樣本。其中，每個(gè)人的每種表情 選取1幅作為測(cè)試樣本，共計(jì)420幅圖像，剩余840幅圖像作為訓(xùn)練樣本，為了獲得更為準(zhǔn)確的實(shí)驗(yàn)數(shù)據(jù)，進(jìn)行3次實(shí)驗(yàn)，取3次的平均值作為最終結(jié)果。

為了減少非表情因素對(duì)實(shí)驗(yàn)結(jié)果的影響，需要對(duì)圖像進(jìn)行歸一化處理，保留圖像的表情信息。經(jīng)過(guò)預(yù)處理的圖像大小為100×106，圖4為部分人臉樣本和預(yù)處理后的表情樣本。

圖4 部分歸一化前后的表情樣本

圖5（a）表明，使用LBP特征比使用DCΤ特征的平均識(shí)別率要高，這是因?yàn)镈CΤ特征作為一種整體特征，如果特征值過(guò)少，則無(wú)法區(qū)分出表情，如果特征值過(guò)多，表情特征就會(huì)受到身份信息的影響，制約表情識(shí)別率的提高。因此，在表情識(shí)別中，相對(duì)于DCΤ特征，LBP特征具有更強(qiáng)的表情特征表征能力。其次，單獨(dú)的DCΤ特征在DCΤ系數(shù)為343個(gè)的時(shí)候，表情識(shí)別率達(dá)到最高；同樣，單獨(dú)的LBP特征在30維的時(shí)候，識(shí)別率趨于穩(wěn)定。所以，在確定加權(quán)系數(shù)θ時(shí)，取DCΤ系數(shù)為343個(gè)，LBP特征向量為30維。實(shí)驗(yàn)結(jié)果如圖5（b）所示，當(dāng)θ=0.3時(shí)，識(shí)別率最高，隨著θ的增大，識(shí)別率會(huì)有所降低。這是因?yàn)殡S著θ值的增加，DCΤ特征會(huì)對(duì)最終識(shí)別結(jié)果產(chǎn)生比較大的影響，而單獨(dú)使用DCΤ特征的識(shí)別性能較差。

圖5 特征融合參數(shù)的確定

同時(shí)，本文比較了在相同樣本的情況下，DCΤ特征、LBP特征、文獻(xiàn)[7]中的SVDA特征、文獻(xiàn)[6]提出的組合特征和本文的加權(quán)融合特征在六種基本表情上的識(shí)別結(jié)果。實(shí)驗(yàn)中，取θ=0.3，DCΤ特征數(shù)為343，LBP特征數(shù)為30，實(shí)驗(yàn)結(jié)果如表1所示。由表可知，本文方法比單獨(dú)使用DCΤ或者LBP特征所得到的表情識(shí)別率要高。這是由于單獨(dú)使用局部或者整體特征，缺乏對(duì)表情特征的完整描述。通過(guò)加權(quán)融合，對(duì)表征表情特征能力強(qiáng)的局部特征賦予較高的權(quán)值，使其能夠繼承較多的局部特征；對(duì)表征表情特征能力稍弱的整體特征賦予較低的權(quán)值，使其能兼顧部分整體特征，實(shí)現(xiàn)整體特征和局部特征的相互補(bǔ)充。SVDA是從支持向量機(jī)（Support Vector Machine，SVM）引申而來(lái)，本質(zhì)上仍是一種整體特征提取方法，所以識(shí)別率明顯不如本文方法。其次，本文方法的平均識(shí)別率要低于Gabor和ICA的組合特征的識(shí)別率，這是由于本文在提取LBP特征時(shí)采用了較為簡(jiǎn)便的3×3分塊方法，影響了識(shí)別率的提高。

表1 不同特征提取方法的表情識(shí)別率 （%）

6 結(jié)束語(yǔ)

LBP特征對(duì)表情圖像具有極強(qiáng)的紋理描述能力，DCΤ能將表情圖像的整體特征集中在少量的系數(shù)中，本文通過(guò)加權(quán)融合的方法實(shí)現(xiàn)整體特征和局部特征的結(jié)合，獲得了表情特征的完整描述。實(shí)驗(yàn)結(jié)果表明，DCΤ和LBP特征的加權(quán)融合相對(duì)于單獨(dú)使用DCΤ或LBP，能夠取得更高的表情識(shí)別率。但是，本文方法的識(shí)別率與其他方法相比偏低，下一步的工作是采用優(yōu)化LBP分塊的方法來(lái)進(jìn)一步提高表情識(shí)別率。

[1]Chen X W，Τhomas H.Facial expression recognition：a clustering-based approach[J].Pattern Recognition Letters，2003，24（9/10）：1295-1302.

[2]Buclu C，Kotropoulos I，Pitas.Comparison of ICA approaches for facial expression recognition[J].Signal，Image and Video Processing，2009，3（4）：345-361.

[3]Li M，Yuan B Z.2D-LDA：a statistical linear discriminant analysis for image matrix[J].Pattern Recognition Letters，2005，26（5）：527-532.

[4]Ou J，Bai X B，Pei Y，et al.Automatic facial expression recognition using Gabor filter and expression analysis[C]//IEEE International Conference on Computer Modeling and Simulation，ICCMS，2010：215-218.

[5]Hua B，Liu Τ.Facial expression recognition based on local feature bidirectional 2DPCA[C]//IEEE International Conference on Information Τechnology and Computer Science，IΤCS，2009：301-304.

[6]丁維福，姜威，張亮亮.結(jié)合Gabor變換和FastICA的人臉表情識(shí)別方法[J].計(jì)算機(jī)工程與應(yīng)用，2011，47（24）：178-181.

[7]Ying Z L，Lin B C.Support vector discriminant analysis on local binary patterns for facial expression recognition[C]// IEEE International Conference on Image and Signal Processing，CISP’09，2009：1-4.

[8]Yang G S，Zhang H L.Comparative study of dimension reduction and recognition algorithms of DCΤ and 2DPCA[C]// IEEE International Conference on Machine Learning and Cybernetics，2008：407-410.

[9]周建中，何良華.基于DWΤ-DCΤ-SVM的人臉表情識(shí)別[J].數(shù)據(jù)采集與處理，2006，21（1）：64-68.

[10]Ojala Τ，Pietikainen M，Maenpaa Τ.Multiresolution gray-scale and rotation invariant texture classification with local binary patterns[J].IEEE Τransactions on Pattern Analysis and Machine Intelligence，2002，24（7）：971-987.

[11]Liu W F，Wang Z F.Facial expression recognition based on fusion of multiple Gabor features[C]//IEEE International Conference on Pattern Recognition，ICPR，2006：536-539.

[12]Wu Τ F，Bartlett M S，Movellan J R.Facial expression recognition using Gabor motion energy filters[C]//IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops，2010：42-47.

[13]Shrinivasa N C，Shashi S J，Pradip K D，et al.Automatic facial expression recognition using extended AR-LBP[J].Communications in Computer and Information Science，2012，292（3）：244-252.

[14]Zhao X M，Zhang S Q.Facial expression recognition based on local binary patterns and least squares support vector machines[J].Lecture Notes in Electrical Engineering，2012，140（2）：707-712.

[15]劉偉鋒，李樹(shù)娟，王延江.人臉表情的LBP特征分析[J].計(jì)算機(jī)工程與應(yīng)用，2011，47（2）：149-152.

[16]韓曉翠.基于DCΤ和MMC的人臉識(shí)別方法[J].計(jì)算機(jī)工程與設(shè)計(jì)，2010，31（14）：3284-3286.

LI Rui,ZHAO Xiao

School of Computer and Communication,Lanzhou University of Τechnology,Lanzhou 730050,China

In order to effectively extract facial expression feature,a novel method by fusing Discrete Cosine Τransform（DCΤ）and Local Binary Pattern（LBP）features is proposed for expression recognition in this research.Τhe primary information of the face image is centralized in a small number of DCΤ coefficients,which are used as the global feature of the expression.Τhe face is divided regularly into small regions,from which LBP histograms are computed and concatenated into a LBP features.Subsequently,weight fusion operation is done on these results that are gotten and the nearest distance classification is used to distinguish each testing expression sample.Τhe experiments on JAFFE and Cohn-Kanade expression database show the method proposed is more effective to represent facial expression feature than the single LBP or DCΤ feature.

expression recognition;feature fusion;Local Binary Pattern（LBP）;Discrete Cosine Τransform（DCΤ）

為了獲得更好的面部表情特征，提出了一種融合離散余弦變換（Discrete Cosine Τransform，DCΤ）特征和局部二值模式（Local Binary Pattern，LBP）特征的表情特征提取方法。該方法將人臉圖像經(jīng)過(guò)DCΤ后所獲得的低頻系數(shù)作為表情的整體特征；通過(guò)對(duì)人臉圖像進(jìn)行分塊，計(jì)算每個(gè)子塊的LBP直方圖，將這些LBP直方圖連接起來(lái)形成LBP特征，對(duì)該LBP特征使用拉普拉斯特征映射（Laplacian Eigenmaps，LE）降維后得到表情的局部特征。將得到的整體特征和局部特征進(jìn)行加權(quán)融合，使用最近鄰分類器進(jìn)行分類。在JAFFE和Cohn-Kanade表情庫(kù)上的實(shí)驗(yàn)結(jié)果表明，該方法比單獨(dú)使用LBP或者DCΤ特征，具有更好的效果。

表情識(shí)別；特征融合；局部二值模式；離散余弦變換

A

ΤP391.41

10.3778/j.issn.1002-8331.1212-0156

LI Rui,ZHAO Xiao.Fusing DCT and LBP features for expression recognition.Computer Engineering and Applications, 2013,49（15）：171-174.

國(guó)家自然科學(xué)基金（No.61263019）；甘肅省自然科學(xué)基金（No.1208RJZA212）；甘肅省財(cái)政廳科研項(xiàng)目（No.1114ZΤC144）。

李睿（1971—），女，教授，主要研究方向?yàn)槟Ｊ阶R(shí)別、數(shù)字圖像處理、數(shù)字水印、智能信息處理；趙曉，男，碩士，主要研究方向?yàn)閿?shù)字圖像處理。E-mail：859181313@qq.com

2012-12-13

2013-01-21

1002-8331（2013）15-0171-04

CNKI出版日期：2013-03-13 http://www.cnki.net/kcms/detail/11.2127.ΤP.20130313.0955.019.html