基于Gabor和二值疊加CS-LBP 特征的人臉表情識(shí)別

王 燕，張殷綺

WANG Yan,ZHANG Yinqi

蘭州理工大學(xué) 計(jì)算機(jī)與通信學(xué)院，蘭州730050

College of Computer and Communication,Lanzhou University of Technology,Lanzhou 730050,China

1 引言

人臉表情在人與人交流過程中發(fā)揮著重要作用，與之相應(yīng)的表情識(shí)別一直是模式識(shí)別與計(jì)算機(jī)視覺等領(lǐng)域中非常活躍的研究熱點(diǎn)。由于表情具有準(zhǔn)確性與復(fù)雜性，所以在人臉圖像中對(duì)表情特征進(jìn)行有效提取所采用的方法顯得尤為重要。目前常用的靜態(tài)人臉圖像特征提取方法有基于統(tǒng)計(jì)特征提取、基于頻域特征提取等。統(tǒng)計(jì)特征如線性判別分析（Linear Discriminant Analysis，LDA）[1]可實(shí)現(xiàn)快速識(shí)別，但它依賴訓(xùn)練和檢測(cè)圖像的灰度相關(guān)性，有很大局限。頻域特征如Gabor[2-3]可有效提取多尺度的表情特征，Gabor 對(duì)光照強(qiáng)度等多種噪聲不敏感，魯棒性強(qiáng)，但其計(jì)算量較大，冗余度和特征維數(shù)都較高。局部二值模式（Local Binary Pattern，LBP）[4]能描述圖像的局部紋理，但易受噪聲的影響。而隨著該方法的不斷深入研究，已涌現(xiàn)出許多改進(jìn)的LBP新方法，如中心對(duì)稱局部二值模式（Center-Symmetric Local Binary Pattern，CS-LBP）[5-6]，局部定向二值模式（Local Directional Binary Pattern，LDBP）[7-8]在不同程度上提高了識(shí)別率。

目前的一種研究方向是提取多尺度特征，將其進(jìn)行合理組合以及綜合分析，使有限的特征發(fā)揮到極致?；诖颂岢龅木植縂abor 二值模式結(jié)合直方圖統(tǒng)計(jì)降維（Local Gabor Binary Pattern Histogram Sequence，LGBPHS）[9]的人臉識(shí)別方法，識(shí)別率有一定提高，由于在特征提取過程中，需要將圖像進(jìn)行分塊，在每個(gè)分塊中提取特征以及降維。因此該方法勢(shì)必增加計(jì)算復(fù)雜度，而分塊大小需要手動(dòng)進(jìn)行，不具確定性，且容易丟失塊與塊之間的表情連續(xù)信息。另外，使用直方圖統(tǒng)計(jì)降維，特征維數(shù)仍然較高。局部Gabor 二值模式（Local Gabor Binary Pattern，LGBP）結(jié)合支持向量機(jī)（Support Vector Machine，SVM）[10]同樣存在對(duì)圖像做分塊操作后所提取的特征不具完整性，且受到多種參數(shù)的限制，整體識(shí)別率不高。Gabor 和稀疏系數(shù)[11]的表情識(shí)別方法避免了個(gè)體特征對(duì)表情識(shí)別的干擾，在一定程度上提高了識(shí)別率。環(huán)形Gabor 與CS-LBP[12]、多通道Gabor 與CS-LBP[13]的人臉識(shí)別方法，利用CS-LBP 可提取人臉細(xì)節(jié)特征的優(yōu)點(diǎn)并結(jié)合改進(jìn)的Gabor 獲得了較好的識(shí)別率。

近幾年，離散余弦變換（Discrete Cosine Transform，DCT）作為國(guó)際標(biāo)準(zhǔn)編碼成為數(shù)字圖像壓縮技術(shù)的核心，具有計(jì)算速度快，可去除圖像內(nèi)無關(guān)數(shù)據(jù)且不影響關(guān)鍵屬性和特征，以此發(fā)現(xiàn)特征降維和圖像壓縮存在一定的相似性。文獻(xiàn)[14-15]提出DCT 用于特征降維時(shí)可在一定程度提高特征的識(shí)別率。

因此基于以上分析，本文提出一種Gabor 結(jié)合改進(jìn)的CS-LBP 即二值疊加中心對(duì)稱局部二值模式（Addition of Two-Valued Center-Symmetric Local Binary Pattern，二值疊加CS-LBP）的特征提取方法。首先使用Gabor提取表情特征整體結(jié)構(gòu)，再使用二值疊加CS-LBP 進(jìn)一步提取特征，提取更為豐富的表情細(xì)節(jié)特征。在提取特征時(shí)，為保留表情變化的連續(xù)信息，對(duì)圖像不做分塊處理，而是直接對(duì)整幅圖像提取特征。然后用DCT 做特征降維，并使用最近鄰分類器進(jìn)行表情的分類識(shí)別，最后在表情識(shí)別中取得了較好的效果。

2 中心對(duì)稱局部二值模式（CS-LBP）概述

中心對(duì)稱局部二值模式（Center-Symmetric Local Binary Pattern，CS-LBP）算子在提取特征時(shí)對(duì)光照，表情等變化具有比LBP 算子更為細(xì)致的紋理描述優(yōu)點(diǎn)，CS-LBP 的基本原理是把中心對(duì)稱思想引入到LBP 算子中，重新定義了中心像素和鄰域像素之間的計(jì)算原則，即計(jì)算以中心像素為中心對(duì)稱的鄰域像素值對(duì)，若大于等于規(guī)定的參數(shù)（中心像素值或中心像素值加實(shí)驗(yàn)中的閾值），則為1，反之為0。然后依次得到一個(gè)二進(jìn)制串，轉(zhuǎn)換為十進(jìn)制數(shù)，即為中心像素的編碼。CS-LBP 特征能更快地從人臉表情圖像中提取，且占用存儲(chǔ)空間小很多，同時(shí)又保留了表情的有效信息。CS-LBP[5]的原理如圖1 所示。

圖1 LBP 和CS-LBP 原理

CS-LBP 編碼公式：

LBP 編碼公式：

圖1 中，gc為中心點(diǎn)像素，gp為中心像素周圍的8個(gè)像素，R是半徑，P是周圍像素個(gè)數(shù)，且N=P,T的取值可以為gc,也可以根據(jù)實(shí)驗(yàn)中對(duì)閾值的設(shè)定，取值為gc加閾值。LBP 編碼是用周圍8 個(gè)像素的灰度值與中心像素點(diǎn)灰度值進(jìn)行比較，完成二值化，將其轉(zhuǎn)換成十進(jìn)制數(shù)即為中心像素的編碼。而CS-LBP 是計(jì)算以中心像素為中心對(duì)稱的鄰域像素值對(duì)，也是轉(zhuǎn)換成十進(jìn)制數(shù)。從圖1 看出，該編碼長(zhǎng)度是LBP 編碼的1/2。

3 Gabor 結(jié)合二值疊加CS-LBP 特征并使用DCT 降維

3.1 Gabor小波

Gabor具有與人類大腦皮層簡(jiǎn)單細(xì)胞的二維反射區(qū)相同的特性，能捕捉頻域不同尺度和方向上的相關(guān)特征，非常適用于表示人臉圖像[3]。

二維Gabor函數(shù)可以表示為：

其中：

z(x,y)表示圖像坐標(biāo)，kmax是最大頻率，f是頻域內(nèi)Gabor核函數(shù)的空間因子，φu表示Gabor 濾波器的方向選擇性，v的取值決定Gabor濾波的波長(zhǎng)，通過變換v可控制采樣的尺度，u的取值表示Gabor 核函數(shù)的方向，通過定義v值和u值就可以得到Gabor濾波器。本文在實(shí)驗(yàn)中的取值定義依次為：kmax=π/2,,v=(0,1,2,3,4),u=(0,1,2,3,4,5,6,7)。最后得到5 個(gè)尺度8個(gè)方向的Gabor 濾波器，將表情圖像的灰度值I(x,y)和Gabor 濾波器gu,v(x,y) 做卷積運(yùn)算，即可得到Gabor特征：

3.2 Gabor結(jié)合二值疊加CS-LBP 特征

針對(duì)單一特征提取方法存在表情識(shí)別精度不高，且忽略了臉部不同區(qū)域的特征對(duì)不同算子的要求，因此本文提出一種Gabor 和二值疊加中心對(duì)稱局部二值模式（Addition of Two-Valued Center-Symmetric Local Binary Pattern，二值疊加CS-LBP）方法。二值疊加CS-LBP 是基于CS-LBP 的基礎(chǔ)上進(jìn)行改進(jìn)，即同時(shí)提取兩個(gè)二進(jìn)制編碼值，將這兩個(gè)值轉(zhuǎn)換成十進(jìn)制數(shù)進(jìn)行疊加作為中心像素的最終值。由于LBP 和CS-LBP 的特征提取計(jì)算方式相對(duì)單一，而二值疊加CS-LBP 可同步用兩種運(yùn)算方式進(jìn)行特征提取，因此豐富了紋理細(xì)節(jié)信息，而且對(duì)噪聲有較強(qiáng)的抗干擾能力，使得特征更為健壯。具體算法描述如下：

第一個(gè)二進(jìn)制編碼A的提?。?/p>

第二個(gè)二進(jìn)制編碼B的提取：

具體計(jì)算過程如圖2 所示。

圖2 二值疊加CS-LBP 算子示意圖

將上述同時(shí)提取到的A和B兩個(gè)二進(jìn)制編碼，各自轉(zhuǎn)換成十進(jìn)制數(shù)后，進(jìn)行相加，得到的值即為二值疊加CS-LBP 編碼。其中，gc為中心點(diǎn)像素，gp為中心像素周圍的8 個(gè)像素，gp+(N/2)是以中心像素為中心對(duì)稱的鄰域像素值，R是半徑，取1；P是周圍像素個(gè)數(shù)，N=P=8。關(guān)于T的取值范圍在文獻(xiàn)[5]中為[0,0.2]，T的取值大小可以過濾掉噪聲對(duì)圖像有效表情信息的影響，閾值T取值太大，會(huì)丟失主要表情信息，取值太小，則連同噪聲與表情信息一起進(jìn)行分類。因此本文在實(shí)驗(yàn)中最后設(shè)定閾值T1=T2=0.005,或T1=T2=0.01,兩個(gè)取值都可達(dá)到實(shí)驗(yàn)得到的最好結(jié)果。如圖3 所示各算子的特征提取圖像，與CS-LBP相比，由于二值疊加CS-LBP使用兩種計(jì)算方法同時(shí)提取特征，以及閾值對(duì)噪聲的有效避免，從而進(jìn)一步提取更多有效的特征信息。

圖3 三種算子的特征圖

本文提出將Gabor 和二值疊加CS-LBP 算子二者相結(jié)合，使提取的特征既包含多尺度多方向的特性，又包括對(duì)細(xì)節(jié)特征描述的豐富性。首先對(duì)表情圖像進(jìn)行Gabor濾波，然后再進(jìn)行二值疊加CS-LBP 編碼，公式如下：

3.3 DCT 特征降維

經(jīng)過特征提取后，每幅圖像的特征維數(shù)都會(huì)變得很大。以32×32 的圖像為例，經(jīng)處理后的維數(shù)高達(dá)32×32×40，這勢(shì)必增加下一步計(jì)算的復(fù)雜度。因此，本文采用離散余弦變換（Discrete Cosine Transform，DCT）進(jìn)行特征降維。DCT 定義為[15]：

式中：

式（13）中f(m,n) 是一幅大小為N×N的圖像，u和v是降維后的圖像尺寸，C(u,v) 是降維后的圖像矩陣。由于人臉不同區(qū)域所含的表情信息不相同，因此為充分保留更有效的表情信息，對(duì)已提取到的特征進(jìn)行分塊處理后降維，本文在實(shí)驗(yàn)中將每個(gè)分塊矩陣大小設(shè)定為8×8,特征圖像分塊后得到(N/8)2個(gè)矩陣塊Mi(i=1,2,…,(N/8)2),對(duì)每個(gè)分塊Mi進(jìn)行式（13）中的運(yùn)算，得到Di((N/8),(N/8))(i=1,2,…,(N/8)2) 的能量圖矩陣，由于每個(gè)能量圖Di的左上角集中了原矩陣的有效信息，因此只保留左上角的元素，進(jìn)行式（15）操作。

其中Hi=[hi1,hi2,…,hip,0,0,…,0],A中左上角元素1的個(gè)數(shù)為壓縮比P,通過設(shè)置壓縮比就可以實(shí)現(xiàn)特征降維，Hi的0 元素已無實(shí)際意義，將其去除后所得的H矩陣即為降維后的特征矩陣，本文在實(shí)驗(yàn)中設(shè)置壓縮比P為1/64。如下式所示：

如圖4 所示，以32×32 維的圖像為例，將獲得的每幅二值疊加LGCS-BP 特征劃分為16 個(gè)分塊，分塊為8×8 大小，對(duì)每個(gè)分塊依次進(jìn)行式（13）、（15）的運(yùn)算，壓縮比P是1/64，對(duì)得到的能量圖去除0 元素后保留左上角的矩陣元素，即是降維后的特征矩陣，其元素個(gè)數(shù)為16(=(32/8)×(32/8))，將每塊特征矩陣轉(zhuǎn)換成向量依次順序連接，即是最終用來識(shí)別的表情特征向量。

圖4 DCT 降維示意圖

二值疊加LGCS-BP 特征提取和DCT 降維過程如圖5 所示。

圖5 二值疊加LGCS-BP 特征提取和DCT 降維示意圖

4 實(shí)驗(yàn)及結(jié)果分析

本文方法在JAFFE 表情庫(kù)中進(jìn)行實(shí)驗(yàn)，該庫(kù)共有7類表情，213 張人臉表情圖像。選擇其中的210 張表情圖像，每個(gè)表情含10 幅圖像。由于圖片的尺寸也會(huì)影響DCT 的降維效果，庫(kù)中原始圖片為256×256 大小，因此將圖片分別做兩組方式進(jìn)行裁剪和縮放，如圖6 所示，圖6（a）去除背景，保留整個(gè)人臉肖像，圖6（b）為面部主要表情區(qū)域，兩組圖片大小經(jīng)預(yù)處理后統(tǒng)一為64×64,48×48,32×32 各三種尺寸。

圖6 兩組JAFFE 表情圖像

4.1 實(shí)驗(yàn)1

首先獲取上述圖片的Gabor 結(jié)合二值疊加CS-LBP的表情特征，通過DCT 進(jìn)行特征降維，最后使用最近鄰分類器進(jìn)行表情分類識(shí)別。如表1 所示。

表1 本文方法在JAFFE 數(shù)據(jù)集上的7 種表情識(shí)別率%

由表1 可知，圖6（a）的各表情識(shí)別率總體要高于圖6（b），表明經(jīng)過裁剪的面部主要表情區(qū)域圖片會(huì)丟失重要的特征信息，影響分類效果。其次，對(duì)于不同尺寸的圖片，如圖6（a），生氣、厭惡、驚奇和中性的識(shí)別率沒有變化，害怕在48×48 和64×64 維的識(shí)別率均為96.7%，32×32 維的識(shí)別率為93.3%，表明7 種表情特征在不同尺寸圖片上保持了較好的穩(wěn)定性。

另外，由于每幅圖片在獲得Gabor+二值疊加CS-LBP特征時(shí)，它的維數(shù)都會(huì)變成原來維數(shù)的40 倍，經(jīng)DCT 降維后，壓縮比P為1/64,即降維后的維數(shù)均為原圖片尺寸的1/64,如32×32×40 維在降維后的維數(shù)為4×4×40維。說明DCT 不僅能有效降維，并且能保留更多的表情紋理信息，提高了識(shí)別率。

4.2 實(shí)驗(yàn)2

分別用Gabor+LBP、Gabor+CS-LBP，以及單獨(dú)使用這些算法對(duì)圖6（a）和（b）兩組圖片進(jìn)行特征提取，得到的最好識(shí)別率如表2 所示。

在表2 的實(shí)驗(yàn)結(jié)果中，圖6（b）的識(shí)別率總體要低于圖6（a）的識(shí)別率，與表1 的結(jié)果同樣說明對(duì)圖片的大幅度裁剪會(huì)丟失表情特征用來分類的重要信息。通過上述數(shù)據(jù)的對(duì)比分析，Gabor+LBP、Gabor+CS-LBP和Gabor的平均識(shí)別率為94.3%。二值疊加CS-LBP 和CS-LBP的為78.6%，LBP 的最低。而本文提出的Gabor+二值疊加CS-LBP 方法的識(shí)別率較其他方法有明顯提高，是95.7%，說明將兩種方法的優(yōu)點(diǎn)結(jié)合，能更加有效地將表情整體特征和局部細(xì)節(jié)特征相結(jié)合，提高了表情識(shí)別率。

表2 3 種算法在不同圖片樣式和尺寸的最好識(shí)別率 %

為進(jìn)一步驗(yàn)證本文方法的有效性，在JAFFE 數(shù)據(jù)集上，對(duì)文獻(xiàn)[7，10]和本文不同方法所得識(shí)別率的最好結(jié)果進(jìn)行了對(duì)比。如表3 所示。

表3 與現(xiàn)有方法在JAFFE 數(shù)據(jù)集上的7 種表情平均識(shí)別率比較

5 結(jié)束語(yǔ)

本文提出的Gabor 和二值疊加CS-LBP 的方法中，由于同時(shí)以兩種計(jì)算方式提取的二值疊加CS-LBP 能進(jìn)一步獲取更多的表情紋理細(xì)節(jié)，將其與Gabor 相結(jié)合使所得的特征信息更為豐富，與單獨(dú)使用這些方法相比，提高了表情的識(shí)別精度；且該方法對(duì)噪聲有較好的抑制作用。本文在特征提取時(shí)，對(duì)圖像不做分塊處理，而是對(duì)整體圖像直接提取，因此能獲得表情連續(xù)變化的信息，在一定程度上避免了圖像分塊而無法保留塊與塊之間的關(guān)聯(lián)信息。將圖像壓縮技術(shù)DCT 應(yīng)用于特征降維，在降低特征維數(shù)的同時(shí)，能充分保留特征信息，且相關(guān)參數(shù)設(shè)置簡(jiǎn)單，計(jì)算量較小。實(shí)驗(yàn)證實(shí)了本文方法可有效提高識(shí)別精度。

[1] Wang Zhan，Ruan Qiuqi，An Gaoyun.Facial expression recognition based on tensor local linear discriminant analysis[C]//2012 IEEE 11th International Conference on Signal Processing，2012：1226-1229.

[2] Asharaf A B，Lucey S，Chen T.Reinterpreting the application of Gabor filters as a manipulation of the margin in linear support vector machines[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2010，32（7）：2510-2521.

[3] Liu Weifeng，Wang Zengfu.Facial expression recognition based on fusion of multiple Gabor features[C]//The 18th International Conference on Pattern Recognition，2006：536-539.

[4] Ojala T，Pietikainan M.Multiresolution gray-scale and rotation invariant texture classification with local binary patterns[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2002，24（7）：971-987.

[5] Marko H，Matti P，Cordelia S.Description of interest region with center-symmetric local binary pattern[C]//Proc of Conf on Computer Vision Graphic and Image Processing，2006：58-69.

[6] 盧建云，何中市，余磊.基于多級(jí)CS-LBP 特征融合的人臉識(shí)別方法[J].計(jì)算機(jī)工程與科學(xué)，2010，32（6）.

[7] Wang Yan，He Guoqing.Expression recognition algorithm based on local directional binary pattern[J].Journal of Computational Information Systems，2014，10（8）：3221-3228.

[8] 龔劬，葉劍英，華桃桃.結(jié)合改進(jìn)的LBP 和LDP 的人臉表情識(shí)別[J].計(jì)算機(jī)工程與應(yīng)用，2013，49（22）：197-200.

[9] Zhang Wenchao，Shan Shiguang，Gao Wen，et al.Local Gabor Binary Pattern Histogram Sequence （LGBPS）：a novel non-statistical model for face representation and recognition[C]//Proceedings of the 10th International Conference on Computer Vision，Beijing，China，2005：150-155.

[10] Bafandehkar A，Rahat M，Nazari M.Pictorial structure based keyparts localization for facial expression recognition using Gabor filters and local binary patterns operator[C]//International Conference on Soft Computing and Pattern Recognition，2011.

[11] 朱明旱，李樹濤，葉華.基于子空間稀疏系數(shù)的表情識(shí)別方法[J].計(jì)算機(jī)工程與應(yīng)用，2014，50（12）：33-37.

[12] 邵詩(shī)強(qiáng)，施立欣，周龍沙.基于環(huán)形Gabor 小波與CS-LBP算法在人臉識(shí)別中的應(yīng)用[J].光電子技術(shù)，2012（3）：180-184.

[13] 何中市，盧建云，余磊.基于多通道Gabor 濾波與CS-LBP的人臉識(shí)別方法[J].計(jì)算機(jī)科學(xué)，2010，37（5）.

[14] Zhang Yankun，Liu Chongqing.Efficient face recognition method based on DCT and LDA[J].Journal of Engineer and Electronics，2004，15（2）：211-216.

[15] Jiang Bin，Yang Guosheng，Zhang Huanlong.Cpmparative study of dimension reduction and recognition algorithms of DCT and 2DPCA[C]//Proceedings of the 7th International Conference on Machine Learning and Cybernetics，Kunming，2008：12-15.