一種基于改進(jìn)LBP特征的人臉識(shí)別

郭賀飛，陸建峰，董忠汶

（1.南京理工大學(xué) 計(jì)算機(jī)科學(xué)與工程學(xué)院，江蘇 南京 210094；2.江蘇省有色金屬華東地質(zhì)勘查局 地質(zhì)信息中心，江蘇 南京 210007）

0 引言

從Ahonen等人將局部二值模式（Local Binary Pat?tern，LBP）應(yīng)用到人臉識(shí)別領(lǐng)域以來[1?2]，該方法在人臉識(shí)別領(lǐng)域取得了很大的成功。用局部二值模式來表示人臉圖像的特征，采用X2統(tǒng)計(jì)作為相似度量來進(jìn)行人臉識(shí)別。由于其訓(xùn)練樣本要求小，計(jì)算簡單等特點(diǎn)使其在人臉識(shí)別以及紋理識(shí)別等領(lǐng)域取得很好的識(shí)別率。

LBP在紋理分析方面有著廣泛的應(yīng)用，在人臉識(shí)別領(lǐng)域的成功使得其在近幾年有了很大的發(fā)展。從LBP到MB_LBP再到后來的完整LBP（Completed Local Bina?ry Pattern）[3]，每一次都在人臉識(shí)別領(lǐng)域取得了較大的成功。考慮到LBP算子僅考慮了周圍像素并沒有考慮全局的灰度分布，MB_LBP充分考慮了全局結(jié)構(gòu)信息而忽略了一部分局部信息?？紤]到完整LBP使用多個(gè)字節(jié)來表示一個(gè)像素，其對(duì)存儲(chǔ)空間要求過大，并且有著復(fù)雜的計(jì)算過程。本文提出了一種改進(jìn)的LBP算子進(jìn)行人臉識(shí)別。為了考慮LBP在全局上的分布，將分塊后的圖像灰度均值作為閾值將LBP特征重新分散到指定范圍。由于LBP只是考慮了周圍像素與中心像素的差值，所以不同灰度的中心像素可能會(huì)得到相同的LBP特征，為了區(qū)分不同灰度的LBP特征，將LBP特征根據(jù)分塊的全局灰度重新離散到特征范圍。改進(jìn)后的LBP算子保持了原始LBP的存儲(chǔ)空間小的特點(diǎn)，同時(shí)又能兼顧局部信息和全局信息。

1 LBP簡介和人臉識(shí)別

1.1 LBP

LBP算子是一種描述紋理特征的強(qiáng)有力的方法。原始的LBP算子為圖像的每個(gè)像素定義了一個(gè)以該像素為中心的3×3的窗口，然后根據(jù)中心像素和周圍像素的差值進(jìn)行二值化，然后根據(jù)像素的位置以及二值化的結(jié)果進(jìn)行加權(quán)求和得到該像素的LBP值。圖1為基本LBP算子的計(jì)算過程。

圖1 基本LBP算子

式中iP為周圍像素灰度值；iC為中心像素灰度值。

S（x）定義為：

后來LBP被擴(kuò)充為半徑為R的圓周長取P個(gè)鄰域的LBP算子。

式中xp，yp分別定義為：

根據(jù)LBP算子的定義可以看出，LBP算子共有2P種模式。常用的LBP算子有，，等如圖2所示。

圖2 ，，算子

將LBP特征用于人臉識(shí)別，典型的方法是將人臉圖像進(jìn)行分塊，對(duì)于每個(gè)小塊進(jìn)行提取LBP特征直方圖，最后形成表示人臉的LBP特征直方圖。

1.2 改進(jìn)LBP算子

由于LBP算子只考慮周圍像素的影響，在提取特征時(shí)丟失了一部分信息，兩個(gè)不同結(jié)構(gòu)的中心像素可能會(huì)得到相同的LBP特征。如圖3所示。雖然兩個(gè)不同區(qū)域的像素能得到相同的LBP特征值，但是對(duì)于全局結(jié)構(gòu)信息而言應(yīng)該區(qū)分這種情況。

圖3 人臉LBP特征直方圖

圖4 不同區(qū)域的LBP特征

MB_LBP（Multi_Block LBP）改進(jìn)了傳統(tǒng)LBP算子[6]，考慮LBP特征提取過程中丟失了全局信息，先將人臉圖像進(jìn)行分塊，MB_LBP使用分塊的灰度均值作為分塊灰度值進(jìn)行二值化。雖然MB_LBP增加了分塊結(jié)構(gòu)信息[6]，但是一些明顯的局部特征會(huì)被忽略。有時(shí)候明顯的特征對(duì)識(shí)別更有幫助。

圖5 MB_LBP特征提取

本文考慮分塊信息，同時(shí)考慮局部特征，提出一種根據(jù)中心像素和分塊灰度均值將LBP特征值重新離散化的改進(jìn)LBP算子?？紤]所有的中心像素和LBP模式的組合共有256×2P模式，如此多的模式對(duì)識(shí)別而言并不會(huì)帶來好處[4?5]，所以考慮根據(jù)中心像素和分塊灰度均值進(jìn)行離散化。為了能夠表示這種特征，提出一種三段線性離散的方法。

離散到3個(gè)區(qū)間的LBP算子，如下所述：

式中：k為LBP特征值；l1,l2,l3為離散區(qū)間，l1+l2+l3=256；c為閾值（取分塊灰度均值）；m為變量控制離散區(qū)間。

本文提出的改進(jìn)LBP算子，主要是基于在圖像分塊的過程中，對(duì)于灰度值變化較小的區(qū)域有較多的像素點(diǎn)灰度值接近于分塊灰度均值，對(duì)于特征提取而言此時(shí)應(yīng)該盡量區(qū)別這些像素點(diǎn)，所以將與分塊灰度均值相似的像素點(diǎn)的灰度值重新離散到一個(gè)區(qū)間，此時(shí)能夠更好地區(qū)別圖像的局部信息。對(duì)于圖像識(shí)別而言，像素灰度值差別較大的像素點(diǎn)所包含的信息可能更重要。此時(shí)可以設(shè)置較大的m，用來凸顯灰度值相差多大的像素點(diǎn)。因此設(shè)置m參數(shù)用來控制特征的離散規(guī)則。

改進(jìn)的LBP算子根據(jù)分塊灰度均值將局部信息和分塊信息結(jié)合起來[7?10]。不同區(qū)域特征的LBP算子被重新計(jì)算。這樣不僅能夠保存局部信息同時(shí)能區(qū)分不同區(qū)域內(nèi)像素的特征。分析改進(jìn)的LBP算子，傳統(tǒng)LBP算子共有256種模式，LBP等價(jià)模式[3?4]表明使用23%左右的特征模式可以表示80%～90%的紋理特征，所以考慮離散減少局部模式是可行的。如果分段過多局部特征就會(huì)減少，改進(jìn)就失去意義。實(shí)驗(yàn)表明簡單的分為三段能夠很好地增加識(shí)別率。關(guān)于離散區(qū)間的選擇，隨著m增大兩端的特征就會(huì)被凸顯出來，m減小凸顯均值附近的特征。

改進(jìn)LBP的提取過程：

（1）將人臉圖像分塊，計(jì)算分塊灰度均值；

（2）對(duì)于每個(gè)像素計(jì)算傳統(tǒng)LBP特征；

（3）根據(jù)分塊灰度均值重新計(jì)算LBP特征如圖6所示。

圖6 改進(jìn)LBP提取過程

當(dāng)m取20時(shí)，80＜92，將LBP特征離散到第一區(qū)間，將3個(gè)區(qū)間定義為0～85，86～170，171～255，根據(jù)式（4），重新計(jì)算LBP特征得到新的特征77。

2 基于改進(jìn)LBP算子的人臉識(shí)別算法

基于LBP的人臉識(shí)別算法[11?12]，一般是將人臉圖片提取LBP特征，然后將其統(tǒng)計(jì)為灰度直方圖，最后通過比較灰度直方圖進(jìn)行識(shí)別[13?14]，如圖7所示。直接根據(jù)LBP特征直方圖，進(jìn)行識(shí)別能夠保存局部信息，但是由于直方圖統(tǒng)計(jì)丟失了全局信息，考慮全局信息將人臉分塊為N×N，對(duì)每個(gè)小塊進(jìn)行直方圖提取，將他們分塊的特征直方圖向量統(tǒng)計(jì)為LBP人臉特征直方圖。這種提取方法不僅保留了局部特征同時(shí)考慮了全局特征的影響。兩個(gè)人臉直方圖相似度量使用 χ2距離來度量，即：

距離的值表示了兩幅人臉的相似度量[15]。

為了充分表示人臉信息，本文對(duì)不同分塊的區(qū)域采用不同的m作為閾值進(jìn)行離散。對(duì)于像素間灰度差值較小的分塊，采用較小的m作為閾值，從而突出像素間的差別。對(duì)于像素間相差較大的分塊，采用較大的m值作為閾值從而突出灰度差別較大的像素。本文采用的方法首先將人臉圖像分塊，計(jì)算每個(gè)分塊的灰度方差，方差較小的分塊，使用較小的m值作為閾值，方差較大的分塊采用較大的m值作為閾值進(jìn)行離散。

圖7 改進(jìn)LBP人臉識(shí)別算法

本文實(shí)驗(yàn)具體步驟如下：

（1）對(duì)人臉圖像進(jìn)行預(yù)處理，使用高斯濾波和直方圖均衡化；

（2）將人臉圖像分塊，計(jì)算LBP特征；

（3）計(jì)算分塊的灰度方差，根據(jù)方差大小選擇合適的m值作為閾值；

（4）通過分塊灰度均值重新計(jì)算LBP特征直方圖；

（5）將測試圖片和訓(xùn)練圖片的LBP直方圖進(jìn)行相似度比較；

（6）使用最近鄰分類器進(jìn)行分類識(shí)別。

本文提出一種基于改進(jìn)的LBP算子的算法記為C_MBLBP。該方法不僅考慮了傳統(tǒng)LBP特征，同時(shí)將人臉圖像分塊考慮了全局特征。為了不增加灰度直方圖的區(qū)間，將LBP特征和全局特征結(jié)合為改進(jìn)LBP特征。

3 實(shí)驗(yàn)結(jié)果與分析

為了測試改進(jìn)后的LBP算子對(duì)人臉識(shí)別的性能，分別在ORL人臉庫和YALE人臉庫上進(jìn)行人臉識(shí)別實(shí)驗(yàn)。實(shí)驗(yàn)m的選取為（5，40）和（10，20）。當(dāng)方差小時(shí)選擇較小m，方差大時(shí)選擇較大m。識(shí)別率取兩次的平均值。

ORL人臉庫由劍橋大學(xué)AT&T實(shí)驗(yàn)室創(chuàng)建，包含40個(gè)人，每個(gè)人10幅人臉圖像，共400幅圖像，圖像大小為92×112的灰度圖像，部分圖像包括了姿態(tài)，表情和發(fā)型等特征。

YALE人臉數(shù)據(jù)庫包含了15個(gè)人的165幅灰度圖像，每個(gè)人具有11幅不同的圖像。這11幅圖像具有多種姿態(tài)、多光照的特點(diǎn)，用于光照和姿態(tài)問題的建模與分析，是在嚴(yán)格控制的條件下采集的姿態(tài)和光照變化的圖像。為了驗(yàn)證本文改進(jìn)LBP算子的識(shí)別性能，將本文算法與LBP算子人臉識(shí)別和MB_LBP算子人臉識(shí)別進(jìn)行比較分析。在ORL人臉數(shù)據(jù)庫上的實(shí)驗(yàn)分別選取40人的1張和5張圖片作為訓(xùn)練圖片，剩下圖片作為測試圖片。由于本文算法是驗(yàn)證LBP特征的改進(jìn)，所以統(tǒng)一選取半徑為1，鄰點(diǎn)數(shù)為8的LBP進(jìn)行實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果為不同訓(xùn)練集和測試集的識(shí)別率的平均值，如表1所示。為了更好地提高本文方法的識(shí)別率，理論上應(yīng)該選取識(shí)別率較好的m。m取值越小，與分塊平均灰度值相近的像素點(diǎn)會(huì)被計(jì)算到一個(gè)相對(duì)較大的離散區(qū)間，因此能夠區(qū)分與分塊灰度相似的像素點(diǎn)，從而凸顯了與分塊灰度平均灰度值相似像素點(diǎn)之間的灰度差值信息。m取值越大，會(huì)凸顯與分塊灰度平均值相差較大的像素點(diǎn)，因?yàn)閙取值較大時(shí)，大多的像素點(diǎn)被離散到一個(gè)區(qū)間。很少的像素被離散到了相對(duì)較大的區(qū)間。對(duì)于識(shí)別而言像素差別較大的像素點(diǎn)可能更有好處。本文采取根據(jù)分塊間方差自適應(yīng)選擇閾值m的算法，方差小時(shí)選擇較小的閾值m，方差大時(shí)選擇較大的閾值m。根據(jù)實(shí)驗(yàn)分析得出本算法是一種有效的識(shí)別算法。

表1 ORL數(shù)據(jù)比較

在YALE人臉數(shù)據(jù)庫中選取1張和5張作為訓(xùn)練圖片，剩下圖片作為測試圖片。參數(shù)使用和ORL的實(shí)驗(yàn)相同，結(jié)果如表2所示。在ORL和YALE人臉庫的實(shí)驗(yàn)表明，本文提出的改進(jìn)后的LBP算子不僅能提高識(shí)別率同時(shí)保持了LBP算子識(shí)別速度快的特點(diǎn)。

4 結(jié)語

人臉識(shí)別研究一直是模式識(shí)別領(lǐng)域的熱點(diǎn)問題。本文提出一種基于改進(jìn)LBP算子的人臉識(shí)別算法。通過將人臉圖像分塊，不僅考慮了LBP局部特征同時(shí)考慮分塊全局特征，將它們?nèi)诤蠟楦倪M(jìn)的LBP特征，通過自適應(yīng)選擇閾值m進(jìn)行離散特征進(jìn)行人臉識(shí)別。通過在ORL和YALE人臉數(shù)據(jù)庫的實(shí)驗(yàn)，表明了本方法的有效性。

表2 YALE數(shù)據(jù)比較

[1]AHONEN T，HADID A，PIETIK INEN M.Face description with local binary patterns：application to face recognition[J].IEEE Transactions on Pattern Analysis and Machine Intelli?gence，2006，28（12）：2037?2041.

[2]AHONEN T，PIETIK IM.Image description using joint dis?tribution of filter bank responses[J].Pattern Recognition Let?ters，2009，30（4）：368?376.

[3]GUO Zhen?hua，ZHANG L，ZHANGD.A completedmodeling of local binary pattern operator for texture classification[J].IEEE Transactions on Image Processing，2010，19（6）：1657?1663.

[4]OJALA T，PIETIKAINEN M，HARWOOD D.A comparative study of texture measures with classification based on feature distributions[J].Pattern Recognition，1996，29（1）：51?59.

[5]OJALA T，PIETIKAINEN M，MAENPAA T.Multiresolution gray scale and rotation invariant texture classification with lo?cal binary patterns[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2002，24（7）：971?987.

[6]ZHANG Lun，CHU Ru?feng，XIANG Shi?ming，et al.Face de?tection based on multi?block LBP representation[C]//Pro?ceedings of International Conference on Biometrics.Berlin：Springer?Verlag，2007：11?18.

[7]LIAO Sheng?cai，ZHU Xiang?xin，LEI Zhen，et al.Learning multi?scale block local binary patterns for face recognition[C]//Proceedings of International Conference on Biometrics.Berlin：Springer?Verlag，2007：828?837.

[8]Zhao G，Pietik¨ainen M.Experiments with facial expression recognition using spatiotemporal local binary patterns[C]//Pro?ceedings of International Conference on Biometrics.Berlin：Springer?Verlag，2007：850?855.

[9]SUN N，ZHENGW，SUN C，et al.Gender classification based on boosting localbinary pattern[C]//Proceedings of International Symposium on Neural Netw.[S.l.]：[s.n.]，2006：10?15.

[10]ZHANG Lin，ZHANG Lei，GUO Zhen?hua，et al.Monogenic?LBP：a new approach for rotation invariant texture classifica?tion［C］//Proceedings of the 10th International Conference on Image Processing.[S.l.]：[s.n.]，2010：111?114.

[11]HUANG Xiao?hua，ZHAO Guo?ying，ZHENG Wei?ming，et al.Spatiotemporal local monogenic binary patterns for facial expression recognition[J].IEEE Signal Processing Letters，2012，19（5）：243?246.

[12]楊海燕，劉國棟.基于MB?LBP算子和Multilinear PCA算法的人臉識(shí)別[J].計(jì)算機(jī)應(yīng)用研究，2012，29（12）：4733?4735.

[13]袁寶華，王歡，任明武.融合LTP與Fisherfaces的分塊人臉識(shí)別[J].計(jì)算機(jī)工程，2012（10）：154?156.

[14]QIAN J J，YANG J.A novel feature extraction method for face recognition under different lighting conditions[C]//Pro?ceedings of 6th Chin Conf Biometric Recognit.[S.l.]：[s.n.]，2011：22?25.

[15]SEO H J，MILANFAR P.Face verification using the LARK representation[J].IEEE Transactions on Inf.Forensics Securi?ty，2011，6（12）：1275?1286.