LBP和MB-LBP加權(quán)融合的人臉識(shí)別

劉 斌，米 強(qiáng)，徐 巖

(山東科技大學(xué) 電子通信與物理學(xué)院，山東 青島 266590)

0 引 言

人臉識(shí)別[1,2]技術(shù)主要包含3部分，分別是人臉檢測(cè)、特征提取以及分類器設(shè)計(jì)。能否提取有差異性的人臉特征對(duì)系統(tǒng)而言十分重要，在近幾年里，許多高效和新穎的人臉識(shí)別算法被提出來(lái)，這極大提高了人臉識(shí)別系統(tǒng)的性能[3]，比如基于子空間的特征降維方法[4]、流形學(xué)習(xí)方法等[5]。主流的特征降維方法有線性判別分析(LDA)[6]和獨(dú)立成分分析(ICA)[7,8]，其在模式識(shí)別領(lǐng)域被廣泛應(yīng)用。如今人臉識(shí)別技術(shù)已經(jīng)非常先進(jìn)，在理想的沒(méi)有干擾的環(huán)境中可以取得很高的正確識(shí)別率，但是傳統(tǒng)人臉識(shí)別技術(shù)的性能在人臉圖像的姿態(tài)、表情及光照變化較大的環(huán)境中會(huì)急劇下降，為了在光照變化較大的環(huán)境中提高人臉識(shí)別系統(tǒng)的性能，很多學(xué)者對(duì)此進(jìn)行了深入的研究并取得了不錯(cuò)的成果。比如為了抵消光照變化的影響，可以通過(guò)光照歸一化算法對(duì)光照變化進(jìn)行補(bǔ)償，其中常見(jiàn)的光照歸一化方法有直方圖均衡化以及Gamma校正。除此之外，也可以提取一些對(duì)光照變化具有不變性的特征，比如Gabor特征[9]、LBP特征[10]。在文獻(xiàn)[11]中作者把深度學(xué)習(xí)算法融入到人臉識(shí)別系統(tǒng)當(dāng)中，在光照變化的環(huán)境中提取人臉圖像的LBP特征，并將提取到的人臉特征輸入到由深度學(xué)習(xí)算法建立的分類器中，取得了很高的人臉識(shí)別率。

本文則提出了一種基于LBP特征和MB-LBP加權(quán)融合的特征提取方法，首先分別提取每幅人臉圖像的標(biāo)準(zhǔn)LBP分塊直方圖特征、圓形鄰域LBP分塊直方圖特征以及MB-LBP分塊直方圖特征，采用一定的權(quán)重系數(shù)將3種特征加權(quán)融合，最終的實(shí)驗(yàn)結(jié)果表明這種方法可以進(jìn)一步提高人臉識(shí)別系統(tǒng)的性能。

1 人臉LBP特征提取

局部二進(jìn)制模式(local binary patterns，LBP)最初是由Ojala提出的，它是一種有效的圖像紋理特征描述子，在圖像識(shí)別領(lǐng)域中，同其它圖像特征相比，LBP特征對(duì)光照變化具有不變性，因此在光照不均的應(yīng)用場(chǎng)景中也能取得不錯(cuò)的識(shí)別效果。又因?yàn)長(zhǎng)BP的基本原理是以圖像中任意一點(diǎn)像素的灰度值為閾值，用它與周圍鄰域像素的相對(duì)灰度變化值作為響應(yīng)，使得它對(duì)于單調(diào)的灰度變化也具有不變性。作為一種強(qiáng)大的紋理運(yùn)算符，LBP算子已經(jīng)在不同的場(chǎng)景下得到了廣泛的應(yīng)用。

1.1 基本的LBP算子

基本LBP算子對(duì)圖像中的每個(gè)像素，通過(guò)計(jì)算以其為中心的3*3鄰域內(nèi)各像素和中心像素的大小關(guān)系，把像素的灰度值轉(zhuǎn)化為一個(gè)八位二進(jìn)制序列。LBP特征的提取方法可以用式(1)來(lái)表示

(1)

式中：gc表示中心像素的灰度值，gp(p=0,1,2,…,p-1)表示距離中心像素3*3鄰域上像素的灰度值，s(x)是符號(hào)函數(shù)。它的實(shí)現(xiàn)過(guò)程如圖1所示。

圖1 LBP算子基本思想

1.2 圓形鄰域的LBP算子

基本的LBP算子不能適應(yīng)不同尺度的紋理特征，為此需要將其進(jìn)行拓展，可以使用不同大小的圓來(lái)對(duì)鄰域像素進(jìn)行編碼，并結(jié)合雙線性差值算法來(lái)得到不在像素中心位置的鄰域點(diǎn)的值，以滿足不同尺寸和頻率紋理的需要。Ojala等首先用圓形鄰域取代了基本LBP算子的3×3正方形鄰域，改進(jìn)之后的LBP算子可以用符號(hào)LBPP,R來(lái)表示，此符號(hào)的含義是指在半徑為R的圓形區(qū)域中包含P個(gè)采樣像素點(diǎn)，圓形鄰域的LBP算子如圖2所示。

圖2 幾種圓形LBP算子

圖2(a)表示圓形(8,1)鄰域的LBP8,1算子，圖2(b)表示圓形(16,2)鄰域的LBP16,2算子，圖2(c)表示圓形(8,2)鄰域的LBP8,2算子。設(shè)(x，y)表示不再像素中心位置的鄰域點(diǎn)的坐標(biāo)，通過(guò)雙線性差值方法獲得其響應(yīng)值的公式如下

(2)

1.3 MB-LBP算子

圖3 MB-LBP算子

由于標(biāo)準(zhǔn)LBP算子得到的直方圖比較稀疏從而使其失去統(tǒng)計(jì)意義，為此LBP算子在實(shí)際應(yīng)用中都會(huì)采用統(tǒng)一化的模式[13]，也就是把所有的經(jīng)LBP算子處理后的圖像像素劃分為統(tǒng)一化模式以及非統(tǒng)一化模式，將統(tǒng)一化模式的圖像像素分配在一個(gè)收集箱,非統(tǒng)一化模式的圖像像素都被放在一個(gè)公用收集箱。這樣不僅使特征數(shù)目減少，而且使得到的LBP直方圖更具有統(tǒng)計(jì)意義。

1.4 LBP分塊直方圖特征

傳統(tǒng)的LBP算子僅能描述圖像的局部信息，而丟失了全局信息。在文獻(xiàn)[14]中指出兩個(gè)不同結(jié)構(gòu)的中心像素可能會(huì)得到相同的LBP特征。雖然能夠描述圖像整體結(jié)構(gòu)信息的MB-LBP特征能夠避免這種情況，但是MB-LBP往往會(huì)忽略一些有用的局部信息。為此本文采用特征加權(quán)融合的方法，將LBP算子和MB-LBP算子的優(yōu)點(diǎn)結(jié)合起來(lái)，互相補(bǔ)充，從而提高系統(tǒng)的整體性能。

在本文對(duì)人臉識(shí)別系統(tǒng)的研究當(dāng)中，無(wú)論是提取圖像的LBP特征，還是提取圖像的MB-LBP特征，都是采用圖像分區(qū)的思想來(lái)實(shí)現(xiàn)的，分區(qū)的LBP特征能夠解決單個(gè)LBP直方圖存在的局部差異信息丟失的問(wèn)題。它的實(shí)現(xiàn)過(guò)程如下：

(1)首先將一幅人臉圖像劃分為若干塊區(qū)域；

(2)分別提取每個(gè)塊區(qū)域的LBP直方圖特征；

(3)把所有塊區(qū)域的直方圖特征聯(lián)合起來(lái)作為整幅圖像的直方圖特征。

圖4分別為用傳統(tǒng)LBP算子和MB-LBP算子處理后的人臉圖像及其分塊直方圖，上述LBP分塊直方圖是將人臉圖像按8×6分區(qū)得到的，而MB-LBP分塊直方圖是將人臉圖像放大5倍之后按照8×6分區(qū)得到的。本文提取的是人臉圖像的MB3-LBP特征，研究表明要想提取圖像分區(qū)的MB3-LBP特征，分區(qū)的大小應(yīng)該為54×63的像素塊，將原始圖像通過(guò)最近鄰插值法放大5倍以后，再按照8×6的大小分區(qū)，此時(shí)每個(gè)分區(qū)的大小接近54×63，只有這樣得到的MB-LBP分塊直方圖特征才有意義。

圖4 傳統(tǒng)LBP算子和MB-LBP算子處理后的人臉圖像

2 主成分分析(PCA)

上述人臉圖像經(jīng)LBP算子處理后得到的分塊直方圖特征向量維數(shù)非常高，計(jì)算起來(lái)比較麻煩，因此需要經(jīng)過(guò)PCA技術(shù)降維處理。主成分分析[15]是90年代初由Pearcon提出的理論，其核心思想是對(duì)樣本數(shù)據(jù)降低維度，減小原始特征各維之間的相關(guān)性，從而使它投影到低維空間的同時(shí)又能保留住那些差異性較大的數(shù)據(jù)，因此經(jīng)PCA方法處理后的樣本數(shù)據(jù)也能取到較高的識(shí)別率。PCA方法的實(shí)現(xiàn)過(guò)程如下：

(3)

設(shè)樣本數(shù)據(jù)X對(duì)應(yīng)的散布矩陣為St，則其本征方程如下式

(4)

求解上式的本征方程可得到其本征值和本征向量，通過(guò)求解得到的矩陣St的本征值為λ1,λ2,λ3,…,λk，全部為實(shí)數(shù)，且λ1≥λ2≥λ3≥…≥λk;ωi，i=1,2,…,k為對(duì)應(yīng)的本征向量。則λi和ωi的關(guān)系為

Stωi=λωi

(5)

為了使樣本數(shù)據(jù)經(jīng)過(guò)投影變換后的均方誤差最小，通常都會(huì)使n個(gè)樣本向著最大本征值對(duì)應(yīng)的本征向量方向投影，設(shè)矩陣W=[ω1,ω2,ω3,…ωd]由這組樣本前d個(gè)最大的本征值對(duì)應(yīng)的本征向量組合而成，則矩陣W被稱作主成分矩陣。

3 特征融合及分類識(shí)別

本文的人臉識(shí)別算法采用支持向量機(jī)(SVM)[16]作為融合特征的分類器。支持向量機(jī)不僅可以將兩類樣本分開(kāi)，還能夠使分類間隔最大，在其處理的問(wèn)題當(dāng)中主要包含兩種情形，一種是線性可分問(wèn)題，另一種則是需要引進(jìn)映射函數(shù)的線性不可分問(wèn)題。

在線性可分的情況下，要使得兩種類別的樣本完全分開(kāi)從而保證經(jīng)驗(yàn)風(fēng)險(xiǎn)最小的話，只要用一個(gè)最優(yōu)分類面就可以了，這個(gè)最優(yōu)分類面通常被叫做“最佳分割超平面”，其函數(shù)表達(dá)式為：w·x+v=0。為使兩類的分類間隔最大，則要求下式(6)實(shí)現(xiàn)最小化，公式如下

(6)

式(6)的約束條件為：yi(w·x+b)≥1,?i∈{1,2,3,…,n}引入Lagrange乘子αi，從而得到下式

(7)

(8)

傳統(tǒng)的SVM只可以對(duì)兩種類別的樣本進(jìn)行分類，本文采用“一對(duì)一的投票策略”，使得SVM能夠識(shí)別多個(gè)類別的樣本。為了把傳統(tǒng)LBP算子能夠有效描述局部紋理特征的優(yōu)點(diǎn)以及MB-LBP算子能夠有效描述圖像的整體信息的優(yōu)點(diǎn)結(jié)合起來(lái)，本文采用一種簡(jiǎn)單的加權(quán)融合方法[17]。具體的實(shí)現(xiàn)步驟如下：

(9)

(10)

(11)

(3)人臉圖像加權(quán)融合特征的投票結(jié)果矩陣可以用下式表示

(12)

式中：θ1+θ2+θ3=1，最終取MAX(vote)作為最終的投票結(jié)果。

4 實(shí)驗(yàn)仿真和分析

4.1 人臉數(shù)據(jù)集

為了測(cè)試算法的有效性，本文分別在AR、ORL這兩個(gè)人臉庫(kù)上進(jìn)行實(shí)驗(yàn)仿真。ORL人臉庫(kù)誕生于英國(guó)劍橋Olivetti實(shí)驗(yàn)室，共有40個(gè)不同年齡、不同性別和不同種族的對(duì)象，每個(gè)人10幅圖像共計(jì)400幅灰度圖像組成，圖像尺寸是92×112，圖像背景為黑色，其部分人臉圖像如圖5所示。AR人臉數(shù)據(jù)庫(kù)包含50位男性和50位女性每人26張人臉共2600張人臉圖片，本次實(shí)驗(yàn)將所有圖像統(tǒng)一歸一化為43×60的大小，因?yàn)楸疚氖茄芯抗庹盏淖兓瘜?duì)人臉識(shí)別的影響，去掉其中戴圍巾和墨鏡的12幅人臉圖像，在每個(gè)人中用剩下的14幅圖像進(jìn)行仿真實(shí)驗(yàn)，其部分人臉圖像如圖6所示。

圖5 ORL人臉數(shù)據(jù)庫(kù)部分人臉圖例

圖6 AR人臉數(shù)據(jù)庫(kù)部分人臉圖例

4.2 實(shí)驗(yàn)結(jié)果與分析

在ORL人臉庫(kù)上，每個(gè)人的10幅圖像中光照變化差別不大，而在AR人臉庫(kù)中，每個(gè)人的14幅圖像中光照變化差別很大，因此除了本文所講述的3種LBP分塊直方圖特征以及它們的加權(quán)融合特征外，還分別把傳統(tǒng)的PCA-SVM技術(shù)以及LPQ特征用于人臉識(shí)別，分別在兩個(gè)人臉庫(kù)上實(shí)驗(yàn)，以便和本文提出的加權(quán)融合特征進(jìn)行對(duì)比，從而更好體現(xiàn)出在光照變化較大的環(huán)境中加權(quán)融合特征相對(duì)于其它方法的優(yōu)越性。在ORL人臉庫(kù)上分別選取3幅和5幅人臉圖像作為訓(xùn)練集，剩下的作為測(cè)試集。3種LBP分塊直方圖特征分塊的大小均為8×6。實(shí)驗(yàn)結(jié)果見(jiàn)表1。

表1 ORL人臉庫(kù)不同算法的人臉識(shí)別率

在AR人臉數(shù)據(jù)庫(kù)上分別選取5幅和9幅人臉圖像作為訓(xùn)練集，剩下的作為測(cè)試集。實(shí)驗(yàn)結(jié)果見(jiàn)表2。

表2 AR人臉庫(kù)不同算法的人臉識(shí)別率

在AR人臉庫(kù)上，利用本文提出的特征加權(quán)融合方法，分別測(cè)試了在不同權(quán)重分配情況下人臉識(shí)別率的變化情況，其中訓(xùn)練集共有9幅圖像，結(jié)果見(jiàn)表3。

從表1可以看出，在ORL人臉庫(kù)上無(wú)論是傳統(tǒng)的PCA-SVM方法，LPQ特征提取方法，還是LBP紋理特征描述子都能夠取得不錯(cuò)的識(shí)別率。因?yàn)镺RL庫(kù)的每幅圖像光照變化差別不大，所以上述的幾種特征提取方法都可以取得不錯(cuò)的識(shí)別效果，從這里還看不到LBP分塊直方圖特

表3 AR人臉庫(kù)不同權(quán)重的人臉識(shí)別率

征的優(yōu)勢(shì)。但是從表2中可以看到，在AR人臉庫(kù)上傳統(tǒng)的PCA-SVM方法在訓(xùn)練集圖像為5幅時(shí)識(shí)別率僅有28.5%,在訓(xùn)練集圖像為9幅時(shí)識(shí)別率也只有39.5%，識(shí)別效果非常不理想。LPQ特征提取方法也是如此，在訓(xùn)練集圖像為9幅時(shí)識(shí)別率為40%。但是無(wú)論是單獨(dú)的標(biāo)準(zhǔn)LBP分塊直方圖特征，還是圓形鄰域LBP特征以及MB-LBP特征此時(shí)仍能取到很好的識(shí)別效果。在訓(xùn)練集圖像為9幅時(shí)，圓形鄰域LBP特征的正確識(shí)別率為90.7%。因此可以看到傳統(tǒng)的特征提取方法在光照變化差別較大的情景中識(shí)別效果非常差，而LBP特征卻對(duì)光照變化具有魯棒性。

從表3中可以看到，相對(duì)于單獨(dú)的LBP分塊直方圖特征，3種類型的LBP特征加權(quán)融合以后又可以使人臉識(shí)別率進(jìn)一步提高。而當(dāng)3種特征的權(quán)重比為(0.3∶0.4∶0.3)時(shí)識(shí)別率最高為94.1%，其它權(quán)重比所取得的識(shí)別率平均為93%。因此加權(quán)融合以后的特征可以使人臉識(shí)別率提高大約3到4個(gè)百分點(diǎn)，可以有效地改善人臉識(shí)別系統(tǒng)的性能。

5 結(jié)束語(yǔ)

為了提高在光照變化較大情形下的人臉識(shí)別率，提出了一種基于LBP特征和MB-LBP加權(quán)融合的特征提取方法。首先分別提取每幅人臉圖像的標(biāo)準(zhǔn)LBP分塊直方圖特征、圓形鄰域LBP分塊直方圖特征以及MB-LBP分塊直方圖特征，然后采用一定的方式將3種特征進(jìn)行加權(quán)融合，加權(quán)融合后的特征兼具LBP特征能夠有效描述局部紋理信息以及MB-LBP特征能夠有效描述圖像全局信息的優(yōu)點(diǎn)，在ORL和AR人臉庫(kù)上進(jìn)行測(cè)試，結(jié)果表明：相對(duì)于傳統(tǒng)的PCA-SVM方法以及單獨(dú)的LBP特征，人臉識(shí)別率提高了很多。

[1]ZOU Guofeng,FU Guixia,LI Haitao,et al.A survey of multi-pose face recognition[J].Pattern Recognition and Artificial Intelligence,2015,28(7):613-625(in Chinese).[鄒國(guó)鋒,傅桂霞,李海濤,等.多姿態(tài)人臉識(shí)別綜述[J].模式識(shí)別與人工智能,2015,28(7):613-625.]

[2]Singh A,Tiwari S,Singh SK.Performance of face recognition algorithms on dummy faces[J].Springer Berlin Heidelberg,2012,166(4):211-222.

[3]Günther M,Wallace R,Marcel S.An open source framework for standardized comparisons of face recognition algorithms[J].Springer Berlin Heidelberg,2012,27(6):59-65.

[4]Duan F,Yang S,Huang D,et al.Craniofacial reconstruction based on multi-linear subspace analysis[J].Multimedia Tools and Applications,2014,73(2):809-823.

[5]Feng B,Lin Y.Radar signal recognition based on manifold learning method[J].International Journal of Control & Automation,2014,7(12):399-406.

[6]Martis RJ,Acharya UR,Min LC.ECG beat classification using PCA,LDA,ICA and discrete wavelet transform[J].Biomedical Signal Processing & Control,2013,8(5):437-448.

[7]GUO Yanan,LI Hongyan.Face recognition based on ICA and GSPSO-SVM[J].Computer Engineering and Design,2014,35(12):4302-4305(in Chinese).[郭雅楠,李鴻燕.基于ICA和GSPSO-SVM的人臉識(shí)別方法[J].計(jì)算機(jī)工程與設(shè)計(jì),2014,35(12):4302-4305.]

[8]WU Yan-Hai,WL Liang.Research on ICA face recognition algorithm based on Gabor wavelet transform[J].Microelectro-nics & Computer, 2013, 30(7):141-144.

[9]Xie X,Liu W.Pseudo-Gabor wavelet for face recognition[J].Pseudo-Gabor Wavelet for Face Recognition,2013,22(2):57-61.

[10]WAN Yuan,LI Huanhuan,WU Kefeng,et al.Fusion with Layered fertures of LBP and HOG for face recognition[J].Journal of Computer-Aided Design and Computer Graphics,

2015,27(4):640-650(in Chinese).[萬(wàn)源,李歡歡,吳克風(fēng),等.LBP和HOG的分層特征融合的人臉識(shí)別[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào),2015,27(4):640-650.]

[11]LIANG Shufen,LIU Yinhua,LI Lichen.Face recognition under unconstrained based on LBP and deep learning[J].Journal on Communications,2014,35(6):154-160(in Chinese).[梁淑芬,劉銀華,李立琛.基于LBP和深度學(xué)習(xí)的非限制條件下人臉識(shí)別算法[J].通信學(xué)報(bào),2014,35(6):154-160.]

[12]Cai CH,Cui XL,Zhu JQ.CAM Shift face tracking with adaptive MB-LBP pre-filter[J].Journal of Signal Processing,2013,29(11):1540-1546.

[13]Mo K,Xu L.Defect detection of solar cell based on threshold uniform LBP and BP neural network[J].Taiyangneng Xuebao/acta Energiae Solaris Sinica,2014,35(12):2448-2454.

[14]GUO Hefei,LU Jianfeng,DONG Zhongwen.Face recognition method based on improved LBP algorithm[J].Modern Electronics Technique,2015,38(4):99-105(in Chinese).[郭賀飛,陸建峰,董忠汶.一種基于改進(jìn)LBP特征的人臉識(shí)別[J].現(xiàn)代電子技術(shù),2015,38(4):99-105.]

[15]HU Jialiang,GAO Yuchao,YU Jifeng,et al.Lithology identification of unconventional reservoirs based on PCA-BP neural network[J].Journal of Shandong University of Science & Technology,2016,35(5):9-16(in Chinese).[胡嘉良,高玉超,余繼峰,等.基于PCA-BP神經(jīng)網(wǎng)絡(luò)的非常規(guī)儲(chǔ)層巖性識(shí)別研究[J].山東科技大學(xué)學(xué)報(bào)(自然科學(xué)版),2016, 35(5):9-16.]

[16]Gao Y,Zhou CH,SU Fenzhen.Study on SVM classifications with multi-features of OLI images[J].Engineering of Surveying & Mapping,2014,47(11):3084-3086.

[17]HAN Xiaocui.Face recognition method based on DCT and MMC[J].Computer Engineering and Design,2010,31(14):3284-3286(in Chinese).[韓曉翠.基于DCT和MMC的人臉識(shí)別方法[J].計(jì)算機(jī)工程與設(shè)計(jì),2010,31(14):3284-3286.]