基于SLBP深度信念網(wǎng)絡(luò)的人臉識(shí)別研究

史濤 秦琴 任紅格， 王瑋

關(guān)鍵詞： 顯著局部二值模式; 特征提取; 深度信念網(wǎng)絡(luò); 網(wǎng)絡(luò)訓(xùn)練; 深度學(xué)習(xí); 人臉識(shí)別

中圖分類號(hào)： TN926?34; TP391 ? ? ? ? ? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼： A ? ? ? ? ? ? ? ? ? ?文章編號(hào)： 1004?373X（2019）14?0177?05

Research on human face recognition based on SLBP deep belief network

SHI Tao， QIN Qin， REN Hongge， WANG Wei

（College of Electrical Engineering， North China University of Science and Technology， Tangshan 063200， China）

Abstract： In allusion to the problems of insufficient extraction of the traditional local binary pattern （LBP） features and classifier fitting， a human face recognition method based on the significant local binary pattern （SLBP） of the local texture feature and deep learning is proposed. The local texture features of human face images are extracted by using the improved SLBP algorithm， so as to establish the SLBP histogram. The deep learning architecture based on deep belief network is constructed. The SLBP histogram is input into the deep belief network. The unsupervised layer?by?layer training method and supervised BP algorithm are used to conduct network training， so as to realize self?learning and self?optimization of network and obtain network parameters. The DBN classification is used to recognize human face images. The results of the simulation experiment demonstrate that the proposed human face recognition method is superior to the traditional human face recognition method in aspects of recognition rate and robustness.

Keywords： SLBP; feature extraction; deep belief network; network training; deep learning; human face recognition

0 ?引 ?言

人臉識(shí)別是一項(xiàng)計(jì)算上具有挑戰(zhàn)性的任務(wù)，需要在不同身份的類似外觀圖像之間進(jìn)行精細(xì)區(qū)分，其具有快捷實(shí)用性、非接觸性、安全性和非強(qiáng)制性等優(yōu)點(diǎn)成為身份判斷識(shí)別研究熱點(diǎn)之一，作為身份識(shí)別應(yīng)用技術(shù)具有重要意義[1]。

人臉識(shí)別技術(shù)的核心是特征提取方法，因此，各學(xué)者把對(duì)人臉特征的提取作為研究的重點(diǎn)。在各種文獻(xiàn)中提到一些經(jīng)典的特征提取的算法，比如主成分分析法等類似的方法是對(duì)圖像整體進(jìn)行識(shí)別的算法，能保存圖像紋理信息獲得圖像的全局特征。但是，這類方法易受到人的姿態(tài)和不同光照的影響，因此，基于整體的識(shí)別方法取得的結(jié)果往往不能令人滿意。

局部二值法（LBP）因其對(duì)光照和姿態(tài)變化不敏感、魯棒性較強(qiáng)、在紋理分析方面的簡(jiǎn)單性等優(yōu)點(diǎn)成為局部特征提取的研究熱點(diǎn)。2015年，郭賀飛等考慮分塊全局特征，組合成優(yōu)化的LBP特征，通過自適應(yīng)的方式選擇閾值將特征離散，進(jìn)而完成人臉識(shí)別[2]。2016年，LE T H等人將每個(gè)LBP直方圖串接，這樣就構(gòu)成了級(jí)聯(lián)LBP（Concatenated LBP）直方圖，并應(yīng)用其特征向量作為描述人臉圖像的方法，實(shí)驗(yàn)表明其有效性[3]。2017年，胡敏等提出利用G?LBP以及方差投影的交叉熵方法來識(shí)別人臉圖像，并從熵值的角度對(duì)人臉圖像做了補(bǔ)充描述，進(jìn)一步提升了識(shí)別系統(tǒng)的穩(wěn)定性以及準(zhǔn)確率，更加豐富了對(duì)人臉的特征描述[4]。然而，上述LBP改進(jìn)方法在一定程度上都會(huì)導(dǎo)致有效信息的丟失，識(shí)別準(zhǔn)確率仍有待提高。

近年來，在圖像識(shí)別的研究領(lǐng)域，機(jī)器學(xué)習(xí)和深度學(xué)習(xí)因具有較高精度被廣泛使用。特別是深度學(xué)習(xí)，其在語音識(shí)別、計(jì)算機(jī)視覺以及自然語言處理等很多領(lǐng)域都獲得了突破性的發(fā)展[5]。深度學(xué)習(xí)的算法主要是對(duì)人類的深層腦組織結(jié)構(gòu)進(jìn)行模擬，運(yùn)用分層次的方法處理大量的數(shù)據(jù)并且能夠逐層地從低層信號(hào)到高層特征進(jìn)行對(duì)應(yīng)的表示。當(dāng)前，大量被研究人員應(yīng)用的深度學(xué)習(xí)算法包括稀疏自動(dòng)編碼算法（SAE）[6]、深度卷積神經(jīng)網(wǎng)絡(luò)（Deep CNN）[7]和深度信念網(wǎng)絡(luò)（DBN）[8]。其中，DBN是由Hinton提出的一種深度學(xué)習(xí)的算法，能從相對(duì)比較少的數(shù)據(jù)樣本中學(xué)習(xí)到最為本質(zhì)的數(shù)據(jù)特征，已成功應(yīng)用于手寫數(shù)字識(shí)別、動(dòng)態(tài)人體檢測(cè)等諸多領(lǐng)域[9]?；谝陨媳尘?，本文提出SLBP和深度學(xué)習(xí)的人臉識(shí)別方法，使得對(duì)原始LBP紋理描述算子的優(yōu)化可以高效利用人臉圖像的關(guān)鍵信息，使被提取的人臉圖像特征判別性得到增強(qiáng)。將所提取的SLBP特征向量輸入到深度信念網(wǎng)絡(luò)中，通過自下到上逐層法對(duì)網(wǎng)絡(luò)參數(shù)進(jìn)行訓(xùn)練，運(yùn)用BP算法微調(diào)全局，減少網(wǎng)絡(luò)訓(xùn)練時(shí)間。實(shí)驗(yàn)結(jié)果表明，本文所提出的算法可以有效提高提取人面部圖像關(guān)鍵信息的準(zhǔn)確率，提高人臉圖像識(shí)別率，并且其魯棒性和泛化能力均優(yōu)于其他算法。

1 ?SLBP算法模型

LBP是Ojala發(fā)現(xiàn)的能夠描述局部紋理的算法[10]。利用LBP算法提取圖像特征的定義是：將圖像的任意一點(diǎn)選為中心點(diǎn)，采集域?yàn)?×3，將該采集域中心像素點(diǎn)的灰度值作為閾值，8個(gè)鄰域灰度值與中心灰度值作比較，若閾值與鄰域灰度值相比較小記為1，反之則記為0;接著將8個(gè)點(diǎn)的二進(jìn)制數(shù)按照順時(shí)針的方向串連起來，這樣就構(gòu)成了二進(jìn)制編碼;最終通過加權(quán)求和獲得十進(jìn)制數(shù);通過上述計(jì)算得到的值就是這個(gè)像素點(diǎn)的LBP值，利用這個(gè)值來描述該范圍的紋理特性。通過計(jì)算得出這樣的[01]序列有28=256種。

每個(gè)像素LBP數(shù)學(xué)計(jì)算公式為：

[LBP（xc，yc）=i=07s（gc-gi）2i] ? ? （1）

式中：gc為中心點(diǎn)的像素值;gi為周圍8個(gè)點(diǎn)的像素值。

[S（x）=1， ? ? ? x≥00， ? ? ? x<0] ? ? ? ? ? ? ? （2）

引入統(tǒng)一LBP的概念，LBP分類是通過統(tǒng)一LBP計(jì)算LBP編碼中0/1或1/0變換的次數(shù)，[變換次數(shù)≤2]時(shí)為統(tǒng)一LBP，否則就是非統(tǒng)一模式[11]。該模式有效地表達(dá)了人臉圖像周圍邊角等局部結(jié)構(gòu)的優(yōu)點(diǎn)，且[01]序列有8×（8-1）+3=59種，這大大降低了運(yùn)算量。

針對(duì)LBP算子在提取人臉局部特征過程中，對(duì)紋理信息提取不足等問題，提出SLBP算法，假設(shè)任意一幅人臉圖像某個(gè)中心像素點(diǎn)（i，j）的“井”字形鄰域見圖1。

“井”字形鄰域與原始3×3的LBP編碼相比具有更為廣泛的采樣范圍，可以收集更多的有用信息從而提升紋理信息利用率;其與32個(gè)采樣點(diǎn)的5×5鄰域相比采樣點(diǎn)減少到16個(gè)，并且在徑線上的采樣點(diǎn)不重疊減少了冗余特征。本文提出的SLBP算法是把中心像素“井”字形鄰域的16個(gè)像素按采樣半徑分成內(nèi)層{xi}以及外層{yi}（i=0，1，…，7）。SLBP算法過程如圖2所示。

SLBP編碼值計(jì)算公式為：

[SLBP=LBPX+LBPY2] ? ? ? ? ?（3）

內(nèi)層的二進(jìn)制編碼：01111010;十進(jìn)制編碼：122;外層的二進(jìn)制編碼：10001010;十進(jìn)制編碼：138。所以，

[SLBP=122+1382=130] ? ? ? （4）

經(jīng)上述計(jì)算可得該像素點(diǎn)的SLBP值為130。

SLBP在人臉圖像上的分布可以作為描述人臉的一種特征，因此使用SLBP直方圖來表示這種分布。SLBP特征提取流程圖如圖3所示。

首先，將人臉圖像分成m塊;然后，人臉圖像經(jīng)過SLBP紋理算子處理，并且在這里引入統(tǒng)一LBP，統(tǒng)計(jì)每塊的直方圖;最后，串聯(lián)每一塊SLBP直方圖制成總直方圖，即空間增強(qiáng)直方圖，并作為人臉圖像的特征向量。人臉圖像SLBP總直方圖如圖4所示。

為了驗(yàn)證SLBP算法的有效性，通過圖5對(duì)LBP和SLBP算法進(jìn)行對(duì)比得出，SLBP算法可以將人臉的紋理特征很好地表現(xiàn)出來。

2 ?人臉識(shí)別模型的建立

2.1 ?DBN算法

2006年，多倫多大學(xué)的G.Hinton等人提出深度信念網(wǎng)絡(luò)（DBN）算法，該算法的本質(zhì)是一種概率生成模型。而深度信念網(wǎng)絡(luò)主要是由若干個(gè)受限玻爾茲曼機(jī)（RBM）堆疊疊加構(gòu)成的。

RBM則由可視層（V）和隱含層（H）組成，它是一個(gè)二分圖的結(jié)構(gòu)，且一個(gè)層內(nèi)部的各個(gè)節(jié)點(diǎn)是互不連接的，不同層之間的節(jié)點(diǎn)則是互相連接的。RBM是一種能量概率模型，其能量函數(shù)為：

[E（v，h）=-i=1Ij=1Jvihjwij-i=1Iaivi-j=1Jbjhj] ? ?（5）

式中：a為可視層單元的閾值;b為隱含層單元的閾值;w則為它們之間的權(quán)值矩陣。由于深度信念網(wǎng)絡(luò)能量函數(shù)的值越小網(wǎng)絡(luò)越趨于穩(wěn)定，因此最終計(jì)算得到最小的能量函數(shù)值就是計(jì)算的目標(biāo)值。

RBM各層之間的概率分布公式為：

[Phj=1v=δaj+jviwij] ? ? ? ? （6）

[Pvi=1h=δbj+ihjwij] ? ? ? ? （7）

式中，[δ（·）]是sigmoid激活函數(shù)。

DBN網(wǎng)絡(luò)中包括若干RBM和一層反向傳播網(wǎng)絡(luò)（BP）。對(duì)DBN模型進(jìn)行的訓(xùn)練過程主要包含預(yù)訓(xùn)練和微調(diào)這兩個(gè)過程。在預(yù)訓(xùn)練的階段，DBN網(wǎng)絡(luò)采取從底部逐漸向上的無監(jiān)督的訓(xùn)練方式來訓(xùn)練每一層的RBM，具體為將輸入的數(shù)據(jù)首先輸入到第一層的RBM的可視層，充分訓(xùn)練后第一層RBM的隱含層將作為第二層RBM的可視層，以此層層遞進(jìn)來訓(xùn)練整個(gè)DBN網(wǎng)絡(luò)。在微調(diào)階段，采取從頂端逐漸向下的方式利用BP網(wǎng)絡(luò)對(duì)整個(gè)網(wǎng)絡(luò)進(jìn)行有監(jiān)督的微調(diào)。

2.2 ?基于SLBP和DBN的人臉識(shí)別方法

對(duì)于人臉識(shí)別，深度學(xué)習(xí)只能提取人臉圖像的整體信息，并不能充分體現(xiàn)具有區(qū)分性的人眼、鼻子、嘴巴等局部特性，LBP算法則可以將人臉圖像中的亮點(diǎn)和邊緣等局部信息重點(diǎn)體現(xiàn)出來。將第1節(jié)介紹的SLBP算法和DBN算法結(jié)合，在得到人臉圖像SLBP直方圖之后，輸入到DBN進(jìn)行訓(xùn)練，用DBN完成人臉圖像的識(shí)別分類，可以有效捕捉人臉圖像的局部信息，并且能夠減少網(wǎng)絡(luò)訓(xùn)練時(shí)間。網(wǎng)絡(luò)結(jié)構(gòu)的聯(lián)合分布為：

[P（H，h1，h2，…，hl）= ? ? ? ? ? pHh1ph（2）h1…ph（l-1）hl] （8）

式中：H為SLBP紋理特征;[h1，h2，…，hl]為DBN所學(xué)習(xí)到的輸入特征H的不同層次的高級(jí)表示。

訓(xùn)練前，先對(duì)訓(xùn)練集和測(cè)試集用雙線性內(nèi)插法進(jìn)行直方圖均衡化處理。訓(xùn)練階段的步驟如下：

1） 對(duì)訓(xùn)練樣本進(jìn)行分塊處理，將樣本分塊為8×8，提取每一個(gè)子塊的SLBP直方圖，將每個(gè)子塊的直方圖首尾相連形成樣本總體直方圖;

2） 將訓(xùn)練樣本的SLBP特征輸入到DBN的可視層，訓(xùn)練第一個(gè)RBM，將第一個(gè)RBM的輸出作為第二個(gè)RBM的輸入，訓(xùn)練第二個(gè)RBM;

3） 重復(fù)步驟2直到訓(xùn)練完所有的RBM，以獲取最優(yōu)網(wǎng)絡(luò)參數(shù);

4） 用BP算法微調(diào)整個(gè)網(wǎng)絡(luò)參數(shù)。

在測(cè)試階段，將測(cè)試集的SLBP紋理特征輸入到優(yōu)化后的DBN網(wǎng)絡(luò)的可視層，運(yùn)用該網(wǎng)絡(luò)從下到上逐層地學(xué)習(xí)和挖掘測(cè)試集中具有區(qū)分性的有用特征，得到最終的識(shí)別結(jié)果。

3 ?實(shí)驗(yàn)結(jié)果及分析

為了驗(yàn)證該改進(jìn)后算法的可行性和準(zhǔn)確率，在Matlab 7.1的環(huán)境下進(jìn)行實(shí)驗(yàn)，在實(shí)驗(yàn)的過程中選取ORL，YALE和YALE?B三個(gè)較全面的人臉數(shù)據(jù)庫。其中ORL人臉數(shù)據(jù)庫中包含40個(gè)對(duì)象，每個(gè)對(duì)象共有10幅人臉圖像，分別是人臉表情、姿態(tài)和面部裝飾物的一些變化形式。任意抽取每人6幅圖像作為樣本集，其他4幅進(jìn)行測(cè)試。YALE人臉庫中有15人共165張，分別在6種不同表情和3種光照下拍攝，并有是否配戴眼鏡的區(qū)別。任意選取每人6幅圖像作為訓(xùn)練集，其他的進(jìn)行測(cè)試。YALE?B人臉庫有10人，包括64種不同光照條件，9種姿態(tài)的人臉圖像，適合探究光照問題。實(shí)驗(yàn)分成兩個(gè)集合：集合1受光照影響小，作為訓(xùn)練樣本;集合2與集合1光照條件差異大，受光照影響大，作為測(cè)試集，人臉庫見圖6。實(shí)驗(yàn)前，把圖像幾何和光照歸一化。

3.1 ?DBN層數(shù)和RBM迭代次數(shù)的確定

為了探究不同層數(shù)DBN和RBM不同迭代次數(shù)對(duì)識(shí)別準(zhǔn)確率的影響，在此做一個(gè)實(shí)驗(yàn)。實(shí)驗(yàn)中設(shè)置DBN的層數(shù)分別為1～3，迭代次數(shù)為200～1 800，見圖7。

從圖7可以看出：第一，相同迭代次數(shù)情況下，2層DBN比1層和3層的DBN識(shí)別準(zhǔn)確率高;第二，開始階段，圖像識(shí)別準(zhǔn)確率有明顯效果，當(dāng)?shù)螖?shù)大于1 000時(shí)，算法的識(shí)別準(zhǔn)確率基本保持不變，趨于穩(wěn)定。當(dāng)DBN是2層，迭代次數(shù)是1 000時(shí)識(shí)別效果最好，所以本文選擇的DBN層數(shù)為2層且迭代次數(shù)為1 000。

3.2 ?不同算法的對(duì)比

為了證明該算法的分類性能和有效性，分別在ORL和YALE人臉數(shù)據(jù)庫中進(jìn)行實(shí)驗(yàn)，把改進(jìn)后的算法與PCA，LDA，SVM，LBP，DBN，LBP+DBN六種算法進(jìn)行對(duì)比，不同算法在ORL和YALE人臉庫上識(shí)別準(zhǔn)確率如圖8所示。

由圖8可得：該算法跟其他傳統(tǒng)方法比較而言有更強(qiáng)的識(shí)別能力;DBN算法和LBP+DBN算法的比較，表明以LBP特征向量作為輸入訓(xùn)練DBN，能夠使網(wǎng)絡(luò)充分提取人臉局部關(guān)鍵信息，克服DBN忽略人臉局部結(jié)構(gòu)的缺陷，得到更好的識(shí)別效果;LBP算法和LBP+DBN算法的比較，體現(xiàn)深度神經(jīng)網(wǎng)絡(luò)具備極佳的學(xué)習(xí)能力;比較LBP+DBN算法和SLBP+DBN算法。實(shí)驗(yàn)表明SLBP+DBN算法在ORL和YALE人臉庫上均能得到90%以上的識(shí)別率，后者比前者能有效利用人臉紋理信息，得到非常好的特征表達(dá)效果，表明SLBP算法的優(yōu)越性。

3.3 ?不同光照條件實(shí)驗(yàn)

為進(jìn)一步證明該算法的有效性，在光照差異較大的YALE?B人臉庫上進(jìn)行實(shí)驗(yàn)，驗(yàn)證該算法對(duì)光照變化的魯棒性。

從圖9得到結(jié)論，在光照差異較大情況下，該算法能夠得到95%的識(shí)別準(zhǔn)確率，相較于其他算法有較高的識(shí)別率，灰度尺度不隨任何單一變換而變化，因此灰度尺度的魯棒性好，即對(duì)光照的魯棒性較強(qiáng)。

4 ?結(jié) ?論

針對(duì)傳統(tǒng)人臉識(shí)別方法不能充分利用人臉特征信息、識(shí)別誤差大的問題，在LBP基礎(chǔ)上加以改進(jìn)為SLBP算法，使人臉局部紋理信息被充分提取，提高識(shí)別率、增強(qiáng)魯棒性。同時(shí)，將SLBP特征向量作為DBN的輸入，能夠?qū)W習(xí)到更抽象、更有區(qū)分性的特征，減少深度網(wǎng)絡(luò)對(duì)于不利特征的學(xué)習(xí)，避免冗余信息，減少訓(xùn)練網(wǎng)絡(luò)時(shí)間，并彌補(bǔ)DBN不能很好學(xué)習(xí)人臉局部紋理結(jié)構(gòu)的不足。但是，該算法在實(shí)驗(yàn)過程中訓(xùn)練時(shí)間和測(cè)試時(shí)間與其他算法相比沒有明顯優(yōu)勢(shì)，后續(xù)將對(duì)此問題做進(jìn)一步的研究，確保準(zhǔn)確率的同時(shí)，突出算法在識(shí)別時(shí)間上的優(yōu)勢(shì)。

參考文獻(xiàn)

[1] 周艷杰，馬麗.基于眼底虹膜圖像的身份特征優(yōu)化識(shí)別仿真[J].計(jì)算機(jī)仿真，2016，33（8）：448?452.

ZHOU Yanjie， MA Li. Based on the fundus iris image identity recognition simulation optimization [J]. Computer simulation， 2016， 33（8）： 448?452.

[2] 郭賀飛，陸建峰，董忠汶.一種基于改進(jìn)LBP特征的人臉識(shí)別[J].現(xiàn)代電子技術(shù)，2015，38（4）：98?101.

GUO Hefei， LU Jianfeng， DONG Zhongwen. Face recognition method based on improved LBP algorithm [J]. Modern electronics technique， 2015， 38（4）： 98?101.

[3] LE T H. On approaching heuristic weight mask to enhance LBP?based profile face recognition system [J]. Indian journal of science and technology， 2016， 9（17）： 1?7.

[4] 胡敏，余子璽，王曉華，等.G?LBP和方差投影交叉熵的人臉識(shí)別[J].圖學(xué)學(xué)報(bào)，2017，38（1）：82?89.

HU Min， YU Zixi， WANG Xiaohua， et al. G?LBP and variance cross projection function for face recognition [J]. Journal of graphics， 2017， 38（1）： 82?89.

[5] 蔣魯寧.機(jī)器學(xué)習(xí)、深度學(xué)習(xí)與網(wǎng)絡(luò)安全技術(shù)[J].中國(guó)信息安全，2016（5）：94.

JIANG Luning. Machine learning， deep learning and network security technology [J]. China information security， 2016（5）： 94.

[6] KATO T， HINO H， MURATA N. Multi?frame image super resolution based on sparse coding [J]. Neural networks， 2015， 66： 64?78.

[7] 盧宏濤，張秦川.深度卷積神經(jīng)網(wǎng)絡(luò)在計(jì)算機(jī)視覺中的應(yīng)用研究綜述[J].數(shù)據(jù)采集與處理，2016，31（1）：1?17.

LU Hongtao， ZHANG Qinchuan. Applications of deep convolutional neural network in computer vision [J]. Journal of data acquisition & processing， 2016， 31（1）： 1?17.

[8] HINTON G E， OSINDERO S， TEH Y W. A fast learning algorithm for deep belief nets [J]. Neural computation， 2006， 18（7）： 1527?1554.

[9] DIAO W， SUN X， ZHENG X， et al. Efficient saliency?based object detection in remote sensing images using deep belief networks [J]. IEEE geoscience and remote sensing letters， 2016， 13（2）： 137?141.

[10] 冀中，聶林紅.基于抗噪聲局部二值模式的紋理圖像分類[J].計(jì)算機(jī)研究與發(fā)展，2016，53（5）：1128?1135.

JI Zhong， NIE Linhong. Texture image classification with noise?tolerant local binary pattern [J]. Journal of computer research and development， 2016， 53（5）： 1128?1135.

[11] TOPI M， TIMO O， MATTI P， et al. Robust texture classification by subsets of local binary patterns [C]// Proceedings of 15th International Conference on Pattern Recognition. Barcelona： IEEE， 2000： 3947?3950.

[12] 賀永剛.基于局部二值模式的紋理表達(dá)研究[D].武漢：華中科技大學(xué)，2012.

HE Yonggang. Research on texture expression based on local binary pattern [D]. Wuhan： Huazhong University of Science and Technology， 2012.