基于局部二值模式與深度置信網(wǎng)絡(luò)的人臉識(shí)別

滿(mǎn)忠昂 劉紀(jì)敏 孫宗錕

摘? 要：針對(duì)現(xiàn)在的大多算法在提取人臉特征時(shí)直接提取整個(gè)人臉，而忽略局部的細(xì)節(jié)特征，提出一種將人臉圖像進(jìn)行分塊局部運(yùn)用LBP算子然后與深度置信網(wǎng)絡(luò)結(jié)合的人臉識(shí)別算法（BPBN）。首先，將人臉圖像進(jìn)行分塊，對(duì)分塊后的圖像提取LBP進(jìn)行統(tǒng)計(jì)，將生成的LBP直方圖按照一定秩序組合連接成新的特征向量。其次，將得到的LBP特征作為深度置信網(wǎng)絡(luò)（DBN）的輸入，采用貪婪算法逐層進(jìn)行訓(xùn)練，然后用反向傳播（BP）算法對(duì)訓(xùn)練得到的深度置信網(wǎng)絡(luò)進(jìn)行優(yōu)化。最后，用訓(xùn)練好的深度置信網(wǎng)絡(luò)對(duì)人臉進(jìn)行識(shí)別。在ORL人臉數(shù)據(jù)庫(kù)上進(jìn)行實(shí)驗(yàn)，識(shí)別率達(dá)到96.0%，然后與傳統(tǒng)的主成分分析（PCA）算法集成支持向量機(jī)（SVM）的方法進(jìn)行相比，識(shí)別率有較為顯著的提升，說(shuō)明該方法具有更好的人臉識(shí)別效果。

關(guān)鍵詞：局部二值模式;人臉識(shí)別;受限波爾茲曼機(jī);深度置信網(wǎng)絡(luò)

中圖分類(lèi)號(hào)：TP183? ? ?文獻(xiàn)標(biāo)識(shí)碼：A

Abstract： In view of the fact that most current algorithms directly extract the entire face when extracting face features， and ignore local detailed features， this paper proposes BPBN， a face recognition algorithm that uses the LBP operator to divide the face image into blocks and then combines it with deep belief networks algorithm. First， the face image is divided into blocks， and the LBP is extracted from the divided images for statistics， and the generated LBP histograms are combined in a certain order to form a new feature vector. Secondly， the obtained LBP features are used as the input of Deep Belief Network （DBN）， and the greedy algorithm is used to train layer by layer， and then the back propagation （BP） algorithm is used to optimize the trained deep confidence network. Finally， the trained deep belief network is used to recognize faces. Experiments on the ORL face database show that the recognition rate reaches 96.0%， significantly improved compared with the traditional principal component analysis （PCA） algorithm integrated support vector machine （SVM） method， which indicates that the method has better face recognition results.

Keywords： local two value model; face recognition; restricted Boltzmann machine; Deep Belief Network （DBF）

1? ?引言（Introduction）

人臉識(shí)別是計(jì)算機(jī)視覺(jué)領(lǐng)域的重點(diǎn)研究課題，人臉識(shí)別的實(shí)際應(yīng)用：由人臉識(shí)別衍生出來(lái)的人臉檢索、人臉校驗(yàn)等應(yīng)用被廣泛用于家居安防、人機(jī)交互、公安部門(mén)等重要行業(yè)。隨著計(jì)算機(jī)計(jì)算速度的增加和人工智能的發(fā)展，人臉識(shí)別算法發(fā)展迅速[1-6]，對(duì)各行各業(yè)的影響都非常大，能夠積極提高人們生活各方面的方便性和安全性等。

人臉識(shí)別就是對(duì)人臉圖像的特征信息進(jìn)行識(shí)別的技術(shù)，在這個(gè)過(guò)程中，對(duì)人臉圖像進(jìn)行信息的提取和檢測(cè)，進(jìn)而來(lái)進(jìn)行身份識(shí)別。人臉識(shí)別的傳統(tǒng)方法比較常見(jiàn)的是基于幾何結(jié)構(gòu)方法，該方法通過(guò)對(duì)人臉面部的幾何信息進(jìn)行提取為相應(yīng)的幾何結(jié)構(gòu)，對(duì)結(jié)構(gòu)進(jìn)行詳細(xì)分析和處理，通過(guò)幾何特征矢量來(lái)反映面部幾何信息，從而進(jìn)行相應(yīng)的信息匹配。此傳統(tǒng)方法難點(diǎn)在于如何精確地對(duì)特征信息進(jìn)行匹配，要求比較高也使得該方法適應(yīng)性不足[7-9]。因此，Sirovich等人提出了PCA應(yīng)用和基于主成分分析的特征臉?lè)椒╗10，11]，該方法保留了人臉圖像信息之間的幾何關(guān)系和部分局部特征，在整體人臉特征信息提取的情況下，還具有計(jì)算量小、描述能力強(qiáng)、可分性好等優(yōu)點(diǎn)。基于局部特征方法：該方法主要包括局部二值模式（LBP）、Gabor變換[12]。這兩種局部特征方法各有優(yōu)劣，局部二值模式算法能夠快速計(jì)算，對(duì)光照強(qiáng)度的改變等感應(yīng)不敏感，不足之處在于位置方向的改變以及聲音方面的敏感性都不是很突出。而Gabor變換算法與局部二值模式算法有很大不同，該算法具有對(duì)光照改變的不敏感，以及更全面提取特征信息的特點(diǎn)，但是計(jì)算量大且耗時(shí)，產(chǎn)生的冗余度比較大。

本文根據(jù)上述不足，提出BPBN模型，該模型通過(guò)分塊提取人臉圖像的LBP特征統(tǒng)計(jì)生成LBP直方圖，然后將得到的LBP特征作為深度置信網(wǎng)絡(luò)（DBN）的輸入，采用貪婪算法逐層進(jìn)行訓(xùn)練，然后用反向傳播（BP）算法對(duì)訓(xùn)練得到的深度置信網(wǎng)絡(luò)進(jìn)行優(yōu)化;最后，用訓(xùn)練好的深度置信網(wǎng)絡(luò)對(duì)人臉進(jìn)行識(shí)別。在ORL人臉數(shù)據(jù)庫(kù)上進(jìn)行實(shí)驗(yàn)，通過(guò)實(shí)驗(yàn)表明該方法比PCA+SVM的方法具有更好的人臉識(shí)別效果。

2? ?LBP算子和深度學(xué)習(xí)理論（LBP operator and deep learning theory）

2.1? ?LBP算子

LBP是一種紋理描述算子。在LBP算子定義中，是通過(guò)選取一個(gè)3×3的區(qū)域，在這個(gè)區(qū)域中包含一個(gè)中心像素，將閾值用中心像素來(lái)進(jìn)行設(shè)置，這個(gè)區(qū)域內(nèi)的其他像素與閾值進(jìn)行對(duì)比，進(jìn)一步得到二進(jìn)制碼，得到的二進(jìn)制碼可以描述圖像的局部特征。二進(jìn)制碼的具體步驟為：大于閾值的，用1表示，反之用0表示。按照這種步驟得出的結(jié)果，通過(guò)順時(shí)針的方式進(jìn)行放置，得出一個(gè)8位的二進(jìn)制碼，為了得到中心像素的LBP值，通過(guò)換為十進(jìn)制的方式實(shí)現(xiàn)。

在大小為3×3的區(qū)域上的LBP模式在實(shí)際應(yīng)用中受到了一定程度的限制，主要原因在于：

（1）對(duì)于3×3這個(gè)區(qū)域大小，在實(shí)際應(yīng)用的圖像中顯得太小，不能更好地描述局部特征;

（2）在選取的那個(gè)區(qū)域系統(tǒng)上，不容易旋轉(zhuǎn)不變特征的處理。

為了解決上述問(wèn)題（1），通過(guò)將3×3的區(qū)域擴(kuò)展為任意鄰域的方式，得到可變區(qū)域LBP。如果用P表示鄰域點(diǎn)的個(gè)數(shù)，R表示圓形鄰域的半徑，新的LBP算子表示為。

從LBP算子的定義能夠得出，通過(guò)比較得出二進(jìn)制模式的個(gè)數(shù)與鄰域集中的采樣個(gè)數(shù)密切相關(guān)，例如會(huì)產(chǎn)生種模式。通過(guò)增加鄰域采樣點(diǎn)個(gè)數(shù)，二進(jìn)制模式的個(gè)數(shù)是幾何增長(zhǎng)的。針對(duì)這個(gè)問(wèn)題，對(duì)二進(jìn)制模式進(jìn)行改進(jìn)，提出等價(jià)模式，也稱(chēng)為均勻LBP。等價(jià)模式的原理就是將LBP算子所得的二進(jìn)制序列進(jìn)行首尾連接，當(dāng)存在序列從0到1或是從1到0的變化不超過(guò)2次的情況。例如：00000000（0位轉(zhuǎn)變）、01110000（2位轉(zhuǎn)變）、11001111（2位轉(zhuǎn)變）是等價(jià)模式，而11001001（4位轉(zhuǎn)變）、01010010（6位轉(zhuǎn)變）這種就不能叫作等價(jià)模式。通過(guò)優(yōu)化的二進(jìn)制模式，種數(shù)變?yōu)?，在一定程度上降低了特征信息的維數(shù)，經(jīng)過(guò)統(tǒng)計(jì)，均勻LBP在整個(gè)的LBP特征中占85%—90%，所以不會(huì)對(duì)數(shù)據(jù)信息的遺漏，還會(huì)減少高頻噪聲的影響。

提取整個(gè)圖像的LBP信息形成直方圖來(lái)描述人臉特征時(shí)，只能得到圖像的整體紋理和輪廓特征，而圖像的具體特征細(xì)節(jié)得不到充分地描述。針對(duì)這個(gè)問(wèn)題，分塊思想被提出，將圖像分塊的基本思想是，在圖像的局部區(qū)域運(yùn)用LBP算子，然后把在每一個(gè)局部區(qū)域產(chǎn)生的直方圖進(jìn)行組合形成一個(gè)新的特征向量。通過(guò)這種方式，整個(gè)圖像就由很多個(gè)統(tǒng)計(jì)直方圖來(lái)進(jìn)行表示。分塊LBP直方圖的提取過(guò)程如下：

（1）對(duì)實(shí)驗(yàn)數(shù)據(jù)進(jìn)行分塊處理，將實(shí)驗(yàn)圖像分為（N×N），如圖2所示。

（2）分塊處理之后對(duì)每一部分進(jìn)行LBP提取，從而生成LBP直方圖，如圖3所示。

（3）通過(guò)（1）（2）得到多個(gè)直方圖，按照得到的順序進(jìn)行排列，形成一個(gè)新的特征向量。

2.2? ?受限玻爾茲曼機(jī)

受限玻爾茲曼機(jī)（RBM）是一種特殊形式的玻爾茲曼機(jī)，從本質(zhì)上說(shuō)，它是一個(gè)隨機(jī)的二值化對(duì)稱(chēng)連接的神經(jīng)網(wǎng)絡(luò)。能夠把無(wú)向圖的所有節(jié)點(diǎn)劃分成兩層，在一層中的節(jié)點(diǎn)之間是不相連的，層與層之間的節(jié)點(diǎn)互相連接。其結(jié)構(gòu)如圖4所示。

RBM網(wǎng)絡(luò)結(jié)構(gòu)是由兩層構(gòu)成的，通過(guò)向量表示層。第一層通過(guò)可見(jiàn)單元（顯元）構(gòu)成的可視層，記為v，這可以成為數(shù)據(jù)的輸入;第二層通過(guò)可見(jiàn)隱單元（隱元）構(gòu)成的隱藏層，記為h，這可以在數(shù)據(jù)的特征提取中發(fā)揮作用。第一層和第二層的節(jié)點(diǎn)之間的連接權(quán)重矩陣為W，權(quán)重為對(duì)稱(chēng)連接，即Wij=Wji。

其中，是RBM的參數(shù)，這些參數(shù)均為實(shí)數(shù)。其中Wij表示第i個(gè)顯元與第j個(gè)隱元之間的連接權(quán)重，ci表示第i個(gè)單元的偏置，bj表示第j個(gè)單元的偏置。通過(guò)無(wú)向圖能夠看出，（v，h）的聯(lián)合概率密度用式子可表示為：

2.3? ?深度置信網(wǎng)絡(luò)

深度置信網(wǎng)絡(luò)（Deep Belief Network， DBN）是一種深度神經(jīng)網(wǎng)絡(luò)模型，這個(gè)模型是用概率來(lái)對(duì)數(shù)據(jù)進(jìn)行輸出結(jié)果的。模型在訓(xùn)練初期，要得到每個(gè)神經(jīng)元的初始權(quán)重，運(yùn)用無(wú)監(jiān)督學(xué)習(xí)方法來(lái)進(jìn)行計(jì)算，得到初始值之后，在這基礎(chǔ)上運(yùn)用監(jiān)督學(xué)習(xí)方法來(lái)對(duì)數(shù)據(jù)進(jìn)行學(xué)習(xí)，從而得到整個(gè)神經(jīng)網(wǎng)絡(luò)的權(quán)值。

DBN由多層的受限玻爾茲曼機(jī)（RBM）累疊而成，每個(gè)隱藏層都RBM的一個(gè)可視層和一個(gè)隱層構(gòu)成。層跟層的神經(jīng)元是全部連接的，在每層中的神經(jīng)元是不聯(lián)系的。在網(wǎng)絡(luò)中，最上面兩層的神經(jīng)元連接是無(wú)向的，剩下的層中連接是有向的，在最下面一層對(duì)數(shù)據(jù)向量進(jìn)行表示，有多少個(gè)神經(jīng)元就代表該數(shù)據(jù)向量有多少維度。用聯(lián)合概率分布表示輸入向量v和隱含向量h之間的關(guān)系：

在深度置信網(wǎng)絡(luò)工作時(shí)，第一步進(jìn)行預(yù)訓(xùn)練，得到初始權(quán)重;第二步在網(wǎng)絡(luò)后期學(xué)習(xí)中，進(jìn)行參數(shù)的調(diào)整。

網(wǎng)絡(luò)工作的具體流程為：首先在可見(jiàn)層輸入數(shù)據(jù)，產(chǎn)生一個(gè)向量v然后傳遞給隱層。隱層由多個(gè)RBM組成，首先由最底層的RBM的隱藏單元對(duì)可視單元重新構(gòu)造，然后對(duì)下一層的RBM的隱藏單元進(jìn)行傳遞，通過(guò)無(wú)監(jiān)督的貪婪訓(xùn)練方法逐層訓(xùn)練獲得整個(gè)DBN的模型，然后對(duì)模型進(jìn)行參數(shù)的調(diào)整，從而優(yōu)化完成，得到最終的網(wǎng)絡(luò)模型。可以把具體流程分為兩個(gè)部分：預(yù)訓(xùn)練和參數(shù)調(diào)整。

3? 實(shí)驗(yàn)結(jié)果及分析（Experimental results and analysis）

3.1? ?BPBN模型

BPBN模型主要功能包括了局部二值模式和置信網(wǎng)絡(luò)，模型先將圖片分塊，之后對(duì)分塊進(jìn)行特征提取，統(tǒng)計(jì)分塊直方圖，之后組成全局特征向量，并將其作為模型輸入數(shù)據(jù)放入置信網(wǎng)絡(luò)進(jìn)行參數(shù)訓(xùn)練，之后根據(jù)后向傳播算法對(duì)參數(shù)進(jìn)行誤差調(diào)整，后通過(guò)輸出層分類(lèi)，模型框架如圖5所示。

3.2? ?實(shí)驗(yàn)環(huán)境和結(jié)果分析