基于深度學(xué)習(xí)的局部方向人臉識別算法研究?

公維軍 吳建軍 李曉霞 李曉旭

（1.河西學(xué)院信息技術(shù)與傳媒學(xué)院 張掖 734000）（2.蘭州理工大學(xué)計算機(jī)與通信學(xué)院 蘭州 730050）

1 引言

隨著人工智能技術(shù)的不斷普及和發(fā)展，身份識別得到了廣泛的發(fā)展和應(yīng)用。人臉識別作為生物識別技術(shù)其自然性和無侵犯性等優(yōu)點得到了廣泛的共識和應(yīng)用，在眾多領(lǐng)域的如人機(jī)交互、門禁系統(tǒng)、安防、交通駕駛安全、虛擬游戲互動、金融等領(lǐng)域應(yīng)用越來越廣泛，其重要性不言而喻。因此，對于人臉識別的研究越來越受到眾多學(xué)者的重視，也是當(dāng)前研究的一個熱點。

傳統(tǒng)識別算法如主成分分析（PCA）和線性判別分析（LDA）是人臉識別中上最常見的兩個算法［1］。但對人臉特征的細(xì)節(jié)的把握和對外部因素的影響如光照、表情及姿態(tài)等的處理不夠友好，局部性能不佳。近年來 LBP（Local binary patter）［2］算法由于具有良好的紋理描述，計算簡單和運算速度快在人臉識別、表情識別中得到了廣泛的應(yīng)用。但該算法對光照變化和隨機(jī)噪聲適應(yīng)能力不足。后續(xù)有學(xué)者提出了 MB-LBP、CSLBP 等改進(jìn)算法［3～4］。學(xué)者Jabid在LBP基礎(chǔ)上提出了LDP（Local Directional Patterns）［5］局部定向模式算法，該算法使用模板卷積獲得邊緣梯度信息，因此對于具有隨機(jī)噪聲和非一致性光照變化的人臉圖像具有良好的特征提取能力。

最近，深度學(xué)習(xí)［6～7］作為機(jī)器學(xué)習(xí)領(lǐng)域熱門的研究方向，由于可以模擬大腦的深度組織結(jié)構(gòu)，通過組合低層特征形成更抽象、更有效的高層表示，被應(yīng)用在視覺識別領(lǐng)域。由Hinton于2006年提出的典型的深度學(xué)習(xí)算法DBN（Deep Belief Network）［8］深度信念網(wǎng)絡(luò)，通過不斷的自上而下學(xué)習(xí)各層的抽象特征，進(jìn)而最終得到特征的非線性描述。但是由于DBN忽略了圖像的局部特性，若直接以像素級特征輸入，受外部噪聲影響很可能學(xué)習(xí)不到有效的特征。部分學(xué)者針對這些問題提出將LBP紋理特征作為DBN的輸入，在人臉識別中能夠取得一定的效果［9～10］。本文針對LBP作為對人臉特征具有光照和噪聲不穩(wěn)定性等特點及單一算法在識別率上的限制等問題，同時為了提取更具選擇性的人臉特征和降低網(wǎng)絡(luò)學(xué)習(xí)復(fù)雜度，提出更具有選擇性的局部方向人臉特征算法LLDP（Local-LDP）對局部敏感特征進(jìn)行分塊式局部方向特征提取，最后將聯(lián)合特征送入DBN進(jìn)行深度學(xué)習(xí)和自動特征提取，實驗證明本文提出的算法對細(xì)節(jié)和層次的把握能力更強(qiáng)，能夠獲得更好的識別率，魯棒性更強(qiáng)。

2 基于深度學(xué)習(xí)的局部方向人臉識別算法

2.1 局部敏感信息

傳統(tǒng)人臉識別算法在進(jìn)行人臉識別前，只是進(jìn)行簡單的裁剪，進(jìn)行全局特征提取，或?qū)⒄w圖像進(jìn)行平均分塊，在經(jīng)過特征提取后在獲取直方圖后進(jìn)行拼接，雖然增強(qiáng)了特征的局部性能，但也帶來了處理時間長，冗余信息多，圖像噪聲影響識別率。本文在綜合上述方法優(yōu)缺點的基礎(chǔ)上，提出基于敏感信息的人臉特征提取方法。人臉在識別當(dāng)中最突出的特征在于眼睛、眉毛、鼻子、嘴巴及下巴，這部分的能量差異性尤其是眉形、眼形、鼻溝的深淺、鼻孔的變化、嘴型、下巴的形狀等在各類人臉中都呈現(xiàn)尤為明顯，這類差異性可以成為人臉判別的重要標(biāo)準(zhǔn)之一。因此，結(jié)合傳統(tǒng)人臉識別的思想，同時為了進(jìn)一步減小直接預(yù)處理后的圖像的復(fù)雜度和冗余度較高的問題，我們采用將眼、眉、嘴、鼻、下巴這部分具有重要甄別特征的人臉敏感部位單元共同作用于人臉識別進(jìn)行處理中，為下一步特征提取打好基礎(chǔ)。文中采用adaboost［11］方法進(jìn)行各部位的迅速定位，如圖1所示。

圖1 人臉敏感特征區(qū)域提取

2.2 LDP

LDP局部方向模式由Jabid等在2010年在LBP算法的基礎(chǔ)上提出，繼承了LBP算法計算速度塊和適用范圍廣等特點，能夠有效提取人臉圖像的紋理特征。LBP算法是對于人臉圖像中的任意一點p(xi，yi)，定義一個以該像素點為中心的3×3的矩陣區(qū)域，順時針讀取其周圍的8個像素點的值，通過式（1）得到該像素點的二進(jìn)制編碼。

其中，(i，j)代表像素坐標(biāo)，gp和gc分別代表鄰接像素和中心像素灰度值，s(x)為符號函數(shù)，對于基本LBP的鄰接數(shù)為8。

圖2 LBP編碼

圖2 中代表以中心像素115組成的3×3區(qū)域根據(jù)LBP算法得到的最終LBP二進(jìn)制編碼00101010，對應(yīng)十進(jìn)制為42。

但是LBP算法雖然對于一致性光照變化不敏感，但是對于包含隨機(jī)噪聲與非一致性光照變化的圖像，在特征提取性能上反而變壞［12］，而LDP算法卻在這方面有自己獨特的優(yōu)勢，如圖5所示，該算法在細(xì)節(jié)和光照的處理明顯比LBP具有優(yōu)勢，具有更強(qiáng)的特征提取能力。該方法通過計算像素點在8個方向上的邊緣響應(yīng)值來計算LDP值，選取Krisch算子進(jìn)行卷積運算得到相應(yīng)的邊緣梯度值，構(gòu)成了8位的二進(jìn)制編碼。

圖3 Krisch算子模板集合

如圖3所示，通過將每個像素分別與Krisch算子8個方向模板進(jìn)行卷積運算，可得到8個LDP值，對這8個邊緣梯度值取絕對值進(jìn)行排序，取前k個最大的值作為特征值（通過實驗論證本文中取k=3效果最佳），并賦值為1，其余（8-k）個賦值為0，最終得到一個8位的2進(jìn)制LDP編碼。如式（2）所示:

具體編碼過程如圖4所示。

圖4 LDP編碼

圖中設(shè)置LDP編碼取k=3個邊緣梯度模值的絕對值為1，其余為0。最終的LDP對應(yīng)2進(jìn)制編碼為:00010011，對應(yīng)十進(jìn)制為21。

圖5 原始圖、LBP、LDP編碼特征圖

2.3 深度信念網(wǎng)絡(luò)（DBN）

深度信念網(wǎng)絡(luò)（DBN）屬于一種深度學(xué)習(xí)模型，是Hinton等學(xué)者在受限玻爾茲曼機(jī)（RBM）［13］基礎(chǔ)上提出的學(xué)習(xí)模型。它實質(zhì)上是將多個RBM疊堆，前一層作輸出作為后一層的輸入進(jìn)而構(gòu)成深度玻爾茲曼機(jī)RBMs，即深度信念網(wǎng)絡(luò)。每個RBM由一層可視層單元和隱藏層單元組成的隨機(jī)神經(jīng)網(wǎng)絡(luò)，在隱藏層中每一層從前一層的隱藏單元捕獲高度的關(guān)聯(lián)性，其中在可視層和隱藏層中每個神經(jīng)元之間的狀態(tài)是條件獨立的。利用構(gòu)建包括多層非線性映射的深度網(wǎng)絡(luò)來模擬人腦結(jié)構(gòu)與認(rèn)知過程，采用非監(jiān)督的方式實現(xiàn)對輸入層逐層抽象的特征提取。在網(wǎng)絡(luò)最后一層采用有監(jiān)督BP網(wǎng)絡(luò)實現(xiàn)對整體網(wǎng)絡(luò)的參數(shù)調(diào)整與分類。

受限玻爾茲曼機(jī)（RBM）作為DBN的堆疊組成單元，它在一組給定狀態(tài) (v，h)，實際參數(shù)θ=(ai，bj，wij)下的能量表達(dá)式為

m和n分別代表可見層和隱藏層的神經(jīng)元個數(shù)，ai和bj分別表示可見層和隱藏層神經(jīng)元的偏置值，hj和vi分別為可見層中第i個和隱藏層中第j個神經(jīng)元的狀態(tài)，wij表示連接可見層和隱藏層的各個神經(jīng)元網(wǎng)絡(luò)的權(quán)值。當(dāng)θ確定時，隨機(jī)變量(v，h)的聯(lián)合概率分布為

在可見層概率分布給定的情況下，通過條件概率即可得出隱藏層第j個神經(jīng)元hj的激活因子概率為

同理，對于隱藏層給定的條件下，可見層第i個神經(jīng)元vi的激活因子概率為

其中σ(x)即Sigmoid函數(shù)，取值范圍在［0，1］之間。

對于一個具有l(wèi)層的DBN，可視層和隱藏層單元的聯(lián)合分布為

根據(jù)上式，設(shè)k∈(1，2…l)，則第k和k+1層隱藏單元的關(guān)系滿足以下條件:

其中為第k和k+1層的權(quán)值為第k層的偏置。

DBN在具體學(xué)習(xí)過程可分為:預(yù)訓(xùn)練階段和微調(diào)階段兩個階段。預(yù)訓(xùn)練階段是采用無監(jiān)督訓(xùn)練方式對RBMs從第一層到最后一層逐層訓(xùn)練，前一層RBM的輸出作為后一層RBM的輸入；在微調(diào)階段則是將RBMs訓(xùn)練得到的網(wǎng)絡(luò)參數(shù)值作為整體網(wǎng)絡(luò)參數(shù)對BP網(wǎng)絡(luò)進(jìn)行初始化，該階段采用有監(jiān)督的學(xué)習(xí)方法對BP網(wǎng)絡(luò)進(jìn)行訓(xùn)練。最終將BP網(wǎng)絡(luò)訓(xùn)練的輸出標(biāo)簽與實際標(biāo)簽產(chǎn)生的誤差逐層反向傳播，達(dá)到對整個DBN網(wǎng)絡(luò)參數(shù)進(jìn)行微調(diào)的目的。DBN的結(jié)構(gòu)如圖6所示。

圖6 深度信念網(wǎng)絡(luò)（DBN）示意圖

2.4 LLDP+DBN算法描述

本文將局部敏感信息特別應(yīng)用在局部方向算法當(dāng)中，在利用深度學(xué)習(xí)算法DBN進(jìn)行學(xué)習(xí)，最終獲得識別結(jié)果。具體算法如下:

1）采用2.1中的方法對人臉圖像中的關(guān)鍵敏感人臉特征進(jìn)行分塊處理，獲得眼、眉、鼻、嘴和下巴局部關(guān)鍵區(qū)域；

2）利用LDP算法對以上5個局部敏感區(qū)域進(jìn)行人臉特征提取，獲得每一個子塊的LDP特征，將該5個區(qū)域的直方圖進(jìn)行首尾相連，最終形成樣本的局部敏感LDP特征即LLDP特征；

3）將訓(xùn)練樣本的LLDP特征作為DBN的可視層的輸入，通過對DBN網(wǎng)絡(luò)進(jìn)行逐層訓(xùn)練，在該算法當(dāng)中，根據(jù)實驗設(shè)置DBN的層數(shù)為2層，第一層迭代次數(shù)為45次，學(xué)習(xí)率為0.0025，第2層迭代次數(shù)為45次，學(xué)習(xí)率為0.003。

4）在深度網(wǎng)絡(luò)訓(xùn)練完后，將測試樣本的LLDP紋理特征作為DBN可視層輸入，采用經(jīng)過參數(shù)優(yōu)化后的網(wǎng)絡(luò)由下向上逐層次學(xué)習(xí)并最終提取測試樣本的人臉特征，最終在網(wǎng)絡(luò)頂層利用Softmax方法進(jìn)行回歸分類并獲得測試樣本的分類值，最終得到識別率。

3 實驗過程及分析

3.1 實驗過程

本文通過以下兩個實驗來對本文算法進(jìn)行實驗驗證，并在實驗中將本文算法與相關(guān)算法進(jìn)行了性能比較，在實驗前，所有的人臉圖像在剪切和校準(zhǔn)后，最終歸一化到32×32，為下一步算法區(qū)域定位與提取做好準(zhǔn)備。

實驗一:在ORL人臉庫［14］上進(jìn)行實驗測試。該人臉庫包括40人，其中每個人存在不同時間拍攝的10張92×112大小的人臉灰度圖像，包含不超過20度的人臉偏轉(zhuǎn)，如圖7所示。本文在實驗中，分別對于每個人隨機(jī)提取5張圖片作為訓(xùn)練圖片，其余5張作為測試圖片。不同算法在不同隱藏單元中的識別率如表1所示。

表1 各種算法在ORL庫中不同隱藏單元的識別率

圖8 ORL中不同隱藏單元識別率

實驗二:在MIT-CBCL人臉庫進(jìn)行實驗驗證。MIT-CBCL庫是一組由10人構(gòu)成的圖像庫，總共2000個圖像序列，對于每個人都包含有200張115×115大小的一系列的人臉圖像，最大轉(zhuǎn)向達(dá)到30度，包含各類表情，實驗數(shù)據(jù)十分豐富［15］，如圖9所示。算法選擇其中10人進(jìn)行測試實驗，每人選取20張不同的人臉圖像進(jìn)行試驗。選取其中每個人10張作為訓(xùn)練樣本，另外10張作為測試樣本。相對應(yīng)不同隱藏單元的實驗結(jié)果如表2所示。

圖9 MIT-CBCL人臉數(shù)據(jù)庫樣本

表2 各種算法在MIT-CBCL庫中不同隱藏單元的識別率

圖10 MIT-CBCL中不同隱藏單元識別率

為了更好地體現(xiàn)本文算法在不同圖庫中與其他相應(yīng)算法在性能上的表現(xiàn)差異，本文設(shè)計了不同算法對照實驗，識別性能對照如表3所示。

表3 各種算法人臉庫中識別性能對比

3.2 實驗分析

從表1可知，當(dāng)隱藏單元較少時，同樣深度網(wǎng)絡(luò)不能較為準(zhǔn)確學(xué)習(xí)到人臉圖像的判別信息，而當(dāng)隱藏單元數(shù)不斷增加，網(wǎng)絡(luò)學(xué)習(xí)到的特征越來越充分和精確，當(dāng)隱藏單元數(shù)達(dá)到5000時，該網(wǎng)絡(luò)學(xué)習(xí)到的人臉圖像特征具有更強(qiáng)的判別性。表2既體現(xiàn)了實驗一算法的優(yōu)勢，由于MIT-CBCL圖庫相比ORL圖庫，尤其在光照的變化上幅度較大，由于應(yīng)用了LLDP這類對光照更有魯棒性的算法，局部特征的選擇性更強(qiáng)，所以也體現(xiàn)出了良好的識別率。

如表3所示，通過算法對比兩個圖庫，MIT-CBCL人臉中的圖像表情更豐富，偏轉(zhuǎn)幅度相對ORL庫較大，所以實驗二結(jié)果整體比實驗一識別率略有下降。但從兩個實驗綜合分析，本文提出的LLDP+DBN算法識別率要高于傳統(tǒng)的PCA、LDP和DBN算法，比原始混合算法有更好的表現(xiàn)，算法盡可能地利用深度學(xué)習(xí)的優(yōu)勢通過模擬人腦大腦組織來學(xué)習(xí)最具甄別性的局部敏感人臉信息，減少了冗余信息，也對分類保留了最佳特性信息，實驗很好地體現(xiàn)了該算法的有效性和優(yōu)良性。

4 結(jié)語

本文提出了針對局部敏感信息的基于深度學(xué)習(xí)的局部方向人臉識別算法，利用LLDP算法定位最具辨別性的人臉局部敏感區(qū)域進(jìn)行分塊，借助算法良好的紋理和抗干擾特性對其進(jìn)行特征提取，依次相互連接形成最大化特征臉后送入學(xué)習(xí)性能優(yōu)秀的深度信念網(wǎng)絡(luò)DBN進(jìn)行學(xué)習(xí)，最終取得良好的分類效果。算法分別在ORL和MIT-CBCL人臉庫上進(jìn)行了實驗驗證，本文算法在光照、姿態(tài)、表情等各類因素下具有較好的識別性能，驗證了本文所提算法的有效性和可行性。同時，對于今后的研究，將選取對于實際中具有更大的隨機(jī)性和復(fù)雜性自然人臉的驗證研究；同時對于有遮擋及偏轉(zhuǎn)幅度較大補償算法的研究。該問題的研究也是人臉識別當(dāng)前的難點，也是當(dāng)前亟待重點解決的問題之一。