Gabor特征與深度信念網(wǎng)絡(luò)結(jié)合的人臉識(shí)別方法*

楊 瑞， 張?jiān)苽ィ?茍 爽， 支艷利

(昆明理工大學(xué) 信息工程與自動(dòng)化學(xué)院，云南 昆明 650504)

Gabor特征與深度信念網(wǎng)絡(luò)結(jié)合的人臉識(shí)別方法*

楊 瑞， 張?jiān)苽ィ?茍 爽， 支艷利

(昆明理工大學(xué) 信息工程與自動(dòng)化學(xué)院，云南 昆明 650504)

提出了一種基于Gabor特征和深度信念網(wǎng)絡(luò)(DBN)的人臉識(shí)別方法，通過(guò)提取Gabor人臉圖像的不同尺度圖進(jìn)行卷積融合，將融合后的特征圖作為DBN的輸入數(shù)據(jù)，訓(xùn)練多層來(lái)獲得更加抽象的特征表達(dá)，整個(gè)訓(xùn)練的過(guò)程中采用交差熵來(lái)微調(diào)DBN，模型的最頂層結(jié)合Softmax回歸分類器對(duì)抽取后的特征進(jìn)行分類。在AR人臉庫(kù)測(cè)試的實(shí)驗(yàn)結(jié)果表明：將Gabor特征與DBN結(jié)合應(yīng)用于人臉識(shí)別，其準(zhǔn)確率可高達(dá)92.7%，與其他淺層學(xué)習(xí)模型相比，DBN學(xué)習(xí)了數(shù)據(jù)的高層特征的同時(shí)還降低了特征維數(shù)，提高了分類器的分類精度，最終有效改善了人臉識(shí)別率。

Gabor特征； 深度學(xué)習(xí)； 受限玻爾茲曼機(jī)； 深度信念網(wǎng)絡(luò)； Softmax回歸分類器

0 引 言

人臉識(shí)別是模式識(shí)別和計(jì)算機(jī)視覺(jué)領(lǐng)域的研究熱點(diǎn)，作為一種重要生物識(shí)別技術(shù)，在信息安全領(lǐng)域有著很好的應(yīng)用前景。

近年來(lái)，基于局部的人臉特征提取研究成果主要包括局部二值模式(local binary pattern，LBP)[1]、Gabor小波[2]以及方向梯度直方圖(histogram of oriented gradient，HOG)[3]方法等。Gabor小波對(duì)位置誤差、光線等因素具有強(qiáng)的魯棒性，可提供良好的方向選擇性和尺度選擇性，可以很好地描述圖像的紋理信息，這些優(yōu)點(diǎn)使其成為目前最使其主流的人臉特征提取方法。文獻(xiàn)[4] 有效地結(jié)合了Gabor小波的特征抽取能力和支持向量機(jī)(SVM)的分類能力進(jìn)行人臉識(shí)別；文獻(xiàn)[5]采用Gabor小波與改進(jìn)的BP神經(jīng)網(wǎng)絡(luò)，但BP神經(jīng)網(wǎng)絡(luò)容易陷入局部最優(yōu)，使得人臉識(shí)別率并沒(méi)有明顯改善。這些學(xué)習(xí)方法都是淺層結(jié)構(gòu)算法，其局限性在于有限樣本和計(jì)算單元情況下對(duì)復(fù)雜函數(shù)的表示能力有限，針對(duì)復(fù)雜分類問(wèn)題其泛化能力受到一定制約。

區(qū)別于傳統(tǒng)的淺層學(xué)習(xí)，深度學(xué)習(xí)通過(guò)大數(shù)據(jù)來(lái)學(xué)習(xí)特征，逐層特征變換，能夠刻畫數(shù)據(jù)豐富的內(nèi)在信息。文獻(xiàn)[6]提出基于深度信念網(wǎng)絡(luò)(deep belief network,DBN)的多通道人臉識(shí)別算法， 把局部人臉圖像塊與Gabor濾波器組卷積融合，通過(guò)受限玻茲曼機(jī)(RBM)進(jìn)行數(shù)據(jù)擬合，提取圖像本質(zhì)特征，用降維后的特征向量訓(xùn)練DBN。文獻(xiàn)[7]采用了目前最熱的卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network,CNN)人臉識(shí)別方法，特征檢測(cè)層訓(xùn)練數(shù)據(jù)進(jìn)行學(xué)習(xí)， 特征映射層上神經(jīng)元權(quán)值相等，使得網(wǎng)絡(luò)可以并行學(xué)習(xí)，其布局更接近于實(shí)際的生物神經(jīng)網(wǎng)絡(luò)，權(quán)值共享降低了網(wǎng)絡(luò)的復(fù)雜性，多維輸入向量的圖像可以直接輸入網(wǎng)絡(luò)，避免了特征提取和分類過(guò)程中數(shù)據(jù)重建的復(fù)雜度。

本文提出了一種基于Gabor特征和DBN的人臉識(shí)別方法，通過(guò)與淺層算法進(jìn)行測(cè)試對(duì)比，實(shí)驗(yàn)結(jié)果表明了本文所提出算法的有效性。

1 基于Gabor的人臉特征提取

1.1 2D-Gabor小波變換

D.Gabor最早提出了Gabor小波變換， 其生物相關(guān)性以及計(jì)算特性，使Gabor小波被廣泛應(yīng)用于圖像分析、模式識(shí)別等領(lǐng)域。2D-Gabor濾波器的表達(dá)式

(1)

式中 μ為Gabor核的方向;ν為Gabor的尺度;z(x,y)為圖像坐標(biāo);σ為與小波頻率帶寬有關(guān)的常數(shù);濾波器相應(yīng)的中心頻率為kμ,ν;kν=kmax/fν 為采樣尺度;kmax為最大頻率;f為頻域中內(nèi)核間隔因子;ν={0,1,2,…,n}為尺度標(biāo)號(hào);μ={0,1,2,…,m-1}為方向標(biāo)號(hào);濾波器的方向性由φμ=πμ/m體現(xiàn)出來(lái)。

1.2 Gabor人臉特征矢量的提取

對(duì)Gabor小波進(jìn)行圖像特征的提取，可以通過(guò)式(2)來(lái)進(jìn)行描述，即圖像與Gabor小波核的卷積，設(shè)輸入圖像對(duì)應(yīng)的灰度值I(x,y),則輸入圖像I與Gabor小波核Ψμ,ν的卷積可以表示為

Ομ,ν(x,y)=I(x,y)*Ψμ,ν(x,y)

(2)

圖1 人臉圖像的Gabor特征

在實(shí)際應(yīng)用時(shí)，可以根據(jù)檢測(cè)對(duì)象的方向趨勢(shì)，選擇合適的方向參數(shù)進(jìn)行濾波，本文選擇4個(gè)方向尺度的人臉Gabor特征，取μ={0,2,4,6}，φk=(0,π/4,π/2,3π/4)， σ=1，Gabor濾波器的融合式

fi(x,y)=Οi(x,y)?I(x,y), i=0,1,2,3

(3)

式中 fi(x,y)為卷積后的特征圖，將不同尺度下的卷積融合后特征圖如圖2所示。

圖2 Gabor特征融合

2 DBN

2.1 DBN模型

DBN是一個(gè)概率生成模型，由一系列的限制RBM堆疊組成。RBM是由可視層和隱含層兩層神經(jīng)元構(gòu)成的，每層含有若干個(gè)節(jié)點(diǎn)，層內(nèi)節(jié)點(diǎn)無(wú)連接，不同層之間的節(jié)點(diǎn)依靠權(quán)值系數(shù)矩陣來(lái)連接，可見(jiàn)層和隱含層的單元都是二進(jìn)制：ν∈{0,1}D和h∈{0,1}K，D和K分別為可見(jiàn)層和隱藏層的單元序號(hào)。ν和h的聯(lián)合概率表示為

(4)

式中 Ζ為一個(gè)歸一化常數(shù)，RBM為一種能量模型，Ε(ν,h)為一個(gè)能量方程表示為

(5)

式中 Wij為可視層節(jié)點(diǎn)νi與隱含層節(jié)點(diǎn)hj之間的連接權(quán)重值；ai，bj分別為隱藏層、可視層的偏置值。

在訓(xùn)練DBN用CD(contrastivedivergence)算法遞歸地訓(xùn)練每一層的RBM，構(gòu)建完整的DBN。但是前一層的RBM的誤差會(huì)逐漸往后層的RBM傳遞，且得不到修正, 本文采用交叉熵采樣逼近最優(yōu)結(jié)果來(lái)微調(diào)DBN。

2.2DBN的人臉圖像分類

利用上述特征學(xué)習(xí)算法可以從像素層面自動(dòng)學(xué)習(xí)到人臉數(shù)字圖像的特征,但是DBN雖具有較強(qiáng)的無(wú)監(jiān)督特征學(xué)習(xí)能力，但沒(méi)有分類能力，采用Softmax回歸對(duì)DBN學(xué)習(xí)到的特征進(jìn)行分類并構(gòu)建分類器。假設(shè)有標(biāo)簽樣本集為(x′1,y′1),(x′2,y′2),…,(x′i,y′i),…,(x′m,y′m),1≤i≤m，Softmax回歸的類標(biāo)簽屬于y′i∈{0,1,…,k}，這里k指分類類別數(shù)量，本文采用的DBN結(jié)構(gòu)如圖3所示，它由多個(gè)RBM相鄰兩層構(gòu)成，首先逐層訓(xùn)練參數(shù)，初始化DBN。然后訓(xùn)練第一層RBM的權(quán)值系數(shù)矩陣W1及類別標(biāo)簽2 000，即多尺度表達(dá)一張人臉，通過(guò)最大似然估計(jì)訓(xùn)練出第一層RBM的隱藏層向量h1，將h1作為第二層的可視層輸入數(shù)據(jù)，單獨(dú)調(diào)整參數(shù)使得當(dāng)前的RBM結(jié)構(gòu)能量趨于平衡，遞歸地計(jì)算出每一層的隱藏層單元向量hi和權(quán)值系數(shù)矩陣Wi以及各類別標(biāo)簽，將DBN的輸出層作為Softmax回歸分類器的激活函數(shù)，最后一層輸出層輸出50個(gè)類別標(biāo)簽的概率。

圖3 DBN結(jié)構(gòu)

3 實(shí)驗(yàn)與結(jié)果分析

在AR人臉數(shù)據(jù)庫(kù)包含120個(gè)人，每人14張不同姿態(tài)和表情，本實(shí)驗(yàn)選擇50人，隨機(jī)抽取每人8張圖像作為訓(xùn)練樣本，剩余作為測(cè)試樣本，并進(jìn)行裁剪到指定大小M×N，識(shí)別率取重復(fù)10次運(yùn)行后所得的平均值。由圖4所示實(shí)驗(yàn)結(jié)果可以看出：當(dāng)圖像像素過(guò)低或過(guò)高時(shí)，其他3種算法識(shí)別效果比較差，低分辨率圖像可能本質(zhì)信息缺失，但是本文算法不管是在低分辨率還是高分辨率上都取得了較好的效果。

圖4 4種算法在AR人臉庫(kù)識(shí)別率

為了得到訓(xùn)練樣本個(gè)數(shù)對(duì)識(shí)別率的影響，在AR人臉庫(kù)中選擇50人，隨機(jī)抽取每人7,8,9,10,11張圖像作為訓(xùn)練樣本，其余作為測(cè)試樣本，裁剪圖片為上述實(shí)驗(yàn)證實(shí)的最適合像素24×32，識(shí)別率取重復(fù)10次運(yùn)行后所得的平均值。由圖5可以看出，當(dāng)訓(xùn)練樣本不夠充足時(shí)，各算法的識(shí)別率并不高，隨著訓(xùn)練樣本數(shù)的增加，多尺度特征以及特征融合使得識(shí)別率都有不同程度的提升，但是總體上本文算法識(shí)別率要高于其他幾種算法，說(shuō)明了DBN具有較強(qiáng)的學(xué)習(xí)能力，能夠從高維的數(shù)據(jù)特征中抽取低維可區(qū)分的低維特征。

圖5 AR人臉庫(kù)上不同訓(xùn)練樣本識(shí)別率

4 結(jié) 論

本文提出了一種基于Gabor特征和DBN的人臉識(shí)別方法，很好地利用了Gabor小波對(duì)位置誤差、光線等因素較好的魯棒性等優(yōu)點(diǎn)，結(jié)合無(wú)監(jiān)督學(xué)習(xí)算法DBN自動(dòng)地學(xué)習(xí)融合后人臉圖像特征，并使用Softmax回歸分類器對(duì)學(xué)習(xí)的人臉特征進(jìn)行分類。實(shí)驗(yàn)結(jié)果也充分表明了本文算法人臉識(shí)別準(zhǔn)確率可以達(dá)到92.7 %，因此，理論與實(shí)驗(yàn)均表明DBN在人臉識(shí)別率上均高于淺層結(jié)構(gòu)算法。但是深度學(xué)習(xí)算法也存在著缺點(diǎn)，對(duì)大規(guī)模的人臉樣本訓(xùn)練時(shí)間相對(duì)較長(zhǎng)。

[1]AhonenT,HadidA,Pietik?inenM.Facerecognitionwithlocalbinarypatterns[J].LectureNotesinComputerScience,2004,3021:469-481.

[2]TrucVitomir.PrincipalGaborfiltersforfacerecognition[C]∥Proceedingsofthe3rdIEEEInternationalConferenceonBiome-trics:Theory,ApplicationsandSystems,IEEE,2009:113-118.

[3] 程廣濤,陳 雪,郭照莊.基于HOG特征的行人視覺(jué)檢測(cè)方法[J].傳感器與微系統(tǒng),2011,30(7):68-70.

[4] 劉江華,陳佳品,程君實(shí).基于Gabor小波特征抽取和支持向量機(jī)的人臉識(shí)別[J].計(jì)算機(jī)工程與應(yīng)用,2003,39(8):81-83.

[5] 朱忠江.基于Gabor特征和神經(jīng)網(wǎng)絡(luò)的人臉識(shí)別研究與實(shí)現(xiàn)[D].北京：北京建筑大學(xué),2015.

[6] 柴瑞敏,曹振基.基于Gabor小波與深度信念網(wǎng)絡(luò)的人臉識(shí)別方法[J].計(jì)算機(jī)應(yīng)用,2014,34(9):2590-2594.

[7]ZhangY,ZhaoD,SunJ,etal.AdaptiveconvolutionalneuralnetworkandIt'sapplicationinfacerecognition[J].NeuralProces-singLetters,2016,43(2):389-399.

Face recognition algorithm based on Gabor feature and DBN*

YANG Rui, ZHANG Yun-wei, GOU Shuang, ZHI Yan-li

(School of Information Engineering and Automation,Kunming University of Science and Technology,Kunming 650504,China)

A method for face recognition based on the Gabor feature and deep belief network(DBN)is proposed.By extracting different scales image of Gabor face images for convolution fusion and fused feature image is used as input data of DBN.Many layers are trained in order to get more abstract representation.In whole training process,cross entropy method is adopted to fine-tune DBN.The Softmax regression classifier is used for classification which is implemented at the top layer.The experimental result in AR face database shows that when Gabor feature extract combining with DBN are applied to face recognition,its accuracy reaches 92.7 %.Comparing with other shallow-layer learning models,DBN not only studies the high-level features of the data,but also reduces dimension and improves the precision of the classifier,which finally improves face recognition rate.

Gabor feature; deep learning; restricted Boltzmann machine(RBM); deep belief network(DBN); softmax regression classifier

10.13873/J.1000—9787(2017)05—0068—03

2016—05—23

國(guó)家自然科學(xué)基金資助項(xiàng)目(51365019)

TP 391

A

1000—9787(2017)05—0068—03

楊 瑞(1990-)，女，碩士研究生，研究方向?yàn)檐浖O(shè)計(jì)與開(kāi)發(fā)。

張?jiān)苽?1972-)，男，通訊作者，博士，教授，從事精密測(cè)控技術(shù)研究工作，E—mail:zhangyunwei72@qq.com。