一種正交局部鑒別嵌入的人臉識(shí)別算法

黃 蓓

(東南大學(xué)信息科學(xué)與工程學(xué)院, 南京 210096)

由于人臉屬于三維非剛性體對(duì)象,因此其圖像易受到多種因素的影響,如人臉的相似性、姿態(tài)的多樣性和光照影響等．傳統(tǒng)子空間分析方法[1-8]以所有樣本的最優(yōu)重構(gòu)為目的,主要衡量不同樣本間存在的分類誤差,但只能發(fā)現(xiàn)全局的歐式結(jié)構(gòu)．當(dāng)數(shù)據(jù)呈現(xiàn)高度非線性時(shí),只能描述統(tǒng)計(jì)意義下的數(shù)據(jù)分布．為此,Seung等[9]從神經(jīng)生理學(xué)角度研究了流形學(xué)習(xí)問題,提出了感知和視覺記憶以流形的形式存在,并從認(rèn)知學(xué)的角度指出圖像數(shù)據(jù)是高維空間中的流形．等距映射(isometric map)[10]和局部線性嵌入(locally linear embedding)[11]2種流形學(xué)習(xí)算法實(shí)現(xiàn)了從高維數(shù)據(jù)中恢復(fù)低維流形結(jié)構(gòu)．而局部保持投影算法(locality preserving projections)[12]將線性映射引入到拉普拉斯特征映射中,實(shí)現(xiàn)了線性化投影．此外,提高人臉識(shí)別精度還可以通過分類訓(xùn)練的方式實(shí)現(xiàn)[13]．

LDE算法[14]不僅利用樣本數(shù)據(jù)間近鄰關(guān)系來保持局部性,還引入了類別標(biāo)記信息,其目的是保持其類內(nèi)緊湊性的同時(shí),增加類間可分性．但該算法同樣面臨高維小樣本問題和致密矩陣的分解問題,需要消耗很大的時(shí)間和空間,而譜回歸算法能夠很好地解決這些問題,因此,本文以LDE算法為基礎(chǔ),提出了相應(yīng)的修正算法．

1 局部鑒別嵌入的改進(jìn)算法

1.1 基于譜回歸的局部鑒別嵌入算法(SR-LDE)

LDE算法的目標(biāo)函數(shù)為

X(D-W)XTa=λX(DP-WP)XTa

(1)

定理1設(shè)y是Ly=λBy的特征值λ對(duì)應(yīng)的特征向量,若y=XTa,則a是XLXTa=λXBXTa的廣義特征值λ對(duì)應(yīng)的特征向量．

為了使得y=XTa有解,使用正則化最小二乘法對(duì)a添加L2范數(shù)懲罰項(xiàng)求取近似解:

(2)

式(2)的最優(yōu)解為:a*=(XTX+μI)-1XTy．其中μ為控制收縮的參數(shù),選擇合適的μ值能減小偏差,達(dá)到最佳效果．

當(dāng)μ>0時(shí),a*不能滿足線性方程y=XTa,且a不是XLXTa=λXBXTa的特征向量．

定理2若y=XTa是Ly=λBy的特征向量,且y在X的行向量張成的空間,當(dāng)μ趨于0時(shí),投影向量a是XLXTa=λXBXTa的特征向量．

推論1若y是(D-W)y=λ(DP-WP)y的特征向量,且y=XTa,則a是X(D-W)XTa=λX(DP-WP)XTa對(duì)應(yīng)的特征向量．

證明

X(D-W)XTa=X(D-W)y=
Xλ(DP-WP)y=λX(DP-WP)y=
λX(DP-WP)XTa

式中,y即為高維數(shù)據(jù)X的低維嵌入．為了得到投影向量a,對(duì)方程y=XTa進(jìn)行分析,并最終采用嶺回歸方法求解,可得

a*=(XTX+μI)-1XTy

(3)

當(dāng)μ>0時(shí),式(3)正則解不能滿足線性方程y=XTa．

推論2若y=XTa是(D-W)y=λ(DP-WP)y的特征向量,且y在X的行向量張成的空間,當(dāng)μ趨于0時(shí),投影向量a是X(D-W)XTa=λX(DP-WP)XTa的特征向量．

證明假設(shè)rank(X)=r,對(duì)X進(jìn)行奇異值分解,即

X=UΛVT

(4)

式中,Λ=diag(σ1,σ2,…,σr),U∈Rn×r,V∈Rm×r,UTU=VTV=I．y存在于X的行向量張成的空間中,則y也存在于V的列向量張成的空間中．因此,y可以被V的列向量的線性組合所代替．另外,因?yàn)閂是線性獨(dú)立的,因此這種組合方式是唯一的．假設(shè)組合系數(shù)是b1,b2,…,br,b={b1,b2,…,br}T,則

Vb=y?VTVb=VTy?b=VTy?VVTy=y

(5)

(6)

聯(lián)合式(4),可得

XTa=VΛUTa=VVΛUTUΛ-1VTy=VVTy=y

(7)

所以,a為X(D-W)XTa=λX(DP-WP)XTa的特征向量．

傳統(tǒng)的流形學(xué)習(xí)求解方法是先得到投影向量a,再通過投影向量獲得測(cè)試數(shù)據(jù)集X．但該方法是先計(jì)算訓(xùn)練樣本的特征向量y,然后再通過回歸方法計(jì)算投影向量a,最后得到測(cè)試數(shù)據(jù)集X．基于上述分析,SR-LDE算法不需要進(jìn)行n×n維的致密矩陣的特征分解,其特征分解的矩陣為m×m維．在人臉圖像中,人臉特征的維數(shù)n通常遠(yuǎn)遠(yuǎn)大于人臉樣本數(shù)m,即m?n,從而有效地降低了算法的復(fù)雜性．

1.2 基于譜回歸的正交局部鑒別嵌入算法(SR-OLDE)

SR-LDE算法雖然解決了高維小樣本應(yīng)用中矩陣奇異的問題,避免了致密矩陣的分解,但該算法通過求解廣義特征值而得到的投影矩陣是非正交的,不利于特征的提取,不能夠準(zhǔn)確估計(jì)高維樣本集的內(nèi)在維數(shù),從而削弱了對(duì)測(cè)試樣本的泛化能力,影響了算法的識(shí)別率．為此,本文將求得的低維投影向量進(jìn)行Gram-Schmidt正交化計(jì)算,則不但能夠?qū)崿F(xiàn)正交化約束,且計(jì)算簡(jiǎn)單,易于實(shí)現(xiàn)．

假設(shè)y={y1,y2,…,yd}是降維后特征值λ={λ1,λ2,…,λd}對(duì)應(yīng)的特征向量,且λ1<λ2<…<λd,d為降維后低維子空間的維數(shù),則SR-LDE算法中求得的投影矩陣為A=[a1,a2,…,ad]．

令b1=a1,設(shè)k-1個(gè)正交基向量分別為b1,b2,b3,…,bk-1,則第k個(gè)向量可根據(jù)下式計(jì)算:

(8)

盡管B是正交矩陣,但不是單位正交化的標(biāo)準(zhǔn)正交基．因此,要添加約束使其滿足BBT=I,則H是主對(duì)角元的模均為1的上三角矩陣．

因?yàn)樵队熬仃嚨暮瘮?shù)為

(9)

SR-OLDE的正交變換矩陣B=AH,計(jì)算JSR-LDE(B)可得

(10)

由上述推導(dǎo)過程可看出,經(jīng)過施密特正交化操作后,不會(huì)改變算法中優(yōu)化問題的解．B=[b1,b2,…,bd]即為所求的標(biāo)準(zhǔn)正交投影矩陣．

2 實(shí)驗(yàn)分析

為了驗(yàn)證本文提出的SR-OLDE算法在人臉識(shí)別系統(tǒng)中能夠取得良好的效果,采用ORL人臉庫進(jìn)行實(shí)驗(yàn)．實(shí)驗(yàn)環(huán)境為Pentium Dual-Core CPU E5400,主頻2.70 GHz,2GB內(nèi)存．設(shè)μ=0.01.下面通過比較SR-OLDE算法和PCA,LDA,LPP,LDE,SR-LDE算法的實(shí)驗(yàn)效果,來展現(xiàn)SR-OLDE的性能．

2.1 ORL人臉庫上的實(shí)驗(yàn)結(jié)果

ORL人臉庫由劍橋大學(xué)AT&T實(shí)驗(yàn)室創(chuàng)建,包括40個(gè)人,每人10幅,共400幅面部圖像,其中有些人臉圖像是在不同時(shí)期拍攝的．ORL人臉庫中每個(gè)人的不同圖像均具有不同的表情和面部細(xì)節(jié),如笑或不笑,戴或不戴眼鏡,眼睛睜開或閉著．所有圖像均是大致正面圖像(部分側(cè)轉(zhuǎn)旋轉(zhuǎn)角度不超過20°),人臉尺度變化不超過10%,每幅圖像的分辨率為92×112像素．在本實(shí)驗(yàn)中,所有圖像的大小均被歸一化至64×64像素．

實(shí)驗(yàn)時(shí),隨機(jī)選取每個(gè)人的G(G=2,3,4,5)幅圖像作為訓(xùn)練集,其余10-G個(gè)樣本作為測(cè)試集,為了消除隨機(jī)因素的影響,對(duì)每個(gè)選定的G,其隨機(jī)選擇過程都重復(fù)10次,且每次實(shí)驗(yàn)相互獨(dú)立,實(shí)驗(yàn)的最終結(jié)果是這10次實(shí)驗(yàn)所取的平均值．針對(duì)不同訓(xùn)練樣本數(shù),各種算法的最優(yōu)實(shí)驗(yàn)結(jié)果如表1所示．由于在不同訓(xùn)練樣本數(shù)和測(cè)試樣本數(shù)時(shí)算法識(shí)別率和維數(shù)之間的關(guān)系是類似的,因此本文選擇G2/P8(G2/P8表示訓(xùn)練樣本數(shù)為2,測(cè)試樣本數(shù)為8)繪制維數(shù)和識(shí)別率之間的關(guān)系圖,如圖1所示．

表1 不同訓(xùn)練樣本時(shí)的各算法人臉識(shí)別率 %

圖1 不同算法的識(shí)別率與維數(shù)間的關(guān)系

2.2 實(shí)驗(yàn)結(jié)果分析

由以上實(shí)驗(yàn)結(jié)果分析可知,無論是傳統(tǒng)的子空間降維算法,還是流形學(xué)習(xí)算法,隨著測(cè)試樣本數(shù)量的增加,各種算法的識(shí)別率都提高了,而流形學(xué)習(xí)算法較傳統(tǒng)降維方法取得了更好的識(shí)別效果．本文SR-OLDE算法的實(shí)驗(yàn)效果最好,因?yàn)樗褂米V回歸算法求解,在解決小樣本問題的同時(shí)避免了致密矩陣的分解,另外,又采用Gram-Schmidt正交方法實(shí)現(xiàn)了投影矩陣的正交化,從而提高了識(shí)別率．

傳統(tǒng)的圖嵌入算法在處理大規(guī)模高維數(shù)據(jù)集時(shí),通常由于計(jì)算復(fù)雜度較高,不宜直接應(yīng)用,而譜回歸算法的提出可以避免致密矩陣的分解,有效地解決了大規(guī)模高維數(shù)據(jù)集的廣義特征值問題,從而縮短了計(jì)算時(shí)間．ORL人臉庫不同訓(xùn)練樣本數(shù)所需的訓(xùn)練時(shí)間如表2所示．其中,SR-OLDE算法訓(xùn)練所需時(shí)間比SR-LDE所需時(shí)間長(zhǎng),這是因?yàn)檫M(jìn)行正交化計(jì)算需要一定的計(jì)算時(shí)間．

表2 不同訓(xùn)練樣本數(shù)所需訓(xùn)練時(shí)間 s

3 結(jié)語

在人臉識(shí)別過程中,由于流形學(xué)習(xí)算法比傳統(tǒng)的子空間降維算法具有更好的識(shí)別效果,因此本文選擇LDE算法作為研究對(duì)象．為改善LDE算法的高維小樣本泛化能力弱和致密矩陣分解計(jì)算量大等問題,首先通過引入譜回歸算法,提出了SR-LDE算法．然后,考慮到投影向量若非正交,則不利于特征提取和準(zhǔn)確估計(jì)高維數(shù)據(jù)集的內(nèi)在維數(shù),從而削弱了測(cè)試樣本的泛化能力,影響識(shí)別率,因此,將Gram-Schmidt正交化方法引入到SR-LDE算法中,提出了SR-OLDE算法．最后,將改進(jìn)的算法在ORL人臉庫中進(jìn)行測(cè)試．實(shí)驗(yàn)結(jié)果證明,SR-OLDE算法在識(shí)別率和計(jì)算速度方面都取得了比較好的效果．

)

[1] Wiskott L, Fellous J, Kruger N, et al. Face recognition by elastic bunch graph matching[J].IEEETransactionsonPatternAnalysisandMachineIntelligence, 1997,19(7): 775-779.

[2] Kumar P P, Vadakkepat P, Loh A P. Graph matching based hand posture recognition using neuro-biologically inspired features[C]//11thInternationalConferenceonControlAutomationRoboticsandVision. Singapore, 2010:1151-1156.

[3] Kshirsagar V P, Baviskar M R, Gaikwad M E. Face recognition using Eigenfaces[C]//3rdInternationalConferenceonComputerResearchandDevelopment. Shanghai, China, 2011:302-306.

[4] Huang S M, Yang J F. Subface hidden Markov models coupled with a universal occlusion model for partially occluded face recognition[J].IETBiometrics, 2012,1(3):149-159.

[5] Du S, Shehata M, Badawy W. A novel algorithm for illumination invariant DCT-based face recognition[C]//25thIEEECanadianConferenceonElectricalandComputerEngineering. Montreal, QC, Canada, 2012:1-4.

[6] Maria D M, Michele N, Daniel R, et al. Robust face recognition for uncontrolled pose and illumination changes[J].IEEETransactionsonSystems,Man,andCybernetics:Systems, 2013,43(1):149-163.

[7] He Y, Jin B, Yang S. Improving BP neural network for the recognition of face direction[C]//InternationalSymposiumonComputerScienceandSociety. Kota Kinabalu, Malaysia, 2011:79-82.

[8] Jing X Y, Sun J, Yao Y F, et al. Supervised and unsupervised face recognition method based on 3CCA[C]//InternationalConferenceonAutomaticControlandArtificialIntelligence. Xiamen, China, 2012:2009-2012.

[9] Seung H S, Lee D D. The manifold ways of perception[J].Science, 2000,290(5500): 2268-2269.

[10] Tenenbaum J B, de Silva V, Langford J C. A global geometric framework for nonlinear dimensionality reduction[J].Science, 2000,290(5500): 2319-2323.

[11] Roweis S T, Saul L K. Nonlinear dimensionality reduction by locally linear embedding[J].Science, 2000,290(5500):2323-2326.

[12] He X F, Yan S C, Hu Y X, et al. Face recognition using Laplacianfaces[J].IEEETransactionsonPatternAnalysisandMachineIntelligence, 2005,27(3):328-340.

[13] Brenda F K, Mark J B, Joshua C K, et al. Face recognition performance: role of demographic information[J].IEEETransactionsonInformationForensicsandSecurity, 2012,7(6):1789-1801.

[14] Chen H T,Chang H W, Liu T L.Local discriminant embedding and its variants[C]//IEEEComputerSocietyConferenceonComputerVisionandPatternRecognition. San Diego, CA, USA, 2005: 846-853.