基于局部Fisher準(zhǔn)則判別投影的人臉識(shí)別算法*

任克強(qiáng), 張靜然

(江西理工大學(xué) 信息工程學(xué)院，江西 贛州 341000)

0 引 言

在自動(dòng)人臉識(shí)別過程中，如何高效的將原人臉圖像空間中數(shù)據(jù)映射到低維空間中是一個(gè)關(guān)鍵問題，特征降維不僅可以使原數(shù)據(jù)變換后有特定屬性，而且可以提高計(jì)算的效率。子空間作為一種有效的降維和特征提取方法在人臉識(shí)別領(lǐng)域有廣泛應(yīng)用[1]。

線性子空間降維方法有基于主成分分析(principle component analysis，PCA)[2]、線性判別分析(linear discriminant analysis，LDA)及二維的2DPCA和2DLDA等方法，但以歐氏結(jié)構(gòu)來衡量樣本點(diǎn)間相似性難以挖掘數(shù)據(jù)本征的特征，導(dǎo)致傳統(tǒng)的線性子空間算法很難對(duì)數(shù)據(jù)在低維空間的分布做合理的估計(jì)。近年來流形學(xué)習(xí)領(lǐng)域產(chǎn)生的大量研究成果表明人臉圖像數(shù)據(jù)呈現(xiàn)非線性結(jié)構(gòu)，且可能取樣于嵌入在高維歐氏空間的低維流形子空間中，很難利用全局線性映射來尋求這種低維投影。以不同準(zhǔn)則來對(duì)數(shù)據(jù)進(jìn)行降維的流形學(xué)習(xí)算法嘗試揭示數(shù)據(jù)的本征分布結(jié)構(gòu)，這種非線性降維方式直觀有效，目前在人臉識(shí)別方向基于流形的子空間算法有局部保持投影(locality preserving projection，LPP)[3]以及對(duì)稱局部保持的半監(jiān)督維數(shù)約簡[4]等。但為了更加有效的利用樣本標(biāo)簽信息進(jìn)行樣本的分類，研究者們提出了監(jiān)督的判別流形學(xué)習(xí)算法，如監(jiān)督拉普拉斯特征圖[5]、多鄰域保持嵌入[6]等，在保持樣本局部信息的同時(shí)，提升由樣本類別信息帶來的判別能力。以上降維約簡技術(shù)從樣本中提取有較好判別性的子特征，但對(duì)噪聲和有損信號(hào)的應(yīng)對(duì)能力不理想，而稀疏表示則對(duì)有損信號(hào)有較好的建模能力。文獻(xiàn)[7]借鑒LPP的局部嵌入思想以保持?jǐn)?shù)據(jù)的稀疏l1圖結(jié)構(gòu)，編碼階段先根據(jù)以訓(xùn)練樣本作為字典學(xué)習(xí)稀疏系數(shù)，然后投影保持這種稀疏關(guān)系；識(shí)別階段直接將測試樣本由學(xué)到的投影矩陣投影到低維子空間，用最近鄰識(shí)別器分類。文獻(xiàn)[7]能夠較好地提取保持?jǐn)?shù)據(jù)間稀疏特性的特征，但沒有合理利用樣本標(biāo)簽信息；文獻(xiàn)[8]在此基礎(chǔ)上考慮稀疏結(jié)構(gòu)投影保持的同時(shí)，利用樣本標(biāo)簽信息來提升特征判別能力及降低算法復(fù)雜度。文獻(xiàn)[9]在樣本標(biāo)簽信息可利用情況下保持?jǐn)?shù)據(jù)的稀疏l1圖結(jié)構(gòu)，最終轉(zhuǎn)化為回歸問題求解投影矩陣。文獻(xiàn)[10]在獲取數(shù)據(jù)特征表示的同時(shí)保持變換后的樣本關(guān)系，可以提取利于子空間分類的稀疏的近鄰結(jié)構(gòu)。

針對(duì)近鄰圖中通過實(shí)驗(yàn)方法選擇近鄰參數(shù)K不能完全反映數(shù)據(jù)真實(shí)近鄰分布的問題，本文提出局部Fisher準(zhǔn)則判別投影算法，通過求解樣本在總體樣本下稀疏表示來自適應(yīng)選擇樣本的近鄰參數(shù)，以使樣本間分布關(guān)系盡可能符合真實(shí)情況，在此基礎(chǔ)上利用樣本標(biāo)簽信息構(gòu)造自定義的類內(nèi)局部散度矩陣和類間局部散度矩陣，以提高樣本標(biāo)簽信息帶來的判別能力。

1 局部Fisher判別投影

局部保持算法的識(shí)別效果很大程度依賴近鄰圖中參數(shù)K的選擇，實(shí)際應(yīng)用要進(jìn)行大量實(shí)驗(yàn)來選擇最優(yōu)參數(shù)，而且對(duì)于分類任務(wù)而言，首要目標(biāo)是設(shè)法讓不同類的樣本有區(qū)分度。針對(duì)這些問題，本文提出局部Fisher準(zhǔn)則判別投影算法。

1.1 近鄰矩陣的稀疏構(gòu)造

通過實(shí)驗(yàn)來選擇近鄰矩陣中近鄰尺寸K的大小相當(dāng)?shù)暮臅r(shí)，而且以歐氏距離作為樣本點(diǎn)間相似性度量，是建立在樣本相互獨(dú)立的基礎(chǔ)上，實(shí)際上會(huì)忽略不同樣本間的聯(lián)系性。所有的樣本都使用人工選擇的固定K近鄰參數(shù)，實(shí)際應(yīng)用中不合理，也不能真正的反應(yīng)樣本流形結(jié)構(gòu)，如果從鄰接矩陣中元素稀疏的角度考慮，可以運(yùn)用稀疏表示來獲取鄰接矩陣，使得樣本點(diǎn)的近鄰結(jié)構(gòu)非固定大小。

(1)

(2)

1.2 局部散度矩陣

如果同類樣本在低維子空間中分布聚集，而不同類樣本在低維子空間中分布分散，那么分類算法構(gòu)造的分類超平面具有更強(qiáng)的泛化能力，而且有更優(yōu)的分類性能。

為保證樣本xi與同類近鄰樣本在降維后仍然保持近鄰關(guān)系，可以考慮減小樣本xi與同類鄰域矩陣中樣本的平均距離來實(shí)現(xiàn)，該距離表示為

(3)

式中X′為全體樣本集合構(gòu)成的矩陣

X′=[x1,x2,…,xn]∈Rm×n

由此構(gòu)造類內(nèi)局部散度矩陣為

(4)

本文不是按每個(gè)樣本等權(quán)值的方式來構(gòu)造類內(nèi)散度矩陣，而是根據(jù)信號(hào)稀疏表示后的重構(gòu)系數(shù)，即使是同類樣本信號(hào)它們間也有不同的相似性，利用這種稀疏關(guān)系來構(gòu)造類內(nèi)散度矩陣可以更優(yōu)的逼近樣本的真實(shí)分布。

樣本xi與近鄰矩陣中不同類樣xj(li≠lj,j=1,2,…,n)本間平均距離為

(5)

為了有更優(yōu)的分類特性，類間散度分布應(yīng)盡量的大，可以考慮增大降維后的不同類樣本點(diǎn)間的稀疏近鄰距離。由不同類樣本的稀疏近鄰關(guān)系構(gòu)造類間散度矩陣為

(6)

一般將每個(gè)近鄰圖上的樣本視作嵌入在同一個(gè)子流形上，這樣兩個(gè)非同類的近鄰樣本就可能位于同一子流形，直接采取保持局部近鄰關(guān)系的投影算法會(huì)導(dǎo)致樣本在低維子空間重疊的現(xiàn)象。用于分類的降維投影算法應(yīng)考慮將處于同一子流形上非同類樣本進(jìn)行相互分離。

(7)

式中μ為均衡因子，0<μ<1。

同時(shí)需考慮投影降維后局部的近鄰結(jié)構(gòu)得到保持

(8)

為防止投影方向的幅值隨意變化而影響求解，可以添加如下正交投影限制條件

WTW=Id×d

(9)

因此,本文局部Fisher準(zhǔn)則判別投影的目標(biāo)函數(shù)表示為

γWTX′LX′TW),s.t.WTW=I

(10)

式中γ為均衡因子，用來平衡局部判別項(xiàng)和局部近鄰結(jié)構(gòu)保持項(xiàng)的重要性，其中γ>0。式(16)的約束問題可以轉(zhuǎn)化為Lagrange乘子法進(jìn)行求解

γwTX′LX′Tw-λwTw=wTX′(μ(Lw+Lb)-Lb+γL)X′Tw-λwTw

(11)

Lagrange乘子法最優(yōu)解的充要條件需滿足

X′(μ(Lw+Lb)-Lb+γL)X′Tw*=λ*w*

(12)

本文局部Fisher準(zhǔn)則判別投影算法的步驟描述如下：

S1：PCA降維。通常訓(xùn)練樣本的個(gè)數(shù)遠(yuǎn)小于樣本的維數(shù)，為保證應(yīng)用稀疏表示求稀疏近鄰關(guān)系時(shí)，由訓(xùn)練樣本組成的字典超完備，需運(yùn)用PCA算法將原始樣本投影到低維子空間中。

S2：利用式(1)求每個(gè)樣本的稀疏近鄰權(quán)值矩陣A，再利用式(2)分別求取同類樣本近鄰權(quán)值矩陣Aw和非同樣本近鄰權(quán)值矩陣Ab。

2 實(shí)驗(yàn)結(jié)果與分析

本文在Yale、AR、Yale B三個(gè)公共人臉數(shù)據(jù)庫上進(jìn)行實(shí)驗(yàn)，其中從AR庫中選取由50個(gè)男性和50個(gè)女性組成的共1 400幅只有光照和表情變化的圖像子集進(jìn)行測試。每幅圖像剪裁成32×32的尺寸。

為評(píng)估本文算法的識(shí)別效果，實(shí)驗(yàn)將本文算法與PCA，LDA，LPP和文獻(xiàn)[9]的DSLFDA以及文獻(xiàn)[10]的OSSPP算法進(jìn)行比較，在Yale，AR及Yale B人臉數(shù)據(jù)庫上，分別測試這些子空間算法在不同訓(xùn)練集和不同降維特征維數(shù)下的識(shí)別率，圖像空間中的二維圖像展開表示為1 024維的向量，以便訓(xùn)練獲得特征子空間，在實(shí)施其它子空間算法來提取特征之前需先應(yīng)用PCA來預(yù)處理數(shù)據(jù)，且均采用最近鄰(nearest neighbor,NN)分類器來進(jìn)行分類。

2.1 不同特征維數(shù)的算法性能比較

本節(jié)實(shí)驗(yàn)主要分析比較不同降維子空間維數(shù)對(duì)人臉識(shí)別率的影響。實(shí)驗(yàn)在Yale數(shù)據(jù)庫上按每人6幅圖像來訓(xùn)練，在PCA降維階段選擇特征降維的維數(shù)為89，各子空間算法的人臉識(shí)別率隨維數(shù)變化的曲線如圖1(a)所示；在AR數(shù)據(jù)庫中按每人7幅圖像來訓(xùn)練，PCA降維階段選擇特征降維的維數(shù)為200，各子空間算法的人臉識(shí)別率隨維數(shù)變化的曲線如圖1(b)所示；在Yale B數(shù)據(jù)庫上按每人32幅來訓(xùn)練，PCA降維階段選擇特征降維的維數(shù)為200，不同子空間算法的人臉識(shí)別率隨特征維數(shù)變化曲線如圖1(c)所示。

圖1 不同維數(shù)下的識(shí)別率

由圖1可知本文算法隨著所提取的樣本子空間特征維數(shù)的增多，人臉識(shí)別率開始增長較快，后來慢慢趨于平穩(wěn)；在圖1(a)中Yale數(shù)據(jù)庫上由于訓(xùn)練集樣本較少，子空間算法的識(shí)別率都沒有超過85 %，本文算法有稍優(yōu)于其它算法的識(shí)別性能；而在圖1(b)的AR數(shù)據(jù)庫和圖1(c)的Yale B數(shù)據(jù)庫上本文算法則有明顯優(yōu)于其他算法的表現(xiàn)。

2.2 不同訓(xùn)練樣本個(gè)數(shù)的算法性能比較

本節(jié)實(shí)驗(yàn)主要分析比較不同訓(xùn)練樣本個(gè)數(shù)對(duì)人臉識(shí)別率的影響。實(shí)驗(yàn)在Yale數(shù)據(jù)庫中每人隨機(jī)選取l(l=4,5,6)幅圖像用于訓(xùn)練，剩余11-l幅圖像用于測試；AR數(shù)據(jù)庫中每個(gè)人的14幅圖像，隨機(jī)選取l(l=3,5,7)幅圖像用于訓(xùn)練，剩余14-l幅圖形用于測試；Yale B數(shù)據(jù)庫中每個(gè)人隨機(jī)選取l(l=10,20,32)幅圖像用于訓(xùn)練，剩余的圖像用于測試。重復(fù)20次實(shí)驗(yàn)，取實(shí)驗(yàn)平均結(jié)果。

在Yale、AR、Yale B這3個(gè)數(shù)據(jù)庫上進(jìn)行不同的訓(xùn)練樣本數(shù)量對(duì)最終識(shí)別率的實(shí)驗(yàn)，結(jié)果如表1、表2和表3所示，表中數(shù)據(jù)組織為“均值±標(biāo)準(zhǔn)差(維數(shù))”，Baseline為用1024維的人臉數(shù)據(jù)進(jìn)行最近鄰分類。

表1 算法識(shí)別性能比較(Yale)

從表1結(jié)果可知，在小型數(shù)據(jù)庫Yale上，樣本數(shù)量較少，姿態(tài)和光照變化等因素的影響會(huì)較明顯，所以LDA與PCA的識(shí)別率都不理想；相較于DSLFDA和OSSPP，本文算法在考慮稀疏近鄰結(jié)構(gòu)的同時(shí)，提升了由標(biāo)簽到來的判別能力，能提取信號(hào)判別特征，最終計(jì)算的子空間有最優(yōu)的識(shí)別率。

表2 算法識(shí)別性能比較(AR)

表3 算法識(shí)別性能比較(Yale B)

從表2結(jié)果可知，在AR數(shù)據(jù)庫上，實(shí)驗(yàn)集上的人臉圖像信號(hào)受身份外的因素影響較小，在訓(xùn)練樣本充足時(shí)，除PCA之外，具有判別特征提取能力的算法識(shí)別率均有提升，但本文算法考慮保持稀疏的近鄰結(jié)構(gòu)同時(shí)，添加全局類別差異，有優(yōu)于其它算法的性能。

從表3所示，由于數(shù)據(jù)庫中某些圖片的光照因素引起的變化比圖片類別變化都要?jiǎng)×?，所以，PCA在尋求數(shù)據(jù)最大方差變化方向時(shí)極有可能求得由光照引起變化的特征方向，這不利于對(duì)圖像樣本的身份識(shí)別，所以，PCA在該樣本大的數(shù)據(jù)庫中反而識(shí)別效果較差；LDA、LPP直接從原樣本中提取具有判別特性的特征，識(shí)別性能較PCA有較大提升，但還是較易受光照等因素的干擾；樣本足夠時(shí)，DSLFDA、OSSPP以及本文算法有更高的識(shí)別率，且本文算法有更優(yōu)的識(shí)別性能。

3 結(jié)束語

本文算法使得同類樣本在低維線性子空間中分布聚集，而非同類樣本在低維線性子空間中分布分散，以保證最終分類超平面擁有更強(qiáng)的泛化能力。在與相關(guān)文獻(xiàn)的算法仿真比較實(shí)驗(yàn)中，本文算法表現(xiàn)出了更加優(yōu)異的人臉識(shí)別性能，可以有效提升人臉識(shí)別率。