一種鑒別稀疏局部保持投影的人臉識別算法

楊藝芳,王宇平

(1.西安電子科技大學數(shù)學與統(tǒng)計學院,710071,西安;2.西安電子科技大學計算機學院,710071,西安;3.西安石油大學理學院,710065,西安)

?

一種鑒別稀疏局部保持投影的人臉識別算法

楊藝芳1,3,王宇平2

(1.西安電子科技大學數(shù)學與統(tǒng)計學院,710071,西安;2.西安電子科技大學計算機學院,710071,西安;3.西安石油大學理學院,710065,西安)

為解決鑒別稀疏鄰域保持嵌入(DSNPE)算法中類間離散度構(gòu)造復雜的問題,提出了一個新的維數(shù)約簡算法即鑒別稀疏局部保持投影的人臉識別算法(DSLPP)。首先利用樣本集中各類樣本的平均向量構(gòu)造字典,通過保持各類樣本平均向量的稀疏重構(gòu)關(guān)系,提出一個新的無參數(shù)類間離散度;再通過同時最大化類間離散度和同時最小化類內(nèi)緊湊度的準則來尋找最優(yōu)投影方向;最后采用最近鄰分類器進行人臉分類識別。由于所采用的類間離散度最大限度地擴大了不同類別中樣本之間的差異,因此DSLPP算法具有更強的類間判別力,其識別率得到了明顯提高;此外,字典的簡化構(gòu)造降低了算法的計算復雜度。在Yale、UMIST和AR人臉庫上的實驗結(jié)果表明:DSLPP算法在Yale、UMIST庫上的平均識別率及AR庫上的最高識別率分別達83.38%、95.72%和83.71%,較其他傳統(tǒng)方法的識別率有明顯提高;在UMIST庫上的實驗結(jié)果表明,DSLPP算法較DSNPE算法的平均計算時間減少了81.7%。

人臉識別;維數(shù)約簡;稀疏重構(gòu);局部保持投影

人臉識別中,往往會遇到“維數(shù)災(zāi)難”問題,因此維數(shù)約簡是一種常采用的手段。目前,已經(jīng)有許多種維數(shù)約簡方法,根據(jù)不同的標準可以有不同的分類,根據(jù)映射函數(shù)的形式可分為線性和非線性。主成分分析(PCA)法[1]和線性判別分析(LDA)法[2]因其簡單高效而成為經(jīng)典算法,但是PCA和LDA算法都是基于歐氏空間的,主要用于處理線性數(shù)據(jù)集,不能發(fā)現(xiàn)復雜非線性數(shù)據(jù)集的固有結(jié)構(gòu)。為刻畫樣本的非線性流形結(jié)構(gòu),一些能夠處理非線性數(shù)據(jù)集的流形學習算法被相繼提出,如等距映射(Isomap)法[3]、拉普拉斯特征映射(LE)法[4]等,但這類方法中非線性映射僅定義在訓練集上,對于新的測試集卻無法通過此映射降維到低維空間。流形學習方法的線性化能夠解決這個問題,代表性的算法有鄰域保持嵌入(NPE)法[5]和局部保持投影(LPP)法[6],然而,NPE和LPP法都是無監(jiān)督算法,沒有利用數(shù)據(jù)點的類判別信息。因此,許多有監(jiān)督的流形學習算法相繼涌現(xiàn)出來,如有鑒別局部保持投影(DLPP)[7]等流形學習算法,然而此類算法的共同缺點是需要人工選擇鄰域大小參數(shù)和邊權(quán)值參數(shù),而且其性能對這些參數(shù)比較敏感。

近年來,基于稀疏表示的方法在人臉識別中得到了廣泛應(yīng)用。2009年,Wright[8]等人提出了基于稀疏表示分類器的人臉識別方法,將稀疏表示成功引入人臉識別領(lǐng)域。隨后文獻[9-10]也相繼提出基于稀疏表示的人臉識別方法,文獻[10-11]利用稀疏表示的方法自適應(yīng)構(gòu)建L1范數(shù)圖,無需要任何其他模式參數(shù)。稀疏保留投影算法(SPP)[12]是一種以保持數(shù)據(jù)的稀疏表示結(jié)構(gòu)為目的的較好的維數(shù)約簡方法,但它是無監(jiān)督的,未利用類標信息。對此,文獻[13]通過利用類標信息對SPP進行了改進,提出鑒別稀疏鄰域保持嵌入的算法(DSNPE),獲得了較高的人臉識別率,但DSNPE算法中類間離散度構(gòu)造較復雜,尤其是稀疏表示字典包含數(shù)量很大的樣本,時間復雜度較高。為了改進該算法的性能,本文提出了一個新的有監(jiān)督的維數(shù)約簡算法即鑒別稀疏局部保持投影算法(DSLPP)。該算法用樣本集中各類樣本的平均向量構(gòu)造字典,結(jié)合稀疏表示和DLPP算法中類間離散度的構(gòu)造方法,提出新的無參數(shù)的類間離散度,有效降低了算法的計算復雜度,增強了算法的判別力。在常用的人臉數(shù)據(jù)集Yale、UMIST和AR上的測試結(jié)果表明,該算法相比其他算法具有更好的識別效果。

1 鑒別局部保持投影算法

(1)

(2)

Bij=exp(-‖fi-fj‖2/t)

(3)

DLPP算法的目標是最小化式(1)中的函數(shù),從而求得最優(yōu)投影矩陣。

2 鑒別稀疏鄰域保持嵌入算法

DSNPE算法是通過最大化類內(nèi)緊湊度和類間離散度之差來尋找最優(yōu)投影矩陣。

2.1 類內(nèi)緊湊度

(4)

(5)

式中:rk-1=n1+n2+…+nk-1。

通過定義下面的目標函數(shù)來構(gòu)造類內(nèi)緊湊度

tr(ATXMwXTA)

(6)

2.2 類間離散度

(7)

(8)

式中:rk-1=n1+n2+…+nk-1。

通過定義下面的目標函數(shù)來構(gòu)造類間離散度

(9)

LwXTA)。

3 鑒別稀疏局部保持投影算法

DSNPE算法利用求得的稀疏表示系數(shù)創(chuàng)建L1范數(shù)圖,其近鄰參數(shù)可以通過稀疏約束自動產(chǎn)生,從而克服了NPE算法中近鄰參數(shù)設(shè)置難的問題,但DSNPE算法的類間離散度構(gòu)造較復雜。對此,本文結(jié)合LPP算法,通過最大化類間離散度和最小化類內(nèi)緊湊度,提出了DSLPP算法,簡化了類間離散度的構(gòu)造,擴大了不同類數(shù)據(jù)之間的距離,增強了算法的判別力。

3.1 類內(nèi)緊湊度

與DSNPE中類內(nèi)緊湊度相同,Ww表示類內(nèi)權(quán)重矩陣。結(jié)合LPP算法,定義類內(nèi)緊湊度的目標函數(shù)為

tr(ATXLwXTA)

(10)

3.2 本文提出的類間離散度

(11)

式中:D=[f1,f2,…,fi-1,fi,fi+1,…,fc]∈Rm×c;

(12)

式中:Wb表示類間離散度矩陣。通過定義下面的目標函數(shù)來構(gòu)造類間離散度

tr(ATFLbFTA)

(13)

3.3 DSLPP算法

聯(lián)合考慮類內(nèi)緊湊度和類間離散度,本文先給出DSLPP算法的目標函數(shù)如下

(14)

一般情況下,不能直接得到這個跡比函數(shù)的最優(yōu)解[14]。本文進一步化簡式(14),得到DSLPP算法的目標函數(shù)

(15)

在分類問題中,當樣本維數(shù)高、可獲得的樣本數(shù)少的情況下,矩陣XLwXT總是奇異的。為了避免矩陣XLwXT的奇異性,本文首先用PCA對訓練樣本進行降維。

DSLPP算法的主要步驟可歸納如下。

(2)用式(12)計算類間離散度矩陣Wb。

(3)用式(5)計算類內(nèi)緊湊度矩陣Ww。

(4)解特征方程FLbFTA=λXLwXTA,則最優(yōu)投影向量為(XLwXT)-1(FLbFT)的d個最大特征值所對應(yīng)的特征向量為(a1,a2,…,ad),最優(yōu)投影矩陣A*=[a1,a2,…,ad]。

(5)DSLPP的最優(yōu)投影向量ADSLPP=APCAA*。

3.4 時間復雜度分析

DSLPP算法主要是針對DSNPE算法時間復雜度高而提出的新算法。下面是關(guān)于這兩種算法時間復雜度的比較。

4 實驗結(jié)果及分析

為了驗證算法的有效性,將本文提出的DSLPP算法與其他算法(如LDA、LPP、DLPP、NPE、SPP、DSNPE)在Yale人臉庫[16]、UMIST人臉庫[17]和AR人臉庫[18]上進行實驗,并將實驗結(jié)果進行了比較。這3個人臉庫在人臉面部細節(jié)、姿態(tài)、光照、以及圖片背景等方面均存在很大的差異,因此能夠很好地檢驗算法的魯棒性。為公平比較,將所有相比較的算法首先用PCA方法預(yù)處理,對Yale和UMIST人臉庫保持98%的圖像能量,即保持原數(shù)據(jù)一定信息的前提下降維;對AR人臉庫設(shè)置最大約簡維數(shù)為300。LDA算法最多投影出c-1特征,c為類別個數(shù)。對于LPP、DLPP、NPE算法,以步長為1從K=[1,10]區(qū)間中搜索最優(yōu)近鄰個數(shù)K,熱核參數(shù)σ為訓練樣本范數(shù)的均值。所有實驗都采用最近鄰分類器進行分類。實驗環(huán)境:計算機CPU為Intel(R) Xeon(R) W3505 @2.53 GHz,內(nèi)存3.98 GB,操作系統(tǒng)Windows XP Professional,操作軟件為MATLAB 7.10(R2012a)。

Yale人臉庫共有165張人臉圖片,每人11張。所有圖片被裁剪為64×64像素大小。Yale數(shù)據(jù)庫用來測試有光照、表情變化及有飾物(眼鏡)條件下算法的識別性能。實驗過程中,對每個人的圖片分別隨機選樣本個數(shù)l=4,5,6幅圖像進行訓練,其余樣本用于識別。每個樣本數(shù)l下重復進行20組實驗,最后取20次實驗結(jié)果的均值作為最終結(jié)果進行分析。表1給出了分別采用LDA、LPP、DLPP、NPE、SPP、DSNPE和DSLPP算法在Yale人臉數(shù)據(jù)庫上的平均識別率。圖1給出了7種算法在Yale人臉庫上的識別結(jié)果。

UMIST人臉庫由20個不同的人在不同姿勢下拍攝的575幅圖片組成,每幅圖像的大小為112×92像素。每一組圖片都有從側(cè)面到正面的不同姿態(tài),這20個圖像涵蓋了不同種族、性別、面貌特征的情況。實驗過程中,對每個人的圖像分別隨機選取樣本數(shù)l=5,7,9幅圖像進行訓練,其余樣本用于識別。每個l重復進行20組實驗,最后取20次實驗結(jié)果的均值作為最終結(jié)果進行分析。表2給出了LDA、LPP、DLPP、NPE、SPP、DSNPE和DSLPP算法在UMIST人臉數(shù)據(jù)庫上的最高平均識別率。圖2給出了7種算法在UMIST人臉庫上的識別結(jié)果。

AR彩色人臉庫包含超過4 000幅的圖像,126人,其中男性70名,女性56名。AR人臉庫主要包含表情、光照和遮擋等變化,圖像分辨率為165×120像素。同文獻[19]一樣,我們選取一個包含50名男性和50名女性的子庫(僅有光照和表情變化),每人選取14張圖像,其中7張作為訓練樣本,剩余7張作為測試樣本。為了簡化識別過程,將圖像裁剪為60×43像素。圖3給出了對AR人臉訓練的識別結(jié)果。表3給出了LDA、LPP、DLPP、NPE、SPP、DSNPE和DSLPP算法在AR人臉庫上的最高識別率和對應(yīng)的維數(shù)。

共 表1 7種算法在Yale數(shù)據(jù)的最高平均識別率

表2 7種算法在UMIST數(shù)據(jù)的最高平均識別率

(a)l=4

(b)l=5

(c)l=6圖1 樣本數(shù)分別為4、5、6時7種算法在Yale人臉庫上的識別結(jié)果

(a)l=5

(b)l=7

(c)l=9圖2 樣本數(shù)分別為5、7、9時7種算法在UMIST人臉庫上的識別結(jié)果

圖3 7種算法在AR人臉庫上的識別結(jié)果

從實驗結(jié)果可以看出,DSLPP算法在Yale、UMIST 庫上的平均識別率及 AR 庫上的最高識別率分別達83.38%、95.72%、83.71%,較其他傳統(tǒng)方法的識別率有明顯提高。LDA、LPP、NPE、SPP算法的識別率相對較低一些,這是因為這3種算法均沒有考慮類別信息。雖然DLPP和DSNPE算法均考慮了類別信息,并且都考慮了局部和全局結(jié)構(gòu)信息,但DSNPE算法的識別率高于DLPP算法的,這可能主要因為DSNPE算法是基于稀疏表示法自適應(yīng)地確定類內(nèi)類間相似度。與DSNPE算法相比,DSLPP算法獲得了更好的識別率,這主要是因為DSLPP算法中所采用的新的類間離散度最大限度地擴大了不同類別中各個樣本點之間的差異,從而獲得了更好的類間判別力。

表3 7種算法在AR人臉庫上的最高識別率和 對應(yīng)的維數(shù)

在上述所比較的算法中僅有SPP、DSNPE、DSLPP算法采用稀疏表示的方法自適應(yīng)確定權(quán)重矩陣。為了進一步驗證本文算法的有效性,對這3種算法在UMIST人臉庫上進行了計算時間的比較,實驗結(jié)果如表4所示。因為SPP算法采用稀疏表示的方法自適應(yīng)設(shè)置了整個樣本集的權(quán)重矩陣,而DSNPE算法采用稀疏表示不僅設(shè)置了類內(nèi)權(quán)重矩陣,而且設(shè)置了類間權(quán)重矩陣,因此DSNPE比SPP算法耗時。本文所提DSLPP算法也采用稀疏表示方法自適應(yīng)確定了類內(nèi)權(quán)重矩陣和類間權(quán)重矩陣,但正是DSLPP算法中采用了合理的稀疏表示字典設(shè)計,從而大大降低了算法的計算時間。從表4可以看出,與SPP和DSNPE算法相比較,DSLPP算法的運行時間明顯少得多。

表4 算法運行時間的比較

5 結(jié) 論

本文提出了一種新的維數(shù)約簡的算法,即鑒別稀疏局部保持投影的人臉識別算法(DSLPP)。一方面,DSLPP算法簡化了稀疏表示字典的構(gòu)造,降低了計算時間的復雜度;另一方面,DSLPP算法保持了不同類平均向量的稀疏重構(gòu)關(guān)系,考慮了全局判別結(jié)構(gòu),擴大了不同類數(shù)據(jù)之間的距離,算法具有較好判別力。在Yale、UMIST和AR人臉庫上的實驗表明,DSLPP算法的分類識別結(jié)果優(yōu)于其他方法。今后我們會結(jié)合基于概率和Bayesian理論的人臉識別方法對本文方法作進一步的改進。

[1] JOLLIFFE I T. Principal component analysis [M]. Berlin, Germany: Springer-Verlag, 1986: 111-137.

[2] BELHUMEUR P N, HESPANHA J P, KRIENGMAN D J. Eigenfaces vs. fisherfaces: recognition using class specific linear projection [J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 1997, 19(7): 711-720.

[3] TENENBAUM J B, Silva V D, LANGFORD J C. A global geometric framework for nonlinear dimensionality reduction [J]. Science, 2000, 290: 2319-2323.

[4] BELKIN M, NIYOGI P. Laplacian eigenmaps for dimensionality reduction and data representation [J]. Neural Computation, 2003, 15(6): 1373-1396.

[5] HE X, CAI D, YAN S, et al. Neighborhood preserving embedding [C] ∥Proceedings of the IEEE International Conference on Computer Vision. Piscataway, NJ, USA: IEEE, 2005: 1208-1213.

[6] HE X, YAN S, HU Y, et al. Learning a locality preserving subspace for visual recognition [C] ∥Proceedings of the IEEE International Conference on Computer Vision. Piscataway, NJ, USA: IEEE, 2003: 385-392.

[7] YU W, TENG X, LIU C. Face recognition using discriminant locality preserving projections [J]. Image and Vision Computing, 2006, 24(3): 239-248.

[8] WRIGHT J, YANG A Y, GANESH A, et al. Robust face recognition via sparse representation [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2009, 31(2): 210-227.

[9] 陳思寶, 許立仙, 羅彬. 基于多重核的稀疏表示分類 [J]. 電子學報, 2014, 42(9): 1807-1811. CHEN Sibao, XU Lixian, LUO Bin. Multiple kernel sparse representation based classification [J]. Acta Electronica Sinica, 2014, 42(9): 1807-1811.

[10]WRIGHT J, MA Y, MAIRAL J, et al. Sparse representation for computer vision and pattern recognition [J]. Proceedings of the IEEE, 2010, 98(6): 1031-1044.

[11]杜春, 孫即祥, 周石琳, 等. 基于稀疏表示和非參數(shù)判別分析的降維算法[J]. 國防科技大學學報, 2013, 35(2): 143-147. DU Chun, SUN Jixiang, ZHOU Shilin, et al. Dimensionality reduction based on sparse representation and nonparametric discriminant analysis [J]. Journal of National University of Defense Technology, 2013, 35(2): 143-147.

[12]QIAO L S, CHEN S C, TAN X Y. Sparsity preserving projections with applications to face recognition [J]. Pattern Recognition, 2010, 43(1): 331-341.

[13]LU G F, JIN Z, ZOU J. Face recognition using discriminant sparsity neighborhood preserving embedding [J]. Knowledge-Based Systems, 2012, 31(7): 119-127.

[14]JIA Y Q, NIE F P, ZHANG C S. Trace ratio problem revisited [J]. IEEE Transactions on Neural Networks, 2009, 20(4): 729-735.

[15]DONOHO D L, TSAIGs Y. Fast solution of L1-norm minimization problems when the solution may be sparse [J]. IEEE Transactions on Information Theory, 2008, 54(11): 4789-4812.

[16]HE Xiaofei. See [EB/OL]. (2012-02-27)[2015-10-29]. http: ∥www.cad.zju.edu.cn/home/dengcai/Data/FaceData.html.

[17]GRAHAM D B, ALLINSON N M. Characterizing virtual eigensignatures for general purpose face recognition[M]. Berlin, Germany: Springer-Verlag, 1998: 446-456.

[18]MARTINEZ A M, BENAVENTE R. The AR face database, compute vision center technical report #24 [R]. Birmingham, AL, USA: University of Alabama at Birmingham, 1998.

[19]GUI Jie, SUN Zhenan, JIA Wei, et al. Discriminant sparse neighborhood preserving embedding for face recognition [J]. Pattern Recognition, 2012, 45(8): 2884-2893.

(編輯 劉楊)

A Face Recognition Algorithm Based on Discriminant Sparse Locality and Preserving Projections

YANG Yifang1,3,WANG Yuping2

(1. School of Mathematics and Statistics, Xidian University, Xi’an 710071, China; 2. School of Computer Science and Technology, Xidian University, Xi’an 710071, China; 3. College of Science, Xi’an Shiyou University, Xi’an 710065, China)

A new face recognition algorithm, i.e. a discriminant sparse locality and preserving projection algorithm (DSLPP), is proposed to solve the problem that the construction between-class scatters is too complex in the discriminant sparse neighborhood and preserving embedding (DSNPE) method. A novel between-class scatter is constructed by using the mean vector of each class as dictionary and preserving the sparse reconstructive relationship of mean face. Then, an optimal projection matrix is obtained by maximizing the between-class scatter and minimizing the with-class compactness simultaneously. The nearest neighbor classifier is finally used for face recognition. The proposed between-class scatter maximizes the difference of samples between different classes and has more discriminant power, so that the recognition rate of the proposed algorithm is markedly improved. Moreover, the computational complex of the DSLPP algorithm is reduced because of the simple design of the dictionary. Experimental results show that the DSLPP algorithm achieves average recognition rates 83.38% and 95.72% on Yale, and UMIST face database respectively, and a maximal recognition rate 83.71% on AR face database, and that the recognition rates are obviously higher than the recognition rates of some conventional methods. The experimental results on UMIST face databases also show that the average computation time of the DSLPP algorithm is less 81.7% than that of the DSNPE algorithm.

face recognition; dimension reduction; sparse reconstructive; local preserving projections

2015-11-19。 作者簡介:楊藝芳(1976—),女,博士生;王宇平(通信作者),男,教授,博士生導師。 基金項目:國家自然科學基金資助項目(61503082,61472297)。

時間:2016-04-03

10.7652/xjtuxb201606009

TP391.41

A

0253-987X(2016)06-0054-07

網(wǎng)絡(luò)出版地址:http:∥www.cnki.net/kcms/detail/61.1069.T.20160403.1823.008.html