二維判別監(jiān)督LPP算法在人臉識別中的應(yīng)用

趙璇　劉輝

摘要：一維常規(guī)LPP方法應(yīng)用于人臉識別數(shù)據(jù)時，由于通常存在矩陣奇異性問題，相應(yīng)特征方程不可直接求解；目前已提出了二維局部保持投影算法（2DLPP）可以解決上述問題。但需要指出的是，2DLPP是一個非監(jiān)督的學(xué)習(xí)方法，其只考慮了數(shù)據(jù)的距離關(guān)系，而忽視了合理處理不同類別樣本間關(guān)系的問題。本文將介紹的2DLPP改進方法——二維判別監(jiān)督局部保持投影（2DDSLPP）的方法能利用監(jiān)督學(xué)習(xí)的手段改進2DLPP，提高其分類性能。通過實驗證明，可以大大提高識別率。

Abstract： Because of the matrices singularity， the corresponding characteristic equations can not be directly solved when the one dimensional regular LPP method is applied to face recognition data， the two dimensional locality preserving projection （2DLPP） can directly solve the above problems. But it should be pointed out that， 2DLPP is an unsupervised learning method， it only considers the distance relationship of the data， and ignores to reasonably deal with the relationship among different categories. This article will introduce the improved method of 2DLPP——two-dimensional discrimination and supervision locality preserving projection （2DDSLPP）， it can use supervised learning method to improve 2DLPP， improve its classification performance. The experiment proves that the recognition rate is improved greatly.

關(guān)鍵詞：人臉識別；局部保持投影；線性判別分析；子空間

Key words： face identification；locality preserving projection；linear discriminant analysis；subspace

中圖分類號：TP391.4 文獻標識碼：A 文章編號：1006-4311（2016）05-0219-02

0 引言

人臉識別在身份識別、安全監(jiān)控等領(lǐng)域的廣泛應(yīng)用，使其逐漸成為模式識別及人工智能的重要組成部分。近期，基于子空間方法的人臉識別迅速發(fā)展，已提出很多識別方法，如主成分分析（Principal Component Analysis，簡稱PCA）和線性判別分析[1]（Linear Discriminant Analysis，簡稱LDA）。而PCA和LDA方法的前提條件是樣本服從多元正態(tài)分布，而研究表明，人臉圖像不一定服從正態(tài)分布[2]，在此背景下，兩種方法都無法獲得預(yù)期的應(yīng)用效果。因此，局部保持投影（Locality Preserving Projection，簡稱LPP）應(yīng)運而生。與上述方法相比，LPP在投影時可以保持樣本的局部結(jié)構(gòu)[3]，投射到流形結(jié)構(gòu)上的人臉圖像更能反映其本質(zhì)，因此LPP的應(yīng)用性能遠優(yōu)于PCA。近期研究表明，常規(guī)的LPP方法理論上存在一些問題[4]：首先，一維LPP方法應(yīng)用于高維數(shù)據(jù)時，通常存在矩陣奇異性問題，其相應(yīng)特征方程不可直接求解；另外，在高維數(shù)據(jù)情況下，雖然已有的PCA+LPP方案能得出可直接求解的特征方程，但也存在變換結(jié)果與真正的具有較強局部拓撲結(jié)構(gòu)保持性質(zhì)的變換結(jié)果相差太大的理論缺陷[6]。

目前研究者已提出了二維局部保持投影算法[7]（2DLPP）。2DLPP算法和LPP算法相比，擁有很低的時間復(fù)雜度。而且，由于2DLPP中矩陣的維數(shù)遠低于一維LPP，2DLPP一般不存在小樣本問題。但是，2DLPP是一個非監(jiān)督的學(xué)習(xí)方法[8]，其只考慮了數(shù)據(jù)的距離關(guān)系，而忽視了合理處理不同類別樣本間關(guān)系的問題。假如能利用監(jiān)督學(xué)習(xí)的手段改進2DLPP，則有望提高其分類性能。本文將介紹的2DLPP——二維判別監(jiān)督局部保持投影（2DDSLPP）的方法正是基于此提出的。

1 局部保持投影（LPP）

LPP基于一些性能目標尋找線性變換W，繼而對高維數(shù)據(jù)進行降維：

已知存在l個訓(xùn)練樣本X={xi}li=1∈Rm，將下列目標函數(shù)進行最小化處理，得到變換矩陣W：

其中S是權(quán)值矩陣，可采用k近鄰來定義：

在式（3）中，ε>0，t>0，另外ε還是一個足夠小的常量。

通過式（2）可對目標函數(shù)進行降維后，所得到的特征空間可以保持原始高維空間的局部結(jié)構(gòu)。因此，我們運用式（4）對式（2）進行代數(shù)變換：

在式（4）中，X=[x1，x2，…，xl]，D是l×l對角陣，對角線元素Dii=Sij，L=D-S。

通過式（5）求解廣義本征值問題，得到一個變換矩陣W，將W代入式（4）可得到一個最小值。

式（5）的d個最小的非零特征值所對應(yīng)的特征向量構(gòu)成投影矩陣W=[w1，w2，…，wd]。

在人臉識別領(lǐng)域，LPP算法常常會遇到小樣本問題，常規(guī)的解決方法是先采用PCA降維，然后在PCA子空間應(yīng)用算法，但存在上述缺陷，于是學(xué)者們提出了二維局部保持投影算法（2DLPP）。而2DLPP是一個非監(jiān)督的學(xué)習(xí)方法，其只考慮了數(shù)據(jù)的距離關(guān)系，而忽視了合理處理不同類別樣本間關(guān)系的問題。進而通過改進引入二維監(jiān)督的局部保持投影算法（2DSLPP）。

2 二維判別監(jiān)督的局部保持投影（2DDSLPP）

本節(jié)主要討論的二維判別監(jiān)督局部保持投影（2DDSLPP）不僅利用了樣本的類別信息，而且要求降維后同類樣本之間保持近鄰關(guān)系，不同類的樣本之間距離變遠。仍然假設(shè)從原樣本空間到特征空間的投影向量是列向量a，則原樣本Xi的投影結(jié)果為Yi=aTXi。二維判別監(jiān)督局部保持的目標函數(shù)為如下定義，即

min（6）

式中：S表示關(guān)于同類樣本之間的關(guān)系矩陣；SD表示不同類樣本之間的樣本關(guān)系矩陣。S的定義如下：如果Xi，Xj來自同一類，則S=exp- Yi-Yj /t，否則，令其為零。SD的定義為：如果Xi，Xj來自不同類，則S=exp- Yi-Yj /t，否則，令S=0。式（8）可以變換為

min=min（7）

令c為常量，TX（L2In）XTa=c（c≠0）。用Lagrange條件極值求解方法，式（6）與如下Lagrange函數(shù)同時取得極值，即

對Lagrange函數(shù)L（a，λ），其極值在？鄣L（a，λ）/？鄣a=0的條件下獲得。因此，極小值問題式（8）可轉(zhuǎn)換為求解式（11）的最小特征值對應(yīng)特征向量的問題，即

假設(shè)列向量a1，a2，…，ad是特征方程式（11）前d個最小特征值對應(yīng)的特征向量，按照特征值有小到大排列：λ1<λ2<…<λd。令A(yù)=[a1，a2，…，ad]，則原樣本Xi的投影結(jié)果為Yi=ATXi。

3 實驗

對AR數(shù)據(jù)庫中120人的3120幅人臉圖像（每人26幅圖像）進行了實驗。每幅人臉圖像首先被縮小為40*50大小。為了簡單，本實驗采用AR數(shù)據(jù)庫中前40人的1040幅人臉圖像（每人26幅圖像）進行了實驗。實驗分為4種情況，4種情況下訓(xùn)練樣本的個數(shù)分別為6、8、10、12，而測試樣本的個數(shù)分別為20、18、16、14。對每種情況，分別進行10次實驗；每次實驗的訓(xùn)練樣本與測試樣本均隨機選擇。例如，在第一種情況下，10次實驗中的每次都隨機的選擇6個訓(xùn)練樣本與20個測試樣本，然后運行各方法并計算出正確的識別率。由于每次實驗中正確識別率均隨變換軸的個數(shù)變化而變化，我們只記錄下每次實驗中的最大正確率。表1顯示了每種情況的10次實驗的最大正確識別率的均值?？梢钥吹?，2DSLPP和2DDSLPP的正確率均高于2DLPP，且2DDSLPP的正確識別率比2DDLPP、2DLDA的正確識別率都要高。圖1給出的是，在訓(xùn)練樣本和測試樣本個數(shù)分別為10和16情況小的一次實驗中，正確識別率隨變換軸個數(shù)的變化。

4 結(jié)束語

本文提出了二維判別監(jiān)督局部保持投影算法。將該算法應(yīng)用在實際問題中，LPP方法對光照、姿態(tài)變化敏感的缺點就迎刃而解，并且能實現(xiàn)降維后同類樣本之間保持近鄰關(guān)系，不同類的樣本之間距離變遠。實驗結(jié)果表明，LPP 方法對光照和姿態(tài)變化具有一定的魯棒性，能夠?qū)θ四槇D像進行有效的降維處理，從而進一步提高人臉識別率。但是關(guān)于該方法的魯棒性，在今后的應(yīng)用中還有待進一步的研究和驗證。

參考文獻：

[1]Bo Li，Chun-Hou Zheng，De-Shuang Huang. Locally linear discriminant embedding： An efficient method for face recognition[J]. Pattern Recognition， 2008 （12）.

[2]Weiwei Yu， Xiaolong Teng，Chongqing Liu. Face recognition using discriminant locality preserving projections[J]. Image and Vision Computing， 2005 （3）.

[3]D. Cai，X. He，J. Han.SRDA：An efficient algorithm for large scale discriminant analysis. Computer Science Department UIUC UIUCD CS-R-2007-2857 Tech. Rep. 2007.

[4]趙芬慶.基于LPP的人臉圖像分析[D].西安電子科技大學(xué)， 2013.

[5]Ye J P，Janardan R，Li Q.Two-dimensional linear discriminant analysis. Advances in Neural Information Processing Systems， 2004.

[6]Huang R，Liu Q，Lu H，et a1.Solving the small sample size problem of LDA. Proceedings of International Conference on Pattern Recognition， 2002.

[7]龐爾平.人臉識別中基于稀疏降維方法的研究[D].吉林大學(xué)，2013.

[8]華顯明.結(jié)合2DPCA和有監(jiān)督LPP人臉識別算法研究[D]. 重慶師范大學(xué)，2013.