零空間邊界Fisher分析法及其在人臉識別中的應(yīng)用

楊 軍1 ，劉妍麗

(1.四川師范大學(xué)計算機(jī)科學(xué)學(xué)院，四川 成都 610101； 2.四川師范大學(xué)數(shù)學(xué)與軟件學(xué)院，四川 成都 610101)

0 引言

隨著社會的發(fā)展和技術(shù)的進(jìn)步，人臉識別技術(shù)在公共安全、海關(guān)、監(jiān)控、人機(jī)交互等方面有著巨大的應(yīng)用前景。人臉識別一直是自動圖像分析和識別領(lǐng)域里的一個活躍的研究課題[1]。人臉識別的原始數(shù)據(jù)是圖像矩陣。如果將矩陣數(shù)據(jù)排列在一起，則形成一個高維向量。過高的維數(shù)不但使統(tǒng)計方法很難準(zhǔn)確估計一些統(tǒng)計量，也增加了后續(xù)對比分類工作的時間開銷，即所謂的維數(shù)災(zāi)難問題(curse of dimensionality)。子空間分析方法是人臉識別方法中的一個重要分支。它從降低原始數(shù)據(jù)向量維數(shù)的角度出發(fā)，將原始高維數(shù)據(jù)映射到一個能夠更好地表征數(shù)據(jù)分布的低維特征空間中，從而在去除噪聲和壓縮數(shù)據(jù)的同時更好地區(qū)分?jǐn)?shù)據(jù)。

特征臉(Eigenface)方法[2]和Fisher臉(Fisherface)方法[3]是2個經(jīng)典的子空間人臉識別方法。它們分別是基于統(tǒng)計學(xué)習(xí)中的主成分分析(PCA)和線性判別分析(LDA)算法的。PCA 是一種無監(jiān)督學(xué)習(xí)算法。它在最小平方意義下給出數(shù)據(jù)的最優(yōu)表示，主要適用于數(shù)據(jù)的壓縮和重構(gòu)，通過求解樣本集協(xié)方差矩陣的最大幾個特征值所對應(yīng)的特征向量所張成的子空間而得到。它沒有考慮樣本的類別信息，因此所學(xué)習(xí)的子空間對于分類來說未必是最優(yōu)的。LDA 是一種監(jiān)督學(xué)習(xí)算法，其目標(biāo)是求出一個線性子空間，使得在這個子空間中，訓(xùn)練樣本的類內(nèi)散度最小的同時類間散度最大，數(shù)據(jù)在低維空間中往往具有較好的可分性。這是一種有效的降維和特征抽取方法。

PCA和LDA算法都假定人臉圖像存在于一個歐氏空間中，然而有研究[4-5]表明人臉圖像更可能存在于一個非線性的流形子空間中。拉普拉斯臉(Laplacianface)方法[6]將流形學(xué)習(xí)思想運用到人臉識別中，其核心算法是局部保持投影(LPP)。LPP是流形學(xué)習(xí)算法拉普拉斯映射(LE)[7]的線性逼近，因此，它具有保持訓(xùn)練樣本局部流形結(jié)構(gòu)的性質(zhì)，還具有顯式的數(shù)據(jù)映射矩陣，可以直接對新樣本進(jìn)行特征抽取，適用于人臉識別。雖然LPP算法具有發(fā)現(xiàn)訓(xùn)練樣本局部流形結(jié)構(gòu)的能力，但是它是一種無監(jiān)督學(xué)習(xí)方法，提取的子空間對分類問題未必是最優(yōu)的。邊界Fisher分析方法(marginal fisher analysis, MFA)融合了監(jiān)督學(xué)習(xí)和流形學(xué)習(xí)的思想，在保持同類樣本局部結(jié)構(gòu)的同時盡量分離異類的邊界樣本，進(jìn)一步提升了LPP 算法鑒別能力[8-9]。

LDA、LPP和MFA算法都以相應(yīng)矩陣的跡的比值作為優(yōu)化目標(biāo)，求解過程中涉及對矩陣求逆的操作，如LDA算法需要對類內(nèi)總體散度矩陣Sw求逆；然而在人臉識別問題中，訓(xùn)練樣本特征的維數(shù)通常較高而數(shù)量較少，即遭遇所謂的高維小樣本問題，因此，類似于Sw的矩陣往往是奇異的，造成相應(yīng)的鑒別準(zhǔn)則是“病態(tài)的”，從而無法直接求解最優(yōu)投影向量。Fisherface、Laplacianface及MFA方法都先利用PCA算法將原始數(shù)據(jù)降到一個低維空間中，在該空間保證Sw等矩陣可逆，然后再采用求解通用特征值的方法來解決該問題。文獻(xiàn)[10-11]的研究表明，LDA方法在保證Sw可逆的情況下去除了Sw的零空間，然而Sw的零空間含有大量的鑒別信息。為保留Sw的零空間信息，Chen等[10]提出零空間LDA人臉識別方法，先求出Sw的零空間，將樣本投影到Sw的零空間上，再求解使類間總體散度最大的投影向量。本文將零空間的思想運用到MFA準(zhǔn)則的求解過程中，并進(jìn)行在人臉識別中的實驗以驗證該方法的有效性。

1 邊界Fisher判別分析

MFA是一種結(jié)合類邊界信息的圖嵌入算法。其基本思想是構(gòu)造一個本征圖使類內(nèi)樣本點更加緊湊，同時構(gòu)造一個懲罰圖使異類間的邊界樣本點更加分離。給定訓(xùn)練樣本集合X={X1,X2,…,XN}∈Rn，用G={X,W}表示基于該訓(xùn)練集建立的一個無向有權(quán)圖，每個樣本點Xi為圖中的1個頂點，Wij為頂點i和頂點j之間的權(quán)重。本征圖中的權(quán)重設(shè)置方法為

(1)

懲罰圖中的權(quán)重設(shè)置方式為

(2)

令數(shù)據(jù)從高維空間向低維特征空間的映射函數(shù)為yi=aTXi，保持同類樣本局部緊致性的目標(biāo)可以表示為

(3)

投影空間中異類近鄰樣本盡量分離的目標(biāo)可以表示為

(4)

綜合以上2個優(yōu)化目標(biāo)，MFA的優(yōu)化準(zhǔn)則為

(5)

(b) 1類數(shù)據(jù)存在多模態(tài)分布

2 零空間邊界Fisher分析

式(5)的求解要求Sw可逆，為此在人臉識別問題中運用MFA方法時先用PCA降低維數(shù)以保證Sw可逆；然而該過程將損失了部分包含在Sw零空間中的鑒別信息。實際上，滿足aTSwa=0且aTSba≠0的向量可以使式 (5)獲得最大比例，因此Sw零空間中含有重要的鑒別信息。矩陣Sw的零空間的定義為{x|Swx=0,x∈Rn}，其維數(shù)為n-rank(Sw)。為保留Sw的零空間，本文提出的零空間邊界Fisher分析方法(null space marginal Fisher analysis，NMFA),首先將樣本投影到Sw的零空間中，然后在Sw的零空間中求解使Sb最大的投影向量，這就可以通過對Sb進(jìn)行特征值分解得到。NMFA的具體步驟如下。

輸入：共C個類別的訓(xùn)練樣本X={X1,X2,…,XN}∈Rn。

輸出：最優(yōu)變換矩陣Aopt。

1) 根據(jù)式(1)、 (2) 計算本征圖權(quán)重矩陣W和Wp，計算圖拉普拉斯矩陣L和Lp。

2) 根據(jù)式(3)、 (4) 計算類內(nèi)散度矩陣Sw和類間散度矩陣Sb。

4) 對Sw進(jìn)行特征值分解，取最小的n-r個特征值所對應(yīng)的特征向量構(gòu)成Sw的零空間Q，滿足QTSwQ=0。

在求得最優(yōu)變換矩陣Aopt后，便可以將訓(xùn)練樣本和測試樣本向Aopt所代表的特征空間中進(jìn)行投影，得到樣本的低維空間表示，然后利用各種分類方法進(jìn)行分類。本文主要分析NMFA算法抽取的特征的鑒別能力，因此實驗中采用較為簡單的最近鄰分離器完成分類。

3 實驗結(jié)果及分析

為驗證本文方法的有效性，分別在ORL數(shù)據(jù)庫和Yale 數(shù)據(jù)庫上進(jìn)行實驗，并與LDA和MFA算法進(jìn)行對比。

3.1 在ORL 人臉數(shù)據(jù)庫上的實驗

ORL人臉庫由40 人、每人10 幅圖像組成：有些圖像拍攝于不同時期; 人的臉部表情和臉部細(xì)節(jié)有著不同程度的變化, 如笑或不笑、眼睛或睜或閉、戴或不戴眼鏡; 人臉姿態(tài)也有相當(dāng)程度的變化, 深度旋轉(zhuǎn)和平面旋轉(zhuǎn)可達(dá)20; 人臉的尺度也有多達(dá)10%的變化。圖像的分辨率是112×92，實驗中根據(jù)人眼位置截取出臉部圖像并將分辨率設(shè)置為32×32。實驗中分別選擇每人的前k(2到9)個樣本作為訓(xùn)練樣本，剩余的作為測試樣本，各種算法的最優(yōu)識別率如表1所示，其中MFA和NMFA中的2個近鄰參數(shù)k1和k2分別設(shè)置為2和20。

表1 各種算法在ORL數(shù)據(jù)庫上的最優(yōu)識別率

由表1可知，NMFA算法在大多數(shù)訓(xùn)練/測試劃分情況下都取得了最好的識別結(jié)果，當(dāng)訓(xùn)練樣本較少時(如2、3個訓(xùn)練樣本)對識別率的提高尤其明顯，隨著訓(xùn)練樣本數(shù)的增多，NMFA算法對識別率的提高不再那么明顯。造成這一結(jié)果的原因可能是隨著訓(xùn)練樣本的增多，LDA可以更準(zhǔn)確地估計散度矩陣，而NMFA中的Sw的零空間將有所減少，不再具有明顯的優(yōu)勢。從總體結(jié)果來看，NMFA仍然取得了高于LDA和MFA的識別率。

為測試各種算法的人臉識別率的穩(wěn)定性，實驗中記錄了各種算法在不同投影維數(shù)下取得的識別率，如圖2所示。

(a)4個訓(xùn)練樣本

(b)6個訓(xùn)練樣本

3.2 在Yale人臉數(shù)據(jù)庫上的實驗

Yale人臉庫包括15人的165 幅灰度人臉圖像，每人由11 幅照片構(gòu)成。這些照片在不同的表情和光照條件下拍攝。實驗中, 圖像大小被處理成32×32的形式。實驗中分別選擇每人的前k(2到10)個樣本作為訓(xùn)練樣本，剩余的作為測試樣本，各種算法的最優(yōu)識別率如表2所示，其中，MFA及NMFA中的2個近鄰參數(shù)k1和k2分別設(shè)置為4和4。

表2 各種算法在Yale數(shù)據(jù)庫上的最優(yōu)識別率

由表2可知，在Yale數(shù)據(jù)庫中NMFA也取得了相對好的識別結(jié)果，與ORL數(shù)據(jù)庫效果一樣，尤其在訓(xùn)練樣本較少的情況下，在識別率上的優(yōu)勢尤其明顯。各種算法總體上都隨著訓(xùn)練樣本的增多識別率逐漸提高，Yale數(shù)據(jù)庫上的識別率總體上要差于ORL數(shù)據(jù)庫上的識別率。這主要是因為Yale數(shù)據(jù)庫上的人臉圖像存在較大的光照變化，從而造成類內(nèi)差異較大，影響了監(jiān)督學(xué)習(xí)算法的學(xué)習(xí)效果。各種算法的識別率-維數(shù)變化曲線如圖3所示。

(a)2個訓(xùn)練樣本

(b) 3個訓(xùn)練樣本

觀察ORL和Yale數(shù)據(jù)庫上的識別率-維數(shù)曲線可以發(fā)現(xiàn)，NMFA在同等維數(shù)情況下的識別率基本都高于其他2種算法，并且當(dāng)選擇的維數(shù)到達(dá)類別數(shù)量后其識別率非常穩(wěn)定。這一性質(zhì)決定了可以較容易地設(shè)置該方法中的低維空間維數(shù)參數(shù)，在實際應(yīng)用中具有較好的適應(yīng)性。

4 結(jié)束語

本文提出一種基于零空間策略求解邊界Fisher分析的方法——NMFA。實驗結(jié)果表明，MFA算法是一種有效的特征提取方法，對訓(xùn)練樣本的分布具有一定的適應(yīng)性，NMFA進(jìn)一步提升了MFA算法的鑒別能力，在人臉識別中具有較好的識別率。同時也注意到，NMFA算法需要對高維矩陣Sw進(jìn)行特征分解，因此時間效率不高。提高NMFA算法學(xué)習(xí)過程的時間效率是今后將關(guān)注的問題。

[1]Zhao W, Chellappa R, Phillips P J, et al. Face Recognition: a Literature Survey [J]. ACM Computing Survey, 2003, 35(4): 399-458.

[2]Turk M, Pentland A. Face Recognition using Eigenfaces[C]//Proc IEEE Conf on Computer Vision and Pattern Recognition. Maui:IEEE, 1991: 586-591.

[3]Belhumeur P N, Hespanha J P, Kriegman D J. Eigenfaces vs Fisherface: Recognition Using Class Specific Linear Projection[J].IEEE Trans on Pattern Analysis and Machine Intelligence, 1997,19(7): 711-720.

[4]Tenenbaum J B, De Silva V, Langford JC. A Global Geometric Framework for Nonlinear Dimensionality Reduction[J]. Science, 2000, 290:2319-2323.

[5]Roweis S T, Saul L K. Nonlinear Dimensionality Reduction by Locally Linear Embedding[J]. Science, 2000,290:2323-2326.

[6]He X, Yan S, Hu Y, et al. Face Recognition using Laplacianfaces[J]. IEEE Trans on Pattern Analysis and Machine Intelligence, 2005,27(3):328-340.

[7]Belkin M, Niyogo P. Laplacian Eigenmaps for Dimensionality Reduction and Data Representation [J]. Neural Computation, 2003, 15( 6) : 1373-1396.

[8]Yan S , Xu D, Zhang B, et al. Graph Embedding and Extensions: A General Framework for Dimensionality Reduction [J]. IEEE Trans Pattern Analysis and Machine Intelligence, 2007, 29 (1):40-51.

[9]盧桂馥，林忠，金忠．基于最大差值的二維邊界Fisher的人臉識別[J]．計算機(jī)科學(xué)，2010，37(5)：251-253.

[10]Chen L F, Liao H M, Lin J C, et al. A New LDA-based Recognition System which can Solve the Small Sample Size Problem[J]. Pattern Recognition, 2000, 33(10):1713-1726.

[11]Huang R, Liu Q S, Lu H Q, et al. Solving the Small Sample Size Problem of LDA[C]//Proceedings of International Conference on Pattern Recognition. Quebec, Canada:IEEE, 2002:29-32.