基于稀疏保持拉普拉斯判別分析的特征提取算法

任迎春， 王志成， 趙衛(wèi)東， 彭　磊

(1. 同濟(jì)大學(xué) CAD研究中心,上海 200092；2. 嘉興學(xué)院 數(shù)理與信息工程學(xué)院,浙江 嘉興 314001；3. 泰山醫(yī)學(xué)院 信息工程學(xué)院, 山東 泰安 271016)

?

基于稀疏保持拉普拉斯判別分析的特征提取算法

任迎春1,2， 王志成1， 趙衛(wèi)東1， 彭磊3

(1. 同濟(jì)大學(xué) CAD研究中心,上海 200092；2. 嘉興學(xué)院 數(shù)理與信息工程學(xué)院,浙江 嘉興 314001；3. 泰山醫(yī)學(xué)院 信息工程學(xué)院, 山東 泰安 271016)

摘要：針對(duì)稀疏保持投影算法在特征提取過程中無(wú)監(jiān)督和l1范數(shù)優(yōu)化計(jì)算量較大的問題，提出一種基于稀疏保持拉普拉斯判別分析的快速特征提取算法.首先通過逐類主元分析(PCA)構(gòu)造級(jí)聯(lián)字典,并基于該字典通過最小二乘法快速學(xué)習(xí)稀疏保持結(jié)構(gòu);其次利用學(xué)習(xí)到的稀疏表示結(jié)構(gòu)正則化拉普拉斯判別項(xiàng)達(dá)到既考慮判別效率又保持稀疏表示結(jié)構(gòu)的目的;所提算法最終轉(zhuǎn)化為一個(gè)求解廣義特征值問題.在公共人臉數(shù)據(jù)庫(kù)(Yale，ORL和擴(kuò)展Yale B)的測(cè)試結(jié)果驗(yàn)證了該方法的可行性和有效性.

關(guān)鍵詞：特征提??；稀疏表示；拉普拉斯判別分析； 主元分析； 人臉識(shí)別

在諸如目標(biāo)識(shí)別[1]、文本分類[2]、信息檢索[3]等很多科學(xué)研究領(lǐng)域,數(shù)據(jù)常常以非常高維的形式出現(xiàn).這些高維的數(shù)據(jù)常常難以被人理解、描述和識(shí)別.在實(shí)踐中,特征提取是處理高維數(shù)據(jù)問題的有效手段[4-6],通過特征提取能夠降低數(shù)據(jù)的維數(shù),得到高維數(shù)據(jù)的有效低維表示,以便理解其內(nèi)在結(jié)構(gòu)及后續(xù)處理.迄今為止,人們提出了很多特征提取的方法.基于所利用的數(shù)據(jù)結(jié)構(gòu),可將這些方法分為三類:基于全局結(jié)構(gòu)的方法、基于局部結(jié)構(gòu)的方法和基于稀疏表示的方法.

主元分析(principal component analysis，PCA)[7]和線性判別分析(linear discriminant analysis，LDA)[8]是基于全局結(jié)構(gòu)的特征提取算法,這些算法具有堅(jiān)實(shí)的理論基礎(chǔ),易于執(zhí)行和分析,應(yīng)用廣泛.但PCA和LDA均基于高維數(shù)據(jù)空間的嵌入子空間是線性的這一假設(shè), 難以發(fā)現(xiàn)隱藏在高維數(shù)據(jù)中的局部流形特征.

為充分挖掘隱藏在高維數(shù)據(jù)中的局部流形結(jié)構(gòu),人們提出了多種基于流形學(xué)習(xí)的特征提取算法,主要包括等距映射 (isomap)[9]、拉普拉斯映射LE(Laplacian eigenmaps)[10]、局部線性嵌入 LLE(local linear embedding)[11]、局部保持投影LPP (locality preserving projection)[12]和鄰域保持嵌入NPE (neighborhood preserving embedding)[13]等. 這些方法均通過構(gòu)造近鄰圖保留樣本的局部鄰域結(jié)構(gòu),在一定程度上保持了原始數(shù)據(jù)的局部流形特征,但它們都是從局部的角度考慮,并未考慮原始樣本空間中兩個(gè)相距較遠(yuǎn)的樣本在投影后的關(guān)系.

稀疏保持投影(sparsity preserving projection，SPP)[14]是最近提出的一種基于稀疏表示理論的無(wú)監(jiān)督降維算法.該算法以保持?jǐn)?shù)據(jù)的稀疏重構(gòu)關(guān)系為目的,是一種較好的特征提取算法,但處理過程中計(jì)算每個(gè)樣本的稀疏向量都需要求解一個(gè)l1范數(shù)優(yōu)化問題,計(jì)算復(fù)雜度太高.另外,SPP并沒有利用類標(biāo)信息,而針對(duì)分類和識(shí)別問題,標(biāo)簽信息非常重要.

本文針對(duì)稀疏保持投影算法(SPP)在特征提取過程中無(wú)監(jiān)督和l1范數(shù)優(yōu)化計(jì)算量較大的問題,提出一種基于稀疏保持拉普拉斯判別分析的快速特征提取算法(sparsity preserving Laplacian discriminant analysis, SPLDA). 具體來(lái)講,SPLDA首先通過逐類PCA構(gòu)造級(jí)聯(lián)字典并基于該字典通過最小二乘法快速學(xué)習(xí)稀疏保持結(jié)構(gòu),其次利用學(xué)習(xí)到的稀疏表示結(jié)構(gòu)正則化拉普拉斯判別分析來(lái)達(dá)到既考慮判別效率又保持稀疏表示結(jié)構(gòu)的目的,最后通過求解一個(gè)廣義特征值問題來(lái)獲得數(shù)據(jù)的最優(yōu)嵌入函數(shù). SPLDA具有以下幾方面的優(yōu)點(diǎn)：① SPLDA是一種新的特征提取方法,它在保持?jǐn)?shù)據(jù)稀疏表示結(jié)構(gòu)的同時(shí)又可以尋求最優(yōu)的判別函數(shù).② SPLDA在運(yùn)行時(shí)間上遠(yuǎn)遠(yuǎn)優(yōu)于SPP. SPLDA通過最小二乘法快速學(xué)習(xí)稀疏系數(shù)向量,而SPP需要求解n個(gè)l1范數(shù)的優(yōu)化問題,兩者相比SPLDA學(xué)習(xí)稀疏表示結(jié)構(gòu)的計(jì)算成本大大降低.③ SPLDA兩次利用了類標(biāo)信息.首先在構(gòu)造級(jí)聯(lián)字典和計(jì)算稀疏系數(shù)向量時(shí)利用了標(biāo)簽信息,這有利于求解一個(gè)更具判別性的稀疏表示結(jié)構(gòu);其次在計(jì)算局部散度矩陣和非局部散度矩陣時(shí)也利用了類標(biāo)信息,這更有利問題的分類.④ SPLDA引入了吉洪諾夫正則項(xiàng)[15],有效克服了局部散度矩陣的奇異性問題,因此SPLDA對(duì)小樣本問題同樣適用.

1稀疏保持投影

(2)其中，si是式(1)的最優(yōu)解，表示每個(gè)樣本xi的稀疏向量系數(shù). 最后，通過求解如下的優(yōu)化問題得到最優(yōu)投影向量

(3)其中，Sβ=S+ST-STS,該優(yōu)化問題最終轉(zhuǎn)化為求解一個(gè)廣義特征值問題.

從上述算法步驟可以看出,SPP在構(gòu)造稀疏權(quán)重矩陣時(shí)需求解n個(gè)l1范數(shù)的最小化問題,這對(duì)于大規(guī)模問題由于計(jì)算代價(jià)太大而無(wú)法廣泛應(yīng)用;另外,SPP是一種無(wú)監(jiān)督學(xué)習(xí)模式,而對(duì)于分類和識(shí)別問題,充分利用類標(biāo)信息是十分重要的.

2SPLDA算法

針對(duì)SPP在構(gòu)造稀疏權(quán)重矩陣時(shí)需要求解n個(gè)l1范數(shù)計(jì)算量較大的問題,本文借助逐類PCA構(gòu)造級(jí)聯(lián)式約簡(jiǎn)字典,并基于該字典通過最小二乘法快速學(xué)習(xí)稀疏保持結(jié)構(gòu);針對(duì)SPP在維數(shù)約簡(jiǎn)過程中的無(wú)監(jiān)督問題,本文充分利用類標(biāo)信息,重新定義了拉普拉斯判別項(xiàng),并通過學(xué)習(xí)到的稀疏保持結(jié)構(gòu)正則化拉普拉斯判別項(xiàng)以達(dá)到既考慮判別性能又保持?jǐn)?shù)據(jù)稀疏表示結(jié)構(gòu)的目的.

2.1構(gòu)造級(jí)聯(lián)字典

假設(shè)數(shù)據(jù)樣本集為X={x1,x2,…,xn},樣本xi∈Rm.令X=[X1,X2,…,XK],表示所有樣本一共有K個(gè)類別，此處Xi=[xi1,xi2,…,xini]∈Rm×ni表示第i類樣本.假設(shè)同類樣本位于一個(gè)線性子空間中,則樣本可由該類的若干原子線性表出.對(duì)每一類Xi做主分量分析,其目標(biāo)函數(shù)為

(6)上述公式的約簡(jiǎn)過程利用了PCA分解中各主分量的正交性.圖1顯示了級(jí)聯(lián)字典D的構(gòu)造過程.

圖1　級(jí)聯(lián)字典的構(gòu)造過程

2.2構(gòu)造稀疏保持正則項(xiàng)

級(jí)聯(lián)字典D在一定程度上描述了數(shù)據(jù)的幾何結(jié)構(gòu).每一個(gè)樣本x的稀疏系數(shù)s顯式編碼了訓(xùn)練樣本的判別信息.所以高維空間中的稀疏表示結(jié)構(gòu)最好能在投影后的低維空間中得到保持,定義目標(biāo)函數(shù)Js(w)如

(7)其中，si是樣本xi在級(jí)聯(lián)字典D下的稀疏表示系數(shù).式(7)可整理為

(8)

其中S=[s1,s2,…,sn]，從而(7)可寫成

DSXT+DSSTDT)w

(9)2.3構(gòu)造拉普拉斯判別項(xiàng)

拉普拉斯判別的目標(biāo)是使得樣本投影后非局部散度盡量大而局部散度盡量小.首先定義相似度矩陣Ω=[Ωij]和差異度矩陣B=[Bij]如下

(10)

(11)其中σ是參數(shù),通常取訓(xùn)練樣本的標(biāo)準(zhǔn)方差.由上述定義可以看出,若兩個(gè)樣本距離較近且來(lái)自同一類,則其相似度較大,反之亦然;若兩個(gè)樣本距離較遠(yuǎn)且來(lái)自不同類別,則其差異度較大,反之亦然.故它們可以將同類樣本通過投影后更加緊湊,而不同類樣本投影后更加分離.

局部散度JL和非局部散度JN可表示為

(12)

(13)

其中yi=wTxi為原始數(shù)據(jù)xi經(jīng)過投影后的目標(biāo)數(shù)據(jù),經(jīng)過一些代數(shù)操作,式(12)可整理為

(14)

(16)2.4SPLDA算法

稀疏保持拉普拉斯判別分析(SPLDA)的目的是在尋求一個(gè)有效的判別子空間的同時(shí)保持?jǐn)?shù)據(jù)的稀疏表示結(jié)構(gòu).根據(jù)2.2節(jié),最小化稀疏保持正則項(xiàng)Js(w)就能保持稀疏表示結(jié)構(gòu),故SPLDA的目標(biāo)函數(shù)如下

(17)

其中JN(w)和JL(w)分別是2.3節(jié)中的非局部散度和局部散度,Js(w)是2.2節(jié)中的稀疏保持項(xiàng).為避免小樣本問題,加入吉洪諾夫正則項(xiàng)wTw[15].λ1,λ2是控制分母中三項(xiàng)平衡的正則化參數(shù).

經(jīng)過一些代數(shù)操作,式(17)可整理為

(18)

式中： I是對(duì)應(yīng)吉洪諾夫正則項(xiàng)的單位矩陣；M是對(duì)應(yīng)稀疏保持正則項(xiàng)的矩陣.M=XXT-XSTDT-DSXT+DSSTDT,故SPLDA的目標(biāo)函數(shù)可重寫為

(19)

式(19)最終轉(zhuǎn)化為求解廣義特征值問題如下：

(20)

故最佳投影矩陣W=[w1,w2,…,wd]可由上述廣義特征值問題中最大的d個(gè)特征值對(duì)應(yīng)的特征向量組成.

綜上所述,利用SPLDA算法進(jìn)行人臉識(shí)別的基本步驟如下:

(1)為保證XLBXT是非奇異的,首先對(duì)原始圖像進(jìn)行PCA降維處理,將高維的人臉特征通過轉(zhuǎn)換矩陣投影到低維的PCA子空間,并求得投影矩陣UPCA.

(2)對(duì)每類樣本的訓(xùn)練集Xi執(zhí)行PCA分解,求出級(jí)聯(lián)字典D; 計(jì)算任一樣本x在級(jí)聯(lián)字典D下的稀疏系數(shù)s進(jìn)而獲得稀疏權(quán)重矩陣S;代入M=XXT-XSTDT-DSXT+DSSTDT獲得矩陣M.

(3)建立類內(nèi)相似度矩陣Ω和類間差異度矩陣B,并計(jì)算拉普拉斯矩陣LΩ=DΩ-Ω和LB=DB-B.

(4)求解廣義特征值問題XLBXTw=η(XLΩXT+λ1I+λ2M)w, 獲得初始投影矩陣U*.

(6)利用最近鄰分類器對(duì)測(cè)試圖像進(jìn)行分類.對(duì)每一個(gè)投影后的測(cè)試圖像,比較其與投影后的訓(xùn)練圖像間的歐式距離,并判決為與其最近的圖像同類,進(jìn)而通過決策的正確與否求出SPLDA算法的人臉識(shí)別率.

3實(shí)驗(yàn)結(jié)果與分析

為驗(yàn)證本文所提算法SPLDA的正確性和有效性,分別在Yale[17],ORL[18]和擴(kuò)展的Yale B[19]人臉庫(kù)上進(jìn)行實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果與經(jīng)典算法PCA, LDA, LPP，NPE和SPP進(jìn)行比較.識(shí)別過程通常由以下三部分組成：① 首先計(jì)算出各種算法在同一訓(xùn)練樣本集中相應(yīng)的投影矩陣;② 將測(cè)試樣本投影到所學(xué)的投影矩陣得到其在低維空間中的特征表示;③ 使用最近鄰分類器對(duì)測(cè)試樣本完成識(shí)別.本文的實(shí)驗(yàn)環(huán)境為Intel(R) Core(TM) i7-4770K,3.50GHz CPU,16.0 G內(nèi)存,Windows 7 操作系統(tǒng),實(shí)現(xiàn)算法的軟件是Matlab R2013a.

Yale數(shù)據(jù)庫(kù)[17]由15人組成,共165幅灰度圖像,每人11幅;ORL[18]數(shù)據(jù)庫(kù)共有40個(gè)人的400幅人臉圖像,每人10幅;擴(kuò)展Yale B[19]數(shù)據(jù)庫(kù)包含38個(gè)人的2414張人臉圖像,每人有大約64幅圖像.這些圖像包括了姿態(tài)、光照和表情的差異.為有效計(jì)算,所有圖像都根據(jù)眼睛的位置進(jìn)行配準(zhǔn),然后被縮放成大小為32×32的圖像.

在本實(shí)驗(yàn)中,每人隨機(jī)選取一半圖像用于訓(xùn)練(Yale，ORL和擴(kuò)展版Yale B每人分別隨機(jī)選取6，5和32幅圖像),其余圖像用于測(cè)試,重復(fù)50次,最后取平均值作為識(shí)別結(jié)果.PCA和LDA沒有模型參數(shù), SPP[14]中的參數(shù)ε設(shè)為0.05,LPP和NPE中的鄰域模式設(shè)為“Supervised”,權(quán)值模式設(shè)為“Cosin”. SPLDA中的參數(shù)σ取為各訓(xùn)練集的標(biāo)準(zhǔn)方差,而(λ1,λ2)通過10倍交叉驗(yàn)證從集合S={0.01, 0.02,…,1.00}中選擇.對(duì)Yale, ORL及擴(kuò)展Yale B相應(yīng)的(λ1,λ2)分別設(shè)置為(0.94,0.25), (0.72,0.36)和(0.90,0.20).

因人臉向量空間的維數(shù)遠(yuǎn)大于訓(xùn)練樣本的個(gè)數(shù),SPLDA，LDA，LPP，NPE等方法都涉及PCA預(yù)處理階段,即先將訓(xùn)練樣本集投影到主分量生成的子空間上.由于Yale和ORL數(shù)據(jù)庫(kù)規(guī)模較小,在PCA 預(yù)處理階段保留100%的能量;而針對(duì)規(guī)模較大的Yale B 擴(kuò)展數(shù)據(jù)庫(kù),為能在合理的時(shí)間內(nèi)得到實(shí)驗(yàn)結(jié)果，在PCA 預(yù)處理階段保留98%的能量.

特征提取算法的識(shí)別率通常隨維數(shù)的大小而變化.圖2顯示了PCA，LDA，LPP，NPE，SPP和SPLDA在三個(gè)測(cè)試數(shù)據(jù)庫(kù)上的識(shí)別率隨維數(shù)的變化情況.各種特征提取算法在三個(gè)庫(kù)上的最高識(shí)別率及對(duì)應(yīng)方差總結(jié)在表1中.另外需要指出的是,由于LDA所對(duì)應(yīng)的廣義特征值問題最多只有K-1個(gè)非零特征值(K為類別數(shù))，故其提取的特征維數(shù)上界是K-1,從圖2的試驗(yàn)結(jié)果中也可以看到.

a Yale

b ORL

c 擴(kuò)展版Yale B

算法PCALDALPPNPESPPSPLDAYale62.41(±3.83)81.32(±3.71)81.39(±2.73)81.12(±1.69)76.53(±2.58)98.27(±3.15)ORL86.26(±2.31)92.31(±2.73)92.89(±2.26)93.31(±2.34)87.04(±3.16)96.32(±3.29)擴(kuò)展YaleB80.41(±2.07)96.47(±2.59)95.91(±3.68)94.71(±2.62)84.73(±2.47)97.17(±3.48)

通過圖2可以看出,SPLDA的識(shí)別率比其他所有方法都高,這是因?yàn)镾PLDA在尋求最優(yōu)嵌入函數(shù)的同時(shí)保持了數(shù)據(jù)的稀疏表示結(jié)構(gòu);另外,SPLDA在初試階段的識(shí)別率隨維數(shù)的增加比其他方法更快,這是因?yàn)樵趯W(xué)習(xí)稀疏表示結(jié)構(gòu)和計(jì)算拉普拉斯判別項(xiàng)時(shí)都用到了類標(biāo)信息.這表明相比于其他方法,SPLDA在一個(gè)比較低維的子空間中獲得了更好的判別性能,這有利于降低計(jì)算成本及節(jié)約維數(shù)約簡(jiǎn)后的存儲(chǔ)空間.

另外,本實(shí)驗(yàn)還對(duì)SPLDA和SPP學(xué)習(xí)嵌入函數(shù)的運(yùn)行時(shí)間上做了比較.SPLDA和SPP在每個(gè)測(cè)試數(shù)據(jù)庫(kù)上學(xué)習(xí)嵌入函數(shù)所需的平均時(shí)間總結(jié)在表2中.從實(shí)驗(yàn)結(jié)果看,SPLDA比SPP執(zhí)行時(shí)間少的多,特別是在擴(kuò)展Yale B等較大規(guī)模數(shù)據(jù)庫(kù)上.這是因?yàn)镾PLDA在學(xué)習(xí)稀疏表示結(jié)構(gòu)時(shí)只需做K個(gè)PCA分解和n個(gè)最小二乘法,而SPP在學(xué)習(xí)稀疏表示結(jié)構(gòu)時(shí)需要求解n個(gè)耗時(shí)的l1范數(shù)優(yōu)化問題.

表2　SPLDA和SPP學(xué)習(xí)嵌入函數(shù)運(yùn)行時(shí)間比較

最后,本文研究了SPLDA算法中吉洪諾夫正則項(xiàng)和稀疏保持正則項(xiàng)的控制參數(shù)λ1及λ2的魯棒性問題.在Yale數(shù)據(jù)庫(kù)上λ1(λ2=0.25)和λ2(λ1=0.94)對(duì)SPLDA的性能影響如圖3所示.從實(shí)驗(yàn)結(jié)果可知，SPLDA的識(shí)別性能隨λ1,λ2變化較小,所以其對(duì)正則參數(shù)λ1,λ2是魯棒的.

圖3　在Yale數(shù)據(jù)庫(kù)上參數(shù)對(duì)SPLDA識(shí)別性能的影響

4結(jié)論

提出一種基于稀疏保持拉普拉斯判別分析的特征提取算法,其目的是在尋求最佳投影矩陣的同時(shí)保持?jǐn)?shù)據(jù)的稀疏表示結(jié)構(gòu).具體來(lái)講,SPLDA首先通過逐類PCA構(gòu)造級(jí)聯(lián)字典,并基于該字典通過最小二乘法快速學(xué)習(xí)稀疏保持結(jié)構(gòu),然后SPLDA通過學(xué)習(xí)到的稀疏表示結(jié)構(gòu)正則化拉普拉斯判別項(xiàng)以達(dá)到同時(shí)考慮稀疏表示結(jié)構(gòu)和判別效率的目的.所提算法最終化轉(zhuǎn)為一個(gè)求解廣義特征值問題.在一些公共人臉數(shù)據(jù)庫(kù)上的實(shí)驗(yàn)證明了所提算法的優(yōu)越性能.

參考文獻(xiàn):

[1]Gupta S, Girshick R, Arbeláez P,etal. Learning rich features from RGB-D images for object detection and segmentation[C]//European Conference on Computer Vision(ECCV). Zurich: [s.n.], 2014: 345-360.

[2]Zhang W, Tang X, Yoshida T. TESC: an approach to text classification using semi-supervised clustering [J]. Knowledge-based Systems, 2015, 75:152.

[3]ZHAO Xueyi, ZHANG Zhongfei. Multimedia retrieval via deep learning to rank[J]. Signal Processing Letters, IEEE, 2015, 22(9):1487.

[4]Li C H, Ho H H, Kuo B C,etal. A semi-supervised feature extraction based on supervised and fuzzy-based linear discriminant analysis for hyperspectral image classification[J]. Journal of Applied Mathematics, 2015,9(1L):81.

[5]ZHANG D H, DING D, LI J,etal. PCA based extracting feature using fast fourier transform for facial expression recognition[C]//Transactions on Engineering Technologies.[S.l.]: Springer Netherlands, 2015: 413-424.

[6]LAI Yiqiang. Rotation moment invariant feature extraction techniques for image matching[J]. Applied Mechanics and Materials, 2015, 721:775.

[7]Jolliffe I T. Principal component analysis [M]. New York: Springer, 1986.

[8]Fukunaga K. Introduction to statistical pattern recognition [M]. 2nd ed. New York: Academic Press, 1990.

[9]Tenenbaum J, Silva V, Langford J.A global geometric framework for nonlinear dimensionality reduction[J].Science, 2000,290 (5050):2319.

[10]Belkin M, Niyogi P. Laplacian eigenmaps for dimensionality reduction and data representation [J]. Neural Computation, 2003,15(6): 1373.

[11]Roweis S T, Saul L K. Nonlinear dimensionality reduction by locally linear embedding [J]. Science, 2000,290(5500):2323.

[12]Zhao Z S, Zhang L, Zhao M,etal. Gabor face recognition by multi-channel classifier fusion of supervised kernel manifold learning [J]. Neurocomputing, 2012, 97: 398.

[13]He X, Cai D, Yan S,etal. Neighborhood preserving embedding[C]//IEEE International Conference on Computer Vision (ICCV). Beijing: IEEE, 2005:1208-1213.

[14]Qiao L, Chen S, Tan X. Sparsity preserving projections with applications to face recognition[J]. Pattern Recognition, 2010, 43(1):331.

[15]Tikhonov AN, Arsenin VY. Solution of ill-posed problems[M]. Washington D C: Winston & Sons, 1977.

[16]LOU Songjiang, ZHANG Guoyin, PAN Haiwei,etal. Supervised lapupacian discriminant analysis for small sample size problem with its application to face recognition [J]. Journal of Computer Research and Development, 2012, 49(8):1730.

[17]Belhumeur PN, Hespanha J, Kriegman D. Eigenfaces vs. fisherfaces: recognition using class specific linear projection[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1997, 19(7): 711.

[18]Samaria F, Harter A. Parameterisation of a stochastic model for human face identification[C]//Second IEEE Workshop on Applications of Computer Vision. Sarasota: IEEE, 1994:138-142.

[19]Lee K, Ho J, Kriegman D. Acquiring linear subspaces for face recognition under variable lighting [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2005, 27(5):684.

Feature Extraction with Sparsity Preserving Laplacian Discriminant Analysis

REN Yingchun1,2, WANG Zhicheng1, ZHAO Weidong1, PENG Lei3

(1. CAD Research Center, Tongji University, Shanghai 200092, China; 2. School of Mathematics, Physics and Information Engineering, Jiaxing University, Jiaxing 314001, China; 3. College of Information Engineering, Taishan Medical University, Taian 271016, China)

Abstract：Aiming at the unsupervised and time-consuming l1 norm optimization problems of the existing sparsity preserving projection, a novel fast feature extraction algorithm named sparsity preserving laplacian discriminant analysis (SPLDA) is proposed. SPLDA first creates a concatenated dictionary via class-wise principal component analysis(PCA) decompositions and learns the sparse representation structure of each sample under the dictionary using the least square method. Then SPLDA considers both the sparse representation structure and the discriminative efficiency by regularizing the Laplacian discriminant function from the learned sparse representation structure. Finally, the proposed method is transformed into a generalized eigenvalue problem. Extensive experiments on several popular face databases (Yale, Olivetti Research Laboratory(ORL) and Extended Yale B) are provided to validate the feasibility and effectiveness of the proposed algorithm.

Key words：feature extraction; sparse representation; Laplacian discriminant analysis; principal component analysis; face recognition

文獻(xiàn)標(biāo)志碼：A

中圖分類號(hào)：TP391

通訊作者：王志成(1975—),男,副研究員,工學(xué)博士,主要研究方向?yàn)槟Ｊ阶R(shí)別.E-mail: zhichengwang@#edu.cn

基金項(xiàng)目：國(guó)家自然科學(xué)基金(61103070;11301226);浙江省自然科學(xué)基金(LQ13A010017);山東省自然科學(xué)基金(ZR2015FL005)

收稿日期：2010—00—00

第一作者： 任迎春(1982—),男,博士生,主要研究方向?yàn)槟Ｊ阶R(shí)別及計(jì)算機(jī)視覺.E-mail: renyingchun2008@163.com