泛化改進(jìn)的局部切空間排列算法

趙遼英,李富杰,厲小潤(rùn)

(1.杭州電子科技大學(xué)計(jì)算機(jī)應(yīng)用技術(shù)研究所,杭州310018;2.浙江大學(xué)電氣工程學(xué)院,杭州310027)

泛化改進(jìn)的局部切空間排列算法

趙遼英1,李富杰1,厲小潤(rùn)2

(1.杭州電子科技大學(xué)計(jì)算機(jī)應(yīng)用技術(shù)研究所,杭州310018;2.浙江大學(xué)電氣工程學(xué)院,杭州310027)

改進(jìn)的局部切空間排列(ILTSA)算法解決了當(dāng)樣本稀疏、分布不均勻或數(shù)據(jù)流密度曲率變化較大時(shí),局部切空間排列算法不能揭示流形結(jié)構(gòu)的問題,用于人臉識(shí)別能提取更好的低維特征,但不能有效處理不斷增加的數(shù)據(jù)集的問題。為此,提出一種可泛化的ILTSA(GILTSA)算法。結(jié)合類別信息定義樣本間的距離實(shí)現(xiàn)各樣本的近鄰集選擇,基于ILTSA算法求解訓(xùn)練樣本集的低維流形,對(duì)每個(gè)新樣本尋找其在訓(xùn)練樣本集中的最近鄰,然后根據(jù)ILTSA算法原理求得其近似低維流形。在ORL、Yale和埃塞克斯大學(xué)人臉庫(kù)上的實(shí)驗(yàn)結(jié)果表明,與主成分分析算法和線性局部切空間排列算法等相比,GILTSA算法具有更好的識(shí)別率。

流形學(xué)習(xí);局部切空間排列;泛化;特征提取;人臉識(shí)別

1 概述

人臉識(shí)別技術(shù)是生物特征鑒別技術(shù)的一個(gè)主要方向,在安全保衛(wèi)、信息安全和司法檢驗(yàn)等領(lǐng)域具有十分重要的意義,多年來(lái)一直是一個(gè)研究熱點(diǎn)。由于人臉是易變的、非剛性的,很難用固定的模型進(jìn)行描述,因此特征提取是人臉識(shí)別技術(shù)中一個(gè)基本而又十分重要的環(huán)節(jié)。

目前提出的特征提取方法總體上可以分為線性和非線性2類,其中經(jīng)典的線性特征提取算法包括主成分分析(Principal Component Analysis,PCA)［1］、獨(dú)立成分分析(Independent Component Analysis,ICA)［2］和線性描述分析(Linear Discriminant Analysis,LDA)［3］等。這些算法的特點(diǎn)是通過計(jì)算原始空間中存在的線性結(jié)構(gòu)來(lái)獲得原始數(shù)據(jù)的低維表示,容易實(shí)現(xiàn)并得到了廣泛的應(yīng)用,但是并不能揭示潛在的流形結(jié)構(gòu)。近年來(lái)的研究成果表明,人臉圖像很可能位于一個(gè)非線性流形上［4-7］,許多有效的流形學(xué)習(xí)算法被發(fā)現(xiàn)并廣泛應(yīng)用。2000年Science雜志同一期發(fā)表的2篇文章分別提出了等距映射(Isometric Mapping,ISOMAP)［8］和局部線性嵌入(Locally Linear Embedding,LLE)［9-10］算法,其中, ISOMAP以測(cè)地線距離表示原始數(shù)據(jù)中的相似性關(guān)系,通過全局映射求得低維流形,LLE則采用局部鄰域的線性重構(gòu)系數(shù)描述其幾何結(jié)構(gòu),求得低維流形保持局部幾何結(jié)構(gòu),是一種局部算法。文獻(xiàn)［11］提出拉普拉斯特征映射(Laplacian Eigenmap,LE),采用一個(gè)無(wú)向有權(quán)圖描述數(shù)據(jù),利用圖拉普拉斯的性質(zhì)把數(shù)據(jù)從高維映射到低維空間。文獻(xiàn)［12-13］提出的局部切空間排列(Local Tangent Space Alignment,LTSA)通過局部空間PCA變換得到局部切空間坐標(biāo);然后經(jīng)過一系列變換將局部切空間坐標(biāo)轉(zhuǎn)換為全局切空間坐標(biāo),得到低維嵌入。LTSA是一種很好的流形學(xué)習(xí)算法,但當(dāng)數(shù)據(jù)是稀疏或者分布不均勻、整個(gè)數(shù)據(jù)流形結(jié)構(gòu)有很大的曲率時(shí), PCA可能會(huì)有一個(gè)壞的結(jié)果,LTSA也就不能真實(shí)地揭示數(shù)據(jù)的本質(zhì)結(jié)構(gòu)。文獻(xiàn)［14］針對(duì)LTSA的問題,提出了改進(jìn)的LTSA(ILTSA)算法,將樣本本身作為局部切空間的中心而不是其k個(gè)近鄰點(diǎn)的均值為中心,并且在局部切空間的目標(biāo)函數(shù)中通過一個(gè)權(quán)值來(lái)反映局部近鄰距離。

上述這些流形學(xué)習(xí)算法都存在2個(gè)問題,一個(gè)是在k近鄰選擇過程中沒有考慮類別信息,降維后識(shí)別率不高,另一個(gè)最主要的問題是它們都不具有泛化能力,對(duì)新樣本不能進(jìn)行有效的降維處理。解決第一個(gè)問題的辦法主要是在k近鄰選擇中將類別信息結(jié)合到距離度量中,如文獻(xiàn)［15］提出了增強(qiáng)監(jiān)督的LLE(Enhanced Supervised LLE,ESLLE)算法,根據(jù)2個(gè)樣本是否同類定義了不同的距離度量方式。眾多學(xué)者對(duì)第2個(gè)問題進(jìn)行了研究,提出了3類方法,第 1類是線性化方法,如鄰域保護(hù)嵌入(Neighborhood Preserving Embedding,NPE)［16］、局部保局投影(Locality Preserving Projections,LPP)［17］和線性局部切空間排列(Linear Local Tangent Space Alignment,LLTSA)［18］分別是LLE、LE和LTSA對(duì)應(yīng)的線性化方法;第2類是最近鄰近似方法,如文獻(xiàn)［19］研究了LTSA算法的泛化問題,提出了可泛化的LTSA(GLTSA)方法;第3類是圖嵌入方法。圖嵌入為多種降維算法提供了一個(gè)統(tǒng)一框架,每種降維算法可以看作核化的圖嵌入,對(duì)應(yīng)泛化算法的關(guān)鍵是核函數(shù)的確定。文獻(xiàn)［20］對(duì)ISOMAP、LE、 LLE和LTSA等基于圖嵌入框架的核函數(shù)及泛化進(jìn)行了深入研究,其中LTSA的核函數(shù)還需要繼續(xù)驗(yàn)證。本文主要基于最近鄰近似方法,提出了一種可泛化的ILTSA(GILTSA)算法,首先對(duì)訓(xùn)練樣本集用有監(jiān)督的k近鄰選擇方法確定ILTSA算法中各樣本的k近鄰集,然后基于ILTSA算法求解樣本集的低維流形,對(duì)每個(gè)新樣本尋找其在訓(xùn)練樣本集中的最近鄰,然后根據(jù)ILTSA算法原理求得其近似低維流形。

2 GILTSA算法描述

GLITSA算法主要分3個(gè)步驟完成,先用有監(jiān)督的方法尋找各樣本的k近鄰,然后基于ILSTA求得訓(xùn)練樣本集的低維流形,最后在訓(xùn)練樣本集中找到新樣本的最近鄰,用最近鄰近似投影方法得當(dāng)新樣本的低維流形。

2.1 有監(jiān)督的近鄰選擇

k近鄰選擇首先需要計(jì)算樣本間的距離。為了充分利用樣本數(shù)據(jù)的類別信息,在對(duì)樣本點(diǎn)xi進(jìn)行k近鄰選擇時(shí),利用類別信息修改歐式距離矩陣D,以確定更好的近鄰點(diǎn)。

對(duì)于一對(duì)數(shù)據(jù)(xi,Li)和(xj,Lj),{xi,yj}∈RD, Li和 Lj分別是 xi和 xj的類別信息,定義如下距離［12］:

其中,Δ是樣本點(diǎn)xi和xj之間未包含類別信息的歐式距離;參數(shù)β控制距離Δ的增長(zhǎng)速度,通常取β等于所有樣本數(shù)據(jù)中任意兩點(diǎn)間歐式距離的均值。

給定訓(xùn)練樣本集X=［x1,x2,…,xN］,對(duì)每個(gè)樣本,將其與其他樣本間的距離從小到大排序,確定k近鄰。

2.2 基于ILTSA的訓(xùn)練樣本集低維嵌入

設(shè)訓(xùn)練樣本xi的k個(gè)近鄰點(diǎn)集合為Xi=［xi1, xi2,…,xik］,為了保持每個(gè)樣本點(diǎn)xi在低維空間中的局部結(jié)構(gòu),ILTSA算法［11］通過對(duì)映射距離加權(quán)和以xi作為其近鄰點(diǎn)的局部中心來(lái)減弱樣本點(diǎn)分布不均的影響。構(gòu)造局部嵌入目標(biāo)函數(shù):

Qi={Qi1,Qi2,…,Qid}是矩陣(iWi)(iWi)T的d個(gè)最大特征值所對(duì)應(yīng)的特征向量,xij在局部切空間的投影為ij=(xij-xi)。設(shè)Y={y1,y2,…, yN}是樣本X=［x1,x2,…,xN］在全局坐標(biāo)系統(tǒng)下的投影結(jié)果,yij是xij在全局坐標(biāo)系統(tǒng)下對(duì)應(yīng)的點(diǎn),yi是xi在全局坐標(biāo)系統(tǒng)下對(duì)應(yīng)的點(diǎn)。假設(shè)在~θij和yij有唯一的仿射變換,則有:

其中,j=1,2,…,k;i=1,2,…,N;εij表示誤差。

為了保持在低維特征空間中局部幾何結(jié)構(gòu),需要使得重構(gòu)誤差函數(shù)ε(y)最小:

再次轉(zhuǎn)化,則式(7)等于:

通過下式構(gòu)建排列矩陣B:

B的初始化值為0,Bi={i1,i2,…,ik}表示xi的k個(gè)近鄰在排列矩陣中的索引。

計(jì)算矩陣B的Fd+1個(gè)最小特征值所對(duì)應(yīng)的特征向量,選擇其中第2小到第Fd+1個(gè)特征值對(duì)應(yīng)的特征向量得到樣本數(shù)據(jù)的低維表示為 Y=［u2, u3,…,uFd］′。

2.3 新樣本點(diǎn)的最近鄰近似投影

對(duì)于一個(gè)新的點(diǎn)xn(n＞N),找到其在訓(xùn)練樣本集中的最近鄰點(diǎn)xi,設(shè)Xi=［xit,xit+1,…,xik］和Yi=［yit,yit+1,…,yik］分別是xi的k個(gè)近鄰點(diǎn)和它在低維坐標(biāo)空間中相對(duì)應(yīng)的點(diǎn)。根據(jù)ILTSA算法原理可以得到:

通過最近鄰點(diǎn)xi低維投影點(diǎn)近似得到xn(n＞N)對(duì)應(yīng)的低維空間投影點(diǎn):

3 實(shí)驗(yàn)結(jié)果與分析

為了評(píng)估GILTSA算法的優(yōu)劣,采用ORL人臉數(shù)據(jù)庫(kù)(http://cvc.yale.endu/projects/yalefaces/yalefaces.html)、Yale人臉數(shù)據(jù)庫(kù)(http://cobweb.ecn.purdue.edu/～aleix/aleix_face_DB.html)和埃塞克斯大學(xué)人臉數(shù)據(jù)庫(kù)(http://cswww.essex.ac.uk/mv/allfaces/),將PCA這種非流形學(xué)習(xí)算法、LLTSA、GLTSA這2種流形學(xué)習(xí)算法、Baseline方法和GILTSA算法進(jìn)行人臉識(shí)別實(shí)驗(yàn)比較,分類算法采用k近鄰分類法(KNearest Neighborhoods,KNN),實(shí)驗(yàn)中k取值為8。由于計(jì)算機(jī)內(nèi)存的限制,這些人臉數(shù)據(jù)庫(kù)中的人臉圖片無(wú)法直接用于實(shí)驗(yàn)。因此,在實(shí)驗(yàn)時(shí)這些圖片被轉(zhuǎn)化為32×32像素的256級(jí)灰度圖片,每一幅圖片在圖像空間中將會(huì)表示成一個(gè)1 024維的向量。Baseline方法對(duì)原始數(shù)據(jù)不做降維處理,直接用于分類。GILTSA、LLTSA和GLTSA的第一步k近鄰選擇都采用監(jiān)督的方法。這3個(gè)方法都有3個(gè)參數(shù)需要確定,分別為近鄰數(shù)k、局部流形維度d和全局流形維度Fd。由于LLTSA、GLTSA、GILTSA算法對(duì)不同的數(shù)據(jù)庫(kù)對(duì)應(yīng)的最佳參數(shù)不同,因此先通過多次實(shí)驗(yàn)確定不同方法對(duì)應(yīng)不同數(shù)據(jù)庫(kù)的相對(duì)最佳參數(shù)。對(duì)每個(gè)人臉數(shù)據(jù)庫(kù),分別做2個(gè)實(shí)驗(yàn):(1)對(duì)于GILTSA、LLTSA、GLTSA算法固定所選擇的近鄰數(shù)k和局部降維維度d,測(cè)試最終降維維度Fd與識(shí)別率Rate的關(guān)系,由于人臉圖像是固定選取的,因此當(dāng)識(shí)別率達(dá)到最大值時(shí)的最終的流形降維維度Fd并不一定會(huì)在隨機(jī)選取的情況下平均識(shí)別率最大,但是可以確定隨機(jī)選取人臉圖像時(shí)使識(shí)別率達(dá)到最大的最終的流形降維維度Fd區(qū)間。本著應(yīng)用的需要,分別實(shí)驗(yàn)在Fd的最佳區(qū)間內(nèi)選取使得各個(gè)算法在隨機(jī)選取圖片的條件下平均識(shí)別率達(dá)到最大時(shí)的參數(shù)來(lái)獲得最佳參數(shù)。(2)相對(duì)最佳參數(shù)下多次實(shí)驗(yàn)的平均識(shí)別率、最小和最大識(shí)別率的比較。另外實(shí)驗(yàn)中的數(shù)據(jù)均無(wú)單位。

3.1 ORL人臉數(shù)據(jù)庫(kù)實(shí)驗(yàn)結(jié)果與分析

ORL人臉數(shù)據(jù)庫(kù)共由40個(gè)不同的人臉部圖像組成,每個(gè)人包含10幅圖像,每幅圖像的大小為112×92像素,每幅人臉的光照條件、人臉表情、面部細(xì)節(jié)各不相同,但是背景相同。圖1給出了ORL數(shù)據(jù)庫(kù)中某人的10副圖像。

圖1 ORL數(shù)據(jù)庫(kù)樣本示例

分別對(duì)每個(gè)人選取3個(gè)、5個(gè)訓(xùn)練樣本,余下的作為測(cè)試樣本,設(shè)置近鄰數(shù)參數(shù)k=10,局部流形維度d=3的情況下識(shí)別率Rate和全局子空間維度Fd的關(guān)系如圖2所示。從圖2(a)中可以看到,當(dāng)每個(gè)人選取3個(gè)訓(xùn)練樣本時(shí),對(duì)于PCA算法,當(dāng)全局子空間維度逐步增大時(shí)識(shí)別率不斷增大,在Fd=15左右趨于平緩,雖然仍然有浮動(dòng),但是變化不大,平均識(shí)別率在0.7左右。對(duì)于GILTSA、LLTSA、GLTSA算法,可以看到在Fd=35～60之間,平均識(shí)別率達(dá)到最高值為0.75左右,但是在Fd＞60時(shí),識(shí)別率不斷下降,因此對(duì)于GILTSA、LLTSA、GLTSA更高的降維維度并不會(huì)增大識(shí)別率。這一點(diǎn)從圖2(b)中也可以看到。

在選取合適的參數(shù)使LLTSA、GILTSA、GLTSA、PCA算法達(dá)到最大識(shí)別率的條件下,對(duì)于不同人臉隨機(jī)選取3個(gè)、5個(gè)訓(xùn)練樣本做79次人臉識(shí)別,其中,最佳識(shí)別率,平均識(shí)別率和最小識(shí)別率如表1所示,括號(hào)中為全局子空間維度。從表1可以看到,相對(duì)于PCA、LLTSA、GLTSA、GILTSA算法,GILTSA算法在選取3個(gè)訓(xùn)練樣本和5個(gè)訓(xùn)練樣本時(shí)最小識(shí)別率、平均識(shí)別率和最大識(shí)別率都要高一些。

圖2 識(shí)別率與子空間維度的關(guān)系(ORL)

表1 ORL人臉庫(kù)5種算法的識(shí)別率比較

3.2 Yale人臉數(shù)據(jù)庫(kù)實(shí)驗(yàn)結(jié)果與分析

由耶魯大學(xué)計(jì)算機(jī)視覺與控制中心創(chuàng)建,包含15位志愿者的165幅灰度圖片,每個(gè)人11幅圖片。每個(gè)人的11圖片中包含戴眼鏡、不戴眼鏡、左邊亮、右邊亮、正常表情、悲傷、驚訝、疲勞和眨眼等變化。圖3展示了其中一個(gè)人的所有圖片。

圖3 Yale數(shù)據(jù)庫(kù)樣本示例

同樣做2個(gè)實(shí)驗(yàn)。分別對(duì)每個(gè)人選取3個(gè)、5個(gè)訓(xùn)練樣本,余下的作為測(cè)試樣本,設(shè)置近鄰數(shù)參數(shù)k=11,局部流形維度d=4的情況下識(shí)別率Rate和全局流形維度Fd的關(guān)系如圖4所示。從圖4(a)中可以看到,當(dāng)每個(gè)人選取3個(gè)訓(xùn)練樣本時(shí),對(duì)于PCA算法,當(dāng)最終降維維度逐步增大時(shí),識(shí)別率不斷增大,在Fd=10左右趨于平緩,雖然仍然有浮動(dòng),但是變化不大,平均識(shí)別率在0.5左右。對(duì)于GILTSA、LLTSA、GLTSA算法,可以看到在Fd=6～25之間平均識(shí)別率達(dá)到最高值為0.65左右,但是在Fd＞25時(shí),GILTSA和GLTSA算法識(shí)別率不斷下降,LLTSA算法變化不大。從圖4(b)中可以看到,GILTSA、LLTSA、GLTSA算法在Fd=23～35是識(shí)別率達(dá)到最大為0.90左右。

在選取使LLTSA、GILTSA、GLTSA、PCA算法達(dá)到最大識(shí)別率參數(shù)的條件下,分別79次對(duì)于不同人臉隨機(jī)選取3個(gè)訓(xùn)練樣本、8個(gè)測(cè)試樣本和5個(gè)訓(xùn)練樣本、6個(gè)測(cè)試樣本,其中,最佳識(shí)別率,平均識(shí)別率和最小識(shí)別率如表2所示。從表2中可以看到,在隨機(jī)選取3個(gè)訓(xùn)練樣本、8個(gè)測(cè)試樣本時(shí),GILTSA算法與其他算法相比較,平均識(shí)別率、最大識(shí)別率、最小識(shí)別率相對(duì)都要大。在隨機(jī)選取5個(gè)訓(xùn)練樣本、6個(gè)測(cè)試樣本時(shí)GILTSA算法,最大識(shí)別率要小于GLTSA和LLTSA算法,但是大于PCA算法,最小識(shí)別率要大于其他算法。因此,可以說明GILTSA算法相對(duì)于其他算法穩(wěn)定性更好。

圖4 識(shí)別率與降維維度的關(guān)系(Yale)

表2 Yale人臉庫(kù)5種算法識(shí)別率的比較

3.3 埃塞克斯大學(xué)人臉數(shù)據(jù)庫(kù)實(shí)驗(yàn)結(jié)果與分析

由埃塞克斯大學(xué)的 Libor Spacek博士主持設(shè)計(jì),整個(gè)人臉庫(kù)包含 faces94、faces95、faces96、grimace等5個(gè)部分。選取其中的grimace人臉庫(kù), grimace人臉庫(kù)包含18人,分為男性、女性2個(gè)部分,每人20幅圖片。每幅圖片的大小為118×200像素。圖像的亮度變化較小。圖像中人臉的傾斜度、角度和姿勢(shì)變化比較微小。主要是嘴部和表情的變化。實(shí)驗(yàn)中選取其中18人,每人選取20幅圖像。圖5展示了其中一個(gè)人的所有圖片。

圖5 grimace數(shù)據(jù)庫(kù)部分樣本示例

圖6顯示了分別對(duì)每個(gè)人選取3個(gè)、5個(gè)訓(xùn)練樣本,余下的作為測(cè)試樣本設(shè)置近鄰數(shù)參數(shù)k=12、局部流形維度d=3的情況下識(shí)別率Rate和全局子空間維度Fd關(guān)系。從圖6(a)中可以看到,當(dāng)每個(gè)人選取3個(gè)訓(xùn)練樣本時(shí),對(duì)于PCA算法,當(dāng)全局子空間維度逐步增大時(shí)識(shí)別率不斷增大,在Fd=10左右趨于平緩,雖然仍然有浮動(dòng),但是變化不大,平均識(shí)別率在0.6左右。對(duì)于GILTSA、LLTSA、GLTSA算法,可以看到在Fd=15～25之間平均識(shí)別率達(dá)到最高值為0.85左右,但是在Fd＞30時(shí),識(shí)別率不斷下降,因此對(duì)于GILTSA、LLTSA、GLTSA更高的降維維度并不會(huì)增大識(shí)別率。這一點(diǎn)從圖6(b)中也可以看到。

選取使LLTSA、GILTSA、GLTSA、PCA算法達(dá)到最大識(shí)別率的參數(shù)的條件下,分別79次對(duì)于不同人臉隨機(jī)選取3個(gè)訓(xùn)練樣本、17個(gè)測(cè)試樣本和5個(gè)訓(xùn)練樣本、15個(gè)測(cè)試樣本,其中,最佳識(shí)別率,平均識(shí)別率和最小識(shí)別率如表3所示。從表3中可以看到,隨機(jī)選取3個(gè)訓(xùn)練樣本、17個(gè)測(cè)試樣本和5個(gè)訓(xùn)練樣本、15個(gè)測(cè)試樣本時(shí),GILTSA算法相對(duì)于其他算法,最佳識(shí)別率、平均識(shí)別率和最小識(shí)別率相對(duì)要更高一些。

圖6 識(shí)別率與降維維度的關(guān)系(grimace)

表3 grimace人臉庫(kù)5種算法識(shí)別率的比較

4 結(jié)束語(yǔ)

本文主要研究ILTSA算法的泛化問題,提出了一種基于最近鄰近似投影的可泛化ILTSA算法,并用于人臉識(shí)別。GILTSA算法與ILTSA算法相比。該算法改進(jìn)的地方主要有以下2點(diǎn):(1)結(jié)合類別信息定義樣本間的距離實(shí)現(xiàn)各樣本的近鄰集選擇; (2)對(duì)每個(gè)新樣本尋找其在訓(xùn)練樣本集中的最近鄰,然后根據(jù)ILTSA算法原理求得其近似低維流形。在ORL、Yale和埃塞克斯大學(xué)人臉庫(kù)上的實(shí)驗(yàn)結(jié)果表明,GILTSA方法與其他方法相比,具有更好的識(shí)別率。

在實(shí)驗(yàn)的過程中發(fā)現(xiàn):(1)GILTSA、GLTSA和LLTSA算法在求局部切空間的坐標(biāo)時(shí)對(duì)于近鄰點(diǎn)的排列要求很高,不同的排列方式所得到的最終識(shí)別率變化較大。(2)在Yale人臉數(shù)據(jù)庫(kù)和ORL人臉數(shù)據(jù)庫(kù)和埃塞克斯大學(xué)人臉數(shù)據(jù)庫(kù)的實(shí)驗(yàn)結(jié)果對(duì)比中可以看出Yale人臉數(shù)據(jù)庫(kù)的結(jié)果相對(duì)于ORL人臉數(shù)據(jù)庫(kù)和埃塞克斯大學(xué)人臉數(shù)據(jù)庫(kù)的實(shí)驗(yàn)結(jié)果要差一些。根據(jù)Yale人臉數(shù)據(jù)庫(kù)中人臉圖像存在亮度變化,因此推斷GILTSA算法對(duì)于亮度的變化比較敏感,但是其真實(shí)性還需要其他存在亮度變化的人臉數(shù)據(jù)庫(kù)驗(yàn)證。(3)在實(shí)驗(yàn)中,根據(jù)經(jīng)驗(yàn)固定了近鄰數(shù)參數(shù)和局部流形維度,但是兩者之間大幅度變化對(duì)于結(jié)果的影響還沒有驗(yàn)證。所以在接下來(lái)的工作中計(jì)劃:(1)驗(yàn)證光照是否對(duì)于ILTSA算法結(jié)果影響過大;(2)近鄰數(shù)參數(shù)和局部流形維度的最佳選擇。

［1］ Jolliffe I.Principal Component Analysis［M］.［S.l.］: John Wiley&Sons,Ltd.,2005.

［2］ Comon P.Independent Component Analysis,a New Concept［J］.Signal Processing,1994,36(3):287-314.

［3］ Duda R O,Hart P E,Stork D G.Pattern Classification［M］.［S.l.］:John Wiley&Sons,Ltd.,2012.

［4］ Seung H S,Lee D D.The Manifold Ways of Perception［J］.Science,2000,290(5500):2268-2269.

［5］ Shashua A,Levin A,Avidan S.Manifold Pursuit:A New Approach to Appearance Based Recognition［C］// Proceedings of the 16th International Conference on Pattern Recognition.［S.l.］:IEEE Press,2002:590-594.

［6］ Wong E K,Chen M.A New Robust Algorithm for Video Text Extraction［J］.Pattern Recognition,2003,36 (6):1397-1406.

［7］ 朱明旱.基于流形學(xué)習(xí)的人臉表情識(shí)別研究［D］.長(zhǎng)沙:中南大學(xué),2009.

［8］ Tenenbaum J B,de Silva V,Langford J C.A Global Geometric Framework for Nonlinear Dimensionality Reduction［J］.Science,2000,290(5500):2319-2323.

［9］ Roweis S T,SaulL K.Nonlinear Dimensionality Reduction by Locally Linear Embedding［J］.Science, 2000,290(5500):2323-2326.

［10］ 譚 璐.高維數(shù)據(jù)的降維理論及應(yīng)用［D］.長(zhǎng)沙:國(guó)防科學(xué)技術(shù)大學(xué),2005.

［11］ Belkin M,Niyogi P.Laplacian Eigenmaps for Dimensionality Reduction and Data Representation［J］.Neural Computation,2003,15(6):1373-1396.

［12］ Zhang Zhenyue,Zhang Hongyuan.Principal Manifolds and Nonlinear Dimension Reduction via Local Tangent Space Alignment［J］.SIAM Journal on Scientific Computing, 2002,26(1):313-338.

［13］ 王建忠.高維數(shù)據(jù)幾何結(jié)構(gòu)及降維［M］.北京:高等教育出版社,2012.

［14］ Zhang Peng,Qiao Hong,Zhang Bo.An Improved Local Tangent Space Alignment Method for Manifold Learning［J］.Pattern Recognition Letters,2011,32(2):181-189.

［15］ Zhang Shiqing.Enhanced Supervised Locally Linear Embedding［J］.Pattern Recognition Letters,2009,30(13): 1208-1218.

［16］ He Xiaofei.Neighborhood Preserving Embedding［C］// Proceedings of the 10th IEEE International Conference on ComputerVision.［S.l.］:IEEE Press,2005: 1208-1213.

［17］ He Xiaofei,Niyogi P.Locality Preserving Projections［EB/OL］.(2004-12-23).http://people.cs.uchicago.edu/～xiaofei/LPP.html.

［18］ Zhang Tianhao,Yang Jie,Zhao Deli,et al.Linear Local TangentSpace Alignmentand Application to Face Recognition［J］.Neurocomputing,2007,70(7):1547-1553.

［19］ Li Hongyu,Li Teng,Chen Wenbin,et al.Supervised Learning on LocalTangentSpace［M］.Berlin, Germany:Springer,2005.

［20］ Yang Yi,Nie Feiping,Xiang Shiming,et al.Local and Global Regressive Mapping for Manifold Learning with Out-of-sample Extrapolation［C］//Proceedings of the 24th AAAI Conference on Artificial Intelligence and the 22nd Innovative Applications of Artificial Intelligence Conference.［S.l.］:American Association for Artificial Intelligence Press,2010:649-654.

編輯 任吉慧

Local Tangent Space Alignment Algorithm of Generalized Improvement

ZHAO Liaoying1,LI Fujie1,LI Xiaorun2
(1.Institute of Computer Application Technology,Hangzhou Dianzi University,Hangzhou 310018,China;
2.College of Electrical Engineering,Zhejiang University,Hangzhou 310027,China)

The Improved Local Tangent Space Alignment(ILTSA)can obtain better low dimension feature for face recognition because it can efficiently recover the problem that the Local Tangent Space Alignment(LISA)fails to reveal the manifold structure in the case when data are sparse or non-uniformly distribute or when the data manifold has large curvatures.To solve the problem that the ILTSA cannot efficiently handle ever-increasing data set,this paper presents a Generalization method for the ILTSA(GILTSA).The nearest neighborhood set is obtained based on the distance defined according to the classes of the samples,then the low manifold of the training set is implemented using the ILTSA.Through finding the nearest sample in the training set,and the low manifold of a new sample is approximately calculated by the projection of its nearest sample.Experimental results on the ORL,the Yale and the University of Essex face image database indicate that the proposed GILTSA method increases the overall accuracy compared with Principal Component Analysis(PCA)and Linear Local Tangent Space Alignment(LLTSA)algorithm etc.

manifold learning;Local Tangent Space Alignment(LTSA);generalization;feature extraction;face recognition

1000-3428(2014)11-0160-07

A

TP18

10.3969/j.issn.1000-3428.2014.11.032

國(guó)家自然科學(xué)基金資助項(xiàng)目(61171152);浙江省自然科學(xué)基金資助項(xiàng)目(LY13F020044)。

趙遼英(1970-),女,教授、博士,主研方向:模式識(shí)別,遙感圖像分析;李富杰,碩士研究生;厲小潤(rùn),研究員、博士。

2013-11-11

2013-12-13E-mail:690789991@qq.com

中文引用格式:趙遼英,李富杰,厲小潤(rùn).泛化改進(jìn)的局部切空間排列算法［J］.計(jì)算機(jī)工程,2014,40(11):160-166.

英文引用格式:Zhao Liaoying,Li Fujie,Li Xiaorun.Local Tangent Space Alignment Algorithm of Generalized Improvement［J］.Computer Engineering,2014,40(11):160-166.