非線(xiàn)性距離的最近鄰特征空間嵌入改進(jìn)方法*

杜弘彥，王士同

江南大學(xué) 數(shù)字媒體學(xué)院，江蘇 無(wú)錫 214122

非線(xiàn)性距離的最近鄰特征空間嵌入改進(jìn)方法*

杜弘彥+，王士同

江南大學(xué) 數(shù)字媒體學(xué)院，江蘇 無(wú)錫 214122

最近鄰特征空間嵌入（nearest feature space embedding，NFSE）方法選取最近鄰特征空間時(shí)使用歐氏距離度量，導(dǎo)致樣本的類(lèi)內(nèi)離散度和類(lèi)間離散度同步變化，無(wú)法準(zhǔn)確反映樣本在高維空間的分布；選取每個(gè)樣本最近鄰特征空間都要遍歷所有類(lèi)，導(dǎo)致訓(xùn)練時(shí)間長(zhǎng)。針對(duì)以上問(wèn)題，提出非線(xiàn)性距離的最近鄰特征空間嵌入改進(jìn)方法（nearest feature space embedding method based on nonlinear distance metric，NDNFSE），引入非線(xiàn)性距離公式選取最近鄰特征空間，并使用結(jié)合夾角度量的最近鄰分類(lèi)器，提高了識(shí)別率；僅在樣本的近鄰類(lèi)中選取最近鄰特征空間，有效減少了訓(xùn)練時(shí)間。實(shí)驗(yàn)表明，NDNFSE的訓(xùn)練時(shí)間明顯低于NFSE，識(shí)別率總體高于各對(duì)比算法。

人臉識(shí)別；非線(xiàn)性距離；夾角；最近鄰特征空間嵌入；近鄰類(lèi)

1 引言

在過(guò)去的幾十年中，模式識(shí)別領(lǐng)域的人臉識(shí)別越來(lái)越為人們所關(guān)注，與之相關(guān)的技術(shù)應(yīng)運(yùn)而生，國(guó)內(nèi)外眾多學(xué)者提出各種算法致力于提高人臉識(shí)別的效率和精度，取得了一定的成果。主成分分析（principal components analysis，PCA）[1]方法是一種經(jīng)典的降維方法，通過(guò)線(xiàn)性變換將原始樣本映射到低維空間，應(yīng)用廣泛。文獻(xiàn)[2]提出的近鄰保持嵌入（neighborhood preserving embedding，NPE）方法是無(wú)監(jiān)督降維方法，能夠保留局部鄰近結(jié)構(gòu)。文獻(xiàn)[3]提出的拉普拉斯特征臉?lè)椒ㄒ部梢员Ａ魳颖镜木植拷Y(jié)構(gòu)。拉普拉斯特征映射（Laplacian eigenmaps，LE）[1]和非監(jiān)督判別投影（unsuperviseddiscriminantprojection，UDP）[4]等方法則可以產(chǎn)生其他非線(xiàn)性流形結(jié)構(gòu)，從而保留樣本的局部信息。

無(wú)監(jiān)督的降維算法有時(shí)并不能滿(mǎn)足所有的應(yīng)用需要，有監(jiān)督的算法可以充分利用樣本的類(lèi)標(biāo)簽信息。線(xiàn)性判別分析（linear discriminant analysis，LDA）[5]是最受歡迎的經(jīng)典的線(xiàn)性降維算法之一，常用于人臉識(shí)別。LDA方法利用同類(lèi)的點(diǎn)到點(diǎn)的向量來(lái)計(jì)算類(lèi)內(nèi)離散度，不同類(lèi)的點(diǎn)到點(diǎn)的向量計(jì)算類(lèi)間離散度，能夠使類(lèi)間離散度和類(lèi)內(nèi)離散度比值最大的判別向量組成最優(yōu)的轉(zhuǎn)換矩陣，即樣本降維的最佳投影方向。LDA是基于整體的學(xué)習(xí)方法，當(dāng)樣本為線(xiàn)性分布時(shí)，收到較好的效果；但當(dāng)樣本不符合線(xiàn)性分布時(shí)，則可能難以發(fā)現(xiàn)樣本的真實(shí)結(jié)構(gòu)。

針對(duì)上述問(wèn)題，學(xué)者們提出了局部線(xiàn)性嵌入（locally linear embedding，LLE）[6-7]、局部保留投影（locally preserving projection，LPP）[3]、邊界費(fèi)舍爾分析（marginal Fisher analysis，MFA）[8]等基于局部的學(xué)習(xí)方法。樣本的全局非線(xiàn)性結(jié)構(gòu)可視為局部線(xiàn)性，因此LLE通過(guò)局部的線(xiàn)性結(jié)構(gòu)來(lái)揭示全局的非線(xiàn)性結(jié)構(gòu)。因?yàn)槿狈γ鞔_的樣本投影，所以L(fǎng)LE很難得到測(cè)試集中樣本點(diǎn)的圖像。線(xiàn)性降維方法LPP能夠保留樣本固有的幾何結(jié)構(gòu)，產(chǎn)生適合于訓(xùn)練樣本和測(cè)試樣本的明確線(xiàn)性投影，更適合應(yīng)用于人臉識(shí)別。不過(guò)，LPP有著大多數(shù)基于流形的學(xué)習(xí)方法共有的局限性，其目標(biāo)函數(shù)只是最小化局部數(shù)量，與分類(lèi)并不具有直接關(guān)系，致使在某些情況下，不能確定生成的是有利于分類(lèi)的投影矩陣。為了打破LDA和LPP的限制，文獻(xiàn)[8]結(jié)合LDA與LPP的優(yōu)勢(shì)，提出了MFA，使用圖嵌入框架，綜合樣本的局部信息和類(lèi)別信息來(lái)刻畫(huà)同類(lèi)樣本的緊密程度和異類(lèi)樣本的離散程度，對(duì)樣本的分布沒(méi)有特殊要求，應(yīng)用范圍較廣。

MFA計(jì)算離散度時(shí)使用樣本點(diǎn)到樣本點(diǎn)的向量，文獻(xiàn)[9]提出了最近鄰特征空間嵌入（nearest feature space embedding，NFSE）方法，借鑒MFA選取類(lèi)邊界樣本點(diǎn)參與離散度計(jì)算的方法，融入了最近鄰特征線(xiàn)（nearest feature line，NFL）[10]匹配方法的思想，以線(xiàn)、面等形成的特征子空間代替單獨(dú)的點(diǎn)來(lái)表示每個(gè)類(lèi)，包含了更多的類(lèi)別信息，能夠更好地表示某個(gè)類(lèi)別的樣本，有利于提高分類(lèi)精度。皋軍等多位學(xué)者對(duì)NFSE進(jìn)行改進(jìn)，均取得了一定的成果[11-12]。但是，NFSE在求最近鄰特征空間時(shí)采用線(xiàn)性的歐氏距離公式進(jìn)行度量，引起類(lèi)間離散度和類(lèi)內(nèi)離散度同步變化，降低了識(shí)別率。作者曾提出基于非線(xiàn)性距離和夾角組合的最近鄰特征空間嵌入方法（nearest feature space embedding method based on the combination of nonlinear distance metric and included angle，NL_IANFSE），引入非線(xiàn)性距離公式計(jì)算樣本點(diǎn)到特征空間的距離，保證類(lèi)內(nèi)距離的變化速率遠(yuǎn)小于類(lèi)間距離變化速率，使得類(lèi)間離散度與類(lèi)內(nèi)離散度的比值增大，得到判別力更強(qiáng)的投影矩陣；另外，NL_IANFSE在測(cè)試階段使用結(jié)合夾角度量的最近鄰分類(lèi)器代替?zhèn)鹘y(tǒng)的最近鄰（nearest neighbor，NN）分類(lèi)器，將不同樣本的相似性和它們的位置關(guān)系都納入考慮范圍，最終得到了比NFSE更高的識(shí)別率。

NFL匹配規(guī)則可用于人臉識(shí)別的測(cè)試階段，將NN中求兩個(gè)樣本點(diǎn)之間的距離改為求樣本點(diǎn)到它在特征線(xiàn)上投影點(diǎn)的距離，分類(lèi)效果比NN好，但所花費(fèi)時(shí)間卻更長(zhǎng)。NL_IANFSE和NFSE都是把NFL通過(guò)判別分析嵌入到轉(zhuǎn)換過(guò)程中，相當(dāng)于把求特征點(diǎn)到特征子空間距離的計(jì)算從測(cè)試階段轉(zhuǎn)移到訓(xùn)練階段，故二者的訓(xùn)練時(shí)間都較長(zhǎng)。

為了降低NL_IANFSE訓(xùn)練階段的時(shí)間復(fù)雜度，本文借用文獻(xiàn)[13]提出的加強(qiáng)的邊界費(fèi)舍爾分析（enhanced marginal Fisher analysis，EMFA）的思想，先通過(guò)比較某樣本點(diǎn)所在類(lèi)的類(lèi)中心與其他類(lèi)中心的距離，選出若干個(gè)近鄰的類(lèi)，然后再計(jì)算這個(gè)樣本點(diǎn)到近鄰類(lèi)的各個(gè)特征子空間的距離，并分別取出每個(gè)類(lèi)中相同數(shù)目的最小距離參與類(lèi)間離散度的計(jì)算。這樣做有效避免了求樣本點(diǎn)到其他類(lèi)別的特征子空間距離時(shí)遍歷訓(xùn)練集中所有類(lèi)別的做法，節(jié)省了大量的時(shí)間。實(shí)驗(yàn)表明，采用這種方法，在大幅度提升訓(xùn)練效率的情況下仍能得到和NL_IANFSE相當(dāng)?shù)姆诸?lèi)準(zhǔn)確率。

2 相關(guān)研究

2.1 最近鄰特征空間嵌入

最近鄰特征空間嵌入方法綜合前人算法的優(yōu)點(diǎn)，利用LPP方法保留局部結(jié)構(gòu)，將最近鄰特征空間度量、鄰近結(jié)構(gòu)保留和分類(lèi)相結(jié)合。用每一類(lèi)中若干個(gè)特征點(diǎn)線(xiàn)性結(jié)合形成的特征子空間來(lái)分別表示各個(gè)類(lèi)，依次求出每個(gè)樣本點(diǎn)到同類(lèi)和不同類(lèi)特征子空間的向量，根據(jù)向量長(zhǎng)度排序，取出同類(lèi)特征子空間中前K1個(gè)長(zhǎng)度最短的向量和不同類(lèi)特征子空間中前K2個(gè)長(zhǎng)度最短的向量。在計(jì)算離散度時(shí)，借助拉普拉斯矩陣來(lái)簡(jiǎn)化計(jì)算，然后最大化Fisher準(zhǔn)則以得到最優(yōu)轉(zhuǎn)換矩陣。

2.2 基于非線(xiàn)性距離和夾角組合的最近鄰特征空間嵌入方法

NL_IANFSE在NFSE的基礎(chǔ)上，引入非線(xiàn)性距離公式選取最近鄰特征空間，使得類(lèi)間離散度的變化速度遠(yuǎn)大于類(lèi)內(nèi)離散度的變化速度，從而嵌入空間中同類(lèi)樣本更為接近，不同類(lèi)樣本相距較遠(yuǎn)，更便于分類(lèi)。另外，針對(duì)傳統(tǒng)最近鄰分類(lèi)器只考慮樣本間直線(xiàn)距離而無(wú)法如實(shí)反映高維空間中樣本分布的問(wèn)題，NL_IANFSE使用結(jié)合夾角度量的分類(lèi)器，提高了最終識(shí)別率。

2.2.1 非線(xiàn)性距離計(jì)算公式

有監(jiān)督的局部線(xiàn)性嵌入（supervised locally linear embedding，SLLE）[14]算法中加入樣本類(lèi)別信息構(gòu)造鄰域。文獻(xiàn)[15]對(duì)構(gòu)造鄰域時(shí)用到的距離公式進(jìn)行改進(jìn)，提出非線(xiàn)性距離公式。設(shè)xi、xj為兩個(gè)樣本點(diǎn)，二者之間的非線(xiàn)性距離計(jì)算公式可寫(xiě)作：

其中，A是xi、xj兩個(gè)樣本點(diǎn)間的歐氏距離；B是所有樣本點(diǎn)兩兩之間的歐式距離的均值；α是一個(gè)屬于[0,1]區(qū)間的參數(shù)，表示樣本點(diǎn)類(lèi)別信息的結(jié)合程度，調(diào)節(jié)不同類(lèi)的樣本之間的距離。

2.2.2 結(jié)合夾角度量的最鄰近分類(lèi)器

由于樣本間的相似性越大，其夾角越小，而同類(lèi)樣本間的相似性要比異類(lèi)樣本間的相似性更大，通過(guò)樣本間夾角大小來(lái)輔助判斷兩個(gè)樣本類(lèi)標(biāo)簽是否相同是可行的。文獻(xiàn)[16]將樣本兩兩之間的夾角和其直線(xiàn)距離相結(jié)合，得到結(jié)合夾角度量的最近鄰分類(lèi)器。相比最近鄰分類(lèi)器，結(jié)合夾角度量的最近鄰分類(lèi)器的優(yōu)點(diǎn)在于，當(dāng)高維空間中樣本間直線(xiàn)距離趨同時(shí)，可以憑借夾角的大小反映樣本分布情況，更適合高維數(shù)據(jù)分類(lèi)。

首先，通過(guò)余弦定理求出兩個(gè)高維空間樣本xi和xj的夾角：

然后，通過(guò)以下公式計(jì)算得到關(guān)于xi、xj的融合值：

其中，β∈[0,1]，是融合系數(shù)；Di·表示 xi和其他所有樣本點(diǎn)的直線(xiàn)距離；θi·表示xi和其他所有樣本點(diǎn)的夾角。與xi融合后取得最小值的樣本所屬的類(lèi)即是xi所屬的類(lèi)。

2.3 加強(qiáng)的邊界費(fèi)舍爾分析

傳統(tǒng)的邊界費(fèi)舍爾分析用k1和k2兩個(gè)參數(shù)分別控制類(lèi)內(nèi)樣本的緊密度和類(lèi)間樣本的分散度，其中k1表示距離樣本xi最近的與xi同類(lèi)的樣本點(diǎn)的個(gè)數(shù)，k2表示距離xi最近的位于其他類(lèi)邊界的樣本點(diǎn)的個(gè)數(shù)。參數(shù)k2的確定對(duì)于正確劃分不同類(lèi)樣本至關(guān)重要。假設(shè)訓(xùn)練集共有N個(gè)類(lèi)，傳統(tǒng)的MFA在選取xi到其他類(lèi)的最近鄰樣本時(shí)，遍歷除xi所在類(lèi)之外的N-1個(gè)類(lèi)，求出xi到這些類(lèi)中每個(gè)樣本點(diǎn)的距離，將這些距離按照從小到大的順序排列，取出前k2個(gè)到xi距離最小的樣本點(diǎn)參與后續(xù)的類(lèi)間離散度矩陣的計(jì)算。

這樣做可能帶來(lái)兩個(gè)問(wèn)題：第一，求每個(gè)樣本的類(lèi)間近鄰點(diǎn)都遍歷N-1個(gè)類(lèi)會(huì)耗費(fèi)大量的時(shí)間，降低算法效率。第二，直接從所有與xi不同類(lèi)的樣本點(diǎn)中選擇前k2個(gè)到xi距離最小的樣本點(diǎn)，可能漏掉某些類(lèi)的邊界點(diǎn)，導(dǎo)致邊界點(diǎn)選取有誤差，不利于投影空間中的樣本分類(lèi)。

因此，文獻(xiàn)[13]提出加強(qiáng)的邊界費(fèi)舍爾分析。首先求出各類(lèi)的類(lèi)均值和xi所在類(lèi)與其他類(lèi)的距離，然后選出距離最小亦即最接近xi所在類(lèi)的Ne個(gè)類(lèi)。依次計(jì)算xi到Ne個(gè)類(lèi)中每個(gè)類(lèi)的所有樣本的直線(xiàn)距離，從每個(gè)類(lèi)中選取距離最小的Ke個(gè)樣本點(diǎn)，共計(jì)Ne×Ke個(gè)樣本點(diǎn)。用得到的Ne×Ke個(gè)樣本點(diǎn)代替?zhèn)鹘y(tǒng)MFA選取的k2個(gè)類(lèi)間近鄰點(diǎn)參與類(lèi)間離散度的計(jì)算。如圖1所示，Ne=2，Ke=3，第B類(lèi)樣本集和第C類(lèi)樣本集是第A類(lèi)樣本集的最近鄰樣本集，B、C中的到xi最近的邊界點(diǎn)用連線(xiàn)標(biāo)出。

3 非線(xiàn)性距離的最近鄰特征空間嵌入改進(jìn)方法

NFSE和NL_IANFSE在訓(xùn)練階段，計(jì)算類(lèi)間離散度之前尋找每個(gè)訓(xùn)練樣本的不同類(lèi)的最近鄰特征子空間，需要遍歷訓(xùn)練集的所有類(lèi)，耗費(fèi)大量的時(shí)間。為提高效率，本文引入EMFA先求近鄰類(lèi)再取邊界點(diǎn)的思想，提出了非線(xiàn)性距離的最近鄰特征空間嵌入改進(jìn)方法（nearest feature space embedding method based on nonlinear distance metric，NDNFSE），在求類(lèi)間最近鄰特征子空間之前先求出xi所在類(lèi)的近鄰類(lèi)，然后只遍歷這些鄰近類(lèi)中的特征子空間，計(jì)算其到xi的距離，最后排序取出距離xi最近的特征子空間。這樣做有效減少了訓(xùn)練時(shí)間，同時(shí)能夠保證識(shí)別率比NFSE高，和NL_IANFSE基本持平。下文將對(duì)此方法進(jìn)行詳細(xì)介紹。

Fig.1 Selecting marginal points of one sample圖1 選取某樣本類(lèi)邊界點(diǎn)

3.1 尋找每個(gè)類(lèi)的近鄰類(lèi)

減少訓(xùn)練時(shí)間的關(guān)鍵是僅從xi所在類(lèi)的近鄰類(lèi)中選取邊界點(diǎn)，而不再要求每次取訓(xùn)練樣本邊界點(diǎn)時(shí)都遍歷所有類(lèi)。因此，通過(guò)以下方法先求出每個(gè)類(lèi)的鄰近類(lèi)。假設(shè)訓(xùn)練集共有Nc個(gè)類(lèi)，每類(lèi)有mi(i=1,2,…,Nc)個(gè)樣本。Xi(i=1,2,…,Nc)表示訓(xùn)練集中第i類(lèi)的樣本集，每類(lèi)樣本的平均向量即均值用vi(i=1,2,…,Nc)表示，計(jì)算類(lèi)均值的公式如下：

求出各類(lèi)均值后，利用這些均值兩兩之間的歐氏距離表示每類(lèi)樣本集之間的中心距離，以此來(lái)衡量類(lèi)與類(lèi)之間的遠(yuǎn)近。如以下公式所示，用q表示某類(lèi)的中心，Cab表示第a類(lèi)和第b類(lèi)樣本集的類(lèi)中心距離的平方：

其中，a,b∈{1,2,…,Nc}，a≠b。φi={Xri|i=1,2,…,Nc,r=1,2,…,Ne}表示與第 i個(gè)類(lèi)近鄰的Ne個(gè)類(lèi)，如果Xr∈φi，則可以認(rèn)為第r個(gè)類(lèi)的樣本接近于第i個(gè)類(lèi)的樣本，即第r個(gè)類(lèi)是第i個(gè)類(lèi)的近鄰類(lèi)。

3.2 選取樣本點(diǎn)的近鄰特征子空間

特征線(xiàn)比特征點(diǎn)包含更多的信息，能夠更好地表示類(lèi)，文獻(xiàn)[10]使用一類(lèi)中兩個(gè)樣本點(diǎn)線(xiàn)性組合形成的特征線(xiàn)來(lái)表示該類(lèi)樣本，提出了一種更利于樣本分類(lèi)的最近線(xiàn)性組合的分類(lèi)器。假設(shè)每個(gè)類(lèi)中有mi(i=1,2,…,Nc)個(gè)樣本，每個(gè)子空間由Q個(gè)樣本點(diǎn)生成，此時(shí)第i個(gè)類(lèi)總共可以產(chǎn)生個(gè)特征子空間。當(dāng)Q=1時(shí)，特征子空間為一個(gè)特征點(diǎn)；當(dāng)Q=2時(shí)，特征子空間為一條特征線(xiàn)；當(dāng)Q=3時(shí)，特征子空間為一個(gè)特征面；進(jìn)而可推廣至Q＞3。由于沒(méi)有證據(jù)表明，當(dāng)Q≥3時(shí)NFSE算法最終的分類(lèi)效果更佳，故本文只討論Q=2時(shí)的情況。為第i類(lèi)的第j個(gè)樣本，設(shè)xm、xn為不同于的兩個(gè)同類(lèi)樣本點(diǎn)，通過(guò)xm、xn的直線(xiàn)即為xm、xn所在類(lèi)的特征線(xiàn)，的投影點(diǎn)記為p(2)(xji)，可以用xm、xn的線(xiàn)性組合表示為，根據(jù)文獻(xiàn)[10]，。

3.3 轉(zhuǎn)換矩陣

人臉識(shí)別算法中時(shí)常用到Fisher準(zhǔn)則，這是利用了類(lèi)別信息的判別準(zhǔn)則函數(shù)，定義為類(lèi)間離散度和類(lèi)內(nèi)離散度的比，通過(guò)最大化這個(gè)比值得到優(yōu)化的判別投影軸，使得樣本投影到投影空間后不同類(lèi)樣本間距離較大，同類(lèi)樣本間距離較小，更容易進(jìn)行分類(lèi)。由3.2節(jié)得到集合，用以計(jì)算類(lèi)內(nèi)離散度矩陣和類(lèi)間離散度矩陣。取Q=2，假設(shè)經(jīng)過(guò)yi=wTxi轉(zhuǎn)換后的低維空間中的樣本集合為T(mén)={y1,y2,…,yN}，T中的樣本點(diǎn)兩兩之間共可產(chǎn)生個(gè)特征子空間，即條特征線(xiàn)，用 p(2)表示。樣本點(diǎn)yi到特征線(xiàn)的投影點(diǎn)表示為p(2)(yi)，yi到特征線(xiàn)的向量yi-p(2)(yi)用ym和yn表示，共有個(gè)向量，公式推導(dǎo)如下：

其中，λm,n、λn,m是低維空間中的權(quán)重，滿(mǎn)足條件λm,n+λn,m=1。

計(jì)算離散度矩陣的公式如下：

找出樣本點(diǎn)yi到最近的K個(gè)特征子空間的判別向量進(jìn)行判別分析，向量yi-p(2)(yi)的長(zhǎng)度為||yig(2)(yi)||，寫(xiě)出NDNFSE的目標(biāo)函數(shù)，當(dāng)此目標(biāo)函數(shù)取得最小值時(shí)，線(xiàn)性變換yi=wTxi中的w即為所求的轉(zhuǎn)換矩陣。

其中，權(quán)值矩陣ω(2)(yi)表示N個(gè)特征點(diǎn)和它們對(duì)應(yīng)的投影點(diǎn)之間的連接關(guān)系。

目標(biāo)函數(shù)F可以看作由K個(gè)部分組成，分別為各個(gè)樣本點(diǎn)到第K近的特征線(xiàn)的距離的平方和，逐步推導(dǎo)成便于計(jì)算的拉普拉斯矩陣的形式。

式中，Mi,j(K)是一個(gè)稀疏矩陣，表示yi和距離它第K近的特征線(xiàn)的連接關(guān)系。M的每一行有且只有兩個(gè)相加和為1的非零值。例如，Mi,j(1)是yi和最近鄰特征線(xiàn)的連接關(guān)系矩陣，i≠m≠n。Mi,m(1)=λn,m，Mi,n(1)=λm,n，并且滿(mǎn)足 Mi,m(1)+Mi,n(1)=1，Mi,j(1)中第 i行的其他列元素均為0。同理，Mi,j(2)是yi和第二近的特征線(xiàn)的連接關(guān)系矩陣，Mi,m(2)=λn,m，。

依此類(lèi)推。當(dāng)i=j時(shí)，Wi,j(K)=(M(K)+M(K)T-M(K)TM(K))i,j，當(dāng) i≠j時(shí)，Wi,j(K)=0。另外，D=(D(1)+D(2)+…+D(K))/K，W=(W(1)+W(2)+…+W(K))/K。

根據(jù)矩陣的跡的性質(zhì)||S||2=SST，離散度矩陣可以化簡(jiǎn)成拉普拉斯矩陣的形式：

其中，LW=DW-WW表示類(lèi)內(nèi)的情況，LB=DB-WB表示類(lèi)間的情況。

求出類(lèi)內(nèi)離散度和類(lèi)間離散度的表達(dá)式后，最大化Fisher準(zhǔn)則得到轉(zhuǎn)換矩陣。

3.4 NDNFSE算法步驟

結(jié)合以上敘述，總結(jié)出NDNFSE的算法步驟如下。

輸入：N 個(gè)訓(xùn)練樣本 s1,s2,…,sN，參數(shù) R、K1、K2、Ke、Ne、α、β、r。

輸出：轉(zhuǎn)換矩陣w=wPCAw*。

步驟1每個(gè)訓(xùn)練樣本為一個(gè)列向量，通過(guò)PCA算法將訓(xùn)練樣本降到R維，使樣本維數(shù)小于樣本總數(shù)，從而避免小樣本問(wèn)題。由此得到第一個(gè)轉(zhuǎn)換矩陣wPCA和降維后的訓(xùn)練樣本xi=wPCAsi，i=1,2,…,N。

步驟2 通過(guò)式（4）、（5）求出 xi所在類(lèi)的 Ne個(gè)近鄰類(lèi)。

步驟3求出xi在特征空間中的投影點(diǎn)p(2)(xi)，i=1,2,…,N。對(duì)于每個(gè)樣本點(diǎn)，依據(jù)式（1）計(jì)算其到類(lèi)內(nèi)特征子空間的距離，并按照距離大小排序，選出K1個(gè)最近鄰特征空間；再求出xi到Ne個(gè)近鄰類(lèi)的特征子空間的距離，在Ne個(gè)類(lèi)的每類(lèi)中都選出距離xi最近的 Ke個(gè)特征空間，共 Ke×Ne個(gè)，記 K2=Ke×Ne。

步驟4根據(jù)式（7）、（8）計(jì)算類(lèi)內(nèi)離散度和類(lèi)間離散度。

步驟5最大化Fisher得到第二個(gè)轉(zhuǎn)換矩陣w*=。取最大的r個(gè)特征值對(duì)應(yīng)的特征向量組成w*。

步驟6得到最終的轉(zhuǎn)換矩陣w=wPCAw*。

步驟7通過(guò)w將測(cè)試集也投影到低維空間，利用式（3）判斷測(cè)試樣本所屬類(lèi)別。

3.5 NDNFSE算法效率分析

在訓(xùn)練階段，計(jì)算樣本的類(lèi)間離散度之前需要選出每個(gè)訓(xùn)練樣本在不同類(lèi)樣本中的K2個(gè)最近鄰特征空間。因此，NFSE算法依次求出各樣本到Nc-1個(gè)類(lèi)中所有特征子空間的距離，亦即到特征子空間的投影點(diǎn)的歐氏距離，將得到的個(gè)距離進(jìn)行排序，取最小的前K2個(gè)。NL_IANFSE方法在這一步需要計(jì)算的距離數(shù)目與NFSE相等，但它采用非線(xiàn)性距離度量，根據(jù)式（1）的參數(shù)要求，預(yù)先遍歷所有類(lèi)，計(jì)算所有訓(xùn)練樣本到各個(gè)類(lèi)的特征子空間的歐氏距離之和，取其均值作為式（1）的參數(shù)B。NDNFSE方法同樣使用了非線(xiàn)性距離公式，但改變了NFSE遍歷所有類(lèi)尋找最近鄰特征子空間的做法，先通過(guò)計(jì)算每類(lèi)樣本中心及類(lèi)中心兩兩之間的距離求出每類(lèi)樣本的Ne個(gè)近鄰類(lèi)，求每個(gè)樣本的類(lèi)間最近鄰特征子空間時(shí)，只要計(jì)算每個(gè)樣本到所在類(lèi)的這Ne個(gè)近鄰類(lèi)中特征子空間的個(gè)非線(xiàn)性距離即可。當(dāng)數(shù)據(jù)集的類(lèi)別數(shù)較多時(shí)，控制Ne的取值，可以使NDNFSE的訓(xùn)練時(shí)間遠(yuǎn)遠(yuǎn)小于NFSE和NL_IANFSE算法的訓(xùn)練時(shí)間。

在測(cè)試階段，NFSE使用傳統(tǒng)的最近鄰匹配方法，依次求出每個(gè)測(cè)試樣本到各訓(xùn)練樣本的歐氏距離，將距離最近的訓(xùn)練樣本的類(lèi)標(biāo)作為預(yù)測(cè)的結(jié)果。設(shè)每類(lèi)有mi個(gè)訓(xùn)練樣本，則對(duì)于一個(gè)測(cè)試樣本，需計(jì)算Nc×mi個(gè)距離。NL_IANFSE和NDNFSE使用結(jié)合夾角的最近鄰分類(lèi)器，除了計(jì)算測(cè)試樣本到訓(xùn)練樣本的歐氏距離外，還要利用式（2）求測(cè)試樣本與訓(xùn)練樣本之間的夾角，并進(jìn)而通過(guò)式（3）得到樣本間的融合值，所需時(shí)間較長(zhǎng)。

4 實(shí)驗(yàn)設(shè)計(jì)及結(jié)果分析

4.1 數(shù)據(jù)集與實(shí)驗(yàn)設(shè)計(jì)

本文使用Yale B、ORL、CMU PIE[17]和AR共4個(gè)人臉數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)。Yale B數(shù)據(jù)集是耶魯大學(xué)建立的，由10位志愿者的面部圖像組成，每人585幅，實(shí)驗(yàn)選用其中的640幅圖像，每人64幅。由劍橋大學(xué)創(chuàng)建的ORL人臉數(shù)據(jù)集采集了40位志愿者的圖像，每人10張表情不同的正面照，總共400張。CMU PIE數(shù)據(jù)集包含68名志愿者在不同的姿勢(shì)、光照、表情下的面部圖像，共有4萬(wàn)多張，本文選用了其中67人的照片，每人170張。AR數(shù)據(jù)集由西班牙巴塞羅那計(jì)算機(jī)視覺(jué)中心創(chuàng)建，本文使用120名志愿者的面部圖像，每人26幅。

實(shí)驗(yàn)之前需要進(jìn)行圖像的歸一化處理，減少背景和頭發(fā)對(duì)識(shí)別的影響，將每幅圖像裁剪成32×32像素大小的灰度圖像。每類(lèi)隨機(jī)抽出一定數(shù)目的樣本組成訓(xùn)練集，其余作為測(cè)試集，再使用PCA算法將原始訓(xùn)練集降到R維（R小于訓(xùn)練樣本數(shù)N）以避免小樣本問(wèn)題。用隨機(jī)選取的方式分別將每個(gè)數(shù)據(jù)集以不同比例劃分為訓(xùn)練集和測(cè)試集，觀察訓(xùn)練樣本的數(shù)量對(duì)識(shí)別率和訓(xùn)練時(shí)間的影響。

按照經(jīng)驗(yàn)，式（1）中的參數(shù) α設(shè)為0.5，式（3）中結(jié)合夾角度量的最近鄰分類(lèi)器中的融合參數(shù) β設(shè)為0.2。為了研究最終轉(zhuǎn)換空間維數(shù)對(duì)識(shí)別率的影響，對(duì)于轉(zhuǎn)換矩陣w*的維數(shù)r，實(shí)驗(yàn)取5至80之間的不同值。

實(shí)驗(yàn)著重對(duì)比了K2取不同值時(shí)，NDNFSE識(shí)別率和訓(xùn)練時(shí)間的變化。相應(yīng)地，對(duì)NDNFSE中的參數(shù)Ne和Ke進(jìn)行調(diào)整，比較當(dāng)選取的不同類(lèi)最近鄰特征空間數(shù)目大約相同時(shí)，NDNFSE和NFSE、NL_IANFSE的識(shí)別率及訓(xùn)練時(shí)間。

實(shí)驗(yàn)中的對(duì)比算法包括PCA+LPP[3]、PCA[1]、PCA+LDA[5]、PCA+NPE[2]、PCA+NFSE[9]以及 PCA+NL_IANFSE。在測(cè)試階段，PCA+LPP、PCA、PCA+LDA、PCA+NPE、PCA+NFSE用NN規(guī)則，也就是最近鄰分類(lèi)器來(lái)匹配，NL_IANFSE和NDNFSE則使用結(jié)合夾角度量的最近鄰分類(lèi)器。下文列出的每個(gè)識(shí)別率都是分別在相同條件下運(yùn)行10次后求取的平均值。

實(shí)驗(yàn)平臺(tái)：上述4個(gè)數(shù)據(jù)集均在Intel Core i3-3240×2CPU的Windows操作系統(tǒng)的計(jì)算機(jī)上進(jìn)行實(shí)驗(yàn)，主頻為3.4 GHz，內(nèi)存為4 GB，編程環(huán)境為Matlab R2015a。

4.2 實(shí)驗(yàn)結(jié)果與分析

將實(shí)驗(yàn)所得數(shù)據(jù)整理歸納，用圖、表的形式表示。下面按數(shù)據(jù)集歸類(lèi)展示結(jié)果，并進(jìn)行必要的描述和分析。

4.2.1 Yale B數(shù)據(jù)集

從Yale B數(shù)據(jù)集的每類(lèi)中隨機(jī)抽取一定數(shù)量的樣本用于訓(xùn)練，其余留作測(cè)試集，并通過(guò)PCA算法將訓(xùn)練集降到100維，每個(gè)訓(xùn)練樣本的類(lèi)內(nèi)最近鄰特征空間的個(gè)數(shù) K1設(shè)為10，Ne依次設(shè)為3、6、9，Ke設(shè)為3，于是每個(gè)訓(xùn)練樣本的不同類(lèi)最近鄰特征空間依次取9、18、27個(gè)。表1列出了NDNFSE、NL_IANFSE和N FSE在每類(lèi)訓(xùn)練樣本數(shù)分別為10和15個(gè)，K2值不同時(shí)的最高識(shí)別率、標(biāo)準(zhǔn)差和相應(yīng)的轉(zhuǎn)換空間維數(shù)，以及運(yùn)行1次平均需要花費(fèi)的訓(xùn)練時(shí)間。

由表1得，在參數(shù)K2相近時(shí)，NDNFSE在5到80維的最高識(shí)別率均明顯高于NFSE的最高識(shí)別率，略高于NL_IANFSE；NDNFSE單次運(yùn)行所花的訓(xùn)練時(shí)間均少于NL_IANFSE和NFSE的訓(xùn)練時(shí)間。

表2列出了各算法的最高和最低識(shí)別率及所在維數(shù)、標(biāo)準(zhǔn)差，圖2則描繪了在NDNFSE方法K2=27，NFSE方法K2=30時(shí)，各算法在不同維數(shù)投影空間的識(shí)別率?？梢钥闯?，NDNFSE在各個(gè)維數(shù)的識(shí)別率幾乎都要高于對(duì)比算法，標(biāo)準(zhǔn)差也較低，說(shuō)明NDNFSE較為穩(wěn)定。

Table 1 Recognition rates and training time on Yale B database表1 Yale B數(shù)據(jù)集上的識(shí)別率和訓(xùn)練時(shí)間

Table 2 The highest and the lowest recognition rates,standard derivations on Yale B database表2 Yale B數(shù)據(jù)集上的最高識(shí)別率、最低識(shí)別率及標(biāo)準(zhǔn)差

Fig.2 Recognition rates versus dimensionality reduction with various training samples on Yale B database圖2 各算法將Yale B數(shù)據(jù)集降到不同維數(shù)時(shí)的識(shí)別率

4.2.2 ORL數(shù)據(jù)集

當(dāng)ORL數(shù)據(jù)集每類(lèi)任取4個(gè)樣本組成訓(xùn)練集時(shí)，用PCA算法降至120維，設(shè)K1=3；當(dāng)每類(lèi)任取5個(gè)樣本進(jìn)行訓(xùn)練時(shí)，訓(xùn)練集用PCA算法降至160維，設(shè)K1=6。NDNFSE中參數(shù)Ne，即每類(lèi)樣本的近鄰類(lèi)的數(shù)目，分別取10、15、20，參數(shù) Ke都取3。在 K2值分別不同的條件下，NDNFSE、NL_IANFSE和NFSE最高識(shí)別率、訓(xùn)練時(shí)間等對(duì)比如表3所示。

根據(jù)實(shí)驗(yàn)結(jié)果可知，在參數(shù)相同的情況下，NDNFSE用更短的訓(xùn)練時(shí)間達(dá)到了和NL_IANFSE、NFSE幾乎相當(dāng)?shù)淖罡咦R(shí)別率，尤其當(dāng)K2值為60的時(shí)候NDNFSE的識(shí)別率比NFSE高1.96%，但所用的訓(xùn)練時(shí)間只有NFSE的66.1%。

NDNFSE與NFSE的參數(shù)K2都設(shè)為60時(shí)，NDNFSE與對(duì)比算法的最高識(shí)別率、最低識(shí)別率如表4所示。從中可知，NDNFSE的最高識(shí)別率高于各對(duì)比算法，最低識(shí)別率雖然低于某些對(duì)比算法，但比NFSE稍高。

4.2.3CMU數(shù)據(jù)集

PCA算法將CMU訓(xùn)練集降到300維，設(shè)K1為10，Ke為1。表5列出了訓(xùn)練集每類(lèi)9個(gè)、14個(gè)樣本時(shí)NDNFSE、NL_IANFSE、NFSE在不同K2值的最高識(shí)別率和訓(xùn)練時(shí)間?？梢?jiàn)，當(dāng)K2值相等時(shí)，NDNFSE的最高識(shí)別率與NL_IANFSE基本持平，比NFSE高出5%左右，而訓(xùn)練時(shí)間要遠(yuǎn)遠(yuǎn)少于NL_IANFSE和NFSE。

圖3畫(huà)出了NDNFSE與對(duì)比算法在5～70維的識(shí)別率變化曲線(xiàn)，NDNFSE及NFSE均設(shè) K2為30。NDNFSE在各維度的識(shí)別率都優(yōu)于對(duì)比算法，在較高維度表現(xiàn)出更明顯的優(yōu)勢(shì)。隨著維數(shù)的增大，識(shí)別率穩(wěn)步提升，逐漸趨于穩(wěn)定。

Table 3 Recognition rates and training time on ORL database表3 ORL數(shù)據(jù)集上的識(shí)別率及訓(xùn)練時(shí)間

Table 4 The highest and the lowest recognition rates,standard derivations on ORL database表4 ORL數(shù)據(jù)集上的最高識(shí)別率、最低識(shí)別率及標(biāo)準(zhǔn)差

Table 5 Recognition rates and training time on CMU database表5 CMU數(shù)據(jù)集上的識(shí)別率及訓(xùn)練時(shí)間

Fig.3 Recognition rates versus dimensionality reduction with various training samples on CMU database圖3 各算法將CMU數(shù)據(jù)集降到不同維數(shù)時(shí)的識(shí)別率

4.2.4 AR數(shù)據(jù)集

與CMU數(shù)據(jù)集相同，AR數(shù)據(jù)集的訓(xùn)練集通過(guò)PCA算法降到300維，Ke=1。每類(lèi)4個(gè)訓(xùn)練樣本時(shí)K1=3，每類(lèi)6個(gè)訓(xùn)練樣本時(shí)K1=6。

NDNFSE、NL_IANFSE和NFSE在不同參數(shù)條件下的最高識(shí)別率和訓(xùn)練時(shí)間如表6所示。表7是K2=30時(shí)NDNFSE與對(duì)比算法在各維度投影空間的最高和最低識(shí)別率。NDNFSE的最高識(shí)別率幾乎高于所有對(duì)比算法，而且訓(xùn)練時(shí)間只有NL_IANFSE和NFSE的1/6到1/3。

4.2.5 測(cè)試時(shí)間

根據(jù)3.5節(jié)中對(duì)測(cè)試方法的分析可知，NFSE、NL_IANFSE和NDNFSE的測(cè)試時(shí)間與K1、K2取值無(wú)關(guān)，只與訓(xùn)練集、測(cè)試集的劃分比例有關(guān)。表8列出了Yale B、ORL、CMU和AR數(shù)據(jù)集上的參數(shù)設(shè)置，以及在不同參數(shù)設(shè)置下3種算法求出單個(gè)測(cè)試樣本類(lèi)別所用的測(cè)試時(shí)間。

NL_IANFSE和NDNFSE使用的結(jié)合夾角度量的最近鄰分類(lèi)器比NFSE使用的傳統(tǒng)最近鄰分類(lèi)器更復(fù)雜，對(duì)于每一個(gè)測(cè)試樣本，都需要求出其與所有訓(xùn)練樣本的直線(xiàn)距離及夾角，并分別計(jì)算距離和夾角的最大、最小值，最后得出待測(cè)試樣本與訓(xùn)練樣本的融合值。因此，當(dāng)訓(xùn)練樣本數(shù)目越大時(shí)，所需的測(cè)試時(shí)間越長(zhǎng)。

Table 6 Recognition rates and training time onAR database表6 AR數(shù)據(jù)集上的識(shí)別率及訓(xùn)練時(shí)間

Table 7 The highest and the lowest recognition rates,standard derivations onAR database表7 AR數(shù)據(jù)集上的最高識(shí)別率、最低識(shí)別率及標(biāo)準(zhǔn)差

Table 8 Testing time of single sample algorithms spending on 4 databases表8 在4個(gè)數(shù)據(jù)集上求出單個(gè)測(cè)試樣本類(lèi)別所需時(shí)間

由表8可以看出，Yale B、ORL數(shù)據(jù)集上各算法的測(cè)試時(shí)間差距不是很大，訓(xùn)練樣本數(shù)較多的CMU和AR數(shù)據(jù)集上，NL_IANFSE和NDNFSE的測(cè)試時(shí)間明顯比NFSE長(zhǎng)。

根據(jù)以上4個(gè)數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果，可以歸納出以下幾點(diǎn)：

（1）當(dāng)K2值相等或接近時(shí)，NDNFSE的最高識(shí)別率與NL_IANFSE相差很小，基本在1%以?xún)?nèi)，在Yale B和CMU這兩個(gè)數(shù)據(jù)集上比NFSE高5%左右；

（2）NDNFSE運(yùn)行一次的訓(xùn)練時(shí)間要比NL_IANFSE和NFSE大幅度減少；

（3）在除ORL數(shù)據(jù)集之外的3個(gè)數(shù)據(jù)集的實(shí)驗(yàn)中，沒(méi)有發(fā)現(xiàn)NDNFSE得到的識(shí)別率隨K2的增大而提高，但是卻發(fā)現(xiàn)訓(xùn)練時(shí)間隨K2的增大而迅速增加；

（4）隨著每類(lèi)訓(xùn)練樣本數(shù)和樣本維數(shù)的增加，樣本信息增加，各算法識(shí)別率有不同程度提高；

（5）在4個(gè)數(shù)據(jù)集的實(shí)驗(yàn)中，NDNFSE的標(biāo)準(zhǔn)差大多在1%上下，性能比較穩(wěn)定；

（6）NDNFSE 與 PCA+LPP、PCA、PCA+LDA、PCA+NPE等經(jīng)典算法相比也具有一定的優(yōu)勢(shì)；

（7）由于分類(lèi)器不同，NDNFSE和NL_IANFSE的測(cè)試時(shí)間比NFSE長(zhǎng)，并且數(shù)據(jù)集中訓(xùn)練樣本數(shù)越多，測(cè)試時(shí)間越長(zhǎng)。

5 結(jié)束語(yǔ)

本文以NFSE算法為基礎(chǔ)，結(jié)合非線(xiàn)性距離公式[14]和結(jié)合夾角度量的最近鄰分類(lèi)器[17]，在一定程度上解決了高維空間中樣本歐氏距離無(wú)法準(zhǔn)確描述樣本分布的問(wèn)題，在匹配時(shí)充分利用樣本間相似性與其夾角的關(guān)系，達(dá)到提高識(shí)別率的目的。引入文獻(xiàn)[13]中先求近鄰類(lèi)再選取邊界點(diǎn)的方法，避免了尋找每個(gè)樣本的類(lèi)間最近鄰特征空間時(shí)都要遍歷所有類(lèi)的樣本，節(jié)省了大量訓(xùn)練時(shí)間。實(shí)驗(yàn)表明，較之NL_IANFSE、NFSE，NDNFSE單次運(yùn)行的訓(xùn)練時(shí)間明顯大幅減少，同時(shí)能夠保持識(shí)別率與NL_IANFSE基本相當(dāng)，比NFSE等5個(gè)經(jīng)典算法更高。NDNFSE的不足之處是測(cè)試階段花費(fèi)時(shí)間比NFSE長(zhǎng)，今后工作中需要尋找效率更高的匹配方法。

[1]Turk M A,Pentland A P.Face recognition using eigenfaces[C]//Proceedings of the 1991 Computer Society Conference on Computer Vision and Pattern Recognition,Maui,USA,Jun 3-6,1991.Piscataway,USA:IEEE,1991:586-591.

[2]He Xiaofei,Cai Deng,Yan Shuicheng,et al.Neighborhood preserving embedding[C]//Proceedings of the 10th International Conference on Computer Vision,Beijing,Oct 17-21,2005.Washington:IEEE Computer Society,2005:1208-1213.[3]He Xiaofei,Yan Shuicheng,Hu Yuxiao,et al.Face recognition using Laplacian faces[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2005,27(3):328-340.

[4]Zhang Taiping,Fang Bin,Tang Yuanyan,et al.Topology preserving non-negative matrix factorization for face recognition[J].IEEE Transactions on Image Processing,2008,17(4):574-584.

[5]Belhumeur P N,Hespanha J P,Kriegman D J.Eigenfaces vs.Fisherfaces:recognition using class specific linear projection[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2007,19(7):711-720.

[6]Roweis S T,Saul L K.Nonlinear dimensionality reduction by locally linear embedding[J].Science,2000,290(22):2323-2326.

[7]Saul L K,Roweis S T.Think globally,fit locally:unsupervised learning of low dimensional manifolds[J].Journal of Machine Learning Research,2003,4(2):119-155.

[8]Yan Shuicheng,Xu Dong,Zhang Benyu,et al.Graph embedding and extensions:general framework for dimensionality reduction[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2007,29(1):40-51.

[9]Chen Y N,Han C C,Wang C T,et al.Face recognition using nearest feature space Embedding[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2011,33(6):1073-1086.

[10]Li S Z,Lu Juwei.Face recognition using the nearest feature line method[J].IEEE Transactions on Neural Networks,1999,10(2):439-433.

[11]Gao Jun,Huang Lili,Wang Shitong.Local sub-domains based maximum margin criterion[J].Control and Decision,2014,29(5):827-832.

[12]Chen Y N,Ho G F,Fan K C,et al.Orthogonal nearest neighbor feature space embedding[C]//Proceedings of the 8th International Conference on Intelligent Information Hiding and Multimedia Signal Processing,Piraeus-Athens,Greece,Jul 18-20,2012.Piscataway,USA:IEEE,2012:166-169.

[13]Huang Pu,Chen Caikou.Enhanced marginal Fisher analysis for face recognition[C]//Proceedings of the 2009 International Conference on Artificial Intelligence and Computational Intelligence,Shanghai,Nov 7-8,2009.Washington:IEEE Computer Society,2009:403-407.

[14]Ridder D D,Kouropteva O,Okun O,et al.Supervised locally linear embedding[C]//LNCS 2714:Proceedings of the 2003 Joint International Conference on Artificial Neural Net-works and Neural Information Processing,Istanbul,Turkey,Jun 26-29,2003.Berlin,Heidelberg:Springer,2003:333-341.

[15]Zhang Shiqing,Li Lemin,Zhao Zhijin.Speech emotion recognition based on an improved supervised manifold learning algorithm[J].Journal of Electronics&Information Technology,2010,32(11):2724-2729.

[16]Liu Jiamin,Luo Fulin,Huang Hong,et al.Locally linear embedding algorithm based on fusion angle measurement[J].Opto-Electronic Engineering,2013,40(6):97-105.

[17]Sim T,Baker S,Bsat M.The CMU pose,illumination,and expression database[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2003,25(12):1615-1618.

附中文參考文獻(xiàn)：

[11]皋軍,黃麗莉,王士同.基于局部子域的最大間距判別分析[J].控制與決策,2014,29(5):827-832.

[15]張石清,李樂(lè)民,趙知?jiǎng)?基于一種改進(jìn)的監(jiān)督流形學(xué)習(xí)算法的語(yǔ)音情感識(shí)別[J].電子與信息學(xué)報(bào),2010,32(11):2724-2729.

[16]劉嘉敏,羅甫林,黃鴻,等.融合夾角度量的局部線(xiàn)性嵌入算法[J].光電工程,2013,40(6):97-105.

DU Hongyan was born in 1990.She is an M.S.candidate at Jiangnan University.Her research interests include artificial intelligence and pattern recognition.

杜弘彥（1990—），女，山西太原人，江南大學(xué)碩士研究生，主要研究領(lǐng)域?yàn)槿斯ぶ悄?，模式識(shí)別。

WANG Shitong was born in 1964.He is a professor and Ph.D.supervisor at Jiangnan University.His research interests include artificial intelligence,pattern recognition,image processing and application.

王士同（1964—），男，江蘇揚(yáng)州人，江南大學(xué)教授、博士生導(dǎo)師，主要研究領(lǐng)域?yàn)槿斯ぶ悄?，模式識(shí)別，圖像處理及應(yīng)用。

Nearest Feature Space Embedding Method Based on Nonlinear Distance Metric*

DU Hongyan+,WANG Shitong
College of Digital Media,Jiangnan University,Wuxi,Jiangsu 214122,China

Nearest feature space embedding(NFSE)method uses traditional Euclidean distance measure to select the nearest feature spaces,which causes within-class scatters and between-class scatters changing synchronously and cannot reflect the distribution of samples in the higher dimensional space accurately.Traversing all the classes when selecting the nearest feature space classes of every sample makes the training time long.To solve above problems,this paper proposes the nearest feature space embedding method based on nonlinear distance metric(NDNFSE),by using nonlinear distance formula to select the nearest feature spaces and using the nearest neighbor classifier combined with Euclidean distance and included angle between two samples to improve the recognition rate.NDNFSE only selects the nearest feature spaces within the nearest classes of every sample to save the training time.According to the experimental results,NDNFSE outperforms comparison algorithms for classification as a whole,with much shorter training time than that of NFSE.

face recognition;nonlinear distance;included angle;nearest feature space embedding;nearest classes

2017-03, Accepted 2017-05.

A

TP181

+Corresponding author:E-mail:18800585201@163.com

DU Hongyan,WANG Shitong.Nearest feature space embedding method based on nonlinear distance metric.Journal of Frontiers of Computer Science and Technology,2017,11(9)：1461-1473.

10.3778/j.issn.1673-9418.1703034

*The National Natural Science Foundation of China under Grant No.61272210(國(guó)家自然科學(xué)基金).

CNKI網(wǎng)絡(luò)優(yōu)先出版: 2017-05-16, http://kns.cnki.net/kcms/detail/11.5602.TP.20170516.1306.002.html