基于核主量和線性鑒別分析的人臉識(shí)別算法研究

唐曉培,李力爭(zhēng)

（中南大學(xué) 信息科學(xué)與工程學(xué)院,湖南 長(zhǎng)沙 410083）

近些年,人臉識(shí)別已成為計(jì)算機(jī)視覺(jué)和模式識(shí)別領(lǐng)域中的熱門(mén)課題，有著廣闊的應(yīng)用前景。眾所周知，人臉識(shí)別是典型的高維數(shù)據(jù)分類問(wèn)題，即人臉的原始特征對(duì)應(yīng)高維空間中矩陣數(shù)據(jù)的圖像，然而在人臉識(shí)別中直接應(yīng)用這些數(shù)據(jù)會(huì)使計(jì)算速度明顯降低，不利于現(xiàn)代科學(xué)領(lǐng)域?qū)θ四樧R(shí)別速度和精度的要求?，F(xiàn)今人臉識(shí)別領(lǐng)域中面臨的問(wèn)題是提取什么樣的特征利于分類器的分類以及如何減少高維數(shù)據(jù)的運(yùn)算等。迄今為止，線性子空間方法在特征提取中得到了廣泛的發(fā)展，其中主成分分析(PCA)[1]和線性鑒別分析(LDA)[2]方法是人臉識(shí)別中廣為采用的基本方法。盡管這些子空間方法在人臉識(shí)別中得到了比較成功的應(yīng)用，但人臉表觀由于受外在和內(nèi)在因素的影響，如臉部表情、臉部姿態(tài)(或照相機(jī)視角)、光照以及人臉形狀和皮膚的反射特性等，人臉空間更可能存在于非線性子空間上。

近十年來(lái)，核函數(shù)技術(shù)在模式識(shí)別領(lǐng)域中得到了迅猛的發(fā)展。SCHFILKOPF等利用核技術(shù)將經(jīng)典的主分量分析(PCA)推廣到核主分量分析(KPCA)[3],實(shí)驗(yàn)結(jié)果表明，KPCA不僅能夠抽取非線性特征，而且具有更優(yōu)的識(shí)別結(jié)果。

受KPCA的啟發(fā)，本文首先采用KPCA方法，將高維圖像投影到低維的子空間中，然后在子空間中進(jìn)一步采用基于主元空間的線性鑒別分析（LDA）和歐氏距離最近鄰分類(KNN)相結(jié)合的方法，有效地利用了人臉的非線性信息，同時(shí)兩次投影之后，提高了計(jì)算機(jī)的識(shí)別速率和準(zhǔn)確率。

1 主成分分析方法的實(shí)現(xiàn)

1.1 基本PCA方法

PCA的主要思想是尋找一組單位正交向量基，用其線性組合重構(gòu)原樣本，使得重構(gòu)后的樣本和原樣本的均方誤差最小[4]。在實(shí)際計(jì)算中，通過(guò)求取樣本投影之后的協(xié)方差矩陣的特征值和特征向量對(duì)樣本進(jìn)行描述，以達(dá)到降低特征空間維數(shù)的目的，具體如下：

設(shè)x是一個(gè)n維隨機(jī)向量，對(duì)于一組數(shù)據(jù){xi|i=1,2,…,n}，將其表達(dá)為矩陣的形式 X=[x1,x2,…,xn]，對(duì)X的每一列取平均，可以得:

若 St的秩為 m；λ1,λ2,…,λm是矩陣 St的特征值，且將這些特征值從大到小排序有 λ1≥λ2≥…≥λm；{wi|i=1,2,…,m}為其對(duì)應(yīng)的特征向量。則λi與wi滿足

若 選 取 前 r 個(gè) 最 大 特 征 值(λ1,λ2,…,λr)以 及 其 對(duì) 應(yīng) 的 特征向量(w1,w2,…,wr)作為投影變換軸，則投影后得到的矢量Y是X的所有r維描述中均方誤差最小的,其中Y定義為:

這樣Y就是X經(jīng)PCA變換后得到的特征子空間,達(dá)到將訓(xùn)練樣本從高維空間降到低維子空間的目的。

1.2 KPCA方法的實(shí)現(xiàn)

PCA是最基本的無(wú)監(jiān)督線性子空間降維方法，且由上述可知，PCA通過(guò)選取最優(yōu)特征向量基Wr獲得最佳投影子空間。但PCA是線性方法，只能揭示人臉圖像中的線性信息，忽略了數(shù)據(jù)中的非線性信息。20世紀(jì)90年代以來(lái)，基于核的非線性特征提取法得到了發(fā)展，該方法有效地利用了人臉圖像的非線性信息[5]。本文通過(guò)核映射將樣本數(shù)據(jù)映射到核空間中，然后在核空間中運(yùn)用PCA法對(duì)高維空間中的人臉信息進(jìn)行非線性操作，進(jìn)而投影到線性低維子空間中。該方法稱為核主成分分析法,即KPCA。具體方法如下：

現(xiàn)設(shè)有訓(xùn)練集S:X=[x1,x2,…,xN]，核映射φ將它們映射到核空間 F中，核空間中的訓(xùn)練集為 φ(x1)，φ(x2),…,φ(xN),令 φ(X)=[φ(x1)，φ(x2),…,φ(xN)]。 在核空間中作子空間降維變換[6]:

上式φ(X)中可以通過(guò)尋找最佳核矩陣K獲取，方法如下：

(1)選取多項(xiàng)式核函數(shù)族：

(2)求取核空間中的樣本均值

則核空間中的樣本期望值為：

(5)對(duì)于任一樣本向量x,通過(guò)KPCA降維后的數(shù)據(jù)為:

由此可得降維后的投影子空間樣本集Y=[y1,y2,…,yN]

(3)式(7)中核參數(shù)α的確定采用交叉驗(yàn)證的方法，通過(guò)選取不同的參數(shù)值，對(duì)比實(shí)驗(yàn)結(jié)果，確定一組最優(yōu)實(shí)驗(yàn)數(shù)據(jù)，所取參數(shù)即為最優(yōu)參數(shù)。

2 線性鑒別分析（LDA）方法的實(shí)現(xiàn)

2.1 投影子空間Y的類間散布矩陣和類內(nèi)散布矩陣

現(xiàn)設(shè)有訓(xùn)練集S:X=[x1,x2,…,xN]，經(jīng)過(guò) KPCA降維投影后得到樣本子空間 Y，且 Y=[y1,y2,…,yN]，設(shè)樣本子空間Y中總的人臉識(shí)別數(shù)目是C，總的訓(xùn)練樣本數(shù)目是N，第i類的訓(xùn)練樣本數(shù)目是 Ni，第 j類的訓(xùn)練樣本數(shù)目是Nj，則樣本子空間Y的類間散布矩陣有[7]：

2.2 基于主元空間的LDA方法

有效地利用樣本空間中類間散布矩陣和類內(nèi)散布矩陣的主元空間，對(duì)樣本子空間Y再次降維投影[8]，具體做法如下：

(3)由以上兩步可求第二次降維后的投影基矩陣為:

(4)通過(guò)KPCA和主元空間LDA方法最終得到的降維空間為Z=ΓTY

3 算法描述

本文采用Matlab仿真工具對(duì)算法進(jìn)行仿真，驗(yàn)證各算法的實(shí)現(xiàn)效果。訓(xùn)練樣本和測(cè)試樣本均采用ORL人臉庫(kù)，該庫(kù)由40人組成，每人由 10幅112×92的圖像組成 。具體算法實(shí)現(xiàn)過(guò)程如圖1所示。

(1)讀入ORL人臉庫(kù)圖像，為了提高運(yùn)算速度，降低圖像維數(shù)，適當(dāng)調(diào)節(jié)圖片大小。隨機(jī)選取每人的5幅圖像作為訓(xùn)練樣本，其余的5幅圖像作為測(cè)試樣本。即200幅訓(xùn)練樣本圖像，200幅測(cè)試樣本圖像。

圖1 整體算法圖

(2)利用本文1.2節(jié)中提出的KPCA方法對(duì)樣本數(shù)據(jù)集進(jìn)行核映射，首先選擇多項(xiàng)式核函數(shù)族。κ(xi,xj)=(＜xi,xj＞+1)αi,j=1,2,…,N。 其次通過(guò)計(jì)算求得核矩 陣再次在核空間中進(jìn)行有效的特征提取變換，得到訓(xùn)練樣本集在核空間中的投影基W矩陣，最后根據(jù)式(14)求得訓(xùn)練樣本集的首次降維子空間Y。

(3)利用本文2.1節(jié)中提到的方法,計(jì)算樣本子空間Y的類間散布矩陣和類內(nèi)散布矩陣。

(4)利用本文2.2節(jié)中提到的基于主元空間的LDA方法，對(duì)樣本空間集Y特征提取，得到2次降維后的投影基矩陣Γ，即有投影子空間Z。

(5)測(cè)試樣本在投影基矩陣Γ上進(jìn)行降維投影,得到測(cè)試樣本特征空間H。在基于主元間LDA方法提取特征值的同時(shí)，融入了歐式距離最近鄰分類器(式(15)和式(16))用以增強(qiáng)人臉的分類識(shí)別效果。

(6)計(jì)算出識(shí)別結(jié)果。

4 實(shí)驗(yàn)結(jié)果分析

4.1 核空間參數(shù)的選取

核參數(shù)α的選取及實(shí)現(xiàn)結(jié)果如表1所示。

表1 核參數(shù)α的選取以及實(shí)現(xiàn)結(jié)果

由表 1可知，本文提出的算法中,式(7)κ(xi,xj)=(＜xi,xj＞+1)αi,j=1,2,…,N中選取不同參數(shù)所得實(shí)驗(yàn)結(jié)果表明：α＞3時(shí),識(shí)別率逐漸降低,識(shí)別性能逐漸減弱；α＜3時(shí)，識(shí)別率逐漸提高，識(shí)別性能逐漸增強(qiáng)；α=3時(shí)，識(shí)別率達(dá)到最大，識(shí)別性能最好。因此本算法中令α=3即有

4.2 Matlab仿真效果圖

(1)利用KPCA對(duì)訓(xùn)練樣本圖像首次投影后得到的特征臉如圖2所示。

(2)采用LDA再次降維并用KNN分類，最終得到的識(shí)別對(duì)比效果圖如3所示。

4.3 各種算法的對(duì)比

本文在ORL人臉庫(kù)下，應(yīng)用Matlab分別驗(yàn)證了基本PCA、主元空 間 LDA、PCA+LDA、KPCA、KPCA+LDA以及KPCA+LDA+KNN等算法的識(shí)別率、投影向量個(gè)數(shù)、訓(xùn)練時(shí)間、測(cè)試時(shí)間等各項(xiàng)指標(biāo),具體結(jié)果如表2所示。

由表2可以看出，采用基于KPCA+LDA+KNN算法的人臉識(shí)別率和其他各項(xiàng)指標(biāo)皆明顯高于其余五種方法，這主要是因?yàn)椴捎肒PCA可以更好地分析圖像空間中的非線性關(guān)系，比起只采用線性PCA和線性LDA方法明顯減少了人臉高維空間中信息的丟失。同時(shí)利用基于主元空間LDA的方法，加之KNN最近鄰分類器的使用,有效地降低了投影向量個(gè)數(shù)，加快了計(jì)算速度。

表2 各種算法的性能對(duì)比

本文提出的KPCA+LDA+KNN算法中,不但采用了非線性子空間降維方法，同時(shí)采用了基于主元空間LDA的方法，加之融入歐氏距離最近鄰分類器的方法，從而改善了人臉識(shí)別的效果。本文提出的算法不僅能夠使高度復(fù)雜和非線性的原始樣本線性化、簡(jiǎn)單化，而且能夠使樣本特征之間的冗余信息明顯降低，防止有用信息的丟失[9]。最后本文在ORL人臉庫(kù)下，應(yīng)用Matlab驗(yàn)證了該算法的有效性，但是不同核函數(shù)的選取以及不同分類器的使用對(duì)提高該算法的識(shí)別性是否有效，有待于進(jìn)一步的研究[10]。

[1]BATUR A U,HAYES M H I.Linear subspaces for illumi2 nation robust face recognition[A].Proceedings of the 2001 IEEE Computer Society Conference on Computer Vision and Pattern Recognition[C].2001,02:296-301.

[2]SHAKUNAGA T,SHIGENARI K.Decomposed eigenface for face recognition under various lighting conditions[A].Proceedings of the 2001 IEEE Computer Society Conference on Computer Vision and Pattern Recognition[C].2001,01(1):864-871.

[3]LIU C J,HARRY W.Enhanced fisher linear discriminant models for face recognition.140Inter.ConL on Pattern Recognition.ICPR’98,Queensland,ustralia'V01.II,PP[M].1998:1368-1372.

[4]鐘向陽(yáng),胡仕明.基于主分量線性判別方法人臉識(shí)別系統(tǒng)的實(shí)現(xiàn)[J].嘉應(yīng)學(xué)院學(xué)報(bào)(自然科學(xué)),2006,24(3):832-887.

[5]SEHOLKOPF B,SMOLA A,MULLER K R.Kernel principal component analysis[A].In:W.Gerstner,edi:Proceedings of International Conference on Artificial Neural Networks Lecture Notes in Computer Science[C].Berlin:Springer,1997,1327:583-588.

[6]ROTH V,STEINHAGE V.Nonlinear diseriminant analysis using kernel functions[A].In:Solla S A,Leen T K,Muller K.R,editors.Advance in Neural information Processing Systems 12[C].Cambridge,MA,USA:MIT Press,2000:568-574.

[7]CHEN L,IIAO H,KOM,et a1.Anew LDA-based face recognition system which can solve the small sample size problem[J].Pattern Recognition,2000,(33):1713-1726.

[8]YANG Jian,FRANGI A F,YANG Jing Yu,et a1.KPCA Plus LDA:acomplete kernel fisher discriminant framework for feature extraction and recognition[J].IEEE Transactions on Pattern Analysis Machine Intelligence,2005,27(2):230-244.

[9]王婷,楊國(guó)勝,薛長(zhǎng)松.若干人臉識(shí)別算法的比較研究[J].河南大學(xué)學(xué)報(bào)(自然科學(xué)版),2007,37(2):192-194.

[10]GUNTURK B K,BATUR A U,ALTUNBASAK Y,et al.Eigenface-based super-resolution for face recognition[A].Proceedings.International Conference on Image Processing[C].2002,(2):845-848.