基于Fisherface和SIFT特征集成的人臉識(shí)別

周琳琳，何中市

（重慶大學(xué)計(jì)算機(jī)學(xué)院，重慶 400044）

基于Fisherface和SIFT特征集成的人臉識(shí)別

周琳琳，何中市

（重慶大學(xué)計(jì)算機(jī)學(xué)院，重慶 400044）

針對(duì)人臉識(shí)別中人臉表情變化、光照影響、遮擋問(wèn)題，提出一種基于Fisherface全局特征和SIFT局部特征集成的人臉識(shí)別方法：首先利用Fisher線性鑒別方法提取全局面部特征，然后利用SIFT算法和K-Means算法提取SIFT特征及劃分子區(qū)域來(lái)構(gòu)造局部面部特征，并采用概率統(tǒng)計(jì)的方法為子區(qū)域賦予權(quán)值來(lái)計(jì)算局部特征相似度，最后采用加權(quán)求和的方式將全局和局部面部特征并行集成來(lái)提高人臉識(shí)別的準(zhǔn)確率。實(shí)驗(yàn)結(jié)果表明，該方法取得較好的識(shí)別效果，具有很好的魯棒性。

Fisherface；SIFT特征；K-Means；人臉識(shí)別

0 引言

一直以來(lái)，人臉識(shí)別技術(shù)備受關(guān)注，它涉及研究領(lǐng)域眾多，應(yīng)用前景廣泛。人臉識(shí)別包括人臉檢測(cè)、特征提取、人臉認(rèn)證三個(gè)主要部分，其中能否正確提取人臉的真實(shí)特征信息將直接影響識(shí)別效果。目前，人臉特征提取技術(shù)主要可分為三大類(lèi)：基于先驗(yàn)知識(shí)、基于特征不變性和基于子空間的方法[1]。其中，基于子空間的特征提取方法應(yīng)用最為廣泛，其特點(diǎn)是能提取圖像中最能表示人臉的特征，并將高維特征映射到低維空間降低計(jì)算復(fù)雜度。Eigenface、Fisherface是該類(lèi)方法的典型代表。Eigenface[2]利用主成分分析法（PCA）提取人臉的主成分即“特征臉”，優(yōu)點(diǎn)是計(jì)算簡(jiǎn)單，缺點(diǎn)是不能表達(dá)人臉的局部特征，光照、表情等變化對(duì)其影響較大。Eigenface[3]先采用PCA進(jìn)行特征降維，然后利用線性判別分析法（LDA）尋找最佳投影方向，該方法較Eigenface識(shí)別效果好，但無(wú)法應(yīng)用于線性不可分問(wèn)題的研究。

由于受到姿態(tài)變化、面部遮擋、光照強(qiáng)度、表情變化等因素的影響，基于單特征的人臉識(shí)別具有一定局限性，因此基于多特征集成的人臉識(shí)別是一種提高識(shí)別率的有效方法?；诖耍疚奶岢隽艘环N基于Fisherface和SIFT雙特征集成的人臉識(shí)別方法：首先利用Fisher線性鑒別方法提取全局面部特征，然后利用SIFT與K-Means聚類(lèi)算法提取局部面部特征，最后采用加權(quán)求和的方法將全局面部特征和局部面部特征并行集成來(lái)進(jìn)行人臉識(shí)別。實(shí)驗(yàn)結(jié)果表明，該方法較基于單特征的Fisherface和SIFT方法識(shí)別準(zhǔn)確率率更高，能夠有效地提高人臉識(shí)別性能。

1 Fisherface特征提取

1.1 主成分分析（Principal Component Analysis，PCA）

PCA主要是基于K-L變換實(shí)現(xiàn)的，它的主要思想是從原始數(shù)據(jù)中提取主要特征并進(jìn)行特征降維，在特征降維的過(guò)程中原始數(shù)據(jù)中絕大部分有用信息均被保留，降低了計(jì)算復(fù)雜性。

假設(shè)一個(gè)具有f維的訓(xùn)練樣本集X，X中共有n個(gè)樣本：x1，x2，…，xn，這些樣本共有c類(lèi)。X中的任何一個(gè)樣本xi均屬于一個(gè)己知的類(lèi)wj，即xi∈wj，i∈[1，n]，j∈[1，c]。則構(gòu)建樣本的協(xié)方差矩陣公式如下：

其中m表示所有樣本的均值，PCA的實(shí)現(xiàn)過(guò)程是求公式（2）求解，當(dāng)特征值最大時(shí)，其對(duì)應(yīng)的特征向量組成的矩陣P即為最優(yōu)特征向量矩陣。

1.2 Fisher線性鑒別分析

針對(duì)訓(xùn)練樣本集X，F(xiàn)isher線性鑒別的目標(biāo)是從高維特征空間中提取出最具有鑒別能力的低維特征，即在投影軸上找到使樣本類(lèi)間離散度最大，類(lèi)內(nèi)離散度最小的投影方向。

樣本的類(lèi)間離散度矩陣為：

其中，m為所有樣本的均值，mk為第k類(lèi)樣本的均值。

樣本的類(lèi)內(nèi)離散度矩陣為：

最優(yōu)的投影方向?yàn)?

將訓(xùn)練樣本通過(guò)最優(yōu)投影方向投影，得到的投影系數(shù)向量即為Fisher特征向量。

2 SIFT特征提取

2.1 人臉SIFT特征提取

SIFT（Scale-Invariant Feature Transform）特征是由David Lowe發(fā)表并總結(jié)的一種基于尺度空間的圖像局部特征描述算子[4]。該方法主要由生成尺度空間、檢測(cè)極值點(diǎn)、精確定位極值點(diǎn)、為關(guān)鍵點(diǎn)指定方向參數(shù)、生成特征描述算子等部分組成[5]，具有位置穩(wěn)定、尺度不變性和旋轉(zhuǎn)不變性等特征。因此，通過(guò)提取人臉SIFT特征可以對(duì)不同視角的人臉圖像進(jìn)行匹配和識(shí)別。圖1展示的是對(duì)兩張人臉圖像進(jìn)行SIFT特征提取以及進(jìn)行特征匹配的結(jié)果。

2.2 K-Means聚類(lèi)

K-Means是一種基于距離的迭代式算法[6]，主要思想是通過(guò)迭代的方式把數(shù)據(jù)劃分為不同的類(lèi)別，使得平均誤差準(zhǔn)則函數(shù)E達(dá)到最小值，使聚類(lèi)后類(lèi)內(nèi)緊湊，類(lèi)間獨(dú)立。

假設(shè)給定含有n個(gè)樣本的數(shù)據(jù)集X，X=｛xm|m= 1，2，…，n｝，并且每個(gè)xm為a維的向量。數(shù)據(jù)樣本xi=（xi1，xi2，…，xid）和xj=（xj1，xj2，…，xjd）之間的相似度用它們之間的歐氏距離來(lái)表示，公式如下：

K-Means將上述數(shù)據(jù)集分成k類(lèi)｛S1，S2，…，Sk｝，使每個(gè)數(shù)據(jù)到它所在的聚類(lèi)類(lèi)心的距離比到其他聚類(lèi)類(lèi)心的距離更小，即對(duì)平均誤差準(zhǔn)則函數(shù)E求最小值：

其中，μi表示分類(lèi)Si的平均值

3 基于Fisherface和SIFT的雙特征集成算法

本文提出的互補(bǔ)雙特征提取算法主要有三部分，一是對(duì)人臉訓(xùn)練樣本進(jìn)行Fisherface特征提取，得到全局特征向量，即構(gòu)建全局分類(lèi)器GC；二是對(duì)訓(xùn)練樣本提取SIFT特征并聚類(lèi)，得到局部特征向量，即構(gòu)造局部分類(lèi)器LC；最后利用加權(quán)求和的方法將全局分類(lèi)器和局部分類(lèi)器進(jìn)行并行集成構(gòu)建整體分類(lèi)器UC，即將各個(gè)特征向量的相似度利用加權(quán)求和的方法計(jì)算最終相似度。構(gòu)建過(guò)程如圖2所示。

圖1 人臉圖像的SIFT特征提取和匹配

圖2 分類(lèi)器的構(gòu)建過(guò)程

3.1 構(gòu)造全局分類(lèi)器

全局分類(lèi)器的構(gòu)造主要是通過(guò)對(duì)人臉訓(xùn)練樣本進(jìn)行Fisherface特征提取，得到全局特征向量，算法過(guò)程如下：

輸入：訓(xùn)練樣本（n維數(shù)據(jù)）；輸出：Fisher特征向量（d維數(shù)據(jù)，其中n≥d）

算法步驟：

（1）對(duì)所有訓(xùn)練樣本用PCA方法進(jìn)行降維，即作K-L變換，將原始數(shù)據(jù)映射到低維空間；

（2）在變換之后的空間內(nèi)，利用公式（3）（4）計(jì)算數(shù)據(jù)的類(lèi)內(nèi)離散度矩陣和類(lèi)間離散度矩陣；根據(jù)公式（5）得到最優(yōu)投影方向Wopt；

（3）將原始樣本向最優(yōu)投影方向做投影，得到低維的Fisher特征向量。

3.2 構(gòu)造局部分類(lèi)器

局部分類(lèi)器的構(gòu)造主要是通過(guò)對(duì)訓(xùn)練樣本提取SIFT特征，并采用K-Means聚類(lèi)算法對(duì)SIFT特征進(jìn)行子區(qū)域劃分，并利用3.2（2）提到的局部特征相似度計(jì)算方法計(jì)算子區(qū)域的相似度。

（1）特征子區(qū)域劃分

不同人臉圖像的SIFT特征點(diǎn)的數(shù)目和位置也不一樣，為了對(duì)物理意義相近的特征區(qū)域獨(dú)立進(jìn)行匹配識(shí)別，本文采用K-Means聚類(lèi)算法將SIFT特征點(diǎn)劃分成k個(gè)特征子區(qū)域，同一子區(qū)域中的特征點(diǎn)表示的物理意義相近。具體算法步驟如下：

①隨機(jī)地從輸入圖像的特征點(diǎn)中取k個(gè)點(diǎn)，作為k個(gè)子區(qū)域各自的中心。

②利用公式（6）分別計(jì)算每幅圖像中的特征點(diǎn)與各子區(qū)域中心點(diǎn)的距離，將這些特征點(diǎn)劃歸到與其距離最小的子區(qū)域中。

③根據(jù)聚類(lèi)結(jié)果，重新計(jì)算k個(gè)子區(qū)域的中心，計(jì)算方法是取每個(gè)子區(qū)域中所有特征點(diǎn)位置的平均值。

④重復(fù)步驟②③，直到平均誤差準(zhǔn)則函數(shù)E即公式（7）達(dá)到最小值，并將此時(shí)的k個(gè)子區(qū)域作為最終結(jié)果。

在本文中，我們令k等于3，也就是把人臉圖像劃分成三個(gè)特征子區(qū)域，各子區(qū)域的特征點(diǎn)用不同的顏色來(lái)標(biāo)識(shí)區(qū)分。從圖3中可以看出，聚類(lèi)后劃分的子區(qū)域主要為左眼、右眼、鼻口三部分。通常情況下，這些區(qū)域在人臉識(shí)別中區(qū)分能力最強(qiáng)。

圖3 人臉圖像特征子區(qū)域劃分

（2）局部特征相似度計(jì)算

在上文中，一幅人臉圖像I被劃分成k個(gè)特征子區(qū)域，假設(shè)第i個(gè)特征子區(qū)域的SIFT特征點(diǎn)數(shù)目用ni表示，第i個(gè)子區(qū)域中的第j個(gè)SIFT特征向量用fij表示。那么兩幅人臉圖像It和Ir之間的局部相似度用公式（9）計(jì)算。在計(jì)算的過(guò)程中，為了弱化表情變化的影響，采用對(duì)特征子區(qū)域相似度d取平方的方法。wLi表示各特征子區(qū)域所占的權(quán)重。因?yàn)楦魈卣髯訁^(qū)域作為局部特征相互獨(dú)立，所以在構(gòu)造局部分類(lèi)器時(shí)，應(yīng)給予各特征子區(qū)域不同的權(quán)重來(lái)計(jì)算局部相似度。假設(shè)各個(gè)特征子區(qū)域彼此獨(dú)立并且使用概率相等，對(duì)其分別進(jìn)行人臉識(shí)別實(shí)驗(yàn)獲得識(shí)別率Pi，根據(jù)Pi利用公式（11）計(jì)算出權(quán)重wLi。

3.3 構(gòu)建整體分類(lèi)器

全局分類(lèi)器和局部分類(lèi)器構(gòu)建完成后，本文采用加權(quán)求和的方式對(duì)其采用并行的方式進(jìn)行集成，即將各個(gè)特征向量的相似度進(jìn)行加權(quán)求和得到最終相似度，計(jì)算公式如下：

其中wG表示全局分類(lèi)器的權(quán)值，0≤wG≤1。通過(guò)實(shí)驗(yàn)驗(yàn)證發(fā)現(xiàn)，當(dāng)wG取值為0.6的時(shí)候，分類(lèi)效果最好。

4 實(shí)驗(yàn)與結(jié)果

4.1 實(shí)驗(yàn)描述

本文的實(shí)驗(yàn)過(guò)程如下：

（1）利用4.1中描述的算法過(guò)程對(duì)人臉訓(xùn)練樣本進(jìn)行Fisherface特征提取，構(gòu)造Fisher特征向量即構(gòu)造全局分類(lèi)器；

（2）利用SIFT算法提取訓(xùn)練樣本的SIFT特征點(diǎn)，并利用4.2（1）中描述的方法對(duì)特征點(diǎn)進(jìn)行特征子區(qū)域劃分，得到3個(gè)局部特征向量；

（3）對(duì)3個(gè)特征子區(qū)域獨(dú)立進(jìn)行識(shí)別實(shí)驗(yàn)，獲得各自的識(shí)別準(zhǔn)確率，進(jìn)而根據(jù)公式（10）計(jì)算出各個(gè)特征子區(qū)域相似度的權(quán)重，然后根據(jù)公式（8）計(jì)算圖像的局部特征的相似度，即構(gòu)造局部分類(lèi)器；

（4）根據(jù)公式（11）對(duì)全局分類(lèi)器和局部分類(lèi)器進(jìn)行集成，獲得整體分類(lèi)器；

（5）利用整體分類(lèi)器進(jìn)行人臉識(shí)別實(shí)驗(yàn)。

另外，為了驗(yàn)證本文算法的有效性和魯棒性，我們選擇了AR人臉數(shù)據(jù)庫(kù)[7]進(jìn)行實(shí)驗(yàn)。該數(shù)據(jù)庫(kù)包含了男、女各50人，且每個(gè)對(duì)象包含26張不同表情、光照、遮擋等圖像，共計(jì)100×26=2600幅圖像。在子區(qū)域相似度權(quán)重計(jì)算和人臉識(shí)別的實(shí)驗(yàn)中，均從數(shù)據(jù)庫(kù)中選取了2000個(gè)訓(xùn)練樣本，其中包含男女各50人，每人包含20張不同干擾因素的圖像，并為每個(gè)樣本選取了6張共計(jì)100×6=600幅圖像。

4.2 子區(qū)域相似度權(quán)重計(jì)算

本實(shí)驗(yàn)中，通過(guò)對(duì)600個(gè)測(cè)試樣本的3個(gè)子區(qū)域單獨(dú)進(jìn)行識(shí)別實(shí)驗(yàn)（子區(qū)域相似度大于閾值0.7即為識(shí)別正確），獲得各特征子區(qū)域識(shí)別的準(zhǔn)確率，進(jìn)而根據(jù)公式（10）計(jì)算出各特征子區(qū)域相似度的權(quán)重，結(jié)果如表1所示。

表1 各子區(qū)域識(shí)別的準(zhǔn)確率與權(quán)重

4.3 識(shí)別率對(duì)比

對(duì)數(shù)據(jù)庫(kù)中選取的2000個(gè)訓(xùn)練樣本進(jìn)行訓(xùn)練后，對(duì)600張測(cè)試圖像分別采用Fisherface、SIFT+K-Means算法及Fisherface與SIFT特征集成的算法進(jìn)行人臉識(shí)別實(shí)驗(yàn)，最終的識(shí)別結(jié)果如表2所示。同時(shí)將本文提出的算法與文獻(xiàn)[8,9,10]中的方法進(jìn)行對(duì)比（表2中前三組數(shù)據(jù)來(lái)自文獻(xiàn)[8,9,10]）。因?yàn)楸疚挠玫臄?shù)據(jù)庫(kù)、訓(xùn)練樣本、測(cè)試樣本均與三篇文獻(xiàn)中使用的相同，所以實(shí)驗(yàn)數(shù)據(jù)是有可比性的。從實(shí)驗(yàn)結(jié)果可以看出，本文算法的識(shí)別準(zhǔn)確率明顯高于文獻(xiàn)[8,9,10]中提出的算法，具有較好的識(shí)別效果。

表2 不同算法的識(shí)別率對(duì)比

5 結(jié)語(yǔ)

本文提出了一種基于Fisherface和SIFT雙特征集成的人臉識(shí)別方法，該方法集成了Fisherface和SIFT各自?xún)?yōu)點(diǎn)，有效地提高了人臉識(shí)別準(zhǔn)確率。通過(guò)實(shí)驗(yàn)表明，針對(duì)單張人臉圖像中光照變化、表情變化和飾物遮擋等影響因素，本文方法取得了較好的識(shí)別效果，具有很好的魯棒性。本文沒(méi)有考慮人臉姿態(tài)變化、年齡變化、角度變化等因素的影響，在后續(xù)的研究中，將針對(duì)這些影響因素設(shè)計(jì)更好的特征提取方法，進(jìn)一步提高人臉識(shí)別準(zhǔn)確率。

[1]李明麗,孫連英,李剛.基于特征提取技術(shù)的人臉識(shí)別綜述[J].計(jì)算機(jī)科學(xué),2014,41（10）:1066-1069.

[2]M.Turk,A.Pentland.Eigenfaces for Recognition[J].Cognitive Neuroscience,1991,3（1）:71-86.

[3]Belhumeur P N,Hespanha J P,Kriegman D J.Eigenfaces vs.Fisherfaces:Recognition Using Class Specific Linear Projection[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,1997,19（7）:711-720.

[4]Lowe D.Distinct Image Features from Scale-invariant Key Points[J].International Journal of Computer Vision,2004,60（2）:91-110.

[5]Schemer W J,Rocha A,Michealsrj,et al.Meta-Recognition:the Theory and Practice of Recognition Score Analysis[J].IEEE Trans. Pattern Analysis and Machine Intelligence,2010,33（8）:1689-1695．

[6]李衛(wèi)軍.K-Means聚類(lèi)算法的研究綜述[J].現(xiàn)代計(jì)算機(jī):專(zhuān)業(yè)版,2014（23）:31-32.

[7]Martinez A M,Benavente R.The AR Face Database[EB/OL].http://cobweb.ecn.purdue.edu/～aleix/aleixfaceDB.html,1998-06-21.

[8]Yang J.,Zhang D.,Frangi A.F.&Yang J..Two-dimensional PCA:A New Approach to Appearance Based Face Representation and Recognition.IEEE Trans.Pattern Analysis and Machine Intelligence,2004,26（1）:131-137.

[9]Martinez,A.M.Recognizing Imprecisely Localized,Partially Occluded,and Expression Variant Faces from a Single Sample Per Class. IEEE Trans.Pattern Analysis and Machine Intelligence,2002,25（6）:748-763.

[10]Tan X.,Chen S.C.,Zhou Z.-H.,Zhang F.Recognizing Partially Occluded,Expression Variant Faces from Single Training Image Per Person with SOM and Soft kNN Ensemble.IEEE Transactions on Neural Networks,2005,16（4）:875-886.

Face Recognition Based on Fisherface and SIFT Features Integration

ZHOU Lin-lin，HE Zhong-shi

（College of Computer Science,Chongqing University,Chongqing 400044）

To solve the problems of facial expression changes,illumination effect and face occluded in face recognition,proposes a face recognition method based on Fisherface global and SIFT local features integration.First,uses fisher linear identification method to extract the global facial features.Then uses SIFT algorithm and K-Means clustering algorithm to extract SIFT features and divide sub domains in order to construct local facial features.In this part,method of weight calculation based on probability statistics is used to calculate local features similarity.Finally,weighted sum method is used to combine the global and local facial features in parallel manner in order to improve the accuracy of face recognition.The experimental result shows that the method achieves better recognition results and has good robustness.

Fisherface;Scale Invariant Feature Transform(SIFT)Feature;K-Means;Face Recognition

1007-1423（2017）02-0058-05

10.3969/j.issn.1007-1423.2017.02.015

周琳琳（1990-），女，山東萊西人，碩士研究生，學(xué)生，研究方向?yàn)閿?shù)字圖像處理

2016-11-22

2017-01-10

何中市（1970-），男，重慶人，博士后，教授，研究方向?yàn)槟Ｊ阶R(shí)別、機(jī)器學(xué)習(xí)與數(shù)據(jù)挖掘、自然語(yǔ)言處理與數(shù)字圖像處理