基于FSIF改進均值漂移LDA的多姿態(tài)變化人臉識別

張 浩，呂 真，連衛(wèi)民，王 碩

(河南牧業(yè)經(jīng)濟學(xué)院計算機系，河南鄭州 450044)

人臉自動識別系統(tǒng)［1－2］通常使用人臉圖像來識別特定的身份，已廣泛地應(yīng)用于生物特征認(rèn)證的人機交互中，如視頻監(jiān)控和訪問控制等［3］。學(xué)者們曾提出了許多人臉識別方法，最具代表性的有主成分分析(Principal Component Analysis，PCA)［4］、線性成分分析(Linear Discriminant Analysis，LDA)［5］、獨立主成分分析(Independent Component Analysis，ICA)［6］等，這些方法在非限制條件下都能取得不錯的效果，但是，在處理多姿態(tài)變化人臉識別問題時，效果并不是很理想。

為了解決多姿態(tài)變化人臉識別問題，學(xué)者們相繼提出了許多相關(guān)的方法，包括基于整體的方法、基于特征(結(jié)構(gòu)化)匹配的方法及混合方法等。例如，文獻［7］提出了人臉識別技術(shù)的綜合狀態(tài)及當(dāng)前的二維人臉識別算法，然而，在2D人臉識別中光照變化和姿態(tài)變化引起的問題嚴(yán)重影響了識別的效果。文獻［8］提出了3D掃描技術(shù)來解決多姿態(tài)人臉識別問題;文獻［9］為3D人臉識別開發(fā)了基于PCA的算法;文獻［10］和文獻［11］提出了一些統(tǒng)計學(xué)方法，如Cook的基于混合高斯的閉點迭代算法和Lee的擴展高斯圖像模型，此外，基于幾何特征、特征曲率驅(qū)動、人臉輪廓描述符和使用范圍及紋理信息進行特征提取的分層系統(tǒng)等算法都是可用的;文獻［12］提出使用PCA、LDA和預(yù)測線性判別分析(PDLDA)以整體特征作為降維輸入圖像進行人臉識別，然而，這些方法并不能對所有的姿態(tài)變化人臉圖像進行正確的識別。文獻［13－14］為多姿態(tài)問題提出了基于多特征和人臉圖像多特征融合的3D人臉識別方法，在這種情況下，可以使用三種方法從3D人臉圖像中提取多特征(最大曲率圖像、平均邊緣圖像、范圍圖像)，使用權(quán)重線性組合構(gòu)建融合特征，然而，除了文獻［14］提出的基于尺度不變特征融合(Fusion of Scale Invariant Features，F(xiàn)SIF)方法以外，其余所有方法均需要使用3D掃描儀/照相機，這是一種非常昂貴的數(shù)據(jù)采集工具，但是，文獻［14］提出的方法需要的處理時間較長。

為了更好地解決多姿態(tài)人臉識別問題，提出了一種基于尺度不變特征融合的雙階段分類方法，通過均值漂移線性判別分析(Shifting Mean Linear Discriminant Analysis，SMLDA)［15］和基于人臉描述符的尺度不變特征融合(FSIF)兩個階段的分類解決了由于姿態(tài)變化引起的較大的人臉差異、減少了FSIF人臉識別的計算時間，在不降低識別率的條件下，融合有姿態(tài)變化人臉圖像的尺度不變特征來構(gòu)建3D人臉圖像，利用尺度不變特征轉(zhuǎn)換(SIFT)算法提取尺度不變特征，避免了使用昂貴的3D掃描儀去估計人臉圖像中的姿態(tài)變化，實驗結(jié)果驗證了所提方法的有效性。

1 多姿態(tài)人臉識別

所謂多姿態(tài)人臉識別，即每個對象包含多張具有不同姿態(tài)且變化較大的人臉圖像，從中選取部分人臉用于訓(xùn)練，剩下的用于測試，最后得出正確識別率，也正是所提方法要解決的問題，如圖1所示為具有多姿態(tài)變化的人臉圖像示例，包含了某人的正面照及以不同角度變化的左、右側(cè)照。

圖1 具有多姿態(tài)變化的人臉圖像示例

2 方法提出

提出的人臉識別算法流程圖如圖2所示，包括2個主要過程:均值漂移線性判別分析(Shifting Mean Linear Discriminative Analysis，SMLDA)處理作為人臉特征分類器的第一階段;基于快速人臉描述符的尺度不變特征融合(FSIF)作為分類器的第二階段，稱為人臉描述符融合(FFD)處理，僅對由SMLDA確定的前5個候選類別進行分類。

圖2 所提方法的整個流程圖

第一階段執(zhí)行SMLDA過程，主要是為下一階段確定候選類。首先將訓(xùn)練集ID得分最低的前5個作為候選類，然后，從分類器第一階段得到5個候選ID，類似于人臉測試圖像。

第二階段分類器試圖找到對應(yīng)于測試圖像的最佳ID，主要步驟如下:

1)加載所有人臉圖像訓(xùn)練集，與候選ID對應(yīng)。

2)利用融合人臉描述符從訓(xùn)練集中提取每張人臉圖像的 FSIF，表示為［D1，D2，…，D5］。

3)提取人臉測試圖像的FSIF，表示為Dq。

4)用Dq與［D1，D2，…，D5］匹配，找到匹配關(guān)鍵點數(shù)目，2個描述符(Dq和D1)的匹配關(guān)鍵點數(shù)目可由如下程序確定:

最后，由匹配關(guān)鍵點數(shù)目來確定驗證準(zhǔn)則，設(shè)定匹配點數(shù)目最大的人臉描述符是最有可能的項。

2.1 均值漂移線性判別分析

假設(shè)有兩類三維數(shù)據(jù)群，規(guī)范化至范圍(0～1)，將其擴展為有L個類的n維數(shù)據(jù)，每個類(第k類)有Nk個樣本，則不得不滿足費舍爾準(zhǔn)則式(1)的最佳投影矩陣(W)可由特征分析逆Sw和Sb來確定，然后選擇m個與最大特征值對應(yīng)的正交特征矩陣(m＜n)

Sw和Sb定義如下

無論對大樣本還是小樣本數(shù)據(jù)，LDA算法都能成功進行人臉識別，性能良好且穩(wěn)定。然而，當(dāng)有新數(shù)據(jù)樣本進入系統(tǒng)時，它不得不重新訓(xùn)練所有數(shù)據(jù)樣本以得到最佳投影矩陣，由于Sb依賴于全局平均，當(dāng)有新的數(shù)據(jù)樣本加入到系統(tǒng)中時需要重新計算它的值，也就是說整個訓(xùn)練集需要重新訓(xùn)練。為了避免這個問題并降低計算負(fù)載，使用下述均值漂移算法對Sb簡化

使用這個簡化式，更新的Sb與式(2)中原始值的散布幾乎相同，但計算復(fù)雜度較低。為了使用式(5)更新Sb，只需要計算θn、μua和μua(μua)T，要求2n2次乘法操作和n2+n次加法操作，而式(2)要求(L+1)n2次乘法操作和(L+1)n2次加法操作。

此外，類內(nèi)散布，式(3)中的Sw，不依賴于全局平均，可重新定義為下式

得到Nnew=Nold+NL。

將Sb代入LDA特征分析的Sub中，然后選擇一些對應(yīng)于最大特征值的大的特征向量來獲得最佳投影矩陣，稱為替代LDA投影矩陣(WALDA)，訓(xùn)練數(shù)據(jù)集和測試數(shù)據(jù)集的投影特征可由原始LDA使用WALDA執(zhí)行。

對于匹配過程，基于最近鄰規(guī)則的歐式距離用于人臉分類，負(fù)樣本(非訓(xùn)練人臉圖像和非人臉圖像)用于定義人臉驗證的閾值，如果最小得分低于定義的閾值，則輸入數(shù)據(jù)認(rèn)為是已知的正的ID，否則認(rèn)為是負(fù)人臉圖像或未知人臉圖像。

2.2 融合人臉描述符

融合人臉描述符是來自選擇的姿態(tài)變化特征尺度不變特征的一個融合，代表了3D圖像信息，在這種情況下，特征從2D人臉圖像中提取，因此，為了實現(xiàn)這個想法，要求有一個2D人臉圖像集，用以表示3D人臉圖像的子樣本。首先使用SIFT算法從一些人臉圖像中提取不變特征，然后使用相交(∩)和相減操作移除冗余特征，最后使用并操作(∪)將所有非冗余特征融合到一個描述符。

在這種情況下，F(xiàn)SIF是由矩陣表示的二維數(shù)據(jù)，這樣表示的好處是簡單，相比真實3D數(shù)據(jù)所需的內(nèi)存空間更小，而且，可以包含更多的2D人臉圖像去構(gòu)建描述符，得到的描述符也會更加豐滿，如果用于識別的人臉描述符越豐富，獲得的識別率越高。

3 實驗

所有實驗均在PC機上完成，配置為酷睿雙核處理器、1.7 GHz主頻、2 Gbyte內(nèi)存，編程環(huán)境為MATLAB7.0。

3.1 人臉數(shù)據(jù)庫

為了更好地評估所提方法的性能，使用幾個具有挑戰(zhàn)性的數(shù)據(jù)庫進行實驗，包括ITS－Lab、ORL、CVL、GTAV數(shù)據(jù)庫，其中，ITS－Lab、ORL人臉數(shù)據(jù)庫中每個人的姿態(tài)變化較小，而CVL、GTAV人臉數(shù)據(jù)庫中每個人的姿態(tài)變化較大，各個數(shù)據(jù)庫的人臉圖像示例分別如圖3所示。所有訓(xùn)練人臉圖像和測試人臉圖像大小均重置為128×128像素，整體特征提取前先進行圖像拉伸，整體特征大小為第一階段分類器的每個圖像53個元素。

3.2 實驗結(jié)果

首先，通過執(zhí)行兩組實驗評估雙階段分類器的性能，分別在具有較小姿態(tài)變化及較大姿態(tài)變化的人臉數(shù)據(jù)庫上對其進行了評估。

圖3 各個人臉數(shù)據(jù)庫中的人臉圖像示例

3.2.1 較小姿態(tài)變化性能評估

第一組實驗在ITS－Lab和ORL數(shù)據(jù)庫上執(zhí)行，這兩個數(shù)據(jù)庫包含較小的姿態(tài)變化人臉圖像，但包含大量的數(shù)據(jù)樣本(每個類有至少10個姿態(tài)變化)。從這些數(shù)據(jù)集，選擇前3個人臉圖像作為訓(xùn)練數(shù)據(jù)，剩下的作為測試數(shù)據(jù)，實驗結(jié)果如表1所示。

表1 所提方法與單階分類器在有小姿態(tài)變化的人臉數(shù)據(jù)庫上性能比較

從表1可以看出，雙階段分類器能顯著改善SMLDA方法，且要求的再訓(xùn)練和測試時間與該方法幾乎相同，盡管基于FSIF的分類器可以克服多姿態(tài)問題，但它比SMLDA+FSIF需要更長的訓(xùn)練和測試時間，意味著雙階段分類器是人臉識別多姿態(tài)問題的一個替代解決方案。

3.2.2 較大姿態(tài)變化性能評估

第二組實驗在CVL和GTAV數(shù)據(jù)庫上執(zhí)行，CVL和GTAV是2個具有較大姿態(tài)變化的人臉數(shù)據(jù)庫，從CVL數(shù)據(jù)庫中選擇前3個人臉圖像作為訓(xùn)練數(shù)據(jù)，其余的作為測試數(shù)據(jù)，從GTAV數(shù)據(jù)庫中選擇前5個人臉圖像作為訓(xùn)練數(shù)據(jù)，其余的作為測試數(shù)據(jù)，實驗結(jié)果如表2所示。

表2 所提方法與單階分類器在具有大姿態(tài)變化的人臉數(shù)據(jù)庫上性能比較

與表1相同，從表2也可以看出，雙階段分類器可以明顯改善SMLDA方法，要求的再訓(xùn)練和測試時間與SMLDA方法基本相同，比FSIF方法耗時更少。

比較表1、表2可知，所提方法中訓(xùn)練的人臉圖像越多，人臉描述符會越豐富，獲得的識別率就越高。

3.3 比較及分析

為了更好地體現(xiàn)所提方法的優(yōu)越性，將其與MF+PCA，MF+PCALDA，MFF+PCALDA等3種3D變換算法進行了比較，3D方法基于3D人臉圖像的多特征(MF)合并和多特征融合(MFF)，由PCA和PCA+LDA實現(xiàn)。實驗在ITS－Lab人臉數(shù)據(jù)庫版本1上執(zhí)行，該數(shù)據(jù)庫是一個3D人臉數(shù)據(jù)庫，包含40個類，每個類10個臉部姿態(tài)變化，這些人臉圖像由Konica Minolta 3D照相機系列VIVID 900采集得到，參數(shù)設(shè)置與文獻［8］相同，選擇每個類的前5幅圖像用于訓(xùn)練，剩下的用于測試。此外，將所提方法與基準(zhǔn)的SMLDA方法進行了比較，增加使用前3幅人臉圖像作訓(xùn)練集，剩下的用于測試，實驗結(jié)果如表3所示。

從表3可以看出，所提方法的識別率明顯優(yōu)于其他幾種方法，當(dāng)訓(xùn)練樣本數(shù)為5時，所提方法取得了100%的識別率，當(dāng)訓(xùn)練樣本數(shù)為3時，所提方法識別率高達(dá)99.71%，甚至與MFF+PCALDA方法在訓(xùn)練樣本數(shù)為5的情況下取得的識別率(99.98%)相當(dāng)。

表3 所提方法與基于3D人臉識別的多特征方法的性能比較

這意味著SMLDA+FSIF是求解多姿態(tài)變化人臉識別問題的替代解決方案，且相對于基于3D的人臉識別能有更可靠的成果。盡管FSIF+LDA的識別率與MFF+PCALDA差不多，但是相比幾種3D方法，所提方法不需要三個特征向量組成的多特征，也不需要通過昂貴的3D照相機傳感器形成特征，在提高識別率的同時，還能大大地節(jié)約成本，由此體現(xiàn)了所提方法的優(yōu)越性。

4 結(jié)束語

針對多姿態(tài)變化的人臉識別問題，提出了一種基于FSIF的雙階段分類方法，解決了因姿態(tài)變化引起的較大的臉部變異，相比幾種3D人臉識別方法，所提方法取得了更高的識別率，比基于FSIF方法耗時更少，意味著提出的方法有潛力通過使用2D網(wǎng)絡(luò)照相機作為人臉圖像傳感器去實現(xiàn)實時人臉識別。

未來會努力將FSIF可視化成3D圖像，考慮開發(fā)有影響力的特征來降低計算時間并提高識別率，從而為安全系統(tǒng)實現(xiàn)實時人臉識別。

:

［1］周旭東，陳曉紅，陳松燦.半配對半監(jiān)督場景下的低分辨率人臉識別［J］.計算機研究與發(fā)展，2012，49(11):2328－2333.

［2］王科俊，鄒國鋒.基于子模式的Gabor特征融合的單樣本人臉識別［J］.模式識別與人工智能，2013，26(1):50－56.

［3］鄧劍勛，熊忠陽，曾代敏.基于EMD的融合特征快速多示例人臉識別算法［J］.四川大學(xué)學(xué)報:工程科學(xué)版，2012，44(2):99－104.

［4］張祥德，張大為，唐青松，等.仿生算法與主成分分析相融合的人臉識別方法［J］.東北大學(xué)學(xué)報:自然科學(xué)版，2009，30(7):972－975.

［5］曹潔，吳迪，李偉.基于鑒別能力分析和LDA－LPP算法的人臉識別［J］.吉林大學(xué)學(xué)報:工學(xué)版，2012，42(6):1527－1531.

［6］柴智，劉正光.應(yīng)用復(fù)小波和獨立成分分析的人臉識別［J］.計算機應(yīng)用，2010，30(7):1863－1866.

［7］嚴(yán)慧，金忠，楊靜宇.非負(fù)二維主成分分析及在人臉識別中的應(yīng)用［J］.模式識別與人工智能，2009，22(6):809－814.

［8］宋頂利，楊炳儒，于復(fù)興.關(guān)鍵點匹配三維人臉識別方法［J］.計算機應(yīng)用研究，2010，27(11):4331－4334.

［9］鄒紅艷，達(dá)飛鵬.基于輪廓線局部描述符的三維人臉識別［J］.計算機應(yīng)用研究，2013，30(5):1561－1563.

［10］鹿樂，周大可，胡陽明.基于特征分塊的三維人臉重建和識別［J］.計算機應(yīng)用，2012，32(11):3189－3192.

［11］傅俊康.GPU加速的若干3D人臉分析與識別算法［D］.杭州:浙江大學(xué)，2011.

［12］IGPS W，UCHIMURA K，HU Z.Improving the PDLDA based face recognition using lighting compensation［EB/OL］.［2013－05－28］.http://dl.acm.org/citation.cfm?id=2040786.

［13］劉帥師，田彥濤，萬川.基于Gabor多方向特征融合與分塊直方圖的人臉表情識別方法［J］.自動化學(xué)報，2011，37(12):1455－1463.

［14］WIJAYA I G P S，UCHIMURA K，KOUTAKI G.Multi－pose face recognition using fusion of scale invariant features［C］//Proc.the 2011 2nd International Congress on Computer Applications and Computational Science.Berlin Heidelberg:［s.n.］，2012:207－213.

［15］WIJAYA I G P S，UCHIMURA K，KOUTAKI G，et al.Robust face recognition using wavelet and DCT based lighting normalization，and shifting－mean LDA［EB/OL］.［2013－05－28］.http://www.bibsonomy.org/bibtex/2deba88f676603506aa98c9f15fae20af/dblp.