基于特征點鄰域SIFT描述子的人臉識別

摘 要： 在人臉識別算法中，尺度不變的SIFT特征是人臉局部特征的重要描述方式之一。在傳統(tǒng)SIFT方法中，由于特征點的坐標是根據(jù)高斯差分空間的局部極值點來確定的，造成特征點匹配困難。通過基于回歸的局部二值特征對人臉進行校準，確定對人臉有意義的特征點位置。用SIFT特征描述子的不變特性描述人臉的局部特征，能夠有效地提高識別速度以及識別率。對特征點進行區(qū)域加權，能夠對人臉的姿態(tài)變化以及角度偏轉有一定的魯棒性。

關鍵詞： 局部二值特征； 線性回歸； 特征點； SIFT特征描述子

中圖分類號： TN911.73?34； TP391.4 文獻標識碼： A 文章編號： 1004?373X（2016）03?0023?04

Face recognition based on SIFT descriptor in feature point neighbourhood

LI Wenyang， CHEN Yun， HUA Jizhao

（College of Information Engineering， Yangzhou University， Yangzhou 225127， China）

Abstract： The scale invariant feature transform （SIFT） in face recognition algorithm is one of the important descriptive approaches of the face local features. In traditional SIFT method， because the coordinates of the feature points are determined according to the local extreme point of Gaussian difference space， which leads to difficult match of the feature point. The face is calibrated by local binary feature based on linear regression to determine the location of the feature point which is meaningful to the face. The face local feature is described by the invariant characteristic of SIFT feature descriptor， which can effectively improve the face recognition speed and recognition rate. The region weighing for feature point has certain robustness to the face posture change and face angle deflection.

Keywords： local binary feature； linear regression； feature point； SIFT feature descriptor

0 引 言

在網(wǎng)絡信息高速發(fā)展的今天，如何快速準確地對人的身份信息進行識別成為一個急待解決的問題。作為生物特征之一的人臉識別為這一問題提供新的解決思路。人臉識別也因為其非接觸式、采集設備簡單等優(yōu)點受到了廣泛關注[1]。目前，人臉識別方法主要有基于Harris角點[2]、局部二值模式（LBP）、尺度不變特征（SIFT）等的人臉局部特征描述，以及基于線性判別式分析[3]（LDA）、神經(jīng)網(wǎng)絡、支持向量機[4]（SVM）的人臉全局特征描述。盡管這些方法對正面人臉的識別有較好的效果，但是當人臉存在姿態(tài)變換或者角度偏轉時效果不盡人意。如何更好地解決這一問題已經(jīng)成為提高人臉識別率的關鍵問題。

基于統(tǒng)計特征的識別方法由于訓練樣本的不確定性而存在差異；所以Lowe的尺度不變特征[5]（Scale Invariant Feature Transform，SIFT）的提出受到了廣泛的關注。其中特征描述子具有旋轉不變性和光照不變性，廣泛用于描述人臉的局部特征[6]。SIFT特征的特征點是根據(jù)高斯差分空間（DoG）的局部極值點確定；由于注冊人臉和待識別人臉圖像的不同，容易導致特征點數(shù)目的不確定性。且特征點沒有明顯的物理意義，從而增加了特征點匹配的難度。因此，本文采用基于回歸的局部二值特征方法進行人臉的校準，確定了與人臉幾何特征相關的特征點，如面部輪廓、眼睛、鼻子、嘴等附近。考慮到人臉表情變化的區(qū)域主要集中在面部以及嘴部，因此對特征點進行區(qū)域加權。用特征點鄰域內(nèi)的SIFT特征描述子[7]表征人臉并組成特征向量，用于人臉的識別。

1 基于回歸的LBF的人臉校準

基于早期的Kass等提出的Snake模型[8]，1995年Cootes等人提出了主動形狀模型[9]（Active Shape Model，ASM）。此后Cootes等人在ASM算法的基礎上提出了主動表觀模型[10?11]（Active Appearance Model，AAM）的概念，與ASM不同的是AAM同時對形狀和紋理信息進行分析。近年來基于回歸的方法[12?13]被人們廣泛關注，在此基礎上任少卿等人提出的基于回歸的局部二值特征（Local Binary Features，LBF）的人臉校準算法[14]，在計算機以及手機上獲得良好的效果，受到了廣泛的關注。

人臉校準是通過對初始特征點模型[S0]的逐步修正（每級的修正量為[ΔSt]）得到最終的模型。每級的模型增量為：

[ΔSt=WtΦtI，St-1] （1）

其中：[St-1]為上一級的特征點模型；[Φt]是一個映射矩陣，實現(xiàn)由圖像[I]特征點模型到LBF的映射，[Φt]可以分解為一組獨立的映射函數(shù)集[?t1，?t2，…，?tk，][k]為對應特征點的個數(shù)；[Wt]表示線性回歸矩陣，實現(xiàn)由LBF到特征點模型增量的映射。

1.1 LBF映射矩陣[Φt]的學習

映射矩陣[?tk]的訓練目標是使與真實特征點模型[Sti]的距離越?。?/p>

[ωtk，?tk=argmini=1πk°ΔSti-ωtk?tkIi，Sit-122] （2）

其中[πk°ΔSti] 表示訓練樣本[i]的第[k]個特征點的坐標偏移量。

特征點的LBF映射矩陣[?tk]是采用局部隨機森林[12]方法得到的，實現(xiàn)了特征點鄰域特征的提取。訓練時采用特征點的局部鄰域內(nèi)像素，最大鄰域的范圍需要通過交叉驗證得到，且隨級聯(lián)中級數(shù)的增加而收斂。使用像素差分特征訓練樹的分裂節(jié)點，訓練結果使每個葉子節(jié)點為一個二維的偏移向量。最終的隨機森林結果為所有輸出葉子節(jié)點的和[15]。

1.2 線性回歸矩陣[Wt]的學習

在上一步的訓練中得到了LBF映射矩陣[?tk]和局部回歸矩陣[ωtk]。隨后對[?tk]進行連接組成每個特征點模型的LBF映射矩陣[Φt，]用來訓練一個整體的線性回歸矩陣[Wt，]線性回歸的目標為：

[Wt=argmini=1ΔSti-WtΦtIi，Sit-122+λWt22] （3）

由于二值特征的維數(shù)很高且稀疏，需要使用雙坐標下降法[16]處理這一問題。式（3）中的[λWt22]表示了這一正則化過程。

通過上述訓練方法得到了人臉校正的系統(tǒng)，對選定的人臉區(qū)域進行校正，得到人臉校正的結果如圖1所示。

2 特征點鄰域的SIFT表征

2.1 SIFT描述子的生成

通過上述算法對人臉的校正，得到了對應人臉特征的特征點位置。在構造描述子時，僅特征點單個像素作為研究對象沒有足夠的信息，因此引入SIFT描述子采集特征點鄰域內(nèi)的信息。由于加入子區(qū)域內(nèi)的統(tǒng)計特性，從而提高了對圖像局部變形的適應能力。

[mx，y=Ix+1，y-Ix-1，y2+Ix，y+1-Ix，y-12]

（4）

[θ=arctanIx，y+1-Ix，y-1Ix+1，y-Ix-1，y] （5）

為了強化中心區(qū)域的影響，同時淡化邊緣區(qū)域的影響，采用對幅值進行高斯加權：

[wx，y=mx，y×exp-x-xi2y-yi22δ22πδ2] （6）

從而提高了算法對幾何變形的適應性，[δ]設為經(jīng)驗常數(shù)。

用直方圖統(tǒng)計鄰域像素的梯度方向權值，直方圖的范圍是[0°～360°，]其中每[10°]一個柱，總共36個柱。直方圖的峰值為該特征點處鄰域內(nèi)像素梯度的主方向[θ]，即作為該特征點的方向。

為了保持特征的旋轉不變性，將坐標軸旋轉為特征點的主方向。旋轉后新的坐標為：

[xy=cosθ-sinθsinθcos θ×xy] （7）

對每個子區(qū)域分成8個方向，統(tǒng)計權值直方圖，16個子區(qū)域組成了128維特征向量。

[L=（l1，1，l1，2，…，l1，8，…，l16，1，l16，2，…，l16，8）] （8）

再繼續(xù)將特征向量的長度進行歸一化：

[li=wij=1128wj] （9）

則可以進一步去除光照變化的影響。最終得到了能夠表征人臉特征的[k×128]維的特征向量。

把特征點按區(qū)域分為5個，眉毛，眼睛，嘴部，鼻子和面部，面部輪廓，對各個獨立子區(qū)域的置信度進行統(tǒng)計，確定各個區(qū)域的權值比重。權值計算公式為：

[Wi=1（1-Ci）] （10）

2.2 特征匹配算法

在得到特征向量后，需要對特征向量進行相似性度量，本文選擇了快速的直方圖相交法，兩個直方圖的相似度表示為：

[ψ（l1i，l2i）=i=1Imin（l1i，l2i）] （11）

則兩幅人臉的相似度表示為：

[S（L1，L2）=K=140u=116v=18ψ（L1K，u，v，L2K，u，v）] （12）

3 實驗結果及分析

實驗環(huán)境：CPU主頻為1.80 GHz，雙核四線程；操作系統(tǒng)Windows 8.1；算法通過Visual Studio 2010以及OpenCV244庫實現(xiàn)。采用FERET人臉數(shù)據(jù)庫的人臉圖像進行實驗，圖像大小為382×256，人臉大小在[200×200]以上。每個人包含不同角度及表情的12個樣本。選取300人作為訓練樣本得到閾值，200人作為觀測樣本進行識別率驗證，同時通過隨機交叉驗證，保證實驗的客觀性。

首先，根據(jù)文中提到的方法，把特征點分成5個不同的區(qū)域。通過實驗得到不同區(qū)域的置信度，表明不同區(qū)域對人臉區(qū)分的貢獻情況，計算每個子區(qū)域應占的權值比重，如表1所示。

使用相同的FERET人臉數(shù)據(jù)庫，在相同的實驗環(huán)境下，選取了Gabor局部二值模式（LGBP）算法[17] 、SIFT算法、AAM+SIFT算法進行對比實驗。如表2所示，相比于AAM+SIFT算法，本文采用的基于回歸的LBF的人臉校準能夠對特征點進行更加快速的定位，加快了特征提取的速度。相比于SIFT算法，由于本文算法只對對應的特征點進行對比，提高了匹配速度，從而提高了整體的識別速度。

由于通過人臉校準定位特征點，可以消除平面內(nèi)人臉位移對識別率的影響。采用不同偏轉角度的人臉進行實驗，如表3所示，隨著角度變化的增大，人臉算法的識別率都有所降低。相比LGBP算法與SIFT算法，本文算法對垂直平面的角度旋轉也具有魯棒性。

LGBP算法對人臉圖像進行了多尺度方向的Gabor變換，然后再進行LBP的特征提取，使算法具有了對表情變化的魯棒性。采用具有表情變化的人臉進行實驗，如表4所示，由于采用對不同子區(qū)域進行加權，人臉的表情變化對本文算法的影響比LGBP算法小。

表4 表情變化識別率比較 %

[算法＼LGBP＼SIFT＼AAM+SIFT＼本文方法＼識別率＼86.2＼82.6＼83.3＼92.1＼]

4 結 語

人臉的校準工作定位了人臉幾何特征的位置，為之后的人臉識別提供更加精準的人臉區(qū)域，對識別率的提高有著不可忽視的作用。人臉特征點定位算法的高效、快速，以及快速匹配算法的使用，提高了整體算法的識別速度。對特征點鄰域的梯度描述，提取出了足以能夠區(qū)分不同人臉的特征，通過對不同區(qū)域特征點的加權，提高了算法對姿態(tài)以及角度變化的魯棒性。由于遮擋等問題對局部人臉識別算法的影響較大，下一步的工作可以通過基于局部特征描述的本文算法和基于整體的人臉分類算法相融合，從而提高整體的識別率。

參考文獻

[1] 吳巾一，周德龍.人臉識別方法綜述[J].計算機應用研究，2009（9）：3205?3209.

[2] HARRIS C. A combined corner and edge detector [C]// Procee?dings of the 4th Alvey Vision Conference. Manchester： [s.n.]， 1988， 3： 147?151.

[3] BELHUMEUR P， HESPANHA P， KRIEGMAN D， et al. Re?cognition using class specific linear projection [C]// Procee?dings of 2006 Conference on Pattern Analysis and Machine Intelligence. [S.l.]： IEEE， 1997： 711?720.

[4] KADYROVA N O， PAVLOVA L V. Statistical analysis of big data： an approach based on support vector machines for classification and regression problems [J]. Biophysics， 2014， 59（3）： 364?373.

[5] LOWE D G. Distinctive image features from scale?invariant keypoints [J]. International Journal of Computer Vision， 2004， 60（2）： 91?110.

[6] BICEGO M， LAGORIO A， GROSSO E，et al. On the use of SIFT features for face authentication [C]// Proceedings of 2006 Conference on Computer Vision and Pattern Recognition Workshop. New York： IEEE， 2006： 35?41.

[7] 王永明，王貴錦.圖像局部不變性特征與描述[M].北京：國防工業(yè)出版社，2010：130?135.

[8] KASS M， WITKIN A， TERZOPOULOS D. Snakes： active contour models [J]. International Journal of Computer Vision， 1988， 1（4）： 321?331.

[9] COOTES T F， TAYLOR C J， COOPER D H， et al. Active shape models?their training and application [J]. Computer Vision and Image Understanding， 1995， 61（1）： 38?59.

[10] COOTES T F， EDWARDS G J， TAYLOR C J. Active appea?rance models [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2001， 23（6）： 681?688.

[11] CRISTINACCE D， COOTES T F. Feature detection and tra?cking with constrained local models [C]// Proceedings of the British Machine Vision Conference. Edinburgh： [s.n.]， 2006， 41： 929?938.

[12] GOOL L V. Real?time facial feature detection using conditional regression forests [C]// Proceedings of 2012 IEEE Conference on Computer Vision and Pattern Recognition. Rhode Island： IEEE， 2012： 2578?2585.

[13] DOLLAR P， WELINDER P， PERONA P. Cascaded pose regression [C]// Proceedings of 2010 IEEE Conference on Computer Vision and Pattern Recognition. San Francisco： IEEE， 2010： 1078?1085.

[14] REN S， CAO X， WEI Y， et al. Face alignment at 3000 FPS via regressing local binary features [C]// Proceedings of 2010 IEEE Conference on Computer Vision and Pattern Recognition. Columbus： IEEE， 2014： 1685?1692.

[15] CAO X D， WEI Y C， WEN F， et al. Face alignment by explicit shape regression [C]// Proceedings of 2012 Conference on Computer Vision and Pattern Recognition. Rhode Island： IEEE， 2012： 2887?2894.

[16] FAN R E， CHANG K W， HSIEH C J， et al. LIBLINEAR： a library for large linear classification [J]. Journal of Machine Learning Research， 2008， 9（12）： 1871?1874.

[17] ZHANG Wenchao， SHAN Shiguang， GAO Wen， et al. Local Gabor binary pattern histogram sequence （LGBPHS）： a novel non?statistical model for face representation and recognition [C]// Proceedings of the Tenth IEEE International Conference on Computer Vision. [S.l.]： IEEE， 2005， 1： 786?791.