基于特征點(diǎn)鄰域SIFT描述子的人臉識(shí)別

李文洋，陳　云，華繼釗

（揚(yáng)州大學(xué) 信息工程學(xué)院，江蘇 揚(yáng)州　225127）

?

基于特征點(diǎn)鄰域SIFT描述子的人臉識(shí)別

李文洋，陳云，華繼釗

（揚(yáng)州大學(xué) 信息工程學(xué)院，江蘇 揚(yáng)州225127）

摘要：在人臉識(shí)別算法中，尺度不變的SIFT特征是人臉局部特征的重要描述方式之一。在傳統(tǒng)SIFT方法中，由于特征點(diǎn)的坐標(biāo)是根據(jù)高斯差分空間的局部極值點(diǎn)來(lái)確定的，造成特征點(diǎn)匹配困難。通過基于回歸的局部二值特征對(duì)人臉進(jìn)行校準(zhǔn)，確定對(duì)人臉有意義的特征點(diǎn)位置。用SIFT特征描述子的不變特性描述人臉的局部特征，能夠有效地提高識(shí)別速度以及識(shí)別率。對(duì)特征點(diǎn)進(jìn)行區(qū)域加權(quán)，能夠?qū)θ四樀淖藨B(tài)變化以及角度偏轉(zhuǎn)有一定的魯棒性。

關(guān)鍵詞：局部二值特征；線性回歸；特征點(diǎn)；SIFT特征描述子

0　引言

在網(wǎng)絡(luò)信息高速發(fā)展的今天，如何快速準(zhǔn)確地對(duì)人的身份信息進(jìn)行識(shí)別成為一個(gè)急待解決的問題。作為生物特征之一的人臉識(shí)別為這一問題提供新的解決思路。人臉識(shí)別也因?yàn)槠浞墙佑|式、采集設(shè)備簡(jiǎn)單等優(yōu)點(diǎn)受到了廣泛關(guān)注[1]。目前，人臉識(shí)別方法主要有基于Harris角點(diǎn)[2]、局部二值模式（LBP）、尺度不變特征（SIFT）等的人臉局部特征描述，以及基于線性判別式分析[3]（LDA）、神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)[4]（SVM）的人臉全局特征描述。盡管這些方法對(duì)正面人臉的識(shí)別有較好的效果，但是當(dāng)人臉存在姿態(tài)變換或者角度偏轉(zhuǎn)時(shí)效果不盡人意。如何更好地解決這一問題已經(jīng)成為提高人臉識(shí)別率的關(guān)鍵問題。

基于統(tǒng)計(jì)特征的識(shí)別方法由于訓(xùn)練樣本的不確定性而存在差異；所以Lowe的尺度不變特征[5]（Scale In? variant Feature Transform，SIFT）的提出受到了廣泛的關(guān)注。其中特征描述子具有旋轉(zhuǎn)不變性和光照不變性，廣泛用于描述人臉的局部特征[6]。SIFT特征的特征點(diǎn)是根據(jù)高斯差分空間（DoG）的局部極值點(diǎn)確定；由于注冊(cè)人臉和待識(shí)別人臉圖像的不同，容易導(dǎo)致特征點(diǎn)數(shù)目的不確定性。且特征點(diǎn)沒有明顯的物理意義，從而增加了特征點(diǎn)匹配的難度。因此，本文采用基于回歸的局部二值特征方法進(jìn)行人臉的校準(zhǔn)，確定了與人臉幾何特征相關(guān)的特征點(diǎn)，如面部輪廓、眼睛、鼻子、嘴等附近?？紤]到人臉表情變化的區(qū)域主要集中在面部以及嘴部，因此對(duì)特征點(diǎn)進(jìn)行區(qū)域加權(quán)。用特征點(diǎn)鄰域內(nèi)的SIFT特征描述子[7]表征人臉并組成特征向量，用于人臉的識(shí)別。

1　基于回歸的LBF的人臉校準(zhǔn)

基于早期的Kass等提出的Snake模型[8]，1995年Cootes等人提出了主動(dòng)形狀模型[9]（Active Shape Model，ASM）。此后Cootes等人在ASM算法的基礎(chǔ)上提出了主動(dòng)表觀模型[10?11]（Active Appearance Model，AAM）的概念，與ASM不同的是AAM同時(shí)對(duì)形狀和紋理信息進(jìn)行分析。近年來(lái)基于回歸的方法[12?13]被人們廣泛關(guān)注，在此基礎(chǔ)上任少卿等人提出的基于回歸的局部二值特征（Local Binary Features，LBF）的人臉校準(zhǔn)算法[14]，在計(jì)算機(jī)以及手機(jī)上獲得良好的效果，受到了廣泛的關(guān)注。

人臉校準(zhǔn)是通過對(duì)初始特征點(diǎn)模型S0的逐步修正（每級(jí)的修正量為ΔSt）得到最終的模型。每級(jí)的模型增量為：其中：St-1為上一級(jí)的特征點(diǎn)模型；Φt是一個(gè)映射矩陣，實(shí)現(xiàn)由圖像I特征點(diǎn)模型到LBF的映射，Φt可以分解為一組獨(dú)立的映射函數(shù)集[,,…,]，k為對(duì)應(yīng)特征點(diǎn)的個(gè)數(shù)；Wt表示線性回歸矩陣，實(shí)現(xiàn)由LBF到特征點(diǎn)模型增量的映射。

1.1LBF映射矩陣Φt的學(xué)習(xí)

1.2線性回歸矩陣Wt的學(xué)習(xí)

由于二值特征的維數(shù)很高且稀疏，需要使用雙坐標(biāo)下降法[16]處理這一問題。式（3）中的λ表示了這一正則化過程。

通過上述訓(xùn)練方法得到了人臉校正的系統(tǒng)，對(duì)選定的人臉區(qū)域進(jìn)行校正，得到人臉校正的結(jié)果如圖1所示。

2　特征點(diǎn)鄰域的SIFT表征

2.1SIFT描述子的生成

通過上述算法對(duì)人臉的校正，得到了對(duì)應(yīng)人臉特征的特征點(diǎn)位置。在構(gòu)造描述子時(shí)，僅特征點(diǎn)單個(gè)像素作為研究對(duì)象沒有足夠的信息，因此引入SIFT描述子采集特征點(diǎn)鄰域內(nèi)的信息。由于加入子區(qū)域內(nèi)的統(tǒng)計(jì)特性，從而提高了對(duì)圖像局部變形的適應(yīng)能力。

圖1　人臉校正后的特征點(diǎn)位置

對(duì)以特征點(diǎn) Pk(x,y)為中心的16×16范圍內(nèi)鄰域（見圖2）計(jì)算圖像梯度的幅值與幅角，如式（4），式（5）所示。并將鄰域分成4×4個(gè)子區(qū)域，如圖3所示。

圖2　特征點(diǎn)P的16×16鄰域

圖3　特征點(diǎn)的子區(qū)域

為了強(qiáng)化中心區(qū)域的影響，同時(shí)淡化邊緣區(qū)域的影響，采用對(duì)幅值進(jìn)行高斯加權(quán)：

從而提高了算法對(duì)幾何變形的適應(yīng)性，δ設(shè)為經(jīng)驗(yàn)常數(shù)。

用直方圖統(tǒng)計(jì)鄰域像素的梯度方向權(quán)值，直方圖的范圍是0°~360°，其中每10°一個(gè)柱，總共36個(gè)柱。直方圖的峰值為該特征點(diǎn)處鄰域內(nèi)像素梯度的主方向，即作為該特征點(diǎn)的方向。

為了保持特征的旋轉(zhuǎn)不變性，將坐標(biāo)軸旋轉(zhuǎn)為特征點(diǎn)的主方向。旋轉(zhuǎn)后新的坐標(biāo)為：

對(duì)每個(gè)子區(qū)域分成8個(gè)方向，統(tǒng)計(jì)權(quán)值直方圖，16個(gè)子區(qū)域組成了128維特征向量。

再繼續(xù)將特征向量的長(zhǎng)度進(jìn)行歸一化：

則可以進(jìn)一步去除光照變化的影響。最終得到了能夠表征人臉特征的k×128維的特征向量。

把特征點(diǎn)按區(qū)域分為5個(gè)，眉毛，眼睛，嘴部，鼻子和面部，面部輪廓，對(duì)各個(gè)獨(dú)立子區(qū)域的置信度進(jìn)行統(tǒng)計(jì)，確定各個(gè)區(qū)域的權(quán)值比重。權(quán)值計(jì)算公式為：

2.2特征匹配算法

在得到特征向量后，需要對(duì)特征向量進(jìn)行相似性度量，本文選擇了快速的直方圖相交法，兩個(gè)直方圖的相似度表示為：

則兩幅人臉的相似度表示為：

3　實(shí)驗(yàn)結(jié)果及分析

實(shí)驗(yàn)環(huán)境：CPU主頻為1.80 GHz，雙核四線程；操作系統(tǒng)Windows 8.1；算法通過Visual Studio 2010以及OpenCV244庫(kù)實(shí)現(xiàn)。采用FERET人臉數(shù)據(jù)庫(kù)的人臉圖像進(jìn)行實(shí)驗(yàn)，圖像大小為 382×256，人臉大小在200×200以上。每個(gè)人包含不同角度及表情的12個(gè)樣本。選取300人作為訓(xùn)練樣本得到閾值，200人作為觀測(cè)樣本進(jìn)行識(shí)別率驗(yàn)證，同時(shí)通過隨機(jī)交叉驗(yàn)證，保證實(shí)驗(yàn)的客觀性。

首先，根據(jù)文中提到的方法，把特征點(diǎn)分成5個(gè)不同的區(qū)域。通過實(shí)驗(yàn)得到不同區(qū)域的置信度，表明不同區(qū)域?qū)θ四槄^(qū)分的貢獻(xiàn)情況，計(jì)算每個(gè)子區(qū)域應(yīng)占的權(quán)值比重，如表1所示。

表1　人臉子區(qū)域的編號(hào)與權(quán)值

使用相同的FERET人臉數(shù)據(jù)庫(kù)，在相同的實(shí)驗(yàn)環(huán)境下，選取了Gabor局部二值模式（LGBP）算法[17]、SIFT算法、AAM+SIFT算法進(jìn)行對(duì)比實(shí)驗(yàn)。如表2所示，相比于AAM+SIFT算法，本文采用的基于回歸的LBF的人臉校準(zhǔn)能夠?qū)μ卣鼽c(diǎn)進(jìn)行更加快速的定位，加快了特征提取的速度。相比于SIFT算法，由于本文算法只對(duì)對(duì)應(yīng)的特征點(diǎn)進(jìn)行對(duì)比，提高了匹配速度，從而提高了整體的識(shí)別速度。

表2　算法的耗時(shí)比較

由于通過人臉校準(zhǔn)定位特征點(diǎn)，可以消除平面內(nèi)人臉位移對(duì)識(shí)別率的影響。采用不同偏轉(zhuǎn)角度的人臉進(jìn)行實(shí)驗(yàn)，如表3所示，隨著角度變化的增大，人臉?biāo)惴ǖ淖R(shí)別率都有所降低。相比LGBP算法與SIFT算法，本文算法對(duì)垂直平面的角度旋轉(zhuǎn)也具有魯棒性。

表3　角度變化識(shí)別率比較　%

LGBP算法對(duì)人臉圖像進(jìn)行了多尺度方向的Gabor變換，然后再進(jìn)行LBP的特征提取，使算法具有了對(duì)表情變化的魯棒性。采用具有表情變化的人臉進(jìn)行實(shí)驗(yàn)，如表4所示，由于采用對(duì)不同子區(qū)域進(jìn)行加權(quán)，人臉的表情變化對(duì)本文算法的影響比LGBP算法小。

表4　表情變化識(shí)別率比較　%

4　結(jié)語(yǔ)

人臉的校準(zhǔn)工作定位了人臉幾何特征的位置，為之后的人臉識(shí)別提供更加精準(zhǔn)的人臉區(qū)域，對(duì)識(shí)別率的提高有著不可忽視的作用。人臉特征點(diǎn)定位算法的高效、快速，以及快速匹配算法的使用，提高了整體算法的識(shí)別速度。對(duì)特征點(diǎn)鄰域的梯度描述，提取出了足以能夠區(qū)分不同人臉的特征，通過對(duì)不同區(qū)域特征點(diǎn)的加權(quán)，提高了算法對(duì)姿態(tài)以及角度變化的魯棒性。由于遮擋等問題對(duì)局部人臉識(shí)別算法的影響較大，下一步的工作可以通過基于局部特征描述的本文算法和基于整體的人臉分類算法相融合，從而提高整體的識(shí)別率。

參考文獻(xiàn)

[1]吳巾一，周德龍.人臉識(shí)別方法綜述[J].計(jì)算機(jī)應(yīng)用研究，2009 （9）：3205?3209.

[2]HARRIS C.A combined corner and edge detector[C]//Procee?dings of the 4th Alvey Vision Conference.Manchester：[s.n.]，1988，3：147?151.

[3]BELHUMEUR P，HESPANHA P，KRIEGMAN D，et al.Re?cognition using class specific linear projection[C]//Procee?dings of 2006 Conference on Pattern Analysis and Machine In?telligence.[S.l.]：IEEE，1997：711?720.

[4]KADYROVA N O，PAVLOVA L V.Statistical analysis of big data：an approach based on support vector machines for classi?fication and regression problems[J].Biophysics，2014，59（3）：364?373.

[5]LOWE D G.Distinctive image features from scale?invariant key?points[J].International Journal of Computer Vision，2004，60 （2）：91?110.

[6]BICEGO M，LAGORIO A，GROSSO E，et al.On the use of SIFT features for face authentication[C]//Proceedings of 2006 Conference on Computer Vision and Pattern Recognition Work?shop.New York：IEEE，2006：35?41.

[7]王永明，王貴錦.圖像局部不變性特征與描述[M].北京：國(guó)防工業(yè)出版社，2010：130?135.

[8]KASS M，WITKIN A，TERZOPOULOS D.Snakes：active con?tour models[J].International Journal of Computer Vision，1988，1（4）：321?331.

[9]COOTES T F，TAYLOR C J，COOPER D H，et al.Active shape models?their training and application[J].Computer Vi?sion and Image Understanding，1995，61（1）：38?59.

[10]COOTES T F，EDWARDS G J，TAYLOR C J.Active appea?rance models[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2001，23（6）：681?688.

[11]CRISTINACCE D，COOTES T F.Feature detection and tra?cking with constrained local models[C]//Proceedings of the British Machine Vision Conference.Edinburgh：[s.n.]，2006，41：929?938.

[12]GOOL L V.Real?time facial feature detection using conditional regression forests[C]//Proceedings of 2012 IEEE Conference on Computer Vision and Pattern Recognition.Rhode Island：IEEE，2012：2578?2585.

[13]DOLLAR P，WELINDER P，PERONA P.Cascaded pose re?gression[C]//Proceedings of 2010 IEEE Conference on Com?puter Vision and Pattern Recognition.San Francisco：IEEE，2010：1078?1085.

[14]REN S，CAO X，WEI Y，et al.Face alignment at 3000 FPS via regressing local binary features[C]//Proceedings of 2010 IEEE Conference on Computer Vision and Pattern Recogni?tion.Columbus：IEEE，2014：1685?1692.

[15]CAO X D，WEI Y C，WEN F，et al.Face alignment by ex?plicit shape regression[C]//Proceedings of 2012 Conference on Computer Vision and Pattern Recognition.Rhode Island：IEEE，2012：2887?2894.

[16]FAN R E，CHANG K W，HSIEH C J，et al.LIBLINEAR：a library for large linear classification[J].Journal of Machine Learning Research，2008，9（12）：1871?1874.

[17]ZHANG Wenchao，SHAN Shiguang，GAO Wen，et al.Local Gabor binary pattern histogram sequence（LGBPHS）：a novel non?statistical model for face representation and recognition [C]//Proceedings of the Tenth IEEE International Conference on Computer Vision.[S.l.]：IEEE，2005，1：786?791.

陳云（1987—），女，碩士研究生。研究領(lǐng)域?yàn)閳D像處理、模式識(shí)別。

華繼釗（1968—），男，博士，副教授，研究生導(dǎo)師。研究方向?yàn)橛?jì)算機(jī)應(yīng)用、模式識(shí)別。

中圖分類號(hào)：TN911.73?34；TP391.4

文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1004?373X（2016）03?0023?04

doi：10.16652/j.issn.1004?373x.2016.03.006

收稿日期：2015?09?07

基金項(xiàng)目：國(guó)家自然科學(xué)基金項(xiàng)目（60875004）

作者簡(jiǎn)介：李文洋（1990—），男，碩士研究生。研究方向?yàn)閳D像處理、模式識(shí)別。

Face recognition based on SIFT descriptor in feature point neighbourhood

LI Wenyang，CHEN Yun，HUA Jizhao
（College of Information Engineering，Yangzhou University，Yangzhou 225127，China）

Abstract：The scale invariant feature transform（SIFT）in face recognition algorithm is one of the important descriptive ap?proaches of the face local features.In traditional SIFT method，because the coordinates of the feature points are determined ac?cording to the local extreme point of Gaussian difference space，which leads to difficult match of the feature point.The face is calibrated by local binary feature based on linear regression to determine the location of the feature point which is meaningful to the face.The face local feature is described by the invariant characteristic of SIFT feature descriptor，which can effectively im?prove the face recognition speed and recognition rate.The region weighing for feature point has certain robustness to the face pos?ture change and face angle deflection.

Keywords：local binary feature；linear regression；feature point；SIFT feature descriptor