改進的SIFT特征人臉識別方法ADSIFT

林 哲,閆敬文

(1.汕頭職業(yè)技術(shù)學(xué)院計算機系,廣東 汕頭 515078;2.汕頭大學(xué)工學(xué)院電子工程系,廣東 汕頭 515063)

0 引言

人臉識別技術(shù)是指根據(jù)人臉圖像確定人物的身份的技術(shù),在視頻監(jiān)控、視頻會議、照片檢索、身份認證等多個領(lǐng)域有重要的應(yīng)用價值.但是,除了與物體識別[1]、手勢識別[2]等圖像識別問題一樣要面對光影、噪聲的影響之外,人臉識別還具有特殊的困難之處.首先,由于臉部肌肉的運動使臉部的彈性變化很大,有喜怒哀樂的表情,這些都會導(dǎo)致臉部形象發(fā)生變化,比如,笑的時候會瞇上眼睛或張大嘴巴,怒的時候會瞪大眼睛;其次,人臉是一個復(fù)雜的三維表面,五官等重要特征分布在人臉正面和兩側(cè),因此,不同的攝像角度和姿態(tài)會使人臉的透視效果產(chǎn)生很大差異;再次,發(fā)型,眼鏡、絡(luò)腮胡須等也都可能對臉部形象造成不同程度的改變;最后,遮擋、光照也是影響人臉識別的主要因素.

當(dāng)前,人臉識別的基本方法是從人臉圖像中提取出特征然后與已知人臉樣本的特征進行匹配.現(xiàn)有的研究基于不同特征提出了很多種人臉識別方法,例如2DPCA[3]、Local Probabilistic Subspace[4]、SOM face[5]、S2DPCA[6]、U2DDLPP[7]、KPCA+CNPE[8]、WV2PCA[9]、Radon變換[10]、拉普拉斯平滑變換[11]、AIC[12]等.

David G.Lowe[13]在2004年提出的SIFT(scale invariant feature transform)特征是一種能夠?qū)Τ叨瓤臻g、圖像縮放、旋轉(zhuǎn)等仿射變換保持不變的圖像局部特征,對噪聲也能夠保持一定程度的穩(wěn)定性.SIFT特征在物體識別[1]、手勢識別[2]、圖像匹配[14]、圖像拼接[15]、圖像檢索[16]、人臉識別[17,18]等領(lǐng)域都有成功應(yīng)用.

文獻[1]將SIFT特征用于從足球比賽圖像中識別出足球,先利用霍夫變換從圖像中檢測并分割出圓形物體,然后從每個被檢測出的圓形物體圖像中提取出SIFT特征集合,再與存儲足球圖像SIFT特征的數(shù)據(jù)庫進行匹配,從而判定是否為足球.文獻[2]將SIFT特征用于人機交互中的手勢識別,可以識別"六"、"手掌"、"拳頭"三種具體手勢.先從訓(xùn)練圖像中提取出SIFT特征,利用每個SIFT特征構(gòu)造一個弱分類器,再使用Adaboost選出一部分弱分類器聯(lián)合成強分類器,總共構(gòu)造了四個強分類器,一個用于識別圖像中是否有手勢,另外三個分別用于識別三種具體手勢.在每個強分類器中,計算每個被選出的弱分類器的SIFT特征與目標(biāo)圖像的歐氏距離,當(dāng)距離小于弱分類器閾值時,就將該弱分類器的權(quán)重累加,最后以權(quán)重累加值是否超過強分類器閾值作為最終分類依據(jù).

SIFT特征的主要缺點是計算復(fù)雜性高,而且每個SIFT特征向量長達128維.本文針對光照、表情、噪聲等因素容易造成誤識別的問題,將文獻[2]方法進行改進并用于人臉識別,提出一種改進的基于Adaboost和SIFT特征的ADSIFT人臉識別方法.實驗表明該方法在ORL人臉數(shù)據(jù)庫上可達到98%識別率,優(yōu)于文獻[6-9]的方法.

2 基于SIFT特征的人臉識別

文獻[17]利用SIFT特征向量來衡量人臉圖像的相似性.先從人臉圖像中分割出五官所在的六個子區(qū)域,把每個子區(qū)域圖像的相似度定義為SIFT特征向量的最大相似度,再綜合六個子區(qū)域的相似度得到總體相似度.但由于表情的影響,眼睛、嘴巴的形態(tài)會發(fā)生很大變化,容易造成該子區(qū)域的SIFT特征向量集合不穩(wěn)定而導(dǎo)致誤匹配;另一方面,由于角度的影響,某一側(cè)的眼睛或耳朵子區(qū)域也可能沒有出現(xiàn)在人臉圖像中,從而影響該方法的適用性.

文獻[18]也是從人臉圖像中分割出若干子區(qū)域,但不是根據(jù)五官所在位置進行自然劃分,而是通過K-means方法將人臉圖像所有SIFT特征向量進行聚類,據(jù)此將人臉圖像分割為若干子區(qū)域,而不再受到五官位置的約束,具有更好的靈活性.但由于這種子區(qū)域劃分方法是以SIFT特征向量這種局部特征為依據(jù),因而對表情、光照的變化非常敏感,使子區(qū)域的劃分結(jié)果有很大不確定性,容易造成不同臉部子區(qū)域的誤匹配.

每個人的臉部圖像都有一些與眾不同的特征,借助于SIFT特征的尺度不變性和旋轉(zhuǎn)不變性,從臉部圖像提取得到的SIFT特征向量可以在尺度、角度甚至表情有變化的情況下仍保持一定穩(wěn)定.但實際上從同一個人的不同臉部圖像提取得到的SIFT特征向量集合卻有很大差異,這是因為光照、噪聲、夸張表情等因素可能破壞某些重要的SIFT特征向量或者帶來額外的SIFT特征向量,這些SIFT特征向量是無法反映臉部特征的,讓所有SIFT特征向量都參與計算反而會對準(zhǔn)確衡量臉部圖像相似度造成干擾.因此,必須從人臉圖像的SIFT特征向量集合中選出那些最穩(wěn)定的SIFT特征向量作為衡量相似度的依據(jù).

2.1 SIFT特征

2.1.1 SIFT特征的提取

David G.Lowe提出的SIFT特征提取算法[13],先通過檢測尺度空間極值點構(gòu)造出不同尺度的高斯差分核與圖像卷積生成高斯差分尺度空間(DOG scale-space),如圖1所示;再在所有檢測點中選出那些在尺度空間和二維圖像空間同時取得極大值或極小值的檢測點作為關(guān)鍵點,計算出每個關(guān)鍵點梯度模值和梯度方向;最后,將坐標(biāo)軸旋轉(zhuǎn)為關(guān)鍵點的方向,然后以關(guān)鍵點為中心取16X16的窗口,分割為16個4X4的子窗口,在每個子窗口內(nèi)計算8個方向的梯度累加值,最后得到128個數(shù)據(jù),形成128維的SIFT特征向量.

圖1 在不同尺度下生成高斯差分尺度空間[13]

2.1.2 從人臉圖像提取SIFT特征向量

用SIFT算法,從每副人臉圖像提取得到SIFT特征向量集合,結(jié)果如圖2所示,其中每個SIFT特征向量用箭頭標(biāo)出,箭頭的起點和方向分別表示SIFT特征向量的位置和方向.

圖2 從人臉圖像提取得到SIFT特征向量

2.2構(gòu)造人臉圖像相似度函數(shù)的算法

對每個訓(xùn)練圖像m,SIFTm表示提取得到的SIFT特征向量集合,本文在文獻[2]方法的基礎(chǔ)上進行了改進,利用一種基于Adaboost的算法從SIFTm中選出子集,并為子集中每個SIFT特征向量分配閾值和權(quán)重,然后用于構(gòu)造相似度函數(shù).

Adaboost是一種優(yōu)秀的分類算法,其基本思想是利用多個弱分類器聯(lián)合形成強分類器,要求每個被選出的弱分類器必須至少優(yōu)于隨機猜測.Adaboost算法由循環(huán)構(gòu)成,每輪循環(huán)將根據(jù)正、反訓(xùn)練樣本及其權(quán)重,從弱分類器集合中選出一個最好的弱分類器,使之具有最小的錯誤率,然后重新調(diào)整正、反樣本的權(quán)重,增加那些被正確分類的訓(xùn)練樣本的權(quán)重,減少那些被錯誤分類的訓(xùn)練樣本的權(quán)重,使Adaboost算法在下一輪循環(huán)中更關(guān)注那些被錯誤分類的訓(xùn)練樣本.循環(huán)過程持續(xù)到選出足夠數(shù)量的弱分類器或者剩余弱分類器的錯誤率都大于0.5為止.最后得到的強分類器由那些被選出來的弱分類器的代數(shù)和組成.

為了構(gòu)造人臉圖像的相似度函數(shù),令

Q={(SIFT1,l1),(SIFT2,l2),…,(SIFTm,lm),},其中SIFTm表示訓(xùn)練圖像m的SIFT特征向量集合,lm表示訓(xùn)練圖像m的類別.Bm=(→p,θp,αp)→p∈SIFTm),其中 θp和 αp分別表示SIFT特征向量對應(yīng)的閾值和權(quán)重.

對訓(xùn)練圖像m,構(gòu)造相似度函數(shù)Sm(x)的算法如下所述:

(1)為每個樣本(SIFTu,lu)∈Q-({SIFTm,lm)}分配一個初始權(quán)重

(2)利用每個→p∈SIFTm并選擇閾值θp可定義一個分類器:

該分類器稱為弱分類器,它對所有(SIFTu,lu)∈Q-{(SIFTm,lm)}進行分類,錯誤率為:

調(diào)整 θp,使 hp,θp(x)的錯誤率最小,記 ep=min({ep,θpθp∈[0,1]})

(3)得到弱分類器集合{hp,θp(x)→p∈SIFTm}后,從中選出一個錯誤率最低的弱分類器,即選出ht,θt(x)滿足et=min({ep→p∈SIFTm}.若et≥0.5,說明當(dāng)前最好的弱分類器的效果并不優(yōu)于隨機猜測,因此不再挑選弱分類器,跳轉(zhuǎn)到第(5)步.若et<0.5,則令其中αt就是該弱分類器的權(quán)重.可以看出,錯誤率越低的弱分類器,其對應(yīng)的SIFT特征向量的區(qū)分能力越強,因而將得到更大的權(quán)重.

(4)根據(jù)最佳弱分類器的分類結(jié)果調(diào)整每個訓(xùn)練樣本的權(quán)重.被ht,θt(x)正確分類的樣本,調(diào)整其權(quán)重由于βt<1,相當(dāng)于增加了被ht,θt(x)錯誤分類的樣本的權(quán)重.

(5)標(biāo)準(zhǔn)化權(quán)重集合{w},使之成為概率分布.

重復(fù)上述第(2)-(5)步,直至選出盡快多弱分類器.

(6)利用被選出的弱分類器構(gòu)造相似度函數(shù).

首先,兩個SIFT特征向量→p和→q的相似度定義為它們的內(nèi)積:

接下來,利用弱分類器所對應(yīng)的SIFT特征向量和閾值、權(quán)重來構(gòu)造訓(xùn)練圖像m的相似度函數(shù):

而SIFT特征向量→p與SIFT特征向量集合Λ的相似度定義為:

可以看出,與文獻[2]方法不同的是,本文并非直接利用弱分類器的代數(shù)和作為強分類器,而是利用弱分類器所對應(yīng)的SIFT特征向量和閾值、權(quán)重來構(gòu)造相似度函數(shù),每個相似度函數(shù)將用于衡量特定訓(xùn)練圖像的SIFT特征向量集與目標(biāo)圖像SIFT特征向量集的相似度.

上述算法用偽代碼描述如下:

對每個→p∈SIFTm,選擇最佳閾值θp構(gòu)造弱分類器hp,θp(x),使其對所有(SIFTu,lu)∈Q-

根據(jù)公式(5),由Bm構(gòu)造人臉圖像的相似度函數(shù)Sm(x)

2.3 使用相似度函數(shù)識別目標(biāo)圖像的算法

構(gòu)造出每個訓(xùn)練圖像的相似度函數(shù)之后,就可以分別計算目標(biāo)圖像x與每個訓(xùn)練圖像的相似度,相似度越高說明兩張人臉圖像屬于同一個人的概率越大,從而求出目標(biāo)圖像x與每個類的訓(xùn)練圖像的平均相似度,則目標(biāo)圖像應(yīng)屬于平均相似度最高的類.上述算法用偽代碼描述如下:

3 仿真實驗與討論

3.1 實驗結(jié)果

為了測試ADSIFT方法的識別效果,在Matlab7.0中實現(xiàn)了算法A1和A2,并在ORL人臉庫上進行識別實驗.ORL人臉庫中包含40個不同身份的人,每個人有10張圖像,表情、轉(zhuǎn)角有變化,如圖3所示.

圖3 ORL人臉庫

每次實驗過程分為四個階段:

(1)利用David G.Lowe[13]提供的SIFT算法從每個圖像提取出SIFT特征向量集合.

(2)用算法A1對訓(xùn)練圖像進行學(xué)習(xí),得到的學(xué)習(xí)結(jié)果記錄了從每個訓(xùn)練圖像的SIFT特征向量集合選出來的SIFT特征向量及其對應(yīng)的閾值和權(quán)重.

(3)用算法A2對每個測試圖像進行識別.

(4)統(tǒng)計識別率.識別率的定義如下:

實驗結(jié)果如表1所示,可見識別率高達98%.

表1 ORL人臉庫識別率

將ADSIFT方法的識別率與文獻[6-9]提出的方法對比,如表2所示,可見ADSIFT方法的識別率優(yōu)于文獻[6-9]的方法,

表2 ORL人臉庫識別率對比

3.2討論

實驗結(jié)果證明了ADSIFT方法的有效性,該方法具有很高的識別率,其原因主要有兩個方面.首先,SIFT特征本身具有良好的尺度不變性和旋轉(zhuǎn)不變性,因此,當(dāng)人臉圖像在尺度、角度方面發(fā)生變化時,SIFT特征能保持穩(wěn)定,為準(zhǔn)確識別提供了重要條件,解決了尺度變化、角度變化這兩個影響識別率的因素.其次,SIFT特征是一種局部特征,提取的是人臉局部區(qū)域的特點,因此,當(dāng)人臉有局部遮擋時(如戴眼鏡、帽子等),未被遮擋區(qū)域的SIFT特征完全不受遮擋的影響,從而解決了遮擋這個影響識別率的因素;而當(dāng)人臉表情發(fā)生變化時,人臉因受到表情肌肉的拉動而發(fā)生一定的彈性變化,但主要集中在表情肌肉豐富的眼睛周圍、嘴巴周圍和兩邊臉頰等區(qū)域,其他一些區(qū)域(如額頭、眼睛內(nèi)部、鼻子、耳朵等)并不會有明顯變化,其局部特征也會保持相對穩(wěn)定.此時,算法A1發(fā)揮了挑選穩(wěn)定特征的重要作用,從人臉圖像中收集穩(wěn)定特征并根據(jù)其穩(wěn)定程度分別精確賦予權(quán)重,能更好地解決表情這個影響識別率的因素.

事實上,如果考慮文獻[18]中劃分人臉子區(qū)域時的一種特殊情況,將每個SIFT特征向量的位置作為初始聚類中心,則人臉圖像將被劃分為n個子區(qū)域(n等于SIFT特征向量的數(shù)量),每個子區(qū)域中包含1個SIFT特征向量.同時將文獻 [18]定義的局部相

似度計算公式SL(It,Ir)視為圖像Ir的函數(shù)FIt(Ir).容易看出,此時FIt(Ir)就是本文公式(3)定義的相似度函數(shù)SIt(Ir).

因此,本文的算法A1實際上是將訓(xùn)練圖像劃分成更多子區(qū)域,使每個子區(qū)域只包含一個SIFT特征向量,然后再從子區(qū)域集合中剔除那些與同類圖像相似度過低的子區(qū)域,只保留那些與同類圖像的相似度大于或等于閾值的子區(qū)域來構(gòu)造相似度函數(shù),這與文獻[18]在計算局部子區(qū)域相似度時采用閾值是一致的.

比文獻[18]更進一步的是,在本文中每個子區(qū)域都通過算法A1分別得到一個獨立的精確閾值,而不是統(tǒng)一采用0.7作為閾值,因此更能抓住每個具體訓(xùn)練圖像的獨特之處快速進行相似度比較,既降低了計算復(fù)雜度,又增強了魯棒性.

4 結(jié)論和展望

本文將Adaboost算法與SIFT算子結(jié)合起來用于人臉識別,提出一種改進的SIFT特征人臉識別方法.先利用一種基于Adaboost的算法選出每個訓(xùn)練圖像中最有區(qū)分能力的SIFT特征向量并確定其閾值和權(quán)重,然后構(gòu)造出每個訓(xùn)練圖像的相似度函數(shù)并據(jù)此計算目標(biāo)圖像的類別.實驗證明該方法能夠有效提高人臉識別率,在ORL人臉數(shù)據(jù)庫上識別率可達到98%.

但是,由于ADSIFT方法是基于訓(xùn)練圖像與測試圖像的相似性來識別,因此,識別效果不可避免地受到訓(xùn)練圖像多樣性的影響,如何選擇訓(xùn)練圖像才能有效提高識別效果將是進一步要研究的問題.

[1]Leo M T.Orazio D,Spagnolo P,et al.SIFT based ball recognition in soccer images[J].Image and Signal Processing.2008,5099:263-272.

[2]Wang C C,Wang K C. Hand posture recognition using adaboost with SIFT for human robot interaction[J].Lecture Notes in Control and Information Sciences,2008,370:317-329.

[3]Yang J,Zhang D,Frangi A.F,et al.Two-dimensional PCA:A new approach to appearancebased face representation and recognition[J]. IEEE Trans.on Pattern Analysis and Machine Intelligence,2004,26(1):131-137.

[4]Martinez A M.Recognizing imprecisely localized,partially occluded,and expression variant faces from a single sample per class[J].IEEE Trans.on Pattern Analysis and Machine Intelligence 2002,25(6):748-763.

[5]Tan X Y,Chen S C,Zhou Z H.et al.Recognizing partially occluded,expression variant faces from single training image per person with SOM and soft kNN ensemble[J].IEEE Transactions on Neural Networks,2005,16(4):875-886.

[6]曾岳,馮大政.一種基于人臉垂直對稱性的變形2DPCA算法[J].計算機工程與科學(xué),2011,33(7):74-79.

[7]曹孝斌,廖海斌,李原.面向酉子空間的二維判別保局投影的人臉識別[J].計算機應(yīng)用研究,2011,28(9):3569-3571,3575.

[8]盧桂馥,林忠,金忠.基于核化圖嵌入的最佳鑒別分析與人臉識別[J].軟件學(xué)報,2011,22(7):1561-1570.

[9]曾岳,馮大政.一種基于加權(quán)變形的2DPCA的人臉特征提取方法[J].電子與信息學(xué)報,2011,33(4):769-774.

[10]Jamal A D,Ali C,Ervin M,et al.Radon transform for face recognition[J].Artificial Life and Robotics.2010,15(3):359-362.

[11]Yu W W.Face recognition via adaptive image combination[J].Journal of Shanghai Jiaotong University(Science),2010,15(5):600-603.

[12]Gu S C,Tan Y,He X G.Laplacian smoothing transform for face recognition[J]. Science Chine Information Sciences,2010,53(12):2415-2428.

[13]Lowe D G.Distince image features from scale-invariant keypoints[J].1nternational Journal of Computer Vision,2004,60(2):91-110.

[14]原思聰,劉金頌,張慶陽,等.雙目立體視覺中的圖像匹配方法研究[J].計算機工程與應(yīng)用.2008,44(08):75-77.

[15]何敬,李永樹,魯恒,等.基于SIFT特征點的無人機影像拼接方法研究[J].光電工程,2011,38(2):122-126.

[16]吳銳航,李紹滋,鄒豐美.基于SIFT特征的圖像檢索[J].計算機應(yīng)用研究,2008,25(02):478-481.

[17]周志銘,余松煜,張瑞,等.一種基于SIFT算子的人臉識別方法[J].中國圖象圖形學(xué)報,2008,13(10):1882-1885.

[18]羅佳,實躍祥,段德友.基于SIFT特征的人臉識別方法[J].計算機工程,2010,36(13):173-174.