基于多尺度Gabor特征的三維人臉識別方法

鄒紅艷 達飛鵬 王朝陽

(1東南大學(xué)自動化學(xué)院,南京210096)

(2南京林業(yè)大學(xué)機械電子工程學(xué)院,南京210037)

人臉是人類固有的、隨著生命的成長持續(xù)穩(wěn)定的生物特征.近年來,隨著三維數(shù)據(jù)采集技術(shù)的發(fā)展,基于三維人臉模型的識別技術(shù)得到迅速發(fā)展.三維形狀采集設(shè)備對光照變化的魯棒性和三維點云的對齊算法使三維人臉模型不受光照和姿態(tài)變化的影響,但是表情變化帶來的非剛性形變是目前三維人臉識別技術(shù)最大的挑戰(zhàn)之一[1-2].

三維人臉識別方法致力于提取具有身份表征性以及表情不變性的識別特征來保持類間差異并縮小類內(nèi)差異.受二維人臉識別方法啟發(fā),一些三維人臉識別方法將三維人臉模型映射至深度圖像或EGI(extended Gaussian image)圖像,然后利用二維人臉識別的方法實現(xiàn)三維人臉識別.Hesher等[3]在三維人臉模型的深度圖像上分別進行PCA(principal component analysis)和ICA(independent component analysis)處理,然后用最近鄰分類器對相似度進行分類.Srivastava等[4]將三維人臉的深度圖像映射至利用格拉斯曼流形(Grassmann manifold)的隨機最優(yōu)算法訓(xùn)練的子空間,再用最近鄰分類器或支持向量機進行分類,得到了優(yōu)于PCA和ICA算法的識別結(jié)果.

Gabor變換是廣泛應(yīng)用于圖像處理、計算機視覺、模式識別等領(lǐng)域的圖像分析工具.Daugman[5]指出Gabor核函數(shù)的結(jié)構(gòu)特征與哺乳動物視網(wǎng)膜細(xì)胞類似,能夠捕捉不同的空間頻率、空間位置以及方向性等局部結(jié)構(gòu)信息.Cook等[6]使用log-Gabor濾波器分解三維人臉模型的深度圖像和灰度圖像,然后用PCA方法將分解后的圖像特征降維,最后用Mahalinobis余弦距離計算相似度.Xu等[7]對三維人臉模型的深度圖像和灰度圖像進行Gabor變換,然后用基于LDA以及AdaBoost學(xué)習(xí)方法的級聯(lián)分類器選擇具有表情不變性的Gabor響應(yīng)系數(shù).

幾何圖像(geometry image)不僅保留了點集的空間坐標(biāo)信息,同時包含了三維網(wǎng)格的拓?fù)湫畔?本文用多尺度Gabor變換將三維人臉的幾何圖像分解為不同尺度下包含不同頻率、不同方向人臉信息的Gabor響應(yīng),提取各尺度下的垂直低頻Gabor響應(yīng)作為三維人臉的Gabor特征,然后計算多尺度Gabor特征的相似度來識別人臉.大量的實驗證明多尺度Gabor特征不僅很好地保持了三維人臉的類間差異,而且大大縮小了表情變化帶來的類內(nèi)差異,因此本文提取的特征具有較好的身份表征性.

1 三維人臉預(yù)處理與幾何圖像生成

本文實驗中采用的FRGC (face recognition grand challenge) v2.0數(shù)據(jù)庫三維人臉模型是三維空間中8×104～13×104個點構(gòu)成的點云,其中每個點由x,y,z坐標(biāo)唯一表示.根據(jù)各點的形狀指數(shù)(shape index, SI)[8]以及幾何約束定位鼻尖點,然后采用文獻[9]中的方法獲得人臉臉部區(qū)域并進行姿態(tài)校正,使三維人臉在統(tǒng)一坐標(biāo)系下具有相同的正面姿態(tài)(見圖1(a)).對臉部區(qū)域的點云三角化并用基于網(wǎng)格的平滑算法去除噪聲,最后將受表情影響最大的嘴部區(qū)域切除,得到光滑的上半張人臉模型(見圖1(b)).

將預(yù)處理后的三維人臉模型映射至平面上的參數(shù)化網(wǎng)格.即把空間三維網(wǎng)格的邊界點均勻地映射到平面上一個128×128像素大小的正方形的四條邊上,把非邊界點映射到正方形內(nèi)部.空間三維網(wǎng)格的頂點記為v=(x,y,z),拉普拉斯矩陣L=D-A.其中,A為頂點的鄰接矩陣,A=(aij),當(dāng)點vi與點vj相連時aij為1,否則為0;D為對角矩陣,位置(i,i)的值為頂點vi的度.

圖1 預(yù)處理與幾何圖像生成

(1)

2 Gabor特征

2.1 Gabor變換

Gabor濾波器是高斯包絡(luò)函數(shù)約束的正弦曲線,其實質(zhì)是一組帶通濾波器，表達式如下:

(2)

式中,u=xcosθ+ysinθ,v=-xsinθ+ycosθ,θ為核函數(shù)的濾波方向;σu和σv分別為高斯包絡(luò)在u軸和v軸上的標(biāo)準(zhǔn)差,決定了二維Gabor濾波掩模的大小;ω為用于調(diào)制核函數(shù)的中心頻率.

用具有不同調(diào)制頻率、掩模尺寸以及濾波方向的Gabor濾波器對幾何圖像的x,y,z通道分別進行卷積運算,得到包含不同空間頻率、空間位置以及不同方向的局部結(jié)構(gòu)信息的Gabor響應(yīng)系數(shù).用5種不同中心頻率和4個濾波方向的Gabor濾波器組分解幾何圖像(以z通道為例),得到不同頻段、不同方向的Gabor響應(yīng)如圖2所示.

圖2 幾何圖像Gabor響應(yīng)

2.2 多尺度Gabor特征提取

Gabor濾波器的通帶中心頻率隨調(diào)制頻率ω的變化而變化,圖2中各列Gabor濾波器的中心頻率依次遞增,對幾何圖像進行卷積運算后得到Gabor響應(yīng)系數(shù).中心頻率較低的Gabor濾波器提取幾何圖像低頻段信息,對應(yīng)于空間中三維人臉的輪廓和邊緣等特征.中心頻率較高的Gabor濾波器提取幾何圖像高頻段信息,主要對應(yīng)于三維人臉的細(xì)微紋理等.由于細(xì)微紋理對噪聲和人臉表情較敏感而且有用信息量少,因此本文主要使用低頻Gabor響應(yīng)進行三維人臉識別.

圖2中各行Gabor濾波器的濾波方向分別為0,π/4,π/2和3π/4,相應(yīng)的Gabor響應(yīng)為水平、主對角線、垂直和次對角線方向的Gabor響應(yīng).其中水平方向Gabor響應(yīng)體現(xiàn)人臉的眼睛等水平邊緣特征,主對角線和次對角線方向的Gabor響應(yīng)反映了人臉的對角線方向邊緣信息,垂直方向的Gabor響應(yīng)反映人臉的鼻子、輪廓等垂直邊緣特征.

人的眼睛在不同的表情下具有不同的形態(tài),因此表征眼睛特征的水平Gabor響應(yīng)不適合作為三維人臉的識別特征.此外,幾何圖像對角線方向邊緣信息受表情和姿勢影響較大,因此對角線方向的Gabor響應(yīng)同樣不適合作為三維人臉的識別特征.根據(jù)文獻[10],鼻子區(qū)域是人臉表面受表情影響最小的局部區(qū)域,而且人臉的外觀輪廓在各種表情下基本保持穩(wěn)定,因此幾何圖像的垂直Gabor響應(yīng)具有一定的表情不變性.

不同的人臉表情行為具有不同的尺度[11],例如驚訝的表情使面部區(qū)域大范圍地發(fā)生形變,需要在大尺度下對其進行分析,而微笑的表情只對嘴部區(qū)域有明顯的影響,因此需要在小尺度下進行分析.本文用3個不同尺度的Gabor濾波器提取幾何圖像的垂直低頻Gabor響應(yīng)作為人臉的Gabor特征.分別計算各尺度下Gabor特征的均方差MSE,并求和作為總相似度,最后用最近鄰分類器判別人臉身份。

3 實驗與分析

由圣母諾特丹大學(xué)(University of Notre Dame)采集并建立的FRGC v2.0數(shù)據(jù)庫是目前應(yīng)用得較廣泛的三維人臉數(shù)據(jù)庫.本文在FRGC v2.0數(shù)據(jù)庫中隨機選擇來自21個個體的200張人臉來進行識別實驗和認(rèn)證實驗,實驗結(jié)果分別用CMC (cumulative match characteristic)曲線和ROC (receiver operating characteristic)曲線表示.

3.1 低頻Gabor響應(yīng)的身份表征性

用調(diào)制頻率分別為0.01,0.02,0.03,0.05和0.08的Gabor濾波器對幾何圖像進行卷積運算,得到包含不同頻段人臉信息的Gabor響應(yīng).分別以各頻段垂直方向Gabor響應(yīng)作為人臉特征進行識別和認(rèn)證實驗,得到的實驗結(jié)果如表1所示.

表1 不同頻段Gabor響應(yīng)作為人臉特征的實驗結(jié)果

由表1可看出,以高頻Gabor響應(yīng)(ω>0.03)作為識別特征的識別率與認(rèn)證率遠(yuǎn)低于以低頻Gabor響應(yīng)(ω≤0.03)為識別特征的實驗.說明低頻Gabor響應(yīng)包含三維人臉的主要幾何信息,身份表征性較好.本文使用調(diào)制頻率分別為0.01,0.02和0.03的低頻Gabor濾波器組提取識別特征.

3.2 多尺度Gabor特征

利用濾波方向θ分別為0,π/4,π/2和3π/4的低頻Gabor濾波器組提取幾何圖像的水平方向、主對角線方向、垂直方向和次對角線方向的Gabor響應(yīng).以各個方向的低頻Gabor響應(yīng)作為人臉特征的實驗結(jié)果如表2所示.

表2 不同方向低頻Gabor響應(yīng)作為人臉特征的實驗結(jié)果

由表2可看出,主對角線和次對角線方向的Gabor響應(yīng)實驗結(jié)果較差,說明幾何圖像的主對角線方向和次對角線方向的邊緣信息受噪聲影響明顯,穩(wěn)定性差.水平方向?qū)嶒灲Y(jié)果稍好,說明幾何圖像的水平邊緣信息具有一定的身份表征性,但是仍然受表情變化的影響.而以垂直方向的低頻Gabor響應(yīng)作為人臉特征則得到較高的識別率和認(rèn)證率,說明垂直方向的低頻Gabor響應(yīng)具有較高的身份表征性以及表情不變性,可以選作三維人臉識別的Gabor特征.

為了克服不同表情帶來的不同尺度的非剛性形變,本文用大小分別為15×15,31×31和51×51的Gabor濾波掩模對幾何圖像進行卷積運算并提取各尺度下的Gabor特征.計算各尺度Gabor特征的MSE并相加作為人臉識別的相似度.以多尺度Gabor特征為識別特征的實驗取得了98.81%的Rank-1識別率和95.3%的正確認(rèn)證率(FAR為0.1%),說明多尺度Gabor特征具有較好的身份表征性.

3.3 嘴部區(qū)域?qū)θ四樧R別的干擾

嘴部區(qū)域是三維人臉區(qū)域受表情影響最大的子區(qū)域[10],不同表情下嘴部的姿態(tài)變化使三維人臉模型產(chǎn)生非剛性形變,嚴(yán)重影響識別算法的穩(wěn)定性.

在整張人臉區(qū)域和上半張人臉區(qū)域上分別提取多尺度Gabor特征并進行識別實驗和認(rèn)證實驗,實驗結(jié)果如圖3所示.使用整張人臉的實驗得到92.8%的Rank-1識別率以及86.7%的正確認(rèn)證率,而去除嘴部區(qū)域后,使用上半張人臉的實驗得到98.81%的Rank-1識別率以及95.3%的正確認(rèn)證率(FAR為0.1%).因此去除嘴部區(qū)域的干擾后,三維人臉識別方法的精度得到了明顯的提高.

3.4 與其他方法的比較

ICP剛性匹配方法是FRGC v2.0數(shù)據(jù)庫的基準(zhǔn)識別方法,圖4為本文方法與ICP方法的對比結(jié)果.由圖可見,ICP方法的Rank-1識別率為91.67%,本文方法的Rank-1識別率為98.81%.在FAR為0.1%時,ICP方法的正確認(rèn)證率為90.4%,而本文方法的正確認(rèn)證率為95.3%.

圖3 CMC和ROC曲線

圖4 本文方法與ICP基準(zhǔn)方法的比較

Cook等在文獻[6]中將三維人臉深度圖像的147個log-Gabor響應(yīng)作為識別特征,得到了92.93%的Rank-1識別率和92.31%的正確認(rèn)證率.Xu等在文獻[7]中提取三維人臉模型的深度圖像和灰度圖像的Gabor響應(yīng)作為識別特征,取得的正確認(rèn)證率略高于本文方法,但是文獻[7]使用基于LDA以及AdaBoost學(xué)習(xí)方法的級聯(lián)分類器選擇Gabor特征,運算效率低于本文方法.對比結(jié)果表明,相對于數(shù)據(jù)庫的基準(zhǔn)算法以及其他使用Gabor特征在FRGC v2.0數(shù)據(jù)庫中進行實驗的算法相比,本文提出的三維人臉識別方法的識別率有較明顯的提高.

3.5 運行時間分析

在電腦配置為Core(TM)2 Duo 2.34 GHz CPU,4.0 GB內(nèi)存的計算機上,使用Matlab與C++混合編程.算法各步驟的運算時間如表3所示,其中平滑和網(wǎng)格參數(shù)化過程中采用了MEX C++加速.

表3 算法各步驟運算時間分析

從表3可看出,預(yù)處理過程占據(jù)了大部分運算時間,特征提取和匹配用時較少.由于原始三維人臉數(shù)據(jù)點云在106數(shù)量級,剪切平滑后的三角面片也在103數(shù)量級,如此高的數(shù)量級使生成幾何圖像的過程耗費較長時間.但從總體來看,本文方法進行一次三維人臉認(rèn)證所需要的時間在可接受的范圍內(nèi).

4 結(jié)語

本文提出了一種基于多尺度Gabor特征的三維人臉識別方法.首先將三維人臉模型的上半張人臉區(qū)域經(jīng)過平面參數(shù)化和線性插值映射至幾何圖像,利用多尺度Gabor變換將幾何圖像分解為不同尺度下包含不同頻率、不同方向人臉信息的Gabor響應(yīng).然后選用3個不同尺度下的垂直低頻Gabor響應(yīng)作為三維人臉Gabor特征.在FRGC v2.0數(shù)據(jù)庫中進行的大量實驗表明，本文提出的方法識別效果較好,提取的特征具有較好的身份表征性.

)

[1] Al-Osaimi F, Bennamoun M, Mian A. An expression deformation approach to non-rigid 3D face recognition[J].InternationalJournalofComputerVision, 2008,81(8):1346-1357.

[2] Wang Yueming, Liu Jiangzhuang, Tang Xiaoou. Robust 3D face recognition by local Shape difference boosting[J].IEEETransactionsonPatternAnalysisandMachineIntelligence, 2010,32(10): 1858-1870.

[3] Hesher C, Srivastava A, Erlebacher G. A novel technique for face recognition using range imaging[C]//ProceedingsoftheSymposiumonSignalProcessingandItsApplications. Paris, France, 2003:201-204.

[4] Srivastava A, Liu X, Hesher C. Face recognition using optimal linear components of range images[J].ImageandVisionComputing, 2006,24(3): 291-299.

[5] Daugman J. Complete discrete 2-D Gabor transforms by neural networks for image analysis and compression[J].IEEETransactionsonAcoustics,Speech,andSignalProcessing, 1988,36(7):1169-1179.

[6] Cook J A, Chandran V, Fookes C B. 3D face recognition using log-Gabor templates[C]//BritishMachineVisionConference. Edinborough, Scotland, 2006:1-10.

[7] Xu Chenghua, Li Stan, Tan Tieniu, et al. Automatic 3D face recognition from depth and intensity Gabor features[J].PatternRecognition, 2009,42(9):1895-1905.

[8] Dorai C, Jain A K. COSMOS—a representation scheme for 3D free-form objects [J].IEEETransactionsonPatternAnalysisandMachineIntelligence, 1997,19(10): 1115-1130.

[9] 鄒紅艷, 達飛鵬, 李曉莉.基于面部曲線特征融合的三維人臉識別[J].東南大學(xué)學(xué)報：自然科學(xué)版,2012,42(4):618-622.

Zou Hongyan, Da Feipeng, Li Xiaoli. 3D face recognition using compositional features from facial curves[J].JournalofSoutheastUniversity:NaturalScienceEdition, 2012,42(4):618-622.(in Chinese)

[10] Fltemier T, Bowyer K, Flynn P. Using a multi-instance enrollment representation to improve 3d face recognition[C]//FirstIEEEConferenceonBiometrics:Theory,Application,andSystem. Washington, DC, USA, 2007:1-6.

[11] 劉帥師,田彥濤,萬川.基于Gabor多方向特征融合與分塊直方圖的人臉表情識別方法[J].自動化學(xué)報, 2011, 37(12):1455-1463.

Liu Shuaishi, Tian Yantao,Wan Chuan. Facial expression recognition method based on Gabor multi-orientation features fusion and block histogram[J].ActaAutomaticaSinica, 2011,37(12): 1455-1463.(in Chinese)