基于多尺度Gabor特征的三維人臉識(shí)別方法

鄒紅艷 達(dá)飛鵬 王朝陽(yáng)

(1東南大學(xué)自動(dòng)化學(xué)院,南京210096)

(2南京林業(yè)大學(xué)機(jī)械電子工程學(xué)院,南京210037)

人臉是人類固有的、隨著生命的成長(zhǎng)持續(xù)穩(wěn)定的生物特征.近年來(lái),隨著三維數(shù)據(jù)采集技術(shù)的發(fā)展,基于三維人臉模型的識(shí)別技術(shù)得到迅速發(fā)展.三維形狀采集設(shè)備對(duì)光照變化的魯棒性和三維點(diǎn)云的對(duì)齊算法使三維人臉模型不受光照和姿態(tài)變化的影響,但是表情變化帶來(lái)的非剛性形變是目前三維人臉識(shí)別技術(shù)最大的挑戰(zhàn)之一[1-2].

三維人臉識(shí)別方法致力于提取具有身份表征性以及表情不變性的識(shí)別特征來(lái)保持類間差異并縮小類內(nèi)差異.受二維人臉識(shí)別方法啟發(fā),一些三維人臉識(shí)別方法將三維人臉模型映射至深度圖像或EGI(extended Gaussian image)圖像,然后利用二維人臉識(shí)別的方法實(shí)現(xiàn)三維人臉識(shí)別.Hesher等[3]在三維人臉模型的深度圖像上分別進(jìn)行PCA(principal component analysis)和ICA(independent component analysis)處理,然后用最近鄰分類器對(duì)相似度進(jìn)行分類.Srivastava等[4]將三維人臉的深度圖像映射至利用格拉斯曼流形(Grassmann manifold)的隨機(jī)最優(yōu)算法訓(xùn)練的子空間,再用最近鄰分類器或支持向量機(jī)進(jìn)行分類,得到了優(yōu)于PCA和ICA算法的識(shí)別結(jié)果.

Gabor變換是廣泛應(yīng)用于圖像處理、計(jì)算機(jī)視覺、模式識(shí)別等領(lǐng)域的圖像分析工具.Daugman[5]指出Gabor核函數(shù)的結(jié)構(gòu)特征與哺乳動(dòng)物視網(wǎng)膜細(xì)胞類似,能夠捕捉不同的空間頻率、空間位置以及方向性等局部結(jié)構(gòu)信息.Cook等[6]使用log-Gabor濾波器分解三維人臉模型的深度圖像和灰度圖像,然后用PCA方法將分解后的圖像特征降維,最后用Mahalinobis余弦距離計(jì)算相似度.Xu等[7]對(duì)三維人臉模型的深度圖像和灰度圖像進(jìn)行Gabor變換,然后用基于LDA以及AdaBoost學(xué)習(xí)方法的級(jí)聯(lián)分類器選擇具有表情不變性的Gabor響應(yīng)系數(shù).

幾何圖像(geometry image)不僅保留了點(diǎn)集的空間坐標(biāo)信息,同時(shí)包含了三維網(wǎng)格的拓?fù)湫畔?本文用多尺度Gabor變換將三維人臉的幾何圖像分解為不同尺度下包含不同頻率、不同方向人臉信息的Gabor響應(yīng),提取各尺度下的垂直低頻Gabor響應(yīng)作為三維人臉的Gabor特征,然后計(jì)算多尺度Gabor特征的相似度來(lái)識(shí)別人臉.大量的實(shí)驗(yàn)證明多尺度Gabor特征不僅很好地保持了三維人臉的類間差異,而且大大縮小了表情變化帶來(lái)的類內(nèi)差異,因此本文提取的特征具有較好的身份表征性.

1 三維人臉預(yù)處理與幾何圖像生成

本文實(shí)驗(yàn)中采用的FRGC (face recognition grand challenge) v2.0數(shù)據(jù)庫(kù)三維人臉模型是三維空間中8×104～13×104個(gè)點(diǎn)構(gòu)成的點(diǎn)云,其中每個(gè)點(diǎn)由x,y,z坐標(biāo)唯一表示.根據(jù)各點(diǎn)的形狀指數(shù)(shape index, SI)[8]以及幾何約束定位鼻尖點(diǎn),然后采用文獻(xiàn)[9]中的方法獲得人臉臉部區(qū)域并進(jìn)行姿態(tài)校正,使三維人臉在統(tǒng)一坐標(biāo)系下具有相同的正面姿態(tài)(見圖1(a)).對(duì)臉部區(qū)域的點(diǎn)云三角化并用基于網(wǎng)格的平滑算法去除噪聲,最后將受表情影響最大的嘴部區(qū)域切除,得到光滑的上半張人臉模型(見圖1(b)).

將預(yù)處理后的三維人臉模型映射至平面上的參數(shù)化網(wǎng)格.即把空間三維網(wǎng)格的邊界點(diǎn)均勻地映射到平面上一個(gè)128×128像素大小的正方形的四條邊上,把非邊界點(diǎn)映射到正方形內(nèi)部.空間三維網(wǎng)格的頂點(diǎn)記為v=(x,y,z),拉普拉斯矩陣L=D-A.其中,A為頂點(diǎn)的鄰接矩陣,A=(aij),當(dāng)點(diǎn)vi與點(diǎn)vj相連時(shí)aij為1,否則為0;D為對(duì)角矩陣,位置(i,i)的值為頂點(diǎn)vi的度.

圖1 預(yù)處理與幾何圖像生成

(1)

2 Gabor特征

2.1 Gabor變換

Gabor濾波器是高斯包絡(luò)函數(shù)約束的正弦曲線,其實(shí)質(zhì)是一組帶通濾波器，表達(dá)式如下:

(2)

式中,u=xcosθ+ysinθ,v=-xsinθ+ycosθ,θ為核函數(shù)的濾波方向;σu和σv分別為高斯包絡(luò)在u軸和v軸上的標(biāo)準(zhǔn)差,決定了二維Gabor濾波掩模的大小;ω為用于調(diào)制核函數(shù)的中心頻率.

用具有不同調(diào)制頻率、掩模尺寸以及濾波方向的Gabor濾波器對(duì)幾何圖像的x,y,z通道分別進(jìn)行卷積運(yùn)算,得到包含不同空間頻率、空間位置以及不同方向的局部結(jié)構(gòu)信息的Gabor響應(yīng)系數(shù).用5種不同中心頻率和4個(gè)濾波方向的Gabor濾波器組分解幾何圖像(以z通道為例),得到不同頻段、不同方向的Gabor響應(yīng)如圖2所示.

圖2 幾何圖像Gabor響應(yīng)

2.2 多尺度Gabor特征提取

Gabor濾波器的通帶中心頻率隨調(diào)制頻率ω的變化而變化,圖2中各列Gabor濾波器的中心頻率依次遞增,對(duì)幾何圖像進(jìn)行卷積運(yùn)算后得到Gabor響應(yīng)系數(shù).中心頻率較低的Gabor濾波器提取幾何圖像低頻段信息,對(duì)應(yīng)于空間中三維人臉的輪廓和邊緣等特征.中心頻率較高的Gabor濾波器提取幾何圖像高頻段信息,主要對(duì)應(yīng)于三維人臉的細(xì)微紋理等.由于細(xì)微紋理對(duì)噪聲和人臉表情較敏感而且有用信息量少,因此本文主要使用低頻Gabor響應(yīng)進(jìn)行三維人臉識(shí)別.

圖2中各行Gabor濾波器的濾波方向分別為0,π/4,π/2和3π/4,相應(yīng)的Gabor響應(yīng)為水平、主對(duì)角線、垂直和次對(duì)角線方向的Gabor響應(yīng).其中水平方向Gabor響應(yīng)體現(xiàn)人臉的眼睛等水平邊緣特征,主對(duì)角線和次對(duì)角線方向的Gabor響應(yīng)反映了人臉的對(duì)角線方向邊緣信息,垂直方向的Gabor響應(yīng)反映人臉的鼻子、輪廓等垂直邊緣特征.

人的眼睛在不同的表情下具有不同的形態(tài),因此表征眼睛特征的水平Gabor響應(yīng)不適合作為三維人臉的識(shí)別特征.此外,幾何圖像對(duì)角線方向邊緣信息受表情和姿勢(shì)影響較大,因此對(duì)角線方向的Gabor響應(yīng)同樣不適合作為三維人臉的識(shí)別特征.根據(jù)文獻(xiàn)[10],鼻子區(qū)域是人臉表面受表情影響最小的局部區(qū)域,而且人臉的外觀輪廓在各種表情下基本保持穩(wěn)定,因此幾何圖像的垂直Gabor響應(yīng)具有一定的表情不變性.

不同的人臉表情行為具有不同的尺度[11],例如驚訝的表情使面部區(qū)域大范圍地發(fā)生形變,需要在大尺度下對(duì)其進(jìn)行分析,而微笑的表情只對(duì)嘴部區(qū)域有明顯的影響,因此需要在小尺度下進(jìn)行分析.本文用3個(gè)不同尺度的Gabor濾波器提取幾何圖像的垂直低頻Gabor響應(yīng)作為人臉的Gabor特征.分別計(jì)算各尺度下Gabor特征的均方差MSE,并求和作為總相似度,最后用最近鄰分類器判別人臉身份。

3 實(shí)驗(yàn)與分析

由圣母諾特丹大學(xué)(University of Notre Dame)采集并建立的FRGC v2.0數(shù)據(jù)庫(kù)是目前應(yīng)用得較廣泛的三維人臉數(shù)據(jù)庫(kù).本文在FRGC v2.0數(shù)據(jù)庫(kù)中隨機(jī)選擇來(lái)自21個(gè)個(gè)體的200張人臉來(lái)進(jìn)行識(shí)別實(shí)驗(yàn)和認(rèn)證實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果分別用CMC (cumulative match characteristic)曲線和ROC (receiver operating characteristic)曲線表示.

3.1 低頻Gabor響應(yīng)的身份表征性

用調(diào)制頻率分別為0.01,0.02,0.03,0.05和0.08的Gabor濾波器對(duì)幾何圖像進(jìn)行卷積運(yùn)算,得到包含不同頻段人臉信息的Gabor響應(yīng).分別以各頻段垂直方向Gabor響應(yīng)作為人臉特征進(jìn)行識(shí)別和認(rèn)證實(shí)驗(yàn),得到的實(shí)驗(yàn)結(jié)果如表1所示.

表1 不同頻段Gabor響應(yīng)作為人臉特征的實(shí)驗(yàn)結(jié)果

由表1可看出,以高頻Gabor響應(yīng)(ω>0.03)作為識(shí)別特征的識(shí)別率與認(rèn)證率遠(yuǎn)低于以低頻Gabor響應(yīng)(ω≤0.03)為識(shí)別特征的實(shí)驗(yàn).說(shuō)明低頻Gabor響應(yīng)包含三維人臉的主要幾何信息,身份表征性較好.本文使用調(diào)制頻率分別為0.01,0.02和0.03的低頻Gabor濾波器組提取識(shí)別特征.

3.2 多尺度Gabor特征

利用濾波方向θ分別為0,π/4,π/2和3π/4的低頻Gabor濾波器組提取幾何圖像的水平方向、主對(duì)角線方向、垂直方向和次對(duì)角線方向的Gabor響應(yīng).以各個(gè)方向的低頻Gabor響應(yīng)作為人臉特征的實(shí)驗(yàn)結(jié)果如表2所示.

表2 不同方向低頻Gabor響應(yīng)作為人臉特征的實(shí)驗(yàn)結(jié)果

由表2可看出,主對(duì)角線和次對(duì)角線方向的Gabor響應(yīng)實(shí)驗(yàn)結(jié)果較差,說(shuō)明幾何圖像的主對(duì)角線方向和次對(duì)角線方向的邊緣信息受噪聲影響明顯,穩(wěn)定性差.水平方向?qū)嶒?yàn)結(jié)果稍好,說(shuō)明幾何圖像的水平邊緣信息具有一定的身份表征性,但是仍然受表情變化的影響.而以垂直方向的低頻Gabor響應(yīng)作為人臉特征則得到較高的識(shí)別率和認(rèn)證率,說(shuō)明垂直方向的低頻Gabor響應(yīng)具有較高的身份表征性以及表情不變性,可以選作三維人臉識(shí)別的Gabor特征.

為了克服不同表情帶來(lái)的不同尺度的非剛性形變,本文用大小分別為15×15,31×31和51×51的Gabor濾波掩模對(duì)幾何圖像進(jìn)行卷積運(yùn)算并提取各尺度下的Gabor特征.計(jì)算各尺度Gabor特征的MSE并相加作為人臉識(shí)別的相似度.以多尺度Gabor特征為識(shí)別特征的實(shí)驗(yàn)取得了98.81%的Rank-1識(shí)別率和95.3%的正確認(rèn)證率(FAR為0.1%),說(shuō)明多尺度Gabor特征具有較好的身份表征性.

3.3 嘴部區(qū)域?qū)θ四樧R(shí)別的干擾

嘴部區(qū)域是三維人臉區(qū)域受表情影響最大的子區(qū)域[10],不同表情下嘴部的姿態(tài)變化使三維人臉模型產(chǎn)生非剛性形變,嚴(yán)重影響識(shí)別算法的穩(wěn)定性.

在整張人臉區(qū)域和上半張人臉區(qū)域上分別提取多尺度Gabor特征并進(jìn)行識(shí)別實(shí)驗(yàn)和認(rèn)證實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果如圖3所示.使用整張人臉的實(shí)驗(yàn)得到92.8%的Rank-1識(shí)別率以及86.7%的正確認(rèn)證率,而去除嘴部區(qū)域后,使用上半張人臉的實(shí)驗(yàn)得到98.81%的Rank-1識(shí)別率以及95.3%的正確認(rèn)證率(FAR為0.1%).因此去除嘴部區(qū)域的干擾后,三維人臉識(shí)別方法的精度得到了明顯的提高.

3.4 與其他方法的比較

ICP剛性匹配方法是FRGC v2.0數(shù)據(jù)庫(kù)的基準(zhǔn)識(shí)別方法,圖4為本文方法與ICP方法的對(duì)比結(jié)果.由圖可見,ICP方法的Rank-1識(shí)別率為91.67%,本文方法的Rank-1識(shí)別率為98.81%.在FAR為0.1%時(shí),ICP方法的正確認(rèn)證率為90.4%,而本文方法的正確認(rèn)證率為95.3%.

圖3 CMC和ROC曲線

圖4 本文方法與ICP基準(zhǔn)方法的比較

Cook等在文獻(xiàn)[6]中將三維人臉深度圖像的147個(gè)log-Gabor響應(yīng)作為識(shí)別特征,得到了92.93%的Rank-1識(shí)別率和92.31%的正確認(rèn)證率.Xu等在文獻(xiàn)[7]中提取三維人臉模型的深度圖像和灰度圖像的Gabor響應(yīng)作為識(shí)別特征,取得的正確認(rèn)證率略高于本文方法,但是文獻(xiàn)[7]使用基于LDA以及AdaBoost學(xué)習(xí)方法的級(jí)聯(lián)分類器選擇Gabor特征,運(yùn)算效率低于本文方法.對(duì)比結(jié)果表明,相對(duì)于數(shù)據(jù)庫(kù)的基準(zhǔn)算法以及其他使用Gabor特征在FRGC v2.0數(shù)據(jù)庫(kù)中進(jìn)行實(shí)驗(yàn)的算法相比,本文提出的三維人臉識(shí)別方法的識(shí)別率有較明顯的提高.

3.5 運(yùn)行時(shí)間分析

在電腦配置為Core(TM)2 Duo 2.34 GHz CPU,4.0 GB內(nèi)存的計(jì)算機(jī)上,使用Matlab與C++混合編程.算法各步驟的運(yùn)算時(shí)間如表3所示,其中平滑和網(wǎng)格參數(shù)化過(guò)程中采用了MEX C++加速.

表3 算法各步驟運(yùn)算時(shí)間分析

從表3可看出,預(yù)處理過(guò)程占據(jù)了大部分運(yùn)算時(shí)間,特征提取和匹配用時(shí)較少.由于原始三維人臉數(shù)據(jù)點(diǎn)云在106數(shù)量級(jí),剪切平滑后的三角面片也在103數(shù)量級(jí),如此高的數(shù)量級(jí)使生成幾何圖像的過(guò)程耗費(fèi)較長(zhǎng)時(shí)間.但從總體來(lái)看,本文方法進(jìn)行一次三維人臉認(rèn)證所需要的時(shí)間在可接受的范圍內(nèi).

4 結(jié)語(yǔ)

本文提出了一種基于多尺度Gabor特征的三維人臉識(shí)別方法.首先將三維人臉模型的上半張人臉區(qū)域經(jīng)過(guò)平面參數(shù)化和線性插值映射至幾何圖像,利用多尺度Gabor變換將幾何圖像分解為不同尺度下包含不同頻率、不同方向人臉信息的Gabor響應(yīng).然后選用3個(gè)不同尺度下的垂直低頻Gabor響應(yīng)作為三維人臉Gabor特征.在FRGC v2.0數(shù)據(jù)庫(kù)中進(jìn)行的大量實(shí)驗(yàn)表明，本文提出的方法識(shí)別效果較好,提取的特征具有較好的身份表征性.

)

[1] Al-Osaimi F, Bennamoun M, Mian A. An expression deformation approach to non-rigid 3D face recognition[J].InternationalJournalofComputerVision, 2008,81(8):1346-1357.

[2] Wang Yueming, Liu Jiangzhuang, Tang Xiaoou. Robust 3D face recognition by local Shape difference boosting[J].IEEETransactionsonPatternAnalysisandMachineIntelligence, 2010,32(10): 1858-1870.

[3] Hesher C, Srivastava A, Erlebacher G. A novel technique for face recognition using range imaging[C]//ProceedingsoftheSymposiumonSignalProcessingandItsApplications. Paris, France, 2003:201-204.

[4] Srivastava A, Liu X, Hesher C. Face recognition using optimal linear components of range images[J].ImageandVisionComputing, 2006,24(3): 291-299.

[5] Daugman J. Complete discrete 2-D Gabor transforms by neural networks for image analysis and compression[J].IEEETransactionsonAcoustics,Speech,andSignalProcessing, 1988,36(7):1169-1179.

[6] Cook J A, Chandran V, Fookes C B. 3D face recognition using log-Gabor templates[C]//BritishMachineVisionConference. Edinborough, Scotland, 2006:1-10.

[7] Xu Chenghua, Li Stan, Tan Tieniu, et al. Automatic 3D face recognition from depth and intensity Gabor features[J].PatternRecognition, 2009,42(9):1895-1905.

[8] Dorai C, Jain A K. COSMOS—a representation scheme for 3D free-form objects [J].IEEETransactionsonPatternAnalysisandMachineIntelligence, 1997,19(10): 1115-1130.

[9] 鄒紅艷, 達(dá)飛鵬, 李曉莉.基于面部曲線特征融合的三維人臉識(shí)別[J].東南大學(xué)學(xué)報(bào)：自然科學(xué)版,2012,42(4):618-622.

Zou Hongyan, Da Feipeng, Li Xiaoli. 3D face recognition using compositional features from facial curves[J].JournalofSoutheastUniversity:NaturalScienceEdition, 2012,42(4):618-622.(in Chinese)

[10] Fltemier T, Bowyer K, Flynn P. Using a multi-instance enrollment representation to improve 3d face recognition[C]//FirstIEEEConferenceonBiometrics:Theory,Application,andSystem. Washington, DC, USA, 2007:1-6.

[11] 劉帥師,田彥濤,萬(wàn)川.基于Gabor多方向特征融合與分塊直方圖的人臉表情識(shí)別方法[J].自動(dòng)化學(xué)報(bào), 2011, 37(12):1455-1463.

Liu Shuaishi, Tian Yantao,Wan Chuan. Facial expression recognition method based on Gabor multi-orientation features fusion and block histogram[J].ActaAutomaticaSinica, 2011,37(12): 1455-1463.(in Chinese)