三維人臉建模及在跨姿態(tài)人臉匹配中的有效性驗證

李昕昕，龔 勛

(1.四川大學(xué)錦城學(xué)院 計算機科學(xué)與軟件工程系，成都 611731； 2.西南交通大學(xué) 信息科學(xué)與技術(shù)學(xué)院，成都 610031)

(*通信作者電子郵箱gongxun@foxmail.com)

三維人臉建模及在跨姿態(tài)人臉匹配中的有效性驗證

李昕昕1，龔 勛2*

(1.四川大學(xué)錦城學(xué)院 計算機科學(xué)與軟件工程系，成都 611731； 2.西南交通大學(xué) 信息科學(xué)與技術(shù)學(xué)院，成都 610031)

(*通信作者電子郵箱gongxun@foxmail.com)

針對現(xiàn)有三維人臉采集技術(shù)對采集場景存在諸多限制，提出了自由場景下基于多張圖像的三維人臉建模技術(shù)，并對其進(jìn)行了有效性驗證。首先，提出一個姿態(tài)及深度值迭代計算模型，實現(xiàn)了特征點深度值的準(zhǔn)確估計；然后，進(jìn)行了基于多張圖像的深度值融合及整體形狀建模；最后，將深度迭代優(yōu)化算法(IPDO)與目前最優(yōu)的非線性最小二乘法(NLS1_SR)在Bosphorus Database數(shù)據(jù)集上進(jìn)行了對比，建模精度提高了9%，所重建的三維人臉模型投影圖像與二維圖像具有較高的相似度。實驗結(jié)果表明，在大姿態(tài)變化條件下，該識別算法借助三維信息相較于未借助的情況下，其識別率可以提高50%以上。

三維人臉;人臉建模;人臉識別;多姿態(tài);跨模態(tài)

0 引言

作為公共安全的重要保障,監(jiān)控視頻數(shù)量迅速增長，如何有效、智能處理視頻圖像大數(shù)據(jù)是建設(shè)安全、智能型城市的重要保障，其中面部圖像是最重要的監(jiān)控對象。因受到成像條件以及小樣本問題的制約,面向海量人臉數(shù)據(jù)的自動人臉識別技術(shù)在公共安防領(lǐng)域還鮮有重大成功案例,最先進(jìn)的自動人臉識別算法在類似美國波士頓馬拉松爆炸案的恐怖案件調(diào)查過程中亦未能發(fā)揮效用。人臉識別專家Rowden等[1]于2014年進(jìn)行了關(guān)于人類與機器視覺在人臉識別問題上性能的對比研究,成果表明在戶外自由、非可控場景中,當(dāng)前最先進(jìn)、基于圖像的人臉識別技術(shù)/系統(tǒng)仍無法達(dá)到人眼辨識水平。

由于人臉天然具有三維形狀,直觀上基于三維人臉數(shù)據(jù)的識別是解決姿態(tài)問題行之有效的手段,學(xué)者采用三維面部法向量在人臉識別大挑戰(zhàn)(Face Recognition Grand Challenge, FRGCv2)三維人臉數(shù)據(jù)集[2]上獲得了99.6%的準(zhǔn)確率[3],驗證了高質(zhì)量三維人臉數(shù)據(jù)在人臉識別問題上的有效性。但是現(xiàn)有三維人臉采集技術(shù)對距離、運動速度、環(huán)境光照均有嚴(yán)格要求,并不適用于自由場景下的人臉采集,因此非用戶配合的三維人臉識別從技術(shù)上還很難實現(xiàn)。圖1展示了一個可行的方案(簡稱方案1),即后臺原型數(shù)據(jù)集(Gallery)采用三維人臉數(shù)據(jù),前端測試集(Probe)依然采用二維圖像,實現(xiàn)“2D/3D”的跨模態(tài)識別,以解決訓(xùn)練數(shù)據(jù)集的小樣本問題,這類跨模態(tài)人臉識別研究剛起步；另一常見的方案(簡稱方案2)是后臺Gallery與Probe均是二維圖像,對Gallery中的人臉圖像進(jìn)行三維重建,利用三維信息克服緩解姿態(tài)變化。方案2的優(yōu)勢是便于現(xiàn)有人臉識別系統(tǒng)的改進(jìn),且不需要額外硬件輔助。針對當(dāng)前三維采集設(shè)備并未廣泛使用的情況，本文旨在研究基于圖像的三維人臉建模技術(shù),并針對三維模型用于人臉識別的有效性進(jìn)行評估。

Yi等[4]將采用方案2的方法進(jìn)一步分為4類:1)虛擬正面合成；2)多姿態(tài)投影；3)模型參數(shù)擬合；4)姿態(tài)自適應(yīng)濾波。其中基于圖像的三維人臉建模是這類方法一個關(guān)鍵問題,是本文的研究內(nèi)容。

圖1 2D/3D跨模態(tài)及基于三維重建的2D/2D人臉識別方案對比

Blanz等[5]提出的三維形變模型(3D Morphable Model, 3DMM)在三維人臉建模技術(shù)發(fā)展歷上具有里程碑意義。對3DMM的優(yōu)化、改進(jìn)也成為了該領(lǐng)域的一個熱點問題:學(xué)者們分別從提高建模效率[6]、融入表情因素[7]、建立完整頭部模型[8]等角度對3DMM進(jìn)一步完善和發(fā)展。為了簡化優(yōu)化過程，龔勛等[9]提出了基于特征點的算法，實現(xiàn)了采用單張圖像、快速的人臉建模。

近年，Kemelmacher-Shlizerman等[10]基于人臉近似朗伯(Lambertain)凸表面的假設(shè),利用球面諧波和一個三維人臉參考模型實現(xiàn)了單張人臉圖像的建模,并進(jìn)一步用互聯(lián)網(wǎng)圖片[11]和視頻[12]作為訓(xùn)練集恢復(fù)人臉形狀,但參考模型的選擇對建模結(jié)果有一定影響。

從運動恢復(fù)結(jié)構(gòu)(Structure From Motion, SFM)是三維重建的主流方法,近年在人臉建模方面取得了持續(xù)性的研究進(jìn)展。Lin等[13]利用5張相差近45°的圖像,實現(xiàn)了大范圍變化下高精度的人臉建模,但需要建模對象的配合; Gonzalez-Mora等[14]在SFM算法中引入線性人臉模型作為先驗知識,以提高在噪聲、丟失信息情況下系統(tǒng)的魯棒性。還有一些專家通過多張圖像匹配點的對應(yīng)關(guān)系建立方程組,并用非線性最小二乘法求解關(guān)鍵點的深度值。

本文在基于特征點的形變統(tǒng)計模型[15]的基礎(chǔ)上,在SFM框架下實現(xiàn)多張圖像的三維人臉建模,旨在進(jìn)一步提高特征點的深度值估計精度。

1 基于圖像的三維人臉形狀建模

本文人臉建模思路采用兩步人臉建模(Two-Step Face Modeling, TSFM)方案[16]實現(xiàn)從粗到精的形狀建模。

第1步 計算特征點的類三維坐標(biāo)(Quasi-3D,Q-3D),(將其稱之為類三維坐標(biāo)是因為其坐標(biāo)值是估計值)給定1張近正面人臉圖像I0和n張非正面圖像(I1,I2,…,In),通過計算特征點的深度值,由已知的二維坐標(biāo)與深度估計值組合以獲得Q-3D坐標(biāo)。

第2步 將Q-3D特征點輸入形變算法擬合整體形狀,實現(xiàn)面部形狀整體建模。

1.1 基于兩張圖像的特征點深度值估計

在輸入一張圖像的情況下,Gong等[15]提出了基于稀疏線性模型的優(yōu)化(SparseLinearModelbasedOptimization,SLMO)算法,把所有特征點看成一個整體,然后利用訓(xùn)練庫中的先驗知識對缺失的特征點的坐標(biāo)進(jìn)行整體估計。本節(jié)將SLMO結(jié)合新的優(yōu)化算法以提高深度值估計精度。

(1)

(2)

其中,pk=(xk,yk)T,qk=(uk,vk)T分別是I0和Ii上的第k個特征點。

(3)

(4)

算法1 兩步深度值估計TSE算法。

步驟1 采用SLMO從I0計算特征點深度值的初始值z0。

步驟2

a)將特征點的深度值z0固定,首先利用式(4)優(yōu)化旋轉(zhuǎn)、平移參數(shù)和縮放因子,得到ω0、t0和σ0。

b)固定ω0、t0和σ0,通過求解式(4)計算特征點的z坐標(biāo)值。

1.2 姿態(tài)與深度迭代優(yōu)化算法

從成像模型(3)可以看出,姿態(tài)參數(shù)ω與深度值z二者相互影響，TSE算法采用了分步估計的策略。精確的姿態(tài)旋轉(zhuǎn)角度能夠進(jìn)一步提高深度值計算精度。盡管通過估計算法無法獲得絕對精確的角度值，但通過算法優(yōu)化能夠進(jìn)一步提高旋轉(zhuǎn)角的精度,進(jìn)而獲得一個折中的估計結(jié)果。另一方面，由于姿態(tài)參數(shù)ω與深度值z相互影響,要提高ω的估計精度,就需要更精確的深度值z?；谶@一思路,本文提出將算法1變形為一個迭代方式,即姿態(tài)與深度迭代優(yōu)化(IterativePoseandDepthOptimization,IPDO)算法,歸納如下。

算法2 姿態(tài)與深度迭代優(yōu)化IPDO算法。

步驟1 采用SLMO從I0計算特征點深度值的初始值z0,初值化循環(huán)指示器i=0。

步驟2

a)將特征點的深度值zi固定,首先利用式(4)優(yōu)化旋轉(zhuǎn)、平移參數(shù)和縮放因子,得到ωi、ti和σi。

1.3 基于多張圖像的深度值融合及整體形變

IPDO算法解決了1張正面圖像和1張非正面圖像的深度值估計,當(dāng)輸入n(>1)張非正面人臉圖像時,將其與正面圖像結(jié)合,可以為每個特征點計算得到n個深度值,采用平均值是一個常用的策略,但當(dāng)數(shù)據(jù)量不大時(通常n∈[0,5])容易受到噪聲的影響,本文采用正態(tài)分布假設(shè)去除離群點。

(5)

(6)

基于特征點的Q-3D坐標(biāo),采用徑向基函數(shù)(RadialBasisFunction,RBF)通過調(diào)整平均人臉模型實現(xiàn)模型形變,獲得最終的三維人臉模型。

2 基于投影及相似度分析三維信息有效性評價

為了客觀評價三維人臉信息(既包括采集的高精度三維人臉,也包括重建的三維人臉)在跨姿態(tài)條件下人臉識別的有效性,本文將設(shè)計兩者方案對其進(jìn)行評價,并客觀比較方案1(采用真實三維人臉模型)與方案2(采用的重建三維人臉模型)在人臉識別中的性能差異。鑒于本文的重點并非研究人臉識別涉及的特征提取、分類等問題,本章將以面部圖像相似度度量為手段,從如下3方面對三維人臉信息進(jìn)行評測。

1)重建的三維人臉模型的精度評價。

由于三維人臉庫中通過硬件設(shè)備采集的三維人臉模型作為人臉形狀的真實值(GroundTruth)。真實三維人臉形狀模型以及重建形狀模型分別生成深度圖,最后比較二者的差異。

2)相似度S1和S2的比較。

對于輸入的二維圖像,首先估計其旋轉(zhuǎn)角,然后將重建的三維人臉模型和真實三維人臉模型按照相應(yīng)的角度進(jìn)行投影,然后計算投影圖與原始圖像的相似度，分別用S1和S2表示。

3)三維人臉模型在跨姿態(tài)人臉識別中的作用。

在2)的基礎(chǔ)上,采用人臉識別特征提取算法對三維模型投影圖進(jìn)行特征分析,然后進(jìn)行閉集人臉識別測試,并與采用正面人臉圖像的識別率進(jìn)行對比,以驗證三維信息在輔助人臉識別中的作用。特征提取采用局部相關(guān)分析匹配(LocalCorrelationMatching,LCM)算法[20]。

3 實驗結(jié)果及分析

本文實驗在CPU：Inteli7 2.7GHz，內(nèi)存4GB，操作系統(tǒng)：Windows10的筆記本電腦上進(jìn)行。

3.1 測試數(shù)據(jù)集

為了驗證文中提出深度估計算法的精度,在兩個三維人臉數(shù)據(jù)集上進(jìn)行實驗,三維數(shù)據(jù)庫中的人臉模型為特征點深度估計、三維人臉建模提供了用于對比的真實值(GroundTruth)。另外在二維人臉數(shù)據(jù)庫IMM_Face[21]和FERET[22]上進(jìn)行三維人臉建模,針對FERET中8個不同姿態(tài)子集進(jìn)行了識別測試以驗證三維信息。采用的兩個三維人臉數(shù)據(jù)庫如下。

1)SWJTU-HFDB多模人臉數(shù)據(jù)庫。

針對跨模態(tài)、多模人臉識別等應(yīng)用場景,本文采集了一個西南交通大學(xué)多模數(shù)據(jù)庫(SouthwestJiaotongUniversity-HybridFaceDatabase,SWJTU-HFDB),包含同一個人4種不同模態(tài)數(shù)據(jù):1)二維高分辨率圖像(用數(shù)碼相機采集);2)二維低分辨率圖像(用監(jiān)控攝像頭采集);3)三維高精度人臉模型(用結(jié)構(gòu)光設(shè)備采集);4)三維低精度人臉模型(用Kinect采集)。其中三維高精度人臉子集同時包含采集三維點云數(shù)據(jù)和紋理圖像,共450個人臉模型,每個三維人臉模型均標(biāo)定了76個特征點,是本文測試用到的數(shù)據(jù)集,下文簡稱SWJTU-3D數(shù)據(jù)集。

2)Bosphorus(BS)Database三維人臉數(shù)據(jù)庫。

BS數(shù)據(jù)集[23]包括105個西方人,共4 652個人臉模型。每個模型具有22個手動標(biāo)注的特征點。數(shù)據(jù)通過商業(yè)結(jié)構(gòu)光采集設(shè)備InspeckMegaCapturorII3D采集,同時采集了三維模型和紋理圖像,其中三維模型包括約35 000個頂點,二維紋理圖像分辨率為1 600×1 200。

3.2 深度值估計精度驗證

為了量化評估文中提出的TSE和IPDO特征點深度估計的性能,本文將SWJTU-3D數(shù)據(jù)集中的正面人臉模型劃分為訓(xùn)練集和測試集,每個集合包含225個模型?；谟?xùn)練集合,生成一個平均人臉模型。為了驗證不同姿態(tài)下的圖像的估計效果,用三維模型投影生成了6種姿態(tài)的二維圖像,分別為(10,10,0),(10,20,0),(10,30,0),(20,10,0),(20,20,0),(30,30,0)。

以三維人臉數(shù)據(jù)庫中三維人臉的特征點深度值為基準(zhǔn),采用兩個量化評估標(biāo)準(zhǔn)，如下所示。

(7)

(8)

2)將所有特征點特征值組成向量,計算相關(guān)系數(shù)c(zg,ze)[19]作為相似度對比：

(9)

首先,驗證TSE、IPDO算法在6種不同姿態(tài)投影圖像上的深度值估計精度。如前文所述,本文方法與現(xiàn)有方法如非線性最小二乘(NonlinearLeast-Squares，NLS)[19]算法的主要區(qū)別在于初始值的設(shè)置,TSE采用SLMO估計的值進(jìn)行初始化,而NLS采用平均人臉上對應(yīng)特征點的深度值。用NLS-like來表示用TSE的方法進(jìn)行優(yōu)化,但采用與NLS類似的初始化方法——采用平均人臉上的特征點深度值。如表1所示,可以看到,不同角度對估計結(jié)果有一定的影響,但總體上波動不大,TSE由于采用了較準(zhǔn)確的初始值,結(jié)果要優(yōu)于NLS-like算法,能夠獲得1.5mm以下的估計誤差,而IPDO算法能夠獲得1.27mm的平均估計誤差。另外,所有估計算法均優(yōu)于直接采用平均人臉模型(見Generic數(shù)據(jù))。本實驗結(jié)果驗證了本文的算法能夠有效地提高重建三維模型在軸方向的精度。

表1 不同角度下圖像的深度值估計對比mm

Tab.1Comparisonofdepthvalueestimationusingdifferentposesmm

算法人臉姿態(tài)角/(°)(10，10，0)(10，20，0)(10，30，0)(20，10，0)(20，20，0)(30，30，0)均值Generic2．602．602．602．602．602．602．60NLS?like1．681．641．581．771．691．611．66TSE1．531．451．351．581．451．401．46IPDO1．441．211．041．441．321．151．27注：括號里是分別繞X，Y，Z軸旋轉(zhuǎn)的角度。

為了與現(xiàn)有深度估計算法通用模型算法(GeneticAlgorithm，GA)[18]、非線性最小二乘法(NonlinearLeast-SquaresModelwithSymmetryandRegularizationterms,NLS1_SR)[14]進(jìn)行客觀對比,在BS數(shù)據(jù)集上進(jìn)行實驗。與對比文獻(xiàn)保持一致,用一張正面人臉和一張側(cè)面人臉圖像進(jìn)行估計測試,其中側(cè)面人臉圖像分別來自5個不同的子集(P_R_D,P_R_SD,P_R_SU,PR_U,YR_R10),對比結(jié)果如表2所示(其中：μ表示均值，std表示方差),可以看到,TSE與IPDO對于不同子集均具有魯棒性,其性能優(yōu)于GA和NLS1_SR算法,說明本文提出的方法性能穩(wěn)定,可為后續(xù)進(jìn)行整體三維建模提供條件。

表2 在BS數(shù)據(jù)集上不同姿態(tài)角下深度值估計精度的對比

為驗證1.3節(jié)所提出的基于多張圖像的深度值融合策略的效果,在BS數(shù)據(jù)集上進(jìn)行了測試,結(jié)果如圖2所示,可以看到不同算法采用多張圖像均能夠有效提高估計效果,同樣地,IPDO能夠獲得最優(yōu)的結(jié)果,本文提出的兩個估計算法均優(yōu)于NLS算法。算法運行時間對比如表3(表3中，NLS2為兩步優(yōu)化的非線性最小二乘(two-step optimization of Nonlinear Least-Squares)),可以看到在沒有進(jìn)行代碼優(yōu)化的情況下,TSE和IPDO能夠具有較高的運行效率。

如1.2節(jié)所述,圖像旋轉(zhuǎn)角度估計會影響到深度值估計,進(jìn)一步測試了TSE和IPDO在X、Y、Z三個方向上旋轉(zhuǎn)角的估計誤差,結(jié)果如圖3所示,可以看到由于IPDO進(jìn)行了迭代,角度估計的平均誤差和方差均小于TSE算法,從而也驗證了迭代的有效性。

圖2 不同算法采用多張圖像的深度估計誤差

表3 算法運行時間(CPU 2.7 GHz, MEM 4 GB)

Tab.3 Time costs of different methods (CPU 2.7 GHz, MEM 4 GB)

M算法時間/sM算法時間/sGA50．09SLMO0．03NLS1＿SR0．10TSE0．53NLS23．00IPDO1．72

圖3 角度估計平均誤差及方差

3.3 三維人臉重建及三維信息在多姿態(tài)人臉匹配中的作用

3.3.1 三維人臉重建性能

圖4展示了3組真實人臉照片的重建結(jié)果:分別來自公開庫IMM_Face(Informatics and Mathematical Modelling Face)[21]、FERET(The Facial Recognition Technology)[22]和BS(Bosphorus Database)[23]。左側(cè)是輸入的三維人臉照片,右側(cè)是重建的三維人臉正面、側(cè)面圖,以及相應(yīng)的幾何模型。通過這些重建結(jié)果,可以看到本文算法能夠還原出準(zhǔn)確度高的人臉形狀以及逼真的三維人臉模型。

另一方面,為了量化本文重建的三維人臉模型的精度,采用第2章的評價方案1,對BS數(shù)據(jù)庫的紋理圖像進(jìn)行重建,并與該數(shù)據(jù)庫的三維人臉模型進(jìn)行深度圖對比?；谏疃葓D像的相似度對比結(jié)果如表4,可以看到與平均模型、SRSD算法[24]、Heo等[25]的算法相比,本文IPDO+RBFs的重建結(jié)果相似度最高。

圖4 基于三維圖像的三維人臉重建效果

表4 不同算法的深度圖相似度比較

Tab.4 Comparison of similarity of depth image with different methods

算法相關(guān)系數(shù)均值相關(guān)系數(shù)方差平均模型0．8844550．056175HEO等算法[25?0．8952080．044480SRSD[24?0．8938400．049134IPDO+RBFs0．9075200．036890

3.3.2 基于三維人臉投影的多姿態(tài)人臉匹配

本節(jié)將采用第2章提出的評價方案2來驗證三維人臉模型精度對人臉識別性能的影響。實驗數(shù)據(jù)采用BS人臉集的5個子集(PR_D、PR_SD、PR_SU、PR_U和YR_R10)，子集的介紹請參考文獻(xiàn)[23]。對于輸入的二維圖像,首先估計其旋轉(zhuǎn)角,分別用3種三維模型(真實三維人臉模型、重建的人臉模型和平均人臉模型)按照根據(jù)該圖像姿態(tài)進(jìn)行投影,然后計算投影圖像與二維圖像之間的相似度,比較結(jié)果如圖5所示,結(jié)果表明重建的三維模型與平均模型的投影圖與原始二維圖像具有非常高的相似度,相反,真實的三維人臉投影相似度卻反而低于重建的三維模型。這一實驗結(jié)果表明,二維人臉識別更加注重圖像外觀特征,真實三維人臉雖然有很好的深度信息,但是紋理效果通常不如重建的人臉模型光滑。因存在毛刺或者不平滑現(xiàn)象而導(dǎo)致投影圖與二維圖像的相似度不高,這一結(jié)果表明:針對二維人臉識別應(yīng)用,用于提供空間輔助信息的三維模型的準(zhǔn)確性對于識別效果影響不大,紋理圖像與對比圖像的一致性更重要。

圖5 不同三維模型下二維圖像之間相似度比較(BS數(shù)據(jù)庫)

如第2章提出的評價方案3所述,為了驗證重建的三維人臉模型對于大姿態(tài)角度變化下的人臉識別作用,本文對FERET數(shù)據(jù)庫[22]中8個不同子集(分別是bb,bc,bd,be,bf,bg,bh,bi,角度從-60°到+60°之間變化)進(jìn)行識別測試,特征提取算法采用LGXP[26]和LCM[20],分類采用最近鄰,人臉圖像尺寸歸一化到64×64,采用傳統(tǒng)基于瞳孔位置的尺度歸一化方法，測試三種了Gallery構(gòu)建方式下的人臉識別率。

1)根據(jù)測試子集的角度,將重建的三維人臉模型進(jìn)行投影,構(gòu)建Gallery,用“3D-rec”表示;

2)根據(jù)測試子集的角度,借助平均三維模型將正面圖像合成相應(yīng)角度的圖像,構(gòu)建Gallery,用“3D-avg”表示;

3)直接采用正面人臉圖像,用“2D”表示。

實驗結(jié)果如圖6所示,可以看到曲線趨勢有力地說明了利用三維模型相對直接采用正面圖像可以大幅提高識別率,另一方面,采用重建的三維人臉相對直接使用平均人臉模型也可以提高識別率,這就驗證了本文三維重建的有效性。圖中表明LGXP和LCM在大角度情況下識別率并不高,主要原因如下。

1)簡單地采用與正面圖像一致的尺寸歸一化方法,即將瞳孔間距歸一化到相同尺度,通常對于正臉或者小姿態(tài)角的人臉圖像有效,并不適用于對于大姿態(tài)角下的人臉匹配。

2)僅采用特征提取和最近鄰分類,未進(jìn)行訓(xùn)練,導(dǎo)致鑒別性能不足。

圖6 基于三維模型的多姿態(tài)二維人臉識別率(FERET數(shù)據(jù)庫)

以上兩方面工作是跨姿態(tài)人臉識別研究的重點研究內(nèi)容,而本文旨在驗證三維信息對于姿態(tài)變化的有效性,故并未對以上兩個問題進(jìn)行深入研究。

4 結(jié)語

本文主要研究基于圖像實現(xiàn)人臉特征點深度值的精確計算,進(jìn)而實現(xiàn)真實感的三維人臉建模,為人臉識別解決跨姿態(tài)問題奠定基礎(chǔ)?；趫D像的三維關(guān)鍵點重構(gòu)分為姿態(tài)角估計及深度值估計兩部分,二者相互影響?，F(xiàn)有方法通常將其融合在一起統(tǒng)一計算導(dǎo)致深度值估計精度低,本文提出一個姿態(tài)及深度值迭代計算模型,實現(xiàn)了高精度的特征點深度值估計。進(jìn)一步研究了多組深度值融合及整體形狀建模。實驗結(jié)果表明,重建的三維人臉形狀接近真實模型,其投影圖像與二維圖像具有較高的相似度,驗證了本文重建的三維人臉模型投影圖像與二維圖像具有較高的相似度,為下一步研究大姿態(tài)變化條件下人臉識別提供了有效手段。

References)

[1] ROWDEN L B, BISHT S, KLONTZ J C, et al.Unconstrained face recognition: establishing baseline human performance via crowdsourcing [C]// Proceedings of the 2014 IEEE International Joint Conference on Biometrics.Piscataway, NJ: IEEE, 2014: 1-8.

[2] PHILLIPS P J, SCRUGGS W T, O’TOOLE A J, et al.FRVT 2006 and ICE 2006 large-scale experimental results [J].IEEE Transactions on Pattern Analysis and Machine Intelligence, 2010, 32(5): 831-846.

[3] MOHAMMADZADE H, HATZINAKOS D.Iterative closest normal point for 3D face recognition [J].IEEE Transactions on Pattern Analysis and Machine Intelligence, 2013, 35(2): 381-397.

[4] YI D, LEI Z, LI S Z.Towards pose robust face recognition [C]// Proceedings of the 2013 IEEE International Conference on Computer Vision and Pattern Recognition.Piscataway, NJ: IEEE, 2013: 3539-3545.

[5] BLANZ V, VETTER T.A morphable model for the synthesis of 3D faces [C]// Proceedings of the 26th Annual Conference on Computer Graphics and Interactive Techniques.New York: ACM, 1999: 187-194.

[6] PATEL A, SMITH W A P.3D morphable face models revisited [C]// Proceedings of the 2009 IEEE Conference on Computer Vision and Pattern Recognition.Piscataway, NJ: IEEE, 2009: 1327-1334.

[7] WANG S, LAI S.Reconstructing 3D face model with associated expression deformation from a single face image via constructing a low-dimensional expression deformation manifold [J].IEEE Transactions on Pattern Analysis and Machine Intelligence, 2011, 33(10): 2115-2121.

[8] BUSTARD J D, NIXON M S.3D morphable model construction for robust ear and face recognition [C]// Proceedings of the 2010 IEEE Conference Computer Vision and Pattern Recognition.Piscataway, NJ: IEEE, 2010: 2582-2589.

[9] 龔勛，王國胤.基于特征點的三維人臉形變模型[J].軟件學(xué)報，2009,20(3):724-733.(GONG X, WANG G Y.3D face deformable model based on feature points [J].Journal of Software, 2009, 20(3):724-733.)

[10] KEMELMACHER-SHLIZERMAN I, BASRI R.3D face recon-struction from a single image using a single reference face shape [J].IEEE Transactions on Pattern Analysis and Machine Intelligence, 2011, 33(2): 394-405.

[11] KEMELMACHER-SHLIZERMAN I.Internet-based morphable model [C]// Proceedings of the 2013 IEEE International Conference on Computer Vision.Piscataway, NJ: IEEE, 2013: 3256-3263.

[12] SUWAJANAKORN S, KEMELMACHER-SHLIZERMAN I, SEITZ S.Total moving face reconstruction [C]// Proceedings of the 2014 European Conference on Computer Vision.Berlin: Springer, 2014: 796-812.

[13] LIN Y, MEDIONI G, CHOI J.Accurate 3D face reconstruction from weakly calibrated wide baseline images with profile contours [C]// Proceedings of the 2010 IEEE International Conference on Computer Vision and Pattern Recognition.Piscataway, NJ: IEEE, 2010: 1490-1497.

[14] GONZALEZ-MORA J, DE LA TORRE F, GUIL N, et al.Learning a generic 3D face model from 2D image databases using incremental structure from motion [J].Image and Vision Computing, 2010, 28(7): 1117-1129.

[15] GONG X, WANG G Y.Example-based learning for depth estimation of facial landmarks and its application in face modeling [J].Chinese Journal of Electronics, 2010, 19(4): 676-680.

[16] GONG X, WANG G Y, LI X X, et al.A statistical two-step method for 3D face reconstruction from single image [J].Chinese Journal of Electronics, 2011, 20(4): 671-675.

[17] KENNEDY J, EBERHART R.Particle swarm optimization [C]// Proceedings of the 2013 IEEE International Conference on Neural Networks.Piscataway, NJ: IEEE, 1995: 1942-1948.

[18] KOO H, LAM K.Recovering the 3D shape and poses of face images based on the similarity transform [J].Pattern Recognition Letters, 2008, 29(6): 712-723.

[19] SUN Z, LAM K, GAO Q.Depth estimation of face images using the nonlinear least-squares model [J].IEEE Transactions on Image Processing, 2013, 22(1): 17-30.

[20] DE MARSICO M, NAPPI M, RICCIO D, et al.Robust face recognition for uncontrolled pose and illumination changes [J].IEEE Transactions on Systems, Man, and Cybernetics, Part A: Systems and Humans, 2013, 43(1): 149-163.

[21] NORDSTROM M M, LARSEN M, SIERAKOWSKI J, et al.The IMM face database — an annotated dataset of 240 face images [R].Copenhagen, Denmark: Technical University of Denmark, 2004.

[22] PHILLIPS P J, WECHSLER H, HUANG J, et al.The FERET database and evaluation procedure for face-recognition algorithms [J].Image and Vision Computing, 1998, 16(5): 295-306.

[23] SAVRAN A, ALYUZ N, DIBEKLIOGLU H, et al.Bosphorus database for 3D face analysis [M]// Biometrics and Identity Management.Berlin: Springer, 2008: 47-56.

[24] BLANZ V, MEHL A, VETTER T, et al.A statistical method for robust 3D surface reconstruction from sparse data [C]// Proceedings of the 2nd International Symposium on 3D Data Processing, Visualization.Washington, DC: IEEE Computer Society, 2004: 293-300.

[25] HEO J, SAVVIDES M.Rapid 3D face modeling using a frontal face and a profile face for accurate 2D pose synthesis [C]// Proceedings of the 2011 IEEE International Conference on Automatic Face & Gesture Recognition.Piscataway, NJ: IEEE, 2011: 632-638.

[26] XIE S, SHAN S, CHEN X, et al.Fusing local patterns of Gabor magnitude and phase for face recognition [J].IEEE Transactions on Image Processing, 2010, 19(5): 1349-1361.

This work is partially supported by the National Natural Science Foundation of China (61202191), the Natural Science Key Projects of Sichuan Provincial Department of Education (16ZA0422).

LI Xinxin, born in 1981, M.S., associate professor.Her research interests include artificial intelligence, pattern recognition, networking protocol test.

GONG Xun, born in 1980, Ph.D., associate professor.His research interests include artificial intelligence, pattern recognition, 3D modeling.

3D face modeling and validation in cross-pose face matching

LI Xinxin1, GONG Xun2*

(1.DepartmentofComputerScienceandSoftwareEngineering,JinchengCollegeofSichuanUniversity,ChengduSichuan611731,China;2.CollegeofInformationScienceandTechnology,SouthwestJiaotongUniversity,ChengduSichuan610031,China)

Since the existing 3D face acquisition technology has many restrictions on gathering scene, a 3D face reconstruction technology based on several images was proposed, and its validation was verified.First, an iterative computing model of pose and depth value estimation was proposed to implement the accurate estimation of feature depth.Then the depth values integration based on several images and shape modeling were further investigated.Finally, the Iterative Pose and Depth Optimization (IPDO) algorithm was compared with Nonlinear Least-Squares Model with Symmetry and Regularization terms (NLS1_SR) on Bosphorus database, the modeling precision was improved by 9%, and the projected image of 3D model is similar to the 2D inputted image.The experimental results show that under the condition of big pose change, the proposed recognition algorithm assisted by 3D information can improve the recognition rate of more than 50%.

3D face; face modeling; face recognition; multiple view; cross-modality

2016-08-30;

2016-09-24。

國家自然科學(xué)基金資助項目(61202191);四川省教育廳自然科學(xué)重點課題(16ZA0422)。

李昕昕(1981—)，女，四川樂至人，副教授，碩士，主要研究方向：人工智能、模式識別、網(wǎng)絡(luò)協(xié)議測試； 龔勛(1980—)，男，湖南永順人，副教授，博士，CCF會員，主要研究方向：人工智能、模式識別、三維建模。

1001-9081(2017)01-0262-06

10.11772/j.issn.1001-9081.2017.01.0262

TP391.413

A