具有網(wǎng)絡(luò)一致結(jié)構(gòu)的三維人臉模型重建研究

劉政 董洪偉 楊振

摘 要：針對(duì)傳統(tǒng)方法及機(jī)器學(xué)習(xí)方法對(duì)大量三維人臉數(shù)據(jù)、訓(xùn)練樣本數(shù)量與質(zhì)量依賴性大的問題，采用基于光照立體的方法，利用人臉圖像重建三維人臉。綜合利用基于法線的模型變形法和非剛性變形法，提出一種基于法線的非剛性變形算法。利用SFS算法計(jì)算頂點(diǎn)法線，然后使用法線和局部剛性約束使參考模型變形，進(jìn)而得到與參考模型具有一致網(wǎng)絡(luò)結(jié)構(gòu)的三維人臉模型，從而得到三維人臉圖像。該方法與傳統(tǒng)方法相比，節(jié)省了大量樣本要求，并且立體效果更好。

關(guān)鍵詞：SFS; 三維人臉; 非剛性網(wǎng)格變形

DOI：10. 11907/rjdk. 201042

中圖分類號(hào)：TP317.4 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1672-7800（2020）010-0156-04

Abstract： Aiming at the problem that traditional methods and machine learning methods depend on a large number of 3D face data， the number and quality of training samples， this paper uses the method based on lighting stereo to realize the reconstruction of a three-dimensional face from a face image. A non-rigid model deformation algorithm based on normal is proposed， which combines a normal based deformation algorithm and a non-rigid model deformation algorithm. The SFS is used to estimate the normal of the vertices， then updated normal are used to deform the reference face model with local rigid constrain， finally a deformed 3D face model is obtained， which has the same mesh structure with the reference model， thereby obtaining a 3D face image. Compared with the traditional method， the proposed method can save a lot of sample requirementsand the stereo effect is better.

Key Words： SFS; 3D face; non-rigid mesh deformation

0 引言

三維人臉重建是計(jì)算機(jī)圖形學(xué)的研究熱點(diǎn)。目前三維人臉重建方法可大致分為基于儀器掃描的方法和基于圖像的重建方法。使用儀器掃描雖然可以獲得較高質(zhì)量的三維人臉模型，但被掃描對(duì)象需與掃描儀器進(jìn)行交互，且掃描期間目標(biāo)對(duì)象需盡可能保持靜止;通過掃描設(shè)備掃描得到三維人臉模型后，還需對(duì)掃描數(shù)據(jù)進(jìn)行一系列復(fù)雜的處理才能得到較高質(zhì)量的三維人臉模型。另外掃描設(shè)備價(jià)格高、操作較復(fù)雜性，使該方法難以普及?；趫D像的重建方法包括基于統(tǒng)計(jì)模型的三維人臉重建[1-4]、基于多視幾何的三維人臉重建[5]、 基于光照立體的三維人臉重建[6-11]以及近年來發(fā)展迅速的基于機(jī)器學(xué)習(xí)的三維人臉重建[12-14]。

基于統(tǒng)計(jì)模型的三維人臉重建方法依賴于大量的三維人臉數(shù)據(jù)，這些數(shù)據(jù)一般是對(duì)掃描得到的人臉模型進(jìn)行PCA（Principal Components Analysis）處理后獲得的。另外，該方法重建結(jié)果嚴(yán)重依賴于數(shù)據(jù)庫(kù)中的人臉模型，數(shù)據(jù)庫(kù)中模型空間有限，限制了重建靈活性。傳統(tǒng)基于多視幾何的方法需獲取不同角度的多張正交人臉圖像，為計(jì)算圖像匹配點(diǎn)，首先需足夠多的匹配點(diǎn)數(shù)量，然后匹配精確度也要求很高。而基于機(jī)器學(xué)習(xí)的方法則需要大量三維人臉數(shù)據(jù)用以訓(xùn)練，其最終重建結(jié)果同樣依賴于訓(xùn)練樣本數(shù)量，與基于統(tǒng)計(jì)模型的方法有相同的弊端。 本文采用基于光照立體的方法，利用人臉圖像實(shí)現(xiàn)三維人臉重建。

Woodham[6]在1980年首次利用光度立體（Photometric Stereo，PS）重建三維模型，PS理論依據(jù)是物體表面反射光強(qiáng)度及物體表面與光的夾角及觀察位置相關(guān)，利用不小于3張視角固定且光照不同的圖像恢復(fù)形狀和反射率[7]。從陰影恢復(fù)形狀法（Shape-from-shading，SFS）是PS的特例。Horn[8]在1989年提出SFS與傳統(tǒng)PS的區(qū)別是它可從一張圖像上重建三維模型。

傳統(tǒng)SFS需要已知目標(biāo)表面反射率屬性和光照條件以及邊界值，然而這些條件并不容易獲得。為了避免這些苛刻的條件，Ira[15]基于不同的人臉模型在尺寸、長(zhǎng)寬比及鼻子、眼睛等主要特征位置是相似的特點(diǎn)，并且假設(shè)人臉模型滿足朗伯反射，通過引入一個(gè)參考人臉模型，將問題轉(zhuǎn)化為求解圖像輻照度方程的問題，利用球諧函數(shù)先計(jì)算光照強(qiáng)度，再計(jì)算每個(gè)像素點(diǎn)深度值;Nehab[16]提出一種基于法線的三維模型變形方法;Yang[17]將Nehab的模型應(yīng)用于三維人臉重建，從多張圖像重建三維人臉，與文獻(xiàn)[15]直接計(jì)算像素點(diǎn)深度值這種2.5D的方法不同，Yang首先利用圖像更新參考模型中頂點(diǎn)的法線，進(jìn)而利用法線使參考模型變形;文獻(xiàn)[18]在此基礎(chǔ)上增加了法線可信度，即，對(duì)每張圖像計(jì)算出的法線計(jì)算加權(quán)和，法線權(quán)值大小與法線和相機(jī)方向的夾角成正比;文獻(xiàn)[19]同樣使用法線優(yōu)化三維人臉模型。但是文獻(xiàn)[19]理論上至少需要4張圖像，該方法利用了SVD建立圖像與球協(xié)函數(shù)的聯(lián)系，但是由于人臉是非剛性的，不同圖像中的人臉會(huì)有表情差異， 這會(huì)影響SVD結(jié)果。本文亦是利用法線使初始模型變形，但與文獻(xiàn)[18]、[19]不同的是，本文利用局部剛性約束，最終變形后的人臉模型與初始人臉模型具有一致的網(wǎng)絡(luò)結(jié)構(gòu)，如圖1所示。

1 算法概述

本文算法主要包括兩部分：第一部分是更新模型中頂點(diǎn)的法線，即利用輸入的人臉圖像和輻照度方程計(jì)算初始模型中頂點(diǎn)法線;第二部分是利用法線使初始模型變形，進(jìn)而得到與目標(biāo)圖像相似的三維人臉模型。

3DMM是一種基于統(tǒng)計(jì)的從圖像重建三維人臉方法，雖然該方法重建的三維人臉模型受其數(shù)據(jù)庫(kù)中人臉模型空間約束，難以實(shí)現(xiàn)高質(zhì)量的三維人臉重建，但其輸出模型結(jié)構(gòu)一致性使該方法擬合的三維人臉模型可作為初始模型，進(jìn)而使用其它優(yōu)化方法進(jìn)一步處理。故本文先使用文獻(xiàn)[3]中3DMM方法，用一張人臉圖像生成1個(gè)初始三維人臉模型，然后計(jì)算每張圖像到初始模型的相機(jī)參數(shù)。利用相機(jī)參數(shù)，可獲取初始模型在每張圖像視角下的可見頂點(diǎn)，將這些可見頂點(diǎn)投影到對(duì)應(yīng)的人臉圖像上可獲得頂點(diǎn)在圖像上的顏色信息，之后利用SFS技術(shù)更新每個(gè)頂點(diǎn)法線，進(jìn)而更新三維人臉模型。本文算法流程如圖2所示。

2 法線計(jì)算

首先使用文獻(xiàn)[3]中的形變模型方法擬合一個(gè)初始三維人臉模型，然后利用文獻(xiàn)[21]的特征點(diǎn)檢測(cè)法，標(biāo)記出人臉圖像中的特征點(diǎn)，利用圖像上的特征點(diǎn)以及初始三維人臉模型上與之對(duì)應(yīng)的特征點(diǎn)，計(jì)算模型到圖像的相機(jī)參數(shù)，與文獻(xiàn)[3]相同，相機(jī)參數(shù)采用弱透視投影。

利用相機(jī)參數(shù)，可以獲得初始三維人臉模型在每個(gè)圖像視角下的可見頂點(diǎn)及可見頂點(diǎn)的顏色信息。與文獻(xiàn)[18]相同，使用球諧函數(shù)，基于每個(gè)頂點(diǎn)的顏色信息即可更新頂點(diǎn)法線。

文獻(xiàn)[18]使用一個(gè)參考模型將問題轉(zhuǎn)化為求解圖像輻照度方程[I=ρln]的問題， 進(jìn)一步利用球諧函數(shù)將其表示為：

其中，[ρ]是物體表面反射率，[l]是光照系數(shù)，[n=（nx，ny，nz）]是物體表面頂點(diǎn)的法線，[Y（n）]是球諧基， 給出其前9項(xiàng)。

與文獻(xiàn)[11]相同，本文省略其中的常數(shù)項(xiàng)，將常數(shù)項(xiàng)歸入光照系數(shù)中。已有分析表明，一階諧波近似 （球協(xié)基中的前4項(xiàng)） 至少可捕捉87.5%的圖像信息，而實(shí)際使用時(shí)只考慮模型中面對(duì)相機(jī)的部分，因此實(shí)際精度接近95%;二階諧波近似 （球協(xié)基中的9項(xiàng)） 至少可以捕獲99.2%的信息[11]。因此為了便于求解，本文只使用球諧函數(shù)的第一階近似，既只使用[Y（n）]的前4項(xiàng)，使問題線性化。

由于公式（1）中[l]和[ρ]也是未知量，欲求[n]首先需計(jì)算出[l]、[ρ]。文獻(xiàn)[19]提到人臉上的局部陰影會(huì)影響光照系數(shù)和反射率精確度。因此為增加魯棒性將式（2）改寫為：

其中，[m]指第[m]張圖像，[lm]是圖像[m]的光照系數(shù)，[ρm，i]是頂點(diǎn)[i]在對(duì)應(yīng)于圖像[m]的反射率，[dm，i]是頂點(diǎn)[i]對(duì)應(yīng)于圖像[m]的反射率補(bǔ)償值，[vi]表示模型上第[i]個(gè)頂點(diǎn)，[Sm]表示參考模型在圖像[m]視角下的所有可見點(diǎn)，[nm，i]表示模型中頂點(diǎn)[i]在圖像[m]視角下的法線，[cm，i]表示頂點(diǎn)[i]在圖像[m]上的顏色，[Vi，ring]表示頂點(diǎn)[i]的相鄰點(diǎn)，[α]是反射率補(bǔ)償值平滑約束的權(quán)重。

基于公式（3）可以首先令圖像[m]視角下所有[ρm，i]等于該視角下所有[cm，i]的平均灰度值，并且所有補(bǔ)償值[dm，i]為0，此時(shí)公式（3）可簡(jiǎn)化為：

公式（4）可直接利用線性最小二乘求解獲得每張圖像光照系數(shù)，由于本文利用球諧函數(shù)的第一階近似，此[lm]是一個(gè)4行1列的向量。將公式（4）計(jì)算得到的光照系數(shù)代入式（3），且反射率仍固定不變，可以進(jìn)一步利用最小二乘法計(jì)算反射率補(bǔ)償值。將以上計(jì)算得到的光照系數(shù)和反射率補(bǔ)償值代入式（5）即可計(jì)算得到反射率為：

反射率計(jì)算完畢后，將補(bǔ)償值[dm，i]置零，用以下一次迭代使用。在計(jì)算得到[lm]、[ρm，i]后還不能直接使用公式（4）計(jì)算[nm，i]，因?yàn)榇藭r(shí)（4）是一個(gè)欠約束的問題，需要增加合理的約束項(xiàng)。最終優(yōu)化公式為：

其中[t]是迭代次數(shù)，當(dāng)[t=0]時(shí)，[nm，i]值為初始人臉模型上頂點(diǎn)[vi]的法線值。式（6）中第3項(xiàng)使更新后的法線不過于偏離初始值。

此時(shí)將已計(jì)算得到的[lm]、[ρm，i]代入式（6），可其簡(jiǎn)化為：

3 模型優(yōu)化

Nehab等[16]提出了一種利用頂點(diǎn)法線優(yōu)化三角形網(wǎng)格的方法，但是該方法需要已知所有頂點(diǎn)的法線，以此為約束使模型變形。本文與文獻(xiàn)[16]相同，首先定義：

其中，[vu，vw]是頂點(diǎn)[vi]的鄰居頂點(diǎn)，它們構(gòu)成1個(gè)三角形網(wǎng)格，[vu，vw]構(gòu)成[vi]的1條對(duì)邊。公式（8）約束每個(gè)頂點(diǎn)的法線須垂直于頂點(diǎn)的所有對(duì)邊，即利用更新后的法線改變初始模型中頂點(diǎn)位置。文獻(xiàn)[16]中的第二項(xiàng)約束可簡(jiǎn)化為：

其中，[vi]是更新后的頂點(diǎn)坐標(biāo)，[vi*]是更新前的頂點(diǎn)坐標(biāo)，[ti，1]、[ti，2]是[ni]的切平面中兩個(gè)相互垂直的單位向量，式（9）約束頂點(diǎn)沿著法線方向移動(dòng)，以保持模型網(wǎng)絡(luò)結(jié)構(gòu)。

但是在本文中，初始三維人臉模型在每個(gè)圖像的視角下只有一部分頂點(diǎn)是可見的，當(dāng)輸入圖像太少時(shí)，比如僅有1張時(shí)，會(huì)有大量頂點(diǎn)法線沒有通過計(jì)算得到更新;即使輸入圖像很多時(shí)也難以保證所有法線均能更新。故本文結(jié)合文獻(xiàn)[16]、[20]中的非剛性變形法使初始人臉模型變形，定義：

由于公式（8）已經(jīng)達(dá)到文獻(xiàn)[20]中通過局部旋轉(zhuǎn)變換改變頂點(diǎn)位置的目的，因此丟棄文獻(xiàn)[20]中的旋轉(zhuǎn)變換以減少需計(jì)算的參數(shù)數(shù)量。公式（10）要求模型中的每個(gè)頂點(diǎn)在改變位置時(shí)，須保持其與鄰居頂點(diǎn)的邊長(zhǎng)不變。最終目標(biāo)函數(shù)為：

其中，[λ1、λ2、λ3]分別是[En、Ep、Eedge]的權(quán)重，公式（11）同樣是一個(gè)線性最小二乘問題。利用公式（6）、（11）可以從圖像重建出網(wǎng)絡(luò)結(jié)構(gòu)一致的三維人臉模型。

4 實(shí)驗(yàn)

由于人臉角度不同，進(jìn)行特征點(diǎn)檢測(cè)時(shí)，人臉輪廓處特征點(diǎn)會(huì)有很大偏差，即正面人臉和側(cè)面人臉特征點(diǎn)位置并不一致。因此在生成初始3DMM模型時(shí)使用一張正面人臉，根據(jù)文獻(xiàn)[21]檢測(cè)的68個(gè)特征點(diǎn)生成初始模型;而在更新頂點(diǎn)法線時(shí)，為了可更好地使模型與每張圖像對(duì)齊，只使用內(nèi)部51個(gè)特征點(diǎn)，并且對(duì)于偏差過大的特征點(diǎn)，可手動(dòng)修正其位置。本文算法與其它算法對(duì)比如圖3所示。

從圖3可以看出，本文算法實(shí)現(xiàn)的三維人臉，立體細(xì)節(jié)更加真實(shí)豐富。

5 結(jié)語(yǔ)

現(xiàn)有三維人臉模型重建研究大多采用機(jī)器學(xué)習(xí)等方法，無法充分利用人臉一致性網(wǎng)絡(luò)結(jié)構(gòu)。本文針對(duì)傳統(tǒng)算法進(jìn)行優(yōu)化，提高了針對(duì)性，且成本低、效果好。相比于其它基于光照立體的三維人臉重建方法，本文利用局部剛性約束，使變形后的人臉模型與初始人臉模型具有一致的網(wǎng)絡(luò)結(jié)構(gòu)，從而使三維人臉立體性更強(qiáng)、真實(shí)度更高。

在使用SFS時(shí)，圖像與初始模型對(duì)齊程度對(duì)最終重建結(jié)果有很大影響，因此可通過提高初始模型與目標(biāo)人臉的相似度及特征點(diǎn)匹配準(zhǔn)確度，改進(jìn)重建結(jié)果。將來可進(jìn)一步將本文算法擴(kuò)展到基于視頻的三維人臉動(dòng)畫、三維人臉表情轉(zhuǎn)移等領(lǐng)域，拓展算法適用性。

參考文獻(xiàn)：

[1] LEO M J， MANIMEGALAI D. 3D modeling of human faces——a survey[C].? International Conference on Trendz in Information Sciences and Computing， 2011：40-45.

[2] BLANZ V，VETTER T. A morphable model for the synthesis of 3D faces[C]. Conference on Computer Graphics and Interactive Techniques，1999：187-194.

[3] PAYSAN P， KNOTHE R， AMBERG B， et al. A 3D face model for pose and illumination invariant face recognition[C]. IEEE International Conference on Advanced Video and Signal Based Surveillance，2009：296-301.

[4] BAS A， SMITH W A P， BOLKART T， et al. Fitting a 3D morphable model to edges： a comparison between hard and soft correspondences[DB/OL].? https：//arxiv.org/pdf/1602.01125.pdf.

[5] 董洪偉. 基于網(wǎng)格變形的三維人臉重建[J].? 計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)， 2012， 24（7）：932-940.

[6] WOODHAM R J. Photometric method for determining surface orientation from multiple images[J].? Optical Engineering，1980，19（1）：1-22.

[7] BASRI R， JACOBS D. Photometric stereo with general， unknown lighting[J].? International Journal of Computer Vision，2007，72（3）：239-257.

[8] HORN B K P. Obtaining shape from shading information[M].? Massachusetts：MIT Press，1989.

[9] LEE S W， WANG P， SVETLANA N， et al. Noniterative 3D face reconstruction based on photometric stereo[J].? International Journal of Pattern Recognition & Artificial Intelligence， 2008， 22（3）：389-410.

[10] KEMELMACHERSHLIZERMAN I， BASRI R. 3D face reconstruction from a single image using a single reference face shape[J].? IEEE Transactions on Pattern Analysis & Machine Intelligence， 2011， 33（2）：394-405.

[11] KEMELMACHERSHLIZERMAN I， Seitz S M. Face reconstruction in the wild[C]. IEEE International Conference on Computer Vision， 2012：1746-1753.

[12] SONG M， TAO D， HUANG X， et al. Three-dimensional face reconstruction from a single image by a coupled RBF network[J].? IEEE Transactions on Image Process， 2012， 21（5）：2887-2897.

[13] RICHARDSON E， SELA M， KIMMEL R. 3D face reconstruction by learning from synthetic data[C].? International Conference on 3D Vision， 2016：460-469.

[14] RICHARDSON E， SELA M， OREL R， et al. Learning detailed face reconstruction from a single image[C].? IEEE Conference on Computer Vision and Pattern ，2016：5553-5562.

[15] KEMELMACHER-SHLIZERMAN I，BASRI R. 3D face reconstruction from a single image using a single reference face shape[J].? IEEE Transactions on Pattern Analysis & Machine Intelligence，2011，33（2）：394-405.

[16] NEHAB D，RUSINKIEWICZ S，DAVIS J，et al. Efficiently combining positions and normals for precise 3D geometry[J].? ACM Transactions on Graphics，2005，24（3）：536-543.

[17] YANG C，CHEN J，SU N，ET AL. Improving 3D face details based on normal map of hetero-source images[C].? IEEE Conference on Computer Vision and Pattern Recognition Workshops，2016：9-14.

[18] ROTH J，TONG Y，LIU X. Adaptive 3D face reconstruction from unconstrained photo collections[C].? ?Las Vegas ：Proceedings of IEEE Computer Vision and Pattern Recognition，2018.

[19] ROTH J，TONG Y，LIU X. Unconstrained 3D face reconstruction[C].? IEEE Computer Vision and Pattern Recognition，2017：2606-2615.

[20] BOUAZIZ S， TAGLIASACCHI A， PAULY M. Dynamic 2D/3D registration[EB/OL]. https：//www.ixueshu.com/document/9f8b4eb4e828 cf8a318947a18e7f9386.html.

[21] RAMANAN D. Face detection， pose estimation， and landmark localization in the wild[C].? IEEE Conference on Computer Vision and Pattern Recognition， 2012：2879-2886.

（責(zé)任編輯：江 艷）