基于序列幀的三維人體重建*

鄭承緒, 姚劍敏,2, 嚴(yán) 群,2, 林志賢

(1.福州大學(xué) 物理與信息工程學(xué)院,福建 福州 350108；2.晉江市博感電子科技有限公司,福建 晉江 362200)

0 引 言

計(jì)算機(jī)技術(shù)和信息技術(shù)飛速發(fā)展,使得對(duì)使用三維技術(shù)的需求也與日俱增。三維建模的相關(guān)項(xiàng)目逐漸進(jìn)入到了社會(huì)的各行各業(yè),包括機(jī)械、醫(yī)學(xué)、影視娛樂(lè)甚至教育領(lǐng)域,三維技術(shù)都扮演著越來(lái)越重要的角色,成為計(jì)算機(jī)領(lǐng)域的重要課題之一。傳統(tǒng)意義上的三維人體模型的制作仍然是基于專業(yè)人員通過(guò)相應(yīng)的建模軟件將模型從無(wú)到有一步一步制作出來(lái),其中所需要消耗的時(shí)間和精力是十分巨大的?；蚴鞘褂萌S捕捉技術(shù)、三維掃描技術(shù)等進(jìn)行人體建模,但這需要在模特身上裝配大量定位設(shè)備、在環(huán)境中配置多個(gè)多功能攝像頭,專業(yè)度極高、器件價(jià)格也非常昂貴,難以在大眾領(lǐng)域應(yīng)用。

近年來(lái),深度學(xué)習(xí)算法廣泛發(fā)展,大量研究者開始通過(guò)多種方法訓(xùn)練神經(jīng)網(wǎng)絡(luò)以進(jìn)行三維重建工作。在人體建模方面,Danerek R等人[1]提出了通過(guò)利用動(dòng)作捕捉器獲得的人體和姿勢(shì)訓(xùn)練神經(jīng)網(wǎng)絡(luò)來(lái)估計(jì)三維頂點(diǎn)位移重建人所穿著的三維衣物。Kanazawa A等人[2]提出了不需要2D與3D配對(duì)監(jiān)督的三維人體重建,運(yùn)用三維回歸迭代和求解先驗(yàn)姿勢(shì)來(lái)對(duì)圖像中的人物進(jìn)行三維重建。Alldieck T等人[3]實(shí)現(xiàn)了只通過(guò)單目相機(jī)拍攝序列幀就能進(jìn)行的重建。在圖上標(biāo)注人體關(guān)鍵點(diǎn),利用鏡頭至人物輪廓的射線集視椎體的變換獲取數(shù)據(jù)并使用SMPL(skinned multi-person linear)[4]進(jìn)行重建。之后,Alldieck T等人又提出了一種基于深度學(xué)習(xí)的網(wǎng)絡(luò)模型[5]。能較之前使用更少的輸入圖像重建,并且提升了重建的速度和精度。Zheng Z等人[6]運(yùn)用卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network,CNN)以及多尺度特征轉(zhuǎn)換法,利用從SMPL模型、RGB圖像中重建人體及衣服。在面部重建與訓(xùn)練方面。劉成攀等人[7]提出了一種臉部三維重建方法,使用了自監(jiān)督的表征法映射特征實(shí)現(xiàn)三維人臉重建。Chen A等人[8]的方法回歸運(yùn)算單個(gè)輸入視圖的幾何殘差,來(lái)重建出較為精細(xì)的面部結(jié)構(gòu)。而Wu F等人[9]的方法基于多個(gè)輸入圖像,回歸運(yùn)算了可變形的面部模型。

本文受此啟發(fā),將端到端可學(xué)習(xí)的多視圖三維面部重建[10]與基于序列幀的三維人體重建[5]方法相結(jié)合,使用特征圖金字塔[11]和多損失函數(shù),結(jié)合了基于學(xué)習(xí)的方法的穩(wěn)定性以及幾何推斷方法的通用性,有效提升了重建精度。

1 方 法

闡述三維人體模型的生成與優(yōu)化。首先，介紹三維人體模型生成架構(gòu),包括編碼器和解碼器兩個(gè)模塊；接著,描述生成高精度面部模型的算法與內(nèi)部結(jié)構(gòu)；最后,介紹模型訓(xùn)練時(shí)引入的損失函數(shù)。

1.1 三維人體模型的生成

圖1所示為三維人體重建網(wǎng)絡(luò)模型框架。該網(wǎng)絡(luò)的作用是從單目RGB 相機(jī)拍攝的人物獲取輸入序列圖像,以創(chuàng)建一個(gè)與人物對(duì)應(yīng)的三維人體模型。該模型能夠一定程度地還原被拍攝者的身材外型,頭發(fā)以及衣服等內(nèi)容。由于人體是一個(gè)復(fù)雜的非剛性物體,為了盡量減小非剛性形變,需要拍攝保持一個(gè)大致的“A形姿勢(shì)”并旋轉(zhuǎn)一周的人物來(lái)進(jìn)行三維重建。為此而訓(xùn)練的CNN,能夠從數(shù)張輸入幀推斷出一個(gè)三維網(wǎng)格模型,并且能利用該網(wǎng)絡(luò)的解碼器部分來(lái)細(xì)化身體形狀以盡量還原被拍攝者的身材體型以及外觀。

圖1 三維人體重建網(wǎng)絡(luò)模型框架

該網(wǎng)絡(luò)使用了一種參數(shù)化的人體模型SMPL[4],能夠以調(diào)節(jié)參數(shù)以及調(diào)整偏移量的方式來(lái)體現(xiàn)人物的特定體型、衣著與頭發(fā)等特征。是將姿勢(shì)θ和形狀β映射到其總共6 890個(gè)頂點(diǎn)上來(lái)表示人體特征的函數(shù)。通過(guò)修改θ和β的值,以及在標(biāo)準(zhǔn)模型項(xiàng)T上加入偏移量D,就能通過(guò)如下函數(shù)獲得一個(gè)具有特定體型與姿態(tài)的人體模型

M(β,θ,D)=W(T(β,θ,D),J(β),θ,W)

(1)

式中W為具有權(quán)重W的線性混合函數(shù),J為骨骼關(guān)節(jié)點(diǎn)集。

盡管該模型能夠在一定程度上還原對(duì)象的體型和衣著外觀,并且只需要使用簡(jiǎn)單拍攝的單目RGB圖像序列就能生成，但也因此,重建出的模型肯定具有一定的誤差，尤其在于該模型對(duì)于臉部形狀細(xì)節(jié)的提取程度很低，但臉部是辨識(shí)一個(gè)人物的重要標(biāo)志之一，要實(shí)現(xiàn)更高精度的人體重建,更細(xì)致的臉部建模是一個(gè)關(guān)鍵。由此引入非剛體三維臉部建模方法[10]以提升重建的精確度。重建效果對(duì)比如圖2。

圖2 三維人體重建(左),使用面部?jī)?yōu)化重建(中),模特(右)

1.2 非剛體三維面部建模

本文引入非剛體三維面部建模來(lái)改善模型面部的精度。這是一個(gè)通過(guò)輸入的圖像序列之間的外觀一致性關(guān)系來(lái)建立面部三維模型的深度神經(jīng)網(wǎng)絡(luò)。該框架主要由：特征提取、生成自適應(yīng)性人臉模型和非剛體多圖像重建3個(gè)部分組成。在本節(jié)中,首先介紹非剛體多視圖重建部分是如何通過(guò)深度學(xué)習(xí)與求解器集成的,然后介紹自適應(yīng)性面部模型的原理,最后介紹多級(jí)重建方法和損失函數(shù)。

1.2.1 非剛體多輸入視圖的重建

給定同一個(gè)人物的M個(gè)不同表情與視角的面部圖像組{Ii}M,面部三維幾何估計(jì)Vi,和對(duì)應(yīng)的六自由度頭部姿勢(shì)pi,就可以通過(guò)在訓(xùn)練中盡可能降低外觀連續(xù)性的誤差與界標(biāo)擬合誤差來(lái)建立公式,命名為非剛體多視圖優(yōu)化。該方法能夠重建出高度還原被拍攝者樣貌的面部模型。本文將該模型應(yīng)用于文獻(xiàn)[5]的方法模型上,能夠顯著提升臉部模型的精細(xì)度。圖3顯示了非剛體多視圖建模方法的網(wǎng)絡(luò)框架。

圖3 非剛體多視圖重建網(wǎng)絡(luò)的框架

參數(shù)化：該結(jié)構(gòu)使用弱透視的相機(jī)將頭部姿勢(shì)模型參數(shù)化為p=(s,R,t)。其中，s為尺度因子,R為三維旋轉(zhuǎn)矩陣SO(3),t為二維空間坐標(biāo),表示p在二維圖像平面上的平移量。接著構(gòu)建三維到二維的投影函數(shù)∏,將三維空間的點(diǎn)v映射到二維圖像平面

(2)

然后參數(shù)化臉部形狀V=f(x)。其中,f(x)為生成器函數(shù),V為三維空間的參數(shù)。f(x)將低維度的參數(shù)向量x映射至含有所有頂點(diǎn)的三維坐標(biāo)向量上。因此,非剛體多視圖重建的參數(shù)就可以表示為X=(s,R,t,x)。

目標(biāo)函數(shù)

E=λαEα+λlEl

(3)

式中Eα為每一個(gè)輸入圖像之間的外觀一致性誤差,而El為臉部標(biāo)記的對(duì)齊誤差。兩個(gè)λ參數(shù)是用于平衡兩個(gè)目標(biāo)的權(quán)重。

通常來(lái)說(shuō),Eα的計(jì)算都是以圖像序列之間的圖像強(qiáng)度值變化為指標(biāo)的?？梢酝ㄟ^(guò)使用式(2)將每一張視圖的三維重建結(jié)果(Vi,pi)投影至二維圖像Ii上,并使用雙線性插值法獲取它們的圖像強(qiáng)度采樣。這樣就獲得了每一個(gè)頂點(diǎn)上對(duì)應(yīng)的圖像強(qiáng)度I(vi)。然后計(jì)算每一對(duì)不同的視圖(i和j)中對(duì)應(yīng)頂點(diǎn)之間的圖像強(qiáng)度之差,再對(duì)所有視圖中的所有該差值綜合取平均值?？偨Y(jié)獲得如下公式

(4)

(5)

(6)

1.2.2 目標(biāo)和求解器

極度非凸的強(qiáng)度空間可能會(huì)使得求解模型優(yōu)化變得非常困難,受到剛體三維重建[12]和動(dòng)作評(píng)估方法[13]的啟發(fā),引入了與此兩個(gè)方面相關(guān)的深度學(xué)習(xí)內(nèi)容。

(7)

步長(zhǎng)的預(yù)測(cè)：為了保證訓(xùn)練效果的穩(wěn)定與可靠,需要嚴(yán)格控制梯度下降的步長(zhǎng)α。但是該方法能夠根據(jù)所有的頂點(diǎn)和視圖的平均值和輸入圖像序列之間的絕對(duì)殘差來(lái)學(xué)習(xí)預(yù)測(cè)步長(zhǎng)α。

1.2.3 適應(yīng)性的臉部模型

為了能夠更好地利用現(xiàn)有的三維可變形模型而不受制于其表現(xiàn)能力,要使用含有2個(gè)線性子空間的適應(yīng)性人臉模型參數(shù)x=(xbfm,xadap)。臉部的形狀V如式(8)所示

(8)

F′i=F′fpn(Ii)

(9)

這樣就獲取了M個(gè)特征圖。接下來(lái)就能通過(guò)將這些特征圖和初步重建結(jié)果送入基準(zhǔn)網(wǎng)絡(luò)Fbasis以構(gòu)建出適應(yīng)性基準(zhǔn)Badap

(10)

1.2.4 多級(jí)重建

使用多級(jí)重建的方法以構(gòu)建出更加具有細(xì)節(jié)的三維人臉模型。具體而言,即將整個(gè)重建模型的過(guò)程劃分為3個(gè)等級(jí)l(l=1,2,3)逐步優(yōu)化

(11)

1.3 損失函數(shù)

給定網(wǎng)格真實(shí)值,FPN的步長(zhǎng)預(yù)測(cè)和基準(zhǔn)網(wǎng)絡(luò)Fbasis,在計(jì)算過(guò)模型之間的深度對(duì)齊與密集對(duì)齊之后,就能計(jì)算在每一次迭代、優(yōu)化時(shí)的每一個(gè)重建頂點(diǎn)和頂點(diǎn)真實(shí)值之間的距離L2。對(duì)于深度對(duì)齊項(xiàng),需要計(jì)算

(12)

(13)

其中，深度對(duì)齊損失Lv_dep也會(huì)對(duì)姿態(tài)進(jìn)行計(jì)算,而密集對(duì)齊損失Lv_den只計(jì)算模型之間的幾何誤差。

同時(shí),為了確保表面的方向正確,需要運(yùn)用余弦相似度來(lái)監(jiān)督每個(gè)頂點(diǎn)的法線

Lnorm=∑(1-cos(ngt,nalign))

(14)

為了在提高表面平滑度的同時(shí)保留細(xì)節(jié),還需要引入邊緣損失

(15)

式中E為預(yù)定義的標(biāo)準(zhǔn)模板邊緣。最后,還需要一個(gè)臉部標(biāo)記損失式Lland，和式(5)較為相似。綜上所述,得出綜合損失函數(shù)

L=λ1Lv_den+λ2Lv_den+λ3Lnorm+λ4Ledge+λ5Lland

(16)

式中λ1～5均為超參數(shù),用以調(diào)節(jié)不同損失項(xiàng)的權(quán)重。

2 實(shí)驗(yàn)與結(jié)果分析

2.1 數(shù)據(jù)集

本文采用ESRC三維臉部數(shù)據(jù)集進(jìn)行訓(xùn)練。該數(shù)據(jù)集包含超過(guò)130個(gè)不同年齡、不同膚色的人物的照片和對(duì)應(yīng)的高質(zhì)量三維掃描模型。其中大多數(shù)人物都含有8組不同表情的模型,每一組的掃描模型都帶有各個(gè)不同頭部偏航角的RGB圖像。

2.2 數(shù)據(jù)擴(kuò)充

由于這批數(shù)據(jù)的數(shù)量還不足以訓(xùn)練神經(jīng)網(wǎng)絡(luò),為了減少工作量,本文方法對(duì)圖像進(jìn)行了諸如曝光、壓暗等渲染處理,提高數(shù)據(jù)的多樣性,最終擴(kuò)充到大約7 000張。

2.3 實(shí)驗(yàn)配置

本文設(shè)計(jì)使用TensorFlow深度學(xué)習(xí)框架,通過(guò)Pytorch實(shí)現(xiàn)；使用Nvidia-1080Ti設(shè)備來(lái)訓(xùn)練網(wǎng)絡(luò)；計(jì)算機(jī)配置為Windows10操作系統(tǒng),8 G內(nèi)存。在多級(jí)優(yōu)化重建過(guò)程中,所使用特征圖的分辨率分別是32×32,64×64,128×128。這個(gè)過(guò)程還會(huì)在每級(jí)的運(yùn)算中對(duì)參數(shù)進(jìn)行3次的迭代更新。

2.4 結(jié)果分析

首先評(píng)估輸入視圖數(shù)量對(duì)該方法的影響。本文方法從數(shù)據(jù)集中被拍攝者的圖像中隨機(jī)選取4個(gè)圖像,并按照頭部偏角由小到大的順序進(jìn)行排序,分別測(cè)試輸入圖像數(shù)為2張、3張、4張時(shí)的重建效果。由于輸入2張圖像是使用的是首尾2張圖,故最后只計(jì)算第一張圖像和第四張圖像的誤差更為合理。結(jié)果如表1所示,通過(guò)引入更多的序列視圖,該方法的平均幾何誤差將會(huì)減少,證明了多視圖輸入對(duì)于降低誤差的有效性。最后一行是三維人體重建的平均頂點(diǎn)誤差對(duì)比。經(jīng)過(guò)實(shí)驗(yàn)得出,非剛性面部重建的頂點(diǎn)誤差在輸入4張以上圖像時(shí)達(dá)到收斂,誤差值為1.18 mm。而三維人體重建的頂點(diǎn)誤差在輸入8張以上圖像時(shí)達(dá)到收斂,臉部平均頂點(diǎn)誤差約為3.20 mm,明顯大于該方法的誤差,證明了使用非剛體臉部三維重建優(yōu)化的有效性,能夠顯著提升對(duì)象的面部辨識(shí)度。

表1 不同視圖輸入數(shù)的平均幾何誤差

此外,還需研究多級(jí)重建對(duì)于減小誤差的有效性。表2為使用BU3DFE數(shù)據(jù)集下的定量分析結(jié)果。

表2 多級(jí)重建下的誤差

可見,幾何誤差和標(biāo)準(zhǔn)差隨著每一級(jí)優(yōu)化而逐級(jí)降低,證明多級(jí)了優(yōu)化的有效性。圖4為三維人體重建結(jié)合了非剛體面部重建模型的效果對(duì)比。

圖4 (a)輸入圖集；(b)三維人體重建；(c)非剛體多視圖面部三維重建；(d)面部效果對(duì)比

表3為引入FPN的本文方法的面部重建與其他文獻(xiàn)[15,16]2種方法的誤差對(duì)比,證明了本文方法的有效性。表4為了驗(yàn)證本文方法在實(shí)際應(yīng)用時(shí)的有效性而進(jìn)行了一項(xiàng)調(diào)查。拍攝并生成了6組本文方法與文獻(xiàn)[5]的方法的三維重建模型,并向每個(gè)參與調(diào)查者展示和隨機(jī)詢問(wèn)：“哪個(gè)重建模型更加能辨認(rèn)出是圖像中的人(辨識(shí)度)、哪個(gè)模型具有更多的細(xì)節(jié)(細(xì)節(jié))”。

表3 與其他方法的誤差對(duì)比

表4 調(diào)查的結(jié)果 %

調(diào)查結(jié)果如表3所示，分別有超過(guò)96 %和超過(guò)97 %的參與調(diào)查者認(rèn)為本文方法所重建出的模型具有更高的辨識(shí)度和細(xì)節(jié),證明了本文方法的有效性。

3 結(jié)束語(yǔ)

本文詳細(xì)介紹了非剛性面部多視圖重建網(wǎng)絡(luò),這是為重建出高精度人臉三維模型而設(shè)計(jì)的。本實(shí)驗(yàn)在原有的通過(guò)單目RGB相機(jī)拍攝序列圖像以重建三維人體的模型中引入非剛性面部重建模型,添加FPN,能夠幫助重建出更高精度的面部模型。應(yīng)用于重建三維人體的面部時(shí),能夠顯著提升人物的辨識(shí)度。實(shí)驗(yàn)結(jié)果證明：面部頂點(diǎn)誤差能夠顯著降低,達(dá)到1 mm級(jí)別的誤差水平。以及在調(diào)查中超過(guò)96 %的參與者認(rèn)為本文方法具有更好的效果,證明了該方法對(duì)于大眾領(lǐng)域使用普通非專業(yè)設(shè)備就能獲得個(gè)性化的、識(shí)別度更高的三維模型有一定幫助。