基于SMPL可變模型和單幅圖像的動(dòng)畫(huà)三維重建方法

肖志良 李中華

1(佛山職業(yè)技術(shù)學(xué)院電子信息學(xué)院 廣東 佛山 528137)

2(中山大學(xué)智能工程學(xué)院 廣東 廣州 510006)

0 引 言

隨著計(jì)算機(jī)多媒體相關(guān)技術(shù)的快速發(fā)展,三維重建[1-2]技術(shù)逐漸普及,其應(yīng)用常出現(xiàn)在網(wǎng)絡(luò)媒體和商品中,如線上產(chǎn)品介紹與營(yíng)銷、虛擬現(xiàn)實(shí)的體驗(yàn)產(chǎn)品等。由于三維重建可帶給人們完全不同于二維的視覺(jué)感官和體驗(yàn),且應(yīng)用范圍廣泛,因此,該領(lǐng)域的研究具有較大商業(yè)價(jià)值和意義。

目前較多的方法是采用了視頻動(dòng)畫(huà)方法,如文獻(xiàn)[3]提出一種“視頻紋理”方法,從視頻中創(chuàng)建較大長(zhǎng)度的視頻,從動(dòng)作捕捉視頻中生成特定于人物的視頻紋理。文獻(xiàn)[4]通過(guò)在時(shí)間和空間中對(duì)給定視頻進(jìn)行分割來(lái)創(chuàng)建具有運(yùn)動(dòng)效果的圖像,但運(yùn)動(dòng)幅度非常有限。文獻(xiàn)[5]提出一個(gè)完整的重建系統(tǒng)用于恢復(fù)包含多個(gè)剛體運(yùn)動(dòng)目標(biāo)的視頻動(dòng)態(tài)場(chǎng)景結(jié)構(gòu),主要通過(guò)大尺度光流法獲得特征點(diǎn)軌跡,并在此基礎(chǔ)上對(duì)獨(dú)立目標(biāo)進(jìn)行姿態(tài)估計(jì)。文獻(xiàn)[6]提出基于圖像特征點(diǎn)匹配的視頻三維重建方法,對(duì)特征點(diǎn)一定鄰域內(nèi)圖像的紋理、結(jié)構(gòu)以及其他特征進(jìn)行統(tǒng)計(jì),采用體繪制法完成圖像序列的三維重建,但該方法的重建效率較低。

與視頻或圖像集合相比,從單幅圖像中進(jìn)行動(dòng)畫(huà)重建,也可實(shí)現(xiàn)較好的效果,所需的信息較少,且約束條件較少。如文獻(xiàn)[7]利用梯度場(chǎng)修改的方法將樣本表情映射到輸入人臉上,對(duì)輸入圖像的眼睛部分進(jìn)行紋理合成處理,并創(chuàng)建人臉變化。文獻(xiàn)[8]利用大姿態(tài)三維人臉重建技術(shù),基于可變形模型的三維人臉圖像重建方法,對(duì)一幅人臉圖像進(jìn)行姿態(tài)調(diào)整并重建,以滿足人臉匹配的條件。但該方法無(wú)法對(duì)人臉動(dòng)畫(huà)做后續(xù)處理,屬于靜態(tài)重建。文獻(xiàn)[9]針對(duì)自由曲面的表面無(wú)紋理、曲率變化不可預(yù)測(cè)特點(diǎn),提出了一種基于網(wǎng)格投影的三維重建方法,將網(wǎng)格條紋投影到自由曲面表面,使得自由曲面具有確定的可識(shí)別紋理與特征。但未能較好解決網(wǎng)格邊框線條和內(nèi)部線條交叉區(qū)域畸變,從而影響曲線擬合。文獻(xiàn)[10]提出一種利用手繪人體動(dòng)作草圖到三維骨骼模型的重建方法,將三維骨骼模型渲染為二維圖像來(lái)建立維度映射關(guān)系,使用基于深度卷積神經(jīng)網(wǎng)絡(luò)對(duì)圖像分類模型進(jìn)行構(gòu)建。該方法需要大量離線樣本的學(xué)習(xí),且必須在沒(méi)有自遮擋的理想情況下進(jìn)行。針對(duì)單幅圖像中3D人體形態(tài)估計(jì),文獻(xiàn)[11]提出了捕捉各種不同的人體三維形態(tài)SMPL模型,其中,SMPL是一種參數(shù)化(可微分)的人體模型。并證明該模型可有效進(jìn)行3D姿態(tài)和形狀估計(jì),然而,該方法不能重建全3D模型。文獻(xiàn)[12]提出一種單幅圖像重建動(dòng)作的視圖場(chǎng)景表示方法,利用場(chǎng)景幾何的強(qiáng)先驗(yàn)信息提高姿態(tài)估計(jì)的精度,利用多視圖多點(diǎn)光線完成人體動(dòng)作姿態(tài)重建。但該方法需要較多的場(chǎng)景約束先驗(yàn)知識(shí),場(chǎng)景設(shè)定較為固化。文獻(xiàn)[13]利用深度神經(jīng)網(wǎng)絡(luò)和SMPL模型,提出了用于單視角人體姿態(tài)估計(jì)的端到端框架,并研究人體與紋理圖的稠密對(duì)應(yīng)關(guān)系。但不一定適用于動(dòng)畫(huà)重建。

大部分單幅圖像人物動(dòng)畫(huà)制作方法主要著眼于2D或偽3D動(dòng)畫(huà),與此不同,本文旨在提供全3D體驗(yàn),并考慮到人物著裝,尋求動(dòng)畫(huà)繪制解決方法。且提出的方法支持部分遮擋的處理,特別是身體前方的手臂所造成的遮擋。與以往方法相比,所提方法能夠較好完成各種樣例的3D動(dòng)畫(huà)重建,并提供更好的增強(qiáng)現(xiàn)實(shí)體驗(yàn)。

1 提出的重建方法

本文研究的核心技術(shù)問(wèn)題是如何從單幅圖像中重建出可動(dòng)畫(huà)、紋理化的3D網(wǎng)格。所提方法的流程如圖1所示。首先執(zhí)行人物檢測(cè)、分割和2D姿態(tài)估計(jì)。利用上述結(jié)果,創(chuàng)建裝配網(wǎng)格。其后,將SMPL模板模型[13]擬合到2D姿態(tài),并投影到圖像中,作為法線貼圖和蒙皮貼圖。所提方法的主要思想在于：找到人物輪廓與SMPL輪廓之間的映射,將SMPL法線/蒙皮貼圖扭曲到輸出,通過(guò)優(yōu)化SMPL網(wǎng)格上的頂點(diǎn)位置,并考慮到輪廓邊界,避免擠壓,以及自相交,強(qiáng)制SMPL模型適應(yīng)輪廓。利用整合扭曲后的法線圖建立深度圖。重復(fù)該過(guò)程,以模擬模型的背面視圖,并結(jié)合深度圖和蒙皮圖,以創(chuàng)建完整的裝配后3D網(wǎng)格。同時(shí)在修補(bǔ)背景上使用運(yùn)動(dòng)捕捉序列對(duì)網(wǎng)格做進(jìn)一步紋理化和動(dòng)畫(huà)繪制。

圖1 方法主要流程

1.1 網(wǎng)格扭曲、裝配和蒙皮

首先,針對(duì)沒(méi)有自遮擋的對(duì)象建立裝配網(wǎng)格的程序。對(duì)SMPL輪廓進(jìn)行扭曲,以匹配原始圖像中的目標(biāo)人物輪廓;然后,向投影SMPL法線貼圖和蒙皮貼圖應(yīng)用該扭曲。得出的法線貼圖和蒙皮貼圖用于構(gòu)建人物正面視圖和背面視圖。

從人物的2D姿態(tài)和輪廓遮罩S開(kāi)始,為簡(jiǎn)單起見(jiàn),本文用S表示一個(gè)集合以及一個(gè)函數(shù),即作為人物輪廓內(nèi)所有像素的集合,以及一個(gè)二元函數(shù)(對(duì)于輪廓內(nèi)像素x,S(x)=1;對(duì)于輪廓外像素x,S(x)=0)。為構(gòu)建帶骨架裝配的3D網(wǎng)格,首先利用文獻(xiàn)[13]提出的方法將SMPL模型擬合到2D輸入姿態(tài),該操作同時(shí)也會(huì)恢復(fù)相機(jī)參數(shù)。其后,將該網(wǎng)格投影到相機(jī)視圖中,以形成一個(gè)輪廓遮罩SSMPL。對(duì)于像素x∈SSMPL,該投影還額外提供了深度圖ZSMPL(x)、法線貼圖NSMPL(x)以及蒙皮貼圖WSMPL(x)。從SMPL模型中頂點(diǎn)蒙皮權(quán)重中推導(dǎo)出蒙皮貼圖。

基于SSMPL和輸入圖像的輪廓遮罩S,對(duì)ZSMPL、NSMPL和WSMPL進(jìn)行扭曲,以分別建立輸出深度圖(位于人物輪廓處)Z?S(x∈?S)、法線貼圖N(x)和蒙皮貼圖W(x)。具體來(lái)說(shuō),尋求平滑逆扭曲f(x),以使得：

S(x)=SSMPL(f(x))

(1)

然后,將該扭曲應(yīng)用到深度圖和蒙皮貼圖：

(2)

根據(jù)實(shí)證經(jīng)驗(yàn),設(shè)Z(x)=ZSMPL(f(x)),得出的網(wǎng)格在z軸方向上常會(huì)過(guò)平。

扭曲程序一般會(huì)對(duì)平面中的幾何形狀進(jìn)行拉伸(SMPL模型通常比著裝對(duì)象更薄,甚至常會(huì)比未著裝的對(duì)象更薄),但不會(huì)對(duì)深度進(jìn)行拉升。為解決該問(wèn)題,對(duì)法線貼圖進(jìn)行扭曲,以到達(dá)N(x)處。然后,對(duì)其進(jìn)行整合以生成Z(x)。具體來(lái)說(shuō),對(duì)于像素x∈?S,求解稀疏線性系統(tǒng)[14],從而生成在邊界約束Z(x)=Z?S(x)下,與扭曲后的法線貼圖N(x)高度相符的Z(x)。

為構(gòu)建逆向扭曲函數(shù)f(x),有很多可用的平滑扭曲函數(shù)供選擇。本文選擇了基于均值坐標(biāo)的平滑扭曲函數(shù),因?yàn)樵擃惡瘮?shù)在不自交的平面多邊形的整個(gè)平面上均有著明確定義,能夠較好地滿足所提方法的要求。具體來(lái)說(shuō),給定輸入輪廓的閉合多邊形邊界上的點(diǎn)(頂點(diǎn))的有序集合,pi∈?S=(p0,p1,…,pm-1),則可以將S內(nèi)的任何一個(gè)點(diǎn)表示為：

(3)

其中,(λ0(x),λ1(x),…,λm-1(x))為任意x∈S相對(duì)于邊界頂點(diǎn)pi的均值坐標(biāo)。

假定存在對(duì)應(yīng)函數(shù)φ,該函數(shù)可利用SMPL輪廓邊界上的點(diǎn)：

(4)

其后,利用式(3)的相同均值坐標(biāo),將扭曲函數(shù)定義為：

(5)

實(shí)踐中,通過(guò)f(x)進(jìn)行扭曲時(shí)可能會(huì)產(chǎn)生空洞,即由于?S和?SSMPL之間的非雙射映射而產(chǎn)生的較小區(qū)域(其中f(x)?SSMPL)。對(duì)于該問(wèn)題,可在扭曲后的法線和蒙皮權(quán)重貼圖中平滑地填充這些空洞。為重建人物背面,對(duì)擬合SMPL模型的背面視圖進(jìn)行虛擬渲染,建立人物遮罩鏡像,然后應(yīng)用上文描述的扭曲方法即可。

1.2 自遮擋問(wèn)題的解決

在人物對(duì)象存在自遮擋,即人體某部分遮住另一部分之上的情況下,僅從二元輪廓中重建單個(gè)深度圖(例如正面)并不足以解決該問(wèn)題[15]。為處理自遮擋問(wèn)題,本文通過(guò)人體標(biāo)簽圖將身體分割為多個(gè)部位,補(bǔ)完被部分遮擋的區(qū)段,然后,使用1.1節(jié)描述的方法對(duì)每個(gè)部分進(jìn)行重建。提出方法的流程如圖2所示。

圖2 自遮擋問(wèn)題解決的流程

1.2.1初始身體標(biāo)簽

投影SMPL模型提供的人體標(biāo)簽參考圖LSMPL與圖像不夠一致。本文利用標(biāo)簽參考圖,通過(guò)兩個(gè)步驟構(gòu)建最終標(biāo)簽圖：① 估計(jì)每個(gè)像素x∈S的初始標(biāo)簽圖Linit,盡可能與LSMPL相似;② 在遮擋邊界處重新定義Linit,其中標(biāo)簽的間斷面應(yīng)該與輸入圖像的邊重合。

通過(guò)對(duì)馬爾可夫隨機(jī)場(chǎng)(MRF)目標(biāo)函數(shù)進(jìn)行最小化,以求解初始(粗糙)身體標(biāo)簽圖Linit：

(6)

式中：

(7)

(8)

N(p)為p的八近鄰?；诘絃SMPL中具有相同標(biāo)簽的最近點(diǎn)距離得到U(·)的標(biāo)簽,由此鼓勵(lì)Linit的形狀與LSMPL相似;V(·)則鼓勵(lì)了空間相關(guān)標(biāo)簽。

1.2.2身體標(biāo)簽微調(diào)

接下來(lái),對(duì)身體標(biāo)簽圖進(jìn)行改良,以更明確地區(qū)分遮擋邊界。

當(dāng)有著不同部位標(biāo)簽的兩個(gè)像素在圖像中為近鄰關(guān)系,但兩者在3D身體表面上并不是鄰近像素時(shí),即會(huì)出現(xiàn)遮擋邊界。為識(shí)別這些像素,首先,依次計(jì)算各個(gè)身體部位的扭曲函數(shù)f,該函數(shù)將每個(gè)身體部位Linit=映射到相應(yīng)的身體部位LSMPL=。其后,沿著Linit的手臂部位的邊界,對(duì)于具有不同標(biāo)簽的每對(duì)鄰近像素(p,q),確定相應(yīng)的投影SMPL位置(fLinit(p)(p),fLinit(q)(q)),將其反投影到SMPL網(wǎng)格上,并檢查其在表面上是否彼此鄰近。如果并不接近,則將這些像素識(shí)別為遮擋像素。最后,在這些遮擋像素周圍擴(kuò)張,以生成一個(gè)遮擋遮罩O。結(jié)果如圖2(c)所示。

現(xiàn)在,對(duì)O內(nèi)的標(biāo)簽進(jìn)行微調(diào),以更好地跟蹤圖像I中的顏色不連續(xù)性,得到最終的身體標(biāo)簽圖L。為此,定義另一個(gè)MRF：

(9)

U(L(p))=-log(GMM(L(p),I(p)))

(10)

V(L(p),L(q))=C(L(p),L(q))e-β‖I(p)-i(q)‖2

(11)

(12)

式中：GMM(L(p),I(p))為使用高斯混合模型建模,將顏色I(xiàn)(p)的像素p標(biāo)記為L(zhǎng)(p)的概率。依據(jù)SMPL模型[13]參數(shù)設(shè)定,一般γ取8,β的定義如下：

(13)

式中：〈·〉表示取遮擋遮罩O中所有成對(duì)的鄰近像素的均值。

一般通過(guò)擴(kuò)展迭代方法[16]求解該問(wèn)題,在每次迭代中,利用最新估計(jì)出的L(L初始時(shí)為L(zhǎng)init)重新估計(jì)高斯混合模型GMM(·),最終身體標(biāo)簽圖如圖2(d)所示。

1.2.3網(wǎng)格構(gòu)建

在完成身體標(biāo)簽并恢復(fù)遮擋形狀后,按各個(gè)部位依次投射SMPL模型,以得到每個(gè)部位的SMPL深度、法線和蒙皮權(quán)重圖,然后按照1.1節(jié)方法構(gòu)建身體部位網(wǎng)格(圖2(h)),并將其組合在一起得到最終的身體網(wǎng)格(圖2(i))。最后,應(yīng)用Laplacian平滑,以減少由于二元輪廓分割所造成的沿著網(wǎng)格邊界的鋸齒偽跡。

1.3 其他簡(jiǎn)單遮擋的解決

為了使得問(wèn)題的解決方案更加魯棒性,這里討論一下其他簡(jiǎn)單遮擋(非自遮擋)的處理方式,值得一提,這種遮擋只限于簡(jiǎn)單小部分遮擋。首先對(duì)圖像進(jìn)行標(biāo)簽初始化,明確遮擋的罩蓋位置和大小,由于是其他物體的遮擋,需要將身體和物體分割。然后,將遮擋的物體移除,重新繪制身體部分,并對(duì)移除后的空洞區(qū)域按照一定程序進(jìn)行蒙皮。最后,按照1.1節(jié)方法對(duì)身體各部分進(jìn)行重建,為了進(jìn)一步改良身體標(biāo)簽圖,采用1.2.2節(jié)的標(biāo)簽微調(diào)方法,恢復(fù)遮擋形狀后,完成網(wǎng)絡(luò)構(gòu)建。

1.4 頭部姿態(tài)糾正與紋理化

對(duì)于動(dòng)畫(huà)繪制來(lái)說(shuō),頭部姿態(tài)的準(zhǔn)確度非常重要,但SMPL的頭部姿態(tài)通常是不正確的。為此,檢測(cè)圖像中的面部基準(zhǔn)點(diǎn),并尋找能夠?qū)崿F(xiàn)檢測(cè)到的面部基準(zhǔn)點(diǎn)與相應(yīng)的投影3D基準(zhǔn)點(diǎn)的3D頭部姿態(tài)。完成頭部深度圖的重建后,應(yīng)用平滑扭曲,將投影3D基準(zhǔn)點(diǎn)與圖像基準(zhǔn)點(diǎn)完全對(duì)齊。在未檢測(cè)到面部或基準(zhǔn)點(diǎn)的情況下,省略該步驟。

對(duì)于目標(biāo)人物的正面,將圖像投影到幾何體上。使用PatchMatch[17]對(duì)被遮擋的正面身體部位進(jìn)行填充。本文提供了兩個(gè)選項(xiàng)：(1) 將正面紋理的鏡像拷貝粘貼到背面;(2) 通過(guò)指導(dǎo)用戶進(jìn)行手動(dòng)修復(fù)。對(duì)于第2個(gè)選項(xiàng),通過(guò)身體標(biāo)簽圖來(lái)引導(dǎo)身體背面的修復(fù),利用具有相同身體標(biāo)簽的區(qū)域進(jìn)行紋理繪制。用戶可輕易更改這些標(biāo)簽圖,例如用頭發(fā)紋理來(lái)填充頭部背面。最后,利用泊松混合理論[18-19]將正面和背面的紋理拼接在一起。

2 實(shí)驗(yàn)結(jié)果與分析

本文從互聯(lián)網(wǎng)上下載滿足本文方法所需規(guī)格的圖像,主要為全身照,大部分為正面圖,共70幅照片,包括藝術(shù)作品、海報(bào)、涂鴉等,對(duì)提出的方法進(jìn)行了測(cè)試,并與其他方法進(jìn)行比較。

2.1 用戶接口的構(gòu)建

實(shí)驗(yàn)建立了一個(gè)用戶接口界面,如圖3所示,并提供以下用戶互動(dòng)：1) 修改動(dòng)畫(huà)：默認(rèn)動(dòng)畫(huà)為“奔跑”,而用戶可以固定一些身體部位,改變序列,修改姿態(tài),并讓模型從修改后的姿態(tài)開(kāi)始執(zhí)行一個(gè)動(dòng)作。2) 在有必要時(shí),對(duì)自動(dòng)檢測(cè)包圍盒、骨架、分割和身體標(biāo)簽圖進(jìn)行微調(diào)。3) 針對(duì)目標(biāo)人物背面,選擇使用鏡像紋理;或通過(guò)編輯身體標(biāo)簽圖進(jìn)行調(diào)整。

圖3 用戶接口界面

姿態(tài)編輯處理樣例如圖4所示。在用戶界面中,網(wǎng)格是透明的,以顯示出身體骨架。通過(guò)選擇并拖拽關(guān)節(jié),用戶可以改變相應(yīng)骨骼的方向。這樣可以生成包含編輯后姿態(tài)的新圖像。

圖4 姿態(tài)編輯處理樣例

一些動(dòng)漫人物的重建結(jié)果如圖5所示。左邊為輸入圖像,右邊為重建的結(jié)果,重建結(jié)果選取的是單幅圖像幀,如果將多個(gè)連續(xù)的重建結(jié)果組合在一起,則可以形成一個(gè)三維動(dòng)畫(huà)效果。

2.2 與其他方法的比較

圖6和圖7是針對(duì)兩幅常見(jiàn)的卡通圖像的重建結(jié)果,比較的方法是兩種優(yōu)秀的方法：文獻(xiàn)[11]和文獻(xiàn)[13]?？梢钥闯?文獻(xiàn)[13]未能正確處理目標(biāo)人物的輪廓,因此,該方法重建的結(jié)果中出現(xiàn)多處缺失的部分,如圖6中的“孫悟空”頭部有明顯缺失,腳部、腿部等軀干有明顯的消減效果。同理,圖7中的人物頭部和軀干部分大面積缺失,細(xì)節(jié)部分非常粗糙。本文方法明顯優(yōu)于文獻(xiàn)[13]。由于實(shí)際3D建模,所提方法在靜態(tài)幀中出現(xiàn)的畸變比文獻(xiàn)[13]的方法要小得多,且所提方法可以3D體驗(yàn)(例如AR)。而文獻(xiàn)[13]方法則無(wú)此功能。本文還進(jìn)行了定性觀察,讓一些用戶在兩種方法的結(jié)果中選擇更接近現(xiàn)實(shí)的動(dòng)畫(huà),共收到120位參與者的回復(fù),其中89%的用戶選擇了本文方法。

(a) 輸入圖像 (b) 文獻(xiàn)[13]

文獻(xiàn)[11]的方法對(duì)SMPL網(wǎng)格進(jìn)行優(yōu)化,從而對(duì)單目視頻序列中的旋轉(zhuǎn)人體對(duì)象的輪廓進(jìn)行近似匹配。該方法使用120個(gè)輸入幀,并對(duì)目標(biāo)權(quán)重做了相應(yīng)調(diào)整。而本文在相同的2D人物姿態(tài)和分割之外,還向其方法額外提供了120個(gè)輸入圖像副本。與本文方法相比,文獻(xiàn)[11]方法不能很好地?cái)M合輪廓。舉例來(lái)說(shuō),平滑SMPL部分的復(fù)雜度不夠,從圖6(c)可以看出,“孫悟空”的頭部映射為較大的鋸齒狀頭發(fā),對(duì)于握緊的拳頭或抽線藝術(shù)手臂,未處理好手指細(xì)節(jié)。同樣的,在圖7(c)中,其頭部與手部有多處缺失,且衣服的紋理沒(méi)有較好地保留。文獻(xiàn)[11]的不足之處主要源自于過(guò)強(qiáng)的人物形狀先驗(yàn)知識(shí),不適用于處理例如卡通人物或抽象畫(huà)等案例。而所提方法在細(xì)節(jié)處理方面較好,手部、頭發(fā)等細(xì)節(jié)部分得到了較好地保留和再現(xiàn)。

表1是各方法的綜合比較情況,對(duì)于評(píng)價(jià)指標(biāo),遮擋處理可以增加方法的適用性,增加虛擬現(xiàn)實(shí)體驗(yàn)可以使得用戶獲得更加真實(shí)的體驗(yàn);SMPL模型是目前公認(rèn)的最佳人體模型之一,適用于各種人體形狀和姿態(tài);用戶接口可以增加用戶的參與度,增強(qiáng)方法的人性化設(shè)計(jì)。從這四個(gè)方面可以看出本文方法更優(yōu)。

表1 綜合比較結(jié)果

在計(jì)算效率方面,本文方法的主要耗時(shí)集中在：對(duì)SMPL輪廓進(jìn)行扭曲、匹配的計(jì)算過(guò)程,以及身體標(biāo)簽圖的初始化計(jì)算(如有遮擋)。以卡通人物“孫悟空”為例(256×448),其運(yùn)行總時(shí)間為3.76 s,提供了120個(gè)輸出幀,繪制出3D動(dòng)畫(huà),即圖像幀以大于30幀/s的幀率播放,給人眼以實(shí)時(shí)的播放效果。文獻(xiàn)[11]的主要耗時(shí)集中在SMPL的網(wǎng)格優(yōu)化和對(duì)旋轉(zhuǎn)人體輪廓的匹配計(jì)算上,幀率估計(jì)在25幀/s和35幀/s之間,基本上達(dá)到實(shí)時(shí)播放的效果。文獻(xiàn)[13]的SMPL計(jì)算時(shí)間并不多,但需要較多時(shí)間進(jìn)行深度神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí),沒(méi)有達(dá)到實(shí)時(shí)播放的效果。

3 結(jié) 語(yǔ)

本文提出了從單幅圖像中創(chuàng)建人物3D動(dòng)畫(huà)的方法,通過(guò)可變姿態(tài)模板人體模型的形變來(lái)擬合人體的復(fù)雜輪廓,在單幅圖像中以3D形式重建并呈現(xiàn)人物動(dòng)畫(huà)的應(yīng)用,且可以處理部分自遮擋問(wèn)題。所提方法適用于多種類型的全身正面照,包括體育照片、藝術(shù)作品或海報(bào)等。此外,本文還提出了一個(gè)交互接口,允許改變3D人物的姿態(tài)。

所提方法能夠處理頭部、軀干或腿部被手臂遮擋了一部分的情況。但其他類型的遮擋,如坐下時(shí)的交叉遮擋難以處理,這將是本文未來(lái)研究方向。