基于圖卷積網(wǎng)絡(luò)的非參數(shù)化三維人體重建

謝昊洋，鐘躍崎

(1.華北水利水電大學(xué) 信息工程學(xué)院，河南 鄭州 450046； 2.東華大學(xué) 紡織學(xué)院，上海 201620；3.東華大學(xué) 紡織面料技術(shù)教育部重點(diǎn)實(shí)驗(yàn)室，上海 201620)

鑒于此，本文提出了一個(gè)端到端的解決方案，利用圖卷積網(wǎng)絡(luò)，直接預(yù)測三維人體網(wǎng)格模型的頂點(diǎn)坐標(biāo)。此外，本文將人體測量數(shù)據(jù)作為輸入之一，用于提高人體重建精度。

1 圖卷積網(wǎng)絡(luò)設(shè)計(jì)

1.1 掩碼圖像特征提取

本文方法利用圖卷積神經(jīng)網(wǎng)絡(luò)從幾何模型、掩碼圖像和人體測量數(shù)據(jù)這3種模態(tài)進(jìn)行機(jī)器學(xué)習(xí)，非參數(shù)化三維人體重建圖卷積網(wǎng)絡(luò)如圖1所示。對于掩碼圖像，使用ResNet-18[9]提取圖像特征。原因有二：①ResNet在許多視覺任務(wù)中都取得了極大的成功[10]；②相比于普通的RGB圖像，掩碼圖像更簡單，無需利用RessNet-50等更復(fù)雜的網(wǎng)絡(luò)架構(gòu)，同時(shí)，與RessNet-50等復(fù)雜架構(gòu)相比，ResNet-18消耗的內(nèi)存和計(jì)算資源更少。

圖1 非參數(shù)化三維人體重建圖卷積網(wǎng)絡(luò)

1.2 人體測量特征提取

對于人體測量數(shù)據(jù)，本文默認(rèn)采用5種人體測量尺寸，即身高、體重、胸圍、腰圍和臀圍。需要指出的是，本文所提出的網(wǎng)絡(luò)可以承載更多的人體測量數(shù)據(jù)。但從實(shí)際應(yīng)用而言，這5種測量尺寸是使用最廣泛且最容易獲取的。本文實(shí)驗(yàn)也評估了使用更多測量數(shù)據(jù)的重建效果。

由于人體的各項(xiàng)測量尺寸之間并非相互獨(dú)立，并且測量尺寸之間的量級可能存在較大差異，有可能導(dǎo)致模型在優(yōu)化過程中陷入局部極小值。因此，先通過一個(gè)全連接神經(jīng)網(wǎng)絡(luò)將原始測量數(shù)據(jù)映射到另一空間以獲取更加抽象的人體測量特征。之后，再將所得人體測量特征和從ResNet-18中提取出的圖像特征附著在網(wǎng)格頂點(diǎn)上，并利用圖卷積網(wǎng)絡(luò)對其進(jìn)行訓(xùn)練和學(xué)習(xí)，直接生成非參數(shù)化的人體網(wǎng)格模型。

1.3 圖卷積

對于三維幾何模型，可在網(wǎng)格上(如訓(xùn)練集中的三維人體模型)應(yīng)用圖卷積[11]。網(wǎng)格的頂點(diǎn)和邊可直接表示為無向圖(undirected graph)中的節(jié)點(diǎn)(node)和邊(edge)。利用圖卷積層對相鄰節(jié)點(diǎn)(頂點(diǎn))之間的特征進(jìn)行編碼，并最終預(yù)測三維頂點(diǎn)位置。本文使用了Kipf等[11]于2016年提出的一種定義在譜域的圖卷積算子，該算子也是目前使用最為廣泛應(yīng)用的圖卷積操作之一，具體定義為：

(1)

圖2(a)展示了非參數(shù)化圖卷積網(wǎng)絡(luò)架構(gòu)，包含了7個(gè)殘差圖卷積塊(Residual Graph Convolution Block, RGCB)，每個(gè)殘差圖卷積塊的設(shè)計(jì)如圖2(b)所示。借鑒ResNet的設(shè)計(jì)，添加一個(gè)跳躍連接以強(qiáng)化殘差圖卷積塊的輸入，降低了梯度消失(gradient vanishing)的風(fēng)險(xiǎn)，即使用式(1)表示的圖卷積算子替代3×3圖像卷積，并用一個(gè)線性層代替1×1卷積，同時(shí)仍使用ReLU函數(shù)作為激活函數(shù)。

圖2 非參數(shù)化人體重建圖卷積網(wǎng)絡(luò)架構(gòu)及殘差圖卷積塊

在網(wǎng)絡(luò)訓(xùn)練過程中，需要將三維網(wǎng)格作為輸入，但由于本文實(shí)驗(yàn)環(huán)境中GPU內(nèi)存的限制，在訓(xùn)練時(shí)很難設(shè)置較大的批大小(batch size)，而之前的研究結(jié)果已經(jīng)證明，批歸一化(Batch Normalization，BN)對于較小的批大小無明顯作用，因此，使用組歸一化(Group Normalization，GN)替換原來的批歸一化[15]。

本文提出了一種基于MDS和KL濾波器相結(jié)合的機(jī)器人傳感器網(wǎng)絡(luò)節(jié)點(diǎn)有效定位跟蹤算法.使用4個(gè)已知位置的信標(biāo),可實(shí)現(xiàn)對任意位置處節(jié)點(diǎn)的定位.利用MDS提供了所有傳感器節(jié)點(diǎn)的成對距離矩陣,針對MDS法定位中受到噪聲的影響,特別是當(dāng)傳感器節(jié)點(diǎn)遠(yuǎn)離其他傳感器節(jié)點(diǎn)時(shí),噪聲水平會(huì)增加,引入KL濾波器有效降低了噪聲引起的定位干擾.通過仿真實(shí)驗(yàn)驗(yàn)證了該算法的有效性,表明該算法在定位精度上優(yōu)于傳統(tǒng)的MDS和EKL跟蹤算法，同時(shí)，該算法有效地降低了實(shí)際環(huán)境中的噪聲影響,具有很好解決移動(dòng)傳感器定位問題的潛力,滿足了高精度定位的實(shí)際要求.

對于輸入和輸出維度不等的情況，在跳躍連接上添加一個(gè)額外的線性層，以保證在輸出上進(jìn)行正確的逐元素相加(element-wise addition)。對于利用2張掩碼(如人體的正面加側(cè)面照片)進(jìn)行重建的情況，節(jié)點(diǎn)特征維度為1 032=512×2+5+3；對于單張掩碼(如僅使用人體的正面照片)的圖卷積重建，節(jié)點(diǎn)特征維度為520=512+5+3。另外，通過實(shí)驗(yàn)發(fā)現(xiàn)7個(gè)殘差圖卷積塊的堆疊是重建精度和訓(xùn)練消耗之間的最佳折衷方式。少于7個(gè)圖卷積塊會(huì)導(dǎo)致重建精度明顯下降，超過7個(gè)圖卷積塊則會(huì)消耗更多的內(nèi)存及計(jì)算資源，卻并未在重建精度上帶來明顯提升。

1.4 損失函數(shù)

為了得到精確可靠的重建結(jié)果，用于三維人體重建的圖卷積神經(jīng)網(wǎng)絡(luò)的損失函數(shù)應(yīng)包含多個(gè)方面。首先，由于本文所提出的神經(jīng)網(wǎng)絡(luò)可以直接預(yù)測出三維網(wǎng)格的頂點(diǎn)坐標(biāo)，因此，損失函數(shù)中首先要包含對真實(shí)頂點(diǎn)和預(yù)測頂點(diǎn)之間逐點(diǎn)誤差的衡量。令V∈N×3表示真實(shí)的網(wǎng)格頂點(diǎn)，N×3表示預(yù)測的人體網(wǎng)格頂點(diǎn)，則頂點(diǎn)間的誤差損失定義為：

(2)

此外，由于網(wǎng)絡(luò)顯式地融入了人體測量參數(shù)，因此，損失函數(shù)的設(shè)計(jì)應(yīng)達(dá)到最小化真實(shí)尺寸與預(yù)測尺寸之間的誤差。令M∈5表示真實(shí)的測量尺寸，5表示根據(jù)預(yù)測的三維人體模型提取的測量尺寸，則測量損失可定義為：

LM=‖M-M‖2

(3)

(4)

(5)

其中，N(vi)表示頂點(diǎn)vi的1環(huán)(one-ring)鄰接頂點(diǎn)。結(jié)合式(2)～(5)，可將非參數(shù)化三維人體重建圖卷積網(wǎng)絡(luò)的損失函數(shù)完整地定義為：

LNon-param=LV+LM+LΔ

(6)

2 重建結(jié)果與分析

2.1 數(shù)據(jù)集

本文使用Yang等[16]發(fā)布的SPRING(Semantic Parametric ReshapING)三維人體數(shù)據(jù)集，其中男性1 517個(gè)，女性1 529個(gè)。SPRING數(shù)據(jù)集中所有的人體網(wǎng)格都具有相同的頂點(diǎn)數(shù)和相似的姿態(tài)，便于計(jì)算點(diǎn)到點(diǎn)的損失LV。此外，本文首先采用Xie等[17]的方法對所有人體進(jìn)行預(yù)處理，以保證人體關(guān)鍵點(diǎn)之間的對應(yīng)關(guān)系。最后，從中選擇300個(gè)體型各異的三維人體作為測試集，其中男女各150個(gè)，其余的作為男女人體各自的訓(xùn)練集。

2.2 實(shí)施及訓(xùn)練細(xì)節(jié)

所有實(shí)驗(yàn)均在一臺(tái)搭載Intel i7 7700HQ，2.8 GHz CPU，16 G內(nèi)存，和一塊顯存為8 G的NVIDIA GeForce GTX 1070顯卡的PC機(jī)上進(jìn)行，并使用PyTorch深度學(xué)習(xí)框架驗(yàn)證算法的性能和計(jì)算效率。

如前所述，對于男性和女性人體的重建，本文采用相同的圖卷積網(wǎng)絡(luò)架構(gòu)，但借助于不同的模板。具體地，使用男女?dāng)?shù)據(jù)集中的均值體型作為各自網(wǎng)絡(luò)的模板。實(shí)驗(yàn)中也測試了其他模板，但最終發(fā)現(xiàn)均值體型可略微加速網(wǎng)絡(luò)收斂。由于SPRING數(shù)據(jù)集僅提供了基于真實(shí)掃描的三維人體網(wǎng)格，不包含任何紋理信息或相應(yīng)的二維渲染，因此，對于每個(gè)三維人體網(wǎng)格，首先使用OpenGL中的“render-to-texture”技術(shù)渲染出三維網(wǎng)格的正面及側(cè)面掩碼圖像。此外，由于使用了預(yù)訓(xùn)練的ResNet-18作為掩碼圖像特征提取器，因此所有掩碼圖像的大小在輸入網(wǎng)絡(luò)之前被縮放為224×224。對于非參數(shù)化人體重建圖卷積網(wǎng)絡(luò)的訓(xùn)練，本文采用Adam優(yōu)化器，初始學(xué)習(xí)率為0.001，每隔5輪(epoch)進(jìn)行0.5倍的衰減，批大小設(shè)置為2，共訓(xùn)練17輪。

非參數(shù)化人體重建圖卷積網(wǎng)絡(luò)共包含了約160 M個(gè)參數(shù)，訓(xùn)練時(shí)長約12.5 h。待訓(xùn)練完成之后，根據(jù)訓(xùn)練所得模型參數(shù)，可以在不到1 s內(nèi)重建出一個(gè)包含了12 500個(gè)頂點(diǎn)的三維人體網(wǎng)格模型。

2.3 實(shí)驗(yàn)與分析

本文中第1項(xiàng)消融實(shí)驗(yàn)是觀察式(6)中有無拉普拉斯平滑項(xiàng)LΔ對重建結(jié)果的影響。為此，這里忽略了拉普拉斯平滑項(xiàng)LΔ，并重新訓(xùn)練了非參數(shù)化圖卷積網(wǎng)絡(luò)。圖3展示了是否包含LΔ的重建結(jié)果的對比。其中圖3(a)為真值，圖3(b)是未使用拉普拉斯平滑項(xiàng)LΔ的重建結(jié)果，圖3(c)是包含LΔ的重建結(jié)果。可以看到，二者之間的差異是非常明顯的。對于缺失LΔ的情況，在優(yōu)化過程中，所有的頂點(diǎn)過分追求最小化的點(diǎn)到點(diǎn)損失，這產(chǎn)生了許多尖銳的頂點(diǎn)，進(jìn)而導(dǎo)致不光滑的曲面。然而，加入平滑項(xiàng)LΔ之后，所有頂點(diǎn)的移動(dòng)會(huì)受到其相鄰頂點(diǎn)運(yùn)動(dòng)的影響，使得相鄰的頂點(diǎn)產(chǎn)生相似的運(yùn)動(dòng)，進(jìn)而產(chǎn)生相對平滑的網(wǎng)格曲面。該實(shí)驗(yàn)也證明，對于人體這樣形狀較為復(fù)雜、包含網(wǎng)格頂點(diǎn)較多的三維網(wǎng)格模型，僅僅使用點(diǎn)到點(diǎn)損失難以產(chǎn)生視覺效果良好的重建結(jié)果。

圖3 有無拉普拉斯平滑項(xiàng)目LΔ的重建結(jié)果對比

類似地，忽略式(5)中的測量損失項(xiàng)LM并對網(wǎng)絡(luò)重新訓(xùn)練來研究該損失對重建結(jié)果的影響。圖4展示了有無測量損失LM的重建結(jié)果之間的差異。其中，圖4(a)是來自于測試集中的真值，圖4(b)是不涉及測量損失LM的重建結(jié)果，圖4(c)是包含LM的重建結(jié)果，圖4(d)采用熱力圖的方式對圖4(a)和圖4(b)進(jìn)行比對，圖4(e)是圖4(a)和圖4(c)的熱力圖比對。圖4(d)和圖4(e)中顏色條的范圍不同，單位均為cm。通過圖4可以直觀地看到，二者的身高存在明顯差異，其他差異可在相應(yīng)的對比熱圖中觀察到。雖然已經(jīng)采用了點(diǎn)到點(diǎn)損失，理論上，如果優(yōu)化理想，即每個(gè)頂點(diǎn)都被神經(jīng)網(wǎng)絡(luò)回歸到了正確的位置(即損失函數(shù)優(yōu)化為零)，測量損失LM是可以忽略的。然而，在實(shí)際中，這是不可能達(dá)到的。因此，本文顯式地融入人體測量并輔以相應(yīng)的損失項(xiàng)LM，類似于將人體測量作為一種約束條件，該策略也與條件生成對抗網(wǎng)絡(luò)(Conditional GAN)的思想吻合。為了進(jìn)一步驗(yàn)證融合人體測量數(shù)據(jù)的有效性，分別在男性和女性測試集上計(jì)算了5種人體測量誤差。表1列出具體的數(shù)值統(tǒng)計(jì)結(jié)果，其中WA(With Anthropometry)表示包含測量損失、WOA(Without Anthropometry)表示不包含測量損失，誤差采用均值±標(biāo)準(zhǔn)差(Mean±Std)的形式表示，單位為cm?？梢钥吹剑梭w測量的重建結(jié)果在每項(xiàng)測量值上均優(yōu)于不包含測量尺寸的重建結(jié)果，這說明將人體測量直接融入網(wǎng)絡(luò)是有效的。

圖4 有無測量數(shù)據(jù)及相關(guān)損失對重建結(jié)果的影響

表1 有無使用測量數(shù)據(jù)的重建精度對比

為了進(jìn)一步驗(yàn)證本文提出的方法，將測試結(jié)果同Kolotouros等[14]、Ji等[13]和Dibra等[12]提出的三維人體重建網(wǎng)絡(luò)進(jìn)行了對比。對于Kolotouros等的方法，本文使用了作者訓(xùn)練好的模型。對于Ji等和Dibra等提出的方法，通過復(fù)現(xiàn)其網(wǎng)絡(luò)架構(gòu)，并使用作者建議的超參數(shù)在同一數(shù)據(jù)集上對網(wǎng)絡(luò)進(jìn)行重新訓(xùn)練，分別訓(xùn)練27個(gè)輪次和35個(gè)輪次后得到了較好的重建結(jié)果。需要指出的是，Kolotouros等提出的是一個(gè)利用單張RGB圖像重建三維人體的非參數(shù)化方法，而Ji等提出的是利用2張掩碼圖像重建三維人體的參數(shù)化方法。通過回歸SPCAE模型的形狀空間，即主成分(PCA)空間，完成三維人體重建。類似地，Dibra等也利用2張掩碼完成人體重建。為了比對的合理性，使用一個(gè)未出現(xiàn)在任何一個(gè)網(wǎng)絡(luò)訓(xùn)練過程中的真實(shí)三維人體，并使用各自網(wǎng)絡(luò)要求的輸入進(jìn)行重建對比實(shí)驗(yàn)。換言之，在Kolotouros等的方法中輸入一個(gè)真實(shí)人體的RGB圖像，在Ji等和Dirba等的網(wǎng)絡(luò)中輸入該真實(shí)人體對應(yīng)的2張掩碼圖像，其結(jié)果如圖5所示。

圖5 不同重建方法對比

圖5(a)和(d)展示了不同方法要求的輸入表示，圖5(b)(c)(e)和(f)展示了各個(gè)算法的重建結(jié)果。視覺上，本文方法明顯優(yōu)于其他3種方法。Kolotouros等的方法對于該人體的重建幾乎是失敗的，重建結(jié)果包含大量噪聲，并且各項(xiàng)測量尺寸均明顯不符。與Kolotouros等方法的對比可以說明，在非參數(shù)化圖卷積網(wǎng)絡(luò)中融入人體測量數(shù)據(jù)可明顯提高重建效果。Ji等的方法實(shí)際上回歸了參數(shù)空間，故重建的三維人體曲面相對于Kolotouros等的結(jié)果明顯光滑。然而，Ji等的方法由于缺乏人體測量值的約束且過分依賴訓(xùn)練數(shù)據(jù)，導(dǎo)致重建人體較真實(shí)人體偏胖。Dibra等利用了Sun等[18]提出的熱核簽名(Heat Kernel Signature, HKS)和非均勻縮放的掩碼圖像作為輸入，重建結(jié)果在人體數(shù)據(jù)測量方面明顯優(yōu)于Kolotouros等和Ji等的方法，但仔細(xì)觀察會(huì)發(fā)現(xiàn)，重建人體的腰部仍與真實(shí)人體存在差異。

表2列出了4種算法針對該真實(shí)人體的重建結(jié)果在人體測量學(xué)上的量化對比，可以看出，本文方法在各個(gè)尺寸上均達(dá)到了最優(yōu)。表3展示了測試集上更為全面的量化對比結(jié)果(Kolotouros等方法以單張圖片作為輸入，其重建精度不具備比較條件，且從圖5中可以看出其重建結(jié)果嚴(yán)重失真)。除已采用的5種測量尺寸之外，本文還計(jì)算了8種在服裝和人體測量領(lǐng)域廣泛使用的關(guān)鍵數(shù)據(jù)，包括頸圍、肩寬、臂長、前臂長、股圍、小腿肚周長、內(nèi)側(cè)腿長和頸點(diǎn)到襠底點(diǎn)長度。可以看到，本文的重建結(jié)果在各項(xiàng)指標(biāo)上均達(dá)到最優(yōu)。

表 2 針對圖5中真實(shí)人體的定量比較

表 3 不同重建方法的定量對比

3 結(jié) 論

本文提出了一種新的圖卷積網(wǎng)絡(luò)架構(gòu)用于非參數(shù)化三維人體重建，并設(shè)計(jì)了相應(yīng)的殘差圖卷積塊。該網(wǎng)絡(luò)只需輸入人體掩碼圖像和5種人體測量學(xué)尺寸，便可直接預(yù)測三維人體網(wǎng)格的頂點(diǎn)坐標(biāo)。實(shí)驗(yàn)證明，將人體測量學(xué)尺寸顯式地作為輸入并輔以相應(yīng)的損失函數(shù)是有效的，人體重建精度大幅提升，各項(xiàng)測量尺寸均小于1 cm；本文也同其他優(yōu)秀方法進(jìn)行了對比，本方法無論在視覺效果上還是在人體測量尺寸上，均優(yōu)于之前的方法；此外，本文方法是快速高效的，可在不到1 s內(nèi)重建出一個(gè)包含了12 500個(gè)頂點(diǎn)的三維人體網(wǎng)格模型。