單目RGB穿衣人體的手部精細(xì)化重建

摘 要：為解決單目穿衣人體在復(fù)雜姿態(tài)下手部形狀重建存在遮擋和缺失的失真問題，提出了一種結(jié)合ECON與MANO手部模型，實(shí)現(xiàn)高效穿衣人體的手部精細(xì)化重建方法H-ECON（hand-focused explicit clothed humans obtained from normals）。具體而言，該方法首先以類型無(wú)關(guān)的手部檢測(cè)器聚焦手部區(qū)域并進(jìn)行翻轉(zhuǎn)和裁剪；然后，引入注意力機(jī)制用于增強(qiáng)對(duì)手部區(qū)域的感知能力，空洞螺旋卷積則更好地捕捉手部不同尺度的特征；最后，獨(dú)特的融合模塊確保了手部重建與整身模型的融合效果。在FreiHAND和HanCo公開數(shù)據(jù)集上與其他方法的定量定性對(duì)比結(jié)果表明了H-ECON的有效性，其獨(dú)立手部模塊明顯優(yōu)于ECON中的替代手部模塊。H-ECON實(shí)現(xiàn)了對(duì)人體手部幾何和姿態(tài)變化的精確描述，進(jìn)一步縮小了2D圖像生成到3D人體網(wǎng)格之間的差距。

關(guān)鍵詞：手部重建；穿衣人體；注意力機(jī)制；空洞螺旋卷積；深度幾何學(xué)習(xí)

中圖分類號(hào)：TP391.9"" 文獻(xiàn)標(biāo)志碼：A

文章編號(hào)：1001-3695（2025）01-042-0300-07

doi： 10.19734/j.issn.1001-3695.2024.02.0112

Hand-focused reconstruction of monocular RGB clothed humans

Abstract：To solve the problem of occlusion and missing distortion in hand shape reconstruction of monocular clothed human body under complex posture， this paper proposed an efficient hand refinement reconstruction method H-ECON， which combined ECON and MANO to achieve efficient hand refinement reconstruction in the clothed body. Specifically， the method firstly focused on the hand region with a type-independent hand detector and performed flipping and cropping. Then， the method enhanced the perception ability of the hand area through attention mechanism， and dilated spiral convolution can better capture the features of the hand at different scales. Finally， the unique fusion module ensured effective integration between the hand reconstruction and the entire body model. Quantitative and qualitative comparisons with other methods on the FreiHAND and HanCo publicly available datasets demonstrate the effectiveness of H-ECON， and its standalone hand module is significantly superior to the alternative hand module in ECON. H-ECON enables accurate descriptions of the geometry and pose changes of human hands， further narrowing the gap between 2D image generation and 3D human mesh.

Key words：hand reconstruction; clothed human; attention mechanism; dilated spiral convolution; deep geometry learning

0 引言

通過單目RGB圖像重建三維人體是構(gòu)建計(jì)算模型以理解人類行為線索的核心技術(shù)之一。究其本質(zhì)，人類行為的細(xì)微差別往往是通過臉部、手勢(shì)和身體姿勢(shì)甚至著裝來傳達(dá)。而手部作為人與世界交互的主要媒介之一，在VR/AR、智能機(jī)器人和人機(jī)交互等領(lǐng)域備受矚目。然而，傳統(tǒng)的整身重建方法在捕捉手部的細(xì)節(jié)特征上仍然存在一些挑戰(zhàn)，單獨(dú)處理手部重建則會(huì)導(dǎo)致缺乏整體人體結(jié)構(gòu)和動(dòng)作的上下文信息。為了克服這些局限性，近年來的研究趨勢(shì)強(qiáng)調(diào)了對(duì)整身重建的局部性研究，以獲取更為完整和準(zhǔn)確的人體模型，而相較于復(fù)雜的多視角攝影系統(tǒng)，基于單張RGB圖像的重建方法更為經(jīng)濟(jì)和便捷。

得益于SMPL[1]、STAR[2]、SMPL-X[3]等參數(shù)化人體模型的成功，包含手部的整身人體重建日益流行，但無(wú)論是基于像素對(duì)齊隱式函數(shù)的PIFu[4]和PIFuHD[5]，基于預(yù)測(cè)的人體法向圖和SMPL人體模型的ICON[6]及后續(xù)ECON[7]，還是結(jié)合NeRF[8]相關(guān)的人體重建方法，通常是訓(xùn)練單個(gè)模型來評(píng)估整個(gè)人體部位，本質(zhì)上受到缺乏準(zhǔn)確和多樣的全身運(yùn)動(dòng)數(shù)據(jù)的限制，雖能確保人體各部分的一致性和協(xié)調(diào)性，但其手部在面對(duì)行為分析、動(dòng)畫和醫(yī)療等細(xì)分領(lǐng)域中的重建效果較差。

現(xiàn)有手部重建方法以及SMPL-X模型的手部多基于MANO[9]手部參數(shù)模型，直接回歸MANO形狀和姿勢(shì)系數(shù)簡(jiǎn)潔且直接，但系數(shù)估計(jì)是一個(gè)高維抽象的問題，忽略了空間相關(guān)性。為減少內(nèi)存消耗，Moon等人[10]基于體素表示并使用一維熱力但仍效果欠佳。Karunratanakul等人[11]利用隱式函數(shù)具有連續(xù)性和高分辨率的優(yōu)點(diǎn)重建手部都取得了不錯(cuò)的效果，但分辨率的增加往往以占用大量?jī)?nèi)存為代價(jià)。近年來有NIMBLE[12]手部模型結(jié)合肌肉和骨骼以實(shí)現(xiàn)更高精度，但其頂點(diǎn)數(shù)將近MANO模型20倍，難以滿足消費(fèi)級(jí)應(yīng)用所需的實(shí)時(shí)性和交互性。

整身重建易導(dǎo)致手部細(xì)節(jié)缺失，而手部單獨(dú)重建缺乏整體運(yùn)動(dòng)依賴。從單張RGB圖像重建穿衣人體的最新工作ECON同樣存在手部失真問題，通過在SMPL-X上疊加d-BiNI[7]生成的前后表面得到穿衣人體，其手部區(qū)域極易受到前后表面誤差的干擾，雖提供了手部替換方案，但面對(duì)遮擋、交叉等問題仍不如單獨(dú)手部重建，由于ECON本身內(nèi)嵌SMPL-X人體模型，使得利用更為先進(jìn)的手部工作替換裸露手部成為可能。

為解決上述研究面臨的手部重建精度不足以及內(nèi)存消耗問題，本文提出了融合帶有注意力機(jī)制的殘差模型和空洞螺旋卷積的單目RGB手部頂點(diǎn)回歸方法。得益于殘差連接的設(shè)計(jì)，殘差模型避免了梯度消失和參數(shù)爆炸等問題，注意力機(jī)制的引入能更好地關(guān)注手部區(qū)域特征。傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)通過卷積和池化層逐漸減小特征圖的空間分辨率，而空洞螺旋卷積能在不損失空間分辨率的情況下進(jìn)行特征提取，并且能更好地抓取手部頂點(diǎn)在不同空間尺度上的信息。通過SE-ResNet[13]和空洞螺旋卷積[14]組成的編碼-解碼器直接預(yù)測(cè)3D頂點(diǎn)坐標(biāo)，對(duì)比傳統(tǒng)基于CNN回歸手部參數(shù)的方法，消除了對(duì)手部空間關(guān)系的不良影響。通過簡(jiǎn)單有效地整合模塊，能夠?qū)⑹植抗ぷ髑度朐跓o(wú)縫、極端姿勢(shì)下表現(xiàn)良好并且?guī)в幸路薨櫟娜碜藨B(tài)估計(jì)輸出中。本文的主要貢獻(xiàn)包括：

a）提出端到端的手部精細(xì)化人體重建模塊化系統(tǒng)H-ECON，解決了原ECON在進(jìn)行手部重建時(shí)的姿態(tài)失真問題，以單張RGB圖像作為輸入即可重建出手部精細(xì)化的穿衣人體網(wǎng)格模型。

b）引入與手部類型無(wú)關(guān)的檢測(cè)模塊，聚焦手部區(qū)域，完成識(shí)別、裁剪和翻轉(zhuǎn)等操作，為后續(xù)的手部重建提供準(zhǔn)確的輸入數(shù)據(jù)。

c）提出帶有注意力機(jī)制和空洞螺旋卷積的手部模塊，無(wú)須大規(guī)模數(shù)據(jù)集，手部即使存在遮擋也能實(shí)現(xiàn)良好的重建效果。

d）選取模糊核與數(shù)據(jù)集進(jìn)行卷積，通過運(yùn)動(dòng)模糊增強(qiáng)數(shù)據(jù)集，提高了模型的泛化和魯棒性。

1 相關(guān)工作

1.1 統(tǒng)計(jì)身體建模

作為人體統(tǒng)計(jì)模型中的代表，SCAPE[15]和SMPL簡(jiǎn)單地忽略手部關(guān)節(jié)和面部表情，并將身體變形分解為身份依賴和姿態(tài)依賴。SCAPE首次將人體幾何分解為三部分變形：姿態(tài)相關(guān)的形狀變化、個(gè)體差異導(dǎo)致的形態(tài)變化以及基于人體鉸鏈結(jié)構(gòu)定義的剛性變形。引入軟組織變形可作為SCAPE的延伸，雖能夠模擬各種真實(shí)的軟組織運(yùn)動(dòng)，然而，基于三角形旋轉(zhuǎn)變形的方法存在額外的內(nèi)存開銷，并且與大多數(shù)動(dòng)畫軟件不兼容，限制了SCAPE的通用性。

SMPL是基于頂點(diǎn)的線性模型，結(jié)合身份變形與骨架蒙皮變形成為現(xiàn)使用最廣泛的人體模型。在此基礎(chǔ)上，SMPL+H[9]增加對(duì)手部細(xì)節(jié)的處理，Hesse等人[16]提出了類似SMPL的統(tǒng)計(jì)嬰兒模型SMIL，STAR引入?yún)?shù)稀疏算法，將參數(shù)量減少到了多人線性蒙皮模型的20%，這些都極大地促進(jìn)了SMPL譜系的發(fā)展。本文采用SMPL模型的改進(jìn)版本：SMPL-X，加入了對(duì)面部表情、手指、眼睛等細(xì)節(jié)的建模，以增強(qiáng)對(duì)人體表面細(xì)節(jié)的表達(dá)能力，同SMPL一樣支持可微渲染，對(duì)后續(xù)使用深度神經(jīng)網(wǎng)絡(luò)回歸SMPL-X的參數(shù)提供了基礎(chǔ)，該模型包含10 475個(gè)人體表面頂點(diǎn)和54個(gè)人體關(guān)節(jié)點(diǎn)（在本文中僅考慮52個(gè)，不包括左右眼姿勢(shì)）。

1.2 MANO手部模型

手部重建中，主流方法多基于MANO，一種可進(jìn)行非剛性形變的手部網(wǎng)格模型。然而，基于MANO模型的方法需要估計(jì)模型的低維姿態(tài)和形狀參數(shù)，微小的參數(shù)變化會(huì)沿運(yùn)動(dòng)學(xué)樹傳播到許多網(wǎng)格頂點(diǎn)，導(dǎo)致手部姿態(tài)發(fā)生明顯變化。相比之下，不依賴模型的方法通過深度神經(jīng)網(wǎng)絡(luò)直接估計(jì)手部表面網(wǎng)格頂點(diǎn)的3D位置，但對(duì)密集手部表面網(wǎng)格頂點(diǎn)的位置進(jìn)行估計(jì)較為困難?；贑NN回歸網(wǎng)格頂點(diǎn)坐標(biāo)的方法[17]破壞了輸入圖像中像素之間的空間關(guān)系，而Moon等人[10]則通過線性熱圖對(duì)手部表面網(wǎng)格的3D熱圖進(jìn)行拆分，保留了圖像與像素之間的空間關(guān)系，以更小的代價(jià)實(shí)現(xiàn)更精細(xì)的手部重建。

本文采用了一種新的思路，將手部表面網(wǎng)格看作是由頂點(diǎn)數(shù)目和連接關(guān)系確定的圖結(jié)構(gòu)數(shù)據(jù)，通過基于GCN的網(wǎng)絡(luò)恢復(fù)手部表面網(wǎng)格。利用SE-ResNet和空洞螺旋卷積構(gòu)建的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，避免了基于CNN的回歸方法對(duì)手部空間關(guān)系的不良影響，這種方法能夠從粗略到細(xì)致地恢復(fù)網(wǎng)格頂點(diǎn)，確保了手部重建網(wǎng)絡(luò)的魯棒性。

1.3 穿衣人體重建

引入幾何先驗(yàn)SMPL不僅提高了人體重建姿態(tài)的穩(wěn)定性，還為穿衣人體重建奠定了基礎(chǔ)。SMPL+D（SMPL model + displacements）模型是通過在SMPL頂點(diǎn)上添加偏移來模擬緊身服裝，其表示簡(jiǎn)單而緊湊，但在處理與SMPL拓?fù)浣Y(jié)構(gòu)不一致的衣物并進(jìn)行頂點(diǎn)綁定時(shí)，容易產(chǎn)生扭曲。為克服參數(shù)化對(duì)穿衣人體復(fù)雜拓?fù)涞南拗?，一些研究采用了隱式表示進(jìn)行人體重建。Jackson等人[18]使用端到端的體素回歸網(wǎng)絡(luò)，直接對(duì)各種輸入進(jìn)行三維人體幾何體素回歸。TetraTSDF[19]通過單個(gè)RGB圖像和TSDF技術(shù)實(shí)現(xiàn)穿衣人體的重建，而ARCH[20]則結(jié)合了SMPL參數(shù)化的人體網(wǎng)格和隱式曲面函數(shù)，為重建的網(wǎng)格物體分配蒙皮權(quán)重并支持動(dòng)畫。盡管隱式表示能夠靈活表示復(fù)雜幾何結(jié)構(gòu)，但仍難以解釋。

當(dāng)前SOTA的ECON結(jié)合顯式參數(shù)模型和深度隱式函數(shù)，將人體的先驗(yàn)信息SMPL-X depth作為幾何軟約束引入到法線積分的優(yōu)化方程中，并使用d-BiNI只在法線貼圖上進(jìn)行積分，以保持與附近表面的連續(xù)性，這使得結(jié)果已包含嚴(yán)格的SMPL-X參數(shù)化模型。這對(duì)本文的關(guān)鍵工作如手部替換以及將來生成完全可設(shè)置動(dòng)畫的化身提供了有力支持。ECON通過PIXIE[21]來回歸SMPL-X參數(shù)，但更注重于臉部表情和皮膚紋理，可能導(dǎo)致手部失真問題。為解決這一問題，本文運(yùn)用類型無(wú)關(guān)的手部檢測(cè)器來準(zhǔn)確識(shí)別目標(biāo)區(qū)域的手部姿態(tài)，通過直接回歸手部頂點(diǎn)的方法完成手部的精確重建，以此完成ECON中的手部替換。

2 H-ECON模型設(shè)計(jì)與實(shí)現(xiàn)

本文提出H-ECON模型，如圖1所示。首先，接受單目圖像I作為輸入，通過PIXIE方法生成SMPL-X的赤身人體模型，并將其與輸入圖像I輸入ECON，獲得待處理的完整人體模型。然后，手部區(qū)域被重塑為224×224×3的手部RGB圖像，在輸入網(wǎng)絡(luò)之前，左手被翻轉(zhuǎn)成右手，通過編碼-解碼器結(jié)構(gòu)回歸MANO手部模型頂點(diǎn)。最后，通過整合模塊將MANO手部模型替代ECON中相對(duì)簡(jiǎn)單的手部模型，從而得到完整的輸出模型O。

2.1 手部檢測(cè)模塊

手部區(qū)域的截取依賴于兩個(gè)關(guān)鍵組件：身體姿勢(shì)估計(jì)器（pose estimator）和類型無(wú)關(guān)的手部檢測(cè)器（hand detector）。首先，通過第三視角圖像輸入，pose estimator對(duì)整個(gè)圖像進(jìn)行分析，重點(diǎn)關(guān)注人體關(guān)鍵點(diǎn)的定位，如頭部、肩膀、手腕等。根據(jù)pose estimator輸出的手腕關(guān)鍵點(diǎn)位置確定目標(biāo)區(qū)域，然后在該區(qū)域內(nèi)使用專門的hand detector，用于快速而準(zhǔn)確地檢測(cè)手部的位置和姿態(tài)。

2.2 手部頂點(diǎn)回歸

手部模塊如圖2所示，編碼器使用帶有注意力機(jī)制的殘差網(wǎng)絡(luò)從輸入圖像中提取特征，解碼器利用帶有池化層的空間卷積直接解碼圖像編碼以回歸手部模型頂點(diǎn)。

2.2.1 SE-ResNet殘差編碼

如圖3所示，編碼器采用了融合SENet模塊和ResNet網(wǎng)絡(luò)的SE-ResNet-50作為主干網(wǎng)絡(luò)，解碼器則使用空洞螺旋卷積技術(shù)以捕獲手部多尺度特征。

SENet中注意力機(jī)制的實(shí)現(xiàn)主要依賴全局平均池化層和兩個(gè)全連接層。首先，通過全局平均池化層對(duì)C×W×H特征圖進(jìn)行降維，得到1×1×C的特征向量，接著使用兩個(gè)卷積層來學(xué)習(xí)通道之間的關(guān)聯(lián)性。第一個(gè)全連接層壓縮C個(gè)通道為C/r，本文中取r=16以獲得最佳效果。而第二個(gè)卷積層則對(duì)壓縮后的特征解碼并加權(quán)，在實(shí)驗(yàn)中用帶有3SymboltB@3卷積核的卷積層來替代，以減少圖片的語(yǔ)義損失。最終，這些加權(quán)的特征被用來增強(qiáng)原始特征，以更好地捕捉圖像中的語(yǔ)義信息。

表1顯示了三種不同網(wǎng)絡(luò)結(jié)構(gòu)的配置：ResNet-18（左）、ResNet-50（中）、SE-ResNet-50（右）。方括號(hào)內(nèi)描述了殘差模塊的形狀、操作和具體的參數(shù)設(shè)置，而方括號(hào)外指明了每個(gè)階段中堆疊的塊數(shù)量。在fc后表示SE模塊中兩個(gè)卷積層的輸出尺寸。以單次224×224像素的輸入圖像正向傳播為例，ResNet-50需要大約3.86 GFLOPs，而SE-ResNet50則需要約3.87 GFLOPs，計(jì)算復(fù)雜度增加了0.26%，但在一半的計(jì)算開銷下接近了更深的ResNet-101（7.58 GFLOPs）網(wǎng)絡(luò)所實(shí)現(xiàn)的性能。

2.2.2 螺旋卷積解碼

1）螺旋算子 在解碼器中，采用螺旋補(bǔ)丁算子來構(gòu)建空間鄰域。Lim等人[22]提出了一種定義中心頂點(diǎn)v的相鄰螺旋選擇方法，如式（1）所示，按照特定順序?qū)盤元素進(jìn)行操作。這個(gè)方法有助于確定頂點(diǎn)的鄰域結(jié)構(gòu)，從而進(jìn)一步提高解碼器的性能。

0－ring（v）={v}（k+1）－ring（v）=N（k－ring（v））＼k－disk（v）k－disk（v）=∪i=0…ki－ring（v）（1）

其中：N（V）是與集合V中的任何頂點(diǎn)相鄰的所有頂點(diǎn)的集合。

將螺旋長(zhǎng)度表示為l，那么S（v，l）是由k環(huán)串聯(lián)的l個(gè)頂點(diǎn)組成的有序集。通過只連接最后一個(gè)環(huán)的一部分，以確保固定長(zhǎng)度的序列化。將其定義如下：

S（v，l）（0－ring（v），1－ring（v），…，k－ring（v））（2）

螺旋卷積利用相鄰頂點(diǎn)固定螺旋序列化的性質(zhì)，可以用與Euclidean CNN[23]等效的方式將其定義為

其中：X（k）i代表i的節(jié)點(diǎn)特征；γ表示多層感知機(jī)；‖是連接操作，并且按照S（i，l）中定義螺旋序列順序連接節(jié)點(diǎn)特征。

2）空洞螺旋卷積 為了在不損失分辨率或覆蓋率的情況下擴(kuò)展感受野，引入了空洞螺旋卷積算子，與普通的均勻采樣相比，其在保持相同螺旋長(zhǎng)度的情況下引入不同的采樣率，實(shí)現(xiàn)了多尺度的信息捕獲，并且不會(huì)增加計(jì)算開銷或復(fù)雜性。這使得模型能夠更好地適應(yīng)不同尺度和層次的特征，從而提高了其性能和泛化能力。

Qu（q，i）=λi，Qu（q，j）=λjQu（q，k）=λk，Qu（q，l）=0（4）

其中：l{i，j，k}，由于不屬于三角形頂點(diǎn)vi、vj、vk的其他頂點(diǎn)，其在上采樣過程中與被丟棄的頂點(diǎn)vp之間沒有直接的權(quán)重關(guān)聯(lián)，故將元素Qu（q，l）設(shè)置為零。圖4為通過逐步上采樣矩陣的手部拓?fù)浣Y(jié)構(gòu)，每一層包含的頂點(diǎn)數(shù)為（49，98，195，389，778）。

4）螺旋結(jié)構(gòu) 給定人體圖像I，圍繞手部進(jìn)行裁剪得到手部圖像H，通過Stem Block塊將其嵌入到具有64個(gè)參數(shù)的潛在向量Z，通過解碼器獲得潛在向量Z′=Eimage（Z），并生成網(wǎng)格M=Dmesh（Z′）。使用空洞螺旋卷積解碼器的結(jié)構(gòu)如圖5所示。FC（d）代表輸出為d的全連接層；R（d1，d2）表示向量重塑為矩陣d1×d2;UP（p）為上采樣因子p;C（w，l）則是具有w個(gè)卷積核和螺旋長(zhǎng)度l的空洞螺旋卷積。為了解決由于錯(cuò)誤的三角剖分或網(wǎng)格邊界問題導(dǎo)致螺旋序列長(zhǎng)度不足的情況，本文采取了一種填充策略：將額外的節(jié)點(diǎn)填充為最初以0為中心的節(jié)點(diǎn)，以確保螺旋序列的長(zhǎng)度與所需的序列長(zhǎng)度一致。在實(shí)驗(yàn)中，選取了Leaky ReLU作為激活函數(shù)，并將序列長(zhǎng)度設(shè)置為27。通過采用2倍遞增的方式逐層增加渲染節(jié)點(diǎn)數(shù)，交替進(jìn)行上采樣和螺旋卷積操作，得到最終的包含網(wǎng)格節(jié)點(diǎn)的結(jié)果預(yù)測(cè)。

2.3 整合模塊

MANO手部模型和SMPL-X人體模型相互兼容，為將手部模塊整合進(jìn)ECON中提供了可行性。通過一個(gè)手部融合模塊，將MANO手部模型的網(wǎng)格表示合并到SMPL-X人體模型中，步驟如下：

a）坐標(biāo)系變換。MANO手部模型采用右手坐標(biāo)系，而基于SMPL-X的ECON采用左手坐標(biāo)系。因此，需調(diào)整坐標(biāo)軸的方向和旋轉(zhuǎn)方向，以完成坐標(biāo)系的變換。

b）Scale參數(shù)調(diào)整。單獨(dú)的手部區(qū)域重建與整身人體重建并不是一個(gè)統(tǒng)一的標(biāo)準(zhǔn)空間，為了適應(yīng)這種差異，根據(jù)重建出的手部網(wǎng)格A與替換手部網(wǎng)格B的中心點(diǎn)，計(jì)算Scale參數(shù)。

c）平移向量計(jì)算。根據(jù)手部關(guān)鍵點(diǎn)，即手腕位置來計(jì)算手部替換區(qū)域的平移向量，與ECON類似，通過手腕關(guān)節(jié)確定手部mesh。

d）旋轉(zhuǎn)矩陣。通過奇異值分解（singular value decomposition，SVD）來計(jì)算旋轉(zhuǎn)矩陣。首先計(jì)算兩個(gè)手部網(wǎng)格A和B的協(xié)方差矩陣H：

在實(shí)驗(yàn)中，通過傳統(tǒng)的頂點(diǎn)和面片方式獲取手部姿態(tài)參數(shù)并將其替換進(jìn)ECON，將會(huì)導(dǎo)致嚴(yán)重的畸形手部表示，這是因?yàn)镋CON引入了自己的手部參數(shù)定義，與傳統(tǒng)的手部參數(shù)不兼容。因此，為取得更準(zhǔn)確的手部姿態(tài)和形狀表達(dá)效果，本文采用了一個(gè)折中的手部整合模塊，將在3.3節(jié)中詳細(xì)闡述，該模塊表現(xiàn)出色，能夠有效地整合手部表示到ECON中。

2.4 訓(xùn)練目標(biāo)

3 實(shí)驗(yàn)

3.1 數(shù)據(jù)處理

在實(shí)驗(yàn)中，采用了FreiHAND[25]和HanCo[26]的cam1作為原始訓(xùn)練集，其中cam1包含原始數(shù)據(jù)的1/8，共107 538張RGB圖像，從中隨機(jī)選擇80%的樣本用于訓(xùn)練數(shù)據(jù)，剩余20%的樣本用于驗(yàn)證。在本文中，采用了通用的數(shù)據(jù)增強(qiáng)策略，包括隨機(jī)縮放、隨機(jī)平移、顏色抖動(dòng)和隨機(jī)旋轉(zhuǎn)，旨在于增加數(shù)據(jù)集的多樣性，有助于模型更好地學(xué)習(xí)數(shù)據(jù)的特征，提高模型在新樣本上的表現(xiàn)。此外，還對(duì)圖像應(yīng)用了運(yùn)動(dòng)模糊增強(qiáng)，為實(shí)現(xiàn)這個(gè)增強(qiáng)效果，本文使用了文獻(xiàn)[27]生成模糊核，然后將模糊核應(yīng)用于圖像進(jìn)行2D濾波，以添加運(yùn)動(dòng)模糊效果。圖6展示了運(yùn)動(dòng)模糊增強(qiáng)的示例圖像，從上到下是FreiHAND和HanCO數(shù)據(jù)集示例，從左到右分別是原始圖像和應(yīng)用不同運(yùn)動(dòng)模糊內(nèi)核后的增強(qiáng)圖像。

3.2 實(shí)驗(yàn)設(shè)置

本文實(shí)驗(yàn)使用GTX 3090 GPU，Linux操作系統(tǒng)。 算法基于PyTorch 1.12.1，CUDA 11.3，Python 3.7實(shí)現(xiàn)，并使用Adam優(yōu)化器進(jìn)行訓(xùn)練，學(xué)習(xí)率為1SymboltB@10-4并采用MultiStep學(xué)習(xí)率調(diào)度方式，每經(jīng)過30輪次學(xué)習(xí)率以0.1的因子進(jìn)行衰減，持續(xù)訓(xùn)練50或者100輪次。圖像歸一化是基于從ImageNet訓(xùn)練集計(jì)算的平均值和標(biāo)準(zhǔn)差，而輸出網(wǎng)格的歸一化則基于從訓(xùn)練數(shù)據(jù)的子集計(jì)算的統(tǒng)計(jì)數(shù)據(jù)。

3.3 實(shí)驗(yàn)評(píng)估

3.3.1 評(píng)估指標(biāo)

MPJPE/MPVPE定義為預(yù)測(cè)每個(gè)關(guān)節(jié)/頂點(diǎn)位置和測(cè)量值之間的平均歐氏距離。

PA-MPJPE/MPVPE是對(duì)MPJPE/MPVPE的一種修改，采用Procrustes對(duì)齊方法對(duì)預(yù)測(cè)的姿態(tài)進(jìn)行了調(diào)整，使其與真實(shí)姿態(tài)更加匹配，簡(jiǎn)寫為PJ和PV。

F-score[28]是兩個(gè)網(wǎng)格在特定距離閾值下召回率和準(zhǔn)確率之間的諧波平均值，F(xiàn)@5/F@15對(duì)應(yīng)于5 mm/15 mm的閾值。

AUC[29]是正確關(guān)鍵點(diǎn)的百分比PCK與0 ～ 50 mm錯(cuò)誤閾值曲線下的面積。

3.3.2 手部評(píng)估

本文使用FreiHAND_pub_v2_eval數(shù)據(jù)集進(jìn)行本地評(píng)估。如表2定量分析所示，同樣應(yīng)用ResNet-18，結(jié)合本文空洞螺旋卷積解碼的方法相比于文獻(xiàn)[30]，在PJ、PV、 F@5和F@15方面分別提升了33.1%、31.6%、 40.0%、5.1%。與其他方法相比，F(xiàn)reiHAND，YotubeHand[29]，I2L-MeshNet均采用ResNet-50作為主干網(wǎng)絡(luò)，約2 500萬(wàn)參數(shù)和3.86 GFLOPs，本文采用的SE-ResNet-50，相比ResNet-50 多10%參數(shù)量和0.26%浮點(diǎn)數(shù)運(yùn)算，在僅使用FreiHAND數(shù)據(jù)集的情況下，本文方法達(dá)到了超越I2L-MeshNet的精度水平。如表2最后一行，利用FreiHAND和部分HanCo數(shù)據(jù)集，并將SE-ResNet-50的殘差塊層輸出設(shè)置為以256為首并逐層倍增，PJ、PV、 F@5和F@15均超出HIU-DMTL[31]1.4%、2.7%、2.14%、0.3%，相較替換由PIXIE產(chǎn)生手部的ECON，各性能指標(biāo)分別提高了41.7%、41.3%、52.6%、6.3%。這些結(jié)果表明，本文方法在手部姿態(tài)估計(jì)方面取得了顯著的性能提升。為了評(píng)估手部姿勢(shì)估計(jì)和網(wǎng)格重建性能，本文測(cè)量了網(wǎng)格誤差的平均歐氏距離，以及不同錯(cuò)誤閾值的正確點(diǎn)百分比PCK和曲線下面積AUC。圖7在FreiHAND 數(shù)據(jù)集上定量地顯示了采用RseNet-18和空洞螺旋卷積的本文方法接近使用ResNet-50的YoutubeHand的性能水平，而采用SE-ResNet-50的本文方法更是顯著優(yōu)于其他方法。

如圖8所示，從左到右分別是帶有手部檢測(cè)區(qū)域的單目RGB人體圖像、重建手部mesh的可視化、手部區(qū)域的特寫圖像，第三列從上到下依次為原圖手部、ECON重建手部、本文方法重建手部。從圖8（a）～（c）可以定性地看出，本文方法H-ECON在手部重建姿態(tài)、空間相對(duì)位置相較于ECON有明顯提升。得益于參數(shù)化手部模型MANO以及包含遮擋物的手部訓(xùn)練集，如圖8（d）～（f）所示，在手部區(qū)域被遮擋、人物帶有手套、雙手有交叉等復(fù)雜情況下，H-ECON仍具有較強(qiáng)的表達(dá)能力。結(jié)果表明，本文方法在手部姿勢(shì)估計(jì)和網(wǎng)格重建方面取得了顯著的性能提升，特別是在處理復(fù)雜情況下具有優(yōu)勢(shì)。

3.3.3 整身評(píng)估

ECON是目前為止泛化性最好的單圖穿衣人重建算法，它將RGB圖像和估計(jì)的SMPL-X身體作為輸入來重建穿衣人體。然而，就其手部而言，如圖9的第7列所示，僅采用ResNet50結(jié)構(gòu)的PIXIE會(huì)導(dǎo)致錯(cuò)誤的手部姿態(tài)估計(jì)，甚至在進(jìn)行手部區(qū)域替換時(shí)產(chǎn)生裂縫。

本文的H-ECON采用了單獨(dú)的手部區(qū)域處理方法，其特殊的編碼-解碼器結(jié)構(gòu)能夠充分利用其最先進(jìn)的性能進(jìn)行手部姿態(tài)估計(jì)。如圖9的第3列所示，融合模塊結(jié)合ECON的效果明顯，即使在不同視角下，H-ECON沒有產(chǎn)生脫離實(shí)際的扭曲。在輸入視角觀察不到的地方，如圖9的第4～6列所示，H-ECON仍具有強(qiáng)大的表達(dá)能力。ECON如若進(jìn)行手部與臉部細(xì)致化的重建，每張圖片需處理2～3 min，本文方法重建手部每張圖片僅需1.12 s，可以在幾乎不增加處理時(shí)間的情況下，取締原ECON的手部工作，如圖9第8列所示。H-ECON手部相較于原ECON在手部位姿方面具有較大提升。

3.4 局限性

H-ECON方法也存在一些限制，首先，它依賴于SMPL-X的手腕旋轉(zhuǎn)信息，前者的錯(cuò)誤可能會(huì)導(dǎo)致替換手部區(qū)域出現(xiàn)縫合偽影。為了改進(jìn)這一點(diǎn)，可以考慮加入更多的人體數(shù)據(jù)集，特別關(guān)注手腕處的姿態(tài)特征并且使用HTML[32]、DART[33]等更為精準(zhǔn)但同樣兼容MANO的手部模型以提高準(zhǔn)確性。另一個(gè)限制是H-ECON僅重建了三維幾何體，而未恢復(fù)底層骨架和蒙皮權(quán)重。為了實(shí)現(xiàn)完全可設(shè)置的動(dòng)畫化身，可以考慮使用SSDR[34]等方法來額外恢復(fù)底層骨架和蒙皮權(quán)重，這對(duì)虛擬試穿、游戲和影視制作等產(chǎn)業(yè)無(wú)疑影響深遠(yuǎn)。

4 結(jié)束語(yǔ)

本文提出了H-ECON，實(shí)現(xiàn)了從單張RGB 圖像重建帶有精細(xì)化手部的著衣人體。實(shí)驗(yàn)證明，該模型在復(fù)雜姿態(tài)下仍具有良好的魯棒性并能顯著改進(jìn)人體重建中手部姿態(tài)失真的問題。其特有的手部模塊僅用部分?jǐn)?shù)據(jù)集的情況下，達(dá)到了同類主干網(wǎng)絡(luò)利用近百G數(shù)據(jù)集的性能指標(biāo)。相較于原ECON，手部各性能指標(biāo)分別超出41.7%、41.3%、52.6%和6.3%。盡管存在局限，但H-ECON出色的手部模塊使其在行為分析、動(dòng)畫和醫(yī)療等細(xì)分領(lǐng)域同樣具有很大的應(yīng)用潛力。此外，H-ECON可以將頭發(fā)、衣服或者配飾從重建結(jié)果中分離出來以實(shí)現(xiàn)可編可控的下游任務(wù)，在沒有精細(xì)化標(biāo)注的情況下，H-ECON的重建結(jié)果甚至可以作為神經(jīng)化身的數(shù)據(jù)集，未來計(jì)劃進(jìn)一步結(jié)合深度蒙皮和3D Gaussian splatting[35]等技術(shù)重建可編可控的人體動(dòng)畫化身。

參考文獻(xiàn)：

[1]Loper M， Mahmood N， Romero J，et al.SMPL： a skinned multi-person linear model [J]. ACM Trans on Graphics， 2015， 34 （6）： 1-16.

[2]Osman A A A， Bolkart T， Black M J. STAR： sparse trained articulated human body regressor [C]// Proc of the 16th European Confe-rence on Computer Vision. Cham： Springer， 2020： 598-613.

[3]Pavlakos G，Choutas V， Ghorbani N， et al.Expressive body capture： 3D hands， face， and body from a single image [C]// Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Pisca-taway， NJ： IEEE Press， 2019： 10967-10977.

[4]Saito S， Huang Zeng， Natsume R， et al.PIFu： pixel-aligned implicit function for high-resolution clothed human digitization [C]// Proc of IEEE/CVF International Conference on Computer Vision. Pisca-taway， NJ： IEEE Press， 2019： 2304-2314.

[5]Saito S， Simon T，Saragih J， et al.PIFuHD： multi-level pixel-aligned implicit function for high-resolution 3D human digitization [C]// Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscata-way， NJ： IEEE Press， 2020： 81-90.

[6]Xiu Yuliang， Yang Jinlong， Tzionas D， et al.ICON： implicit clothed humans obtained from normals [C]// Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE Press， 2022： 13286-13296.

[7]Xiu Yuliang， Yang Jinlong， Cao Xu， et al.ECON： explicit clothed humans optimized via normal integration [C]// Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE Press， 2023： 512-523.

[8]Mildenhall B， Srinivasan PP， Tancik M， et al.NeRF： representing scenes as neural radiance fields for view synthesis [J]. Communications of the ACM， 2021， 65 （1）： 99-106.

[9]Romero J，Tzionas D， Black M J. Embodied hands： modeling and capturing hands and bodies together [J]. ACM Trans on Graphics， 2017， 36 （6）： 1-17.

[10]Moon G， Lee K M. I2l-MeshNet： image-to-lixel prediction network for accurate 3D human pose and mesh estimation from a single RGB image [C]// Proc of the 16th European Conference on Computer Vision. Cham： Springer， 2020： 752-768.

[11]Karunratanakul K， Spurr A， Fan Zicong， et al.A skeleton-driven neural occupancy representation for articulated hands [C]// Proc of International Conference on 3D Vision. Piscataway， NJ： IEEE Press， 2021： 11-21.

[12]Li Yuwei， Zhang Longwen， Qiu Zesong， et al. NIMBLE： a non-rigid hand model with bones and muscles[J]. ACM Trans on Graph，2022，41（4）： 1-120.

[13]Hu Jie， Shen Li， Albanie S. Squeeze-and-excitation networks [C]// Proc of IEEE Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE Press，2018： 7132-7141.

[14]Gong Shunwang， Chen Lei， Bronstein M， et al.SpiralNet+： a fast and highly efficient mesh convolution operator [C]// Proc of IEEE/CVF International Conference on Computer Vision Workshops. Pisca-taway， NJ： IEEE Press， 2019： 4141-4148.

[15]Anguelov D， Srinivasan P， Koller D，et al.SCAPE： shape completion and animation of people [J]. ACM Trans on Graphics， 2005，24（3）： 408-416.

[16]Hesse N， Pujades S， Romero J，et al.Learning an infant body model from RGB-D data for accurate full body motion analysis [C]// Proc of the 21st International Conference on Medical Image Computing and Computer Assisted Intervention. Berlin： Springer-Verlag ，2018： 792-800.

[17]Baek S， Kim K I， Kim T K. Pushing the envelope for RGB-based dense 3D hand pose estimation via neural rendering [C]// Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE Press，2019： 1067-1076.

[18]Jackson A S， Bulat A， Argyriou V，et al.Large pose 3D face reconstruction from a single image via direct volumetric CNN regression [C]// Proc of IEEE International Conference on Computer Vision. Piscataway， NJ： IEEE Press，2017： 1031-1039.

[19]Onizuka H，Hayirci Z， Thomas D， et al.TetraTSDF： 3D human reconstruction from a single image with a tetrahedral outer shell [C]// Proc of IEEE/CVF Conference on Computer Vision and Pattern Re-cognition. Piscataway， NJ： IEEE Press，2020： 6011-6020.

[20]Huang Zeng， Xu Yuanlu， Lassner C， et al.Arch： animatable reconstruction of clothed humans [C]// Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE Press， 2020： 3090-3099.

[21]Feng Yao， Choutas V， Bolkart T， et al.Collaborative regression of expressive bodies using moderation [C]// Proc of International Confe-rence on 3D Vision. Piscataway， NJ： IEEE Press， 2021： 792-804.

[22]Lim I，Dielen A， Campen M， et al.A simple approach to intrinsic correspondence learning on unstructured 3D meshes [C]// Proc of European Conference on Computer Vision. Cham： Springer， 2019： 349-362.

[23]LeCun Y， Boser B， Denker J S，et al.Backpropagation applied to handwritten zip code recognition [J]. Neural Computation， 1989， 1 （4）： 541-551.

[24]Chen Xingyu， Liu Yufeng， Dong Yajiao， et al.MobRecon： mobile-friendly hand mesh reconstruction from monocular image [C]// Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE Press， 2022： 20512-20522.

[25]Zimmermann C， Ceylan D， Yang Jimei， et al.FreiHAND： a dataset for markerless capture of hand pose and shape from single RGB images [C]// Proc of IEEE/CVF International Conference on Computer Vision. Piscataway， NJ： IEEE Press，2019： 813-822.

[26]Zimmermann C， Argus M， Brox T. Contrastive representation lear-ning for hand shape estimation [C]// Proc of DAGM German Confe-rence on Pattern Recognition. Cham： Springer， 2021： 250-264.

[27]Boracchi G， Foi A. Modeling the performance of image restoration from motion blur [J]. IEEE Trans on Image Processing， 2012， 21 （8）： 3502-3517.

[28]Knapitsch A， Park J， Zhou Qianyi， et al.Tanks and temples： benchmarking large-scale scene reconstruction [J]. ACM Trans on Graphics， 2017， 36 （4）： 1-13.

[29]Kulon D， Guler R A， Kokkinos I，et al.Weakly-supervised mesh-convolutional hand reconstruction in the wild [C]// Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Pisca-taway， NJ： IEEE Press， 2020： 4990-5000.

[30]Hasson Y， Varol G，Tzionas D， et al.Learning joint reconstruction of hands and manipulated objects [C]// Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE Press， 2019： 11807-11816.

[31]Zhang Xiong， Huang Hongsheng， Tan Jianchao， et al.Hand image understanding via deep multi-task learning [C]// Proc of IEEE/CVF International Conference on Computer Vision. Piscataway， NJ： IEEE Press， 2021：" 11261-11272.

[32]Qian Neng， Wang Jiayi， Mueller F， et al.Parametric hand texture model for 3D hand reconstruction and personalization [C]// Proc of International Conference on Computer Vision. Cham： Springer，2020： 54-71.

[33]Gao Daiheng， Xiu Yuliang， Li Kailin， et al.DART： articulated hand model with diverse accessories and rich textures [J]. Advances in Neural Information Processing Systems， 2022， 35： 37055-37067.

[34]Le B H， Deng Zhigang. Smooth skinning decomposition with rigid bones [J]. ACM Trans on Graphics， 2012， 31 （6）： 1-10.

[35]Kerbl B， Kopanas G， Leimkühler T， et al.3D Gaussian splatting for real-time radiance field rendering [J]. ACM Trans on Graphics， 2023， 42 （4）： 1-14.