基于SMPL-X模型的人體姿態(tài)與形狀重構(gòu)算法

李 健，馬蓉蓉，韓超遠，齊 勇，何 斌

(1.陜西科技大學(xué) 電子信息與人工智能學(xué)院，陜西 西安 710021；2.同濟大學(xué) 電子與信息工程學(xué)院，上海 201804)

0 引言

人體姿態(tài)估計從靜態(tài)圖像或視頻序列中識別不同人體部位的位置和方向,是人體動作分析與識別的基礎(chǔ),目前廣泛應(yīng)用在人機交互、醫(yī)學(xué)影像、數(shù)字娛樂和視頻監(jiān)控等眾多領(lǐng)域.參數(shù)化人體模型的姿態(tài)估計包含表示關(guān)節(jié)點旋轉(zhuǎn)角度和人體外觀體態(tài)表現(xiàn)的參數(shù)信息,使得人體的三維姿態(tài)更加豐富、準確.

目前，大部分研究基于SMPL (Skinned Multi Person Linear model)模型[1]展開，主要依賴于根據(jù)檢測到人體二維關(guān)節(jié)點坐標調(diào)整3D人體模型到2D圖像的映射關(guān)系.文獻[2]從圖像中提取局部特征,再通過優(yōu)化求解模型參數(shù)來擬合這些圖像特征.文獻[3]提出了包含面部和手部細節(jié)的SMPL-X(SMPL eXpressive)模型，并將上述算法擴展至此模型.此類基于優(yōu)化的算法效果好，但速度慢，易于局部最優(yōu)，且依賴于初始值.基于學(xué)習(xí)的方法從圖像全局特征進行匹配分析，能有效避免基于優(yōu)化方法在復(fù)雜姿態(tài)和遮擋關(guān)系情況下出現(xiàn)的特征誤匹配問題.但由于SMPL-X是比SMPL維度高的模型且輸入不變情況下手、臉部分圖像分辨率低，將SMPL模型神經(jīng)網(wǎng)絡(luò)回歸器擴展到SMPL-X，直接從RGB圖像中回歸參數(shù)來重建完整的3D人體，在細節(jié)上難以實現(xiàn).

為了解決上述問題，本文融合現(xiàn)有基于回歸和優(yōu)化的方法，設(shè)計了一種基于SMPL-X的人體姿態(tài)和形狀估計的方法.首先利用HMR(Human Mesh Recovery)網(wǎng)絡(luò)[4]，從像素直接回歸模型參數(shù)，獲取姿態(tài)更為精確的身體部分的表示作為初始值.然后利用二維人體關(guān)鍵點和人體輪廓的約束，構(gòu)造能量函數(shù)對參數(shù)進行優(yōu)化求解，擬合至SMPL-X模型，重建出包含面部、手部細節(jié)更精細的模型表示.避免了二維關(guān)節(jié)映射到三維姿態(tài)時的信息缺失問題，加快迭代優(yōu)化的速度，提高了人體重建模型的準確度.

1 相關(guān)研究

1.1 參數(shù)化人體模型

對整個人體進行捕獲建模是一個具有挑戰(zhàn)性的問題，為了使其易于處理，研究人員分而治之的進行了身體、面部和手部重建研究.對于人臉，Blanz和Vetter引入了第一個3D可變形模型[5].對于人手，Khamis等[6]從RGB-D圖像中學(xué)習(xí)手形變化的模型，Romero等[7]通過3D手部掃描數(shù)據(jù)學(xué)習(xí)具有豐富形狀和姿勢空間的參數(shù)化手模型MANO(hand Model with Articulated and Non-rigid deformations).對于人體而言，引入CAESAR數(shù)據(jù)集后創(chuàng)建出了SCAPE[8]、SMPL等可求解形狀和姿勢的模型，然而這些模型具有中性的面容且不包含手部的細節(jié).Adam[9]和SMPL-X是最早代表身體、面部和手部的模型.Adam缺少SMPL依賴于姿勢的混合形狀，且發(fā)行版本不含面部表達.SMPL-X模型將SMPL人體模型、FLAME (Faces Learned with an Articulated Model and Expressions)人頭模型[10]和MANO人手模型相結(jié)合，模塊完全鉸接，提供了一個包含臉部表情和手部動作的更加全面生動的人體模型，更能反應(yīng)人體真實的3D結(jié)構(gòu).

1.2 人體姿態(tài)估計

人體姿勢估計通常是對2D或3D關(guān)節(jié)點的估計[11-13]，與解剖學(xué)關(guān)節(jié)相對應(yīng)，僅僅使用關(guān)節(jié)點的相對位置關(guān)系表示人體姿態(tài)是不夠的,容易忽略人體的外觀體態(tài)表現(xiàn).最新的研究使用參數(shù)化模型或非參數(shù)化模型解決此問題.三維人體姿態(tài)估計方法可以劃分為兩大類別:(1)先通過二維圖像來估計二維人體姿態(tài),再由二維人體姿態(tài)預(yù)測三維人體姿態(tài)；(2)通過二維圖像,以端到端的方式直接預(yù)測三維人體姿態(tài).

第一類方法：將問題分解為多個階段.第一階段由二維人體關(guān)節(jié)檢測器估計關(guān)節(jié)位置得到二維人體姿態(tài)估計，作為中間表示.第二階段通過模型匹配[2,3]或者訓(xùn)練回歸器[4,14,15]的方式估計二維人體姿態(tài)和三維人體姿態(tài)之間的映射關(guān)系.從低維空間向高維空間求解時會產(chǎn)生深度模糊等不適定問題，上述方法通過已知的肢體長度、統(tǒng)計人體模型、關(guān)節(jié)角度限制等各種先驗規(guī)則進行正則化來解決.這類方法利用的是2D信息，因此很容易獲得注釋，但缺點是最終的回歸器無法利用原始圖像像素，造成信息缺失，并且中間任務(wù)造成的錯誤無法克服.

第二類方法：直接根據(jù)RGB像素預(yù)測3D姿勢，避免了信息瓶頸和其他錯誤源，但學(xué)習(xí)姿勢的映射關(guān)系更加困難.大多數(shù)方法推斷3D人體關(guān)節(jié)，非參數(shù)模型的方法估計體素[16]、距離場[17]或3D網(wǎng)格深度圖[18]，參數(shù)化模型的方法估計模型參數(shù)[19-21].成對的室內(nèi)圖像和MoCap數(shù)據(jù)集允許進行有監(jiān)督的訓(xùn)練，但無法推廣到野外數(shù)據(jù).為了解決這個問題，Rogez和Schmid[22]通過合成的3D人類來擴充這些數(shù)據(jù)集，而Kanazawa等[4]在野外數(shù)據(jù)集上應(yīng)用了重投影損失在其2D關(guān)節(jié)標注上，實現(xiàn)了弱監(jiān)督.

2 算法設(shè)計

基于SMPL-X模型的人體姿態(tài)估計重建中最主要的問題是如何將標準人體模板與真實數(shù)據(jù)進行非剛體配準，本質(zhì)就是為標準模板尋找合適的體型、姿態(tài)以及面部參數(shù)，從而使這些參數(shù)所描述的人體模型與輸入的真實數(shù)據(jù)實現(xiàn)最優(yōu)匹配.本文設(shè)計了一種基于此模型的人體姿態(tài)與形狀估計的方法，算法框架如圖1所示，使用HMR生成對抗網(wǎng)絡(luò)框架從彩色圖像中提取模型參數(shù),再利用人體關(guān)鍵點和輪廓的約束構(gòu)造能量函數(shù)并對參數(shù)進行優(yōu)化求解.

圖1 算法總框架圖

2.1 3D人體表示

BP(θ;P)

(1)

M(β,θ,φ)=W(Tp(β,θ,φ),J(β),θ,ω)

(2)

W是一個混合蒙皮線性方程,ω是各個關(guān)節(jié)的混合權(quán)重,其包含:將β體型參數(shù)對應(yīng)到骨骼關(guān)節(jié)的函數(shù)J(β)，將θ姿態(tài)參數(shù)以及動作參數(shù)修正P映射到模型對應(yīng)點的變形函數(shù)BP(θ;P)，將β體型參數(shù)及其修正數(shù)據(jù)S映射到模型對應(yīng)點的變形函數(shù)BS(β,S)，將φ面部參數(shù)及其修正參數(shù)ε映射到模型對應(yīng)點的變形函數(shù)BE(φ;ε).

2.2 HMR算法

由于深度信息缺失,從二維圖像直接推斷人體三維姿態(tài)時容易出現(xiàn)誤差.HMR算法是目前人體姿態(tài)估計領(lǐng)域應(yīng)用較為成功的深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu),可在一定程度上緩解由于人體自遮擋和二維圖像深度信息的丟失導(dǎo)致姿態(tài)不確定的問題.因此對于身體部分的姿態(tài)估計，參考如圖2所示HMR網(wǎng)絡(luò)框架.

圖2 HMR網(wǎng)絡(luò)框架

網(wǎng)絡(luò)輸入單張圖片，首先經(jīng)過Resnet-50編碼層輸出卷積特征，再送入3層全連接回歸層，輸出相機參數(shù)、SMPL模型體型參數(shù)β、動作參數(shù)θ.網(wǎng)絡(luò)預(yù)測獲取到模型M(β,θ)及模型的三維關(guān)節(jié)位置X(θ,β).

(3)

(4)

(a)原始RGB (b)預(yù)測模型圖3 神經(jīng)網(wǎng)絡(luò)預(yù)測模型

2.3 二維特征獲取

從二維圖像到三維的人體模型直接求解具有挑戰(zhàn)，將問題分解為兩個階段，首先從圖像中獲取二維關(guān)節(jié)信息和人體邊緣輪廓，用于后續(xù)擬合模型的姿態(tài)和體型參數(shù).

2.3.1 二維關(guān)節(jié)獲取

本文采用3D參數(shù)模型以二維觀測求解三維人體姿態(tài)及其映射關(guān)系，因此人體二維關(guān)節(jié)檢測在三維人體姿態(tài)估計中起著重要作用.OPENPOSE算法[12]利用卷積神經(jīng)網(wǎng)絡(luò)實現(xiàn)的人體二維關(guān)節(jié)點檢測.RGB圖像作為輸入，經(jīng)過10層VGG-19進行特征提取，再將所得特征分為2個分支送入深層卷積網(wǎng)絡(luò).通過貪心推理預(yù)測身體各關(guān)節(jié)位置部分置信度圖S和部分親和字段得到一組二維矢量場L(part affinity fields)，表示了身體各部分間的關(guān)聯(lián)程度.使用CMU Panoptic數(shù)據(jù)集訓(xùn)練的網(wǎng)絡(luò)模型，輸出如圖4所示，包含(身體25、手部32、面部70個)關(guān)節(jié)點二維坐標及置信度.

(a)原始RGB (b)關(guān)節(jié)預(yù)測結(jié)果圖4 二維關(guān)節(jié)預(yù)測結(jié)果

2.3.2 輪廓邊緣檢測

邊緣輪廓可以更加精確的定位人體位置.本文使用像素覆蓋分割算法[23]對圖像進行人體分割以獲取輪廓，用于后續(xù)模型體型參數(shù)的求解.在RGB顏色空間，分別用一個K=5的高斯分量的全協(xié)方差混合高斯模型(GMM)來對目標和背景進行建模.

E(α,k,θ,z)如公式(5)所示，用于整個圖像的Gibbs能量，由區(qū)域能量項U與邊界能量項V構(gòu)成.其中，區(qū)域能量項表示像素被歸類為目標或者背景的懲罰.D為混合高斯密度模型，θ模型參數(shù)(高斯分量的權(quán)重π、均值向量u和協(xié)方差矩陣∑).根據(jù)像素RGB值，代入目標和背景GMM，得到該像素所屬目標或背景的概率.邊界能量項體現(xiàn)鄰域像素m和n之間不連續(xù)的懲罰.根據(jù)兩鄰域像素差別來確定是否屬于同一類別，衡量兩像素的相似性采用顏色之間的歐式距離‖zm-zn‖2，圖像的對比度用β體現(xiàn),放大縮小差別.分割結(jié)果如圖5所示.

(5)

(a)原始RGB (b)輪廓分割結(jié)果圖5 人體邊緣輪廓分割結(jié)果

2.4 能量函數(shù)構(gòu)造

利用上述2.2節(jié)獲取的 SMPL模型及其參數(shù)表示，將姿態(tài)參數(shù)進行SMPL到SMPL-X的轉(zhuǎn)換作為模型初始值，將模型的關(guān)節(jié)點和三維輪廓頂點重投影到二維平面上，再利用2.3節(jié)獲取二維關(guān)節(jié)信息以及人體邊緣輪廓作為約束，最小化匹配能量函數(shù).調(diào)整模型的姿態(tài)參數(shù)使之與二維關(guān)節(jié)點對齊，從而得到與圖像中人物姿態(tài)相似的三維姿態(tài).調(diào)整模型的體型參數(shù)，使投影點盡可能靠近二維輪廓線，達到調(diào)整模型形狀的目的.使用的能量函數(shù)如式(6)所示.

E(β,θ,φ)=EJ+λθbEθb+λθfEθf+λmhEmh+λαEα+λβEβ+λεEε+λcEc+λshEsh(θ)

(6)

其中，β、θ、φ為了約束2D到3D的固有歧義，用了不同的先驗進行正則化，λθb、λθf、λmh、λα、λβ、λε、λc、λsh分別為對應(yīng)能量項的權(quán)重參數(shù)，Eε、Eθf、Emh表示面部表情、臉部動作、手部動作的L2正則項.Eβ表示體型先驗，通過與訓(xùn)練數(shù)據(jù)集中的形狀分布之間的馬氏距離計算.Eθb參考文獻[3]通過變分自編碼器(VAE)訓(xùn)練一個全身姿態(tài)先驗，來懲罰不合理的動作.

(7)

Ec表示互穿懲罰項，懲罰身體部位相互穿透的先驗.使用BVH(Bounding volume hierarchy)檢測碰撞三角形C列表，并計算由三角形C及其法線n定義的局部圓錐3D距離場，根據(jù)距離場中位置計算入侵深度并對滲透率進行懲罰.fs和ft是相互入侵的三角形，ft的頂點vt是fs的距離場Ψfs中的入侵項，表示受到Ψfs(vt)的入侵懲罰，反之亦然.

Eα(θb)=∑i∈(elbows,knees)exp(θi)

(8)

Eα表示膝蓋和肘部彎曲的先驗，θ表示彎曲方向，為負方向時表示合理，為正時表示不合理，能量值變大，給予懲罰.

(9)

EJ表示基于關(guān)節(jié)點的距離約束項，使用重投影損失來最小化估計的2D關(guān)節(jié)點Jext,i和SMPL-X每個3D關(guān)鍵點Rθ(J(β))的2D投影的加權(quán)魯棒距離，J(β)從模型表面頂點獲取每個關(guān)鍵點坐標，Rθ(J(β))根據(jù)動作參數(shù)θ給每個關(guān)節(jié)點做旋轉(zhuǎn)，從而得到符合當(dāng)前動作的每個關(guān)鍵點的坐標，其中Rθ是沿著運動學(xué)變換關(guān)節(jié)的函數(shù)，表示與姿態(tài)參數(shù)有關(guān)的全局剛性變換函數(shù)，使用的是羅德里格斯公式(Rodriguez formula)將每兩個關(guān)節(jié)軸角轉(zhuǎn)換為局部旋轉(zhuǎn)矩陣.Jext,i和ωi為OpenPose方法得到的第i個關(guān)節(jié)點的坐標及其置信度，并使用杰曼麥克盧爾函數(shù)(Geman-McClure)ρ處理噪聲.其中∏表示具有固有攝像機參數(shù)K的3D到2D的正交投影，求解其與二維關(guān)節(jié)點坐標之間的加權(quán)歐氏距離，使其最小化.計算關(guān)節(jié)重投影損失采用Adam優(yōu)化器，處理局部最優(yōu)解使用退火方案，表現(xiàn)在γ上.

(10)

3 實驗結(jié)果與分析

3.1 數(shù)據(jù)集和評價指標

在數(shù)據(jù)集EHF 和3DPW上測試所提出的基于SMPL-X模型的姿態(tài)與體型重構(gòu)算法性能.EHF由100幀RGB圖像、3D掃描及對齊的SMPL-X網(wǎng)格組成，受試者執(zhí)行各種身體姿勢、手勢和面部表情，用于來評估全身預(yù)測.3DPW包括在室外RGB視頻序列帶有SMPL三維姿態(tài)注釋，包含在室內(nèi)和室外環(huán)境中執(zhí)行各種運動的幾個受試者，通過單一的RGB相機和IMU安裝在受試者上捕獲的，用于評估僅身體部分的重構(gòu).

為了進一步定量評估算法的精度,與真實的3D骨架進行比較,使用平均每關(guān)節(jié)位置誤差(Mean Per Joint Position Error ,MPJPE)和進行剛性變換(旋轉(zhuǎn)、平移和縮放)對齊后的關(guān)節(jié)點誤差平均值(Procrustes Analysis-Mean Per Joint Position Error,PA-MPJPE)作為評價指標,即在預(yù)測網(wǎng)格和地面真值上應(yīng)用線性關(guān)節(jié)回歸器計算14個LSP公共關(guān)節(jié)間平均歐氏距離.為了與地面真相網(wǎng)格進行比較，使用了網(wǎng)格頂點到頂點(V2V)誤差，即地面真值與預(yù)測的網(wǎng)格頂點之間的平均距離.預(yù)測網(wǎng)格和地面真值網(wǎng)格具有相同的拓撲時，為了與文獻[2，4，19]等預(yù)測SMPL而不是SMPL-X的方法進行公平的比較，只在身體部分計算V2V.

3.2 定向評估

為驗證文中提出的基于形變模型的人體姿態(tài)與體型重構(gòu)算法有效性,在EHF數(shù)據(jù)上實驗,展示算法在復(fù)雜姿勢下的有效性,并將同樣利用單張RGB進行人體姿態(tài)估計的文獻[3]SMPLify-X、文獻[4]HMR和最新基于SMPL-X模型STOA工作[9]算法作為對比算法.圖6為EHF數(shù)據(jù)集不同動作的4幀圖像的姿態(tài)估計結(jié)果,HMR算法姿態(tài)估計比較準確但缺乏面部與手部的估計.SMPLify-X在細節(jié)上表現(xiàn)更好，但存在細微姿勢估計以及體型不準確的問題.文獻[9]算法不包含面部信息，且存在姿態(tài)估計不準確問題.文中所提算法相較而言,姿態(tài)估計的結(jié)果更為精準，增加頭部特征點，因此頭部姿態(tài)估計更為準確，同時引入了二維輪廓線約束,因此重構(gòu)結(jié)果在腿部、腹部等部分體型更加準確.

(a)原始圖像 (b)HMR (c)SMPLify-X (d)文獻[9] (e)本文圖6 EHF數(shù)據(jù)集部分人體估計結(jié)果對比展示

為了進一步評估算法的普適性與精度,對該算法在任意獲取的RGB圖像上進行了實驗，結(jié)果如圖7所示.對復(fù)雜姿勢且著裝情況下，其余算法姿態(tài)估計效果相對數(shù)據(jù)集上均有所下降，本文算法對于姿態(tài)和體型的估計效果仍能保持，在細微姿態(tài)估計、頭部與手部細節(jié)處表現(xiàn)良好，模型平滑流程，驗證了該算法的普適性.

(a)原始圖像 (b)HMR (c)SMPLify-X (d)文獻[9] (e)本文圖7 真實數(shù)據(jù)人體估計結(jié)果對比展示

3.3 定量評估

在3DPW數(shù)據(jù)集上與基于SMPL模型優(yōu)化的方法SMPLify、回歸的HMR和文獻[19]SPIN算法，對模型的身體部位、比較關(guān)節(jié)預(yù)測誤差與網(wǎng)格頂點誤差取平均值(以毫米為單位).表1顯示，本文的算法性能在不同姿態(tài)下關(guān)節(jié)預(yù)測與模型預(yù)測結(jié)果平均值相較于SMPLify、HMR，SPIN具有明細優(yōu)勢.

表1 不同算法3DPW數(shù)據(jù)集的實驗誤差

在EHF數(shù)據(jù)集上與SMPLify-X進行比較.使用公開訓(xùn)練的模型，與文獻[14]進行比較，該算法使用不包含面部信息的SMPL-X模型.與估計SMPL模型的HMR和SPIN進行僅身體部分的評估.表2評估結(jié)果表明，在完整的人類表達重建和身體部分重建方面，網(wǎng)格頂點誤差和關(guān)節(jié)位置估計準確度均優(yōu)于其他基準，有明顯優(yōu)勢.同時在手臉細節(jié)部分，由于本算法在姿態(tài)和體型的貼合，定位更加準確，與SMPLify-X相比有了細微提高.

表2 不同算法EHF數(shù)據(jù)集的實驗誤差

4 結(jié)論

本文提出了一個從二維圖像估計三維人體姿態(tài)與體型算法，并結(jié)合SMPL-X模型將估計結(jié)果以三維人體網(wǎng)格模型的形式體現(xiàn).結(jié)合回歸與優(yōu)化方法，利用GAN網(wǎng)絡(luò)獲取姿態(tài)與模型參數(shù)作為初始值，再利用關(guān)節(jié)和輪廓特征優(yōu)化擬合模型參數(shù)，重建出包含更豐富的人體細節(jié)的SMPL-X人體模型.實驗結(jié)果表明，在姿態(tài)與體型估計方面準確度高，解決了重建精度有限的問題，并且使用回歸參數(shù)作為先驗使得優(yōu)化算法速度大大提升.在今后的工作中，將進一步研究利用視頻時序上所包含信息解決二維圖像深度信息缺少導(dǎo)致姿態(tài)估計不準確的問題.