基于Kinect的人體模板化三維模型擬合重建

袁仁奇， 徐增波(上海工程技術(shù)大學(xué) 服裝學(xué)院，上海 201600)

研究與技術(shù)

基于Kinect的人體模板化三維模型擬合重建

袁仁奇， 徐增波
(上海工程技術(shù)大學(xué) 服裝學(xué)院，上海 201600)

利用Kinect體感設(shè)備與軟硬件的連接、集成來搭建面向真人的三維人體模型重建系統(tǒng)，通過其可操作的流程實現(xiàn)了三維人體模型的快速重建。然后根據(jù)重建出的三維人體網(wǎng)格模型，采用非線性模板擬合法，以通用標準三維人體模型為模板，對重建后的三維人體網(wǎng)格模型進行基于姿態(tài)、形體迭代變形擬合。其方法在建立多體感傳感設(shè)備測量人體數(shù)據(jù)中得到使用，在人體模塊化擬合重建三維人體點云數(shù)據(jù)中用于測量人體數(shù)據(jù)，將獲得的三維人體模型的尺寸和實際人體尺寸相對比，結(jié)果顯示掃描得到的三維人體模型數(shù)據(jù)與實際人體數(shù)據(jù)更加貼近。

Kinect人體建模；三維人體模型；人體模塊化；三維模型擬合；體型擬合

與傳統(tǒng)手工測量相比，利用三維非接觸式掃描系統(tǒng)掃描人體獲得人體尺寸的數(shù)據(jù)文件，建立人體模型，給顧客和消費者以直觀的視覺體驗，同時較快速提取人體尺寸，實現(xiàn)智能、高效的服裝生產(chǎn)的需要。隨著現(xiàn)代非接觸三維測量技術(shù)發(fā)展，使操作簡單迅速，對經(jīng)驗要求低。近幾年推出的Kinect設(shè)備，比如Kinect、PrimeSense、XtionPRO等都具備三維掃描的能力。這類設(shè)備最大的優(yōu)勢在于廉價，操作簡單，但是數(shù)據(jù)噪聲大，分辨率低，直接用來重建三維人體，效果很不理想。但是在Kinect掃描基礎(chǔ)上改進后續(xù)處理人體數(shù)據(jù)的技術(shù)，降低其數(shù)據(jù)的噪聲，運用新的人體重建技術(shù)，可以在提升其掃描的精確度上，充分發(fā)揮其價格優(yōu)勢，也更加適合其在服裝行業(yè)的實際應(yīng)用。因此，基于Kinect的三維人體重建[1]與應(yīng)用和個性化人體建模[2]的研究越來越多。本文基于Kinect的人體模板化的三維模型擬合重建就是在此基礎(chǔ)上，改進Kinect掃描數(shù)據(jù)的處理和三維人體構(gòu)建上，提升人體建模精確度，以便人體建模的后續(xù)技術(shù)運用。

也就是在Kinect的深度掃描設(shè)備的基礎(chǔ)上，得以實現(xiàn)人體數(shù)據(jù)提取的發(fā)展，同時根據(jù)Kinect深度成像和計算原理，分析其產(chǎn)生噪聲和孔洞的原因，針對這些原因構(gòu)造能量方程，來減少噪聲和修復(fù)孔洞，以實現(xiàn)三維人體建模的精準度。而多體感傳感Kinect設(shè)備掃描人體實現(xiàn)三維人體建模的技術(shù)，也被提上技術(shù)研究和服裝人體尺寸提取技術(shù)開發(fā)的平臺上，實現(xiàn)快速采集人體三維數(shù)據(jù)。基于Kinect的人體模板化的三維模型擬合重建對提高人體建模的精度和完整性上有很大的實際意義，為人體掃描提取人體數(shù)據(jù)和實際人體變形提供技術(shù)支持和基礎(chǔ)理論研究的支持。

1 Kinect人體掃描的系統(tǒng)構(gòu)建

由于視角的限制，單個Kinect攝像頭無法拍攝出人體的全景，本系統(tǒng)從6個方向(相隔60°)，在每個垂直方向安裝4個Kinect設(shè)備，利用這24個Kinect可以很好地從水平和垂直方向?qū)θ梭w進行圖像采集，然后根據(jù)圖像間重疊部分的特征點進行點云配準拼接，使用電腦掃描提取三維人體點云。

圖1 系統(tǒng)設(shè)計原理Fig.1 Principle of system design

圖2 設(shè)備安放設(shè)計Fig.2 Equipment placement design

圖3 Kinect設(shè)備提取出來的實際狀態(tài)下點云數(shù)據(jù)模型Fig.3 Model of point cloud data extracted by Kinect device under actual state

2 基于模板的人體擬合

2.1 模板三維人體模型擬合概述

在模板下的人體擬合建立在大型人體數(shù)據(jù)庫基礎(chǔ)上進行匹配變形，例如CAESAR、TOSCA、SCAPE，這些數(shù)據(jù)庫中保存著大量的不同人體(體型)、不同姿態(tài)的人體數(shù)據(jù)，然后可以從這些人體數(shù)據(jù)中提取一個標準數(shù)字化人體模型作為模板，將該模板進行變形擬合，最終得到一個與非標準人體模型相似的完整的三維人體模型。先找出模板間的匹配點，然后根據(jù)這些匹配點通過點迭代的方式求解出變換矩陣進行變形擬合，在對模型表面平滑度進行保護處理下使得變形后的模板與非標準模型差異最小。

基于模板的人體擬合通常是通過點、網(wǎng)格、骨架的配準變形實現(xiàn)的，分為姿態(tài)擬合和體型擬合兩大步驟，其流程如圖4所示。算法流程的關(guān)鍵是找出兩個三維人體模型之間的對應(yīng)擬合點，根據(jù)擬合點進行網(wǎng)格變形及骨架的提取。國外關(guān)于基于模板的人體擬合的研究較多[3]，例如Allen[4]通過標記點法來進行對應(yīng)擬合點匹配及待擬合模型的空洞修復(fù)與平滑，利用事先標記的精確標記點作為種子對剩余的擬合點進行匹配，達到了很好的匹配效果，但是手工標記是一項繁雜的工作；Anguelov[5]提出了SCAPE模型，人體變形將模板擬合分為姿態(tài)驅(qū)動的骨架剛性變形(姿態(tài)SCAPE空間)與體型驅(qū)動的體型非剛性變形(體型SCAPE空間)，將人體三角網(wǎng)格數(shù)據(jù)投影到SCAPE空間進行變形擬合，并在標記點法的前提下通過標準模型對缺失人體模型進行模型修補?；跀?shù)據(jù)庫配準下提取出的人體模型標記的關(guān)鍵擬合點，與提取的人體點云重建模型確定的關(guān)鍵記點進行擬合。

圖4 基于模板的人體模型擬合流程Fig.4 Human model fitting process based template

由于Kinect設(shè)備問題及工作人員在圖像采集時誤操作等原因，前文中獲取到的人體點云數(shù)據(jù)及其網(wǎng)格模型可能存在一些空洞及噪聲，基于模板的人體擬合可以有效地解決這一問題?；谀０鍞M合的方法，從大量人體掃描出的點云數(shù)據(jù)庫(處于相同或相似姿態(tài)下不同人體數(shù)據(jù))中提取的實際人體數(shù)據(jù)，在盡量降低誤差情況下與建模建立的人體模型建立擬合的規(guī)則，然后參照其擬合規(guī)則使用在Kinect掃描得到的三維人體數(shù)據(jù)，將其與數(shù)據(jù)庫中三維點云人體模型進行擬合，從而得到更準確個性的三維人體模型。也即將實際人體掃描的人體點云數(shù)據(jù)建立的模型，經(jīng)過其中模塊擬合使實際人體點云數(shù)據(jù)誤差、噪點少，從而保證實際人體建模和人體尺寸測量的準確性。步驟：根據(jù)人體骨架及關(guān)節(jié)點完成姿態(tài)擬合；根據(jù)三維點云與模板對應(yīng)點之間的距離和模板變形的光滑度等評估參數(shù)，完成體型擬合。

2.2 人體關(guān)節(jié)點確定和骨架重構(gòu)

2.2.1 模型特征點確定

模型特征點一般指模型表面一些具備顯著意義的點，如人體模型的頭頂點、四肢前端點等。從數(shù)字幾何方面進行分析，這些特征點是位于模型函數(shù)的極值點處；從拓撲學(xué)的關(guān)鍵點角度進行分析，模型特征點是模型拓撲關(guān)鍵點的一部分。Morse理論是研究模型空間形狀及其空間連續(xù)光滑函數(shù)關(guān)鍵點間關(guān)系的基礎(chǔ)理論[6]，Edelsbnmner[7]將連續(xù)光滑Morse函數(shù)推廣為分段線性Morse函數(shù)，并稱之為離散Morse理論。文獻[8]首次將離散Morse理論用于基于拓撲分析的三維標量場多分辨率表示研究，近年來，基于Morse理論的特征點分析大量應(yīng)用于三維幾何模型研究與應(yīng)用[9]。

將模型表面兩采樣點間的測地距離表示為G(vj,vi),G(vj,vi)能夠在模型進行平移、旋轉(zhuǎn)及變形時保持不變。三維模型上頂點到其他頂點的平均測地距離可表示為：

(1)

(2)

確定了Morse函數(shù)后，依據(jù)如下步驟逐一確定模型的特征點：

1)確定當(dāng)前特征點vf，當(dāng)前特征點位于f(v)的極大值點處，即vf∈V:maxf(v)；

2)將vf添加到特征集合vF；

3)重復(fù)步驟2，K次，添加K個特征點。

確定三維人體網(wǎng)格模型的K個特征點(K的值可以在確定模型接近實際人體數(shù)據(jù)情況下，確定一定特征點的數(shù)量)后，連接人體形心vmin和K個特征點即可獲得三維人體網(wǎng)格模型的初始骨架S。

2.2.2 人體骨架提取

許多學(xué)者也陸續(xù)構(gòu)建了不少其他的場函數(shù)用來提取三維模型的骨架。如廣義勢能場，該方法把模型的表面點看作帶有電荷的電極，模型某一內(nèi)點的電勢可以看作模型所有電極(邊界點)對該點的電場力作用的合力，在得到模型所有內(nèi)點的電勢后，順次聯(lián)結(jié)各局部電勢極小值點就能夠獲得模型骨架。其他的廣義場法包括基于RBF法[10]和可見反力場(Visible Repulsive Force Field)法[11]，廣義場函數(shù)法一般先求出對應(yīng)場函數(shù)的局部極值點，繼而光順聯(lián)結(jié)這些極值點最終獲得模型骨架。

這里采用離散Morse理論提取特征點確定人體模型的初始骨架，然后利用人體解剖學(xué)知識進行關(guān)節(jié)點的提取，采用似圓性原理確定人體關(guān)節(jié)點并得出最終的人體骨架?？紤]到人體的對稱性，以頭頂點為源點構(gòu)造新的Morse函數(shù)如下:

f′(v)=G(v,vhead)

(3)

假設(shè)頭頂點是人體模型上任一頂點。通過Dijkstra算法求取頭頂源點到人體模型上任一頂點的測地距離，然后連接測地距離相等的頂點就可以得到Morse函數(shù)等值線。利用同一連通域的人體模型等值線能夠獲得每個連通域等值線的重心，連接同一連通域的重心即可得到三維人體模型的中心線。利用Morse函數(shù)提取三維人體模型同一連通域的等值線，然后根據(jù)似圓性方法提取人體骨架關(guān)節(jié)中心點，關(guān)節(jié)點提取步驟如下：

首先，根據(jù)下式求解得到每個等值線的中心，生成整個模型的中心線。

(4)

式中：Mi為第i個等值線，Pij是Mi上的點。

然后，根據(jù)下式計算所有等值線的似圓性函數(shù)。

(5)

式中：M為等值線，s為M的面積，c為M的周長，h為M的似圓性函數(shù)。

根據(jù)人體解剖學(xué)原理，如果M的重心與關(guān)節(jié)中心距離很小甚至為同一點，那么M與其附近的等值線相比會出現(xiàn)一些差異，值h在M處可以取得局部極小值。

圖5 提取人體模型圖像Fig.5 Extracting human model image

通過下式能夠從全部的等值線中篩選出關(guān)節(jié)中心點所在的等值線，其中Mjoint是關(guān)節(jié)所在的等值線。

(6)

最終根據(jù)下式能夠求解獲得人體骨架關(guān)節(jié)中心點。

(7)

連接關(guān)節(jié)點及特征點即可得到最終骨架(圖5)，并將盆骨作為根節(jié)點，對其他骨架通過坐標變換進行標準化即可得到標準矢量化骨架，然后根據(jù)關(guān)節(jié)點處的等值線將人體進行分塊，為下節(jié)模型擬合做準備。

2.3 姿態(tài)擬合

假設(shè)模板庫中的一個極度接近姿態(tài)模板F是由點及網(wǎng)格構(gòu)成，模板F上的頂點記為F(t)，上文獲得的三維人體點云記為A(t)，B(T)代表模板F的骨架，B(S)代表點云A(t)的骨架，目的就是獲取由模板F到點云A(t)的變換矩陣。

將姿態(tài)擬合可分兩步進行，第一步是根據(jù)關(guān)節(jié)點和骨架對模板F進行變形，變形后計算模板F和點云A(t)上對應(yīng)關(guān)節(jié)點之間的距離，最小化能量函：

(8)

在這里，增加約束：人體身高介于1.4～2.1 m。

第二步就是根據(jù)骨架將人體分為幾個部分(如頭部、左肩、右肩等)，如圖6所示。計算模板F在變形人體各分塊區(qū)域的頂點與目標點云A(t)上對應(yīng)最近鄰點的距離，最小化能量函數(shù)：

(9)

圖6 人體關(guān)鍵點及其分塊結(jié)構(gòu)Fig.6 Key points of human body and the block structure

2.4 體型擬合

E=Wdata=WdataEdata+WsmoothEsmooth

(10)

(11)

(12)

考慮到模板F上臨近點的變換矩陣不會差異太大，dist(Ai,Aj)代表模板F上相鄰點的變換矩陣Ai和Aj之間的距離，衡量模板F變形后表面的光滑程度。

2.5 對應(yīng)特征點的擬合

在對應(yīng)特征點擬合的方向上，將掃描人體點云數(shù)據(jù)模型上提取的關(guān)鍵點與模型庫中匹配出的關(guān)鍵點對應(yīng)擬合，以達到掃描人體模型的平滑清晰準確的效果，可以利用擬牛頓(擬Newton)法。擬Newton法是當(dāng)前求解無約束優(yōu)化問題最有效的方法，該方法是在成功地對Newton法進行改進之后得到的。Newton法是通過目標函數(shù)的二階導(dǎo)數(shù)信息實現(xiàn)的，Newton法主要優(yōu)點在于收斂速度快?？墒牵琋ewton法的一個主要缺點也是由于目標函數(shù)的hessian矩陣引起的：對許多問題，hessian陣無法求出，或要花費很大的工作量計算。而相對來說，目標函數(shù)的一階偏導(dǎo)數(shù)是容易求出的。于是產(chǎn)生如下想法：

(13)

取x=xk-1，有

(14)

(15)

BkSk-1=yk-1

(16)

以上方程稱為BFGS形式的擬牛頓法。記Bk=Bk-1+Ek，將其代入擬牛頓方程得：

Bk-1Sk-1+EkSk-1=yk-1?EkSk-1=yk-1-Bk-1

(17)

設(shè)Ek有如下形式：Ek=αkμμT+βkvvT，μ,v是向量，將其代入式(17)有

αk(μTSk-1)μ+βk(vTSk-1)v=yk-1-Bk-1Sk-1

(18)

將兩端比較，令

(19)

(20)

1)任取初始點x0和初始正定矩陣B0,k=0；

xk+1=xk+akdk

Sk=xk+1-xk

2.6 小 結(jié)

由于Kinect提取人體點云建立的三維人體模型存在的缺失因素誤差，基于擬合對其提取的點云人體數(shù)據(jù)進行擬合。將模型庫中匹配出的人體模型與掃描實際三維模型對比，建立二者之間對應(yīng)的特征點，擬合出非標準模型，為實際人體掃描提供模板擬合的對應(yīng)變化準則，然后實際人體掃描的擬合參照擬合規(guī)律(匹配出的人體模型與實際人體模型建立擬合規(guī)則)，在模型掃描與實際模型進行擬合規(guī)律的制定后，圖7為基于擬合對缺失人體數(shù)據(jù)的恢復(fù)。

圖7 基于擬合對缺失人體數(shù)據(jù)的恢復(fù)Fig.7 Restoration of missing human body data based on fitting

實際男性人體模型人體掃描如圖8所示，男性人體模型初始掃描存在很多噪點將其與標準人體模板(圖9)進行擬合，然后得到圖10所示實際人體模型，在之后可以提取三維掃描人體模型的關(guān)鍵關(guān)節(jié)點及其骨架(圖11)。

圖8 實際缺失掃描模型Fig.8 Actual missing scaning model

圖9 標準人體模板Fig.9 Standard human body template

圖10 擬合出的實際人體模型Fig.10 The fitted actual human model

圖11 實際關(guān)鍵關(guān)節(jié)點及其骨架Fig.11 Actual key joint point and skeleton

圖12和圖13分別是多體感傳感器提取的女人體模型和男人體模型的點云數(shù)據(jù)，由計算機處理，經(jīng)過去噪模型整理，提取出人體模型，將手工測量的實際人體數(shù)據(jù)與不應(yīng)用模塊化技術(shù)、用模塊化技術(shù)掃描提取的人體數(shù)據(jù)進行對比(表1、表2)。人體模型進行人體特征點的確定和標記，在提取人體尺寸數(shù)據(jù)的軟件里面實現(xiàn)所需要的測量指標：例如胸圍、臀圍、腰圍、身高、臂長等。快速實現(xiàn)人體尺寸的提取，以方便后續(xù)的服裝選款、制版的需要。

通過多體感傳感提取的人體模型的正面和背面表明，每個人體模型的特征點和特征線也很明顯，同時表1和表2有快速提取的人體數(shù)據(jù)和實際的人體數(shù)據(jù)，應(yīng)用模塊化技術(shù)前和應(yīng)用之后的人體數(shù)據(jù)。由于女性人體模型的著裝比較薄，智能提取和實際提取的人體尺寸的差值很小。在服裝測量上，數(shù)據(jù)誤差范圍只在0.01～0.5 cm，三維人體掃描的數(shù)據(jù)可見非常精確。由于男性人體模型的著裝厚重一些，三維掃描的人體數(shù)據(jù)和實際數(shù)據(jù)的差值普遍在0.3～0.6 cm，而這樣的誤差在服裝制作中是合理的誤差范圍，所以多體感傳感人體掃描具備可行性和精確性。

測量數(shù)據(jù)顯示，模板化技術(shù)在三維人體提取人提出尺寸中對人體數(shù)據(jù)的變化很明顯，也有助于提取出準確的人體三維尺寸，并且可以使人體誤差數(shù)據(jù)保證在合理范圍內(nèi)的可能變大，Kinect模塊化提取人體數(shù)據(jù)有助于數(shù)據(jù)化人體建庫和智能化人體服裝發(fā)展。

圖12 多體感傳感器提取的實際女人體模型Fig.12 The actual female human body model extracted by multi-somatosensory sensor

圖13 多體感傳感器提取的實際男人體模型Fig.13 The practical male human body model extracted by multi-somatosensory sensor

表1 多體感傳感器提取的實際女人體模型的測量數(shù)據(jù)Tab.1 The measurement data of the actual female human body model extracted by multi-somatosensory sensor cm

表2 多體感傳感器提取的實際男人體模型的測量數(shù)據(jù)Tab.2 The measurement data of the actual male body model extracted by multi-somatosensory sensor cm

3 結(jié) 語

利用三維點云進行三維人體重建，為更形象地表現(xiàn)出模型拓撲，首先對點鄰域平坦度進行分級，構(gòu)造種子面片并進行擴展，從而重建出人體的網(wǎng)格模型。然后利用三角形折疊法對人體的三角網(wǎng)格模型進行網(wǎng)格簡化，并利用基于測地距離的Morse函數(shù)提取得到人體的形心及k個特征點，得到人體初始骨架；而后以頭頂點為源點構(gòu)造新的Morse函數(shù)，并求解得到同一連通域的等值線，連接等值線的中心獲得人體模型的中心線。根據(jù)似圓性求出人體關(guān)節(jié)點，連接關(guān)節(jié)點與特征點獲得人體的最終骨架。最后，基于模板的配準技術(shù)將一個“標準”的三維人體模板去變形擬合重建出三維人體網(wǎng)格模型，通過姿態(tài)擬合與體型擬合最終得到了光滑的三維人體模型。

[1]許鴻堯.基于類Kinect的三維人體重建及應(yīng)用[D].杭州：浙江理工大學(xué),2013.

XU Hongyao. Like-Kinect Based 3D Human Body Reconstruction and Application[D].Hangzhou:Zhejiang Sci-Tech University,2013.

[2]薛均強.基于Kinect的個性化人體建模技術(shù)研究與實踐[D].哈爾濱：國防科學(xué)技術(shù)大學(xué),2013.

XUE Junqiang. Research and Development of Personalized Human Body Modeling Using Kinect[D].Harbin:National University of Defense Technology,2013.

[3]STEFANIE W. Notes for seminar statistical shape analysis-or-how to build a digital clone using simple modalities[J]. Cluster of Excellence MMCI,2012:5-7.

[4]ALLEN B, CURLESS B, POPOVI′C Z. The space of human body shapes: reconstruction and parameterization from range scans[J]. ACM Transactions on Graphics,2003,22(3):587-594.

[5]ANGUELOV D, SRINIVASAN P, KOLLER D, et al. Scape: Shape completion and animation of people[J]. Association for Computing Machinery,2005:4-9.

[6]MILNOR J. Morse Theory[M]. New Jersey: Princeton University Press,1963:7-13.

[7]EDELSBRUNNER H, HARER J, NATARAJAN V, et al. Morse-smale complexes for piecewise linear 3-manifolds[C]. 19th Annu.ACM Sympos. Theory Comput.Geom,2003:361-370.

[8]GYULASSY A, NATARAJAN V, PASCUCCI V, et al. Topology-based simplification for feature extraction from 3D scalar fields[J]. Published in: Visualization, IEEE,2005(5):535-542.

[9]王仁芳,張三元.數(shù)字幾何處理的若干問題研究進展[M].北京:清華大學(xué)出版社,2012:20-30.

WANG Renfang, ZHANG Sanyuan. Research Progress of Some Problems in Digital Geometry Processing[M]. Beijing: Tsinghua University Press,2012:20-30.

[10]MA W C, WU F C, OUHYOUNG M. Skeleton extraction of 3D objects with radial basis function[J]. Shape Modeling International,2003:1-10.

[11]WU F C, MA W C, LIU P C, et al. Skeleton extraction of 3D objects with visible repulsive force[J]. Computer Graphics Workshop,2003:1-7.

Researchon3DmodelfittingandreconstructionofhumanbodytemplatebasedonKinect

YUANRenqi,XUZengbo
(Fashion College, Shanghai University of Engineering Science, Shanghai 201600, China)

In this paper, a 3D human body model reconstruction system for real people was built by using the connection and integration of Kinect somatosensory equipment, hardware and software. The rapid reconstruction of 3D human body model was achieved through the operable process. Then, according to the reconstructed 3D human body mesh model, non-linear template fitting method and the standard 3D human body model were used to fit the reconstructed 3D human body mesh model based on posture and shape iterative deformation. This method is used in the establishment of multi-body sensory sensing device to measure human body data. It is also used to measure human body data in the human body modular fitting reconstruction of 3D human body point cloud data, and the dimension of the obtained 3D human body model was compared with the actual size of human body. The results show that the 3D human body model data are closer to the actual human body data.

Kinect human body modeling; 3D human body model; modularization of human body; 3D model fitting; body type fitting

TS941.17

A

1001-7003(2017)10-0029-08 < class="emphasis_bold">引用頁碼

頁碼: 101106

10.3969/j.issn.1001-7003.2017.10.006

2017-01-12;

2017-09-04