基于二維圖像的三維服裝重建

潘 博， 鐘躍崎,2

(1. 東華大學(xué) 紡織學(xué)院， 上海 201620； 2. 東華大學(xué) 紡織面料與技術(shù)教育部重點(diǎn)實(shí)驗(yàn)室， 上海 201620)

二維服裝重建對于虛擬商品展示、虛擬試衣技術(shù)等在提高用戶體驗(yàn)、增強(qiáng)沉浸感方面具有重要的現(xiàn)實(shí)意義。盡管三維模型可由人工手動(dòng)創(chuàng)建，但該方法不適于工業(yè)化應(yīng)用。掃描儀的出現(xiàn)填補(bǔ)了三維重建技術(shù)的空白，不僅提供了現(xiàn)成的工具，且獲得的模型精度高，但受限于其設(shè)備價(jià)格昂貴，重建模型的規(guī)模和形狀，以及獲取的模型不包含紋理，無法進(jìn)行進(jìn)一步的完善[1]等問題，研究者們開始將研究方向聚焦在二維圖像到三維模型的轉(zhuǎn)化問題上。運(yùn)動(dòng)結(jié)構(gòu)恢復(fù)(SFM)[2-3]和視覺即時(shí)定位與地圖構(gòu)建技術(shù)(VSLAM)是2種常用于二維圖像恢復(fù)三維信息的方法。VSLAM被廣泛應(yīng)用在機(jī)器人定位和場景的實(shí)時(shí)構(gòu)建技術(shù)中，但同樣可用來恢復(fù)二維照片中的三維信息，與SFM方法最顯著的區(qū)別在于，VSLAM需要得到二維圖像的序列先驗(yàn)，且不支持離線算法，鑒于適用性的考慮，本文基于SFM方式進(jìn)行展開。SFM是一種通過收集二維圖像，并利用圖像中的對應(yīng)關(guān)系估計(jì)相機(jī)姿態(tài)，還原三維信息的一種技術(shù)，SFM包含3個(gè)主要步驟：1)圖像內(nèi)特征(包括點(diǎn)、線、顏色等多種信息)的提取與匹配；2)相機(jī)姿態(tài)估計(jì)；3)利用估計(jì)的相機(jī)姿態(tài)和提取的特征點(diǎn)恢復(fù)三維結(jié)構(gòu)(最小化重投影誤差的方式)。

三維重建技術(shù)在紡織行業(yè)中早有應(yīng)用：楊曉波等[4]設(shè)計(jì)了一種儀器利用三維重建織物輪廓來評價(jià)織物起皺，其還在設(shè)計(jì)過程中結(jié)合模糊聚類與Woodham[5]的光度視覺技術(shù)進(jìn)行織物種類的識別；沙莎等[6]利用織物物理模型、線圈模型和紗線真實(shí)感三方面對織物外觀進(jìn)行三維模擬研究等。目前，三維重建主要應(yīng)用在紗線、織物的三維動(dòng)態(tài)仿真以及織物評價(jià)等方面，針對服裝模型整體的重建研究較少，尚處在起步階段。該方法旨在從若干幅圖片中計(jì)算提取出目標(biāo)的三維深度信息，重構(gòu)出具備真實(shí)感的三維服裝模型。

此前已有不少報(bào)道對于圖像的三維重建進(jìn)行過相關(guān)研究[7-9]，但大部分工作集中于建筑、文物等剛性物體的重建，且多數(shù)研究僅停留在點(diǎn)云重構(gòu)層面。然而，作為典型的柔性材料，這種技術(shù)路線下的服裝三維重建往往存在由自遮蔽問題所導(dǎo)致的點(diǎn)云模型局部缺失，進(jìn)而引起三維表面網(wǎng)格重構(gòu)錯(cuò)誤。針對此問題，本文提出利用點(diǎn)云融合提高網(wǎng)格模型逼真度的改進(jìn)措施，同時(shí)針對不同的圖像拍攝方式獲取的模型效果進(jìn)行比較，并給出重建結(jié)果與深度相機(jī)獲取的點(diǎn)云數(shù)據(jù)的比對結(jié)果。

圖2 增廣式SFM流程示意Fig.2 Incremental structure from motion pipeline

1 三維服裝重建流程簡介

本文三維服裝模型重建的具體流程包括如下步驟：首先，提取二維圖像特征點(diǎn)，然后利用SFM構(gòu)建服裝模型的稀疏點(diǎn)云，通過SFM恢復(fù)的相機(jī)姿態(tài)利用多視角立體視覺(multi-view stereo)獲取服裝模型的稠密點(diǎn)云；之后使用泊松重建獲取模型網(wǎng)格；最后應(yīng)用法線映射貼圖技術(shù)得到包含紋理的服裝模型。利用二維圖像獲取三維模型的重建過程效果展示如圖1所示。

圖1 服裝模型重建效果展示Fig.1 Garment reconstruction result display. (a) Sparse point cloud; (b) Dense point cloud; (c) Mesh; (d) Texture mapping

1.1 SFM點(diǎn)云稀疏重建

SFM可將不同觀察角度得到的待重建物體的二維圖片重建生成三維模型的稀疏點(diǎn)云。作為一種端到端的重建技術(shù)，與其他三維重建技術(shù)相比，這種方式不需要對相機(jī)進(jìn)行標(biāo)定，可直接從二維圖像中推導(dǎo)出相機(jī)姿態(tài)。按照SFM過程中圖像添加順序的拓?fù)浣Y(jié)構(gòu)，SFM可分為增廣式SFM、全局式SFM以及混合式SFM。增廣式SFM的優(yōu)勢在于對錯(cuò)誤的特征匹配對更加魯棒，總體精度更高；而缺點(diǎn)在于重建時(shí)間較長，且隨著相機(jī)注冊步驟會(huì)存在誤差累積的現(xiàn)象。全局式SFM與之相反，雖然提高了重建效率，避免了相機(jī)注冊過程中的誤差累積，但對于錯(cuò)誤的匹配對魯棒性差，難以修正。混合式SFM則是二者在效率和效果上的折中。鑒于本文以服裝作為重建對象，數(shù)據(jù)集較小，全局式SFM的效率優(yōu)勢并沒有明顯體現(xiàn)且誤差累積不顯著，所以本文主要以增廣式SFM進(jìn)行討論。增廣式SFM[10]技術(shù)的流程示意圖如圖2所示。

1.2 多視角立體視覺稠密點(diǎn)云重建

鑒于SFM通過特征匹配重構(gòu)三維點(diǎn)云，因此，由其生成的點(diǎn)云只能是稀疏的點(diǎn)云模型。在此基礎(chǔ)上，本文引入多視角立體視覺[11-12]技術(shù)，該技術(shù)是對二維圖像中每個(gè)像素進(jìn)行匹配，從而使得所得三維點(diǎn)的密集程度可較為接近圖像展示出的清晰度。具體流程如下。

1)計(jì)算多張圖像的Harris角點(diǎn)，并利用差分金字塔的特征點(diǎn)檢測得到圖像顯著區(qū)域的稀疏面片，以這些匹配好的初始特征點(diǎn)作為初始面片。

2)使用與文獻(xiàn)[13]中的類似技術(shù)，對稀疏點(diǎn)云面片附近的像素進(jìn)行擴(kuò)展獲取對應(yīng)關(guān)系，最終得到一系列稠密的點(diǎn)云。

3)利用SFM獲取的相機(jī)內(nèi)外參數(shù)得到極線幾何約束，過濾掉錯(cuò)誤的匹配對。

為得到較好的重建效果，需要對步驟2)、3)進(jìn)行多次迭代。在本文中通過大量實(shí)驗(yàn)發(fā)現(xiàn)，將迭代次數(shù)設(shè)置為3，可得到質(zhì)量較好的三維服裝表面稠密點(diǎn)云。下面本文通過泊松重建將點(diǎn)云轉(zhuǎn)換為三維世界中更為常用的網(wǎng)格式拓?fù)浣Y(jié)構(gòu)。

1.3 泊松重建

泊松重建是Kazhdan等[14]于2006年提出的網(wǎng)格重建方法，其核心思想是利用空間點(diǎn)云代表物體表面位置，三維點(diǎn)的法向量代表內(nèi)外的方向。在具體實(shí)現(xiàn)過程中，該方法需要通過八叉樹(octree)數(shù)據(jù)結(jié)構(gòu)存儲(chǔ)所輸入的三維點(diǎn)集，即根據(jù)采樣點(diǎn)集的位置定義八叉樹，然后細(xì)分八叉樹使每個(gè)采樣點(diǎn)都落在深度為D的葉節(jié)點(diǎn)中，因此，重建后表面細(xì)節(jié)程度與深度D密切相關(guān)。圖3示出稠密點(diǎn)云經(jīng)不同八叉樹深度所得泊松重建效果?？芍翰此芍亟ㄟ^程中八叉樹深度為5時(shí)，無法有效還原重建對象形態(tài)；深度為8時(shí)，網(wǎng)格模型已基本還原服裝形態(tài)但缺少細(xì)節(jié)；深度為11和13時(shí)都可有效還原模型形態(tài)及細(xì)節(jié)。經(jīng)大量的實(shí)驗(yàn)，平衡考慮效率和網(wǎng)格細(xì)節(jié)2種因素，本文最終選擇迭代深度為11的泊松重建效果作為原始服裝對象的三維重建模型。

3.1.2 基質(zhì)土配制 基質(zhì)（或疏松大田土）∶腐熟有機(jī)肥和草木灰∶過篩的陳爐渣（或細(xì)綿沙）=5∶3∶2，每立方米營養(yǎng)土加入0.5 kg尿素，或10 ml親土一號或土壤殺菌劑，混合均勻后將拌好的基質(zhì)土裝入72孔的穴盤或8 cm×8 cm的營養(yǎng)缽，然后擺放于搭好的苗床上。

圖3 不同八叉樹深度泊松重建的表面Fig.3 Poission reconstruction results by different octree depth

2 改善模型重建效果的方法

此前多張二維照片重建三維對象較為成功的應(yīng)用大都集中在大規(guī)模場景重建中，在將其應(yīng)用在三維服裝這種較小規(guī)模的對象重建時(shí)，需要根據(jù)紡織服裝行業(yè)的需求對算法進(jìn)行優(yōu)化和改進(jìn)，因此，本文通過實(shí)驗(yàn)探究，給出通過點(diǎn)云融合解決稠密點(diǎn)云缺失問題的可行性，測試了拍攝方式對點(diǎn)云重建效果以及圖片預(yù)處理對貼圖效果的影響，并在此基礎(chǔ)上獲得了服裝網(wǎng)格與包含紋理圖案的服裝模型。

2.1 基于最近點(diǎn)迭代的點(diǎn)云配準(zhǔn)融合

通過服裝圖像構(gòu)建稠密點(diǎn)云的過程中，往往會(huì)出現(xiàn)錯(cuò)誤重構(gòu)的問題，如圖4所示。

圖4 泊松重建網(wǎng)格錯(cuò)誤重構(gòu)Fig.4 Mesh reconstruction error.(a) Initial dense point cloud; (b) Reconstructed mesh effect before improvement; (c) Dense point after fusion; (d) Mesh effect after improvement

錯(cuò)誤重構(gòu)的原因在于2個(gè)局域內(nèi)的點(diǎn)距離很近，且二維圖像上彼此存在遮蔽現(xiàn)象。而事實(shí)上，這2個(gè)局域分屬不同的語義空間，如袖子和衣身。在這樣的前提下會(huì)出現(xiàn)點(diǎn)云缺失，導(dǎo)致后續(xù)網(wǎng)格重建過程表面被錯(cuò)誤重構(gòu)，出現(xiàn)“黏連”現(xiàn)象。

為解決該問題，本文提出采用分批拍攝分批重建的方式，分別重建包含衣袖區(qū)域的點(diǎn)云P和部分包含衣袖區(qū)域的點(diǎn)云Q，并通過最近點(diǎn)迭代(ICP)的方式實(shí)現(xiàn)點(diǎn)云P與Q的配準(zhǔn)融合。

2.1.1 ICP算法

ICP算法是一種點(diǎn)云的配準(zhǔn)方式，在計(jì)算機(jī)應(yīng)用領(lǐng)域，三維點(diǎn)云配準(zhǔn)在表面重建、相機(jī)定位等問題中有著重要應(yīng)用，可理解為給定2個(gè)不同坐標(biāo)系的三維數(shù)據(jù)點(diǎn)集，找出2個(gè)點(diǎn)集的仿射變換。

Qi=RPi+T

式中，N表示待匹配點(diǎn)云的數(shù)目。

2.1.2 點(diǎn)云融合

根據(jù)上述算法，用同一件服裝在模特身上分 2次進(jìn)行圖像采集工作，分別獲取P和Q，具體穿套方式如圖5所示。

圖5 圖像采集過程中不同的穿套方式Fig.5 Different wearing types during images shooting

圖6示出點(diǎn)云融合前的準(zhǔn)備工作以及融合后的模型效果。為更準(zhǔn)確地對點(diǎn)云模型進(jìn)行融合，在配準(zhǔn)步驟中刪除了如圖6(a)衣袖部分的點(diǎn)云得到如圖6(b)所示的點(diǎn)云模型，用圖6(b)點(diǎn)云和包含衣袖部分的點(diǎn)云配準(zhǔn)后融合，服裝擺縫位置的點(diǎn)云及網(wǎng)格效果分別如圖4(c)、6(c)所示，融合后稠密點(diǎn)云整體效果如圖6(d)所示。

圖6 稠密點(diǎn)云的配準(zhǔn)實(shí)現(xiàn)Fig.6 Realization of dense point cloud registration. (a) Dense point cloud before cropping; (b) Dense point cloud after cropping; (c) Reconstructed mesh after fusion;

2.2 圖像數(shù)量與拍攝方案對模型的影響

根據(jù)圖像采集方式的不同，本文將拍攝方式定義為如圖7所示的環(huán)式和半球式拍攝方案 2種。環(huán)式是保持固定拍攝距離，均勻環(huán)繞重建對象拍攝采集圖像的方法；半球式是在環(huán)式拍攝重建對象的同時(shí)，通過改變拍攝距離、相機(jī)高度以及相機(jī)方向等因素，增加重建對象細(xì)節(jié)圖像拍攝的一種方法。

圖7 拍攝方案Fig.7 Shooting scheme. (a) Ring style; (b) Hemisphere style

為探究圖像數(shù)量對模型重建效果的影響，本文采用環(huán)式拍攝方式共采集了100張待重建服裝的圖像，并從中均勻篩選40、60、80、100張圖像分別用于重建任務(wù)。圖8示出不同拍攝方案和圖像數(shù)量的稠密點(diǎn)云重建效果。按重建圖片數(shù)量遞增的順序獲取的點(diǎn)云數(shù)量(單位：百萬)依次為0.35、1.3、1.7、1.8。通過觀察結(jié)果不難看出，點(diǎn)云數(shù)量隨著輸入圖像的增加而增加，且數(shù)量大于60時(shí)已可完整還原重建對象的空間形態(tài)。值得強(qiáng)調(diào)的是，雖然點(diǎn)云片數(shù)量不斷的增加，但圖8(b)、(c)、(d)中的模型都存在著肩部點(diǎn)云稀疏的問題，如圖9(a)所示。這不利于后續(xù)的網(wǎng)格重建工作。

圖8 重建效果對照Fig.8 Reconstruction effect comparison. (a) Ring/40; (b)Ring/60; (c) Ring/80; (d) Ring/100; (e) Hemisphere/80

圖9 不同拍攝方案下肩部點(diǎn)云的效果對比Fig.9 Point cloud comparison on shoulder parts with different shooting scheme. (a) Ring; (b) Hemisphere

前文比對實(shí)驗(yàn)中，環(huán)形拍攝方式獲取的二維圖像中存在著大量的重疊區(qū)域，有利于重建對象特征點(diǎn)的匹配以及三維空間點(diǎn)位置的計(jì)算，但過于密集的重疊帶來的冗余信息可能在增加了計(jì)算資源消耗的同時(shí)，卻并沒有帶來有效的效果提升，導(dǎo)致前面提及的肩部點(diǎn)云稀疏問題難以改善。為此，本文采用2種不同拍攝方式各拍攝80張圖像進(jìn)行重建，半球式重建方案分別選取了50張環(huán)繞服裝拍攝的圖像以及30張不同拍攝角度和服裝細(xì)節(jié)的圖像，以此探究拍攝方式對重建效果的影響(見圖8(e))。結(jié)果顯示，輸入同樣數(shù)量的圖像，半球式與環(huán)式拍攝方案都完整重建出了服裝的空間形態(tài)，且重建出的點(diǎn)云數(shù)目基本相同，但半球式拍攝方案更好地改善了肩部點(diǎn)云稀疏的現(xiàn)象，如圖9(b)所示。

綜上分析可認(rèn)為，在對服裝的二維圖像進(jìn)行三維重建任務(wù)時(shí)，圖像數(shù)目多于60張即可有效構(gòu)建重建對象的空間形態(tài)，半球式拍攝方案增加了圖像的表面細(xì)節(jié)，對特定區(qū)域點(diǎn)云稀疏問題有更好的改善效果。

2.3 三維重建精度

為驗(yàn)證本文提出的服裝重建算法精度，從 kinect V2 型設(shè)備掃描獲取的點(diǎn)云數(shù)據(jù)中篩選出服裝點(diǎn)云作為基準(zhǔn)進(jìn)行測試。因?yàn)椴簧婕皹?biāo)定步驟，本文將重建的服裝網(wǎng)格模型進(jìn)行縮放后，與掃描得到的點(diǎn)云數(shù)據(jù)經(jīng)泊松重建后的網(wǎng)格進(jìn)行比對，以此來探究誤差的大小與分布情況，結(jié)果如圖10所示。顏色深淺不同代表掃描的點(diǎn)云數(shù)據(jù)到重建服裝的歐式距離的絕對值?？煽闯?，本文算法重建的服裝與掃描數(shù)據(jù)較為相近，最大誤差為5.8 mm，標(biāo)準(zhǔn)偏差為0.6 mm。

圖10 重建結(jié)果誤差分布Fig.10 Reconstruction result error distribution

3 結(jié) 論

本文針對服裝二維圖像重構(gòu)三維模型的問題，提出了一種利用最近點(diǎn)迭代(ICP)點(diǎn)云配準(zhǔn)算法處理服裝點(diǎn)云模型擺縫位置點(diǎn)云缺失的問題。由實(shí)驗(yàn)驗(yàn)證可知：本文提出的基于點(diǎn)云融合技術(shù)的服裝二維圖像三維重構(gòu)方法可有效避免服裝模型網(wǎng)格重建的“黏連”現(xiàn)象，有效提高了模型真實(shí)感。泊松表面重建工作中八叉樹深度設(shè)置為11時(shí)，可在有效重建服裝空間形態(tài)、保留網(wǎng)格細(xì)節(jié)的同時(shí)兼顧重建效率。從稠密點(diǎn)云比對效果來看，環(huán)式拍攝方案始終存在模型肩部點(diǎn)云稀疏的缺陷，本文定義的半球式拍攝方案結(jié)合了重疊的環(huán)形圖像以及改變拍攝視角、拍攝距離的圖像，結(jié)果表明，半球式拍攝方式可有效改善點(diǎn)云稀疏的問題，可更有效地利用計(jì)算資源提高重建效果。本文最終利用拍攝的二維服裝圖像實(shí)現(xiàn)了服裝模型的三維重建工作，獲得的三維模型完整保留了目標(biāo)服裝的空間形態(tài)和網(wǎng)格細(xì)節(jié)，保證了模型真實(shí)性，對服裝虛擬展示等應(yīng)用領(lǐng)域有一定參考意義。