多視角單目服裝圖像三維重建算法的研究與實(shí)現(xiàn)

胡新榮 曾瀟 劉軍平 彭濤 何儒漢 陳常念

摘 要：為降低服裝三維模型的重建難度，提升三維服裝模型的重建效率，提出一種基于多視角單目的服裝三維重建方法，該方法首先獲取服裝圖像序列，然后對(duì)服裝圖像序列進(jìn)行實(shí)例化分割獲得含服裝部分的輪廓信息，使用SIFT算法提取每張圖像的特征點(diǎn)和匹配對(duì)，加入雙重約束去除誤差匹配對(duì)。然后進(jìn)行稀疏點(diǎn)云以及稠密點(diǎn)云的重建，最后使用泊松重建還原服裝表面細(xì)節(jié)。結(jié)果表明：在多視覺(jué)單目服裝三維重建過(guò)程加入實(shí)例分割和雙重約束后可以將特征的匹配率提升至88.3%，三維重建的速度較傳統(tǒng)方法提升了22%。該方法在服裝三維模型重建的過(guò)程中也能較好還原服裝表面細(xì)節(jié)。

關(guān)鍵詞：服裝重建;實(shí)例分割;特征點(diǎn)檢測(cè);特征點(diǎn)匹配;點(diǎn)云

中圖分類號(hào)： TP391.41

文獻(xiàn)標(biāo)志碼：A

文章編號(hào)：1009-265X（2021）06-0084-07

Research and Implementation of 3D Reconstruction Algorithm for Images of

Multi-view Monocular Garment

HU Xinrong， ZENG xiao， LIU Junping， PENG Tao， HE Ruhan， CHEN Changnian

（School of Computer Science and Artificial Intelligence， Wuhan Textile University， Wuhan 430200， China）

Abstract： In order to reduce the difficulty of 3D garment model reconstruction and improve the efficiency of 3D garment model reconstruction， a 3D reconstruction method based on multi-view monocular garment is presented. In this method， the garment image sequence is firstly obtained， and then the contour information of garment is obtained by instantiating and segmenting the garment image sequence. The feature points and matching pairs of each image are extracted by using SIFT algorithm and error matching pairs are eliminated by adding dual constraints. Then， sparse point cloud and dense point cloud are reconstructed， and finally the surface details of the garment are restored by Poisson reconstruction. The results show that after adding instance segmentation and dual constraints to the 3D reconstruction process of multi-view monocular garment， the matching rate of features can increase to 88.3%， and the speed of 3D reconstruction can increase by 22% compared with the traditional method. This method can also restore the surface details of the garment properly in the process of 3D model reconstruction.

Key words： garment reconstruction; instance segmentation; feature point detection; feature point matching; point cloud

收稿日期：2020-03-20? 網(wǎng)絡(luò)首發(fā)日期：2020-12-17

基金項(xiàng)目：國(guó)家自然科學(xué)基金項(xiàng)目（61103085）;湖北省高校優(yōu)秀中青年科技創(chuàng)新團(tuán)隊(duì)計(jì)劃項(xiàng)目（T201807）

作者簡(jiǎn)介：胡新榮（1974- ），女，武漢人，教授，博士，主要從事圖形圖像處理方面的研究。

隨著互聯(lián)網(wǎng)技術(shù)和虛擬現(xiàn)實(shí)技術(shù)的發(fā)展，三維服裝模型廣泛應(yīng)用于服裝設(shè)計(jì)、個(gè)性化定制、虛擬試衣、影視娛樂(lè)、動(dòng)漫游戲各領(lǐng)域[1]。三維服裝模型的制作同時(shí)也吸引了越來(lái)越多服裝及圖形學(xué)相關(guān)領(lǐng)域研究者的興趣。由于服裝具有材質(zhì)柔軟、易變形、易褶皺及結(jié)構(gòu)復(fù)雜等特性，使得服裝三維建模相較于其他剛性物體建模具有更大的難度。

服裝三維重建根據(jù)方法的不同可以分為以下四類：幾何法、掃描法、深度學(xué)習(xí)法、多視角法。幾何法的基本原理是基于物體都是由許多微小幾何體構(gòu)成的集合，常用于幾何法制作服裝三維模型的工具有CAD、Maya、CLOTH[2-4]等，這些工具可以較好地完成服裝的建模。但是，該類工具操作起來(lái)難度較大，耗時(shí)較長(zhǎng)，且無(wú)法準(zhǔn)確地還原服裝表面的細(xì)節(jié)。掃描法基本原理是利用脈沖的反射時(shí)間從而計(jì)算服裝的表面細(xì)節(jié)，這類方法常用的工具有Kinect、Li-Diar等[5]。掃描法可以快速有效地完成服裝表面的重建，但該類設(shè)備對(duì)應(yīng)的場(chǎng)景有限，其價(jià)格也較為昂貴，難以大規(guī)模普及。深度學(xué)習(xí)法的基本原理是通過(guò)大量的服裝數(shù)據(jù)訓(xùn)練，得到合適的服裝三維重建模型，這類方法對(duì)數(shù)據(jù)量要求極高，且得到的服裝模型結(jié)果有較大的局限性[6]。多視角法根據(jù)相機(jī)數(shù)量的不同又可分為雙目多視角和單目多視角[7-9]，其基本原理都是圍繞服裝表面拍攝一組圖像序列，然后根據(jù)一定圖形幾何學(xué)原理生成三維模型。其中，雙目多視角在操作過(guò)程中需要將多個(gè)相機(jī)維持在一個(gè)固定距離，相比單目多視角而言不僅增加了成本也加大了操作難度。此外，單目多視角在服裝三維重建過(guò)程中具有成本低、操作簡(jiǎn)單、魯棒性好等優(yōu)勢(shì)。

本研究從傳統(tǒng)單目多視角出發(fā)，拍攝一組服裝圖像序列，然后使用Mask R-CNN[10]用于服裝目標(biāo)檢測(cè)和語(yǔ)義分割從而降低后期生成點(diǎn)云的噪聲，也加快了三維重建的速度。得到語(yǔ)義分割的服裝圖像之后使用SIFT算法提取服裝圖像的特征點(diǎn)和匹配對(duì)，由于SIFT在粗匹配過(guò)程中會(huì)產(chǎn)生大量的誤差匹配對(duì)，在此基礎(chǔ)上，本研究加入雙重約束，有效地減少了特征點(diǎn)誤差匹配對(duì)。接著使用SFM算法對(duì)特征點(diǎn)進(jìn)行稀疏點(diǎn)云重建，再使用多視角密集匹配算法CMVS/PMVS將稀疏點(diǎn)云轉(zhuǎn)為稠密點(diǎn)云。最后使用泊松表面重建算法將稠密點(diǎn)云轉(zhuǎn)為光滑連續(xù)的服裝三維模型。

1 圖像獲取和服裝輪廓提取

二維服裝的圖像獲取是服裝三維重建的第一步，獲取的圖像的質(zhì)量將直接影響后續(xù)系列的重建操作。服裝輪廓的提取是為了減少后續(xù)的計(jì)算量，同時(shí)減少冗余點(diǎn)云的產(chǎn)生。

1.1 圖像獲取

由于視角和遮擋等原因，單張圖像往往無(wú)法包含一個(gè)物體表面的所有信息，為獲得服裝表面更多豐富的細(xì)節(jié)，需要對(duì)服裝表面進(jìn)行多角度拍攝從而獲得一組圖像序列。拍攝時(shí)，所選擇服裝的顏色應(yīng)避免整體單一，并且應(yīng)避免其顏色與所拍攝背景顏色相同。同時(shí)服裝材質(zhì)的選擇應(yīng)為質(zhì)地清晰紋理分明的材質(zhì)，如服裝表面帶有條紋或格子。實(shí)驗(yàn)拍攝對(duì)場(chǎng)地?zé)o特殊要求，僅光源足以清晰的拍攝出主體即可。手持相機(jī)順時(shí)針均勻的圍繞服裝表面拍攝一組圖像序列，拍攝的每張圖像須包含主體在此角度的全部信息。進(jìn)行拍攝時(shí)相鄰兩張圖像的角度不能超過(guò)30°，由SIFT算法特性決定，在兩張圖像角度相差大于30°時(shí)，其匹配對(duì)明顯減少，從而導(dǎo)致重建效果不理想。圖1為圖像拍攝方式，圖2為拍攝的部分服裝圖像序列。

1.2 服裝實(shí)例分割

實(shí)例分割是指檢測(cè)圖像中的目標(biāo)物，并完成對(duì)目標(biāo)物的分類、圖像分割以及目標(biāo)區(qū)域定位。本研究使用Mask R-CNN用于服裝圖像的實(shí)例分割，Mask R-CNN算法具有操作簡(jiǎn)捷、識(shí)別精度高等優(yōu)點(diǎn)，是目前最優(yōu)秀的實(shí)例分割算法之一。Mask R-CNN的基本思想是先用RPN（Region proposal network）區(qū)域建議網(wǎng)絡(luò)對(duì)圖像進(jìn)行檢測(cè)并找到圖像中的ROI（Region of interest）候選區(qū)域，再使用卷積層提取圖像中所有的特征，隨之使用ROIAlign對(duì)特征進(jìn)行檢測(cè)并通過(guò)FCN將圖像中不同實(shí)例進(jìn)行分類，最后得到目標(biāo)實(shí)例的結(jié)果。

實(shí)驗(yàn)選用DeepFashion、COCO數(shù)據(jù)集，同時(shí)結(jié)合實(shí)際情況采用Lableme圖像標(biāo)識(shí)工具完成對(duì)服裝圖像的標(biāo)識(shí)處理。香港中文大學(xué)所開(kāi)放的數(shù)據(jù)集DeepFashion，總共涵蓋80多萬(wàn)張不同場(chǎng)景、角度各異的買(mǎi)家秀服裝圖像。

Mask R-CNN實(shí)例分割的網(wǎng)絡(luò)結(jié)構(gòu)分為兩部分：Faster R-CNN[11]檢測(cè)器和FCN，流程如圖3所示。

Faster R-CNN由兩部分組成：RPN和ROI Pool。RPN的主要功能是選取目標(biāo)物候選框并對(duì)ROI進(jìn)行分類。ROI Pool則是對(duì)每個(gè)候選框的特征進(jìn)行提取，然后進(jìn)行分類和回歸操作。

FCN是對(duì)Faster R-CNN提取的候選框添加掩模，然后對(duì)目標(biāo)對(duì)象進(jìn)行分割的操作。其中掩模表示的是各個(gè)候選框之間的位運(yùn)算。

本研究模型選用101層的深度殘差網(wǎng)絡(luò)ResNet101，通過(guò)該網(wǎng)絡(luò)的使用能夠從第四階段對(duì)應(yīng)的最終卷積層完成特征的提取處理操作。在實(shí)驗(yàn)訓(xùn)練過(guò)程中，是將圖像作為中心，將目標(biāo)圖像邊長(zhǎng)尺寸相對(duì)較小的一側(cè)歸一化處理至800像素，類似Faster RCNN完成其相應(yīng)參數(shù)的設(shè)置。

在實(shí)驗(yàn)訓(xùn)練過(guò)程中，各樣本的ROI均存在一個(gè)與之對(duì)應(yīng)的損失函數(shù)（Loss，L），L的相關(guān)定義如式（1）：

2 圖像特征點(diǎn)檢測(cè)和匹配

服裝圖像特征點(diǎn)的檢測(cè)和匹配的好與壞直接影響后續(xù)SFM稀疏點(diǎn)云的質(zhì)量。本研究關(guān)于特征點(diǎn)的提取與匹配使用的是SIFT算法，由Lowe[12]提出，其具有較好的尺度、旋轉(zhuǎn)、平移不變性。

2.1 特征點(diǎn)檢測(cè)

SIFT特征點(diǎn)的檢測(cè)分為5步，如圖4所示，分別是尺度空間的構(gòu)建、極值點(diǎn)的檢測(cè)、去除邊緣效應(yīng)點(diǎn)、關(guān)鍵點(diǎn)主方向的確定、描述子。

a）構(gòu)建尺度空間需要依賴高斯濾波器G（a，b，σ）：

式中：I（a，b，σ）表示為一個(gè)尺度空間，M（a，b）表示為原圖像，G（a，b，σ）為高斯濾波核，a，b表示為服裝圖像的像素位置，表示卷積運(yùn)算，σ表示為尺度空間，其值越小，表示圖像越平滑，對(duì)應(yīng)的圖像尺度也就越小。

根據(jù)σi的取值不同，可以得到一組尺度空間。然后對(duì)這組尺度空間的圖像進(jìn)行降采樣處理得到只有原圖像大小的二分之一的一組尺度空間。對(duì)第一組尺度空間進(jìn)行多次降采樣得到O層數(shù)據(jù)。

其中O層的求解方法如下：

為了使算法具有尺度不變性，還需對(duì)同一組中尺度大小不一致的相鄰圖像進(jìn)行相減得到高斯差分金字塔D（a，b，σ）。

式中：k為整數(shù)。

b）極值點(diǎn)檢測(cè)。在高斯差分金字塔中尋找極值。若高斯差分金字塔中某一像素點(diǎn)同時(shí)大于或小于同一尺度中周圍8個(gè)位置，以及上下相鄰兩個(gè)尺度18個(gè)點(diǎn)位置時(shí)，將該點(diǎn)列為極值點(diǎn)。進(jìn)一步將檢測(cè)到的極值點(diǎn)作泰勒展開(kāi)，得到其精準(zhǔn)極值點(diǎn)位置。

c）去除邊緣點(diǎn)。上一步得到的極值點(diǎn)中有比較多的多余點(diǎn)，因此需要使用Hessain矩陣，若高斯差分金字塔中對(duì)a，b的二階偏導(dǎo)之和與a，b二階混合偏導(dǎo)的差之間的比值小于給定的閾值，稱該點(diǎn)為邊緣點(diǎn)，應(yīng)予以剔除。

d）確立主方向。根據(jù)步驟c）中留下的最終特征點(diǎn)，以其特征點(diǎn)為圓心，以該特征點(diǎn)所在高斯圖像尺度的1.5倍為半徑作圓，統(tǒng)計(jì)圓內(nèi)所有像素的梯度方向以及其梯度幅值，依據(jù)統(tǒng)計(jì)得到的最多數(shù)據(jù)值為主方向。

e）描述子。根據(jù)關(guān)鍵點(diǎn)的主方向，先將圓內(nèi)的16個(gè)子區(qū)域旋轉(zhuǎn)成與主方向一致。然后統(tǒng)計(jì)每個(gè)子區(qū)域中8個(gè)方向上的數(shù)值，構(gòu)成含有128個(gè)維度的向量。最終，SIFT特征點(diǎn)檢測(cè)結(jié)果如圖5所示。

2.2 特征點(diǎn)匹配

SIFT獲取特征點(diǎn)之后，接下來(lái)需要進(jìn)行特征點(diǎn)的匹配。通常判定兩個(gè)描述子之間是否存在相似性使用歐氏距離表示。根據(jù)特征點(diǎn)提取的過(guò)程知道描述子是具有128個(gè)維度的向量。假設(shè)其中一個(gè)經(jīng)由SIFT提取的描述子為Xi=（Xi1...Xi128），另一待匹配的描述子為Yi=（Yi1...Yi128），這兩個(gè)描述子經(jīng)歐氏距離計(jì)算的過(guò)程如下：

經(jīng)過(guò)上述的歐式距離可以得到比較多的匹配對(duì)，由于歐氏距離計(jì)算的是向量之間的距離，卻沒(méi)計(jì)算不同向量之間的相關(guān)性。所以還需將歐氏距離得到的匹配對(duì)進(jìn)一步篩選。因此，在歐氏距離基礎(chǔ)上加入余弦相似度和切比雪夫距離作為雙重約束用于過(guò)濾粗匹配對(duì)。余弦相似度檢測(cè)兩向量的特征關(guān)系時(shí)，當(dāng)余弦值越接近0時(shí)，越說(shuō)明兩向量不相關(guān)，即為誤匹配點(diǎn)，應(yīng)予以剔除。

最后，通過(guò)Ransac（Random sample consensus）隨機(jī)采樣一致方法作為最后的提純，得到最佳匹配對(duì)結(jié)果。Ransac算法是一個(gè)迭代不斷尋找最優(yōu)解的過(guò)程。其具體步驟為：首先隨機(jī)選取四對(duì)匹配點(diǎn)，根據(jù)這四對(duì)匹配點(diǎn)建立一個(gè)初始的模型。接著將該模型用于檢測(cè)其他匹配點(diǎn)，并統(tǒng)計(jì)其中的誤差匹配點(diǎn)數(shù)目是否滿足某一閾值。若滿足則將該模型作為最終方法，若不滿足，然后重建選取四對(duì)匹配點(diǎn)完成上述過(guò)程。但若特征點(diǎn)匹配過(guò)程中誤差對(duì)較多的時(shí)候，那么此時(shí)加入Ransac算法反而會(huì)降低匹配精度同時(shí)減少正確的匹配對(duì)數(shù)目。為此，對(duì)Ransac算法進(jìn)行了改進(jìn)。

假設(shè)兩幅圖像中存在一組正確的特征點(diǎn)匹配對(duì)分別是（Xi，Yi），（Xj，Yj），其中d（Xi，Xj）表示兩個(gè)維度向量Xi和Xj之間的距離，同理d（Yi，Yj）表示Yi和Yj的距離。因?yàn)槭窃谝唤M正確匹配對(duì)，因此d（Xi，Xj）和d（Yi，Yj）兩者間的距離也相似。相對(duì)應(yīng)的，若相鄰兩幅圖像的左圖和右圖中的Xi和Xj的距離與左圖中Yi和右圖中的Yj距離相似，可以認(rèn)為這兩點(diǎn)之間存在匹配關(guān)系，于是提出以下約束函數(shù)關(guān)系：

式中：D（i，j）表示的是d（Xi，Xj）和d（Yi，Yj）的平均距離，e（i，j）表示e（-tij），e（-tij）為e（-tij）=d（Xi，Xj）-d（Yi-Yj）D（i，j）即Xi與Yi和每對(duì)潛在點(diǎn)的距離相似差異。

具體實(shí)現(xiàn)步驟如下：

首先求出所有ν（i）的值，然后計(jì)算ν（i）的平均值ν，若ν（i）大于0.8倍的ν，認(rèn)為這兩點(diǎn)之間存在正確匹配，則將該兩個(gè)數(shù)據(jù)進(jìn)行保留，否則，刪除。最后，將保留得到的一組精度較高的特征點(diǎn)通過(guò)Ransac迭代方式進(jìn)行最后提純。

圖6為特征點(diǎn)匹配效果圖。其中圖6（a）表示為僅為SIFT特征點(diǎn)匹配結(jié)果，圖6（b）為Ransac算法提純后效果，圖6（c）為加入雙重約束后效果。其特征點(diǎn)匹配數(shù)目實(shí)驗(yàn)分析如表1所示。

根據(jù)表1中數(shù)據(jù)可知，在傳統(tǒng)SIFT特征點(diǎn)匹配過(guò)程中，能夠提取較多的匹配對(duì)，其匹配的平均準(zhǔn)確率為62.2%，無(wú)法滿足服裝三維建模過(guò)程的精度。Ransac算法能夠較大程度提高特征點(diǎn)的匹配率，其平均準(zhǔn)確率為84.3%，但由于Ransac在匹配過(guò)程中同時(shí)也剔除了較多的正確匹配對(duì)，使得特征匹配對(duì)數(shù)目較少。針對(duì)SIFT特征點(diǎn)匹配率低、Ransac提取特征匹配對(duì)數(shù)少，加入雙重約束即余弦相似度約束和Ransac前置約束，其特征匹配準(zhǔn)確率為88.3%，可以有效提高其匹配對(duì)同時(shí)提升匹配的準(zhǔn)確率，這將提高服裝模型重建過(guò)程中點(diǎn)云的數(shù)量，細(xì)節(jié)還原更加逼真。

3 服裝三維重建

3.1 稀疏點(diǎn)云重建

選用SFM（Struct from motion）[13]算法對(duì)服裝進(jìn)行稀疏點(diǎn)云重建。SFM算法具有迭代性，第一步選擇匹配對(duì)數(shù)目最多的相鄰兩幅圖像作為算法的開(kāi)始，通過(guò)兩幅圖像之間的匹配對(duì)信息使用三角測(cè)量得到三維點(diǎn)云信息，此時(shí)得到的點(diǎn)云信息對(duì)應(yīng)著真實(shí)服裝在空間中的部分特征。依此方法逐漸加入更多服裝圖像從而得到更多的三維點(diǎn)云信息。最后通過(guò)最小化重投影誤差（Bundle ajustment，BA）[13]方法進(jìn)行優(yōu)化。

最小化重投影誤差算法使用的是非線性最小二乘法技術(shù)[14]，重投影誤差計(jì)算的式為：

式中：n表示三維點(diǎn)個(gè)數(shù)，m表示服裝圖像總數(shù)量，Xij表示第j張服裝圖像上的第i的三維點(diǎn)，vij表示在第j張服裝圖像上第i個(gè)三維點(diǎn)的映射系數(shù)。

當(dāng)映射系數(shù)為1時(shí)，說(shuō)明兩者有映射關(guān)系，若映射系數(shù)等于2則說(shuō)明沒(méi)有映射關(guān)系。aj表示的是每幅圖像對(duì)應(yīng)的相機(jī)，bi表示三維點(diǎn)為i的向量。函數(shù)Q（aj，bi）表示的是在三維點(diǎn)bi在aj相機(jī)下對(duì)應(yīng)的投影位置，即預(yù)測(cè)值，d則表示點(diǎn)坐標(biāo)與預(yù)測(cè)點(diǎn)坐標(biāo)的空間距離。

3.2 稠密點(diǎn)云重建

SFM算法對(duì)服裝進(jìn)行三維重建后，得到的是具有低點(diǎn)云密度的三維特征點(diǎn)，包含服裝信息較少。為了使服裝模型更加飽滿還需要對(duì)稀疏點(diǎn)云進(jìn)行稠密重建。本研究使用CMVS/PMVS[13]多視角密集匹配進(jìn)行服裝的稠密重建。CMVS（Clustering multi-view stereo）可以對(duì)SFM得到的稀疏點(diǎn)云進(jìn)行聚簇分類以及優(yōu)化，減少密集匹配所需的時(shí)間從而提高效率。PMVS（Patch-based multi-view stereo）對(duì)得到的密集匹配進(jìn)行匹配、擴(kuò)展以及過(guò)濾。

PMVS方法是基于區(qū)域增長(zhǎng)[14-17]：首先使用Harris和高斯差分查找圖像中的特征點(diǎn)t，然后在其他圖像中找到和t相匹配的特征t，組成一個(gè)匹配集合T。再根據(jù)三角測(cè)量公式將匹配集合演變?yōu)榭臻g三維點(diǎn)云，通過(guò)迭代在已有稀疏點(diǎn)云面片的基礎(chǔ)上不斷增加點(diǎn)云的密度，從而得到稠密點(diǎn)云;最后將得到的稠密點(diǎn)云使用濾波算法進(jìn)行矯正，從而得到一個(gè)完整的服裝三維稠密點(diǎn)云。

3.3 泊松表面重建

稠密點(diǎn)云得到的服裝三維模型，中間仍然包含許多孤立的三維點(diǎn)集合，從而導(dǎo)致服裝表面出現(xiàn)許多難以修復(fù)的孔洞。采用泊松表面重建方法[18]，對(duì)稠密點(diǎn)云數(shù)據(jù)求解泊松方程，從而得到表面連續(xù)光滑的服裝三維表面。

泊松表面重建的流程可以分為4個(gè)部分：離散化、向量場(chǎng)的創(chuàng)建、求解泊松等式、提取等值面。為了將泊松公式離散化，首先創(chuàng)建函數(shù)空間F，然后定義一個(gè)八叉樹(shù)，將稠密點(diǎn)云集合存入八叉樹(shù)節(jié)點(diǎn)。為提高八叉樹(shù)的搜索效率還需通過(guò)三線性插值方法創(chuàng)建向量場(chǎng)。通過(guò)向量場(chǎng)求解泊松方程得到指示函數(shù)的值。最后根據(jù)指示函數(shù)求解等值面，并通過(guò)平均值法將等值面進(jìn)行提取，隨后通過(guò)移動(dòng)立方體得到最終服裝模型。

4 結(jié)果與分析

采用小米Max3手機(jī)拍攝的一組服裝圖像序列，實(shí)驗(yàn)環(huán)境為Ubuntu16.04 64位、C++、Clion。對(duì)于拍攝環(huán)境沒(méi)有嚴(yán)格要求，以服裝作為目標(biāo)物，繞其表面拍攝一圈。加入Mask R-CNN作為服裝的實(shí)例分割降低點(diǎn)云噪聲，在特征點(diǎn)匹配過(guò)程加入雙重過(guò)濾算法優(yōu)化特征點(diǎn)的匹配精度。圖7、圖8、圖9分別表示稀疏點(diǎn)云效果、稠密點(diǎn)云效果以及完整服裝三維模型效果。表2為與傳統(tǒng)實(shí)驗(yàn)數(shù)據(jù)對(duì)比實(shí)驗(yàn)結(jié)果，表明加入Mask R-CNN作為服裝的實(shí)例分割降低點(diǎn)云噪聲、降低重建所需時(shí)間。加入雙重約束作為過(guò)濾可以有效減少誤差匹配對(duì)，提高了特征點(diǎn)匹配的精度。本研究重建實(shí)驗(yàn)具有較好的魯棒性。

5 結(jié) 語(yǔ)

本研究在SIFT特征匹配基礎(chǔ)之上加入雙重約束過(guò)濾算法能夠減少三維重建的時(shí)間，降低特征點(diǎn)誤匹配對(duì)情況，從而提升服裝三維重建的效率和效果，在單目圖像重建算法的性能方面有較大的改善。雖然在多視角單目服裝圖像三維重建方面取得了初步進(jìn)展，但仍然存在不足，如重建所需圖片較多，耗時(shí)較長(zhǎng)無(wú)法達(dá)到實(shí)時(shí)重建的效果，重建時(shí)沒(méi)考慮遮擋的數(shù)據(jù)點(diǎn)等等。下一步工作可以通過(guò)服裝對(duì)稱性、插值法增加被遮擋的數(shù)據(jù)點(diǎn)云的考慮來(lái)提高重建性能。

參考文獻(xiàn)：

[1]遲曉琳.談舞蹈服裝設(shè)計(jì)在3D數(shù)字游戲中的應(yīng)用[J].藝術(shù)教育，2018（1）：186-187.

[2]張菲菲.基于三維掃描的旗袍CAD樣板參數(shù)化設(shè)計(jì)[D].蕪湖：安徽工程大學(xué)，2019.

[3]郭丹，商書(shū)元.基于Maya技術(shù)的虛擬服飾模型構(gòu)建[J].電腦知識(shí)與技術(shù)，2016，12（35）：240-241.

[4]黃益品.CLO3D技術(shù)在服裝款式設(shè)計(jì)中的應(yīng)用研究[J].中國(guó)文藝家，2019（9）：103.

[5]李健，李豐，何斌，等.單Kinect+回轉(zhuǎn)臺(tái)的全視角三維重建[J].數(shù)據(jù)采集與處理，2019，34（2）：205-213.

[6]DANˇ REK R， DIBRA E， ZTIRELI C， et al. Deep-Garment： 3D garment shape estimation from a single image[J].Computer Graphics Forum， 2017，36（2）：269-280.

[7]王欣，袁坤，于曉，等.基于運(yùn)動(dòng)恢復(fù)的雙目視覺(jué)三維重建系統(tǒng)設(shè)計(jì)[J].光學(xué)精密工程，2014，22（5）：1379-1387.

[8]KANAZAWA A， BLACK M J， JACOBS D W， et al. End-to-end recovery of human shape and pose[C]//CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City， UT， USA. IEEE， 2018：7122-7131.

[9]WANG X， YUAN K， YU X， et al. Design of binocular vision 3D reconstruction system based on motion recovery[J]. Optics and Precision Engineering， 2014，22（5）：1379-1387.

[10]HE K M， GKIOXARI G， DOLLAR P， et al. Mask R-CNN[C]//2017 IEEE International Conference on Computer Vision （ICCV）. Venice. IEEE，2017：6870-6878.

[11]REN S Q， HE K M， ROSS G， et al. Faster R-CNN： Towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2017，39（6）：1137-1149.

[12]LOWE D G. Distinctive image features from scale-invariant keypoints[J]. International Journal of Computer Vision， 2004，60（2）：91-110.

[13]張平，王山東，黃瑾娉，等.基于SFM和CMVS/PMVS的建筑物點(diǎn)云重構(gòu)方法研究[J].蘇州科技學(xué)院學(xué)報(bào)（自然科學(xué)版），2015，32（3）：60-64.

[14]Westoby M J， Brasington J， Glasser N F， et al. 'Structure-from-Motion' photogrammetry： A low-cost， effective tool for geoscience applications[J]. Geomorphology， 2012，179：300-314.

[15]繆君，儲(chǔ)珺，張桂梅，等.基于稀疏點(diǎn)云的多平面場(chǎng)景稠密重建[J].自動(dòng)化學(xué)報(bào)，2015，41（4）：813-822.

[16]FATHI H， BRILAKIS I. Automated sparse 3D point cloud generation of infrastructure using its distinctive visual features[J]. Advanced Engineering Informatics， 2011，25（4）：760-770.

[17]何豫航，岳俊.基于CMVS/PMVS多視角密集匹配方法的研究與實(shí)現(xiàn)[J].測(cè)繪地理信息，2013，38（3）：20-23.

[18]劉濤，高媛，秦品樂(lè)，等.基于點(diǎn)云增強(qiáng)優(yōu)化的泊松重建算法[J].計(jì)算機(jī)應(yīng)用研究，2018，35（3）：940-943.