三維重建技術(shù)的發(fā)展與現(xiàn)狀研究綜述

熊思博　王琦　劉光潔

關(guān)鍵詞：三維重建；深度學(xué)習(xí)方法；點(diǎn)云；體素；曲面網(wǎng)格；隱式曲面

中圖分類號(hào)：TP37 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2022）36-0114-04

三維重建技術(shù)是指對(duì)場(chǎng)景或物體建立起能在計(jì)算機(jī)環(huán)境下進(jìn)行處理與分析的數(shù)學(xué)模型的過程。目前，建立三維物體模型的方法主要分為三種：一是通過多角度的相機(jī)拍攝，通過計(jì)算機(jī)視覺技術(shù)建立三維數(shù)學(xué)模型，也稱為基于圖像的三維重建；二是運(yùn)用傳統(tǒng)的幾何建模技術(shù)構(gòu)建三維模型，例如Nurbs、KitBashing、布爾建模等技術(shù)方法；三是基于點(diǎn)云的三維重建方法，通過對(duì)物體進(jìn)行掃描，生成該物體點(diǎn)云視角下的三維模型。

圖像的三維重建方法分為兩種：一是基于單幅圖像的三維重建方法，依靠單張圖像獲取物體的形狀、顏色、共面性等信息。該方法獲取的信息有限，另一方面，單幅圖像中的遮擋現(xiàn)象使得重建過程難度加大；二是基于多幅圖像的三維重建，該方法主要是利用三角測(cè)量計(jì)算多個(gè)視角下物體的三維數(shù)據(jù)，通過對(duì)關(guān)鍵特征點(diǎn)的提取與匹配，對(duì)物體表面局部紋理進(jìn)行填充與優(yōu)化，恢復(fù)三維模型?；趫D像的三維重建方法能夠快速得到物體的三維模型，且虛擬化后的模型逼真，但是也存在著虛構(gòu)場(chǎng)景無法重建、基于單幅圖像的三維重建方法在大規(guī)模場(chǎng)景中偽影嚴(yán)重，重建效果差等問題。

基于傳統(tǒng)幾何技術(shù)實(shí)現(xiàn)三維重建的方法發(fā)展最為成熟，現(xiàn)在已經(jīng)廣泛地應(yīng)用于生產(chǎn)生活當(dāng)中，利用該方法可以得到高精度的三維模型。但重建過程中存在對(duì)物體需要進(jìn)行逐一測(cè)量、操作煩瑣、建模周期長等問題。

基于點(diǎn)云的三維重建是通過移動(dòng)測(cè)繪系統(tǒng)（Mo?bile Mapping System），包括相機(jī)和移動(dòng)激光掃描系統(tǒng)，采集得到點(diǎn)云數(shù)據(jù)，通過點(diǎn)云數(shù)據(jù)恢復(fù)圖像，經(jīng)過計(jì)算機(jī)處理得到三維模型，模型的質(zhì)量取決于點(diǎn)云的精細(xì)度和準(zhǔn)確度，所以該方法的重點(diǎn)與難點(diǎn)在于如何獲取高水平的點(diǎn)云數(shù)據(jù)、點(diǎn)云數(shù)據(jù)的后期降噪處理、多個(gè)點(diǎn)云數(shù)據(jù)的拼接。

近些年得益于深度學(xué)習(xí)方法的發(fā)展與應(yīng)用，基于深度學(xué)習(xí)的三維重建技術(shù)得到了充分發(fā)展并取得了一定成就。2014年，D.Eigen[1]首次使用CNN神經(jīng)網(wǎng)絡(luò)進(jìn)行三維重建研究工作，使用三維數(shù)據(jù)的深度特征表示，依靠深度學(xué)習(xí)方法實(shí)現(xiàn)三維模型的構(gòu)建，開啟了基于深度學(xué)習(xí)的三維重建方法，也為研究者們指出了未來新的研究方向。

1 基于點(diǎn)云的表面表示方法進(jìn)行三維重建

點(diǎn)云從字面意思可以理解為“大量的點(diǎn)”，它是三維空間坐標(biāo)系下點(diǎn)分布的樣本集合，通過掃描儀器得到的物體表面的點(diǎn)數(shù)據(jù)集合被稱為點(diǎn)云數(shù)據(jù)集，該數(shù)據(jù)集中包含有大量信息，如顏色數(shù)據(jù)、距離、點(diǎn)在三維空間坐標(biāo)系中的位置、光反射強(qiáng)度等，點(diǎn)云數(shù)據(jù)集與點(diǎn)云模型如圖1所示。獲取原始點(diǎn)云數(shù)據(jù)的方法主要有LiDAR激光雷達(dá)、RGB-D相機(jī)、多傳感器融合等，其中多傳感器融合得到的原始點(diǎn)云數(shù)據(jù)最為全面，可信度較高。點(diǎn)云數(shù)據(jù)集從獲取到的點(diǎn)數(shù)量上的多少可劃分為稀疏點(diǎn)云與密集點(diǎn)云，兩者在基于深度學(xué)習(xí)的表面重建過程與方法上有差異。

1.1 稀疏點(diǎn)云重建

稀疏點(diǎn)云重建方法是通過輸入場(chǎng)景或物體的多視角圖像，通過sift或者surf求得多對(duì)特征點(diǎn)，并對(duì)特征點(diǎn)進(jìn)行檢測(cè)與匹配，通過人為地標(biāo)定或者從圖像信息中獲取相機(jī)的初始參數(shù)，然后運(yùn)用SFM（Structurefrom motion）算法，輸出相機(jī)位姿與稀疏點(diǎn)云，根據(jù)輸出的相機(jī)位姿與相機(jī)初始參數(shù)運(yùn)用LM算法進(jìn)行捆綁優(yōu)化，得到更為精確的三維點(diǎn)坐標(biāo)，結(jié)合稀疏點(diǎn)云數(shù)據(jù)恢復(fù)物體或場(chǎng)景的三維結(jié)構(gòu)。使用SFM（Structurefrom motion）算法輸出相機(jī)位姿與稀疏點(diǎn)云容易受到圖像的光照、距離等因素影響，David Lowe[2]在SFM算法的基礎(chǔ)上加以改進(jìn)提出了SIFT算法，在空間尺度中尋找尺度、旋轉(zhuǎn)不變數(shù)，解決了以上因素的影響，使得稀疏點(diǎn)云重建的精度得到了大幅度提高。

Fan[3]在基于PointNet架構(gòu)的基礎(chǔ)上使用點(diǎn)云的表面表示方法進(jìn)行三維重建，為后續(xù)單幅圖像的點(diǎn)云三維重建研究工作指出了方向，體現(xiàn)了深度學(xué)習(xí)方法在三維重建工作中的強(qiáng)大性能。

1.2 稠密點(diǎn)云重建

稠密點(diǎn)云重建是在已經(jīng)過SFM（Structure frommotion）算法處理得到稀疏點(diǎn)云的基礎(chǔ)上選取全局視角圖像序列生成深度圖，根據(jù)深度圖每個(gè)像素的深度投影到三維空間得到三維稠密點(diǎn)云。在稠密點(diǎn)云重建中對(duì)深度圖的計(jì)算與生成是工作的重點(diǎn)也是難點(diǎn)。

Bleyer[4]將立體匹配算法PatchMatch算法應(yīng)用到深度圖的計(jì)算當(dāng)中，該方法能得到較好的像素值，但是對(duì)于表面紋理較少的物體或場(chǎng)景，由于算法計(jì)算過程中對(duì)信息的部分丟失，使得效果不佳。Huang[5]提出的DeepMVS 方法通過構(gòu)建包括PatchMatch匹配網(wǎng)絡(luò)、卷內(nèi)特征聚合網(wǎng)絡(luò)、卷間特征聚合網(wǎng)絡(luò)三部分構(gòu)成的網(wǎng)絡(luò)模型輸出視差圖，后期通過視差圖得到深度圖的辦法很好地解決了處理紋理缺失表面場(chǎng)景的問題，但是處理速度較慢。

考慮到傳統(tǒng)點(diǎn)云重建三維表面過程中存在的場(chǎng)景丟失、重建效果受場(chǎng)景環(huán)境影響較大等問題，基于深度學(xué)習(xí)的稠密點(diǎn)云重建算法應(yīng)運(yùn)而生。Yao[6]在2019年提出了R-MVSNet算法。該方法主要是將深度圖變換到深度不同的深度平面上，結(jié)合像素在不同深度平面上的概率分布得到初始深度圖。R-MVSNet 算法運(yùn)行速度快，適用性廣，可用于任意原始圖像輸入。

利用超網(wǎng)絡(luò)（Hyper Net Works）生成三維點(diǎn)云的方法獨(dú)辟蹊徑，該方法與現(xiàn)有的基于深度學(xué)習(xí)的三維重建方法相反，不像其他的方法返回點(diǎn)云的標(biāo)準(zhǔn)表示，而是以生成的方式找到基于網(wǎng)絡(luò)的三維對(duì)象表示，該方法可以同時(shí)找到對(duì)象及其三維表面表示。其主要思想是建立一個(gè)超網(wǎng)絡(luò)，在點(diǎn)上訓(xùn)練基于流的模型，將點(diǎn)的球分布反射成三維模型。

2 基于體素的表面表示方法進(jìn)行三維重建

基于體素的三維重建方法是通過在三維空間中描述其實(shí)體區(qū)域來表示其表面及內(nèi)部形狀，如圖2所示?；隗w素的三維重建在魯棒性、重建效果上與傳統(tǒng)三維重建方法相比有著自己獨(dú)特的優(yōu)勢(shì)，但是在存儲(chǔ)上耗費(fèi)較高并且圖像的二維卷積擴(kuò)展到三維圖像計(jì)算量大。

Wu[7]提出了一個(gè)基于體素表示方法和深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)，用損失函數(shù)進(jìn)行回歸，該方法在基于深度學(xué)習(xí)的三維重建方面取得了突破性進(jìn)展。在此基礎(chǔ)之上Tatarchenko[8]提出了一種分割三維空間，將其遞歸細(xì)分為八個(gè)分叉空間的方法，在體素網(wǎng)格上預(yù)測(cè)更高分辨率的形狀。

Stutz[9]首次提出了一種無監(jiān)督學(xué)習(xí)的三維重建方法，該方法在不降低精確度的基礎(chǔ)上對(duì)物體的體素模型進(jìn)行補(bǔ)全，其主要依靠深度神經(jīng)網(wǎng)絡(luò)（DNN）的數(shù)據(jù)訓(xùn)練和線性優(yōu)化。

Zhang[10] 設(shè)計(jì)了一種使用GAN 網(wǎng)絡(luò)（Generative Adversarial Networks， GAN）三維重建方法，通過一個(gè)發(fā)生器G（Generator）和一個(gè)鑒別器D（Discriminator）對(duì)輸入的圖像進(jìn)行判別與訓(xùn)練，隨機(jī)生成三維模型，經(jīng)過多次迭代最終得到精確度最高的三維模型。該方法生成的三位體素模型具有分辨率高、結(jié)構(gòu)詳細(xì)等優(yōu)勢(shì)。

雖然基于體素的表面表示方法進(jìn)行三維重建有其獨(dú)特的優(yōu)勢(shì)，但受限于顯存消耗、存儲(chǔ)占用等問題，近年來基于深度學(xué)習(xí)的三維重建研究更多關(guān)注于基于點(diǎn)云和曲面網(wǎng)格的神經(jīng)網(wǎng)絡(luò)。PointNet模型很大程度上解決了深度學(xué)習(xí)中基于體素的表面表示方法的問題，在此之后基于深度學(xué)習(xí)的三維重建訓(xùn)練和結(jié)果輸出大都基于點(diǎn)云和曲面網(wǎng)格。

3 基于曲面網(wǎng)格的表面表示方法進(jìn)行三維重建

基于曲面網(wǎng)格的表面表示方法目前使用最多的是投影網(wǎng)格測(cè)量法，投影網(wǎng)格測(cè)量法的主要流程是將網(wǎng)格投影到被測(cè)物體上，記錄下此時(shí)的網(wǎng)格成像（稱為測(cè)量圖像），計(jì)算出每個(gè)網(wǎng)格的深度，建立三維坐標(biāo)系來重建三維曲面。

相比于點(diǎn)云和體素的表面表示方法進(jìn)行三維重建，基于曲面網(wǎng)格的表面表示方法進(jìn)行三維重建能夠避免顯存占用問題，同時(shí)具有高精準(zhǔn)度，高適應(yīng)性等特點(diǎn)，并且可以呈現(xiàn)更好的細(xì)節(jié)。

在使用深度學(xué)習(xí)方法進(jìn)行基于曲面網(wǎng)格表示的三維重建時(shí)，構(gòu)建的神經(jīng)網(wǎng)絡(luò)模型通常以端到端的形式存在，通過對(duì)輸入的二維圖像進(jìn)行網(wǎng)格投影得到深度、特征點(diǎn)等信息，構(gòu)建形變網(wǎng)絡(luò)，通過形變網(wǎng)格與池化層為橢球網(wǎng)格提供深度、特征點(diǎn)等信息，完成對(duì)輸入圖像的三維模型重建工作，該神經(jīng)網(wǎng)絡(luò)中的節(jié)點(diǎn)即為形變網(wǎng)格中的頂點(diǎn)。

近年來使用深度學(xué)習(xí)方法構(gòu)建曲面網(wǎng)格實(shí)現(xiàn)三維重建取得了不錯(cuò)的進(jìn)展，Simonyan[11]設(shè)計(jì)了一個(gè)VGG網(wǎng)絡(luò)（Very Deep Convolutional Networks），通過小卷積核代替大卷積核，加深神經(jīng)網(wǎng)絡(luò)深度，提高了三維重建模型的精度。Pixel2mesh[12]模型是一種端到端的深度學(xué)習(xí)架構(gòu)，采用由粗糙到精細(xì)的變換策略，將輸入的圖像通過特征提取轉(zhuǎn)換為橢球網(wǎng)格，經(jīng)過神經(jīng)網(wǎng)絡(luò)的逐步變形將橢球網(wǎng)格重建為物體的三維模型，整個(gè)變形過程穩(wěn)定，信息損失小，提高了重建的精度。

4 基于隱式曲面的表面表示方法進(jìn)行三維重建

在數(shù)學(xué)與計(jì)算機(jī)圖像學(xué)中，隱式曲面是一種重要的表示方式，基于隱式曲面的表面表示方法進(jìn)行三維重建主要是通過構(gòu)建隱式曲面函數(shù)，通過函數(shù)來表示物體的二維或三維形狀。由于隱式曲面函數(shù)的構(gòu)建靈活，且能夠表示任意復(fù)雜的物體，適用于圖像的檢測(cè)、變形、運(yùn)算等方面。近年來在三維重建領(lǐng)域，由于隱式曲面函數(shù)能夠很好地解決點(diǎn)云散亂模型，許多研究者開始關(guān)注在深度學(xué)習(xí)方法中構(gòu)建隱式曲面函數(shù)來解決三維重建的問題。

現(xiàn)有的隱式曲面重建方法中，較為經(jīng)典的重構(gòu)方法有小波曲面重建算法、RBF曲面重建算法、Poisson 曲面重建算法、MPU曲面重建算法等。在此基礎(chǔ)之上，Jiang[13]引入了一種將隱式解碼器用作在模型上計(jì)算代碼解碼后提高匹配度的優(yōu)化組件，該方法比稀疏點(diǎn)云實(shí)現(xiàn)重建具有更好的效果，適用性更廣，可擴(kuò)展性強(qiáng)。Chen[14]的團(tuán)隊(duì)提出了一種IM-NET的方法，該方法通過VAE+GAN的深度學(xué)習(xí)訓(xùn)練網(wǎng)絡(luò)，在輸入單視圖實(shí)現(xiàn)三維建模過程中使用一種新的隱式曲面函數(shù)解碼器替換傳統(tǒng)的重建方式，在重建效果和時(shí)間上取得了較好的效果。

IF-Nets網(wǎng)絡(luò)模型是近兩年非?；馃岬难芯繜狳c(diǎn)，其原理是將點(diǎn)的學(xué)習(xí)轉(zhuǎn)化為判斷分類問題，用0或1標(biāo)注曲面內(nèi)或者曲面外，通過后期對(duì)標(biāo)注的點(diǎn)進(jìn)行分類處理實(shí)現(xiàn)模型曲面化和模型復(fù)原。IF-Nets的優(yōu)勢(shì)在于保留了圖像輸入中的細(xì)節(jié)，補(bǔ)全了形狀的遮擋部分的細(xì)節(jié)，缺陷在于泛化性有待提高。近年新出現(xiàn)的基于遞歸神經(jīng)網(wǎng)絡(luò)模型的三維重建方法。該方法通過對(duì)圖像提取特征信息，經(jīng)過多層級(jí)結(jié)構(gòu)編碼，能夠使得該神經(jīng)網(wǎng)絡(luò)模型本身學(xué)習(xí)到部件本身的拓?fù)浜徒Y(jié)構(gòu)特征。

SAGNET模型是一種基于弱監(jiān)督的結(jié)構(gòu)感知生成模型，該方法用成對(duì)關(guān)系反映形狀結(jié)構(gòu)中的不同部分，能獲得較好的視覺質(zhì)量，在拓?fù)浞矫孑^為靈活。同樣是采用解碼器解開特征并重建三維模型，MDIF （多分辨率深度隱式函數(shù)）函數(shù)是一種可從深度圖像中實(shí)現(xiàn)詳細(xì)的解碼器形狀補(bǔ)全的函數(shù)，該模型觀察區(qū)域的細(xì)節(jié)被準(zhǔn)確地保留，而未觀察區(qū)域則用可信的形狀完成。

在最新的研究中，有研究者將遷移學(xué)習(xí)的方法引入三維重建當(dāng)中，將圖像中的三維點(diǎn)信息劃分到幾個(gè)區(qū)域，通過無監(jiān)督的遷移學(xué)習(xí)方法訓(xùn)練網(wǎng)絡(luò)，然后基于區(qū)域間的關(guān)系完成三維重建工作，使得三維重建問題轉(zhuǎn)換成為二維問題。

5 總結(jié)與展望

5.1 總結(jié)

三維重建在制造業(yè)與逆向工程、影視、娛樂、醫(yī)學(xué)等許多方面有著廣泛的應(yīng)用，不管是已有技術(shù)或方法在三維重建中應(yīng)用或者是隨著三維重建取得巨大進(jìn)展而產(chǎn)生的許多新方法或算法，都體現(xiàn)了三維重建在未來的發(fā)展前景與市場(chǎng)潛力。

早期的三維掃描儀器價(jià)格昂貴、精度較低、相關(guān)的配套軟件與方法不全面，使得處于起步階段的三維重建工作與研究停留在處理陰影、重疊等問題。2010 年，Schmidt設(shè)計(jì)出Meshmixer后，三維重建的軟件配套問題得到了很好的解決，促進(jìn)了相關(guān)軟件的開發(fā)與技術(shù)突破。

后期三維重建的研究重點(diǎn)更多放在了應(yīng)用領(lǐng)域，如臨床醫(yī)學(xué)中通過對(duì)患者的身體構(gòu)建三維模型，標(biāo)識(shí)出患者的神經(jīng)、血管、腫瘤等各個(gè)結(jié)構(gòu)；文物保護(hù)工作中，通過構(gòu)建虛擬化的三維仿真場(chǎng)景，能夠讓游客最大程度上感受到文物的原始樣貌、古遺跡的還原場(chǎng)景等；另外在制造業(yè)中，通過三維重建方法構(gòu)建所需零部件的模型，由計(jì)算機(jī)控制生產(chǎn)設(shè)備完成加工，實(shí)現(xiàn)了生產(chǎn)流程的全自動(dòng)化，極大地降低了開發(fā)與生產(chǎn)成本。

隨著人工智能技術(shù)的發(fā)展，在自動(dòng)駕駛領(lǐng)域，對(duì)駕駛環(huán)境、道路、障礙物等的識(shí)別與三維重建是目前以及今后一個(gè)重要的研究課題與方向。三維掃描設(shè)備的輕量化、民用化是今后的一大發(fā)展趨勢(shì)。

本文基于點(diǎn)云、體素、曲面網(wǎng)格、隱式曲面的這四類表面表示方法展開了綜述，重點(diǎn)介紹了這四類方法的原理、發(fā)展過程與基于深度學(xué)習(xí)方法下的研究進(jìn)展與成果。然后根據(jù)這四個(gè)分類詳細(xì)討論了每個(gè)表面表示方法的優(yōu)缺點(diǎn)及重大改進(jìn)，并對(duì)這些改進(jìn)進(jìn)行比較。使用深度學(xué)習(xí)方法進(jìn)行三維重建是近年來計(jì)算機(jī)視覺下一個(gè)新的研究方向與重點(diǎn)，但是存在著方法凌亂、數(shù)據(jù)集體量小等問題。

5.2 展望

三維重建研究工作整體不夠成熟，對(duì)于重建過程與結(jié)果的評(píng)價(jià)算法較少，如何全面地評(píng)價(jià)三維重建算法、模型、方法的存儲(chǔ)占用、時(shí)間損耗、重建精度等是未來的一個(gè)發(fā)展方向。

在生活和生產(chǎn)應(yīng)用當(dāng)中，物體與場(chǎng)景所處的外部環(huán)境實(shí)時(shí)變化，現(xiàn)有的三維重建方法無法適用于所有的外部環(huán)境當(dāng)中，現(xiàn)有的研究工作也都是設(shè)置了一個(gè)特殊環(huán)境對(duì)物體和場(chǎng)景進(jìn)行三維重建。如何應(yīng)對(duì)與處置實(shí)時(shí)變化的外部環(huán)境是今后三維重建研究當(dāng)中的一個(gè)難點(diǎn)。

基于深度學(xué)習(xí)方法的三維重建中，由于需要大量數(shù)據(jù)集進(jìn)行網(wǎng)絡(luò)的訓(xùn)練，導(dǎo)致計(jì)算量較大，對(duì)計(jì)算機(jī)設(shè)備的要求較高，很難完成對(duì)圖像數(shù)據(jù)的實(shí)時(shí)三維重建，如何在不降低重建效果的基礎(chǔ)上縮減三維重建工作中的計(jì)算量是今后研究的重點(diǎn)。