RGB-D 相機(jī)的三維重建綜述

孫曉明，任 磊

（浙江理工大學(xué)信息學(xué)院，浙江杭州 310018）

0 引言

三維重建是計(jì)算機(jī)視覺、計(jì)算機(jī)圖像學(xué)領(lǐng)域的研究熱點(diǎn)，旨在從二維圖像數(shù)據(jù)集或場景視頻中獲得三維數(shù)據(jù)模型，以三維立體信息展示。隨著科技的發(fā)展，智能手機(jī)硬件集成度不斷提高，尤其是相機(jī)小型化、集成化，使移動端擁有良好的場景信息采集能力。高效、準(zhǔn)確的三維重建技術(shù)在眾多領(lǐng)域得到應(yīng)用，如虛擬現(xiàn)實(shí)（Virtual Reality，VR）、增強(qiáng)現(xiàn)實(shí)（Augmented Reality，AR）、智慧城市、軍事作戰(zhàn)、文物保護(hù)和地圖構(gòu)建等。基于RGB-D 的三維重建技術(shù)不僅限于靜態(tài)場景重建，在動態(tài)重建方面也取得長足進(jìn)展。

Roberts［1］在1963 年首次使用計(jì)算機(jī)視覺方法從二維圖像中獲取三維信息，從此三維重建技術(shù)不斷發(fā)展，成果顯著?；谝苿佣说娜S重建利用智能手機(jī)的傳感器同時進(jìn)行慣性測量單元（Inertial Measurement Unit，IMU）數(shù)據(jù)、RGB 圖像和深度圖像采集，實(shí)時重建三維立體場景。2010 年，微軟開始使用Kinect 進(jìn)行相關(guān)開發(fā)，之后，陸續(xù)出現(xiàn)Intel RealSense、PrimeSense Carmine、Google Tango 等類似深度相機(jī)。RGB-D 的實(shí)時重建在計(jì)算機(jī)視覺領(lǐng)域及計(jì)算機(jī)圖像學(xué)領(lǐng)域引起巨大反響。此后，在靜態(tài)、動態(tài)場景重建方面涌現(xiàn)出眾多切實(shí)有效的算法。

1 傳感器（深度相機(jī)）

隨著計(jì)算機(jī)視覺技術(shù)的不斷發(fā)展，采用深度相機(jī)進(jìn)行動作識別、場景、建模等相關(guān)應(yīng)用越來越多。彩色相機(jī)拍攝的圖片得到相機(jī)視角內(nèi)的場景顏色信息并記錄下來，卻不包括深度信息，而深度相機(jī)能夠獲取場景的深度信息，解決了該問題。通過獲取的深度圖像，人們能準(zhǔn)確知道圖像中每個點(diǎn)與相機(jī)的距離（景深），附加該點(diǎn)2D 圖像中對應(yīng)的（x，y）坐標(biāo)就可計(jì)算得到圖像中每個點(diǎn)的空間坐標(biāo)，建立截?cái)喾柧嚯x函數(shù)（Truncated Signed Distance Function，TSDF）體素模型，從而實(shí)現(xiàn)場景的三維重建［2］。

目前主流的深度相機(jī)方案分為3 種，其性能如表1 所示。

（1）基于結(jié)構(gòu)光（Structured Light）的深度相機(jī)。通過近紅外激光器將具有一定結(jié)構(gòu)特征的光線投射到被拍攝物體上，再由專門的紅外攝像頭進(jìn)行采集［3］。具備一定結(jié)構(gòu)的光線會因拍攝物體的不同深度區(qū)域而采集不同的圖像信息，然后通過運(yùn)算單元換算成深度信息，以此獲得三維結(jié)構(gòu)。

（2）基于光飛行時間（Time-Of-Flight）的深度相機(jī)。通過測量光飛行時間來測量距離［4］。其工作原理是通過向目標(biāo)連續(xù)發(fā)射激光脈沖，然后通過傳感器接收反射光線，通過探測光脈沖的飛行往返時間得到目標(biāo)距離。

（3）基于雙目立體視覺（Binocular Stereo Vision）的深度相機(jī)?；谝暡钤聿⒗贸上裨O(shè)備從不同的位置獲取被測物體的兩幅圖像，通過計(jì)算圖像對應(yīng)點(diǎn)間的位置偏差獲取物體的三維幾何信息［6］。

Table 1 Comparison of camera performance of different depths表1 不同深度相機(jī)性能比較

2 IMU 數(shù)據(jù)與相機(jī)位姿

IMU 模塊數(shù)據(jù)包括3 軸陀螺儀、3 軸加速度計(jì)以及磁力計(jì)等傳感器。慣性傳感器之間相互獨(dú)立且不易相互影響，并可相互校正。但加速度計(jì)和陀螺儀數(shù)據(jù)精確性常受到隨機(jī)噪聲影響，且積分求解位移及旋轉(zhuǎn)時，隨著時間的推移誤差累積較大，數(shù)據(jù)僅在短時間內(nèi)穩(wěn)定可靠。而磁力計(jì)易受當(dāng)?shù)丨h(huán)境影響，需要預(yù)先校正。因此，一般不采用直接積分計(jì)算位姿的方法。

多傳感器融合的方法可以得到較好的位姿計(jì)算結(jié)果［6］。目前，位姿計(jì)算主要采用視覺傳感器組合IMU 傳感器的融合方案。視覺傳感器在特征點(diǎn)明顯、豐富的場景下效果較好，但遇到像玻璃、白墻等特征點(diǎn)較少的環(huán)境時基本無法工作；IMU 傳感器長時間使用有非常大的累積誤差，優(yōu)點(diǎn)是短時間內(nèi)相對位移數(shù)據(jù)精度很高，所以采用視覺傳感器和IMU 數(shù)據(jù)融合可相互彌補(bǔ)不足，得到較好的位姿計(jì)算結(jié)果。

基于濾波器的緊耦合方法（Filter-based Tightly Cou?pled Method），將圖像的特征向量加入系統(tǒng)狀態(tài)向量中聯(lián)合求解?；跒V波器的經(jīng)典緊耦合算法有MSCKF［7］、ROVIO［8］等，基于濾波器的松耦合方法（Filter-based Loose Coupled Method）則不將圖像的特征點(diǎn)向量加入系統(tǒng)狀態(tài)向量，而將圖像作為單獨(dú)部分計(jì)算位姿，與IMU 數(shù)據(jù)求解結(jié)果進(jìn)行融合，聯(lián)合求解最優(yōu)位姿。

3 靜態(tài)場景三維重建

靜態(tài)場景重建與同時定位、地圖構(gòu)建（Simultaneous Lo?calization and Mapping，SLAM）相類似，但SLAM 更加注重機(jī)器人在未知環(huán)境中的導(dǎo)航問題［9］。在計(jì)算機(jī)圖形學(xué)中，通過3D 密集重建生成高質(zhì)量的三維場景［10］，大多數(shù)方法都基于Curless 等［11］的基礎(chǔ)研究，開創(chuàng)了體素融合的先河，從而為第一個實(shí)時RGB-D 重建方法提供了基礎(chǔ)［12］。

3.1 深度圖預(yù)處理

RGB-D 相機(jī)所獲得的深度圖噪聲包括相機(jī)中心到目標(biāo)物體的距離，以及深度圖中像素點(diǎn)的位置與RGB 圖像位置的偏移等［13］，而雙邊濾波可以保持邊緣降噪平滑，對深度圖進(jìn)行噪聲消除［14］。將深度圖像素點(diǎn)投影到相機(jī)空間坐標(biāo)，獲取3D 點(diǎn)云［15］：

其中，（u，v）表示深度圖中的像素坐標(biāo)，d 表示該點(diǎn)對應(yīng)的深度值，K 為相機(jī)的內(nèi)參矩陣，（X，Y，Z）是（u，v）表對應(yīng)的點(diǎn)云坐標(biāo)。

3.2 相機(jī)位姿估計(jì)

相機(jī)位姿估計(jì)可獲得相機(jī)運(yùn)動的旋轉(zhuǎn)矩陣和平移矩陣。位姿估計(jì)需計(jì)算點(diǎn)云的法向量，存儲法向量信息的點(diǎn)云作為輸入?yún)?shù)求解位姿。

Besl［16］與Chen 等［17］最先采用基于迭代最近點(diǎn)（Itera?tive Closest Points Algorithm，ICP）的Frame-to-Frame 算法。通過相鄰幀的ICP 匹配算法計(jì)算從前一幀Tt-1到當(dāng)前幀Tt的位姿相對變化：

通過開發(fā)快速且有效的ICP 算法，使手持掃描設(shè)備能實(shí)時反饋［18］。實(shí)時反饋使用戶在重建過程中能及時修補(bǔ)重建缺失部分并確定重建是否完成，但基于相鄰幀的ICP算法在長時間的掃描過程中會引起漂移積累問題。

為了減少漂移問題，實(shí)時RGB-D 重建采用Frame-to-Model 跟蹤策略［19-20］。Frame-to-Model 算法利用當(dāng)前幀點(diǎn)云數(shù)據(jù)與匹配后的模型上一幀位姿的點(diǎn)云數(shù)據(jù)進(jìn)行ICP 匹配。Frame-to-Model 算法相對于Frame-to-Frame 算法有兩個顯著優(yōu)點(diǎn)：①通過當(dāng)前重建狀態(tài)合成渲染深度圖代替最后一幀來確定重建結(jié)果，大大減少了時間跟蹤漂移；②采用Point-to-Plane 距離矩陣，通過穩(wěn)定模型法向來定義切平面，取代帶有噪聲的法向輸入，從而獲得更高的跟蹤準(zhǔn)確性，增加重建系統(tǒng)魯棒性。

盡管Frame-to-Model 算法顯著減少了時域跟蹤漂移，但卻沒有很好地解決局部追蹤誤差積累，局部追蹤誤差仍會累計(jì)到三維重建過程。為了克服上述問題，基于全局位姿優(yōu)化方法首次應(yīng)用于非實(shí)時3D 重建方法，通過使用手持消費(fèi)級傳感器生成高質(zhì)量的重建結(jié)果，其核心方法是通過保留局部細(xì)節(jié)并結(jié)合全局位姿優(yōu)化在場景中平均對齊誤差。Dai 等［21］的BundleFusion 方法實(shí)現(xiàn)了基于實(shí)時集束調(diào)整策略和表面重積分技術(shù)的全局一致性實(shí)時重建。

基于Frame-to-Frame、Frame-to-Model 或全局優(yōu)化相機(jī)跟蹤算法大多需要匹配對應(yīng)點(diǎn)，將對應(yīng)點(diǎn)輸入優(yōu)化方法中計(jì)算出最佳的整體對齊變換。根據(jù)匹配方式分為稀疏匹配和密集匹配，稀疏匹配采用主要特征點(diǎn)進(jìn)行匹配，密集匹配則希望找到所有或大部分點(diǎn)的對應(yīng)關(guān)系。

稀疏匹配通常將當(dāng)前顏色和深度輸入值的特征點(diǎn)與先前幀或模型中的特征點(diǎn)進(jìn)行匹配來計(jì)算一組稀疏對應(yīng)關(guān)系。Zhou 等［22］以及Henry 等［23］提出的3D 場景重建方法采用SIFT 進(jìn)行特征采集和特征匹配。稀疏特征描述還可采用SURF、ORB 等描述。密集匹配方法通過Point-to-Plane 誤差度量測量空間點(diǎn)的距離接近程度，Point-to-Plane度量可以作為到目標(biāo)物體表面距離的一階近似值。

3.3 幾何表示和融合

3D 模型主要有兩種方式表示獲取的RGB-D 數(shù)據(jù)：①規(guī)則或分層3D 體素網(wǎng)格；②3D 點(diǎn)云。

Curless 等最先采用體素融合方法表示3D 模型，使用規(guī)則網(wǎng)格存儲符號距離函數(shù)（Singed Distance Function，SDF）的離散值，這種方式被Rusinkiewicz 采用從而第一次實(shí)現(xiàn)了實(shí)時重建算法，此后被Newcombe 等采用實(shí)現(xiàn)實(shí)時重建系統(tǒng)。基于體素的模型表示方法通常使用SDF 隱式存儲模型曲面，曲面的外部、內(nèi)部體素分別存儲最近曲面的正、負(fù)距離值，而幾何曲面被定義為SDF 中的過零點(diǎn)。附加屬性值比如顏色值等，通常存儲在每個體素屬性中。在重建方法中人們更關(guān)心的是模型表面附近的體素值，因此常采用TSDF 方法。

規(guī)則體素網(wǎng)格需要預(yù)先定義體素和分辨率。在實(shí)時場景重建方面，大多數(shù)算法都很依賴現(xiàn)代圖像處理器（Graphics Processing Unit，GPU）的計(jì)算能力，而體素網(wǎng)格表示的空間范圍以及分辨率通常受到GPU 內(nèi)存限制。

另一種模型的有效表示方法是采用有層級的體素（Volumetric）表示，如八叉樹結(jié)構(gòu)，其中TSDF 可在實(shí)際曲面附近以稀疏形式編碼；Zeng 等［24-25］使用固定4 層分層結(jié)構(gòu)存儲TSDF，將八叉樹分為頂層、分支層、中間層和數(shù)據(jù)層，僅將TSDF 存儲在最高級；Chen 等［26］提出應(yīng)有固定分辨率的類似三層結(jié)構(gòu)存儲表示。

除了基于體素的表示方法之外，Keller 等［27］和Whelan等［28］的重建方法都是基于稀疏點(diǎn)云表示的重建方法。點(diǎn)云附加信息，例如點(diǎn)的大小、直徑、顏色和其他信息都存儲在每個點(diǎn)的屬性中。將一組新的點(diǎn)數(shù)據(jù)加入點(diǎn)云模型時，需要在新加入點(diǎn)和模型點(diǎn)中間建立明確的對應(yīng)關(guān)系。如果使用視覺反饋，那么單個點(diǎn)的簡單渲染會產(chǎn)生帶有孔洞的不完整渲染圖像。為了渲染密集圖像，通常應(yīng)用Point-Splatting 技術(shù)，即將每個3D 點(diǎn)都以一定的半徑圓投影到2D圖像上，從而得到密集圖像。

4 動態(tài)場景重建

高質(zhì)量非剛性運(yùn)動物體三維重建是一項(xiàng)極具挑戰(zhàn)的課題，尤其是在要求實(shí)時重建的目標(biāo)情況下。動態(tài)場景重建在計(jì)算機(jī)視覺、人機(jī)交互、生物學(xué)以及醫(yī)學(xué)等眾多領(lǐng)域有重要意義。

動態(tài)場景重建技術(shù)在虛擬現(xiàn)實(shí)（VR）和增強(qiáng)現(xiàn)實(shí)（AR）等領(lǐng)域也得到應(yīng)用。Keller 等［27］基于動態(tài)場景計(jì)算分割前景并在計(jì)算相機(jī)位姿時排除在外，從而在大部分場景運(yùn)動時得到魯棒的相機(jī)追蹤效果。

動態(tài)場景重建一個重要課題是使重建方法相對于運(yùn)動對象具有魯棒性?；陔[式距離函數(shù)的體素融合方法，如KinectFusion，僅限于靜態(tài)場景表面實(shí)時重建。如果場景中含有多個運(yùn)動物體，就要使用幾個相互獨(dú)立的體素模型進(jìn)行跟蹤與重建。Jaimez 等［29］將場景分為靜態(tài)部分和動態(tài)部分進(jìn)行重建；Dou 等［30］假定預(yù)先掃描場景為靜態(tài)場景，對相機(jī)進(jìn)行實(shí)時在線追蹤，將場景的動態(tài)部分進(jìn)行分割并分別重建。

Newcombe 等［31］的Dynamic Fusion 方法首次實(shí)現(xiàn)了無模板實(shí)時三維重建，使用單一消費(fèi)級深度相機(jī)（MicrosoftKi?nect）實(shí)時重建了物體幾何運(yùn)動；Guo 等［32］使用基于密集反射率一致性數(shù)據(jù)來取代顏色一致性假設(shè)?；诿芗瓷渎室恢滦钥梢愿玫靥幚砉庠醋兓⒃诖蟪叨葎傂?、非剛性運(yùn)行時獲得更穩(wěn)定的跟蹤。

Slavcheva 等［33］提出Killing Fusion 方法，解決了物體快速運(yùn)動和拓?fù)渥兓瘑栴}。該方法對輸入幀TSDF 和當(dāng)前模型TSDF 進(jìn)行融合迭代。

5 結(jié)語

本文從傳感器、靜態(tài)場景重建、動態(tài)場景重建以及工作流程等方面對基于RGB-D 的三維重建工作進(jìn)行總結(jié)。在過去數(shù)年中，基于RGB-D 相機(jī)的實(shí)時三維場景重建得到極大發(fā)展，在許多實(shí)際場景中得到應(yīng)用，但有幾個方向值得關(guān)注：

（1）復(fù)雜情況下的三維重建。由于重建場景環(huán)境影響，基于RGB-D 的三維重建仍然困難，陰影、遮擋、光照等條件對重建效果有很大影響。

（2）計(jì)算復(fù)雜度、實(shí)時性?；赗GB-D 的三維場景重建實(shí)時性得益于現(xiàn)代計(jì)算機(jī)技術(shù)的發(fā)展，在較高的硬件條件（GPU）下才能實(shí)現(xiàn)。降低算法復(fù)雜度，在有限計(jì)算資源下實(shí)現(xiàn)實(shí)時重建是未來的一個重要發(fā)展方向。（3）目前，基于RGB-D 相機(jī)的三維重建在靜態(tài)場景實(shí)時重建方面已經(jīng)表現(xiàn)良好，但在動態(tài)場景重建方面仍有欠缺。（4）移動終端的移植、發(fā)展。智能手機(jī)的發(fā)展使相機(jī)集成度不斷加強(qiáng)，如何實(shí)現(xiàn)移動智能終端高質(zhì)量的實(shí)時三維場景重建是值得研究的課題。