基于實時性的三維重建綜述

熊利郎，潛冬，李海珠

(中國傳媒大學，北京100024)

1 引言

三維重建是依靠多次二維投影來還原三維形狀的計算機技術(shù)。根據(jù)真實的場景和模型來重建出計算機可識別的幾何模型，這些精確的幾何三維模型可以用于虛擬漫游和虛擬現(xiàn)實等用途。現(xiàn)有的三維重建技術(shù)可分為實時技術(shù)和非實時技術(shù)。目前非實時的技術(shù)主要有:雙目視差法、明暗恢復形狀法、調(diào)焦法和投影光柵相位法。這些方法因為存在計算復雜，操作繁瑣等問題，并不能實時的應用于三維場景的重建。目前實時的三維重建技術(shù)主要有:單激光線掃描法［1］、傅里葉變換輪廓法、彩色條紋結(jié)構(gòu)光法等。實時的三維重建技術(shù)依靠設(shè)備發(fā)出光線與物體發(fā)生反射后，通過設(shè)備來接收到深度信息以完成重建。實時的三維重建方法需滿足以下特性:算法效率高，處理的數(shù)據(jù)量小;算法能夠有效的處理噪聲;不需要人工加以修正數(shù)據(jù)。

目前能用于實時的三維重建的設(shè)備有基于結(jié)構(gòu)光的 Kinect［2］，基于 Time of Flight的 Camcube［3］和Mesa Imaging SwissRanger 4000［4］。相比之下，采用結(jié)構(gòu)光技術(shù)的Kinect屬于消費產(chǎn)品，價格更加便宜，有利于大范圍的推廣使用。

本文第二部分對非實時的三維重建技術(shù)進行介紹和比較，第三部分是對實時的三維重建技術(shù)的分析介紹，最后一部分進行了總結(jié)。

2 非實時三維重建技術(shù)

2.1 明暗恢復形狀法

明暗恢復形狀法(Shape From Shading簡稱SFS［14］)。主要原理是利用一幅圖像的灰度信息，將物體的局部或外輪廓作為約束條件，來得到其表面三維形狀。SFS最早是由Horn［6］提出的，Horn把它理想化為用一階非線性偏微分亮度方程求解的邊界問題，將深度和梯度設(shè)為獨立的變量，試圖直接計算數(shù)值解。但是眾所周知，SFS是一個病態(tài)問題，這導致了直接計算出來的結(jié)果質(zhì)量較差。所以Frankot［7］等提出了可積性約束條件，將實際模型轉(zhuǎn)換為光滑的理想模型，有利于下一步的數(shù)學計算。Horn和Brooks［8］后來引入了光滑性約束條件，把問題轉(zhuǎn)換成泛函極值問題，用有限差分迭代來求解，最大限度地減少了亮度誤差。Dupuis and Oliensis［9］提出并證明在一定約束條件下方程存在唯一的數(shù)值解。Kozera［10］提出了基于古典的 SFS平滑，同時證明了收斂性，通過假定已知的所有局部極小值(或者極大值)高度的函數(shù)來描述表面重建。90年代，Lions，Rouy 和 Tourin［11］～［12］提出了基于粘度的解決方案，保證了弱解的存在性，能夠盡量保證灰度圖像的連續(xù)，該解決方案適用于大多數(shù)的情況。

由于單幅圖像含有的信息量較立體圖像信息量小，用少量信息恢復大量信息使得這項技術(shù)從一開始就面臨很大困難。傳統(tǒng)的SFS［13］是基于一定的理想條件假設(shè)的:點光源在無限遠處;具備朗伯體表面反射模型的條件;投影正交。這就導致了在自然條件下求解有很大難度。SFS方法優(yōu)點在于只需要單幅圖像就能恢復出物體的三維形狀，但是算法本身也具有很多缺點，如:完全依靠數(shù)學計算來實現(xiàn)，在復雜場景或者是光照不佳的情況下恢復的效果很差，必須知道光照的方向，難以用于室外或者是復雜光源情況等。

2.2 幾何光學測量法

幾何光學測量法是一種重要的測量方法，與光電技術(shù)相結(jié)合，它具有精度高、響應快、無需接觸等優(yōu)點。幾何光學法測量主要分為兩種，聚焦法(Shape From Focus)和離焦法(Shape From Defocus)。因為離焦法使用的較少，所以這里主要介紹聚焦法。聚焦法要求被測點在焦距點，難點在于如何快速精確地尋找焦距點。而離焦法與之相反，需要的是根據(jù)離焦模型計算被測點相對于攝像機的距離，其難點在于如何準確地標定。由于實際測量中離焦法使用較少，這里主要介紹聚焦法。

聚焦法最早由SK Nayar提出，其主要原理是:在焦距可以任意調(diào)節(jié)的前提下，使被測物體在焦距位置，通過透鏡原理求得被測物體的距離。這種方法對攝像儀器要求很高，需焦距可變，因此硬件設(shè)備復雜且昂貴，同時該方法處理速度慢，在非焦距位置測量誤差較大，而且又要尋找精確的聚焦位置，難以實現(xiàn)實時的處理動態(tài)物體。按照常規(guī)方法，例如進行分段常數(shù)近似等來聚焦并不準確，所以Muhammad Asif［15］提出了基于神經(jīng)網(wǎng)絡權(quán)重的方法對聚焦的準確性進行改善。SO Shim［16］提出了基于組合最佳化的方法來優(yōu)化形狀，用局部搜索算法來初步估計物體的深度圖，創(chuàng)建一個臨時圖像，比較前后圖像幀得到最佳的初始深度，該算法與以往的基于FIS(Focused Image Surface 即 SFF-FIS［17］)和動態(tài)規(guī)劃(Dynamic Programming 即 SFF-DP［18］)的方法相比在深度圖估計的準確度和計算復雜度方面有著顯著的改善。此外，該算法較最近所提出的基于擴散(SFD-DFU［19］)算法能達到質(zhì)量更好的三維重建形狀，而且花費的計算時間也比SFF-FIS和SFFDP的要少，該算法表現(xiàn)出良好的性能。美中不足的是需要更多準確的圖像數(shù)據(jù)。聚焦法相比離焦法，所需要的計算復雜度更高，效果更好。

2.3 投影光柵相位法

投影光柵相位法(Phase Measuning Profilometry)［20］～［21］采用正弦光柵投影和數(shù)字相移結(jié)合。主要原理是用正弦光柵圖形投影到物體表面形成漫反射，然后獲得因物體的三維形狀而產(chǎn)生的變形條紋，利用離散相移技術(shù)獲得至少三幅變形光場圖像，然后根據(jù)相移算法計算出相位分布，但是由于相位是被截斷的、不連續(xù)的，所以還需要將截斷的相位恢復成連續(xù)的才可以對物體進行重建。同時由于需要不同相位幀的圖片信息，難以做到實時性。

光柵投影測量方法是一種結(jié)構(gòu)光測量方法。關(guān)鍵在于投影技術(shù)，要有足夠好的能夠投影出同樣質(zhì)量的正弦光柵，需要較高的對比度，光強和正弦光強函數(shù)［22］。

Jielin Li［23］首次提出了嚴格的能分析隨機的時間噪聲的結(jié)構(gòu)參數(shù)和重構(gòu)系數(shù)，開發(fā)了一個實際的能用數(shù)學方法直接分析相位噪聲的仿真模型，該模型有利于確定最佳的最高頻率。K Liu［24］等人提出根據(jù)伽馬模型來設(shè)置投影光柵的數(shù)量，應用伽馬校正來改善和校正相位。VG Yalla［25］等又提出基于固定掃描時間的多頻PMP(Phase Measuring Profilometry)技術(shù)取代傳統(tǒng)的雙頻光柵進一步縮小了相移誤差。

3 實時三維重建技術(shù)

3.1 單激光線掃描法

三維激光掃描主要通過旋轉(zhuǎn)掃描器來對物體進行360度全方位掃描來獲取物體表面的點云深度數(shù)據(jù)。工作原理是由激光發(fā)射器發(fā)射出一個激光束到目標物體同時接收機啟動并開始計時，當激光束到達被掃描目標物體的表面時發(fā)生反射，部分反射激光束返回到探測器。探測器將接收到的脈沖強度轉(zhuǎn)化為電流同時時間停止，并根據(jù)發(fā)射和接收之間的時間間隔進行測量。

三維激光掃描技術(shù)［26］不僅克服了傳統(tǒng)測量的局限性，不需要通過接觸便可掃描出物體的長寬高，同時將所得到的數(shù)據(jù)轉(zhuǎn)化為計算機可以處理的三維數(shù)據(jù)模型，而且在這方面擁有許多獨特的優(yōu)勢:數(shù)據(jù)獲取速度快，實時性強;數(shù)據(jù)量大，精度較高;信息傳輸、轉(zhuǎn)化、處理容易。作為現(xiàn)今最成熟的三維重建方法，單激光線掃描法在很多方面都有應用，例如保護古建筑物［27］，或者是對建筑物進行特征點的提?。?8］。該方法的難點在于如何合理地處理已得到的大量掃描數(shù)據(jù)。

我國科研使用的常見儀器如TH-3DLCS-2001三維激光成像掃描儀，清華大學的金鑫，孫衛(wèi)東［29］還提出基于該儀器的激光同步掃描圖像的三維景物紋理映射方法，可在不固定相機位置的情況下，在改善紋理映射精度的同時保持系統(tǒng)的靈活性，在估計相機參數(shù)基礎(chǔ)上通過兩步法對映射誤差進行了估計和補償，完成了高分辨率和高精度紋理映射。這種方法使得掃描后的模型不是空白的模型而是帶有本身紋理映射的，這點對于三維重建而言是很重要的一部分。

3.2 基于彩色條紋結(jié)構(gòu)光法［30］～［31］

彩色條紋結(jié)構(gòu)光法是基于彩色結(jié)構(gòu)光的RRCS［32］(Real-time 3D Reconstruction Based on Color-coded Structured Light)。主要原理是投影彩色條紋到物體表面，然后采集不規(guī)則的彩色條紋，同時與從圖像中的觀察到的邊緣進行匹配，根據(jù)不同顏色條紋的扭曲程度計算出物體的三維形狀。彩色條紋避免了黑白光條由于光線明暗或者是其他原因造成的亮度測量誤差，能夠從一副圖像或多幅圖像中恢復物體形狀。L Zhang［33］提出了一種通用的多通道動態(tài)規(guī)劃算法，能夠用于高速掃描移動中的物體和需要高分辨率的靜態(tài)場景。Dalit Caspi［34］在權(quán)衡魯棒性和采集時間后，提出了能夠根據(jù)場景特點自適應投影模式和數(shù)量的方法，能夠產(chǎn)生接近于實際噪聲的模型，從而將投影圖案的數(shù)量降低到必要的限度，達到格雷碼技術(shù)［35］的精度和魯棒性，與之前方法的不同之處主要是不需要假設(shè)場景平滑和彩色是呈中性的這個理想前提。在獲得的彩色結(jié)構(gòu)光像素與物體邊緣對齊方面，Daniel Scharstein［36］等提出不需要校準光的方法，利用投影光線與所有攝像機所產(chǎn)生的時差進行計算來得到對齊結(jié)果。Thomas P.Koninckx，Luc Van Gool［37］等人提出自適應結(jié)構(gòu)光方法，結(jié)合了幾何編碼和彩色編碼，通過權(quán)重來平衡速度和質(zhì)量。

RRCS的優(yōu)勢在于僅需一幀便能復原模型，而光柵相位法至少需要三幀，此外RRCS的動態(tài)效果處理真實，實時性佳，并且由于只檢測了邊緣部分，顏色紋理的質(zhì)量不影響最終結(jié)果的好壞，魯棒性好。但該方法的劣勢在于在精度方面比光柵相位法低。

3.3 復合結(jié)構(gòu)光測量法

傅里葉輪廓變換法(FTP)最早由M Takeda，K Mutoh［38］提出，主要原理是通過對頻域中的包含物體深度信息的基頻分量進行逆傅里葉變換，獲得物體的深度分布。該方法基于條紋投影，頻譜面的帶通濾波能夠抑制噪聲及背景光強不均勻等因素的影響，具有很大的靈活性。而采用正弦投影和π相移技術(shù)可以消除高頻分量的影響，提高測量的精度。但是這種方法需要精確到π個相位差的兩幀條紋，因此并不適用于實時的三維重建。因此，在文獻［39］中提出了復合結(jié)構(gòu)光測量法，僅從一幀圖像中便能獲得物體形狀。借助這種思想，有學者將其應用到了傅里葉變換輪廓中［40］，通過投影兩個頻率不同的載頻，分別與其方向垂直的兩幀具有π個相位差的條紋相互疊加，只需要一幀條紋圖便能使傅里葉變換輪廓法能夠應用與動態(tài)場景中。蘇顯渝［41］提出一種在數(shù)字加權(quán)濾波和調(diào)制度分析基礎(chǔ)上形成可靠性控制模板，并按可靠度排序進行位相展開的方法。此方法可以同時保證得到的位相精度和位相展開的可靠性，適合用于復雜物體表面的重建。

3.4 雙目視差法

雙目視差法［42］又稱為雙目視覺法［43］，主要原理是通過兩臺在同一高度的攝像機從不同方向觀察同一物體，在不同角度下獲得的視差信息轉(zhuǎn)化為深度信息的三角測量法。由于純粹使用被動立體視覺來恢復物體形狀需要物體具有明顯的特征點。而對于特征點太少的物體則需要對整個物體進行比較，運算量較大，而且計算出來的精度也達不到要求，容易產(chǎn)生誤匹配［44］。所以在一般情況下需要分步驟來進行，圖像獲取，攝像機標定，預處理，立體匹配，點云建模。雙目視差法的問題在于每一步都可能存在誤差問題，特征點尋找不準確造成誤差，立體匹配誤差，計算三維坐標的誤差［45］等，每一步都對最終生成的深度信息有影響。而且目前由于匹配的時候計算量過大，導致無法進行良好匹配，對重建效果有影響。

4 總結(jié)

下圖為各種方法的比較，包括應用環(huán)境，復雜程度等。

方法 復雜程度 實時性 重建效果 應用情況明暗恢復形狀法對環(huán)境要求嚴格，難僅需要一幅圖像，但對圖像要求高，復雜度雖然高，但可完全自動處理 非實時性 在復雜光源情況下或者不知道光照以用于室外場景幾何光學測量法方向的情況下，恢復的效果很差。難以用于紋理較少對攝像儀器要求很高，需要人工調(diào)節(jié)非實時性 效果比較精細，能計算到每個點的深度 的物體投影光柵相投影與物體較遠，光線不能太強烈單激光線掃位法 需要至少3幅變形光場圖像 非實時性 精度較高，但要求背景光不能太強烈描法 設(shè)備比較復雜 實時性 效果精細，比較快速 適用于室內(nèi)的小型物體彩色條紋結(jié)構(gòu)光法 僅需要一幅圖像 實時性 精度低，但是抗干擾性好，不受紋理顏色的影響適用于顏色跨度比較大，結(jié)構(gòu)性變化大的物體復合結(jié)構(gòu)光測量法僅需要一幀圖像中獲得物體形狀 實時性 精度較高 投影與物體較遠雙目視差法 設(shè)備復雜，重建時間比較長 實時性 在離攝像機距離合適的情況下效果較好可以應用到大多數(shù)情況下

三維重建一直是計算機視覺領(lǐng)域的熱點問題，各種三維重建的方法不斷出現(xiàn)，相比于靜態(tài)的三維重建，有時候可能更需要實時的三維重建。本文著重論述了在實時性方面，不同方法的優(yōu)缺點，實時性好的方法能夠極大的節(jié)約人力資源和提高效率。

此外仍舊有一些可以進行嘗試的地方如:室外大規(guī)模場景重建，包括城市建設(shè)等;非剛體物體的重建，如火焰等一直無法得到重大突破。

在重建方法上需要改進的地方有如下幾點:(1)計算量過大，比較消耗資源;(2)抗干擾性不強，易受到各種噪聲的影響;(3)對背景光線等方面的要求，過于理想化，不符合實際情況。

除了激光線掃描法因為較成熟的原理，已在全世界范圍內(nèi)推廣，人們對其有一定的認知度，其他方法距離商用還有很長一段距離。因此，在未來一段時間內(nèi)，我們還需要在三維重建這一領(lǐng)域做出更多更深入細致的研究。

［1］Izquierdo M A G，Sanchez M T，Ibanez A，et al.Sub-pixel measurement of 3D surfaces by laser scanning［J］.Sensors and Actuators A:Physical，1999，76(1):1-8.

［2］Leyvand T，Meekhof C，Wei Y C，et al.Kinect identity:Technology and experience［J］.Computer，2011，44(4):94-96.

［3］Xiang Xueqin.Depth Camera in Computer Vision and Computer Graphics:An 0verview ［J］.Journal of Frontiers of Computer Science and Technology，2011，5(6):481-492.

［4］Chiabrando F，Chiabrando R，Piatti D，et al.Sensors for 3d imaging:Metric evaluation and calibration of a ccd/cmos time-of-flight camera［J］.Sensors，2009，9(12):10080-10096..

［5］李健，梁琨.基于明暗恢復法的三維重建算法分析［J］.微計算機信息，2006，8(1):202-204..

［6］Horn B K P.Obtaining shape from shading information［M］.Massachusetts:MIT press，1989.

［7］Frankot R T，Chellappa R.A method for enforcing integrability in shape from shading algorithms［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，1988，10(4):439-451.

［8］Horn B K P，Brooks M J.The variational approach to shape from shading［J］.Computer Vision，Graphics，and Image Processing，1986，33(2):174-208.

［9］Dupuis P，Oliensis J.An Optimal control formulation and ralated numerical methods for a problem in shape reconstruction［J］.The Annals of Applied Probability，1994，4(2):287-346.

［10］Kozera R.Uniqueness in shape from shading revisited［J］.JMIV，1997，7(2):123-138.

［11］P.-L.Lions，Rouy E，Tourin A.Shape-fromshading，viscosity solutions and edges［J］.Numer Math，1993，64:323-353.

［12］Rouy E，Tourin A.A Viscosity Solutions Approach to Shapefrom-Shading［J］.SIAM J of Numerical Analysis，1992，29(3):867-884.

［13］Belhumeur P N，Kriegman D J，Yuille A L.The bas-relief ambiguity［J］.International Journal of Computer Vision，1999，35(1):33-44.

［14］Nayar S K，Nakagawa Y.Shape from focus［J］.IEEE Transactions on Pattern analysis and machine intelligence，1994，16(8):824-831.

［15］Asif M，Choi T S.Shape from focus using multilayer feedforward neural networks［J］.IEEE Transactions on Image Processing，2001，10(11):1670-1675.

［16］Shim SO，Choi T S.A novel iterative shape from focus algorithm based on combinatorial optimization［J］.Pattern Recognition，2010，43(10):3338-3347.

［17］Choi T S，Yun J.Three-dimensional shape recovery from the focused-image surface［J］.Optical Engineering，2000，39(5):1321-1326.

［18］Ahmad M B，Choi T S.A heuristic approach for finding best focused shape［J］.IEEE Transactions on Circuits and Systems for Video Technology，2005，15(4):566-574.

［19］Lutz C，Kollmann M，Bechinger C.Single-file diffusion of colloids in one-dimensional channels［J］.Physical review letters，2004，93(2):026001.

［20］Srinivasan V，Liu H C，Halioua M.Automated phase-measuring profilometry of 3-D diffuse objects［J］.Applied optics，1984，23(18):3105-3108.

［21］顏國霖，林琳.基于光柵相位法三維重構(gòu)技術(shù)研究［J］.機電技術(shù)，2010，33(5):14-17.

［22］潘偉，趙毅，阮雪榆.相移法在光柵投影測量中的應用［J］.應用光學，2003，24(4):46-49.

［23］Li J，Hassebrook L G，Guan C.Optimized twofrequency phase-measuring-profilometry light-sensor temporal-noise sensitivity［J］.JOSA A，2003，20(1):106-115.

［24］Liu K，Wang Y，Lau D L，et al.Gamma model and its analysis for phase measuring profilometry［J］.JOSA A，2010，27(3):553-562.

［25］Yalla V G，Hassebrook L G.Very high resolution 3D surface scanning using multi-frequency phase measuring profilometry［C］//Defense and Security，International Society for Optics and Photonics，2005:44-53.

［26］N T Thanh，劉修國，王仁平，等.基于激光掃描技術(shù)的三維模型重建［J］.激光與光電子學進展，2011，48(8):81201.

［27］劉旭春，丁延輝.三維激光掃描技術(shù)在古建筑保護中的應用［J］.測繪工程，2006，15(1):48-49.

［28］李必軍，方志祥，任娟.從激光掃描數(shù)據(jù)中進行建筑物特征提取研究［J］.武漢大學學報:信息科學版，2003，28(1):65-70.

［29］金鑫，孫衛(wèi)東.基于激光同步掃描圖像的三維景物紋理映射［J］.儀器儀表學報，2006，27(6):2084-2085.

［30］吳成東，耿飛，楚好，等.基于彩色條紋結(jié)構(gòu)光的物體三維重建方法［J］.東北大學學報:自然科學版，2009，30(7):928-931.

［31］黃俊春，章炯民.基于彩色結(jié)構(gòu)光的實時三維重建［J］.計算機應用與軟件，2009，26(12):235-237.

［32］Chen SY，Li Y F，Zhang J.Vision processing for realtime 3-D data acquisition based on coded structured light［J］.IEEE Transactions on Image Processing，2008，17(2):167-176.

［33］Zhang L，Curless B，Seitz S M.Rapid shape acquisition using color structured light and multipass dynamic programming［C］.3D Data Processing Visualization and Transmission，2002.IEEE First International Symposium on Proceedings，2002:24-36.

［34］Caspi D，Kiryati N，Shamir J.Range imaging with adaptive color structured light［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，1998，20(5):470-480.

［35］Sato K，Inokuchi S.Three-dimensional surface measurement by space encoding range imaging［J］.Journal of Robotic Systems，1985，2:27-39.

［36］Scharstein D，Szeliski R.High-accuracy stereo depth maps using structured light［C］.2003 IEEE Computer Society Conference on Computer Vision and Pattern Recognition，Proceedings，2003，1:I-195-I-202.

［37］Koninckx T P，Van Gool L.Real-time range acquisition by adaptive structured light［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2006，28(3):432-445.

［38］Takeda M，Mutoh K.Fourier transform profilometry for the automatic measurement of 3-D object shape［J］.Applied optics，1983，22(24):3977-3982.

［39］Guan C，Hassebrook L，Lau D.Composite structured light pattern for three-dimensional video［J］.Optics Express，2003，11(5):406-417.

［40］岳慧敏，蘇顯渝，李澤仁.基于復合光柵投影的快速傅里葉變換輪廓術(shù)［J］.光學學報，2005，25(6):767-771.

［41］蘇顯渝，譚松新.基于傅里葉變換輪廓術(shù)方法的復雜物體三維面形測量［J］.光學學報，1998，18(9):1228-1233.

［42］黃俊春.基于結(jié)構(gòu)光的實時三維重建［D］.華東師范大學，2009.

［43］Blake R，Wilson H.Binocular vision［J］.Vision research，2011，51(7):754-770.

［44］李玲.基于雙目立體視覺的計算機三維重建方法研究［D］.武漢:武漢大學，2005.

［45］羅世民，李茂西.雙目視覺測量中三維坐標的求取方法研究［J］.計算機工程與設(shè)計，2006，27(19):3622-3624.