三維重建效果評價技術(shù)綜述

王學(xué)寧，韋　群

（裝備學(xué)院 信息裝備系，北京 懷柔　101416）

三維重建效果評價技術(shù)綜述

王學(xué)寧，韋群

（裝備學(xué)院 信息裝備系，北京 懷柔101416）

三維重建技術(shù)快速發(fā)展，并且在各個領(lǐng)域得到廣泛應(yīng)用。為比較各種重建方法的評價效果的優(yōu)劣，現(xiàn)將其中一些方法進(jìn)行比較分析，期望能夠?qū)υ擃I(lǐng)域的發(fā)展?fàn)顩r全面了解，并且明確未來的研究方向。

三維重建；重建模型；效果評估；綜述

本文著錄格式：王學(xué)寧，韋群. 三維重建效果評價技術(shù)綜述[J]. 軟件，2016，37（8）：129-132

0　引言

三維重建是運用圖像處理等相關(guān)技術(shù)，使二維數(shù)據(jù)還原出三維信息，形成三維立體表面的先進(jìn)技術(shù)，并且隨著計算機(jī)技術(shù)廣泛應(yīng)用于生產(chǎn)生活的方方面面[1]，高效建立物體三維幾何模型的需求更加旺盛。目前大部分研究是針對兩幅或多幅（序列）圖像的三維重建，其重建方法有立體視覺法[2-3]、運動圖像序列法[4]、光度立體學(xué)[5]等，當(dāng)前出現(xiàn)了基于單張照片重構(gòu)三維模型[6]、實時三維重建[7]等先進(jìn)技術(shù)。三維重建的目標(biāo)是在計算機(jī)對輸入信息進(jìn)行處理、操作和分析的基礎(chǔ)上，形成一個比較完整的表面模型。理想情況下，三維模型應(yīng)與真實模型形狀、尺寸等一致。但在實際操作過程中，由于數(shù)據(jù)源、構(gòu)建方法等問題[8]，不可避免地會出現(xiàn)一定的誤差[9-10]。要對比使用不同重建方法形成的重建模型的效果，僅僅通過視覺比較是不夠充分的，主觀評價方法容易受到環(huán)境、觀察著的狀態(tài)等各種因素的影響，這就需要客觀的定量的評價方式。

近年來，世界各國學(xué)者對三維重建效果評價進(jìn)行了廣泛深入的研究，但早期的研究人員評價方式是不全面的，這不能滿足各類應(yīng)用對真實三維信息的具體要求。三維重建效果評價技術(shù)是將重建后的模型通過運用各種客觀的方法，將重建模型與真實模型進(jìn)行對比，來驗證重建算法是否達(dá)成其預(yù)期的效果。本文根據(jù)是否需要一個完整的真實模型將現(xiàn)有的評價方法分為兩類：無真實模型評價的方法和有真實模型的評價方法。完整的真實模型是作為評價的參照模型，是重建工作的期望效果。

1　無真實模型的評價方法

若不存在或者不需要一個完整的真實模型，評價往往是集中在重建之后與輸入數(shù)據(jù)集的一致程度的估計。

1.1重建誤差法、積分誤差法

由P. Alliez、L. Saboret等人提出來的計算重建誤差（reconstruction error）法[11]，是通過計算輸入點到重建表面點的平均歐式距離來評價重建結(jié)果。得到的重建誤差越小，重建效果越好；通常，重建誤差會隨點的增加而減少。

由H. Zhou、Y. Li等人提出來的計算積分誤差（integration error）法[12]，是通過計算最終重建表面上點和它們輸入數(shù)據(jù)源中最近距離點距離[13]的平均值來評估模型的質(zhì)量。積分誤差越小，重建效果越好。類似的，文獻(xiàn)[14]中通過計算深度數(shù)據(jù)到重建表面的平均距離量化重建正確性。

這種單純計算誤差的方式不與參照模型作對比，考慮因素單一，而且會出現(xiàn)造成局部細(xì)節(jié)丟失的情況。因此，即便得到較小的誤差，也不能讓人信服。

1.2三維基尼系數(shù)法[15-16]

這種方法是根據(jù)洛倫茲曲線形成的。洛倫茲曲線是在經(jīng)濟(jì)學(xué)和社會學(xué)中廣泛應(yīng)用的統(tǒng)計離差方法，它主要用于測量分布的不平等。三維洛倫茲表面的概念是根據(jù)洛倫茲曲線提出來的，是洛倫茲曲線的在三維空間上的延伸，是兩個轉(zhuǎn)換曲率聯(lián)合概率的累積分布函數(shù)。R. Martin、P. Rosin等人將基尼系數(shù)方法運用于三維重建的評價的關(guān)鍵步驟是，構(gòu)造出一個參數(shù)化的與表面模型相對應(yīng)的聯(lián)合概率分布。這樣，就可以使用基尼系數(shù)來檢測分布的不同，得到重建模型與參照模型的差距。

該方法是假設(shè)不存在完整的真實模型，將輸入數(shù)據(jù)集看作是一系列的部分真實模型的組成，具體實施步驟可分為3步：檢測重疊區(qū)域、三維洛倫茲表面估計、計算三維基尼系數(shù)G。得到的G越小，重建效果越好。

這種方法將重建結(jié)果與輸入數(shù)據(jù)作對比，雖然沒有和真實模型做比較，但也能間接得出重建結(jié)果的完整性。

2　存在真實模型的評價方法

若存在完整的真實模型，可以把重建模型與真實模型對比，根據(jù)兩者之間的相似程度對進(jìn)行重建效果進(jìn)行評價。

2.1形狀誤差法

形狀誤差（shape error）計算要評價的表面和真實情況之間的對稱差分的體積與真實模型的體積比。形狀誤差越小，重建效果越好。H.Jin、S.Soatto等人根據(jù)對不同模型的結(jié)果做比較[17]，發(fā)現(xiàn)計算時的鄰域大小對結(jié)果有比較大的影響：鄰域較小時，對噪聲點敏感，鄰域較大，不能物體表面的形狀特征；鄰域大小選取欠當(dāng)，能夠降低形狀誤差。文獻(xiàn)[18]用不同重建的均方差和已知的真實模型做比較；文獻(xiàn)[19]計算在不同程噪聲下的重建與真實模型的標(biāo)準(zhǔn)偏差。

形狀誤差法對真實模型的數(shù)據(jù)精度要求較高，成本高，效率低，并且不適合大型場景重建的評價。

2.2分解法

分解法是將三維模型分解到基元點、線和面[20]，以局部精度評估整體質(zhì)量。

（1）基元點評價

點是三維模型最基礎(chǔ)的單元，其精度直接反映三維模型精度。以輸入數(shù)據(jù)中的角點坐標(biāo)作為真值，與重建模型對應(yīng)的點一一進(jìn)行比對，獲得基元點的精度。根據(jù)真實模型的復(fù)雜程度，隨機(jī)選取n 個角點，得到模型的角點坐標(biāo)串，并根據(jù)與之相對應(yīng)的真值角點坐標(biāo)串計算得到點與點之間的距離差值，求取重建模型和真值之間的距離偏移的均值a，即為三維模型基元點的精度值。

（2）基元線評價

線的種類多樣，如樣條曲線等。對可由兩個端點確定的最基本的直線段，評價參數(shù)有長度差值、距離偏移和角度偏移等。

（3）基元面評價

僅考慮用控制點坐標(biāo)即可表示的平面，不包括需要用曲率、弧度等來描述的特殊曲面。基于面的評價參數(shù)分為邊數(shù)累積差值、面積差值、量量距離和兩面夾角等。

若實際情況中，基元面的評價需精確到邊或點，可進(jìn)行分解，參照基元點與基元線的評價方法。

分解法考慮了較多的評價角度，但是也會出現(xiàn)一些偏差。比如，出現(xiàn)點的數(shù)據(jù)缺失情況，線段的排列不規(guī)則等都會對評價結(jié)果產(chǎn)生影響。

2.3相位矩不變量法

目標(biāo)在不同視角獲得的投影圖像中的形狀可能有很大差別，為了準(zhǔn)確地進(jìn)行形狀匹配，需要保證所提取的形狀特征不受圖像平移、旋轉(zhuǎn)、透視等幾何變換的影響，即提取形狀不變特征，也稱為幾何不變量。矩不變量可以表示為由中心矩（或者規(guī)范化矩）構(gòu)成的多項式形式，不變量常與變換群聯(lián)系在一起，稱某個量為不變量必然是指在某個變換群下的不變量，如旋轉(zhuǎn)不變量、仿射不變量等基于直角坐標(biāo)系的中心矩的定義，然后利用代數(shù)不變量理論，推導(dǎo)出7個具有相似變換（即平移、縮放和旋轉(zhuǎn)）不變性的二維矩不變量[21-23]。

相位矩不變量法是一種基于圖像相位信息和矩不變量的評價方法。該方法無需得到待重建物體高精度的三維數(shù)據(jù)，而是對相近視點下真實物體圖像與三維重建物體的二維投影圖像分別計算由相位矩不變量構(gòu)成的特征向量，利用特征向量的相似性來評價重建結(jié)果的質(zhì)量。該方法從整體視覺真實感的角度評價物體重建結(jié)果，強(qiáng)調(diào)三維重建方法對物體特征信息的重建能力。

該方法能夠選擇多個視點進(jìn)行評價，并根據(jù)相機(jī)標(biāo)定的內(nèi)參和外參得到投影矩陣，而且通過提取邊緣照片減少數(shù)據(jù)量，提高計算效率。但是也存在高階運算不穩(wěn)定導(dǎo)致不變量的使用數(shù)量受到了限制以及對噪聲點比較敏感等問題。

2.4多指標(biāo)評價法

多指標(biāo)評價方法也有其他的分類方法。在文獻(xiàn)[24]研究中，I. Sargent、J. Harding等人對三維模型的評價時將重要的因素分成：幾何保真度、相對位置正確性和絕對位置正確性等3類；而且他們不僅考慮上面所說的內(nèi)在質(zhì)量，也充分考慮到了外在質(zhì)量----是否滿足客戶的需求；文獻(xiàn)[25]中根據(jù)6個基本性能區(qū)分不同方法：場景視圖、圖像一致、模型可見性、形狀優(yōu)先性、重建算法和初始化要求并且提出了分別從準(zhǔn)確性和完整性兩個方面對重建效果進(jìn)行量化評價，通過度量重建模型上的點與真實模型上最近點之間的有向距離來檢驗重建是不足還是過度，定義一個距離臨界值，90%的誤差都是在這個真實模型距離臨界值內(nèi)。

3　比較與分析

不同重建算法實現(xiàn)時所要求的假設(shè)條件、使用范圍不盡相同，它們的重建效果也各具特色，但是評價重建效果的標(biāo)準(zhǔn)是相同的，即與真實模型的相似程度。根據(jù)是否需要完整真實模型這一分類原則，需要完整真實模型的方法都有重建模型同真實模型相比較的過程，整體上比單純考慮重建模型本身的方法更有可信度。對比結(jié)果如表1所示：

目前三維重建的評價方法存在著一定的缺陷：

（1）大多數(shù)評價方法過多注重整體正確性而忽略了局部正確性。整體正確性只是給了我們一個大體上重建的感知即對于真實形狀是過度重建或者重建不足，并且重建模型本身還要具有連貫性。而局部正確性則更加注重于局部表面重建效果的連續(xù)性和與真實形狀的一致性。

（2）評價方法中引入的計算方法計算復(fù)雜度較高，運算量增加，需要占用更多系統(tǒng)資源，降低了運行速度。

（3）不同評價方法反映出對噪聲點的不同的敏感程度，有些方法會因噪聲點產(chǎn)生較大的誤差。

（4）不同評價方法選取的評價角度各不相同，但是每一個評價角度總是包含一些前提，限制了適用范圍。

表1　不同評價方法的對比表

4　結(jié)束語

量化的評價方法能夠評價出重建模型各個部分的重建效果的好壞，對三維重建具有一定指導(dǎo)意義。評價結(jié)果作為參考依據(jù)，可以將效果不好的部分通過添加相應(yīng)的輸入數(shù)據(jù)并再次進(jìn)行重建以達(dá)到期望效果。

三維重建評價方法選取的評價尺度不盡相同，評價技術(shù)也不夠成熟，未來的工作應(yīng)該注重整體正確性和局部正確性的聯(lián)系與結(jié)合以及提高評價方法的適應(yīng)性等方面。

[1] 吳彤, 傅中力. 三維重建技術(shù)及其軍事應(yīng)用[J]. 國防科技, 2015, 36(1): 31-34.

[2] 李玲. 基于雙目立體視覺的計算機(jī)三維重建方法研究[D].湖北: 武漢大學(xué), 2005.

[3] 段華. 基于雙目視覺的計算機(jī)三維重建[D]. 江蘇: 南京航空航天大學(xué), 2003.

[4] 莊越挺, 劉小明, 潘云鶴, 等. 運動圖像序列的人體三維運動骨架重建[J]. 計算機(jī)輔助設(shè)計與圖形學(xué)學(xué)報, 2000, 12(4): 245-250.

[5] 陳宇峰, 譚文靜, 王海濤, 等. 光度立體三維重建算法[J].計算機(jī)輔助設(shè)計與圖形學(xué)學(xué)報, 2005, 17(11): 2408-2414.

[6] Ma Q, Zou C. 3D Shape Reconstruction from a Single Image[C]// Internet Technology and Applications (iTAP), 2011 International Conference on. IEEE, 2011: 1-4.

[7] Haala N, Kada M. An update on automatic 3D building reconstruction[J]. Isprs Journal of Photogrammetry & Remote Sensing, 2010, 65(6): 570–580.

[8] 李敏寧, 張巧, 趙劼. 視覺注意機(jī)制下的三維重建技術(shù)的改進(jìn)[J]. 西安電子科技大學(xué)學(xué)報, 2014, 05期: 192-196.

[9] 孫麗娟. 基于序列圖像的三維重建算法研究及誤差分析[D]. 青島科技大學(xué), 2012.

[10] 王海彬, 陳華華, 顧偉康, 等. 基于視覺導(dǎo)航的三維重建算法誤差分析及補償[J]. 傳感技術(shù)學(xué)報, 2004, 04期(4): 556-559.

[11] http://www.cgal.org/Manual/3.5/doc_html/cgal_manual/Surf ace_reconstruction_points_3/Chapter_main.html, CGAL.

[12] Zhou H, Liu Y. Accurate integration of multi-view range images using k-means clustering[J]. Pattern Recognition, 2008, 41(1): 152-175.

[13] J. Pons, R. Keriven, and O. Faugeras. Multi-view stereo reconstruction and scene flow estimation with a global imagebased matching score. IJCV, 72(2): 179-193, 2007.

[14] Yemez Y, Wetherilt C J. A volumetric fusion technique for surface reconstruction from silhouettes and range data[J]. Computer Vision & Image Understanding, 2007, 105(1): 30-41.

[15] Song R, Liu Y, Zhao Y, et al. An Evaluation Method for Multiview Surface Reconstruction[J]. IEEE, 2012: 387-394.

[16] Taubin G. Estimating The Tensor Of Curvature Of A Surface From A Polyhedral Approximation[C]// Iccv. 1995: 902-907.

[17] H.Jin, S. Soatto, and A. Yezzi. Multi-view stereo reconstruction of dense shape and complex appearance. IJCV, 63(3): 175-189, 2005.

[18] G.Vogiatzis, P. Torr, S. Seitz, R. Cipolla. Reconstructingreliefsurfaces. Image and Vision Computing, 26(3): 397-404, 2005.

[19] Huang Q X, Adams B, Wand M. Bayesian surface reconstruction via iterative scan alignment to an optimized prototype[C]// Proceedings of the fifth Eurographics symposium on Geometry processing. Eurographics Association, 2007: 213-223.

[20] 張雯, 程亮, 張群, 等. 三維模型幾何質(zhì)量評價方法[J].測繪通報, 2014, 第7期(7): 44-47.

[21] 李洪波. 共形幾何代數(shù)與幾何不變量的代數(shù)運算[J]. 計算機(jī)輔助設(shè)計與圖形學(xué)學(xué)報, 2006, 18(7): 902-911. DOI: 10. 3321/ j.issn:1003-9775.2006.07.002.

[22] 刁麓弘, 章森, 劉磊, 等. 相位矩不變量[J]. 計算機(jī)輔助設(shè)計與圖形學(xué)學(xué)報, 2008, 20(5): 645-651.

[23] 公明, 葛娟, 曹偉國, 等. 相位矩不變量用于評價基于圖像的三維重建結(jié)果[J]. 計算機(jī)輔助設(shè)計與圖形學(xué)學(xué)報, 2013, 25(9): 1384-1391. DOI: 10.3969/j.issn.1003-9775.2013. 09.016.

[24] I. Sargent, J. Harding, and M. Freeman, “Data quality in 3D: Gauging quality measures from users’ requirement,” in Proc. Int. Archives Photogramm., Remote Sens. Spatial Inf. Sci., 2007, vol. 36, no. 2, pp. 1–8.

[25] Seitz S M, Curless B, Diebel J, et al. A Comparison and Evaluation of Multi-view stereo reconstruction algorithms [C]. IEEE Computer Society, 2006: 519-528.

Overview on Evaluation of 3D Reconstruction

WANG Xue-ning, WEI Qun
(Department of Information Equipment, The Academy of Equipment, Beijing101416, China)

As a developing technology, 3D reconstruction has been used in many fields. Overviewed the some kinds of evaluation methods of different 3D reconstruction, and analyzed the advantages and disadvantages of these methods, hope to get a general understanding of this field and indicate the study orientations in the future.

3D reconstruction; Evaluation methods; Reconstruction model; Overview

TP391.9

A

10.3969/j.issn.1003-6970.2016.08.028

王學(xué)寧(1992-)，男，碩士，研究方向為虛擬現(xiàn)實與仿真；韋群，博士，教授，研究方向為虛擬現(xiàn)實與仿真、軟件工程、計算機(jī)圖形學(xué)。