一種面向傾斜影像三維建模的影像篩選方法

張明磊，張?jiān)粕?，鄒崢嶸

(中南大學(xué) 地球科學(xué)與信息物理學(xué)院，湖南 長(zhǎng)沙 410083)

航空傾斜攝影系統(tǒng)可以從多個(gè)角度獲取影像，為建筑等物體提供了更為詳盡的立面信息，豐富了城市三維建模的數(shù)據(jù)源[1]。目前基于多角度影像自動(dòng)化三維重建的軟件有 PhotoScan、Pixel4D以及Acute3d。PhotoScan主要擅長(zhǎng)重建中小型物體，Pixel4D和Acute3d可以針對(duì)城市級(jí)別的場(chǎng)景建模，其中Acute3d目前已經(jīng)得到市場(chǎng)的廣泛認(rèn)可，成為國(guó)內(nèi)外主流的城市自動(dòng)化建模軟件。Acute3d建模過(guò)程可以分為4個(gè)步驟：①根據(jù)影像的同名點(diǎn)恢復(fù)相機(jī)的位置及半密集點(diǎn)云，②采用半密集點(diǎn)云構(gòu)建Delaunay空間四面體[2]，③根據(jù)半密集點(diǎn)云的可視信息，采用圖割算法提取物體表面模型[3]，④采用變分原理優(yōu)化物體表面模型，獲得精確的三維模型[4]。該方法目前已成為室外場(chǎng)景建模的高精度方法，比泊松表面重建算法具有更強(qiáng)的抗粗差能力，而且對(duì)初始點(diǎn)云的質(zhì)量要求也低[5-6]。

上述提到的建模方法雖然對(duì)室外場(chǎng)景的建模效果具有明顯的優(yōu)勢(shì)，但要求計(jì)算機(jī)的計(jì)算能力較高，大范圍的建模工作也需要耗費(fèi)大量的時(shí)間。多角度傾斜攝影在提供豐富建模信息的同時(shí)也增加影像數(shù)據(jù)量。以五鏡頭傾斜攝影系統(tǒng)為例，影像數(shù)據(jù)量是傳統(tǒng)攝影測(cè)量的五倍，這對(duì)數(shù)據(jù)處理的效率提出了更高要求。針對(duì)此問(wèn)題，文獻(xiàn)[7]研究了海量無(wú)序影像建模的影像篩選方法，在密集點(diǎn)云匹配過(guò)程前將海量的影像數(shù)據(jù)劃分為較小的子模塊，其劃分是出于執(zhí)行密集匹配的目的。航空傾斜攝影測(cè)量的影像在具有航線規(guī)劃設(shè)計(jì)的條件下獲取，因此本文根據(jù)傾斜影像的特點(diǎn)提出用于三維建模過(guò)程的影像篩選方法。在建模精度相當(dāng)?shù)那闆r下對(duì)參與建模的影像進(jìn)行自動(dòng)篩選，減少參與建模的影像，降低對(duì)計(jì)算機(jī)硬件的需求并提升建模的效率。

1 方 法

1.1 篩選原理

Acute3D實(shí)現(xiàn)的建模方法不依賴與場(chǎng)景密集點(diǎn)云，但其優(yōu)化階段較為耗時(shí)，因此本文的影像篩選基于空三過(guò)程得到稀疏點(diǎn)云構(gòu)建的初始模型[8]。影像篩選的依據(jù)是選取一定數(shù)量的影像使得初始模型中有效三角面片的有效面積最大化。具體采用式(1)計(jì)算：

validAreaij=s(P[i])/dis(P[i],C[j]).

(1)

式中：validAreaij為第i個(gè)三角面片在第j張影像上的有效面積；P[i] 為初始模型的第i個(gè)三角面片；C[j]為第j張影像的相機(jī)中心，s(P[i])為P[i]的面積，dis(P[i],C[j])為P[i]中心到第j張影像相機(jī)中心的距離。

由于傾斜影像數(shù)據(jù)在獲取過(guò)程中是按照規(guī)范得到的，即使相鄰攝影中心的基線距離也不會(huì)離太近[9]，并且當(dāng)n>2 時(shí)最大攝影基線的長(zhǎng)度通常達(dá)到至少兩倍的相鄰攝影中心距離的長(zhǎng)度。影像選取時(shí)采用最大化有效面積，對(duì)于同樣的有效三角面片，若相機(jī)距離有效三角面片較遠(yuǎn)，其對(duì)應(yīng)的有效面積會(huì)相對(duì)較小，這一特性使得所選取的用于前方交會(huì)出物方點(diǎn)的影像對(duì)具有更大的基高比[9-10]，也就是說(shuō)對(duì)于傾斜攝影測(cè)量的影像數(shù)據(jù)，在保證了以上定義的有效三角面片的有效面積最大化時(shí)保證了較大的基高比，從而保證在使用有限影像數(shù)量的前提下保證精度。

1.2 篩選過(guò)程

圖1 影像選取流程

2 實(shí)驗(yàn)結(jié)果與分析

本文方法采用C++語(yǔ)言和Visual Studio 2015實(shí)現(xiàn)，實(shí)驗(yàn)所采用的計(jì)算機(jī)主要配置：CPU：intel i7， GPU：GTX Titan X，RAM：32GB。

2.1 數(shù)據(jù)描述

實(shí)驗(yàn)采用303張利用SWDC-5拍攝的武漢地區(qū)傾斜影像，影像地面分辨率為0.1 m，對(duì)場(chǎng)景中400 m×400 m的范圍進(jìn)行建模，覆蓋此區(qū)域的影像一共102張。經(jīng)過(guò)影像自動(dòng)空三后，利用空三獲取的三維點(diǎn)云重建初始三維模型，作為本文影像篩選的模型輸入數(shù)據(jù)。實(shí)驗(yàn)中兩個(gè)不同的影像篩選策略進(jìn)行驗(yàn)證：影像篩選過(guò)程中參與建模的影像數(shù)量達(dá)到45張時(shí)，模型有效三角面片基本已經(jīng)完全覆蓋了初始模型(可根據(jù)有效三角面片占初始模型三角面片面積比例確定)，因此設(shè)定終止條件為45張最有效的影像；影像篩選過(guò)程中參與建模的影像數(shù)量達(dá)到25張時(shí)，模型有效三角面片基本已經(jīng)完全覆蓋了初始模型，設(shè)定終止條件為25張最有效的影像。影像篩選完后，固定影像的內(nèi)外方位元素，利用Acute3d對(duì)原始的102張影像，以及篩選后的45和25張影像分別進(jìn)行建模。為避免相機(jī)姿態(tài)參數(shù)對(duì)模型精度產(chǎn)生影像，整個(gè)實(shí)驗(yàn)過(guò)程中三組數(shù)據(jù)使用相同的內(nèi)外參數(shù)，并且建模過(guò)程中固定這些參數(shù)。

2.2 影像篩選實(shí)驗(yàn)結(jié)果與分析

為更直觀的表示影像選取的過(guò)程，將隨著選擇的影像數(shù)量增加初始模型中有效三角面片變化情況進(jìn)行了顯示，從圖2 中可以看出，前5張影像基本能夠使法向量大致朝上的三角面片至少出現(xiàn)在4張影像上，當(dāng)選擇25張影像時(shí)，基本能夠保證構(gòu)成初始模型的大多數(shù)三角面片至少出現(xiàn)在4張影像上。

圖2 基于初始模型影像篩選有效三角面片變化過(guò)程

2.3 模型重建實(shí)驗(yàn)結(jié)果與分析

重建結(jié)果如圖3 所示，從視覺(jué)上看，使用本文提出的影像篩選方法獲取的影像集進(jìn)行三維建模與全部影像三維重建效果相當(dāng)。為進(jìn)一步驗(yàn)證，以102張影像建立的模型為基準(zhǔn)模型，比較利用本文方法選擇的兩組影像重建模型與基準(zhǔn)模型之間的豪斯多夫距離[15]，以分析模型間的差異。圖4為將兩組采用篩選后影像重建的模型與基準(zhǔn)模型之間的豪斯多夫距離渲染結(jié)果，從圖4中可以看出，模型差異較大的地方均出現(xiàn)在植被和動(dòng)態(tài)變化的車輛區(qū)域。道路上的車輛由于在影像獲取時(shí)是動(dòng)態(tài)的，三組建模結(jié)果理論上都不能夠恢復(fù)出其真實(shí)位置。而植被區(qū)域的影像在獲取時(shí)也可能會(huì)受到風(fēng)的影響，另外植被區(qū)域的紋理也影響重建效果。模型間頂點(diǎn)的豪斯多夫距離統(tǒng)計(jì)圖如圖5所示，可以看出模型之間大多數(shù)差異都在0.15 m之內(nèi)，實(shí)際建模時(shí)參數(shù)設(shè)置采用的分辨率為0.2 m，也就是說(shuō)即使用于建模的影像大幅減少對(duì)于模型絕大部分區(qū)域損失的精度仍在一個(gè)GSD(地面分辨率)之內(nèi)。三組實(shí)驗(yàn)的模型優(yōu)化部分耗時(shí)統(tǒng)計(jì)信息如表1 中所示，可以看出在損失有限精度的情況下，影像篩選能大幅縮短建模時(shí)間。

表1 不同數(shù)量影像建模模型優(yōu)化耗時(shí)信息統(tǒng)計(jì)

由圖5和表1可知在建模精度相當(dāng)?shù)臈l件下，當(dāng)參與建模的影像數(shù)量由102張篩選至25張時(shí)參與模型優(yōu)化的影像數(shù)量縮減為原始影像數(shù)據(jù)的24.5%，模型優(yōu)化時(shí)間減少至采用原始數(shù)據(jù)進(jìn)行建模耗時(shí)的36.1%。圖6所示為三組實(shí)驗(yàn)中所采用的影像成像時(shí)相機(jī)的位置姿態(tài)。從圖中可以看出，基于本文提出的方法在保證初始模型的有效三角面片最大化時(shí)，相機(jī)位姿基本覆蓋了測(cè)區(qū)的各個(gè)方位，而且充分利用了五個(gè)方向的影像。

圖3 三組不同數(shù)量影像重建結(jié)果

圖4 不同數(shù)量影像建模結(jié)果與102張影像建模結(jié)果間的豪斯多夫距離分布示意圖

圖5 不同數(shù)量影像建模結(jié)果與102張影像建模結(jié)果間的豪斯多夫距離統(tǒng)計(jì)圖

圖6 不同數(shù)量影像建模時(shí)采用的影像的相機(jī)位置姿態(tài)分布

3 結(jié) 論

本文針對(duì)目前較為成功的Acute3d軟件三維模型耗時(shí)問(wèn)題，提出了一種可以對(duì)參與模型優(yōu)化的影像進(jìn)行預(yù)先篩選的方法。實(shí)驗(yàn)表明，本文提出的方法減少模型優(yōu)化的影像數(shù)量及建模所需時(shí)間，并且提高建模效率的同時(shí)模型精度并未受到較大影響。

[1] 程效軍, 朱鯉, 劉俊領(lǐng). 基于數(shù)字?jǐn)z影測(cè)量技術(shù)的三維建模[J]. 同濟(jì)大學(xué)學(xué)報(bào)(自然科學(xué)版), 2005, 33(1):37-41.

[2] SHEWCHUK J R. Tetrahedral mesh generation by Delaunay refinement[C]//Proceedings of the fourteenth annual symposium on Computational geometry. ACM, 1998: 86-95.

[3] BOYKOV Y, KOLMOGOROV V. An experimental comparison of min-cut/max-flow algorithms for energy minimization in vision[J]. IEEE transactions on pattern analysis and machine intelligence, 2004, 26(9): 1124-1137.

[4] FAUGERAS O, KERIVEN R. Variational principles, surface evolution, PDEs, level set methods, and the stereo problem[J]. IEEE Transactions on Image Processing, 1998, 7(3):336-44.

[5] KAZHDAN M, HOPPE H. Screened poisson surface reconstruction[J]. ACM Transactions on Graphics (TOG), 2013, 32(3): 29.

[6] HIEP V H, KERIVEN R, LABATUT P, et al. Towards high-resolution large-scale multi-view stereo[C]//Computer Vision and Pattern Recognition, 2009. CVPR 2009. IEEE Conference on. IEEE, 2009: 1430-1437.

[7] FURUKAWA Y, CURLESS B, SEITZ S M, et al. Towards internet-scale multi-view stereo[C]//Computer Vision and Pattern Recognition (CVPR), 2010 IEEE Conference on. IEEE, 2010: 1434-1441.

[8] LABATUT P, PONS J P, KERIVEN R. Efficient multi-view reconstruction of large-scale scenes using interest points, delaunay triangulation and graph cuts[C]//2007 IEEE 11th international conference on computer vision. IEEE, 2007: 1-8.

[9] 王成龍, 劉昌華, 李峰. 基于 SWDC 的國(guó)家基礎(chǔ)航空攝影測(cè)量可行性研究[J]. 測(cè)繪工程, 2009, 18(1): 14-18.

[10] 王之卓. 攝影測(cè)量原理[M].武漢大學(xué)出版社,2007.

[11] BELOGAY E, CABRELLI C, MOLTER U, et al. Calculating the Hausdorff distance between curves[J]. Information Processing Letters, 1997, 64(1): 17-22.