基于半全局多視近景影像匹配的三維建模方法

鄒崢嶸，鄒小丹，劉合鳳，張?jiān)粕?/p>

(中南大學(xué) 地球科學(xué)與信息物理學(xué)院，湖南 長沙 410083)

一、引 言

基于影像的三維自動重建一直是攝影測量領(lǐng)域關(guān)注的重要研究方向之一，其中兩個(gè)關(guān)鍵問題是如何利用影像匹配獲取可靠同名點(diǎn)和利用三維點(diǎn)進(jìn)行三維重建[1-2]。近年來，影像匹配有了很大的發(fā)展，但對于近景影像匹配問題，影像變形較大，且利用常規(guī)的單基線立體匹配技術(shù)依然無法保證匹配的可靠性和精度[3-4]。因此，多視影像匹配引起越來越多學(xué)者的關(guān)注?，F(xiàn)有的多視影像匹配方法可以分為兩類：① 對立體像對的匹配結(jié)果進(jìn)行融合，形成一個(gè)整體的匹配結(jié)果，核心是所有立體像對匹配結(jié)果在物方進(jìn)行融合[5-6]；② 直接通過物方空間對所有影像進(jìn)行匹配，該類方法根據(jù)成像關(guān)系同時(shí)匹配所有的影像，但當(dāng)面臨遮擋問題時(shí)，相似性測度計(jì)算較復(fù)雜[7]。

利用多視影像冗余信息約束匹配提高影像匹配的成功率和可靠性，可以為三維自動重建提供密集的三維點(diǎn)云。鑒于此，本文提出基于半全局多視近景影像匹配的三維建模方法：首先利用半全局約束立體影像匹配；再通過傳遞追蹤的方法實(shí)現(xiàn)多視影像匹配串點(diǎn)；然后多片前方交會迭代優(yōu)化，以實(shí)現(xiàn)各個(gè)立體像對匹配結(jié)果在物方的融合；最后通過Poisson表面重建方法重建物體表面三維模型[8]。

二、基于半全局多視近景影像匹配的三維建模方法

1. 半全局約束立體影像匹配

半全局約束立體影像匹配采用基于點(diǎn)的匹配代價(jià)，用多個(gè)一維的平滑約束來近似該像素二維的平滑約束，并通過尋找最優(yōu)路徑來最小化全局能量函數(shù)E(D)

(1)

對于式 (1) 中的匹配代價(jià)C(p,Dp)，本文采用Birchfield和Tomasi提出的一種類似線性插值的方法。這種匹配代價(jià)計(jì)算量非常小，且對重采樣和噪聲不敏感[9]，通過對深度的不同變化加以不同懲罰 (P1、P2)，可保證約束的平滑性。半全局約束立體影像匹配采用多方向匹配代價(jià)聚合策略，即在待匹配像素沿著多個(gè)方向上作動態(tài)規(guī)劃，本文選擇8個(gè)方向。在計(jì)算左右影像視差圖的基礎(chǔ)上，利用中值濾波過濾掉視差突變點(diǎn)，然后通過雙向一致性檢測剔除可能的錯誤匹配點(diǎn)。對于近景影像，雖然采用了雙向一致性約束來剔除立體像對中的匹配錯誤，但由于紋理缺乏、紋理重復(fù)等因素的影響，依然有匹配錯誤存在，因此本文提出匹配串點(diǎn)和多片前方交會優(yōu)化迭代方法來剔除錯誤匹配和融合多視影像的冗余信息。

2. 多視影像匹配串點(diǎn)

本文通過傳遞追蹤實(shí)現(xiàn)多視影像匹配串點(diǎn)，即從第1幅影像開始跟蹤，具體步驟如下：

2) 重復(fù)上述操作，直至第1幅影像上所有像點(diǎn)都遍歷完，轉(zhuǎn)到下一影像。

3) 對于其他影像(這里到第n-2幅影像)，對影像上所有未標(biāo)記的匹配點(diǎn)重復(fù)上述操作，進(jìn)行跟蹤，直到所有的影像遍歷完。

通過以上3步建立起多重疊度同名點(diǎn)之后，采用下節(jié)中的多片前方交會迭代優(yōu)化剔除可能的錯誤匹配，生成三維點(diǎn)云。

圖1 多視影像匹配串點(diǎn)

3. 多片前方交會迭代優(yōu)化

所有影像完成串點(diǎn)后，每個(gè)追蹤都應(yīng)嚴(yán)格對應(yīng)物方同一個(gè)點(diǎn)，但如果tk中存在有錯誤的匹配點(diǎn)，則重建的三維點(diǎn)將會偏離正確的位置，因此本文提出一種基于多片前方交會的迭代優(yōu)化方法，以剔除可能的錯誤匹配，并同時(shí)重建三維點(diǎn)坐標(biāo)。

(2)

圖2 多片前方交會迭代優(yōu)化

4. Poisson重建

Poisson重建是一種經(jīng)典的點(diǎn)云隱式重建方法，其通過尋找一個(gè)能夠刻畫待重建表面的指示函數(shù)，提取該指示函數(shù)的零等值面，以獲得重建的表面[8]。如圖3所示，對于有向點(diǎn)集，圖3 (c)為分段指示函數(shù)，指示函數(shù)χM在模型內(nèi)部值為1，外部值為0。指示函數(shù)的梯度是一個(gè)向量場，它在整個(gè)空間(除了模型表面)上值為0，且方向指向模型內(nèi)部。因此有向點(diǎn)可以視為模型的指示函數(shù)梯度，如圖3 (b)所示。

圖3 Poisson重建示意圖[8]

Poisson重建是一個(gè)全局的方法，同時(shí)考慮了所有點(diǎn)，而不借助于啟發(fā)式的分割或合并，因此它能創(chuàng)建非常平滑的表面，穩(wěn)健地近似了含有噪聲的數(shù)據(jù)。由于Poisson重建需要點(diǎn)的法向量，因此在獲取三維點(diǎn)云之后，本文采用點(diǎn)周圍一定鄰域內(nèi)的三維點(diǎn)，擬合計(jì)算每個(gè)點(diǎn)的法向量，以用于三維重建。

三、試驗(yàn)結(jié)果與分析

1. 試驗(yàn)數(shù)據(jù)

為了驗(yàn)證本文方法的有效性，一共選擇了兩組近景影像作為試驗(yàn)數(shù)據(jù)。第1組為浮雕影像，一共6幅，如圖4 (a) 所示，影像大小為2808像素×1772像素；第2組為石壁影像，如圖4 (b) 所示，一共6副，影像大小同樣為2808像素×1772像素。兩組影像數(shù)據(jù)的焦距都為51.701 3 mm，并且都具有通過嚴(yán)格光束法平差獲取的影像內(nèi)外方位元素，且都進(jìn)行了畸變差改正。本文試驗(yàn)均在臺式機(jī)上完成，CPU為AMD Athlon(tm) 64 X2 Dual Core Processor 5000+ 2.60 GHz，內(nèi)存 2.00 GB。

圖4 試驗(yàn)影像

2. 多視影像密集匹配結(jié)果

根據(jù)本文的匹配策略，首先對所選影像進(jìn)行匹配；然后對所有立體像對匹配結(jié)果進(jìn)行串點(diǎn)，保留3度和3度以上重疊的同名點(diǎn)，并利用多片前方交會迭代優(yōu)化進(jìn)行粗差剔除；最后利用三維點(diǎn)對應(yīng)的像素賦予顏色信息，獲取具有彩色信息的點(diǎn)云，結(jié)果如圖5所示。從圖5 (a)可以看出，所生成的彩色點(diǎn)云可靠性高、密集，且具有銳利的邊緣，對于大片的紋理重復(fù)區(qū)域，也取得了較好的匹配效果；而從圖5 (b)可以看到，石壁影像上的字體也被正確地匹配出來了。這充分說明了本文多視影像匹配可以較好地保證匹配的可靠性，利用多光線前方交會增大交會角，三維點(diǎn)的精度也得到了保證，且在加大點(diǎn)密集程度的同時(shí)保證了點(diǎn)的精度，有利于后續(xù)的三維重建。

3. 三維重建結(jié)果

在獲取點(diǎn)云的基礎(chǔ)上，利用曲面擬合計(jì)算每個(gè)點(diǎn)的法向量，每個(gè)點(diǎn)都采用距該點(diǎn)距離最近的30個(gè)點(diǎn)進(jìn)行擬合計(jì)算；然后根據(jù)點(diǎn)云坐標(biāo)及其對應(yīng)的法向量，利用Poisson表面重建方法重建物體三維模型。重建結(jié)果如圖6所示，其中(a)、 (c)為灰度著色模型，(b)、(d)為紋理映射結(jié)果。從重建結(jié)果可以看出，所生成的模型能夠反映真實(shí)的物體表面，并且很好地保持局部細(xì)節(jié)。

四、結(jié)束語

本文介紹了一種基于半全局近景影像匹配的三維建模方法。試驗(yàn)結(jié)果表明，多片前方交會迭代優(yōu)化方法可以實(shí)現(xiàn)各立體像對匹配結(jié)果的可靠融合，有效保證了影像匹配的可靠性；通過影像匹配的三維點(diǎn)云，可以利用Poisson重建方法重建保持局部細(xì)節(jié)的模型，是基于影像三維重建的一種有效途徑。

參考文獻(xiàn)：

[1] HAALA N，KADA M. An Update on Automatic 3D Building Reconstruction[J]. ISPRS Journal of Photogrammetry & Remote Sensing, 2010, 65(6): 570-580.

[2] 鄭順義, 王瑞瑞, 陳長軍，等. 基于立體相機(jī)的三維場景建模[J]. 測繪通報(bào), 2008(2): 20-29.

[3] GRUEN A. Development and Status of Image Matching in Photogrammetry[J]. The Photogrammetric Record, 2012, 27(137): 36-57.

[4] 詹總謙, 張祖勛, 鄭順義，等. 基于多基線立體匹配技術(shù)的三維重建[J]. 地理空間信息, 2004,2(6): 17-19.

[5] HIRSCHMüLLER H. Stereo Processing by Semi-Global Matching and Mutual Information [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2008, 30(2): 328-341.

[6] 袁修孝，明洋. 一種綜合利用像方和物方信息的多影像匹配方法[J]. 測繪學(xué)報(bào), 2009, 38 (3) : 216-222.

[7] ZHANG L, GRUEN A. Multi-image Matching for DSM Generation from IKONOS Imagery[J].ISPRS Joural of Photogrammerty and Remote Sensing, 2006, 60(3): 195-211.

[8] KAZHDAN M, BOLITHO M, HOPPE H. Poisson Surface Reconstruction[C]∥Proceedings of the fourth Eurogracphics Sym-posium on Geometry Prccessing.Aire:[s.n.],2006：61-70.

[9] BIRCHFIELD S, TOMASI C. A Pixel Dissimilarity Measure That is Insensitive to Image Sampling[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1998, 20(4): 401-406.

[10] 張劍清, 胡安文. 多基線攝影測量前方交會方法及精度分析[J]. 武漢大學(xué)學(xué)報(bào)：信息科學(xué)版, 2007, 32(10): 847-851.