城市三維重建中的自動(dòng)紋理優(yōu)化方法

李 明，張衛(wèi)龍，范丁元

1.武漢大學(xué)測繪遙感信息工程國家重點(diǎn)實(shí)驗(yàn)室，湖北 武漢 430079； 2.武漢大學(xué)地球空間信息技術(shù)協(xié)同創(chuàng)新中心，湖北 武漢 430079； 3.西南交通大學(xué), 四川 成都 610031

?

城市三維重建中的自動(dòng)紋理優(yōu)化方法

李 明1,2，張衛(wèi)龍1，范丁元3

1.武漢大學(xué)測繪遙感信息工程國家重點(diǎn)實(shí)驗(yàn)室，湖北 武漢 430079； 2.武漢大學(xué)地球空間信息技術(shù)協(xié)同創(chuàng)新中心，湖北 武漢 430079； 3.西南交通大學(xué), 四川 成都 610031

圍繞低空多鏡頭傾斜攝影在三維城市影像模型生產(chǎn)中的紋理優(yōu)化問題，提出了一種無縫紋理模型重建方法。文中首先采用相機(jī)響應(yīng)函數(shù)和暗通道方法對(duì)影像進(jìn)行預(yù)處理；然后，根據(jù)地物三角網(wǎng)格表面模型與影像的映射關(guān)系，利用稀疏構(gòu)網(wǎng)方法進(jìn)行遮擋檢測，并建立了三角面片的可視紋理列表；最后，結(jié)合三角網(wǎng)格表面模型中基本面片的三維拓?fù)潢P(guān)系，利用影像的均值與方差信息，構(gòu)建了基于馬爾科夫隨機(jī)場框架下的圖割紋理優(yōu)化算法，解決了紋理優(yōu)化選擇的離散多標(biāo)號(hào)問題，保證了相鄰三角面片映射紋理的一致性，實(shí)現(xiàn)了城市大場景無縫紋理模型的重建。試驗(yàn)結(jié)果驗(yàn)證了算法的可靠性和優(yōu)越性。

傾斜影像；三角網(wǎng)格表面模型；遮擋檢測；圖割；紋理優(yōu)化

低空傾斜影像能為三維影像城市重建提供豐富的地物三維信息和紋理影像，已逐步成為城市三維場景重建與更新的重要手段。一套基于傾斜影像的完整三維影像城市重建方案包括相機(jī)標(biāo)定、密集點(diǎn)云重建、三維網(wǎng)格表面模型生成和紋理映射等核心技術(shù)。目前，從多視傾斜影像到三角網(wǎng)格表面模型的建立已經(jīng)有了比較可靠的方法[1-6]；而在三維影像城市大場景的無縫紋理映射方面，由于大量傾斜影像存在拍攝角度不一致、環(huán)境光照差異和透視遮擋等因素的影響，導(dǎo)致重建的三維紋理模型存在映射錯(cuò)誤、色彩不一致和大量拼接縫等問題。因此，如何在地物三角網(wǎng)格表面模型的基礎(chǔ)上，實(shí)現(xiàn)三維影像城市大場景的無縫紋理映射是亟待解決的關(guān)鍵問題之一。對(duì)此，國際上已存在一些相關(guān)的研究進(jìn)展，如文獻(xiàn)[7]利用影像已知的粗略內(nèi)、外方位元素，通過二維影像和三維模型上對(duì)應(yīng)線段的匹配結(jié)果，綜合考慮影像遮擋情況、分辨率和模型法向量等，嘗試了高質(zhì)量的紋理模型重建。文獻(xiàn)[8]結(jié)合深度緩存遮擋檢測判斷算法，通過視角法對(duì)小型無人機(jī)獲取的傾斜影像進(jìn)行篩選用于紋理提取。文獻(xiàn)[9—10]通過對(duì)來自不同影像的紋理源進(jìn)行紋理加權(quán)實(shí)現(xiàn)紋理色彩的一致性過渡，但這種方法在很多情況下并不能得到令人滿意的結(jié)果。文獻(xiàn)[11]將確定三角網(wǎng)格表面模型中每個(gè)三角面紋理的過程看作一個(gè)馬爾科夫隨機(jī)場(MRF)下的優(yōu)化問題，以盡量保證相鄰三角面紋理來自同一幅紋理影像，并將紋理的灰度和梯度同時(shí)用來構(gòu)造網(wǎng)格表面的分布連續(xù)函數(shù)，在一定程度上減輕了紋理接縫的問題，取得了優(yōu)于文獻(xiàn)[9—10]基于灰度空間的Blending效果；文獻(xiàn)[12]先利用MRF對(duì)相鄰三角面的紋理選取進(jìn)行優(yōu)化，以避免因幾何誤差導(dǎo)致的紋理錯(cuò)位問題，然后通過約束三角紋理邊緣的梯度逐面片利用Poisson Blending[13]方法重新計(jì)算紋理的每個(gè)像素值進(jìn)一步改善了局部紋理的接縫誤差現(xiàn)象，但是文獻(xiàn)[11—12]面向的都是室內(nèi)近景小物體的三維紋理重建，也沒有詳細(xì)闡述基于MRF的最小能量函數(shù)構(gòu)造與優(yōu)化求解過程，且使用的優(yōu)化求解模型主要是Belief Propagation(BP)和αswap圖割算法，計(jì)算代價(jià)較大，效率較低。通過以上文獻(xiàn)綜述和分析，可知城市無縫紋理模型重建的問題還沒有一種完美的方法可以解決，但可以從以下3個(gè)方面進(jìn)行考慮：①對(duì)獲取的影像進(jìn)行必要的預(yù)處理，并通過遮擋檢測，對(duì)三角面進(jìn)行適當(dāng)處理與分類；②利用有效的紋理優(yōu)化選擇策略，為每個(gè)三角面選擇一張最優(yōu)紋理；③通過圖像融合算法構(gòu)建局部或全局色彩變換方程，重新對(duì)每個(gè)像素賦值，優(yōu)化無縫紋理模型重建。本文主要圍繞前兩個(gè)問題進(jìn)行了有效處理。首先，對(duì)獲取的紋理影像進(jìn)行了輻射預(yù)處理，解決了部分勻色問題；接著，通過遮擋處理和一定的紋理篩選原則，為三角網(wǎng)格表面模型的地物三角面片建立了具有候選優(yōu)先級(jí)的紋理列表；最后，提出基于MRF框架下的圖割紋理優(yōu)化與聚類策略。

1 三角網(wǎng)格表面模型

本文按以下流程完成三角網(wǎng)格表面模型重建。首先，對(duì)相機(jī)檢校，解算出相機(jī)的內(nèi)方位元素和相機(jī)鏡頭畸變參數(shù)；接著，利用檢校結(jié)果，對(duì)獲取的傾斜影像進(jìn)行自動(dòng)空中三角測量獲取精確的影像外方位元素；然后，結(jié)合CMVS(cluster multi-view stereo)方法，對(duì)同一地物多視角的多幅影像采用PMVS(patch-based multi-view stereo)技術(shù)重建出地物的三維密集點(diǎn)云[3-4]；最后，通過泊松優(yōu)化構(gòu)網(wǎng)算法構(gòu)建出用于紋理映射的城市三維網(wǎng)格表面模型[1]。圖1為重建的試驗(yàn)區(qū)地物三角網(wǎng)格表面模型。

圖1 試驗(yàn)區(qū)三角網(wǎng)格表面模型Fig.1 3D model sketch of experimental area

2 建立可視紋理列表

在對(duì)三角網(wǎng)格表面模型進(jìn)行紋理映射前，首先需要知道模型中每個(gè)三角面在哪些影像上可見。即需要根據(jù)傾斜攝影在三維空間中的深度信息從二維觀測影像中得到它們之間的遮擋關(guān)系。對(duì)于這個(gè)問題，本文參考Z-Buffer[14-15]的思路，將Z-Buffer中的處理單元變?yōu)槲闹械匚锶敲?，并為加快遮擋檢測中對(duì)地物三角面的遍歷，引入稀疏網(wǎng)格法紋理探測進(jìn)行遮擋面片的處理[16]。接著，根據(jù)文獻(xiàn)[17]的紋理篩選思想，將地物紋理的遮擋面積、法向量、距離和分辨率等特性作為評(píng)價(jià)標(biāo)準(zhǔn)，構(gòu)建候選紋理優(yōu)先級(jí)評(píng)價(jià)原則，對(duì)影像進(jìn)行進(jìn)一步篩選，建立待優(yōu)化的三角面可視紋理列表，為后續(xù)基于圖割的紋理優(yōu)化提供基礎(chǔ)。

2.1 紋理優(yōu)先級(jí)列表建立原則

本文的紋理優(yōu)先級(jí)列表按以下3個(gè)原則建立：①面積最大原則，選擇非遮擋面積最大的影像作為候選紋理；②交角最小原則，在無遮擋攝影中，紋理影像的變形與攝影光線和地物法線n所成夾角成正比，如圖2，影像O1對(duì)于地物中abcd面為遮擋影像，對(duì)于物方面元abcd的紋理影像選取中，影像O3比O2更適合作為紋理源；③紋理自動(dòng)裁剪原則，為了減少紋理存儲(chǔ)中因計(jì)算機(jī)對(duì)紋理的重采樣導(dǎo)致的時(shí)間消耗，在存儲(chǔ)紋理時(shí)將其尺寸裁剪為2的指數(shù)倍。

圖2 影像遮擋情況示意Fig.2 Sketch of image occlusion conditions

2.2 自適應(yīng)三角剖分

經(jīng)過遮擋檢測和篩選建立的紋理優(yōu)先級(jí)列表中的影像，包括完全可見影像和部分可見影像。對(duì)于列表中的部分遮擋紋理影像，如果不做處理，則可能由于構(gòu)建的三角網(wǎng)格表面模型不夠細(xì)膩，而出現(xiàn)紋理不一致的現(xiàn)象。為了解決這個(gè)問題，加大單個(gè)紋理三角面中非遮擋信息的占有率，本文提出了局部四分法的紋理剖分優(yōu)化策略，即只四分部分遮擋的地物三角面，而對(duì)鄰接的三角面進(jìn)行簡單的二分法(圖3)。這樣既能保證部分遮擋三角面的高效細(xì)分，也能盡可能減少對(duì)非遮擋三角面進(jìn)行分割增加處理時(shí)間和數(shù)據(jù)量。該方法不僅適合大數(shù)據(jù)三維模型的半遮擋紋理處理，而且能保證三角網(wǎng)格表面模型網(wǎng)形的半邊數(shù)據(jù)結(jié)構(gòu)不變和流行表面的性質(zhì)。

圖3 三角網(wǎng)格剖分示意圖Fig.3 Sketch of triangle mesh subdivision

圖3中陰影部分為存在部分遮擋的三角形，圖3(c)為本文算法的細(xì)分結(jié)果。與圖3(b)全局四分法結(jié)果相比，本文算法只有在最壞的情況下才與其剖分得到的三角形數(shù)據(jù)量相等；而一般情況下，本文方法產(chǎn)生的三角形個(gè)數(shù)為4b+6b≤4a，其中b為三角網(wǎng)中部分遮擋三角形個(gè)數(shù)，a為三角網(wǎng)中全部三角形個(gè)數(shù)。

3 基于圖割的紋理優(yōu)化

經(jīng)過以上處理，為每個(gè)三角面建立了一個(gè)可視紋理影像優(yōu)先級(jí)列表。那么從列表中的哪一幅影像提取其紋理是最優(yōu)的？當(dāng)然，這里的最優(yōu)是指在一定標(biāo)準(zhǔn)下的最好，本文希望每個(gè)局部三角面片選取的紋理清晰、細(xì)節(jié)豐富。在這個(gè)標(biāo)準(zhǔn)下，為每個(gè)三角面從其可見紋理優(yōu)先級(jí)列表選擇一張最優(yōu)的影像作為其紋理來源本質(zhì)上是一個(gè)MRF下的優(yōu)化問題。因此，本文提出了一種基于MRF下的圖割紋理優(yōu)化算法，以解決因光照等條件引起的紋理拼接痕跡問題。

3.1 構(gòu)建標(biāo)記圖

圖是對(duì)現(xiàn)實(shí)世界的一種直觀表述，由一個(gè)點(diǎn)集V與節(jié)點(diǎn)間按照某種規(guī)則相連的邊E所組成，可以表示為G=〈V,E〉；圖的一個(gè)割就是圖G中E的集合的一個(gè)子集。圖割是一個(gè)二標(biāo)記問題，它使能量函數(shù)的極小值與一個(gè)含有源和匯的圖的最小割對(duì)應(yīng)，在計(jì)算機(jī)視覺中，圖割是馬爾科夫隨機(jī)場框架下求解能量函數(shù)最小化模型最有效的方法之一[18-19]。在本文構(gòu)建的圖中，由于影像與三角面的遮擋影響，所以每張影像不一定是每個(gè)三角面的候選紋理源，即地物三角面與影像的映射關(guān)系不是完全圖，這個(gè)問題必須在標(biāo)記圖構(gòu)建中加以考慮。

如圖4所示，圖4(a)為一般標(biāo)記圖，其中上下兩個(gè)特殊的黑色終端節(jié)點(diǎn)為圖的源s和匯t，其余的節(jié)點(diǎn)為每個(gè)三角面在不同標(biāo)記中的節(jié)點(diǎn)，節(jié)點(diǎn)之間由t-link和n-link邊相連，每個(gè)邊都有相應(yīng)的能量權(quán)重來衡量具體的概率關(guān)系。t-link是連接源點(diǎn)、匯點(diǎn)與其他節(jié)點(diǎn)的邊，為不同標(biāo)記間的能量關(guān)系；n-link是連接標(biāo)記中節(jié)點(diǎn)的邊，為相同標(biāo)記中相鄰節(jié)點(diǎn)間的能量關(guān)系，這種關(guān)系主要反映相鄰節(jié)點(diǎn)選擇相同紋理標(biāo)記的概率的大小，這些節(jié)點(diǎn)共同構(gòu)成了標(biāo)記空間，且在同一標(biāo)記層的面具有相同的紋理源；圖4(b)是本文構(gòu)建的標(biāo)記圖，相比圖4(a)，出現(xiàn)了部分有色的空節(jié)點(diǎn)，它們表示對(duì)應(yīng)的紋理節(jié)點(diǎn)在這一層的紋理空間中不可取，故節(jié)點(diǎn)間的連接都需要避開這些空節(jié)點(diǎn)，這樣可以有效地降低參與圖割算法的數(shù)據(jù)量，從而提高算法的整體效率。

圖4 兩種類型標(biāo)記Fig.4 Two types of labeled graph

3.2 構(gòu)建能量函數(shù)

圖割的能量函數(shù)為實(shí)際問題的數(shù)學(xué)表達(dá)方式，是圖割理論與具體問題的橋梁，一般能量函數(shù)由以下兩部分組成，即數(shù)據(jù)項(xiàng)與平滑項(xiàng)，其與圖割邊的權(quán)重一一對(duì)應(yīng)。在本文中數(shù)據(jù)項(xiàng)代表某節(jié)點(diǎn)選擇某標(biāo)記的概率的大?。欢交?xiàng)表明相鄰節(jié)點(diǎn)紋理平滑性，需要綜合考慮節(jié)點(diǎn)的拓?fù)湫畔⒑筒煌瑯?biāo)記的差異評(píng)價(jià)標(biāo)準(zhǔn)。圖割中的最小割與能量函數(shù)的最小值等價(jià)，且往往相差一個(gè)常數(shù)項(xiàng)C，如式(1)所示

(1)

本文將三角網(wǎng)格表面模型中的每個(gè)三角面看作圖G的節(jié)點(diǎn)，每兩個(gè)具有公共邊的相鄰三角面對(duì)應(yīng)的圖G中的節(jié)點(diǎn)之間建立一條邊，這樣就構(gòu)建了本文需要的圖G(V,E)。每個(gè)節(jié)點(diǎn)有一個(gè)含有k個(gè)元素的label集，優(yōu)化算法將為每個(gè)節(jié)點(diǎn)從其label集中選擇一個(gè)最佳的label。為了確保圖割優(yōu)化算法在有效的實(shí)數(shù)范圍內(nèi)計(jì)算，并具有對(duì)大數(shù)據(jù)的并行處理能力，本文的能量函數(shù)構(gòu)造需要滿足以下3個(gè)原則：①能量函數(shù)具有上下界；②能量函數(shù)的取值范圍不超過參與數(shù)據(jù)個(gè)數(shù)的有限性倍；③能量函數(shù)的數(shù)據(jù)項(xiàng)與平滑的值及其波動(dòng)數(shù)值影響范圍應(yīng)為同一數(shù)量級(jí)。本文使用候選影像自身的固有屬性(影像的均值與方差)來構(gòu)建能量函數(shù)表達(dá)式的數(shù)據(jù)項(xiàng)與平滑項(xiàng)

(2)

(3)

(4)

(5)

式(2)—式(5)分別為影像的均值M、方差D、地物三角面F和標(biāo)記值域L的表達(dá)式，O為影像數(shù)，n為地物面。式(6)為本文構(gòu)建的能量函數(shù)表達(dá)式，其中α與β分別為數(shù)據(jù)項(xiàng)D(L)與平滑項(xiàng)N(L)的控制系數(shù)；式(7)、式(8)分別為能量函數(shù)的數(shù)據(jù)項(xiàng)D(L)與平滑項(xiàng)N(L)的數(shù)學(xué)表達(dá)式，其中αd與βd為數(shù)據(jù)項(xiàng)中內(nèi)部系數(shù)，αn與βn為平滑項(xiàng)內(nèi)部系數(shù)，Vfili為地物三角面fi與對(duì)應(yīng)影像li的夾角；Wfili為其對(duì)應(yīng)的可視比值，即影像可見面積與真實(shí)面積的比值

(6)

(7)

(8)

本文建立的能量函數(shù)滿足正態(tài)分布數(shù)學(xué)特性。上述等式中的部分參數(shù)在試驗(yàn)中的取值為：α=0.8，β=0.2；αd=0.8，βd=0.2；αn=βn=0.5，且它們直接控制著影像均值與方差的影響；n_t為平滑項(xiàng)的閾值，此處為n_t=1。

3.3 能量最小化求解

α-β圖建立方式如圖5所示，α-β圖終端α、β與每個(gè)Pα、Pβ集合相連，令Pαβ=Pα∪Pβ，并定義其對(duì)應(yīng)的t-link和n-link權(quán)重值，表1是α-β圖的權(quán)重。其中，Np為節(jié)點(diǎn)p的鄰域，Dp(·)為其標(biāo)記不相似度；V(·)為鄰域節(jié)點(diǎn)的差異度量。前者對(duì)圖割對(duì)應(yīng)的能量函數(shù)空間具有引導(dǎo)作用，而后者具有平滑作用。

圖5 α-β圖示意Fig.5 The sketch of graph cuts

表1 α-β圖的權(quán)重

4 試驗(yàn)與結(jié)果分析

4.1 試驗(yàn)數(shù)據(jù)與環(huán)境

為了直觀地展示和驗(yàn)證評(píng)價(jià)本文所提算法和策略的優(yōu)越性與有效性，文中選取了某地區(qū)真實(shí)傾斜影像數(shù)據(jù)生成的部分三角網(wǎng)格表面模型數(shù)據(jù)進(jìn)行測試，該簡化模型有3117個(gè)三角面片。本文的計(jì)算機(jī)試驗(yàn)環(huán)境為：Windows7操作系統(tǒng)，內(nèi)存32 GB，Intel core7 3.6 GHZ，4核。此外，在進(jìn)行紋理優(yōu)化前還對(duì)試驗(yàn)影像進(jìn)行了預(yù)處理，即引入了文獻(xiàn)[22]提出的基于暗通道方法與Wallis方法[23-24]，解決了因傾斜影像場景深度不一致導(dǎo)致的影像環(huán)境輻射問題，并使用201曲線庫DoRF(Database of Real-world camera response Function)，通過構(gòu)建求解相機(jī)響應(yīng)函數(shù)的優(yōu)化函數(shù)[25-26]，改正了影像的系統(tǒng)輻射誤差。

4.2 試驗(yàn)效果對(duì)比

4.2.1 影像預(yù)處理效果對(duì)比

圖6是一組左右試驗(yàn)傾斜影像在不同方法下的預(yù)處理結(jié)果對(duì)比，可以發(fā)現(xiàn)本文預(yù)處理方法與僅使用Wallis方法相比，不僅起到了類似于直方圖均衡化的效果，最大限度地維持了影像的高對(duì)比度，而且影像的飽和度也有所提高，白平衡處理也更突出。這說明經(jīng)過環(huán)境輻射改正與系統(tǒng)誤差糾正后，獲得了更真實(shí)的紋理影像均值與方差。

4.2.2 遮擋探測結(jié)果對(duì)比

傾斜影像存在建筑物間的相互遮擋問題需要解決。如圖7左側(cè)紅框內(nèi)為未進(jìn)行遮擋處理的映射結(jié)果，而圖7中右側(cè)紅框內(nèi)為經(jīng)過本文遮擋檢測后的映射結(jié)果，可見已消除了遮擋現(xiàn)象，更好地確保了紋理的視角與尺度一致性，實(shí)現(xiàn)了紋理的連貫性表達(dá)。

4.2.3 紋理聚類效果對(duì)比

基于MRF的圖割紋理選擇與聚類可以加強(qiáng)紋理在視覺上的連續(xù)性與一致性效果。本文利用紋理影像的固有屬性，通過構(gòu)建并求解最小能量函數(shù)實(shí)現(xiàn)了相鄰三角面的紋理空間標(biāo)記取值的平滑，實(shí)現(xiàn)了紋理映射優(yōu)化。圖8為試驗(yàn)結(jié)果，其中，圖8(a)是未進(jìn)行優(yōu)化選擇與聚類的效果，圖8(b)是本文方法優(yōu)化后的效果，圖中四角為局部放大圖；圖中不同的顏色代表三角面紋理取自不同的紋理源，通過圖中對(duì)比可以看出，經(jīng)過紋理優(yōu)化后，三角網(wǎng)格表面模型中更多相鄰的三角面被賦予了相同的紋理源，實(shí)現(xiàn)了紋理優(yōu)化選擇；同時(shí)，在紋理映射操作過程中，還可以利用這個(gè)結(jié)果，使同一個(gè)聚類紋理塊一次性取得相應(yīng)的紋理，從而減少紋理后操作時(shí)間，加速紋理映射過程。

圖9為試驗(yàn)的簡化三角網(wǎng)格表面模型3117個(gè)三角面片的聚類統(tǒng)計(jì)數(shù)值分析。其中，圖9(a)為未聚類前相鄰三角面的紋理選擇分布，圖9(b)是優(yōu)化后效果。從其統(tǒng)計(jì)結(jié)果來看，未聚類前孤立的聚類結(jié)果(聚類容量為1的聚類為孤立聚類)約占總數(shù)量的33%，且最大聚類容量不到20；而聚類后孤立的聚類結(jié)果只約占總數(shù)量的17%，且最大聚類容量大于40，這說明基于MRF的圖割紋理聚類效果顯著。

圖6 環(huán)境輻射處理局部效果對(duì)比Fig.6 Effect of preprocessed images

圖7 遮擋處理結(jié)果對(duì)比Fig.7 Contrast of occlusion detection

圖8 紋理優(yōu)化選擇與聚類效果對(duì)比Fig.8 Optimal textures contrast

圖9 優(yōu)化前后統(tǒng)計(jì)結(jié)果對(duì)比Fig.9 Optimal result contrast of before and after

4.2.4 紋理模型重建效果對(duì)比

為了更直觀地展示本文算法的整體效果和優(yōu)越性，在此將試驗(yàn)區(qū)簡化模型的紋理重建結(jié)果與使用著名的三維重建軟件Photomodeler實(shí)現(xiàn)的紋理重建結(jié)果進(jìn)行對(duì)比。圖10為試驗(yàn)區(qū)紋理模型重建結(jié)果對(duì)比，其中，圖10上半部分為Photomodeler重建效果，下半部分為本文效果，從圖中左側(cè)的整體效果可以看出，Photomodeler與本文方法都十分關(guān)注紋理映射中的平滑處理，但是從圖中右側(cè)的局部放大圖可以容易地發(fā)現(xiàn)本文方法不僅保留了更多的紋理細(xì)節(jié)，而且有效地解決了紋理重建中的部分勻色勻光問題，重建效果真實(shí)、清晰，色彩與亮度處理更加自然。

圖11為試驗(yàn)區(qū)重建紋理模型的3組局部放大效果對(duì)比圖。其中，圖左側(cè)為未經(jīng)本文方法處理的結(jié)果，可以看到圖中箭頭所指處有大量紋理不一致、映射錯(cuò)誤和拼接縫的存在，而圖右側(cè)經(jīng)過紋理優(yōu)化選擇與聚類后，極大地減少，甚至消除了這些問題，體現(xiàn)出了本文算法的有效性和優(yōu)越性。

圖10 紋理模型重建效果對(duì)比Fig.10 A contrast figure of texture reconstruction

圖11 紋理模型局部效果對(duì)比Fig.11 Zoom effect in contrast

5 結(jié) 論

本文基于低空傾斜影像，針對(duì)三維影像城市重建中的無縫紋理映射問題，提出了一種有效的紋理優(yōu)化選擇方法。該方法在建立城市地面三角網(wǎng)格表面模型和空中三角測量的基礎(chǔ)上，計(jì)算模型與影像之間的投影關(guān)系，并使用稀疏構(gòu)網(wǎng)法實(shí)現(xiàn)了高效的遮擋探測；在紋理優(yōu)化選擇過程中，本文利用影像的固有屬性和紋理對(duì)應(yīng)三角面片的拓?fù)湫畔?，把紋理的優(yōu)化選擇看作一個(gè)馬爾科夫隨機(jī)場問題，提出了基于圖割的最小能量函數(shù)優(yōu)化求解方案，實(shí)現(xiàn)了映射紋理的優(yōu)化選擇與聚類。試驗(yàn)結(jié)果表明本文方法可以有效地提高紋理的聚類表達(dá)與輻射一致性效果，能顯著地減少三維紋理映射中的拼接縫和紋理碎片的產(chǎn)生。

[1] KAZHDAN M, BOLITHO M, HOPPE H.Poisson Surface Reconstruction[C]∥Proceedings of the Fourth Eurographics Symposium on Geometry Processing.Switzerland: Eurographics Association Aire-la-Ville, 2006.[2] SEITZ S M, CURLESS B, DIEBEL J, et al.A Comparison and Evaluation of Multi-view Stereo Reconstruction Algorithms[C]∥Proceedings of 2006 IEEE Computer Society Conference on Computer Vision and Pattern Recognition.New York, NY: IEEE, 2006.

[3] FURUKAWA Y, PONCE J.Accurate, Dense, and Robust Multiview Stereopsis[J].IEEE Transactions on Pattern Analysis and Machine Intelligence, 2010, 32(8): 1362-1376.

[4] SCH?NING J, HEIDEMANN G.Evaluation of Multi-view 3D Reconstruction Software[M]∥AZZOPARDI C, PETKOV N.Computer Analysis of Images and Patterns: Lecture Notes in Computer Science.Switzerland: Springer International Publishing, 2015.

[5] 王競雪, 朱慶, 王偉璽.多匹配基元集成的多視影像密集匹配方法[J].測繪學(xué)報(bào), 2013, 42(5): 691-698.WANG Jingxue, ZHU Qing, WANG Weixi.A Dense Matching Algorithm of Multi-view Image Based on the Integrated Multiple Matching Primitives[J].Acta Geodaetica et Cartographica Sinica, 2013, 42(5): 691-698.

[6] PARK J S.Interactive 3D Reconstruction from Multiple Images: a Primitive-based Approach[J].Pattern Recognition Letters, 2005, 26(16): 2558-2571.

[7] FRUEH C, JAIN S, ZAKHOR A.Data Processing Algorithms for Generating Textured 3D Building Facade Meshes from Laser Scans and Camera Images[J].International Journal of Computer Vision, 2005, 61(2): 159-184.

[8] 崔紅霞, 林宗堅(jiān), 孫杰.大重疊度無人機(jī)遙感影像的三維建模方法研究[J].測繪科學(xué), 2005, 30(2): 36-38.CUI Hongxia, LIN Zongjian, SUN Jie.Research on the 3-Dimensional Modeling Method for Remote Sensing Images of Big Degree of Overlap Acquired by Unmaned Aerial Vehicle[J].Science of Surveying and Mapping, 2005, 30(2): 36-38.

[9] BERNARDINI F, MARTIN I M, RUSHMEIER H, et al.High-quality Texture Reconstruction from Multiple Scans[J].IEEE Transactions on Visualization and Computer Graphics, 2001, 7(4): 318-332.

[10] BAUMBERG A.Blending Images for Texturing 3D Models[C]∥Marshall D, ROSIN L.Proceedings of the British Machine Vision Conference.[S.l.]: BMVA Press, 2002.

[11] LEMPITSKY V, IVANOV D.Seamless Mosaicing of Image-based Texture Maps[C]∥Proceedings of 2007 IEEE Conference on Computer Vision and Pattern Recognition.Minneapolis, MN: IEEE, 2007.

[12] GAL R, WEXLER Y, OFEK E, et al.Seamless Montage for Texturing Models[J].Computer Graphics Forum, 2010, 29(2): 479-486.

[13] PERéZ P, GANGNET M, BLAKE A.Poisson Image Editing[J].ACM Transactions on Graphics, 2003, 22(3): 313-318.

[14] GREENE N, KASS M, MILLER G.Hierarchical Z-buffer Visibility[C]∥Proceedings of the 20th Annual Conference on Computer Graphics and Interactive Techniques.New York: ACM, 1993.

[15] PARKER S, SHIRLEY P, LIVNAT Y, et al.Interactive Ray Tracing for Isosurface Rendering[C]∥Proceedings of 1998 International Conference on Visualization.Los Alamitos, CA: IEEE, 1998.

[16] 張春森, 張衛(wèi)龍, 郭丙軒, 等.傾斜影像的三維紋理快速重建[J].測繪學(xué)報(bào), 2015, 44(7): 782-790.DOI: 10.11947/j.AGCS.2015.20140341.ZHANG Chunsen, ZHANG Weilong, GUO Bingxuan, et al.Rapidly 3D Texture Reconstruction Based on Oblique Photography[J].Acta Geodaetica et Cartographica Sinica, 2015, 44(7): 782-790.DOI: 10.11947/j.AGCS.2015.20140341.

[17] HARTLEY R, ZISSERMAN A.Multiple View Geometry in Computer Vision[M].2nd ed.London: Cambridge University Press, 2003.

[18] BOYKOV Y, VEKSLER O, ZABIH R, et al.Fast Approximate Energy Minimization via Graph Cuts[J].IEEE Transactions on Pattern Analysis and Machine Intelligence, 2001, 23(11): 1222-1239.

[19] SCHMIDT M, ALAHARI K.Generalized Fast Approximate Energy Minimization via Graph Cuts: α-Expansion β-Shrink Moves[C]∥Proceedings of 27th Conference on Uncertainty in Artificial Intelligence.Barcelona, Spain: [s.n.], 2011.

[20] ZUREIKI A, DEVY M, CHATILA R.Stereo Matching and Graph Cuts[M].Vienna, Austria: I-Tech Education and Publishing, 2008: 349-372.

[21] HUSSMANN S, RINGBECK T, HAGEBEUKER B.A Performance Review of 3D TOF Vision Systems in Comparison to Stereo Vision Systems[M].Vienna, Austria: InTech, 2008.

[22] HE Kaiming, SUN Jian, TANG Xiaoou.Single Image Haze Removal Using Dark Channel Prior[J].IEEE Transactions on Pattern Analysis and Machine Intelligence, 2011, 33(12): 2341-2353.

[23] 羅思.基于Wallis原理改進(jìn)的勻光算法[J].測繪科學(xué)技術(shù), 2015, 3(3): 51-58.LUO Si.Improved Dodging Algorithm Based on Wallis Principle[J].Geomatics Science and Technology, 2015, 3(3): 51-58.

[24] 李德仁, 王密, 潘俊.光學(xué)遙感影像的自動(dòng)勻光處理及應(yīng)用[J].武漢大學(xué)學(xué)報(bào)(信息科學(xué)版), 2006, 31(9): 753-756.LI Deren, WANG Mi, PAN Jun.Auto-dodging Processing and Its Application for Optical RS Images[J].Geomatics and Information Science of Wuhan University, 2006, 31(9): 753-756.

[25] KIM S J, POLLEFEYS M.Robust Radiometric Calibration and Vignetting Correction[J].IEEE Transactions on Pattern Analysis and Machine Intelligence, 2008, 30(4): 562-576.

[26] D’ANGELO P.Radiometric Alignment and Vignetting Calibration[C]∥Proceedings of the 2007 ICVS Workshop on Camera Calibration Methods for Computer Vision System.Bielefeld, Germany: Applied Computer Science Group, Bielefeld University, 2007.

(責(zé)任編輯：宋啟凡)

Automatic Texture Optimization for 3D Urban Reconstruction

LI Ming1,2，ZHANG Weilong1，F(xiàn)AN Dingyuan3

1.State Key Laboratory of Information Engineering in Surveying Mapping and Remote Sensing, Wuhan University, Wuhan 430079, China； 2.Collaborative Innovation Center for Geospatial Technology, Wuhan University, Wuhan 430079, China； 3.Southwest Jiaotong University, Chengdu 610031, China

In order to solve the problem of texture optimization in 3D city reconstruction by using multi-lens oblique images, the paper presents a method of seamless texture model reconstruction.At first, it corrects the radiation information of images by camera response functions and image dark channel.Then, according to the corresponding relevance between terrain triangular mesh surface model to image, implements occlusion detection by sparse triangulation method, and establishes the triangles’ texture list of visible.Finally, combines with triangles’ topology relationship in 3D triangular mesh surface model and means and variances of image, constructs a graph-cuts-based texture optimization algorithm under the framework of MRF(Markov random filed), to solve the discrete label problem of texture optimization selection and clustering, ensures the consistency of the adjacent triangles in texture mapping, achieves the seamless texture reconstruction of city.The experimental results verify the validity and superiority of our proposed method.

oblique image; triangular mesh surface model; occlusion detection; graph-cuts; texture optimization

The National Key Research and Development Program of China(No.2016YFB0502200); The National Natural Science Foundation of China(No.41127901)

LI Ming(1985—), male, PhD, majors in image processing and 3D reconstruction and indoor position.

ZHANG Weilong

李明，張衛(wèi)龍，范丁元.城市三維重建中的自動(dòng)紋理優(yōu)化方法[J].測繪學(xué)報(bào)，2017,46(3)：338-345.

10.11947/j.AGCS.2017.20160467.

LI Ming，ZHANG Weilong，F(xiàn)AN Dingyuan.Automatic Texture Optimization for 3D Urban Reconstruction[J].Acta Geodaetica et Cartographica Sinica,2017,46(3):338-345.DOI:10.11947/j.AGCS.2017.20160467.

P234

A

1001-1595(2017)03-0338-08

國家重點(diǎn)研發(fā)計(jì)劃(2016YFB0502200)；國家自然科學(xué)基金(41127901)

2016-09-20

修回日期：2017-02-10

李明(1985—),男,博士,研究方向?yàn)閳D像處理、三維感知與室內(nèi)定位。

E-mail：lisouming@whu.edu.cn

張衛(wèi)龍

E-mail：2016106190039@whu.edu.cn