城市建模中的多視角紋理映射技術(shù)

盧學(xué)良，鞏丹超，曹華振

1. 西安測(cè)繪研究所，陜西 西安，710054；2. 地理信息工程國(guó)家重點(diǎn)實(shí)驗(yàn)室，陜西 西安，710054；3. 第三測(cè)繪導(dǎo)航基地，新疆 烏魯木齊，830002

?

城市建模中的多視角紋理映射技術(shù)

盧學(xué)良1，2，鞏丹超1，2，曹華振3

1. 西安測(cè)繪研究所，陜西 西安，710054；2. 地理信息工程國(guó)家重點(diǎn)實(shí)驗(yàn)室，陜西 西安，710054；3. 第三測(cè)繪導(dǎo)航基地，新疆 烏魯木齊，830002

傾斜式多視角攝影及其數(shù)據(jù)處理方法的出現(xiàn)，使得城市建模的手段變得更加豐富，而多視角影像的紋理映射是其關(guān)鍵技術(shù)之一，值得深入研究。本文首先對(duì)現(xiàn)有城市三維建模中多視角影像紋理映射的方法進(jìn)行了簡(jiǎn)要介紹；然后根據(jù)傾斜航空攝影測(cè)量的技術(shù)特點(diǎn)，對(duì)傳統(tǒng)方法的不適應(yīng)性進(jìn)行了深入分析，調(diào)整了相關(guān)紋理映射的策略，改進(jìn)了其中最優(yōu)化紋理選擇中的可見(jiàn)性準(zhǔn)則和鄰接一致性準(zhǔn)則，提出了拼接縫約束的優(yōu)化策略。相關(guān)實(shí)驗(yàn)表明，調(diào)整后的策略在城市建模的多視角紋理映射中具有正確性和有效性。

傾斜攝影；數(shù)據(jù)處理；城市建模；紋理映射；多視角影像

1　引　言

紋理映射技術(shù)是三維建模過(guò)程中增強(qiáng)真實(shí)感最為關(guān)鍵的技術(shù)之一，長(zhǎng)期以來(lái)，它一直是計(jì)算機(jī)圖形學(xué)和計(jì)算機(jī)視覺(jué)等領(lǐng)域研究的熱點(diǎn)[1]。城市建模的紋理映射技術(shù)主要取決于三維數(shù)據(jù)的生產(chǎn)方式，現(xiàn)有城市三維數(shù)據(jù)的生產(chǎn)方式主要以航空航天攝影測(cè)量和LiDAR測(cè)量為主[2-4]，這兩種方式一般通過(guò)人機(jī)交互或者特征匹配的方式進(jìn)行紋理貼圖，其紋理映射的方法一般為單紋理映射，即是針對(duì)一個(gè)區(qū)域通常只有單張影像可供選擇，紋理獲取的目的性強(qiáng)，選擇單一。

近年來(lái)多視角航空攝影被廣泛應(yīng)用[5-7]，該方法與傳統(tǒng)方法最大的不同是它獲取地物頂面信息的同時(shí)，還能獲取大量地物的側(cè)面信息。利用豐富的地物信息，能夠快速構(gòu)建具有真實(shí)感的城市三維模型。在此過(guò)程中，其紋理映射為多紋理映射，即在同一個(gè)區(qū)域有多個(gè)視角的影像覆蓋，相較于傳統(tǒng)的單紋理映射，如何選擇最優(yōu)化的紋理變得更為復(fù)雜。在這一方面，一些優(yōu)秀的商業(yè)軟件，如Smart3D[8]，已經(jīng)基本可以做到自動(dòng)化的紋理選擇，但是其技術(shù)細(xì)節(jié)并沒(méi)有公開(kāi)；另外，國(guó)內(nèi)外已經(jīng)在這一方面進(jìn)行了一些開(kāi)拓性的工作。王立峰[9]和Baumberg[10]等人利用加權(quán)混合的方式為每幀圖像求解合適的權(quán)重以獲得最佳的混合效果，然而，這樣可能會(huì)產(chǎn)生明顯的走樣。Frueh等人[11]進(jìn)行簡(jiǎn)單的紋理映射后利用貪心算法進(jìn)行紋理優(yōu)化，然而該方法僅適用于規(guī)則化的城市模型。Lempisky[12]和Gal[13]等人將紋理映射轉(zhuǎn)化為馬爾可夫隨機(jī)向量場(chǎng)，通過(guò)求解能量函數(shù)的方式進(jìn)行解決，然而這些方法僅針對(duì)結(jié)構(gòu)簡(jiǎn)單的三維物體模型。縱觀以上現(xiàn)狀，針對(duì)城市點(diǎn)云的表面重建還存在一些技術(shù)上的局限性，對(duì)于不同的應(yīng)用背景和技術(shù)要求，還需加以修正并進(jìn)行改進(jìn)。

本文結(jié)合多視角傾斜航空攝影測(cè)量的技術(shù)特點(diǎn)，對(duì)現(xiàn)有多紋理映射方法的不適應(yīng)性進(jìn)行分析，調(diào)整相關(guān)紋理映射的策略，改進(jìn)其中最優(yōu)紋理選擇中的可見(jiàn)性準(zhǔn)則和鄰接一致性準(zhǔn)則，提出了拼接縫約束的優(yōu)化策略，并通過(guò)實(shí)驗(yàn)，驗(yàn)證了改進(jìn)方法的可行性和正確性。

2　傾斜攝影多視角紋理映射的難點(diǎn)和策略

2.1方法原理

傾斜攝影測(cè)量改變了傳統(tǒng)遙感只能從正攝視角拍攝的局限，通過(guò)在同一飛行器上搭載多臺(tái)傳感器，同時(shí)從一個(gè)正攝、多個(gè)傾斜等不同的視角采集影像數(shù)據(jù)。區(qū)別于傳統(tǒng)航空攝影測(cè)量技術(shù)以及機(jī)載LiDAR測(cè)量技術(shù)僅能獲取地物的頂部信息、基本沒(méi)有地物的側(cè)面信息，傾斜航空攝影利用多視角的傾斜影像數(shù)據(jù)，采用空中三角測(cè)量、影像匹配等技術(shù)方法，獲取地物多方位的點(diǎn)云數(shù)據(jù)，再通過(guò)表面建模(構(gòu)網(wǎng)和紋理映射)技術(shù)構(gòu)建真三維模型數(shù)據(jù)。傾斜航空攝影采集影像的情況如圖1所示。

(a)立體示意圖　　　　　　　(b)平面示意圖圖1　影像獲取示意圖

相較于常見(jiàn)方法[11]中紋理數(shù)據(jù)獲取的一般性，傾斜航空攝影測(cè)量在數(shù)據(jù)獲取上更為簡(jiǎn)單、規(guī)律、全面，在數(shù)據(jù)處理上也更具規(guī)范性，更容易實(shí)現(xiàn)自動(dòng)化。本文研究的多紋理映射方法即針對(duì)傾斜航空攝影所獲得的規(guī)范化傾斜影像數(shù)據(jù)。相對(duì)于原策略?xún)?yōu)化條件過(guò)于復(fù)雜，難以較好地處理傾斜影像數(shù)據(jù)的問(wèn)題，本文研究的多紋理映射方法主要采用以下策略：

(1)模型精細(xì)程度的解決策略

隨著低空飛行平臺(tái)和傳感器技術(shù)的提高，三維城市建模朝著更加精細(xì)化、真實(shí)化的方向發(fā)展，三維城市的表達(dá)也不僅僅再是規(guī)則立體的組合，附屬地物(比如植被)也應(yīng)當(dāng)有所體現(xiàn)。有別于傳統(tǒng)方法中利用規(guī)則化的模型進(jìn)行紋理映射，本文所針對(duì)的對(duì)象是點(diǎn)云數(shù)據(jù)所構(gòu)建的初始的網(wǎng)格，并沒(méi)有進(jìn)一步進(jìn)行規(guī)則化處理，這無(wú)疑增加了紋理映射的難度，特別是對(duì)前述最優(yōu)化紋理選擇中法線夾角因素影響巨大，進(jìn)而影響鄰接一致性?xún)?yōu)化。對(duì)于這些問(wèn)題，在后文中給出了相應(yīng)的解決策略。

(2)遮擋因素的解決策略

由于攝影是一個(gè)從三維到二維的過(guò)程，受地物自身結(jié)構(gòu)和多個(gè)地物之間空間關(guān)系的影響，在攝影區(qū)域內(nèi)地物所有方位的信息很難在一張影像上一次性記錄，總會(huì)或多或少地存在遮擋。因此，最優(yōu)化紋理選擇的一個(gè)重要因素就是必須可見(jiàn)，不能被遮擋。為了確定某個(gè)空間三角形Tj在影像Ii上的可見(jiàn)程度，傳統(tǒng)方法往往通過(guò)Z緩沖區(qū)算法來(lái)檢測(cè)影像上每一個(gè)像素上的遮擋情況。主要分為兩個(gè)步驟：第一步，為每一張影像分配一個(gè)Z緩沖區(qū)，并將所有的空間三角形投影后存儲(chǔ)其中；第二步，對(duì)每個(gè)空間三角形再次投影，計(jì)算未被遮擋的像素?cái)?shù)與總像素?cái)?shù)之間的比例ηij。但本文認(rèn)為，某個(gè)空間三角形Tj在影像Ii上的可見(jiàn)程度只有兩個(gè)屬性，即可見(jiàn)或不可見(jiàn)，可見(jiàn)性小于一定程度就判定為不可見(jiàn)。因此，這里給定一個(gè)閾值η0，通過(guò)比較η0與未被遮擋的像素?cái)?shù)與總像素?cái)?shù)之間的比例ηij的大小判斷可見(jiàn)性，關(guān)系如式(1)，其中0代表不可見(jiàn)，1代表可見(jiàn)。該處理減少了最終的優(yōu)化目標(biāo)，降低了目標(biāo)優(yōu)化的難度，實(shí)驗(yàn)證明效果也很好。

(1)

(3)拼接縫約束的策略

(2)

(4)鄰接一致性約束的策略

如果模型和影像配準(zhǔn)十分精確，并且所有影像的亮度、色調(diào)和分辨率完全保持一致，那么即使相鄰的三角形映射不同影像，它們之間也不會(huì)有明顯的差異。但實(shí)際上由于拍攝視角、曝光等原因，同一批影像在亮度、色調(diào)上或多或少存在不一致，在視覺(jué)上形成紋理間斷。因此，必須處理好相鄰三角形在紋理選擇上的差異性問(wèn)題，保證同一連續(xù)區(qū)域內(nèi)的空間表面最好都能映射于同一影像。

由于文中所針對(duì)的點(diǎn)云模型是非規(guī)則化的模型，模型局部細(xì)節(jié)處的凹凸不平會(huì)對(duì)觀測(cè)視角的判斷產(chǎn)生影響，進(jìn)而導(dǎo)致模型上大量的相鄰三角形映射于不同影像，造成視覺(jué)上的紋理間斷，現(xiàn)有方法很難有效地對(duì)這些情況進(jìn)行處理。為了解決該問(wèn)題，本文設(shè)計(jì)了下面的策略，具體分為三步：

a)檢索每個(gè)三角形Tj外圍N級(jí)的鄰接三角形(設(shè)三角形Tj初選影像為I)。由于三角形沒(méi)有先驗(yàn)的分類(lèi)信息，所以這里不存在同類(lèi)型三角形的問(wèn)題。

b)統(tǒng)計(jì)這些三角形所對(duì)應(yīng)的初選影像，找出其中所占比例最大的影像I0，計(jì)算其比例，記為φ，并設(shè)置閾值φ0。

c)如果I=I0，則直接進(jìn)行下一個(gè)三角形的檢測(cè)；否則，計(jì)算拼接縫的優(yōu)化指標(biāo)Δe。若Δe>0，則對(duì)Tj在I0上進(jìn)行遮擋檢測(cè)：如果可見(jiàn)，則三角形Tj的最佳紋理影像為I0，如果不可見(jiàn)，則三角形Tj的最佳紋理影像仍為I；若Δe≤0，則將φ與閾值φ0進(jìn)行比較。若φ>=φ0，則對(duì)Tj在I0上進(jìn)行遮擋檢測(cè)：如果可見(jiàn)，則三角形Tj的最佳紋理影像為I0，如果不可見(jiàn)，則三角形Tj的最佳紋理影像仍為I；若φ<φ0，則三角形Tj的最佳紋理影像也為I。

2.2實(shí)現(xiàn)步驟

多視角紋理映射的基本思路是：首先，通過(guò)初選紋理目標(biāo)函數(shù)賦予網(wǎng)格模型初選紋理；然后，在此基礎(chǔ)上通過(guò)鄰接一致性約束進(jìn)行優(yōu)化，使模型達(dá)到良好的顯示效果。初選紋理目標(biāo)函數(shù)為：

(3)

其中，分辨率Rij表示將空間三角形Tj投影到影像Ii上，三角形所包含的像素?cái)?shù)；vij表示影像Ii的投影中心與三角形Tj幾何中心的連線方向的單位向量；nij為空間三角形的單位法向量。根據(jù)上述思路，相關(guān)方法的具體流程如圖2所示。

圖2　紋理映射的流程

3　實(shí)驗(yàn)與分析

3.1參數(shù)分析

由上述策略可得，多紋理映射效果的好壞主要取決于η0、φ0兩個(gè)參數(shù)的設(shè)置。

(1)參數(shù)η0：由于遮擋情況僅發(fā)生在前景物體與背景物體的透視相交處，涉及到部分遮擋的地方，理論上只是影像上的一些線形區(qū)域，其范圍較小，并且由于傾斜攝影的數(shù)據(jù)獲取較為規(guī)范，基本能獲取地物全方位的影像信息，因此，理論上可以將η0值設(shè)置為1。但考慮到模型本身存在的偏差以及進(jìn)行遮擋判斷時(shí)像素?cái)?shù)的統(tǒng)計(jì)誤差，故設(shè)定η0的取值范圍為(0.7,0.9)。

(2)參數(shù)φ0：由于難以通過(guò)分析估計(jì)其取值范圍，故擬通過(guò)實(shí)驗(yàn)對(duì)其取值范圍進(jìn)行指導(dǎo)。

3.2實(shí)驗(yàn)設(shè)計(jì)與數(shù)據(jù)

實(shí)驗(yàn)一：根據(jù)3.1節(jié)對(duì)參數(shù)的分析，設(shè)計(jì)本實(shí)驗(yàn)完成對(duì)參數(shù)φ0取值的確定。在實(shí)驗(yàn)中，η0=0.8，通過(guò)分析不同參數(shù)設(shè)置下的紋理映射效果確定φ0的取值范圍。

實(shí)驗(yàn)二：通過(guò)實(shí)驗(yàn)完成若干區(qū)域模型的紋理映射，對(duì)參數(shù)選取的正確性進(jìn)行驗(yàn)證，并將紋理映射結(jié)果與商業(yè)軟件Smart3D的建模結(jié)果進(jìn)行對(duì)比，評(píng)估文中方法的紋理映射效果。

實(shí)驗(yàn)數(shù)據(jù)采用河南省某市A、B、C三個(gè)區(qū)域的傾斜攝影成果，包括三角網(wǎng)模型以及相對(duì)應(yīng)的影像數(shù)據(jù)。其中A區(qū)域和B區(qū)域各有影像5幅，均為1張垂直方向攝影，4張傾斜方向攝影。C區(qū)域有影像6幅，2張為垂直方向攝影，4張為傾斜方向攝影。這里僅對(duì)A區(qū)域的數(shù)據(jù)進(jìn)行展示，其影像數(shù)據(jù)如圖3所示，影像數(shù)據(jù)的空間方位示意圖如圖4所示，模型數(shù)據(jù)如圖5所示。

(a)垂直攝影方向 　　　　　　(b)傾斜攝影方向 　　　　　　(c)傾斜攝影方向

(d)傾斜攝影方向　　　　　　　　　　　　　　　　　 (e)傾斜攝影方向圖3　模型區(qū)域所對(duì)應(yīng)的影像數(shù)據(jù)

圖4　影像的空間方位示意圖 圖5　三角網(wǎng)模型

實(shí)驗(yàn)一中，為了突出參數(shù)φ0的變化對(duì)紋理映射產(chǎn)生的影響，影像數(shù)據(jù)利用純色圖像進(jìn)行替換。其中，紫色代表圖4(a)，藍(lán)色代表圖4(b)，綠色代表圖4(c)，黃色代表圖4(d)，紅色代表圖4(e)。

模型數(shù)據(jù)截取圖5中三角網(wǎng)模型的左下角部分。實(shí)驗(yàn)二中的影像數(shù)據(jù)和模型數(shù)據(jù)與實(shí)驗(yàn)一相同。

3.3實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)一的結(jié)果如圖6所示。

圖6　不同參數(shù)下的紋理映射

根據(jù)實(shí)驗(yàn)一的結(jié)果，可以得出以下結(jié)論：

(a)當(dāng)φ0=0.5時(shí)，紋理映射情況較差，零星的三角形較多，鄰接一致性約束未能起到應(yīng)有的效果；當(dāng)φ0=0.4時(shí)，紋理映射情況有很大的改觀，但零星的小面片依然存在；當(dāng)φ0=0.3以及φ0=0.2時(shí)，紋理映射情況總體較好，零星的小面片基本消除，紋理影像的映射呈區(qū)域聚集性分布。

(b)對(duì)于參數(shù)φ0，有以下規(guī)律：隨著φ0的逐漸減小，紋理映射的區(qū)域聚集性效果逐漸增強(qiáng)，當(dāng)φ0趨于1/n時(shí)(n為映射于目標(biāo)區(qū)域的影像數(shù)量)，紋理映射效果趨于穩(wěn)定。但需要指出，φ0的減小也會(huì)導(dǎo)致模型若干局部區(qū)域紋理并非映射于最優(yōu)影像。因此，綜合權(quán)衡下φ0值應(yīng)在1/n的基礎(chǔ)上適當(dāng)上浮。

根據(jù)上述實(shí)驗(yàn)情況，設(shè)置參數(shù)η0=0.8、φ0=0.3，實(shí)驗(yàn)二中A區(qū)域的結(jié)果如圖7所示。

(a)本文策略紋理映射效果 　　　　　　(b)Smart3D紋理映射效果圖7　本文策略與Smart3D的紋理映射效果

設(shè)置參數(shù)η0=0.8、φ0=0.3，實(shí)驗(yàn)二中B區(qū)域的結(jié)果如圖8所示。

(a)本文策略紋理映射效果　　　　　　(b)Smart3D紋理映射效果圖8　本文策略與Smart3D的紋理映射效果

設(shè)置參數(shù)η0=0.8、φ0=0.25，實(shí)驗(yàn)二中C區(qū)域的結(jié)果如圖9所示。

(a)本文策略紋理映射效果 　　　　　　　　(b)Smart3D紋理映射效果圖9　本文策略與Smart3D的紋理映射效果

根據(jù)實(shí)驗(yàn)二的結(jié)果，可以得出以下結(jié)論：

(a)對(duì)于參數(shù)η0的理論分析和取值范圍的設(shè)定基本正確，并且φ0和η0為獨(dú)立的參數(shù)，沒(méi)有相關(guān)關(guān)系；

(b)本文策略的紋理映射效果和商業(yè)軟件Smart3D的建模效果較為接近。

4　結(jié)　語(yǔ)

本文對(duì)現(xiàn)有城市三維建模中多視角影像的紋理映射方法進(jìn)行了簡(jiǎn)要的介紹，并根據(jù)傾斜航空攝影測(cè)量的技術(shù)特點(diǎn)對(duì)其策略進(jìn)行了調(diào)整和改進(jìn)。實(shí)驗(yàn)證明該策略是有效的，能夠正確完成多視角影像的紋理映射。但必須指出，仍有少量局部區(qū)域并非映射于最優(yōu)影像，需要進(jìn)一步改進(jìn)。當(dāng)然，正確完成紋理映射只是一個(gè)階段性工作，在效率和效果上的進(jìn)一步提升，特別是針對(duì)大區(qū)域航攝數(shù)據(jù)的批量處理將是下一步研究的重點(diǎn)。

[1]王繼陽(yáng), 文貢堅(jiān), 呂金建等. 建筑物三維重建方法綜述[J]. 遙感技術(shù)與應(yīng)用, 2009, 24(6):832-840.

[2]馮梅. 基于LiDAR和航空影像的三維建模方法探討[J]. 測(cè)繪通報(bào), 2011, (12):12-14.

[3]Macay Moreia J M, Nex F, Agugiaro G, et al. From DSM to 3d Building Models: a Quantitative Evaluation[J]. ISPRS - International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, 2013, XL-1/W1(1):213-219.

[4]Pu S, Vosselman G. Knowledge based Reconstruction of Building Models from Terrestrial Laser Scanning Data[J]. International Journal of Photogrammetry and Remote Sensing, 2009, 9(6):575-584.

[5]李鎮(zhèn)洲, 張學(xué)之. 基于傾斜攝影測(cè)量技術(shù)快速建立城市3維模型研究[J]. 測(cè)繪與空間地理信息, 2012, 35(4):79-82.

[6]Hamruni A M. The Use of Oblique and Vertical Images for 3D Urban Modelling[D]. UK: University of Nottingham, 2010.

[7]Musialski P, Wonka P, G. Aliaga D, et al. A Survey of Urban Reconstruction[J]. Computer Graphics Forum, 2013, 32(6):146-177.

[8]Patrick L. Turn Photos into 3D Models Automatically with Context Capture[OL]. [2015-04-19]. http://www.acute3d.com.

[9]Wang L, Kang S B, Szeliski R, et al. Optimal Texture Map Reconstruction from Multiple Views[C]. 2001 IEEE Conference on Computer Vision and Pattern Recognition， Portland, OR, 2001.

[10]Baumberg A. Blending Images for Texturing 3D Models[C]. Electronic Proceedings of the 13th British Machine Vision Conference. Cardiff, UK: University of Cardiff, 2002.

[11]Frueh C, Sammon R, Zakhor A. Automated Texture Mapping of 3D City Models with Oblique Aerial Imagery[C]. 3D Data Processing, Visualization and Transmission, 2004. Thessaloniki, Greece, 2004.

[12]Lempitsky V, Ivanov D. Seamless Mosaicing of Image-based Texture Maps[C]. Computer Vision and Pattern Recognition, 2007. Minneapolis, MN, 2007.

[13]Gal R, Wexler Y, Ofek E, et al. Seamless Montage for Texturing Models[C]. Computer Graphics Forum. Blackwell Publishing Ltd, 2010.

A Multi-view Texture Mapping Technology in Urban Modeling

Lu Xueliang1, 2, Gong Danchao1, 2, Cao Huazhen3

1. Xi'an Research Institute of Surveying and Mapping, Xi’an 710054, China 2. State Key Laboratory of Geo-information Engineering, Xi’an 710054, China 3. The Third Surveying, Mapping & Navigation Base, Urumqi 830002, China

The emergence of multi-view oblique photography and data processing methods provide more solutions for urban modeling, and the texture mapping of multi-view imagery is one of the key technologies worth further study. The existing multi-view image texture mapping methods in three-dimensional modeling of urban area are briefly introduced and the inadaptability of the original method is further analyzed according to the technical characteristics of oblique aerial photogrammetry. The relevant texture mapping strategy is adjusted to improve the visibility guidelines and adjacent consistency rules of texture selection, and an optimized strategy of seam-line constraint is put forward. Experiment results show that the improved strategy is accurate and effective in multi-view texture mapping in urban modeling.

oblique photography; data processing; urban modeling; texture mapping; multi-view imagery

2015-12-30。

盧學(xué)良(1989—)，男，研究實(shí)習(xí)員，主要從事遙感與空間數(shù)據(jù)處理方面的研究。

P231

A