一種大規(guī)模傾斜攝影模型三維可視化方案

李新維，鄧 非,2，李學(xué)飛，吳 思

(1. 武漢大學(xué)測(cè)繪學(xué)院，湖北 武漢 430079； 2. 武漢大學(xué)國(guó)家領(lǐng)土主權(quán)與海洋權(quán)益協(xié)同創(chuàng)新中心，湖北 武漢 430079； 3. 中冶建筑研究總院有限公司，北京 100088； 4. 國(guó)家測(cè)繪地理信息局地下管線勘測(cè)工程院，四川 成都 610500)

一種大規(guī)模傾斜攝影模型三維可視化方案

李新維1，鄧 非1,2，李學(xué)飛3，吳 思4

(1. 武漢大學(xué)測(cè)繪學(xué)院，湖北 武漢 430079； 2. 武漢大學(xué)國(guó)家領(lǐng)土主權(quán)與海洋權(quán)益協(xié)同創(chuàng)新中心，湖北 武漢 430079； 3. 中冶建筑研究總院有限公司，北京 100088； 4. 國(guó)家測(cè)繪地理信息局地下管線勘測(cè)工程院，四川 成都 610500)

提出了一種基于四叉樹(shù)結(jié)構(gòu)的大規(guī)模傾斜攝影模型三維可視化方案：首先采用二次誤差測(cè)度(QEM)的半邊折疊算法對(duì)三角網(wǎng)格模型進(jìn)行分層幾何簡(jiǎn)化；然后對(duì)分層簡(jiǎn)化的模型進(jìn)行紋理映射和分塊，分塊結(jié)果采用Morton編碼命名；最后將場(chǎng)景按金字塔結(jié)構(gòu)進(jìn)行LOD(多細(xì)節(jié)層次結(jié)構(gòu))組織。選取某一試驗(yàn)區(qū)域的真實(shí)傾斜模型數(shù)據(jù)進(jìn)行了試驗(yàn)，結(jié)果表明，該方案能依據(jù)模型在計(jì)算機(jī)屏幕上所占的像素大小，動(dòng)態(tài)加載傾斜模型數(shù)據(jù)，完成大規(guī)模場(chǎng)景的實(shí)時(shí)可視化。

傾斜攝影模型；網(wǎng)格簡(jiǎn)化；四叉樹(shù)；多細(xì)節(jié)層次模型

三維城市模型在城市規(guī)劃、虛擬自然資源保護(hù)和計(jì)算機(jī)游戲中具有重要的作用[1]。隨著三維激光點(diǎn)云技術(shù)和攝影測(cè)量技術(shù)等空間數(shù)據(jù)獲取技術(shù)的發(fā)展，三維模型的建模效率和精度在不斷地提高，同時(shí)場(chǎng)景的復(fù)雜程度也在不斷地提高[2]。特別是利用傾斜攝影技術(shù)生成的高質(zhì)量三維模型，點(diǎn)云的密度極高，模型的三角面片數(shù)量通常會(huì)達(dá)到億萬(wàn)級(jí)。海量?jī)A斜模型數(shù)據(jù)的快速加載和流暢渲染，是傾斜攝影模型組織和可視化必須解決的一個(gè)難題。

目前，在不影響三維模型瀏覽時(shí)視覺(jué)真實(shí)感的前提下，可通過(guò)多細(xì)節(jié)層次模型技術(shù)(LOD)降低三維數(shù)據(jù)的復(fù)雜性，減少傳送到圖形硬件的幾何數(shù)，從而提高三維數(shù)據(jù)的繪制速度[3]。構(gòu)建LOD即對(duì)原始高分辨率的模型進(jìn)行不同程度的幾何簡(jiǎn)化和紋理降采樣，然后根據(jù)視點(diǎn)位置，決定調(diào)用網(wǎng)格的層次，選取能代表原始物體的最好模型用于渲染。通常離視點(diǎn)越近，模型在屏幕上所占像素的數(shù)量越大，調(diào)用高精度的模型，反之，則調(diào)用低精度的模型。為了保證不同層次的模型切換時(shí)過(guò)渡平穩(wěn)，不產(chǎn)生視覺(jué)上的跳躍，學(xué)者們提出了兩種不同的LOD模型：離散LOD模型和連續(xù)LOD模型。離散LOD模型是在數(shù)據(jù)建模階段預(yù)生成一系列不同層次的模型[4]，對(duì)于一特定模型，不同層次間過(guò)渡的流暢性與模型的層次數(shù)量有關(guān)；連續(xù)LOD模型是在運(yùn)行時(shí)產(chǎn)生任意多個(gè)分辨率的模型，實(shí)現(xiàn)模型的實(shí)時(shí)流暢顯示。雖然離散LOD模型顯示質(zhì)量比連續(xù)LOD模型差，但其模型是一次生成然后再動(dòng)態(tài)載入、替換，CPU占用要遠(yuǎn)小于連續(xù)LOD模型，更方便組織管理。因此，本文根據(jù)傾斜攝影模型的特點(diǎn)，采用離散LOD模型，在模型數(shù)據(jù)生產(chǎn)的過(guò)程中，自動(dòng)生成LOD。

1 實(shí)現(xiàn)方案

傾斜模型數(shù)據(jù)生成離散LOD模型，最為關(guān)鍵的步驟就是網(wǎng)格簡(jiǎn)化，即基于輸入的網(wǎng)格模型，自動(dòng)構(gòu)建出一系列與其對(duì)應(yīng)的、保持其基本形狀的不同精細(xì)程度的模型。目前在模型簡(jiǎn)化算法方面，國(guó)內(nèi)外學(xué)者進(jìn)行了許多研究。其中，比較有代表性的有：Rossignac等[5]提出了頂點(diǎn)聚類算法，即將三維模型用均勻的柵格進(jìn)行劃分，衡量柵格內(nèi)每個(gè)頂點(diǎn)的重要性，并選取重要性最高的頂點(diǎn)作為柵格的代表頂點(diǎn)；Hoppe[6]提出了基于邊折疊的漸進(jìn)網(wǎng)格生成算法，即由一個(gè)基網(wǎng)格進(jìn)行一系列的邊折疊操作得到簡(jiǎn)化的網(wǎng)格；Garland[7]等提出了Qslim算法，選用空間某點(diǎn)到所有與之相鄰的三角面的距離的平方和作為誤差測(cè)度，選擇誤差最小的邊進(jìn)行折疊簡(jiǎn)化。但是，上述簡(jiǎn)化算法都只考慮了三維模型在幾何特征上的簡(jiǎn)化，忽略了對(duì)模型表面紋理的處理(簡(jiǎn)化)。實(shí)際上，對(duì)于大規(guī)模傾斜影像數(shù)據(jù)的三維可視化，模型所附加的紋理的數(shù)據(jù)量要遠(yuǎn)大于幾何，在計(jì)算機(jī)資源一定的情況下只有減少繪制過(guò)程中傳入的紋理數(shù)據(jù)量，才能保證三維場(chǎng)景的實(shí)時(shí)渲染?？紤]了紋理特征的簡(jiǎn)化算法大致分為兩類：①在簡(jiǎn)化過(guò)程中保持紋理特征，主要代表有Garland等在Qslim算法上進(jìn)行改進(jìn)提出的結(jié)合紋理和顏色特征的Qslim算法。但是該算法在紋理信息不連續(xù)的情況下，邊折疊尋找最優(yōu)折疊目標(biāo)點(diǎn)時(shí)，會(huì)得到錯(cuò)誤的結(jié)果，導(dǎo)致簡(jiǎn)化的效果不理想[7]。②紋理特征保持與簡(jiǎn)化過(guò)程獨(dú)立。該類方法不介入簡(jiǎn)化過(guò)程，而是在簡(jiǎn)化完成獲得簡(jiǎn)化模型后，直接對(duì)簡(jiǎn)化模型進(jìn)行特征恢復(fù)，主要代表為Cignoni等提出的恢復(fù)屬性細(xì)節(jié)的方法。但是這類方法受簡(jiǎn)化程度的影響，可能采樣不充分，最后導(dǎo)致存儲(chǔ)的顏色信息不足，無(wú)法使得簡(jiǎn)化模型擁有和原模型近似的紋理貼圖效果。因此，本文采用已有的幾何簡(jiǎn)化算法(QEM算法)對(duì)模型進(jìn)行簡(jiǎn)化，然后對(duì)簡(jiǎn)化模型重新進(jìn)行紋理映射，以實(shí)現(xiàn)模型表面細(xì)節(jié)的恢復(fù)。具體方案如圖1所示。

圖1 大規(guī)模傾斜攝影模型三維可視化方案流程

1.1 模型簡(jiǎn)化

通用的模型局部簡(jiǎn)化操作是邊折疊或頂點(diǎn)聚類。兩種做法都是合并表面頂點(diǎn)和刪除退化的三角形。邊折疊操作通常合并由一條邊連接的兩個(gè)頂點(diǎn)，但頂點(diǎn)聚類操作合并一個(gè)包圍盒內(nèi)的頂點(diǎn)。半邊折疊是一種特殊的邊折疊操作[8]，如圖2所示，選擇一個(gè)源頂點(diǎn)作為折疊的對(duì)象，折疊到另一個(gè)頂點(diǎn)。一次半邊折疊操作可以減少1個(gè)頂點(diǎn)、2個(gè)面、3條邊。本文采用半邊折疊操作作為模型簡(jiǎn)化的方法。

圖2 半邊折疊操作

在簡(jiǎn)化的過(guò)程中,需要對(duì)每次邊折疊前后產(chǎn)生的模型誤差進(jìn)行估計(jì),即計(jì)算折疊代價(jià)。每次對(duì)折疊代價(jià)最小的邊使用選定的簡(jiǎn)化方法進(jìn)行簡(jiǎn)化，直到達(dá)到用戶要求的簡(jiǎn)化程度。這里采用Garland提出的QEM算法來(lái)計(jì)算邊折疊的代價(jià)：即將邊折疊操作生成的新頂點(diǎn)到相關(guān)三角面距離的平方和作為誤差度量。

傾斜攝影模型的每個(gè)三角面都是一個(gè)平面，平面方程表示為

ax+by+cz+d=0

式中，a、b、c滿足a2+b2+c2=1。令F=(abcd)T代表該平面，點(diǎn)v的坐標(biāo)為V(xyz1)T，則點(diǎn)v到平面p距離的平方為

(1)

式中

1.2 紋理映射

在上述簡(jiǎn)化過(guò)程中，只考慮了模型在幾何上的精簡(jiǎn)。簡(jiǎn)化后的模型由于其幾何位置的變動(dòng)，紋理已經(jīng)發(fā)生了扭曲，不能僅通過(guò)對(duì)原始紋理降低分辨率來(lái)達(dá)到紋理屬性數(shù)據(jù)的簡(jiǎn)化，需要重新進(jìn)行紋理映射來(lái)恢復(fù)紋理屬性信息。

首先，對(duì)三角網(wǎng)格中的每個(gè)三角面，利用共線方程式計(jì)算出3個(gè)頂點(diǎn)在已完成定向工作的影像中的位置，如果3個(gè)頂點(diǎn)都在影像像幅范圍內(nèi)，則將該影像納入該三角面的可視影像集合М。

(2)

由于城區(qū)建筑密度較大，遮擋現(xiàn)象比較嚴(yán)重。在利用透視關(guān)系得到每個(gè)三角面的可視紋理影像集合M后，本文使用成熟的三維碰撞檢測(cè)庫(kù)ColDet進(jìn)行遮擋檢測(cè)計(jì)算，剔除掉存在遮擋的影像，得到待選紋理影像集合S。綜合考慮三角面在影像上的分辨率和影像拍攝視角(建筑物表面法向量和視線方向的夾角最小時(shí)視角最好)，從待選紋理中選擇出權(quán)值最大的影像作為三角面的初始紋理。邊界上的三角面(兩個(gè)三角形選擇不同的初始影像作為紋理)由于光照等原因的影響，會(huì)產(chǎn)生紋理的破碎，為最大程度保障相鄰三角面紋理的連續(xù)性，本文采用貪心算法選擇其一階環(huán)鄰域內(nèi)出現(xiàn)次數(shù)最多且在其待選紋理集合S中的初始紋理作為該三角面調(diào)整后的紋理,如圖3所示。

圖3 一次邊界最優(yōu)紋理調(diào)整示意圖

對(duì)于三角網(wǎng)格中的每一連續(xù)塊(具有相同的最優(yōu)紋理)，計(jì)算其紋理坐標(biāo)，從紋理影像上提取相應(yīng)的矩形外包紋理。最后將多個(gè)矩形紋理塊進(jìn)行紋理Packing(打包)，并更新相應(yīng)的紋理坐標(biāo)，得到最終的紋理圖。

1.3 模型層次結(jié)構(gòu)組織

為了構(gòu)建場(chǎng)景的金字塔模型，需要對(duì)場(chǎng)景進(jìn)行分層分塊，基本思想是：首先采用自底向上的策略對(duì)原始模型進(jìn)行簡(jiǎn)化分層，得到不同分辨率的各層次模型；然后將各個(gè)層次的模型分割為2n×2n個(gè)矩形塊(最頂層模型只有一個(gè)矩形塊，模型越精細(xì)分割的塊數(shù)越多，相鄰的層次間模型的分割塊數(shù)呈4倍的關(guān)系)。由于采用四叉樹(shù)結(jié)構(gòu)進(jìn)行模型層次的組織，因此每一層模型的分塊結(jié)果采用四進(jìn)制的Morton編碼方式進(jìn)行命名存儲(chǔ)[9]，即按“Z”字型編碼方式對(duì)每個(gè)小塊進(jìn)行編碼命名。具體的層次結(jié)構(gòu)和Morton編碼規(guī)則如圖4所示。

圖4 模型層次結(jié)構(gòu)和Morton編碼

對(duì)于同一層的三角網(wǎng)格模型，每個(gè)分塊所對(duì)應(yīng)的Morton碼的值是唯一的，因此Morton碼實(shí)際上記錄了每個(gè)分塊所在位置的平面坐標(biāo)信息，利用Morton碼可以為每個(gè)分塊位置建立索引。利用四進(jìn)制形式表示的Morton碼，很容易確定上一層次模型的某個(gè)分塊所對(duì)應(yīng)的下一層相同空間位置的4個(gè)分塊，從而很容易建立起具有四叉樹(shù)結(jié)構(gòu)的LOD數(shù)據(jù)組織，如圖5所示。

圖5 傾斜模型的四叉樹(shù)結(jié)構(gòu)組織

2 試驗(yàn)及結(jié)果分析

為了驗(yàn)證本文所提出的大規(guī)模傾斜攝影模型三維可視化方案的有效性，將C++作為開(kāi)發(fā)語(yǔ)言、開(kāi)源的OSG(OpenSceneGraph)作為三維渲染引擎，對(duì)本文方案進(jìn)行了實(shí)現(xiàn)；并且選取了某一地區(qū)低空無(wú)人機(jī)拍攝的一組城區(qū)數(shù)據(jù)，在Windows7操作系統(tǒng)下，采用如下微機(jī)硬件配置進(jìn)行了試驗(yàn)：處理器：Inter(R) Core(TM) i7-4790 CPU @3.60 GHz，內(nèi)存(RAM)：16.0 GB，顯卡：NVIDA GeForce GTX 960 2048 MB。

此次試驗(yàn)使用1個(gè)垂直相機(jī)和4個(gè)傾斜相機(jī)拍攝的497張分辨率為8176×6192像素的影像作為基礎(chǔ)數(shù)據(jù)，測(cè)區(qū)范圍為1 km2；利用SFM方法對(duì)影像進(jìn)行高精度的影像定向及多視影像密集匹配算法進(jìn)行密集點(diǎn)云的生成；然后依測(cè)區(qū)范圍以200 m×200 m的格網(wǎng)對(duì)點(diǎn)云進(jìn)行劃分；最后利用Poisson構(gòu)網(wǎng)算法，完成三維模型的幾何重建。重建的幾何模型如圖6所示。

圖6

在獲取了三維網(wǎng)格模型后，利用SFM的高精度影像定向結(jié)果，將傾斜影像豐富的紋理信息映射到三維幾何模型表面，得到帶紋理的三維模型如圖7所示。

圖7 紋理映射后的三維模型

依據(jù)本文方案，對(duì)網(wǎng)格模型進(jìn)行不同層次的簡(jiǎn)化，得到不同分辨率的模型如圖8所示。

從圖8中可以看出，模型在簡(jiǎn)化前后，較好地保留了其幾何特征，用簡(jiǎn)化后的模型表示原三維幾何模型，不會(huì)影響其視覺(jué)效果。然后，將簡(jiǎn)化后的模型進(jìn)行分塊，并重新進(jìn)行紋理映射，按四叉樹(shù)結(jié)構(gòu)進(jìn)行模型層次結(jié)構(gòu)組織。最后將所有的格網(wǎng)模型組織在一起，完成整個(gè)三維大場(chǎng)景展示，最終效果如圖9所示。

圖8 模型簡(jiǎn)化得到不同分辨率的模型

圖9 大規(guī)模傾斜三維模型實(shí)時(shí)展示

由于本文方案依據(jù)視點(diǎn)對(duì)模型進(jìn)行調(diào)度，結(jié)合上視錐裁剪(只顯示屏幕范圍內(nèi)的模型)，理論上能完成任意大小場(chǎng)景的實(shí)時(shí)加載。

3 結(jié) 語(yǔ)

本文采用模型屬性簡(jiǎn)化獨(dú)立于幾何簡(jiǎn)化的處理方式，應(yīng)用半邊折疊操作對(duì)傾斜模型進(jìn)行幾何精簡(jiǎn)，在簡(jiǎn)化過(guò)程中采用二次誤差測(cè)度控制簡(jiǎn)化的方向，保障了模型的簡(jiǎn)化質(zhì)量。在簡(jiǎn)化完成后，針對(duì)幾何位置變動(dòng)造成的紋理扭曲，利用多視影像及已有空三結(jié)果，對(duì)簡(jiǎn)化模型重新進(jìn)行紋理映射，產(chǎn)生金字塔層次的不同分辨率(幾何和紋理)的模型，最后利用四叉樹(shù)結(jié)構(gòu)對(duì)模型進(jìn)行了分塊和組織，生成了多細(xì)節(jié)層次結(jié)構(gòu)。在實(shí)際的渲染過(guò)程中，根據(jù)視點(diǎn)距離四叉樹(shù)中節(jié)點(diǎn)的中心距離，調(diào)用相應(yīng)的節(jié)點(diǎn)。通過(guò)實(shí)際數(shù)據(jù)的試驗(yàn)結(jié)果表明，本文方案在保障場(chǎng)景的真實(shí)程度和細(xì)節(jié)表現(xiàn)的同時(shí)，有效地提高了渲染的效率，對(duì)城市大規(guī)模傾斜數(shù)據(jù)的三維可視化具有重要的指導(dǎo)意義。

[1] FRUEH C, SAMMON R, ZAKHOR A. Automated Texture Mapping of 3D City Models with Oblique Aerial Imagery[C]∥2nd International Symposium on 3D Data Processing, Visualization and Transmission. [S.l.]: IEEE, 2004: 396-403.

[2] XIONG W,WANG X,ZHU M.Study of LOD Terrain Rendering Algorithm Based on GPU[C]∥IET International Communication Conference on Wireless Mobile and Computing(CCWMC 2011). [S.l.]: IET,2011:476-481.

[3] 何旭鋒. 大規(guī)模復(fù)雜場(chǎng)景的加速繪制方法研究與實(shí)現(xiàn)[D]. 成都：電子科技大學(xué), 2009.

[4] 陳波, 董恒建, 韓俊偉. 真實(shí)地形繪圖算法的比較與評(píng)價(jià)[J]. 長(zhǎng)江大學(xué)學(xué)報(bào)(自然科學(xué)版), 2005, 2(1): 72-75.

[5] ROSSIGNAC J, BORREL P. Multi-resolution 3D Approximations for Rendering Complex Scenes[M].[S.l.]: Springer Berlin Heidelberg, 1993: 455-465.

[6] HOPPE H. Progressive Meshes[C]∥Proceedings of the 23rd Annual Conference on Computer Graphics and Interactive Techniques. [S.l.]: ACM, 1996: 99-108.

[7] GARLAND M, HECKBERT P S. Surface Simplification Using Quadric Error Metrics[C]∥Proceedings of the 24th Annual Conference on Computer Graphics and Interactive Techniques. [S.l.]: ACM Press/Addison-Wesley Publishing Co., 1997: 209-216.

[8] 魯玉良. 復(fù)雜虛擬場(chǎng)景的建模及模型簡(jiǎn)化方法研究[D]. 武漢：華中科技大學(xué), 2006.

[9] 龔健雅. 一種基于自然數(shù)的線性四叉樹(shù)編碼[J]. 測(cè)繪學(xué)報(bào), 1992, 21(2): 90-99.

[10] 梁策. 針對(duì)具有復(fù)雜屬性的網(wǎng)格模型簡(jiǎn)化算法的研究[D]. 杭州：杭州電子科技大學(xué), 2009.

[11] 徐源. 基于公路信息模型的三維交互式可視化研究[D]. 長(zhǎng)沙：中南大學(xué), 2014.

[12] 艾廷華，周夢(mèng)杰，陳亞婕.專題地圖屬性信息的LOD表達(dá)與TreeMap可視化[J].測(cè)繪學(xué)報(bào),2013,42(3): 453-460.

[13] 周艷, 朱慶, 黃鐸. 三維城市模型中建筑物 LOD 模型研究[J]. 測(cè)繪科學(xué), 2006, 31(5): 74-77.

A Visualization Plan for Large-scale 3D Models with Oblique Photogrammetry Technology

LI Xinwei1,DENG Fei1,2，LI Xuefei3，WU Si4

(1. School of Geodesy and Geomatics, Wuhan University, Wuhan 430079,China; 2. Collaborative Innovation Center for Territorial Sovereignty and Maritime Rights, Wuhan 430079,China; 3. Metallurgical Construction Research Institute Co. Ltd., Beijing 100088,China; 4. National Administration of Surveying,Mapping and Geoinformation Underground Pipeline Engineering Academy, Chengdu 610500,China)

A three-dimensional visualization scheme for large-scale oblique photography model based on quad-tree structure is proposed. Firstly, the triangular mesh model is simplified by using half-edge collapse of quadratic error measure (QEM), and then these hierarchical simplified models are textured and blocked, each block is named using Morton encoding rule. Finally, the scene is organized according to the pyramid structure of LOD (multi-level hierarchical structure).We evaluated our visualization plan for large-scale 3D models with oblique photogrammetry technology on a dataset of a city. Experiment results show that the method can dynamically load the appropriate models according to the pixel size on the screen. It is demonstrated that the schema is effective and useful for realtime visualization of large-scale 3D models with oblique photogrammetry technology.

3D Models with Oblique Photogrammetry Technology；mesh simplification；quad-tree；level of details

李新維，鄧非，李學(xué)飛,等.一種大規(guī)模傾斜攝影模型三維可視化方案[J].測(cè)繪通報(bào)，2017(4)：39-43.

10.13474/j.cnki.11-2246.2017.0116.

2016-09-20;

2017-02-09

國(guó)家自然科學(xué)基金 (41271431)

李新維(1991—)，男，碩士，研究方向?yàn)閿z影測(cè)量與遙感。E-mail：xinweil@whu.edu.cn 通信作者： 鄧 非。E-mail：fdeng@sgg.whu.edu.cn

P23

A

0494-0911(2017)04-0039-05