一種傾斜攝影實(shí)景三維模型單體化方法

陳良超，詹 勇，王俊勇(重慶市勘測(cè)院，重慶 400020)

利用傾斜攝影測(cè)量技術(shù)獲取地面多視角影像開展實(shí)景三維建模是近年來快速發(fā)展的一種新興城市三維建模技術(shù)[1-4]。由于該建模方法建模速度快，所生成模型真實(shí)性強(qiáng)，因而得到了快速發(fā)展和廣泛的應(yīng)用[5-6]。但是由于利用傾斜攝影技術(shù)進(jìn)行實(shí)景三維建模得到的模型通常是近似格網(wǎng)分割的“表皮”模型，其結(jié)構(gòu)為連續(xù)的三角面構(gòu)成的表面模型，不能夠區(qū)分出建筑、小品、道路、植被等地物單體信息，因此，在進(jìn)一步開展數(shù)據(jù)分類、屬性掛接等三維應(yīng)用時(shí)，需要對(duì)傾斜模型進(jìn)行對(duì)象化(或稱單體化)操作，實(shí)現(xiàn)在“表皮”模型中識(shí)別出具體的建筑、小品、道路、植被等地物對(duì)象，從而支撐相應(yīng)的三維應(yīng)用開展。

目前，傾斜攝影實(shí)景三維模型的單體化[7-8]方式主要有3種：一是硬切分，直接利用對(duì)象矢量線范圍將對(duì)象從傾斜模型中分割出來，形成獨(dú)立的對(duì)象；二是ID單體化，事先根據(jù)對(duì)象矢量線范圍對(duì)傾斜模型三角面進(jìn)行分割，屬于同一個(gè)對(duì)象的三角面賦予相同的ID；三是動(dòng)態(tài)單體化，在傾斜模型進(jìn)行最終展示時(shí)，通過間接方式實(shí)現(xiàn)矢量范圍線內(nèi)的模型高亮顯示，從而實(shí)現(xiàn)單體化的目的。

本文提出的單體化方法屬于動(dòng)態(tài)單體化方法，根據(jù)單體化模型的底面輪廓信息，利用GPU編程技術(shù)，實(shí)現(xiàn)模型渲染時(shí)的動(dòng)態(tài)單體化。該方法的主要特點(diǎn)為：用于存儲(chǔ)模型單體化信息的可以不是一個(gè)矢量范圍線，而是利用圖像表達(dá)的對(duì)象范圍，以圖像表示范圍的最小單元為像素，因此這種方式可以表示任意形狀的對(duì)象(如中間有空洞或分割而導(dǎo)致不連續(xù)的建筑、小品或其他地物)。同時(shí)，本文采用GPU編程，在三維場(chǎng)景渲染時(shí)，開展動(dòng)態(tài)單體化，方法效率高，實(shí)時(shí)性強(qiáng)，通過設(shè)置不同的顯示顏色控制接口，能夠?qū)崿F(xiàn)單體化對(duì)象的高亮顏色更改和顯隱控制。

1 技術(shù)路線

本文的技術(shù)路線如圖1所示。首先，根據(jù)要進(jìn)行單體化的模型，獲得單體化對(duì)象的底面，底面來源包括基礎(chǔ)測(cè)繪得到的底面矢量、手工勾畫的底面輪廓范圍等；然后生成底面輪廓紋理和底面模型，將底面模型和傾斜攝影實(shí)景三維模型加載到三維場(chǎng)景中，構(gòu)造一個(gè)RTT(render to texture)相機(jī)，獲得觀察視點(diǎn)下的底面模型的RTT紋理，并利用投影紋理映射技術(shù)，將RTT紋理投影到傾斜攝影實(shí)景三維模型；最后通過GPU編程，根據(jù)底面紋理像素值，實(shí)現(xiàn)模型的單體化展示、顏色修改和顯隱等操作，達(dá)到單體化展示、控制和應(yīng)用的目的。

圖1 單體化技術(shù)路線

2 底面模型

2.1 底面輪廓紋理

通常，單體化模型的底面輪廓信息以一個(gè)矢量多邊形來表示，本文的底面輪廓紋理，是由描述單體化模型的底面輪廓信息的圖片經(jīng)過柵格化處理得到。相對(duì)于矢量表示的輪廓線，紋理圖片表示的輪廓基于像素點(diǎn)來描述，因此可以表示任意的底面輪廓形狀。例如，對(duì)于一個(gè)單體化對(duì)象，其底面輪廓可能為任意形狀，既可以是簡(jiǎn)單的多邊形，也可以包含1個(gè)或多個(gè)矢量多邊形，多邊形之間可不相交，也可以是中間有空洞的面等，如圖2所示，相對(duì)于矢量表示的輪廓，紋理輪廓形式更加簡(jiǎn)單。進(jìn)一步的，將獲取的底面輪廓信息處理成底面輪廓紋理。底面輪廓紋理只包括兩個(gè)值，屬于對(duì)象底面的部分，像素值為W(255,255,255，255)，其他位置的像素值為B(0,0,0,0)(也可設(shè)置為其他值，與W不同，alpha為0)。例如，若底面信息為矢量范圍線，處理后矢量范圍線及其內(nèi)部的像素為W，范圍線外的像素為B，若范圍線中心有空洞不屬于底面，則空洞部分像素為B。

圖2 底面輪廓紋理

底面輪廓紋理的大小根據(jù)包圍盒的大小和需要設(shè)置的精度(米/像素，即每個(gè)像素表示的長(zhǎng)度)來確定，并將長(zhǎng)寬轉(zhuǎn)換成2的指數(shù)冪。設(shè)一個(gè)物體底面輪廓的包圍盒長(zhǎng)h，寬w，精度m，得到的紋理像素的長(zhǎng)度th、寬度tw為

(1)

式中，[]表示取整。根據(jù)式(1)得到的紋理尺寸為2的指數(shù)倍，同時(shí)，限制紋理尺寸最大值為1024，最小值為16。

2.2 生成底面模型

底面模型用于確定底面輪廓紋理在三維場(chǎng)景中的位置，在進(jìn)行單體化時(shí)，加載至三維場(chǎng)景中，使得底面紋理在XOY方向的投影恰好與三維場(chǎng)景中對(duì)應(yīng)的單體化模型位置一致，如圖3所示。

圖3 底面模型

本文給出2種底面模型生成方法。一種是簡(jiǎn)單方法，計(jì)算出底面紋理圖對(duì)應(yīng)的三維場(chǎng)景中4個(gè)角點(diǎn)的空間坐標(biāo)為A(xmin，ymin，z)、B(xmax，ymin，z)、C(xmax，ymax，z)、D(xmin，ymax，z)，z值統(tǒng)一取一個(gè)任意值，如0，利用A、B、C、D4個(gè)點(diǎn)構(gòu)建矩形，得到底面模型。將上一步得到的底面投影紋理作為底面模型所用的紋理，A、B、C、D4個(gè)點(diǎn)對(duì)應(yīng)的紋理坐標(biāo)分別為(0，1)、(1，1)、(1，0)、(0，0)。

另一種方法是根據(jù)底面輪廓紋理像素對(duì)應(yīng)的所有頂點(diǎn)在XOY面的投影，計(jì)算出所有頂點(diǎn)的凸包，并賦予z值，得到凸包形式的底面模型，若有矢量面，可直接利用矢量面賦予z值得到底面模型。紋理同樣使用的是底面投影紋理，根據(jù)模型4個(gè)角點(diǎn)A、B、C、D的坐標(biāo)和頂點(diǎn)坐標(biāo)(x，y)，求得對(duì)應(yīng)的紋理坐標(biāo)(tx，ty)，如下

(2)

此時(shí)，將底面模型加載到三維場(chǎng)景中時(shí)，底面模型與人工三維仿真模型在同一位置，其紋理顯示的底面范圍與人工三維仿真模型底面一致，由圖3可以看到，底面輪廓紋理已與需要單體化的模型實(shí)現(xiàn)了位置匹配，底面模型可以被選中，即需要單體化的對(duì)象可以被選中，下一步的內(nèi)容就是將底面輪廓紋理投影到傾斜攝影三維模型。

3 基于GPU的動(dòng)態(tài)單體化

3.1 GPU可編程管線

圖形處理器(graphics processing unit，GPU)也稱圖形處理單元。GPU是顯卡的計(jì)算核心，被用于紋理映射和多邊形著色等需要很多存儲(chǔ)空間的計(jì)算機(jī)圖形任務(wù)中。利用GPU進(jìn)行一連串的圖形處理任務(wù)被形象地稱為“圖形流水線”，即圖形管線。圖形管線的入口為頂點(diǎn)坐標(biāo)和顏色紋理信息，可輸出一幀適合當(dāng)前顯示器顯示的圖像。GPU可編程管線則可由程序控制管線的輸入和輸出[9]。

可編程管線目前包括多個(gè)圖像處理器，本文主要使用OpenGL的頂點(diǎn)著色器(vertex shader)和片元著色器(fragment shader)。頂點(diǎn)著色器可以用于替代頂點(diǎn)和法線變換、紋理坐標(biāo)生成和變換、光照及材質(zhì)應(yīng)用等傳統(tǒng)管線命令；片元著色器則應(yīng)用于替代紋理應(yīng)用、霧化和像素匯總等工作[10]。

對(duì)傾斜模型需要進(jìn)行單體化的區(qū)域，構(gòu)造一個(gè)RTT相機(jī)，將其渲染至紋理，得到單體化對(duì)象底面模型的RTT紋理，在GPU可編程管線階段，利用著色器語言，根據(jù)底面輪廓紋理的像素值，判斷修改最終顯示的片元顏色值，最后利用投影紋理映射PTM(projective texture mapping)技術(shù)，將紋理貼至傾斜三維模型場(chǎng)景上，實(shí)現(xiàn)傾斜三維模型的動(dòng)態(tài)單體化。

3.2 RTT相機(jī)

渲染到紋理[11-12]指將渲染目標(biāo)從系統(tǒng)幀緩存內(nèi)取出，并生成一張紋理。利用渲染到紋理技術(shù)可以將場(chǎng)景渲染到紋理后進(jìn)行后處理，因而被廣泛應(yīng)用到各種特效處理中，如3ds Max中，在UV展平后，可以將所有紋理合并成一張貼圖。渲染到紋理通常包括4個(gè)步驟：確定用來RTT的渲染場(chǎng)景；創(chuàng)建RTT相機(jī)，創(chuàng)建紋理并綁定紋理和渲染對(duì)象到相機(jī)；利用RTT相機(jī)渲染場(chǎng)景；得到渲染后紋理。

RTT相機(jī)是用來構(gòu)建渲染場(chǎng)景的相機(jī)，在單體化應(yīng)用中，首先需要一個(gè)俯視的RTT相機(jī)，并創(chuàng)建一個(gè)空白紋理對(duì)象，將其綁定到RTT相機(jī)，用來存儲(chǔ)最終的RTT紋理，紋理的大小可以根據(jù)顯卡的性能設(shè)置，一般為2的指數(shù)冪。然后確定RTT相機(jī)的位置、投影方式及RTT相機(jī)的觀察范圍等，進(jìn)而計(jì)算出相機(jī)的投影矩陣和視圖矩陣。

圖4為RTT相機(jī)示意圖。a為場(chǎng)景主相機(jī)的視椎體，即透視投影，B為模型的包圍盒(本文中用于單體化的底面模型，當(dāng)場(chǎng)景中觀察到多個(gè)單體化模型時(shí)，為多個(gè)模型包圍盒的并集)，c為a與B的交。此時(shí)，RTT相機(jī)為俯視相機(jī)，視椎體為d，視椎體恰好包圍c，從而確定RTT相機(jī)的投影矩陣P和視圖矩陣V。由上可知，RTT相機(jī)的參數(shù)由主相機(jī)和單體化底面模型決定。

圖4 RTT相機(jī)示意圖

將c渲染到紋理上，得到RTT紋理。此時(shí)，紋理分辨率ratio如下

ratio=texturesize/dsize

(3)

式中，dsize為d的頂面面積，即RTT相機(jī)的投影范圍大?。籺exturesize為紋理的大??；ratio值越大，表示d頂面的紋理越清晰。d的頂面面積越大，RTT相機(jī)渲染到紋理得到的圖片分辨率越低，反之越清晰。因此，紋理分辨率決定了單體化模型的邊緣的光滑程度。分辨率越高，邊緣越光滑清晰。由于RTT紋理尺寸為預(yù)設(shè)值，因此要提高紋理分辨率ratio的值，則要在可能的情況下減小dsize。在實(shí)際操作中，有以下措施：

(1) 控制主相機(jī)的視椎體大小，在保證場(chǎng)景的情況下，減小主相機(jī)的遠(yuǎn)近裁切面，從而減小求交部分c的大小，如圖5所示，當(dāng)B很大時(shí)，主相機(jī)只觀察B的一部分時(shí)，自動(dòng)調(diào)整f1、f2的值，使得主相機(jī)恰好包括視椎體的物體，減小a，從而減小c，進(jìn)而減小d。

圖5 RTT自動(dòng)裁切面

(2) 在主相機(jī)接近水平時(shí)，主相機(jī)的遠(yuǎn)裁切面較大，此時(shí)，設(shè)置一個(gè)水平距離L，如圖6所示，A點(diǎn)為主相機(jī)位置，AB為相機(jī)觀察方向，與地球相切，r為地球半徑，h為海拔高，根據(jù)幾何關(guān)系，求得L，如式(3)所示。此時(shí)B所在位置為主相機(jī)遠(yuǎn)裁切面所在位置。若三維場(chǎng)景較小，可按整個(gè)場(chǎng)景的包圍盒大小調(diào)整L的長(zhǎng)度，同時(shí)當(dāng)坐標(biāo)系為平面系時(shí)，也可以按式(4)進(jìn)行遠(yuǎn)裁切面的設(shè)置作為近似控制值。

(4)

圖6 RTT自動(dòng)裁切面設(shè)置

3.3 投影紋理映射

投影紋理映射(projective texture mapping)，是指將一張紋理映射到物體上，類似于將幻燈片投影到墻上[13]。投影紋理映射的優(yōu)點(diǎn)為：首先，用戶不需要指定投影頂點(diǎn)的紋理坐標(biāo)，不需要在三維模型建?；驊?yīng)用程序中計(jì)算出紋理坐標(biāo)的值；其次，可以避免因插值帶來的紋理坐標(biāo)不均勻，從而產(chǎn)生紋理扭曲的現(xiàn)象。

投影紋理映射使用了OpenGL中的紋理坐標(biāo)自動(dòng)生成技術(shù)。其流程為：根據(jù)視點(diǎn)相機(jī)的位置、相機(jī)姿態(tài)，以及接收投影的物體頂點(diǎn)坐標(biāo)，求出每個(gè)接收投影的物體頂點(diǎn)坐標(biāo)所對(duì)應(yīng)的紋理坐標(biāo)，然后根據(jù)紋理坐標(biāo)獲取紋理的值，具體操作在頂點(diǎn)著色器中，利用視點(diǎn)矩陣投影矩陣獲得[12]。

紋理投影矩陣如下

TVP=B×P×V×W

(5)

式中，TVP為紋理投影矩陣，作用是將頂點(diǎn)坐標(biāo)轉(zhuǎn)換成紋理坐標(biāo)；B為偏移矩陣；P為RTT的投影矩陣；V為RTT的視圖矩陣；W為模型矩陣。其中，P和V都可通過計(jì)算獲得，模型矩陣W從模型中獲得，而偏移矩陣B是將投影空間中的頂點(diǎn)坐標(biāo)從[-1，1]，歸一化到[0,1]，方法為先縮小1/2，再平移1/2。

在應(yīng)用程序中計(jì)算出TVP以后，進(jìn)一步在著色器中，使用TVP和模型頂點(diǎn)v，得到投影紋理坐標(biāo)TVPT，如下

TVPT=TVP×v

(6)

根據(jù)投影紋理坐標(biāo)，獲取紋理中對(duì)應(yīng)的像素值，在本文的單體化中，即獲得了底面輪廓紋理的像素值，從而將傾斜攝影模型的頂點(diǎn)和底面紋理輪廓對(duì)應(yīng)起來，當(dāng)?shù)酌婕y理輪廓像素值Pixel等于W時(shí)，該紋理單元顯示為單體化模型的紋理單元，屬于單體化模型，否則不屬于單體化模型，見表1。對(duì)于不屬于單體化模型范圍的部分，由于底面模型紋理的a值為0，因此與傾斜攝影實(shí)景三維模型混合后的顏色依然顯示為傾斜攝影實(shí)景模型的紋理顏色。

表1 單體化模型的判斷

對(duì)于Pixel值為W屬于單體化模型的像元，進(jìn)一步設(shè)置最終顏色顯示。設(shè)置一個(gè)顏色控制變量mColor，其類型為片元著色器語言中的一致性變量，根據(jù)mColor設(shè)置顏色的不同，修改單體化對(duì)象的最終顯示的混合顏色。

此外，設(shè)置當(dāng)mColor為H(0,0,0,255)時(shí)，可利用Discard方法或顯示顏色為透明，實(shí)現(xiàn)挖洞功能，見表2。最終結(jié)果如圖7所示，依次展示的模型隱藏，模型不同顏色選中。

表2 輪廓判斷與顯示

圖7 單體化結(jié)果

4 試驗(yàn)與應(yīng)用

本文利用重慶市互聯(lián)網(wǎng)產(chǎn)業(yè)園及其周邊的傾斜攝影實(shí)景三維模型開展項(xiàng)目試驗(yàn)，單體化模型信息來源于同區(qū)域的人工三維精細(xì)模型數(shù)據(jù)。試驗(yàn)采用三維平臺(tái)為重慶市勘測(cè)院自主研發(fā)的集景三維數(shù)字城市平臺(tái)。工作流程如圖8所示，人工三維仿真模型通常為3ds Max制作的傾斜三維模型，為對(duì)象化的單體模型，通過利用俯視圖，獲取每個(gè)仿真模型所對(duì)應(yīng)的底面輪廓紋理，建立底面模型，實(shí)現(xiàn)對(duì)同一位置傾斜攝影三維模型的單體化展示和應(yīng)用。

圖8 基于人工模型的傾斜攝影模型應(yīng)用

圖9為通過本文方法實(shí)現(xiàn)道路和建筑的單體化展示效果，可以利用圖層開關(guān)設(shè)置建筑和道路的不同顏色。同時(shí)，可以對(duì)單體化對(duì)象進(jìn)行顯隱，例如，圖10(a)為利用單體化技術(shù)，設(shè)置mColor為H(0,0,0,255)，實(shí)現(xiàn)將所有的建筑模型隱藏，此時(shí)通過添加人工三維仿真建筑模型，實(shí)現(xiàn)傾斜攝影實(shí)景三維模型與人工三維仿真模型的共同展示，如圖10(b)所示。圖11為單獨(dú)選中一棟建筑，并查詢其ID值，因此，利用ID值可以進(jìn)一步掛接屬性信息，進(jìn)而開展單體化應(yīng)用。

通過多個(gè)場(chǎng)景的試驗(yàn)比較，在進(jìn)行動(dòng)態(tài)化時(shí)，場(chǎng)景的幀率變化很小，因此對(duì)三維場(chǎng)景的渲染效率影響小。通過以上試驗(yàn)證明，本文方法是有效的，并且運(yùn)行效率高，效果較好。

圖9 單體化道路和建筑模型

圖10 建筑模型隱藏及顯示仿真建筑模型

圖11 選中單個(gè)建筑

5 總結(jié)與展望

本文通過底面輪廓紋理和底面模型的建立，實(shí)現(xiàn)了傾斜攝影實(shí)景三維模型單體化技術(shù)。由于底面信息采用紋理表示，因而可以實(shí)現(xiàn)像素級(jí)的任意形狀的模型單體化；同時(shí)，基于GPU編程技術(shù)，可以高效、動(dòng)態(tài)地實(shí)現(xiàn)單體化對(duì)象的顏色修改、顯示和隱藏，從而為傾斜攝影實(shí)景三維模型的單體化應(yīng)用提供了技術(shù)基礎(chǔ)。進(jìn)一步利用本文的實(shí)時(shí)動(dòng)態(tài)單體化技術(shù)，可以在傾斜攝影實(shí)景三維模型上實(shí)現(xiàn)專題圖的制作，進(jìn)行模型任意的開挖，疊加三維仿真模型，也可以實(shí)現(xiàn)在傾斜攝影實(shí)景三維模型作為現(xiàn)狀模型，疊加設(shè)計(jì)方案、開展方案對(duì)比等方面的應(yīng)用。

參考文獻(xiàn)：

[1] 黃健，王繼.多視角影像自動(dòng)化實(shí)景三維建模的生產(chǎn)與應(yīng)用[J].測(cè)繪通報(bào)，2016(4)：75-78.

[2] 朱國(guó)強(qiáng)，劉勇，程鵬正.無人機(jī)傾斜攝影技術(shù)支持下的三維精細(xì)模型制作[J].測(cè)繪通報(bào)，2016(9)：151-152.

[3] 王琳，吳正鵬，姜興鈺，等.無人機(jī)傾斜攝影技術(shù)在三維城市建模中的應(yīng)用[J].測(cè)繪與空間地理信息，2015(12)：30-32.

[4] 譚仁春，李鵬鵬，文琳，等.無人機(jī)傾斜攝影的城市三維建模方法優(yōu)化[J].測(cè)繪通報(bào)，2016(11)：39-42.

[5] 李德仁，劉立坤，邵振峰.集成傾斜航空攝影測(cè)量和地面移動(dòng)測(cè)量技術(shù)的城市環(huán)境監(jiān)測(cè)[J].武漢大學(xué)學(xué)報(bào)(信息科學(xué)版)，2015，40(4)：427-435.

[6] 文雄飛，張穗，張煜，等.無人機(jī)傾斜攝影輔助遙感技術(shù)在水土保持動(dòng)態(tài)監(jiān)測(cè)中的應(yīng)用潛力分析[J].長(zhǎng)江科學(xué)院院報(bào)，2016，33(11)：93-98.

[7] 王洪峰，李鐵軍，趙龍.傾斜攝影實(shí)景三維單體化模型自適應(yīng)聚類算法[J].應(yīng)用科技，2017，44(2)：35-39.

[8] 王勇，郝曉燕，李穎.基于傾斜攝影的三維模型單體化方法研究[J].計(jì)算機(jī)工程與應(yīng)用，2018(3)：178-183.

[9] 仇德元.GPGPU編程技術(shù)：從GLSL、CUDA到OpenCL[M].北京：機(jī)械工業(yè)出版社，2011.

[10] 王銳，錢學(xué)雷.OpenSceneGraph三維渲染引擎設(shè)計(jì)與實(shí)踐[M].北京：清華大學(xué)出版社，2009.

[11] 田壯，聶蕓.基于RTT的三維模型標(biāo)簽實(shí)時(shí)顯示技術(shù)[J].現(xiàn)代電子技術(shù)，2015(20)：55-58.

[12] 王俊勇，詹勇.一種基于GPU的三維數(shù)字地形實(shí)時(shí)編輯方法[J].城市勘測(cè)，2016(1)：93-97.

[13] 劉子才，胡谷雨，羅健欣.基于特征匹配的關(guān)聯(lián)投影紋理映射[J].計(jì)算機(jī)與現(xiàn)代化，2016(1)：64-68.

[14] SHREINER D.OpenGL編程指南(原書第7版)[M].李軍，徐波,譯.北京：機(jī)械工業(yè)出版社，2010.