傾斜影像三維重建自動紋理映射技術(shù)

閆利，程君

（武漢大學(xué)測繪學(xué)院，武漢430079）

傾斜影像三維重建自動紋理映射技術(shù)

閆利，程君

（武漢大學(xué)測繪學(xué)院，武漢430079）

雖然傾斜攝影測量技術(shù)是國際測繪領(lǐng)域近年來倡導(dǎo)使用的一項(xiàng)高新技術(shù)，但在三維建模應(yīng)用和效率方面還存在不足，為此，該文針對傳統(tǒng)三維城市建模紋理采集、粘貼耗時耗力的問題，提出了一種基于五鏡頭傾斜航攝儀獲取的傾斜影像數(shù)據(jù)進(jìn)行三維重建自動紋理映射的方法。為了驗(yàn)證方案的可行性，該文開發(fā)了傾斜影像管理平臺，并基于此平臺實(shí)現(xiàn)了幾何建模、紋理獲取、紋理優(yōu)選、紋理遮擋檢測及自動紋理映射等功能。最后，利用陽江市的傾斜影像數(shù)據(jù)進(jìn)行實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明：該平臺紋理映射過程自動化程度高，三維建模效果良好，提高了三維建模的工作效率。

傾斜影像；攝影覆蓋范圍；幾何建模；自動紋理映射；傾斜攝影；三維重建

1 引 言

傾斜攝影測量技術(shù)是國際測繪領(lǐng)域近年來倡導(dǎo)使用的一項(xiàng)高新技術(shù)，它顛覆了以往航攝儀只能從正射角度拍攝影像的局限，它通過在同一飛行器上搭載多臺傳感器，同時從1個正射、4個傾斜等5個不同的角度采集數(shù)據(jù)，將用戶引入了符合人眼視覺習(xí)慣的真實(shí)且直觀的世界［1－2］。利用傾斜攝影測量技術(shù)，可以快速建立城市三維模型。

原始航空拍攝大多是接近豎直角度，影像上的屋頂信息豐富而墻面不可見，建筑物稠密區(qū)域遮擋嚴(yán)重，使航片不能有效提供建筑物立面的紋理信息，而建筑物單純依靠人工幾何建模及紋理采集、粘貼等工作及其耗時耗力。傳統(tǒng)建立城市三維模型的方法是先將需要建立模型的區(qū)域劃分為若干個測區(qū)，采用外業(yè)人員手工拍照的方法，結(jié)合正射影像，得到建筑物的結(jié)構(gòu)和紋理，然后，通過內(nèi)業(yè)人員的處理，結(jié)合正射影像、測區(qū)平面矢量圖、屋頂矢量圖等數(shù)據(jù)，建立白模，通過拍攝的紋理分析模型的細(xì)部結(jié)構(gòu)，最后將拍攝的紋理處理后貼在白模上［3］。傾斜攝影技術(shù)能夠真實(shí)反映地物情況，傾斜攝影技術(shù)的應(yīng)用，使目前高昂的三維城市建模成本大幅降低，大大提高了三維城市建模的速度［4］。

作為2008年第21屆ISPRS大會的主要議題之一，傾斜攝影測量技術(shù)近幾年在攝影測量領(lǐng)域受到普遍關(guān)注。典型的五鏡頭傾斜航攝儀中間一臺垂直攝影，其余4臺進(jìn)行傾斜攝影，其傾斜角在40°到45°之間，相機(jī)上方安置有慣性測量單元（Inertial measurement Unit，IMU）導(dǎo)航系統(tǒng)，同時集成GPS定位系統(tǒng)，可以在曝光瞬間準(zhǔn)確獲取相機(jī)傾角及外方位元素［5］。本文提出了一種由五鏡頭傾斜航攝儀獲取的傾斜影像數(shù)據(jù)進(jìn)行三維重建自動紋理映射的方法。

圖1 典型的傾斜數(shù)字航攝儀

2 基于傾斜影像的自動紋理映射流程

現(xiàn)有的普通航攝儀由于攝影姿態(tài)及飛行高度的限制，獲取的數(shù)據(jù)為垂直視角下的影像，僅能獲得建筑物屋頂?shù)募y理，側(cè)面紋理不可知。而傾斜攝影技術(shù)是對傳統(tǒng)航空攝影測量的一種補(bǔ)充，獲取的傾斜影像能夠?yàn)槌鞘腥S建模提供豐富的側(cè)面紋理信息［6］。本文針對傳統(tǒng)三維城市建模紋理采集、粘貼耗時耗力的問題，提出了一種基于五鏡頭傾斜航攝儀三維重建自動紋理映射的方法，主要分為幾何建模和紋理映射兩個步驟，具體的流程如圖2所示。

2.1 幾何建模

本文通過計算影像覆蓋范圍，找到包含有目標(biāo)建筑物的所有影像，然后刺點(diǎn)選擇建筑物的房角點(diǎn)，獲得其像點(diǎn)量測坐標(biāo)，并轉(zhuǎn)成像平面坐標(biāo)。然后通過前方交會計算獲得目標(biāo)建筑物房屋角點(diǎn)物方坐標(biāo)，再以此為初值，使用多基線前方交會精化房屋角點(diǎn)的物方坐標(biāo)，并構(gòu)建建筑物白模。

圖2 基于傾斜影像技術(shù)的自動紋理映射流程圖

本文以物方地理坐標(biāo)為紐帶，通過計算每張影像的攝影覆蓋范圍（Footprint），建立各視影像間的空間關(guān)系，便于檢索，利用Footprint對影像進(jìn)行組織與管理。

首先假設(shè)一張影像的4個角的像點(diǎn)量測坐標(biāo)x′，y′分別為（0，0）、（width，0）、（0，height）、（width，height），如圖3所示。然后將像點(diǎn)量測坐標(biāo)按式（1）轉(zhuǎn)化為像平面坐標(biāo)x、y，對轉(zhuǎn)化得到的像平面坐標(biāo)進(jìn)行畸變差改正和像點(diǎn)改正，畸變差改正模型采用式（2）。

圖3 影像角點(diǎn)像點(diǎn)量測坐標(biāo)

由此，引入畸變差和像點(diǎn)改正之后的共線方程的逆算式為：

這里，將Z設(shè)為一個常量，為當(dāng)?shù)氐钠骄叱?。那么，就可以得到每張影像的Footprint。對應(yīng)于影像上的任何位置，通過獲得其像點(diǎn)量測坐標(biāo)，就可以求出其對應(yīng)的物方坐標(biāo)（X，Y），再通過上述已經(jīng)得到的Footprint就可以得到包含目標(biāo)點(diǎn)的所有影像。這里采用矢量叉積法來判斷包含目標(biāo)點(diǎn)的影像，即如果一個點(diǎn)在凸多邊形內(nèi)，那么按照逆時針方向，該點(diǎn)一定會在每一條的左邊。所以按照逆時針方向遍歷凸多邊形的每一條邊的兩個頂點(diǎn)A（x1，y1）和B（x2，y2），然后判斷給定點(diǎn)是否在AB矢量左邊。對凸多邊形的每一條邊都如此判斷，如果每次都判斷出給定點(diǎn)在左邊，那么就說明這個點(diǎn)在凸多邊形內(nèi)部。

搜索到包含有目標(biāo)建筑物的所有影像之后，就可以計算房角點(diǎn)的物方坐標(biāo)。相比于單基線攝影測量，多基線攝影測量方法有很明顯的優(yōu)勢，它不僅有利于影像的自動匹配，而且可以改善交會精度。多基線前方交會一般有光束法前方交會和線性法前方交會兩種方法可以應(yīng)用。本文采用的是光束法前方交會。

光束法前方交會是基于共線方程，根據(jù)已知內(nèi)外方位元素的兩幅或兩幅以上的影像，把待定點(diǎn)的影像坐標(biāo)作為觀測值，解求其或是值并逐點(diǎn)解求待定點(diǎn)物方空間坐標(biāo)的過程［7］。

多基線前方交會的誤差方程式為：

根據(jù)n（n≥3）張像片上的同名點(diǎn)，列出2n個共線方程和2n個誤差方程式。用矩陣的形式表示為：

以此求出地面點(diǎn)坐標(biāo)近似值的改正數(shù)ΔX、ΔY、ΔZ，當(dāng)改正數(shù)小于某一特定的閾值即可停止迭代，最后求得地面點(diǎn)坐標(biāo)的解為：

通過多基線前方交會可得到目標(biāo)建筑物房角點(diǎn)的物方坐標(biāo)，通過該坐標(biāo)即可構(gòu)建建筑物白模。

2.2 紋理映射

由于是不同視角下的多幅影像，導(dǎo)致建筑物模型上的每個墻面可能對應(yīng)著其中的兩幅或多幅，因此要為每個墻面從多視傾斜影像中選出質(zhì)量最好的影像作為紋理數(shù)據(jù)源［8］。本文定義的優(yōu)選準(zhǔn)則如下：

①同一墻面在兩幅或兩幅以上備選影像中均完全可視時，則選擇成像角度最好的影像；

②同一墻面僅有一幅影像可視時，則以該影像進(jìn)行紋理采集；

③同一墻面在所有備選影像中都存在遮擋時，則以紋理區(qū)域遮擋面積最小的影像優(yōu)先；

④當(dāng)同一墻面沒有備選影像時，可通過相似墻面紋理或者地面近景攝影的方式補(bǔ)漏［9］。

在大量的傾斜影像序列中，同一建筑墻面往往在多幅影像上可見，并且墻面紋理的分辨率、成像角度以及受遮擋的情況都是不一樣的，必須選取質(zhì)量最好，受遮擋最小的原始影像作為紋理數(shù)據(jù)源。

本文采用的優(yōu)選方法是視角法，即該墻面的單位法向量與視點(diǎn)方向的夾角最小即視點(diǎn)最優(yōu)。比較每幅紋理影像所求出的夾角，將夾角最小的紋理影像的下標(biāo)賦給建筑物側(cè)面［10］。具體算法如下：

①計算該建筑物側(cè)面的法向量n→；

②計算該側(cè)面的視點(diǎn)方向N→；

③計算視點(diǎn)方向與法向量的夾角θ，并比較M幅圖像所求出的夾角，選擇夾角最小的圖像。

圖4 視角法

利用視角法優(yōu)選出成像角度好的影像作為紋理數(shù)據(jù)源，但在城區(qū)遮擋較為嚴(yán)重，需要對其進(jìn)行遮擋檢測，選擇遮擋較少的影像。本文遮擋檢測采用深度緩存算法，該算法基本思想是基于透視成像時離透視中心最近的地面點(diǎn)遮擋該光線上其他點(diǎn)。

完成上述步驟后，再將優(yōu)選出的紋理影像進(jìn)行幾何糾正。本文利用反解法數(shù)字微分糾正的方法進(jìn)行處理。傳統(tǒng)的反解法是根據(jù)像片的內(nèi)、外方位元素及高程，利用共線方程反求目標(biāo)點(diǎn)在原始影像上的像點(diǎn)坐標(biāo)，再經(jīng)過灰度內(nèi)插即可得到糾正后像元素的灰度值。與傳統(tǒng)反解法不同，進(jìn)行紋理幾何糾正時，空間點(diǎn)信息不再是地面點(diǎn)，而是房屋矩形墻面上的采樣點(diǎn)，經(jīng)過上述變換后即可得到最終的建筑物紋理影像。最后，基于開源圖形庫OSG開發(fā)了建筑模型可視化平臺，利用得到的模型數(shù)據(jù)和與其對應(yīng)的紋理影像數(shù)據(jù)，對建筑物進(jìn)行交互顯示。

3 實(shí)驗(yàn)結(jié)果與分析

本文的實(shí)驗(yàn)數(shù)據(jù)是廣東省陽江地區(qū)的傾斜影像，由國產(chǎn)傾斜相機(jī)SWDC－5拍攝獲取。該傾斜相機(jī)由5個相機(jī)組成，包括1個垂直拍攝的相機(jī)和4個不同朝向的相機(jī)。測區(qū)總共包含5條航帶，每條航帶77張影像，共1925張，平均飛行高度為830m，垂直影像的GSD為5cm。本文選取該測區(qū)內(nèi)的一處簡單建筑物作為實(shí)驗(yàn)對象進(jìn)行建模。下圖為開發(fā)的傾斜影像管理平臺，能夠根據(jù)POS數(shù)據(jù)及內(nèi)方位元素自動計算Footprint，同時搜索出包含有目標(biāo)建筑物的所有影像。并采用五窗口聯(lián)動視圖的模式，與5個鏡頭關(guān)聯(lián)，可以概覽全局，如圖5、圖6所示。

圖5 五窗口聯(lián)動視圖

圖6 傾斜影像管理平臺

根據(jù)搜索出的影像，通過最小外包矩形截取出目標(biāo)建筑物的所有紋理影像，圖7為部分目標(biāo)建筑物的墻面紋理。對所獲得的所有紋理進(jìn)行優(yōu)選，并進(jìn)行幾何糾正，結(jié)果如圖8所示。對每一墻面的所有紋理進(jìn)行優(yōu)選和幾何糾正之后，進(jìn)行紋理映射，結(jié)果如圖9所示。最后，基于上述方法，本文以廣東省陽江地區(qū)某小區(qū)傾斜影像為示例數(shù)據(jù)進(jìn)行了三維建模實(shí)驗(yàn)。圖10、圖11所示分別為該小區(qū)若干建筑物的幾何建模及紋理映射后的三維模型效果圖。實(shí)驗(yàn)結(jié)果表明：本文提出的方法紋理映射過程自動化程度高，三維建模模型效果良好。

圖7 部分目標(biāo)建筑物的墻面紋理

圖8 經(jīng)過優(yōu)選和幾何糾正之后的墻面紋理

圖9 建筑物三維模型

圖10 若干建筑物幾何建模效果

4 結(jié)束語

針對傾斜影像的特點(diǎn)，并針對傳統(tǒng)三維城市建模紋理采集、粘貼耗時耗力的問題，本文提出了一種基于五鏡頭傾斜航攝儀獲取的傾斜影像數(shù)據(jù)進(jìn)行三維重建自動紋理映射的方法，開發(fā)了傾斜影像管理平臺，并基于OSG開發(fā)了建筑模型可視化平臺。通過計算Footprint，進(jìn)行影像的自動搜索，搜索出包含有目標(biāo)建筑物的所有影像，再進(jìn)行多基線前方交會計算房角點(diǎn)物方坐標(biāo)以進(jìn)行幾何建模。隨后對候選紋理數(shù)據(jù)源進(jìn)行紋理優(yōu)選、幾何糾正、遮擋檢測等，以選出質(zhì)量最優(yōu)的紋理，從而進(jìn)行紋理映射。紋理映射過程自動化程度高，三維建模模型效果良好，提高了三維建模過程的工作效率。

圖11 若干建筑物紋理映射效果

［1］ 王偉，黃雯雯，鎮(zhèn)姣.Pictometry傾斜攝影技術(shù)及其在3維城市建模中的應(yīng)用［J］.測繪與空間地理信息，2011，34（3）：181－183.

［2］ GRENZDORFFER G J，GURETZKI M，F(xiàn)RIEDLANDER I.Photogrammetric image acquisition and image analysis of oblique imagery［J］.The Photogrammetric Record，2008，23（124）：372－386.

［3］ 李鎮(zhèn)洲，張學(xué)之.基于傾斜攝影測量技術(shù)快速建立城市3維模型研究［J］.測繪與空間地理信息，2012，35（4）：117－119.

［4］ 丁全利.我測繪行業(yè)首次引進(jìn)傾斜攝影技術(shù)［N］.中國國土資源報，2010－4－12（001）.

［5］ PRANDI F，ACHILLE C，BRUMANA R，et al.Lidar and pictometry images intergrated use for 3Dmodel generation［J］.The International Archives of the Photogrammetry，Remote Sensing and Spatial Information Sciences，2008，XXXVII（Part B2）：763－769.

［6］ AHMED M.HAMRUNI.The use of oblique and vertical images for 3Durban modeling［D］.Nottingham：The University of Nottingham，2010.

［7］ 張劍清，胡安文.多基線攝影測量前方交會方法及精度分析［J］.武漢大學(xué)學(xué)報（信息科學(xué)版），2007，32（10）：847－851.

［8］ FRUEH C，SAMMON R，ZAKHOR A.Automated texture mapping of 3Dcity models with oblique aerial imagery［C］.Second International Symposium on 3DPVT，Thessaloniki，Greece，2004.

［9］ 桂德竹.基于組合寬角相機(jī)低空影像的城市建筑物三維模型構(gòu)建研究［D］.北京：中國礦業(yè)大學(xué)，2010.

［10］ 吳軍.三維城市建模中的建筑墻面紋理快速重建研究［D］.武漢：武漢大學(xué)，2003.

Automatic Texture Mapping of 3DReconstruction Based on Oblique Imagery

YAN Li，CHENG Jun

（School of Geodesy and Geomatics，Wuhan University，Wuhan 430079）

This paper briefly introduced the oblique photogrammetry technology.For traditional texture collection and pasting of 3Dcity modeling，they were time－consuming.A method using oblique images obtained by five lens digital aerial oblique camera to complete texture mapping of 3Dreconstruction automatically was proposed.In order to validate the feasibility of this solution，an oblique image management platform was developed.Based on this platform，functions including geometry modeling，texture capturing，texture optimization，texture occlusion detection and automatic texture mapping were achieved.The experiment was conducted using the data of Yangjiang.Experiments prove that the process of texture mapping has a high degree of automation，the effect of 3Dbuilding model is good and it can improve the efficiency of 3Dreconstruction.

oblique photogrammetry；foot print；geometry modeling；automatic texture mapping；oblique photography；3Dreconstruction

10.3969／j.issn.1000－3177.2015.02.005

TP751

A

1000－3177（2015）138－0031－05

2014－04－28

2014－06－10

國家科技支撐計劃（2012BAJ23B03）。

閆利（1966～），男，博士，教授，主要研究方向?yàn)閿z影測量與遙感及地面三維激光掃描。

E－mail：lyan＠sgg.whu.edu.cn