基于無人機影像的建筑物實景三維建模方法

姚永祥,段平, 李佳,成李博,李晨,王云川

(1.云南師范大學 旅游與地理科學學院,云南 昆明 650500;2.云南省高校資源與環(huán)境遙感重點實驗室,云南 昆明 650500;3.云南省地理空間信息工程技術研究中心,云南 昆明 650500)

0 引 言

隨著互聯(lián)網技術的快速發(fā)展,實景三維建模逐漸成為智慧城市發(fā)展的重要基礎.傳統(tǒng)的三維建模方法自動化程度低,建模成本耗費大量人力物力,且模型存在不同程度的變形、遮擋及紋理位置不重合等問題,制約著實景三維模型的發(fā)展[1].

專家學者基于傾斜攝影測量技術對實景三維模型展開了相關研究.無人機(UAV)搭載的傳感器從單鏡頭[2]、2鏡頭[3]、3鏡頭到多鏡頭組合[4]進行不同程度的改進,促進了實景三維模型的構建.但鏡頭較少時易導致模型精度不高,完整度下降;當鏡頭較多時獲取的影像較多又影響建模效率,增加影像處理的硬件成本.因此,一些學者又做了進一步探索,如結合近景攝影、采用MVS點云數據輔助及多源數據融合等方式來提高模型完整度[5-7],效果較好,但實現(xiàn)技術難度大.而顧及影像拓撲關系[8]、利用關系圖[9]、Voronoi圖[10]及數字高程模型輔助匹配等[11]多種方式下的三維建模雖然較好地提高了建模效率,但三維模型精度受到較多因素的限制.因此,傾斜攝影測量構建建筑物的實景三維模型仍存在不足.另一方面,全球定位與慣性導航系統(tǒng)(POS)能方便獲取影像的空間位置和姿態(tài)信息,可用于輔助實景三維建模,改善建模效果,主要表現(xiàn)在兩個方面:1)采集的UAV影像重疊度高,建模過程觀測量多,模型精度較高;2)建模過程中加入了POS 數據輔助建模,可以提高建模效率并優(yōu)化模型位置精度.

本文以云南師范大學呈貢校區(qū)為研究區(qū),采用UAV搭載5鏡頭傾斜相機獲取影像,利用POS數據生成建筑物的實景三維模型并通過DP-Modeler實現(xiàn)建筑物三維模型的精細化修正,克服模型漏洞、幾何扭曲及紋理拉花等問題,從而構建出完整度好、模型變形小、精度高的實景三維模型,為后期智慧城市、城市規(guī)劃等領域的建設提供基礎數據.

1 實景三維建模方法

基于UAV傾斜攝影技術的實景三維建模主要包括數據預處理、空中三角測量、密集匹配、模型構建、模型修飾及模型精度檢驗等環(huán)節(jié),其技術流程如圖1所示.

圖1 實景三維建模流程

1.1 數據采集及其預處理

以云南師范大學呈貢校區(qū)為研究對象,構建實景三維模型.該校區(qū)中心位于24°51′59″N,102°50′58″E,平均海拔約1 900 m,總面積約1.43 km2.校區(qū)建筑高低錯落,分布密集,具有普遍代表性.于2017年6月在無風、晴朗等適合飛行的天氣狀況下采集規(guī)劃航線數據.

為保證實驗過程的順利展開,UAV穩(wěn)定性和相機分辨率等因素的選取至關重要.采用蜻蜓四旋翼無人機,搭載索尼五鏡頭數碼相機作為數據采集設備,如圖2所示.表1示出了五鏡頭相機的參數.

(a)無人機 (b)傳感器

表1 相機參數表

實驗前根據UAV傾斜攝影作業(yè)要求:航向重疊度≥60%,≤80%,最低不能低于50%;旁向重疊度≥15%,≤80%,最低不能低于8%.本次共飛行13個架次,52條航線,飛行航向東南-西北,共獲得9457幅無人機影像.影像航向重疊度85%,旁向重疊度80%,影像分辨率在4 cm以內,其余項也均符合作業(yè)要求.

在飛行作業(yè)中,因飛機抖動、地形起伏及曝光等因素的影響,使得拍攝的UAV影像存在畸變、色差及光線差異等問題.因此,在三維建模前需對圖像進行預處理,主要包括:1)影像畸變校正用于處理影像的畸變,影像勻色、增強處理提升圖像對比度,突出影像特征,有利于圖像匹配等.2)POS數據可作為UAV影像的初始外方位元素,是同名點識別的基礎.通過對POS數據糾正可以獲得較好的初始外方位元素.這些預處理操作可以為三維建模提供較好的數據來源.

1.2 模型構建方法

實景三維模型構建的核心步驟包括空中三角測量、稀疏點云生成、密集匹配、DSM構建及實景三維模型生成等環(huán)節(jié).空中三角測量簡稱空三加密是UAV影像處理的關鍵[12],目的是通過影像匹配提取連接點及部分地面控制點,將影像的相對坐標轉到已知地面坐標系中,來獲得每張影像的外方位元素和加密點的地面坐標,生成稀疏點云.POS數據包括全球定位系統(tǒng)(GPS)與慣性導航系統(tǒng)(INS),它可以較好地作為初始外方位元素參與空中三角測量計算.利用POS數據輔助空中三角加密可以較好地明確影像間的相對關系,避免UAV影像的重復匹配,提高影像處理效率,有效保證空中三角測量的速度.

1)POS數據輔助下的空中三角測量來獲取研究區(qū)的稀疏點云

方法將POS數據與影像進行融合處理,作為光束法區(qū)域網聯(lián)合平差的初值參與迭代運算,獲得研究區(qū)UAV影像的高精度外方位元素和地面點坐標,生成稀疏點云.POS數據輔助空中三角測量關鍵解算步驟如下所示:

步驟 1:將POS數據作為初始值,并建立物方坐標系與像點坐標系之間的共線方程.共線方程的定義是表達物點、像點和投影中心(對像片而言通常是鏡頭中心)三點位于一條直線的數學關系式,具體如式(1):

(1)

式中：(x,y)表示像點的坐標;(x0,y0)表示像主點坐標;(X,Y,Z)表示像點對應物方點的物方空間坐標;(XS,YS,ZS)表示攝影中心的物方空間坐標;(ai,bi,ci)表示旋轉矩陣的方向余弦.

步驟 2:經過一系列求導變換后,將共線方程解算為如式(2)所示:

(2)

由物方空間控制點及對應的像點可以解算出li的系數.式(2)中有11個系數,因此需要至少6個控制點才滿足解算要求.為方便平差迭代計算,選擇了17控制點參與運算.通過多次迭代運算得到影像的外方位元素和待求點的三維坐標點.

2)無人機影像密集匹配

密集匹配的核心是將空中三角加密獲得的稀疏空間表面即種子面片進行逐步擴散來建立密集點云.步驟是:利用散列圖像聚簇和密集匹配算法[13-14]分別對影像聚簇分類及表面計算,其主要方式是利用相鄰面片具有相似的法向和位置的特性,從種子面片開始逐步擴散,重建出其周圍的空間面片,從而生成稠密點云.

3)實景三維模型構建

將密集匹配后獲取的云南師范大學區(qū)域的稠密點云生成三角網(TIN)構建數字表面模型(DSM).最后對DSM模型進行紋理映射,生成實景三維模型.生成的實景三維模型全局視覺效果良好.然而較高建筑物、地物遮擋嚴重及水體等地區(qū)效果不佳有待進一步提升,具體如圖3所示.

(a)全校實景三維模型

(b)教學樓實景三維模型 (c)圖書館實景三維模型 (d)教師培訓樓實景三維模型

由圖3可知,初始實景三維模型整體效果較好,文中方法可以較好地完成三維模型的生成.然而仍有部分復雜建筑物因其結構復雜、地物遮擋等問題導致生成的實景三維模型出現(xiàn)模型扭曲、漏洞及紋理拉花等現(xiàn)象,如圖3(b)、(c)、(d)所示的紅色區(qū)域,需要進一步完善模型.

2 實景三維建模精細化

對初始實景三維模型不完善的地方進行精細化修飾,可以克服因模型扭曲、漏洞及紋理拉花導致的部分模型不完整問題,最終得到美觀的精細化三維模型[15].使用DP-Modeler 軟件通過透視成像原理提取UAV影像中高大建筑物的輪廓,完成自動紋理映射,并通過內偏移、外部擴展及“橋接”等方式建立模型主體結構,剔除效果不好的區(qū)域,完成建模.其中可以利用傾斜影像多角度進行觀測,使得建立的三維模型和影像無縫套合,三維模型的坐標信息精確.同時,通過創(chuàng)建多級金字塔的影像結構,支持超過一億像素的UAV影像無縫調度,可以較好地修正模型變形、遮擋及紋理信息缺失等問題,實現(xiàn)了對UAV影像的實景三維模型的精細化處理.

采用DP-Modeler第三方模型修飾軟件對模型進行精細化修正的主要流程如下:

步驟 1:生成解決方案.從構建的實景三維模型中導出空中三角測量結果,未畸變影像及OSGB、OBJ兩種三維模型.將其全部數據導入到DP-Modeler軟件中,建立模型修正解決方案,其中投影選擇WGS_84_UTM_Zone_48N坐標系.

步驟 2:單體化模型制作.找到變形、扭曲變化較大的建筑區(qū)域.然后先勾勒建筑物的屋頂,接著通過內偏移及外擴等操作建立建筑墻體,以此建立起建筑的主體.最后將穿插結構進行刪除,通過切割面進行操作,構建出建筑物的白膜.

步驟 3:自動紋理映射.將構建出的三維建筑模型白膜通過自動紋理技術來實現(xiàn)實景建筑物的紋理映射.主要通過人機交互的方式從UAV影像中選擇紋理無遮擋的區(qū)域.將其作為模型紋理,從而完整模型映射.

步驟 4:模型替換.在建立出精細化的實景三維模型后,將原實景模型扭曲變形的建筑進行替換,選擇建模區(qū)域將其刪除,然后利用“橋接”技術將其漏洞修補起來.最后將構建的精細化三維模型移動至原來位置,以此對云南師范大學呈貢校區(qū)的實景三維模型進行修正,結果如圖4所示.

(a)精細修正后的教學樓 (b)精細修正后的圖書館 (c)精細修正后的教師培訓樓

如圖4是試驗區(qū)部分建筑物實景三維模型精細化修正后的結果.圖4(a)、(b)、(c)是具有代表性的部分建筑物,紅色圈圈是變化較大的區(qū)域.與圖3原始模型對比發(fā)現(xiàn),精細化修正后的教學樓、圖書館及培訓樓紋理更加清晰,空洞、扭曲、幾何變形都得到了較好的彌補,效果顯著.

3 精度檢驗

模型精度驗證是判斷建模質量與完整性的重要環(huán)節(jié).為了檢驗構建的實景三維模型的精度,從實景三維模型完整度及點位精度兩方面進行驗證.為了檢驗三維模型效果,分別從兩個方面進行驗證,控制點點位誤差和模型紋理細節(jié).控制點點位誤差可以較好地檢驗實景三維模型的精度.采用點位誤差對模型進行評估,其數學表達如式(3)、(4):

(3)

(4)

式中:μx、μy和μz表示待求控制點在x、y和z方向上的點位坐標誤差;n表示控制點的個數.(xGPS,yGPS,zGPS)和(xmodel,ymodel,zmodel)分別表示控制點的實測坐標與模型中控制點的坐標；M表示整體點位誤差.

模型紋理幾何信息也是驗證三維模型效果的重要方式.本文通過分析構建的實景三維模型的紋理信息來檢驗模型的完整性.主要從紋理細節(jié)、幾何扭曲及模型漏洞等幾個方面來分析實景三維模型的效果.

點位誤差是衡量三維模型精度的常用指標,利用徠卡實時動態(tài)(RTK)采集的控制點來檢驗點位精度.根據地形圖航空攝影測量外業(yè)規(guī)范,在控制點布設作業(yè)中,200 m范圍內布置一個控制點效果較好.同時,考慮研究區(qū)的地形特征,盡可能均勻地布置.因此,在研究區(qū)布設了17個控制點來參與精度檢驗,主要計算了17個控制點的點位誤差.

根據計算的控制點坐標與模型坐標的差值計算點位誤差,如表2所示.

表2 點位誤差分布m

μxμyμzM 0.0130.0140.0170.025

表2中實景三維模型的誤差都在3 cm以內,x軸和y軸誤差要小于z軸誤差.控制點在x軸方向的點位誤差是0.013 m,y軸方向的點位誤差是0.014 m,z軸方向的點位誤差是0.017 m,整體點位誤差M是0.025 m.由此可知,建立的實景三維模型誤差較小,效果良好.

修正后的實景三維模型,紋理信息更加凸顯,扭曲變形及漏洞等問題得到優(yōu)化,三維模型整體完整度較高.

4 結束語

本文基于UAV五鏡頭影像結合POS數據對建筑物實現(xiàn)了實景三維建模,研究方法可行,操作簡單,且建模效果良好.實景建模首先采用Context Capture軟件進行影像匹配、空中三角加密及其三維建模,建立建筑物的實景三維模型,并針對部分建筑存在的漏洞、幾何變形及紋理拉花等問題,通過采用DP-Modeler軟件對三維模型進一步精細化建模,從而優(yōu)化實景三維模型效果保證模型的完整性.最后,通過布設的17個控制點的點位誤差和模型幾何紋理信息來定量評價了三維模型的質量與完整性,效果顯著.