基于無人機(jī)實(shí)景三維模型的真數(shù)字正射影像生成方法

成李博,段平,李佳,姚永祥,李晨,王云川

(1.云南師范大學(xué) 旅游與地理科學(xué)學(xué)院,云南 昆明 650500;2.云南省高校資源與環(huán)境遙感重點(diǎn)實(shí)驗(yàn)室,云南 昆明 650500;3.云南省地理空間信息工程技術(shù)研究中心,云南 昆明 650500)

0 引 言

航空相機(jī)采用中心投影的方式獲取地面航空影像. 因中心投影成像原理,導(dǎo)致航空影像中心點(diǎn)像素周圍建筑物呈現(xiàn)傾斜樣式,建筑物間因傾斜造成遮蔽. 真數(shù)字正射影像(TDOM)旨在消除因物體傾斜而導(dǎo)致的遮蔽現(xiàn)象,使得影像上物體以均勻的比例分布于真實(shí)位置. 傳統(tǒng)數(shù)字正射影像(DOM)雖進(jìn)行正射微分校正,但并不能使物體正確地分布在原本的位置. 同時(shí),TDOM比DOM具有較高的可信度、精度高、信息量豐富、直觀真實(shí)等特點(diǎn),并且具有很高的背景控制信息的應(yīng)用價(jià)值,成為地理信息庫的重要基礎(chǔ)數(shù)據(jù),也是測繪、遙感行業(yè)的重要數(shù)據(jù)來源.

生成TDOM的基礎(chǔ)數(shù)據(jù)源有兩種:數(shù)字建筑模型(DBM)和數(shù)字表面模型(DSM). DBM是由高程信息表示的建筑物輪廓,并根據(jù)所表示的建筑物層次結(jié)構(gòu)的不同,區(qū)分不同圖層的三維矢量模型,一般采用3Dmax、Sketchup等專業(yè)軟件繪制,實(shí)際上不是實(shí)景三維模型. 自Z-buffer算法被提出以來[1],學(xué)者們基于DBM進(jìn)行遮蔽檢測生成TDOM. 在該算法中,Z緩沖器為每個(gè)像素存儲(chǔ)投影中心與DBM之間的距離(Z)和DBM表面多邊形投影到虛擬圖像上的識(shí)別碼. 傳統(tǒng)的Z-buffer算法導(dǎo)致建筑物遮蔽的誤檢測,許多研究者對(duì)該方法進(jìn)行了優(yōu)化. Jiann等[2]提出一種使用多視圖圖像生成TDOM的方法;ZHOG等[3]提出一種基于多邊形算法檢測遮擋區(qū)域的方法,邊馥苓等[4]提出一種基于有效像素的樣本紋理合成方法,隨后國內(nèi)外學(xué)者也做了相關(guān)研究. 以上方法生成TDOM的前提需要DBM. 難點(diǎn)不在于檢測,而在于DBM的生成. 面對(duì)區(qū)域較小,建筑物稀少、結(jié)構(gòu)簡單或數(shù)據(jù)庫中已存有DBM模型的情況下,可實(shí)現(xiàn)較為快速的生成;反之,該類型方法很難快速生成TDOM.

為此,大量學(xué)者研究了基于DSM進(jìn)行建筑物的遮蔽檢測生成TDOM[5-7]. Wan等[8]提出一種基于3D R-tree的CSG模型校正方法,以提高TDOM的質(zhì)量;Habib等[9]提出基于角度的射線追蹤方法,任東風(fēng)等[10]提出一種基于高程約束的TDOM遮蔽檢測的算法,肖衛(wèi)峰等[11]提出一種基于DSM的光線追蹤算法,潘慧波等[12]也利用DSM生成TDOM. 以上檢測的假設(shè)是能夠獲取精確的DSM. 然而,在使用圖像密集匹配獲得精確的DSM是很困難的,導(dǎo)致建筑物邊緣鋸齒化[13],最終生成的TDOM效果損失.

以上是基于DBM和DSM進(jìn)行建筑物的遮蔽檢測研究,但這兩類方法各自都具有不同的缺陷. 無人機(jī)傾斜攝影測量技術(shù)采用無人機(jī)搭載多鏡頭傳感器,能輕松獲取同一地點(diǎn)同一時(shí)刻同一物體的多面信息,便于實(shí)景三維模型的構(gòu)建[14]. 本文以無人機(jī)搭載五鏡頭相機(jī)獲取低空航空影像,利用傾斜攝影技術(shù)生成實(shí)景三維模型,在此基礎(chǔ)上,采集建筑物頂部輪廓線并構(gòu)建三維體模型,并利用三維體模型進(jìn)行遮蔽檢測和遮蔽補(bǔ)償,生成TDOM.

1 無人機(jī)數(shù)據(jù)采集與實(shí)景三維模型

以云南師范大學(xué)呈貢校區(qū)為實(shí)驗(yàn)區(qū)域,將無人機(jī)搭載五鏡頭相機(jī)獲取的影像作為數(shù)據(jù)源生產(chǎn)1∶1000比例尺TDOM. 試驗(yàn)區(qū)域地處中國云貴高原,平均海拔1 900 m,坐標(biāo)位于24°51′59″N、102°50′58″E,總面積達(dá)1.43 km2,校園建筑物較多,空間分明,通過分析氣候變化、光線強(qiáng)度、行人適宜量等要素,于2018年8月23日采集實(shí)驗(yàn)區(qū)域航空影像.

1.1 實(shí)驗(yàn)設(shè)備

實(shí)驗(yàn)采用哈瓦四軸八旋翼MEGA-V8Ⅱ無人機(jī),搭載SONY ILCE-5100五鏡頭數(shù)碼相機(jī)采集航空影像，如圖1所示,表1所示為傾斜相機(jī)五鏡頭參數(shù).

(a)多旋翼無人機(jī)

(b)鏡頭SONY ILCE-5100圖1 無人機(jī)設(shè)備

項(xiàng)目類型參數(shù)信息 相機(jī)型號(hào)SONY ILCE-5100 傳感器類型CCD 像幅大小6000×4000 像元大小3.8 μm 主點(diǎn)(x,y)(2986.0,1927.4) 焦距20 mm 鏡頭類型1個(gè)垂直,4個(gè)傾斜 鏡頭傾斜角度45°

在實(shí)驗(yàn)測區(qū)航飛數(shù)據(jù)時(shí),設(shè)置飛行參數(shù)為:航向重疊度為85%,旁向重疊度為75%,相對(duì)航高150 m,飛行航向以東南-西北為基準(zhǔn),偏角為北偏西16.09°,鏡頭影像分辨率達(dá)2.9 cm;以9:00—14:00點(diǎn)為影像最佳采集點(diǎn),續(xù)航飛行5個(gè)架次,飛行航線46條,共獲取13 025幅低空數(shù)碼航空影像.

1.2 無人機(jī)實(shí)景三維模型的構(gòu)建

利用無人機(jī)航拍獲取的五鏡頭影像數(shù)據(jù)生產(chǎn)實(shí)景三維模型,具體流程如圖2所示,詳細(xì)步驟如下:

1) 將預(yù)處理后的POS數(shù)據(jù)結(jié)合五個(gè)鏡頭影像數(shù)據(jù)做第一次無控制自由網(wǎng)空中三角測量,若連接點(diǎn)出現(xiàn)漏洞、稀少或不均勻、航線彎曲等現(xiàn)象,參考平差報(bào)告對(duì)區(qū)域連接點(diǎn)做檢查,確保像點(diǎn)收斂值和相對(duì)定向誤差不大于1個(gè)像素,對(duì)空洞區(qū)進(jìn)行人工補(bǔ)點(diǎn),對(duì)殘差較大的連接點(diǎn)做剔除處理;

2) 做第二次無控制自由網(wǎng)平差,重復(fù)第一次平差后的檢查工作,直到自由網(wǎng)平差結(jié)果滿足平差要求;

3) 進(jìn)行控制自由網(wǎng)平差,利用無控制自由平差的結(jié)果添加控制點(diǎn),將空中三角測量結(jié)果轉(zhuǎn)換到實(shí)際坐標(biāo)位置,其中添加控制點(diǎn)時(shí)采用先周邊后內(nèi)部的刺點(diǎn)順序. 具體操作如下:

先在區(qū)域周圍四個(gè)角刺點(diǎn),并做一次平差,檢查平差結(jié)果是否達(dá)到平差要求,若平差誤差較大,進(jìn)行內(nèi)部刺點(diǎn),每當(dāng)刺兩個(gè)控制點(diǎn)后又做一次平差處理,重復(fù)此操作,直到相對(duì)定向誤差、檢查點(diǎn)和控制點(diǎn)誤差符合規(guī)定限差要求,每張影像至少200個(gè)匹配連接點(diǎn),并停止操作.

4) 在空中三角測量提取特征點(diǎn)的基礎(chǔ)上做加密處理,利用密集點(diǎn)云生成表面模型,并賦予紋理,生成實(shí)景三維模型.

圖2 數(shù)據(jù)預(yù)處理流程

2 基于建筑物屋頂輪廓的體模型遮蔽檢測和遮蔽補(bǔ)償

2.1 基本原理

生產(chǎn)TDOM的關(guān)鍵在于檢測遮蔽,即尋找被遮蔽區(qū)域,消除雙重投影問題[15]. 如圖3所示，雙重映射區(qū)域內(nèi)投影的灰度值重復(fù)投影到正射影像上,假設(shè)a、b、c是原始像片上的像素,由中心投影原理可知,原始像片上a、b、c點(diǎn)采集的像素是建筑物頂部A、B、C坐標(biāo)點(diǎn)處的特征,a′、b′、c′的灰度值對(duì)應(yīng)建筑物屋頂A、B、C坐標(biāo)點(diǎn)的特征信息,a″、b″、c″同樣采集了原始像片a、b、c處的像素特征,即采集了建筑物屋頂A、B、C處的特征,這就導(dǎo)致正射影像上出現(xiàn)雙重映射區(qū)域. 例如,點(diǎn)A(XA,YA,ZA)和點(diǎn)D(XD,YD,ZD)同時(shí)占用像點(diǎn)a(Xa,Ya)的像點(diǎn)信息,此時(shí)的投影像點(diǎn)順序依次為a″、b″、c″和a′、b′、c′;有時(shí)兩個(gè)點(diǎn)A、C同時(shí)占據(jù)了正射表面相同的一點(diǎn)F. 因此,需要合理地檢測出被遮蔽區(qū)域,消除因航攝高度和相機(jī)傾斜帶來的遮蔽現(xiàn)象,使得影像均勻地分布在實(shí)際地表位置上.

圖3 雙重投影

圖4 無房檐與有房檐情況下的遮蔽區(qū)域

通常情況下,遮蔽范圍會(huì)因房檐的存在與否,產(chǎn)生不同的效果. 房檐存在時(shí)的遮蔽檢測區(qū)域大于無房檐的情況. 圖4為還原相機(jī)拍攝時(shí)刻的場景信息圖,假設(shè)ABCD-EFGH-efgh是帶房檐的建筑物體,分析如下:

1) 不含房檐的遮蔽區(qū)域. 多邊形ee'h'g'f'fe是建筑物ABCD-EFGH-efgh去除房檐情況下,只保留矩形EFGH-efgh的陰影區(qū),記為Wshadow;多邊形ee'h'g'f'fghe是Wshadow對(duì)地面物體形成的遮蔽區(qū)域,記為Wshading.

2) 包含房檐的遮蔽區(qū)域. 多邊形ee'a'd'c'b'f'fe是建筑物ABCD-EFGH-efgh在中心投影下的影子,記為Bshadow,多邊形ee'a'd'c'b'f'fghe是Bshadow對(duì)地面物體形成的遮蔽區(qū)域,記為Bshading.

3) 遮蔽區(qū)域的面積大小關(guān)系:Bshading>Wshading.在TDOM中影像位置被還原到真實(shí)地理位置上,生成結(jié)果難免會(huì)犧牲房檐正下方的物體(例如,靠近房門的少部分臺(tái)階,屋檐下擺放的花盆等),以確保屋頂信息的完整. 犧牲區(qū)域?yàn)檎渫队跋?建筑物環(huán)狀房檐(ABCE-EFGH)在地面上的投影. 盡管帶房檐時(shí)檢測的遮蔽區(qū)域大于不帶房檐時(shí)的遮蔽區(qū)域,但根據(jù)遮蔽補(bǔ)償原理,遮蔽區(qū)域的紋理能在相鄰航線上得到補(bǔ)償,故不影響TDOM的生成.

從以上分析可知遮蔽檢測重視屋頂信息.通常,為了保證UAV飛行的安全,UAV飛行高度需要在建筑物上空保持一定的安全距離. 這就導(dǎo)致,即使使用多鏡頭傳感器傾斜攝影,房檐下拐角處依然會(huì)出現(xiàn)影像的空白區(qū)域,生成的DSM會(huì)將原本直角的房檐曲面化，如圖5所示,降低房屋邊緣精度. 本文結(jié)合實(shí)景三維模型,采集建筑物頂部邊緣信息,與DSM同時(shí)進(jìn)行遮蔽檢測.

(a)房檐曲面化

(b)曲面化放大圖圖5 影像缺失導(dǎo)致的房檐曲面化

對(duì)檢測到的遮蔽區(qū)域做紋理補(bǔ)償. 采集被檢測區(qū)域相鄰航線上影像的紋理信息,對(duì)遮蔽區(qū)域做紋理補(bǔ)償. 補(bǔ)償原理如下:

(1)

式中:W代表某一遮蔽區(qū)域;n表示該遮蔽區(qū)域周圍含有該遮蔽區(qū)域的所有影像;Ki為第i張包含遮蔽區(qū)域的影像.

當(dāng)由于原始影像成像時(shí)氣候環(huán)境差異過大導(dǎo)致的影像反光度、紋理信息差異較大的現(xiàn)象,在進(jìn)行影像糾正時(shí),可剔除差異過大的幾張影像,前提是要保證剩下的影像能覆蓋W區(qū)域;在不能保證整體覆蓋W時(shí),先采用差異較大的影像進(jìn)行糾正,然后做勻光勻色處理,只是效果略有遜色. 所以,在數(shù)據(jù)采集過程中既要保證航線過高的重疊度[1],又要保證成像光線變化不大.

逐一對(duì)整個(gè)測區(qū)的W區(qū)域進(jìn)行補(bǔ)償,即得：

(2)

式中:Wj代表整個(gè)測區(qū)的第j個(gè)遮蔽區(qū)域;Wj,b指當(dāng)?shù)趈個(gè)遮蔽區(qū)域缺少影像時(shí),補(bǔ)飛b張影像用于遮蔽區(qū)域糾正填補(bǔ);U表示所有遮蔽區(qū)域都被完全填充.

對(duì)研究區(qū)內(nèi)所有檢測得到的遮蔽區(qū)域做補(bǔ)償糾正,并將糾正結(jié)果計(jì)算平差、整合,生成一副無縫、色彩亮度平衡的影像鑲嵌圖. 整合針對(duì)色彩差異進(jìn)行勻光勻色處理,接邊線的編輯和羽化處理.最后將處理過的鑲嵌圖分幅裁剪得到最終產(chǎn)品.

2.2 實(shí)施方法

基于上述基本原理,具體實(shí)施步驟為

步驟1:獲取建筑物頂部輪廓線. 基于前期生產(chǎn)的實(shí)景三維模型,依據(jù)建筑物頂部輪廓采集頂部邊緣信息,將采集到的頂部輪廓線作為DTM生成的控制信息.

步驟2:建筑物數(shù)字地面模型(DTM)生成.將步驟1中獲取的帶有地理空間坐標(biāo)的建筑物頂部輪廓線嵌套在DSM上,生成三維建筑物的DTM.

步驟3:TDOM生成. 結(jié)合步驟2中生成對(duì)象的DTM數(shù)據(jù)、空中三角測量生成的DSM和航片工程文件,在確保遮蔽補(bǔ)償計(jì)算時(shí),相片重疊度達(dá)到采集航空像片所設(shè)置的航向與旁向最大數(shù)值的前提下生產(chǎn)TDOM.

步驟4:TDOM鑲嵌處理.對(duì)步驟3中生產(chǎn)的TDOM進(jìn)行不可視像元檢查,通過矯正和自適應(yīng)羽化處理,計(jì)算補(bǔ)償不可視像元,生成一副完整的TDOM.

3 結(jié)果與分析

3.1 實(shí)景三維模型的空中三角測量分析

實(shí)景三維模型的好壞最終影響到建筑物屋頂輪廓線的質(zhì)量,而空中三角測量質(zhì)量的好壞關(guān)系到實(shí)景三維模型的結(jié)果,在實(shí)驗(yàn)區(qū)域利用五鏡頭航空影像數(shù)據(jù)做空中三角測量平差時(shí)采用7個(gè)控制點(diǎn)就達(dá)到了實(shí)驗(yàn)要求. 將控制點(diǎn)在x、y、z方向的最大誤差分別記為:Δx、Δy、Δz、在平面最大均方根誤差記為:RMSEH、在高程最大均方根誤差記為:RMSEV,從以上5個(gè)誤差指標(biāo)評(píng)價(jià)空中三角測量結(jié)果,如表2所示.

表2 空中三角測量加密精度表

由表2可知,Δx、Δy、Δz分別為0.082 m、0.147 m、0.002 m;RMSEH為0.043 m,RMSEV為0.009 m.除Δy外,其余四個(gè)指標(biāo)均小于10 cm;Δz和RMSEV達(dá)到毫米級(jí). 5個(gè)誤差指標(biāo)均滿足空中三角測量精度要求. 通過分析,利用POS輔助空中三角測量在添加少量控制點(diǎn)的情況下使得空中三角測量結(jié)果滿足實(shí)驗(yàn)要求.

3.2 TDOM成果

基于五鏡頭航空影像建立的實(shí)景三維模型采集建筑物頂部輪廓信息生成三維建筑物DSM,隨后通過遮蔽檢測和遮蔽補(bǔ)償,生成建筑物的TDOM. 由于實(shí)驗(yàn)區(qū)建筑物眾多,挑選云南師范大學(xué)呈貢校區(qū)匯學(xué)3棟和同析3棟兩棟建筑作對(duì)比分析. 如圖6所示,其中圖6(a)、(d)是在建筑物實(shí)景三維模型上采集頂部邊緣線,當(dāng)出現(xiàn)同一建筑物既有高屋頂和低屋頂時(shí),建議分別采集各自的屋頂;都以五鏡頭影像為前提生成兩種正射影像,對(duì)生成結(jié)果進(jìn)行對(duì)比分析:圖6(b)、(e)是生成的兩張DOM圖,圖中清晰地顯示每棟建筑具有各個(gè)方向的傾斜,并存在遮蔽現(xiàn)象(藍(lán)色圓圈所標(biāo)記);圖6(c)、(f)是本文方法生成的TDOM圖,其特征變化用紅色圓圈標(biāo)記.從圖6中的DOM和TDOM的差異可以看出,本文提出的方法通過遮蔽檢測生成的TDOM是對(duì)傳統(tǒng)DOM的完善. 圖7為整個(gè)實(shí)驗(yàn)區(qū)的TDOM圖.

(a)匯學(xué)3棟實(shí)景三維模型 (b)匯學(xué)3棟DOM (c)匯學(xué)3棟TDOM

(d)同析3棟實(shí)景三維模型 (e)同析3棟 DOM (f)匯學(xué)3棟TDOM圖6 匯學(xué)3棟與同析3棟實(shí)驗(yàn)結(jié)果

圖7 云南師范大學(xué)呈貢校區(qū)TDOM

3.3 TDOM精度驗(yàn)證

為了檢驗(yàn)TDOM的精度,在野外實(shí)測6個(gè)點(diǎn)作為精度驗(yàn)證點(diǎn),同時(shí)在TDOM上對(duì)應(yīng)的6個(gè)影像點(diǎn)作為對(duì)比點(diǎn),用實(shí)測點(diǎn)與影像點(diǎn)做誤差分析. 如表3所示,Δx、Δy分別代表了影像點(diǎn)與野外實(shí)測點(diǎn)在x、y兩個(gè)方向上的誤差值.通過對(duì)比分析,x方向的最大誤差為0.011 m,y方向的最大誤差為0.015 m,符合CHT 9008.3-2010《基礎(chǔ)地理信息數(shù)字成果1∶500、1∶1000、1∶2000數(shù)字正射影像圖》平地平面位置中誤差0.6 m的精度要求. 點(diǎn)位誤差如表4所示.本方法生成的TDOM在x方向上的點(diǎn)位誤差為0.007 m,y方向上的點(diǎn)位誤差為0.009 m,整體點(diǎn)位誤差M為0.011 m.

表3 TDOM平面精度檢查表

表4 TDOM控制點(diǎn)的點(diǎn)位誤差

4 結(jié) 論

本文提出了一種顧及建筑物屋頂輪廓體模型的TDOM生成方法,該方法以無人機(jī)搭載五鏡頭相機(jī)采集的云南師范大學(xué)呈貢校區(qū)影像數(shù)據(jù)為例實(shí)現(xiàn)了本文的方法,最終生成的TDOM的方向精度誤差分別為1.1 cm和1.5 cm,高于制圖規(guī)范60 cm的要求,是一種可行的方法.