基于航空傾斜攝影影像的建筑物提取方法研究

焦云清

摘 要：傳統(tǒng)的建筑物遙感提取主要是基于人工設(shè)計(jì)特征在滑窗內(nèi)提取建筑物信息，具有特征魯棒性差、檢測率不穩(wěn)定等缺點(diǎn)。本文通過分析航空傾斜攝影影像中建筑物的特點(diǎn)，提出傾斜攝影影像中的建筑物提取必須將建筑物屋頂與建筑物墻體分別提取的觀點(diǎn)，在此基礎(chǔ)上，引入計(jì)算機(jī)視覺領(lǐng)域主流的Faster R-CNN目標(biāo)檢測模型，采用改進(jìn)的Faster RCNN分別對屋頂與墻體進(jìn)行檢測。本文以武漢市航空傾斜攝影影像作為數(shù)據(jù)集開展實(shí)驗(yàn)，將圖像中單體建筑作為一類的平均精度均值為89.8%，將建筑物屋頂與墻體分開檢測的mAP值為93.5%，表明該方法可有效提高航空傾斜攝影影像中建筑物提取的精度，下一步研究方向?yàn)榻档蛪w的漏檢率。

關(guān)鍵詞： 航空傾斜攝影? 建筑物提取? 深度學(xué)習(xí)? 目標(biāo)檢測

中圖分類號：P231

Abstract： Traditional building remote sensing extraction is mainly based on artificial design features to extract building information in sliding Windows， which has disadvantages such as poor feature robustness and unstable detection rate. Based on the analysis of the characteristics of buildings in aerial oblique photography images， this paper proposes that buildings must be extracted from roof and wall separately. On this basis， the mainstream Faster R-CNN target detection model in the field of computer vision is introduced， and the improved Faster RCNN is used to detect roof and wall respectively. In this paper， Wuhan aerial oblique photography image is used as the data set to carry out the experiment. The average accuracy of taking the single building in the image as a class is 89.8%， and the mAP value of detecting the building roof and wall separately is 93.5%. It shows that this method can effectively improve the accuracy of building extraction in aerial oblique photography image. The next research direction is to reduce the missed detection rate of wall.

Key Words： Aerial oblique photography; Building extraction; Deep learning; Target detection

建筑物是反映人類活動的主要標(biāo)志，建筑物提取是遙感目標(biāo)檢測與識別領(lǐng)域中的重要方向，該方向的研究成果在災(zāi)害應(yīng)急、軍事偵察、城市規(guī)劃等方面具有廣闊的應(yīng)用前景[1]。建筑物根據(jù)其用途有娛樂、居住、觀賞、存儲、辦公等不同類型，外形多種多樣，更新速度快，這使得建筑物的提取和檢測難度很大。

傳統(tǒng)的建筑物提取主要基于光譜、形狀、紋理、等影像特征檢測建筑物。建筑物提取的研究思路主要有兩種——數(shù)據(jù)驅(qū)動型和模型驅(qū)動型。前者把目標(biāo)看作眾多低層特征結(jié)構(gòu)的組合，通過某種規(guī)則將這些結(jié)構(gòu)合并成為目標(biāo)整體;后者把建筑物目標(biāo)抽象為一個(gè)整體模型，從全局特征出發(fā)基于模型將其從圖像背景中提取出來[2]。

為解決傳統(tǒng)建筑物提取方法計(jì)算量大，魯棒性差等問題，以及建筑物在航空影像上的變化多樣性，遮擋多，航空影像在深度學(xué)習(xí)上的應(yīng)用難點(diǎn)，本文在深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上研究了一種航空傾斜攝影影像建筑物提取方法，這種方法在實(shí)驗(yàn)數(shù)據(jù)上針對航空攝影影像構(gòu)建樣本庫，從建筑物的結(jié)構(gòu)出發(fā)，結(jié)合建筑物在影像上的特點(diǎn)對建筑物進(jìn)行分結(jié)構(gòu)檢測。經(jīng)實(shí)驗(yàn)證實(shí)，該方法可有效提升建筑物在航空影像上的檢測精度。

1 實(shí)驗(yàn)數(shù)據(jù)

1.1 傾斜攝影樣本構(gòu)建方法

深度學(xué)習(xí)通過對大量樣本進(jìn)行特征學(xué)習(xí)，根據(jù)特征映射圖進(jìn)行判斷來完成目標(biāo)的識別與提取，一般需要高質(zhì)量、大量、多樣性的樣本集，以應(yīng)對不同情況下對目標(biāo)的提取任務(wù)[3]。針對航空傾斜攝影影像特殊性，在構(gòu)建樣本集時(shí)需要對圖像進(jìn)行預(yù)處理，明確影像的拍攝高度、角度、相機(jī)型號等影響目標(biāo)檢測的因素，記錄樣本信息。

實(shí)驗(yàn)數(shù)據(jù)選取新疆城鎮(zhèn)地區(qū)拍攝的航空傾斜攝影影像作為數(shù)據(jù)源，影像空間分辨率為10cm，包括接近垂直方向的影像和45度傾角的影像，垂直攝影的相機(jī)采用的是Canon EOS 5DS。45度角攝影采用的相機(jī)是Canon EOS 5DS。影像為真彩色（RGB），單幅影像尺寸為8688×5792。本實(shí)驗(yàn)使用LabelImage對樣本圖片進(jìn)行人工標(biāo)記，用生成的XML文件記錄樣本信息——目標(biāo)建筑物的地理坐標(biāo)、圖像來源、圖像尺寸等信息。

1.2數(shù)據(jù)處理

Faster R-CNN，根據(jù)輸入層的設(shè)置，輸入的影像在正式進(jìn)入網(wǎng)絡(luò)前會經(jīng)歷拉伸過程，統(tǒng)一尺寸為600×1000。為了得到有效的訓(xùn)練數(shù)據(jù)，最大限度地減小拉伸形變，將原始圖像切分為同等大小圖片與對應(yīng)切分的XML文件一起作為實(shí)驗(yàn)數(shù)據(jù)。本實(shí)驗(yàn)共使用圖片707張訓(xùn)練數(shù)據(jù)。XML切分過程中需考慮的技術(shù)細(xì)節(jié)包括。

（1）考慮到XML記錄的目標(biāo)框坐標(biāo)是以圖片左上角點(diǎn)為原點(diǎn)的相對坐標(biāo)值，要考慮到圖像切分后坐標(biāo)變換問題，因此，在圖像切分時(shí)記錄切分處左上角點(diǎn)在原圖中的坐標(biāo)[4]。

（2）在切分時(shí)會產(chǎn)生被切分開的目標(biāo)框，即要解決切分時(shí)在邊緣的目標(biāo)框的問題。根據(jù)目標(biāo)框在切分邊緣位置的情況可以具體分為6種情況，分步解決。

（3）XML在刪除節(jié)點(diǎn)時(shí)導(dǎo)致的節(jié)點(diǎn)序號變化的問題，可以利用指針的思想解決[5]。

最后將整個(gè)樣本集分為3個(gè)部分：訓(xùn)練集、驗(yàn)證集、檢測集。其中訓(xùn)練集占總樣本數(shù)的60%，測試集占40%。

2 方法描述

本文使用Faster R-CNN作為實(shí)驗(yàn)應(yīng)用基礎(chǔ)，并在此基礎(chǔ)上進(jìn)行改進(jìn)，將建筑物按屋頂、墻體結(jié)構(gòu)分開檢測。

經(jīng)過多次測試證明對建筑物進(jìn)行提取，迭代7萬次就可以loss曲線達(dá)到要求，經(jīng)過再多的迭代，在耗費(fèi)時(shí)間的情況下，精度基本保持不變。根據(jù)測試結(jié)果將IOU（Intersection over Union）正樣本閾值改為0.7，負(fù)樣本閾值為0.3。因?yàn)榻ㄖ镎趽踺^多[6]，將NMS（最大值抑制）算法改為Soft-NMS（Bodla N等，2017）。

本節(jié)主要介紹實(shí)驗(yàn)中所使用的技術(shù)方法。具體方法流程如圖1所示。

本實(shí)驗(yàn)主要有3個(gè)部分：標(biāo)記樣本，制作樣本集（見第二節(jié)實(shí)驗(yàn)數(shù)據(jù)所述）;通過改進(jìn)的Faster R-CNN對建筑物分結(jié)構(gòu)檢測;對檢測結(jié)果做精度評價(jià)。

建筑物作為一個(gè)整體主要由兩部分結(jié)構(gòu)構(gòu)成——屋頂和墻體。屋頂多為瓦片或涂有防曬層，墻體多刷有漆層，這兩者在結(jié)構(gòu)上、使用材料上完全不同，紋理信息不一致，因此，分為兩種類別檢測是十分自然合理的。

航空傾斜圖像在拍攝時(shí)跟傳統(tǒng)自然圖像相比房屋在圖像中并不是絕對垂直的，會出現(xiàn)多角度、多方向的建筑物，因此屋頂和墻體作為整體，即以單體建筑分為一類進(jìn)行檢測時(shí)特征的同一性，相較于傳統(tǒng)自然圖像較低，屋頂與墻體的方向性也不一致，同時(shí)因?yàn)樵谥谱鳂颖炯^程中需要對圖片進(jìn)行切分，在切分時(shí)只考慮圖像大小會導(dǎo)致部分墻體和屋頂“分家”的情況出現(xiàn)，在這種情況下經(jīng)常會出現(xiàn)漏檢與錯(cuò)檢情況。將墻體與屋頂分開，作為兩類進(jìn)行目標(biāo)識別可以有效避免此類問題。

為了更好地了解分結(jié)構(gòu)檢測建筑物的優(yōu)勢，本文采取兩種標(biāo)注方式并進(jìn)行對比：（1）對整個(gè)建筑物整體進(jìn)行標(biāo)記;（2）對建筑物屋頂與墻體進(jìn)行分開標(biāo)記。通過Faster R-CNN算法獲取檢測精度，對比驗(yàn)證最優(yōu)樣本標(biāo)記方式。

3 實(shí)驗(yàn)與分析

本文首先將建筑物屋頂與墻體分結(jié)構(gòu)標(biāo)注的樣本放入網(wǎng)絡(luò)訓(xùn)練，經(jīng)過多次迭代保存訓(xùn)練好的參數(shù)，再將樣本送入網(wǎng)絡(luò)檢測對建筑物整體檢測效果如圖2所示。

通過圖2可以看出建筑物整體作為一類檢測時(shí)圖像上單獨(dú)的墻體和屋頂都不能檢測出來，導(dǎo)致了很多的漏檢，并且對陰影鑒別能力差，導(dǎo)致很多錯(cuò)檢。而建筑物分結(jié)構(gòu)檢測不僅可以檢測出只有部分結(jié)構(gòu)的建筑物，對陰影的敏感度也有了一定的提高。

為了更好地驗(yàn)證建筑物分結(jié)構(gòu)檢測的優(yōu)勢，本文選取mAP作為衡量標(biāo)準(zhǔn)，對建筑物整體與建筑物分結(jié)構(gòu)檢測的實(shí)驗(yàn)結(jié)果進(jìn)行對比。結(jié)果表明建筑物分結(jié)構(gòu)檢測效果更優(yōu)。

綜合得出整體對建筑物的檢測精度定量評價(jià)——mAP，如表1所示。

根據(jù)表1可以明顯看出建筑物分結(jié)構(gòu)檢測后檢測精度有了很大的提升，經(jīng)試驗(yàn)表明將屋頂與墻體分開標(biāo)記的方式有效提高了檢測精度。

4 結(jié)語

本文利用深度學(xué)習(xí)技術(shù)實(shí)現(xiàn)了建筑物在航空傾斜影像上的自動化提取，通過分結(jié)構(gòu)檢測提高了建筑物的檢測精度。

本次使用的Faster R-CNN利用遷移學(xué)習(xí)思想有效實(shí)現(xiàn)小樣本建筑物提取任務(wù)，相比于大多傳統(tǒng)檢測方式精度有顯著提升，由于建筑物在圖像上多有遮擋情況，本文在Faster R-CNN最終測試時(shí)將NMS替換為Soft-NMS，用以降低因遮擋引起的漏檢。在此基礎(chǔ)上將建筑物屋頂與墻體進(jìn)行分開標(biāo)記也有效地提高了檢測精度。目前對建筑物的誤檢多為將大棚檢測為了建筑物，下一步會在此基礎(chǔ)上進(jìn)行改進(jìn)，之后利用多層特征融合等方式，相信檢測精度也會達(dá)到更好的效果。

目前，對墻體檢測的P-R曲線表現(xiàn)不如屋頂穩(wěn)定，在接下來的研究中將首要分析并改善此問題。在更深入的研究里將會更傾向于網(wǎng)絡(luò)結(jié)構(gòu)的優(yōu)化和調(diào)整，為目標(biāo)檢測加入先驗(yàn)知識，希望可以在提高檢測精度的同時(shí)提高并驗(yàn)證方法的普適性。

參考文獻(xiàn)

[1]馬茜芮，黃振華.無人機(jī)傾斜攝影測量技術(shù)在地籍調(diào)查中的應(yīng)用[J].測繪通報(bào)，2020（S1）：118-121.

[2]于大鵬，梁玉斌，馮晨陽，等.模擬地形輔助的無人機(jī)傾斜攝影測量圖像匹配[J].天津師范大學(xué)學(xué)報(bào)：自然科學(xué)版，2020，40（4）：64-70.

[3]俞建康.無人機(jī)傾斜攝影測量在立交橋三維重建中的應(yīng)用[J].測繪通報(bào)，2020（10）：106-109.

[4]杜芙蓉. 基于無人機(jī)傾斜攝影測量的違章建筑探測技術(shù)研究[D].西安科技大學(xué)，2020.

[5]符鐘壬. 基于傾斜攝影測量與激光雷達(dá)點(diǎn)云匹配的建筑物三維模型研究[D].昆明：云南大學(xué)，2020.

[6]陳明杰.無人機(jī)傾斜攝影測量三維建模及模型可視化研究[D].西安：西安科技大學(xué)，2019.

3421500338252