基于卷積網(wǎng)絡的遙感圖像建筑物提取技術(shù)研究

付發(fā)　未建英　張麗娜

摘 要：Mask RCNN是當前最高水平的實例分割算法，本文將該算法應用到高分辨率遙感圖像建筑物提取中，提出了一種高效、準確的高分辨率遙感圖像建筑物提取方法。首先，利用Tensorflow和Keras深度學習框架搭建Mask RCNN網(wǎng)絡模型；然后，通過有監(jiān)督學習方式在IAILD數(shù)據(jù)集上進行模型學習。利用訓練出的模型對測試集進行建筑物提取實驗，通過與基于KNN和SVM等建筑物提取方法對比可以看出，本文方法可以更加完整的、準確的提取出建筑物。采用mAP評價指標對實驗結(jié)果進行定量評價，本文算法的查全率和查準率均大于對比算法，且多次實驗中本文算法的mAP均在81%以上，驗證了基于卷積網(wǎng)絡的高分辨率遙感圖像建筑物提取的有效性和準確性。

關(guān)鍵詞：深度學習；建筑物提??；Mask RCNN；卷積網(wǎng)絡

中圖分類號：TP183 文獻標識碼：A

1 引言（Introduction）

提取遙感圖像建筑物信息是遙感圖像解譯中的重要研究課題之一。一方面，快速準確地提取遙感圖像中的建筑物能夠滿足遙感圖像制圖、地理信息系統(tǒng)的數(shù)據(jù)獲取、城市空間數(shù)據(jù)庫的更新和建設(shè)“數(shù)字化城市”的需要；另一方面，建筑物提取方法也能為其他類型地物的提取提供一定的思路，因此建筑物提取方法的研究具有重要意義，特別是高空間分辨率遙感影像的投入使用，對遙感信息處理與分析提出了更多的要求和挑戰(zhàn)[1]。

目前，國內(nèi)外對于遙感圖像建筑物提取研究有很多成果，主要分為基于邊緣提取、基于紋理提取和基于分類提取三大類。Huertas等人[2]通過檢測建筑物邊緣的線條，然后根據(jù)空間關(guān)系，進而提取出建筑物；葉盛[3]根據(jù)幅度譜信息將建筑物的邊緣特征和紋理特征結(jié)合起來，從而對建筑物提?。籄tz M等人[4]提出區(qū)域合并分割技術(shù)進行建筑物提??；Zheng等[5]首次訓練了一個將CNN和CRF結(jié)合的端到端的神經(jīng)網(wǎng)絡，從而對建筑物提?。籒oh等人[6]設(shè)計了一個端到端的神經(jīng)網(wǎng)絡提高了對小物體、有遮擋物體的分割準確率。

由于遙感圖像建筑物提取主要針對城區(qū)，但城區(qū)綠化區(qū)域較多，植被對建筑物提取嚴重干擾，而且建筑物類型復雜，除了單幢的、規(guī)則的矩形建筑物，還有不規(guī)則的、復雜的建筑物，這對建筑物提取也帶來了困難。基于邊緣和紋理特征提取建筑物的準確率不高，而且有較高的誤檢率，因此，本文采用Mask RCNN深度卷積網(wǎng)絡進行遙感圖像建筑物提取。實驗表明，深度卷積網(wǎng)絡模型對植被信息干擾、建筑物類型復雜等問題具有很好的擼棒性，可以達到較高的查全率和查準率。

2 算法描述（Algorithm description）

2.1 網(wǎng)絡結(jié)構(gòu)

Mask RCNN[7]是在Faster RCNN[8]的基礎(chǔ)上融合了FCN[9]和FPN[10]思想的一種多任務深度神經(jīng)網(wǎng)絡。Mask RCNN有兩個階段：第一階段，由Mask RCNN主干網(wǎng)絡（即ResNet101[11]和FPN）提取出遙感圖像的特征圖，然后使用區(qū)域建議網(wǎng)絡（Region Proposal Network，RPN）生成目標的建議框，并對建議框篩選得到感興趣區(qū)域（Regions Of Interest，ROIs）；第二階段，對每個ROIs預測類別、位置和對應的建筑物的二值掩膜。網(wǎng)絡整體結(jié)構(gòu)如圖1所示。

圖1 Mask RCNN網(wǎng)絡結(jié)構(gòu)圖

Fig.1 Mask RCNN structure chart

2.2 損失函數(shù)

損失函數(shù)表達了預測值與真實標簽的差距程度，本文通過減小預測值與真實標簽之間的損失函數(shù)來訓練模型，Mask RCNN的損失函數(shù)定義為：

（1）

式（1）中表示分類誤差；表示邊界框回歸誤差；表示掩碼誤差。

（2）

式（2）中i表示特征圖中ROIs的下標；表示類別數(shù)；表示第i個ROIs預測為正樣本的概率；當ROIs為正樣本時，=1，當ROIs為負樣本時，=0。

（3）

式（3）中表示正樣本ROIs到預測區(qū)域的四個平移縮放參數(shù)；表示正樣本ROIs到真實標簽的四個平移縮放參數(shù)；R（）是函數(shù)，即

（4）

式（4）中表示掩碼分支對每個ROIs產(chǎn)生的m*m大小的掩碼；K表示分類物體的種類數(shù)目；i表示當前ROIs的類別。

3 數(shù)據(jù)集及預處理（Dataset and preprocessing）

在本文中，我們采用了法國國家信息與自動化研究所提供的Inria Aerial Image Labeling Dataset（簡稱IAILD數(shù)據(jù)集）。該數(shù)據(jù)集中每張圖片是覆蓋面積405公里，空間分辨率為0.3米的航空正射彩色圖像，每張圖像分為建筑物和非建筑物。這些圖像覆蓋了不同的城市居民點，從人口稠密地區(qū)（例如舊金山的金融區(qū)）到高山城鎮(zhèn)（例如利恩茨在奧地利蒂羅爾，美國的一個城鎮(zhèn)）。IAILD數(shù)據(jù)集包含180張5000*5000像素訓練數(shù)據(jù)，以及相應的掩碼圖片。

我們將其分為訓練集（150張）、驗證集（5張）、測試集（25張）。由于圖片尺寸太大，直接使用會造成內(nèi)存溢出，所以，我們使用黑色將圖片的邊緣填充60像素，得到了5120*5120的圖片。然后，同時將圖像和掩碼分割為20行20列，共400張256*256大小的圖片。最終，得到了訓練集（60000張）、驗證集（2000張）、測試集（10000張）。

（a）衛(wèi)星圖 （b）掩碼圖

圖2 分割后的衛(wèi)星圖

Fig.2 Satellite map after segmentation

4 實驗與算法評價（Experiment and algorithm

evaluation）

4.1 算法實現(xiàn)

算法：使用Mask RCNN進行建筑物提取

Input：遙感圖像（RGB）

Output：建筑物輪廓

（1）將遙感圖像進行分割，得到分割后的圖像P。

（2）將P輸入ResNet101+FPN卷積網(wǎng)絡中，得到圖像的特征圖集合。

（3）將特征圖集合輸入到RPN中，得到候選框。

（4）將候選框的特征交給預測器，得到每個候選框的類別、位置和掩碼的預測值。

（5）計算預測值與真實值的損失值loss。

（6）優(yōu)化損失函數(shù)loss，得到Mask RCNN網(wǎng)絡模型。

我們使用內(nèi)存為32GB，GPU（1080Ti）為11GB的主機對模型進行模型訓練，每8張圖片一個批次，訓練25小時左右損失函數(shù)不再下降，停留在1.070左右。

（a）原圖 （b）效果圖

圖3 模型識別效果圖

Fig.3 Model recognition effect diagram

4.2 算法評價

為了定量評價遙感圖像提取算法的性能，本文采用的評價標準是mAP（mean Average Precision）。mAP是目標檢測中衡量識別精度的指標，多個類別物體檢測中每個類別都可以根據(jù)查準率（Precision）和查全率（Recall）繪制一條P-R曲線，AP就是該曲線下的面積，mAP是多個類別AP的平均值。分類結(jié)果混淆矩陣，見表1。

表1 分類結(jié)果混淆矩陣

Fig.1 Mixed matrix of categorized results

實際類別

預測類別 Positive Negative

Ture TruePositive（TP） TrueNegative（TN）

False FaslePositive（FP） FalseNegative（FN）

TP（真正例）是將正類預測為正類的數(shù)量；TN（真負例）是將負類預測為負類的數(shù)量；FP（假正例）是將負類預測為正類的數(shù)量；FN（假負例）是將真累預測為負類的數(shù)量。

查全率、查準率和mAP的計算公式分別是：

（5）

（6）

（7）

式（7）表示數(shù)據(jù)集中所有類別的平均精度的平均值

本文采用IOU（Intersection Over Union）來判斷檢測到的建筑物是否正確，即IOU>0.5時，說明檢測到的是建筑物。

（7）

通過對測試集進行實驗，得到mAP：0.8111。

為了驗證本文算法在遙感圖像建筑物提取方面優(yōu)于其他算法。本文使用基于K-means、KNN、SVM的遙感圖像建筑物提取方法對IAILD數(shù)據(jù)集進行了測試，評價結(jié)果見表2。

表2 算法性能評價

Tab.2 Algorithms performance evaluation

方法 K-means KNN SVM 本文方法

mAP 0.6838 0.6947 0.7075 0.8111

從上表可以看出本文算法的mAP高于其他方法10%以上，本文算法的查全率和查準率均大于對比算法，表明基于卷積網(wǎng)絡的高分辨率遙感圖像建筑物提取的有效性和準確性。

5 結(jié)論（Conclusion）

本研究基于MaskRCNN提出一種建筑物提取方法，通過使用深度學習框架Keras和Tensorflow搭建Mask RCNN網(wǎng)絡模型，并通過IAILD數(shù)據(jù)集對模型進行有監(jiān)督學習，從而提取出建筑物。并與K-means法、KNN法和SVM法的提取效果進行了對比。研究結(jié)果表明，本文方法提取的mAP較高，能有效提取出建筑物。提取建筑物時，只需遙感圖像輸入到網(wǎng)絡模型中，即可提取建筑物的大致輪廓，不需另外的步驟，具有效率性和準確性。

本文方法仍存在一些不足，實驗過程中發(fā)現(xiàn)在分割建筑物時，部分建筑物提取存在輪廓不規(guī)則；部分圖像紋理特征類似建筑物的海洋和山地地區(qū)有4%左右的誤檢率。上述問題可作為今后研究的重點。

我們秉承開源，開放的技術(shù)分享思想，已經(jīng)將代碼放到了GitHub上：https：//github.com/fusimeng/maskrcnn_building。該代碼基于Tensorflow和Keras框架，簡單易懂。

參考文獻（References）

[1] 江華.基于eCongnition面向?qū)ο蠹夹g(shù)的高分辨率遙感影像土地利用分類—以福州瑯屹島為例[J].海峽科學，2014（8）：

12-17.

[2] A.Huertas and R.Nevatia.Detecting Building in Aerial Images.Computer Vision[J].Graphics and Image Processing，1998，41（2）：131-152.

[3] 葉盛.基于紋理特征的高分辨率遙感圖像建筑物信息識別與提取方法研究[D].南京大學博士學位論文，2008：10-13.

[4] Atz M and Schape A.Multiresolution segmentation：an optimization approach for high quality multiscale image segmentation[J].Journal of Photogrammetry and Remote Sensing，2000，58：12-23.

[5] Zheng S，Jayasumana S，Romera-Paredes B，et al.Conditional Random Fields as Recurrent Neural Networks.Proceedings of 2015 IEEE International Conference on Computer Vision（ICCV），2015：1529-1537.

[6] Noh H，Hong S，Han B.Learning Deconvolution Network for Semantic Segmentation.Proceedings of 2015 IEEE International Conference on Computer Vision（ICCV），2015：1520-1528.

[7] Kaiming He，Georgia Gkioxari，Piotr Dollar，et al.Mask RCNN[C].In CVPR，2018，1：1703-1078.

[8] Kaiming He，Shaoqing Ren，Ross Girshich，et al.Faster R-CNN：Towards Real-Time Object Detection with Region Proposal Networks[C].In CVPR，2016，1：1506-1611.

[9] Jonathan Long，Evan Shelhamer，Trevor Darrell，et al.Fully Convolutional Networks for Semantic Segmentation[C].In CVPR，2015，5：1411-1445.

[10] Tsung-Yi Lin，Piotr Dollar，Ross Girshick，et al.Feature Pyramid Networks for Object Detection[C].In CVPR，2017，4：1612-1618.

[11] Kaiming He，Xiangyu Zhang，Shaoqing Ren，et al.Deep Residual Learning for Image Recognition[C].In CVPR，2015，12：1512-1516.

作者簡介：

付 發(fā)（1993-），男，碩士生.研究領(lǐng)域：人工智能與機器學習.

未建英（1993-），女，碩士生.研究領(lǐng)域：演化算法.

張麗娜（1993-），女，碩士生.研究領(lǐng)域：推薦系統(tǒng).