基于BAU-Net的高分辨率遙感圖像中建筑物的分割提取

李林祥，袁 毅，溫淑煥,*

(1.燕山大學(xué) 智能控制系統(tǒng)與智能裝備教育部工程研究中心，河北 秦皇島 066004；2.燕山大學(xué) 工業(yè)計算機控制工程河北省重點實驗室，河北 秦皇島 066004)

0 引言

高分辨率遙感圖像是我國重要的國土資源，遙感圖像中建筑物的提取對經(jīng)濟預(yù)測、數(shù)字化城市建設(shè)以及國防安全等具有重要意義。

遙感圖像中建筑物的分割提取實際上是將像素點分配語義標(biāo)簽的過程[1]。高精度GPS以及影像技術(shù)的發(fā)展給遙感圖像帶來了更多的微小細節(jié)以及結(jié)構(gòu)信息，但在減少類內(nèi)差異的同時，也增加了類內(nèi)方差，尤其顯著地表現(xiàn)在建筑物類別上，使建筑物包括更多精細的外形輪廓以及層次紋理圖案等細節(jié)信息[2]。

在傳統(tǒng)的遙感圖像特征提取任務(wù)中，通常采取人工處理或者機器學(xué)習(xí)算法等獲取圖像的灰度值、像素梯度以及形狀紋理等特征信息對目標(biāo)進行分割提取。其中常用的方法可分為三類：基于閾值、基于邊緣、基于區(qū)域的分割方法。ANDRES等[3]采用K-means算法確定圖像的閾值信息，并在遙感圖像分割過程中加入K-means算法作為監(jiān)督指導(dǎo)，實現(xiàn)了對特定區(qū)域目標(biāo)的分割提取。王宇等[4]建立的主動輪廓模型算法將遙感圖像的局部區(qū)域灰度值作為分割特征，實現(xiàn)遙感圖像目標(biāo)提取。

受深度卷積神經(jīng)網(wǎng)絡(luò)的影響，由于全卷積神經(jīng)網(wǎng)絡(luò)具有強有力的捕獲豐富的空間特征和多尺度信息的能力，基于全卷積神經(jīng)網(wǎng)絡(luò)的顯著性目標(biāo)檢測方法在圖像目標(biāo)檢測領(lǐng)域取得了豐厚成果。

2017年，Wang等[5]利用全卷積神經(jīng)網(wǎng)絡(luò)對高分三號高分辨率遙感圖像進行解析，出色地實現(xiàn)了水體、林地以及建筑物的識別分割。2018年，王宇等[6]利用ResNet網(wǎng)絡(luò)作為基礎(chǔ)網(wǎng)絡(luò)，后接條件隨機場對粗分割結(jié)果進行細化修正，實現(xiàn)了遙感圖像中建筑物的提取。目前較為經(jīng)典的性能優(yōu)越的目標(biāo)檢測模型算法主要有ResNet網(wǎng)絡(luò)[7]、U-Net網(wǎng)絡(luò)[8]等深度學(xué)習(xí)模型。

由于高分辨率遙感圖像中建筑物類別多樣、紋理復(fù)雜、空間分布不規(guī)則等特殊因素，導(dǎo)致在此領(lǐng)域的應(yīng)用仍存在以下難題：

1) 建筑物漏分割和誤分割；

2) 建筑物邊緣分割模糊；

3) 復(fù)雜結(jié)構(gòu)建筑物無法完整識別分割；

4) 密集建筑物無法實現(xiàn)單獨分離分割；

5) 陰影和樹木遮蓋建筑物無法完整分割；

針對上述問題，本文基于U-Net網(wǎng)絡(luò)[8]提出了一種雙U型Encoder-Decoder架構(gòu)[9]的邊緣意識U型深度神經(jīng)網(wǎng)絡(luò)(Boundary-Aware U-Net，BAU-Net)。該模型能夠自動提取高分辨率遙感圖像中建筑物，在IAILD數(shù)據(jù)集(Inria Aerial Image Labeling Dataset)上的實驗結(jié)果證明，本文所提出的BAU-Net算法能夠有效地克服高分辨率遙感圖像中道路、車輛、樹木、陰影等強干擾因子，高精度分割提取出建筑物主體以及邊緣輪廓，并且本文所采用的混合損失函數(shù)可以在一定程度上解決密集建筑物的分離問題。

1 BAU-Net網(wǎng)絡(luò)模型

本文提出的基于BAU-Net的高分辨率遙感圖像中建筑物分割的深度神經(jīng)網(wǎng)絡(luò)模型如圖1所示[10-11]。網(wǎng)絡(luò)模型整體架構(gòu)分為兩個部分：粗特征提取網(wǎng)絡(luò)[10](Coarse Feature Extract Network，CFE-Net)和殘差細化特征網(wǎng)絡(luò)[11](Residual Refined Feature Network，RRF-Net)，CFE-Net和RRF-Net均為基于U-Net的改進網(wǎng)絡(luò)構(gòu)成的Encoder-Decoder框架。遙感圖像Image首先通過CFE-Net得到粗特征圖Mcoarse，然后經(jīng)過RRF-Net學(xué)習(xí)真實圖像標(biāo)簽與Mcoarse的殘差Mresidual得到細化特征圖Mrefined。其中Conv、BN、ReLU、MaxPool、B-U分別表示卷積、標(biāo)準(zhǔn)化批處理、激活、最大池化和雙線性上采樣操作，Supi(i=1,2,…,6)表示監(jiān)督子圖。

圖1 BAU-Net深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 The structure of BAU-Net deep neural network

1.1 粗特征提取網(wǎng)絡(luò)CFE-Net

由于U-Net的平面連接網(wǎng)絡(luò)結(jié)構(gòu)，導(dǎo)致其所融合的特征圖較少，融合特征不足，難以有效地捕獲全局各種尺度特征信息，增加特征損失，所以本

文采取全局密集跳躍連接的U-Net3+作為粗特征提取網(wǎng)絡(luò)CFE-Net來增強特征融合。U-Net3+獨特的全局密集連接融合所構(gòu)成的Encoder-Decoder架構(gòu)，使其在圖像分割領(lǐng)域得到廣泛的應(yīng)用。

全局尺度融合主要表現(xiàn)為，CFE-Net的每一個解碼器層都融合有來自較大或相等尺度編碼器層的特征圖以及較小尺度的解碼器特征圖[10]，這種特征融合操作在全局尺度下捕獲粗粒度語義和細粒度細節(jié)，其網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示[10]。

圖2 CFE-Net網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.2 The architecture of CFE-Net

其中，x表示輸入圖像，M(x,s1)為最大池化函數(shù)，s1表示池化核大小，C(x,s2)表示卷積操作，s2表示卷積核的大小，Re(x,t)表示連續(xù)重復(fù)函數(shù)，t為重復(fù)次數(shù)，i表示層數(shù)，N表示解碼器層的總個數(shù)，P(·)是聚集函數(shù)，其中包括卷積、池化和激活操作，D(·)表示下采樣，U(·)表示上采樣。

1.2 殘差細化特征網(wǎng)絡(luò)RRF-Net

殘差細化特征網(wǎng)絡(luò)主要是通過學(xué)習(xí)粗特征圖與真實標(biāo)簽之間的殘差Mcoarse來細化粗特征圖得到更為準(zhǔn)確的細特征圖Mcoarse，其計算公式[11]為

Mrefined=Mcoarse+Mresidual。

在下采樣過程中，Mcoarse首先經(jīng)過3×3卷積，然后連續(xù)經(jīng)過4次特征聚集和最大池化。橋接部分為特征聚集。上采樣過程對稱與下采樣，用雙線性上采樣代替最大池化，最后一層為單獨的3×3卷積生成顯著特征圖。然后粗特征圖Mcoarse與最后的顯著特征圖相加，進過Sigmoid函數(shù)輸出為最終的細化特征圖Mrefined。

本文所采用的RRF-Net網(wǎng)絡(luò)為基于U-Net構(gòu)成Encoder-Decoder的架構(gòu)，如圖3所示[11]。其中，B-U表示雙線性上采樣(Bilinear Upsampling)，其他表示與上文表示相同。

圖3 RRF-Net網(wǎng)絡(luò)架構(gòu)Fig.3 The architecture of RRF-Net

2 混合損失函數(shù)

本文網(wǎng)絡(luò)訓(xùn)練中采用的損失函數(shù)定義[11]為

其中，i表示輸出特征圖的監(jiān)督層數(shù)，N表示深度監(jiān)督層的總個數(shù)，由圖1可知，N=6，l(i)表示第i層的損失。

為了獲得完整的主體以及分割清晰的邊緣輪廓，本文定義以下混合損失函數(shù)[11]：

BEC損失函數(shù)常用于圖像二分類問題，體現(xiàn)為像素級損失，其定義式[11]為

(1-G(i,j))log(1-S(i,j))]，

其中，G(i,j)∈{0,1}、S(i,j)分別表示像素(i,j)的真實標(biāo)簽值和預(yù)測值。

SSIM損失函數(shù)主要用于圖像結(jié)構(gòu)信息的評估，體現(xiàn)為圖像局部區(qū)域級損失，其定義式[11]為

其中，μx、μy以及σx、σy分別表示預(yù)測圖與真實標(biāo)簽的均值和標(biāo)準(zhǔn)差,σxy為其協(xié)方差，C1=0.012，C2=0.032。

IOU損失函數(shù)主要用于表示兩個集合的相似度，體現(xiàn)為圖像全局級損失，其定義式為[11]

其參數(shù)含義與BEC損失相同。

BF1損失函數(shù)主要是通過特殊邊緣像素擴張，獲取更多語義信息，達到精細化邊緣結(jié)構(gòu)的分割目的，使邊緣更加完整清晰，其定義式為[2]

其中，pool(·)表示最大池化，θ0、θ是滑動窗口的大小，θ0=3(圖像中建筑物之間的最小縫隙的像素距離，本文隨機抽取若干張圖像，從中測得最小值為3)、θ=3(擴張像素數(shù)，取值越小有利于邊緣分割；經(jīng)反復(fù)測定，本實驗最佳為3)；ygt、ypd分別表示預(yù)測特征圖和真實標(biāo)簽；(°)表示兩張圖像像素點對應(yīng)相乘；sum(·)表示特征圖像素點總數(shù)。

混合損失函數(shù)中BEC、SSIM、IOU損失分別從像素級、區(qū)域級、全局級三個層面計算圖像損失，使目標(biāo)分割更加完整，邊緣更加清晰[11]。而BF1損失函數(shù)特殊的像素擴張?zhí)幚?，使得精細輪廓更加?zhǔn)確。而密集建筑物分離的本質(zhì)是邊緣分割問題，故本文所采用的混合損失函數(shù)不僅可以使分割目標(biāo)邊緣更加清晰完整，而且可以在一定程度上解決密集建筑物的分離問題。

3 實驗及結(jié)果分析

3.1 數(shù)據(jù)集及實驗平臺

為驗證本文所采用BAU-Net網(wǎng)絡(luò)結(jié)構(gòu)和混合損失函數(shù)的有效性，在IAILD航空影像數(shù)據(jù)集上開展驗證實驗。該數(shù)據(jù)集覆蓋810 km2空間分辨率為0.3 m的地表高清遙感影像，分為建筑和非建筑兩個語義類別，涵蓋不同的城市居民區(qū)，從人口稠密地區(qū)(如，舊金山的金融區(qū))到高山城鎮(zhèn)(如，奧地利蒂羅爾的林地山區(qū))。

其中訓(xùn)練集包括180張覆蓋范圍405 km2，分辨率為5 000×5 000像素的芝加哥上空高清航空遙感圖像，其經(jīng)過準(zhǔn)確的真值標(biāo)注[12]，可用來進行網(wǎng)絡(luò)訓(xùn)練，而測試集則為舊金山上空的遙感圖像(未公開其真值標(biāo)注)，可用其對網(wǎng)絡(luò)的泛化性和魯棒性進行評估。

為充分利用實驗平臺的計算性能，本實驗將每張原始圖像剪裁成100張500×500分辨率的樣本圖像，共計18 000張。并根據(jù)相關(guān)研究的數(shù)據(jù)集劃分比例[4, 6]，結(jié)合實際情況做出適當(dāng)調(diào)整，取17 900張作為訓(xùn)練樣本集，100張作為測試樣本集。

實驗平臺采用容天DevTopAIX4770深度學(xué)習(xí)工作站，其詳細配置如表1所示。

表1 實驗平臺配置Tab.1 The configuration of experimental platform

3.2 實驗結(jié)果評價指標(biāo)

召回率、準(zhǔn)確率、F值以及平均絕對誤差是圖像分割領(lǐng)域常用的性能評價指標(biāo)，本文采用其對實驗結(jié)果性能進行評估,其計算公式[4,11]為

其中，Pr表示目標(biāo)被正確分割的像素點數(shù)，Pu表示目標(biāo)未被識別的像素點數(shù)，Pw表示背景誤被分割為目標(biāo)的像素點數(shù)，β2=0.3，H、W分別高和寬，S(i,j)、G(i,j)表示預(yù)測圖和真實標(biāo)簽的像素點。

本文所采用的BAU-Net的分割性能在召回率、準(zhǔn)確率以及F值等指標(biāo)下，相比文獻[6]得到了大幅度提高。且二者提高分割性能的側(cè)重點不同，本文所采用的BAU-Net在網(wǎng)絡(luò)結(jié)構(gòu)上具有巨大的分割優(yōu)勢。更為重要的是文獻[6]主要的分割優(yōu)勢取決于網(wǎng)絡(luò)后端處理算法，體現(xiàn)為后端算法優(yōu)勢，利用消耗大量計算資源和訓(xùn)練時間換取一定限度的準(zhǔn)確率回報，但與此同時會降低F值，影響其魯棒性。

FCN[13]、U-Net、VGG[14]為近年來圖像分割領(lǐng)域的經(jīng)典算法，廣泛應(yīng)用于多個領(lǐng)域的圖像分割任務(wù)中，并表現(xiàn)出良好的分割性能。為更好地體現(xiàn)BAU-Net的網(wǎng)絡(luò)結(jié)構(gòu)對高分辨率遙感圖像中建筑物分割提取的優(yōu)越性，本文增加與經(jīng)典網(wǎng)絡(luò)結(jié)構(gòu)FCN、U-Net、VGG的對比實驗。任取50張測試樣本的性能指標(biāo)和分割結(jié)果如表2和圖4所示。

由表2所測得的實驗數(shù)據(jù)可以看出，與FCN和VGG和U-Net經(jīng)典的特征提取網(wǎng)絡(luò)相比，本文所采用的BAU-Net在準(zhǔn)確率、召回率、F值以及平均絕對誤差項等分割性能指標(biāo)上得到大幅度提高。其中準(zhǔn)確率、召回率和F值均高于90%，平均絕對誤差為0.032 5，與真值標(biāo)注圖的誤差明顯減小。

表2 性能指標(biāo)對比Tab.2 Comparison of performance

由圖4的性能指標(biāo)對比曲線圖可以看出，與經(jīng)典分割網(wǎng)絡(luò)相比，BAU-Net在準(zhǔn)確率、召回率和F值等分割評估指標(biāo)上，性能穩(wěn)定，魯棒性得到大幅度提升。

圖4 與經(jīng)典神經(jīng)網(wǎng)絡(luò)的分割性能指標(biāo)對比Fig.4 The segmentation performance index compared with classic neural networks

為了進一步證明BAU-Net在多種情形遙感圖像中對建筑物分割提取的優(yōu)越性能，本實驗將遙感圖像劃分為6類：大型簡單結(jié)構(gòu)建筑物，如圖5(a)所示；小型密集建筑物，如圖6(a)所示；邊緣特征復(fù)雜建筑物，如圖7(a)所示；道路干擾，如圖8(a)所示；樹木干擾，如圖9(a)所示；建筑物陰影干擾，如圖10(a)所示。分別采用BAU-Net、FCN、U-Net和VGG作為分割網(wǎng)絡(luò)進行訓(xùn)練測試，其分割結(jié)果如圖5～10所示。

圖5 大型簡單建筑物Fig.5 Large and simple buildings

圖6 小型密集建筑物Fig.6 Small and compact buildings

圖7 邊緣復(fù)雜建筑物Fig.7 Intricate edge buildings

圖8 道路干擾Fig.8 Distraction of roads

圖9 樹木干擾Fig.9 Distraction of trees

圖10 建筑物陰影干擾Fig.10 Distraction of building shadow

由圖5～10的實驗結(jié)果可以看出，BAU-Net分割效果優(yōu)于FCN、VGG、U-Net，其可以更加完整地識別建筑物主體，清晰地分割邊緣輪廓，并且可以有效地避免車輛、樹木干擾，預(yù)測建筑物外形，達到精準(zhǔn)分割的目的。由圖6～7不難看出，密集建筑物群分離問題也得到了進一步改善。

4 結(jié)論

針對遙感圖像中建筑物分割所存在的建筑物漏分割、誤分割以及邊緣模糊等問題，本文提出了一種基于BAU-Net的高分辨率遙感圖像中建筑物分割提取的深度學(xué)習(xí)算法。特殊的雙U型結(jié)構(gòu)、多尺度特征融合以及混合損失函數(shù)的引入使得分割結(jié)果邊緣輪廓更加清晰，提高分割精度。

本文所提出的BAU-Net在IAILD航空影像公開數(shù)據(jù)集上的準(zhǔn)確率為90.48%，召回率為91.30%，F(xiàn)值為90.58%，平均絕對誤差為0.032 5，均優(yōu)于經(jīng)典分割算法。結(jié)果預(yù)測圖表明，BAU-Net能夠有效地克服道路、車輛、樹木、建筑物陰影等影響，準(zhǔn)確有效地分割顏色形態(tài)各異的建筑物及邊緣輪廓。