融合注意力機(jī)制的建筑物提取方法

劉德祥，張海榮，承達(dá)瑜，彭正濤，趙安周

(1.中國礦業(yè)大學(xué) 環(huán)境與測繪學(xué)院，江蘇 徐州 221116；2.河北工程大學(xué) 礦業(yè)與測繪工程學(xué)院，河北 邯鄲 056038)

0 引言

高分辨率的地球觀測技術(shù)提供了大量的高分辨率遙感圖像，可以精細(xì)地描述各種地理空間對象，例如建筑物、水系、道路等[1]。建筑物是城市基礎(chǔ)地理信息的重要組成部分，從高分辨率遙感圖像中自動提取建筑物對城市管理、規(guī)劃和監(jiān)測有非常大的幫助[2]。傳統(tǒng)的建筑物提取方法主要依賴于人工設(shè)計(jì)的特征如長度、邊緣、紋理、陰影、光譜等，這種憑經(jīng)驗(yàn)設(shè)計(jì)的特征一般只適用于特定的數(shù)據(jù)，魯棒性較差[3]。因此，研究高魯棒性和高效建筑物提取方法非常有必要。隨著深度學(xué)習(xí)的不斷成熟，卷積神經(jīng)網(wǎng)絡(luò)逐漸應(yīng)用到建筑物提取，并且取得了不錯(cuò)的效果[4-6]。目前，比較流行的建筑物提取方法多是采用基于全卷積神經(jīng)網(wǎng)絡(luò)FCN的語義分割方法[7]。U-Net、SegNet、PSPNet、Deeplab系列等[8-13]作為FCN的經(jīng)典變體，在建筑物提取領(lǐng)域也得到廣泛應(yīng)用。季順平等[14]提出了一種改進(jìn)U-Net的建筑物提取方法SU-Net，將U-Net解碼部分的多尺度預(yù)測結(jié)果拼接，使得最終的預(yù)測圖匯聚了多個(gè)尺度的信息，一定程度上解決了因目標(biāo)尺度大小不一帶來的提取困難的問題。張浩然等[15]將U-Net與條件隨機(jī)場(conditional random field，CRF)結(jié)合實(shí)現(xiàn)遙感影像中建筑物提取，將條件隨機(jī)場作為一種后處理方法優(yōu)化U-Net的提取結(jié)果。張春森等[16]提出了一種改進(jìn)SegNet的建筑物提取方法，融合PSPNet中的金字塔池化模塊捕獲多尺度特征。Shao等[17]提出了一種建筑物殘差修正網(wǎng)絡(luò)(building residual refine network，BRRNet)，首先在預(yù)測模塊使用不同膨脹率的膨脹卷積捕獲多尺度特征，接著將預(yù)測模塊的輸出作為殘差優(yōu)化模塊的輸入進(jìn)一步優(yōu)化真實(shí)值與預(yù)測值之間的殘差，有效地提高了建筑物提取的準(zhǔn)確性。王俊強(qiáng)等[18]將Deeplabv3+與條件隨機(jī)場結(jié)合用于遙感影像典型要素提取。上述方法，一類是通過優(yōu)化特征提取方式如在網(wǎng)絡(luò)中加入膨脹卷積或空間金字塔池化模塊提高模型精度；另一類是通過后處理方式如條件隨機(jī)場、圖像形態(tài)學(xué)等方法進(jìn)一步優(yōu)化提取結(jié)果。然而，基于空間金字塔的方法以非自適應(yīng)方式聚合上下文信息，且所有尺度的特征都采用同類上下文信息，不能滿足不同像素需要、不同上下文依賴的要求；基于膨脹卷積的方法在保證參數(shù)量不變的情況下雖然可以獲得更大范圍的特征信息，但實(shí)際上無法獲取密集的上下文信息。后處理方法在一定程度上能對提取結(jié)果進(jìn)一步優(yōu)化從而提高提取精度，但該類方法更多地受限于優(yōu)化前的提取結(jié)果。

針對上述問題，本文提出了一種融合注意力機(jī)制的建筑物提取網(wǎng)絡(luò)(residual dilated attention network，RSDANet)。該方法采用深度學(xué)習(xí)中經(jīng)典的Encoder-Decoder結(jié)構(gòu)，在Encoder中，設(shè)計(jì)了一個(gè)多級的殘差連接塊(residual dilated block，RSD Block)，多級殘差連接可以將特征學(xué)習(xí)問題轉(zhuǎn)移到學(xué)習(xí)殘差映射的殘差映射，這比原始?xì)埐钣成涓菀讓W(xué)習(xí)[19]。在RSD Block模塊特征提取后，加入兩個(gè)特征金字塔模塊(feature pyramid networks，F(xiàn)PN)，特征金字塔對每一種尺度的特征進(jìn)行特征提取和融合，實(shí)現(xiàn)多尺度的特征表示，并且每種尺度的特征都具有較密集的語義信息。考慮到遙感影像細(xì)節(jié)信息繁多，需要進(jìn)一步提取高層特征圖中對象之間的相互關(guān)系，提出一種注意力機(jī)制(weighted-convolutional block attention module，W-CBAM)，該注意力機(jī)制以全局上下文信息作為約束條件抑制或增強(qiáng)特征。在Decoder中，使用跳躍連接將語義信息更豐富的高層特征圖與空間信息更豐富的低層特征圖逐步融合，充分的利用空間和語義信息，使提取結(jié)果更細(xì)致。

1 RSDANet建筑物提取方法

RSDANet是一個(gè)基于編碼器-解碼器(Encoder-Decoder)結(jié)構(gòu)的建筑物提取網(wǎng)絡(luò)，其總體結(jié)構(gòu)如圖1所示。該網(wǎng)絡(luò)主要由殘差網(wǎng)絡(luò)、空洞卷積、深度可分離卷積、注意力機(jī)制等組成。在Encoder中，首先，經(jīng)過四層RSD Block初步提取特征，在RSD Block中，取消池化采用步長為2的卷積層來壓縮特征圖；其次，為了使每種尺度的特征達(dá)到多尺度的特征表達(dá)，在RSD Block后加入一個(gè)雙向的特征金字塔模塊；最后，將特征金字塔處理后的特征通過注意力機(jī)制W-CBAM進(jìn)行自適應(yīng)的特征抑制或增強(qiáng)。在Decoder中，通過Skip-Connection逐步將語義信息豐富的低分辨率特征與空間信息更豐富的高分辨率特征融合，最后恢復(fù)到原圖大小。

1.1 RSD Block

本文提出了一種多級殘差連接塊RSD Block，該結(jié)構(gòu)包括兩個(gè)殘差單元和三個(gè)殘差連接，具體結(jié)構(gòu)如圖2所示。第一個(gè)殘差單元與He等[20]提出的殘差網(wǎng)絡(luò)ResNet結(jié)構(gòu)相同，由2個(gè)3*3的卷積層串聯(lián)，外接一個(gè)殘差連接，并在每個(gè)卷積層后加入批量歸一化Batch Normalization和RELU激活函數(shù)。由于普通卷積感受野較小，局部特征的提取效果較好，為了提取更大范圍的特征，在第二個(gè)殘差單元中采用空洞率為2的空洞卷積。由于使用雙重殘差結(jié)構(gòu)，模型過大、參數(shù)過多，為了進(jìn)一步減少參數(shù)量，提高網(wǎng)絡(luò)的速度，在第二個(gè)殘差單元中將深度可分離卷積和空洞卷積結(jié)合，使用空洞率為2的深度可分離卷積。最后，在兩個(gè)殘差單元外接一個(gè)殘差連接。另外，RSD Block中去掉池化層，設(shè)置卷積步長為2完成特征下采樣。RSD Block中使用了兩種不同的殘差單元，可充分利用局部特征和局部特征周圍的上下文信息。

注：?拼接；⊕逐像素相加(Add)；?逐像素相乘；α*Fcs+0.5*d4,其中α為可訓(xùn)練權(quán)重；Fcs為增強(qiáng)或仰制后的特征；r1、r2、r3、r4,d1、d2、d3、d4為卷積得到的特征；u1、u2、u3、u4,o1、o2、o3、o4為上采樣得到的特征；c4、s4分別為通道注意力和空間注意力提取得到的特征。圖1 RSDANet結(jié)構(gòu)圖

圖2 RSD Block結(jié)構(gòu)圖

1.2 雙向FPN

在經(jīng)過四層步長為2的RSD Block初步的特征提取后可以得到四個(gè)不同尺度的特征r1、r2、r3、r4，為了進(jìn)一步將不同尺度特征融合，設(shè)計(jì)了一個(gè)簡單雙向的FPN結(jié)構(gòu)，該結(jié)構(gòu)如圖3所示，依次進(jìn)行自上而下的Up-FPN和自下而上的Down-FPN，實(shí)現(xiàn)多尺度特征融合。Up-FPN首先對r4進(jìn)行卷積得到特征u4，u4通過上采樣與r3融合得到特征u3，u3按照同樣方法得到特征u2、u1。Down-FPN則是對u1進(jìn)行卷積得到特征d1，d1下采樣與u2融合得到特征d2，最后依次得到特征d3、d4。經(jīng)過雙向FPN處理后，特征金字塔對每一種尺度的特征圖進(jìn)行特征提取，使得每種尺度的特征圖能夠產(chǎn)生多尺度的特征表示，并且所有尺度的特征圖都具有較強(qiáng)的語義信息。

圖3 雙向FPN結(jié)構(gòu)圖

1.3 W-CBAM

通過RSD Block以及雙向FPN對輸入數(shù)據(jù)進(jìn)行特征提取，可以得到包含豐富語義信息的多尺度特征。為了進(jìn)一步提取高級特征圖中對象之間的相互關(guān)系，提出了一個(gè)W-CBAM模塊以自適應(yīng)的方式抑制或增強(qiáng)特征，該模塊結(jié)構(gòu)如圖4所示。該結(jié)構(gòu)結(jié)合了卷積注意力模塊(convolutional block attention module，CBAM)[21]和Dual Attention[22]，在CBAM的基礎(chǔ)上加入Dual Attention的融合方式，即給定一個(gè)初始值為0的可訓(xùn)練權(quán)重α，在網(wǎng)絡(luò)訓(xùn)練過程中逐漸調(diào)節(jié)權(quán)重，權(quán)重為0時(shí)，相當(dāng)于不進(jìn)行注意力機(jī)制。W-CBAM由通道注意力和空間注意力構(gòu)成。首先，通道注意力使用全局平均池化、最大池化將d4∈Rw×h×c空間維度的特征聚合到通道維度得到特征Fcm∈R1×1×c、Fca∈R1×1×c。其次，使用兩個(gè)全連接層對聚合后的兩種特征Fcm、Fca進(jìn)一步提取，將處理后的特征通過逐像素相加方法融合，融合后得到特征e4∈R1×1×c，e4可視作通道維度的全局上下文信息，通過全局上下文信息與輸入特征逐像素相乘來抑制或增強(qiáng)特征得到特征Fcs∈Rw×h×c。再次，賦予Fcs一個(gè)初始值為0權(quán)重α并與d4使用逐像素相加方法融合，得到特征c4∈Rw×h×c，此時(shí)d4的值取一半；空間注意力則從空間維度出發(fā)，將d4∈Rw×h×c通道維度的特征聚合到空間維度得到Fsm∈Rw×h×1、Fsa∈Rw×h×1，聚合方式與通道注意力相同，分別取平均和最大值。然后，將聚合后的特征拼接得到新的特征f4∈Rw×h×2，使用5×5大小的卷積核對f4特征提取和通道壓縮得到特征g4∈Rw×h×1，該特征可看作空間維度的全局上下文信息，相似地，將其與d4逐像素相乘得到Fcs∈Rw×h×c，賦予Fcs一個(gè)初始值為0權(quán)重α并與d4融合，得到s4∈Rw×h×c，此時(shí)d4的值取一半。最后，將空間注意力和通道注意力處理后得到的特征c4、s4逐像素相加，由于d4參與兩次逐像素相加運(yùn)算，故取一半。多尺度特征經(jīng)過全局上下文信息作為約束條件進(jìn)一步處理，可以有效地增強(qiáng)或抑制特征，使得遙感影像中建筑物和背景更好被區(qū)分。

注：本圖圖注詳見圖1及上文。圖4 W-CBAM結(jié)構(gòu)圖

1.4 Decoder

特征解碼器模塊用于恢復(fù)編碼器提取的語義特征，生成與輸入數(shù)據(jù)大小相同的預(yù)測圖。在解碼器中，使用雙線性上采樣和卷積結(jié)合的方式放大特征圖。而在編碼器部分，由于遙感影像通過卷積操作不斷下采樣，分辨率被壓縮到非常小，損失了很多的空間位置信息，不利于精確的預(yù)測圖生成。為了解決這個(gè)問題，本文借鑒U-Net的處理方法，通過Skip-Connection把低層的特征圖融合起來，通過融合特征分辨率較高、層數(shù)淺、含有豐富空間信息的特征，更利于生成精細(xì)的預(yù)測圖。

2 實(shí)驗(yàn)結(jié)果

2.1 實(shí)驗(yàn)數(shù)據(jù)與訓(xùn)練方法

選取某區(qū)域的高分二號遙感影像作為數(shù)據(jù)源驗(yàn)證本文算法，將標(biāo)注好的數(shù)據(jù)按256像素×256像素大小分割得到2 000張圖片作為訓(xùn)練數(shù)據(jù)集，記作GF2-TrainSet，部分訓(xùn)練數(shù)據(jù)如圖5所示，上半部分圖片為遙感影像，下半部分圖片為標(biāo)注結(jié)果。從剩余的遙感影像中截取一塊影像并分割得到2 700張遙感影像作為測試數(shù)據(jù)集，記作GF2-TestSet。

圖5 訓(xùn)練數(shù)據(jù)

為了使模型有較好的魯棒性，對訓(xùn)練數(shù)據(jù)做隨機(jī)裁剪、擴(kuò)充、旋轉(zhuǎn)、翻轉(zhuǎn)、濾波等操作擴(kuò)充樣本，數(shù)據(jù)增強(qiáng)結(jié)果如圖6所示。

圖6 圖像增強(qiáng)結(jié)果

本次訓(xùn)練分為兩個(gè)階段，使用常用的交叉熵?fù)p失函數(shù)和Adam優(yōu)化器。第一個(gè)階段使用學(xué)習(xí)率為0.001進(jìn)行初步訓(xùn)練；第二個(gè)階段降低學(xué)習(xí)率為0.000 1微調(diào)模型。具體訓(xùn)練超參數(shù)見表1。算法實(shí)現(xiàn)使用Tensorflow+Keras深度學(xué)習(xí)框架，在GPU(Tesla T4)提供的運(yùn)算環(huán)境下完成訓(xùn)練，訓(xùn)練過程中的準(zhǔn)確率(accuracy)和損失(loss)如圖7所示。

表1 訓(xùn)練超參數(shù)

圖7 訓(xùn)練損失和準(zhǔn)確率曲線

2.2 精度評定指標(biāo)

為了更好地驗(yàn)證本文算法的分割效果，實(shí)驗(yàn)采用語義分割中常用的像素準(zhǔn)確率(pixel accuracy，PA)、像素平均交并比(mean intersect over union，MIoU)作為精度評定指標(biāo)[23]。在介紹上述指標(biāo)時(shí)，先要了解混淆矩陣，如表2所示，它是一種特定的矩陣用來呈現(xiàn)算法性能，其每一列代表預(yù)測值，每一行代表真實(shí)值。

表2 混淆矩陣

其中,TP表示真正類，即樣本的屬性為正類，預(yù)測結(jié)果也為正類；FN表示假正類，即樣本的屬性為正類，預(yù)測結(jié)果為負(fù)類；FP表示假負(fù)類，即樣本的屬性為負(fù)類，預(yù)測結(jié)果為正類；FN表示真負(fù)類，即樣本的屬性為負(fù)類，預(yù)測結(jié)果也為負(fù)類。像素準(zhǔn)確率PA的計(jì)算如式(1)所示，像素平均交并比MIoU的計(jì)算如式(2)所示。

(1)

(2)

2.3 結(jié)果分析

使用2.1節(jié)介紹的超參數(shù)訓(xùn)練，網(wǎng)絡(luò)收斂后得到建筑物提取模型。使用該模型在測試數(shù)據(jù)集GF2-TestSet測試得到的整體結(jié)果如圖8所示，可以看出提取結(jié)果與真實(shí)值高度重合。

圖8 RSDANet提取結(jié)果

為了進(jìn)一步驗(yàn)證本文算法，本文同時(shí)和U-Net、Deeplabv3+算法對比，各算法在測試數(shù)據(jù)集GF2-TestSet上的精度評價(jià)指標(biāo)如表3所示。從表3可以看出，RSDANet算法精度最高，而U-Net參數(shù)量最多，提取速度最慢，Deeplabv3+使用MoblieNetV2作為特征提取網(wǎng)絡(luò)時(shí)，雖然很大程度上減少了參數(shù)量，提高了建筑物提取速度，但在測試集GF2-TestSet的提取效果卻最差；在使用Xception65作為特征提取網(wǎng)絡(luò)時(shí)，Deeplabv3+方法在測試集上MIoU提高了4.75%，同時(shí)PA提高了0.79%。本文方法相比于Xception65+Deeplabv3+方法，不僅MIoU提高了2.24%，PA提高0.31%，算法的參數(shù)數(shù)量也有所減少，兼顧了精度和速度。

表3 不同算法的精度評定指標(biāo)對比

不同算法的部分提取結(jié)果如圖9所示。從圖9的提取結(jié)果可以看出，相對于U-Net、Deeplabv3+等算法，本文方法的誤檢、漏檢都有相應(yīng)的減少，提取結(jié)果更接近于真實(shí)值，基本上能提取出所有的建筑物目標(biāo)。

圖9 不同算法提取結(jié)果對比

為了驗(yàn)證W-CBAM的有效性，本文同樣做了相應(yīng)的驗(yàn)證，即去掉RSDANet中的W-CBAM模塊以及在U-Net中加入W-CBAM模塊進(jìn)行對比，對比結(jié)果如表4所示。從表4可以看出，無論是U-Net還是RSDNet方法，在加入W-CBAM注意力模塊后，PA、MIoU指標(biāo)均有提高，說明W-CBAM模塊的有效性。

表4 W-CBAM驗(yàn)證結(jié)果

3 結(jié)束語

本文提出的融合注意力機(jī)制的建筑物提取網(wǎng)絡(luò)模型實(shí)現(xiàn)了以自適應(yīng)的方式進(jìn)一步約束遙感影像特征，可以有效解決遙感影像中因細(xì)節(jié)信息復(fù)雜導(dǎo)致的特征提取困難、分割精度低等問題。同時(shí)，該注意力機(jī)制與其他語義分割算法如U--Net、Deeplab等結(jié)合也十分方便。為了獲得更豐富、更大范圍的上下文語義信息，設(shè)計(jì)了一個(gè)多殘差連接塊RSD Block，在普通的殘差結(jié)構(gòu)之后增加了一個(gè)帶有空洞卷積的殘差結(jié)構(gòu)，借助空洞卷積，可以增大感受野，使卷積核映射的特征范圍更大。除此之外，模型中還加入了雙向的特征金字塔結(jié)構(gòu)用于捕獲多尺度信息，提高模型的泛化能力。實(shí)驗(yàn)結(jié)果表明，該方法在建筑物提取方面有不錯(cuò)的表現(xiàn)。不過，模型的邊緣檢測精度仍有待提高，下一步將重點(diǎn)研究加入建筑物的邊緣約束條件，并將其擴(kuò)展至本文方法。同時(shí)，希望可以在該方法的基礎(chǔ)上擴(kuò)展，實(shí)現(xiàn)遙感影像中其他地物目標(biāo)的提取。