融合注意力機(jī)制及DenseASPP改進(jìn)的DeeplabV3+遙感圖像分割方法

周羿,劉德兒

(江西理工大學(xué) 土木與測繪工程學(xué)院,江西 贛州 341000)

0 引言

近年來,隨著遙感技術(shù)的快速發(fā)展,遙感影像的分辨率不斷提高,高分遙感影像所能夠表達(dá)的地表信息越來越精細(xì),對(duì)遙感圖像語義信息的提取方法也從目視解譯的方法到傳統(tǒng)的邊緣監(jiān)測、閾值、區(qū)域的分割方法,再到機(jī)器學(xué)習(xí)的支持向量機(jī)(support vector machine,SVM)、隨機(jī)森林(random forest,RF)、馬爾科夫隨機(jī)場MRF,及boosting等方法[1]。遙感圖像中場景復(fù)雜,同一場景下,地物分布以及形狀不規(guī)則,同一物體尺度大小不一致,地物之間相互遮擋,復(fù)雜的背景下存在陰影遮擋,以及高分辨率遙感影像存在地物類別復(fù)雜,出現(xiàn) “同物異譜、同譜異物”[2]“類內(nèi)差異大、類間差異小”的特點(diǎn)[3]。因?yàn)橐陨纤惴ㄗ陨泶嬖诰窒扌?只能夠提取遙感圖像的淺層特征,不能夠充分提取其高維的特征。利用傳統(tǒng)的方法,在高分辨率遙感圖像語義分割中,存在精度上限低、魯棒性差、分類時(shí)地物間容易混淆、不能很好地反映建筑物的空間連續(xù)性等空間特征等缺點(diǎn)。由于以上原因,以上方法已經(jīng)不再適合作為高分辨率遙感影像的分割手段。

如今使用深度學(xué)習(xí)對(duì)高分辨率遙感圖像進(jìn)行圖像分類及語義分割已經(jīng)成為主流方法。其特點(diǎn)在于,其卷積神經(jīng)網(wǎng)絡(luò)中具有很強(qiáng)的特征提取能力以及空間層次結(jié)構(gòu)的學(xué)習(xí)能力,可以很好地利用高分辨率遙感影像的空間特征以及光譜特征。目前國內(nèi)外學(xué)者也利用深度學(xué)習(xí)對(duì)高分辨率遙感圖像進(jìn)行了一系列研究,取得了良好的效果。目前使用深度學(xué)習(xí)對(duì)遙感影像分割的比較常用的方法包括使用FCN[4]、U-Net[5]、SegNet[6]、DeeplabV3+[7]等網(wǎng)絡(luò),以及在這些網(wǎng)絡(luò)的基礎(chǔ)上改進(jìn)的網(wǎng)絡(luò)。

其中,Rui等[8]使用空洞卷積替換FCN中的標(biāo)準(zhǔn)卷積,同時(shí)利用圖論的分割方法及選擇性搜索的方法做數(shù)據(jù)增強(qiáng),最后使用了CRF作為后處理方法,來細(xì)化分割邊界。

何值蒙等[9]針對(duì)遙感圖像中建筑物提取存在邊緣模糊、細(xì)節(jié)丟失,以及轉(zhuǎn)角圓滑等問題,在U-Net網(wǎng)絡(luò)的基礎(chǔ)上,提出了基于空洞卷積的增強(qiáng)型U-Net(enhanced U-Net,E-Unet),即在原始的架構(gòu)中添加空洞卷積、跳躍連接,以及Dropout模塊。同時(shí)在預(yù)處理中,將原始影像進(jìn)行直方圖均衡化、邊緣檢測(高斯雙邊濾波)、波段間比值后與原始圖像一起轉(zhuǎn)換為多波段的張量輸入神經(jīng)網(wǎng)絡(luò)。通過改進(jìn),得到了一種有更強(qiáng)細(xì)節(jié)保留能力及抗噪能力的模型,提取精度也明顯提高。

目前,現(xiàn)有的方法取得了一定的成果,但仍有提升的空間。由于遙感場景中,目標(biāo)多尺度問題廣泛存在,受到郭新等[10]的啟發(fā),在擁有multi-scale結(jié)構(gòu)的網(wǎng)絡(luò)上進(jìn)一步引入多尺度結(jié)構(gòu)進(jìn)行訓(xùn)練能夠更好地提升網(wǎng)絡(luò)性能?？紤]到捕獲長距離依賴關(guān)系對(duì)于深度神經(jīng)網(wǎng)絡(luò)至關(guān)重要,而遙感影像中,長距離依賴需要非常大感受野才能捕獲,不管是時(shí)域還是空域,使用卷積運(yùn)算只能捕獲局部領(lǐng)域信息,因此本文在網(wǎng)絡(luò)中添加金字塔拆分注意力模塊[11](pyramid split attention,PSA),通過金字塔結(jié)構(gòu)獲得更多的多尺度信息,并且?guī)椭W(wǎng)絡(luò)關(guān)注關(guān)鍵信息的同時(shí)建立長距離依賴關(guān)系。由于ASPP在使用較大空洞率時(shí),空洞卷積可能出現(xiàn)效率低或失效等情況,為了避免空洞卷積出現(xiàn)效率低或是失效的情況,我們通過使用DenseASPP替換ASPP。本文提出改進(jìn)的DeeplabV3+高分辨率遙感圖像語義分割算法,該方法結(jié)合了PSA模塊、編解碼器與密集空洞金字塔池化[12],提供了一種有著更大感受野,能夠有效地幫助網(wǎng)絡(luò)在特征提取階段提供更密集的特征金字塔層,獲得更多的多尺度上下文信息,產(chǎn)生更好的像素級(jí)注意力。為了驗(yàn)證改進(jìn)后的算法效果,使用了Vaihingen和WHDLD數(shù)據(jù)集進(jìn)行驗(yàn)證,并與其他模型進(jìn)行對(duì)比。

1 金字塔拆分注意力模塊及DenseASPP的DeeplabV3+網(wǎng)絡(luò)

1.1 DeeplabV3+網(wǎng)絡(luò)結(jié)構(gòu)

DeeplabV3+網(wǎng)絡(luò)是基于DeeplabV3網(wǎng)絡(luò)模型的一種改進(jìn),其主要特點(diǎn)是一種融合編解碼器與空間空洞金字塔池化模塊的結(jié)構(gòu)。DeeplabV3+的第一個(gè)特點(diǎn)是使用編解碼器結(jié)構(gòu),在編碼器中,首先,將原始圖像通過一個(gè)特征提取網(wǎng)絡(luò),分別得到原始圖像的深層特征以及淺層特征;其次,將深層特征傳入到ASPP模塊中。在解碼器中,使用通過ASPP模塊后輸出的特征經(jīng)過上采樣后與一次卷積運(yùn)算后的淺層特征拼接,經(jīng)過卷積和上采樣后得到最終的特征圖。DeeplabV3+的第二個(gè)特點(diǎn)是使用ASPP模塊,該模塊包括一個(gè)1×1卷積核,3個(gè)3×3卷積核,空洞率分別為6、12、18的空洞卷積,1個(gè)全局平均池化層。ASPP模塊由以上卷積層并行組成,每個(gè)不同大小空洞率提取的特征單獨(dú)處理,最終融合得到輸出,輸出的結(jié)果是多尺度的物體信息。一般卷積為了擴(kuò)大感受野,需要使用較大的卷積核或者更大的步長,這樣會(huì)導(dǎo)致計(jì)算量過大,或者損失分辨率,而ASPP模塊由空洞卷積(atrous convolution)組成,在擴(kuò)大感受野的同時(shí),不會(huì)使分辨率降低太多,也不需要太大的計(jì)算量。

1.2 金字塔拆分注意力模塊

面對(duì)自然界繁雜的消息,人們通過注意力來篩選重要的信息,避免大腦過負(fù)荷。在深度學(xué)習(xí)中,為了從復(fù)雜的信息中提取更有價(jià)值的信息,人們通過引入注意力機(jī)制,給關(guān)鍵的信息添加更大的權(quán)重,分配更多的運(yùn)算資源。SE-Net(squeeze-and-excitation networks)[13]僅使用了通道注意力,忽略了空間信息的重要性。對(duì)于遙感圖像,空間關(guān)系是其中十分重要的一個(gè)部分,因此在DeeplabV3+中加入金字塔拆分注意力模塊,可以從更精細(xì)的層次上提取遙感圖像的多尺度空間信息,并建立一種長距離的通道依賴關(guān)系。

SE模塊如圖2所示。SE模塊于2017年被提出,之后許多注意力機(jī)制都借鑒其思想,提出了各種改進(jìn)。其主要步驟分為3步。第一步為特征壓縮階段,將大小為H×W×C的特征圖通過全局平均池化的方法得到每個(gè)通道的大小為1×1×C的全局特征。第二步使用sigmoid激活函數(shù)來重新定標(biāo),其目的是學(xué)習(xí)各個(gè)通道之間的權(quán)重關(guān)系,通過計(jì)算不同通道的權(quán)重,得到1×1×C的權(quán)重。最后將權(quán)重與特征圖相乘,在遙感圖像的分割中,對(duì)于不同種類的分割,可以達(dá)到提升有用的特征并抑制對(duì)當(dāng)前任務(wù)用處不大的特征的效果。

大學(xué)教師相對(duì)于中小學(xué)教師具有較高的文化修養(yǎng)，在某一專項(xiàng)領(lǐng)域也有一定的獨(dú)特見解.大多數(shù)大學(xué)的足球教師擁有較高的實(shí)踐能力.

圖2 SE模塊結(jié)構(gòu)

金字塔拆分注意力模塊總流程如圖3所示。首先將H×W×C的特征向量利用SPC模塊分成S塊,通過金字塔結(jié)構(gòu)得到通道方面的多尺度特征Fi,將由Fi合并之后的特征圖U通過SE模塊計(jì)算得到多尺度特征圖通道注意力權(quán)重Zi,這樣可以使PSA模塊融合不同尺度的上下文信息,并為高級(jí)特征圖產(chǎn)生更好的像素級(jí)注意力。接著,為了實(shí)現(xiàn)局部和全局通道注意力之間的交互,將softmax用于多尺度特征圖通道注意力權(quán)重的重新校準(zhǔn),最后得到的結(jié)果ATTi既包含了空間上的位置信息又含有通道中的注意力權(quán)重。最后將重新校準(zhǔn)的權(quán)重與特征圖相乘,得到最終結(jié)果。在遙感圖像語義分割中,使用PSA模塊,可以將多尺度的空間信息與跨通道注意力整合,使得最后的結(jié)果既可以在更細(xì)粒度的級(jí)別提取多尺度空間信息,又可以建立一種更長距離的通道間的依賴關(guān)系。

圖3 金字塔拆分注意力模塊總流程

1.3 DenseASPP

DeeplabV3+在模型中通過使用ASPP,在圖像的特征提取時(shí)獲得了更大的感受野,同時(shí)保證了特征圖的空間分辨率。該模塊使用多個(gè)空洞率大小不同的卷積層,構(gòu)建了不同感受野的卷積核,從而得到多尺度特征信息。但是在遙感圖像的語義分割中,ASPP同樣也有一個(gè)缺點(diǎn),即使用高分辨率的圖像提取特征,通常需要更大的感受野,因此ASPP必須使用具有足夠大空洞率的空洞卷積來擴(kuò)大感受野。但是在進(jìn)行卷積運(yùn)算時(shí),由于空洞卷積的特性,其每次只選取少量的像素點(diǎn)運(yùn)算,因此會(huì)丟失掉大量的信息,并且隨著空洞率的增加,空洞卷積效率也會(huì)隨之降低甚至不起作用。

針對(duì)此問題,本文將DeeplabV3+模型中的ASPP模塊替換成了DenseASPP模塊,得到了一種能夠兼顧更大的感受野以及獲得更多的尺度特征的模型,可以更加適合高分辨率遙感圖像的語義分割。

DenseASPP通過級(jí)聯(lián)方式來組織擴(kuò)張卷積層,每個(gè)卷積層的輸出與輸入特征圖和來自較低層的所有輸出連接起來,并將連接起來的特征圖送入下一層。由此,可以得到多擴(kuò)張率、多尺度的特征。相較于ASPP模塊,該模型的擴(kuò)張卷積通過跳躍連接共享信息,使得輸出有著更密集的特征金字塔,即卷積中涉及的像素更多,存在的漏洞更小,以及具有更大的感受野。

本文構(gòu)建的網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示,在使用ResNet101[14]作為特征提取網(wǎng)絡(luò)的DeeplabV3+的基礎(chǔ)上添加了PSA模塊及將ASPP更改為DenseASPP模塊的模型。

圖4 本文網(wǎng)絡(luò)結(jié)構(gòu)

2 實(shí)驗(yàn)與結(jié)果分析

2.1 改進(jìn)效果對(duì)比

本文進(jìn)行的實(shí)驗(yàn)均使用Pytorch框架,其中Vaihingen數(shù)據(jù)集共包括33幅遙感影像,共標(biāo)注了6種地物,將數(shù)據(jù)集按照8∶2劃分訓(xùn)練集和驗(yàn)證集,其中訓(xùn)練集26幅,驗(yàn)證集7幅。為了減小計(jì)算機(jī)顯存,提高效率,將原始圖像按256×256的尺寸進(jìn)行裁剪,裁剪后共得到訓(xùn)練集2 224個(gè),測試集614個(gè)。WHDLD數(shù)據(jù)集[15-16]共4 940張圖片,其中標(biāo)注了6種地物,使用3 950張作為訓(xùn)練集,990張作為驗(yàn)證集。為了防止過擬合,增加樣本多樣性,在訓(xùn)練過程中使用了亮度增強(qiáng),隨機(jī)旋轉(zhuǎn)等方法做數(shù)據(jù)增強(qiáng)。

實(shí)驗(yàn)中,損失函數(shù)設(shè)置為交叉熵?fù)p失函數(shù),實(shí)驗(yàn)時(shí),選擇的優(yōu)化器為adam優(yōu)化器,初始學(xué)習(xí)率設(shè)置為0.001,使用間隔調(diào)整學(xué)習(xí)率的策略,每訓(xùn)練5次,學(xué)習(xí)率下降為之前的0.8。

改進(jìn)前以及改進(jìn)后的實(shí)驗(yàn)精度如表1所示。從表中可以看出,在原始的DeeplabV3+網(wǎng)絡(luò)中,無論是分別添加PSA注意力模塊,或者是將ASPP模塊更改為DenseASPP模塊,都能有效地提高模型的分割效果,最后改進(jìn)的模型添加PSA模塊以及DenseASPP模塊,相較于原模型,在 MIoU以及F1分?jǐn)?shù)等指標(biāo)方面都有了一定程度的提升。改進(jìn)后模型相較于原模型的預(yù)測結(jié)果的提升如表1所示。之后,從各模型對(duì)高分辨率遙感影像的預(yù)測結(jié)果,也可以看出預(yù)測效果的提升,具體實(shí)驗(yàn)結(jié)果如圖5所示。

表1 DeeplabV3+及其改進(jìn)模型精度對(duì)比(Vaihingen數(shù)據(jù)集) %

圖5 模型改進(jìn)前后實(shí)驗(yàn)結(jié)果對(duì)比

從圖5中可以看出,相較于模型,在添加PSA模塊之后,模型在分割中,對(duì)于每個(gè)類的識(shí)別更加精確,而原模型識(shí)別效果較差的小物體的識(shí)別效果也有了提升,相較于原模型的同類地物有了更高的識(shí)別率。這是因?yàn)樵谔砑覲SA模塊之后,通過通道注意力機(jī)制,對(duì)于每個(gè)不同的類別的高級(jí)語義特征重新賦予權(quán)重,通過權(quán)重的添加,一些準(zhǔn)確率低的地區(qū)可以更加準(zhǔn)確地被劃分到原來的類,因此能夠更加清楚地識(shí)別出每個(gè)類別之間地物的區(qū)別,增加模型準(zhǔn)確性。

而本文改進(jìn)的模型在以上二者之上,綜合了其中兩個(gè)模型的優(yōu)點(diǎn)。相較于原模型,在類與類之間的混淆率明顯降低,可以精確地區(qū)分每個(gè)類別之間的差異,同時(shí)對(duì)于類之間的識(shí)別也更加精確,可以準(zhǔn)確識(shí)別出每個(gè)類地物的詳細(xì)信息。

2.2 不同模型對(duì)比

通過本文提出方法與其他模型的實(shí)驗(yàn)效果進(jìn)行對(duì)比,可以看出本文提出的方法具有一定的優(yōu)勢,具體對(duì)比如表2、表3所示。相較于其他模型,所提出方法的MIoU、F1分?jǐn)?shù)都有了一定的提高。相較于原始模型,Vaihingen數(shù)據(jù)集中MIoU提高了2.8%,F1分?jǐn)?shù)提高了2.1%;WHDLD模型中MIoU提升了0.9%,F1分?jǐn)?shù)提高了0.73%。具體預(yù)測結(jié)果的區(qū)別如圖6及圖7所示。

表2 本文提出方法與其他模型精度對(duì)比(Vaihingen數(shù)據(jù)集)

表3 本文提出方法與其他模型精度對(duì)比(WHDLD數(shù)據(jù)集)

圖6 不同模型結(jié)果對(duì)比(Vaihingen數(shù)據(jù)集)

圖7 不同模型結(jié)果對(duì)比(WHDLD數(shù)據(jù)集)

通過實(shí)驗(yàn)結(jié)果可以發(fā)現(xiàn),FCN在物體分割時(shí)有著一定效果,能夠大概識(shí)別出各類物體,但是錯(cuò)分率較高,各類之間的混淆較多,同時(shí)對(duì)建筑物的分割常出現(xiàn)漏分或錯(cuò)分的情況。U-Net對(duì)于物體的邊界輪廓信息分割得較好,但是同類之間的分割不夠精確,不同種類混淆程度較高、錯(cuò)誤率較高,同樣不符合空間地物分布邏輯。SegNet識(shí)別大規(guī)模分布的物體(如建筑)的效果較好,但是在分割細(xì)節(jié)上表現(xiàn)得十分粗糙,物體的邊界也不夠細(xì)膩,出現(xiàn)的噪點(diǎn)較多。未改進(jìn)的DeeplabV3+模型,相對(duì)于前幾個(gè)模型分類效果更佳,但是在不同種類物體的邊緣處分類效果不佳。本文提出的方法相對(duì)于以上幾個(gè)模型,能夠更加精確地區(qū)分每個(gè)地物類別,對(duì)于同類地物分類更加精確詳細(xì),同時(shí)分割的結(jié)果更符合地學(xué)邏輯,也沒有其他模型的噪點(diǎn)較多的缺點(diǎn),不同種類物體之間邊緣的提取更加精確。

3 結(jié)束語

本文針對(duì)遙感圖像的語義分割,提出了一種基于DeeplabV3+模型的改進(jìn)模型,在DeeplabV3+模型的基礎(chǔ)增加了金字塔拆分注意力模塊,同時(shí)將DeeplabV3+模型中的ASPP模塊更改為了DenseASPP模塊,得到了一種在語義分割上表現(xiàn)更加優(yōu)異的模型。該模型在編碼器階段,通過金字塔拆分注意力模塊,使得高級(jí)特征圖有了更好的像素級(jí)注意力及更細(xì)粒度級(jí)別的多尺度空間信息。通過使用DenseASPP模塊,使模型能夠考慮更多像素,兼顧更大的感受野以及獲得更多的尺度特征,同時(shí)解決了空洞率增加導(dǎo)致卷積失效的問題。相較于原模型以及其他常用的語義分割模型(FCN、U-Net、SegNet),該模型有著更加高的準(zhǔn)確率。

但是新模型仍有以下問題需要解決。首先是陰影對(duì)分割的結(jié)果影響仍然存在,在陰影嚴(yán)重的區(qū)域,模型不能很好地識(shí)別出地物的種類;其次是受到圖像本身的限制,二維圖像不能很好地體現(xiàn)出物體本身的高度特性,導(dǎo)致模型不能很好地識(shí)別樹木與較矮的灌木之間的差異;最后是各類物體的邊緣與真實(shí)情況之間仍存在一定的差異。