多層級(jí)特征增強(qiáng)聚合的遙感圖像細(xì)小水體提取

孟月波,王 靜,劉光輝

(西安建筑科技大學(xué)信息與控制工程學(xué)院,陜西 西安 710055)

0 引言

水體提取作為遙感圖像地物分割中的一個(gè)重要任務(wù),包含對(duì)河流、湖泊、坑塘及水庫等豐富類型的提取,在水資源監(jiān)測(cè)和自然災(zāi)害評(píng)估等方面具有重要作用[1]。目前高分辨率遙感圖像水體提取方法在特征簡(jiǎn)單的大中型水體上呈現(xiàn)出較優(yōu)的提取結(jié)果,但對(duì)于紋理、輪廓、光譜特征各有差異的細(xì)小水體提取的性能較差。細(xì)小水體是小尺度水體及細(xì)長(zhǎng)狹窄水體的總稱,在遙感圖像中展現(xiàn)出多樣的屬性和細(xì)節(jié)信息[2],具有像素占比較少、特征不明顯等特點(diǎn)。其中細(xì)小水體特征不明顯主要表現(xiàn)在外部邊界不清晰、紋理特征不突出、與鄰近背景相似度高。因此,在遙感圖像中可以捕獲到的目標(biāo)有效特征少且目標(biāo)容易受到相似目標(biāo)和其他地物陰影等背景噪聲的干擾,這使得細(xì)小水體的精確提取更具挑戰(zhàn)性。傳統(tǒng)遙感圖像水體提取方法處理流程繁瑣且特征表達(dá)能力弱,難以滿足不同區(qū)域細(xì)小水體提取對(duì)精度的要求。

隨著深度學(xué)習(xí)的不斷發(fā)展,深度卷積神經(jīng)網(wǎng)絡(luò)憑借其較強(qiáng)的深層次特征提取能力及非線性擬合能力被廣泛應(yīng)用于語義分割領(lǐng)域,在遙感圖像水體提取方面取得了諸多研究成果[3-4]。文獻(xiàn)[5]運(yùn)用FCN提取水體相比傳統(tǒng)算法取得最優(yōu)解,但由于下采樣路徑多次池化操作逐漸降低輸入特征圖的分辨率,且細(xì)小水體自身空間分布較少,導(dǎo)致目標(biāo)細(xì)節(jié)信息不斷減少甚至消失,提取精度明顯下降。文獻(xiàn)[6-7]針對(duì)細(xì)節(jié)信息損失致使細(xì)小水體分割結(jié)果變差的問題,提出了改進(jìn)的U-Net編解碼網(wǎng)絡(luò),通過強(qiáng)化下采樣結(jié)構(gòu)和改變跳躍連接方式增強(qiáng)低維特征信息,彌補(bǔ)空間信息的損失,但細(xì)小目標(biāo)很難通過跳躍連接恢復(fù),從而影響細(xì)小水體預(yù)測(cè)結(jié)果。文獻(xiàn)[8]在跳躍連接中添加殘差卷積結(jié)構(gòu)實(shí)現(xiàn)特征提取,增強(qiáng)中間層特征表達(dá),但其直接在整張?zhí)卣鲌D上進(jìn)行操作,未考慮細(xì)小目標(biāo)的空間位置信息。文獻(xiàn)[9]設(shè)計(jì)了中間層特征切分上采樣模塊用于自然圖像分割,通過擴(kuò)大區(qū)域內(nèi)的目標(biāo)提高其關(guān)注度,但特征提取能力欠佳,且網(wǎng)絡(luò)結(jié)構(gòu)過于冗余造成模型參數(shù)量較大。因此,本文認(rèn)為結(jié)合特征切分從空間維度上放大細(xì)小目標(biāo),并設(shè)計(jì)高效輕量的重點(diǎn)區(qū)域特征提取結(jié)構(gòu)是解決遙感圖像細(xì)小水體有效信息提取量少的有效思路。

由于遙感圖像中細(xì)小水體形狀特征多變,紋理空間特征豐富,淺層特征無法滿足細(xì)小水體的精準(zhǔn)提取。文獻(xiàn)[10]采用普通卷積作為骨干網(wǎng)絡(luò)提取圖像特征,但受限于卷積計(jì)算,小范圍感受野不利于充分利用圖像全局上下文信息進(jìn)行特征捕獲及更深層次的特征疊加,故選取性能優(yōu)異的骨干網(wǎng)絡(luò)挖掘穩(wěn)定深層特征是細(xì)小水體精確提取的前提。文獻(xiàn)[11-12]將編碼器編碼特征輸入到4個(gè)不同擴(kuò)張率的并行擴(kuò)張卷積中進(jìn)行學(xué)習(xí),提取更豐富的深層次上下文特征,但膨脹率過大使得相鄰像素?zé)o法參與運(yùn)算,不利于圖像連續(xù)信息的提取,導(dǎo)致細(xì)小水體分割效果較差,如何更好地利用空洞卷積進(jìn)一步獲取深層次語義特征是改善細(xì)小水體分割效果的關(guān)鍵問題。

細(xì)小目標(biāo)亮度、輪廓等信息特征響應(yīng)弱,易于地面其他相似物體相混淆是影響細(xì)小水體分割精度和實(shí)際效果的關(guān)鍵問題之一。一方面,文獻(xiàn)[12-13]提出利用注意力機(jī)制增強(qiáng)網(wǎng)絡(luò)對(duì)弱目標(biāo)信息的感知,抑制圖像噪聲信息,但不同層級(jí)特征語義信息都有差異,僅將關(guān)注機(jī)制應(yīng)用于單層特征圖而忽略了不同層級(jí)特征的重要性,無法發(fā)揮其最大優(yōu)勢(shì)。另一方面,解碼階段將具有較高語義信息的高層特征與富含空間細(xì)節(jié)的低層特征進(jìn)行特征聚合,獲取更具有判別力的特征表達(dá)。文獻(xiàn)[14]通過拼接操作聚合不同層級(jí)特征,但簡(jiǎn)單的聚合方式并未充分利用高低層特征之間的互補(bǔ)性,且額外噪聲會(huì)干擾高層水體語義特征的表達(dá)。文獻(xiàn)[15]設(shè)計(jì)特征聚合模塊,通過對(duì)直接拼接后的特征輔以全局池化操作,生成全局上下文優(yōu)化特征聚合過程,但其未考慮高低層特征之間的語義差距,直接利用低層特征幫助高層特征恢復(fù)圖像細(xì)節(jié),造成有用信息的丟失和無用信息的冗余,從而使網(wǎng)絡(luò)模型的性能下降。

基于以上分析,本文基于U型網(wǎng)絡(luò)提出一種多層級(jí)特征增強(qiáng)聚合的遙感圖像細(xì)小水體語義分割方法(multi-level feature enhancement aggregation network,MLEA-Net),旨在充分保留遙感圖像中的空間細(xì)節(jié)信息,同時(shí)獲取高質(zhì)量的語義上下文信息,改善最終輸出特征圖的質(zhì)量,提高遙感圖像細(xì)小水體的分割精度和效果。

1 相關(guān)研究工作

1.1 U型網(wǎng)絡(luò)

U型網(wǎng)絡(luò)采用編解碼結(jié)構(gòu)學(xué)習(xí)特征的豐富層次表達(dá),編碼部分對(duì)輸入圖像進(jìn)行特征提取,解碼部分將編碼端輸出特征圖通過上采樣還原至原圖尺寸,結(jié)合跳躍連接融合多尺度特征信息,提供高低特征圖的同時(shí)加速模型收斂。U型網(wǎng)絡(luò)利用特殊對(duì)稱結(jié)構(gòu)在高分辨率圖像中獲取局部特征,在低分辨率圖像中捕捉全局特征,實(shí)現(xiàn)端到端分割,被廣泛應(yīng)用于遙感影像水體提取任務(wù)。U型結(jié)構(gòu)如圖1所示。

1.2 CSPDarknet53特征提取

遙感圖像中細(xì)小水體具有形狀特征多變,紋理空間信息豐富等特點(diǎn),其深度特征利用不足不能較好地滿足細(xì)小水體的識(shí)別與提取。深度卷積神經(jīng)網(wǎng)絡(luò)CSPDarknet53[16]引入了CSP-Resblock_body模塊,通過截?cái)嗵荻攘鞯姆绞椒乐惯^多重復(fù)梯度信息,既增強(qiáng)了網(wǎng)絡(luò)對(duì)目標(biāo)特征的學(xué)習(xí)能力,又解決了深層次網(wǎng)絡(luò)帶來的計(jì)算瓶頸問題,大幅節(jié)省計(jì)算內(nèi)存的消耗;同時(shí)合理的卷積層數(shù)量設(shè)計(jì)使其感受野可覆蓋更大的圖像面積。所采用的CSPDarknet53由stem,stage0-stage4組成。stage0-stage4分別對(duì)應(yīng)5個(gè)CSP-Resbody模塊,5個(gè)模塊中分別由1,2,8,8四個(gè)小的殘差塊組成,其中利用3×3卷積代替maxpool層實(shí)現(xiàn)下采樣。另外網(wǎng)絡(luò)前端的stem由1個(gè)3×3的卷積層組成。CSPDarknet53網(wǎng)絡(luò)及CSP-Resbody模塊如圖2所示。

圖2 CSPDarknet53 網(wǎng)絡(luò)結(jié)構(gòu)及CSP-Resbody模塊Fig.2 CSPDarknet53 Network and CSP-Resbody module

圖2(a)為CSPDarknet53的網(wǎng)絡(luò)結(jié)構(gòu),圖2(b)為CSP-Resbody模塊,該模塊在保持原來Bottleneck的基礎(chǔ)上,利用卷積的方式將輸入的特征分為兩個(gè)部分,其中一部分做ResNet的殘差卷積,另一部分為1×1卷積,最后與另一部分進(jìn)行cat拼接操作,與單分支殘差塊相比,獲取了更豐富的梯度融合信息且降低了計(jì)算量。

1.3 非對(duì)稱卷積塊

與普通卷積相比,非對(duì)稱卷積塊[17](asymmetric convolution block,ACB)用兩個(gè)一維非對(duì)稱卷積分別從水平和垂直方向?qū)Ψ胶司矸e進(jìn)行特征增強(qiáng),減輕冗余信息對(duì)捕獲代表性特征的影響,然后將3個(gè)并行卷積核獲取的信息集中到方核卷積,在不增加額外計(jì)算量的基礎(chǔ)上,提取到豐富的空間細(xì)節(jié)信息,保證網(wǎng)絡(luò)對(duì)各切分區(qū)域內(nèi)目標(biāo)具有良好地辨識(shí)能力,利用式(1)、式(2)描述非對(duì)稱卷積塊:

CXI=Lconv3×3(XI)+Lconv1×3(XI)+Lconv3×1(XIi),

(1)

(2)

式中,XI和XI1分別表示輸入特征和輸出特征,Var(·)和E(·)表示輸入的方差函數(shù)和期望值,ε是保持?jǐn)?shù)值穩(wěn)定性的常數(shù),γ和β是BN層的兩個(gè)可訓(xùn)練參數(shù),σ(·)表示ReLU激活函數(shù)。

2 多層級(jí)特征增強(qiáng)聚合的遙感圖像細(xì)小水體語義分割模型

2.1 網(wǎng)絡(luò)結(jié)構(gòu)

本文方法的網(wǎng)絡(luò)基本結(jié)構(gòu)如圖3所示,采用U型網(wǎng)絡(luò)框架,具體包括4個(gè)部分:特征提取網(wǎng)絡(luò)、細(xì)節(jié)特征增強(qiáng)模塊(detail feature enhancement module,DFEM)、全局局部空間金字塔池化模塊(global local-spatial pyramid pooling,GL-SPP)、雙分支聚合模塊(two-branch fusion module,TBFM)。特征提取網(wǎng)絡(luò)以CSPDarknet53為主干網(wǎng)絡(luò)采用stem,stage0-stage4卷積塊連續(xù)下采樣,得到多分辨率特征信息{E0,E1,E2,E3,E4}。將含豐富空間信息的淺中層特征{E1,E1}輸入至DFEM模塊,擴(kuò)大不同尺度下局部區(qū)域的細(xì)小目標(biāo)并捕獲更加有效的上下文信息和全局信息,得到描述不同語義信息的特征{PE1,PE2},采用逐像素相加的方式將其與上一階段的特征合并得到特征{DE1,DE2},以便后期編碼階段融合。編碼末端特征E4通過GL-SPP模塊生成優(yōu)化特征EP4,實(shí)現(xiàn)深層次語義信息的充分提取和有效編碼。在解碼端4個(gè)A-TBFM模塊用于逐步完成上采樣特征聚合和恢復(fù),通過相互融合和引導(dǎo)生成豐富特征{D1,D2,D3,D4},低層特征提供更精確的空間定位,高級(jí)特征增強(qiáng)信息的長(zhǎng)期依賴性,提供更準(zhǔn)確的類別一致性判斷。通過4×4轉(zhuǎn)置卷積將D1還原到原圖像大小,使用3×3卷積將D0進(jìn)行通道壓縮,經(jīng)由SigMoid函數(shù)映射完成輸出。

圖3 網(wǎng)絡(luò)基本結(jié)構(gòu)Fig.3 Network basic structure

2.2 細(xì)節(jié)特征增強(qiáng)模塊

中間層特征復(fù)用有助于網(wǎng)絡(luò)對(duì)編碼特征的增強(qiáng)和利用,是解決遙感圖像細(xì)小水體提取目標(biāo)有效信息量少的有效途徑,其處理方式通常直接對(duì)整張?zhí)卣鲌D進(jìn)行卷積操作。但對(duì)細(xì)小水體而言,其往往分布于圖像的某一小塊區(qū)域內(nèi),這種特征提取過程未考慮細(xì)小水體的空間位置信息,對(duì)處于圖像某局部區(qū)域細(xì)小目標(biāo)缺乏很好的關(guān)注,且隨著特征提取層數(shù)的變多無法避免地增加了模型參數(shù)量。此外,根據(jù)可視化深度卷積神經(jīng)網(wǎng)絡(luò),淺中層特征攜帶大量的空間細(xì)節(jié)信息,而高層特征基本不包含[18]。因此,如何以淺中層特征為主高效地捕獲豐富信息是實(shí)現(xiàn)遙感圖像細(xì)小水體提取的關(guān)鍵。

本文設(shè)計(jì)的DFEM模塊從空間維度上劃分淺中層特征,生成局部擴(kuò)大區(qū)域以充分利用所攜帶的空間細(xì)節(jié)信息,然后將其輸送到混合分層非對(duì)稱卷積特征提取塊(mixed layered asymmetric convolution feature extraction block,AFEB)獲取對(duì)應(yīng)區(qū)域下的語義類別信息,得到更具空間區(qū)域性質(zhì)的上下文信息和全局信息,利用參數(shù)共享機(jī)制加強(qiáng)各局部擴(kuò)大特征之間的聯(lián)系,最后將獲取的特征與解碼階段對(duì)應(yīng)輸出特征融合生成更全面的特征表達(dá),達(dá)到增強(qiáng)細(xì)小目標(biāo)特征辨識(shí)能力的目的。DFEM模塊具體如圖4所示,將DFEM模塊附著在主干網(wǎng)絡(luò)編碼階段{E1,E2}處,獲取更加有效的淺中層特征。

圖4 DFEM模塊Fig.4 DFEM module

以E1為例分析說明DFEM模塊,當(dāng)高度為H,寬度為W,通道數(shù)為C的輸入特征經(jīng)切分操作之后,得到2×2個(gè)張量大小為H/2×W/2×C的局部區(qū)域切分塊E1i,利用式(3)將其還原至原特征大小,生成局部擴(kuò)大區(qū)域特征FE1i:

FE1i=Lupsampling(E1i) (FE1i=1,2,3,4),

(3)

式(3)中,Lupsampling(·)表示雙線性插值上采樣。

AFEB具體結(jié)構(gòu)如圖5所示,以通道數(shù)為C的FE11為例,經(jīng)方形卷積和帶有擴(kuò)張率的非對(duì)稱卷積構(gòu)成兩條分支進(jìn)行特征提取,提升卷積層的實(shí)際感受野,各分支分別對(duì)特征圖維度進(jìn)行壓縮,之后將不同尺寸卷積核提取的特征在通道維度上進(jìn)行拼接。利用擴(kuò)張卷積的分層加法,在多尺度上下文中保留層次相關(guān)性,在特征圖的計(jì)算中涉及更多像素。因此,疊加擴(kuò)張非對(duì)稱卷積特征提取層,獲得不同尺度增強(qiáng)特征P,V,獲取過程如式(4)、式(5)所示;結(jié)合兩層生成的特征圖得到深層次融合特征K,獲取過程如式(6)所示。

圖5 AFEB具體結(jié)構(gòu)Fig.5 AFEB specific structure

P=Lconv1×1×C′(FE11)·
‖LACB3×3×C′,rate=2(Lconv1×1×C′(FE11)),

(4)

V=Lconv1×1×C′(FE11)·
‖LACB3×3×C′,rate=4(Lconv1×1×C′(FE11)),

(5)

K=P⊕V,

(6)

式中,‖表示特征拼接,⊕表示按元素相加,LACB3×3×C′,rate=i(·)表示擴(kuò)張率為i的非對(duì)稱卷積塊。

將全局平均池化操作擴(kuò)展到特征提取中得全局特征信息,將該特征結(jié)合式(5)生成深層次融合特征K,通過式(7)獲取更具空間區(qū)域性質(zhì)的上下文信息表征AE11,其大小與初始特征E11保持一致。最后,將{AE11,AE12,AE13,AE14}在空間維度上重新拼接,生成通道數(shù)為C,高度為2H,寬度為2W的淺層優(yōu)化特征PE1。該操作在不同的切分區(qū)域提取對(duì)應(yīng)區(qū)域下的語義類別信息,從而能夠關(guān)注區(qū)域內(nèi)的細(xì)小目標(biāo),提供更加有效的淺中層特征信息。

AE11=GP(K)⊙K,

(7)

式(7)中,⊙表示按元素相乘,GP表示全局池化操作。

2.3 全局局部空間金字塔池化模塊

高層次上下文語義信息的充分提取和有效編碼是緩解淺層特征無法滿足具有特征多樣性的細(xì)小水體精確提取的常用手段,而擴(kuò)張卷積和空間金字塔池化是捕獲高質(zhì)量語義上下文信息的有效模塊。通常,以級(jí)聯(lián)或并聯(lián)的方式堆疊不同擴(kuò)展率的擴(kuò)張卷積增大感受野,但文獻(xiàn)[19]表明積極增加的擴(kuò)展因子會(huì)導(dǎo)致相鄰單元之間的空間不一致,以及無法聚合小對(duì)象的局部特征。此外,擴(kuò)張卷積可能會(huì)因?yàn)楦惺芤斑^大造成從特征圖中提取到的有用信息量較少,使其失去建模能力。基于此,本文提出一個(gè)GL-SPP模塊(見圖6),用于提升網(wǎng)絡(luò)感受野的同時(shí)減少特征信息的丟失,整合水體更多尺度的語義信息。

圖6 GL-SPP模塊Fig.6 GL-SPP module

GL-SPP模塊通過堆疊遞增遞減不同擴(kuò)張率的3×3卷積核提取E4特征,獲取像素點(diǎn)周圍的特征信息;遞增的擴(kuò)張因子提取覆蓋上下文的特征,保證其最大感受野可以獲取全局語義信息;遞減的擴(kuò)張因子逐漸恢復(fù)相鄰單元之間的一致性,聚合前端分散的局部特征;同時(shí),多條并行支路與初始特征E4利用相加操作將具有不同感受野的擴(kuò)張卷積融合,利用式(8)進(jìn)行計(jì)算,得到輸出特征SE4,獲得周圍特征信息和大感受野的同時(shí)減少信息丟失。其次,利用池化核大小分別為13×13,9×9,5×5,1×1的空間金字塔池化進(jìn)一步分離出最顯著的上下文特征,獲取特征圖不同局部感受野及全局感受野的特征信息,對(duì)它們進(jìn)行拼接操作及1×1卷積將其通道數(shù)調(diào)整為與E4相同。最后,與殘差進(jìn)行融合獲得多尺度特征EP4,增強(qiáng)高階水體語義表達(dá)能力的同時(shí)加速梯度反向傳播。

(8)

式(8)中,conv1-conv4表示依次疊加擴(kuò)張率為1,2,4,8的3×3卷積,conv5包含擴(kuò)張率為1,2,4,8,3的3×3卷積,conv6包含擴(kuò)張率為1,2,4,8,3,1的3×3卷積。

2.4 注意力引導(dǎo)的雙分支聚合模塊

融合更多特征信息對(duì)于細(xì)小水體識(shí)別取得優(yōu)秀的分割效果至關(guān)重要,但跨越不同層級(jí)特征間的語義差距也是細(xì)小水體分割面臨的一個(gè)挑戰(zhàn)。語義差距通常是指低層和高層語義特征之間的差異。一般而言,低層特征包含邊緣、顏色和紋理等空間細(xì)節(jié),但缺乏高級(jí)語義信息;而高層特征包含更多的判別性信息,如語義信息,卻缺乏空間細(xì)節(jié)信息。為了使這些信息相互補(bǔ)充以獲得更具有判別力的特征表示,進(jìn)行多層次的特征融合是必要的。待融合的低分辨率高層特征通過轉(zhuǎn)置卷積或者雙線性插值的上采樣操作恢復(fù)到與低層特征相同的分辨率,使得兩層特征圖在空間尺寸上保持一致,然后經(jīng)沿通道拼接或逐像素相加的方式進(jìn)行融合。然而,由于特征結(jié)構(gòu)以及特征內(nèi)容本身的限制,不同層級(jí)之間的特征簡(jiǎn)單融合勢(shì)必會(huì)存在語義差距[20]。例如高低層特征的每個(gè)位置并不都是同等有效的,直接利用相同的權(quán)重來融合,忽略了多層級(jí)特征的不同重要性。并且,直接融合勢(shì)必會(huì)引入低層特征的背景噪聲。

因此,針對(duì)細(xì)小水體特征響應(yīng)弱,易與地面其他相似目標(biāo)混淆的問題,本文提出A-TBFM模塊將通道注意力和空間注意力結(jié)合,用于特征聚合強(qiáng)化關(guān)鍵特征信息,緩解不同層級(jí)特征之間語義不一致的問題,減少背景噪聲對(duì)識(shí)別任務(wù)的干擾,生成表征信息更加豐富的語義特征圖,實(shí)現(xiàn)不同尺度特征有效融合。即深入挖掘和使用不同尺度的圖像信息,并將輸出具有較強(qiáng)語義信息的高層特征反饋至低層,在補(bǔ)充低層特征信息的同時(shí)引導(dǎo)其進(jìn)行學(xué)習(xí),使得最終低高層特征分別提供更精確的空間定位和類別一致性判斷。

本文使用4個(gè)雙分支聚合模塊逐步完成特征聚合和恢復(fù),高層特征分支采用經(jīng)轉(zhuǎn)置卷積上采樣獲取的語義信息,低層特征分支中包含下采樣的語義信息和DFEM模塊優(yōu)化的語義信息,為實(shí)現(xiàn)小水體分割提供更詳細(xì)的特征信息,A-TBFM模塊具體結(jié)構(gòu)如圖7所示。為了充分利用低層特征信息,A-TBFM模塊首先利用3×3深度可分離卷積層對(duì)其進(jìn)行建模,并在卷積操作后附加歸一化BN層,對(duì)數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理,以提高訓(xùn)練效率,強(qiáng)化網(wǎng)絡(luò)泛化能力;再經(jīng)過激活函數(shù)ReLu層,增加網(wǎng)絡(luò)的非線性表達(dá)能力,緩解梯度消失的問題,之后生成低級(jí)優(yōu)化特征L。同時(shí),通道數(shù)為C、高度為H、寬度為W的高級(jí)語義特征經(jīng)式(9)-式(11),獲得通道數(shù)為C的區(qū)域重塑特征B,A,D。B∈RN×C,{A,D}∈RC×N,其中N=H×W:

B=Lreshape(H)T,

(9)

A=Lreshape(H),

(10)

D=Lreshape(H)。

(11)

采用式(12)計(jì)算A和B的通道注意力圖S∈RC×C。具體來說,在A與B之間進(jìn)行矩陣相乘,計(jì)算相似度,在最后一個(gè)維度上執(zhí)行softmax操作。這個(gè)過程相當(dāng)于通道注意,即利用所有對(duì)應(yīng)位置的空間信息來建模通道相關(guān)性,softmax激活函數(shù)主要是求特征圖中每個(gè)像素與圖片中的其他圖像的歸一化相關(guān)系數(shù)。最后,(C,C)通道注意力矩陣中第i行第j列元素的值為圖中第i通道像素點(diǎn)與第j通道像素點(diǎn)之間的相關(guān)性。接著,通過式(13)生成具有全局上下文信息的高層通道增強(qiáng)特征Z。對(duì)通道注意力矩陣ST和D之間執(zhí)行矩陣乘法,并將結(jié)果再次重塑為RC×H×W。這樣得到的輸出是考慮全局信息的特征圖,每個(gè)位置的輸出值為所有其他通道的加權(quán)和,用于建模特征映射之間的長(zhǎng)期語義依賴關(guān)系。最后,高層通道增強(qiáng)特征Z與低級(jí)優(yōu)化特征L相乘為其提供加權(quán)參數(shù),獲取圖像的通道語義關(guān)系y。

S=Lsoftmax(A×B),

(12)

Z=(Lreshape(ST×D)),

(13)

式中,×表示矩陣相乘,即對(duì)于矩陣運(yùn)算ST×D,ST∈RC×C,D∈RC×N,則結(jié)果為RC×N。

為獲得特征圖的空間注意力信息,對(duì)加權(quán)低級(jí)優(yōu)化特征y通過平均池化操作壓縮通道特征信息,采用SigMoid激活函數(shù)獲取特征圖在寬度和高度維度的空間權(quán)重,生成子區(qū)域特征相關(guān)性注意力矩陣y′,y′∈R1×H×W,將y′結(jié)合高層通道增強(qiáng)特征Z得到區(qū)域間特征空間位置信息的注意力表征。最后將其與高層特征和帶有全局上下文信息的通道特征融合,通過式(14)獲取兼具空間定位信息和上下文信息的高級(jí)語義特征F,F∈RC×H×W:

F=H+y+y′⊙Z,

(14)

式中,⊙表示按元素相乘,+表示像素級(jí)相加。

2.5 損失函數(shù)

本文采用如式(15)所示損失函數(shù),采用逐像素二元交叉熵?fù)p失(binary cross entropy,BCE)和Dice損失函數(shù)的混合損失函數(shù)進(jìn)行計(jì)算:

L=Lbce+LDice。

(15)

Lbce和LDice計(jì)算公式為

(16)

(17)

式中,tij為某像素真實(shí)類別標(biāo)簽,pij為某像素預(yù)測(cè)類別標(biāo)簽,W和H分別為圖像的寬度和高度。

3 實(shí)驗(yàn)及結(jié)果分析

3.1 數(shù)據(jù)集與評(píng)價(jià)指標(biāo)

3.1.1數(shù)據(jù)集

1) GOQQ數(shù)據(jù)集

GOQQ數(shù)據(jù)集以青藏高原湖泊水體數(shù)據(jù)集[8]為基礎(chǔ)進(jìn)行擴(kuò)充豐富水體多樣性,補(bǔ)充研究區(qū)域?yàn)榍嗪Ｊ?水體類型包括湖泊、河流、水庫等。青海和青藏高原屬于典型寒旱區(qū)域,不同于一般區(qū)域,寒旱區(qū)地形復(fù)雜,山脈河谷較多,其遙感圖像易受到山體陰影、干涸河床、植被等影響;且因天氣因素影響,寒旱區(qū)降水量少且分布不均,使水體具有小尺度目標(biāo)以及細(xì)長(zhǎng)狹窄目標(biāo)多,排布較為分散等特點(diǎn),適合細(xì)小水體遙感信息提取。目前對(duì)于細(xì)小水體的定義尚未形成嚴(yán)格的標(biāo)準(zhǔn),本文參考多種研究將占據(jù)5～30個(gè)像素的水體定義為細(xì)小水體。選取第14級(jí)谷歌遙感圖像作為研究數(shù)據(jù),共截取50張大小為256×256的包含細(xì)小水體的圖像構(gòu)成補(bǔ)充數(shù)據(jù)集,最終GOQQ數(shù)據(jù)集按照訓(xùn)練集(5 460張),驗(yàn)證集(688張)和測(cè)試集(674張)進(jìn)行劃分。

2) LoveDA數(shù)據(jù)集

為進(jìn)一步檢驗(yàn)網(wǎng)絡(luò)模型的穩(wěn)定性,本文選擇在LoveDA[21]數(shù)據(jù)集上進(jìn)行模型應(yīng)用驗(yàn)證。該數(shù)據(jù)集共5 987幅高空間分辨率遙感影像,包含城市和農(nóng)村兩個(gè)區(qū)域,地理環(huán)境風(fēng)格差異大且水生環(huán)境復(fù)雜,包含眾多類型細(xì)小水體,適合作為驗(yàn)證細(xì)小水體提取模型穩(wěn)定性的研究區(qū)域。由于測(cè)試集標(biāo)簽未開源,則將訓(xùn)練集和驗(yàn)證集合并,重新劃分訓(xùn)練集、驗(yàn)證集和測(cè)試集。圖像尺寸裁剪為512×512,去除標(biāo)注錯(cuò)誤、存在黑邊區(qū)域和純背景標(biāo)簽的圖像,減小數(shù)據(jù)誤差及樣本不平衡對(duì)實(shí)驗(yàn)的影響,最終選用訓(xùn)練集5 313幅,驗(yàn)證集1 518幅,測(cè)試集759幅。

3.1.2評(píng)價(jià)指標(biāo)

準(zhǔn)確率、召回率、精確率、F1以及平均交并比是遙感圖像語義分割任務(wù)常采用的評(píng)價(jià)指標(biāo),具體計(jì)算公式為

(18)

(19)

(20)

(21)

(22)

式中,VTP為真正例,表示正樣本被判斷為正確樣本的數(shù)目;VFN為假反例,表示正樣本被判斷為錯(cuò)誤樣本的數(shù)目;VFP為假正例,表示負(fù)樣本被判斷為正確樣本的數(shù)目;VTN為真反例,表示負(fù)樣本被判斷為錯(cuò)誤樣本的數(shù)目。

3.2 實(shí)驗(yàn)環(huán)境及訓(xùn)練策略

本文及所對(duì)比算法均在Ubuntu系統(tǒng)下進(jìn)行,GPU型號(hào)為RTX2080Ti,環(huán)境配置為CUDA11.2+python3+pytorch1.7.0。主干網(wǎng)絡(luò)CSPDarkNet53選擇ImageNet[22]預(yù)訓(xùn)練結(jié)果作為初始化參數(shù),采用Adam算法對(duì)網(wǎng)絡(luò)進(jìn)行優(yōu)化,GOQQ數(shù)據(jù)集Batch Size設(shè)置為8,LoveDA數(shù)據(jù)集Batch Size設(shè)置為4,動(dòng)態(tài)改變網(wǎng)絡(luò)學(xué)習(xí)率大小。在訓(xùn)練網(wǎng)絡(luò)過程中,采用數(shù)據(jù)增強(qiáng)策略,包括對(duì)比度變換、隨機(jī)水平垂直翻轉(zhuǎn)以及圖像隨機(jī)旋轉(zhuǎn)90°。此外,訓(xùn)練的總迭代次數(shù)設(shè)置為120,以保證各模型在訓(xùn)練過程中均可達(dá)到收斂。使用早停策略,避免過擬合。

3.3 GOQQ數(shù)據(jù)集實(shí)驗(yàn)結(jié)果分析

為了驗(yàn)證本文方法的有效性,與SegNet,U-Net,DeeplabV3+,DANet,Linknet等模型進(jìn)行對(duì)比實(shí)驗(yàn),從定量與定性兩個(gè)方面綜合評(píng)價(jià)本文方法的性能。對(duì)比實(shí)驗(yàn)的定量性能指標(biāo)如表 1所示,所提模型MLEA-Net在準(zhǔn)確率、召回率、精確率、F1和平均交并比等精度指標(biāo)上分別達(dá)到了96.91%,96.90%,95.61%,96.23%和93.82%,與各網(wǎng)絡(luò)模型相比都有顯著的提升。因此,表1的對(duì)比結(jié)果證明了所提模型在細(xì)小水體分割任務(wù)中的有效性。

表1 GOQQ數(shù)據(jù)集不同算法結(jié)果對(duì)比Tab.1 Comparison of results of different algorithms in GOQQ dataset

如圖8所示,選擇5張典型影像進(jìn)行分析,進(jìn)一步突出本文方法的可行性。其中影像1有大面積和分散的不規(guī)則小目標(biāo)水體,可將其用來驗(yàn)證模型對(duì)于小目標(biāo)水體的識(shí)別效果;影像2包含大量彼此非常接近并且具有微小輪廓的小目標(biāo)水體;影像3,4用來分析細(xì)長(zhǎng)目標(biāo)的分割性能;影像5有較明顯的山脈陰影干擾區(qū)域,用于探究模型受陰影干擾時(shí)的分割性能。為了更清晰地對(duì)比各模型的提取結(jié)果,在圖中用虛線框圍出區(qū)域?yàn)榉指罴?xì)節(jié)對(duì)比和漏分及誤分情況。

圖8 不同網(wǎng)絡(luò)模型在GOQQ數(shù)據(jù)集上的預(yù)測(cè)結(jié)果對(duì)比Fig.8 Comparison of prediction results of different network models of GOQQ dataset

分析圖8的分割結(jié)果圖細(xì)節(jié),在圖8(c)中,無論是排列分散或密集的小目標(biāo)水體都存在被漏分割的現(xiàn)象,細(xì)長(zhǎng)水體的連接處也被誤分為背景,受高山陰影干擾的區(qū)域水體將背景誤分為水體,這種誤分割主要是因?yàn)镾egNet的編碼器深度不夠?qū)е绿卣魈崛〔粔虺浞?無法很好地處理區(qū)域內(nèi)的陰影干擾,且網(wǎng)絡(luò)中的最大池化索引無法使編解碼特征有效聚合,達(dá)不到增強(qiáng)目標(biāo)語義的作用。圖8(d)中,U-Net網(wǎng)絡(luò)對(duì)水體分割效果較好,其通過在上采樣過程中,跳躍連接相同尺寸的特征圖并采用拼接操作進(jìn)行特征融合,在受高山陰影干擾的水體區(qū)域中,水體的輪廓可以大概被分割出來,但仍會(huì)將小部分陰影錯(cuò)誤識(shí)別為水體。由于其利用的2倍上采樣倍數(shù)小,特征保留相對(duì)比較豐富,除極小水體外大多數(shù)小目標(biāo)水體能夠被識(shí)別出,但在細(xì)長(zhǎng)水體的較細(xì)處出現(xiàn)了中斷,細(xì)節(jié)識(shí)別效果不理想。圖8(e)中,DeepLabV3+模型中使用擴(kuò)張卷積可以緩解由于下采樣過多使得水體信息丟失的問題,但其會(huì)造成局部信息丟失以及長(zhǎng)距離獲取的信息關(guān)聯(lián)減弱,無法完全正確提取出水體的精細(xì)邊界,如第二列圖中小目標(biāo)水體輪廓分割過多,第四列圖中細(xì)長(zhǎng)水體的較細(xì)處將背景誤分為水體。圖8(f)中,DANet網(wǎng)絡(luò)不同于ASPP等結(jié)構(gòu)特征聚合獲取上下文,其利用并行注意力機(jī)制分別模擬空間和通道維度中的語義相互依賴性,有效地集成局部特征與全局特征,對(duì)大尺寸水體整體分割表現(xiàn)較好,但缺乏包含豐富空間信息的淺層特征造成小目標(biāo)水體識(shí)別效果較差。圖8(g)中,LinkNet模型編碼部分采用ResNet捕獲豐富特征,且編解碼層采用相加的操作有效增強(qiáng)了語義信息,對(duì)細(xì)長(zhǎng)水體的分割效果較好,如第4列圖中細(xì)長(zhǎng)水體的輪廓連續(xù)完整,但簡(jiǎn)單的逐像素相加的方式,使得背景噪聲影響高階水體語義特征的表達(dá),同時(shí)結(jié)構(gòu)中無優(yōu)化模塊,缺乏抑制背景噪聲的能力,使得極小目標(biāo)漏分割,山脈陰影與水體難以區(qū)分。圖8(h)是本文方法的分割結(jié)果,從影像一和影像二的分割結(jié)果可以看出,所提模型將分散和密集排布的小目標(biāo)都能夠完整地識(shí)別,且影像一右上方受干擾區(qū)域也未出現(xiàn)誤分割的現(xiàn)象,具有較強(qiáng)的小目標(biāo)分割能力。影像三和影像四中的細(xì)長(zhǎng)水體識(shí)別較為完整連貫,清晰地反映出水體的細(xì)節(jié)部分。由于影像五中山脈陰影與水體具有相似的特征,分割結(jié)果很大程度上受其干擾,對(duì)高山陰影遮擋等干擾因素有較強(qiáng)的區(qū)分性。對(duì)比實(shí)驗(yàn)結(jié)果表明,本文所提模型具有提取細(xì)小水體的能力,提取細(xì)小水體區(qū)域面積準(zhǔn)確且輪廓邊緣信息清晰完整,總體精度較高,優(yōu)于其他水體提取算法。

3.4 LoveDA數(shù)據(jù)集實(shí)驗(yàn)結(jié)果分析

為驗(yàn)證模型穩(wěn)定性,在LoveDA數(shù)據(jù)集上也評(píng)測(cè)了本文方法,將所提模型與其他5種語義分割網(wǎng)絡(luò)進(jìn)行對(duì)比,定量精度如表2所示。

表2 LoveDA數(shù)據(jù)集不同算法結(jié)果對(duì)比Tab.2 Comparison of results of different algorithms in LoveDA dataset

從表2可以看出,本文提出的MLEA-Net模型在準(zhǔn)確率、召回率、精確率、F1和平均交并比5個(gè)精度指標(biāo)上分別達(dá)到96.04%,89.83%,85.65%,86.27%和85.65%,各項(xiàng)指標(biāo)均高于其他網(wǎng)絡(luò),具有一定的性能優(yōu)勢(shì)。

為比較不同方法的水體提取結(jié)果,從測(cè)試集中選取5幅典型影像進(jìn)行分析,如圖9第1行所示,其中包含植被與人工建筑交錯(cuò)的水體、細(xì)長(zhǎng)和微小水體、不同面積規(guī)則和顏色的水體分布緊湊以及具有陰影和其他地物干擾的水體。

圖9 不同網(wǎng)絡(luò)模型在LoveDA數(shù)據(jù)集上的預(yù)測(cè)結(jié)果對(duì)比Fig.9 Comparison of prediction results of different network models of LoveDA dataset

從圖9可以看出,與其他方法相比,本文方法的水體提取結(jié)果與真值圖最匹配,漏分和錯(cuò)分現(xiàn)象也比較少且輪廓更為準(zhǔn)確清晰。影像一中,小塊水體之間夾雜較細(xì)的中間邊界且右下方水體被植被陰影遮擋著一小部分,對(duì)比方法中間距微小的水體幾乎都被粘連,而本文方法則提取了較為精細(xì)的邊界;影像二微小水體和窄長(zhǎng)的溝渠識(shí)別結(jié)果更連續(xù)和完整,水體的完整性不受河岸周圍植被的影響,且準(zhǔn)確區(qū)分出水體和相鄰的建筑物陰影;影像三中不同面積規(guī)則的坑塘水體分布緊湊,同物異譜現(xiàn)象顯著,本文方法將絕大多數(shù)坑塘都提取出來,與水體特征相似的干涸河床也沒有被錯(cuò)誤分類為水體;影像四中除本文方法外,與小面積水體特征相似的操場(chǎng)、植被和深色頂棚的建筑物幾乎都存在誤分;影像五中港口處的碼頭和?？康拇粚⑺w分割成邊界崎嶇的幾部分,使得在對(duì)水體輪廓的提取過程中難以保證其完整性,本文方法可以對(duì)大面積水體和微小水體都實(shí)現(xiàn)較為準(zhǔn)確的識(shí)別,然而過于凹凸的細(xì)節(jié)處沒有被完全提取出來?；谝陨戏治?表明本文方法MLEANet具有較高的穩(wěn)定性,在應(yīng)用于地理環(huán)境風(fēng)格差異大的數(shù)據(jù)集時(shí)也可以表現(xiàn)出較為優(yōu)越的性能。

3.5 消融實(shí)驗(yàn)

為驗(yàn)證MLEA-Net模型各模塊的有效性,在GOQQ遙感數(shù)據(jù)集上開展消融實(shí)驗(yàn)。表3給出了各網(wǎng)絡(luò)的詳細(xì)結(jié)構(gòu),所提模型以CSPDarknet53為特征提取網(wǎng)絡(luò),利用轉(zhuǎn)置卷積進(jìn)行特征恢復(fù),輔以跳躍連接減輕信息損失,故將該U型結(jié)構(gòu)作為baseline網(wǎng)絡(luò),DFEM表示細(xì)節(jié)特征增強(qiáng)模塊,GL-SPP表示全局局部空間金字塔池化模塊,A-TBFM表示注意力引導(dǎo)的雙分支聚合模塊。對(duì)比結(jié)果如表4所示。

表3 各模塊組成的方法Tab.3 Method of composition of each module

表4 消融實(shí)驗(yàn)結(jié)果Tab.4 Ablation experiment results

分析表4可得:

1) 以CSPDarknet53為特征提取網(wǎng)絡(luò),5個(gè)指標(biāo)分別為95.43%,94.80%,94.13%,94.46%,91.01%,表明CSPDarknet53能有效增強(qiáng)網(wǎng)絡(luò)特征提取能力,可學(xué)習(xí)到更利于辨別水體的判別信息。

2) 對(duì)比baseline和M1結(jié)構(gòu),通過在跳躍連接處添加DFEM模塊,準(zhǔn)確率、召回率、F1和平均交并比指標(biāo)分別提高了0.63%,1.52%,0.73%和1.17%,表明DFEM模塊高效利用了編碼端淺中層特征,在保留空間細(xì)節(jié)信息的同時(shí)提升語義表達(dá)能力;對(duì)比M1和M2結(jié)構(gòu),加入GL-SPP模塊后各性能指標(biāo)均有小幅度提升,其中平均交并比提高了0.79%,說明GL-SPP模塊能獲取有效的周圍特征以及不同尺度特征,從而提高分割性能;對(duì)比M2和M3(MLEA-Net)結(jié)構(gòu),精度指標(biāo)準(zhǔn)確率、F1和平均交并比分別提升了0.44%,0.53%和0.85%,表明添加A-TBFM模塊后能夠集中注意力關(guān)注輸入特征的重要語義信息,可以融合更多跨層特征信息,對(duì)于提升網(wǎng)絡(luò)的分割性能十分有益。

3) 隨著本文提出的關(guān)鍵模塊逐步添加在baseline網(wǎng)絡(luò)上,分割的準(zhǔn)確性逐漸提升,對(duì)比baseline和D(MLEA-Net)結(jié)構(gòu),5個(gè)指標(biāo)分別提高了1.48%,2.10%,1.48%,1.77% 和2.79%。實(shí)驗(yàn)結(jié)果表明本文提出的每個(gè)關(guān)鍵模塊對(duì)于獲得最佳遙感圖像水體語義分割結(jié)果都是必要的。

4 結(jié)論

針對(duì)遙感圖像細(xì)小水體多樣、有效特征信息難獲取及易受背景噪聲干擾的問題,設(shè)計(jì)多層級(jí)特征增強(qiáng)聚合的遙感圖像細(xì)小水體提取方法(MLEA-Net),以CSPDarknet53作為骨干網(wǎng)絡(luò)挖掘深層次特征,保證網(wǎng)絡(luò)特征提取能力的同時(shí)降低模型復(fù)雜度,利用細(xì)節(jié)特征增強(qiáng)模塊(DFEM)提高淺中層特征質(zhì)量;而后,設(shè)計(jì)全局局部空間金字塔池化結(jié)構(gòu)(GL-SPP)在編解末端捕獲全局局部多尺度上下文信息;最終,在解碼端提出通道注意力和空間注意力引導(dǎo)的雙分支聚合模塊(A-TBFM)進(jìn)行不同尺度特征圖有效聚合,增強(qiáng)目標(biāo)邊緣的像素信息和空間信息,進(jìn)而提升細(xì)小水體的分割性能。

實(shí)驗(yàn)結(jié)果證明:GOQQ數(shù)據(jù)集的精確率、召回率和平均交并比分別為96.91%,95.61%,96.90%和93.82%,LoveDA數(shù)據(jù)集的精確率、召回率和平均交并比分別為83.65%,89.83%和85.23%,提升效果顯著。但本文方法仍有需要改進(jìn)的地方,MLEA-Net對(duì)與山脈陰影緊密相連的細(xì)長(zhǎng)水體分割效果仍有提升的空間,后期研究將進(jìn)一步優(yōu)化注意力模塊或嘗試將其與網(wǎng)絡(luò)其他位置結(jié)合,抑制噪聲信息。