孿生注意力門控融合的遙感圖像變化檢測編解碼網(wǎng)絡(luò)

陳海永,呂承杰,杜 春,陳 鵬

(1.河北工業(yè)大學人工智能與數(shù)據(jù)科學學院,天津 300401;2.國防科技大學電子科學學院,湖南 長沙 410073)

1 引言

遙感影像變化檢測是遙感圖像處理研究的重要方向,核心是利用不同時期相同地域的遙感影像,分析與確定地物的變化狀況及其特征相關(guān)性,其在土地覆蓋、土地利用調(diào)查、災(zāi)害應(yīng)急和生態(tài)環(huán)境監(jiān)測和地理數(shù)據(jù)更新等方面具有重大的應(yīng)用價值[1]。然而,實際遙感圖像的變化檢測任務(wù)極其復雜。一方面,遙感圖像中的物體背景形態(tài)多樣,干擾強,要區(qū)分目標對象和背景對象并不容易;另一方面,雙時相數(shù)據(jù)之間存在著不相關(guān)差異,如光照變化、季節(jié)植被變化[2]、建筑物陰影覆蓋和噪聲干擾[3]等。這些問題導致具有相同語義概念的物體在不同的時間和空間位置可能表現(xiàn)出不同的成像表現(xiàn)。這要求檢測方法能夠有效地提取到有用信息,抑制干擾信息的傳播。

傳統(tǒng)的變化檢測方法主要利用遙感圖像中的光譜信息來檢測變化,如變化矢量分析CVA(Change Vector Analysis)和主成分分析PCA(Principal Component Analysis)[4]等。然而,這類方法往往需要選擇最優(yōu)閾值,這使得他們依賴于具體場景且耗時長。傳統(tǒng)機器學習方法可以從一部分標記樣本中學習,得到自動決策模型,但這種方法嚴重依賴于手工設(shè)計的特征,很難有效地捕獲高級特征表示且精度較低[5]。

近年來,隨著計算能力的發(fā)展、數(shù)據(jù)的不斷積累和大數(shù)據(jù)挖掘算法的提出,深度學習在許多領(lǐng)域都取得了突破。此外,遙感已經(jīng)進入了大數(shù)據(jù)時代,滿足了深度學習的大數(shù)據(jù)要求[6]。深度卷積神經(jīng)網(wǎng)絡(luò)由于其強大的特征提取能力,能夠從衛(wèi)星遙感圖像中自動提取具有豐富光譜信息的空間多層次特征[7]?；谏疃忍卣鞯姆椒▽㈦p時相圖像轉(zhuǎn)換為高維空間深度特征,這些方法將特征提取和差異識別操作集成到網(wǎng)絡(luò)中,以端到端的方式直接生成最終的變化圖。與傳統(tǒng)的變化檢測方法相比,基于深度卷積神經(jīng)網(wǎng)絡(luò)的方法對輸入數(shù)據(jù)具有更強的魯棒性,并具有更好的泛化能力。

在遙感圖像變化檢測領(lǐng)域,FC-EF(Fully Convolutional Early Fusion)、FC-Siam-conc(Fully Convolutional Siamese concatenation)和FC-Siam-diff(Fully Convolutional Siamese difference)[8]是3種典型的全卷積神經(jīng)網(wǎng)絡(luò)。Daudt等人[8]探索了早期融合、孿生差異和孿生連接3種不同的圖像輸入方法,實現(xiàn)了端到端的訓練。BiDateNet[9]將LSTM(Long Short-Term Memory) 集成到U-Net(U-shaped Network)[10]的跳躍連接中,以獲得更多時間上可區(qū)分的特征。DSIFN(Deeply Supervised Image Fusion Network)[11]基于孿生網(wǎng)絡(luò),通過完全卷積雙流結(jié)構(gòu)提取具有高度代表性的深度特征,并將提取到的深度特征輸入到深度監(jiān)督差分鑒別網(wǎng)絡(luò)中進行變化檢測。SNUNet-CD[12]采用孿生的子網(wǎng)絡(luò)作為編碼器,并將NestedUNet[13]作為解碼器,通過使用嵌套的密集跳躍連接,疊加不同層次的U-Net結(jié)構(gòu),減小編碼特征圖和解碼特征圖之間的語義鴻溝。韓星等人[14]基于編碼-解碼結(jié)構(gòu),引入注意力機制和金字塔池化模塊,有效融合不同階段和不同分辨率的特征圖。上述方法主要利用注意力機制以及密集連接等方式來獲取雙時相圖像之間的特征關(guān)聯(lián)信息,并沒有很好地將深層特征與淺層特征結(jié)合起來,對于一些由于外部環(huán)境干擾所引起的偽變化,仍然難以提取出有效的特征信息來進行區(qū)分。因此,應(yīng)該利用更有效的技術(shù)從特征中提取更有區(qū)別性的信息,并減輕偽變化的影響。

本文以編碼-解碼器為基準網(wǎng)絡(luò)框架,提出一種具有注意力門控融合模塊的孿生變化檢測網(wǎng)絡(luò)SAGFNet(Siamese change detection Network with Attention-Gated Fusion module)。使用孿生編碼網(wǎng)絡(luò),能夠并行提取具有高度代表性的雙時相圖像特征,孿生網(wǎng)絡(luò)的2個分支之間的權(quán)重共享可以將多時相圖像映射到相同的特征空間,使提取的特征更容易區(qū)分。在編碼部分引入了三重注意力網(wǎng)絡(luò)模塊,有助于提取有效變化區(qū)域的空間信息,提升對小尺度目標的檢測能力。為了進一步解決變化特征關(guān)聯(lián)信息丟失導致的檢測圖中產(chǎn)生偽變化的問題,本文還提出了注意力門控融合AGF(Attention Gated Fusion)模塊,從多個層次選擇性地融合特征,有效加強深層特征和淺層特征之間的深度融合,降低特征圖中干擾因素對最終變化檢測結(jié)果的影響。此外,為了進一步提高網(wǎng)絡(luò)性能,在解碼器階段引入帶有中間層變化檢測損失的深度監(jiān)督DS(Deep Supervision)模塊。本文所提出的檢測網(wǎng)絡(luò)在遙感影像變化檢測公開數(shù)據(jù)集WHU[15]和LEVIR-CD[16]上取得了有競爭力的結(jié)果。

2 網(wǎng)絡(luò)結(jié)構(gòu)

本節(jié)從基本網(wǎng)絡(luò)結(jié)構(gòu)、注意力門控融合模塊、深度監(jiān)督策略和損失函數(shù)4個方面來介紹所提出的SAGFNet。

2.1 基本網(wǎng)絡(luò)結(jié)構(gòu)

SAGFNet網(wǎng)絡(luò)結(jié)構(gòu)由2個編碼部分和1個解碼部分組成,其中所有的卷積層均被替換為殘差卷積塊,以加快訓練收斂速度。SAGFNet結(jié)構(gòu)如圖1所示。首先,在編碼部分利用孿生網(wǎng)絡(luò)提取雙時相遙感影像特征,通過插值上采樣操作重構(gòu)變化映射,經(jīng)過注意力門控融合模塊輸入到解碼階段,并對重構(gòu)后的不同解碼層的變化圖進行深度監(jiān)督,形成最終的變化檢測結(jié)果。

Figure 1 Structure of SAGFNet

解碼器由4層組成,每層也都包含一個殘差模塊,對不同大小的特征圖進行重構(gòu)。每個解碼器層經(jīng)過上采樣后使用跳躍連接和對應(yīng)層注意力門控融合模塊的輸出相連接,使用跳躍連接的方式在編碼器和解碼器之間傳遞上下文和空間信息,有助于檢索在下采樣過程中丟失的重要信息。在連接后,輸出被傳遞給一個殘差模塊,輸出的特征圖分別表示為{D0,D1,D2,D3}。通過插值上采樣的操作來擴大特征圖的尺寸,將結(jié)果與編碼部分中相應(yīng)尺寸的特征圖連接起來,并將其插入到下一個解碼步驟中,以實現(xiàn)特征圖的最終重構(gòu)。具體來說,編碼器和解碼器的表述如式(1)～式(4)所示:

(1)

(2)

(3)

Dj=HDj{cat(Up(Dj-1),

1

(4)

殘差模塊如圖2所示。針對遙感影像背景復雜、干擾因素多等問題,需要更深層次的網(wǎng)絡(luò)才能從數(shù)據(jù)中學習到更復雜的特征。然而,隨著網(wǎng)絡(luò)的不斷深入,它會丟失更多的空間信息。使用殘差模塊來代替整個編碼-解碼網(wǎng)絡(luò)中的卷積層,能有效解決深度神經(jīng)網(wǎng)絡(luò)的退化問題,使信息前后向傳播更加順暢,同時加快了網(wǎng)絡(luò)的收斂。

Figure 2 Residual module

2.2 注意力門控融合模塊

在編碼器下采樣過程中,語義信息逐漸增強,特征圖分辨率降低,從而導致了變化特征關(guān)聯(lián)信息和空間信息的丟失。一般來說,深層特征圖語義豐富,但空間分辨率低,細節(jié)信息丟失較多,而淺層特征圖空間分辨率高,但語義信息容易淹沒在圖像的細節(jié)中,這意味著不同層根據(jù)收縮路徑的特征層次結(jié)構(gòu)包含不同層次的語義特征[17]。通常,深層特征在遙感影像變化檢測任務(wù)中是非常有效的,然而深層特征映射很容易導致小尺度目標變化檢測結(jié)果較差。為了補償特征提取過程中可能丟失的特征關(guān)聯(lián)信息和空間信息,先引入注意力模塊,對特征信息進行篩選,抑制非目標區(qū)域的特征,建立通道和空間之間的依賴關(guān)系,改進由標準卷積層生成的特征表示,細化所感知到的信息,同時保留其上下文,再以門控的形式融合多級特征圖,控制信息的傳播,將無用的信息調(diào)節(jié)到正確的位置,得到不同尺度的具有高分辨率和豐富語義信息的特征圖,縮小編碼器中深層特征圖和淺層特征圖之間的語義差距,更好地保留變化特征之間的關(guān)聯(lián)信息。最后經(jīng)過多尺度跳躍連接的方式,加強特征表示,降低特征圖中的背景噪聲。

鑒于上述分析,本文提出了注意力門控融合AGF模塊,如圖3所示,其中,G表示經(jīng)過門控操作生成的相對門控掩碼圖,Z(0)表示最終輸出的融合結(jié)果。每個注意力門控融合模塊都以編碼器的前4個階段得到的特征圖L(0)、L(1)、L(2)和L(3)作為輸入,以其中一個階段得到的特征圖作為門控融合模塊的主輸入,例如L(0),則L(1)、L(2)和L(3)為門控輔助輸入。整個門控融合過程可以根據(jù)式(5)進行,門控操作由一個核大小為1×1的卷積層和Sigmoid激活函數(shù)構(gòu)成,以此來獲得主輸入特征圖的相對門控掩碼圖G(x,y),當G(x,y)的信號非常強時,表示L(0)(x,y)處的特征向量是非常重要的,此時(1-G(x,y))的值會變得非常小,因此,Z(0)(x,y)處的特征向量主要來自L(0)(x,y)。當G(x,y)的信號非常弱時,注意力門控融合模塊更傾向于傳播編碼階段的深層特征圖,從而彌補了L(0)(x,y)中深層特征的不足。主輸入通過門生成相對門控掩碼圖,來控制信息的傳播,輔助輸入經(jīng)過注意力模塊,整合圖像上下文信息,進一步聚焦目標特征,減弱冗余信息的干擾,提高特征的利用效率,將主輸入和輔助輸入進行像素級加法融合,最終的融合結(jié)果定義如式(5)所示:

Figure 3 Attention gated fusion module

Z(0)(x,y)=(1+G(x,y))·L(0)(x,y)+

(1-G(x,y))·(L(1)(x,y)+

L(2)(x,y)+L(3)(x,y))

(5)

注意力模塊采用的是Triplet Attention[18],結(jié)構(gòu)如圖4所示,使用3個并行分支結(jié)構(gòu),其中2個分支提取2個空間維度和通道維度C之間的維度間依賴關(guān)系,另一個分支提取空間特征依賴關(guān)系。在前2個分支中,三重注意力分別沿H軸和W軸逆時針旋轉(zhuǎn)原始輸入張量90°,并將張量的形狀從C×H×W轉(zhuǎn)換為W×H×C和H×C×W。在第3個分支中,不執(zhí)行旋轉(zhuǎn)操作。然后,通過Z-pool層和標準卷積層進行卷積,再對輸出執(zhí)行Sigmoid 激活函數(shù)以獲得注意力權(quán)重。 Z-pool定義如式(6)所示:

Z-pool(x)=[MaxPool0d(x),AvgPool0d(x)]

(6)

其中,0d表示旋轉(zhuǎn)后張量的第0維,x表示輸入的張量。例如,一個形狀為C×H×W的張量,通過Z-pool層會得到一個形狀為2×H×W的張量。

將約簡張量通過核大小為K×K的標準卷積層,批量歸一化層,最后將Sigmoid函數(shù)生成的相應(yīng)維度的注意權(quán)重添加到旋轉(zhuǎn)張量中。在最終輸出端,第1分支的輸出沿H軸順時針旋轉(zhuǎn)90°,第2分支的輸出沿W軸順時針旋轉(zhuǎn)90°,確保與輸入的形狀相同。最后,取各個分支輸出總和的平均值,得到注意力模塊的最終輸出。輸出張量定義如式(7)所示:

(7)

2.3 深度監(jiān)督策略

深度監(jiān)督策略旨在通過對中間層提供直接的監(jiān)督以提高網(wǎng)絡(luò)性能。深度學習的關(guān)鍵特點是利用反向傳播算法進行權(quán)值更新,給定一個神經(jīng)網(wǎng)絡(luò)和一個誤差函數(shù),反向傳播計算誤差函數(shù)相對于每個神經(jīng)元權(quán)值的梯度。在反向傳播過程中,如果激活函數(shù)的導數(shù)小于1,當誤差從最后一層反向傳播到中間層,多個小于1的乘法會產(chǎn)生更小的值,在淺層中產(chǎn)生一個更小的權(quán)重梯度,被稱為梯度消失。前幾層的隨機初始化神經(jīng)元是訓練速度最慢的,梯度消失會阻止梯度向后流動,使得較低的層無法學習到有用的特征,從而導致早期神經(jīng)元訓練不足。在訓練過程中,一般僅在網(wǎng)絡(luò)的最后一層添加監(jiān)督,訓練錯誤從最后一層反向傳播到更靠前的層。但是,由于網(wǎng)絡(luò)構(gòu)建塊和注意力門控融合模塊的堆疊,導致網(wǎng)絡(luò)復雜性增加,這可能會造成網(wǎng)絡(luò)無法學習到有效的特征。 深度監(jiān)督策略使得網(wǎng)絡(luò)在訓練過程中不僅可以從最后一層監(jiān)督,而且可以從隱藏層監(jiān)督中收集梯度,克服了梯度消失問題,提高了收斂性。

典型的解碼階段深度監(jiān)督策略如圖5所示。其中,DS_i中DS表示深度監(jiān)督策略輸出的結(jié)果,i表示解碼器對應(yīng)的層級。深度監(jiān)督策略強制解碼器塊輸出有意義的預測結(jié)果, 將解碼器階段中每一層殘差模塊的輸出(D0,D1,D2,D3)利用雙線性插值的方法把特征圖調(diào)整為與輸入圖像相同尺寸,然后通過一個1×1卷積層和Sigmoid激活函數(shù)得到中間層的輔助分類結(jié)果,分別表示為DS_0、DS_1、DS_2和DS_3,然后將這些輸出與真值標簽gt相比較,并計算出損失loss,只有最后一個結(jié)果DS_3作為最終的主要預測結(jié)果。

Figure 5 Deep supervision strategy of decoding stage

2.4 損失函數(shù)

在遙感影像變化檢測區(qū)域,不變像素的數(shù)量往往遠遠大于變化像素的數(shù)量。為了削弱不平衡樣本的影響,本文使用一個混合損失函數(shù)(交叉熵損失函數(shù)和Dice loss),如式(8)所示:

L(predict,gt)=Ldice(predict,gt)+

Lwce(predict,gt)

(8)

其中,predict表示預測結(jié)果,對應(yīng)前文的DS_i。

交叉熵損失計算如式(9)所示:

(9)

其中,tn表示像素n的真實標簽類別,當n為變化類像素時tn取值為1,n為不變化類像素時tn取值為0;pn表示像素n屬于變化類的預測概率,1-pn表示像素n屬于不變化類的預測概率。

Dice loss的定義如式(10)所示:

Ldice=1-2*yi*ti/(yi+ti)

(10)

其中,yi表示像素i屬于變化類的預測概率,ti表示像素i的真實類別標簽。

采用深度監(jiān)督策略,其損失值由解碼階段的4個分支網(wǎng)絡(luò)共同計算,并將4個損失值相加作為整個網(wǎng)絡(luò)的損失值,如式(11)所示:

Lall=LDS_0+LDS_1+LDS_2+LDS_3

(11)

其中,Lall為網(wǎng)絡(luò)的總體損失值;LDS_0、LDS_1、LDS_2和LDS_3分別為4個分支網(wǎng)絡(luò)的損失值。

3 實驗與結(jié)果分析

本文通過一些實驗驗證本文所提網(wǎng)絡(luò)的有效性。首先,介紹實驗過程中使用的2個遙感變化檢測數(shù)據(jù)集,并描述圖像預處理方法。其次,將相關(guān)的評價指標用于變化檢測的定量分析,并描述本文實驗中相關(guān)參數(shù)的設(shè)置。然后,介紹了幾種優(yōu)秀的變化檢測網(wǎng)絡(luò)用于比較。最后,對實驗結(jié)果進行全面的分析和比較,并通過消融實驗,驗證了注意力門控融合模塊和深度監(jiān)督策略的有效性。

3.1 實驗數(shù)據(jù)

表1所示為LEVIR-CD數(shù)據(jù)集和WHU數(shù)據(jù)集的簡要介紹。

Table 1 A brief introduction to LEVIR-CD dataset and WHU dataset

(1)LEVIR-CD數(shù)據(jù)集:LEVIR-CD數(shù)據(jù)集包含445個訓練數(shù)據(jù)集、64個驗證數(shù)據(jù)集和128個測試數(shù)據(jù)集,每個數(shù)據(jù)集包含一對大小為1024×1024的多時態(tài)圖像。這些圖像來自美國德克薩斯州幾個城市的20個不同地區(qū),空間分辨率為0.5 m。LEVIR-CD數(shù)據(jù)集共包含31 333棟已變更的建筑,建筑物類型主要包括別墅、高層公寓、小型車庫和大型別墅等。由于圖像較大,直接用于網(wǎng)絡(luò)訓練會導致顯存不足。將LEVIR-CD數(shù)據(jù)集中的每幅圖像裁剪成16幅不重疊的圖像,大小為256×256。圖像塊被分為訓練集、驗證集和測試集,其中訓練集包含7 120個樣本,驗證集包含1 024個樣本,測試集包含2 024個樣本。

(2)WHU建筑變化檢測數(shù)據(jù)集:WHU建筑變化檢測數(shù)據(jù)集涵蓋了2011年2月襲擊新西蘭克賴斯特徹奇的6.3級地震區(qū)域。該數(shù)據(jù)集包含了2012年和2016年在同一區(qū)域拍攝的圖像對。每幅圖像的大小為32507×15354,然后將其裁剪成多個大小為256×256的圖像塊,重疊率設(shè)置為0.1,用于本文實驗。圖像塊集被分為訓練集、驗證集和測試集,其中訓練集包含6 614個樣本,驗證集包含994個樣本,測試集包含1 889個樣本。

3.2 參數(shù)設(shè)置與評價指標

為了評估所提出的技術(shù)有效性,本文采用3個評估指標,包括精確率P(Precision)、召回率R(Recall)和F1分數(shù)。在變化檢測任務(wù)中,精確率表示正確預測為正占全部預測為正的比例,精確率越高,表示檢測到越多正確的變化像素;召回率表示正確預測為正占全部實際為正的比例,召回率越高,表示模型找到更多變化像素的能力越強;F1分數(shù)是衡量二分類模型精度的一個度量指標,它同時考慮了分類模型的精確率和召回率,是精確率和召回率的調(diào)和平均,它可以更好地反映模型的變化檢測能力,F1分數(shù)越高,代表所提出的網(wǎng)絡(luò)性能越好。相關(guān)的計算公式如式(12)～式(14)所示:

R=TP/(TP+FN)

(12)

P=TP/(TP+FP)

(13)

F1=2×P×R/(P+R)

(14)

其中,TP表示正確檢測到的變化像素數(shù),TN表示正確檢測到的不變像素數(shù),FP表示檢測為非變化但檢測錯誤的像素數(shù),FN表示檢測為變化但檢測錯誤的像素數(shù)。

實驗平臺是Ubuntu 20.04系統(tǒng),CPU為英特爾至強銀牌系列,顯卡為NVIDIA GeForce RTX 3090,使用的深度學習框架是PyTorch 1.6.0,利用CUDA(Compute Unified Device Architecture) 計算架構(gòu)和cuDNN庫進行加速訓練。在訓練過程中,批處理大小設(shè)置為8,epoch為70,并將Adam作為優(yōu)化器,學習率設(shè)置為1e-3,每8個周期衰減0.5,每個卷積層的權(quán)值通過KaiMing歸一化進行初始化。

3.3 對比實驗

實驗過程為:模型訓練好后,將測試集數(shù)據(jù)輸入到模型中,模型自動對影像提取特征,并對每個像素進行預測,判斷其是否發(fā)生變化,最終得到變化檢測結(jié)果,并統(tǒng)計出精確率、召回率和F1分數(shù)等性能指標。為了驗證所提出網(wǎng)絡(luò)的有效性,本文引入了以下7種變化檢測基準網(wǎng)絡(luò),并比較了它們在2個數(shù)據(jù)集上的性能。FC-Siam-conc和FC- Siam-diff[8]是2種U型的完全卷積變化檢測網(wǎng)絡(luò),它們都使用孿生FCN(Fully Convolutional Network)提取多級特征。DSIFN[11]通過通道注意力和空間注意力對原始圖像的多層次深度特征與圖像差異的深度特征進行融合,并基于全卷積的深度監(jiān)督差分識別網(wǎng)絡(luò)進行變化檢測。SNUNet[12]采用多尺度特征連接方法,結(jié)合孿生網(wǎng)絡(luò)和NestedUNet來提取高分辨率的深層特征,減少深層定位信息的損失,并使用一個集成通道注意力模塊來聚合和細化多個語義層次的特征。BiDateNet[9]將LSTM中的卷積模塊集成到U-Net中,使模型能夠更好地學習時間變化模式。修改后的孿生Att-UNet(Attention U-Net)[19]模型,Att-UNet將注意力機制引入到U-Net網(wǎng)絡(luò)結(jié)構(gòu)中,在編碼器和解碼器特征圖進行跳躍連接前,加入注意力機制,生成一個權(quán)重因子,來控制不同位置特征的重要程度,為方便敘述,本文稱修改后用于變化檢測任務(wù)的Att-UNet為Att-UNet。

本文使用帶有默認超參數(shù)的公共代碼來實現(xiàn)上述變化檢測網(wǎng)絡(luò)。表2給出了SAGFNet與上述網(wǎng)絡(luò)在LEVIR-CD和WHU數(shù)據(jù)集上的各種性能評價指標。其中,在LEVIR-CD數(shù)據(jù)集上,SAGFNet在召回率(0.897 8)和F1分數(shù)(0.904 3)方面都取得了最好的效果,在精確率上SAGFNet略低于DSIFN,但SAGFNet的召回率比其高1%,一個主要原因是在真實標簽中存在變化區(qū)域被漏檢的情況。在WHU數(shù)據(jù)集上,所提出的SAGFNet在精確率、召回率和F1分數(shù)3個指標上都取得了最好的性能,其中F1分數(shù)能夠達到0.892 4,與其他變化檢測網(wǎng)絡(luò)相比,較次優(yōu)的網(wǎng)絡(luò)提升了2.91%。

Table 2 Performance comparison of SAGFNet and other change detection networks on LEVIR-CD and WHU datasets

為了進一步評價上述網(wǎng)絡(luò)的性能,對實驗結(jié)果進行了可視化,如圖6所示,其中,黑色像素表示不變區(qū)域,白色像素表示變化的區(qū)域。圖6中,在LEVIR-CD測試集和WHU測試集中分別選擇3個典型的場景,并可視化了Att-UNet、FC-Siam-diff、FC-Siam-conc、BiDateNet、SNUNet、DSIFN和SAGFNet的檢測結(jié)果,這些場景主要是在建筑物中發(fā)生改變的,并利用不同季節(jié)和光照所產(chǎn)生的圖像紋理變化作為干擾因素。不同網(wǎng)絡(luò)的檢測結(jié)果如圖6所示,其中圓圈區(qū)域顯示了局部的細節(jié),便于觀察和比較?？梢杂^察到,SAGFNet能夠更好地檢測出小尺度變化區(qū)域和克服外界干擾所帶來的影響,在LEVIR-CD和WHU數(shù)據(jù)集上均取得了令人滿意的結(jié)果。對比圖6b和圖6c的實驗結(jié)果,針對小尺度變化區(qū)域的目標,大多數(shù)對比網(wǎng)絡(luò)都產(chǎn)生了漏檢的情況,Att-UNet和SAGFNet通過有效的特征融合方式可以減少這種漏檢情況的發(fā)生。其次,對比圖6a、圖6d、圖6e和圖6f的實驗結(jié)果,SAGFNet也可以很好地處理由于光照因素和樹木遮擋引起的無關(guān)變化。

Figure 6 Visualization results of different change detection networks on LEVIR-CD and WHU test sets

通過比較上述實驗結(jié)果可知,本文所提出的網(wǎng)絡(luò)可以捕捉到一些細微的變化,與其他對比網(wǎng)絡(luò)相比,它顯著減少了錯誤檢測像素的數(shù)量,并能最大程度地克服不同光照時間和氣候條件下的不相關(guān)變化的影響,準確地檢測到感興趣物體的變化。

3.4 消融實驗

為了驗證注意力門控融合模塊(AGF)和深度監(jiān)督策略DS的有效性,本文在LEVIR-CD數(shù)據(jù)集上進行消融實驗。具體實驗設(shè)計以及結(jié)果如表3所示,其中加粗字體為每列的最優(yōu)值。

Table 3 Comparison of the ablation experimental results

在跳躍連接過程中添加AGF模塊,模型的精確率、召回率和F1分數(shù)分別提高了1.45%,0.47%和1.01%,證明了AGF模塊在特征融合中的有效性。使用了AGF模塊后,網(wǎng)絡(luò)的復雜性增加,在此基礎(chǔ)上添加DS模塊可以將模型的精確率、召回率和F1分數(shù)分別提高了0.72%,2.19%和1.53%,這表明AGF和DS可以共同工作提高模型的性能。

為了驗證注意力模塊(Triplet Attention)對AGF模塊的性能影響,本文還設(shè)計了對Triplet Attention的消融實驗,通過將Triplet Attention從AGF模塊中移除來對其進行消融。實驗設(shè)計及結(jié)果如表4所示,其中加粗字體為每列的最優(yōu)值。

Table 4 Ablation results of Attention module

從表4可以看出,引入的注意力模塊使得模型的精確率、召回率和F1分數(shù)分別提高了0.45%,0.12%和0.28%,這證明了Triplet Attention在AGF模塊中的有效性。

使用AGF和DS模塊可以增強網(wǎng)絡(luò)的抗干擾能力,并更好地區(qū)分建筑物和其他具有相似光譜信息的物體,未添加AGF和DS模塊的網(wǎng)絡(luò)已經(jīng)能夠檢測出有變化的區(qū)域,但它區(qū)分偽變化的能力很弱,本文提出的網(wǎng)絡(luò)能夠捕捉詳細的信息,從而獲得更準確的變化檢測結(jié)果。

4 結(jié)束語

遙感影像變化檢測任務(wù)涉及到地面類型的變化,變化區(qū)域的準確性和細致程度反映了變化檢測方法的實用價值?；诂F(xiàn)有方法的缺點,本文結(jié)合孿生編解碼網(wǎng)絡(luò)、注意力門控融合模塊和深度監(jiān)督策略,提出了SAGFNet。采用孿生網(wǎng)絡(luò)結(jié)構(gòu)提取雙時相圖像的特征,以增強特征的代表性,為了克服特征融合中高分辨率圖像和低分辨率圖像之間的語義鴻溝,將所提出的注意力門控融合模塊應(yīng)用于跳躍連接過程中,測量特征圖中每個特征向量的有用性并匯總相應(yīng)的信息,充分地提取出雙時相遙感圖像的特征關(guān)聯(lián)信息和空間信息,減少對變化區(qū)域的誤檢以及漏檢。此外,為了提高變化檢測網(wǎng)絡(luò)的性能,本文還提出了將解碼器變化映射的直接反饋引入網(wǎng)絡(luò)中間層的深度監(jiān)督。

本文在LEVIR-CD和WHU 2個數(shù)據(jù)集上進行了實驗,詳細驗證了SAGFNet網(wǎng)絡(luò)的有效性。實驗結(jié)果表明,SAGFNet能夠準確檢測出不同復雜度的變化區(qū)域,且SAGFNet在綜合評價指標F1分數(shù)方面優(yōu)于其他對比的先進的變化檢測網(wǎng)絡(luò)。在未來的工作中,將研究對異質(zhì)雙時遙感影像的變化檢測的可用性,例如對雙時合成孔徑雷達和光學圖像或者衛(wèi)星圖像和光學圖像之間的變化檢測任務(wù)。