一種用于遙感圖像變化檢測(cè)的級(jí)聯(lián)跨尺度網(wǎng)絡(luò)

劉雙澤,薛明亮

(大連民族大學(xué) 計(jì)算機(jī)科學(xué)與工程學(xué)院,遼寧 大連 116650)

變化檢測(cè)[1]作為遙感領(lǐng)域的重要組成部分,是從同一位置不同時(shí)刻獲取的兩幅遙感圖像之間,通過一系列的方法提取出自然或人工變化區(qū)域的過程。變化檢測(cè)在眾多領(lǐng)域都有著重要的應(yīng)用,例如在城市規(guī)劃[2]、土地調(diào)查[3]、災(zāi)害評(píng)估[4]和生態(tài)環(huán)境監(jiān)測(cè)[5]等方面。隨著越來越多的高分衛(wèi)星發(fā)射到太空,使得具有更高分辨率的遙感圖像獲取變得更加容易,因此具有高分辨率遙感圖像數(shù)據(jù)集。在這種情況下,尋求新的方法以解決上述問題受到了越來越多研究者的關(guān)注,并取得了許多令人矚目的成果。由于深度學(xué)習(xí)模型強(qiáng)大的圖像處理能力,許多學(xué)者將深度學(xué)習(xí)方法引入遙感圖像變化檢測(cè)領(lǐng)域。因此,近年來涌現(xiàn)了許多基于深度學(xué)習(xí)的變化檢測(cè)方法。Song等人[6]設(shè)計(jì)了一種結(jié)合3D全卷積網(wǎng)絡(luò)和卷積短時(shí)長記憶的優(yōu)點(diǎn)的變化檢測(cè)方法,名為循環(huán)3D全卷積網(wǎng)絡(luò)。Liu等人[7]提出了一個(gè)新的損失函數(shù)來實(shí)現(xiàn)由語義分割數(shù)據(jù)集到變化檢測(cè)數(shù)據(jù)集之間的遷移學(xué)習(xí)。這種方法可以緩解變化檢測(cè)數(shù)據(jù)集中帶注釋的訓(xùn)練樣本不足的問題。Chen等人[8]提出了一種基于transformer的變化檢測(cè)模型,它可以通過對(duì)時(shí)空域內(nèi)的上下文進(jìn)行建模,來關(guān)聯(lián)時(shí)空中的遠(yuǎn)程概念。該方法可以有效避免因物體外觀相似而導(dǎo)致的誤檢測(cè),并能很好地處理因季節(jié)差異或土地覆被變化引起的無關(guān)變化。然而,目前在處理變化檢測(cè)中偽變化現(xiàn)象仍存在一些問題。一方面,目前的方法大多沒有充分利用不同尺度提取的特征,忽略了不同層特征之間的語義差距,這可能會(huì)由于特征的冗余和模糊性而導(dǎo)致偽變化問題。其次,由于成像角度、天氣狀況、季節(jié)變化以及外觀非?；靵y的物體等原因造成的偽變化仍然難以區(qū)分。為此本文設(shè)計(jì)了一種級(jí)聯(lián)跨尺度網(wǎng)絡(luò)(Cascaded Cross-Scale Network,CCSNet)來提高模型對(duì)偽變化的魯棒性。本文設(shè)計(jì)了一種級(jí)聯(lián)連接結(jié)構(gòu)來融合不同尺度的特征,縮小了語義差距。本文提出了一種注意力模塊,跨尺度注意模塊,來提高特征的辨別能力。CCSNet通過將多尺度特征融合起來,然后使用注意力機(jī)制來增強(qiáng)與變化相關(guān)語義信息一致的區(qū)域,并抑制各種因素引起的虛假變化和噪聲,從而達(dá)到減少由各種因素而導(dǎo)致的偽變化。

1 CCSNet網(wǎng)絡(luò)算法

CCSNet網(wǎng)絡(luò)使用的是編碼器和解碼器結(jié)構(gòu),整體流程如圖1。在編碼階段,將雙時(shí)態(tài)圖像輸入到卷積池化層中,對(duì)圖像進(jìn)行縮放,減少計(jì)算內(nèi)存。然后輸入到4層的編碼器中進(jìn)行降采樣。通過權(quán)值共享的孿生編碼器編碼,得到5個(gè)不同階段的輸出特征圖。在解碼階段,首先把同一階段的兩個(gè)特征圖進(jìn)行差分操作來得到差分特征圖。其次把編碼器4的差值特征圖和編碼器3的差值特征圖使用級(jí)聯(lián)連接一起輸入到解碼器4中進(jìn)行解碼,之后重復(fù)上一步的操作。經(jīng)過層層解碼,最后把解碼器1的輸出特征圖傳遞給最終塊,得到最終的變化檢測(cè)圖。

圖1 CCSNet網(wǎng)絡(luò)整體架構(gòu)

1.1 編碼器

卷積神經(jīng)網(wǎng)絡(luò)因其強(qiáng)大的特征提取能力而被廣泛應(yīng)用于遙感圖像分析。在編碼階段,使用ResNet-34來構(gòu)建編碼器網(wǎng)絡(luò)。由于變化檢測(cè)的輸入通常是雙時(shí)相圖像,所以編碼器網(wǎng)絡(luò)采用孿生網(wǎng)絡(luò)結(jié)構(gòu)。具體來說,編碼器網(wǎng)絡(luò)由兩個(gè)共享可學(xué)習(xí)權(quán)值的編碼分支組成。由于ResNet最初是為了解決圖像分類問題而提出的,其整體結(jié)構(gòu)可以分為一個(gè)卷積池化層、四個(gè)降采樣卷積層和一個(gè)全連接層。但是,最終的變化映射必須恢復(fù)到與原始圖像完全相同的大小。因此,省略了全連接層。

1.2 解碼器

在解碼階段,所提出的結(jié)構(gòu)由四個(gè)解碼器和一個(gè)最終塊組成,它們對(duì)應(yīng)于四個(gè)編碼器和卷積池化層。具體來說,四個(gè)解碼器具有相同的結(jié)構(gòu),如圖2。該解碼器包含一個(gè)跨尺度注意模塊(Cross-Scale Attention Module,CSAM)和兩個(gè)1×1卷積層。所提出的解碼體系結(jié)構(gòu)有不同的實(shí)現(xiàn)方式。具體來說,將兩個(gè)不同尺度的連接特征圖使用級(jí)聯(lián)連接輸入給一個(gè)解碼器。例如,將編碼器4(深特征)和編碼器3(淺特征)提取的特征輸入到解碼器4中進(jìn)行進(jìn)一步學(xué)習(xí)。這種方式可以更好地融合淺層特征的空間信息和深度特征的語義信息,以補(bǔ)償特征編碼過程中衰落的幾何信息,這是檢測(cè)變化區(qū)域的關(guān)鍵。此外,還可以縮小語義差異,并關(guān)注與變化信息相關(guān)的特征映射區(qū)域。因此,得到的最終特征圖可以整合不同尺度的特征。解碼階段的最后一部分是最終塊?？绯叨茸⒁饬δK的整體結(jié)構(gòu)如圖2。它由一個(gè)4倍的上采樣層和兩個(gè)3×3的卷積層組成。它的功能是最終的變化圖恢復(fù)到與原圖像完全相同的大小。

圖2 跨尺度注意力模塊的整體結(jié)構(gòu)

1.3 跨尺度注意力模塊

將不同編碼層獲得的淺層與深層特征圖融合,有助于恢復(fù)在級(jí)聯(lián)特征編碼過程中逐漸消失的空間信息。然而,由于多尺度特征之間存在語義差距,不適當(dāng)?shù)娜诤峡赡軙?huì)引入冗余信息或噪聲。它可能會(huì)導(dǎo)致過度的分割和意外的模糊表示,這可能會(huì)分散模型來區(qū)分由于成像角度、天氣條件、季節(jié)變化和外觀非?；靵y的物體而引起的偽變化。為了縮小多尺度特征之間的語義差異,使模型對(duì)偽變化更具魯棒性,設(shè)計(jì)了一個(gè)級(jí)聯(lián)跨尺度注意力模塊(Cross-Scale Attention Module,CSAM)如圖3。CSAM通過通道注意力和空間注意力來融合多尺度特征圖。通道注意力可以有效地學(xué)習(xí)與不同尺度的特征圖之間的變化相關(guān)的通道,而空間注意力則可以幫助學(xué)習(xí)已經(jīng)發(fā)生變化的區(qū)域。由通道和空間注意力模塊學(xué)習(xí)到的特征圖然后被自注意力模塊融合,以捕獲不同像素之間的依賴關(guān)系。CSAM可以更好地融合淺層和深層特征圖與變化信息相關(guān)的信息,抑制由各種因素而導(dǎo)致的偽變化信息。

(a)圖像T1;(b)圖像T2;(c)Ground truth; (d) FC-EF; (e) FC-Siam-Diff; (f) FC-Siam-Conc;(g) DTCDSCN;(h) STANet;(i)BIT;(j) CCSNet。圖3 LEVIR-CD數(shù)據(jù)集上的檢測(cè)結(jié)果可視化

通常來說,特征圖中的每個(gè)通道的重要程度是相同。但是,對(duì)于特定任務(wù)來說不同通道的重要性是有所不同的,往往需要對(duì)每個(gè)通道的重要性進(jìn)行建模來達(dá)到增強(qiáng)或抑制一些通道。在本文中,通道注意力模塊(Channel Attention Module,CAM)所采用的是SENet[9]。它首先使用壓縮模塊對(duì)特征圖進(jìn)行全局信息嵌入,然后使用激勵(lì)模塊進(jìn)行通道關(guān)系加權(quán)。在變化檢測(cè)任務(wù)中,通道注意力增強(qiáng)與地面特征變化相關(guān)的通道,抑制其他不相關(guān)的通道。因此,首先使用通道注意力減少淺層特征圖和深層特征圖之間的語義差距,增強(qiáng)它們之間與變化相關(guān)的語義信息。

在計(jì)算機(jī)視覺任務(wù)中,圖像像素點(diǎn)的識(shí)別需要考慮它所在的空間位置。換句話說,不同的像素位置的重要程度是有所區(qū)別的?？紤]到遙感圖像中像素位置的重要程度不同,所以引入空間注意力模塊(Spatial Attention Module,SAM)[10]。因?yàn)樽兓瘷z測(cè)的輸入為雙時(shí)態(tài)圖像,所以為了確認(rèn)雙時(shí)態(tài)圖像的那些像素位置與變化相關(guān),那些像素位置與變化無關(guān),這是十分有意義的。而空間注意力可以增加變化像素和不變像素之間的距離差,從而選擇對(duì)變化信息更敏感的像素位置。

與通道和空間注意力模塊不同,自注意力模塊(Self-Attention Module,Self-AM)旨在捕獲特征圖任意兩個(gè)位置之間的空間依賴關(guān)系。它通過對(duì)特征圖之間的任意兩點(diǎn)之間的關(guān)系進(jìn)行建模,來選擇性地聚合每個(gè)位置的特征。為了更好地識(shí)別那兩個(gè)像素之間位置關(guān)系對(duì)變化信息更重要,采納Chen等人提出的位置注意模塊[11]。

2 實(shí) 驗(yàn)

為了評(píng)估本模型對(duì)偽變化的有效性,本文在LEVIR-CD數(shù)據(jù)集進(jìn)行了對(duì)比實(shí)驗(yàn),并使用精度(Precision)、召回率(Recall)、F1值(F1)、交并比(IoU)和總準(zhǔn)確率(OA)作為評(píng)估模型的指標(biāo)。本文將所提出的網(wǎng)絡(luò)與現(xiàn)有先進(jìn)的變化檢測(cè)進(jìn)行對(duì)比實(shí)驗(yàn),并進(jìn)行了可視化比較,從而進(jìn)一步驗(yàn)證模型對(duì)偽變化的性能。

2.1 數(shù)據(jù)集及實(shí)驗(yàn)環(huán)境

LEVIR-CD[12]是一個(gè)被廣泛使用的建筑物變化檢測(cè)數(shù)據(jù)集?？傆?37對(duì)分辨率為0.5 m遙感圖像。其中每張圖像的大小為1 024×1 024像素。該數(shù)據(jù)集中的雙時(shí)間圖像是使用谷歌Earth API在2002年至2018年期間從美國德克薩斯州18個(gè)州的20個(gè)不同地點(diǎn)收集的。它主要關(guān)注小而密集的建筑增加和建筑拆除。考慮到GPU內(nèi)存有限和模型訓(xùn)練速度等因素,把1 024×1 024的圖像對(duì)裁剪為256×256的沒有重疊圖像對(duì)。最終,LEVIR-CD數(shù)據(jù)集的訓(xùn)練集、驗(yàn)證集、測(cè)試集大小分別為 7 120、1 024、2 048。

模型搭建和網(wǎng)絡(luò)訓(xùn)練都是用PyTorch實(shí)現(xiàn)的,并使用單個(gè) 48GB 內(nèi)存 NVIDIA RTX A6000 GPU 進(jìn)行訓(xùn)練。由于原圖像的分辨率太大和顯卡內(nèi)存有限,將所有輸入圖像對(duì)都被裁剪成256×256不重疊的補(bǔ)丁。使用隨機(jī)翻轉(zhuǎn)、隨機(jī)旋轉(zhuǎn)、隨機(jī)裁剪和高斯模糊等數(shù)據(jù)增強(qiáng)方式來豐富數(shù)據(jù)集和防止模型過擬合。所使用的優(yōu)化器為動(dòng)量隨機(jī)梯度下降(SGD),并將動(dòng)量設(shè)置為 0.9,權(quán)重衰減設(shè)置為 0.000 5。初始學(xué)習(xí)率設(shè)置為 0.01,batch size 設(shè)置為 8,訓(xùn)練總輪數(shù)設(shè)置為 200。

2.2 實(shí)驗(yàn)結(jié)果分析

2.2.1 對(duì)比實(shí)驗(yàn)

為了評(píng)估整體性能,將本文的CCSNet與其他先進(jìn)的方法,例如FC-EF[13]、FC-Siam-Diff[13]、FC-Siam-Conc[13]、DTCDSCN[14]、STANet[12]和BIT[8],在LEVIR-CD數(shù)據(jù)集上進(jìn)行了對(duì)比實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果的定性和定量結(jié)果見表1和圖3。

表1 LEVIR-CD數(shù)據(jù)集上的變化檢測(cè)性能比較 %

從表1的定量分析表明,根據(jù)F1、IoU和OA等指標(biāo),CCSNet的表現(xiàn)優(yōu)于其他CD方法。在LEVIR-CD數(shù)據(jù)集上,CCSNet在精度、F1、IoU和OA四個(gè)指標(biāo)中都達(dá)到了最優(yōu)的結(jié)果。與最新的方法BIT相比,CCSNet的F1值、IoU和OA分別提高了 0.77%、1.26%、0.09%。

圖3展示了CCSNet與其他模型在LECIR-CD數(shù)據(jù)集上的可視化結(jié)果。從圖中可以更加直觀地比較本文的模型與其他模型的性能。為了更好地分析模型的性能,在生成的變化圖中使用白色表示正確預(yù)測(cè)的變化像素(TP),黑色表示正確預(yù)測(cè)的不變像素(TN),紅色表示錯(cuò)誤預(yù)測(cè)的不變像素(FP),綠色表示真實(shí)變化像素的漏檢(FN)。從圖中可以觀察到,CCSNet在LEVIR-CD數(shù)據(jù)集上都取得了令人滿意的結(jié)果。

如圖3的第一行圖像所示,它是不同模型在小而稀疏的建筑情況下所得到的結(jié)果。從中可以觀測(cè)到,FC系列的模型都將游泳池區(qū)域錯(cuò)誤分類為建筑更改。而CCSNet以及DTCDSCN、STANet和BIT都能正確識(shí)別。這是因?yàn)樗岢龅目绯叨茸⒁饬δK可以很好地整合淺層特征圖中與深層特征圖一致的區(qū)域,并抑制不必要的特征表達(dá)和噪聲。如圖3的第二行圖像所示,它是比較了在大型建筑的情況。從中可以看出其他模型未能很好地檢測(cè)出右上角細(xì)長的條形建筑物,且主要建筑物的檢測(cè)結(jié)果存在孔洞或邊界不完整。盡管STANet可以檢測(cè)到它們,但它們要么在其他地方進(jìn)行錯(cuò)誤檢測(cè)(FP),要么漏檢(FN),導(dǎo)致建筑物邊界不完整。本文的模型是唯一一個(gè)不僅檢測(cè)出了右上角的長條形建筑物,而且獲得了主體建筑物完整邊界的模型。從圖3的第三行圖像看出,是模型在小目標(biāo)變化的情況。其他模型要么未能檢測(cè)到左下角的建筑物,要么錯(cuò)誤地檢測(cè)到樹木的樹冠引起的變化。相反,本文的模型成功地避免了這兩個(gè)問題,這說明本文的模型能夠區(qū)分由樹木覆蓋引起的偽變化。從圖3的最后一行圖像看出,模型在小而密集的建筑群下的檢測(cè)結(jié)果。許多模型在處理密集分布的小型建筑物時(shí)都出現(xiàn)了不同程度漏檢情況,而本文的模型和BIT的檢測(cè)相對(duì)完整。

2.2.2 消融實(shí)驗(yàn)

為了驗(yàn)證CSAM的有效性,在設(shè)計(jì)的CSAM中對(duì)不同組合結(jié)構(gòu)進(jìn)行了消融實(shí)驗(yàn),并在LEVIR-CD數(shù)據(jù)集上進(jìn)行了對(duì)比分析。BASE 模型是 CCSNet的變體,是由一個(gè)基于 ResNet的孿生編碼器和一個(gè)去掉了 CSAM解碼器組成。消融實(shí)驗(yàn)在LEVIR-CD 數(shù)據(jù)集上的具體量化結(jié)果見表2。從表中可以清楚地觀察到 BASE模型的測(cè)試結(jié)果是最低的。這是因?yàn)?BASE模型是最簡(jiǎn)單的,并且沒有包含 CSAM。將CAM、 SAM或Self-AM分別插入到 BASE中,可以顯著提高檢測(cè)性能,取得的F1值、 IoU和OA均表明了這一點(diǎn)。其中,“BASE + CAM”模型在F1值、IOU和OA指標(biāo)上取得了最好的成績(jī),在 LEVIR-CD數(shù)據(jù)集上分別提升了7.47%、 1.46% 和 0.82%。此外,為了進(jìn)一步驗(yàn)證CSAM 中所使用結(jié)構(gòu)的有效性,還對(duì)任意兩個(gè)注意力模塊的組合情況進(jìn)行了實(shí)驗(yàn)。從表2可以看出,“BASE +CAM + Self-AM”組合的性能最好,其中F1值、 IOU 和OA分別達(dá)到89.83%、 81.54% 和98.98%。“BASE + CAM + SAM”的性能次之。通過將 CAM、SAM和Self-AM與 BASE模型集成,得到的CSAM模型獲得了最好的變化檢測(cè)結(jié)果,在LEVIR-CD數(shù)據(jù)集上的F1值提高了8.13%,IOU提高了12.53%,OA提高了0.88%。從表2的量化結(jié)果可以看出,CSAM 中CAM、 SAM和Self-AM 的每個(gè)注意力模塊都對(duì)變化特征學(xué)習(xí)有貢獻(xiàn)。本文提出的CSAM通過融合他們來處理不同類型的噪聲可能導(dǎo)致的偽變化,進(jìn)一步提高了檢測(cè)性能。

表2 不同注意力模塊組合在LEVIR-CD數(shù)據(jù)集上的消融結(jié)果

3 結(jié) 語

提出了一個(gè)用于高分辨率遙感圖像的變化檢的級(jí)聯(lián)跨尺度網(wǎng)絡(luò)。設(shè)計(jì)了一種級(jí)聯(lián)連接結(jié)構(gòu),將不同層的淺層和深度特征映射一起輸入解碼器。此外,將編碼器提取的淺層特征圖連續(xù)輸入解碼器,以縮小淺層特征和深層特征之間的語義差距。CSAM使網(wǎng)絡(luò)能夠在通道維度、空間位置和不同像素之間的依賴性三個(gè)角度優(yōu)化淺層特征,從而增強(qiáng)與深層特征映射的一致性語義信息,抑制其他不必要的特征表達(dá)和噪聲。當(dāng)在LEVIR-CD數(shù)據(jù)集上進(jìn)行評(píng)估時(shí),所提出的CCSNet優(yōu)于其他最先進(jìn)的方法。實(shí)驗(yàn)結(jié)果表明:所提出的CSAM可以很好地保持不同尺度下特征映射之間的語義一致性,提高了模型對(duì)偽變化的魯棒性。