基于分類后驗概率空間的孿生Nested-UNet（SNU-PS）變化檢測網(wǎng)絡

朱傳海，陳學泓，陳晉，袁宇恒，唐凱

1.北京師范大學 地理科學學部 遙感科學國家重點實驗室,北京 100875;2.北京師范大學 地理科學學部 北京市陸表遙感數(shù)據(jù)產(chǎn)品工程技術研究中心,北京 100875

1 引言

受自然地理過程和人類活動的影響，全球地表覆蓋持續(xù)發(fā)生快速變化，可能對地球系統(tǒng)產(chǎn)生深遠的影響（Foley等，2005）。遙感變化檢測技術通過分析同一區(qū)域不同時間獲得的兩幅或多幅圖像來提取變化信息（Zhu 等，2022），是全面監(jiān)測和記錄地表覆蓋變化的唯一有效手段。目前，變化檢測已廣泛應用于地學研究的各個領域，包括土地利用和土地覆蓋變化、森林砍伐、災害監(jiān)測和城市規(guī)劃等（杜培軍和柳思聰，2012；Hermosilla等，2015；Zheng等，2021；Fang等，2023）。

變化檢測技術的發(fā)展與遙感對地觀測技術的提高、信息技術的迭代、深度學習的興起息息相關（Chen 等，2022b）。在深度學習興起以前，傳統(tǒng)上變化檢測方法可分為兩類：基于像元光譜的直接檢測方法和基于分類的檢測方法（陳晉 等，2001）。直接檢測法通過對比不同時相像元的光譜差異來提取變化信息（眭海剛 等，2018），例如圖像差分法（Ke 等，2018）、主成分分析法PCA（Principle Component Analysis）（Celik，2009）、變化向量分析法CVA（Change Vector Analysis）（Liu等，2015）等。直接檢測法簡單有效，常用于中低分辨率遙感影像的大面積變化檢測制圖（陳云浩等，2002；Baker等，2007；Jin等，2013）。但是，此類算法易受大氣條件、季節(jié)差異、太陽高度角等外在因素的干擾而產(chǎn)生偽變化；其次，由于不同地物變化類型之間的光譜變化強度不同，并且同種變化類型的變化強度也存在一定的差異性（Xian 等，2009），變化閾值的確定也是該類方法的主要難點（Bouziani 等，2010）。隨著支持向量機SVM（Support Vector Machine）、隨機森林RF（Random Forest）等機器學習方法引入到遙感地物分類中（Moustakidis 等，2012），基于分類的變化檢測方法也得到廣泛重視。由于兩期分類可以獨立進行，這類算法受兩期影像的大氣差異等外部因素改變的影響相對較小，對數(shù)據(jù)預處理的要求更為寬松（Asokan 和Anitha，2019）。分類后比較法PCC（Post Classification Comparison）是這類算法的典型代表（Wan 等，2019），它首先對多時相影像各自進行分類，然后比較分類圖獲取變化信息。PCC 方法簡單直接，是最常用的變化檢測方法（Lu 等，2014；El-Hattab，2016）。但是，PCC的最終變化檢測精度同時受兩期影像的分類精度影響（張良培和武辰，2017），常常存在較大的誤差累積，從而高估變化區(qū)域（Hecheltjen 等，2014）。針對這一問題，Chen等（2011）提出了基于后驗概率空間的變化向量分析法CVAPS（Change Vector Analysis in Posterior Probability Space），將地物的分類后驗概率（即歸屬概率）而非硬分類結果作為CVA 的輸入來提取變化信息，有效結合PCC與CVA 兩種方法的優(yōu)點，減少了分類誤差的累積?？傮w而言，傳統(tǒng)的變化檢測技術經(jīng)過幾十年發(fā)展，在粗分辨率影像的變化檢測上能夠取得較好的效果。但是，傳統(tǒng)方法對于空間特征的挖掘相對有限，在空間紋理特征豐富的高分辨率影像上，難以取得理想的變化檢測效果（Shafique 等，2022）。

近年來，深度學習技術快速興起，其通過深層神經(jīng)網(wǎng)絡結構挖掘圖像中的多層次紋理特征（Varghese等，2019），在各種圖像識別任務上取得突破性發(fā)展（Chan 等，2015），也適用于高空間分辨率遙感影像的解譯（Zhu 等，2017；Kussul 等，2017）。因此，基于深度學習的高分辨率遙感影像變化檢測得到廣泛研究（Diakogiannis 等，2020）。根據(jù)深度特征提取和訓練過程的不同，變化檢測網(wǎng)絡一般可分為3種類型：單支結構、雙支結構和多任務結構（Shi等，2020；Tian等，2022）。單支結構首先將雙時相圖像進行融合，然后將融合圖像輸入到DeepLabV3+（Chen 等，2018）、UNet（Liu等，2020a）、UNet++（Peng等，2019）等深度學習網(wǎng)絡中，使得變化檢測任務轉化為分類任務。常見的融合方法有差值運算（Lv 等，2018）、比值運算（Zhao 等，2014）、通道維堆疊（Daudt 等，2018；Liu等，2020a）等，可以突顯出有關變化的信息，以指導網(wǎng)絡學習影像中的變化特征。雙支結構則通過兩個網(wǎng)絡分支分別提取雙時相圖像的深層特征，再通過特征融合提取變化特征。孿生結構是最典型的雙支結構，兩個分支網(wǎng)絡結構相同、權值共享，從而提取雙時相圖像的共同特征，能夠有效減少網(wǎng)絡參數(shù)，是最常用的變化檢測網(wǎng)絡類型之一（Zhan 等，2017；Chen 等，2022a；Fang 等，2022）；而另一種偽孿生結構（Xu 等，2021，2022）的兩個分支雖然結構相同，但不共享權值，可以獨立學習兩個時期影像的最佳權值，有利于靈活適應兩期影像的成像差異（Wiratama等，2018）。多任務結構是一種更加復雜的網(wǎng)絡結構，其將語義分割和變化檢測相結合，在提取變化信息的同時兼顧兩期地物分類結果。這類結構通常在變化檢測網(wǎng)絡的解碼或編碼階段融合進分類網(wǎng)絡提取到的地物特征，從而得到更具地物語義信息的變化特征（Zheng 等，2022；Xia 等，2022）。多任務結構通過增加地物語義信息，突出了地物類型的變化特征，但是也進一步增加了網(wǎng)絡復雜度和訓練難度?？傮w而言，在訓練樣本充分的條件下，深度學習方法能夠有效挖掘變化區(qū)域的光譜與紋理特征，實現(xiàn)較高精度的變化檢測（楊彬 等，2022）。然而，而收集和標記可靠的高質量樣本十分困難，變化樣本尤為如此。因此，在實際的變化檢測應用中，經(jīng)常缺乏高質量的訓練數(shù)據(jù)（Shafique 等，2022）；同時，變化與非變化、不同變化類型之間都存在嚴重的類別不平衡問題。針對樣本不足的問題，部分學者通過遷移學習技術將在源域訓練的變化檢測網(wǎng)絡遷移到少樣本或無樣本的目標域（Liu 等，2019，2020b；Yang 等，2019）。但是此類方法仍需要充分的源域樣本，且在源域與目標域影像特征差距太大時可能失效。此外，利用經(jīng)驗設計的預變化檢測步驟生成初始偽標簽或引導生成式對抗網(wǎng)絡產(chǎn)生偽標簽，以訓練變化檢測網(wǎng)絡（Gong 等，2017；Zhang等，2021），也能減少人工標簽需求，甚至構建無監(jiān)督方法。但是，這類方法依賴較強的先驗知識以構造合適的預變化檢測方法（Shi等，2020；Wu等，2023）。因此，真實標簽樣本不足仍然是限制現(xiàn)有方法應用范圍的重要瓶頸（Wan等，2022）。

值得注意的是，相比變化檢測樣本，單時相地物分類樣本的獲取難度要低得多。因此，基于地物分類樣本訓練的語義分割網(wǎng)絡可能為變化檢測網(wǎng)絡提供重要的先驗特征?；诖?，本文提出了一種基于分類后驗概率空間的孿生Nested-UNet變化檢測網(wǎng)絡SNU-PS（Siamese Nested-UNet for change detection in Posterior Probability Space）。該方法借鑒CVAPS（Chen 等，2011）的思想，將孿生Nested-UNet（Siamese Nested-UNet，SNU）變化檢測網(wǎng)絡的多光譜影像輸入替換為地物分類后驗概率影像。相比多任務結構的變化檢測網(wǎng)絡中分類網(wǎng)絡與變化檢測網(wǎng)絡的特征層融合，以后驗概率作為二者的聯(lián)接點，可以在不增加網(wǎng)絡復雜度與訓練難度的同時考慮語義信息。在此基礎上訓練的變化檢測網(wǎng)絡無需學習多光譜影像中的地物特征，因此有可能減輕變化檢測網(wǎng)絡的學習壓力，降低對變化檢測樣本的需求。

2 研究方法

2.1 SNU-PS主要思路

SNU-PS原理與CVAPS類似，不同之處在于將CVAPS 采用的傳統(tǒng)分類與CVA 變化檢測方法替換為基于深度學習的方法，以適應高分辨率遙感影像變化檢測對紋理特征的挖掘需求?？傮w技術路線如圖1所示。首先，利用語義分割網(wǎng)絡分別對兩期遙感影像進行語義分割，得到各種類型地物的分類后驗概率；然后將雙時相地物分類后驗概率輸入到一種典型的孿生變化檢測網(wǎng)絡SNU 中得到最終的變化檢測結果。為簡化網(wǎng)絡復雜度和訓練難度，語義分割網(wǎng)絡與變化檢測網(wǎng)絡的訓練是分步獨立進行的。

圖1 SNU-PS技術路線圖Fig.1 Flowchart of the proposed SNU-PS

2.2 HRNet語義分割網(wǎng)絡

語義分割網(wǎng)絡是SNU-PS 變化檢測的第一個步驟，用以輸出兩個時期的地物分類后驗概率圖像?，F(xiàn)有語義分割網(wǎng)絡類型眾多，各有優(yōu)缺點。本研究選擇提出的一種高分辨率網(wǎng)絡HRNet（High Resolution Net）（Wang等，2021）提取地物類型及其后驗概率信息。HRNet 的主要特點是在整個卷積過程中保持高分辨率，充分結合深層語義與空間細節(jié)信息，大大降低了下采樣過程中的信息損耗，在各種類型的遙感地物分類任務中取得了理想的精度（Seong和Choi，2021）。相比之下，其他常見的語義分割網(wǎng)絡，如UNet、SegNet、DeepLab系列等，通常在卷積、池化組合操作過程中逐漸降低影像的分辨率，在提取深層特征的同時會相應損失空間細節(jié)，不利于地物邊界的精確刻畫（Peng等，2022）。

HRNet 網(wǎng)絡結構如圖1（b）所示，以高分辨率卷積流作為第一階段，逐步增加高分辨率到低分辨率的卷積流，通過并聯(lián)的方式連接不同分辨率的卷積流，實現(xiàn)多尺度語義信息重復融合。HRNet主要由3種模塊構成：并行卷積模塊、特征融合模塊和輸出模塊。并行卷積模塊采用ResNet 殘差結構，將原始分辨率的特征重采樣到不同分辨率且不同分辨率的特征卷積流可以同時運行，以充分提取不同層次的語義信息；特征融合模塊旨在跨多分辨率交換語義信息，在各個不同分辨率的特征卷積流之間采用上采樣或下采樣的方式實現(xiàn)分辨率的統(tǒng)一，以實現(xiàn)全局語義信息的提??；經(jīng)過3 個逐步加深的并行卷積與特征融合模塊后，輸出模塊將不同分辨率特征統(tǒng)一到原始影像大小，獲取最終分割結果以及相應的后驗概率圖像。

在本文提出的SNU-PS方法中，HRNet的訓練樣本可以來自變化前后任意時期的分類標簽，無需兩個時期的成對標簽。因此，分類樣本相較變化檢測樣本的獲取難度大大降低，在實際應用中樣本量容易得到保證，HRNet 得以充分訓練，從而輸出較為精確的后驗概率圖像。

2.3 SNU變化檢測網(wǎng)絡

本研究選擇SNU 變化檢測網(wǎng)絡用于對上節(jié)得到的兩期后驗概率圖像進行變化檢測。SNU 是一種典型的孿生變化檢測網(wǎng)絡，被廣泛應用于變化檢測研究（Amankwah 等，2022；Jiang 等，2022）。相較于其他類型的變化檢測網(wǎng)絡，孿生網(wǎng)絡由于權值共享，需要學習的參數(shù)數(shù)量較少，對訓練樣本需求相對較?。↙i 等，2022）。此外，本研究輸入的后驗概率圖像性質相似，受兩期之間的物候、光照等差異影響較少，能夠更為方便的提取共同特征。因此，SNU 適用于后驗概率空間中的變化檢測。

SNU 網(wǎng)絡結構如圖1（c）所示，主體采用編碼—解碼結構。在編碼部分，將兩期圖像分別輸入到孿生網(wǎng)絡的兩個分支中，并在兩個分支之間共享參數(shù)，最后采用串聯(lián)方式融合兩個孿生分支之間的特征，保證信息的完整性。為了保持高分辨率特征，在編碼器和解碼器之間使用了密集跳躍連接機制（圖1（c）），融合后的高分辨率、細尺度特征通過跳躍連接依次傳輸?shù)浇獯a器，補償了解碼器深層位置信息的損失。因此，該網(wǎng)絡能夠較好地保持高分辨率、細尺度的特征，減輕變化目標邊緣像素的不確定性和小目標的判定失誤。

為了緩解變化/不變化樣本不平衡的影響，本研究在損失函數(shù)方面混合使用兩種針對樣本不平衡問題設計的Loss 函數(shù)，Dice Loss（Milletari 等，2016）與Focal Loss（Lin 等，2017）。這兩種Loss函數(shù)被廣泛用于緩解樣本不平衡帶來的訓練偏差，其表達式分別為

式中，i表示像元序號，N表示像元總個數(shù)，pi表示像元i變化/不變化的預測概率，gi表示像元i的真實標簽，α為權重因子，γ為調節(jié)因子。本研究進一步將兩個Loss函數(shù)加權組合：

式中，τ為兩個Loss 的權重調節(jié)因子，該因子使得兩個Loss 在數(shù)值上保持一致，對梯度下降方向上的貢獻可比。

原SNU 以多光譜影像為輸入，網(wǎng)絡需要同時提取兩期變化信息與多光譜影像特征，因此對變化/不變化訓練樣本的數(shù)量要求較高。而后驗概率圖像已包含了地物類型的語義信息，因此SNU-PS中的變化檢測網(wǎng)絡無需挖掘多光譜影像特征，僅負責提取地物變化信息，對訓練樣本的依賴得以減輕。

3 實驗設計

3.1 實驗數(shù)據(jù)

目前常用的公開變化檢測數(shù)據(jù)集有MtS-WH（Wu等，2017）、HRSCD（Daudt等，2019）、LEVIRCD（Chen和Shi，2020）、SECOND（Yang等，2021）、SpaceNet7（Van Etten 等，2021）等。但是，其中多數(shù)數(shù)據(jù)集僅提供變化/不變化標簽，缺少地物類型標簽，而這與實際應用中樣本的獲取難度并不匹配。為更符合實際應用場景，同時適用本文提出的SNU-PS 變化檢測方法，我們選擇同時包含地物分類標簽與變化標簽的數(shù)據(jù)集用于實驗，包括SpaceNet7與HRSCD 數(shù)據(jù)集。進一步，通過隨機選取較多的地物類型標簽與較少的地物變化標簽，來模擬實際應用中變化樣本難以獲取的特點，檢驗SNU-PS在變化樣本不足情形下的表現(xiàn)。

3.1.1 SpaceNet7 數(shù)據(jù)集

SpaceNet7 數(shù)據(jù)集（圖2（a））是由Planet Labs在2017 年—2020 年期間收集的衛(wèi)星影像，分辨率約為4 m。每張影像大小為1024×1024 像素，包含建筑物和非建筑物兩類標簽。整個數(shù)據(jù)集中，變化樣本和非變化像元數(shù)量極不平衡，變化像元僅占1.4%。SpaceNet7 數(shù)據(jù)集包括多個時期的數(shù)據(jù)，本研究將第一個時期和最后一個時期的數(shù)據(jù)組成影像對構建樣本集，并將原始圖像剪切成約5000 張大小為128×128 像素的圖像。在語義分割模塊中，按照6∶2∶2的比例將具有分類標簽的樣本劃分訓練集、驗證集、測試集；在變化檢測模塊中，為模擬實際應用中變化檢測樣本較少的情景，分別從具有變化標簽的樣本中抽取1%、5%、10%、15%、20%、30%與40%構建7 個樣本數(shù)量水平的變化檢測訓練集；驗證集和測試集的數(shù)量則與語義分割的樣本集數(shù)量保持一致，均為20%。需要注意的是，這里語義分割與變化檢測的測試集保持一致，以確保它們共同排除在模型的訓練與驗證過程之外。由于變化檢測訓練樣本數(shù)量較少，為避免單次抽樣的偶然性，本研究對每一個樣本數(shù)量水平都隨機抽樣5 次，總共生成7×5=35 組變化檢測訓練樣本集。

圖2 本研究所用實驗數(shù)據(jù)集Fig.2 Experimental datasets used in the study

3.1.2 HRSCD 數(shù)據(jù)集

HRSCD 數(shù)據(jù)集（圖2（b））是由法國國家地理和森林信息研究所拍攝的航空圖像制作而成，包含291 個大小為10000×10000 像素的RGB 圖像對，分辨率為0.5 m。該數(shù)據(jù)集的分類體系更傾向于土地利用，包含人造地表、農(nóng)業(yè)用地、林地、濕地、水體5 種地物類別，以及相應的21 種變化類型。與SpaceNet7數(shù)據(jù)集類似，HRSCD 數(shù)據(jù)集中變化樣本和非變化樣本同樣極不平衡，變化樣本僅占整個數(shù)據(jù)集的0.8%。根據(jù)Xia 等（2022）的研究經(jīng)驗，為方便訓練，先將原始影像裁剪成2000×2000像素大小的圖像，并進一步將通過重采樣調整為512×512像素大小。用于語義分割和變化檢測的訓練集、驗證集、測試集的劃分與SpaceNet7 數(shù)據(jù)集保持一致，同樣生成35組變化檢測訓練樣本集。

3.2 評價指標

本研究采用總體精度（OA）、變化地物的F1、變化地物的交并比（IoU）和Kappa 系數(shù)4 個定量指標表征變化檢測精度；

式中，N表示測試樣本的像元數(shù)，TP 和FP 分別表示樣本中真實變化像元被正確識別為變化和誤判為非變化的像元個數(shù)，TN和FN分別表示真實非變化像元被正確識別非變化和誤判為變化的像元個數(shù)。針對包含多種變化類型的變化檢測情形，額外采用F1Types（Zheng 等，2021）表示不同變化類型的平均檢測精度，如式（9）所示：

式中，j為變化類型編號，m為總的變化類型數(shù)量（包括非變化類型），F(xiàn)1j表示第j種變化類型的F1。

3.3 實驗環(huán)境及參數(shù)設置

本研究使用Pytorch框架實現(xiàn)模型構建及訓練。在訓練過程中，使用AdamW 優(yōu)化器，初始學習率設置為0.001，并采用余弦退火法調整學習率。實驗設備為NVIDIA GeForce RTX 3090，每輪實驗訓練100 個 epoch 以使模型收斂，并選取驗證集精度最高的epoch對應的網(wǎng)絡模型用于預測。

3.4 對比方法

為驗證本研究的優(yōu)越性和穩(wěn)定性，選擇部分變化檢測方法進行比較：

（1）基于HRNet分類結果的PCC（HRNet-PCC）：分類后比較是最常用的變化檢測方法，是變化檢測方法對比的重要基準（Xie 和Niculescu，2021），本研究選擇基于HRNet 分類結果的PCC 方法作對比；

（2）基于SVM分類結果的PCC（SVM-PCC）：支持向量機SVM（Support Vector Machine）是地物分類中常用的傳統(tǒng)機器學習方法（李楠 等，2018），為比較基于深度學習分類結果的PCC 方法和基于傳統(tǒng)機器學習方法分類結果的PCC 方法之間的優(yōu)劣，本研究選擇基于SVM 分類結果的PCC 方法作對比；

（3）基于HRNet 分類后驗概率的CVAPS（HRNet-CVAPS）：CVAPS（Chen 等，2011）可以有效緩解PCC 方法中誤差累積問題，本研究選擇基于HRNet分類后驗概率的CVAPS方法作為對比；

（4）FC-EF：一種單支結構的變化檢測網(wǎng)絡（Daudt 等，2018），首先將變化前后兩幅影像按通道維融合然后利用UNet 網(wǎng)絡進行變化檢測，參數(shù)量少，簡單有效，是常用的變化檢測基準方法（Chen等，2021a）；

（5）BIT：一種采用注意力模型Transformer 的變化檢測網(wǎng)絡（Chen 等，2021b），Transformer 具有更大的感受野和更強的上下文語義提取能力，可以通過對上下文特征的建模來利用雙時相圖像中的全局語義信息，以提高檢測效率和精度，是常用變化檢測對比方法（Bandara和Patel，2022）；

（6）PCFN：一種同時實現(xiàn)地物分類和變化檢測的多任務網(wǎng)絡，這類網(wǎng)絡在最近的研究中表現(xiàn)出更為優(yōu)良的性能（Xia等，2022）；

（7）SNU：基于多光譜影像輸入的孿生變化檢測網(wǎng)絡（Fang 等，2022），是最流行的變化檢測網(wǎng)絡結構之一，在很多研究中作為對比基準（Chen等，2021b；Bandara和Patel，2022）。

4 結果分析

4.1 SpaceNet7 數(shù)據(jù)集結果分析

不同變化檢測方法在SpaceNet7 測試集上的變化檢測精度評價結果如圖3 和表1 所示。HRNet-CVAPS、FC-EF、BIT、PCFN、SNU、SNU-PS這6種方法的變化檢測精度均隨著變化檢測訓練樣本量的增加而提高，同時5次實驗的標準差下降，說明充足的訓練樣本對于不同類型網(wǎng)絡的檢測精度與穩(wěn)定度的提升都很重要。其中，SNU-PS 在絕大多數(shù)樣本量水平下都保持最高的變化檢測精度與穩(wěn)定度，特別是在F1、IoU、Kappa 指標上相較其他方法具備較大優(yōu)勢。而不同方法在OA 指標上差距較小，是因為變化/不變化樣本比例嚴重失衡導致OA 無法準確反映不同方法的差異。此外，SNUPS 方法在小樣本情況下表現(xiàn)更為穩(wěn)健。即使僅用5%樣本量訓練的SNU-PS，其F1、IoU、Kappa 仍遠優(yōu)于40%樣本量訓練的HRNet-CVAPS、FCEF、BIT、PCFN 與SNU。SVM-PCC 和HRNet-PCC方法，作為分類后較方法，無需變化檢測訓練樣本，因此其變化檢測結果不受訓練樣本量的影響，但由于存在誤差累積與幾何匹配問題，在大部分情況下其精度水平低于其他方法。特別是SVMPCC，由于其無法利用高空間分辨率影像的豐富紋理特征，在所有方法中表現(xiàn)最差。

表1 不同變化/不變化訓練樣本比例下不同變化檢測方法在SpaceNet7數(shù)據(jù)集上的平均精度對比Table 1 Change detection average accuracies of different methods trained with different change/unchanged sample size for the SpaceNet7 dataset

圖3 不同變化/不變化訓練樣本比例下不同變化檢測方法在SpaceNet7數(shù)據(jù)集上的精度對比Fig.3 Change detection accuracies of different methods trained with different change/unchanged sample size for the SpaceNet7 dataset

圖4展示了不同變化檢測方法（15%訓練樣本比例）在SpaceNet7 數(shù)據(jù)集上檢測結果的典型示例。SNU-PS 方法基本正確提出了兩個時期間增加的建筑區(qū)域，僅存在少量的錯分和漏分。相比之下，F(xiàn)C-EF、BIT、PCFN 與SNU 則存在較多的漏分，這可能是變化前后大型建筑以及某些成排建筑與道路或者裸地形態(tài)相似，網(wǎng)絡難以正確識別變化區(qū)域（圖4紅圈）；HRNet-CVAPS 存在一定的漏分和建筑物邊緣的錯分，這可能是由于方法中CVA 步驟是在像元層面上執(zhí)行，對于變化地物的空間特征挖掘不足以及對兩期影像幾何誤差的容忍不夠導致的。而SVM-PCC 和HRNet-PCC 存在大量的錯分，在建筑物邊緣尤為明顯（圖4橙框），這一方面是因為邊緣混合像元會導致誤差累積（Chen 等，2011），另一方面是受不同時相的配準誤差、陰影差異等影響。而SVM-PCC 的變化檢測錯誤尤為明顯，說明非深度學習方法確實難以勝任高分辨率影像的變化檢測任務。

圖4 不同方法在SpaceNet7 數(shù)據(jù)集上變化檢測結果示例Fig.4 Examples of change detection results of different methods on the SpaceNet7 dataset

4.2 HRSCD 數(shù)據(jù)集結果分析

不同方法在HRSCD 測試集上的變化檢測精度評價結果如圖5 和表2 所示。同樣地，HRNet-CVAPS、FC-EF、BIT、PCFN、SNU 與SNU-PS 這6種方法的變化檢測精度隨著變化檢測訓練樣本量的增加而提高，同時5 次實驗的標準差下降。SNU-PS 在絕大多數(shù)樣本量水平下仍然保持最高的變化檢測精度與穩(wěn)定度。特別是在訓練樣本量較少時，SNU-PS 相較其他方法的優(yōu)勢更為明顯。即使在1%的訓練樣本比例下，SNU-PS 也具有較高的F1、F1-Types、IoU、Kappa，與40%訓練樣本訓練的其他方法精度相差不大，說明SNU-PS 方法在小樣本下具備較好的穩(wěn)健性。但是，當樣本比例達到30%及以上時，PCFN 與SNU-PS 的變化檢測精度差距縮小，這說明當訓練樣本充分時，不同結構的網(wǎng)絡精度差異趨于減小。雖然SVM-PCC和HRNet-PCC不受變化檢測訓練樣本數(shù)量的影響，但是受限于算法本身的局限性，表現(xiàn)不如其他變化檢測網(wǎng)絡（訓練樣本比例高于5%時）。同樣的，SVM-PCC，作為傳統(tǒng)方法，在所有情形下都表現(xiàn)最差。總體而言，SNU-PS 在HRSCD 數(shù)據(jù)集的變化檢測實驗上仍然表現(xiàn)出相比其他方法的優(yōu)勢，但是優(yōu)勢不如在SpaceNet7 數(shù)據(jù)集的實驗明顯。這可能是因為HRSCD數(shù)據(jù)地物類型與變化類型更多，不論哪種方法都更難以達到理想結果。特別是F1-Types 指標只在10%左右的水平，說明各種方法都難以準確地識別變化類型。以某次15%變化檢測訓練樣本下的變化檢測實驗為例，在測試變化樣本集中數(shù)量最多的4 種變化類型的檢測精度（F1）如表3 所示，除占比最多的“農(nóng)業(yè)用地→人造地表”變化類型外，各類方法對其他的變化類型均不能有效識別。SNU-PS 也僅能少量識別占比第二的“農(nóng)業(yè)用地→水體”變化類型。這是因為相比變化/不變化樣本的不平衡，不同變化類型的樣本數(shù)量更少（表3），帶來更為嚴重的不平衡問題，因此變化類型的識別十分困難。

表2 不同變化/不變化訓練樣本比例下不同變化檢測方法在HRSCD數(shù)據(jù)集上的平均精度對比Table 2 Change detection average accuracies of different methods trained with different change/unchanged sample size for the HRSCD dataset

表3 不同變化檢測網(wǎng)絡在HRSCD數(shù)據(jù)集上主要變化類型的F1（訓練樣本比例為15%）Table 3 The F1 scores of different change detection networks on the major change categories in the HRSCD dataset（The training sample ratio is 15%）

由于HRSCD 數(shù)據(jù)集中多數(shù)變化類型占比太少，，圖6 著重展示了8 種變化檢測方法（變化檢測訓練樣本比例為15%）對于“農(nóng)業(yè)用地→人造地表”這一變化類型的檢測能力。5種深度學習方法均較為準確地檢測到變化區(qū)域，但SNU-PS 具有最小的錯分和漏分。與參考標簽相比，F(xiàn)C-EF、BIT、PCFN 和SNUNet-CD 的變化檢測結果存在較多的錯分；這些錯分在圖像上對應一些地物變化，如公園綠地內建筑增加（圖6 中橙框），但是從土地利用角度卻同屬于人造地表類型未發(fā)生變化。相較而言，SNU-PS 不會出現(xiàn)該類錯分，因為該方法通過語義分割網(wǎng)絡的訓練，在對地物類型語義的解譯上更為接近參考的土地利用標簽。由于HRNet-CVAPS 與HRNet-PCC 也包括了語義分割網(wǎng)絡的訓練，因此也較少出現(xiàn)這種類型的錯分。但是HRNet-PCC 仍然存在大量錯分（圖6 橙框），這是由于對于兩個時期的分類誤差累積在該數(shù)據(jù)集上依然十分明顯。相較而言，這些錯分區(qū)域基本沒有出現(xiàn)在SNU-PS 中，這說明SNU-PS 可以顯著改善PCC 方法中的誤差累積問題。而SVM-PCC 在該樣例中表現(xiàn)極差，幾乎完全不能正確識別變化與不變化區(qū)域。這是因為該場景中占比最多的農(nóng)業(yè)用地的類內光譜差異很大，正確識別十分依賴空間紋理特征，而傳統(tǒng)的非深度學習方法在空間紋理特征的利用上嚴重不足。

圖6 不同方法在HRSCD 數(shù)據(jù)集上變化檢測結果示例（）Fig.6 Examples of change detection results of different methods on the HRSCD dataset

5 討論

5.1 SNU-PS的優(yōu)點

SNU-PS 將語義分割網(wǎng)絡作為前置步驟，能夠充分利用獲取代價較小的地物分類樣本訓練語義分割網(wǎng)絡，提取遙感影像中的類型語義信息；因此，后置的變化檢測網(wǎng)絡無需學習多光譜圖像特征，從而減少其對變化檢測樣本的依賴。因此，相比其他變化檢測網(wǎng)絡，SNU-PS 在小樣本條件下的變化檢測表現(xiàn)更為穩(wěn)健。我們檢查了不同變化檢測網(wǎng)絡在SpaceNet7 數(shù)據(jù)集上的訓練精度（F1）隨訓練步數(shù)（epoch）的變化。如圖7 所示，SNUPS 的訓練精度在訓練初期即遠高于其他變化檢測網(wǎng)絡，并在10 個步數(shù)內即達到穩(wěn)定狀態(tài)。這說明基于分類后驗概率圖像訓練變化檢測網(wǎng)絡的確難度較低，因此在小樣本情況下的穩(wěn)健性更好。

圖7 不同變化檢測網(wǎng)絡在訓練集上的F1精度隨訓練步數(shù)的變化（SpaceNet7數(shù)據(jù)集，10%訓練樣本）Fig.7 The F1 on training dataset changes with the increasing training epochs for different change detection networks（SpaceNet7 dataset，10% training sample）

同時，SNU-PS 將語義分割網(wǎng)絡與變化檢測網(wǎng)絡分步單獨訓練，兩個網(wǎng)絡為松耦合關系，在使用時網(wǎng)絡結構與訓練策略無需作任何改變。相較于分類與變化檢測多任務網(wǎng)絡，不僅訓練更為方便，而且前置的HRNet 網(wǎng)絡與后置的SNU 網(wǎng)絡能夠方便地被其他更為合適的語義分割網(wǎng)絡與變化檢測網(wǎng)絡替代。我們對比了以UNet++（Zhou 等，2020）、EfficientNet（Tan 和Le，2019）、TransUnet（Chen 等，2021b）、DeepLabV3+（Chen 等，2018）和HRNet 這5 種分割網(wǎng)絡為前置語義分割網(wǎng)絡的SNU-PS 方法在SpaceNet7 數(shù)據(jù)集上的變化檢測精度。如表4所示，以HRNet作為前置語義分割網(wǎng)絡的變化檢測精度指標高于其他語義分割網(wǎng)絡，這是因為HRNet 可以保持原有分辨率信息，建筑物邊界更為清晰（圖8）。因此，本文選擇HRNet 作為SNU-PS 前置語義分割網(wǎng)絡。此外，我們也對比了不同后置變化檢測網(wǎng)絡FC-EF、BIT 和SNU 方法應用于HRNet后驗概率影像上的變化檢測精度（變化檢測訓練樣本占比15%）。如表5 所示，SNU-PS的F1、IoU 和Kappa 指標均高于以FC-EF 或BIT 作為后置變化檢測網(wǎng)絡的模型。這確認了SNU 是較為適用提取后驗概率影像變化特征的變化檢測網(wǎng)絡。但是，當用戶了解目標研究區(qū)域與數(shù)據(jù)有更為適合的語義分割網(wǎng)絡或有更為適用于后驗概率影像的變化檢測網(wǎng)絡被研發(fā)出來時，無需對其中的網(wǎng)絡結構與訓練策略作任何改動，即可用于本文提出的后驗概率影像變化檢測框架中，在應用中有很高的靈活性。

表4 基于不同語義分割網(wǎng)絡的SNU-PS在SpaceNet7 數(shù)據(jù)集上的變化檢測精度評價結果Table 4 Change detection accuracies of SNU-PS methods based on different semantic segmentation network for the SpaceNet7 dataset

表5 基于不同后置變化檢測網(wǎng)絡的HRNet后驗概率空間變化檢測方法在SpaceNet7 數(shù)據(jù)集上的變化檢測精度評價結果Table 5 Change detection accuracies of different change detection networks in HRNet derived posterior probability space for the SpaceNet7 dataset

圖8 不同語義分割網(wǎng)絡在SpaceNet7 數(shù)據(jù)集上后驗概率示例Fig.8 Examples of semantic segmentation results of different methods on the SpaceNet7 dataset

PCC 與CVAPS 方法，也將分類作為前置步驟，因而也具備上述兩個優(yōu)點，對變化檢測訓練樣本依賴較小，分類網(wǎng)絡替換方便。但是PCC 與CVAPS 的變化檢測基于像元操作，對于變化的空間特征考慮不足，同時對不同時相高分影像的幾何誤差更為敏感。相比之下，SNU-PS 在分類后引入變化檢測網(wǎng)絡，通過卷積操作綜合考慮感受野內的后驗概率信息，能夠更為深入地挖掘地物變化的空間特征，以及有效緩解不同時相高分影像幾何匹配不一致的問題，因此能夠取得更高的變化檢測精度。

5.2 SNU-PS的局限性

盡管SNU-PS 在本文實驗中取得了比其他變化檢測方法更好的表現(xiàn)，但是仍存在3 個問題有待進一步改進。首先，SNU-PS 方法中語義分割網(wǎng)絡的訓練依賴單期影像的地物類別樣本，當變化前后任意一期影像出現(xiàn)了分類訓練樣本中不存在的新的地物類型，則會導致方法失效。引入能夠處理未知地物類型的開集分類機制（Kaviani Baghbaderani 等，2020），可能幫助克服該問題。其次，盡管引入針對樣本不平衡設計的Loss 函數(shù)以克服變化/不變化樣本間的不平衡問題，SNU-PS仍然無法解決更為嚴重的樣本變化類型不平衡的問題。例如，在HRSCD 數(shù)據(jù)集中除農(nóng)業(yè)用地變?yōu)槿嗽斓乇硗?，其他的變化類型由于變化占比太小，不能被有效識別。最后，SNU-PS 在變化檢測部分直接采用現(xiàn)有SNU 網(wǎng)絡，盡管其孿生結構相比其他變化檢測網(wǎng)絡結構更適用于兩期圖像性質相似的后驗概率影像，但仍存在改進空間。分類后驗概論影像主要體現(xiàn)地物類型的語義信息，不包括多光譜影像中豐富的光譜與紋理信息；因此SNU變化檢測網(wǎng)絡中的特征提取部分可以針對后驗概率影像特征被簡化壓縮，從而進一步降低變化檢測網(wǎng)絡的訓練難度以及對變化樣本的需求。

6 結論

本研究借鑒CVAPS 變化檢測的思想，以后驗概率為聯(lián)結點，結合深度語義分割網(wǎng)絡HRNet 與變化檢測網(wǎng)絡SNU-CD，提出新的SNU-PS 變化檢測方法，適用于變化樣本較少的應用場景。實驗結果表明，SNU-PS 方法相比幾種基準算法取得更為優(yōu)異的變化檢測精度與穩(wěn)定度，特別在變化檢測的訓練樣本量較少時體現(xiàn)出更為明顯的優(yōu)勢。此外，SNU-PS 還具有較強的靈活性，在實際應用中可根據(jù)目標區(qū)域的影像分辨率、地物特點與分類體系，靈活選擇更為合適的語義分割網(wǎng)絡模型，增強算法在不同應用情形下的穩(wěn)健性。未來，我們將針對后驗概率影像特點，優(yōu)化變化檢測網(wǎng)絡部分，以期克服變化類型識別難題以及進一步減少網(wǎng)絡訓練難度。