深度學(xué)習(xí)的遙感變化檢測綜述：文獻(xiàn)計量與分析

楊彬，毛銀，陳晉，劉建強(qiáng)，陳杰，閆凱

1.湖南大學(xué) 電氣與信息工程學(xué)院,長沙 410082;2.北京師范大學(xué) 地理科學(xué)學(xué)部,北京 100875;3.國家衛(wèi)星海洋應(yīng)用中心,北京 100081;4.中南大學(xué) 地球科學(xué)與信息物理學(xué)院,長沙 410083;5.中國地質(zhì)大學(xué)(北京) 土地科學(xué)技術(shù)學(xué)院,北京 100084

1 引言

自然和人類活動所導(dǎo)致的地表覆蓋類型變化已引起廣泛關(guān)注。準(zhǔn)確快速地獲取這些變化信息對于生態(tài)環(huán)境監(jiān)測、災(zāi)害管理、農(nóng)業(yè)生產(chǎn)、環(huán)境保護(hù)和軍事國防等具有重要意義（Erturk 等，2017；Ji 等，2019a；Gao 等，2021；許曉聰 等，2021；鐘嫻 等，2022）。遙感具有多模態(tài)、周期性和大范圍觀測的優(yōu)勢，已被廣泛應(yīng)用于變化檢測研究（Coppin 等，2004；Radke 等，2005；Kennedy 等，2009；Chen等，2012；Hussain等，2013；Seydi和Hasanlou，2017）。

遙感變化檢測是指利用相同位置不同時期的遙感圖像，基于圖像處理和數(shù)理模型，識別地表實體或現(xiàn)象在不同時期狀態(tài)差異的技術(shù)（Singh，1989；眭海剛 等，2018）。相比其他遙感圖像解譯技術(shù)（如分類和識別等），遙感變化檢測需要至少兩個時期的圖像，其流程更為復(fù)雜，包括：圖像間高精度幾何配準(zhǔn)，輻射、大氣、物候相對歸一化處理，變化特征提取，變化區(qū)域及變化類型確定以及精度驗證等步驟，如圖1（a）所示（佟國峰 等，2015；張良培和武辰，2017）。同時，各種應(yīng)用對漏檢率要求也更嚴(yán)格，因而對技術(shù)方法提出了更高的要求。根據(jù)不同遙感數(shù)據(jù)的特點和任務(wù)要求，國內(nèi)外學(xué)者研發(fā)了多種變化檢測方法，如基于代數(shù)計算、圖像變換和分類后比較的方法（Healey等，2005；Chen等，2003b，2011；劉紅超和張磊，2020）。這些方法原理簡單、可操作性強(qiáng)，但是對使用的特征或分類結(jié)果敏感，易出現(xiàn)較高漏檢率和誤差累積問題，在精度、自動化或普適性方面目前尚不能滿足大量復(fù)雜應(yīng)用場景的需求（Chen等，2003a，2015；Healey等，2018）。

圖1 遙感變化檢測基本流程及基于深度學(xué)習(xí)的變化檢測流程Fig.1 Flowchart of general and deep learning-based remote sensing change detection

隨著計算機(jī)技術(shù)的快速發(fā)展，深度學(xué)習(xí)被廣泛應(yīng)用于遙感圖像處理的各個領(lǐng)域，如分類、去噪、圖像生成與融合、目標(biāo)檢測等。深度學(xué)習(xí)具有類似人類推理的特點（Peng 等，2019），在變化檢測所需的特征提取方面具有先天優(yōu)勢，因此已成為遙感變化檢測的重要手段?；谏疃葘W(xué)習(xí)的遙感變化檢測方法通常利用神經(jīng)網(wǎng)絡(luò)模型提取遙感圖像（或圖像間的）的深度（差異）特征，并在學(xué)習(xí)策略指導(dǎo)下訓(xùn)練變化檢測模型，根據(jù)檢測方案輸出結(jié)果（Chen 和Shi，2020），其流程如圖1（b）所示。這類方法精度高、魯棒性強(qiáng)，已發(fā)展為現(xiàn)階段遙感變化檢測領(lǐng)域的研究熱點。

近兩年有相關(guān)綜述介紹了深度學(xué)習(xí)在遙感變化檢測中的應(yīng)用。這些文章從網(wǎng)絡(luò)結(jié)構(gòu)、數(shù)據(jù)源或監(jiān)督和無監(jiān)督等角度回顧深度學(xué)習(xí)的變化檢測方法，描述其在異質(zhì)大數(shù)據(jù)處理、圖像復(fù)雜性、可靠性、無監(jiān)督和深度強(qiáng)化學(xué)習(xí)等方面的挑戰(zhàn)或前景（Shi 等，2020b；Khelifi 和Mignotte，2020；Shafique 等，2022）。與現(xiàn)有綜述不同，本文提供了更全面的文獻(xiàn)計量分析，包括發(fā)文量、期刊和機(jī)構(gòu)分布、學(xué)者統(tǒng)計、網(wǎng)絡(luò)模型、數(shù)據(jù)源和應(yīng)用領(lǐng)域信息，從宏觀視角分析當(dāng)前基于深度學(xué)習(xí)的遙感變化檢測研究現(xiàn)狀和熱點；根據(jù)深度學(xué)習(xí)網(wǎng)絡(luò)處理單元不同，從像素、對象和場景3種分析粒度對現(xiàn)有基于深度學(xué)習(xí)的遙感變化檢測方法分類介紹；并關(guān)注深度學(xué)習(xí)在變化檢測中面臨的挑戰(zhàn)，討論多模態(tài)數(shù)據(jù)、非理想樣本和多元變化信息多個方面的最新研究進(jìn)展及發(fā)展方向?？偟膩碚f，本文從文獻(xiàn)計量分析、分析粒度、以及重要問題探索等多個方面對基于深度學(xué)習(xí)的遙感變化檢測進(jìn)行綜述，以期為未來遙感變化檢測研究提供參考。

2 文獻(xiàn)計量分析

本部分計量分析使用的英文數(shù)據(jù)庫為WOS（Web of Science）核心合集數(shù)據(jù)庫，檢索策略為：所有字段包含（“remote sensing”或“remotely sensed”）和“change detection”和（“deep learning”或“network”）；文獻(xiàn)類型選擇“論文”、“綜述論文”和“在線發(fā)表”；引文索引選擇SCIEXPANDED 和SSCI。中文數(shù)據(jù)庫為CNKI，檢索策略為：主題包含“變化檢測”和（“深度學(xué)習(xí)”或“網(wǎng)絡(luò)”）；文獻(xiàn)類型選擇“學(xué)術(shù)期刊”。時間范圍限制均為2000 年1 月1 日至2021 年12 月31 日。在初步獲取檢索文獻(xiàn)后，通過全文閱讀，剔除非相關(guān)文獻(xiàn)，共獲得258 篇英文和94 篇中文論文（這些論文的詳細(xì)信息已經(jīng)上傳至：https：//github.com/thebinyang/ChangeDetectionReview［2022-04-07］）。

2.1 文獻(xiàn)結(jié)構(gòu)

2.1.1 發(fā)文量

發(fā)文量是衡量基于深度學(xué)習(xí)的遙感變化檢測研究進(jìn)展的重要指標(biāo)。發(fā)文量年際變化如圖2 所示，2016 年以來，國際上有關(guān)深度學(xué)習(xí)的遙感變化檢測研究呈現(xiàn)持續(xù)快速增長趨勢，年均增長率約為99.05%，發(fā)文量在2021 年達(dá)到125 篇。深度學(xué)習(xí)已經(jīng)成為遙感變化檢測的研究熱點，大量研究利用卷積神經(jīng)網(wǎng)絡(luò)CNN（Convolutional Neural Network）（Shi 等，2021b）、自動編碼器AE（Autoencoder）（Geng 等，2019）和生成式對抗網(wǎng)絡(luò)GAN（Generative Adversarial Network）（Hou 等，2020）等實現(xiàn)高精度遙感變化檢測。這類方法展示出超越傳統(tǒng)遙感變化檢測方法的性能（Shi 等，2020b）。國內(nèi)研究源于2017 年，與國際研究趨勢基本保持一致。

圖2 基于深度學(xué)習(xí)的遙感變化檢測相關(guān)文獻(xiàn)統(tǒng)計Fig.2 Published articles on deep learning-based change detection

2.1.2 期刊和機(jī)構(gòu)分布

對論文發(fā)表期刊統(tǒng)計分析發(fā)現(xiàn)，上述258篇英文論文發(fā)表在32份期刊上，其中發(fā)文量最多的10份期刊占比86.05%，如表1 所示。從機(jī)構(gòu)發(fā)文量來看，共有140 家機(jī)構(gòu)發(fā)表相關(guān)論文，分別有28、38 家機(jī)構(gòu)的第一篇論文從2020 年、2021 年開始發(fā)表，說明基于深度學(xué)習(xí)的遙感變化檢測在近兩年受到了更多機(jī)構(gòu)關(guān)注。發(fā)文量最多機(jī)構(gòu)如圖3（a）所示，前10 個機(jī)構(gòu)約占發(fā)文總量的66.28%。這十大機(jī)構(gòu)中有8家來自中國，表明中國對遙感變化檢測研究重視程度更高，成果最為突出。

表1 基于深度學(xué)習(xí)的遙感變化檢測研究出版量排名前10期刊Table 1 Top ten journals publishing papers on deep learning-based change detection

2.1.3 主要學(xué)者

學(xué)者合作網(wǎng)絡(luò)（圖3（b））展示了本領(lǐng)域活躍學(xué)者及相互之間的合作關(guān)系，圖3（b）中每個節(jié)點代表一位學(xué)者，節(jié)點大小代表該學(xué)者的發(fā)文量；節(jié)點之間連線粗細(xì)表示兩位學(xué)者之間的合作關(guān)系強(qiáng)度。從圖3（b）可以看出，本領(lǐng)域中國學(xué)者占主導(dǎo)，公茂果、焦李成、張良培等產(chǎn)出較多，并且形成了多個以主要學(xué)者為代表的學(xué)術(shù)團(tuán)隊，在不同研究方向上做出重要貢獻(xiàn)。如西安電子科技大學(xué)的兩個團(tuán)隊關(guān)注無監(jiān)督算法的土地利用/覆蓋變化檢測應(yīng)用研究，其中公茂果團(tuán)隊主要構(gòu)建AE、GAN、CNN 模型提取異質(zhì)圖像或高分辨率衛(wèi)星圖像的變化特征（Gong 等，2017a；Zhan 等，2020；Wu 等，2022b），焦李成團(tuán)隊則多設(shè)計CNN模型從合成孔徑雷達(dá)圖像或異質(zhì)圖像中檢測變化（Li 等，2019b；Yang 等，2022）。武漢大學(xué)的張良培團(tuán)隊以土地管理和災(zāi)害評估為主要研究內(nèi)容，建立了基于CNN 模型的高分辨率衛(wèi)星圖像、航空圖像、高光譜圖像變化檢測方法（Wu 等，2022a；Hu 等，2021；Shi 等，2022）。特倫托大學(xué)的Lorenzo Bruzzone 團(tuán)隊提出了使用CNN、GAN 模型的半監(jiān)督和無監(jiān)督算法，用于從高分辨率、中低分辨率多光譜圖像中檢測土地利用/覆蓋和建筑變化（Saha 等，2021b；Peng 等，2021）。學(xué)者之間的合作關(guān)系呈現(xiàn)“整體分散、局部集中”的特點。

2.2 研究熱點

本文從數(shù)據(jù)、網(wǎng)絡(luò)和應(yīng)用3 個角度對篩選的258 篇英文文獻(xiàn)分類，重點關(guān)注基于深度學(xué)習(xí)的遙感變化檢測數(shù)據(jù)源、深度學(xué)習(xí)網(wǎng)絡(luò)以及應(yīng)用領(lǐng)域。

2.2.1 數(shù)據(jù)源

基于深度學(xué)習(xí)的遙感變化檢測數(shù)據(jù)源可分為光學(xué)衛(wèi)星圖像、合成孔徑雷達(dá)SAR（Synthetic Aperture Radar）圖像、航拍圖像以及其它圖像。數(shù)據(jù)源的使用情況如圖3（c）所示?？傮w來看，光學(xué)衛(wèi)星數(shù)據(jù)仍然占據(jù)主流（48.77%）；高分辨率數(shù)據(jù)（光學(xué)衛(wèi)星—高分辨率、航拍）應(yīng)用最為廣泛（45.26%），這與深度學(xué)習(xí)具有的空間特征挖掘優(yōu)勢有關(guān)；其次，使用來自不同傳感器的多模態(tài)異質(zhì)圖像（例如光學(xué)衛(wèi)星圖像和SAR 圖像，衛(wèi)星圖像和無人機(jī)圖像）受到越來越多的重視，占比達(dá)到9.82%。

2.2.2 網(wǎng)絡(luò)模型

本文統(tǒng)計的網(wǎng)絡(luò)模型為包含3 層及以上的深度學(xué)習(xí)網(wǎng)絡(luò)，即至少有兩個隱藏層的網(wǎng)絡(luò)（Voulodimos等，2018；Dargan等，2020；Dong等，2021），如圖3（d）。其中CapsNet 指膠囊網(wǎng)絡(luò)（Capsule Network）。目前主要使用的網(wǎng)絡(luò)模型包括：CNN（68.89%）、AE（10.00%）、GAN（8.52%）、循環(huán)神經(jīng)網(wǎng)絡(luò)RNN（Recurrent Neural Network）（4.07%）和深度信念網(wǎng)絡(luò)DBN（Deep Belief Network）（3.71%）等（圖3（d））。CNN網(wǎng)絡(luò)中U-Net（Peng等，2019）、PCANet（Li 等，2019a）和ResNet（Qian 等，2020）使用較多；AE 中去噪自動編碼器（Khan等，2017）、變分自動編碼器（Zerrouki等，2021）和卷積自動編碼器（Mesquita 等，2020）等最常用。此外，GAN 網(wǎng)絡(luò)主要用于數(shù)據(jù)增強(qiáng)以及域變換（Niu等，2019；Chen等，2021a），RNN模型用于提取多時相信息，DBN 網(wǎng)絡(luò)用于無監(jiān)督特征提取。最新的網(wǎng)絡(luò)模型也開始應(yīng)用于遙感變化檢測，如：Transformer（Chen 等，2022a）和圖卷積神經(jīng)網(wǎng)絡(luò)GCN（Graph Convolutional Network）（Tang等，2022）。

2.2.3 應(yīng)用領(lǐng)域

基于深度學(xué)習(xí)的遙感變化檢測主要被應(yīng)用于廣泛的土地利用/覆蓋變化檢測（74.22%），建筑（8.59%）（Ji 等，2019a）、森林（3.52%）（Khan等，2017）、城市（3.13%）（季順平 等，2020；Papadomanolaki 等，2021）變化檢測，以及災(zāi)害管理（3.13%）（Sublime 和Kalinicheva，2019）和滑坡檢測（2.73%）（Chen 等，2018）等領(lǐng)域，在土地規(guī)劃、城市管理和災(zāi)害評估等方面產(chǎn)生重要作用，但仍局限在傳統(tǒng)應(yīng)用領(lǐng)域且在資源、環(huán)境和救災(zāi)等應(yīng)用較少。除廣泛的土地利用/覆蓋變化檢測以外，建筑變化檢測是研究的熱點。

3 深度學(xué)習(xí)的遙感變化檢測方法分類

為將深度學(xué)習(xí)引入遙感變化檢測，并使其適應(yīng)遙感數(shù)據(jù)的特點，國內(nèi)外學(xué)者利用各種網(wǎng)絡(luò)模型開發(fā)了多種基于深度學(xué)習(xí)的遙感變化檢測方法。這些方法在像素、對象和場景不同粒度表征地物特征差異，然后通過后續(xù)網(wǎng)絡(luò)處理進(jìn)一步提取深度特征并判別其變化。圖4所示即為基于像素、對象和場景3種情況下的發(fā)文量統(tǒng)計，體現(xiàn)了不同方法和網(wǎng)絡(luò)的使用情況。各部分的詳細(xì)介紹下。

圖4 深度學(xué)習(xí)的遙感變化檢測方法（來自WOS統(tǒng)計結(jié)果）Fig.4 Classification of deep learning-based remote sensing change detection methods（Data source from WOS）

3.1 基于像素的方法

基于像素的遙感變化檢測方法從單個像素或單個像素的鄰域（移動窗口）提取深度特征，逐像素判斷變化情況（Lyu 等，2016；Shu等，2021），是深度學(xué)習(xí)應(yīng)用于變化檢測最早的方法。對于一維特征輸入網(wǎng)絡(luò)（圖5（a）），像素或像素鄰域特征通常被轉(zhuǎn)換為向量后輸入AE（Zhang 等，2016b；Geng 等，2019）、DBN（Zhang 等，2016a）、RNN以及深度神經(jīng)網(wǎng)絡(luò)DNN（Deep Neural Network）（Cao 等，2017；Geng 等，2019）等處理。對于CNN 這類輸入為二維特征的網(wǎng)絡(luò)（圖5（b）），像素特征則通過矩形窗口內(nèi)像素共同表征后由網(wǎng)絡(luò)判斷中心像素的變化情況（Gao 等，2016；Li 等，2019b）。

圖5 基于像素的深度學(xué)習(xí)遙感變化檢測方法Fig.5 Pixel-based deep learning methods

基于像素的方法簡單直觀，但是逐像素處理效率較低，并且由于假設(shè)每個像素獨立，檢測結(jié)果易產(chǎn)生椒鹽噪聲（Han 等，2020）。通過移動窗口提取的局部特征可緩解噪聲影響，同時降低對幾何配準(zhǔn)精度的要求，然而移動窗口過大可能導(dǎo)致檢測的變化邊界模糊（Zhang 等，2016b）。在應(yīng)用于多光譜圖像（Mou等，2019）、SAR（Planinsic和Gleich，2018）和高光譜圖像（Huang等，2019）等中低分辨率遙感圖像時，基于像素的方法結(jié)果較為準(zhǔn)確，并且適用于大面積場景，例如檢測海冰變化（Gao 等，2019）、荒漠化（Zerrouki 等，2021）和森林砍伐（Adarme等，2020）。對于高分辨率遙感圖像則難以避免不同觀測角度、陰影等造成的虛假變化（Xu等，2019；Zhang等，2021b）的影響。這些因素一定程度上限制了基于像素的深度學(xué)習(xí)遙感變化檢測發(fā)展。

3.2 基于對象的方法

對象是指對應(yīng)于一定實體、內(nèi)部相對均勻的像素組合（Chen 等，2012），其能有效結(jié)合光譜和空間紋理特征（佃袁勇 等，2016），提供更精確的地物信息（Lei 等，2019b）?；趯ο蟮谋容^分析利用了對觀測條件不敏感的地物空間特征（形狀、空間關(guān)系等），可有效減弱隨機(jī)噪聲以及季節(jié)變化對變化檢測結(jié)果的影響（Lu 等，2016；Bueno 等，2019；Jing 等，2020），在高分辨率遙感圖像變化檢測中具有一定優(yōu)勢，并且被用于檢測建筑等地理實體變化（Timilsina等，2020；Zhang等，2021b）。

在基于對象的方法中，對象生成是最重要的步驟之一，直接影響網(wǎng)絡(luò)的檢測性能（Song 等，2020）。該步驟需要保證不同時相下的對象邊界一致（Yu 等，2021）。對象可通過3 種方式生成：（1）基于組合分割（圖6（a）），將多時相遙感圖像的波段堆疊（Wang 等，2020b）或者獲取差異圖像DI（Difference Image）（Lei 等，2019b；Zhan等，2020）后分割生成對象；（2）基于單一時相分割邊界（圖6（b）），將單一時相的分割邊界分配給所有時相（Zhang 等，2020b；Liu 等，2021）；（3）基于多時相獨立分割（圖6（c）），通過疊加邊界得到更細(xì)化的分割對象（Gong等，2017c）。

圖6 基于對象的深度學(xué)習(xí)遙感變化檢測方法Fig.6 Change detection with object-based deep learning methods

在眾多對象生成算法中，簡單的線性迭代聚類SLIC（Simple Linear Iterative Clustering）利用特征相似性生成高度同質(zhì)且保持對象邊界的超像素（Gong等，2017c；王艷恒 等，2020），是最廣泛使用的算法之一。為解決分割算法的過分割和欠分割問題，Xu 等（2019）和Zhang 等（2023）提出結(jié)合像素和對象的變化檢測方法，Zhan 等（2020）和Shi 等（2021a）則對多尺度分割的超像素分別檢測變化，采用投票機(jī)制確定變化類別。這些方法使得基于對象的方法更加魯棒。此外，由于對象難以直接輸入深度學(xué)習(xí)網(wǎng)絡(luò)，常將對象特征向量化后切割或填充（Lv 等，2018；Lei 等，2019b），或通過向量重塑以及邊界框?qū)ο筠D(zhuǎn)換為圖像塊（Zhang等，2020b；Liu等，2021）。

3.3 基于場景的方法

基于場景的方法分析場景在語義上的變化，將多時相遙感圖像作為分析單元，融合后輸入單分支網(wǎng)絡(luò)（圖7（a）），或者分別輸入雙分支網(wǎng)絡(luò)（圖7（b）），一次性判斷所有像素的變化情況（Peng等，2019），可考慮局部信息和全局信息，具有高效性，在城市管理、災(zāi)害評估領(lǐng)域發(fā)揮重要作用（Zhang 等，2019a；de Bem 等，2020；Shi 等，2021b）。得益于LEVIR-CD（Chen 和Shi，2020）、WHU building data set（Ji 等，2019b）、OSCD（ONERA Satellite Change Detection）（Daudt 等，2018）、SZTAKI AirChange Benchmark set（Benedek和Sziranyi，2009）等數(shù)據(jù)集的公開獲取，開展的大量研究不斷提高了變化檢測性能。

圖7 基于場景的深度學(xué)習(xí)方法的變化檢測Fig.7 Change detection with scene-based deep learning methods

為應(yīng)對超大場景的計算機(jī)內(nèi)存需求，研究學(xué)者將遙感圖像裁剪成規(guī)則圖像塊輸入網(wǎng)絡(luò)判斷圖像塊中每個像素的變化情況，最后整合出變化檢測結(jié)果（Lin 等，2020）。圖像塊的大小影響變化檢測性能和計算效率，需要研究人員根據(jù)先驗知識進(jìn)行設(shè)置（Li 等，2021）。此外，重疊部分圖像塊可以減少裁剪時在圖像塊邊緣附近的上下文信息損失（de Bem等，2020；Shu等，2021）。

全卷積神經(jīng)網(wǎng)絡(luò)FCN（Fully Convolutional Network）（Shelhamer 等，2017）作為傳統(tǒng)CNN 的改進(jìn)模型具有強(qiáng)大的上下文信息提取能力，能夠接受任意大小的圖像輸入進(jìn)行端到端的訓(xùn)練，將變化檢測視為密集像素分類實現(xiàn)基于場景的變化檢測?；贔CN的采用編碼器和解碼器結(jié)構(gòu)的U-Net能夠融合多尺度特征具有高效和準(zhǔn)確性，例如改進(jìn)的U-Net++網(wǎng)絡(luò)（Peng 等，2019）以及具有深度可分卷積的U-Net（Liu等，2020）等。這些研究促使基于場景的變化檢測成為快速發(fā)展的分支之一，因此CNN 成為變化檢測的最主要模型（圖3（d）和圖4）。然而，F(xiàn)CN 模型依賴大量標(biāo)注的訓(xùn)練樣本，這些訓(xùn)練樣本的生成通常耗時費力。

3.4 后續(xù)處理網(wǎng)絡(luò)

在獲取像素、對象和場景特征后，通過后續(xù)處理網(wǎng)絡(luò)獲得變化檢測結(jié)果。后續(xù)處理網(wǎng)絡(luò)實現(xiàn)深度特征提取和比較分析，是研究學(xué)者改進(jìn)的重點。目前主流的后續(xù)處理網(wǎng)絡(luò)可分為早期融合和晚期融合方法，前者以融合的多時相遙感圖像作為網(wǎng)絡(luò)輸入；后者則采用雙分支網(wǎng)絡(luò)并行提取多時相圖像特征。在這兩種方法中，融合策略使用堆疊（Liu等，2020；Zhang 等，2020a）、拼接（Lei 等，2019b）保留原始特征信息，差分（Mesquita 等，2020；Wang 等，2021；Gong 等，2017b）突出變化信息，或卷積（Kerner等，2019）等深度融合方式進(jìn)一步利用時空信息。特征提取則通過CNN、RNN 和AE等網(wǎng)絡(luò)實現(xiàn)，并且為了提高特征的判別性，在骨干網(wǎng)絡(luò)上應(yīng)用稠密連接（Wiratama 等，2018）、跳躍連接（Peng 等，2019）、金字塔結(jié)構(gòu)（Lei 等，2019a）、空間和通道注意力機(jī)制（Wang等，2021；Chen 等，2021b）、自注意力機(jī)制（Chen 和Shi，2020）以及它們組合的方式（Chen等，2020b；Song和Jiang，2021）融合多尺度特征。早期融合方法可在網(wǎng)絡(luò)淺層階段直接學(xué)習(xí)差異特征，深度差異特征一般通過Softmax、支持向量機(jī)等分類器或聚類的方法直接分類變化。晚期融合方法常使用孿生或偽孿生結(jié)構(gòu)，有效減弱輸入圖像固有差異影響，提取的深度特征利于邊界保留（Zhang 等，2020a），并且除了直接分類法，還常使用度量法比較雙時相特征的參數(shù)化距離，經(jīng)過聚類或閾值分割獲得變化檢測結(jié)果（Chen 和Shi，2020）；以及分類后比較的方法比較多時相遙感數(shù)據(jù)的獨立分類結(jié)果檢測變化（Zhang等，2019a）。在具體場景中，根據(jù)數(shù)據(jù)特性和任務(wù)需求綜合設(shè)計不同分析粒度和后續(xù)處理網(wǎng)絡(luò)以實現(xiàn)良好的變化檢測性能。

4 挑戰(zhàn)及發(fā)展方向

隨著多模態(tài)遙感數(shù)據(jù)的增加、樣本標(biāo)注問題的突出以及多元變化信息需求的提出，基于深度學(xué)習(xí)的遙感變化檢測面臨諸多挑戰(zhàn)，如圖8 所示。本部分將針對這些關(guān)鍵問題展開討論，重點描述在這些方向的研究進(jìn)展及發(fā)展方向。

圖8 基于深度學(xué)習(xí)的遙感變化檢測面臨挑戰(zhàn)及發(fā)展方向Fig.8 Challenges and development directions on deep learning-based change detection

4.1 多模態(tài)遙感數(shù)據(jù)變化檢測

多模態(tài)遙感數(shù)據(jù)能夠突破單模態(tài)數(shù)據(jù)在天氣、太陽高度、成像周期和成像幅度等方面的限制，對于提升遙感變化檢測精度、應(yīng)急救災(zāi)具有重要意義。深度學(xué)習(xí)在多模態(tài)遙感變化檢測的應(yīng)用正在快速增長（圖3（c）），這種技術(shù)降低了對同質(zhì)數(shù)據(jù)和圖像配準(zhǔn)的要求，從而更好地利用各種平臺的多模態(tài)數(shù)據(jù)。深度學(xué)習(xí)通過逐步聚合低層特征獲取抽象的高層表示，并通過度量分析或分類策略獲得高精度的變化檢測結(jié)果。對于多模態(tài)異質(zhì)數(shù)據(jù)，由于成像機(jī)制和拍攝條件不同，以及存在視差和圖像失真現(xiàn)象，在低維特征空間難以直接比較。

現(xiàn)有深度學(xué)習(xí)方法通過特征空間變換解決此類問題。一方面，將異質(zhì)圖像轉(zhuǎn)換到新的特征空間，例如Zhao 等（2017）使用具有耦合結(jié)構(gòu)的深度神經(jīng)網(wǎng)絡(luò)，將SAR 和光學(xué)遙感圖像變換到新的共同特征空間提取具有可比性的特征；Chen 等（2020a）將孿生CNN 提取的空間光譜特征映射到新的特征空間獲取變化信息。另一方面，也有研究將某一模態(tài)數(shù)據(jù)轉(zhuǎn)換到另一模態(tài)數(shù)據(jù)的表示空間后與之比較，例如Niu等（2019）和Liu等（2022）分別使用條件生成對抗網(wǎng)絡(luò)和循環(huán)對抗神經(jīng)網(wǎng)絡(luò)進(jìn)行光學(xué)圖像和SAR 圖像的特征空間變換。此外，Gong 等（2019）采用混合的方法，使用耦合變分自動編碼器將異質(zhì)圖像變換到共同的潛在空間，構(gòu)建耦合生成對抗網(wǎng)絡(luò)將異質(zhì)圖像從潛在空間轉(zhuǎn)換到彼此的表示空間提取特征。

以上特征空間變換方法有效減弱了多模態(tài)圖像間地物表達(dá)差異的影響，但是這類變換方法可能會導(dǎo)致原始圖像信息丟失或轉(zhuǎn)換后特征無法高效對比等問題（Shi 等，2020a）。相關(guān)改進(jìn)方法致力于特征空間變換的網(wǎng)絡(luò)模型，如將卷積網(wǎng)絡(luò)或自動編碼器等與對抗訓(xùn)練相結(jié)合（Luppino 等，2022）、通過注意力機(jī)制促進(jìn)異質(zhì)圖像在特征空間交互（Li 等，2022）等，以獲取更一致的特征表示。此外，多模態(tài)數(shù)據(jù)融合（Hong 等，2021）以及其他多模態(tài)學(xué)習(xí)方法也為多模態(tài)數(shù)據(jù)變化檢測提供了新的解決思路。

4.2 非理想樣本條件下變化檢測

深度學(xué)習(xí)模型的訓(xùn)練需要大量標(biāo)注樣本，樣本數(shù)量和質(zhì)量是提升變化檢測性能的關(guān)鍵（Gao 等，2017；Geng 等，2019）。在遙感變化檢測任務(wù)中，高質(zhì)量樣本需要專家人工標(biāo)注，工作繁瑣費時昂貴（Yang 等，2019；Zhang 和Shi，2020）。因此，樣本問題是基于深度學(xué)習(xí)的遙感變化檢測中的重要問題，主要體現(xiàn)在：在訓(xùn)練數(shù)據(jù)中，標(biāo)注的變化和非變化樣本數(shù)量不充足（即小樣本問題）以及變化樣本數(shù)量遠(yuǎn)少于非變化樣本數(shù)量（即樣本不平衡問題）兩個方面。

4.2.1 小樣本問題

針對遙感變化檢測中的小樣本問題，解決方法主要利用數(shù)據(jù)增強(qiáng)方法，增加樣本數(shù)量和多樣性以及采用半監(jiān)督方案降低對標(biāo)注樣本的依賴這兩種方式。其中數(shù)據(jù)增強(qiáng)使用幾何變換、顏色變換、GAN 和變分自動編碼器等實現(xiàn)（Chen 等，2021a；Luo 等，2021）。半監(jiān)督方案則利用少量的標(biāo)注樣本從大量未標(biāo)注樣本中學(xué)習(xí)有區(qū)別性的特征，例如通過GAN 和GCN 實現(xiàn)半監(jiān)督遙感變化檢測（Jiang 等，2020；Saha 等，2021a），通過無監(jiān)督模型和遷移學(xué)習(xí)提取遙感圖像的深度差異特征并利用少量標(biāo)注樣本訓(xùn)練得到變化檢測結(jié)果（Lu 等，2020；Zhang和Shi，2020）等。

在上述解決方法中，數(shù)據(jù)增強(qiáng)方案沒有利用未標(biāo)注數(shù)據(jù)，模型的泛化能力較差；半監(jiān)督方案依賴算法原理和圖像質(zhì)量，且遷移學(xué)習(xí)大多在自然圖像上訓(xùn)練，需考慮源域和目標(biāo)域間信息傳遞的有效性（Song 和Kim，2020；Jiang 等，2022）。因此，需要加強(qiáng)研究小樣本情況下判別性特征提取和表征技術(shù)。自監(jiān)督學(xué)習(xí)方案利用輔助任務(wù)從無監(jiān)督數(shù)據(jù)中構(gòu)造偽標(biāo)簽，并將原始圖像信息轉(zhuǎn)化為特定的特征空間用于變化檢測任務(wù)，通過少量標(biāo)注樣本微調(diào)提高檢測性能（Jing 和Tian，2021）。自監(jiān)督方案促進(jìn)了網(wǎng)絡(luò)從未標(biāo)注數(shù)據(jù)中學(xué)習(xí)更多可解釋和有意義的特征表示，成為解決小樣本問題有潛力的發(fā)展方向。

4.2.2 不平衡樣本問題

當(dāng)樣本數(shù)量不平衡時，深度學(xué)習(xí)網(wǎng)絡(luò)傾向于預(yù)測出數(shù)量較多樣本的類別。為解決該問題，現(xiàn)有基于深度學(xué)習(xí)的方法可分為算法級和數(shù)據(jù)級兩種方法。其中算法級方法主要采用改進(jìn)損失函數(shù)的方法，例如在損失函數(shù)中考慮變化與不變樣本比重的各種加權(quán)損失函數(shù)（Zhang 等，2019b；Chen 等，2021b；Ke 和Zhang，2021；Cheng 等，2021）。數(shù)據(jù)級方法則從樣本選擇角度解決不平衡問題，選擇平衡的樣本數(shù)量，例如Li 等（2019a）和Cui等（2019）采用統(tǒng)一選擇策略和隨機(jī)子空間集成學(xué)習(xí)模塊篩選候選樣本，Wang 等（2019）引入形態(tài)學(xué)監(jiān)督選取變化區(qū)域和不變區(qū)域邊界上的平衡樣本訓(xùn)練網(wǎng)絡(luò)。

上述算法級和數(shù)據(jù)級方法一定程度上緩解了樣本不平衡問題的影響，但均有自身局限性，需要不斷改進(jìn)。例如可將雙焦點損失函數(shù)（Hossain 等，2021）、無參數(shù)損失函數(shù)（Du 等，2023）和APLoss（Chen 等，2021c）等新型損失函數(shù)應(yīng)用于遙感變化檢測。機(jī)器學(xué)習(xí)領(lǐng)域的其他解決不平衡問題的方法，也被成功用于深度學(xué)習(xí)領(lǐng)域，例如深度學(xué)習(xí)模型過采樣算法（Dablain 等，2022）和集成學(xué)習(xí)（Chen 等，2022b；De Angeli 等，2022），也為解決遙感變化檢測中的不平衡樣本問題提供了新方向。

4.3 多元變化信息獲取

目前基于深度學(xué)習(xí)的變化檢測大多針對雙時相遙感圖像展開，實現(xiàn)了二元變化檢測，即能夠識別單一的土地類型變化或者簡單識別變化的位置，較少考慮變化的語義，難以獲取多元信息（如變化類型、變化時間等信息）（Zhan 等，2018）。在實際應(yīng)用中，這些多元信息對于土地規(guī)劃、城市管理和災(zāi)害評估等具有重要價值，深度學(xué)習(xí)技術(shù)在獲取多元變化信息上亟需突破（Wang等，2020a）。

4.3.1 多類型變化監(jiān)測

“多類型變化檢測”將不變的區(qū)域標(biāo)記為不變，同時標(biāo)記出變化區(qū)域及其不同類型，例如城市擴(kuò)張、變?yōu)樗w等。其特點是能夠從多時相遙感影像中突出變化區(qū)域和類型，但是變化前后的具體地物類別不一定清楚。在標(biāo)注數(shù)據(jù)充足的情況下，Mou 等（2019）使用CNN 提取空間光譜特征，然后通過長短期記憶網(wǎng)絡(luò)LSTM（Long Short-Term Memory）提取時間信息實現(xiàn)多類型變化檢測；為降低對人工標(biāo)注樣本的依賴；Song等（2018）和Wang等（2020a）通過預(yù)分類方法獲得多類型變化樣本，訓(xùn)練卷積LSTM和DBN無監(jiān)督地獲取變化類型信息；Saha 等（2019）使用預(yù)訓(xùn)練CNN 提取深度特征，然后通過深度變化向量分析法識別多類型變化。由于多類型變化樣本獲取困難，獲取的變化類型信息通常只有幾類，某一變化類型可能表示多種地物變化信息。

“語義變化檢測”生成每個時相圖像的語義變化圖（即變化區(qū)域及其在每個時相影像中的地物類別圖），其在多類型變化檢測的基礎(chǔ)上，詳細(xì)描述了變化類型的“從—到”信息，并且獲取了每個時相的語義信息?；谏疃葘W(xué)習(xí)的“語義變化檢測”最近在遙感領(lǐng)域受到關(guān)注。例如，Peng 等（2021）提出以端到端方式，實現(xiàn)大規(guī)模遙感數(shù)據(jù)集的語義變化檢測，Xiang 等（2021）增加變化特征引導(dǎo)模塊，幫助模型預(yù)測語義變化標(biāo)簽等。

在語義變化檢測方法中，一種直觀方案是使用分類后比較的方法，但是這類方法依賴分類的準(zhǔn)確性，存在誤差累積和時間相關(guān)性考慮不足的問題（Wu等，2017；Wei等，2021）。其他基于深度學(xué)習(xí)的語義變化檢測方法則需要克服大規(guī)模標(biāo)注樣本獲取困難的問題。除了變化類型信息以外，變化時間等動態(tài)信息也對基于深度學(xué)習(xí)的方法提出了新要求（Verbesselt等，2010a，2010b）。

4.3.2 時序變化檢測

時間序列變化檢測可以建模時空相關(guān)性，提供長時期的變化信息（趙忠明 等，2016；張立福 等，2021），在景觀動態(tài)監(jiān)測（Zhou 等，2019）、城市擴(kuò)張（Li等，2017）、火災(zāi)監(jiān)測（Zhang等，2021a）等領(lǐng)域發(fā)揮著重要作用。在各種深度學(xué)習(xí)模型中，RNN適用于時間序列分析，是良好的變化檢測工具。RNN 及其變體，如LSTM、GRU（Gated Recurrent Unit）等，已經(jīng)成功應(yīng)用于遙感時序變化檢測。例如，Kong 等（2018）和Stephenson 等（2022）利用RNN的時間序列預(yù)測能力，將預(yù)測數(shù)據(jù)與實際數(shù)據(jù)進(jìn)行比較實現(xiàn)災(zāi)害的在線檢測，提供了變化的時間和空間范圍。除此之外，形變LSTM（Melis 等，2020）、考慮時間間隔的LSTM（Baytas 等，2017）等改進(jìn)的RNN 模型有望進(jìn)一步提高遙感變化檢測性能。

由于RNN空間信息提取能力不足，聯(lián)合CNN與自動編碼等網(wǎng)絡(luò)可有效規(guī)避該問題。另外，考慮到RNN網(wǎng)絡(luò)固有的梯度消失和爆炸以及無法并行處理等問題，也可以使用TCN（Temporal Convolutional Network）（Bai 等，2018）和注意力機(jī)制等代替RNN 提取時間信息。特別地，基于自注意力機(jī)制的Transformer 在建模時序數(shù)據(jù)的長期依賴性上具有優(yōu)勢，在變化檢測（Chen 等，2022a）和分類（Yuan等，2022）任務(wù)上展示了優(yōu)異的性能，為時間序列變化檢測開辟了新途徑。目前時間序列變化檢測大多基于RNN展開，由于時間序列圖像中存在多次變化、季節(jié)性變化等復(fù)雜變化情況（Zhang 和Huang，2018；Kalinicheva 等，2020），現(xiàn)有模型在提取時間序列圖像中的長期空間—時間相關(guān)性信息方面具有困難（Chen 等，2022a；Zhang 等，2022），并且缺乏公開數(shù)據(jù)集（Zitzlsberger 等，2021；Yin 等，2022），深度學(xué)習(xí)在時序變化檢測的應(yīng)用較少，有待進(jìn)一步研究（圖3（d））。

5 結(jié)語

遙感變化檢測作為對地觀測最重要的技術(shù)之一，在土地規(guī)劃、生態(tài)監(jiān)測和災(zāi)害管理等領(lǐng)域具有重大應(yīng)用價值。近年來，基于深度學(xué)習(xí)的方法促進(jìn)了遙感變化檢測性能和自動化水平的提升。本文系統(tǒng)地總結(jié)和評述了基于深度學(xué)習(xí)的遙感變化檢測研究現(xiàn)狀。國內(nèi)外文獻(xiàn)的可視化計量分析顯示，基于深度學(xué)習(xí)的變化檢測研究在近三年（2020 年—2022 年）持續(xù)快速增長。本文從像素、對象和場景3種分析粒度的角度闡述如何實現(xiàn)基于深度學(xué)習(xí)的遙感變化檢測方法，并討論其優(yōu)點和局限性。另外，本文還探究了多模態(tài)數(shù)據(jù)、樣本問題和多元變化信息方面取得的重要進(jìn)展。由于應(yīng)用需求的增加，多模態(tài)異質(zhì)變化檢測、語義變化檢測和時序變化檢測是未來的研究趨勢。現(xiàn)有研究在環(huán)境監(jiān)測、城市變化分析和災(zāi)害評估等方面的應(yīng)用較少，需要不斷深化深度學(xué)習(xí)新技術(shù)、新方法，推進(jìn)遙感變化檢測廣泛深入的研究和應(yīng)用。