基于半監(jiān)督學(xué)習(xí)的遙感影像變化檢測研究綜述

唐天俊，王銅川

（1. 重慶開放大學(xué)城市建設(shè)工程學(xué)院，重慶 401520；2. 重慶市地理信息和遙感應(yīng)用中心，重慶 401121）

0 引言

隨著工業(yè)化和城鎮(zhèn)化的加速，遙感影像變化檢測已成為眾多學(xué)者研究高地。目前，遙感影像變化檢測技術(shù)已廣泛應(yīng)用于土地覆蓋與土地利用制圖、生態(tài)系統(tǒng)監(jiān)測、城市擴張監(jiān)測、災(zāi)害評估等領(lǐng)域［1］。例如，利用遙感影像檢測建筑物變化可為城鎮(zhèn)規(guī)劃提供基礎(chǔ)數(shù)據(jù)，同時能監(jiān)測城鎮(zhèn)化進程，為土地資源分析提供支持。城鎮(zhèn)化的加速推進使人們對建筑物變化識別的準(zhǔn)確性及高效性提出了更高的需求。因此，理想的變化檢測模型能在特定的應(yīng)用場景下檢測出感興趣的地物變化，同時具備抵抗高分辨率遙感影像中冗余變化的能力，如建筑物陰影遮蔽、高光譜變異性以及多尺度等。

在過去，傳統(tǒng)的變化檢測主要分為基于像素的變化檢測以及基于對象的變化檢測?；谙袼氐姆椒ㄍㄟ^逐像素比較生成差異圖，然后以經(jīng)驗閾值提取變化信息，但該方法易受到影像幾何校正和輻射校正的影響?；趯ο蟮姆椒ò讼嗤矬w像素間豐富的屬性關(guān)系，可平滑地理目標(biāo)范圍的小變化，減少了高光譜變異性和錯配的偽變化，但該方法易受地物的復(fù)雜性影響。此外，基于像素及對象的方法受制于閾值及特征的選擇，精度依賴于人工干預(yù)。

變化檢測在深度學(xué)習(xí)（deep learning, DL）賦能下，取得了豐碩的成果。基于DL 的方法可從大量的標(biāo)注數(shù)據(jù)中學(xué)習(xí)特征，顯著降低對專家領(lǐng)域知識的需求［2］。此外，基于DL 的方法由于其出色的特征提取能力，提供了對復(fù)雜場景的更好理解，性能遠(yuǎn)超過傳統(tǒng)方法。然而，以往基于深度學(xué)習(xí)的變化檢測研究中主要集中于全監(jiān)督變化檢測框架，基于全監(jiān)督框架的性能釋放依賴大量的精確標(biāo)注的影像對訓(xùn)練。但構(gòu)建變化檢測數(shù)據(jù)集需要人工判讀影像對的差異，識別出細(xì)微的變化區(qū)域，用不同的像素填充變化及不變化的區(qū)域。此外高分辨率遙感影像的圖像分辨率的提升，使得人工標(biāo)記變化像元更加困難。在一定程度上限制了全監(jiān)督學(xué)習(xí)方法的準(zhǔn)確性及應(yīng)用推廣。

為了克服人工標(biāo)注成本的局限性，眾多學(xué)者集思廣益，通過數(shù)據(jù)增強擴充樣本數(shù)量，提高監(jiān)督模型的準(zhǔn)確性，但其變化始終是原始圖像的變化，模型在測試集上仍可能表現(xiàn)不佳，并未解決全監(jiān)督模型對大量標(biāo)簽的依賴。由此，半監(jiān)督學(xué)習(xí)框架給出了較好的解決方案，半監(jiān)督學(xué)習(xí)原理是利用少量的標(biāo)記數(shù)據(jù)與大量的未標(biāo)記的數(shù)據(jù)進行模型訓(xùn)練，提高模型的魯棒性，這一點與遙感影像變化檢測契合，未標(biāo)記的遙感影像容易獲取。因此，本文以基于深度學(xué)習(xí)的無監(jiān)督、全監(jiān)督框架作為引入，重點綜述半監(jiān)督學(xué)習(xí)框架在變化檢測研究中取得的成果，展望未來半監(jiān)督變化檢測研究趨勢，為變化檢測研究者提供一定的參考。

1 無監(jiān)督框架

非監(jiān)督框架無需先驗的樣本標(biāo)簽信息，能直接對多時相遙感影像進行變化檢測。該框架在非監(jiān)督情況下從影像塊中學(xué)習(xí)特征表示，生成包含影像關(guān)鍵信息的特征圖，對特征圖進行融合處理，結(jié)合距離度量和閾值分割算法，獲得最終的變化檢測結(jié)果，其檢測流程如圖1所示。

圖1 無監(jiān)督框架檢測流程

在無監(jiān)督變化檢測研究中，Su 等［3］提出了一種面向三元變化檢測的無監(jiān)督學(xué)習(xí)框架。該方法以去噪自編碼器（SAE）提取特征影像對特征；在選擇相關(guān)樣本后，通過堆疊映射網(wǎng)絡(luò)生成映射函數(shù)，建立每個類別特征之間的關(guān)系，最后通過特征比較及聚類生成最終的變化圖。為了實現(xiàn)更精確的無監(jiān)督三元變化檢測，Gong等［4］結(jié)合了SAE、CNN和無監(jiān)督聚類算法，利用SAE 將差異圖像轉(zhuǎn)換為特征空間，去除噪聲并提取關(guān)鍵變化信息，并以此特征圖進行無監(jiān)督聚類，為CNN 提供可靠的偽標(biāo)簽。Lyu等［5］提出了一種基于堆疊收縮自編碼器的特征學(xué)習(xí)方法。該方法以三種不同的損失函數(shù)構(gòu)建關(guān)聯(lián)的時序變化圖像，從而提供更多像素級時序差異信息。Gong 等［6］開發(fā)了一種用于多光譜影像變化檢測的生成判別分類網(wǎng)絡(luò)（GDCN）。DCN將輸入數(shù)據(jù)劃分為變化類、不變類和偽變化類，生成器通過輸入噪聲恢復(fù)真實數(shù)據(jù)，為訓(xùn)練提供額外的樣本，以雙時相多光譜影像輸入DCN，生成可靠的最終變化圖。

2 全監(jiān)督框架

在充足的標(biāo)簽數(shù)據(jù)情況下，相較于非監(jiān)督學(xué)習(xí)框架，監(jiān)督學(xué)習(xí)框架能通過孿生神經(jīng)網(wǎng)絡(luò)充分提取標(biāo)注影像對變化區(qū)域及非變化區(qū)域的差異特征，隨后利用神經(jīng)網(wǎng)絡(luò)輸出像素級變化概率圖，以概率圖生成變化圖，提供更準(zhǔn)確的變化檢測結(jié)果，其檢測流程如圖2所示。

圖2 全監(jiān)督框架檢測流程

在全監(jiān)督變化檢測框架下，Jaturapitpornchai等［7］提出了一種基于U-Net 網(wǎng)絡(luò)的變化檢測方法，利用不同時序的兩幅合成孔徑雷達影像來檢測新建筑物建設(shè)。隨后，一些研究對U-Net架構(gòu)進行了改進。Peng 等［8］提出了一種改進的UNet++架構(gòu)，用于高分辨率衛(wèi)星影像的端到端變化檢測，該架構(gòu)通過在不同層之間建立密集的跳躍連接來學(xué)習(xí)多尺度特征圖，并采用殘差塊策略約束網(wǎng)絡(luò)的梯度收斂。Daudt 等［9］提出了一種基于深度全卷積神經(jīng)網(wǎng)絡(luò)的集成網(wǎng)絡(luò)，可以同時實現(xiàn)土地覆蓋識別和變化檢測，并利用土地覆蓋識別分支的信息輔助變化檢測。Zhang等［10］提出了一種光譜-空間聯(lián)合學(xué)習(xí)網(wǎng)絡(luò)，通過類似于Siamese CNN 的網(wǎng)絡(luò)獲得光譜-空間聯(lián)合特征表示。此外，Liu等［11］通過將CNN和雙向長短時記憶網(wǎng)絡(luò)（Bi-LSTM）結(jié)合到一個統(tǒng)一的架構(gòu)中，展示了CNN 和Bi-LSTM 在變化檢測中的互補性。

3 半監(jiān)督框架

盡管非監(jiān)督學(xué)習(xí)框架無需標(biāo)注數(shù)據(jù)，可直接提取特征進行變化檢測，但特征提取過程約束較少，導(dǎo)致非監(jiān)督學(xué)習(xí)變化檢測任務(wù)的魯棒性較差。此外，獲取大量的標(biāo)注數(shù)據(jù)時間成本較高，尤其是遙感影像變化檢測數(shù)據(jù)標(biāo)注需要比對兩圖像的像素級差異，在一定程度上限制了監(jiān)督學(xué)習(xí)模型的泛化能力。為了克服上述劣勢，基于稀疏標(biāo)簽樣本訓(xùn)練的半監(jiān)督模型出現(xiàn)，半監(jiān)督模型由監(jiān)督部分與未監(jiān)督部分組成，監(jiān)督部分通過利用少量標(biāo)注數(shù)據(jù)預(yù)訓(xùn)練模型，未監(jiān)督部分通過特征擾動、生成對抗網(wǎng)絡(luò)等無監(jiān)督策略，充分利用大量的未標(biāo)記的雙時相的數(shù)據(jù)信息，最后利用損失函數(shù)約束預(yù)訓(xùn)練模型與無監(jiān)督訓(xùn)練模型結(jié)果保持一致，從而提升稀疏標(biāo)注數(shù)據(jù)訓(xùn)練下模型的泛化能力，其檢測流程如圖3所示。

圖3 半監(jiān)督框架檢測流程

半監(jiān)督框架在一定程度上緩解了變化檢測方法對標(biāo)注數(shù)據(jù)的依賴，其充分利用大量未標(biāo)注數(shù)據(jù)的能力，與遙感影像大數(shù)據(jù)趨勢的當(dāng)下契合（未標(biāo)注數(shù)據(jù)易獲得）。Bovolo 等［12］利用定義的二進制半監(jiān)督支持向量機（S3VM）分類器，提出了一種針對多光譜RS 圖像的半監(jiān)督變化檢測方法，其中逐步考慮了未標(biāo)記數(shù)據(jù)，以定義變化和未變化像素之間的決策邊界。后來，Chen 等［13］通過高斯過程（GP）分類器和馬爾可夫隨機場（MRF）模型提出了一種半監(jiān)督變化檢測方法。使用概率GP 分類器對標(biāo)記和未標(biāo)記的數(shù)據(jù)進行利用。為了克服GP 分類器的不足，充分利用空間上下文信息，引入邊緣信息和高階勢，采用MRF 正則化方法。此外，Ghosh 等［14］提出了一種基于自組織特征映射（SOFM）的半監(jiān)督變化檢測方法，該方法僅利用少量標(biāo)記數(shù)據(jù)初始化SOFM網(wǎng)絡(luò)，然后利用模糊集理論確定未標(biāo)記數(shù)據(jù)的隸屬度值。除了上述方法外，Yuan 等［15］還將度量學(xué)習(xí)引入到半監(jiān)督變化檢測中，該方法首先學(xué)習(xí)適當(dāng)?shù)木嚯x度量，使無變化類像素彼此緊密映射，而變化類像素盡可能地分開映射，然后，通過拉普拉斯正則化框架將未標(biāo)記的數(shù)據(jù)合并到半監(jiān)督變化檢測問題中。Zhang等［16］在KISS 度量學(xué)習(xí)的基礎(chǔ)上，提出了一種針對多光譜圖像的從粗到細(xì)的半監(jiān)督變化檢測方法。該方法提高了易訓(xùn)練樣本的貢獻率，同時削弱了難訓(xùn)練樣本的貢獻率；此外，結(jié)合度量學(xué)習(xí)和鄰域標(biāo)簽信息，在測試樣本上應(yīng)用了從粗到細(xì)的策略。

值得注意的是，GAN 能夠?qū)W習(xí)訓(xùn)練樣本的特征分布，在監(jiān)督學(xué)習(xí)和半監(jiān)督學(xué)習(xí)方面都取得了巨大成功。在半監(jiān)督變化檢測方面，GAN也得到了廣泛應(yīng)用。Gong 等［17］提出了一種用于多光譜圖像CD 的生成式判別分類網(wǎng)絡(luò)。由隨機噪聲生成的假數(shù)據(jù)作為額外的訓(xùn)練樣本，而未標(biāo)記的數(shù)據(jù)則用于估計適當(dāng)?shù)南闰炐畔?，從而提高了判別器的性能；然而，在該方法中的斑塊大小很難定義；此外，對于場景復(fù)雜的高分辨率遙感圖像，僅從隨機噪聲中生成假數(shù)據(jù)是相當(dāng)困難的。Liu 等［18］首次提出了一種半監(jiān)督變化檢測的GAN 圖模型。該模型將GAN的半監(jiān)督圖學(xué)習(xí)應(yīng)用到生成的圖中，利用標(biāo)記節(jié)點的先驗知識給每個節(jié)點一個特定的標(biāo)簽，由此獲得變化圖。

4 結(jié)語

為有效利用未標(biāo)記數(shù)據(jù)的信息，現(xiàn)有的半監(jiān)督變化檢測方法主要通過半監(jiān)督分類器、度量學(xué)習(xí)及生成對抗網(wǎng)絡(luò)三種方法來實現(xiàn)。然而，大多數(shù)研究由單個影像對開展，而少有研究集中于影像群，而圖像群將更有利于大規(guī)模的實際應(yīng)用。此外，目前半監(jiān)督變化檢測框架實現(xiàn)具有一定的復(fù)雜性，不利于工程項目中的廣泛應(yīng)用。在上述總結(jié)和分析中，筆者歸納出部分未來半監(jiān)督變化檢測框架值得研究的研究方向。①一致性正則化半監(jiān)督學(xué)習(xí)框架：通過一致性損失強制強增強影像輸出標(biāo)簽與弱增強后影像輸出標(biāo)簽數(shù)據(jù)一致，以提高模型對高分辨率偽變化識別的魯棒性。②小樣本學(xué)習(xí)：除了半監(jiān)督學(xué)習(xí)框架，還有Few-shot、One-shot 和自監(jiān)督學(xué)習(xí)，這些方法將為遙感影像變化檢測開辟新的研究視角。