聯(lián)合UNet++和多級(jí)差分模塊的多源光學(xué)遙感影像對(duì)象級(jí)變化檢測(cè)

王 超，王 帥，陳 曉,4，李俊勇，謝 濤

1.南京信息工程大學(xué)電子與信息工程學(xué)院，南京 210044；2.南京信息工程大學(xué)遙感與測(cè)繪工程學(xué)院，南京 210044；3.青島海洋科學(xué)技術(shù)國家實(shí)驗(yàn)室區(qū)域海洋學(xué)與數(shù)值模擬實(shí)驗(yàn)室，青島 266237；4.南京信息工程大學(xué)江蘇省大氣環(huán)境與裝備技術(shù)協(xié)同創(chuàng)新中心，南京 210044

遙感影像變化檢測(cè)通過對(duì)多時(shí)相圖像進(jìn)行對(duì)比分析從而獲得變化的地理對(duì)象，目前已廣泛應(yīng)用于土地利用規(guī)劃、災(zāi)害評(píng)估等領(lǐng)域[1-2]。相較于單源影像方法，基于多源光學(xué)遙感影像的變化檢測(cè)方法利用多模式數(shù)據(jù)的差異性與互補(bǔ)性有助于發(fā)現(xiàn)隱藏的知識(shí)和規(guī)律，同時(shí)具有更高的數(shù)據(jù)選擇靈活性及方法可用性[3-4]。近年來，隨著不同對(duì)地觀測(cè)平臺(tái)的日益豐富，面向多源光學(xué)遙感影像的變化檢測(cè)技術(shù)已成為遙感技術(shù)與應(yīng)用領(lǐng)域中的研究熱點(diǎn)。

與此同時(shí)，不同傳感器帶來的光譜、紋理及成像視角等差異降低了對(duì)象內(nèi)部像素的空間一致性，導(dǎo)致變化檢測(cè)過程面臨的“偽變化”問題更為突出，即跨多傳感器實(shí)現(xiàn)變化檢測(cè)比單傳感器更具挑戰(zhàn)性[5]。為此，學(xué)者們已經(jīng)開展了廣泛的研究工作并取得了諸多成果。文獻(xiàn)[6]將成像模態(tài)不變算子與多尺度特征相結(jié)合，以應(yīng)對(duì)多源光學(xué)衛(wèi)星圖像中各結(jié)構(gòu)區(qū)域高頻特征的差異。文獻(xiàn)[7]先通過分割將圖像劃分為均勻的圖像目標(biāo)集合，再根據(jù)分類對(duì)象的隸屬度定義判別準(zhǔn)則對(duì)圖像進(jìn)行分類，進(jìn)而獲得多源光學(xué)圖像的變化檢測(cè)結(jié)果。文獻(xiàn)[8]聯(lián)合視覺與語義特征，提出了一種基于詞袋(bag of words,BOW)模型和主動(dòng)學(xué)習(xí)的變化檢測(cè)方法，有助于減少由于多源光學(xué)影像成像差異而造成的“偽變化”。盡管如此，以上方法均采用用戶定義的變化特征，檢測(cè)性能容易受到先驗(yàn)知識(shí)、成像環(huán)境差異等制約因素的影響。

近年來，基于深度學(xué)習(xí)的遙感影像處理技術(shù)獲得了學(xué)者們的廣泛關(guān)注，并已在多源光學(xué)遙感影像變化檢測(cè)任務(wù)中展現(xiàn)出了優(yōu)異的性能?；谏疃葘W(xué)習(xí)的變化檢測(cè)方法從影像自身出發(fā)，利用神經(jīng)網(wǎng)絡(luò)強(qiáng)大的抽象化表示能力，自動(dòng)提取多層次、多維度深層變化特征[9-10]。文獻(xiàn)[11]提出了一種面向多源影像的深度卷積耦合網(wǎng)絡(luò)，該網(wǎng)絡(luò)由對(duì)稱的卷積層和耦合層組成，通過將多時(shí)相圖像分別轉(zhuǎn)換到特征空間，從而得到更一致的特征表示。文獻(xiàn)[12]提出了一種基于深度Siamese卷積網(wǎng)絡(luò)與混合卷積特征提取模塊(hybrid convolutional feature extraction module，HCFEM)的多源圖像監(jiān)督變化檢測(cè)方法，其擴(kuò)張卷積網(wǎng)絡(luò)結(jié)構(gòu)能夠有效地提取深度變化特征。此外，采用UNet及其改進(jìn)模型UNet++等分割網(wǎng)絡(luò)的變化檢測(cè)模型由于提取的特征與輸入圖像尺寸具有很好的一致性，且具有很強(qiáng)的細(xì)節(jié)特征提取能力，受到了學(xué)者們的廣泛重視。文獻(xiàn)[13]設(shè)計(jì)了一種面向光學(xué)影像變化檢測(cè)的差分增強(qiáng)密集注意卷積神經(jīng)網(wǎng)絡(luò)(difference-enhancement dense-attention convolutional neural network，DDCNN)，使用UNet++結(jié)構(gòu)作為主干，有效模擬高、低級(jí)特征之間的內(nèi)在相關(guān)性，并結(jié)合差分增強(qiáng)(difference enhancement，DE)單元實(shí)現(xiàn)了聚合特征的加權(quán)提取。文獻(xiàn)[14]提出了一種基于UNet的跨層卷積神經(jīng)網(wǎng)絡(luò)(cross-layer network，CLNet)，通過嵌入所設(shè)計(jì)的跨層塊(cross-layer block，CLB)以合并多尺度特征和多級(jí)上下文信息，在多源光學(xué)變化檢測(cè)中取得了很好的效果。

盡管如此，在多源光學(xué)變化檢測(cè)任務(wù)中，變化區(qū)域通常分布更加離散且表現(xiàn)形式差異顯著，因而對(duì)變化信息的準(zhǔn)確提取提出了更高要求[15-16]。另一方面，傳統(tǒng)UNet結(jié)構(gòu)忽略了對(duì)變化區(qū)域的自主定位及變化特征的強(qiáng)化學(xué)習(xí)。此外，UNet作為一種語義分割網(wǎng)絡(luò)，其輸出的像素級(jí)變化檢測(cè)結(jié)果與真實(shí)地理對(duì)象之間存在著顯著的語義鴻溝，限制了其在變化檢測(cè)領(lǐng)域中的實(shí)際應(yīng)用[17-18]。

為此，本文提出一種聯(lián)合UNet++和多級(jí)差分模塊的對(duì)象級(jí)變化檢測(cè)方法。在以UNet++作為主網(wǎng)絡(luò)框架基礎(chǔ)上，設(shè)計(jì)一種多尺度特征提取差分模塊(multi-scale feature extraction difference module，MFED)，旨在突出變化區(qū)域特征的同時(shí)減少“偽變化”的影響；在此基礎(chǔ)上，結(jié)合深度網(wǎng)絡(luò)輸出的像素級(jí)變化檢測(cè)結(jié)果，提出一種加權(quán)DS證據(jù)融合策略(weighted dempster shafer evidence fusion，WDSEF)，從而實(shí)現(xiàn)像素級(jí)檢測(cè)結(jié)果到對(duì)象的跨越。多組試驗(yàn)結(jié)果表明，本文方法的變化檢測(cè)效果均顯著優(yōu)于其他先進(jìn)的對(duì)比方法，在不同空間分辨率和時(shí)相差異條件下總體精度(overall accuracy，OA)和F1score分別可達(dá)91.92%和63.31%以上。

1 多源光學(xué)遙感變化檢測(cè)方法

本文提出的多源光學(xué)遙感影像變化檢測(cè)主要包括3個(gè)部分：①數(shù)據(jù)預(yù)處理；②基于MFED-UNet++的像素級(jí)變化檢測(cè)；③聯(lián)合多尺度證據(jù)融合的變化對(duì)象識(shí)別。具體流程如圖1所示，T1和T2分別代表不同時(shí)相的影像。

圖1 所提方法的總體流程

1.1 數(shù)據(jù)預(yù)處理

1.1.1 影像配準(zhǔn)與對(duì)象集合提取

由于多源光學(xué)遙感影像通常存在著空間分辨率差異，本文采用商業(yè)軟件Envi進(jìn)行重采樣并進(jìn)行配準(zhǔn)處理。其中，兩個(gè)數(shù)據(jù)集均以低分辨率影像為基準(zhǔn)，對(duì)高分辨率影像進(jìn)行重采樣。為保證配準(zhǔn)精度，通過調(diào)整和刪除不符合要求的控制點(diǎn)，確保均方根誤差(root mean square error，RMSE)不超過0.5[19-20]。

由于對(duì)象級(jí)變化檢測(cè)要求在多時(shí)相影像中提取統(tǒng)一的對(duì)象集合，本文對(duì)已配準(zhǔn)影像作進(jìn)一步的影像分割。分割采用目前流行的商業(yè)軟件eCognition中的多分辨率分割，其由分形網(wǎng)絡(luò)演化算法(fractal network evolution algorithm，F(xiàn)NEA)發(fā)展而來[21-22]?；诓杉瘯r(shí)間較晚的影像進(jìn)行目視解譯調(diào)參后，4組數(shù)據(jù)集中尺度參數(shù)、形狀參數(shù)和緊致度參數(shù)分別設(shè)置為[35,0.5,0.3]，[34,0.6,0.3]，[35,0.4,0.4]和[36,0.6,04]。最后根據(jù)坐標(biāo)對(duì)應(yīng)關(guān)系將分割邊界投影到另一時(shí)相影像中，從而獲得包含N個(gè)對(duì)象的集合Rall。

1.1.2 數(shù)據(jù)集標(biāo)注

為充分驗(yàn)證本文方法在不同空間分辨率、不同時(shí)相差異條件下的精度及可靠性，本文試驗(yàn)采用不同地區(qū)的4組多源光學(xué)高分遙感影像數(shù)據(jù)集。數(shù)據(jù)集1和數(shù)據(jù)集2均為典型的城市區(qū)域。其中，數(shù)據(jù)集1采用南京地區(qū)和銀川地區(qū)不同時(shí)相的高分一號(hào)(GF-1)和高分二號(hào)(GF-2)光學(xué)影像，空間分辨率分別為2 m和0.81 m；數(shù)據(jù)集2采用南京地區(qū)和銀川地區(qū)不同時(shí)相的資源3號(hào)(ZY-3)和GF-2光學(xué)影像，空間分辨率分別為2.1、0.81 m。數(shù)據(jù)集3和數(shù)據(jù)集4除了城市場(chǎng)景外，還包含山地和丘陵等不同地區(qū)。其中，數(shù)據(jù)集3采用南京地區(qū)不同時(shí)相的Worldview-2和航拍光學(xué)影像，空間分辨率分別為2和0.5 m，空間分辨率差異達(dá)4倍；數(shù)據(jù)集4采用貴陽地區(qū)不同時(shí)相的GF-1和GF-2光學(xué)影像，空間分辨率分別為2、0.81 m，時(shí)相差異超過5 a。4組數(shù)據(jù)集如圖2所示。

圖2 數(shù)據(jù)集研究區(qū)域

在1.1.1節(jié)預(yù)處理策略基礎(chǔ)上，本文將原始影像裁剪為128×128像素的子圖像集合，將每個(gè)子圖像視為一個(gè)樣本作為后續(xù)深度網(wǎng)絡(luò)的輸入。在樣本標(biāo)注中，本文結(jié)合目視分析和Google Earth對(duì)每個(gè)樣本進(jìn)行人工解譯，并將該樣本中的每個(gè)對(duì)象標(biāo)注為“變化”或“未變化”。最終，數(shù)據(jù)集1共取得1232個(gè)樣本，數(shù)據(jù)集2共取得1280個(gè)樣本，數(shù)據(jù)集3共取得1249個(gè)樣本，數(shù)據(jù)集4共取得2929個(gè)樣本。圖3的4個(gè)子圖分別展示了一個(gè)樣本對(duì)應(yīng)的原始影像、影像分割及標(biāo)注結(jié)果(其中黑色為“未變化”，白色為“變化”)。

圖3 數(shù)據(jù)集標(biāo)簽展示

1.2 基于MFED-UNet++的像素級(jí)變化檢測(cè)

變化檢測(cè)任務(wù)的實(shí)質(zhì)是圖像的二分類問題，為此本文采用UNet++_MSOF作為基礎(chǔ)網(wǎng)絡(luò)進(jìn)行語義分割。UNet++是一種編碼器-解碼器結(jié)構(gòu)類型的網(wǎng)絡(luò)，采用密集的跳躍連接結(jié)構(gòu)，具有很強(qiáng)的特征提取和細(xì)節(jié)保留能力[23]。在此基礎(chǔ)上，通過采用多邊輸出融合策略(multiple side-output fusion，MSOF)將高級(jí)語義信息和低級(jí)紋理特征結(jié)合起來，能更好地保留細(xì)節(jié)邊緣，避免混淆效應(yīng)[24]。盡管如此，面對(duì)更加復(fù)雜的多源光學(xué)影像變化特征提取，UNet++并未專門強(qiáng)化對(duì)差分信息的學(xué)習(xí)，導(dǎo)致模型難以有效應(yīng)對(duì)突出的“偽變化”問題。為此，本文在編碼器部分設(shè)計(jì)了一種多尺度特征提取差分模塊MFED來增強(qiáng)對(duì)變化類特征的學(xué)習(xí)，從而提高模型對(duì)真實(shí)變化信息的鑒別能力。MFED-UNet++的基本框架如圖4所示，其中MFEM(multi-scale feature extraction module)是多尺度特征提取模塊，Y0,Y1，…，Y4對(duì)應(yīng)的5個(gè)輸出結(jié)果分別代表了MFED-UNet++在不同深度網(wǎng)絡(luò)中所提取的變化特征。

圖4 基于MFED-UNet++的像素級(jí)變化檢測(cè)框架

1.2.1 UNet++_MSOF的基本框架

如圖4所示，UNet++由卷積單元、下采樣模塊、上采樣模塊及卷積單元之間密集的跳躍連接組成。其中，卷積單元Xi,j采用VGG16中的塊結(jié)構(gòu)[25]；xi,j表示Xi,j的輸出特征映射；i表示第i個(gè)下采樣層；j表示跳躍方向上的第j個(gè)卷積單元

(1)

在此基礎(chǔ)上，MSOF令4個(gè)輸出節(jié)點(diǎn){X0,1,X0,2,X0,3,X0,4}經(jīng)過sigmoid層獲得4個(gè)側(cè)輸出{Y0,Y1,Y2,Y3}，然后通過連接4個(gè)側(cè)輸出的結(jié)果生成第5個(gè)輸出節(jié)點(diǎn)

X0,5=[Y0,Y1,Y2,Y3]

(2)

式中X0,5通過sigmoid層生成第5個(gè)輸出Y4，從而獲得UNet++_MSOF的5個(gè)輸出{Y0,Y1,Y2,Y3,Y4}。

1.2.2 MFED模塊

本文所設(shè)計(jì)的MFED模塊由MFEM模塊及多級(jí)差分模塊構(gòu)成，MFEM模塊如圖5所示。

圖5 MFEM模塊展示

MFEM聯(lián)合了4個(gè)不同卷積層組成的通道：通道1通過將最大池化和平均池化并聯(lián)在1×1卷積層之前，以增加對(duì)全局信息的感知；通道2采用了擴(kuò)張率為1的3×3卷積單元；通道3通過Add函數(shù)融合擴(kuò)張率為1和2的3×3卷積單元的輸出結(jié)果；通道4通過Add函數(shù)融合擴(kuò)張率為2和5的3×3卷積單元的輸出結(jié)果，由此可獲得通道2、3、4所提供的不同深度的抽象特征。在此基礎(chǔ)上，在4條通道的輸出位置加入了卷積注意力模塊(convolutional block attention module，CBAM)[26]，從而使模型能夠聚焦對(duì)多源光學(xué)影像關(guān)鍵特征的學(xué)習(xí)。

在MFED模塊中，通過對(duì)多尺度特征進(jìn)行差分后可獲得原始差分特征圖，并執(zhí)行下采樣和卷積單元運(yùn)算，從而得到與UNet++_MSOF編碼器部分的5個(gè)卷積層分別對(duì)應(yīng)的差分特征Di:{D0,D1,D2,D3,D4}。此時(shí)，式(1)中的xi,j在添加了本文設(shè)計(jì)的MFED模塊后更新為xMFEDi,j

(3)

式中，當(dāng)j=0時(shí)，差分特征映射Di作為編碼器部分卷積單元輸入的一部分。由此可得到MFED-UNet++所輸出的5層像素級(jí)變化檢測(cè)結(jié)果。

1.3 聯(lián)合多尺度證據(jù)融合的變化對(duì)象識(shí)別

MFED-UNet++的輸出反映了每個(gè)像素在不同網(wǎng)絡(luò)深度中的多尺度變化信息。盡管如此，由于來源于不同深度網(wǎng)絡(luò)的學(xué)習(xí)結(jié)果，其可信程度(即置信度)也不盡相同。為此，本文首先設(shè)計(jì)了一種自適應(yīng)證據(jù)置信度指標(biāo)(adaptive evidence credibility indicators，AECI)，以定量每層輸出結(jié)果的可信程度。在此基礎(chǔ)上，結(jié)合影像分割所提取的對(duì)象集合與DS證據(jù)理論，提出了一種聯(lián)合多尺度證據(jù)融合的變化對(duì)象識(shí)別WDSEF。

1.3.1 證據(jù)置信度指標(biāo)AECI自適應(yīng)提取

在MFED-UNet++訓(xùn)練過程中，通過對(duì)預(yù)測(cè)結(jié)果與驗(yàn)證集進(jìn)行比較能夠獲得不同卷積層的預(yù)測(cè)精度和損失函數(shù)值。當(dāng)深度學(xué)習(xí)模型收斂后，若某層對(duì)應(yīng)的預(yù)測(cè)精度越高或損失函數(shù)越小，通常其輸出結(jié)果的可信程度越高；此外，隨著網(wǎng)絡(luò)深度的增加，通常也意味著更好的非線性表達(dá)能力，從而能夠?qū)W習(xí)更加復(fù)雜的變化特征[24,27]。為此，本文綜合預(yù)測(cè)精度、損失函數(shù)值及網(wǎng)絡(luò)深度，提出了一種面向DS融合的證據(jù)置信度指標(biāo)AECI

(4)

式中，e為數(shù)學(xué)常數(shù)；s=1,2,…,5代表不同層次的網(wǎng)絡(luò)深度，訓(xùn)練過程中，本文采用基于驗(yàn)證集的損失函數(shù)值取得最小作為模型收斂的依據(jù)，此時(shí)記錄第s層的預(yù)測(cè)精度和損失函數(shù)值并分別用VAs和Ls表示。由此可見，作為一種歸一化指標(biāo)，AECI可根據(jù)模型訓(xùn)練結(jié)果自適應(yīng)確定，AECI越大，則預(yù)測(cè)結(jié)果的可信程度越高。

1.3.2 基于DS理論的識(shí)別框架

令Rall中的任一對(duì)象為Rn(n=1,2,…,N)，定義識(shí)別框架Θ：{P,Q}，其中P和Q分別代表變化和未變化，則Θ的非空子集A包括{P}，{Q}和{P，Q}。在此基礎(chǔ)上，定義基本概率分配函數(shù)公式(basic probability assignment functions，BPAF)為m:2Θ→[0,1]，且滿足以下條件

(5)

則基于這個(gè)約束條件的合成規(guī)則如下

(6)

2 試驗(yàn)與結(jié)果分析

2.1 試驗(yàn)設(shè)置與對(duì)比方法

本文采用1.1.2節(jié)中的4組多源光學(xué)高分遙感影像數(shù)據(jù)集開展試驗(yàn)，每組數(shù)據(jù)集按照6∶1∶3的樣本比例劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集。此外，試驗(yàn)采用Keras實(shí)現(xiàn)，TensorFlow作為后端，采用基于交叉熵的損失函數(shù)[24]，所有卷積層的卷積核大小均設(shè)置為3×3像素。

在此基礎(chǔ)上，本文選擇了4種先進(jìn)的對(duì)比方法進(jìn)行比較試驗(yàn)，具體包括：①UNet++_MSOF，該框架在UNet++的特征融合階段采用了一種MSOF策略，能夠有效地捕獲復(fù)雜場(chǎng)景中不同尺度的變化信息[23]；②CLNet，通過在UNet結(jié)構(gòu)中嵌入CLB模塊，能夠有效融合多尺度特征和多級(jí)上下文信息[14]；③MPFF-CNN，該框架通過融合不同尺度輸入下得到的特征，充分利用樣本的空間特征信息，結(jié)合影像分割和投票法得到變化檢測(cè)結(jié)果[28]；④OB-DSCNH，該框架面向多源光學(xué)遙感影像變化檢測(cè)，提出了基于Siamese網(wǎng)絡(luò)和混合卷積的特征提取模塊[12]。其中，前兩種是像素級(jí)的變化檢測(cè)方法，本文依據(jù)像素內(nèi)比例占優(yōu)的像素類別確定對(duì)象級(jí)變化檢測(cè)結(jié)果；后兩者則可以直接獲得對(duì)象級(jí)變化檢測(cè)結(jié)果。此外，4種對(duì)比方法均采用本文所提取的對(duì)象集合，作為開展對(duì)象級(jí)精度評(píng)價(jià)的基本單元。

2.2 不同網(wǎng)絡(luò)的性能比較

2.2.1 試驗(yàn)結(jié)果與目視分析

為便于目視分析，在數(shù)據(jù)集1和數(shù)據(jù)集2試驗(yàn)中各選擇了兩塊具有代表性的密集建筑物區(qū)域進(jìn)行展示，在數(shù)據(jù)集3和數(shù)據(jù)集4試驗(yàn)中各選擇了兩塊包含山地、丘陵的區(qū)域進(jìn)行展示。在前兩組數(shù)據(jù)集中，區(qū)域1的變化主要體現(xiàn)在個(gè)別建筑物的新建或拆除，對(duì)應(yīng)建成區(qū)中開展的部分區(qū)域更新改造的應(yīng)用場(chǎng)景；區(qū)域2主要是大面積的荒地與變?yōu)檎R排列的密集建筑物區(qū)域，對(duì)應(yīng)城市快速發(fā)展過程中對(duì)荒地的原始開發(fā)場(chǎng)景。在數(shù)據(jù)集3中，區(qū)域1和區(qū)域2主要是人為施工造成的變化；數(shù)據(jù)集4中，區(qū)域1和區(qū)域2主要是人為施工或物候差異造成的植被覆蓋變化。在此基礎(chǔ)上，進(jìn)一步采用橙色框代表真實(shí)變化區(qū)域，紫色框代表未變化但光譜、紋理等存在較大差異的“偽變化”區(qū)域，本文方法與對(duì)比方法的試驗(yàn)結(jié)果如圖6—圖9所示。

由圖6—圖9可見，本文方法在兩種常見的實(shí)際應(yīng)用場(chǎng)景中，變化檢測(cè)效果顯著優(yōu)于其他4種對(duì)比方法。與本文方法相比，UNet++_MSOF、CLNet和MPFF_CNN均屬于單源影像的變化檢測(cè)方法，這些方法將多時(shí)相影像進(jìn)行通道合并輸進(jìn)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，而沒有針對(duì)性的加強(qiáng)對(duì)圖像中的可能變化區(qū)域的特征提取能力，因此會(huì)很容易受到多源光學(xué)影像中“偽變化”的影響。如圖6(f)和(h)的區(qū)域1及區(qū)域2的橙色框所示，CLNet和MPFF_CNN存在明顯的漏檢；而在圖7(e)的兩個(gè)區(qū)域及圖7(h)的區(qū)域1的紫色框中，UNet++_MSOF和MPFF_CNN則出現(xiàn)了誤檢，主要是將陰影檢測(cè)為變化區(qū)域；在圖8(h)和圖9(h)的區(qū)域1及區(qū)域2的紫色框中，MPFF_CNN出現(xiàn)了明顯的誤檢和漏檢。對(duì)于山地、丘陵地區(qū)發(fā)生的變化，如圖8和圖9的區(qū)域2所示，雖然所有方法都能檢測(cè)到變化信息，但只有本文方法誤檢和漏檢最少，且較為完整地提取了整片變化區(qū)域。整體而言，OB-DSCNH與本文方法均屬于多源光學(xué)檢測(cè)方法，綜合利用多時(shí)相、多尺度特征提取得到的差分特征集合，相較于其他3種方法，有效緩解了“偽變化”問題。盡管如此，OB-DSCNH僅依賴圖像之間的差分特征，而忽視了原始單時(shí)相影像的抽象特征，因此容易在變化特征不明顯的區(qū)域出現(xiàn)漏檢，如圖6(g)及圖7(g)的區(qū)域2中的紫色框區(qū)域所示。與之相比，本文的MFED模塊在特征提取階段引入了注意力機(jī)制，且差分特征僅作為判別變化與否的輔助信息，因此效果更好。

圖6 不同網(wǎng)絡(luò)對(duì)數(shù)據(jù)集1的試驗(yàn)結(jié)果

圖7 不同網(wǎng)絡(luò)對(duì)數(shù)據(jù)集2的試驗(yàn)結(jié)果

圖8 不同網(wǎng)絡(luò)對(duì)數(shù)據(jù)集3的試驗(yàn)結(jié)果

圖9 不同網(wǎng)絡(luò)對(duì)數(shù)據(jù)集4的試驗(yàn)結(jié)果

2.2.2 定量評(píng)價(jià)

為了驗(yàn)證本文方法的有效性，本文采用準(zhǔn)確率(Precision，P)、召回率(Recall，R)、F1score、OA和Kappa系數(shù)進(jìn)行了精度評(píng)價(jià)。其中，P和R反映了變化對(duì)象檢測(cè)結(jié)果的單類精度，P越大則虛警率越低，R越大則漏檢率越低；F1score反映了P和R的均衡評(píng)價(jià)結(jié)果，OA和Kappa系數(shù)則揭示了變化檢測(cè)的整體性能，它們的值越大則檢測(cè)精度越高。

(7)

(8)

(9)

(10)

(11)

式中,TP、TN、FP、FN分別代表真陽性、真陰性、假陽性及假陰性。以變化對(duì)象為例，TP為變化被正確預(yù)測(cè)為變化概率；TN為非變化預(yù)測(cè)為非變化概率；FP為非變化預(yù)測(cè)為變化概率；FN為變化預(yù)測(cè)為非變化概率。結(jié)合上述評(píng)價(jià)指標(biāo)與本文所提取的對(duì)象集合Rall，對(duì)不同方法的對(duì)象級(jí)變化檢測(cè)結(jié)果進(jìn)行定量評(píng)價(jià)(表1)。

表1 不同方法的對(duì)象級(jí)變化檢測(cè)結(jié)果定量評(píng)價(jià)

如表1可知，在4組數(shù)據(jù)集中，本文方法的OA分別達(dá)到了95.74%、95.67%、96.71%和91.62%，Kappa系數(shù)則分別達(dá)到了0.559 3、0.659 3、0.739 4和0.656 4，顯著優(yōu)于其他對(duì)比方法。在數(shù)據(jù)集4試驗(yàn)中，5種方法的精度在P、R和F1score上均有顯著提高，而在OA上卻顯著降低，那是由于在4組數(shù)據(jù)集中非變化對(duì)象的比例分別達(dá)到了94%、92%、93%和86%，數(shù)據(jù)集1、2和3中的變化對(duì)象相較于數(shù)據(jù)集4要少，導(dǎo)致了前3個(gè)數(shù)據(jù)集的精度指標(biāo)OA存在一定程度的虛高。為此，基于P、R進(jìn)一步評(píng)價(jià)本文方法對(duì)變化對(duì)象的檢測(cè)性能。在數(shù)據(jù)集1中分別為60.91%和65.90%，在數(shù)據(jù)集2中分別為63.25%和74.23%，在數(shù)據(jù)集3中分別為72.29%和81.46%，在數(shù)據(jù)集4中分別為72.09%、72.01%。相較于OB-DSCNH分別提高了3.5%、6%以上。此外，相較于本文方法，3種單源影像方法UNet++_MSOF、CLNet和MPFF_CNN的F1score分別下降了4%、1.8%和6%以上。因此，本文方法的檢測(cè)精度顯著優(yōu)于其他對(duì)比方法，與目視分析結(jié)論一致。

3 討 論

3.1 MFED模塊嵌入效果分析

為單獨(dú)驗(yàn)證MFED模塊的有效性，在均采用WDSEF的條件下，本文分別對(duì)基礎(chǔ)網(wǎng)絡(luò)UNet++_MSOF在嵌入MFED模塊前后的檢測(cè)效果進(jìn)行了對(duì)比試驗(yàn)，結(jié)果見表2。

表2 MFED模塊的嵌入效果分析

由表2可知，在嵌入MFED模塊后，4組數(shù)據(jù)集試驗(yàn)中的OA提高了0.91%～1.73%，Kappa系數(shù)提高了0.02～0.08，F(xiàn)1score提高了3%以上，P和R也都有所提高。因此，在UNet++語義分割網(wǎng)絡(luò)中，通過引入多尺度特征差分機(jī)制，有助于提高其對(duì)變化區(qū)域的特征提取能力，證明了所構(gòu)建MFED模塊是可行且有效的。

3.2 深度網(wǎng)絡(luò)輸出像素級(jí)結(jié)果對(duì)比分析

為單獨(dú)驗(yàn)證所構(gòu)建模型中深度網(wǎng)絡(luò)部分的性能，在采用相同訓(xùn)練設(shè)置基礎(chǔ)上，對(duì)不同網(wǎng)絡(luò)的像素級(jí)預(yù)測(cè)結(jié)果進(jìn)行定量評(píng)價(jià)，結(jié)果見表3。其中，本文方法采用最深層網(wǎng)絡(luò)的輸出結(jié)果進(jìn)行評(píng)價(jià)。

表3 不同方法的像素級(jí)預(yù)測(cè)結(jié)果定量評(píng)價(jià)

由表3可知，與對(duì)象級(jí)檢測(cè)結(jié)果分析結(jié)論類似，本文方法的深度網(wǎng)絡(luò)輸出結(jié)果依然顯著優(yōu)于4種對(duì)比方法。其中，OA在4組數(shù)據(jù)集試驗(yàn)中均達(dá)到了91.85%以上，F(xiàn)1score則達(dá)到60.06%以上。由此可見，在不采用像素至對(duì)象的映射的情況下，本文設(shè)計(jì)的網(wǎng)絡(luò)能更準(zhǔn)確地識(shí)別出多源光學(xué)遙感影像中的變化區(qū)域。此外，通過對(duì)比表1和表3可以看出，經(jīng)過像素至對(duì)象映射后所有方法的各類精度評(píng)價(jià)指標(biāo)都有所提升，這說明以對(duì)象作為分析基元有助于提高對(duì)變化區(qū)域的分類精度。

3.3 多尺度差分特征有效性分析

為了進(jìn)一步驗(yàn)證所提取的多尺度差分特征的必要性，基于WDSEF，分別對(duì)全部尺度和每個(gè)尺度的對(duì)象級(jí)輸出結(jié)果采用F1score進(jìn)行精度評(píng)價(jià)，結(jié)果如圖10所示。

圖10 基于不同尺度輸出的像素轉(zhuǎn)對(duì)象的評(píng)價(jià)結(jié)果

圖10中，Y0、Y1、Y2、Y3、Y4分別代表不同尺度，Y0～4代表全部尺度的集合。由圖10可知，預(yù)測(cè)精度并不一定隨著網(wǎng)絡(luò)深度的增加而提高(如Y3的精度略低于Y2)，但Y0～Y4整體上呈現(xiàn)出逐漸上升的趨勢(shì)。此外，本文基于WDSEF綜合利用了不同尺度的變化特征，預(yù)測(cè)精度顯著優(yōu)于單一尺度。因此，各個(gè)尺度的差分特征之間具有互補(bǔ)性，即聯(lián)合多尺度特征的策略是可行且必要的。

3.4 AECI有效性分析

在本文提出的WDSEF中，自適應(yīng)提取的AECI作為一個(gè)關(guān)鍵參數(shù)，反映了每個(gè)尺度差分特征的可信程度。為了證明其有效性，本文對(duì)所有尺度直接賦予一致的可信程度，并與采用AECI的效果進(jìn)行對(duì)比，結(jié)果見表4。

由表4可知，采用AECI后各項(xiàng)精度都有一定的提高，尤其是在數(shù)據(jù)集1中，F(xiàn)1score提高了1.5%。因此，盡管采用不同尺度有助于從多個(gè)角度刻畫差分特征，但其可靠程度存在差異。另一方面也說明，本文結(jié)合驗(yàn)證集的損失函數(shù)和精度來確定AECI的策略是合理且有效的。

表4 AECI有效性分析

3.5 圖分辨率和時(shí)相差異影響分析

3.5.1 分辨率變化對(duì)精度影響分析

當(dāng)影像的空間分辨率越高時(shí)，同一個(gè)地物對(duì)象內(nèi)包含更多像素，因此包含更多的細(xì)節(jié)變化信息。為了分析不同分辨率的訓(xùn)練樣本對(duì)網(wǎng)絡(luò)訓(xùn)練效果的影響，本文對(duì)原始影像分別按照0.4、0.6和0.8倍進(jìn)行了下采樣。在此基礎(chǔ)上，利用數(shù)據(jù)集1和數(shù)據(jù)集2兩組多源光學(xué)數(shù)據(jù)集進(jìn)行訓(xùn)練，并進(jìn)行精度評(píng)價(jià)?？臻g分辨率與變化檢測(cè)精度的關(guān)系曲線如圖11所示。

由圖11可知，隨著分辨率的上升，采用本文方法的P、R、F1score都呈逐漸上升趨勢(shì)。與原始影像相比，在兩組數(shù)據(jù)集中，0.4倍下采樣后的P分別下降了10.83%、13.91%；R分別下降了5.61%、8.94%；F1score分別下降了8.6%、12.03%。因此，更加豐富的細(xì)節(jié)信息有助于提高變化區(qū)域的檢測(cè)精度，在數(shù)據(jù)集的分辨率越高則網(wǎng)絡(luò)訓(xùn)練效果越好。

圖11 影像空間分辨率對(duì)變化檢測(cè)精度的影響

3.5.2 分辨率及時(shí)相差異對(duì)精度影響分析

為進(jìn)一步分析雙時(shí)相影像之間分辨率及時(shí)相差異的大小對(duì)于本文方法檢測(cè)精度的影響，對(duì)4組數(shù)據(jù)集的試驗(yàn)統(tǒng)計(jì)結(jié)果見表5。

如表5所示，在雙時(shí)相影像分辨率相同條件下，數(shù)據(jù)集1和數(shù)據(jù)集4的差異分別為約2 a和大于5 a，數(shù)據(jù)集4的OA相較于數(shù)據(jù)集1降低了3.82%。因此，時(shí)相差異越大通常也意味著地物變化信息越豐富，檢測(cè)難度越大。另一方面，前3個(gè)數(shù)據(jù)集的時(shí)相差異均約為2 a，而分辨率差異在2.6～4倍之間，但OA波動(dòng)范圍只有0.07%～1.04%，且最大值為數(shù)據(jù)集3的96.71%。因此，所提出方法的OA受雙時(shí)相影像的分辨率差異影響不大，具有良好的穩(wěn)定性。

表5 分辨率及時(shí)相差異與精度關(guān)系統(tǒng)計(jì)結(jié)果

3.6 數(shù)據(jù)集擴(kuò)增

為了進(jìn)一步分析數(shù)據(jù)集擴(kuò)增對(duì)模型性能的影響，在原始數(shù)據(jù)集基礎(chǔ)上，采用旋轉(zhuǎn)、鏡像和平移操作來增加訓(xùn)練樣本。經(jīng)過擴(kuò)增，4個(gè)數(shù)據(jù)集分別包含2864、3920、2872和5272個(gè)樣本，精度評(píng)價(jià)結(jié)果如圖12所示。

如圖12所示，隨著標(biāo)記樣本數(shù)量的增加，P、R、F1score、OA和Kappa均有顯著提高，在數(shù)據(jù)集1中分別提高了0.1%、6%、2.14%、0.28%及2.43%，在數(shù)據(jù)集2中分別提高了1.41%、2.85%、1.98%、0.87%及3.12%，在數(shù)據(jù)集3中分別提高了1.85%、1.25%、1.62%、0.35%及1.83%，在數(shù)據(jù)集4中分別提高了4.39%、4.12%、4.27%、0.68%及4.6%。因此，通過樣本集擴(kuò)增有助于進(jìn)一步提高所提出模型的性能。

圖12 數(shù)據(jù)擴(kuò)增的有效性分析

4 結(jié) 論

面向?qū)ο蠹?jí)的多源光學(xué)遙感影像變化檢測(cè)，本文提出了一種聯(lián)合UNet++和多級(jí)差分模塊的多源光學(xué)遙感影像變化檢測(cè)方法。其中，通過設(shè)計(jì)一種MFED模塊實(shí)現(xiàn)了多尺度特征差分圖的提取，并作為UNet++的補(bǔ)充輸入，以提高網(wǎng)絡(luò)對(duì)變化區(qū)域特征的學(xué)習(xí)能力，從而有效減少“偽變化”；在此基礎(chǔ)上，為實(shí)現(xiàn)像素級(jí)結(jié)果到地理對(duì)象的映射，設(shè)計(jì)了一種不同尺度的自適應(yīng)置信度指標(biāo)AECI，進(jìn)而構(gòu)建了一種基于DS證據(jù)理論的WDSEF識(shí)別策略。通過對(duì)ZY-3/GF-2、GF-1/GF-2、Worldview-2/航拍和GF-1/GF-2 4組光學(xué)影像數(shù)據(jù)集進(jìn)行試驗(yàn)，并與多種先進(jìn)的深度學(xué)習(xí)方法進(jìn)行對(duì)比分析，結(jié)果表明所提出方法能夠顯著提高對(duì)變化區(qū)域的識(shí)別能力，同時(shí)有效減少“偽變化”的影響。在對(duì)城區(qū)、山地、丘陵等不同地區(qū)的變化檢測(cè)中，本文方法的OA和F1score最高可達(dá)96.71%和76.60%，且目視分析和定量評(píng)價(jià)均顯著優(yōu)于對(duì)比方法。此外，本文方法的檢測(cè)效果總體上隨雙時(shí)相影像間的時(shí)相差異減小而有所提高，但受分辨率差異影響不大。在數(shù)據(jù)集時(shí)相差異為5a及和數(shù)據(jù)集分辨率差異為4倍的兩組試驗(yàn)中，OA分別達(dá)到了91.92%和96.71%，F(xiàn)1score則分別達(dá)到了71.04%和76.60%。