基于面向?qū)ο髮\生神經(jīng)網(wǎng)絡(luò)的高分辨率遙感影像建筑物變化檢測

劉宣廣，李蒙蒙，汪小欽，張振超

1.福州大學(xué) 數(shù)字中國研究院(福建),福州 350108;

2.福州大學(xué) 空間數(shù)據(jù)挖掘與信息共享教育部重點(diǎn)實(shí)驗(yàn)室,福州 350108;

3.信息工程大學(xué) 地理空間信息學(xué)院,鄭州 450001

1 引言

建筑物變化檢測是獲取建筑物狀態(tài)變化信息的常用手段，在城市環(huán)境監(jiān)測、土地規(guī)劃管理和違章違規(guī)建筑識(shí)別等應(yīng)用中具有重要作用（周啟鳴，2011；佟國峰 等，2015）。遙感變化檢測泛指通過對比分析同一區(qū)域不同時(shí)期遙感數(shù)據(jù)來獲得地物變化情況的技術(shù)（孫曉霞 等，2011；眭海剛 等，2018；Wen 等，2021）。面向中低等分辨率遙感影像，國內(nèi)外學(xué)者提出了眾多基于像素的變化檢測方法，如變化向量分析方法（Change vector analysis）（陳晉 等，2001；柳思聰 等，2011），通過對比不同時(shí)相影像間的光譜差值來識(shí)別變化程度。此外，分類后比較也是一種常用的變化檢測方法（Coulter等，2016；Xu 等，2018；Paul等，2021；Wang等，2020），但該類方法受影像分類精度影響較大。

隨著高空間分辨率（簡稱“高分辨”）衛(wèi)星數(shù)量的不斷增加，如美國GeoEye 和Worldview 系列、法國Pleiades 系列，以及中國高分系列衛(wèi)星，基于高分辨影像的建筑物變化檢測獲得了廣泛關(guān)注。高分辨影像具有豐富的空間細(xì)節(jié)信息，可有效識(shí)別建筑物的精細(xì)變化，但高分辨影像通常在衛(wèi)星拍攝時(shí)難以保持正射姿態(tài)，存在建筑物形變和位移問題，利用傳統(tǒng)的基于像素的方法在高分辨影像變化檢測中易產(chǎn)生較明顯的檢測噪音，識(shí)別精度較低（Wen等，2021）。

對于高分辨遙感影像變化檢測，許多學(xué)者研究基于面向?qū)ο蟮淖兓瘷z測方法。以圖像分割對象為基本分析單元進(jìn)行變化識(shí)別，可充分利用對象上下文信息，并突出高分辨影像的紋理和空間特征，能有效避免獨(dú)立像元的光譜差異對檢測結(jié)果的影響（Blaschke，2010；Liu 等，2021），取得比基于像素檢測方法更精確的結(jié)果（Desclée 等，2006；馮文卿和張永軍，2015；Huang，2018b；Wen 等，2019）。但面向?qū)ο髾z測方法依賴于圖像分割效果，特別是在復(fù)雜的城市環(huán)境中，分割對象難以精準(zhǔn)的描繪地物對象幾何輪廓，影響面向?qū)ο笞兓瘷z測精度（黃鵬 等，2020）。

隨著深度學(xué)習(xí)技術(shù)發(fā)展以及在遙感圖像專題信息提取中的成功應(yīng)用，越來越多的研究學(xué)者開展基于深度學(xué)習(xí)的遙感變化檢測研究，提出不少基于深度神經(jīng)網(wǎng)絡(luò)的變化檢測方法（Khelifi 和Mignotte，2020），如深度信念網(wǎng)絡(luò)（Deep Belief Networks）、棧式自編碼神經(jīng)網(wǎng)絡(luò)（Stacked AutoEncoder）（Zabalza等，2016）、孿生神經(jīng)網(wǎng)絡(luò)（Siamese neural network）等。其中，孿生神經(jīng)網(wǎng)絡(luò)使用兩個(gè)相同的神經(jīng)網(wǎng)絡(luò)對輸入圖像進(jìn)行深層特征提取，根據(jù)特征相似度來獲取變化信息（Chopra 等，2005；Nair 和Hinton，2010；Yang等，2022）。如Zhang等（2019）使用輕量級(jí)偽孿生卷積神經(jīng)網(wǎng)絡(luò)（PSI-CNN）進(jìn)行建筑物變化檢測；隨后Chen 和Shi（2020）使用集成金字塔注意力機(jī)制的孿生神經(jīng)網(wǎng)絡(luò)進(jìn)行建筑物變化檢測；Li等（2021）使用改進(jìn)的UNet++孿生神經(jīng)網(wǎng)絡(luò)對高分辨影像進(jìn)行變化檢測；Zhu等（2022）構(gòu)建了一種孿生全局學(xué)習(xí)（Siam-GL）方法進(jìn)行高分辨遙感影像變化檢測。這些深度學(xué)習(xí)方法多在像素級(jí)進(jìn)行變化檢測，檢測結(jié)果邊界鋸齒狀明顯，與實(shí)際變化邊界吻合度不高。為解決這一問題，最近一些研究將面向?qū)ο蠛蜕疃葘W(xué)習(xí)技術(shù)相結(jié)合進(jìn)行變化檢測，以圖像分割對象為基本分析單元，有效降低了像素級(jí)變化檢測中常見的椒鹽噪聲。如Liu等（2021）結(jié)合面向?qū)ο蠹夹g(shù)和卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行影像變化檢測，獲得了成功應(yīng)用，但不同尺度分割結(jié)果對檢測效果的影響仍需進(jìn)一步研究。

此外，使用深度學(xué)習(xí)進(jìn)行遙感變化檢測需要大量樣本。為降低模型訓(xùn)練樣本庫構(gòu)建的成本，Goodfellow等（2014）提出利用生成對抗網(wǎng)絡(luò)GAN（Generative Adversarial Nets）提升樣本庫構(gòu)建效率。隨后，基于GAN模型，產(chǎn)生了許多該模型變體（Radford等，2016；Isola等，2017；Zhu等，2017；Karras等，2018）。另有研究將GAN與變化檢測相結(jié)合，比如：王玉龍等（2019）創(chuàng)建一種基于GAN的新增建筑變化檢測模型（CDGAN），提升了遙感影像中地面新增建筑物的檢測精度；Peng等（2021）提出了一種基于GAN的半監(jiān)督卷積網(wǎng)絡(luò)，減少了訓(xùn)練數(shù)據(jù)集對于變化檢測深度模型性能的限制。

現(xiàn)有的基于深度學(xué)習(xí)的建筑物變化檢測方法并未充分利用VHR影像中豐富的幾何、紋理信息，導(dǎo)致檢測的建筑物變化存在邊界模糊現(xiàn)象。盡管已有研究嘗試?yán)肎AN 來減輕變化檢測模型對訓(xùn)練數(shù)據(jù)集的依賴，但這類方法通常僅利用有限的標(biāo)簽數(shù)據(jù)進(jìn)行訓(xùn)練，限制了其泛化能力，且模型結(jié)構(gòu)復(fù)雜，訓(xùn)練成本高。為解決上述問題，本文提出了一種面向?qū)ο髮\生神經(jīng)網(wǎng)絡(luò)（Obj-SiamNet）的高分辨率遙感影像變化檢測方法，結(jié)合面向?qū)ο蠓治鏊枷?，解決傳統(tǒng)孿生神經(jīng)網(wǎng)絡(luò)變化檢測結(jié)果中檢測邊界與實(shí)際邊界吻合度低的問題。同時(shí)，在決策級(jí)，構(gòu)建了基于模糊集的多尺度自動(dòng)融合方法，以避免單一圖像分割尺度下Obj-SiamNet 檢測效果不佳的情況（這里的“尺度”指圖像分割的精細(xì)程度）。此外，本研究使用循環(huán)生成對抗網(wǎng)絡(luò)遷移模型訓(xùn)練樣本，提升該檢測方法的適用性。本研究可獲取精細(xì)化的建筑物變化信息，從而為城市可持續(xù)發(fā)展決策的制定提供可靠的數(shù)據(jù)支持。

2 研究方法

基于面向?qū)ο髮\生神經(jīng)網(wǎng)絡(luò)高分辨影像建筑物變化檢測的技術(shù)路線如圖1所示。首先，對雙時(shí)相高分辨影像預(yù)處理，疊加雙時(shí)相影像進(jìn)行多尺度圖像分割；然后，構(gòu)建面向?qū)ο髮\生神經(jīng)網(wǎng)絡(luò)，訓(xùn)練網(wǎng)絡(luò)模型和檢測影像變化信息。在此基礎(chǔ)上，利用模糊集自動(dòng)融合多尺度下的變化檢測結(jié)果；最后，利用生成對抗網(wǎng)絡(luò)將開放地理數(shù)據(jù)集樣本信息遷移至目標(biāo)域，降低樣本集制作成本，提升檢測模型的適用性。

圖1 基于Obj-SiamNet的建筑物變化檢測技術(shù)路線Fig.1 The workflow of the proposed method for building change detection

2.1 面向?qū)ο髮\生神經(jīng)網(wǎng)絡(luò)構(gòu)建

廣義上，孿生神經(jīng)網(wǎng)絡(luò)由兩個(gè)相同或不同的神經(jīng)網(wǎng)絡(luò)耦合而成。圖2Ⅰ展示了由2 個(gè)相同且共享權(quán)值的深度殘差網(wǎng)絡(luò)（Residual Network，ResNet）（He 等，2016）組成的孿生神經(jīng)網(wǎng)絡(luò)，分別提取圖像T1和T2的圖像特征XT1和XT2，通過計(jì)算特征間歐氏距離量化特征差異度（沈雁等，2018）（圖2Ⅱ）。借鑒面向?qū)ο髨D像分析思想，以圖像分割對象為基本分析單元，在對象層級(jí)提取孿生神經(jīng)網(wǎng)絡(luò)圖像特征，進(jìn)而計(jì)算不同時(shí)相影像對象間的特征差異度。

圖2 孿生神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖（XT1和XT2分別表示T1和T2影像的語義特征）Fig.2 The structure of Siamese neural network（XT1 and XT2 refer to the semantic features of T1 and T2，respectively）

2.1.1 多尺度圖像分割

本文采用多分辨率分割算法（multi-resolution image segmentation）（Benz 等，2004）對疊加后的雙時(shí)相影像進(jìn)行圖像分割，具體使用eCognition 軟件中的多分辨率分割功能進(jìn)行分割操作，通過設(shè)置不同的尺度（scale）參數(shù)可獲得多個(gè)尺度下的分割對象。

2.1.2 孿生圖像特征提取器構(gòu)建

面向?qū)ο髮\生神經(jīng)網(wǎng)絡(luò)Obj-SiamNet 的特征提取器包含編碼器和解碼器兩個(gè)模塊。編碼器的主干網(wǎng)絡(luò)采用ResNet 模型，ResNet 通過在卷積神經(jīng)網(wǎng)絡(luò)中增加殘差模塊，使深層神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)恒等變換，解決了隨網(wǎng)絡(luò)深度不斷增加，模型性能降低的問題，提升模型準(zhǔn)確率。根據(jù)網(wǎng)絡(luò)深度不同，ResNet 擁有ResNet18，34，50，101 等不同深度模型。He等（2016）指出ResNet 模型的特征提取能力隨網(wǎng)絡(luò)層數(shù)增加而提升，但層數(shù)越深，性能提升幅度越小。綜合考慮模型性能及訓(xùn)練成本，本文使用ResNet34構(gòu)建Obj-SiamNet 的編碼器，并在編碼器中保留ResNet34 的4 個(gè)殘差模塊，但移除全連接層和全局池化層（圖3）。

圖3 Obj-SiamNet特征提取器結(jié)構(gòu)Fig.3 Detailed structure of the Obj-SiamNet feature extractor

此外，使用多個(gè)上采樣模塊作為Obj-SiamNet的解碼器，并加入卷積塊注意模塊（Convolutional Block Attention Module）（Woo 等，2018），用以學(xué)習(xí)深層圖像特征的關(guān)鍵信息（圖3）。

2.1.3 圖像變化特征差異度計(jì)算

基于孿生影像特征，可計(jì)算不同時(shí)相影像的像素級(jí)特征差異度，并可根據(jù)圖像分割對象，進(jìn)一步計(jì)算不同時(shí)相影像對象級(jí)特征差異度。具體過程如下：

另外，像素級(jí)特征差異度D在模型訓(xùn)練階段也用來計(jì)算損失值，本文采用對比損失函數(shù)（Contrastive Loss）（Hadsell 等，2006）計(jì)算損失值，該損失函數(shù)可有效處理孿生神經(jīng)網(wǎng)絡(luò)中成對匹配數(shù)據(jù)的關(guān)系：

式中，M為變化標(biāo)簽圖，m為設(shè)定的閾值，只考慮像素級(jí)差異度D在0 至m之間，差異度D超過m的，則把其損失率記為0。nu，nc分別代表標(biāo)簽圖中未變化和變化像素?cái)?shù)量，計(jì)算公式為：

在對象層級(jí)檢測建筑物變化，可保留圖像分割中獲得的邊界信息（Tang 等，2020），提升檢測邊界與實(shí)際變化邊界的吻合度。將像素級(jí)特征差異度D根據(jù)分割對象轉(zhuǎn)換為對象級(jí)特征差異度DR，計(jì)算公式為

式中，NR指圖像對象R中像素的個(gè)數(shù)。

2.1.4 Obj-SiamNet模型訓(xùn)練和預(yù)測

同ResNet 模型相似，Obj-SiamNet 模型訓(xùn)練和預(yù)測時(shí)需要輸入尺寸為256 像素×256 像素的圖片。在制作Obj-SiamNet 訓(xùn)練樣本時(shí)，考慮到圖像分割對象尺寸和形狀不同，對每個(gè)分割對象樣本，以其質(zhì)心為中心點(diǎn)定義一個(gè)尺寸為256 像素×256 像素的矩形框，將此矩形框包圍的圖像區(qū)域作為對應(yīng)的Obj-SiamNet 訓(xùn)練樣本（Zhang 等，2018；Huang等，2018a）。同理，在對每個(gè)分割對象進(jìn)行預(yù)測時(shí)，采用相同的方法將對象裁剪成尺寸為256像素×256 像素的圖片。需要注意的是，在對象級(jí)特征差異度計(jì)算時(shí)，僅考慮圖像對象與其矩形框重疊的區(qū)域（圖4）。

圖4 不完全包圍與完全包圍對象的示意圖Fig.4 Demonstration of incompletely enclosed and completely enclosed objects

2.2 多尺度變化信息融合

本文基于模糊集理論，構(gòu)建一組考慮檢測結(jié)果不確定性的模糊集指標(biāo)（Li 等，2016），自動(dòng)融合多尺度對象級(jí)特征差異度。

首先獲取不同分割尺度下的對象級(jí)特征差異度DR，定義隸屬度函數(shù)f(DR)，量化圖像對象R在不同時(shí)相上變化的可能性μR。偏大型的S 型隸屬度函數(shù)在影像模糊分割處理時(shí)具有良好的魯棒性和準(zhǔn)確性（Tobias 和Seara，2002），因此使用S 型隸屬函數(shù)計(jì)算μR，計(jì)算公式如下：

式中，隸屬度函數(shù)參數(shù)a、b、c定義了函數(shù)的形狀（圖5）。關(guān)于參數(shù)c，本文基于格網(wǎng)搜索法，遍歷對象差異度DR值范圍，依次作為參數(shù)值c來計(jì)算隸屬度并得到變化結(jié)果，根據(jù)下式計(jì)算各變化結(jié)果的F1指數(shù)。

圖5 S型隸屬度函數(shù)Fig.5 S-type membership function

式中，R為召回率，P為精確率。

使用S 型隸屬度函數(shù)求得對象R在多層分割尺度上對應(yīng)的不同隸屬度值，本文選擇3 層分割尺度，對應(yīng)隸屬度值分別為μ1、μ2、μ3。

借鑒Li等（2016），將3層分割尺度下的隸屬度值μ1、μ2、μ3中的最大值作為對象R變化的可能性∏(CDR，P)，根據(jù)μ1、μ2、μ3計(jì)算對象R未變化的可能性在此基礎(chǔ)上，計(jì)算對象R變化的確定性N(CDR，P)和未變化的確定性具體計(jì)算如下：

2.3 基于生成對抗網(wǎng)絡(luò)的樣本遷移

使用循環(huán)生成對抗網(wǎng)絡(luò)（Cycle GANs）（Zhu等，2017）進(jìn)行樣本遷移，生成具有多樣高級(jí)語義特征的樣本來充實(shí)訓(xùn)練集數(shù)據(jù)，以降低樣本庫制作成本，提升建筑物變化檢測性能和Obj-SiamNet 模型的適用性。具體地，Cycle GANs由2個(gè)生成器和2 個(gè)判別器組成，判別器計(jì)算生成器所產(chǎn)成的數(shù)據(jù)與目標(biāo)域數(shù)據(jù)的差異度，并將結(jié)果反饋給生成器，逐步指導(dǎo)生成器將隨機(jī)噪聲分布盡量擬合到目標(biāo)域數(shù)據(jù)的真實(shí)分布（Zhu等，2017）。經(jīng)典生成對抗網(wǎng)絡(luò)的訓(xùn)練數(shù)據(jù)要求成對匹配，而Cycle GANs不受此限制，并可將源域數(shù)據(jù)與目標(biāo)域數(shù)據(jù)相互轉(zhuǎn)換。該模型由2 個(gè)對稱的GAN 結(jié)合，每個(gè)GAN 均包含一個(gè)生成器和一個(gè)判別器（圖6）。

圖6 循環(huán)生成對抗神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.6 The structure diagram of the Cycle GANs

在GF-2、GF-7 影像上制作少量研究區(qū)樣本集，與公開數(shù)據(jù)集共同訓(xùn)練Cycle GANs，將公開數(shù)據(jù)集轉(zhuǎn)為仿研究區(qū)數(shù)據(jù)集。為避免正負(fù)樣本不平衡問題，統(tǒng)計(jì)每個(gè)樣本標(biāo)簽中變化像元占全部像元的比例，即樣本變化程度。據(jù)此挑選研究區(qū)和仿研究區(qū)數(shù)據(jù)集中建筑物變化程度在20%—80%之間的樣本用以構(gòu)建模型訓(xùn)練樣本庫。

2.4 精度評價(jià)和性能評估

本文從屬性和幾何精度的角度評價(jià)變化檢測結(jié)果與實(shí)際變化的吻合程度。選擇精確率、召回率和F1 分?jǐn)?shù)評價(jià)屬性精度，選擇全局過分誤差、全局欠分誤差和全局總體誤差評價(jià)幾何精度（Li等，2015）。將本方法與其他3 種基于像素的變化檢測模型進(jìn)行對比分析，分別是：

（1）視覺變化檢測網(wǎng)絡(luò)（ChangeNet）（Varghese等，2019）：采用連體網(wǎng)絡(luò)和全卷積網(wǎng)絡(luò)模型將特征從圖像對映射到視覺變化中。

（2）基于時(shí)空自注意力的遙感圖像變化檢測模型（STANet）（Chen 和Shi，2020）：使用ResNet網(wǎng)絡(luò)進(jìn)行特征提取，在特征提取模塊后加入了金字塔注意力機(jī)制。

（3）全卷積孿生神經(jīng)網(wǎng)絡(luò)模型（Siam-NestedUNet）（Li 等，2021）：對語義分割網(wǎng)絡(luò)UNet++進(jìn)行改進(jìn)，用于變化檢測的全卷積孿生網(wǎng)絡(luò)。

3 數(shù)據(jù)處理與結(jié)果分析

3.1 研究區(qū)域和數(shù)據(jù)

本文選取3個(gè)研究區(qū)域，分別位于福建省的福州市、泉州市和浦城縣。3 個(gè)研究區(qū)域的遙感影像見圖7。

圖7 福州、泉州、浦城研究區(qū)的遙感影像Fig.7 Remote sensing images of these three study areas，i.e.，F(xiàn)uzhou，Quanzhou and Pucheng

福州研究區(qū)（FZ）的建筑物變化主要為高層建筑，變化建筑物的空間分布較稀疏；泉州研究區(qū)（QZ）內(nèi)建筑物變化類型復(fù)雜，涵蓋低矮密集建筑群和高層建筑；浦城研究區(qū)（PC）為非城市地區(qū)，地形大部分為山區(qū)，建筑物不集中且空間分布錯(cuò)亂，變化類型以小型密集建筑群和工廠建筑為主。本文所選擇的影像數(shù)據(jù)，由于受衛(wèi)星拍攝角度和拍攝時(shí)太陽光照影響（表1），各區(qū)域影像均非正射影像，且存在較多建筑物陰影，對開展變化檢測方法研究具有一定的挑戰(zhàn)性。

表1 3個(gè)研究區(qū)的影像數(shù)據(jù)信息表Table 1 Detailed information of these three study images

各研究區(qū)影像的類型和獲取時(shí)間如表1 所示。本研究在福州、浦城研究區(qū)選擇相同傳感器影像（GF-2），在泉州研究區(qū)選擇不同傳感器影像（GF-2 和GF-7）進(jìn)行實(shí)驗(yàn)，以檢驗(yàn)本方法在不同傳感器的適用性。每幅GF-2 影像包括一個(gè)0.8 m空間分辨率全色波段和4 個(gè)3.2 m 空間分辨率多光譜波段，GF-7 后視影像包含一個(gè)0.65 m 空間分辨率全色波段和4 個(gè)2.6 m 空間分辨率的多光譜波段。采用Gram-Schmidt 方法對影像的全色和多光譜波段進(jìn)行融合，使用雙線性內(nèi)插方法對融合后影像重采樣，獲得分辨率為0.8 m 的高分辨影像，并進(jìn)行幾何校正、地理配準(zhǔn)，提高變化檢測效率。

為構(gòu)建模型訓(xùn)練樣本庫，分別在福州市、浦城縣GF-2 遙感影像上各制作1000 對256 像素×256像素的樣本數(shù)據(jù)，泉州市GF-2、GF-7遙感影像上制作1368對樣本數(shù)據(jù)，構(gòu)成研究區(qū)數(shù)據(jù)集。此外，本文對CD_Data_GZ（https：//github.com/daifeng2016/Change-Detection-Dataset-for-High-Resolution-Satellite-Imagery）公開數(shù)據(jù)集進(jìn)行樣本遷移，獲取6400 對仿研究區(qū)數(shù)據(jù)。經(jīng)過樣本增強(qiáng)和篩選，共制作了13000 對訓(xùn)練樣本，按照7∶3 比例劃分訓(xùn)練集和測試集。

3.2 多尺度圖像分割

使用eCognition 軟件中多分辨率分割算法對雙時(shí)相疊加影像分割，選擇包含欠分割和過分割情況的3個(gè)分割尺度（scale）分別為：80、160、240。由于建筑物邊界特征明顯，因此增大形狀因子參數(shù)（Shape），將其設(shè)為0.2，經(jīng)過多次分割實(shí)驗(yàn)，本研究將緊密度參數(shù)（Compactness）設(shè)為0.4。各研究區(qū)在3 個(gè)分割尺度下的分割結(jié)果如圖8 所示?？芍寒?dāng)scale=80時(shí)，圖像過分割，單個(gè)建筑物被分割成多個(gè)對象，分割結(jié)果破碎；分割尺度為scale=160 時(shí)，建筑物分割較完整，分割邊界與實(shí)際邊界更吻合；當(dāng)scale=240 時(shí)，圖像欠分割，多個(gè)建筑物或其他地物被分割為一個(gè)對象，存在較嚴(yán)重的粘連問題。

圖8 各研究區(qū)在3個(gè)分割尺度下的對象分割結(jié)果Fig.8 The results of segmentation objects at three different segmentation scales in each study area

3.3 多尺度圖像對象變化信息提取

首先，使用相同的模型訓(xùn)練參數(shù)和樣本對不同深度ResNet構(gòu)建的Obj-SiamNet 訓(xùn)練、測試。訓(xùn)練模型時(shí)，將初始學(xué)習(xí)率設(shè)為10-3，每經(jīng)20 次迭代，學(xué)習(xí)率減小為原來的十分之一。批次大?。╞atch_size）設(shè)為16，迭代次數(shù)（epoch）設(shè)為200，優(yōu)化器采用Adam（Kingma 和Ba，2017）。結(jié)果表明：ResNet18，34，50，101 在測試集上的F1 指數(shù)分別為：0.676、0.789、0.793、0.799，ResNet34效果優(yōu)于ResNet18，且與ResNet50，101 效果相似，證實(shí)了使用ResNet34作為Obj-SiamNet 的主干網(wǎng)絡(luò)是兼顧模型性能和訓(xùn)練成本的最佳選擇。

然后使用訓(xùn)練獲取的Obj-SiamNet 最佳模型檢測研究區(qū)影像中的建筑物變化區(qū)域，獲得像素級(jí)特征差異度，再根據(jù)分割對象轉(zhuǎn)換到對象級(jí)特征差異度，詳見圖9。

圖9 各研究區(qū)不同分割尺度的對象級(jí)特征差異圖Fig.9 Difference maps of object-level feature at different segmentation scales in each study area

圖10 格網(wǎng)搜索法結(jié)果（c=77時(shí)，F(xiàn)1達(dá)到最大值）Fig.10 The results of grid search method（F1-Score reaches its maximum value at c=77）

圖9 對比了不同分割尺度下的對象特征差異?？梢姡涸诜指畛叨葹?0、160 時(shí)，3 個(gè)研究區(qū)的對象特征差異圖表示的建筑物變化信息較完整，建筑物對象邊界與實(shí)際邊界更加吻合；分割尺度為240 時(shí)，圖像欠分割造成對象差異圖存在大區(qū)域粘連問題，但獲取的變化信息較另外兩個(gè)分割尺度的對象特征差異圖更豐富。

3.4 多尺度變化信息融合

首先計(jì)算對象級(jí)特征差異度的隸屬度。對于S型隸屬度函數(shù)的參數(shù)a、b、c，設(shè)置a=0、b=0.5 ×(a+c)。在公開數(shù)據(jù)集CD_Data_GZ上，使用格網(wǎng)搜索法確定參數(shù)c取值。在參數(shù)c=77時(shí)，變化結(jié)果的F1指數(shù)最高，因此將參數(shù)c設(shè)為77。

對研究區(qū)影像使用S 型隸屬度函數(shù)計(jì)算得到3 個(gè)不同尺度下的對象隸屬度值μ1、μ2、μ3。根據(jù)μ1、μ2、μ3，計(jì)算變化可能性和變化確定性指數(shù)，根據(jù)模糊規(guī)則自動(dòng)融合多尺度變化信息，獲取融合變化結(jié)果。

為驗(yàn)證本方法的有效性，選擇FZ研究區(qū)局部子圖（FZ-A），將本方法得到的變化圖與單一分割尺度使用自動(dòng)閾值分割（Otsu，1979）獲得的變化圖進(jìn)行對比。由圖11可知，單一分割尺度的檢測結(jié)果會(huì)存在較多的漏檢和誤檢。在圖11（e）、圖11（g）中（紅框內(nèi)），分別存在明顯的漏檢和誤檢；在圖11（e）中（黃框內(nèi)）檢測的建筑物變化區(qū)域存在嚴(yán)重誤檢，在圖11（f）、圖11（g）中（藍(lán)框內(nèi)）存在較嚴(yán)重的漏檢問題，圖11（f）、圖11（g）中（紅框內(nèi)）檢測的變化邊界與真實(shí)建筑物變化邊界吻合度較低。融合3 個(gè)分割尺度獲得的檢測結(jié)果，較單一分割尺度檢測結(jié)果在精確度和檢測建筑物變化區(qū)域的完整度上有明顯提升，召回率由最低0.34 提升至0.66，全局總體誤差最多降低7%，F(xiàn)1分?jǐn)?shù)最高提升23%（表2）。

表2 多尺度差異特征融合和單分割尺度差異特征獲取的建筑物變化檢測結(jié)果精度評價(jià)Table 2 Evaluation of the accuracy of detection results：a comparison between those obtained by fusing multi-scale difference features and those obtained using a single-scale difference feature/%

3.5 樣本遷移結(jié)果分析

使用Cycle GANs 將公開數(shù)據(jù)集轉(zhuǎn)換為仿研究區(qū)數(shù)據(jù)集。在對Cycle GANs 訓(xùn)練時(shí)，我們將學(xué)習(xí)率設(shè)為2 × 10-4，迭代次數(shù)設(shè)為150 次，批次大小設(shè)為8，最后共獲得偽研究區(qū)數(shù)據(jù)集6400 對。為驗(yàn)證該樣本遷移方法的有效性，設(shè)置一組對比實(shí)驗(yàn)：

（1）未使用Cycle GANs 遷移樣本：僅使用研究區(qū)數(shù)據(jù)集為樣本，在由公開數(shù)據(jù)集（ImageNet）訓(xùn)練獲得的ResNet34 預(yù)訓(xùn)練參數(shù)基礎(chǔ)上對Obj-SiamNet訓(xùn)練，用訓(xùn)練好的模型檢測研究區(qū)變化。

（2）使用Cycle GANs 遷移樣本：使用仿研究區(qū)和研究區(qū)數(shù)據(jù)集共同訓(xùn)練Obj-SiamNet，其余實(shí)驗(yàn)條件和實(shí)驗(yàn)步驟保持一致。

選取FZ 研究區(qū)局部子圖（FZ-A）、QZ 研究區(qū)局部子圖（QZ-A），對比使用和未使用Cycle GANs遷移樣本的實(shí)驗(yàn)結(jié)果。圖12展示了在實(shí)驗(yàn)區(qū)FZ-A 和QZ-A 樣本遷移前后的建筑物變化檢測結(jié)果?？芍菏褂脴颖具w移的建筑物變化檢測結(jié)果精確度更高，實(shí)驗(yàn)區(qū)FZ-A 的精確率由71%提升至76%，QZ-A 的精確率由61%提升至74%。有效改善了漏檢現(xiàn)象，召回率最高提升16%，F(xiàn)1 分?jǐn)?shù)最高提升14%，全局總體誤差降低9%（表3）。

圖12 樣本遷移前后變化結(jié)果圖Fig.12 Comparison of detected changes before and after sample transferring

3.6 模型對比

使用Obj-SiamNet 對福州研究區(qū)子圖（FZ-B）進(jìn)行變化檢測，并與其他3 種模型對比。由圖13可知，Obj-SiamNet 的檢測結(jié)果破碎度較低，能夠較完整的檢測出建筑物變化區(qū)域，漏檢現(xiàn)象得到明顯改善。而ChangeNet 檢測結(jié)果存在較多漏檢現(xiàn)象；加入金字塔注意力模塊的STANet 對于光照變化引起的錯(cuò)檢現(xiàn)象有較明顯改善，精確率較高，但提取的變化區(qū)域破碎現(xiàn)象嚴(yán)重，漏檢嚴(yán)重；Siam-NestedUNet 的檢測結(jié)果存在較多錯(cuò)檢漏檢現(xiàn)象。由表4 可知，本文提出的Obj-SiamNet 相比于其他3種方法在召回率上有較大提升，最高提升了32%，全局過分誤差最高降低了23%，相比于Siam-NestedUNet 方法，本方法在所有指標(biāo)上均有明顯提升。

表4 各方法獲取的建筑物變化檢測結(jié)果精度評價(jià)Table 4 Evaluation of the accuracy of building change detection results obtained by each method/%

圖13 各方法在FZ-B區(qū)域中檢測到的變化建筑物的面向?qū)ο笤u價(jià)結(jié)果Fig.13 Object-based evaluation results of different methods in the FZ-B area

進(jìn)一步對比Obj-SiamNet 與其他3 種方法的檢測結(jié)果細(xì)節(jié)圖，由圖14 可知，STANet 在檢測具有不規(guī)則形狀的小型密集建筑物時(shí)，檢測結(jié)果的變化邊界與實(shí)際變化邊界吻合度較低（圖14（a）），且存在較多漏檢現(xiàn)象（圖14（b）和（c））；Siam-Nested-UNet 誤檢嚴(yán)重；ChangeNet 檢測結(jié)果破碎度高（圖14（c））。綜上，在不同類型的建筑物變化場景下，Obj-SiamNet檢測的變化邊界與實(shí)際變化邊界吻合度最高，且顯著降低檢測結(jié)果的破碎現(xiàn)象。

圖14 不同建筑物變化檢測方法與本方法（Obj-SiamNet）在結(jié)果細(xì)節(jié)上的對比分析Fig.14 Comparative analysis of building change results：our method（i.e.，Obj-SiamNet）vs.existing methods

使用本方法得到的3個(gè)研究區(qū)的完整變化檢測結(jié)果如圖15所示。由表5 可知，3 個(gè)實(shí)驗(yàn)區(qū)的檢測結(jié)果召回率最高達(dá)83%，精確率最高為87%。其中，福州研究區(qū)檢測的變化邊界與實(shí)際變化邊界更吻合，泉州研究區(qū)召回率和精確率分別為83%、74%，但由于小型密集建筑物分割不不精確，導(dǎo)致檢測結(jié)果存在大片區(qū)域粘連。

表5 基于本方法Obj-SiamNet的3個(gè)研究區(qū)域建筑物變化檢測結(jié)果的精度評價(jià)表Table 5 Accuracy evaluation of the building change results obtained by Obj-SiamNet in three study areas/%

圖15 基于本方法Obj-SiamNet的3個(gè)研究區(qū)域建筑物變化檢測結(jié)果Fig.15 Building change results obtained by the proposed Obj-SiamNet in three study areas

4 討論

本文提出一種基于面向?qū)ο髮\生神經(jīng)網(wǎng)絡(luò)的高分辨影像建筑物變化檢測方法，重點(diǎn)研究了利用面向?qū)ο蠓治黾夹g(shù)提升經(jīng)典孿生神經(jīng)網(wǎng)絡(luò)變化檢測結(jié)果的幾何精度，以及多尺度檢測結(jié)果的自動(dòng)融合方法。較STANet、ChangeNet 和Siam-NestedUNet 變化檢測模型，本方法在處理檢測結(jié)果邊界鋸齒化以及檢測精度方面，具有明顯的優(yōu)越性；具體的，GTC 最高降低了9%，召回率最高提升32%，F(xiàn)1指數(shù)提升23%。在福州、泉州和浦城3個(gè)實(shí)驗(yàn)區(qū)檢測結(jié)果中，Obj-SiamNet的召回率均可達(dá)70%以上，F(xiàn)1指數(shù)最高為79%。

本文使用多分辨率分割算法進(jìn)行圖像分割，在圖像分割時(shí)，由于小型密集建筑群分割不精準(zhǔn)（圖16 的區(qū)域A、圖16 的區(qū)域B）或?qū)⒔ㄖ锱c其他地物分割為一個(gè)對象（圖16 的區(qū)域C），造成檢測結(jié)果存在粘連現(xiàn)象，無法精確檢測出實(shí)際變化邊界，誤檢率和漏檢率增加。且該分割算法需手動(dòng)設(shè)置分割參數(shù)，所選參數(shù)可能無法適用于全部城市場景。進(jìn)一步的研究可側(cè)重在圖像分割方法的選擇上，或者分割參數(shù)優(yōu)化上面，比如選擇ESP分割工具（Drǎgu? 等，2010），進(jìn)一步提升本方法的檢測性能和適用性。

圖16 Obj-SiamNet獲取的建筑物變化檢測結(jié)果中存在粘連現(xiàn)象的實(shí)例Fig.16 Examples of building change results with adjacent buildings obtained by Obj-SiamNet

基于模糊集理論的多尺度檢測結(jié)果自動(dòng)融合方法，避免了單一分割尺度檢測結(jié)果造成的漏檢誤檢問題。FZ-A 區(qū)域的多尺度融合結(jié)果相比于單一分割尺度檢測結(jié)果更精準(zhǔn)，精確率最高提升11%，召回率較3個(gè)單一尺度檢測結(jié)果均提升25%以上。

另外，挑選研究區(qū)和仿研究區(qū)數(shù)據(jù)集中建筑物變化程度在20%—80%的樣本來構(gòu)建模型訓(xùn)練樣本庫。使用該規(guī)則篩選后的樣本中，變化程度在20%—60%的樣本數(shù)量占了總樣本量的92.36%，變化程度在60%—80%的樣本數(shù)量僅占總量的7%左右，這保證了模型的正負(fù)樣本均衡，該樣本篩選規(guī)則具有合理性和可行性。未來，可進(jìn)一步完善對于變化程度過高或過低的樣本取舍規(guī)則。

此外，本文利用Cycle GANs 進(jìn)行樣本遷移，可將公開數(shù)據(jù)與研究區(qū)數(shù)據(jù)集相互轉(zhuǎn)換，且訓(xùn)練Cycle GANs 的數(shù)據(jù)集不需要成對匹配，提高了樣本遷移效率。本研究使用空間分辨率為0.5 m 的CD_Data_GZ 數(shù)據(jù)集進(jìn)行樣本遷移，在FZ-A 研究區(qū)和QZ-A 研究區(qū)的實(shí)驗(yàn)結(jié)果均證實(shí)了該遷移方法的有效性。QZ-A 研究區(qū)效果更顯著，所有精度評價(jià)指數(shù)均有較大提升，召回率由67%提升至83%，精確率由61%提升至74%。但使用該方法樣本遷移時(shí)，要求公開數(shù)據(jù)集與研究區(qū)數(shù)據(jù)集的空間分辨率相近，對于空間分辨率相差較大的公開數(shù)據(jù)集，可能無法實(shí)現(xiàn)有效遷移，未來可進(jìn)一步研究提升生成對抗網(wǎng)絡(luò)樣本遷移效率的策略。

5 結(jié)論

本文提出一種基于面向?qū)ο髮\生神經(jīng)網(wǎng)絡(luò)（Obj-SiamNet）和Cycle GANs 樣本遷移策略的高分辨率遙感影像建筑物變化檢測方法，有效提升了傳統(tǒng)孿生神經(jīng)網(wǎng)絡(luò)獲取的建筑物變化檢測結(jié)果的幾何精度，降低了深度學(xué)習(xí)模型訓(xùn)練樣本庫構(gòu)建成本。并應(yīng)用本方法在3 個(gè)研究區(qū)上進(jìn)行了驗(yàn)證，主要結(jié)論如下：

（1）與STANet、ChangeNet 和Siam-Nest-edUNet 3 種現(xiàn)有模型相比，Obj-SiamNet 檢測結(jié)果整體較優(yōu)，漏檢現(xiàn)象改善明顯，召回率平均提升26.3%，F(xiàn)1 平均提升16.7%，全局總體誤差平均降低7%，證明了本方法的優(yōu)越性。更進(jìn)一步地，使用Obj-SiamNet 在福州、泉州、浦城3 個(gè)不同實(shí)驗(yàn)區(qū)獲得了成功應(yīng)用，全局總體誤差最低為19%，F(xiàn)1 分?jǐn)?shù)最高為79%，召回率最高可達(dá)83%，驗(yàn)證了本方法的適用性。

（2）融合面向?qū)ο蠖喑叨确指畹臋z測結(jié)果較單一尺度分割的檢測結(jié)果，可減少影像信息損失，提升檢測結(jié)果精度，召回率最高提升32%，F(xiàn)1 分?jǐn)?shù)最高提升25%，全局總體誤差最高降低7%。

（3）使用Cycle GANs 遷移樣本，增加了訓(xùn)練樣本量，進(jìn)而提升了模型預(yù)測性能，兩個(gè)研究區(qū)的檢測結(jié)果較未使用樣本遷移的檢測結(jié)果有明顯提升，F(xiàn)1 分?jǐn)?shù)最高提升14%，GTC 降低9%。在泉州研究區(qū)，召回率由67%提升至83%，精確率由61%提升至74%，F(xiàn)1 分?jǐn)?shù)由64%提升至78%，全局總體誤差由29%降低至20%。

Obj-SiamNet 方法對于其他地物變化檢測同樣具有借鑒意義。后續(xù)研究可側(cè)重在影像分割方法的選擇以及孿生神經(jīng)網(wǎng)絡(luò)主干網(wǎng)絡(luò)的設(shè)計(jì)上。此外，也可增加多種樣本類型，在土地利用層面進(jìn)行語義變化檢測研究。