基于深度學(xué)習(xí)與矢-柵數(shù)據(jù)的圖斑變化檢測(cè)系統(tǒng)

單浩宇，王春曉，尹鵬程，李二珠，張連蓬，史嘉誠(chéng)，劉 偉

(1.江蘇師范大學(xué)地理測(cè)繪與城鄉(xiāng)規(guī)劃學(xué)院，江蘇 徐州 221116；2.自然資源部海南基礎(chǔ)地理信息中心，海南 ?？?570203；3.徐州市自然資源與規(guī)劃局，江蘇 徐州 221018)

0 引 言

長(zhǎng)期以來(lái)，我國(guó)國(guó)土監(jiān)管部門主要采用遙感影像內(nèi)業(yè)人工解譯及外業(yè)人工輔助配合調(diào)查的方式提取地物信息，調(diào)查周期長(zhǎng)，時(shí)效性差，需要投入大量人力物力，難以滿足當(dāng)前土地監(jiān)管的需求[1]。近年來(lái)，隨著衛(wèi)星遙感技術(shù)的快速發(fā)展，利用高分辨率遙感影像進(jìn)行變化檢測(cè)的應(yīng)用場(chǎng)景愈加廣泛。深度學(xué)習(xí)技術(shù)不斷發(fā)展，以其高精度、高效率的方法在遙感影像變化檢測(cè)領(lǐng)域受到追捧[2-3]，為解決土地監(jiān)管問(wèn)題提供了新的方案。

傳統(tǒng)的圖斑變化檢測(cè)方法大多圍繞高分遙感影像多元化特征提取或融合以提高檢測(cè)精度[4]，在一定程度上提升了生產(chǎn)效率，但需要大量先驗(yàn)知識(shí)和參數(shù)調(diào)整，應(yīng)用中仍呈現(xiàn)人工干預(yù)多、自動(dòng)化程度較低，檢測(cè)結(jié)果的可靠性和準(zhǔn)確性仍有較大提升空間等特點(diǎn)[5-6]?，F(xiàn)階段基于矢量數(shù)據(jù)的地類圖斑變化檢測(cè)研究較少，并不能很好地發(fā)揮已有矢量數(shù)據(jù)成果的價(jià)值以及滿足智能化地類圖斑變化檢測(cè)的需求[7]。近年來(lái)，深度學(xué)習(xí)在圖像分類與識(shí)別中表現(xiàn)出顯著的應(yīng)用潛力[8]。在深度學(xué)習(xí)中，地類圖斑變化檢測(cè)任務(wù)可轉(zhuǎn)化為對(duì)目標(biāo)對(duì)象的識(shí)別和分類問(wèn)題，通過(guò)深度學(xué)習(xí)方法在遙感影像中提取復(fù)雜特征，從而識(shí)別出變化區(qū)域[9-10]。

本文針對(duì)圖斑變化的快速準(zhǔn)確發(fā)現(xiàn)，提出一套基于深度學(xué)習(xí)和矢-柵數(shù)據(jù)的圖斑變化檢測(cè)自動(dòng)化處理系統(tǒng)?；谑噶砍晒麛?shù)據(jù)，以高分遙感影像為參照，構(gòu)建樣本自動(dòng)生成和純化方法；針對(duì)精細(xì)化圖斑識(shí)別問(wèn)題，融合多種深度學(xué)習(xí)分類模型，提高精細(xì)化圖斑的識(shí)別效果；基于深度學(xué)習(xí)平臺(tái)框架，開(kāi)發(fā)一套滿足圖斑變化檢測(cè)需求的軟件系統(tǒng)，并以洋溪河濕地為研究區(qū)域進(jìn)行變化檢測(cè)任務(wù)。

1 變化檢測(cè)系統(tǒng)實(shí)現(xiàn)

系統(tǒng)主要通過(guò)3個(gè)模塊實(shí)現(xiàn)變化檢測(cè)流程管理，包括樣本自動(dòng)生成與優(yōu)化、深度學(xué)習(xí)模型訓(xùn)練與預(yù)測(cè)和變化檢測(cè)后處理。流程的技術(shù)路線具體如下：首先將兩期影像依據(jù)矢量數(shù)據(jù)分別制成帶有不同標(biāo)簽的純化訓(xùn)練樣本集和預(yù)測(cè)數(shù)據(jù)集，然后對(duì)訓(xùn)練樣本集進(jìn)行模型訓(xùn)練并使用驗(yàn)證集數(shù)據(jù)對(duì)訓(xùn)練結(jié)果作精度評(píng)定，接著載入生成的訓(xùn)練結(jié)果對(duì)預(yù)測(cè)數(shù)據(jù)集進(jìn)行模型預(yù)測(cè)，最后將預(yù)測(cè)結(jié)果根據(jù)制定的判別規(guī)則進(jìn)行后處理分析，得到最終的變化矢量圖斑。技術(shù)路線如圖1所示。

圖1 技術(shù)路線

1.1 樣本自動(dòng)生成與優(yōu)化模塊

1.1.1 顧及矢量邊界的樣本自動(dòng)生成

傳統(tǒng)方法通常采用人工標(biāo)注方法建立樣本庫(kù)，但面對(duì)高分遙感海量數(shù)據(jù)以及深度學(xué)習(xí)所需要的海量訓(xùn)練樣本，受限于先驗(yàn)知識(shí)和樣本標(biāo)注低效的不足導(dǎo)致其難以滿足實(shí)際業(yè)務(wù)生產(chǎn)的需求，對(duì)此，本模塊實(shí)現(xiàn)了一種顧及已有矢量成果數(shù)據(jù)邊界的樣本自動(dòng)生成方法，此方法利用地類標(biāo)注信息，將已有的矢量圖斑與柵格樣本進(jìn)行關(guān)聯(lián)，對(duì)相應(yīng)的影像數(shù)據(jù)進(jìn)行自適應(yīng)切割和樣本自標(biāo)注，分割出具有單一類型的樣本，從而生成初始的數(shù)據(jù)集，以提高生成樣本的效率。

1.1.2 樣本自動(dòng)純化

純化即對(duì)初始樣本集進(jìn)行分類和提純。對(duì)比于傳統(tǒng)變化檢測(cè)方法泛化能力弱的問(wèn)題，深度學(xué)習(xí)所產(chǎn)生的權(quán)重文件不僅可以用于預(yù)測(cè)數(shù)據(jù)集，對(duì)樣本集的純化也有較好的效果，且深度學(xué)習(xí)所需樣本量遠(yuǎn)超傳統(tǒng)方法，人工提純方法耗時(shí)費(fèi)力無(wú)法滿足需求。為此本模塊構(gòu)建一種基于深度學(xué)習(xí)預(yù)訓(xùn)練權(quán)重的樣本自動(dòng)純化方法。首先加載進(jìn)訓(xùn)練預(yù)權(quán)重對(duì)待提純的樣本庫(kù)進(jìn)行預(yù)測(cè)，并將樣本庫(kù)按照預(yù)測(cè)結(jié)果放入各自歸屬的地類名稱文件夾，部分預(yù)測(cè)類別與標(biāo)注類別不一致的樣本將被舍棄。此外，由于矢量邊界的不規(guī)則分布，導(dǎo)致樣本生成的過(guò)程中不可避免地產(chǎn)生邊角區(qū)域?yàn)镹oData的樣本，為此本模塊還實(shí)現(xiàn)一種基于NoData像素比例模型的黑斑剔除功能，通過(guò)輸入閾值篩除NoData占比過(guò)大的樣本。經(jīng)如上操作實(shí)現(xiàn)樣本數(shù)據(jù)集的提純，以期得到更好的訓(xùn)練效果。

1.2 深度學(xué)習(xí)訓(xùn)練與預(yù)測(cè)模塊

1.2.1 模型訓(xùn)練

面對(duì)海量多尺度樣本數(shù)據(jù)集，需要配套多種與之適配的深度卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，本模塊集成了多種常見(jiàn)分類模型，如ResNet、EfficientNet等，同時(shí)結(jié)合了多種已開(kāi)發(fā)改進(jìn)的深度學(xué)習(xí)訓(xùn)練框架，如ME-Net[11]、PRCUnet[12]、IB-CNN[13]等，系統(tǒng)將根據(jù)輸入樣本尺寸大小匹配合適的訓(xùn)練模型。

本模塊結(jié)合實(shí)際用戶需求，提出兩種訓(xùn)練方法：① 常規(guī)訓(xùn)練，根據(jù)輸入樣本和參數(shù)設(shè)置進(jìn)行模型訓(xùn)練，訓(xùn)練后生成模型文件和類別文件；② 遷移訓(xùn)練，考慮到部分用戶需要加載預(yù)權(quán)重，在常規(guī)訓(xùn)練的基礎(chǔ)上添加遷移學(xué)習(xí)功能——解封率，針對(duì)輸入的預(yù)訓(xùn)練模型進(jìn)行頂層解凍，默認(rèn)為10%，即解凍預(yù)訓(xùn)練模型頂層10%進(jìn)行權(quán)重更新，剩余90%不進(jìn)行訓(xùn)練。隨著解凍模型層數(shù)的增多，迭代次數(shù)增加，訓(xùn)練時(shí)間變緩，最終形成穩(wěn)定模型。此外常規(guī)訓(xùn)練包含兩種訓(xùn)練模式——正常訓(xùn)練和快速訓(xùn)練，兩者各自集成了不同的網(wǎng)絡(luò)模型。正常訓(xùn)練的精度高但耗時(shí)長(zhǎng)、占用資源多；快速訓(xùn)練在正常訓(xùn)練的基礎(chǔ)上對(duì)模型進(jìn)行優(yōu)化，讓模型更精煉、效率更高，但精度通常要低1%左右。

1.2.2 模型預(yù)測(cè)

模型預(yù)測(cè)即根據(jù)訓(xùn)練的模型文件、類別文件以及相應(yīng)的參數(shù)設(shè)置，對(duì)輸入影像進(jìn)行預(yù)測(cè)判別，并把預(yù)測(cè)結(jié)果存放到DBF表。系統(tǒng)會(huì)根據(jù)概率閾值，對(duì)輸入的預(yù)測(cè)圖像斑塊進(jìn)行判斷，即如果該斑塊被預(yù)測(cè)為某種地類的概率不小于閾值，將被寫入DBF表中，否則舍棄該斑塊。

預(yù)測(cè)后的DBF表結(jié)構(gòu)表1所示。其中“預(yù)測(cè)類別”為模型預(yù)測(cè)類別；“預(yù)測(cè)概率”為預(yù)測(cè)的可靠性評(píng)估；“標(biāo)注類別”為預(yù)測(cè)圖斑的原標(biāo)注類別，即在矢量圖斑中的標(biāo)注類別；“標(biāo)注序號(hào)”為該影像圖斑映射到矢量圖斑中的FID；“圖像名稱”為該圖像斑塊名稱，其中h、w為該圖像斑塊的像素坐標(biāo)，F(xiàn)為該圖像斑塊映射到矢量圖斑的FID，dataset為該圖像斑塊原始圖像的名稱。系統(tǒng)可根據(jù)上述信息定位到變化圖斑。

1.3 變化檢測(cè)后處理模塊

本模塊通過(guò)對(duì)預(yù)測(cè)結(jié)果后處理來(lái)定位變化矢量圖斑。由于一個(gè)矢量圖斑中可能存在多種地類，單一閾值分割方法難以準(zhǔn)確判定矢量圖斑是否發(fā)生變化。針對(duì)該問(wèn)題，本模塊基于數(shù)據(jù)集的分類情況，將各地類分為“敏感類”“易混類”和“非敏感類”，并限定各地類允許存在的最大圖斑比例，以此來(lái)制定判別規(guī)則，增加其科學(xué)性與合理性。

表1 預(yù)測(cè)結(jié)果表

本模塊面向用戶多樣的需求提出兩種后處理方法。第一種后處理方法通過(guò)多重閾值聯(lián)合決策和圖斑比例結(jié)合的方法來(lái)定位，生成以原始矢量為基礎(chǔ)單元的變化矢量圖斑；第二種后處理方法根據(jù)預(yù)測(cè)數(shù)據(jù)集的h、w等坐標(biāo)信息來(lái)定位，生成以預(yù)測(cè)數(shù)據(jù)集單個(gè)圖片為基礎(chǔ)單元的變化矢量圖斑。第二種后處理方法作為第一種方法的補(bǔ)充手段，可以更為直觀地對(duì)預(yù)測(cè)結(jié)果進(jìn)行觀察評(píng)估。

2 試驗(yàn)與分析

2.1 試驗(yàn)數(shù)據(jù)及運(yùn)行環(huán)境

試驗(yàn)數(shù)據(jù)，來(lái)自江蘇無(wú)錫洋溪河濕地兩期0.05 m分辨率的RGB無(wú)人機(jī)影像以及與一期影像對(duì)應(yīng)的矢量數(shù)據(jù)，采集時(shí)間分別為2019年和2020年6月份，試驗(yàn)數(shù)據(jù)集有多樣的地物類別，包括草地、道路、耕地、建筑、水體、林地，如圖2所示。

圖2 試驗(yàn)區(qū)域數(shù)據(jù)

試驗(yàn)軟硬件環(huán)境方面采用Windows10操作系統(tǒng)、使用的計(jì)算機(jī)配置為Inter(R) Xeon(R) Silver 4114 CPU(64 GB 內(nèi)存)、GTX 1080 TI GPU(48 GB 顯存)。

2.2 試驗(yàn)參數(shù)設(shè)置

為了盡可能確保分割單元中地物的完整性，本試驗(yàn)設(shè)置第二期影像切割的重疊率為50%，兩期影像自適應(yīng)裁剪尺寸均在100～300像素之間，得到一期原始樣本9 009張，二期原始樣本12 346張。在對(duì)樣本集進(jìn)行黑斑剔除操作時(shí)，NoData值最小閾值為30%，即黑斑占比小于30%的樣本會(huì)被舍棄，共計(jì)刪除118張含有黑斑的樣本。為減輕地類間數(shù)據(jù)不平衡導(dǎo)致訓(xùn)練出現(xiàn)過(guò)擬合的問(wèn)題，本試驗(yàn)在訓(xùn)練前按樣本數(shù)最多地類的數(shù)量對(duì)其他地類進(jìn)行硬拷貝。將一期影像70%的樣本中用來(lái)訓(xùn)練、30%的樣本用來(lái)驗(yàn)證，二期影像全部樣本用來(lái)預(yù)測(cè)，三個(gè)數(shù)據(jù)集數(shù)量分別為6 225張、2 666張和12 346張。訓(xùn)練批次設(shè)置為50批，取最優(yōu)訓(xùn)練結(jié)果作為最后權(quán)重。預(yù)測(cè)時(shí)設(shè)置概率閾值為95%，即預(yù)測(cè)地類與標(biāo)注地類不低于95%相似度時(shí)才寫入DBF表，共計(jì)10 768張二期預(yù)測(cè)數(shù)據(jù)寫入DBF表。

2.3 試驗(yàn)結(jié)果分析

部分試驗(yàn)結(jié)果如圖3所示。由于對(duì)二期影像進(jìn)行重疊切割，使用第二種后處理方法所產(chǎn)生的變化矢量圖斑會(huì)有部分重疊，因此僅作輔助手段不納入精度計(jì)算。通過(guò)目視解譯驗(yàn)證變化圖斑檢測(cè)的正確性，最終本系統(tǒng)在洋溪河濕地0.05 m空間分辨率的遙感影像上，變化檢測(cè)的精確率(Precision)、召回率(Recall)分別為82.4%、95.7%。試驗(yàn)證明，本系統(tǒng)各模塊流程暢通，滿足變化檢測(cè)過(guò)程中各項(xiàng)任務(wù)的業(yè)務(wù)需求，并在降低了使用門檻的同時(shí)能夠有效檢測(cè)出變化圖斑。

圖3 洋溪河濕地圖斑變化檢測(cè)結(jié)果

3 結(jié) 語(yǔ)

本文通過(guò)對(duì)無(wú)錫洋溪河濕地圖斑變化情況的試驗(yàn)分析，驗(yàn)證了系統(tǒng)進(jìn)行精細(xì)地物變化檢測(cè)的有效性和可行性。在試驗(yàn)過(guò)程中，系統(tǒng)的樣本自動(dòng)生成與優(yōu)化模塊大幅減輕了人工工作量，模型訓(xùn)練與預(yù)測(cè)模塊提升了地物分類精度，后處理模塊實(shí)現(xiàn)了變化圖斑的快速準(zhǔn)確定位，滿足了國(guó)土資源變化監(jiān)管的需求，為耕地“非糧化”“非農(nóng)化”以及違法用地的快速發(fā)現(xiàn)提供了有力的技術(shù)支持。但在試驗(yàn)過(guò)程中發(fā)現(xiàn)本系統(tǒng)對(duì)訓(xùn)練樣本集的要求較高，在樣本純化功能的輔助下仍需要人工進(jìn)行挑選；同時(shí)對(duì)于耕地、草地和林地等地貌特征相似的地類圖斑，系統(tǒng)容易混淆，造成預(yù)測(cè)精度下降。由此進(jìn)一步加強(qiáng)對(duì)樣本的提純優(yōu)化和高效管理，并提高深度學(xué)習(xí)模型的分類能力，是本系統(tǒng)下一階段的研究重點(diǎn)。