深度學(xué)習(xí)支持下的智能化信息提取技術(shù)在青海省自然資源變化監(jiān)測(cè)中的應(yīng)用

◆ 王 佳 劉錦秀 李曉民 馬世斌 彭 璽

（1.青海省青藏高原北部地質(zhì)過程與礦產(chǎn)資源重點(diǎn)實(shí)驗(yàn)室，青海西寧 810012；2.青海省地質(zhì)調(diào)查院，青海西寧 810012；3.青海省遙感大數(shù)據(jù)工程技術(shù)研究中心，青海西寧 810012）

遙感數(shù)據(jù)獲取能力的增強(qiáng)和成像方式的多樣化，造就了遙感數(shù)據(jù)的海量化和多元化，這些具有多源、多時(shí)相、多波段、多分辨率特征的海量遙感數(shù)據(jù)，給數(shù)據(jù)處理及應(yīng)用帶來了新挑戰(zhàn)，這也意味著遙感大數(shù)據(jù)時(shí)代已經(jīng)來臨。然而，現(xiàn)有的遙感海量數(shù)據(jù)處理技術(shù)和影像分析技術(shù)難以滿足當(dāng)前遙感大數(shù)據(jù)，如何高效地處理并利用已有的和即將采集的海量多源異構(gòu)遙感大數(shù)據(jù)，將遙感大數(shù)據(jù)轉(zhuǎn)化成知識(shí)，是主要的理論挑戰(zhàn)和技術(shù)瓶頸。智能信息提取是遙感大數(shù)據(jù)方法的明顯特征和必然要求，基于對(duì)地球觀測(cè)信息的理解和應(yīng)用需求，研究融合遙感數(shù)據(jù)特征與深度學(xué)習(xí)等智能信息提取的算法，構(gòu)建適用于遙感大數(shù)據(jù)的模型、方法與系統(tǒng)工具，是解決遙感大數(shù)據(jù)時(shí)代信息提取與知識(shí)挖掘的必由之路?；谏疃葘W(xué)習(xí)的目標(biāo)識(shí)別算法，通過模仿人腦神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)對(duì)大數(shù)據(jù)進(jìn)行學(xué)習(xí)、分析和解釋，已成功應(yīng)用于地下目標(biāo)識(shí)別和遙感地物目標(biāo)識(shí)別等領(lǐng)域，可以獲得高效的時(shí)空決策支持信息，能夠動(dòng)態(tài)感知和理解地球復(fù)雜系統(tǒng)之間的相互作用。

2020年1月至2021年10月底，自然資源衛(wèi)星遙感云服務(wù)平臺(tái)推送的青海省衛(wèi)星數(shù)據(jù)達(dá)583批，共35483景，數(shù)量約42393.6GB。包括空間分辨率為2米級(jí)的 GF1、GF1B、GF1C、GF1D、GF6、ZY3-02、ZY3-03、ZY1-02D等衛(wèi)星數(shù)據(jù)，以及空間分辨率為亞米級(jí)GF2、GF7等衛(wèi)星數(shù)據(jù)。從以往實(shí)現(xiàn)技術(shù)上來看，遙感影像數(shù)據(jù)變化信息的提取大致可分為兩類：一是，直接比較分析前后兩期遙感影像，進(jìn)行人工解譯變化圖斑；二是，首先對(duì)影像進(jìn)行多尺度分割，在此基礎(chǔ)上，進(jìn)行監(jiān)督或非監(jiān)督分類，最后通過比對(duì)分析分類矢量結(jié)果，實(shí)現(xiàn)變化監(jiān)測(cè)。無論上述哪種方法，對(duì)影像圖數(shù)據(jù)質(zhì)量要求都很高，對(duì)人工的依賴性較大，提取速度較慢，難以實(shí)現(xiàn)大范圍變化監(jiān)測(cè)。尤其是青海省地域廣闊、地勢(shì)復(fù)雜，按照上述兩種方法實(shí)現(xiàn)實(shí)時(shí)變化監(jiān)測(cè)，更是工作量大、效率低，不能達(dá)到實(shí)時(shí)監(jiān)測(cè)的要求。而通過對(duì)基于深度學(xué)習(xí)的遙感智能化信息提取技術(shù)的應(yīng)用，一方面，能夠充分利用遙感影像覆蓋范圍廣這一優(yōu)勢(shì)，對(duì)青海短時(shí)間內(nèi)進(jìn)行大面積信息提取，保障監(jiān)測(cè)范圍的同時(shí)，減少了人工工作量；另一方面，智能信息提取技術(shù)及時(shí)、高效、精準(zhǔn)的發(fā)現(xiàn)定位目標(biāo)，為后續(xù)的人機(jī)交互判讀提供了有效位置提示服務(wù)，提高了判讀效率，減少了變化圖斑遺漏。

本文采用2米級(jí)國產(chǎn)陸地衛(wèi)星（GF1、GF1B、GF1C、GF1D、GF6、ZY3等）數(shù)據(jù)，在構(gòu)建青海省自然資源變化遙感監(jiān)測(cè)體系的基礎(chǔ)上，利用基于深度學(xué)習(xí)方法的遙感智能信息提取技術(shù)，在青海省域開展自然資源變化遙感智能信息提取的同時(shí)，對(duì)遙感智能信息提取技術(shù)進(jìn)行了研究，整合搭建了“自然資源遙感智能解譯系統(tǒng)V1.0”，現(xiàn)已具備單期建設(shè)用地、水體、光伏用地、湖泊等業(yè)務(wù)化專業(yè)模型和兩期變化監(jiān)測(cè)業(yè)務(wù)化專業(yè)模型，可實(shí)現(xiàn)對(duì)遙感影像的自動(dòng)化、批量化智能信息提取。

1 總體技術(shù)路線

根據(jù)上述遙感監(jiān)測(cè)工作中所用數(shù)據(jù)的特點(diǎn)，以及深度學(xué)習(xí)算法的關(guān)鍵步驟，本文對(duì)青海地區(qū)智能化信息提取技術(shù)進(jìn)行研究。如圖1為總體技術(shù)路線。

圖1 總技術(shù)路線圖

2 基于深度學(xué)習(xí)的智能化信息提取

2.1 數(shù)據(jù)獲取及處理

遙感大數(shù)據(jù)時(shí)代的信息提取是以數(shù)據(jù)驅(qū)動(dòng)下的信息分析模型為主要特征，因此，影像的獲取及處理，對(duì)智能信息提取至關(guān)重要，本文依托自然資源青海衛(wèi)星應(yīng)用技術(shù)中心已建設(shè)完成的“自然資源綜合數(shù)據(jù)管理系統(tǒng)V1.0”來獲取多源遙感數(shù)據(jù)，充分利用青海省已有衛(wèi)星數(shù)據(jù)優(yōu)勢(shì)，采用2米級(jí)國產(chǎn)陸地衛(wèi)星GF1、GF1B、GF1C、GF1D、GF6、ZY3等高分辨率衛(wèi)星數(shù)據(jù)對(duì)智能化信息提取技術(shù)進(jìn)行研究，最大程度減小了數(shù)據(jù)對(duì)智能化信息提取的干擾。

上述多源遙感衛(wèi)星數(shù)據(jù)，包含多光譜數(shù)據(jù)和全色波段數(shù)據(jù)，數(shù)據(jù)處理主要包括數(shù)據(jù)預(yù)處理、正射糾正、影像融合、波段計(jì)算、勻光勻色、影像分幅生產(chǎn)等方面。憑借自然資源青海衛(wèi)星應(yīng)用技術(shù)中心建設(shè)完成的“自然資源衛(wèi)星影像自動(dòng)化集群處理系統(tǒng)V1.0”對(duì)所需影像進(jìn)行批量化處理，該系統(tǒng)集成圖像處理的各個(gè)步驟，能夠流程化、大批量生產(chǎn)遙感正射融合影像，為智能化提取所需的大量遙感數(shù)據(jù)，提供了高效數(shù)據(jù)生產(chǎn)平臺(tái)。

2.2 深度學(xué)習(xí)模型

深度學(xué)習(xí)模型由于其在多種尺度上都能較好地表達(dá)和識(shí)別地表地物大部分特征的優(yōu)勢(shì)，已成為圖像分類領(lǐng)域研究的主流工具。其中，最具代表性的是卷積神經(jīng)網(wǎng)絡(luò)模型在自然圖像解譯領(lǐng)域取得了巨大的成功。隨著該技術(shù)的逐漸發(fā)展，將其應(yīng)用于高分辨率遙感影像地物提取的研究逐漸升溫，分類模型主要以卷積神經(jīng)網(wǎng)絡(luò)和全卷積神經(jīng)網(wǎng)絡(luò)為代表。眾多已有研究已證實(shí)在高分辨率遙感影像地物提取領(lǐng)域，深度卷積神經(jīng)網(wǎng)絡(luò)的提取效果良好，并進(jìn)一步證明該方法與傳統(tǒng)的方法相比具有更好的適應(yīng)性和準(zhǔn)確性。這類算法的核心是將整景影像劃分為只包含單個(gè)地物的若干影像樣本后，利用卷積算法對(duì)樣本進(jìn)行訓(xùn)練，最終用訓(xùn)練結(jié)果識(shí)別影像中的地物。本文選取模型的構(gòu)建過程基本步驟主要包含影像數(shù)據(jù)預(yù)處理，影像分割制作訓(xùn)練樣本集、圖斑提取模型迭代學(xué)習(xí)及模型參數(shù)修改完善得到相對(duì)滿意的結(jié)果，提升遙感分類的準(zhǔn)確性（圖2）。

圖2 卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)圖

（1）單期單要素監(jiān)測(cè)提取

深度網(wǎng)絡(luò)模型的建立，是智能化提取的前提和基礎(chǔ)。將已有的要素提取結(jié)果，作為深度學(xué)習(xí)的對(duì)象，對(duì)學(xué)習(xí)結(jié)果歸類劃分得到特征信息，這些信息歸入圖斑數(shù)據(jù)庫（樣本庫），大量樣本訓(xùn)練便得到了提取業(yè)務(wù)的網(wǎng)絡(luò)模型，再將特定規(guī)格的高分辨率正射融合影像數(shù)據(jù)作為輸入遙感監(jiān)測(cè)生產(chǎn)系統(tǒng)，計(jì)算機(jī)利用已建好的網(wǎng)絡(luò)模型將疑似要素信息進(jìn)行標(biāo)注，通過與數(shù)據(jù)庫圖斑進(jìn)行對(duì)比，提取所需要素圖斑。

單要素監(jiān)測(cè)提取業(yè)務(wù)，主要包括光伏、建設(shè)用地、道路、水體、湖泊等提取。輸入單期正射融合影像數(shù)據(jù)，進(jìn)行單期單要素監(jiān)測(cè)提取，最終得到單要素提取結(jié)果，如圖3所示。

圖3 單期單要素監(jiān)測(cè)提取

（2）兩期變化監(jiān)測(cè)提取

兩期變化監(jiān)測(cè)提取業(yè)務(wù)，主要指新增建設(shè)用地提取，其中又細(xì)分為“新增線性地物”“新增建（構(gòu)）筑物”“新增推填土”等。提取過程與單期單要素監(jiān)測(cè)提取基本相同，不同之處在于，輸入對(duì)象為前后兩期影像，除了需要提取后期影像的信息之外，還要與前期影像進(jìn)行比對(duì)，得到兩期變化信息，再經(jīng)過人工判讀修邊，最終得到變化圖斑（圖4）。

圖4 兩期影像變化監(jiān)測(cè)提取

2.3 樣本采集及模型升級(jí)

基于深度學(xué)習(xí)的智能提取技術(shù)想要獲得較為理想的提取結(jié)果，離不開海量樣本數(shù)據(jù)的支持，訓(xùn)練樣本選取的多少和優(yōu)劣，很大程度上影響著深度學(xué)習(xí)網(wǎng)絡(luò)的建立以及智能化信息提取的最終效果。訓(xùn)練樣本數(shù)據(jù)越豐富，特征識(shí)別就越準(zhǔn)確，模型的泛化能力越強(qiáng)，最終提取效果就越具代表性和全面性。因此，在不改變圖像類別的基礎(chǔ)上進(jìn)行樣本數(shù)據(jù)的增廣以此來提高模型的泛化能力，進(jìn)而提升深度學(xué)習(xí)影像信息提取精度，無疑是智能化提取技術(shù)中一個(gè)較為關(guān)鍵的環(huán)節(jié)。

訓(xùn)練樣本可以在待檢測(cè)圖像集中人工勾選，也可以利用歷史影像。本文結(jié)合2020年在十八批次自然資源自動(dòng)變化圖斑生產(chǎn)工作，將生產(chǎn)過程中提取得到的圖斑作為樣本，通過反復(fù)迭代訓(xùn)練，更新模型，提高智能變化提取系統(tǒng)的提取精度（如圖5）。

圖5 樣本采集及模型升級(jí)流程圖

前1-8批次由模型1.0生產(chǎn)提取，自動(dòng)提取圖斑提取總數(shù)6462個(gè)，人工交互圖斑提取總數(shù)2835個(gè)，查全圖斑840個(gè),完整率32.23%，正檢圖斑1127個(gè)，正檢率25.86%。針對(duì)模型1.0提取效果較差的新增推填土、道路等圖斑類型，從自然資源部下發(fā)成果和作業(yè)圖斑中優(yōu)選高質(zhì)量圖斑制作樣本，變化圖斑累積擴(kuò)展正樣本下發(fā)圖斑樣本9792組，作業(yè)圖斑樣本673組，同時(shí)針對(duì)典型的云、影像亮度差異等產(chǎn)生的誤提取，制作負(fù)樣本3501組，進(jìn)行了模型的升級(jí)，如圖6為新增推填土、新增建（構(gòu)）筑物等變化圖斑提取的樣本示例，一個(gè)完整的變化發(fā)現(xiàn)樣本包括前期樣本影像a、后期樣本影像b以及一個(gè)標(biāo)簽圖像c，標(biāo)簽圖像為一個(gè)二值圖像，圖中的白色代表變化內(nèi)容，黑色區(qū)域則表示未變化部分。

圖6 變化發(fā)現(xiàn)樣本示意圖

目前新模型正樣本25034組，負(fù)樣本3501組，模型結(jié)構(gòu)由原先的疊加模式升級(jí)為特征高度耦合模式，網(wǎng)絡(luò)由原先的MobileNetV2升級(jí)為EfficientNet，正檢圖斑量增加，召回率提升；典型誤檢圖斑減少。后續(xù)利用升級(jí)的模型2.0進(jìn)行9-18批次生產(chǎn)提取任務(wù)，自動(dòng)提取圖斑提取總數(shù)5096個(gè)，人工交互圖斑提取總數(shù)1510個(gè)，查全圖斑1220個(gè)，完整率80.79%，正檢圖斑1557個(gè)，正檢率30.55%（表1、圖7）。

表1 模型升級(jí)信息對(duì)比表

圖7 模型升級(jí)提取效果對(duì)比圖

2.4 青海省自然資源遙感智能解譯系統(tǒng)集成

經(jīng)過對(duì)深度學(xué)習(xí)支持下的智能化信息提取技術(shù)的研究，將前文所述的技術(shù)方法，經(jīng)過整合集成，搭建完成了“自然資源遙感智能解譯系統(tǒng)V1.0”。該系統(tǒng)整合了計(jì)算資源、技術(shù)資源和應(yīng)用資源，現(xiàn)已實(shí)現(xiàn)流程化業(yè)務(wù)應(yīng)用，能夠進(jìn)行建設(shè)用地提取、水體提取、光伏用地提取、道路提取、兩期變化監(jiān)測(cè)提取等任務(wù)，滿足自然資源要素提取的快速、準(zhǔn)確需要。

3 智能化提取在青海省自然資源變化監(jiān)測(cè)中的應(yīng)用

3.1 自然資源變化圖斑提取

為積極響應(yīng)自然資源管理“數(shù)量”管控業(yè)務(wù)需求，有效遏制土地礦產(chǎn)違法行為，提高執(zhí)法監(jiān)察效能，自2019年至今，將研究和應(yīng)用相結(jié)合，基于深度學(xué)習(xí)方法進(jìn)行了遙感智能化信息提取技術(shù)的研究和變化圖斑提取工作，利用“青海省自然資源遙感智能解譯系統(tǒng)”進(jìn)行了2020年度和2021年度青海省內(nèi)變化圖斑監(jiān)測(cè)提取，為青海省自然資源廳相關(guān)單位執(zhí)法工作提供了參考變化圖斑支持，為實(shí)現(xiàn)自然資源監(jiān)測(cè)的常態(tài)化和精細(xì)化管理提供基礎(chǔ)服務(wù)。

2020年4～9月，以2019年第四季度影像為前期影像，2020年最新接收影像為后期影像，共向廳相關(guān)單位提交青海省自然資源變化圖斑18批（次），累計(jì)生產(chǎn)107縣·次，通過偽圖斑剔除和后續(xù)人工修正等工作，最終提交3867個(gè)有效圖斑,覆蓋青海省所有區(qū)縣，其中西寧全市、海東全市、海南全州、同仁縣、尖扎縣、格爾木市、德令哈市等26個(gè)區(qū)縣實(shí)現(xiàn)了3次以上監(jiān)測(cè)。根據(jù)影像接收情況，逐步形成了月度監(jiān)測(cè)按周生產(chǎn)的監(jiān)測(cè)模式，為構(gòu)建省級(jí)衛(wèi)片動(dòng)態(tài)監(jiān)測(cè)提供了有力數(shù)據(jù)支撐。

2021年5月至7月，以2020年第四季度影像為前期影像，使用2021年最新遙感影像為后期影像，在青海省重點(diǎn)監(jiān)測(cè)區(qū)域與非重點(diǎn)監(jiān)測(cè)區(qū)域開展提取工作，偽圖斑剔除和人工修邊后，提取變化圖斑1412處。按周監(jiān)測(cè)，力求新增變化圖斑的早發(fā)現(xiàn)、精準(zhǔn)性和全面性、系統(tǒng)性，服務(wù)于青海省2021年衛(wèi)片執(zhí)法動(dòng)態(tài)監(jiān)測(cè)工作。

3.2 農(nóng)村亂占耕地建房疑似違法圖斑提取

2020年10～11月，開展青海省重點(diǎn)縣（區(qū)）農(nóng)村亂占耕地建房疑似違法圖斑提取工作，提取大通回族土族自治縣、湟中區(qū)、互助縣、民和回族土族自治縣、循化縣、樂都區(qū)等6個(gè)區(qū)縣疑似違法圖斑共計(jì)1908個(gè)。影像空間分辨率主體以優(yōu)于1m為主（GF-2、GF-7），局部地區(qū)為2m分辨率衛(wèi)星影像（GF1B/C/D、GF6、ZY1E），及時(shí)服務(wù)于青海省自然資源廳相關(guān)部門（圖8）。

圖8 新增建筑物圖斑對(duì)應(yīng)圖

以樂都區(qū)提取圖斑為例，在提取的圖斑中，經(jīng)過相關(guān)單位的核查反饋，提取結(jié)果能夠與實(shí)地核查結(jié)果相對(duì)應(yīng)，自動(dòng)變化提取結(jié)果，較好的提示了實(shí)地變化位置。

4 結(jié)論

本文基于深度學(xué)習(xí)，對(duì)智能化信息提取技術(shù)進(jìn)行研究，并在此基礎(chǔ)上，完成了“自然資源遙感智能解譯系統(tǒng)”的整合搭建。研究結(jié)果表明：

（1）基于深度學(xué)習(xí)的自動(dòng)提取模型在前期進(jìn)行了大量的樣本訓(xùn)練，相比傳統(tǒng)的兩期變化檢測(cè)方法，采用深度學(xué)習(xí)技術(shù)對(duì)兩期影像展開新增建筑變化監(jiān)測(cè)，對(duì)不同衛(wèi)星、不同傳感器遙感影像有著更強(qiáng)的普適性，監(jiān)測(cè)成果精度高，能夠大大減小人工作業(yè)，提高監(jiān)測(cè)效率。

（2）耕地圖斑精度較高，錯(cuò)提漏提現(xiàn)象數(shù)量少，且提取的耕地圖斑與實(shí)際耕地邊界貼合度高，這足以證明深度學(xué)習(xí)下的智能化信息提取是變化圖斑提取的有效手段。

（3）青海地區(qū)由于海拔較高，影像積雪和多云區(qū)域較多，導(dǎo)致提取結(jié)果存在少部分偽圖斑，后續(xù)工作中，應(yīng)嘗試制作和訓(xùn)練云雪地區(qū)的負(fù)樣本，提高此類地區(qū)的提取精度。