遙感影像智能解譯樣本庫現(xiàn)狀與研究

龔健雅，許 越，胡翔云，姜良存，張 覓

武漢大學(xué)遙感信息工程學(xué)院，湖北 武漢 430079

近年來，隨著對(duì)地觀測技術(shù)的發(fā)展，遙感影像數(shù)據(jù)以幾何級(jí)數(shù)的速度快速增長[1-2]。這些時(shí)效性強(qiáng)、覆蓋范圍廣、多類型、多分辨率的海量遙感數(shù)據(jù)被用于地表信息提取、資源與生態(tài)環(huán)境變化監(jiān)測等諸多領(lǐng)域，發(fā)揮了巨大作用。但是，遙感影像數(shù)據(jù)量的快速增長和數(shù)據(jù)類型的不斷豐富，也對(duì)數(shù)據(jù)快速精準(zhǔn)解譯方法與技術(shù)提出了更高要求，原始拍攝數(shù)據(jù)大量堆積與可用信息提取不足的矛盾日益突出[3-5]。當(dāng)前，我國正在著力構(gòu)建國內(nèi)國際雙循環(huán)相互促進(jìn)的新發(fā)展格局，無論是國內(nèi)社會(huì)經(jīng)濟(jì)發(fā)展建設(shè)、資源環(huán)境動(dòng)態(tài)監(jiān)測評(píng)估，還是支持全球可持續(xù)發(fā)展、構(gòu)建人類命運(yùn)共同體，均需區(qū)域/全球大范圍地理空間信息的支持，進(jìn)而對(duì)多源遙感信息快速解譯能力提出了更為迫切的需求。

得益于大數(shù)據(jù)、云計(jì)算、人工智能等技術(shù)的不斷進(jìn)步，深度學(xué)習(xí)技術(shù)在圖像識(shí)別方面取得重大進(jìn)展[6]。2015年微軟研究團(tuán)隊(duì)宣布機(jī)器學(xué)習(xí)系統(tǒng)在ImageNet 2012分類數(shù)據(jù)集中的圖像識(shí)別錯(cuò)誤率已經(jīng)降低到4.94%，低于人眼辨識(shí)的錯(cuò)誤率5.1%[7]。自此之后，面向普通圖像處理的深度神經(jīng)網(wǎng)絡(luò)框架和模型迅猛發(fā)展，其支持的圖像識(shí)別技術(shù)在公共安全、生物、工業(yè)、農(nóng)業(yè)、交通、醫(yī)療等領(lǐng)域得到廣泛應(yīng)用，其中不少已經(jīng)融入百姓日常生活，例如人臉識(shí)別、車牌識(shí)別、指紋識(shí)別、食品品質(zhì)檢測、醫(yī)學(xué)心電圖識(shí)別等。隨著高性能計(jì)算等技術(shù)的不斷發(fā)展，圖像識(shí)別能力不斷提升，應(yīng)用前景不可限量。

在遙感領(lǐng)域，近年也利用深度學(xué)習(xí)技術(shù)支持場景理解、地物目標(biāo)檢測與土地覆蓋分類等任務(wù)。人們通過構(gòu)建大量樣本數(shù)據(jù)訓(xùn)練深度學(xué)習(xí)網(wǎng)絡(luò)，顯著提高了遙感影像特征提取成效[8-10]。但整體上，智能遙感解譯系統(tǒng)的實(shí)用化、商業(yè)化程度仍未達(dá)到人臉、指紋識(shí)別等普通圖像解譯的水平。遙感影像解譯涉及場景識(shí)別、目標(biāo)檢測、地物分類、變化檢測、三維重建等不同層次的任務(wù)，區(qū)域/全球大范圍地物信息的提取需要依賴多源(多類型傳感器、多時(shí)相、多尺度)遙感數(shù)據(jù)，但目前已經(jīng)建立的樣本庫尚難以支持多源異構(gòu)遙感影像的處理[3]，主要問題表現(xiàn)在5個(gè)方面：①各類樣本庫采用不同的分類體系，導(dǎo)致所訓(xùn)練出來的深度學(xué)習(xí)模型難以共享樣本集，處理樣本庫覆蓋范圍外的數(shù)據(jù)時(shí)出現(xiàn)分類偏差；②預(yù)設(shè)的樣本種類難以完全覆蓋區(qū)域/全球地表環(huán)境的多樣性，遇到新類別(開集問題)時(shí)，模型的解譯體系不能靈活擴(kuò)展，導(dǎo)致出現(xiàn)誤判[11]；③樣本的空間分布對(duì)不同區(qū)域地理環(huán)境特點(diǎn)體現(xiàn)不足，導(dǎo)致模型對(duì)局部地區(qū)特征過度擬合，進(jìn)而降低深度學(xué)習(xí)模型大范圍應(yīng)用時(shí)泛化能力[6,12]；④現(xiàn)有樣本庫大多模仿ImageNet模式構(gòu)造，對(duì)遙感影像的多尺度、多傳感器、多時(shí)相特性體現(xiàn)不足，且大多不具備地理位置屬性和時(shí)間屬性，削弱了模型的穩(wěn)健性；⑤現(xiàn)有樣本大多是分別面向場景、目標(biāo)、像素構(gòu)建的，未見集成場景-目標(biāo)-像素的綜合樣本集。

海量且多類型的遙感影像樣本庫是實(shí)現(xiàn)大范圍異構(gòu)遙感影像高精度智能解譯的基礎(chǔ)。樣本庫應(yīng)遵循統(tǒng)一分類體系，涵蓋空間分布合理的多尺度、多傳感器、多時(shí)相遙感影像，應(yīng)具備樣本類型與類別動(dòng)態(tài)擴(kuò)展及樣本自動(dòng)精化的能力，還應(yīng)滿足場景、目標(biāo)、像素等不同層級(jí)的精準(zhǔn)解譯要求。本文面向多源異構(gòu)遙感影像地物信息智能解譯需求，在分析現(xiàn)有樣本集現(xiàn)狀及問題的基礎(chǔ)上，研究提出遙感影像智能解譯樣本庫建設(shè)方案(如圖1所示)。整體技術(shù)流程包括標(biāo)準(zhǔn)制定、方法設(shè)計(jì)、工程實(shí)施、應(yīng)用支持等幾個(gè)主要環(huán)節(jié)，其中方法設(shè)計(jì)環(huán)節(jié)主要包括樣本概念模型設(shè)計(jì)、樣本分類模型設(shè)計(jì)、樣本組織模型設(shè)計(jì)和樣本采集方法設(shè)計(jì)；工程實(shí)施環(huán)節(jié)主要包括樣本庫構(gòu)建、樣本協(xié)同采集與共享服務(wù)平臺(tái)開發(fā)。樣本分類與編碼標(biāo)準(zhǔn)是在樣本概念與分類模型基礎(chǔ)上形成的，用于指導(dǎo)樣本采集、管理、共享、應(yīng)用全流程。本文提出的方法將為多源遙感影像樣本庫建設(shè)提供參考，為大范圍遙感影像智能解譯提供支持。

圖1 遙感影像樣本庫設(shè)計(jì)與建設(shè)技術(shù)流程

1 遙感深度學(xué)習(xí)樣本集建設(shè)現(xiàn)狀

遙感影像解譯包括場景識(shí)別、目標(biāo)檢測、地物分類、變化檢測、三維重建等不同層次的任務(wù)，每種任務(wù)都可基于多種影像資源(多類型傳感器、多時(shí)相、多尺度)來實(shí)現(xiàn)，面向智能解譯的樣本庫必須充分體現(xiàn)這種多源特性，才能保證解譯精度。當(dāng)前已有不少遙感解譯樣本數(shù)據(jù)集，總體來看，這些樣本集存在分類體系不統(tǒng)一、解譯樣本量小、多樣性不足、樣本影像來源單一、樣本尺寸固定等問題，已經(jīng)嚴(yán)重影響大范圍多源異構(gòu)遙感影像解譯效率與質(zhì)量。

1.1 常用公開遙感解譯樣本數(shù)據(jù)集

目前，遙感解譯樣本數(shù)據(jù)均是針對(duì)不同的解譯任務(wù)而構(gòu)建的，主要包括場景分類樣本、地物目標(biāo)檢測樣本、地物要素分類樣本、變化檢測樣本等幾類。表1為當(dāng)前常用公開場景分類、目標(biāo)檢測、地物要素分類、變化檢測樣本數(shù)據(jù)集的內(nèi)容與主要指標(biāo)。

表1 部分常用公開樣本集

由表1可知，這些大多是場景分類與目標(biāo)提取樣本，地物目標(biāo)檢測(像素分割)和變化檢測的樣本量很少，難以支持多層級(jí)信息解譯。其中，場景分類樣本的數(shù)量最多，在遙感解譯中常用作后續(xù)目標(biāo)檢測地物分類任務(wù)解譯模型的初始化與訓(xùn)練數(shù)據(jù)。但場景樣本大多為RGB影像，難以支持含有更多光譜信息的遙感模型訓(xùn)練。且場景樣本尺寸大多較小，致使解譯模型突出地物的局部特征而難以提取大范圍場景特征。目標(biāo)識(shí)別樣本的標(biāo)注方式依賴于不同數(shù)據(jù)集面向的目標(biāo)類別，存在標(biāo)注方式不統(tǒng)一、類別不統(tǒng)一的現(xiàn)象，在共享應(yīng)用時(shí)，必須進(jìn)行類別綜合才能實(shí)現(xiàn)跨數(shù)據(jù)集使用。地物要素分類樣本由于標(biāo)注成本高且分類體系不統(tǒng)一，現(xiàn)存樣本數(shù)量較少，缺少多光譜、高光譜、紅外、SAR、激光雷達(dá)、多視角等多類型傳感器樣本，難以支持大范圍多源影像解譯。變化檢測的樣本數(shù)量是最少的，且大多僅針對(duì)某一種地物的變化進(jìn)行標(biāo)注，沒有考慮實(shí)際情況中多種地物組合變化情況，也無法支持業(yè)務(wù)化應(yīng)用。此外，這些樣本集中樣本的大小較為固定，基于有限大小的樣本塊進(jìn)行深度學(xué)習(xí)模型訓(xùn)練，將對(duì)解譯模型的感受視野造成限制[13]，不利于大范圍遙感影像信息提取。

為滿足對(duì)于大規(guī)模樣本庫的多種需求情況，應(yīng)設(shè)計(jì)以上各類任務(wù)為驅(qū)動(dòng)的遙感影像解譯樣本數(shù)據(jù)模型，既滿足各任務(wù)單獨(dú)使用需求，又使得不同任務(wù)或不同傳感器間數(shù)據(jù)可以高效組織索引。

1.2 樣本分類

現(xiàn)有遙感影像智能解譯樣本集大多針對(duì)具體應(yīng)用場景和解譯對(duì)象來建設(shè)，不同樣本集采用了不同的分類體系。

地表覆蓋分類采用最多的是聯(lián)合國糧農(nóng)組織(Food and Agriculture Organization of the United Nations,FAO)提出的《地表覆蓋分類體系(Land Cover Classification System,LCCS)》，它基于地表覆蓋屬性組合進(jìn)行類別定義，具有較好的靈活性和可擴(kuò)展性。美國地質(zhì)調(diào)查局(USGS)的《遙感數(shù)據(jù)土地利用與土地覆蓋分類體系》[14]、我國的《地理國情監(jiān)測內(nèi)容與指標(biāo)》(CH/T 9029—2019)[15]、《中國全球測圖地表覆蓋產(chǎn)品分類(30 m、10 m)》[16]等均參考了LCCS分類。國際標(biāo)準(zhǔn)化組織基于FAO的LCCS頒布了兩個(gè)國際標(biāo)準(zhǔn)《Geographic Information-Classification Systems-Part 1: Classification System Structure》(ISO 19144—1)和《Geographic Information-Classification Systems-Part 2:Land Cover Meta Language,(LCML)》(ISO 19144—2)[17-18]，我國以等同采標(biāo)的方式將ISO 19144—1翻譯為國家標(biāo)準(zhǔn)《地理信息分類系統(tǒng)》(GB/T 30322)[19]。有些數(shù)據(jù)集的分類還參考了《土地利用現(xiàn)狀分類》(GB/T 21010—2017)[10]、《地理信息興趣點(diǎn)分類與編碼》(GB/T 35648—2017)等國家標(biāo)準(zhǔn)。

由于這些樣本集在樣本類別定義(命名、語義)、層級(jí)及兼容性等方面有較大差異，開放性與可擴(kuò)展性不足，難以支持樣本集的共享與綜合利用。

1.3 樣本采集方法

常用的樣本標(biāo)注工具主要有LabelMe[20-21]、LabelImg[22]等，它們可用于小尺寸的全色、RGB影像的目標(biāo)檢測或場景分類樣本的標(biāo)注，在處理大尺寸遙感影像時(shí)需先切割成小尺寸，且不支持變化檢測、像素分割等樣本的標(biāo)注，以及多光譜、多視角等樣本的制作。一些地理信息軟件(如ArcGIS和QGIS)支持多光譜影像標(biāo)注，但導(dǎo)出的標(biāo)簽一般是矢量，需要先轉(zhuǎn)換格式才能輸入深度學(xué)習(xí)模型。像素級(jí)影像分割樣本標(biāo)注一般利用專業(yè)軟件(如ENVI、ERDAS)以人工標(biāo)注或半自動(dòng)標(biāo)注方式完成，其中，人工標(biāo)注包括專業(yè)人員和眾包標(biāo)注兩種方式，前者質(zhì)量高但效率低，后者效率高但質(zhì)量參差不齊。ImageNet等是利用眾包完成標(biāo)注后再經(jīng)專業(yè)人員審核。

某一類別地物實(shí)體在不同地理環(huán)境中的空間分布是不均勻的，例如東南亞水系豐富，而中亞草原荒漠較多。采樣時(shí)必須考慮地理環(huán)境對(duì)要素分類空間分布的影響，使每個(gè)地理空間區(qū)域都有足夠的樣本類別與樣本數(shù)量[23-24]，才能保證解譯的精度?，F(xiàn)有樣本集(特別是地物分類樣本)大多基于局部區(qū)域的少量影像構(gòu)建[8-10]，樣本類型與數(shù)量的空間分布不合理，導(dǎo)致機(jī)器學(xué)習(xí)模型錯(cuò)誤分類[25]。

總體來看，亟須研究顧及地貌景觀類別的樣本分布策略，并研發(fā)專用遙感影像樣本采集工具，以提升采集質(zhì)量與效率。

1.4 樣本數(shù)據(jù)管理與共享服務(wù)

目前，多數(shù)遙感影像樣本集由遙感社區(qū)的研究人員或?qū)W術(shù)組織制作，通常以數(shù)據(jù)文件方式存儲(chǔ)在局域網(wǎng)服務(wù)器、公共資源(如GitHub等)和云存儲(chǔ)平臺(tái)(如百度云、Google Drive等)，提供鏈接供獲得授權(quán)者下載使用[26-27]。集成使用多個(gè)樣本集的使用者需要從不同鏈接分別獲取，且由于這些數(shù)據(jù)集的分類與定義不一致而不得不進(jìn)行大量的整合處理工作，這種情況不但影響效率，也在一定程度上降低了所訓(xùn)練模型的泛化能力。例如，雖然多個(gè)目標(biāo)檢測樣本集均有“飛機(jī)”樣本，但其成像質(zhì)量、采樣季節(jié)和采樣區(qū)域均有差異，用這些樣本訓(xùn)練出來的模型解譯效果會(huì)受影響。

為此，亟須建立遙感解譯樣本服務(wù)平臺(tái)，實(shí)現(xiàn)對(duì)多類型傳感器、多時(shí)相、多尺度遙感樣本數(shù)據(jù)的集成管理、動(dòng)態(tài)維護(hù)和在線服務(wù)，以解決全球/區(qū)域大范圍樣本數(shù)據(jù)融合與共享問題。

2 任務(wù)驅(qū)動(dòng)的遙感影像智能解譯樣本庫設(shè)計(jì)

由前述分析可知，建設(shè)可支持大范圍多源異構(gòu)遙感影像智能解譯的樣本庫需要突破的關(guān)鍵技術(shù)包括：①“任務(wù)驅(qū)動(dòng)”的遙感影像解譯樣本模型；②統(tǒng)一可擴(kuò)展的遙感解譯樣本分類體系；③支持全局關(guān)聯(lián)的數(shù)據(jù)組織索引方法。其中，樣本模型應(yīng)涵蓋多傳感器類型、多時(shí)相、多尺度遙感影像，分類體系應(yīng)支持樣本類型與類別動(dòng)態(tài)擴(kuò)展，數(shù)據(jù)組織與索引應(yīng)滿足跨區(qū)域跨類別快速調(diào)用索引需求。

2.1 面向任務(wù)的樣本模型

本文針對(duì)場景分類、目標(biāo)檢測、地物分類、變化檢測、三維重建等解譯任務(wù)，定義了相應(yīng)的樣本類型，包括：

(1)場景分類樣本。場景識(shí)別對(duì)應(yīng)于計(jì)算機(jī)視覺中的圖像分類任務(wù)，其目的是自動(dòng)給航空或航天遙感影像貼上特定語義類別標(biāo)簽，支持場景與目標(biāo)(如機(jī)場、碼頭、立交橋等)的快速檢索。場景識(shí)別是高分辨率遙感影像理解的基本步驟，近年已成為遙感領(lǐng)域的熱點(diǎn)研究主題。場景數(shù)據(jù)主要包括局部或區(qū)域性場景影像，以及對(duì)應(yīng)的分類文本標(biāo)簽。

(2)目標(biāo)檢測樣本。目標(biāo)檢測是在影像中定位一個(gè)或多個(gè)感興趣的特定地物(如建筑物、車輛、飛機(jī)等)，并識(shí)別預(yù)測地物相應(yīng)的類別。主要包括目標(biāo)影像、目標(biāo)定位框坐標(biāo)數(shù)據(jù)、目標(biāo)分類信息。由于遙感地物內(nèi)容繁雜，有時(shí)解譯模型難以區(qū)分或判定部分樣本中細(xì)分的地物類別。因此，需要綜合考慮地物目標(biāo)的地域、時(shí)相、地形地貌、地塊分布模式或其在影像中的圖斑大小等因素，甚至需要提供示例圖片進(jìn)行說明。

(3)地物分類樣本。利用遙感影像進(jìn)行語義分割的目的是將遙感影像中的每個(gè)像素與預(yù)先定義的地表覆蓋類別關(guān)聯(lián)起來。包含影像數(shù)據(jù)以及對(duì)應(yīng)逐像素分類的柵格分類信息數(shù)據(jù)。

(4)變化檢測樣本。用于定位及識(shí)別同一地理位置處多時(shí)態(tài)間的變化信息。需要前后兩個(gè)時(shí)相的影像，并且基于統(tǒng)一分類體系對(duì)標(biāo)簽影像的圖斑屬性進(jìn)行標(biāo)注。需要針對(duì)每種變化類型制定合理的判定準(zhǔn)則和規(guī)范要求，必要時(shí)提供示例說明。

(5)立體多視樣本。此樣本集由密集匹配數(shù)據(jù)集構(gòu)成，用于通過多視角遙感影像構(gòu)建三維地表模型。原始數(shù)據(jù)包括多視影像，以及對(duì)應(yīng)的相機(jī)內(nèi)外方位元素參數(shù)、影像覆蓋范圍的地面真值參考數(shù)據(jù)(主要為激光點(diǎn)云或產(chǎn)品級(jí)三維地表模型)。通過自動(dòng)配準(zhǔn)方法，將影像與高程數(shù)據(jù)進(jìn)行匹配，形成樣本數(shù)據(jù)。

樣本類型的邏輯模型如圖2所示。遙感影像解譯樣本由地物(像素分割)樣本、目標(biāo)樣本、場景樣本構(gòu)成。其中，地物樣本又包括來自于平面影像的平面樣本，以及來自于立體多視影像的立體多視樣本。平面樣本包括單時(shí)相樣本、變化檢測樣本。邏輯上，目標(biāo)由像素組成，場景由目標(biāo)組成，但3種樣本的采樣過程是單獨(dú)進(jìn)行的。同一地物可采集多種任務(wù)類型樣本，不同任務(wù)的樣本可根據(jù)地理位置進(jìn)行關(guān)聯(lián)，各類型任務(wù)又可包含不同傳感器類型的數(shù)據(jù)。

圖2 樣本類型邏輯模型

2.2 統(tǒng)一可擴(kuò)展樣本分類體系

由于區(qū)域/全球范圍地物信息復(fù)雜多樣，難以預(yù)設(shè)完備的樣本種類，因而遙感影像智能解譯樣本的分類必須采用開放框架，具有可擴(kuò)展性。為突破因樣本庫已有類型不完備而造成解譯模型的認(rèn)知局限問題，本文研究了支持新類別靈活擴(kuò)展的分類體系(如圖3所示)。主要思路是基于國家標(biāo)準(zhǔn)《地理信息分類系統(tǒng)》(GB/T 30322)構(gòu)建全局分類體系框架，再結(jié)合前節(jié)定義的具體任務(wù)類型進(jìn)行擴(kuò)展。

圖3 樣本分類框架

國家標(biāo)準(zhǔn)《地理信息分類系統(tǒng)》(GB/T 30322)(等同采標(biāo)ISO19144—1 Geographic Information-Classification Systems-Part 1:Class-ification System Structure)[13]框架分為兩個(gè)層次，第一層次采用二分法(dichotomous)定義主要地表覆蓋類別，第二層次以模塊層次結(jié)構(gòu)(modular-hierarchical)對(duì)每一類別賦以環(huán)境屬性、技術(shù)屬性，進(jìn)而通過不同屬性的組合來定義子類?；谀K層次結(jié)構(gòu)的屬性，可以組合成便于索引的分類屬性表。每種屬性賦以體現(xiàn)類別的層次及層級(jí)間隸屬關(guān)系的標(biāo)識(shí)編碼，方便索引。通過增加層次模塊的屬性定義，可以靈活擴(kuò)展定義新的類別，并由用戶生成具體任務(wù)的分類實(shí)例。

在此基礎(chǔ)上，結(jié)合目標(biāo)識(shí)別任務(wù)中出現(xiàn)的移動(dòng)目標(biāo)與固定目標(biāo)(表2)對(duì)第一層次和第二層次“人造地表和相關(guān)區(qū)域”進(jìn)行了擴(kuò)展，從而形成了全集的分類體系，具體每個(gè)任務(wù)的分類體系為此全集體系的實(shí)例。

本框架能夠支持各類樣本的分類：

(1)地表覆蓋地物樣本分類實(shí)例。這種分類方式可以涵蓋現(xiàn)有所有地表覆蓋類別，并可實(shí)現(xiàn)已有各種像素樣本分類與本文分類體系的類別映射與轉(zhuǎn)換。例如，在《地理國情普查內(nèi)容與指標(biāo)》(第一次全國地理國情普查，GDPJ 01—2013)中，闊葉林的定義是：由雙子葉喬木樹種為主構(gòu)成的樹林，闊葉林合計(jì)占65%以上。有冬季落葉的落葉闊葉林(又稱夏綠林)和四季常綠的常綠闊葉林(又稱照葉林)兩種類型。其中“樹林”對(duì)應(yīng)于附錄表1屬性表中的A12(自然植被區(qū)域)、A3(樹木)，“占65%以上”對(duì)應(yīng)A10(60～70%)，“闊葉”對(duì)應(yīng)D1(闊葉)，“常綠”對(duì)應(yīng)E1(常綠)，“冬季落葉”對(duì)應(yīng)于E2(每年落葉)。因此，地理國情分類中的“闊葉林”就可以映射為本分類體系中的“A12 A3 A10 D1 E1 E2”。

(2)場景樣本分類實(shí)例。場景樣本分類取上述分類體系的子集，可實(shí)例化(表2)，綜合參考已有開源樣本數(shù)據(jù)集中的分類類別后，包含9個(gè)一級(jí)類，23個(gè)二級(jí)類和119個(gè)三級(jí)類。

表2 場景樣本分類實(shí)例

(3)目標(biāo)樣本分類實(shí)例。目標(biāo)識(shí)別樣本分類取上述分類體系的子集，可實(shí)例化(表3)。表3為綜合已有開源樣本數(shù)據(jù)集中的分類場景樣本分類總表，包含兩個(gè)一級(jí)類，10個(gè)二級(jí)類及109個(gè)三級(jí)類。

表3 目標(biāo)樣本分類實(shí)例

2.3 支持全局關(guān)聯(lián)的數(shù)據(jù)組織與索引

遙感影像智能解譯往往是多任務(wù)關(guān)聯(lián)的，對(duì)于某一地物，往往需要使用與其相關(guān)的多種類型的樣本，或利用某一類型樣本完成不同任務(wù)。為此，本文提出以數(shù)據(jù)集為組織單元的遙感影像解譯樣本數(shù)據(jù)組織模型(如圖4所示)，以支持全局關(guān)聯(lián)的樣本組織與索引。

圖4 樣本數(shù)據(jù)組織模型

本模型數(shù)據(jù)集包括像素分割樣本數(shù)據(jù)集、目標(biāo)樣本數(shù)據(jù)集、場景樣本數(shù)據(jù)集、變化檢測樣本數(shù)據(jù)集、多視角樣本數(shù)據(jù)集等，每個(gè)數(shù)據(jù)集均建立相應(yīng)的元數(shù)據(jù)。每個(gè)數(shù)據(jù)集由相應(yīng)分類的樣本實(shí)例組成，樣本實(shí)例由樣本表描述，每個(gè)樣本都賦予唯一的樣本標(biāo)識(shí)碼，以支持樣本的全生命周期管理與溯源。

樣本表記錄樣本的基本信息，例如像素分割樣本表主要包括樣本標(biāo)識(shí)編碼、樣本所在數(shù)據(jù)集、樣本的尺寸、樣本所在區(qū)域、樣本拍攝時(shí)間、樣本標(biāo)注信息(質(zhì)量、采集人、標(biāo)注時(shí)間等)、影像存儲(chǔ)路徑、影像類型，以及影像通道數(shù)、影像分辨率、傳感器、樣本用途(訓(xùn)練、驗(yàn)證、測試等)。目標(biāo)樣本還包括目標(biāo)的標(biāo)簽信息，變化檢測樣本包括前后時(shí)相影像信息，立體多視樣本包括深度信息等。根據(jù)不同解譯需求，可將這些屬性進(jìn)行有機(jī)組合，實(shí)現(xiàn)多維語義檢索與數(shù)據(jù)分析。

數(shù)據(jù)集元數(shù)據(jù)、樣本表數(shù)據(jù)、樣本分類數(shù)據(jù)等存儲(chǔ)在關(guān)系數(shù)據(jù)庫中，數(shù)據(jù)實(shí)體以文件方式存儲(chǔ)于文件系統(tǒng)?；谏鲜瞿Ｐ?，分別定義數(shù)據(jù)集、場景樣本、目標(biāo)樣本、地物分類樣本、變化檢測樣本、立體多視樣本的屬性結(jié)構(gòu)，以及分類總表、各類樣本分類表的屬性結(jié)構(gòu)。表4與表5分別是數(shù)據(jù)集屬性表、場景樣本屬性表結(jié)構(gòu)的示例。

表4 數(shù)據(jù)集屬性表

3 基于網(wǎng)絡(luò)互操作的樣本采集與共享服務(wù)

遙感影像智能解譯樣本庫的構(gòu)建是一項(xiàng)持續(xù)性工作，應(yīng)充分利用已有各類樣本數(shù)據(jù)集，將其進(jìn)行歸一化整合處理后納入樣本庫中。在此基礎(chǔ)上，還須建立支持樣本不斷擴(kuò)展、精化的工作機(jī)制與支撐平臺(tái)。因此，本文設(shè)計(jì)了多源異構(gòu)樣本整合技術(shù)路線，面向互聯(lián)網(wǎng)用戶的眾包樣本標(biāo)注與共享服務(wù)平臺(tái)架構(gòu)。

3.1 已有樣本歸一化整合

圖5為已有樣本整合處理的技術(shù)流程。首先，需要將已有樣本的類別與本文設(shè)計(jì)的分類體系進(jìn)行語義映射；然后，依據(jù)本項(xiàng)目設(shè)計(jì)的統(tǒng)一編碼規(guī)則和數(shù)據(jù)庫結(jié)構(gòu)進(jìn)行轉(zhuǎn)換，并根據(jù)多維查詢的語義建立樣本索引；最后，將樣本集的元數(shù)據(jù)信息(包括版權(quán)信息等)存儲(chǔ)在相關(guān)的元數(shù)據(jù)表中，方便樣本的質(zhì)量追溯和權(quán)屬認(rèn)定。

圖5 多源樣本數(shù)據(jù)整合技術(shù)流程

3.2 眾包樣本采集

樣本標(biāo)注是樣本庫建設(shè)的基礎(chǔ)工作。為解決全球/區(qū)域大范圍樣本數(shù)據(jù)采集問題，本文設(shè)計(jì)了基于網(wǎng)絡(luò)互操作機(jī)制的樣本采集平臺(tái)，支持樣本的眾包協(xié)同采集標(biāo)注、在線校驗(yàn)、動(dòng)態(tài)擴(kuò)展。由于遙感解譯樣本的判讀與標(biāo)注需要地學(xué)專業(yè)知識(shí)的支撐，目前樣本采集還主要采用專業(yè)人員手工采集的方式，效率低、成本高，且由于樣本標(biāo)注者的專業(yè)認(rèn)知差異導(dǎo)致標(biāo)注質(zhì)量不均。為提高樣本采集效率與質(zhì)量，本文設(shè)計(jì)了自動(dòng)/半自動(dòng)結(jié)合標(biāo)注方法。基本思路是基于已有樣本數(shù)據(jù)訓(xùn)練深度學(xué)習(xí)模型進(jìn)行自動(dòng)解譯，對(duì)自動(dòng)解譯結(jié)果進(jìn)行精度評(píng)估并進(jìn)行人機(jī)交互修正完善，利用影像的交互分割優(yōu)化等算法顯著提升其效率，通過合理分配不同程度的專業(yè)人員進(jìn)行在線校驗(yàn)，最后將滿足要求的樣本補(bǔ)充至樣本庫。技術(shù)流程示意圖如圖 6所示。

圖6 自動(dòng)/半自動(dòng)結(jié)合標(biāo)注

3.3 樣本共享服務(wù)平臺(tái)

針對(duì)大規(guī)模樣本共享服務(wù)問題，本文設(shè)計(jì)了基于遙感解譯樣本開源共享平臺(tái)，支持多維語義查詢、統(tǒng)計(jì)分析、數(shù)據(jù)共享服務(wù)。遙感影像樣本共享服務(wù)平臺(tái)的總體框架如圖7所示，包括基礎(chǔ)設(shè)施層、數(shù)據(jù)存儲(chǔ)層、數(shù)據(jù)服務(wù)層和應(yīng)用層。其中,基礎(chǔ)設(shè)施層包括分布式存儲(chǔ)陣列、GPU集群、文件系統(tǒng)、數(shù)據(jù)庫系統(tǒng)及網(wǎng)絡(luò)環(huán)境等。以分布式彈性大規(guī)模存儲(chǔ)陣列支撐全球范圍海量遙感影像樣本集的高吞吐和可擴(kuò)展管理，以GPU集群支持深度學(xué)習(xí)模型計(jì)算和在線多并發(fā)訪問快速響應(yīng)需求。數(shù)據(jù)存儲(chǔ)層支持多尺度多類型樣本數(shù)據(jù)的存儲(chǔ)、擴(kuò)展、維護(hù)與版權(quán)保護(hù)。服務(wù)層支持遙感影像樣本的多維語義查詢和樣本數(shù)據(jù)服務(wù)發(fā)布，對(duì)外提供具有互操作能力的數(shù)據(jù)訪問服務(wù)接口。應(yīng)用層允許用戶進(jìn)行開放注冊并根據(jù)版權(quán)協(xié)議進(jìn)行權(quán)限管理，在此基礎(chǔ)上提供樣本的錄入、校驗(yàn)、多維語義查詢、數(shù)據(jù)獲取和可視化功能服務(wù)，并基于時(shí)空數(shù)據(jù)關(guān)聯(lián)分析、樣本綜合統(tǒng)計(jì)分析、知識(shí)發(fā)現(xiàn)等數(shù)據(jù)挖掘模型為用戶提供樣本的在線分析與應(yīng)用。

圖7 遙感影像樣本共享服務(wù)平臺(tái)總體框架

4 結(jié) 論

本文針對(duì)大規(guī)模遙感智能解譯需求，分析了已有樣本數(shù)據(jù)集的現(xiàn)狀及存在的問題，提出了任務(wù)驅(qū)動(dòng)的遙感解譯樣本庫設(shè)計(jì)。本文依據(jù)所提出的方案，對(duì)已有的73個(gè)開源樣本數(shù)據(jù)集進(jìn)行了歸一化處理、映射轉(zhuǎn)換，構(gòu)建了包含256萬樣本的數(shù)據(jù)庫，涵蓋了場景分類、目標(biāo)檢測、單要素/多要素分類、變化檢測、三維多視角重建等多種遙感智能解譯任務(wù)，以及多種遙感影像傳感器類型(多光譜、高光譜、SAR、三維多視角)。

在前期工作基礎(chǔ)上，搭建了遙感樣本在線采集與共享服務(wù)平臺(tái)，初步實(shí)現(xiàn)了網(wǎng)絡(luò)協(xié)同樣本采集、樣本查詢等功能。

下一步將不斷擴(kuò)充樣本庫，并加快完善樣本采集與共享服務(wù)平臺(tái)建設(shè)，支持全球范圍的眾包樣本采集，實(shí)現(xiàn)樣本在線校驗(yàn)和錄入、多維語義查詢和統(tǒng)計(jì)分析等功能，為基于機(jī)器學(xué)習(xí)的遙感影像智能解譯提供有力支撐。