基于深度學(xué)習(xí)的遙感影像地類信息獲取技術(shù)現(xiàn)狀研究*

王本禮，王 也

(1.湖南省第二測(cè)繪院湖南長沙 410119；2.自然資源湖南省衛(wèi)星應(yīng)用技術(shù)中心，湖南長沙 410009；3.湖南仁晟設(shè)計(jì)有限公司，湖南長沙 410018）

土地利用動(dòng)態(tài)監(jiān)測(cè)是指對(duì)不同時(shí)相的土地利用數(shù)據(jù)進(jìn)行對(duì)比分析，并從空間分布及數(shù)量上進(jìn)行變換特征提取及分析，并為土地利用規(guī)劃決策提供數(shù)據(jù)支撐。遙感影像數(shù)據(jù)具有綜合、宏觀以及動(dòng)態(tài)等多種優(yōu)勢(shì)，地類自動(dòng)識(shí)別則是使用遙感影像數(shù)據(jù)進(jìn)行土地利用動(dòng)態(tài)監(jiān)測(cè)的關(guān)鍵技術(shù)，同時(shí)也是遙感應(yīng)用和研究的重要領(lǐng)域。隨著深度學(xué)習(xí)等人工智能技術(shù)的提出與發(fā)展，目前地類自動(dòng)識(shí)別逐漸從傳統(tǒng)的基于圖像特征的方法過渡為基于深度學(xué)習(xí)的方法，并取得較為顯著的成果[1]。

深度學(xué)習(xí)技術(shù)在圖像處理領(lǐng)域已經(jīng)有廣泛的應(yīng)用基礎(chǔ)，如人臉識(shí)別、圖像匹配等。當(dāng)前，基于深度學(xué)習(xí)的遙感影像地類自動(dòng)識(shí)別技術(shù)主要分為遙感影像分割、遙感影像分類以及遙感影像目標(biāo)監(jiān)測(cè)三種方式。

1 基本概念

1.1 深度學(xué)習(xí)

深度學(xué)習(xí)是機(jī)器學(xué)習(xí)的子集，主要基于多層人工神經(jīng)網(wǎng)絡(luò)進(jìn)行特征學(xué)習(xí)。因人工神經(jīng)網(wǎng)絡(luò)具有多個(gè)輸入、輸出以及隱藏層，且學(xué)習(xí)過程具有深度性，從而得名。機(jī)器學(xué)習(xí)則是人工智能的子集，主要采用可以讓機(jī)器根據(jù)歷史信息及經(jīng)驗(yàn)在任務(wù)中做出改善的技術(shù)。人工智能則是讓機(jī)器模擬人類智能的技術(shù)。三者的關(guān)系示意圖如圖1所示。

深度學(xué)習(xí)引起強(qiáng)大的信息處理能力，逐步成為機(jī)器學(xué)習(xí)領(lǐng)域最接近人工智能的方法。隨著深度學(xué)習(xí)發(fā)展，各種具有特殊處理單元和網(wǎng)絡(luò)結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)不斷涌現(xiàn)，但其基本結(jié)構(gòu)都是由激活函數(shù)（非線性）連接多個(gè)線性結(jié)構(gòu)構(gòu)成，主要分為輸入層、隱藏層及輸出層。其中輸入層和輸出層主要和任務(wù)相關(guān)，而隱藏層則決定該網(wǎng)絡(luò)結(jié)構(gòu)的具體功能。根據(jù)網(wǎng)絡(luò)結(jié)構(gòu)不同可以分為卷積神經(jīng)網(wǎng)絡(luò)、自動(dòng)編碼機(jī)等[2]。根據(jù)訓(xùn)練數(shù)據(jù)是否存在標(biāo)簽以及標(biāo)簽來源可以分為監(jiān)督學(xué)習(xí)、半監(jiān)督學(xué)習(xí)以及無監(jiān)督學(xué)習(xí)[3]。

圖1關(guān)系示意圖Fig.1 Schematic diagram of the relationship

1.2 遙感影像分割

圖像分割是計(jì)算機(jī)視覺的一項(xiàng)基本任務(wù)，也是許多視覺理解系統(tǒng)的重要組成部分[4]。圖像分割主要通過將圖像（或視頻幀）劃分為多個(gè)對(duì)象，以獲取邊界及目標(biāo)物的面（體）積特征等，圖像的輸入和輸出通常都是圖像[5]。這項(xiàng)工作的重點(diǎn)是語義圖像分割[6]，在地類監(jiān)測(cè)中，通常對(duì)遙感影像進(jìn)行地塊分割，以獲取地塊邊界及地塊面積信息，具體示例如圖2所示。

圖2 分割示例Fig.2 A toy example of image segmentation

1.3 遙感影像目標(biāo)檢測(cè)

目標(biāo)檢測(cè)是模擬人類視覺瀏覽觀測(cè)物體的方法，即通過算法從圖像或視頻中識(shí)別研究目標(biāo)的位置及方向，從而實(shí)現(xiàn)對(duì)客觀世界的感知、識(shí)別與理解。早期目標(biāo)檢測(cè)主要采取傳統(tǒng)手工特征提取的方法，采取滑動(dòng)窗口的方式遍歷整張圖像，并從中選取一定數(shù)量的候選框進(jìn)行特征提取，如顏色、紋理、形狀等。而后通過支持向量機(jī)（SVM）等分類算法進(jìn)行候選框分類，最終確定目標(biāo)內(nèi)容[7]。但手工特征難以設(shè)計(jì)，且手工特征不具有魯棒性，效率低，且滑動(dòng)窗口提取策略非常繁瑣。隨著深度學(xué)習(xí)算法的發(fā)展，使用深度學(xué)習(xí)算法進(jìn)行圖像特征提取逐步成為主流，而模型的輸入與輸出示例如圖3所示。

圖3目標(biāo)檢測(cè)示例Fig.3 A toy example of object detection

1.4 遙感影像分類

圖像分類是根據(jù)圖像信息中反映的視覺特征如色彩等，把不同類別的圖像區(qū)分開的數(shù)據(jù)處理方法，模型的輸入通常是圖像，輸出往往是類別集，如圖4所示。

圖4 影像分類示例Fig.4 A toy example of image classification

遙感影像分類通常是指對(duì)已經(jīng)切分好的地塊進(jìn)行分類，屬于圖像分類的子課題[8]。遙感影像分類算法根據(jù)訓(xùn)練樣本中包含標(biāo)簽的情況可以分為監(jiān)督學(xué)習(xí)、半監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)。監(jiān)督學(xué)習(xí)是指利用已知類別的樣本進(jìn)行模型訓(xùn)練，如深度卷積神經(jīng)網(wǎng)絡(luò)等。而半監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)通常是指用缺失一部分或者全部圖像標(biāo)簽的數(shù)據(jù)進(jìn)行模型預(yù)測(cè)，通常是利用聚類或相似度等算法進(jìn)行圖像類別預(yù)測(cè)。此外，近幾年來，無監(jiān)督學(xué)習(xí)領(lǐng)域衍生出一種新型訓(xùn)練方式——自監(jiān)督學(xué)習(xí)[9]，該方法主要通過大量無標(biāo)簽數(shù)據(jù)訓(xùn)練出一個(gè)特征提取器，再利用該特征提取器對(duì)下游任務(wù)的神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，獲取下游任務(wù)相應(yīng)的。

2 相關(guān)技術(shù)

本文主要介紹圖像領(lǐng)域經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)以及近期的主流模型——Transformer模型基礎(chǔ)。

2.1 卷積神經(jīng)網(wǎng)絡(luò)模型基礎(chǔ)

卷積神經(jīng)網(wǎng)絡(luò)模型是圖像領(lǐng)域深度學(xué)習(xí)技術(shù)的基礎(chǔ)架構(gòu)。卷積神經(jīng)網(wǎng)絡(luò)屬于深度前饋神經(jīng)網(wǎng)絡(luò)，主要包含輸入層、隱藏層和輸出層[10]，如圖5所示。

圖5 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)示例Fig.5 Overview of convolutional neural network structure

其中隱藏層通常包括卷積層和池化層以及全連接層。輸入層進(jìn)行數(shù)據(jù)接受，隱藏層進(jìn)行圖像特征提取，輸出層進(jìn)行結(jié)果輸出。其中卷積操作是指通過一個(gè)感受野即圖中的藍(lán)色方塊根據(jù)一定步長對(duì)圖像進(jìn)行遍歷掃描，從而獲取圖像的特征。因此，卷積操作本質(zhì)上可以視為通過感受野進(jìn)行的一種特征篩選。而池化層相當(dāng)于對(duì)卷積層輸出做下采樣，卷積操作之后圖像的維度會(huì)急劇增長，難以直接應(yīng)用，因此需要通過池化操作選取局部最突出的輸出，再進(jìn)行分類操作。根據(jù)不同的池化方式可以分為最大池化、平均池化以及最小池化等，即取每個(gè)過濾器中最大值、平均值或最小值等。全連接層的主要作用是進(jìn)行分類，通過綜合前面通過卷積和池化獲得的特征，最后進(jìn)行最后輸出[11]。

2.2 Transformer基礎(chǔ)

Transformer 架構(gòu)最早是應(yīng)用于自然語言處理領(lǐng)域，其架構(gòu)如圖6所示。

圖6 Transformer模型架構(gòu)Fig.6 Overview of transformer structure

該模型整體為一個(gè)端到端（encode-todecode）的架構(gòu)，完全拋棄了CNN 和RNN 結(jié)構(gòu)，而是使用注意力機(jī)制（自注意力機(jī)制和多頭注意力機(jī)制）。如圖7所示。

圖7 Transformer中的注意力機(jī)制Fig.7 Structure of attention mechanism

在自注意層（Self-Attention Layers）中，輸入向量首先被三個(gè)投影矩陣轉(zhuǎn)換成三個(gè)不同的向量，即查詢向量Q，鍵向量K 與值向量V。不同輸入向量間的注意函數(shù)則可以通過以下步驟獲得：

第一步：計(jì)算不同輸入向量間的得分（score），

第二步：為了穩(wěn)定梯度對(duì)得分歸一化，

第三步：使用softmax函數(shù)將得分變?yōu)楦怕剩?/p>

第四步：獲得加權(quán)數(shù)值矩陣，

綜上所述，自注意力機(jī)制的計(jì)算公式為，

而多頭注意力機(jī)制則是用于提高自注意力機(jī)制的性能。具體來說，給定一個(gè)輸入向量與頭的數(shù)量h，輸入的向量首先變換成三組不同的向量，即查詢組、鍵組、值組。每組分別有h個(gè)維度，即dq'=dk'=dy'=dmodel/h=64。然后，將來自不同輸入的向量合并在一起生成三組不同的矩陣以及。再將三組矩陣分別拼接為Q'，K'以及V'。則多頭注意力機(jī)制的計(jì)算公式可以表示為：

其中headi=Attention(Qi,Ki,Vi)，Wo=∈Rdmodel×dmodel為一個(gè)線性投影矩陣。當(dāng)前，Transformer在圖像領(lǐng)域的經(jīng)典模型主要包括iGPT 模型和ViT 即Vision transformer模型[12]。

3 相關(guān)數(shù)據(jù)集與對(duì)應(yīng)SOTA模型分析

本章分別對(duì)圖像分割、目標(biāo)檢測(cè)以及圖像分類三個(gè)領(lǐng)域的經(jīng)典遙感影像數(shù)據(jù)集進(jìn)行詳細(xì)分析。

3.1 圖像（語義）分割

BigEarthNet 主要使用Sentinel-2 衛(wèi)星數(shù)據(jù)，由590326 個(gè)圖斑塊組成，區(qū)域涵蓋了奧地利、比利時(shí)等十個(gè)歐洲國家。每個(gè)圖斑塊都由CORINE 土地覆蓋數(shù)據(jù)庫（CLC 2018）提供標(biāo)注。目前，該數(shù)據(jù)集的SOTA 模型為MoCo-v2 模型，該模型為MoCo 模型的改進(jìn)版本。MoCo 是動(dòng)量對(duì)比的縮寫，屬于無監(jiān)督學(xué)習(xí)中的自監(jiān)督學(xué)習(xí)[8]，通過對(duì)無標(biāo)簽數(shù)據(jù)集進(jìn)行預(yù)訓(xùn)練，獲取圖像表征。但這種方式需要強(qiáng)大的算力，即Google TPU的加持。而MoCo-v2則對(duì)此進(jìn)行改進(jìn)，該模型僅需8 個(gè)GPU 即可進(jìn)行模型訓(xùn)練。最終該模型在BigEarthNet 的準(zhǔn)確率高達(dá)89.3%。但該模型相較于其他模型需要額外的訓(xùn)練數(shù)據(jù)，且對(duì)Big-EarthNet算力的要求相對(duì)較高。

此外，不同地類獲取子任務(wù)也具有特有的數(shù)據(jù)集，如城市景觀相關(guān)的GTA5，ADE20K 以及Foggy Cityscapes 等，以及城市建筑物相關(guān)的INRIA aerial image數(shù)據(jù)集等。

3.2 目標(biāo)監(jiān)測(cè)

本文主要介紹DOTA 系列數(shù)據(jù)集。該數(shù)據(jù)集共包含三個(gè)版本。

3.2.1 DOTA-v1.0

最早的DOTA 數(shù)據(jù)集是用于航空?qǐng)D像物體檢測(cè)的大型數(shù)據(jù)集，其來源包括多個(gè)傳感器和平臺(tái)，每個(gè)圖像的大小范圍從800×800 到20000×20000，包含多種比例、方向以及形狀的對(duì)象。該數(shù)據(jù)集共包含15 個(gè)常見類別，2806 張圖像，188282 個(gè)實(shí)例，當(dāng)前該數(shù)據(jù)集的SOTA 模型為DAFNe 模型，獲得了76.95 的性能。該模型為一個(gè)用于定向目標(biāo)檢測(cè)的一階段Anchor-Free 深度學(xué)習(xí)模型。Anchor-Free 模型這個(gè)概念很早就被提出了，如大名鼎鼎的YOLO-v1 就屬于Anchor-Free 模型。這類模型的主要缺陷包括正負(fù)樣本失衡、超參難以調(diào)試以及訓(xùn)練匹配耗時(shí)嚴(yán)重等。以下為不同模型在DOTA-v1.0 上的性能表現(xiàn)變化如圖8所示。

圖8 DOTA-v1.0數(shù)據(jù)集上不同模SOTA型變化圖Fig.8 Performance of different SOTA models of DOTA-v1.0

3.2.2 DOTA-v1.5

DOTA-v1.5 是數(shù)據(jù)集在v1.0 的基礎(chǔ)上增加了集裝箱起重機(jī)對(duì)象類別，并對(duì)小于10像素的極小實(shí)例冶金學(xué)了標(biāo)注。該版本共計(jì)包含403,318個(gè)實(shí)例。該數(shù)據(jù)集主要用于航空?qǐng)D像中的物體檢測(cè)。該數(shù)據(jù)集的SOTA 模型也是DAFNe模型，獲得了71.99的成績(jī)。

3.2.3 DOTA-v2.0

DOTA-v2.0 則增加了更多谷歌地球、GF-2 衛(wèi)星和航拍影像，該數(shù)據(jù)集共18個(gè)常見類別，11268張圖片，1793658 個(gè)實(shí)例。當(dāng)前DOTA 數(shù)據(jù)集在航空?qǐng)D像目標(biāo)檢測(cè)的SOTA 模型為ViTAE-B +RVSA-ORCN，該模型是視覺Transformers模型與遙感影像結(jié)合的產(chǎn)物，提出將遙感影像目標(biāo)獲取作為一個(gè)大型數(shù)據(jù)集任務(wù)，并提出一種旋轉(zhuǎn)可變大小窗口的注意力機(jī)制代替原始Transformers 中的全注意力機(jī)制。最終，該模型在DOTA 數(shù)據(jù)集上取得了81.16%的性能。值得注意的是，該成果中提出的另一模型ViT-B+RVSA-ORCN 排名第二，取得了81.01% 的性能。不同模型在DOTA-v2.0上的性能表現(xiàn)變化如圖9所示。

圖9 DOTA-v2.0數(shù)據(jù)集上不同模SOTA型變化圖Fig.9 Performance of different SOTA models of DOTA-v2.0

3.3 遙感影像分類

3.3.1 UC Merced Land-Use

UC Merced Land-Use 數(shù)據(jù)集是由UC Merced 計(jì)算機(jī)視覺實(shí)驗(yàn)室公布的遙感圖像場(chǎng)景分類公開數(shù)據(jù)集，數(shù)據(jù)集共分為耕地（agricultural）、機(jī)場(chǎng)（airplane）、棒球場(chǎng)（baseball diamond）以及沙灘（beach）等21 個(gè)類別。每個(gè)類別各包含100 張遙感影像，整個(gè)數(shù)據(jù)集共計(jì)2100 張256×256 的遙感影像。這個(gè)數(shù)據(jù)集數(shù)據(jù)量級(jí)較小，無法訓(xùn)練大型數(shù)據(jù)集，因而常被用作示例講解。該數(shù)據(jù)集最新的SOTA 模型為MSMatch，該模型屬于半監(jiān)督模型，該模型的損失函數(shù)等于監(jiān)督學(xué)習(xí)損失函數(shù)和無監(jiān)督學(xué)習(xí)損失函數(shù)之和。監(jiān)督學(xué)習(xí)部分損失函數(shù)即模型預(yù)測(cè)標(biāo)簽與真實(shí)標(biāo)簽之間的差異，而無監(jiān)督學(xué)習(xí)部分則是預(yù)測(cè)標(biāo)簽與偽標(biāo)簽之間的差異[13]，最終該模型在UC Merced Land-Use 數(shù)據(jù)集上的預(yù)測(cè)準(zhǔn)確率高達(dá)98.33%。盡管該模型在部分?jǐn)?shù)據(jù)集上達(dá)到了媲美監(jiān)督學(xué)習(xí)的性能，但因偽標(biāo)簽獲取需要，將該模型應(yīng)用于大型數(shù)據(jù)集時(shí)的代價(jià)仍有待商榷。此外，與該數(shù)據(jù)集量級(jí)相近的 還 有WHU-RS19，RSC11，SIRI-WHU 以 及RSSCN7等。

3.3.2 EuroSAT

EuroSAT 是由歐洲衛(wèi)星組織（EuroSAT）發(fā)布的，基于Sentinel-2 衛(wèi)星的土地利用和土地覆蓋分類數(shù)據(jù)集，涵蓋13 個(gè)光譜波段，由10 個(gè)類組成，共計(jì)27000 條數(shù)據(jù)。上文提及的MSMatch 模型曾以該數(shù)據(jù)集作為基準(zhǔn)模型，并達(dá)到SOTA 效果。當(dāng)前該數(shù)據(jù)集的SOTA 模型為MoCo-v2 模型。

整體而言，遙感影像（語義）分割領(lǐng)域因其算法復(fù)雜度較高，因此，目前研究的重點(diǎn)主要集中于降低對(duì)高性能設(shè)備的依賴。目標(biāo)檢測(cè)則主要集中于對(duì)Anchor-Based 與Anchor-Free 算法以及兩者融合算法的研究，試圖避免或者減弱兩者缺陷帶來的影響，并提升性能。而遙感影像分類領(lǐng)域目前的研究主流為半監(jiān)督和無監(jiān)督（尤其是自監(jiān)督）學(xué)習(xí)研究，以減少對(duì)人工標(biāo)簽的依賴。

4 目前不足與展望

4.1 深度學(xué)習(xí)方法的選擇

理論上遙感影像地類信息獲取可以采用影像分割、目標(biāo)識(shí)別以及分類等任何方式，可以采用任意深度學(xué)習(xí)方法。但在實(shí)際應(yīng)用中，采用不同的問題定義方法或者模型將直接決定最終數(shù)據(jù)獲取的精度及時(shí)效，不同的模型應(yīng)用于同一個(gè)問題表現(xiàn)出的學(xué)習(xí)能力、運(yùn)行速度和自適應(yīng)性都各有不同，且各模型各具優(yōu)勢(shì)與不同。因此，在后續(xù)的應(yīng)用中需要更加深入地分析問題特征，選擇合適的定義方式與模型。

4.2 地物識(shí)別精度

地類識(shí)別精度受到多種挑戰(zhàn)，如遙感數(shù)據(jù)集缺乏人工標(biāo)注、數(shù)據(jù)類型的多樣性愈發(fā)豐富以及大研究區(qū)域的復(fù)雜性等[14]。針對(duì)第一個(gè)問題，盡管當(dāng)前無監(jiān)督學(xué)習(xí)包括自監(jiān)督學(xué)習(xí)等得到一定的進(jìn)步與發(fā)展，但并沒有取得通用且令人滿意的成就[15]。因此，在后續(xù)的研究中可以進(jìn)一步加強(qiáng)對(duì)無標(biāo)簽數(shù)據(jù)的特征提取。針對(duì)第二個(gè)問題，隨著遙感技術(shù)的發(fā)展及高光譜遙感的進(jìn)步，遙感影像的質(zhì)量及清晰度取得了較大進(jìn)步。但不同地物的識(shí)別或應(yīng)用場(chǎng)景和獲取往往需要訓(xùn)練不同的模型，造成計(jì)算成本的增加。在后續(xù)的研究中可以促進(jìn)對(duì)通用模型或研究范式的研究。針對(duì)第三個(gè)問題，目前研究大多局限于某個(gè)小區(qū)域的研究，對(duì)大研究區(qū)域的精細(xì)化研究并沒有取得明顯突破。但在政府等機(jī)構(gòu)的應(yīng)用和監(jiān)測(cè)中，往往需要對(duì)某一行政區(qū)域進(jìn)行統(tǒng)一監(jiān)測(cè)，尤其是進(jìn)行土地利用規(guī)劃時(shí)，往往需要對(duì)全域地類地物信息進(jìn)行綜合了解、評(píng)估及判定。

4.3 地物識(shí)別代價(jià)

在深度學(xué)習(xí)的研究中，地物識(shí)別精度的提升往往意味著神經(jīng)網(wǎng)絡(luò)模型的深度、參數(shù)量以及模型復(fù)雜度等的提升，這也意味著模型訓(xùn)練及響應(yīng)成本的增加。因此在后續(xù)的研究中，可以考慮在不犧牲識(shí)別準(zhǔn)確度的前提下，進(jìn)行優(yōu)化，降低計(jì)算及時(shí)間成本，如通過模型優(yōu)化降低計(jì)算成本，通過并行分布式計(jì)算提升模型訓(xùn)練及響應(yīng)速度。

5 結(jié)語

隨著遙感技術(shù)的發(fā)展，使用遙感影像數(shù)據(jù)進(jìn)行土地利用動(dòng)態(tài)監(jiān)測(cè)逐步成為進(jìn)行自然資源管控的重要技術(shù)手段，該類技術(shù)能夠?yàn)橥恋乩帽O(jiān)測(cè)、國土空間規(guī)劃以及國家安全等提供實(shí)時(shí)準(zhǔn)確的數(shù)據(jù)信息和參考依據(jù)。傳統(tǒng)基于手工特征或傳統(tǒng)機(jī)器學(xué)習(xí)的方法逐步無法滿足當(dāng)前社會(huì)對(duì)遙感影像地物識(shí)別精度及獲取速度的需求。深度學(xué)習(xí)模型憑借其強(qiáng)大的特征提取能力，逐步成為利用遙感影像進(jìn)行地類自動(dòng)識(shí)別的主流方法，基于深度學(xué)習(xí)的模型具有更高的識(shí)別精度、更低的人工識(shí)別成本以及自適應(yīng)性。但深度學(xué)習(xí)模型在實(shí)際應(yīng)用中，仍需要注意問題定義及模型選擇，仍需加強(qiáng)對(duì)識(shí)別精度及相應(yīng)代價(jià)的進(jìn)一步提升。隨著遙感技術(shù)的進(jìn)一步提升，后續(xù)相應(yīng)信息提取模型的要求也將進(jìn)一步提升，因此，融合深度學(xué)習(xí)等新興人工智能方法與遙感影像傳感器等，是未來自然資源智能監(jiān)測(cè)技術(shù)發(fā)展的必然趨勢(shì)。