基于深度學(xué)習(xí)的遙感影像耕地提取

呂林濤 姚建華 黃濤 王一鑫

1.寧夏回族自治區(qū)遙感調(diào)查院；2.北京科技大學(xué)計(jì)算機(jī)與通信工程學(xué)院

遙感影像耕地提取是遙感解譯的一項(xiàng)具體任務(wù)，良好的耕地分割結(jié)果可為農(nóng)業(yè)生產(chǎn)和土地保護(hù)提供支撐。針對(duì)寧夏省銀川市耕地檢測(cè)需求，以高分2號(hào)衛(wèi)星影像為基礎(chǔ)，對(duì)影像進(jìn)行光譜增強(qiáng)和紋理增強(qiáng)處理，以U-Net網(wǎng)絡(luò)為基礎(chǔ)，搭建卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，并利用訓(xùn)練好的模型進(jìn)行測(cè)試。實(shí)驗(yàn)結(jié)果顯示，我們的模型平均交并比達(dá)74.3%，證明本文提出的遙感影像耕地提取技術(shù)能準(zhǔn)確進(jìn)行耕地提取，同時(shí)提高耕地檢測(cè)的效率。

遙感是20世紀(jì)60年代發(fā)展起來的對(duì)地觀測(cè)綜合性技術(shù)。隨著科技水平的不斷發(fā)展，遙感的技術(shù)也越發(fā)的成熟，推動(dòng)了衛(wèi)星遙感影像技術(shù)的迅猛發(fā)展，同時(shí)也隨著可以獲得的數(shù)據(jù)量的不斷增加，人們對(duì)大數(shù)據(jù)、機(jī)器學(xué)習(xí)、深度學(xué)習(xí)等概念也越來越關(guān)注。遙感影像語義分割是遙感影像信息獲取的關(guān)鍵環(huán)節(jié)和研究熱點(diǎn)，近年來，相關(guān)研究成果已經(jīng)廣泛應(yīng)用于檢測(cè)土地利用變化、城市擴(kuò)張以及災(zāi)害預(yù)警評(píng)估等方面。高分辨率遙感影像能夠表現(xiàn)豐富的地物信息，從而有利于提取地物的復(fù)雜特征以識(shí)別復(fù)雜的場(chǎng)景目標(biāo)。

耕地是我國重要的土地資源，是農(nóng)業(yè)最基本的生產(chǎn)資料，耕地保護(hù)對(duì)生態(tài)環(huán)境，社會(huì)穩(wěn)定具有重要作用[1]。高效的耕地檢測(cè)可為耕地保護(hù)任務(wù)提供技術(shù)支撐，有利于耕地保護(hù)任務(wù)的完成。遙感影像真實(shí)的體現(xiàn)了地質(zhì)、地貌、土壤、植被等地物特征。遙感衛(wèi)星安裝有多個(gè)傳感器，可以提供不同的光譜數(shù)據(jù)。近年來，我國衛(wèi)星遙感技術(shù)快速發(fā)展，為我國生態(tài)環(huán)境監(jiān)測(cè)提供了巨大的幫助。

U-Net是一種U形卷積神經(jīng)網(wǎng)絡(luò)，該網(wǎng)絡(luò)通過編碼—解碼操作實(shí)現(xiàn)圖像端到端的語義分割，已經(jīng)成為圖像分割的一種標(biāo)準(zhǔn)框架。該網(wǎng)絡(luò)最早用于醫(yī)學(xué)影像分割，利用圖像的多尺度信息在編碼和解碼通道之間使用跳躍連接融合圖像的淺層與深層特征，因此被廣泛應(yīng)用于圖像領(lǐng)域[2]。深度神經(jīng)網(wǎng)絡(luò)FCN用于構(gòu)建語義分割的基礎(chǔ)模型，它作為一種強(qiáng)大的圖像分割模型，可以從抽象的特征中恢復(fù)出每個(gè)像素所屬的類別，即從圖像級(jí)別的分類進(jìn)一步延伸到像素級(jí)別的分類。

在耕地提取研究中，我們使用U-Net卷積神經(jīng)網(wǎng)絡(luò)作為基礎(chǔ)架構(gòu)，加入ResNet34網(wǎng)絡(luò)，橋接層和注意力機(jī)制，結(jié)合影像的光譜和紋理特征，構(gòu)建了耕地提取網(wǎng)絡(luò)模型。

1 技術(shù)實(shí)現(xiàn)

1.1 光譜特征提取

高分二號(hào)影像具有4個(gè)波段，分別是R（紅光波段）、G（綠光波段）、B（藍(lán)光波段）、NIR（近紅外波段）。通過近紅外波段和紅光波段，可以計(jì)算得到歸一化植被指數(shù)（NDVI），其定義如下：

歸一化植被指數(shù)可以反應(yīng)農(nóng)作物的生長(zhǎng)狀態(tài)和覆蓋度，NDVI的范圍始終為-1～1，當(dāng)值為負(fù)數(shù)時(shí)，很可能是水；當(dāng)NDVI的值接近1時(shí)，很有可能是茂密的綠葉。此外，NDVI可以消除大部分由于儀器、地形等外界因素造成的影響，可以增強(qiáng)影像對(duì)植被的影響力[3]。

1.2 紋理特征提取

紋理特征是通過灰度的空間變化及其重復(fù)性來反應(yīng)地物的視覺粗糙度，能夠充分反應(yīng)影像的特征，是描述和識(shí)別圖像的重要依據(jù)。在遙感影像中，陸地、水域、城市、深林等都具有各自特定的紋理，通過分析遙感圖像的紋理特征，可以進(jìn)行區(qū)域識(shí)別、森林識(shí)別等。

遙感影像中抽取紋理特征常用的方法是灰度共生矩陣。灰度共生矩陣又稱為灰度空間相關(guān)矩陣，是通過研究灰度的空間相關(guān)特性來描述紋理的常用方法，通過灰度共生矩陣可以得到8種紋理特征統(tǒng)計(jì)量，即均值（Mean）、方差（Variance）、同質(zhì)性（Homogeneity）、對(duì)比度（Contrast）、相異性（Dissimilarity）、熵（Entropy）、能量（Energy）、相關(guān)性（Correlation）。

通過對(duì)銀川地區(qū)耕地影像分析，耕地又可以細(xì)分為干耕地和濕耕地。分別對(duì)干耕地和濕耕地影像進(jìn)行紋理特征提取如表1所示，計(jì)算干濕耕地對(duì)應(yīng)的紋理特征統(tǒng)計(jì)量的差值，差值折現(xiàn)圖如圖1所示，選取差值最小的紋理統(tǒng)計(jì)量作為新特征加入到原始影像中。

表1 干濕耕地紋理統(tǒng)計(jì)量Tab.1 Texture statistics of dry and wet farmland

圖1 干濕耕地紋理統(tǒng)計(jì)量差異折線圖Fig.1 Broken line chart of grain statistics difference of dry and wet farmland

通過干濕耕地紋理統(tǒng)計(jì)量差值折線圖可以看出，干濕耕地在相關(guān)性統(tǒng)計(jì)量上差異最小，所以選取相關(guān)性統(tǒng)計(jì)量作為紋理特征加入到原圖像中，能夠最大程度提升模型的精度。

1.3 模型構(gòu)建

本文提出的基于深度學(xué)習(xí)的遙感影像耕地提取網(wǎng)絡(luò)是在U-Net網(wǎng)絡(luò)上進(jìn)行改進(jìn)，U-Net網(wǎng)絡(luò)結(jié)構(gòu)有2個(gè)主要的特點(diǎn)：（1）U-Net網(wǎng)絡(luò)是完全對(duì)稱的，編碼器和解碼器很相似，網(wǎng)絡(luò)左邊的編碼器部分通過卷積進(jìn)行下采樣操作，提取圖像特征，加深特征層數(shù)，縮小特征圖尺寸，右邊的解碼器部分通過上采樣利用圖像特征，恢復(fù)圖像尺寸；（2）采用了跳躍連接，將下采用過程中提取到的特征運(yùn)用在上采樣中。這兩個(gè)特點(diǎn)有助于下采樣的各個(gè)階段的信息在上采樣過程中進(jìn)行整合，使得整個(gè)網(wǎng)絡(luò)可以更好地學(xué)習(xí)圖像的所有信息。

Net網(wǎng)絡(luò)不足之處是它編碼器層數(shù)太淺，參數(shù)較少，當(dāng)數(shù)據(jù)量較小時(shí)網(wǎng)絡(luò)表現(xiàn)相對(duì)其他網(wǎng)絡(luò)較好，但這會(huì)造成網(wǎng)絡(luò)容易過擬合，對(duì)輸入圖像特征提取的能力較弱。本文選則使用ResNet34來替換U-Net網(wǎng)絡(luò)的編碼器部分，加深網(wǎng)絡(luò)的編碼器部分，同時(shí)利用殘差機(jī)制使得網(wǎng)絡(luò)能夠快速收斂，并加入了注意力機(jī)制，進(jìn)一步提高整個(gè)網(wǎng)絡(luò)的特征提取能力。

本文在編碼器和解碼器之間添加了一個(gè)橋接層，它是由3個(gè)卷積層構(gòu)成，每個(gè)卷積層都是由512個(gè)空洞卷積（Dilated=2）3×3的濾波器組成，利用空洞卷積擴(kuò)大卷積核的感受野，該結(jié)構(gòu)可以幫助網(wǎng)絡(luò)更好地獲取全局信息，使得模型在提取耕地時(shí)邊緣更加準(zhǔn)確。

右側(cè)為解碼器部分，解碼器部分通過跳躍連接與解碼器部分相連，可以將深層網(wǎng)絡(luò)語義信息豐富的抽象特征與淺層網(wǎng)絡(luò)豐富的細(xì)節(jié)信息相結(jié)合，通過上采樣操作逐步恢復(fù)到原圖像大小，最后通過一個(gè)卷積層得到耕地提取的結(jié)果。

2 實(shí)驗(yàn)研究及分析

實(shí)驗(yàn)是在Ubuntu 18.04.2 LTS操作系統(tǒng)上進(jìn)行的，主要的編程語言為Python，深度學(xué)習(xí)的框架為PyTorch1.1.0，服務(wù)器搭載了4塊NVIDIA GeForce RTX 2080Ti顯卡，顯存容量11GB。

2.1 評(píng)價(jià)指標(biāo)

語義分割任務(wù)也可以理解為是一個(gè)分類任務(wù)，其目的是對(duì)輸入圖像進(jìn)行逐像素判斷，進(jìn)而輸出分割結(jié)果。對(duì)于分類任務(wù)而言，預(yù)測(cè)結(jié)果往往有4種情況。

（1）TP（True Positive）：真正例，模型預(yù)測(cè)為正例，實(shí)際是正例（模型預(yù)測(cè)為類別1，實(shí)際是類別1）；

（2）FP（False Positive）：假正例，模型預(yù)測(cè)為正例，實(shí)際是反例（模型預(yù)測(cè)為類別1，實(shí)際是類別2）；（3）FN（False Negative）：假反例，模型預(yù)測(cè)為反例，實(shí)際是正例（模型預(yù)測(cè)為類別2，實(shí)際是類別1）；（4）TN（True Negative）：真反例，模型預(yù)測(cè)為反例，實(shí)際是反例（模型預(yù)測(cè)為類別2，實(shí)際是類別2）。

交并比（IoU）：模型對(duì)某一類別預(yù)測(cè)結(jié)果和真實(shí)值的交集與并集的比值。

本實(shí)驗(yàn)選取MIoU作為評(píng)價(jià)指標(biāo)。MIoU的定義是：計(jì)算真實(shí)值和預(yù)測(cè)值兩個(gè)集合的交集和并集之比。計(jì)算公式如式（1）所示：

在公式（1）中i代表真實(shí)類別，j代表預(yù)測(cè)類別，k+1代表類別數(shù)。

這個(gè)比例也可以用TP（交集）比上TP、FP、FN之和（并集）。即如式（2）所示：

2.2 實(shí)驗(yàn)結(jié)果

訓(xùn)練得到的最終模型在測(cè)試集獲得預(yù)測(cè)結(jié)果的MIoU可以達(dá)到74.3%，部分圖像的預(yù)測(cè)結(jié)果如圖2所示，從預(yù)測(cè)結(jié)果可以看出，我們的網(wǎng)絡(luò)表現(xiàn)出了很強(qiáng)的提取能力，能夠準(zhǔn)確區(qū)分耕地和非耕地的區(qū)域，甚至標(biāo)簽中并未細(xì)分的道路在我們的模型中也能準(zhǔn)確區(qū)分。圖2顯示，我們的網(wǎng)絡(luò)對(duì)村莊附近的耕地、全耕地影響以及形狀不規(guī)整的耕地都有較高的精度。同時(shí)，在邊界細(xì)節(jié)上也表現(xiàn)出了很好的效果，且提取結(jié)果可以矢量化之后在GIS軟件中顯示，從而減少從業(yè)人員的工作量。

圖2 部分圖像的預(yù)測(cè)結(jié)果圖Fig.2 Prediction results of some images

2.3 實(shí)驗(yàn)對(duì)比

為了更好地對(duì)本文提出的網(wǎng)絡(luò)進(jìn)行評(píng)估，我們進(jìn)行了兩組對(duì)比實(shí)驗(yàn)，分別在U-Net網(wǎng)絡(luò)和FCN網(wǎng)絡(luò)上進(jìn)行了實(shí)驗(yàn)，第一組實(shí)驗(yàn)就是未經(jīng)修改的FCN網(wǎng)絡(luò)；第二組實(shí)驗(yàn)是搭載VGG網(wǎng)絡(luò)的U-Net網(wǎng)絡(luò)。實(shí)驗(yàn)結(jié)果如表2所示。

表2 不同方法獲得的預(yù)測(cè)圖像平均交并比Tab.2 Average cross merge ratio of predicted images obtained by different methods

從表2可以看出，我們網(wǎng)絡(luò)的MIoU評(píng)價(jià)指標(biāo)明顯優(yōu)于FCN與搭載VGG網(wǎng)絡(luò)的U-Net，F(xiàn)CN網(wǎng)絡(luò)雖然層數(shù)較少，提取速度較快，但礙于其網(wǎng)絡(luò)參數(shù)少，對(duì)于耕地的提取效果欠佳。搭載VGG網(wǎng)絡(luò)的U-Net效果優(yōu)于FCN，因?yàn)閂GG網(wǎng)絡(luò)加深了U-Net的編碼器結(jié)構(gòu)，一定程度上優(yōu)化了U-Net的提取效果。我們的模型得益于ResNet和空洞卷積機(jī)制，使得網(wǎng)絡(luò)精度較高，同時(shí)因?yàn)镽esNet的殘差機(jī)制，網(wǎng)絡(luò)訓(xùn)練時(shí)收斂較快，不會(huì)消耗過多時(shí)間。

3 結(jié)語

本文所研究的基于深度學(xué)習(xí)的耕地提取方法，通過使用Pytorch深度學(xué)習(xí)框架，以U-Net網(wǎng)絡(luò)作為基礎(chǔ)，使用ResNet34網(wǎng)絡(luò)作為編碼器結(jié)構(gòu)，在橋接層中使用擴(kuò)張卷積增大感受野，使網(wǎng)絡(luò)可以獲取全局信息。網(wǎng)絡(luò)搭建完成后在我們處理好的6通道數(shù)據(jù)上進(jìn)行訓(xùn)練，在訓(xùn)練過程中加入數(shù)據(jù)增強(qiáng)操作。通過最終的預(yù)測(cè)結(jié)果表明，本文構(gòu)建的網(wǎng)絡(luò)相比于U-Net網(wǎng)絡(luò)，F(xiàn)CN網(wǎng)絡(luò)具有更強(qiáng)的分割能力。

引用

[1]姚成勝,滕毅,黃琳.中國糧食安全評(píng)價(jià)指標(biāo)體系構(gòu)建及實(shí)證分析[J].農(nóng)業(yè)工程學(xué)報(bào),2015,31(4):1-10.

[2]宋蓓蓓,馬穗娜,何帆,等.Res2-Unet深度學(xué)習(xí)網(wǎng)絡(luò)的RGB-高光譜圖像重建[J].光學(xué)精密工程,2022,30(13):1606-1619.

[3]田振坤,傅鶯鶯,劉素紅,等.基于無人機(jī)低空遙感的農(nóng)作物快速分類方法[J].農(nóng)業(yè)工程學(xué)報(bào),2013,29(7):109-116+295.