基于SE-UNet的冬小麥種植區(qū)域提取方法

趙晉陵 詹媛媛 王 娟 黃林生

(1.安徽大學(xué)農(nóng)業(yè)生態(tài)大數(shù)據(jù)分析與應(yīng)用技術(shù)國家地方聯(lián)合工程研究中心， 合肥 230601； 2.安徽大學(xué)電子信息工程學(xué)院， 合肥 230601)

0 引言

中國是傳統(tǒng)農(nóng)業(yè)大國，城鎮(zhèn)化的快速發(fā)展和人口數(shù)量的不斷增加，使得糧食的供給壓力不斷增加。作物生長、覆蓋度、種植面積估算是農(nóng)業(yè)監(jiān)測的重要內(nèi)容[1]，其中及時、準(zhǔn)確地獲取作物的空間分布和種植面積是調(diào)整農(nóng)作物種植結(jié)構(gòu)的重要依據(jù)。依照傳統(tǒng)的方法，層層上報統(tǒng)計或者抽樣調(diào)查[2]，既浪費大量的人力物力，且效率較低，存在人為誤差，無法實現(xiàn)動態(tài)監(jiān)測。

遙感技術(shù)以其大面積同時觀測、低成本、時空動態(tài)監(jiān)測等優(yōu)勢被廣泛應(yīng)用。目前，用于作物種植面積監(jiān)測的影像有高、中、低分辨率影像，黃健熙等[3]以時序MODIS數(shù)據(jù)作為數(shù)據(jù)源提取冬小麥的空間分布，但由于數(shù)據(jù)源為中低分辨率遙感影像，不能很好地滿足應(yīng)用需求；李曉慧等[4]利用多時相Landsat-8 OLI影像，基于光譜角填圖結(jié)合決策樹分類方法提取農(nóng)作物分布情況，總體精度達到85.34%；趙葉等[5]基于Landsat-8 OLI影像，利用HSV閾值劃分方法區(qū)分冬小麥和非冬小麥，實現(xiàn)了河南省中南部冬小麥種植面積提??；李長春等[6]使用多生育期的Sentinel數(shù)據(jù)，采用隨機森林算法對河南省扶溝縣冬小麥進行提??；王冬利等[7]基于GF-1衛(wèi)星數(shù)據(jù)以歸一化植被指數(shù)(Normalized difference vegetation index，NDVI)為判別指標(biāo)，利用非監(jiān)督分類方法對河北省辛集市的冬小麥進行提取。傳統(tǒng)的監(jiān)督分類方法和非監(jiān)督分類方法只能提取作物圖像的紋理和顏色結(jié)構(gòu)等特征對作物種植區(qū)進行分類，不能提取更高層語義特征，魯棒性較差，分類結(jié)果不理想。

近幾年來，深度學(xué)習(xí)在圖像處理、自然語言處理、數(shù)據(jù)分析等領(lǐng)域取得了大量關(guān)鍵性突破[8-9]。目前，很多學(xué)者也在嘗試將深度學(xué)習(xí)應(yīng)用到遙感領(lǐng)域，探究其在遙感分類中的適用性[10-12]。FU等[13]利用FCN網(wǎng)絡(luò)對高分辨率遙感影像中的道路、植被、建筑物、水體進行分類識別，正確分割精度大于85%；HUANG等[14]利用Sentinel-2遙感影像，對SegNet進行改進，對河南省新蔡縣的花生種植面積進行提取，測試精度達到83.3%；CHEN等[15]對SegNet進行改進，用于遙感影像中建筑物的提取，在Inria數(shù)據(jù)集上進行測試，整體表現(xiàn)較好；ZHU等[16]利用GF-2和BJ-2遙感影像，對多時相遙感圖像進行分塊融合，利用Deeplabv3+網(wǎng)絡(luò)對甘蔗田進行提取，準(zhǔn)確率達到94.32%；DU等[17]基于多時相Landsat數(shù)據(jù)，利用U-Net網(wǎng)絡(luò)對美國阿肯色州的水稻進行分類，模型表現(xiàn)較好；ZHENG等[18]利用GF-2遙感影像，用U-Net網(wǎng)絡(luò)對5種類型地物進行分割，測試總體精度達到82.27%。其中，U-Net網(wǎng)絡(luò)因模型較小、參數(shù)量少被廣泛應(yīng)用，但U-Net因多次降采樣與上采樣會引起邊緣信息丟失問題，李萬琦等[19]在U-Net中加入SE模塊用于數(shù)值地表模型(Digital surface model，DSM)與RGB圖像融合的圖像語義分割。為避免因融合不同數(shù)據(jù)導(dǎo)致的數(shù)據(jù)丟失及引入噪聲問題，本文提出一種基于深度學(xué)習(xí)的小麥種植區(qū)域分類方法。利用Landsat-8 OLI衛(wèi)星數(shù)據(jù)為實驗數(shù)據(jù)，進行預(yù)處理后，標(biāo)注小麥種植區(qū)制作標(biāo)簽數(shù)據(jù)集?；赑ytorch平臺搭建改進U-Net分割模型，對測試影像進行分類，從而獲得分類結(jié)果。采用GF-6數(shù)據(jù)和Sentinel-2數(shù)據(jù)作為對比驗證數(shù)據(jù)，以驗證不同分辨率下冬小麥種植區(qū)域提取的效果。

1 研究區(qū)概況與研究數(shù)據(jù)

1.1 研究區(qū)概況

選取河北省石家莊市中部的正定縣和藁城區(qū)增村鎮(zhèn)作為研究區(qū)(圖1)[20]。其中，正定縣位于38°6′～38°22′N，114°23′～114°43′E，藁城區(qū)位于37°51′～38°18′N，114°39′～114°59′E。研究區(qū)屬溫帶半濕潤半干旱大陸性季風(fēng)氣候，大部分地區(qū)四季分明。年平均氣溫為12.9℃，年平均降水量為550 mm。耕地是本區(qū)域最主要的土地利用類型，冬小麥?zhǔn)亲钪饕募Z食作物之一。

1.2 數(shù)據(jù)來源

本研究主要獲取了Landsat-8、哨兵二號(Sentinel-2)和高分六號(GF-6)3種衛(wèi)星遙感數(shù)據(jù)，相關(guān)波段信息見表1。Landsat-8衛(wèi)星攜帶陸地成像儀(Operational land imager，OLI)和熱紅外傳感器(Thermal infrared sensor，TIRS)。本文使用OLI數(shù)據(jù)，OLI陸地成像儀以空間分辨率30 m(全色波段為15 m)在9個光譜波段捕捉地球表面的圖像，成像寬幅為185 km×185 km。河北省冬小麥大多于10月播種，次年6月收割，整個發(fā)育時期一般分為播種期、出苗期、分蘗期、越冬期、返青期、拔節(jié)期、抽穗期、灌漿期和成熟期9個階段，根據(jù)冬小麥的物候特征，處于灌漿期時長勢較好，而其他作物尚未播種或剛播種，此時冬小麥與其他地物差別較大，能夠?qū)崿F(xiàn)小麥種植區(qū)高精度分割提取，因此本文獲取遙感影像數(shù)據(jù)日期均選擇小麥灌漿乳熟期，即5月中下旬左右。在地理空間數(shù)據(jù)云(http:∥www.gscloud.cn/)下載Landsat-8 OLI河北省石家莊正定縣和藁城區(qū)的增村鎮(zhèn)2019年5月20日的影像。本研究主要用波段2、3、4、8。

表1 選用的衛(wèi)星影像相關(guān)波段信息Tab.1 Band information of selected satellite imagery

Sentinel-2是一顆重訪周期為5 d的高分辨率多光譜成像衛(wèi)星，搭載一臺多光譜成像儀(Multi-spectral imagery，MSI)，包括2顆衛(wèi)星(2A和2B)。以空間分辨率10、20、60 m在13個光譜波段捕捉地球表面的圖像。本文使用的哨兵數(shù)據(jù)為Sentinel-2的Level-1C數(shù)據(jù)產(chǎn)品，來源于歐洲航天局的數(shù)據(jù)共享網(wǎng)絡(luò)(https:∥scihub.copernicus.eu/dhus/#/home)，下載2019年5月28日拍攝的哨兵二號遙感影像，本文主要用Sentinel-2A的波段2、3、4。

GF-6衛(wèi)星配備了一臺2 m全色/8 m多光譜高分辨率相機(PMS)和一臺16 m多光譜中分辨率寬幅相機(WFV)，具有高分辨率和寬覆蓋等特點，PMS觀測幅寬90 km，WFV觀測幅寬800 km。實驗選取2019年5月6日的高分影像，本研究主要用GF-6 PMS的波段B1、B2、B3。

1.3 數(shù)據(jù)處理

利用ENVI(Environment for visualizing images)軟件分別對獲取的Landsat-8 OLI影像、Sentinel-2A影像和GF-6 (PMS)影像進行預(yù)處理，預(yù)處理步驟包括：輻射定標(biāo)、大氣校正、圖像鑲嵌與裁剪和波段合成等，并對Landsat-8 OLI影像進行影像融合處理[21]。使用Gram-Schmidt Pan Sharpening方法將Landsat-8 OLI 15 m全色影像和30 m多光譜影像進行融合，得到分辨率為15 m的Landsat-8 OLI多光譜影像。

1.4 數(shù)據(jù)集構(gòu)建

選取正定縣和增村鎮(zhèn)范圍內(nèi)的影像作為原始數(shù)據(jù)源，其中，正定縣包含10個鎮(zhèn)的3種不同分辨率的遙感影像(Landsat-8 OLI、Sentinel-2、GF-6)，每種衛(wèi)星在每個鎮(zhèn)上各獲取1幅遙感影像，分別各獲得10幅遙感影像，增村鎮(zhèn)包含1幅遙感影像(Landsat-8 OLI)。首先，利用ArcGIS 軟件打開遙感影像，在原始影像上勾畫小麥區(qū)域矢量，并以PNG格式輸出生成標(biāo)簽，其中小麥類為白色，其像素為1，非小麥(背景)為黑色，像素為0。同時將原始遙感影像保存為JPG格式輸出，再將原始影像數(shù)據(jù)和標(biāo)簽數(shù)據(jù)隨機裁剪為256像素×256像素，原始影像數(shù)據(jù)與標(biāo)簽數(shù)據(jù)文件名一一對應(yīng)，同時進行了數(shù)據(jù)增強操作[22]：原始和標(biāo)簽圖像旋轉(zhuǎn)90°、180°、270°；原始和標(biāo)簽圖像沿Y軸進行鏡像操作；對原始影像進行模糊處理、對原始影像進行調(diào)光處理、對原始影像進行加噪操作(高斯噪聲、椒鹽噪聲)。將正定縣和增村鎮(zhèn)的影像分別作為訓(xùn)練數(shù)據(jù)與測試數(shù)據(jù)，以Landsat-8 OLI訓(xùn)練數(shù)據(jù)為例，將正定縣Landsat-8 OLI訓(xùn)練數(shù)據(jù)隨機裁剪為2 000個256像素×256像素的圖像-標(biāo)簽對，經(jīng)過數(shù)據(jù)增強至5 000個圖像-標(biāo)簽對，并按照9∶1劃分訓(xùn)練集和驗證集，另外將增村鎮(zhèn)Landsat-8 OLI測試數(shù)據(jù)裁剪為294幅256像素×256像素的圖像。數(shù)據(jù)制作流程如圖2所示。

圖2 實驗數(shù)據(jù)制作方法Fig.2 Production method of experimental data

2 SE-UNet模型構(gòu)建

2.1 U-Net模型改進

U-Net采用對稱的編碼器-解碼器結(jié)構(gòu)，如圖3所示，首先編碼器部分由4個卷積層組成，每個卷積層有兩個尺寸為3×3的卷積核。相鄰卷積層通過最大池化操作進行下采樣，通過多次卷積和池化來提取特征信息。對應(yīng)地，其解碼器也相應(yīng)通過轉(zhuǎn)置卷積進行4次上采樣將特征圖恢復(fù)到原圖分辨率。同時使用跳躍鏈接的方式將高級語義特征與淺層特征相融合，保留了更多的信息。遙感影像與醫(yī)學(xué)圖像相比往往具有更復(fù)雜的場景，目標(biāo)尺度大小不一、分布不均衡，為了更好地利用特征圖中的有效信息，可以選擇注意力機制結(jié)構(gòu)，抑制無用信息的利用，增加重要信息的權(quán)重，提高模型的預(yù)測性能。為了更準(zhǔn)確實現(xiàn)小麥區(qū)域的提取，本文引入了SE(Squeeze and excitation)模塊[23]。

圖3 U-Net架構(gòu)示意圖Fig.3 Schematic of U-Net structure

壓縮(Squeeze)和激勵(Excitation)是模塊中的兩個關(guān)鍵操作，其模塊結(jié)構(gòu)如圖4所示。壓縮操作對尺寸為H×W×C的特征圖進行全局平均池化，壓縮為1×1×C向量。激勵操作使用一個全連接神經(jīng)網(wǎng)絡(luò)，對壓縮之后的結(jié)果做一個非線性變換，將該操作得到的結(jié)果作為每個通道的權(quán)重。

圖4 SE模塊結(jié)構(gòu)示意圖Fig.4 Schematic of SE module

圖4中，U為輸入特征圖，尺寸為(H,W,C)，H、W、C分別為高、寬和通道數(shù)。首先將第c維特征圖uc進行壓縮操作(記為Fsq)，輸出zc，計算式為

(1)

式中i、j——特征圖在空間維的坐標(biāo)

將所有特征圖經(jīng)過壓縮操作輸出記為z。將z進行激勵操作(記為Fex)，結(jié)果為s，計算式為

s=Fex(z,w)=σ(w2,δ(w1,z))

(2)

式中w、w1、w2——全連接層中的權(quán)重

σ、δ——Sigmoid和ReLU激活函數(shù)

(3)

式中Fscale(uc,sc)——標(biāo)量sc與特征uc之間的對應(yīng)通道乘積

改進后的網(wǎng)絡(luò)整體架構(gòu)圖如圖5所示。實驗輸入圖像尺寸為256×256×3，輸入圖像通過兩個3×3的卷積操作，然后是一個校正線性單元(ReLU)和一個2×2最大池化操作，步長為2，用于下采樣。在每層激活函數(shù)前加入BN(Batch normalization)層[24]，抑制過擬合，提升訓(xùn)練穩(wěn)定性。與文獻[19]相比，在編碼和解碼路徑中每2個3×3卷積層后均添加SE模塊，它通過模型學(xué)習(xí)自動獲取每個特征通道的重要性，降低特征表達能力較弱的通道，加強特征表達能力強的通道。添加注意力模塊如圖6所示。下采樣后的特征圖再經(jīng)過擴張路徑中的上采樣得到高分辨率的特征圖。將低層特征圖與高層特征圖相結(jié)合，用于恢復(fù)特征信息，提高分類精度。在最后一層使用Softmax作為分類層，利用一個1×1卷積將每個64分量特征向量映射到所需的類數(shù)，將圖像分割為2類，一類為背景，另一類是小麥區(qū)域。

圖5 SE-UNet架構(gòu)示意圖Fig.5 Schematic of proposed SE-UNet structure

圖6 注意力模塊Fig.6 Attention blocks

2.2 分割精度評價指標(biāo)

采用平均像素精度(Mean pixel accuracy，MPA)與平均交并比(Mean intersection over union，MIoU)作為小麥分割的評價指標(biāo)[25]。指標(biāo)越大，表示模型分割效果越好。設(shè)數(shù)據(jù)集中可供分割的對象類別為k，則總的類別為k+1，其中1代表背景。本實驗包括小麥和背景兩類。

3 實驗與結(jié)果分析

3.1 實驗環(huán)境與模型訓(xùn)練

實驗環(huán)境為Intel Xeon Gold 6248R處理器，192 GB內(nèi)存，NVIDIA Quadro P4000顯卡，GPU加速庫采用CUDA 10.0，深度學(xué)習(xí)框架使用Pytorch。模型訓(xùn)練中，選擇Adam optimizer函數(shù)作為參數(shù)優(yōu)化器，采用交叉熵函數(shù)作為模型訓(xùn)練的損失函數(shù)，初始學(xué)習(xí)率為0.000 1，訓(xùn)練迭代次數(shù)為100，步長為8。

3.2 實驗結(jié)果分析

為了驗證本文方法，選取SegNet、Deeplabv3+、U-Net作為對比模型，其中3個對比模型與SE-UNet均使用相同訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)，使用平均像素精度和平均交并比作為評價方法的指標(biāo)。利用訓(xùn)練好的網(wǎng)絡(luò)模型對測試集中的數(shù)據(jù)進行預(yù)測，基于3個數(shù)據(jù)集不同預(yù)測模型對應(yīng)的評價指標(biāo)如表2所示。實驗均以Landsat-8藁城區(qū)增村鎮(zhèn)影像為測試集，以3種不同分辨率的正定縣各鎮(zhèn)影像構(gòu)成訓(xùn)練集分別進行模型訓(xùn)練，GF-6、Sentinel-2訓(xùn)練集構(gòu)成方法與Landsat-8一致，以GF-6作為訓(xùn)練影像在增村鎮(zhèn)Landsat-8測試集上不同模型預(yù)測結(jié)果如圖7所示；以Sentinel-2作為訓(xùn)練影像在增村鎮(zhèn)Landsat-8測試集上不同模型預(yù)測結(jié)果如圖8所示；以Landsat-8作為訓(xùn)練影像在增村鎮(zhèn)Landsat-8測試集上不同模型預(yù)測結(jié)果如圖9所示。由于Landsat-8、Sentinel-2和GF-6 3種數(shù)據(jù)的分辨率分別為15、10、8 m，所以圖中分辨率較高的小麥區(qū)域結(jié)果會比分辨率較低的區(qū)域大。在實驗結(jié)果中，選擇2幅具有代表性的結(jié)果圖，一幅為小麥較多，另一幅為小麥較少，且建筑物、裸土區(qū)域較多。從預(yù)測結(jié)果來看，SegNet分割方法明顯存在錯分漏分問題，分割結(jié)果圖在較多地方出現(xiàn)零散的預(yù)測部分，分割結(jié)果不太理想。Deeplabv3+的分割結(jié)果圖相對于其他方法明顯較為圓滑，小麥區(qū)域大面積的連在一起，不能很好地展現(xiàn)小麥田地棱角形狀，小麥區(qū)域的邊緣信息缺失嚴(yán)重。Deeplabv3+在用于識別建筑物等較大對象時效果較好，但用于識別冬小麥時，由于冬小麥種植區(qū)域的像素塊內(nèi)細節(jié)變化不大，可供利用的信息較少，不能很好地應(yīng)用于小面積的田狀、塊狀物的提取。U-Net整體效果表現(xiàn)較好，但依然存在部分邊緣信息缺失問題，尤其是當(dāng)小麥區(qū)域較少、裸土或建筑物較多情況時，通過加入SE模塊，突出關(guān)鍵特征，使得分割結(jié)果有較明顯的改善，緩解了復(fù)雜環(huán)境條件下少分、錯分問題的發(fā)生。

表2 不同模型分類效果對比Tab.2 Comparison of classification results by using different models %

圖7 基于GF-6數(shù)據(jù)不同模型預(yù)測增村鎮(zhèn)小麥區(qū)域Fig.7 Prediction of wheat areas in Zengcun Town based on different models from GF-6 data

圖8 基于Sentinel-2數(shù)據(jù)不同模型預(yù)測增村鎮(zhèn)小麥區(qū)域Fig.8 Prediction of wheat areas in Zengcun Town based on different models from Sentinel-2 data

圖9 基于Landsat-8數(shù)據(jù)不同模型預(yù)測增村鎮(zhèn)小麥區(qū)域Fig.9 Prediction of wheat areas in Zengcun Town based on different models from Landsat-8 data

整體來看，本文提出的方法在基于3個不同數(shù)據(jù)訓(xùn)練模型的測試效果都優(yōu)于其他方法，MPA和MIoU均為最高，以Landsat-8影像模型預(yù)測的MPA、MIoU分別達到89.88%和81.44%，以Sentinel-2影像模型預(yù)測的MPA、MIoU分別達到88.38%和76.15%，以GF-6影像模型預(yù)測的MPA、MIoU分別達到86.37%和75.03%。因分辨率不同的緣故，導(dǎo)致Sentinel-2和GF-6的預(yù)測小麥區(qū)域會偏大，以Landsat-8標(biāo)簽來計算MPA和MIoU會有所偏差，但從預(yù)測結(jié)果看，整體小麥區(qū)域位置基本沒有較大偏差，從而驗證了預(yù)測結(jié)果的真實性。

圖10為增村鎮(zhèn)Landsat-8整體預(yù)測圖，基于Landsat-8影像訓(xùn)練數(shù)據(jù)，SE-UNet方法預(yù)測的增村鎮(zhèn)整體結(jié)果如圖10c所示。部分小面積小麥區(qū)域以及夾雜其他作物的地方，出現(xiàn)少量少分情況，但從整體效果來看，該模型表現(xiàn)較好。

圖10 增村鎮(zhèn)Landsat-8整體預(yù)測結(jié)果Fig.10 Landsat-8 overall prediction results of Zengcun Town

4 結(jié)論

(1)針對傳統(tǒng)遙感分類方法的缺陷，采用深度學(xué)習(xí)方法進行研究，在U-Net網(wǎng)絡(luò)中添加注意力模塊，充分地考慮了特征的不同通道間的信息，改善小麥種植區(qū)的邊緣分割效果。

(2)利用不同分辨率的遙感影像對提取結(jié)果進行驗證，基于3種不同分辨率的預(yù)測模型測試結(jié)果均表現(xiàn)較好，與對比實驗方法相比，MPA、MIoU指標(biāo)均為最高。其中，以正定縣各鎮(zhèn)的Landsat-8影像為訓(xùn)練數(shù)據(jù)模型預(yù)測的MPA、MIoU分別達到89.88%和81.44%，實驗結(jié)果表明其在遙感影像小麥提取方面的可行性，但人工標(biāo)注樣本始終會存在一些誤差性，后續(xù)將繼續(xù)完善數(shù)據(jù)集，并嘗試分類器模型集成學(xué)習(xí)策略，進一步提高遙感影像小麥區(qū)域提取的精度和效率，以應(yīng)對更加復(fù)雜的應(yīng)用場景。