基于多源遙感數(shù)據(jù)融合和LSTM算法的作物分類研究

解 毅，張永清，荀 蘭，柴旭榮

基于多源遙感數(shù)據(jù)融合和LSTM算法的作物分類研究

解 毅1，張永清1，荀 蘭2，柴旭榮1

（1. 山西師范大學(xué)地理科學(xué)學(xué)院，臨汾 041004； 2. 中國(guó)科學(xué)院空天信息研究院，北京 100094）

準(zhǔn)確、及時(shí)地獲取農(nóng)作物的空間分布信息，對(duì)于指導(dǎo)農(nóng)業(yè)生產(chǎn)、制定農(nóng)業(yè)政策具有重要意義。為了檢驗(yàn)長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)（long short-term memory，LSTM）算法在基于時(shí)序遙感數(shù)據(jù)進(jìn)行作物分類中的優(yōu)勢(shì)，該文以臨汾盆地為研究區(qū)域，利用Savitzky-Golay濾波對(duì)MODIS NDVI進(jìn)行平滑處理，并采用ESTARFM（enhanced spatial and temporal adaptive reflectance fusion model）算法對(duì)濾波后的MODIS NDVI和Landsat NDVI進(jìn)行融合，生成空間分辨率為30 m、時(shí)間分辨率為8天的時(shí)序NDVI?；贚andsat NDVI利用LSTM算法進(jìn)行作物分類，同時(shí)，基于融合NDVI分別利用LSTM算法和神經(jīng)網(wǎng)絡(luò)（neural network，NN）算法進(jìn)行作物分類，并對(duì)比3種方法的分類精度。結(jié)果表明，Savitzky-Golay濾波后的時(shí)序MODIS NDVI能夠反映不同作物的物候特征；基于融合NDVI的分類精度明顯高于基于Landsat NDVI的分類精度，表明融合后的時(shí)序NDVI由于具有更高的時(shí)間分辨率，能夠更加突出不同作物的物候特征，顯著提高作物分類精度；基于融合NDVI和LSTM算法的分類精度高于基于融合NDVI和NN算法的分類精度，前者的冬小麥面積估測(cè)精度高于后者的估測(cè)精度，表明LSTM算法的分類精度高于NN算法。該文可為基于遙感影像進(jìn)行不同作物種植區(qū)域提取的研究提供重要的方法參考。

作物；遙感；分類；數(shù)據(jù)融合；物候特征；長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)；神經(jīng)網(wǎng)絡(luò)

0 引 言

作物類型遙感識(shí)別是提取不同作物種植面積、作物長(zhǎng)勢(shì)分析及產(chǎn)量估測(cè)、預(yù)測(cè)的基礎(chǔ)，也是農(nóng)情遙感監(jiān)測(cè)的重要內(nèi)容[1-5]。時(shí)間序列遙感數(shù)據(jù)能夠反映不同作物的物候特征，比單一時(shí)相遙感數(shù)據(jù)在識(shí)別不同作物類型或不同作物種植結(jié)構(gòu)上更有優(yōu)勢(shì)[6-10]。時(shí)間分辨率高的遙感數(shù)據(jù)（如MODIS數(shù)據(jù)）其空間分辨率較低（250～1 000 m），在進(jìn)行作物分類時(shí)存在混合像素的問(wèn)題，而中、高空間分辨率的遙感數(shù)據(jù)回訪周期較長(zhǎng)，例如，在遙感分類中被廣泛應(yīng)用的Landsat數(shù)據(jù)，其時(shí)間分辨率為16 d，且在作物生長(zhǎng)的主要生育期由于云的干擾，很難獲得充足的Landsat數(shù)據(jù)用以提取作物的物候信息[11-13]。因此，將MODIS和Landsat數(shù)據(jù)進(jìn)行融合，獲取中空間、高時(shí)間分辨率的時(shí)序遙感數(shù)據(jù)，是基于作物物候特征進(jìn)行不同作物分類的有效途徑[14-16]。

在遙感數(shù)據(jù)融合方面，Gao等[17]提出了自適應(yīng)遙感影像融合模型（spatial and temporal adaptive reflectance fusion model，STARFM）用于融合Landsat和MODIS數(shù)據(jù)，構(gòu)建以天為尺度的30 m分辨率的時(shí)序數(shù)據(jù)，該算法在融合過(guò)程中能夠同時(shí)考慮研究區(qū)域的時(shí)間、空間差異性，是目前應(yīng)用最廣泛的時(shí)空融合模型之一。然而，在異質(zhì)性較強(qiáng)的區(qū)域，空間分辨率較低的MODIS數(shù)據(jù)容易產(chǎn)生混合像素問(wèn)題，從而影響STARFM算法的融合精度。通過(guò)假設(shè)地表反射率在一段時(shí)間內(nèi)為線性變化，且混合像素反射率為不同地表類型反射率的線性組合，針對(duì)異質(zhì)性強(qiáng)的區(qū)域，Zhu等[18]提出了增強(qiáng)型STARFM（enhanced STARFM，ESTARFM）算法，該算法在STARFM算法的基礎(chǔ)上引入一個(gè)轉(zhuǎn)換系數(shù)來(lái)提高數(shù)據(jù)融合的精度，被廣泛應(yīng)用于遙感數(shù)據(jù)融合的研究。

近年來(lái)，深度學(xué)習(xí)方法被逐漸應(yīng)用于遙感影像的自動(dòng)分類，如卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）、層疊去噪自編碼器（stacked denoising auto-encoders，SDAE）、深度信念網(wǎng)絡(luò)（deep belief network，DBN）和循環(huán)神經(jīng)網(wǎng)絡(luò)（recurrent neural network，RNN）等，這些算法均被證明能夠有效地應(yīng)用于光學(xué)影像（高光譜、多光譜影像）和雷達(dá)影像的處理以及不同土地覆蓋分類研究[19-23]。目前，大多數(shù)研究主要是基于深度學(xué)習(xí)方法利用單一時(shí)相的遙感影像進(jìn)行土地覆蓋和作物類型的分類，然而，結(jié)合時(shí)間序列遙感數(shù)據(jù)和不同作物的物候特征能夠更加準(zhǔn)確地區(qū)分不同作物的種植區(qū)域。因此，Kussul等[24]結(jié)合Landsat-8和Sentinel-1A數(shù)據(jù)構(gòu)建時(shí)間序列遙感數(shù)據(jù)以提取作物物候特征，利用CNN算法進(jìn)行不同作物的分類，并取得了較高的分類精度。Sharma等[25]基于影像像素與其鄰域像素間的空間相關(guān)性，提出了一種基于塊的CNN算法（a patch-based CNN），并將其應(yīng)用于中空間分辨率時(shí)序遙感影像的分類，其分類精度明顯高于基于像素的CNN算法的精度。

CNN算法能夠較好地處理遙感影像的空間自相關(guān)性，但其不能充分地考慮復(fù)雜的時(shí)間相關(guān)性，因此，基于CNN算法不能夠充分地提取時(shí)序遙感數(shù)據(jù)所反映的作物物候特征，而RNN算法中的長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)（long short-term memory，LSTM）算法，能夠較好地處理時(shí)序遙感數(shù)據(jù)中的時(shí)間依賴性。LSTM算法基于循環(huán)的方式獲取時(shí)序數(shù)據(jù)中存在的時(shí)間相關(guān)性，被成功應(yīng)用于基于時(shí)序遙感數(shù)據(jù)的作物分類研究[26]。Zhong等[23]將LSTM算法應(yīng)用于時(shí)間序列Landsat EVI數(shù)據(jù)，從而對(duì)美國(guó)加利福尼亞州約洛縣的夏季作物進(jìn)行了分類。Ienco等[26]結(jié)合LSTM算法和時(shí)序遙感數(shù)據(jù)進(jìn)行不同作物的分類研究，結(jié)果表明，在異質(zhì)性強(qiáng)的區(qū)域，LSTM算法的分類精度高于傳統(tǒng)機(jī)器學(xué)習(xí)算法的精度。盡管目前已有研究將LSTM算法應(yīng)用于時(shí)序遙感數(shù)據(jù)的分類，但很少有研究基于LSTM算法對(duì)融合后的中空間、高時(shí)間分辨率的遙感數(shù)據(jù)進(jìn)行分類，并檢驗(yàn)不同時(shí)間分辨率數(shù)據(jù)對(duì)LSTM算法分類精度的影響。因此，本文融合MODIS和Landsat-8數(shù)據(jù)以構(gòu)建空間分辨率為30 m的時(shí)序遙感數(shù)據(jù)，結(jié)合時(shí)序遙感信息和LSTM算法進(jìn)行不同作物的分類研究。為了檢驗(yàn)該方法對(duì)遙感分類精度的影響，本文進(jìn)行以下2方面的對(duì)比：1）基于融合前的Landsat-8數(shù)據(jù)對(duì)LSTM模型進(jìn)行訓(xùn)練并分類，將其精度和融合數(shù)據(jù)的分類精度進(jìn)行對(duì)比；2）基于融合數(shù)據(jù)分別采用LSTM和神經(jīng)網(wǎng)絡(luò)（neural network，NN）算法進(jìn)行分類，并對(duì)比2種算法的精度。

1 研究區(qū)域和數(shù)據(jù)處理

1.1 研究區(qū)域概況

臨汾盆地包括整個(gè)汾河下游地區(qū)以及陜西韓城山前平原，長(zhǎng)約200 km，寬約20～25 km，面積約5 000 km2，海拔約400～500 m，自北向南主要包括洪洞縣、堯都區(qū)、襄汾縣、曲沃縣、侯馬市、新絳縣、稷山縣和河津市8個(gè)縣區(qū)（圖1）。臨汾盆地地處半干旱、半濕潤(rùn)季風(fēng)氣候區(qū)，屬溫帶大陸性氣候，雨熱同期，年平均降水量約500～600 mm，土壤肥沃，灌溉發(fā)達(dá)，是華北地區(qū)重要的糧食生產(chǎn)基地。

圖1 研究區(qū)域和樣點(diǎn)的分布

1.2 Landsat數(shù)據(jù)預(yù)處理

本研究獲取了臨汾盆地2015年全年云量小于10%的Landsat-8遙感影像，軌道號(hào)為126/035，傳感器類型為OLI/TIRS，影像獲取時(shí)間分別為2015-02-16、2015-05-23、2015-06-08、2015-07-26、2015-08-27、2015-09-12、2015-12-17。該影像來(lái)源于美國(guó)地質(zhì)勘查局網(wǎng)站（USGS, http://glovis.usgs.gov/）。對(duì)獲取的Landsat-8影像進(jìn)行輻射定標(biāo)、大氣校正和幾何校正預(yù)處理，然后計(jì)算歸一化植被指數(shù)（normalized difference vegetation index，NDVI）

式中NIR和RED分別為影像的近紅外波段和紅光波段反射率。

1.3 MODIS數(shù)據(jù)預(yù)處理

本文通過(guò)美國(guó)國(guó)家航空航天局網(wǎng)站（NASA，http://reverb.echo.nasa.gov/reverb/）獲取h26v05軌道的MODIS地表反射率產(chǎn)品（MOD09Q1），該產(chǎn)品的時(shí)間分辨率為8 d，空間分辨率為250 m。該產(chǎn)品為經(jīng)過(guò)幾何校正和大氣校正的標(biāo)準(zhǔn)2級(jí)產(chǎn)品，數(shù)據(jù)中包含的紅光和近紅外波段與Landsat-8對(duì)應(yīng)的波段如表1所示。利用MRT（MODIS Re-projection Tool）工具將MODIS數(shù)據(jù)重投影為UTM-WGS84坐標(biāo)系，對(duì)研究區(qū)域進(jìn)行裁剪并利用最近鄰域法將像素大小重采樣為240 m，以便后續(xù)利用Landsat-8數(shù)據(jù)進(jìn)行MODIS混合像素的分解[27]。將MODIS紅光和近紅外波段影像乘以10-4轉(zhuǎn)化為[0，1]的地表反射率，計(jì)算NDVI，從而構(gòu)建時(shí)間序列MODIS NDVI。

表1 Landsat-8和MODIS影像的對(duì)應(yīng)波段信息

1.4 樣本數(shù)據(jù)獲取

基于中國(guó)氣象數(shù)據(jù)網(wǎng)（http://data.cma.cn/）提供的農(nóng)氣資料、空間分辨率為30 m的全球地表覆蓋數(shù)據(jù)GlobeLand30、Google Earth高分辨率影像和野外調(diào)查數(shù)據(jù)獲取不同土地覆蓋和作物類型樣點(diǎn)的坐標(biāo)信息，分析不同樣點(diǎn)的時(shí)間序列NDVI的變化特征。根據(jù)冬小麥-夏玉米、春玉米、冬小麥、林地（包括果園）和建筑用地（包括裸地）區(qū)域的NDVI變化特征，隨機(jī)選取不同像素并對(duì)其時(shí)序NDVI進(jìn)行判定，確定該像素所屬類別，從而在原有樣本基礎(chǔ)上增加樣本數(shù)目，最終獲得冬小麥-夏玉米、林地（包括果園）、冬小麥、春玉米和建筑用地（包括裸地）的樣本數(shù)分別為100、80、58、68和70，樣點(diǎn)空間分布如圖1所示。每種土地覆蓋類型選取30個(gè)樣本作為驗(yàn)證樣本，其余樣本作為訓(xùn)練樣本。此外，本文采用GlobeLand30數(shù)據(jù)中水體的分布區(qū)域?qū)ρ芯繀^(qū)域進(jìn)行掩膜。

2 研究方法

本文的技術(shù)流程如圖2，首先對(duì)逐像素的時(shí)間序列MODIS NDVI進(jìn)行Savitzky-Golay（S-G）濾波處理，然后利用ESTARFM算法對(duì)濾波后的時(shí)序MODIS NDVI和Landsat NDVI進(jìn)行融合，獲得時(shí)間分辨率為8天、空間分辨率為30 m的融合NDVI。分別采用以下3種方法進(jìn)行分類：1）基于訓(xùn)練樣本的Landsat NDVI對(duì)LSTM模型進(jìn)行訓(xùn)練，采用訓(xùn)練后的模型對(duì)待測(cè)樣本進(jìn)行判定，獲得研究區(qū)域的作物分類圖（稱為“Landsat NDVI+LSTM”方法）；2）基于訓(xùn)練樣本的融合NDVI訓(xùn)練LSTM模型并進(jìn)行作物分類（稱為“融合 NDVI+LSTM”方法）；3）基于訓(xùn)練樣本的融合NDVI訓(xùn)練NN模型并進(jìn)行作物分類（稱為“融合 NDVI+NN”方法）。

2.1 S-G濾波處理

本文采用上包絡(luò)線S-G濾波對(duì)時(shí)序MODIS NDVI進(jìn)行平滑處理，獲得濾波后的時(shí)序MODIS NDVI，其計(jì)算方法為[28-29]

式中為濾波后的NDVI；全年有46幅MODIS NDVI影像，表示第1～46時(shí)相；為滑動(dòng)窗口的大小，設(shè)為5；為滑動(dòng)窗口內(nèi)第個(gè)原始NDVI；Eh為窗口內(nèi)第h個(gè)原始NDVI的濾波系數(shù)，即Savitzky-Golay多項(xiàng)式擬合的系數(shù)，通過(guò)查表獲得[30]。

2.2 遙感數(shù)據(jù)融合

采用ESTARFM算法融合時(shí)序MODIS NDVI和Landsat NDVI數(shù)據(jù)，獲得時(shí)間分辨率為8 d、空間分辨率為30 m的融合NDVI，其具體過(guò)程為：

1）類別定義及豐度提取。利用非監(jiān)督分類方法ISO-DATA對(duì)Landsat-8影像聚類獲得分類圖，在分類圖上創(chuàng)建大小為MODIS NDVI分辨率（240 m）像素尺度的網(wǎng)格，統(tǒng)計(jì)MODIS NDVI混合像素內(nèi)各土地覆蓋類別的面積占該像素面積的比例，得到各土地覆蓋類別的豐度。

2）降尺度數(shù)據(jù)獲取。利用全約束的混合像素線性分解模型對(duì)MODIS NDVI進(jìn)行分解[16]，得到各土地覆蓋類的NDVI均值。將求得的NDVI均值依照類別對(duì)應(yīng)到相應(yīng)像素上，獲得分解后的降尺度NDVI。

3）融合影像生成。在Landsat NDVI影像的局部窗口（窗口大小設(shè)為11×11個(gè)Landsat-8 OLI像素[16]）內(nèi)計(jì)算中心像素和相鄰像素間的NDVI差值，將NDVI差值小于閾值的像素作為中心像素的相似像素[18]。根據(jù)式（3）計(jì)算t時(shí)刻的逐個(gè)相似像素的Landsat NDVI與降尺度NDVI間的光譜差異性S

最后通過(guò)式（9）預(yù)測(cè)t時(shí)刻的30 m分辨率NDVI

2.3 作物分類與驗(yàn)證

最后分別將Landsat NDVI和融合NDVI代入訓(xùn)練后的LSTM模型進(jìn)行研究區(qū)域不同作物的分類，為了進(jìn)行對(duì)比，同時(shí)將融合NDVI代入NN模型進(jìn)行不同作物分類，本研究中利用ENVI工具實(shí)現(xiàn)NN模型的分類過(guò)程。通過(guò)驗(yàn)證樣本對(duì)3種方法的分類精度進(jìn)行檢驗(yàn)和對(duì)比，然后基于3種算法的分類結(jié)果估測(cè)小麥種植面積，并采用臨汾盆地各縣區(qū)的小麥種植面積統(tǒng)計(jì)數(shù)據(jù)進(jìn)一步對(duì)分類結(jié)果進(jìn)行檢驗(yàn)和對(duì)比。

3 結(jié)果與分析

3.1 Savitzky-Golay濾波

利用S-G濾波對(duì)逐像素的時(shí)間序列MODIS NDVI進(jìn)行平滑處理，獲得重構(gòu)的NDVI，以冬小麥-夏玉米和春玉米樣點(diǎn)的時(shí)序NDVI為例進(jìn)行分析（圖3）。結(jié)果表明，原始的MODIS NDVI曲線雖然呈現(xiàn)顯著的波峰、波谷特征，但由于云、大氣和MODIS數(shù)據(jù)質(zhì)量的影響，NDVI曲線呈現(xiàn)驟降現(xiàn)象，導(dǎo)致NDVI曲線從波谷到波峰呈鋸齒狀的不規(guī)則波動(dòng)，不利于進(jìn)行不同作物的物候特征分析。經(jīng)S-G濾波處理后的NDVI曲線由于去除了噪聲的影響而更加平滑，能夠清晰地反映時(shí)序NDVI的長(zhǎng)期變化趨勢(shì)及局部的突變信息，符合作物的生長(zhǎng)特征，能夠滿足識(shí)別不同作物種植模式的要求。

3.2 遙感數(shù)據(jù)融合

基于ESTARFM算法融合時(shí)序MODIS NDVI和Landsat NDVI，獲得逐像素的30 m分辨率時(shí)序NDVI。為了檢驗(yàn)ESTARFM算法的準(zhǔn)確性，通過(guò)2015年5月23日和7月26日的Landsat NDVI預(yù)測(cè)6月8日的30 m分辨率NDVI，并將其與6月8日的Landsat NDVI進(jìn)行對(duì)比（圖4a）；通過(guò)2015年7月26日和9月12日的Landsat NDVI預(yù)測(cè)8月27日的30 m分辨率NDVI，并將其與8月27日的Landsat NDVI進(jìn)行對(duì)比（圖4b）。結(jié)果表明，6月8日、8月27日的預(yù)測(cè)NDVI與Landsat NDVI間的相關(guān)系數(shù)分別為0.91和0.95，且散點(diǎn)主要分布在1:1線的附近，表明預(yù)測(cè)NDVI與Landsat NDVI間的線性相關(guān)性較高。因此，融合后的NDVI能夠有效地反映同時(shí)期Landsat NDVI的信息，能夠用于不同作物類型的識(shí)別。

圖3 S-G濾波后的冬小麥-夏玉米和春玉米的時(shí)間序列NDVI

圖4 Landsat NDVI和基于ESTARFM預(yù)測(cè)NDVI的散點(diǎn)圖

基于中國(guó)氣象數(shù)據(jù)網(wǎng)提供的農(nóng)氣資料、空間分辨率為30 m的全球地表覆蓋數(shù)據(jù)GlobeLand30、Google Earth高分辨率影像和野外調(diào)查數(shù)據(jù)獲取不同土地覆蓋和作物類型樣點(diǎn)的坐標(biāo)信息，并分析不同樣點(diǎn)的時(shí)序NDVI的物候特征（圖5）。結(jié)果表明，冬小麥-夏玉米種植區(qū)域的時(shí)序NDVI包含2個(gè)大的波峰和1個(gè)小的波峰，具有明顯的一年兩季種植模式的變化特征，第1個(gè)大波峰出現(xiàn)在DOY（day of year, 年積日）125左右，對(duì)應(yīng)于冬小麥的抽穗-灌漿期，第2個(gè)大波峰出現(xiàn)在DOY240左右，對(duì)應(yīng)于夏玉米的抽雄-灌漿期，小波峰出現(xiàn)在DOY330左右，對(duì)應(yīng)于冬小麥的分蘗期。單季冬小麥和單季春玉米種植區(qū)域的時(shí)序NDVI具有明顯的一年一季作物種植模式的物候特征，春玉米種植區(qū)域的時(shí)序NDVI僅包含1個(gè)波峰，出現(xiàn)在DOY200左右，對(duì)應(yīng)于春玉米的抽雄-灌漿期；單季冬小麥種植區(qū)域的時(shí)序NDVI包含1個(gè)大的波峰和1個(gè)小的波峰，大波峰出現(xiàn)在DOY125左右，對(duì)應(yīng)于冬小麥的抽穗-灌漿期，小波峰出現(xiàn)在DOY330左右，對(duì)應(yīng)于冬小麥的分蘗期。冬小麥-其他種植區(qū)域的時(shí)序NDVI包含1個(gè)大的波峰和2個(gè)小的波峰。在研究區(qū)域范圍內(nèi)，冬小麥-其他主要包括冬小麥-油葵、冬小麥-棉花和冬小麥-大豆等，由于這些作物種植模式的區(qū)域分布較少，本文將其與單季冬小麥合并為一類。林地（包括果園）區(qū)域的時(shí)序NDVI不具有明顯的作物物候特征，在DOY80左右NDVI開(kāi)始快速升高，然后基本保持穩(wěn)定，在DOY270左右NDVI開(kāi)始緩慢下降。建筑用地（包括裸地）區(qū)域的時(shí)序NDVI較低，不超過(guò)0.2，沒(méi)有明顯的波峰波谷現(xiàn)象。

圖5 不同土地覆蓋和作物類型的時(shí)序NDVI

3.3 分類結(jié)果及精度驗(yàn)證

將LSTM模型最終的h和全連接層、softmax層的神經(jīng)元實(shí)現(xiàn)連接并構(gòu)建代價(jià)函數(shù)，將訓(xùn)練樣本的30 m分辨率時(shí)序NDVI代入LSTM模型進(jìn)行訓(xùn)練，當(dāng)隱藏層維數(shù)分別為5、10和30時(shí)，分析多次迭代訓(xùn)練后代價(jià)函數(shù)的變化。結(jié)果表明，無(wú)論隱藏層維數(shù)為5、10或30，在2 000次迭代內(nèi)，代價(jià)函數(shù)均急劇下降，在2 000至4 000次迭代內(nèi)，代價(jià)函數(shù)緩慢下降，在4 000次迭代后，代價(jià)函數(shù)基本保持不變；當(dāng)隱藏層維數(shù)為5時(shí)，最終的h和softmax層直接連接，此時(shí)代價(jià)函數(shù)的最低值為0.55，低于隱藏層維數(shù)為10和30時(shí)的代價(jià)函數(shù)最低值（分別為0.66和0.65）。因此，本文將隱藏層維數(shù)設(shè)為5，迭代次數(shù)設(shè)置為4 000，對(duì)LSTM模型進(jìn)行訓(xùn)練。

基于Landsat NDVI+LSTM方法、融合NDVI+LSTM方法和融合NDVI+NN方法獲得的分類結(jié)果如圖6所示。結(jié)果表明，基于3種方法獲取的不同土地覆蓋和作物類型的分布區(qū)域大體一致，同時(shí)存在一些差異。基于Landsat NDVI+LSTM方法的臨汾盆地中南部的冬小麥-夏玉米分布區(qū)域略小于基于融合NDVI+LSTM方法以及基于融合NDVI+NN方法的分類結(jié)果；基于Landsat NDVI+LSTM方法的臨汾盆地西北部的冬小麥-夏玉米的分布區(qū)域略大于基于融合NDVI+LSTM方法以及基于融合NDVI+NN方法的分類結(jié)果。

圖6 臨汾盆地的土地覆蓋和作物類型的分類

采用混淆矩陣對(duì)分類結(jié)果進(jìn)行精度評(píng)價(jià)，評(píng)價(jià)指標(biāo)包括總體精度（overall accuracy，OA）、用戶精度（user’s accuracy，UA）、生產(chǎn)者精度（producer’s accuracy，PA）和Kappa系數(shù)4項(xiàng)（表2）。結(jié)果表明，3種方法的總體精度均大于80%，其中，融合NDVI+LSTM方法的總體精度（90.00%）、Kappa系數(shù)（0.88）以及融合NDVI+NN方法的總體精度（88.10%）、Kappa系數(shù)（0.86）明顯大于Landsat NDVI+LSTM方法的總體精度（82.86%）、Kappa系數(shù)（0.80），表明在基于物候信息進(jìn)行不同作物識(shí)別時(shí)，時(shí)序遙感數(shù)據(jù)的時(shí)間分辨率對(duì)分類精度有重要影響，分辨率越高，分類精度越高。融合NDVI+LSTM方法的分類結(jié)果中冬小麥-夏玉米、林地（包括果園）、冬小麥以及春玉米的UA、PA均明顯高于Landsat NDVI+LSTM方法分類結(jié)果對(duì)應(yīng)的UA、PA，這是因?yàn)橐陨?種作物種植模式的物候特征顯著，相比于離散的Landsat NDVI，融合后的時(shí)序NDVI更加突出物候特征，從而更利于對(duì)不同作物種植模式進(jìn)行識(shí)別。同時(shí)，融合NDVI+LSTM方法分類的總體精度、Kappa系數(shù)與融合NDVI+NN方法的分類精度相差不大，前者比后者略有提高，對(duì)于冬小麥-夏玉米、林地（包括果園）及建設(shè)用地和裸地，前者的UA、PA與后者相差不大，對(duì)于春玉米，前者的PA明顯大于后者。

表2 3種方法的分類精度對(duì)比

臨汾盆地包括洪洞縣、堯都區(qū)、襄汾縣、曲沃縣、侯馬市、新絳縣、稷山縣和河津市8個(gè)縣區(qū)，冬小麥?zhǔn)窃摰貐^(qū)的主要糧食作物之一，估測(cè)各縣區(qū)2015年的冬小麥種植面積，即分類圖中各縣區(qū)冬小麥-夏玉米和單季冬小麥像素所表示的面積之和，然后將各縣區(qū)的冬小麥估測(cè)面積和統(tǒng)計(jì)面積進(jìn)行相關(guān)性分析，并計(jì)算估測(cè)面積和統(tǒng)計(jì)面積間的相對(duì)誤差（relative error，RE）和均方根誤差（root mean square error，RMSE）（圖7）。結(jié)果表明，基于融合NDVI+LSTM方法（2=0.94，<0.001）和基于融合NDVI+NN方法（2=0.91，<0.001）的小麥估測(cè)面積與統(tǒng)計(jì)面積間的相關(guān)性明顯大于基于Landsat NDVI+LSTM方法的相關(guān)性（2=0.71，<0.01）。同時(shí)，基于融合NDVI+ LSTM方法（RE=9.89%，RMSE=3 023.37 hm2）和基于融合NDVI+NN方法（RE=11.78%，RMSE=4 386.40 hm2）的估測(cè)面積與統(tǒng)計(jì)面積間的RE、RMSE均小于基于Landsat NDVI+LSTM方法的RE、RMSE（RE=19.48%，RMSE= 7 712.88 hm2），表明相比于離散的Landsat NDVI，融合后的時(shí)序NDVI能夠有效地提高冬小麥面積估測(cè)精度。此外，基于融合NDVI+LSTM方法的估測(cè)面積和統(tǒng)計(jì)面積間的相關(guān)性大于基于融合NDVI+NN方法的相關(guān)性，前者的RE和RMSE均小于后者的RE和RMSE，表明LSTM算法比NN算法在估測(cè)作物面積方面更有優(yōu)勢(shì)。

圖7 臨汾盆地各縣區(qū)的冬小麥估測(cè)面積和統(tǒng)計(jì)面積的對(duì)比

4 討 論

本文基于ESTARFM算法融合時(shí)序MODIS NDVI和Landsat NDVI得到時(shí)間分辨率為8 d、空間分辨率為30 m的NDVI，相比于MODIS NDVI，融合后的NDVI的混合像素減少。相比于離散的Landsat NDVI，融合后的時(shí)序NDVI更利于反映作物生長(zhǎng)特征，從而更易于提取不同作物類型的物候信息，因而在作物分類和作物面積估測(cè)方面的精度更高。然而，基于Landsat NDVI和ESTARFM算法對(duì)MODIS NDVI混合像素分解的過(guò)程仍存在著不確定性，從而使作物分類結(jié)果產(chǎn)生誤差，同樣，30 m空間分辨率的Landsat NDVI在異質(zhì)性強(qiáng)的區(qū)域也存在著混合像素問(wèn)題。自2017年6月起，可獲取的Sentinel-2數(shù)據(jù)（包括Sentinel-2A和Sentinel-2B）的有效回訪周期為5 d，相比于Landsat-8數(shù)據(jù)，Sentinel-2數(shù)據(jù)的紅光波段和近紅外波段的空間分辨率更高（10 m）。因此，在今后的研究中可采用時(shí)間分辨率更高的時(shí)序Sentinel-2 NDVI數(shù)據(jù)進(jìn)行作物物候信息的提取，同時(shí)能夠避免混合像素分解產(chǎn)生的誤差，從而進(jìn)一步提高不同作物的分類精度。

深度學(xué)習(xí)中的LSTM算法能夠基于循環(huán)的方式獲取時(shí)序遙感數(shù)據(jù)中存在的時(shí)間相關(guān)性，進(jìn)而有效地提取作物物候信息從而識(shí)別不同作物種植區(qū)域。本文基于逐像素的時(shí)序NDVI利用LSTM算法進(jìn)行作物分類，利用混淆矩陣對(duì)分類結(jié)果進(jìn)行了精度評(píng)估，并根據(jù)分類結(jié)果獲取了臨汾盆地各縣區(qū)的冬小麥估測(cè)面積。相比于神經(jīng)網(wǎng)絡(luò)算法，LSTM算法的分類精度和冬小麥的面積估測(cè)精度均有所提高?；贚STM算法能夠從時(shí)序遙感數(shù)據(jù)中提取作物的物候信息，然而，在進(jìn)行作物分類時(shí)，遙感影像的紋理特征同樣能夠提供重要信息[31]，且CNN算法能夠較好地處理遙感影像上的空間相關(guān)性。因此，今后的研究中可將LSTM和CNN方法相結(jié)合，從而同時(shí)利用物候特征和空間紋理特征進(jìn)行不同作物的分類。

5 結(jié) 論

對(duì)臨汾盆地逐像素的時(shí)序MODIS NDVI進(jìn)行S-G濾波，然后基于ESTARFM算法融合Landsat NDVI和濾波后的時(shí)序MODIS NDVI，獲得時(shí)間分辨率為8 d、空間分辨率為30 m的NDVI，結(jié)合訓(xùn)練樣本的融合NDVI和LSTM算法進(jìn)行臨汾盆地不同作物的分類，并將其分類精度分別與基于Landsat NDVI、基于NN算法的分類精度進(jìn)行對(duì)比，主要結(jié)論為：

1）S-G濾波處理后的時(shí)序MODIS NDVI能夠有效地去除云、大氣和MODIS數(shù)據(jù)質(zhì)量的影響，從而反映不同作物的NDVI的長(zhǎng)期變化趨勢(shì)和局部突變信息，有效地表達(dá)了不同作物的物候特征。

2）基于ESTARFM算法融合生成的30 m分辨率NDVI與相同日期的Landsat NDVI間的線性相關(guān)性較高。基于融合NDVI的分類精度明顯高于基于Landsat NDVI的分類精度，且前者的小麥估測(cè)面積與統(tǒng)計(jì)面積間的誤差明顯低于后者的估測(cè)誤差，說(shuō)明NDVI時(shí)間分辨率的提高能夠更加突出作物物候特征，從而提高作物分類及面積估測(cè)精度；基于融合NDVI和LSTM的分類精度略高于基于融合NDVI和NN的分類精度，且前者的小麥估測(cè)面積與統(tǒng)計(jì)面積間的誤差低于后者的估測(cè)誤差，說(shuō)明基于LSTM算法的作物分類及面積估測(cè)精度優(yōu)于NN算法的精度。

[1] 王利民，劉佳，楊福剛，等. 基于GF-1衛(wèi)星遙感的冬小麥面積早期識(shí)別[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2015，31(11)：194－201.

Wang Limin, Liu Jia, Yang Fugang, et al. Early recognition of winter wheat area based on GF-1 satellite[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(11): 194—201. (in Chinese with English abstract)

[2] 歐陽(yáng)玲，毛德華，王宗明，等. 基于GF-1 與Landsat8 OLI 影像的作物種植結(jié)構(gòu)與產(chǎn)量分析[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2017，33(11)：147—156.

Ouyang Ling, Mao Dehua, Wang Zongming, et al. Analysis crops planting structure and yield based on GF-1 and Landsat8 OLI images[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(11): 147—156. (in Chinese with English abstract)

[3] 黃健熙，侯矞焯，蘇偉，等. 基于GF-1 WFV數(shù)據(jù)的玉米與大豆種植面積提取方法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2017，33(7)：164—170.

Huang Jianxi, Hou Yuzhuo, Su Wei, et al. Mapping corn and soybean cropped area with GF-1 WFV data[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(7): 164—170. (in Chinese with English abstract)

[4] Skakun S, Franch B, Vermote E, et al. Early season large-area winter crop mapping using MODIS NDVI data, growing degree days information and a Gaussian mixture model[J]. Remote Sensing of Environment, 2017, 195: 244—258.

[5] 郝鵬宇，唐華俊，陳仲新，等. 基于歷史增強(qiáng)型植被指數(shù)時(shí)序的農(nóng)作物類型早期識(shí)別[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2018，34(13)：179—186.

Hao Pengyu, Tang Huajun, Chen Zhongxin, et al. Early season crop type recognition based on historical EVI time series[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(13): 179—186. (in Chinese with English abstract)

[6] Bargiel D. A new method for crop classification combining time series of radar images and crop phenology information[J]. Remote Sensing of Environment, 2017, 198: 369—383.

[7] Clark M L. Comparison of simulated hyperspectral HyspIRI and multispectral Landsat 8 and Sentinel-2 imagery for multi-seasonal, regional land-cover mapping[J]. Remote Sensing of Environment, 2017, 200: 311—325.

[8] Veloso A, Mermoz S, Bouvet A, et al. Understanding the temporal behavior of crops using Sentinel-1 and Sentinel-2-like data for agricultural applications[J]. Remote Sensing of Environment, 2017, 199: 415—426.

[9] 王鵬新，荀蘭，李俐，等. 基于時(shí)間序列葉面積指數(shù)傅里葉變換的作物種植區(qū)域提取[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2017，33(21)：207—215.

Wang Pengxin, Xun Lan, Li Li, et al. Extraction of planting areas of main crops based on Fourier transformed characteristics of time series leaf area index products[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(21): 207－215. (in Chinese with English abstract)

[10] 常布輝，王軍濤，羅玉麗，等. 河套灌區(qū)沈?yàn)豕嘤騁F-1/WFV 遙感耕地提取[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2017，33(23)：188—195.

Chang Buhui, Wang Juntao, Luo Yuli, et al. Cultivated land extraction based on GF-1/WFV remote sensing in Shenwu irrigation area of Hetao Irrigation District[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(23): 188—195. (in Chinese with English abstract)

[11] 許青云，楊貴軍，龍慧靈，等. 基于MODIS NDVI多年時(shí)序數(shù)據(jù)的農(nóng)作物種植識(shí)別[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2014，30(11)：134—144.

Xu Qingyun, Yang Guijun, Long Huiling, et al. Crop information identification based on MODIS NDVI time-series data[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2014, 30(11): 134—144. (in Chinese with English abstract)

[12] 王連喜，徐勝男，李琪，等. 基于決策樹(shù)和混合像元分解的江蘇省冬小麥種植面積提取[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2016，32(5)：182—187.

Wang Lianxi, Xu Shengnan, Li Qi, et al. Extraction of winter wheat planted area in Jiangsu province using decision tree and mixed-pixel methods[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2016, 32(5): 182—187. (in Chinese with English abstract)

[13] Cai Yaping, Guan Kaiyu, Peng Jian, et al. A high-performance and in-season classification system of field-level crop types using time-series Landsat data and a machine learning approach[J]. Remote Sensing of Environment, 2018, 210: 35—47.

[14] Emelyanova I V, Mcvicar T R, Van Niel T G, et al. Assessing the accuracy of blending Landsat-MODIS surface reflectances in two landscapes with contrasting spatial and temporal dynamics: A framework for algorithm selection[J]. Remote Sensing of Environment, 2013, 133: 193—209.

[15] Jia Kun, Liang Shunlin, Zhang Ning, et al. Land cover classification of finer resolution remote sensing data integrating temporal features from time series coarser resolution data[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2014, 93(7): 49—55.

[16] 謝登峰，張錦水，孫佩軍，等. 結(jié)合像元分解和STARFM 模型的遙感數(shù)據(jù)融合[J]. 遙感學(xué)報(bào)，2016，20(1)：62—72.

Xie Dengfeng, Zhang Jinshui, Sun Peijun, et al. Remote sensing data fusion by combining STARFM and downscaling mixed pixel algorithm[J]. Journal of Remote Sensing, 2016, 20(1): 62—72. (in Chinese with English abstract)

[17] Gao Feng, Masek J, Schwaller M, et al. On the blending of the Landsat and MODIS surface reflectance: Predicting daily Landsat surface reflectance[J]. IEEE Transactions on Geoscience and Remote Sensing, 2006, 44(8): 2207—2218.

[18] Zhu Xiaolin, Chen Jin, Gao Feng, et al. An enhanced spatial and temporal adaptive reflectance fusion model for complex heterogeneous regions[J]. Remote Sensing of Environment, 2010, 114: 2610—2623.

[19] Geng Jie, Fan Jianchao, Wang Hongyu, et al. High-resolution SAR image classification via deep convolutional autoencoders[J]. IEEE Geoscience and Remote Sensing Letters, 2015, 12(11): 2351—2355.

[20] Liang Heming, Li Qi. Hyperspectral imagery classification using sparse representations of convolutional neural network features[J]. Remote Sensing, 2016, 8(2): 1—16.

[21] Lyu Haobo, Lu Hui, Mou Lichao. Learning a transferable change rule from a recurrent neural network for land cover change detection[J]. Remote Sensing, 2016, 8(6): 1—22.

[22] Chen Yushi, Lin Zhouhan, Zhao Xing, et al. Deep learning-based classification of hyperspectral data[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2017, 7(6): 2094—2107.

[23] Zhong Liheng, Hu Lina, Zhou Hang. Deep learning based multi-temporal crop classification[J]. Remote Sensing of Environment, 2019, 221: 430—443.

[24] Kussul N, Lavreniuk M, Skakun S, et al. Deep learning classification of land cover and crop types using remote sensing data[J]. IEEE Geoscience and Remote Sensing Letters, 2017, 14(5): 778—782.

[25] Sharma A, Liu Xiuwen, Yang Xiaojun, et al. A patch-based convolutional neural network for remote sensing image classification[J]. Neural Networks, 2017, 95: 19—28.

[26] Ienco D, Gaetano R, Dupaquier C, et al. Land cover classification via multitemporal spatial data by deep recurrent neural networks[J]. IEEE Geoscience and Remote Sensing Letters, 2017, 14(10): 1685—1689.

[27] 鄔明權(quán)，牛錚，王長(zhǎng)耀. 利用遙感數(shù)據(jù)時(shí)空融合技術(shù)提取水稻種植面積[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2010，26(增刊2)：48—52.

Wu Mingquan, Niu Zheng, Wang Changyao. Mapping paddy fields by using spatial and temporal remote sensing data fusion technology[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2010, 26(Supp.2): 48—52. (in Chinese with English abstract)

[28] Chen Jin, J?nsson P, Tamura M, et al. A simple method for reconstructing a high-quality NDVI time-series data set based on the Savitzky-Golay filter[J]. Remote Sensing of Environment, 2004, 91: 332—344.

[29] Xun Lan, Wang Pengxin, Li Li, et al. Identifying crop planting areas using Fourier-transformed feature of time series MODIS leaf area index and sparse-representation- based classification in the North China Plain[J]. International Journal of Remote Sensing, 2018: 1—19.

[30] Savitzky A, Golay M J E. Smoothing and differentiation of data by simplified least squares procedures[J]. Analytical Chemistry, 1964, 36(8): 1627—1639.

[31] Zhang Lefei, Zhang Liangpei, Tao Dacheng, et al. On combining multiple features for hyperspectral remote sensing image classification[J]. IEEE Transactions on Geoscience and Remote Sensing, 2012, 50(3): 879—893.

Crop classification based on multi-source remote sensing data fusion and LSTM algorithm

Xie Yi1, Zhang Yongqing1, Xun Lan2, Chai Xurong1

(1.,,041004,; 2,,100094,)

Accurate distribution information of crop types is vital for monitoring crop growth, guiding agricultural production, and making effective management measurements. Time series remote sensing data can reflect phenological characteristics of crops, which have more advantages than single temporal data in identifying crop types or planting patterns. MODIS and Landsat data can be fused to obtain time series data with medium spatial resolution and high temporal resolution, which can be used for classifying different crops based on phenology characteristics. In this study, in order to test the accuracy of combining long short-term memory (LSTM) algorithm with time series remote sensing data in crop classification, the Linfen basin was chosen as the study area for obtaining crop distribution map. At first, the Savitzky-Golay filter was used to denoise and reconstruct time series MODIS NDVI data. Then the filtered MODIS NDVI and Landsat NDVI were merged by the enhanced spatial and temporal adaptive reflectance fusion model (ESTARFM) to generate time series NDVI with a spatial resolution of 30 m pixel by pixel. Based on field investigation, GlobeLand30 data, Google Earth images and agro-meteorological stations data, we obtained the coordinate information of several sampling sites representing different land cover and crop types. The phenological characteristics of time series NDVI of the pixels covering the sampling sites were analyzed, and the types of randomly selected pixels were determined based on the phenological characteristics for increasing the number of sampling sites. Three methods were used for crop classification in this study: 1) the Landsat NDVI of training samples were used to train the LSTM model, and the trained LSTM model was adopted to determine the crop type pixel by pixel (called the Landsat NDVI+LSTM method); 2) the fused NDVI of training samples were used to train the LSTM model for crop classification (called the fused NDVI+LSTM method); and 3) the fused NDVI of training samples were used to train the neural network (NN) model for crop classification (called the fused NDVI+NN method). In order to compare the accuracies of the three methods, the classification accuracies were evaluated with the validation samples. The evaluation indexes included overall accuracy (OA) and Kappa coefficient. Also, the planting area of winter wheat for each county of the study area was estimated according to the crop classification map, and the relative error (RE) and root mean square error (RMSE) between estimated and statistical wheat areas were calculated for further validating the accuracies of the three methods. Results showed that the Savitzky-Golay filter can remove the influence of factors such as cloud and atmosphere, thus the reconstructed time series MODIS NDVI curves could reflect the phenological characteristics of crops effectively. Positive correlation between the fused NDVI and the Landsat NDVI indicated the fused NDVI can reflect the information of Landsat NDVI effectively. The classification accuracies based on the fused NDVI, either using the fused NDVI+LSTM (OA=90.00%, Kappa=0.88) or fused NDVI+NN (OA=88.10%, Kappa=0.86) methods, were significantly higher than the accuracy of the Landsat NDVI+LSTM method (OA=82.86%, Kappa=0.80). The RE and RMSE of the formers were lower than those of the latter. These results indicated that the fused time series NDVI could highlight the phenological information of different crop types, thus the classification accuracy can be improved significantly. In addition, the classification accuracy of the fused NDVI+LSTM method was slightly higher than that of the fused NDVI+NN method, and the RE and RMSE of the former were lower than those of the latter. These indicated that the classification accuracy of LSTM algorithm was higher than that of the NN algorithm. This study can provide an important reference for accurately extracting distribution information of different crops in the study area.

crops; remote sensing; classification; data fusion; phenological characteristics; long short-term memory; neural network

10.11975/j.issn.1002-6819.2019.15.017

S127

A

1002-6819(2019)-15-0129-09

2019-06-04

2019-07-28

國(guó)家自然科學(xué)基金面上項(xiàng)目（31571604）

解 毅，博士，講師，主要從事定量遙感及其在農(nóng)業(yè)中的應(yīng)用研究。Email：a791909926@163.com

解 毅，張永清，荀 蘭，柴旭榮. 基于多源遙感數(shù)據(jù)融合和LSTM算法的作物分類研究[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2019，35(15)：129－137. doi：10.11975/j.issn.1002-6819.2019.15.017 http://www.tcsae.org

Xie Yi, Zhang Yongqing, Xun Lan, Chai Xurong. Crop classification based on multi-source remote sensing data fusion and LSTM algorithm[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(15): 129－137. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2019.15.017 http://www.tcsae.org