基于深度學(xué)習(xí)的多源遙感信息冬小麥提取研究

于立民 楊晶晶 楊 越 垢元培

（1.河北省地質(zhì)礦產(chǎn)勘查開發(fā)局第二地質(zhì)大隊(duì)（河北省礦山環(huán)境修復(fù)治理技術(shù)中心），河北 唐山 063000；2.唐山市文化旅游投資集團(tuán)有限公司，河北 唐山 063000）

冬小麥為我國的主要糧食作物之一，其播種面積占我國糧食播種面積的1/5，因而冬小麥?zhǔn)寝r(nóng)作物研究的主要對(duì)象。作物的種植面積關(guān)系到國家的糧食安全，收獲前及時(shí)、準(zhǔn)確地監(jiān)測作物種植面積對(duì)后期田間作物管理、糧食安全和災(zāi)害評(píng)估等具有重要意義。

國內(nèi)外學(xué)者從遙感數(shù)據(jù)源、分類方法等角度進(jìn)行了大量的深入研究。從數(shù)據(jù)源來看，冬小麥提取研究多基于中低分辨率的數(shù)據(jù)源，如Landsat-8、Sentinel-2等。高分辨率遙感影像包括更多的紋理、更飽滿的顏色信息[1]，有潛力得到更加精細(xì)的冬小麥提取結(jié)果。從作物種植信息識(shí)別提取的方法分析，主要有單時(shí)相法、多時(shí)相法2類。單時(shí)相法通常適用于種植結(jié)構(gòu)單一地區(qū)的作物識(shí)別，多時(shí)相法是根據(jù)作物的物候差異信息的變化規(guī)律進(jìn)行作物識(shí)別，可提高作物的識(shí)別精度。但目前基于多源遙感影像（GF2+GF7、ZY1和無人機(jī)影像）的冬小麥提取研究較少見，而且將多源遙感影像與物候信息相結(jié)合的冬小麥提取研究更少見。因此，該文提出了一種融合物候差異和多源遙感信息的深度學(xué)習(xí)冬小麥提取方法，利用冬小麥物候特征變化規(guī)律，精準(zhǔn)地提取冬小麥種植區(qū)。

1 研究區(qū)概況及數(shù)據(jù)獲取

1.1 研究區(qū)概況

研究區(qū)選擇了唐山市豐潤區(qū)的典型冬小麥種植區(qū)。研究區(qū)屬暖溫帶半濕潤的季風(fēng)型大陸性氣候區(qū)，季節(jié)四季分明，年平均氣溫10.8℃。冬小麥大多情況于10月份播種，次年6月份收割。根據(jù)豐潤區(qū)北高南低的地勢特征，將區(qū)域劃分為北部山區(qū)、中間山區(qū)與平原交界、南部平原3個(gè)部分。綜合地貌特征，選取豐潤區(qū)北部泉河頭鎮(zhèn)與姜家營鄉(xiāng)交界處、中部七樹莊鎮(zhèn)與豐潤鎮(zhèn)交界處、南部李釗莊鎮(zhèn)部分區(qū)域以及歡喜莊鄉(xiāng)部分區(qū)域共4個(gè)區(qū)域作為該文試驗(yàn)的研究區(qū)。

1.2 數(shù)據(jù)獲取與預(yù)處理

1.2.1 衛(wèi)星遙感數(shù)據(jù)獲取及預(yù)處理

該文使用ZY1、GF2+GF7衛(wèi)星遙感影像數(shù)據(jù)。采用的ZY1高分辨率影像拍攝時(shí)間為2023年2月，包括RGB 3個(gè)波段，空間分辨率為2m。GF2+GF7高分辨率影像拍攝時(shí)間為2023年3月底和5月底，包括RGB 3個(gè)波段，空間分辨率為1m。覆蓋了冬小麥3個(gè)典型生長季。利用ENVI軟件對(duì)衛(wèi)星影像進(jìn)行處理，處理包括正射校正、影像融合和影像鑲嵌等。最終得到返青期的ZY1、抽穗期的GF2+GF7以及成熟期的GF2影像數(shù)據(jù)。

1.2.2 無人機(jī)數(shù)據(jù)獲取及預(yù)處理

使用四旋翼精靈4無人機(jī)對(duì)試驗(yàn)區(qū)進(jìn)行航攝。航攝面積為70km2。試驗(yàn)安排在冬小麥返青期（2023年2月）、抽穗期（2023年4月）和 成熟期（2023年6月）。設(shè)計(jì)飛行高度為150m，旁向重疊度為70%，航向重疊度為80%。無人機(jī)航線設(shè)計(jì)運(yùn)用無人機(jī)管家軟件，影像地面分辨率為0.05m。將獲取的航攝影像檢查無誤后導(dǎo)入大疆智圖中進(jìn)行處理，選擇軟件中的農(nóng)田場景進(jìn)行DOM生產(chǎn)，最后通過Arc GIS10.2、ENVI5.3等軟件中進(jìn)行影像拼接、勻色和圖像裁剪等工作。

2 研究方法

選取豐潤區(qū)北部山區(qū)、山區(qū)與平原交界區(qū)以及平原地區(qū)中4個(gè)區(qū)域作為研究區(qū)，這些趨于區(qū)域能夠充分反映豐潤區(qū)整體的地貌特征。選擇區(qū)域1、區(qū)域2和區(qū)域3作為訓(xùn)練數(shù)據(jù)，構(gòu)建融合物候差異和多源遙感影像信息樣本庫，根據(jù)不同物候期影像中冬小麥的光譜信息、紋理特征以及分布密度等特性，基于MSFCNN模型，進(jìn)行3個(gè)物候期的冬小麥種植區(qū)提取。將區(qū)域2作為測試數(shù)據(jù)，并比較3個(gè)物候期冬小麥提取結(jié)果。將3個(gè)時(shí)相提取結(jié)果不一致的區(qū)域疊加到無人機(jī)影像上，利用冬小麥在3個(gè)物候期的“青-綠-黃”視覺顏色變化特征進(jìn)行人工校核樣本，并對(duì)樣本進(jìn)行更新和優(yōu)化，重新流程化訓(xùn)練分類模型，通過不斷地改進(jìn)深度學(xué)習(xí)模型和精度評(píng)估，最后得到滿意結(jié)果，并對(duì)區(qū)域4的無人機(jī)航飛影像和衛(wèi)星影像提取結(jié)果進(jìn)行對(duì)比和分析。

2.1 基于物候差異信息的樣本庫構(gòu)建

農(nóng)作物物候期是農(nóng)作物的生物學(xué)特性受到外界的氣象條件影響所表現(xiàn)出來的作物形態(tài)特征反應(yīng)[2]。冬小麥在不同的生育期具有不同的影像反演特征。2—3月進(jìn)入返青期的冬小麥葉片變?yōu)榍嗑G色，長勢比較稀疏，接著開始茁壯成長，葉片逐漸發(fā)綠。4月中下旬進(jìn)入抽穗期時(shí)，冬小麥莖和葉等器官逐漸發(fā)育，葉片逐漸變密，小麥的葉綠素逐漸積累，顏色變深，呈現(xiàn)為強(qiáng)植被。然后小麥的莖和葉逐漸變黃，6月上旬進(jìn)入最后的成熟期，顏色變?yōu)榻瘘S色。

基于深度學(xué)習(xí)的地物識(shí)別是根據(jù)計(jì)算機(jī)通過對(duì)影像樣本庫進(jìn)行大量的表征學(xué)習(xí)，獲得目標(biāo)地物的內(nèi)在特征，并根據(jù)獨(dú)有的特征進(jìn)行提取，從而實(shí)現(xiàn)目標(biāo)地物識(shí)別。構(gòu)建樣本庫是深度學(xué)習(xí)目標(biāo)地物自動(dòng)化提取的關(guān)鍵基礎(chǔ)，樣本庫的質(zhì)量直接關(guān)系到目標(biāo)地物提取的精確性。該文根據(jù)物候差異和影像特征信息進(jìn)行樣本庫構(gòu)建，能夠?yàn)榈乩砣斯ぶ悄芴崛√峁┬滤悸?。根?jù)先鳥瞰全圖、后精確細(xì)致的原則進(jìn)行樣本標(biāo)記。對(duì)冬小麥在返青期無人機(jī)影像上的顏色、紋理、形狀和空間分布特征進(jìn)行研判，利用目視解譯方法來快速標(biāo)記冬小麥。然后根據(jù)冬小麥在這3個(gè)物候期的“青-綠-黃”顏色變化規(guī)律進(jìn)行細(xì)致的人工校核（如圖1所示），進(jìn)一步精準(zhǔn)獲取冬小麥樣本數(shù)據(jù)。為保證冬小麥種植區(qū)提取的正確性，該文抽取部分冬小麥樣本在實(shí)地進(jìn)行調(diào)查驗(yàn)證，提高了調(diào)查地面樣本點(diǎn)的效率。共采集了區(qū)域內(nèi)冬小麥樣本數(shù)據(jù)900個(gè)，非冬小麥樣本數(shù)據(jù)100個(gè)。將非冬小麥統(tǒng)一歸為其他類別。利用Python工具勾繪冬小麥樣本，分別對(duì)區(qū)域1、區(qū)域2和區(qū)域3內(nèi)返青期、抽穗期和成熟期的影像進(jìn)行裁剪，形成冬小麥樣本標(biāo)簽與影像一一相對(duì)應(yīng)、尺寸為512×512像素的標(biāo)簽柵格文件，構(gòu)建冬小麥柵格數(shù)據(jù)集。在制作的冬小麥數(shù)據(jù)集中，原始影像包括R、G、B（紅、綠、藍(lán)）波段，標(biāo)記影像為單通道的灰度影像，標(biāo)記影像分為2個(gè)類別，紅色代表冬小麥數(shù)據(jù)，黑色代表其他（如圖2所示），兩者圖像均為TIF格式。

圖1 樣本標(biāo)注

圖2 樣本標(biāo)簽

2.2 構(gòu)建深度學(xué)習(xí)模型

深度學(xué)習(xí)模型的構(gòu)建是一個(gè)對(duì)參數(shù)不斷調(diào)整優(yōu)化和循環(huán)訓(xùn)練的過程，通過對(duì)所構(gòu)建的樣本數(shù)據(jù)庫不斷地迭代訓(xùn)練，計(jì)算機(jī)將根據(jù)影像特征構(gòu)建深度學(xué)習(xí)影像識(shí)別函數(shù)，不斷地計(jì)算和調(diào)整該模型函數(shù)之間的關(guān)系，實(shí)現(xiàn)較高精度的深度學(xué)習(xí)提取模型。對(duì)于后期調(diào)整增加變化的訓(xùn)練樣本數(shù)據(jù)庫，計(jì)算機(jī)能夠以遷移學(xué)習(xí)的方式對(duì)已有的該深度學(xué)習(xí)模型進(jìn)行繼續(xù)訓(xùn)練，從而達(dá)到高精度提取[3]。

在該文研究中，遙感數(shù)據(jù)源均為高分辨率，并且分辨率尺寸不同，分別為2m、1m和0.05m。針對(duì)冬小麥在不同數(shù)據(jù)源中的多尺度分布特征，在卷積神經(jīng)網(wǎng)絡(luò)模型基礎(chǔ)上，結(jié)合多尺度影像特征，構(gòu)建MSFCNN深度學(xué)習(xí)模型，進(jìn)行多源遙感信息的冬小麥種植區(qū)提取。該模型采用編碼-解碼模式，利用編碼模式，通過將膨脹卷積設(shè)置成不同膨脹率，逐步提取影像不同層次的特征。利用解碼模式，使用反卷積操作進(jìn)行特征影像的上采樣，將解碼器中的深層特征和編碼器中的淺層特征通過跳躍連接關(guān)聯(lián)到一起，從而更好地分割目標(biāo)的細(xì)節(jié)特征。模型的核心部分如公式（1）所示。該模型卷積層使用步長和大小都以1為單元的卷積核，卷積層的類別數(shù)量與卷積核數(shù)量相同，通過核心函數(shù)將類別數(shù)通道特征圖轉(zhuǎn)換為類別數(shù)通道的概率圖，從而得到每個(gè)像素的概率類別向量，最終得到相應(yīng)的分類結(jié)果。不僅可在較大程度上減少網(wǎng)絡(luò)參數(shù)，還能大幅增強(qiáng)網(wǎng)絡(luò)模型的非線性能力，使模型的學(xué)習(xí)能力更強(qiáng)。

2.3 精度評(píng)價(jià)指標(biāo)

采用平均交并比（Mean intersection over union，MIoU）、平均像素精度（Mean pixel accuracy，MPA）、斑塊漏檢率（PMR）和面積精度（AA）作為評(píng)判冬小麥模型構(gòu)建的指標(biāo)。該試驗(yàn)為使冬小麥作物更容易表達(dá)，將地物分為2類，其中0代表背景，2代表冬小麥。

3 試驗(yàn)與結(jié)果分析

試驗(yàn)環(huán)境為Intel（R）Core（TM）i9-9900k CPU處理器，GPU加速庫采用CONDA 11.0，NVIDIA GeForce RTX2080顯卡，深度學(xué)習(xí)框架使用Pytorch。該研究將構(gòu)建的返青期樣本數(shù)據(jù)集、抽穗期柵格數(shù)據(jù)集和成熟期柵格數(shù)據(jù)集分別輸入處理，將深度學(xué)習(xí)模型的初始率設(shè)置為0.0001，批處理大小設(shè)置為4，采用“categorical__crossentropy”損失函數(shù)，訓(xùn)練迭代次數(shù)設(shè)置為1000次。然后訓(xùn)練深度學(xué)習(xí)模型，最后用訓(xùn)練好的模型對(duì)區(qū)域4中的無人機(jī)影像和高分二號(hào)衛(wèi)星影像分別進(jìn)行影像分類驗(yàn)證。不同物候期冬小麥分類精度見表1，提取分類結(jié)果如圖3所示。

表1 不同物候期分類精度

圖3 不同物候期冬小麥提取結(jié)果局部圖

返青期冬小麥模型的平均像素精度為82.37，斑塊漏檢率為0.035，面積精度為0.84，農(nóng)作物大部分為冬小麥，少量為冬油菜，并且占的面積較小，整體上提取效果較好，長勢稀疏的個(gè)別地塊提取效果不明顯，會(huì)出現(xiàn)漏提的現(xiàn)象。抽穗期冬小麥模型的平均像素精度為80.31，斑塊漏檢率為0.039，面積精度為0.81，此時(shí)葉綠素達(dá)到最高值，顏色紋理更飽滿。但是早玉米、土豆作物隨之成長起來，另外地塊旁邊有成片的樹木，陰影等因素會(huì)對(duì)冬小麥識(shí)別造成干擾，容易形成混合像元，冬小麥斑塊漏檢率相對(duì)較大，無人機(jī)影像局部提取效果比衛(wèi)星影像局部提取效果更好。成熟期冬小麥模型的平均像素精度為83.22，斑塊漏檢率為0.030，面積精度為0.83，此時(shí)冬小麥特征比較明顯，在無人機(jī)影像上顏色特征比較一致，呈現(xiàn)黃色調(diào)，與其他地物形成鮮明對(duì)比，整體提取效果比較好，冬小麥斑塊漏檢率相對(duì)比較小。從圖3可看出，無人機(jī)影像分辨率為0.05，分辨率越高，冬小麥的提取越細(xì)致，紋理越清晰。衛(wèi)星影像提取的冬小麥大面積的區(qū)域連在一起，適合大面積作物種植提取。

4 結(jié)論

該文利用MSFCNN模型進(jìn)行冬小麥信息提取，可以解決多源影像中冬小麥柵格標(biāo)簽的分辨率不同、尺度不同的問題。僅利用單一時(shí)相的影像特征難以準(zhǔn)確區(qū)分作物類型，因此利用作物生長過程因物候差異信息表現(xiàn)出的變化特征，可實(shí)現(xiàn)冬小麥種植區(qū)的精準(zhǔn)提取。無人機(jī)影像利用其豐富的細(xì)節(jié)特征和鮮明的光譜特征，不僅使冬小麥樣本采集更精確，還提高了獲取樣本的效率。與衛(wèi)星影像相結(jié)合，將冬小麥不同的物候期空間分布細(xì)節(jié)特征完整呈現(xiàn)出來。但該文研究中仍然存在需要改進(jìn)的地方。

首先，當(dāng)在影像上采集冬小麥樣本時(shí)，利用的是傳統(tǒng)的目視解譯方式對(duì)影像進(jìn)行標(biāo)記，在標(biāo)記過程中需要大量的時(shí)間和人力，因此需要研究更便捷的標(biāo)記方法，進(jìn)一步提高樣本標(biāo)記的效率。

其次，在冬小麥自動(dòng)識(shí)別提取過程中，由于將地類只分出一種農(nóng)作物，即冬小麥，沒有細(xì)致研究其他同期的農(nóng)作物分類，在冬小麥覆蓋面積比較少的情況下，其他同物候期的農(nóng)作物會(huì)對(duì)冬小麥提取造成干擾，特別容易產(chǎn)生錯(cuò)分和漏分，對(duì)冬小麥提取結(jié)果造成影響。今后需要加以改進(jìn)，對(duì)相同物候期的其他農(nóng)作物進(jìn)行分類，提高冬小麥的可分離性，為后續(xù)冬小麥多時(shí)序影像精細(xì)化自動(dòng)提取分類提供試驗(yàn)基礎(chǔ)。