多源數(shù)據(jù)融合的泛時(shí)空特征水稻深度學(xué)習(xí)提取

摘要：傳統(tǒng)基于時(shí)序遙感影像的水稻物候期特征提取方法要求有較高的時(shí)間分辨率，受成像條件制約而較難滿足；由于不同水稻種植區(qū)域環(huán)境條件不同，基于單一影像的深度學(xué)習(xí)水稻種植區(qū)域提取方法泛化能力較差。本文選取時(shí)相相近的光學(xué)和合成孔徑雷達(dá)（Synthetic Aperture Radar，SAR）數(shù)據(jù)，削弱水稻種植區(qū)影像時(shí)空信息差異。通過泛時(shí)空特征融合有效地利用光學(xué)數(shù)據(jù)空間特征信息和SAR數(shù)據(jù)后向散射信息，采用雙結(jié)構(gòu)網(wǎng)絡(luò)模型提取水稻特征。實(shí)驗(yàn)表明，基于多源數(shù)據(jù)融合的泛時(shí)空特征水稻深度學(xué)習(xí)提取方法在三江平原和肥西縣水稻數(shù)據(jù)集上訓(xùn)練模型驗(yàn)證集總體測(cè)試精度為95.66%，Kappa系數(shù)為0.8805。該模型在南昌市區(qū)域水稻提取結(jié)果與實(shí)際地塊邊界符合較好，總體提取精度為86.78%，證明了泛時(shí)空特征模型的泛化能力和實(shí)用性。

關(guān)鍵詞：泛時(shí)空特征；SAR數(shù)據(jù)；光學(xué)數(shù)據(jù)；特征融合；深度學(xué)習(xí)；水稻提取

1? 引言

遙感技術(shù)可以大區(qū)域監(jiān)測(cè)地物現(xiàn)狀，廣泛地應(yīng)用于遙感農(nóng)作物分類和生長(zhǎng)情況監(jiān)測(cè)[1]。農(nóng)作物種植區(qū)域精準(zhǔn)監(jiān)測(cè)一直是農(nóng)業(yè)遙感的核心問題，傳統(tǒng)光學(xué)衛(wèi)星遙感監(jiān)測(cè)主要通過時(shí)間序列提取作物的物候特征，或者通過不同作物間的光譜差異性實(shí)現(xiàn)作物分類監(jiān)測(cè)[2-4]。目前水稻種植監(jiān)測(cè)主要采用時(shí)序物候特征提取分析法，例如黃俠等人基于無人機(jī)多光譜影像探討紅邊波段對(duì)水稻生育物候期識(shí)別[5]，Li等人利用不同作物時(shí)間序列植被指數(shù)的差異性對(duì)鄱陽湖地區(qū)水稻種植變化展開研究[6]，分析該地區(qū)多年水稻種植變化趨勢(shì)。黃青等人利用時(shí)間序列植被指數(shù)對(duì)江蘇冬小麥和水稻種植區(qū)域進(jìn)行分類提取[7]。光學(xué)遙感經(jīng)常因天氣影響（如：云霧遮擋）難以獲取有效監(jiān)測(cè)數(shù)據(jù)，SAR（Synthetic Aperture Radar，SAR）能夠穿透云霧。Yang等人通過研究SAR在水稻生長(zhǎng)不同階段的后向散射系數(shù)差異，建立水稻時(shí)序物候特征曲線模型，結(jié)合決策樹算法獲取監(jiān)測(cè)區(qū)域的水稻分布[8]。Nguyen-Thanh 等人利用時(shí)序Sentinel-1數(shù)據(jù)建模，利用物候指標(biāo)基于對(duì)象對(duì)水稻進(jìn)行分類[9]。Baihong 等人基于時(shí)間加權(quán)動(dòng)態(tài)時(shí)間規(guī)劃（Time- weighted Dynamic Time Warping，TWDTW）方法，通過時(shí)序Sentinel-1號(hào)SAR數(shù)據(jù)，成功提取我國(guó)雙季水稻種植面積[10]。于飛等人利用多時(shí)相SAR后向散射特征和相干性，結(jié)合機(jī)器學(xué)習(xí)實(shí)現(xiàn)大面積水稻提取[11]。

以上方法采用時(shí)間序列數(shù)據(jù)，數(shù)據(jù)獲取難度大且數(shù)據(jù)處理工作量較大。近年來，深度學(xué)習(xí)算法在遙感時(shí)空大數(shù)據(jù)特征提取分析中表現(xiàn)優(yōu)異，是當(dāng)前遙感應(yīng)用研究的重要方法之一[12]，閆利等人根據(jù)植被特征設(shè)計(jì)了一種注意力網(wǎng)絡(luò)，在植被面積提取中取得較好的效果[13]?；诙嘣磾?shù)據(jù)融合處理提取農(nóng)作物成為深度學(xué)習(xí)遙感分類的主要思路之一[14]。黃曉涵等基于多時(shí)序影像利用深度學(xué)習(xí)模型進(jìn)行安徽省鳳臺(tái)縣水稻提取[15]，F(xiàn)u等人基于Sentinel-2和Sentinel-1號(hào)時(shí)間序列數(shù)據(jù)提出R-Unet模型，實(shí)現(xiàn)了較高水稻面積提取精度[16]。蔡耀通等基于多時(shí)序的Sentinel-2號(hào)光譜數(shù)據(jù)、植被指數(shù)和地表溫度數(shù)據(jù)，利用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行水稻監(jiān)測(cè)面積提取[17]。

深度學(xué)習(xí)數(shù)據(jù)輸入一般為RGB、RGBN或SAR單一影像數(shù)據(jù)。這種方式擬合模型得到的特征單一，無法實(shí)現(xiàn)SAR數(shù)據(jù)與光學(xué)數(shù)據(jù)優(yōu)勢(shì)互補(bǔ)。為了結(jié)合不同數(shù)據(jù)源的特征，一般方法是在主干網(wǎng)絡(luò)中引入注意力機(jī)制，加入異源數(shù)據(jù)特征權(quán)重，提高分類精度[18]。但注意力附加的最優(yōu)源特征位置通常難以估計(jì)，往往需要根據(jù)目標(biāo)任務(wù)重新設(shè)計(jì)注意力模塊，增加了泛化難度。此外光學(xué)影像提取的空間注意力由于通道數(shù)較少，概括性不足，較為敏感更容易造成負(fù)面影響。

光學(xué)時(shí)序影像極易受陰雨影響，SAR數(shù)據(jù)特征缺乏，難以與其他植被區(qū)分。此外，不同地區(qū)不同時(shí)間的樣本訓(xùn)練的水稻提取模型難以泛化。針對(duì)此類問題，本文提出一種在水稻抽穗期基于單時(shí)相Sentinel-1和Sentinel-2融合數(shù)據(jù)泛時(shí)空特征的深度學(xué)習(xí)提取方法，綜合利用光學(xué)影像和SAR影像互補(bǔ)消除單一影像信息差異性，擬合不同區(qū)域的水稻共性特征，增強(qiáng)模型在不同區(qū)域，相近時(shí)間的魯棒性。

2? 研究方法與原理

2.1? 水稻泛時(shí)空特征

兩種數(shù)據(jù)在特征提取階段之前進(jìn)行通道疊加，會(huì)增加模型擬合難度。水稻泛時(shí)空特征旨在將模型提取的數(shù)據(jù)特征進(jìn)行組合，避免RGBN+VV+VH 6通道輸入數(shù)據(jù)在特征提取階段特征相互干擾，由網(wǎng)絡(luò)選取異源數(shù)據(jù)最優(yōu)特征，避免對(duì)異源特征提取的重新設(shè)計(jì)與篩選。輸入影像選取空間分辨率相近的Sentinel-1和Sentinel-2作為最優(yōu)組合數(shù)據(jù)源，避免過度采樣造成的信息損失?；谒咀魑锾卣魇请S時(shí)間連續(xù)均一變化的假設(shè)，同時(shí)采用時(shí)間相近的數(shù)據(jù)，削弱時(shí)間特征差異。抽穗期與灌漿期是水稻產(chǎn)量監(jiān)測(cè)的重要節(jié)點(diǎn)，往往此期間稻田含水量較高，空間特征較為顯著且連續(xù)觀測(cè)特征幾乎不變。光學(xué)影像可以有效提取水稻規(guī)整的空間特征，將田地與水塘、建筑物、林地、草地等地型顯著區(qū)分開，同時(shí)SAR數(shù)據(jù)對(duì)土壤含水量特征敏感，有效將田地中的水稻特征提取。因此選取該時(shí)期的光學(xué)加SAR數(shù)據(jù)作為組合輸入特征數(shù)據(jù)，同時(shí)單時(shí)相水稻泛時(shí)空特征提取模型可以減弱不同地理區(qū)域因溫度、降水、生物等物候因子造成的時(shí)序特征動(dòng)態(tài)變化，消除時(shí)序特征匹配誤差，具有通用性。

2.2? 模型構(gòu)建

有研究表明光學(xué)數(shù)據(jù)和SAR數(shù)據(jù)進(jìn)行簡(jiǎn)單通道疊加作為深度學(xué)習(xí)網(wǎng)絡(luò)輸入，可能導(dǎo)致多源數(shù)據(jù)出現(xiàn)特征相互干擾，最終降低分類精度[18]，采用雙分支特征提取結(jié)構(gòu)，兩特征提取分支結(jié)構(gòu)分別獨(dú)立地提取光學(xué)數(shù)據(jù)和SAR數(shù)據(jù)中的水稻特征，避免了多源數(shù)據(jù)在特征提取階段中特征維度相互干擾。因此，本文基于金字塔場(chǎng)景分析網(wǎng)絡(luò)（Pyramid Scene Parsing Network， PSPnet）結(jié)構(gòu)[19]，采用一種光學(xué)影像數(shù)據(jù)和SAR數(shù)據(jù)雙輸入的水稻提取語義分割模型，模型包含兩個(gè)獨(dú)立的特征提取模塊、特征融合和解碼器。

特征提取模塊包含光學(xué)特征提取和SAR特征提取兩個(gè)分支，并且兩特征提取分支相互獨(dú)立。能夠分別提取光學(xué)數(shù)據(jù)特征和SAR數(shù)據(jù)特征進(jìn)行后續(xù)特征融合。特征提取模塊采用高分辨率網(wǎng)絡(luò)（High- Resolution Network，HRnet）為骨干分別進(jìn)行特征提取。HRnet網(wǎng)絡(luò)和其他特征提取網(wǎng)絡(luò)相比，其能夠保存高分辨率分支，同時(shí)能夠進(jìn)行多尺度分辨特征信息融合，該網(wǎng)絡(luò)對(duì)于復(fù)雜場(chǎng)景語義分割具有一定優(yōu)勢(shì)[20]。本文將兩個(gè)獨(dú)立特征提取HRnet網(wǎng)絡(luò)模塊分別輸出的光學(xué)特征圖和SAR特征圖在通道維度上進(jìn)行疊加融合，提升光學(xué)數(shù)據(jù)和SAR數(shù)據(jù)特征互補(bǔ)性能。此外，為了充分考慮遙感影像全局信息，本文采用金字塔場(chǎng)景解析網(wǎng)絡(luò)（PSPnet）中金字塔池化模塊對(duì)融合后的光學(xué)和SAR特征進(jìn)行聚合，有效地顧及融合特征的上下文信息。金字塔池化能有效地針對(duì)水稻提取任務(wù)中不同尺度特征提取，進(jìn)而完成特征拼接，提升模型的水稻作物圖斑提取的魯棒性。網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。

本文訓(xùn)練網(wǎng)絡(luò)模型階段使用交叉熵?fù)p失函數(shù)（Cross Entropy Loss）作為損失函數(shù)，交叉熵?fù)p失函數(shù)是深度學(xué)習(xí)分類中常用的一種損失函數(shù)，其能夠衡量模型的準(zhǔn)確性，并且能夠使模型快速收斂。

（1）

n為類別數(shù)量，p（x）為類別真實(shí)概率分布（0-1），q（x）為softmax 層輸出樣本的概率。

3? 實(shí)驗(yàn)設(shè)計(jì)與結(jié)果分析

3.1? 實(shí)驗(yàn)數(shù)據(jù)準(zhǔn)備

樣本影像選取Sentinel-2光學(xué)數(shù)據(jù)可見光與近紅外四個(gè)波段，Sentinel-1 SAR數(shù)據(jù)VV和VH兩種極化方式，合成6波段輸入特征。樣本數(shù)據(jù)采集區(qū)域選取東北三江平原和安徽合肥，三江平原水稻種植區(qū)域地塊規(guī)整，位于東經(jīng)130°13′—135°05′26″、北緯45°01'— 48°27′56″，地勢(shì)較為平坦；肥西縣地處安徽省中部，東經(jīng)為116°40′52″—117°21′39″、北緯為31°30′22″— 32°00′21″，地勢(shì)起伏，主要為丘陵地貌。在GEOVIS Earth DataDaily平臺(tái)分別下載三江平原2020年7月—2020年9月與肥西縣2021年8月—2021年9月Sentinel-2號(hào)L2級(jí)光學(xué)數(shù)據(jù)，同時(shí)下載與其光學(xué)數(shù)據(jù)對(duì)應(yīng)的Sentinel-1號(hào)GRD數(shù)據(jù)。樣本數(shù)據(jù)能很好地涵蓋水稻種植的泛空間特征，避免水稻品種、地形、時(shí)間、區(qū)域的影響。

首先對(duì)選取的光學(xué)數(shù)據(jù)進(jìn)行輻射校正、幾何校正和去云去噪等預(yù)處理，對(duì)SAR數(shù)據(jù)進(jìn)行熱噪聲去除、軌道校正、輻射定標(biāo)和多普勒地形校正等預(yù)處理。以Sentinel-2號(hào)光學(xué)影像為基準(zhǔn)將Sentinel-1號(hào)GRD雷達(dá)數(shù)據(jù)進(jìn)行像元配準(zhǔn)和雙線性采樣并將雷達(dá)強(qiáng)度數(shù)據(jù)拉升至（0－255）區(qū)間。預(yù)處理后的影像數(shù)據(jù)疊加耕地矢量，在耕地范圍內(nèi)人工解譯獲取水稻種植區(qū)域圖斑，如圖1所示。本文樣本數(shù)據(jù)及標(biāo)簽統(tǒng)一處理為256×256像素大小，并對(duì)樣本區(qū)域數(shù)據(jù)清洗具體為碎小圖斑剔除，樣本標(biāo)注錯(cuò)誤和錯(cuò)位剔除，保證誤差不超過2個(gè)像素，最終所得樣本共計(jì)13341組，部分樣本如圖2所示。

3.2? 實(shí)驗(yàn)設(shè)計(jì)及評(píng)價(jià)

本文將3.1節(jié)建立的水稻數(shù)據(jù)按照70%訓(xùn)練集、20%驗(yàn)證集和10%測(cè)試集進(jìn)行劃分，具體數(shù)量如表1所示。

模型訓(xùn)練時(shí)本文將HRnet模型輸入層改為光學(xué)分支的4通道和SAR分支2通道，建立新的COVN1卷積層。

實(shí)驗(yàn)硬件環(huán)境信息見表2：

模型訓(xùn)練策略見表3，訓(xùn)練過程中采用學(xué)習(xí)率衰減策略。學(xué)習(xí)率衰減策略如圖4。

Batch_size直接影響梯度下降的快慢，理想的Batch_size大小在2—64之間[22]。GPU顯存會(huì)影響到網(wǎng)絡(luò)同時(shí)可加載的樣本數(shù)量，實(shí)驗(yàn)條件測(cè)試最優(yōu)Batch_size參數(shù)為12。學(xué)習(xí)率直接影響損失函數(shù)收斂的速度，初始化訓(xùn)練學(xué)習(xí)率可以選擇0.01—0.001之間。

模型訓(xùn)練過程如圖5所示：通過訓(xùn)練過程損失曲線可以看到在50個(gè)Epoch附近損失函數(shù)下降減緩，因而減小學(xué)習(xí)率逐漸逼近最優(yōu)權(quán)重，每一輪訓(xùn)練的學(xué)習(xí)率降低3%。為避免異常樣本引起的收斂曲線震蕩，在訓(xùn)練過程中選取異常值之后的連續(xù)5個(gè)Epoch趨勢(shì)預(yù)測(cè)點(diǎn)作為L(zhǎng)OSS曲線是否繼續(xù)下降的判斷。

為了比較雙分支網(wǎng)絡(luò)特征融合模型的準(zhǔn)確性（圖6），設(shè)置如下兩組對(duì)照實(shí)驗(yàn)：直接使用光學(xué)影像和SAR影像在通道進(jìn)行堆疊作為輸入（即為：RGBN+ VV+VH）。另一組則是本文雙分支網(wǎng)絡(luò)的特征融合模型。圖6三組圖像顯示水稻種植圖斑提取結(jié)果，提取的水稻圖斑和標(biāo)簽樣本對(duì)比，兩種數(shù)據(jù)融合的方式整體都取得較為不錯(cuò)的結(jié)果。但是，從對(duì)比中可以看出光學(xué)影像和SAR影像在通道維度直接堆疊的方式存在部分區(qū)域漏提取現(xiàn)象，并且水稻提取圖斑邊界輪廓規(guī)整性較差。實(shí)驗(yàn)表明本文采用雙分支特征提取融合方法在邊緣噪聲優(yōu)化和邊緣細(xì)節(jié)提取等方面取得較好結(jié)果。

為了評(píng)估本文融合特征提取方法的準(zhǔn)確性，本文采用交并比（Intersection over Union，IoU）、Kappa系數(shù)和總體準(zhǔn)確率（Overall Accuracy，OA）等指標(biāo)評(píng)估模型的準(zhǔn)確性能。

IoU是預(yù)測(cè)結(jié)果與標(biāo)簽真實(shí)值的交集與并集的比值。計(jì)算公式如下：

（2）

TP：預(yù)測(cè)為正樣本，實(shí)際為正樣本，F(xiàn)P：預(yù)測(cè)為正樣本，實(shí)際為負(fù)樣本，F(xiàn)N：預(yù)測(cè)為負(fù)樣本，實(shí)際為正樣本。

總體準(zhǔn)確率為所有正確的樣本數(shù)與樣本總數(shù)的比

值即：

（3）

TP：預(yù)測(cè)為正樣本，實(shí)際為正樣本，F(xiàn)P：預(yù)測(cè)為正樣本，實(shí)際為負(fù)樣本，F(xiàn)N：預(yù)測(cè)為負(fù)，實(shí)際為正，TN：預(yù)測(cè)為負(fù)樣本，實(shí)際為負(fù)樣本。

Kappa系數(shù)能夠全面、客觀地分析分類精度和一致性檢驗(yàn)的一種指標(biāo)，具體計(jì)算公式如下：

（4）

P0表示每一類正確分類的樣本數(shù)和與總樣本數(shù)比值，即總體分類精度。

（5）

式中：ai為實(shí)際類別為i的樣本個(gè)數(shù)，bi為預(yù)測(cè)為i類別的個(gè)數(shù)。

3.3? 泛時(shí)空特征模型泛化實(shí)驗(yàn)

為了驗(yàn)證模型在不同地區(qū)水稻提取的魯棒性，選用低緯度南昌市區(qū)域作為研究區(qū)。此外選取2022年8月—9月影像數(shù)據(jù)驗(yàn)證模型對(duì)不同時(shí)間影像中期稻提取的魯棒性。

南昌市地處中國(guó)華東區(qū)域，江西省中部區(qū)域，處于東經(jīng)115°27′—116°35′、北緯28°10′—29°11′之間，南昌市區(qū)域內(nèi)河流湖泊眾多，水域資源豐富。研究區(qū)西北地區(qū)多以丘陵為主，東南區(qū)域相對(duì)平坦，平均海拔25米，以平原為主，占研究區(qū)域面積的35.8%。該區(qū)域?qū)儆趤啛釒Ъ撅L(fēng)氣候，氣候濕潤(rùn)溫和且日照充足，年平均溫度在17 ℃—17.7 ℃之間。年降雨量在1600—1700毫米之間[21]降水量充足。研究區(qū)總面積為719 500公頃，其中耕地面積為251 946.67公頃。

實(shí)驗(yàn)過程中在GEOVIS Earth DataDaily中下載的2022年8月—9月Sentinel-2號(hào)4波段光學(xué)影像和Sentinel-1號(hào)雙極化SAR影像，分別對(duì)光學(xué)影像和SAR影像進(jìn)行預(yù)處理和地理配準(zhǔn)。選取影像數(shù)據(jù)分別如圖7中a，b所示。

本文通過模型提取了2022年8月—9月南昌市水稻種植區(qū)域（圖8）。采用本文方法可以通過衛(wèi)星數(shù)據(jù)快速獲取不同年份、不同地區(qū)的水稻種植區(qū)域分布圖。從圖7提取結(jié)果來看，南昌市水稻種植區(qū)域主要分布在北部和中部地區(qū)。這些區(qū)域地勢(shì)較為平坦，主要為平原地區(qū)，并且水資源充足，適宜水稻種植和生長(zhǎng)。圖9局部水稻提取圖斑顯示提取的水稻地塊邊界與Sentinel-2號(hào)光學(xué)影像契合度很高，在裸地、水體和草地等交接地帶沒有發(fā)生錯(cuò)分與漏分情況，準(zhǔn)確性良好。

通過泛時(shí)空特征作物提取方法實(shí)現(xiàn)地表水稻種植區(qū)域監(jiān)測(cè)，能夠根據(jù)影像數(shù)據(jù)快速獲取研究區(qū)域水稻種植狀況，對(duì)于地區(qū)糧食安全監(jiān)測(cè)具有重要的意義。為了定量驗(yàn)證本文方法提取水稻的準(zhǔn)確性和精度，在研究區(qū)域中隨機(jī)抽樣700個(gè)驗(yàn)證點(diǎn)以進(jìn)行準(zhǔn)確性評(píng)估[23]。通過同時(shí)期高分辨率谷歌影像對(duì)樣本點(diǎn)進(jìn)行專家解譯。對(duì)應(yīng)于Sentinel-2影像空間分辨率，驗(yàn)證樣本單元為10m*10m大小。通過高分辨率遙感數(shù)據(jù)解譯獲取水稻點(diǎn)位242個(gè)，其他類別點(diǎn)位共458個(gè)，樣本點(diǎn)位整體分布如圖10所示，樣本局部細(xì)節(jié)如圖11所示。

3.4? 實(shí)驗(yàn)結(jié)果與對(duì)比分析

3.1數(shù)據(jù)集基于實(shí)驗(yàn)1提取結(jié)果精度如表4所示，基于多源數(shù)據(jù)融合的泛時(shí)空特征水稻深度學(xué)習(xí)提取水稻總體精度可達(dá)到0.9566，Kappa系數(shù)為0.8805，較HRnet網(wǎng)絡(luò)模型OA、IoU和Kappa系數(shù)分別提升了2.40%、1.05%和1.84%。表明光學(xué)影像和SAR影像融合方法提取水稻種植較為準(zhǔn)確。總體而言，兩種光學(xué)影像和SAR影像融合水稻提取模型提取結(jié)果都較準(zhǔn)確，但是本文采用的模型在細(xì)節(jié)上表現(xiàn)更佳。此外，由于本文基于10米分辨率影像，水稻種植圖斑提取結(jié)果精細(xì)化程度較低。

基于多源數(shù)據(jù)融合的泛時(shí)空特征水稻深度學(xué)習(xí)在南昌市進(jìn)行水稻提取實(shí)驗(yàn)，表5顯示了由驗(yàn)證數(shù)據(jù)集分析得出的分類精度值，水稻種植圖斑提取的總體準(zhǔn)確率為86.78%，交并比為79.36%，Kappa系數(shù)為79.49%。為了更加具體地計(jì)算本文模型水稻提取精度，本文根據(jù)隨機(jī)生成的樣本點(diǎn)抽樣出100個(gè)256×256像素大小的樣本，并根據(jù)高分辨率影像進(jìn)行專家解譯，勾畫出水稻種植圖斑作為驗(yàn)證樣本，如圖12中a組所示。將樣方數(shù)據(jù)范圍內(nèi)本文模型提取水稻圖斑與專家解譯結(jié)果進(jìn)行精度驗(yàn)證。根據(jù)對(duì)比專家解譯圖斑和提取結(jié)果驗(yàn)證對(duì)比分析，提取水稻分布圖斑在邊界處存在少許的漏提取和錯(cuò)誤提取現(xiàn)象。但是提取水稻提取圖斑的總體精度OA為87.40%。

4? 結(jié)論

基于2020年8月—9月三江平原和2021年8月—9月肥西縣Sentinel-1號(hào)SAR影像和Sentinel-2光學(xué)影像制作水稻種植圖斑分布樣本集。對(duì)本文制作的水稻樣本數(shù)據(jù)集，分別測(cè)試了優(yōu)化后HRnet水稻提取模型和傳統(tǒng)的HRnet模型，測(cè)試結(jié)果表明本文優(yōu)化模型在OA、IoU和Kappa系數(shù)分別提升了2.40%、1.05%和1.840%。此外，在南昌市區(qū)域測(cè)試本文優(yōu)化模型的水稻提取精度和泛化能力，通過高分辨率谷歌影像進(jìn)行人工解譯樣本點(diǎn)精度驗(yàn)證，得到結(jié)論如下：

建立基于光學(xué)和SAR數(shù)據(jù)融合的水稻種植圖斑提取樣本數(shù)據(jù)集；另外，采用了一種光學(xué)和SAR影像雙分支特征提取模型分別進(jìn)行光學(xué)和SAR特征提取，并對(duì)提取特征進(jìn)行融合。相比于光學(xué)和SAR影像直接通道疊加的融合方式，此方法在水稻提取圖斑邊緣細(xì)節(jié)信息表現(xiàn)更好且提取精度更高，本方法能避免多源數(shù)據(jù)不同特征相互干擾的情況，進(jìn)而提高分割精度[18]。

本文方法在不同時(shí)間和不同地點(diǎn)的研究區(qū)域（南昌市）進(jìn)行水稻圖斑提取實(shí)驗(yàn)，提取結(jié)果和人工解譯的驗(yàn)證點(diǎn)進(jìn)行精度驗(yàn)證，驗(yàn)證結(jié)果的總體精度、交并比和Kappa系數(shù)分別為86.78%、79.36%和79.49%。實(shí)驗(yàn)結(jié)果表明本文通過泛時(shí)空特征提取水稻圖斑的方法取得最好效果，證明了此模型具有一定的泛化能力。

本文研究方法所采用的樣本數(shù)據(jù)均為8月—9月遙感影像數(shù)據(jù)，處于水稻的孕穗、抽穗和乳熟時(shí)期，在此時(shí)間段水稻長(zhǎng)勢(shì)較好，紋理清晰。實(shí)驗(yàn)結(jié)果表明，泛時(shí)空特征水稻種植圖斑提取模型具有普適性，并在南昌市區(qū)域取得了較高的提取精度驗(yàn)證，具有工程應(yīng)用價(jià)值。

然而，水稻其他物候時(shí)期遙感影像數(shù)據(jù)樣本缺少，導(dǎo)致水稻提取模型具有一定的局限性，難以獲取處在其他物候時(shí)期的水稻種植分布。針對(duì)此問題，后續(xù)研究將在現(xiàn)有的模型基礎(chǔ)上，增加適量不同物候時(shí)期的樣本數(shù)據(jù)進(jìn)行訓(xùn)練以提升模型的泛時(shí)空水稻提取能力。

參考文獻(xiàn)

[1] 譚深，吳炳方，張?chǎng)?基于Google Earth Engine與多源遙感數(shù)據(jù)的海南水稻分類研究[J].地球信息科學(xué)學(xué)報(bào)，2019，21（6）：937-947.

[2] 陳雨思，李丹，黎臻，等.多時(shí)相MODIS影像的黑龍江省水稻種植面積提取[J].農(nóng)業(yè)工程學(xué)報(bào)，2020，36（23）：201-208.

[3] 李永帥，齊修東.基于Google Earth Engine三江平原水田提取研究[J].地理空間信息，2021，19（12）：77-80+6.

[4] Dong J， Xiao X， Menarguez M A， et al. Mapping paddy rice planting area in northeastern Asia with Landsat 8 images， phenology-based algorithm and Google Earth Engine[J]. Remote Sensing of Environment， 2016， 185： 142-154. https：//doi.org/10.1016/j.rse.2016. 02.016.

[5] 黃俠，姜雪芹，張燦，等.紅邊波段在水稻生育期識(shí)別中的應(yīng)用研究[J].測(cè)繪地理信息，2023，48（3）：87-90.

[6] Li P， Feng Z， Jiang L， et al. Changes in rice cropping systems in the Poyang Lake Region， China during 2004–2010[J]. Journal of Geographical Sciences， 2012， 22： 653-668. https：//doi.org/10.1007/ s11442-012-0954-x.

[7] 黃青，吳文斌，鄧輝等.2009年江蘇省冬小麥和水稻種植面積信息遙感提取及長(zhǎng)勢(shì)監(jiān)測(cè)[J].江蘇農(nóng)業(yè)科學(xué)，2010（6）：508-511.

[8] Yang H J， Pan B， Li N， et al. A systematic method for spatio-temporal phenology estimation of paddy rice using time series Sentinel-1 images[J]. Remote Sensing of Environment， 2021， 259： 112394. https：//doi.org/10.1016/j.rse.2021.112394.

[9] Son N T， Chen C F， Chen C R， et al. A phenological object-based approach for rice crop classification using time-series Sentinel-1 Synthetic Aperture Radar （SAR） data in Taiwan[J]. International Journal of Remote Sensing， 2021， 42（7）： 2722-2739. https：//doi.org/ 10.1080/01431161.2020.1862440.

[10] Pan B， Zheng Y， Shen R， et al. High resolution distribution dataset of double-season paddy rice in China[J]. Remote Sensing， 2021， 13（22）： 4609. https：//doi.org/10.3390/rs13224609.

[11] 于飛，呂爭(zhēng)，隋正偉，等.基于特征優(yōu)選的多時(shí)相SAR數(shù)據(jù)水稻信息提取方法[J].農(nóng)業(yè)機(jī)械學(xué)報(bào)，2023，54（3）：259-265+327.

[12] Zhang L， Zhang L， Du B. Deep learning for remote sensing data： A technical tutorial on the state of the art[J]. IEEE Geoscience and Remote Sensing Magazine， 2016， 4（2）： 22-40. https：//doi.org/10.1109/ MGRS.2016.2540798.

[13] 閆利，徐青，劉異.基于注意力網(wǎng)絡(luò)的遙感影像植被提取方法[J].測(cè)繪地理信息，2021，46（S1）：44-48.

[14] Alami M M， Mansouri L E， Imani Y， et al. Crop mapping using supervised machine learning and deep learning： a systematic literature review[J]. International Journal of Remote Sensing， 2023， 44（8）： 2717-2753. https：//doi.org/10.1080/01431161.2023.2205984.

[15] 黃曉涵，黃文龍.基于深度學(xué)習(xí)的多時(shí)序遙感影像水稻提取研究[J].地理空間信息，2023，21（8）：61-64+113.

[16] Fu T， Tian S， Ge J. R-Unet： A Deep Learning Model for Rice Extraction in Rio Grande do Sul， Brazil[J]. Remote Sensing， 2023， 15（16）： 4021. https：//doi.org/10.3390/rs15164021.

[17] 蔡耀通，劉書彤，林輝，等.基于多源遙感數(shù)據(jù)的CNN水稻提取研究[J].國(guó)土資源遙感，2020，32（4）：97-104.

[18] Li X， Zhang G， Cui H， et al. MCANet： A joint semantic segmentation framework of optical and SAR images for land use classification[J]. International Journal of Applied Earth Observation and Geoinformation， 2022， 106： 102638. https：//doi.org/10.1016/j.jag.2021. 102638.

[19] Wu D，Zhao J， Wang Z. AM-PSPNet： Pyramid Scene Parsing Network Based on Attentional Mechanism for Image Semantic Segmentation[C]//ICPCSEE Steering Committee.Abstracts of the 8th International Conference of Pioneering Computer Scientists，Engineers and Educators（ICPCSEE 2022） Part I. Department of Electronic Engineering，Heilongjiang University;2022：1. https：//doi.org/10.26914/ c.cnkihy.2022.077315.

[20] Sun K， Xiao B， Liu D， et al. Deep high-resolution representation learning for human pose estimation.[J]. Corr， 2019， abs/1902. 09212. https：//doi.org/10.48550/arXiv.1902.09212.

[21] Dominic Masters， Carlo Luschi. Revisiting small batch training for deep neural networks[Z].ARXIV，2018， 1804.07612.

[22] 伍光和，王乃昂，胡雙熙，等.自然地理學(xué)（第四版）[M].北京：高等教育出版社，2008.

[23] Olofsson P， Foody G M， Herold M， et al. Good practices for estimating area and assessing accuracy of land change[J]. Remote Sensing of ENVIRONMENT， 2014， 148： 42-57. https：//doi.org/ 10.1016/ j.rse.2014.02.015.

引用格式：杜家寬，李雁飛，孫嗣文，劉繼東，江騰達(dá).多源數(shù)據(jù)融合的泛時(shí)空特征水稻深度學(xué)習(xí)提取[J].農(nóng)業(yè)大數(shù)據(jù)學(xué)報(bào)，2024，6（1）： 56-67. DOI： 10.19788/j. issn.2096-6369.000010.

CITATION： DU JiaKuan， LI YanFei， SUN SiWen， LIU JiDong， JIANG TengDa. Pan-spatiotemporal Feature Rice Deep Learning Extraction Based on Multi-source Data Fusion[J]. Journal of Agricultural Big Data， 2024，6（1）： 56-67. DOI： 10.19788/j.issn.2096-6369.000010.

Pan-spatiotemporal Feature Rice Deep Learning Extraction Based on Multi-source Data Fusion DU JiaKuan， LI YanFei， SUN SiWen*， LIU JiDong， JIANG TengDa

GEOVIS Earth Technology Co.，Ltd，Hefei 230088， China

Abstract： Traditional methods of rice phenological phase feature extraction based on time-series remote sensing images require high temporal resolution， which is difficult to meet due to imaging conditions. Due to the different environmental conditions in different rice growing regions， the rice planting area extraction method based on single image has poor generalization ability. In this paper， similar optical and Synthetic Aperture Radar （SAR） data were selected to reduce the spatiotemporal information differences in rice planting area images. The spatial feature information of optical data and backscatter information of SAR data were effectively used to extract rice features by using a two-structure network model through pan-spatio-temporal feature fusion. Experiments show that the overall test accuracy of the training model validation set on the rice datasets of Sanjiang Plain and Feixi County is 95.66%， and the Kappa coefficient is 0.8805. The results of rice extraction in Nanchang City were in good agreement with the actual field boundaries， and the overall extraction accuracy was 86.78%， which proved the generalization ability and practicability of the pan-temporal feature model.

Keywords： pan-temporal characteristics; SAR data; optical data; feature fusion; deep learning; rice extraction