基于CNN-BiLSTM和殘差注意力的縣域水稻產(chǎn)量預(yù)測(cè)模型

摘要：提出一種融合卷積神經(jīng)網(wǎng)絡(luò)（CNN）、雙向長(zhǎng)短期記憶網(wǎng)絡(luò)（BiLSTM）和殘差注意力（RA）機(jī)制的縣域水稻產(chǎn)量預(yù)測(cè)模型（CNN-BiLSTM-RA），通過CNN層有效提取縣域水稻氣象數(shù)據(jù)中的關(guān)鍵空間特征，利用BiLSTM層深入分析時(shí)間序列數(shù)據(jù)的動(dòng)態(tài)變化，引入RA機(jī)制強(qiáng)化對(duì)氣象數(shù)據(jù)中關(guān)鍵特征的識(shí)別與捕捉，以2015—2017年廣西81個(gè)縣早稻歷史產(chǎn)量和氣象數(shù)據(jù)為樣本，與CNN、TRANSFORMER、BiLSTM、CNN-BiLSTM、BiLSTM-RA模型進(jìn)行對(duì)比，評(píng)價(jià)CNN-BiLSTM-RA模型的預(yù)測(cè)精度和有效性。結(jié)果表明，CNN-BiLSTM-RA模型的R2、MAE、RMSE和MAPE分別為0.986 1、0.121 9、0.224 8、0.864 8，模型的預(yù)測(cè)值與實(shí)際值擬合程度較高。CNN-BiLSTM-RA模型充分發(fā)揮了CNN的空間特征提取能力、BiLSTM的時(shí)間序列數(shù)據(jù)分析優(yōu)勢(shì)和RA機(jī)制在增強(qiáng)關(guān)鍵特征捕捉方面的特性，是一種適用于縣域水稻產(chǎn)量高精度預(yù)測(cè)的新方法。

關(guān)鍵詞：水稻產(chǎn)量預(yù)測(cè)；卷積神經(jīng)網(wǎng)絡(luò)；雙向長(zhǎng)短期記憶網(wǎng)絡(luò)；殘差注意力

中圖分類號(hào)：TP183" " " " "文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：0439-8114（2024）08-0109-07

DOI：10.14088/j.cnki.issn0439-8114.2024.08.019 開放科學(xué)（資源服務(wù)）標(biāo)識(shí)碼（OSID）：

County level rice yield prediction model based on CNN-BiLSTM and residual attention

LIANG Ze1， CAO Shan-shan2a，2b，3， KONG Fan-tao2c， SUN Wei2a，2b，3

（1. College of Computer and Information Engineering， Xinjiang Agricultural University， Urumqi" 830052， China；

2a.Agricultural Information Institute；2b.National Agriculture Science Data Center；2c.Institute of Agricultural Economics and Development，Chinese Academy of Agricultural Sciences， Beijing" 100081， China；3. National Nanfan Research Institute （Sanya）， Chinese Academy of Agricultural Sciences， Sanya" 572024， Hainan，China）

Abstract： A county-level rice yield prediction model （CNN-BiLSTM-RA） was proposed， which integrated convolutional neural network （CNN）， bidirectional long short term memory network （BiLSTM）， and residual attention （RA） mechanism， key spatial features were effectively extracted from county-level rice meteorological data through CNN layers， the dynamic changes of time series data were deeply analyzed using BiLSTM layers， and RA mechanism was introduced to enhance the recognition and capture of key features in meteorological data. Using historical rice yield and meteorological data from 81 counties in Guangxi from 2015 to 2017 as samples， the prediction accuracy and effectiveness of the CNN-BiLSTM-RA model were compared with CNN， TRANSFORMER， BiLSTM， CNN-BiLSTM， and BiLSTM-RA models. The results showed that the R2， MAE， RMSE， and MAPE of the CNN-BiLSTM-RA model were 0.986 1， 0.121 9， 0.224 8， and 0.864 8， respectively， indicating a high degree of fit between the predicted and actual values of the model. The CNN-BiLSTM-RA model fully utilized the spatial feature extraction ability of CNN， the time series data analysis advantages of BiLSTM， and the RA mechanism’s ability to enhance key feature capture. It was a new method suitable for high-precision prediction of rice yield in counties.

Key words： rice yield prediction； convolutional neural network； bidirectional long short term memory network； residual attention

水稻（Oryza sativa L.）是全球重要的糧食作物，占據(jù)了全球糧食供應(yīng)的核心地位，因其高度的適應(yīng)性和生產(chǎn)的廣泛性，水稻在許多國(guó)家被視為主要的農(nóng)業(yè)經(jīng)濟(jì)支柱［1］。水稻產(chǎn)量預(yù)測(cè)一直是糧食種植領(lǐng)域的重要研究方向［2］，農(nóng)業(yè)決策者、農(nóng)民和糧食市場(chǎng)參與者需要可靠的方法來預(yù)測(cè)水稻產(chǎn)量，進(jìn)而制定合適的生產(chǎn)、供應(yīng)鏈和市場(chǎng)策略，確保糧食安全和經(jīng)濟(jì)可持續(xù)性［3］。傳統(tǒng)的水稻產(chǎn)量預(yù)測(cè)方法通常依賴經(jīng)驗(yàn)法則、統(tǒng)計(jì)模型和歷史數(shù)據(jù)，這些方法的局限性在于它們難以捕捉到影響水稻產(chǎn)量的各種復(fù)雜因素，如氣候變化、土壤條件、病蟲害情況以及農(nóng)業(yè)管理實(shí)踐的變化［4］。因此，這些方法難以在多重因素交互作用且不斷變化的條件下對(duì)水稻產(chǎn)量進(jìn)行高精度預(yù)測(cè)。

隨著信息技術(shù)和機(jī)器學(xué)習(xí)的迅猛發(fā)展，基于機(jī)器學(xué)習(xí)的水稻產(chǎn)量預(yù)測(cè)方法逐漸成為備受關(guān)注的方案［5，6］，深度學(xué)習(xí)技術(shù)的興起為水稻產(chǎn)量預(yù)測(cè)帶來了新機(jī)遇。Zheng等［7］通過整合反向傳播神經(jīng)網(wǎng)絡(luò)（BPNNs）和獨(dú)立循環(huán)神經(jīng)網(wǎng)絡(luò)（IndRNN）提高水稻產(chǎn)量的預(yù)測(cè)精度。同樣，Patel等［8］通過結(jié)合LSTM和RNN的強(qiáng)化學(xué)習(xí)模型，并運(yùn)用Q-Learning技術(shù)，有效分析了關(guān)鍵的收割特征和參數(shù)，提升了預(yù)測(cè)精度。此外，Ruben等［9］利用Sentinel-2衛(wèi)星影像及尼泊爾特萊區(qū)的氣候和土壤數(shù)據(jù)，提出一種創(chuàng)新的3D卷積神經(jīng)網(wǎng)絡(luò)，可準(zhǔn)確預(yù)測(cè)尼泊爾的水稻產(chǎn)量。Shi等［10］通過融合空間異質(zhì)性變量的CNN-LSTM模型，實(shí)現(xiàn)了在縣級(jí)尺度上的水稻產(chǎn)量預(yù)測(cè)。Usharani等［11］提出了一種結(jié)合LSTM模型的改進(jìn)優(yōu)化器函數(shù)（IOF），展現(xiàn)了在精確預(yù)測(cè)水稻產(chǎn)量方面的潛力。上述研究通過引入深度學(xué)習(xí)算法提升了水稻產(chǎn)量預(yù)測(cè)的準(zhǔn)確性，但由于水稻的產(chǎn)量與種植期間的氣候條件存在緊密聯(lián)系，恰當(dāng)運(yùn)用氣象數(shù)據(jù)可增強(qiáng)預(yù)測(cè)模型的效果，而現(xiàn)有研究多是把氣象數(shù)據(jù)直接輸入模型計(jì)算，忽視了評(píng)估不同氣象變量的相對(duì)重要性［12］。

因此，提出由卷積神經(jīng)網(wǎng)絡(luò)（CNN）、雙向長(zhǎng)短期記憶網(wǎng)絡(luò)（BiLSTM）和殘差注意力機(jī)制（RA）融合的混合結(jié)構(gòu)模型，利用CNN層提取水稻生長(zhǎng)期間氣象數(shù)據(jù)的空間特征，采用BiLSTM層捕獲稻田時(shí)間序列氣象數(shù)據(jù)中的動(dòng)態(tài)變化，融合殘差注意力機(jī)制捕捉關(guān)鍵時(shí)空特征的強(qiáng)化能力，進(jìn)而提高模型在處理長(zhǎng)期依賴關(guān)系時(shí)的精度和穩(wěn)定性，以縣域早稻歷史產(chǎn)量和日度氣象數(shù)據(jù)為樣本，融合縣域ID獨(dú)熱編碼的全連接層預(yù)測(cè)結(jié)果對(duì)水稻產(chǎn)量進(jìn)行高精度預(yù)測(cè)。

1 數(shù)據(jù)來源與方法

1.1 數(shù)據(jù)來源與預(yù)處理

本研究基于廣西81個(gè)縣的水稻田間環(huán)境數(shù)據(jù)、氣象數(shù)據(jù)及早稻產(chǎn)量信息（https：//tianchi.aliyun.com/competition/entrance/231753/information），數(shù)據(jù)覆蓋時(shí)間為2015—2017年，選取日照時(shí)數(shù)、2：00/" "8：00/14：00/20：00風(fēng)向、日平均風(fēng)速、日降水量、日最高/最低/平均溫度、日相對(duì)濕度及日平均氣壓共12個(gè)關(guān)鍵氣象指標(biāo)作為影響因子，以廣西各縣早稻產(chǎn)量作為預(yù)測(cè)標(biāo)簽。

數(shù)據(jù)預(yù)處理工作主要包括以下3方面內(nèi)容。①對(duì)數(shù)據(jù)中的異常值及空值進(jìn)行處理，同時(shí)將風(fēng)向數(shù)據(jù)轉(zhuǎn)換為其對(duì)應(yīng)的正弦值、余弦值；②對(duì)各氣象數(shù)據(jù)進(jìn)行歸一化處理；③提取并利用早稻生長(zhǎng)期（3—7月）的氣象數(shù)據(jù)，減少非關(guān)鍵時(shí)間段數(shù)據(jù)的噪音干擾。

1.2 CNN-BiLSTM-RA模型

融合CNN、BiLSTM和RA機(jī)制的優(yōu)勢(shì)，構(gòu)建基于CNN-BiLSTM-RA（卷積神經(jīng)網(wǎng)絡(luò)-雙向長(zhǎng)短期記憶網(wǎng)絡(luò)-殘差注意力）的縣域水稻產(chǎn)量預(yù)測(cè)模型，可增強(qiáng)對(duì)水稻氣象時(shí)間序列數(shù)據(jù)中復(fù)雜空間和時(shí)間依賴關(guān)系的理解，提升模型在面對(duì)水稻產(chǎn)量預(yù)測(cè)這一動(dòng)態(tài)和多變?nèi)蝿?wù)時(shí)的適應(yīng)性和魯棒性，其基本模型結(jié)構(gòu)如圖1所示。

CNN-BiLSTM-RA模型的關(guān)鍵步驟及建模原理如下。

1）CNN層。輸入數(shù)據(jù)經(jīng)過卷積神經(jīng)網(wǎng)絡(luò)（CNN）層，利用一系列卷積核自動(dòng)提取關(guān)鍵的空間特征，通過該層的卷積與池化操作，CNN層能夠捕捉到水稻生長(zhǎng)期間氣象數(shù)據(jù)中的潛在模式和空間關(guān)聯(lián)，為理解輸入數(shù)據(jù)的空間維度提供支持。

CNN作為深度學(xué)習(xí)領(lǐng)域的核心架構(gòu)，其主要優(yōu)勢(shì)在于能夠自動(dòng)學(xué)習(xí)并有效提取數(shù)據(jù)的空間層次特征。CNN結(jié)構(gòu)主要由卷積層、池化層和全連接層構(gòu)成，在這個(gè)架構(gòu)中，卷積層通過濾波器（或卷積核）在輸入數(shù)據(jù)上滑動(dòng)并進(jìn)行卷積操作，以提取基本的局部特征，其過程的表達(dá)式如下。

[Flij=σ（mnKlmn?Dl-1i+m，j+n+bl）] （1）

式中，[Flij]表示卷積層[l]的輸出特征圖在位置[（i，j）]的值；[Klmn]表示卷積核；[D（l-1）i+m，j+n]表示前一層的輸入數(shù)據(jù)；[bl]表示偏置項(xiàng)；[σ]表示非線性激活函數(shù)，如ReLU；i為輸出特征圖的行索引；j為輸出特征圖的列索引；m為卷積核的行索引；n為卷積核的列索引。池化層用于降低特征圖的空間維度，增強(qiáng)網(wǎng)絡(luò)的抗噪聲能力，并減少參數(shù)數(shù)量，常見的池化操作包括最大池化和平均池化。最后，經(jīng)過若干卷積和池化層后，全連接層將學(xué)習(xí)到的高級(jí)特征進(jìn)行整合，并輸出最終的預(yù)測(cè)結(jié)果。

2）BiLSTM層。經(jīng)過CNN空間特征提取后，數(shù)據(jù)被送入雙向長(zhǎng)短期記憶網(wǎng)絡(luò)（BiLSTM）層，該層通過對(duì)時(shí)間序列的前向與后向處理，綜合考慮數(shù)據(jù)的時(shí)序性及長(zhǎng)距離依賴關(guān)系，確保模型能夠全面地從歷史和未來兩個(gè)維度理解數(shù)據(jù)變化，為時(shí)間序列分析提供深度和廣度。

雙向長(zhǎng)短期記憶網(wǎng)絡(luò)（BiLSTM）在LSTM基礎(chǔ)上發(fā)展而來，它通過結(jié)合2個(gè)LSTM層的信息——一個(gè)處理時(shí)間序列數(shù)據(jù)的正向流（從過去到未來），另一個(gè)處理反向流（從未來到過去），來捕捉序列的雙向依賴關(guān)系。而雙向長(zhǎng)短期記憶網(wǎng)絡(luò)是特殊類型的循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN），其獨(dú)特設(shè)計(jì)使其能有效處理長(zhǎng)期序列數(shù)據(jù)的依賴關(guān)系。LSTM通過采用自適應(yīng)門控機(jī)制，能夠有效決策先前狀態(tài)的記憶及是否存儲(chǔ)當(dāng)前數(shù)據(jù)中的信息，通過單元自身的學(xué)習(xí)來權(quán)衡信息的保留或遺忘［13］。LSTM單元內(nèi)部運(yùn)算過程如圖2所示。

LSTM的單元結(jié)構(gòu)包括遺忘門（[ft]）、輸入門（[it]）和輸出門（[Ot]）。其中，遺忘門決定哪些信息應(yīng)該被丟棄，輸入門控制新信息的接收，而輸出門則影響下一個(gè)隱藏狀態(tài)的值，3個(gè)門的協(xié)同工作確保網(wǎng)絡(luò)在長(zhǎng)時(shí)間跨度內(nèi)有效維護(hù)并更新其狀態(tài)，從而避免傳統(tǒng)RNN中常見的梯度消失問題。各門所涉及的公式如下。

[ft=σ（Wf×?t-1，xt+bf]） （2）

[it=σ（Wi×?t-1，xt+bi]） （3）

[Ct=tan?（WC×?t-1，xt+bC）] （4）

[Ct=ft×Ct-1+it×Ct] （5）

[Ot=σ（WO×?t-1，xt+bO）] （6）

[?t=Ot×tan?（Ct）] （7）

式中，σ表示Sigmoid激活函數(shù)；[tan?] 表示雙曲正切激活函數(shù)；W和b分別表示權(quán)重和偏置參數(shù)；[ft]表示在時(shí)間步t遺忘門輸出；[?t]表示在時(shí)間步t隱藏狀態(tài)；[Ct]表示在時(shí)間步t細(xì)胞狀態(tài)；[Ct]表示在時(shí)間步t候選細(xì)胞狀態(tài)；[xt]表示在時(shí)間步t的輸入；[it]表示在時(shí)間步t輸入門輸出；[bf]、[bi]、[bC]、[bO]分別表示各門的偏置項(xiàng)；[Wf]、[Wi]、[WC]、[WO]分別表示各門的權(quán)重矩陣。

3）殘差注意力層。殘差注意力層通過對(duì)BiLSTM層輸出的每個(gè)時(shí)間步加權(quán)，增強(qiáng)了模型對(duì)時(shí)間序列中關(guān)鍵特征的關(guān)注，殘差連接確保即使在網(wǎng)絡(luò)層次較深時(shí)，關(guān)鍵信息仍能得到有效傳遞，減少信息丟失的風(fēng)險(xiǎn)。殘差注意力機(jī)制旨在強(qiáng)化模型對(duì)關(guān)鍵特征的識(shí)別能力，同時(shí)避免由于網(wǎng)絡(luò)層數(shù)增加而引起的性能下降，其核心思想源自殘差網(wǎng)絡(luò)（ResNet）和注意力機(jī)制的結(jié)合，致力于解決在處理復(fù)雜模型時(shí)的信息丟失和梯度消失問題。注意力機(jī)制通過計(jì)算輸入特征的權(quán)重分布來突出重要的特征，而殘差注意力進(jìn)一步引入殘差連接，以便信息可以跨越多個(gè)層直接傳播，從而避免深層網(wǎng)絡(luò)中的梯度消失問題。殘差注意力模塊[RAM（x）]表達(dá)式如下。

[RAM（x）=F（x， W）+x] （8）

式中，[x]為輸入特征；[F（x， W）]為應(yīng)用了權(quán)重的注意力映射函數(shù)；[W]為學(xué)習(xí)參數(shù)。殘差注意力機(jī)制的引入，特別是在復(fù)雜的序列模型如LSTM或CNN中，可以顯著提高模型對(duì)于時(shí)間序列數(shù)據(jù)的處理能力，使其在長(zhǎng)期依賴關(guān)系的捕捉上更有效。在氣象數(shù)據(jù)驅(qū)動(dòng)的水稻產(chǎn)量預(yù)測(cè)模型中，殘差注意力能夠突出關(guān)鍵時(shí)期的氣象特征，從而提高預(yù)測(cè)的準(zhǔn)確性和模型的魯棒性。

綜上所述，CNN-BiLSTM-RA模型通過整合關(guān)鍵組件，不僅在保留時(shí)間序列數(shù)據(jù)完整性的同時(shí)凸顯了關(guān)鍵特征，而且提高模型在處理復(fù)雜農(nóng)業(yè)氣象數(shù)據(jù)時(shí)的穩(wěn)定性和預(yù)測(cè)精度。

1.3 模型評(píng)價(jià)指標(biāo)

為了全面評(píng)估CNN-BiLSTM-RA模型在水稻產(chǎn)量預(yù)測(cè)方面的性能，采用平均絕對(duì)誤差（MAE）、均方根誤差（RMSE）、平均絕對(duì)百分比誤差（MAPE）和決定系數(shù)（R2）4種評(píng)價(jià)指標(biāo)。4種評(píng)價(jià)指標(biāo)分別從不同角度提供了對(duì)模型性能的量化分析，能夠綜合評(píng)定模型在水稻產(chǎn)量預(yù)測(cè)任務(wù)中的表現(xiàn)，準(zhǔn)確評(píng)估模型在實(shí)際應(yīng)用中的有效性和可靠性。MAE和RMSE強(qiáng)調(diào)預(yù)測(cè)誤差的絕對(duì)大小，直觀反映預(yù)測(cè)值與實(shí)際值之間的差異；MAPE通過百分比誤差的形式更好地評(píng)估模型在不同產(chǎn)量水平上的穩(wěn)定性；R2作為衡量模型擬合優(yōu)度的指標(biāo)，展示模型對(duì)數(shù)據(jù)變異性的解釋能力。4種指標(biāo)的計(jì)算公式如下。

[MAE =1ni=1n|yi-yi|] （9）

[RMSE = 1ni=1n（yi-yi）2] （10）

[MAPE =1ni=1nyi-yiyi] （11）

[R2=1-i=1n（yi-yi）2i=1n（yi-y）2] （12）

式中，[yi]是真實(shí)值；[yi]是預(yù)測(cè)值；[n]是樣本數(shù)量；" [y]是真實(shí)值的平均數(shù)。

2 結(jié)果與分析

2.1 不同模型預(yù)測(cè)結(jié)果對(duì)比

為了驗(yàn)證CNN-BiLSTM-RA模型的預(yù)測(cè)效果，設(shè)置CNN、TRANSFORMER、BiLSTM、CNN-BiLSTM、BiLSTM-RA 5個(gè)對(duì)比模型進(jìn)行精度評(píng)價(jià)。深度學(xué)習(xí)框架基于Tensorflow框架構(gòu)建，訓(xùn)練迭代次數(shù)設(shè)置1 000次，使用早停（Early stopping）和模型檢查點(diǎn)（Model checkpoint）作為回調(diào)函數(shù)，用于防止過擬合并保存最佳模型以確保充分的訓(xùn)練和優(yōu)化。

為了確保模型的公正性，不同模型中的相同層（如CNN層、BiLSTM層）參數(shù)設(shè)置均保持一致。其中，模型的批量大小（batch_size）設(shè)置為18，CNN層設(shè)有32個(gè)大小為5的卷積核并使用ReLU激活函數(shù)，后接pool_size為2的MaxPooling1D層。BiLSTM設(shè)置3層，神經(jīng)元個(gè)數(shù)分別為32、32和64，并應(yīng)用L2正則化以避免過擬合。最后，引入殘差注意力機(jī)制增強(qiáng)模型對(duì)關(guān)鍵特征的捕捉能力。在優(yōu)化方面，模型采用Adam優(yōu)化器和Huber損失函數(shù)，以提高模型的穩(wěn)健性和準(zhǔn)確性?；?種評(píng)價(jià)指標(biāo)的不同模型縣域水稻產(chǎn)量預(yù)測(cè)結(jié)果如表1所示。CNN-BiLSTM-RA模型在4種評(píng)價(jià)指標(biāo)上表現(xiàn)較好，MAE、RMSE、MAPE分別為0.121 9、0. 224 8、0.864 8，R2為0.986 1，預(yù)測(cè)精度最高，表明CNN-BiLSTM-RA模型在縣域水稻產(chǎn)量預(yù)測(cè)任務(wù)的精準(zhǔn)性。

相較于其他深度學(xué)習(xí)模型，CNN-BiLSTM-RA模型能夠準(zhǔn)確捕捉水稻產(chǎn)量的變化趨勢(shì)，預(yù)測(cè)優(yōu)勢(shì)顯著。以均方根誤差為例，相較于傳統(tǒng)的單一CNN、TRANSFORMER、BiLSTM模型，CNN-BiLSTM-RA模型的RMSE分別下降58.46%、62.49%、44.98%；對(duì)于融合了CNN和BiLSTM的CNN-BiLSTM模型，其RMSE均低于3種單一模型；與CNN-BiLSTM模型相比，CNN-BiLSTM-RA模型的RMSE下降34.63%。這是由于CNN的強(qiáng)大特征提取能力和BiLSTM時(shí)間序列分析上的深度洞察力，從而在處理水稻相關(guān)氣象數(shù)據(jù)時(shí)能夠有效識(shí)別和分析影響產(chǎn)量的關(guān)鍵因素。在此基礎(chǔ)上，引入殘差注意力機(jī)制進(jìn)一步優(yōu)化對(duì)氣象特征的處理，充分考慮不同氣象因素對(duì)預(yù)測(cè)任務(wù)不同程度的影響，從而實(shí)現(xiàn)對(duì)水稻產(chǎn)量動(dòng)態(tài)和復(fù)雜模式的深入理解與高效預(yù)測(cè)。

圖3和圖4分別展示6種深度學(xué)習(xí)模型在水稻產(chǎn)量預(yù)測(cè)任務(wù)中的性能差異。由圖3可知，單一CNN模型和TRANSFORMER模型的分布較分散，特別是在高值區(qū)，預(yù)測(cè)點(diǎn)偏離實(shí)際值，反映出模型的局限性；BiLSTM模型的點(diǎn)集中度高于CNN模型和TRANSFORMER模型，驗(yàn)證了其在捕捉時(shí)間依賴性方面的能力；CNN、RA的加入明顯提升了BiLSTM模型的表現(xiàn)。特別是CNN-BiLSTM-RA模型，在圖4中展示了較高的擬合性能，預(yù)測(cè)曲線與實(shí)際曲線高度吻合，表明了CNN-BiLSTM-RA模型在縣域水稻產(chǎn)量預(yù)測(cè)任務(wù)中高度的泛化性。

2.2 殘差注意力可視化分析

為深入探索本研究中構(gòu)建的殘差注意力機(jī)制對(duì)氣象特征處理的影響，從測(cè)試集中隨機(jī)選擇1個(gè)包含多維氣象特征的樣本進(jìn)行分析。選取8個(gè)符合正態(tài)分布的連續(xù)特征，并對(duì)這些特征應(yīng)用殘差注意力機(jī)制以可視化它們的變化過程。所選樣本是1個(gè)二維特征矩陣，其中每行代表1個(gè)特征，每列對(duì)應(yīng)1個(gè)長(zhǎng)度為164的時(shí)間步，因此輸入樣本大小為164×8的二維矩陣，引入殘差注意力機(jī)制的縣域水稻氣象特征重構(gòu)過程如圖5所示。

在特征歸一化后的二維數(shù)據(jù)中，引入特征注意力（A）后，日最低溫度、日相對(duì)濕度和日平均氣壓等特征的重要性得到明顯提升，而日照時(shí)數(shù)、日平均風(fēng)速、日降水量等特征的重要性相對(duì)減少，這一變化揭示了在特征權(quán)重分配后，預(yù)測(cè)模型趨向于更關(guān)注日最低溫度、日相對(duì)濕度和平均氣壓等關(guān)鍵氣象指標(biāo)。在此基礎(chǔ)上，通過構(gòu)建殘差連接，將注意力加權(quán)后的特征與原始特征進(jìn)行逐元素求和，使經(jīng)殘差注意力機(jī)制重構(gòu)的數(shù)據(jù)不僅能夠反映不同氣象特征對(duì)預(yù)測(cè)任務(wù)的影響程度，還保留原始特征信息，避免信息丟失，提升模型在氣象預(yù)測(cè)任務(wù)中的性能。CNN-BiLSTM-RA在CNN-BiLSTM-A的特征注意力結(jié)構(gòu)基礎(chǔ)上引入了殘差連接，試驗(yàn)證明，引入殘差連接的CNN-BiLSTM-RA模型在復(fù)雜的氣象時(shí)間序列數(shù)據(jù)中具備更高的預(yù)測(cè)精度。

表2中展示了CNN-BiLSTM-RA模型和CNN-BiLSTM-A模型在4種關(guān)鍵性能指標(biāo)上的預(yù)測(cè)能力。通過在CNN-BiLSTM-A模型的注意力機(jī)制上加入殘差結(jié)構(gòu)，構(gòu)建了CNN-BiLSTM-RA模型，其預(yù)測(cè)效果得到明顯提升。殘差注意力機(jī)制有效增強(qiáng)了模型對(duì)于關(guān)鍵時(shí)序特征的識(shí)別和利用能力，降低了學(xué)習(xí)關(guān)鍵特征的信息損失，在保持模型深度的同時(shí)提高了模型的訓(xùn)練穩(wěn)定性和預(yù)測(cè)精度。

3 討論

本研究提出的基于CNN-BiLSTM和殘差注意力（RA）的縣域水稻產(chǎn)量預(yù)測(cè)模型，通過綜合應(yīng)用CNN層、BiLSTM和RA機(jī)制，提升了對(duì)水稻氣象特征的預(yù)測(cè)精度。具體而言，CNN層的引入有效提升了模型在空間維度上特征的提取能力，同時(shí)，BiLSTM層的應(yīng)用確保了模型對(duì)時(shí)間序列數(shù)據(jù)中長(zhǎng)期依賴關(guān)系的有效捕捉，其預(yù)測(cè)性能在多項(xiàng)指標(biāo)上超越了單一的CNN模型和TRANSFORMER模型。引入的殘差注意力機(jī)制不僅增強(qiáng)了模型對(duì)關(guān)鍵時(shí)空特征的識(shí)別能力，還大幅提高了模型的整體預(yù)測(cè)性能。

目前，國(guó)內(nèi)外基于氣象數(shù)據(jù)的農(nóng)作物產(chǎn)量預(yù)測(cè)研究較少，尤其缺乏對(duì)混合模型的充分探討。在水稻產(chǎn)量預(yù)測(cè)方面已有相關(guān)研究［14-16］，但其研究數(shù)據(jù)集中在衛(wèi)星植被指數(shù)、肥料劑量、種植面積等方面。HAO等［17］使用氣象數(shù)據(jù)預(yù)測(cè)水稻產(chǎn)量，通過不同單一模型的比較實(shí)現(xiàn)了水稻產(chǎn)量的準(zhǔn)確預(yù)測(cè)，本研究構(gòu)建的CNN-BiLSTM-RA模型與其對(duì)比，在模型設(shè)計(jì)上更近一步，通過混合模型的構(gòu)建不僅提高了預(yù)測(cè)精度，而且通過多個(gè)角度深度分析數(shù)據(jù)，使得模型更加全面有效。盡管CNN-BiLSTM-RA模型在水稻產(chǎn)量預(yù)測(cè)中展現(xiàn)了顯著的優(yōu)勢(shì)，但在深度學(xué)習(xí)領(lǐng)域，模型的性能在很大程度上受到參數(shù)設(shè)置的影響。因此，對(duì)于未來的研究方向，本研究將從以下3方面進(jìn)行分析。①探索結(jié)合其他時(shí)間序列模型架構(gòu)的可能性，例如嘗試采用門控循環(huán)單元（GRU）替代BiLSTM層，以提高模型在捕獲時(shí)間序列數(shù)據(jù)中短期依賴性方面的效率和精準(zhǔn)度。②應(yīng)用交叉驗(yàn)證方法，對(duì)CNN-BiLSTM-RA模型的關(guān)鍵參數(shù)進(jìn)行細(xì)致調(diào)整，以提高模型在不同數(shù)據(jù)集上的泛化能力和穩(wěn)定性。③研究模型在不同氣候條件和地區(qū)的適應(yīng)性，探究其普適性和地區(qū)特異性，為水稻產(chǎn)量預(yù)測(cè)提供更廣泛的應(yīng)用范圍。

4 小結(jié)

本研究提出了基于CNN-BiLSTM和殘差注意力機(jī)制的縣域水稻產(chǎn)量預(yù)測(cè)模型（CNN-BiLSTM-RA），該模型充分發(fā)揮了CNN的空間特征提取能力、BiLSTM的時(shí)間序列數(shù)據(jù)分析優(yōu)勢(shì)及RA機(jī)制在增強(qiáng)關(guān)鍵特征捕捉方面的特性，為水稻產(chǎn)量計(jì)量提供了一種高效預(yù)測(cè)模型。綜合應(yīng)用CNN、BiLSTM和RA機(jī)制的CNN-BiLSTM-RA模型，在MAE、RMSE、MAPE和R2等核心評(píng)價(jià)指標(biāo)上均優(yōu)于傳統(tǒng)單一模型和其他組合模型，證明CNN-BiLSTM-RA模型在水稻產(chǎn)量預(yù)測(cè)方面的高度精確性。BiLSTM層的引入提升了預(yù)測(cè)的準(zhǔn)確性和時(shí)效性。殘差注意力機(jī)制的融入進(jìn)一步增強(qiáng)了模型對(duì)氣象數(shù)據(jù)中重要特征的識(shí)別和加權(quán)處理能力，提升了模型在捕捉復(fù)雜時(shí)空特征方面的性能。

參考文獻(xiàn)：

［1］ 徐小俊， 方 佳. 大數(shù)據(jù)背景下農(nóng)業(yè)科技平臺(tái)發(fā)展的困境及對(duì)策［J］. 福建農(nóng)業(yè)科技， 2015， 46（6）： 76-80.

［2］ 趙瑞雪， 李 嬌， 張 潔，等. 多場(chǎng)景農(nóng)業(yè)專業(yè)知識(shí)服務(wù)系統(tǒng)構(gòu)建研究［J］. 農(nóng)業(yè)圖書情報(bào)學(xué)報(bào)， 2020， 32（1）： 4-11.

［3］ 張向君， 陳優(yōu)良， 肖 鋼. 基于機(jī)器學(xué)習(xí)的農(nóng)作物產(chǎn)量預(yù)測(cè)研究綜述［J］. 安徽農(nóng)學(xué)通報(bào)， 2021， 27（3）： 117-119，134.

［4］ KHAKI S， WANG L. Crop yield prediction using deep neural networks［J］. Frontiers in plant science， 2019， 10： 621.

［5］ JIANG H. A deep learning approach to conflating heterogeneous geospatial data for corn yield estimation： A case study of the US corn belt at the county level［J］. Global chang biology， 2020， 26： 1754-1766.

［6］ MUPANGWA W， CHIPINDU L， NYAGUMBO I， et al. Evaluating machine learning algorithms for predicting maize yield under conservation agriculture in Eastern and Southern Africa［J］. SN applied sciences， 2020， 2： 952.

［7］ ZHENG C， JIONG Y. An end-to-end model for rice yield prediction using deep learning fusion［J］. Computers and electronics in agriculture， 2020， 174： 105471.

［8］ PATEL J， VALA B， SAIYAD M. LSTM-RNN combined approach for crop yield prediction on climatic constraints［A］.2021 5th international conference on computing methodologies and communication （ICCMC）［C］. Rome， Italy： IEEE， 2021.

［9］ RUBEN F，TINA B，JIAN K，et al. Rice-Yield prediction with multi-temporal sentinel-2 data and 3D CNN： A case study in Nepal［J］. Remote sensing， 2021， 13（7）： 1391.

［10］ SHI T Z， LEI X， NENG C C. Rice yield prediction in Hubei Province based on deep learning and the effect of spatial heterogeneity［J］. Remote sensing， 2023， 15（5）： 1361.

［11］ USHARANI B， GOPI B， NALINI C. Improved optimization algorithm in LSTM to predict crop yield［J］. Computers，2023， 12（1）： 10.

［12］ 臧海祥，張 越， 程禮臨，等. 基于ICEEMDAN-LSTM和殘差注意力的短期太陽輻照度預(yù)測(cè)［J］. 太陽能學(xué)報(bào)， 2023， 44（12）： 175-181.

［13］ 王登海， 安玥馨， 廖晨博，等. 基于CNN-LSTM混合神經(jīng)網(wǎng)絡(luò)的光伏發(fā)電量預(yù)測(cè)方法研究［J］. 西安石油大學(xué)學(xué)報(bào)（自然科學(xué)版）， 2024， 39（1）： 129-134.

［14］ ABID N， SALEEM U， AHMAD Z S， et al. Estimation and forecasting of rice yield using phenology-based algorithm and linear regression model on sentinel- Ⅱ satellite data［J］. Agriculture， 2021， 11（10）： 1026.

［15］ JIYA E A， ILLIYASU U， AKINYEMI M. Rice yield forecasting： A comparative analysis of multiple machine learning algorithms［J］. Journal of information systems and informatics， 2023， 5（2）： 785-799.

［16］ SATPATHI A， SETIYA P， DAS B， et al. Comparative analysis of statistical and machine learning techniques for rice yield forecasting for Chhattisgarh， India［J］. Sustainability， 2023， 15（3）： 2786.

［17］ HAO M M， YING Z， YI F L， et al. Prediction of rice yield based on LSTM long short term memory network［J］. Journal of physics： Conference series， 2021， 1952（4）： 42033.

基金項(xiàng)目：國(guó)家自然科學(xué)基金面上項(xiàng)目（32271880）

作者簡(jiǎn)介：梁 澤（1997-），男，河北保定人，在讀碩士研究生，主要從事農(nóng)業(yè)信息化研究，（電話）16651614839（電子信箱）1723035444@qq.com；通信作者，孫 偉（1978-），男，山東海陽人，研究員，博士，主要從事農(nóng)林時(shí)空信息智能分析研究，（電話）13691329164（電子信箱）sunwei02@caas.cn。