基于注意力機(jī)制與LSTM-CCN的月降水量預(yù)測(cè)

周祥 張世明 蘇林鵬 張守平

收稿日期：2023-12-13；接受日期：2024-04-01

基金項(xiàng)目：重慶市技術(shù)創(chuàng)新與應(yīng)用發(fā)展專項(xiàng)重點(diǎn)項(xiàng)目（CSTB2022TIAD-KPX0132）

作者簡(jiǎn)介：周? 祥，男，副教授，研究方向?yàn)樗こ獭⑺呐c水資源。E-mail：30364899@qq.com

Editorial Office of Yangtze River. This is an open access article under the CC BY-NC-ND 4.0 license.

文章編號(hào)：1001-4179（2024） 06-0129-07

引用本文：周祥，張世明，蘇林鵬，等.

基于注意力機(jī)制與LSTM-CCN的月降水量預(yù)測(cè)

［J］.人民長(zhǎng)江，2024，55（6）：129-135.

摘要：針對(duì)現(xiàn)有月降水量預(yù)測(cè)方法預(yù)測(cè)準(zhǔn)確性不高的問題，提出一種基于注意力機(jī)制與LSTM-CCN的月降水量預(yù)測(cè)方法。首先，利用長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)（long short-term memory neural network，LSTM）提取氣象數(shù)據(jù)在時(shí)間維度的特征分布，從時(shí)間相關(guān)性方面捕獲相鄰時(shí)間段或長(zhǎng)距離氣象數(shù)據(jù)段中的統(tǒng)計(jì)分布；其次，利用因果卷積神經(jīng)網(wǎng)絡(luò)（causal convolutional network，CCN）將氣象數(shù)據(jù)映射到空間維度，深層次地從空間維度捕獲氣象數(shù)據(jù)在空間中的特征統(tǒng)計(jì)分布；再次，以并聯(lián)的方式將時(shí)間和空間特征作為交叉注意力網(wǎng)絡(luò)的輸入，構(gòu)造融合的時(shí)空特征；最后，以長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)構(gòu)造解碼器，并將融合的時(shí)空特征作為解碼器的輸入，預(yù)測(cè)的月降水量作為輸出。選取河南省新鄉(xiāng)市2001～2017年數(shù)據(jù)集進(jìn)行測(cè)試，結(jié)果表明：所提出方法的均方根誤差僅為13.08 mm，相比主流方法具有更低的預(yù)測(cè)誤差。研究成果可為提高氣象預(yù)測(cè)的準(zhǔn)確性和實(shí)用性提供參考。

關(guān)? 鍵? 詞：月降水量預(yù)測(cè)； 多層注意力機(jī)制； 因果卷積神經(jīng)網(wǎng)絡(luò)； 長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)

中圖法分類號(hào)： TV124

文獻(xiàn)標(biāo)志碼： A

DOI：10.16232/j.cnki.1001-4179.2024.06.018

0? 引 言

在全球范圍內(nèi)，氣候變化引發(fā)了極端天氣事件的增加，其中降水模式的變化對(duì)社會(huì)和環(huán)境造成了嚴(yán)重影響。月降水量作為氣象現(xiàn)象的關(guān)鍵指標(biāo)之一，對(duì)于農(nóng)業(yè)、水資源管理、城市規(guī)劃等領(lǐng)域的決策具有重要意義［1-2］。在這個(gè)背景下，準(zhǔn)確預(yù)測(cè)月降水量不僅有助于優(yōu)化資源分配，提高農(nóng)作物產(chǎn)量，還能在一定程度上預(yù)防和應(yīng)對(duì)災(zāi)害事件。

傳統(tǒng)降水量預(yù)測(cè)中，人們?cè)诿媾R降水量突變或異常變化時(shí)，常常依賴經(jīng)驗(yàn)和統(tǒng)計(jì)方法來做出應(yīng)對(duì)決策［3-5］。然而，隨著科技的進(jìn)步和人工智能技術(shù)的快速發(fā)展，基于數(shù)據(jù)驅(qū)動(dòng)的預(yù)測(cè)方法日益受到關(guān)注。通過分析歷史氣象數(shù)據(jù)、海洋溫度、大氣壓力等多種因素，結(jié)合先進(jìn)的機(jī)器學(xué)習(xí)和深度學(xué)習(xí)技術(shù)，研究人員能夠建立更為精確的月降水量預(yù)測(cè)模型［6-8］。這些模型能夠捕捉復(fù)雜的時(shí)空關(guān)系，從而提高預(yù)測(cè)的準(zhǔn)確性和穩(wěn)定性。如張麗婷等［9］提出了一種基于深度學(xué)習(xí)方法的降水量預(yù)測(cè)模型，通過建立季節(jié)性回歸統(tǒng)計(jì)方法和長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)模型，在揚(yáng)州市區(qū)59 a的歷史數(shù)據(jù)集中挖掘降水量的統(tǒng)計(jì)特征分布，通過比較兩種模型的預(yù)測(cè)精度，建立回歸特征模型。韓瑩等［10］提出了一種改進(jìn)長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)的月降水量預(yù)測(cè)模型，通過在湖北省5個(gè)縣級(jí)基站歷史數(shù)據(jù)集上進(jìn)行訓(xùn)練與測(cè)試，驗(yàn)證了利用平行學(xué)習(xí)結(jié)構(gòu)和寬帶學(xué)習(xí)系統(tǒng)改進(jìn)的長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)可以有效提高月降水量的精度。程桂芳等［11］以鄭州市近30 a的歷史數(shù)據(jù)為訓(xùn)練數(shù)據(jù)集，通過構(gòu)造差分自回歸模型、長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)模型和時(shí)間序列可分解模型的多個(gè)模型組合模型來提高月降水量的預(yù)測(cè)精度，通過預(yù)測(cè)2022年4～12月鄭州市當(dāng)?shù)卦陆邓縼眚?yàn)證所設(shè)計(jì)模型的可靠性。王文川等［12］提出了小波變換和長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)的組合模型，通過小波分解對(duì)時(shí)間序列數(shù)據(jù)進(jìn)行預(yù)處理，得到多個(gè)低頻和高頻序列數(shù)據(jù)，并基于分解后的數(shù)據(jù)進(jìn)行神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練與參數(shù)的優(yōu)化。

現(xiàn)有月降水量模型大多依賴長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)提取時(shí)間序列的特征，并且取得了令人印象深刻的預(yù)測(cè)性能；然而，很少有研究將時(shí)間序列和空間維度特征進(jìn)行關(guān)聯(lián)來挖掘不同維度的特征語義信息。為此，本文利用長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)LSTM和因果卷積神經(jīng)網(wǎng)絡(luò)CCN分別提取時(shí)間序列和空間維度的特征統(tǒng)計(jì)分布，并利用交叉注意力融合網(wǎng)絡(luò)建立時(shí)序和空間維度特征的上下文語義關(guān)聯(lián)，通過挖掘不同維度之間的特征來彌補(bǔ)單一維度特征的不足。此外，本文研究的月降水量預(yù)測(cè)模型不僅是為了滿足氣象學(xué)的研究需求，更是為了應(yīng)對(duì)日益頻發(fā)的極端降水事件。通過提前預(yù)測(cè)月降水量的變化，可以采取預(yù)防性措施，如加強(qiáng)防洪工程、調(diào)整農(nóng)業(yè)生產(chǎn)計(jì)劃、做好城市排水系統(tǒng)的維護(hù)等，從而最大程度地減輕災(zāi)害的影響。

1? 月降水量預(yù)測(cè)方法

傳統(tǒng)月降水量預(yù)測(cè)方法主要借助長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)、門控循環(huán)神經(jīng)網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò)等時(shí)間序列神經(jīng)網(wǎng)絡(luò)提取歷史降水量在時(shí)序維度的特征［13-15］。很少有研究從多個(gè)維度挖掘特征在深度空間中的語義關(guān)聯(lián)。為此，本文為探究月降水量歷史數(shù)據(jù)在時(shí)間和空間維度的特征分布，提出一種基于LSTM-CCN并行網(wǎng)絡(luò)的月降水量預(yù)測(cè)方法，分別借助長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)和因果卷積神經(jīng)網(wǎng)絡(luò)提取歷史月降水量數(shù)據(jù)在時(shí)間和空間維度的特征，其次利用設(shè)計(jì)的交叉注意力網(wǎng)絡(luò)挖掘不同維度特征間的關(guān)聯(lián)，以此增強(qiáng)特征表達(dá)的魯棒性和可靠性。

1.1? 時(shí)間序列特征提取

氣象數(shù)據(jù)中的降水量分析在氣候研究、水資源管理等領(lǐng)域具有重要意義。然而，由于降水量數(shù)據(jù)的復(fù)雜性，傳統(tǒng)的分析方法難以充分捕捉數(shù)據(jù)中的季節(jié)性、周期性和長(zhǎng)期依賴性等特征［16］。受長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)在時(shí)間序列數(shù)據(jù)中良好表現(xiàn)的啟發(fā)，本文利用長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)提取月降水量數(shù)據(jù)集在時(shí)間維度的特征，旨在有效地揭示降水量變化的潛在規(guī)律。

在使用LSTM網(wǎng)絡(luò)進(jìn)行特征提取前，首先通過數(shù)據(jù)歸一化、序列切分等步驟將月降水量時(shí)間序列數(shù)據(jù)片段作為一個(gè)時(shí)間步，將連續(xù)的若干月組成一個(gè)輸入序列，以及下個(gè)月的降水量作為輸出標(biāo)簽。假設(shè)某一時(shí)間段的月降水量歷史序列數(shù)據(jù)為X={x1，x2，…，xn}，然后利用長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)LSTM的輸入門、遺忘門和輸出門，提取月降水量歷史數(shù)據(jù)在時(shí)序維度上的特征表示，長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)內(nèi)部結(jié)構(gòu)如圖1所示。其中，輸入門決定當(dāng)前時(shí)間步細(xì)胞狀態(tài)的更新情況，遺忘門旨在決定當(dāng)前時(shí)間步細(xì)胞狀態(tài)中信息的遺忘情況，具體計(jì)算如公式（1）和公式（2）所示。

it=σWi·［ht－1，xt］+bi（1）

ft=σWf·［ht－1，xt］+bf（2）

式中：σ表示激活函數(shù)；it表示輸入門；ft表示遺忘門；ht－1表示上一時(shí)間步隱藏層狀態(tài)；xt表示時(shí)間步t時(shí)刻的降水量時(shí)序片段；Wi、Wf、bi和bf分別表示輸入門和遺忘門的權(quán)重矩陣和偏置，是一組可學(xué)習(xí)的參數(shù)。

將多個(gè)記憶細(xì)胞的輸出進(jìn)行拼接，控制當(dāng)前時(shí)間步t時(shí)刻長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)的輸出，同時(shí)將上述t時(shí)刻不同記憶單元的輸出作為輸出門單元的輸入，并與更新細(xì)胞單元進(jìn)行點(diǎn)乘運(yùn)算，得到最終的輸出，即降水量歷史數(shù)據(jù)在時(shí)序維度的特征表達(dá)，具體計(jì)算如公式（3）和公式（4）所示。

ot=σWo·［ht-1，xt］+bo（3）

Ft=ot·tanh（ft·Ct-1+it·C～t）（4）

式中：ot和Ft分別表示輸出門和最終的時(shí)序特征表

達(dá)；Wo和bo是輸出門的權(quán)重矩陣和偏置；Ct-1和C～t分別表示更新門和候選細(xì)胞狀態(tài)。

1.2 ??空間序列特征提取

近年來，因果卷積神經(jīng)網(wǎng)絡(luò)在文本情感分析、語音識(shí)別、金融大數(shù)據(jù)預(yù)測(cè)和交通流預(yù)測(cè)等時(shí)間序列領(lǐng)域取得了顯著的成效，這歸因于卷積網(wǎng)絡(luò)強(qiáng)大的空間特征捕獲能力［17-18］。為此，本文借助因果卷積神經(jīng)網(wǎng)絡(luò)來提取月降水量在空間維度的特征，采用的因果卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。因果卷積神經(jīng)網(wǎng)絡(luò)是卷積神經(jīng)網(wǎng)絡(luò)在處理時(shí)間序列數(shù)據(jù)時(shí)的變體模型，能夠捕獲時(shí)間序列數(shù)據(jù)中的因果關(guān)系，從而更準(zhǔn)確地提取月降水量在空間中的特征表達(dá)，非常適用于本文研究的月降水量預(yù)測(cè)時(shí)序任務(wù)。

在時(shí)間序列數(shù)據(jù)分析中，過去短時(shí)間或長(zhǎng)距離信息對(duì)當(dāng)前時(shí)間步和未來時(shí)間段的預(yù)測(cè)至關(guān)重要［19］。然而，傳統(tǒng)的卷積操作并不考慮時(shí)間維度的因果性，可能會(huì)將未來的信息引入當(dāng)前的預(yù)測(cè)中，導(dǎo)致預(yù)測(cè)性能不佳。因果卷積網(wǎng)絡(luò)采用了一種特殊的卷積結(jié)構(gòu)，以確保卷積操作只使用過去的信息，遵循時(shí)間的因果性［20-22］。在卷積核的滑動(dòng)過程中，不允許從未來的時(shí)間步中獲取信息，只能從當(dāng)前時(shí)間步及之前的時(shí)間步獲取信息，這主要是通過限制卷積核的索引范圍來實(shí)現(xiàn)的，保證卷積操作始終是因果的。不同時(shí)間段的因果關(guān)聯(lián)關(guān)系可表示為公式（5）。

Fc=f（N－1i=0wi·xt－1+b）（5）

式中：Fc表示第t個(gè)時(shí)間步的空間特征表達(dá)；xt－1表示第t-1時(shí)刻的降水量時(shí)間序列數(shù)據(jù)；wi和b表示權(quán)重矩陣和偏置，是一組可學(xué)習(xí)參數(shù)；N表示卷積核的大??；f（·）表示激活函數(shù)。值得注意的是，由于xt－1僅包含過去的信息，這種卷積操作能夠捕獲到時(shí)間序列數(shù)據(jù)的因果關(guān)系。而對(duì)于t－1＜0的情況，意味著卷積核的滑動(dòng)超出了序列的時(shí)間范圍，這也是因果卷積的關(guān)鍵之處，有效防止了未來信息的泄漏。

1.3? 交叉注意力融合

現(xiàn)有主流的月降水量預(yù)測(cè)模型大多僅采用單一的時(shí)間序列特征，轉(zhuǎn)少研究融合時(shí)間序列和空間序列特征。本文利用長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)提取了月降水量歷史數(shù)據(jù)在時(shí)間維度上的特征，同時(shí)利用因果卷積神經(jīng)網(wǎng)絡(luò)提取了歷史數(shù)據(jù)在空間維度的特征，并將兩維特征集并行輸入至交叉注意力融合網(wǎng)絡(luò)，挖掘跨維度間特征的關(guān)聯(lián)性。所設(shè)計(jì)的交叉注意力融合網(wǎng)絡(luò)如圖3所示。

圖3中，對(duì)于給定的時(shí)間維度特征集Ft和空間維度特征集Fc，首先利用維度轉(zhuǎn)換函數(shù)將跨維度間的特征統(tǒng)一成相同大小的特征表示；然后，分別計(jì)算Ft和Fc的相關(guān)性矩陣，并作為Ft的權(quán)重。具體計(jì)算如公式（6）所示。

Ft|c=softmax（LN（Ft，F(xiàn)c）·FTcd）LN（Ft，F(xiàn)c）（6）

式中：LN（Ft，F(xiàn)c）表示線性轉(zhuǎn)換函數(shù)，旨在將Ft轉(zhuǎn)換為與Fc等維度的特征圖；d表示特征維度的大小。融合后的特征既包含空間維度信息又包含時(shí)序維度信息，同時(shí)捕獲了跨維度間特征的相關(guān)性［23］，有效增強(qiáng)了特征表達(dá)的魯棒性。

1.4? 降水量預(yù)測(cè)

月降水量是連續(xù)性事件預(yù)測(cè)，因此，本文采用上述介紹的長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)構(gòu)造解碼器，并以融合特征Ft|c為解碼器的輸入，t+1時(shí)刻的降水量為輸出。解碼器網(wǎng)絡(luò)的結(jié)構(gòu)如圖4所示。

圖4中，t時(shí)刻隱藏單元為H，輸入為Ft|c，上一時(shí)間步的隱藏狀態(tài)為ht－1，t時(shí)刻的預(yù)測(cè)輸出可表示為公式（7）～（10）。

rt=σ（WirFt|ct+bir+Whrh（t－1）+bhr）（7）

zt=σ（WizFt|ct+biz+Whzh（t－1）+bhz）（8）

nt=tanh（WinFt|ct+bin+rt（Whnh（t－1）+bhn））（9）

ht=（1－zt）nt+zth（t－1）（10）

式中：Wir、Whr、Wiz、Whz、Win和Whn是可學(xué)習(xí)的參數(shù)，分別表示輸入門、重置門、隱藏層和輸出門之間的權(quán)重；b表示對(duì)應(yīng)的偏置；nt表示輸出門的激活值；ht為t時(shí)刻的隱藏層狀態(tài)；Ft|ct為t時(shí)刻的輸入融合特征；h（t－1）為t-1時(shí)刻的隱藏層狀態(tài)；rt和zt分別表示重置門和更新門。

將一段時(shí)間內(nèi)的輸出拼接，得到T時(shí)間段內(nèi)的降水量預(yù)測(cè)結(jié)果，即{ht－1，ht，…，ht+T}。最后，利用交叉熵?fù)p失函數(shù)驗(yàn)證預(yù)測(cè)值與真實(shí)降水量之間的誤差，根據(jù)誤差值反向迭代優(yōu)化網(wǎng)絡(luò)模型。

2? 試 驗(yàn)

2.1? 試驗(yàn)數(shù)據(jù)

月降水量具有明顯的季節(jié)效應(yīng)，為了更好地分析不同時(shí)間段內(nèi)的降水量統(tǒng)計(jì)特征，采用多年時(shí)間段的降水量歷史數(shù)據(jù)作為模型的訓(xùn)練集。選擇河南省新鄉(xiāng)市1960～2000年的月降水量數(shù)據(jù)集進(jìn)行訓(xùn)練，具體包括8個(gè)氣象觀測(cè)站40 a的觀測(cè)數(shù)據(jù)。此外，為了驗(yàn)證模型預(yù)測(cè)的性能，在2001～2017年數(shù)據(jù)集上進(jìn)行測(cè)試。

2.2? 試驗(yàn)環(huán)境與評(píng)價(jià)指標(biāo)

試驗(yàn)環(huán)境采用Windows 10操作系統(tǒng) 13代i5-13500HX，顯卡為RTX4060，顯存大小為16 GB。開發(fā)語言為Python，編輯器采用Pycharm。模型訓(xùn)練階段的初始學(xué)習(xí)率為0.001，batch大小為8，優(yōu)化器采用 Adam。模型訓(xùn)練和測(cè)試階段的誤差曲線如圖5所示，超參數(shù)設(shè)定的依據(jù)如圖6所示?？梢钥闯?，當(dāng)?shù)螖?shù)為180時(shí)，曲線趨于平穩(wěn)，表明模型收斂。

為了驗(yàn)證模型的預(yù)測(cè)性能，采用當(dāng)前主流的均方根誤差（root mean squared error，RMSE）來驗(yàn)證預(yù)測(cè)的精準(zhǔn)度，采用R2－score來判斷整體性能，其值在0～1之間，值越大表示模型的預(yù)測(cè)性能越好，具體計(jì)算如公式（11）～（12）所示。

RMSE=1mmi=1（pi－pEuclid ExtrazB@i）2（11）

R2－score=1－mi=1（pi－pEuclid ExtrazB@i）mi=1（pi－pi）（12）

式中：pi表示預(yù)測(cè)值，pEuclid ExtrazB@i表示真實(shí)值，m表示數(shù)據(jù)集中的樣本總數(shù)，pi表示平均降水量。

2.3? 消融試驗(yàn)

為了探究空間和時(shí)序特征在模型整體預(yù)測(cè)性能方面的角色，設(shè)計(jì)了表1所列的消融試驗(yàn)。此處，選擇單一的時(shí)間序列模型為基準(zhǔn)模型。

可以看出，僅利用單一時(shí)序特征預(yù)測(cè)的降水量和真實(shí)降水量相差18.37 mm。僅利用空間維度的特征預(yù)測(cè)月降水量與真實(shí)降水量相差24.15 mm。然而，結(jié)合時(shí)序特征和空間維度特征，模型預(yù)測(cè)的月降水量與真實(shí)降水量相差13.08 mm，相比單一使用時(shí)序和空間維度特征預(yù)測(cè)降水量，誤差下降了5.29 mm和11.07 mm。此外，時(shí)序特征和空間維度特征融合模型的R2－score達(dá)到了0.89，相比單一時(shí)序特征，提升了0.21。上述結(jié)果也驗(yàn)證了傳統(tǒng)利用時(shí)序維度的特征預(yù)測(cè)降水量的有效性，這也是當(dāng)前主流模型采用時(shí)間序列網(wǎng)絡(luò)的主要原因；其次，利用因果卷積提取的空間特征，有助于彌補(bǔ)時(shí)序特征在空間維度特征表達(dá)的不足?？傊?，同時(shí)利用上述時(shí)序特征和空間維度特征，可以有效降低預(yù)測(cè)月降水量和真實(shí)降水量之間的誤差。

2.4? 試驗(yàn)結(jié)果與分析

為了驗(yàn)證所設(shè)計(jì)模型的有效性，在相同的數(shù)據(jù)集和評(píng)價(jià)指標(biāo)下進(jìn)行對(duì)比試驗(yàn)。此處，選擇時(shí)間序列任務(wù)中經(jīng)典的模型，包括長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)（LSTM）、循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）、門控循環(huán)神經(jīng)網(wǎng)絡(luò)（GRU）、卷積神經(jīng)網(wǎng)絡(luò)（CNN）、因果卷積神經(jīng)網(wǎng)絡(luò)（CCN）以及組合模型LSTM-CNN、RNN-CNN、GRU-CNN。具體預(yù)測(cè)結(jié)果如表2所列。

通過分析表2中結(jié)果，可以發(fā)現(xiàn)：① 在單一時(shí)序神經(jīng)網(wǎng)絡(luò)中，LSTM網(wǎng)絡(luò)表現(xiàn)最佳，可以實(shí)現(xiàn)18.37 mm的預(yù)測(cè)誤差；② 雖然結(jié)合空間維度特征可以有效緩解預(yù)測(cè)誤差大的問題，但卷積網(wǎng)絡(luò)僅從空間提取特征，不保留時(shí)序關(guān)聯(lián)；③ 相比RNN、GRU等時(shí)序神經(jīng)網(wǎng)絡(luò)，融合LSTM網(wǎng)絡(luò)和因果卷積的混合模型可以實(shí)現(xiàn)最低的預(yù)測(cè)誤差，這歸因于因果卷積既保留空間維度特征又保留了空間位置信息；④ 本文設(shè)計(jì)的長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)模型和因果卷積的融合模型（LSTM-CCN）相比其他模型中表現(xiàn)最好的GRU-CCN，預(yù)測(cè)誤差降低了0.43 mm。

此外，為了直觀展示所設(shè)計(jì)模型在不同時(shí)間節(jié)點(diǎn)上的預(yù)測(cè)結(jié)果，給出了河南省新鄉(xiāng)市1 a的預(yù)測(cè)結(jié)果與真實(shí)結(jié)果的誤差曲線，并與當(dāng)前主流的降水量預(yù)測(cè)模型LSTM-CNN、RNN-CNN、GRU-CNN模型進(jìn)行對(duì)比，誤差曲線如圖7所示。可以看出，雖然所設(shè)計(jì)模型在單一節(jié)點(diǎn)上有所波動(dòng)，但整體曲線較平穩(wěn)，這表明本文模型具有較好的穩(wěn)定性，符合實(shí)際應(yīng)用。此外，為了探究測(cè)試集20 a的降水量預(yù)測(cè)與真實(shí)降水量值間的誤差曲線變化，以年為時(shí)間節(jié)點(diǎn)，繪制了20 a內(nèi)不同模型的預(yù)測(cè)變化曲線（圖8），可以看出，所提出模型仍然保持一定的競(jìng)爭(zhēng)力。

3? 結(jié) 論

本文探討了基于時(shí)間維度和空間維度特征對(duì)神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)月降水量性能的影響，主要借助長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)提取月降水量歷史數(shù)據(jù)在時(shí)序維度的特征，利用因果卷積神經(jīng)網(wǎng)絡(luò)提取歷史數(shù)據(jù)在空間維度的特征，并以并行的方式構(gòu)造交叉注意力融合網(wǎng)絡(luò)，挖掘時(shí)序特征和空間特征在深度空間中的關(guān)聯(lián)信息，旨在強(qiáng)化特征表達(dá)的魯棒性和可靠性。通過在河南省新鄉(xiāng)市近20 a的數(shù)據(jù)集上進(jìn)行測(cè)試可知，所提出方法的均方根誤差僅為13.08 mm，優(yōu)于當(dāng)前主流的降水量預(yù)測(cè)方法，驗(yàn)證了所設(shè)計(jì)模型的優(yōu)越性。

所設(shè)計(jì)的模型在預(yù)防災(zāi)害、優(yōu)化資源配置和保障社會(huì)穩(wěn)定方面具有重要的實(shí)際應(yīng)用價(jià)值，該方法的實(shí)現(xiàn)有望為未來的氣象預(yù)測(cè)和災(zāi)害預(yù)防提供更為準(zhǔn)確和可靠的支持，以適應(yīng)不斷變化的氣候環(huán)境。

參考文獻(xiàn)：［1］? KUMAR D，SINGH A，SAMUI P，et al.Forecasting monthly precipitation using sequential modelling［J］.Hydrological Sciences Journal，2019，64（6）：690-700.

［2］? ESTVEZ J，BELLIDO-JIMNEZ J A，LIU X，et al.Monthly precipitation forecasts using wavelet neural networks models in a semiarid environment［J］.Water，2020，12（7）：1909.

［3］? 郭詩君，尹泰來，吳冬雨，等.1951～2019年丹江口庫區(qū)降水量時(shí)空變化研究［J］.人民長(zhǎng)江，2020，51（增2）：57-62.

［4］? TAO L，HE X，LI J，et al.A multiscale long short-term memory model with attention mechanism for improving monthly precipitation prediction［J］.Journal of Hydrology，2021，602：126815.

［5］? 賀玉琪，王棟，王遠(yuǎn)坤.BRR-SVR月降水量預(yù)測(cè)優(yōu)化模型［J］.水利學(xué)報(bào)，2019，50（12）：1529-1537.

［6］? PAKDAMAN M，F(xiàn)ALAMARZI Y，BABAEIAN I，et al.Post-processing of the North American multi-model ensemble for monthly forecast of precipitation based on neural network models［J］.Theoretical and Applied Climatology，2020，141（1/2）：405-417.

［7］? 丁光旭，郭家力，湯正陽，等.多種降水再分析數(shù)據(jù)在長(zhǎng)江流域的適用性對(duì)比［J］.人民長(zhǎng)江，2022，53（9）：72-79.

［8］? BANADKOOKI F B，EHTERAM M，AHMED A N，et al.Precipitation forecasting using multilayer neural network and support vector machine optimization based on flow regime algorithm taking into account uncertainties of soft computing models［J］.Sustainability，2019，11（23）：6681.

［9］? 張麗婷，李鵬飛，龐文靜，等.基于季節(jié)性自回歸積分滑動(dòng)平均與深度學(xué)習(xí)長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)的降水量預(yù)測(cè)［J］.科學(xué)技術(shù)與工程，2022，22（9）：3453-3463.

［10］韓瑩，談昊然，王樂豪，等.改進(jìn)的LSTM模型在月降水量預(yù)測(cè)中的應(yīng)用［J］.計(jì)算機(jī)仿真，2023，40（5）：535-540.

［11］程桂芳，王雪敏.基于組合模型的月降水量預(yù)測(cè)研究［J］.水電能源科學(xué)，2023，41（4）：13-16.

［12］王文川，楊靜欣，臧紅飛.基于WD-COA-LSTM模型的月降水量預(yù)測(cè)［J］.水資源與水工程學(xué)報(bào)，2022，33（4）：8-13，23.

［13］NOURANI V，MOLAJOU A，UZELALTINBULAT S，et al.Emotional artificial neural networks （EANNs） for multi-step ahead prediction of monthly precipitation；case study：northern Cyprus［J］.Theoretical and Applied Climatology，2019，138（3/4）：1419-1434.

［14］TANG T，JIAO D，CHEN T，et al.Medium-and long-term precipitation forecasting method based on data augmentation and machine learning algorithms［J］.IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing，2022，15：1000-1011.

［15］BOUAZIZ M，MEDHIOUB E，CSAPLOVISC E.A machine learning model for drought tracking and forecasting using remote precipitation data and a standardized precipitation index from arid regions［J］.Journal of Arid Environments，2021，189：104478.

［16］ZHANG T，LIANG Z，LI W，et al.Statistical post-processing of precipitation forecasts using circulation classifications and spatiotemporal deep neural networks［J］.Hydrology and Earth System Sciences，2023，27（10）：1945-1960.

［17］SHANG Z，CHEN Y，CHEN Y，et al.Decomposition-based wind speed forecasting model using causal convolutional network and attention mechanism［J］.Expert Systems with Applications，2023，223：119878.

［18］SHENG Y，WANG H，YAN J，et al.Short-term wind power prediction method based on deep clustering-improved Temporal Convolutional Network［J］.Energy Reports，2023，9：2118-2129.

［19］WANG Y，SONG X，YE R，et al.A short-term load forecasting method based on attention mechanism of time convolution network［C］∥2022 IEEE 6th Advanced Information Technology，Electronic and Automation Control Conference （IAEAC）.IEEE，2022：891-896.

［20］LIMOUNI T，YAAGOUBI R，BOUZIANE K，et al.Accurate one step and multistep forecasting of very short-term PV power using LSTM-TCN model［J］.Renewable Energy，2023，205：1010-1024.

［21］JAVED U，IJAZ K，JAWAD M，et al.A novel short receptive field based dilated causal convolutional network integrated with Bidirectional LSTM for short-term load forecasting［J］.Expert Systems with Applications，2022，205：117689.

［22］陳帥宇，趙龑驤，蔣磊.基于ARIMA-CNN-LSTM模型的黃河開封段水位預(yù)測(cè)研究［J］.水利水電快報(bào)，2023，44（1）：15-22.

［23］LI J，YUAN X.Daily streamflow forecasts based on cascade long short-term memory （LSTM） model over the Yangtze River Basin［J］.Water，2023，15（6）：1019.

（編輯：謝玲嫻）

Monthly precipitation prediction based on attention mechanism and LSTM-CCN

ZHOU Xiang1，2，ZHANG Shiming3，SU Linpeng4，ZHANG Shouping1，2

（1.Chongqing Water Resources and Electric Engineering College，Chongqing 402160，China；

2.Reservoir Safety and Water Environment Big Data Chongqing University Engineering Center，Chongqing 402160，China；

3.Upper Changjiang Rive Bureau of Hydrological and Water Resources Survey，Hydrology Bureau of Changjiang Water Resources Commission，Chongqing 400020，China;

4.Chongqing Yuxi Water Conservancy and Electric Power Survey and Design Institute Co.，Ltd.，Chongqing 402160，China）

Abstract：

To address the issue of low accuracy in existing monthly precipitation prediction methods，an attention mechanism and LSTM-CCN for the monthly precipitation prediction method were proposed.Firstly，the long short-term memory neural network （LSTM） was used to extract the temporal feature distribution of meteorological data，capturing the statistical distribution in adjacent or long-distance meteorological data segments from a temporal correlation perspective.Secondly，the causal convolutional network （CCN） projected meteorological data to the spatial dimension，deeply capturing the statistical distribution of spatial features of meteorological data.Thirdly，the time and space features were input into the cross-attention network in parallel，constructing a fused spatiotemporal feature.Finally，a decoder constructed with the long short-term memory neural network took the fused spatiotemporal feature as input，and the predicted monthly precipitation served as the output.The test was carried out on the data set from Xinxiang City，Henan Province from 2001 to 2017.The results showed that the proposed method′s root mean square error was only 13.08 mm，demonstrating lower prediction errors compared to mainstream methods.The introduction of this work contributes to enhancing the accuracy and practicality of meteorological predictions.

Key words：

monthly precipitation prediction; multi-layer attention mechanism; causal convolutional neural network; long short-term memory neural network