基于深度學(xué)習(xí)的LAFs短臨強(qiáng)降水預(yù)測(cè)模型研究

中圖分類號(hào)：P426.6 文獻(xiàn)標(biāo)志碼：A 文章編號(hào)：2095-2945(2025)14-0072-04

Abstract:Whenshort-termandimminentrainfallafectsthegenerationofrunoffandthedistributionofwaterresources， accurateforecastingcanbringhugeeconomicbenefitstorelevantdepartments.Inordertoimprovetheacuracyofheavyrainfal forecast，anLAFsshortimminentheavyrainfallforecastmethodbasedonLSTM-Atentioncombinedwiththeaumulatoris proposed.Themodelfirstusesacubicpolynomialinterpolationmethodtogridtheactualobservationelementsoftheground station;Thenthedataisextractedandfusedthroughtheaccumulator;Finaly，theobtainedfeaturefactorsareusedasinputsto themodelformodelprediction.ThreatscoreTSandmeansquareerorareselectedasindicatorstocomprehensivelyevaluatethe performanceof theproposedmodel，andcomparedwithLSTMandConvLSTM.Theresultsshowthattheperformanceof the proposed model is better than the other two models，and its TS score is 2% 業(yè) 3% higher than that of the other two models，and 5% （2 higherthantheactualoperationalforecastlevelinthesameregion，indicatingthattheproposedmodelhascertainpracticalvalue.

Keywords:longshort-termmemorynetwork (LSTM);atentionmechanism;feed-forwardnetwork；short-termimminentheavy precipitation; accumulator

短時(shí)強(qiáng)降水引發(fā)的山洪、城市內(nèi)澇和地質(zhì)災(zāi)害已屢見不鮮，精準(zhǔn)的降水預(yù)報(bào)對(duì)于防洪、水資源管理、空中交管以及能源管理有重要的戰(zhàn)略意義。然而，降水的發(fā)生是一個(gè)隨機(jī)、復(fù)雜的非線性氣象過程，對(duì)時(shí)空具有依賴性。近年來，基于機(jī)器學(xué)習(xí)方法的理論與實(shí)踐迅猛發(fā)展，相關(guān)算法被廣泛應(yīng)用于降水預(yù)報(bào)中。在張鵬程等發(fā)表的基于多層感知器的動(dòng)態(tài)區(qū)域聯(lián)合短時(shí)降水預(yù)報(bào)方法中，通過實(shí)驗(yàn)證實(shí)深度神經(jīng)網(wǎng)絡(luò)可以快速的從數(shù)據(jù)中學(xué)習(xí)主要特征規(guī)律。長(zhǎng)短期時(shí)間記憶網(wǎng)絡(luò)(Long-Short TermMemory，LSTM對(duì)時(shí)序序列具有較好的記憶能力，且保留長(zhǎng)期依賴的能力。注意力機(jī)制是一種可以有效獲取良好結(jié)果的機(jī)制，在長(zhǎng)短期記憶網(wǎng)絡(luò)上加入注意力機(jī)制，通過對(duì)中間層神經(jīng)元分配不同的概率權(quán)重，使模型更加關(guān)注對(duì)降水發(fā)生影響較大的信息，減少甚至忽略對(duì)降水預(yù)報(bào)影響較小信息的關(guān)注，緩解了模型因長(zhǎng)序列信息關(guān)注不足的問題，并有效改善基礎(chǔ)模型的擬合能力。在Attentionallisyouneed一文中利用類似網(wǎng)絡(luò)，極大地改善了基礎(chǔ)模型的非線性擬合能力，提升模型的擬合效率。故而通過在注意力層加入類似前饋神經(jīng)網(wǎng)絡(luò)，進(jìn)一步提升注意力層對(duì)非線性信息的捕捉能力，進(jìn)一步提升模型的擬合能力。

1結(jié)合預(yù)提器的LSTM-Attention的短臨強(qiáng)降水預(yù)報(bào)方法

1.1數(shù)據(jù)源及評(píng)估指標(biāo)

1.1.1 數(shù)據(jù)源

研究對(duì)象為廣西區(qū)域的2843個(gè)站點(diǎn)未來1h的累計(jì)降水量。實(shí)驗(yàn)數(shù)據(jù)為廣西境內(nèi)2843個(gè)站點(diǎn)在逐^1h 的實(shí)況資料和雷達(dá)資料數(shù)據(jù)，時(shí)間范圍為2016年1月至2020年6月數(shù)據(jù)。站點(diǎn)的實(shí)況數(shù)據(jù)有： 3h 變壓 ?24h 變壓 ?24h 變溫、露點(diǎn)溫度、相對(duì)濕度、海平面氣壓以及累計(jì)降水量；而雷達(dá)資料為廣西境內(nèi)10部多普勒天氣雷達(dá)基數(shù)據(jù)。并選取2016—2019年共計(jì)4132條數(shù)據(jù)作為訓(xùn)練集，2020年作為測(cè)試集共計(jì)1744條。

1.1.2 評(píng)估指標(biāo)

本文將以威脅分?jǐn)?shù)TS、均方誤差（Mean SquareError，MSE）虛警率(FalseAlarmRate，F(xiàn)AR）探測(cè)率(ProbabilityOfDetection，POD）作為綜合評(píng)價(jià)模型優(yōu)劣的指標(biāo)，具體公式如式(1）—式(4)所示，式(1)具體參數(shù)細(xì)節(jié)見表1，式(4)中 n 為數(shù)據(jù)量， yⁱ 表示在第 i 條數(shù)據(jù)的真實(shí)值， 為在第 i 條數(shù)據(jù)的預(yù)測(cè)值。

注： NA 為預(yù)報(bào)正確站點(diǎn)數(shù)， NB 為空?qǐng)?bào)站點(diǎn)數(shù)， NC 為漏報(bào)站點(diǎn)數(shù)， ND 為無(wú)強(qiáng)降水的預(yù)報(bào)正確站點(diǎn)數(shù)， T 為設(shè)置的降水閥值，本文設(shè)置T為 10mm^?h^-1.

1.2LAFs的短臨強(qiáng)降水預(yù)報(bào)方法

1.2.1 長(zhǎng)短期時(shí)間記憶網(wǎng)絡(luò)

由Hochreiter和Schmidhuber在1997年提出RNN的變體形式LSTM，一定程度上解決了RNN在學(xué)習(xí)過程中因信息長(zhǎng)期滯后的弊端，并拓展了RNN部分存儲(chǔ)單元，其巧妙的設(shè)計(jì)門控邏輯單元結(jié)構(gòu)，控制整個(gè)網(wǎng)絡(luò)信息的取舍與傳遞。具體結(jié)構(gòu)如圖1所示（其中 ⑧ 表示乘積， 表示累加）。

1.2.2 注意力機(jī)制

注意力機(jī)制最初被引入機(jī)器翻譯領(lǐng)域，成為人工智能最受歡迎的組成部件之一。在自然語(yǔ)言處理、計(jì)算機(jī)視覺中，已作為神經(jīng)網(wǎng)絡(luò)模型框架中基礎(chǔ)組成成分。由于注意力機(jī)制具有動(dòng)態(tài)調(diào)整、自適應(yīng)選擇相關(guān)特征的能力，在強(qiáng)降水預(yù)報(bào)中引入注意力機(jī)制，可以使基礎(chǔ)模型更加關(guān)注主要任務(wù)。其詳細(xì)步驟如下：信息經(jīng)過式(5)一式(7)計(jì)算，得到所重新分配的權(quán)重信息。在 χ_t 時(shí)刻的特征序列 x ，可得相應(yīng)的注意權(quán)重矩陣 。

式中： 均是可學(xué)習(xí)參數(shù)， a 表示權(quán)重值， x 為輸入數(shù)據(jù)，注意力層輸出 ? 由 a?x 決定。通過 構(gòu)建整個(gè)輸出序列 。

1.2.3 預(yù)提器

為了給預(yù)報(bào)模型提供一個(gè)良好的數(shù)據(jù)，對(duì)數(shù)據(jù)進(jìn)行了預(yù)處理。即通過自建預(yù)提器，將原始數(shù)據(jù)通過預(yù)提器處理得到較好的數(shù)據(jù)，使得模型有效預(yù)報(bào)信息具有更加好特征提取能力，其基本結(jié)構(gòu)如圖2所示，預(yù)提器由卷積層、LSTM層以及層歸一化構(gòu)成。首先將實(shí)況數(shù)據(jù)通過卷積層進(jìn)行特征提取，后經(jīng)過LSTM提取特征關(guān)聯(lián)信息，再與雷達(dá)數(shù)據(jù)殘差連接，進(jìn)行融合，最后經(jīng)過層歸一化，得到良好的數(shù)據(jù)集。

1.2.4LAFs模型流程

結(jié)合預(yù)提器的LSTM-Attention的短臨強(qiáng)降水預(yù)報(bào)方法(簡(jiǎn)稱為L(zhǎng)AFs）強(qiáng)降水預(yù)報(bào)模型(結(jié)構(gòu)如圖3所示，圖3中AddLayerNor表示累加并做層歸一化），主要分為2個(gè)過程，第一階段，訓(xùn)練數(shù)據(jù)經(jīng)過本研究自建的預(yù)提器，為接下來的模型訓(xùn)練提供良好的訓(xùn)練樣本，再通過Attention，識(shí)別重要輸人信息（輸入門的作用)，將該輸人存儲(chǔ)在一定時(shí)期狀態(tài)下，按照一定規(guī)則將其保留某些狀態(tài)(忘記門的作用)，并在需要時(shí)提取它。再通過注意力機(jī)制，將對(duì)數(shù)據(jù)中的某些特征因子進(jìn)行權(quán)重重載，關(guān)注更加需要關(guān)注的因子。第二階段，數(shù)據(jù)經(jīng)過注意力機(jī)制層后，信息中的重要特征得到較好的權(quán)重分配，但由于降水?dāng)?shù)據(jù)本是一個(gè)隨機(jī)、非線性的信息，信息中會(huì)有一些特定因子擾動(dòng)，故通過微調(diào)后的FeedForwards網(wǎng)絡(luò)，來進(jìn)一步提高基礎(chǔ)模型在非線性條件下的擬合能力。

2LAFs模型結(jié)果評(píng)估與分析

為保證模型在訓(xùn)練過程調(diào)節(jié)至最優(yōu)結(jié)果，做以下工作：將數(shù)據(jù)切分為64批次，設(shè)置模型數(shù)據(jù)按批次訓(xùn)練；訓(xùn)練600輪次，優(yōu)化器采用Adam，學(xué)習(xí)率利用WarmUp自動(dòng)調(diào)節(jié)，并在模型每10輪次保存目前最優(yōu)結(jié)果。在保證模型調(diào)節(jié)值最優(yōu)情況下，得出本文提出模型對(duì)于降水量大于 10mm/h 的預(yù)測(cè)能力的TS為0.15左右，比目前實(shí)際業(yè)務(wù)預(yù)報(bào)水平（TS為0.1左右）具有較大幅度的提升。為進(jìn)一步探究模型是否在較其他模型中性能最佳，本章節(jié)通過2種不同角度進(jìn)行評(píng)估模型：同類模型對(duì)比實(shí)驗(yàn)和消融實(shí)驗(yàn)。

表2展示了本文模型和LSTM以及ConvLSTM模型在文中1.1.1構(gòu)建的數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果?？梢钥闯觯瑹o(wú)論是參數(shù)大小還是速度，無(wú)論TS、FAR、POD上還是MSE上，其中，LAFs模型在刻畫強(qiáng)降水預(yù)報(bào)準(zhǔn)確性的TS評(píng)分中，分別比LSTM和ConvLSTM預(yù)報(bào)模型基礎(chǔ)上提高了 20.78% 和 19.26% FAR和POD也遠(yuǎn)優(yōu)于LSTM和ConvLSTM。而在模型預(yù)報(bào)精度的MSE評(píng)估指標(biāo)上，LAFs模型比其他2個(gè)預(yù)報(bào)模型也提高了7% 以上。

進(jìn)一步地，本文還考察了各模型在訓(xùn)練過程中TS的變化情況(圖4(a)）和損失函數(shù)數(shù)值變化情況（圖4(b)）。從圖4(a)中可以看出，本文提出的LAFs模型無(wú)論是在前期還是在后期，其精度保持在比較模型中的最優(yōu)，且該模型不會(huì)在訓(xùn)練過程中出現(xiàn)大幅的抖動(dòng)，保持較為平滑的增長(zhǎng)最后趨于穩(wěn)定。而在圖4(b)中，LAFs模型訓(xùn)練過程中的損失函數(shù)數(shù)值相比于其余2個(gè)模型較為穩(wěn)定的下降。

綜上，提出的LAFs模型在獨(dú)立樣本的測(cè)試中，該模型不僅在TS、FAR、POD和MSE等指標(biāo)上與同樣本的LSTM和ConvLSTM模型具有更好的表現(xiàn)，在預(yù)報(bào)效果上也優(yōu)于目前的業(yè)務(wù)預(yù)報(bào)水平。

3結(jié)論

為了提高強(qiáng)降水預(yù)測(cè)模型的精度，本文提出基于長(zhǎng)短期記憶的注意力前饋的強(qiáng)降水預(yù)測(cè)模型。該模型主要通過對(duì)時(shí)間序列記憶訪問信息的LSTM、能深層次捕捉信息關(guān)聯(lián)性的注意力機(jī)制以及提升非線性條件下的擬合能力的FeedForwards。該模型在以廣西境內(nèi)2843個(gè)站點(diǎn)的各種評(píng)估實(shí)驗(yàn)中，得出以下結(jié)論。

1)在同等條件下，本文提出的模型在TS評(píng)分上比LSTM和ConvLSTM方法分別提高了 20.78% 、19.26% ，且優(yōu)異于實(shí)際業(yè)務(wù)預(yù)報(bào)水平(0.1左右）。

2)本文提出的模型在POD、FAR、MSE和擬合效率評(píng)估上均為最優(yōu)，表明模型對(duì)預(yù)報(bào)的精度、效率較好。

參考文獻(xiàn)：

[1]FANJL.Application ofDoppler weather radar in quantitative measurement of precipitation and short -term heavy precipitation forecast [D]. Chengdu Institute of Information Technology，2013.

[2] RAMANA R V，KRISHNA B，KUMAR S R， et al. Monthly rainfall prediction using wavelet neural network analysis [J].Water ResourcesManagement，2013，27(10): 3697-3711.

[3] HE X，GUAN H，QIN J.A hybrid wavelet neural network model with mutual information and particle swarm optimizationfor forecasting monthlyrainfall[J].Journal ofHydrology，2015，527(17) :88-100.

[4] SILVA M，CARVALHO L， DIAS M， et al. Complexity and predictability of daily precipitation in a semi-arid region：an application to Ceará，Brazil[J].Nonlinear Processesin Geophysics，2006，13(6):651-659.

[5]SHISHUTOSH，BARUA，NITIN，et al.Rainfall trend and its implications for water resource management within the Yarra River catchment，Australia[J].Hydrological Processes，2012.

[6] ZHANGFH，CAO Y，XUJ，et al.Application oflogisticdiscriminant model in heavy rainfall forecasting[J].Meteorological Monthly，2016，42(4):398-405.

[7]ZHANG J，YAO Y，CAO N. Prediction of whether precipitationbasedon decision tree [J]. Journal of Geomatics， 2017，42(5):107-109.

[8] ORTIZ-GARCIA E G， SALCEDO-SANZ S， CASANOVAMATEO C. Accurate precipitation prediction with support vector classifiers:A study including novel predictive variables and observational data [J]. Atmospheric Research， 2014，139(mar.):128-136.

[9] ZHANG P C，JIA Y Y.A dynamic area joint short-term precipitation forecast method based on multi-layer perceptrons [J]. Computer Applications and Software， 2018，35 (11):7.

[10] GREFF K，SRIVASTAVA R K，KOUTNiK J，et al. LSTM: A Search Space Odyssey [J]. IEEE Transactions on Neural Networks Learning Systems，2016，28(10):2222-2232.

[11] LIU JC，QIN X L，ZHU R Z. Position prediction of RFID moving objects based on LSTM-Attention [J]. Computer Science，2021，48(3):8.

[12]LI Y J.A direct method for estimating the number of hidden layer neurons in feedforward neural networks [J]. Chinese Jourmal of Computers，1999，22(11):5.

[13] VASWANI A，SHAZEER N，PARMAR N，et al. Attention is all you need[J].arXiv，2017:1706.

[14] HOCHREITER S， SCHMIDHUBER J. Long Short -Term Memory[J]. Neural Computation，1997，9(8):1735-1780.

[15] BAHDANAU D，CHO K，BENGIO Y. Neural machine translation by jointly learning toalign and translate[J]. Computer Science，2014，1409(407):1-15.

[16] JIANG Y Y， JIN B， ZHANG B C. Research progress of deep learning in the field of natural language processing [J].Computer Engineering andApplications， 2021，57 (22):14.

[17] LI Z J，F(xiàn)AN Y，WU X J. Research Review of Pretraining Technology for Natural Language Procesing [J]. Computer Science，2020，47(3):12.

[18] HUANG H X，LIU X Y，WANG R P. Application research ofattentionmechanism incomputervision [J]. Electronics World，2021(5):3.

[19] CHAUDHARI S，POLATKAN G，RAMANATH R，et al. An Attentive Survey of Attention Models[J]. 2019.