面向降雨預(yù)報(bào)的雷達(dá)回波預(yù)測(cè)序列外推方法

摘 要：雷達(dá)回波外推方法廣泛應(yīng)用于降雨預(yù)報(bào)中。針對(duì)雷達(dá)回波中的預(yù)測(cè)精度不夠高的問題，提出了一種 基于循環(huán)神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)模型DIPredRNN。該模型通過引入空間和通道的雙注意力機(jī)制，將長(zhǎng)時(shí)間的時(shí)間信息和通道信息結(jié)合起來(lái)，提高了時(shí)間記憶的長(zhǎng)期依賴；通過引入隱藏狀態(tài)和輸入的交互框架， 保留了更多的特征，提高了時(shí)間記憶的短期依賴。該模型在HKO－7數(shù)據(jù)集和四川數(shù)據(jù)集上同經(jīng)典模型以及諸多先進(jìn)模型進(jìn)行實(shí)驗(yàn)對(duì)比，該模型從外推圖像、MSE、SSIM、CSI－30～50 dbz多個(gè)指標(biāo)對(duì)比中都取得最佳效果。實(shí)驗(yàn)證明了DIPredRNN提高了雷達(dá)回波預(yù)測(cè)效果，擁有先進(jìn)的性能。

關(guān)鍵詞：雷達(dá)回波外推； 深度學(xué)習(xí)； 循環(huán)神經(jīng)網(wǎng)絡(luò)

中圖分類號(hào)：TN957.51；P457.6文獻(xiàn)標(biāo)志碼： A文章編號(hào)：1001－3695（2024）04－026－1138－05

doi：10.19734/j.issn.1001－3695.2023.07.0377

Research on extrapolation of radar echo prediction sequence for rainfall prediction

Luo Jianwen Zou Maoyang Yang Hao Chen Min2， Yang Kangquan3

Abstract：The radar echo extrapolation method is widely used in rainfall forecasting. Addressing the issue of insufficient prediction accuracy in radar echoes， this paper proposed a deep learning model DIPredRNN based on recurrent neural networks. This model combined long－term temporal and channel information by introducing a dual attention mechanism of space and channel， improved the long－term dependence of time memory. By introducing an interactive framework of hidden states and inputs， it retained more features and improved the short－term dependence of temporal memory. This model was experimentally compared with classical models and many advanced models on the HKO－7 and Sichuan datasets. The model achieved the best results in comparing multiple indicators such as extrapolated images， MSE， SSIM， CSI－30～50 dbz. The experiment proves that the proposed DIPredRNN network improves the radar echo prediction performance and has advanced performance.

Key words：radar echo extrapolation; deep learning; recurrent neural network（RNN）

0 引言

降雨預(yù)報(bào)是指基于雷達(dá)回波、雨量計(jì)和其他的觀測(cè)資料對(duì)局部地區(qū)進(jìn)行一定時(shí)間內(nèi)的降雨強(qiáng)度預(yù)報(bào)。降雨預(yù)報(bào)在許多實(shí)際應(yīng)用中都起著至關(guān)重要的作用，例如它可以提前發(fā)布降雨預(yù)警來(lái)避免因?yàn)樯襟w滑坡而造成的人員傷亡。而降雨預(yù)報(bào)中以雷達(dá)回波外推為主，它根據(jù)過去的雷達(dá)回波圖像，以及降雨的數(shù)量、時(shí)間和位置等信息，對(duì)未來(lái)的雷達(dá)圖像進(jìn)行詳細(xì)而合理的預(yù)測(cè)。傳統(tǒng)的雷達(dá)回波外推方法大多是基于線性和確定性的，但降雨本身在時(shí)間尺度上具有非線性的特征，傳統(tǒng)的雷達(dá)回波外推方法也就無(wú)法模擬出降雨系統(tǒng)的各種變化。近年來(lái)，人們將深度學(xué)習(xí)的循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）［1］引入降雨預(yù)報(bào)，應(yīng)用于雷達(dá)回波外推的研究中，與已有的預(yù)報(bào)方法相比［2，3］取得了一定的成效，延長(zhǎng)了雷達(dá)回波外推的時(shí)效性，提高了雷達(dá)回波外推的精度，部分研究還成功應(yīng)用到了實(shí)際中［4～6］。

在深度學(xué)習(xí)發(fā)展史中，2015年Shi等人［7］將降水預(yù)報(bào)視作一個(gè)時(shí)空序列預(yù)測(cè)問題，該問題可以表達(dá)為過去的雷達(dá)回波序列輸入，以固定數(shù)量的未來(lái)雷達(dá)回波圖像序列作為輸出，在此基礎(chǔ)上提出了ConvLSTM（convolutional LSTM）模型，將FC－LSTM（fully connected LSTM）中的輸入到狀態(tài)和狀態(tài)到狀態(tài)轉(zhuǎn)換都換成了卷積運(yùn)算，并通過堆疊形成編碼器－預(yù)測(cè)的形態(tài)。它與當(dāng)時(shí)最先進(jìn)的雷達(dá)回波外推法ROVER進(jìn)行了比較，并且各方面指標(biāo)都始終優(yōu)于光流法。ConvLSTM的提出標(biāo)志著深度學(xué)習(xí)與降雨預(yù)報(bào)兩個(gè)領(lǐng)域有了交叉，自此以后，循環(huán)神經(jīng)網(wǎng)絡(luò)發(fā)展變革應(yīng)用在降雨測(cè)報(bào)方面的模型越來(lái)越多。循環(huán)神經(jīng)網(wǎng)絡(luò)本身是極其適用于預(yù)測(cè)的，但本身也存在梯度消失等缺點(diǎn)，會(huì)隨著網(wǎng)絡(luò)迭代不斷放大，后面在LSTM基礎(chǔ)上不斷迭代的新網(wǎng)絡(luò)也都會(huì)減少梯度消失的情況，但不能完全解決。2017年Shi等人［8］又提出了新的TrajGRU（trajectory GRU），認(rèn)為雖然ConvLSTM中的卷積遞歸結(jié)構(gòu)比全連接結(jié)構(gòu)在捕獲時(shí)空相關(guān)性上更優(yōu)，但還有改進(jìn)的空間。對(duì)于運(yùn)動(dòng)模式中如旋轉(zhuǎn)和縮放，不同的空間位置和時(shí)間戳?xí)?dǎo)致連續(xù)幀的局部相關(guān)結(jié)構(gòu)不同，而ConvLSTM使用位置不變的過濾器來(lái)表示這種位置變量的卷積就顯得低效了。TrajGRU改進(jìn)使用了位置連接結(jié)構(gòu)，還在編碼－預(yù)測(cè)器結(jié)構(gòu)中分別加入了下采樣層和上采樣層，并反轉(zhuǎn)了部分預(yù)測(cè)器，這樣高階狀態(tài)可以捕獲全局的時(shí)空特征來(lái)指導(dǎo)低階狀態(tài)的更新。TrajGRU的提出相比于ConvLSTM對(duì)降水預(yù)報(bào)更加有效，他們還一同提出了一個(gè)降雨的基準(zhǔn)數(shù)據(jù)集HKO－7，這是一個(gè)公開數(shù)據(jù)集，下文的數(shù)據(jù)集部分會(huì)對(duì)其進(jìn)行詳細(xì)闡述。2017年，清華的Wang等人［9］認(rèn)為ConvLSTM的堆疊是有問題的，下一個(gè)時(shí)刻的底層記憶單元沒有獲得上個(gè)時(shí)刻頂層記憶單元的信息，參考記憶網(wǎng)絡(luò)［10～12］提出了“之”字型結(jié)構(gòu)，并引入了新的時(shí)空存儲(chǔ)記憶單元M，這樣可以分別學(xué)習(xí)短期動(dòng)態(tài)建模和長(zhǎng)期動(dòng)態(tài)建模。他們綜合兩者提出了PredRNN（predictive RNN）模型，與前面提出的模型相比，預(yù)測(cè)精度提升了一大截。次年他們又提出了PredRNN++（improved predictive RNN）模型［13］，雖然PredRNN引入了時(shí)空存儲(chǔ)記憶單元M，但沒有很好地解決新的記憶單元和原本的細(xì)胞單元的關(guān)系，于是他們改變了PredRNN中細(xì)胞狀態(tài)和時(shí)空狀態(tài)的位置，引入級(jí)聯(lián)結(jié)構(gòu)，將細(xì)胞狀態(tài)和時(shí)空狀態(tài)串聯(lián)起來(lái)，這樣增加了一個(gè)時(shí)間到下一個(gè)時(shí)間戳的遞歸深度。他們還為了緩解模型的梯度傳播的困難，在第一二層堆疊過程中增加了一條高速公路［14］，這樣模型可以自適應(yīng)地捕獲長(zhǎng)期和短期視頻依賴。文獻(xiàn)［15］提出了E3D－LSTM（Eidetic 3D LSTM），認(rèn)為PredRNN雖然提高了預(yù)測(cè)效果，但不能有效捕捉長(zhǎng)期關(guān)系，遺忘門常常對(duì)短期特征反映強(qiáng)烈而容易陷入飽和區(qū)，所以提出了一種新的記憶召回機(jī)制并增加了記憶狀態(tài)的維度（自注意力模塊）［16，17］，即使在長(zhǎng)時(shí)間的干擾后，也能夠有效跨過多個(gè)時(shí)間戳回憶起存儲(chǔ)的記憶。他們還將3D卷積集成到循環(huán)神經(jīng)網(wǎng)絡(luò)中，代替了ConvLSTM使用的2D卷積，封裝好的3D卷積可以讓循環(huán)神經(jīng)網(wǎng)絡(luò)的局部感知器獲得運(yùn)動(dòng)感知的能力，這樣記憶單元可以存儲(chǔ)更好的短期特征。同年他們又提出了MIM（memory in memory）［18］，認(rèn)為降水預(yù)報(bào)應(yīng)該考慮雷達(dá)圖上復(fù)雜多樣的本地趨勢(shì)，之前多數(shù)的RNN都是處理的趨勢(shì)非平穩(wěn)性，非平穩(wěn)建模的缺少部分導(dǎo)致了預(yù)測(cè)效果的模糊性。例如PredRNN中的遺忘門在80%的時(shí)間戳上都是飽和的，這樣未來(lái)的框架是近似于線性外推來(lái)預(yù)測(cè)的，于是運(yùn)用了數(shù)學(xué)中的差分思想，任何非平穩(wěn)的過程都可以分解成確定的多項(xiàng)式和一個(gè)零均值的隨機(jī)項(xiàng)，使用了兩個(gè)級(jí)聯(lián)的、可以自我更新的內(nèi)存模塊來(lái)代替遺忘門，分別模擬時(shí)空動(dòng)力學(xué)中的非平穩(wěn)和平穩(wěn)特征。他們還提出了對(duì)角循環(huán)體系，將前一個(gè)時(shí)刻的某層隱藏狀態(tài)傳給下一個(gè)時(shí)刻的更高層內(nèi)存塊，來(lái)生成不同的特征供進(jìn)一步使用。Wang等人［19］在PredRNN基礎(chǔ)上又進(jìn)行了修改，并提出了V2版本，之前PredRNN引入了新的時(shí)空記憶狀態(tài)，在本身的訓(xùn)練過程中，時(shí)空記憶狀態(tài)和本身的細(xì)胞狀態(tài)不能很好地分開，便加入了內(nèi)存解耦模塊［20］，讓存儲(chǔ)狀態(tài)和細(xì)胞狀態(tài)可以完全分開，分別學(xué)習(xí)長(zhǎng)期和短期狀態(tài)［21，22］。他們還在訓(xùn)練階段使用了反向計(jì)劃采樣，訓(xùn)練過程中，隨著訓(xùn)練輪次的增加，一定的概率以真實(shí)的圖像來(lái)替代生成的預(yù)測(cè)圖像，減小了序列到序列的RNN架構(gòu)的訓(xùn)練差異［23］，達(dá)到了更好的訓(xùn)練效果。

早期深度學(xué)習(xí)應(yīng)用于雷達(dá)回波外推任務(wù)時(shí)，存在一些根本問題。其一，欠缺對(duì)長(zhǎng)期依賴關(guān)系的利用。LSTM本身自帶了遺忘機(jī)制，會(huì)不斷地選擇是否丟棄之前的時(shí)間記憶信息，并且這是一個(gè)不可逆過程［24］，因此，網(wǎng)絡(luò)將無(wú)法獲取之前被丟棄的時(shí)間記憶信息，并且隨著網(wǎng)絡(luò)中堆疊的LSTM模塊的增多，模型的時(shí)間記憶信息缺失越來(lái)越嚴(yán)重?，F(xiàn)有的E3D－LSTM［15］網(wǎng)絡(luò)模型使用了空間注意力機(jī)制來(lái)回憶以前的時(shí)間記憶信息，沒有對(duì)通道相關(guān)性進(jìn)行建模。其二，缺乏對(duì)短期依賴關(guān)系的構(gòu)建。在LSTM模型中，因?yàn)槊總€(gè)門對(duì)于輸入和隱藏狀態(tài)都進(jìn)行獨(dú)立卷積，會(huì)導(dǎo)致短期依賴信息的丟失?，F(xiàn)有的PredRNN［9］模型通過引入空間記憶狀態(tài)，確保信息從底層到頂層的流通，構(gòu)建短期依賴關(guān)系。由于該過程是獨(dú)立卷積，所以引入的空間記憶狀態(tài)并不能幫助隱藏狀態(tài)和輸入狀態(tài)選擇重要的特征。

為了克服現(xiàn)有網(wǎng)絡(luò)模型的局限性，本文提出了新的DIPredRNN模型，該模型通過增加空間和通道的雙注意力模塊來(lái)增強(qiáng)對(duì)長(zhǎng)期依賴關(guān)系的構(gòu)建。此外，通過增加隱藏狀態(tài)和輸入狀態(tài)之間的交互框架來(lái)保留更多的時(shí)序特征。在雙注意力機(jī)制中，空間注意力可以對(duì)每個(gè)位置有選擇地進(jìn)行重組，通道注意力可以增強(qiáng)通道之間的信息交互［25］，兩者將時(shí)間記憶細(xì)胞所提取的長(zhǎng)距離信息和通道間的信息結(jié)合起來(lái)，幫助建立信息更加完整的長(zhǎng)距離依賴關(guān)系。在交互框架模塊中，輸入和隱藏狀態(tài)通過耦合卷積不斷產(chǎn)生新的輸入和隱藏狀態(tài)。其中，耦合卷積可以提取出重要的信息，對(duì)短期依賴信息進(jìn)行補(bǔ)充。最后，本文使用DIPredRNN模型在HKO－7［7］和四川數(shù)據(jù)集上同其他現(xiàn)有模型進(jìn)行了實(shí)驗(yàn)對(duì)比。

1 DIPredRNN模型

1.1 整體網(wǎng)絡(luò)模型

DIPredRNN模型由四層DI－LSTM模塊堆疊而成，引入了新的存儲(chǔ)狀態(tài)M，并在前一個(gè)時(shí)間的頂層和后一個(gè)時(shí)間的底層之間引入了“之”字形結(jié)構(gòu)。本文的創(chuàng)新點(diǎn)是在DI－LSTM模塊中分別加上了一個(gè)交互框架模塊和一個(gè)雙注意力模塊。圖1展示了DIPredRNN的結(jié)構(gòu)。

1.2 DI－LSTM模塊細(xì)節(jié)

DIPredRNN網(wǎng)絡(luò)的基礎(chǔ)DI－LSTM模塊輸入包含了當(dāng)前輸入狀態(tài) X t、空間存儲(chǔ)狀態(tài) H lt-1、歷史存儲(chǔ)狀態(tài) C t-τ：t-1和隱藏狀態(tài) H lt-1。首先，輸入狀態(tài) X t和隱藏狀態(tài) H lt-1經(jīng)過交互框架模塊產(chǎn)生新的輸入和隱藏狀態(tài)，并和歷史存儲(chǔ)狀態(tài) C t-τ：t-1一起作為雙注意力模塊的輸入來(lái)更新當(dāng)前記憶 C lt。 C lt通過對(duì)多個(gè)歷史存儲(chǔ)狀態(tài)的雙重注意，可以恢復(fù)一些被遺忘的信息。DI－LSTM模塊中新的“之”字型結(jié)構(gòu)引入了新的存儲(chǔ)狀態(tài)M，為了讓存儲(chǔ)狀態(tài)M和記憶狀態(tài)C分開，采用了內(nèi)存解耦方式。式（1） ～ （7）為DIPredRNN對(duì)應(yīng)的公式。

其中：表示二維卷積運(yùn)算；⊙表示矩陣乘積運(yùn)算；τ表示歷史存儲(chǔ)狀態(tài)的數(shù)量; Attn d表示雙注意力模塊。令遺忘門 f t作為查詢向量序列，歷史記憶狀態(tài) C t-τ：t-1作為鍵向量序列和值向量序列。圖2展示了DPredRNN基礎(chǔ)構(gòu)成的DI－LSTM細(xì)節(jié)，對(duì)應(yīng)的是圖1中的一個(gè)DI－LSTM單元。

1.3 雙注意力模塊

為了建立長(zhǎng)期依賴，增強(qiáng)網(wǎng)絡(luò)對(duì)長(zhǎng)期信息的關(guān)聯(lián)，本文提出了雙注意力模塊。圖3展示了雙注意力模塊，對(duì)應(yīng)的是圖2中DI－LSTM模塊的 Attn d模塊。

1.4 交互模塊

原始的ConvLSTM網(wǎng)絡(luò)并沒有加強(qiáng)輸入和隱藏狀態(tài)之間的相關(guān)性，只是單獨(dú)卷積，為此，本文提出了一種新的交互方案。圖4展示了交互框架，對(duì)應(yīng)的是圖2中的interaction block模塊。

從圖4中可以看到，新的輸入 x 1可以由舊的輸入 x 0和隱藏狀態(tài) h 0分別卷積再求和通過ReLU函數(shù)得到，而新的隱藏狀態(tài) h 1也可以由舊的隱藏狀態(tài) h 0和新的輸入 x 1分別卷積再求和通過ReLU函數(shù)得到，它們可以不斷迭代很多次產(chǎn)生新的輸入和隱藏狀態(tài)。在此過程中，輸入的更新包含了隱藏狀態(tài)，意味著它使用了隱藏狀態(tài)的信息合并了隱藏信息的表示，而隱藏狀態(tài)的更新也是同理，隱藏狀態(tài)的更新包含了輸入，意味著它對(duì)輸入進(jìn)行了聚合，得到了更好的表示，這樣新的輸入和隱藏狀態(tài)可以充分利用上下文的信息。式（11）（12）為交互框架對(duì)應(yīng)的公式。

其中：表示二維卷積運(yùn)算；ReLU表示激活函數(shù)；x表示輸入；h表示隱藏狀態(tài)。

2 實(shí)驗(yàn)

本章基于HKO和四川數(shù)據(jù)集將DIPredRNN與多個(gè)網(wǎng)絡(luò)進(jìn)行實(shí)驗(yàn)對(duì)比，并依次對(duì)數(shù)據(jù)集、實(shí)驗(yàn)指標(biāo)、實(shí)驗(yàn)對(duì)象進(jìn)行介紹，闡明實(shí)驗(yàn)設(shè)置，展示實(shí)驗(yàn)結(jié)果，給出對(duì)應(yīng)結(jié)果的分析。

2.1 數(shù)據(jù)集介紹

HKO數(shù)據(jù)集（香港數(shù)據(jù)集）：該數(shù)據(jù)集是TrajGRU［5］中提出的標(biāo)準(zhǔn)數(shù)據(jù)集，包含了香港天文臺(tái)2009—2015年所收集的雷達(dá)回波數(shù)據(jù)，圖像分辨率為480×480像素，拍攝圖片的海拔高度為2 km，覆蓋了以香港為中心的512 km×512 km的區(qū)域面積。數(shù)據(jù)每6 min記錄一次，并通過處理將雷達(dá)反射率因子線性轉(zhuǎn)換為像素值，映射到0～255，并對(duì)數(shù)據(jù)集中的噪聲像素進(jìn)行了過濾處理。

四川數(shù)據(jù)集：該數(shù)據(jù)集取自四川氣象局所收集的2018—2021年四年的雷達(dá)回波數(shù)據(jù)，數(shù)據(jù)格式為3維，含有21層數(shù)據(jù)，圖片記錄的海拔高度為0.5～19 km，圖像分辨率為1 000×2 000像素，跨越的經(jīng)度為95°E～115°E，緯度為25°N～35°N。根據(jù)氣象局的常年累計(jì)經(jīng)驗(yàn)，選取的雷達(dá)回波第五層數(shù)據(jù)為實(shí)驗(yàn)數(shù)據(jù)，也同HKO－7數(shù)據(jù)集一樣將雷達(dá)回波反射因子進(jìn)行轉(zhuǎn)換和映射。

兩個(gè)數(shù)據(jù)集處理后的圖片均為128×128像素，各自包含10 000個(gè)時(shí)間序列，每個(gè)時(shí)間序列長(zhǎng)度為20幀，每張圖片間隔為6 min，前10幀作為輸入進(jìn)行預(yù)測(cè)，后10幀作為金標(biāo)準(zhǔn)和預(yù)測(cè)的結(jié)果形成對(duì)比，10 000個(gè)時(shí)間序列中本文使用8 000個(gè)序列進(jìn)行訓(xùn)練，2 000個(gè)序列進(jìn)行驗(yàn)證。

2.2 實(shí)驗(yàn)指標(biāo)

對(duì)于雷達(dá)回波序列預(yù)測(cè)，本文輸入前10幀，網(wǎng)絡(luò)學(xué)習(xí)前10幀的特征并進(jìn)行預(yù)測(cè)，在此基礎(chǔ)上生成預(yù)測(cè)后10幀的圖像，輸入的后10幀圖像作為金標(biāo)準(zhǔn)與生成的預(yù)測(cè)后10幀圖像進(jìn)行對(duì)比，下面將介紹幾種常用的評(píng)價(jià)指標(biāo)。

1）均方根差（mean square error，MSE） 這是常用的評(píng)估算法性能的整體性指標(biāo)，能反映模型的整體性能。均方根差可以計(jì)算兩個(gè)樣本的誤差，值為0～∞，值越小說(shuō)明兩個(gè)樣本的誤差越小。

其中：PRobs是輸入的原本的雷達(dá)回波圖像；PReest是預(yù)測(cè)輸出的雷達(dá)回波圖像。對(duì)于雷達(dá)回波預(yù)測(cè)，均方根差值越小，說(shuō)明預(yù)測(cè)的效果越好。

2）結(jié)構(gòu)相似性（structural similarity index，SSIM） 它是衡量?jī)煞嗤笮D像相似性的指標(biāo)。 結(jié)構(gòu)相似性從亮度、對(duì)比度、結(jié)構(gòu)上面量化了圖像的屬性，其中均值可以表示亮度，方差可以表示對(duì)比度，協(xié)方差可以表示結(jié)構(gòu)相似度。結(jié)構(gòu)相似性的值為［-1，1］，值越接近1說(shuō)明兩幅圖越相似。

其中：x、y表示比較的兩幅圖像；μx是x的平均值；σ2x是x的方差；μy是y的平均值；μ2y是y的方差；σxy是x和y的協(xié)方差；c1=（K1L）2和c2=（K2L）2是用于維持穩(wěn)定的兩個(gè)常數(shù)，避免出現(xiàn)除數(shù)為0的情況。

3）臨界成功指數(shù)（critical success index，CSI） 深度學(xué)習(xí)基于準(zhǔn)確度的指標(biāo)，在雷達(dá)回波問題上，通過對(duì)預(yù)測(cè)dbz的正確與否，更能體現(xiàn)預(yù)測(cè)值和真實(shí)值之間的匹配程度，以及雷達(dá)回波在氣象領(lǐng)域的專業(yè)性。

在雷達(dá)回波中，分別以30、40、50 dbz作為閾值進(jìn)行計(jì)算。其中hits代表真陽(yáng)性，即預(yù)測(cè)和真實(shí)的像素都是大于閾值的;misses表示假陽(yáng)性，表示預(yù)測(cè)的像素小于真實(shí)的閾值;1_alarms表示假陰性，預(yù)測(cè)的像素和真實(shí)的像素都小于閾值。

2.3 實(shí)驗(yàn)對(duì)象

實(shí)驗(yàn)數(shù)據(jù)集將在ConvLSTM［7］、TrajGRU［8］、PredRNN［9］、PredRNN + +［13］、MIM［18］、PredRNN－V2［19］、IPredRNN、DPredRNN、DIPredRNN中進(jìn)行訓(xùn)練，其中IPredRNN是只添加了交互框架的PredRNN－V2網(wǎng)絡(luò)，DPredRNN是只添加了雙注意力模塊的PredRNN－V2網(wǎng)絡(luò)，DIPredRNN則是同時(shí)添加了交互框架和雙注意力模塊的PredRNN－V2網(wǎng)絡(luò)，三者可以互相形成對(duì)比，驗(yàn)證提出的兩個(gè)模塊的有用性和可疊加性。

2.4 實(shí)驗(yàn)設(shè)置

實(shí)驗(yàn)中本文選用ADAM作為優(yōu)化器來(lái)訓(xùn)練模型，設(shè)置batch_size為4，每次訓(xùn)練迭代中使用的小批量為8個(gè)序列，訓(xùn)練中學(xué)習(xí)率設(shè)定為10-4，訓(xùn)練的總輪數(shù)設(shè)定為80 000次，每5 000次 運(yùn)行一次測(cè)試集進(jìn)行預(yù)測(cè)并保存和輸出結(jié)果，也順帶保存此時(shí)的模型參數(shù)，實(shí)驗(yàn)中選用MSE指標(biāo)作為loss函數(shù)，網(wǎng)絡(luò)堆疊了4層的細(xì)胞，每層隱藏狀態(tài)和記憶狀態(tài)之間有128個(gè)通道，每層細(xì)胞中卷積核的大小設(shè)置為5×5，訓(xùn)練一個(gè)數(shù)據(jù)集的時(shí)間大致為48 h，實(shí)驗(yàn)中使用的顯卡為RTX 2070 SUPER，為8 GB顯存。

2.5 實(shí)驗(yàn)結(jié)果和分析

a）表1和圖5為在HKO－7數(shù)據(jù)集上運(yùn)行的實(shí)驗(yàn)結(jié)果展示。定量指標(biāo)如表1所示。定性指標(biāo)如圖5所示。

b）表2和圖6為在四川數(shù)據(jù)集上運(yùn)行的實(shí)驗(yàn)結(jié)果展示。定量指標(biāo)如表2所示。定性指標(biāo)如圖6所示。

從表2中可以看出，本文模型在所有指標(biāo)中都是較好或者最好的，相較于經(jīng)典模型ConvLSTM有很大提升，相較于最新模型PredRNN－V2也有所提升。其中，DIPredRNN在HKO－7數(shù)據(jù)集中，MSE和SSIM分別達(dá)到了25.93和0.771，相比PredRNN－V2有2.9%和2.6%的提升；而在四川數(shù)據(jù)集中MSE和SSIM分別達(dá)到了24.19和0.796，相比PredRNN－V2也有3.8%和2.8%的提升；而兩個(gè)數(shù)據(jù)集中，只添加了交互框架，并且只添加了雙注意力模塊的網(wǎng)絡(luò)，也均相比于PredRNN－V2有提升，證明了本文的兩個(gè)模塊都是有效且可以疊加的。另外，在CSI氣象指標(biāo)中，DIPredRNN在HKO－7數(shù)據(jù)集的30 dbz、40 dbz、50 dbz三個(gè)區(qū)間中的值相比于PredRNN－V2也有1.6%、2.2%、2.3%的提升，而在四川數(shù)據(jù)集的30 dbz、40 dbz、50 dbz這三個(gè)區(qū)間中的值相比PredRNN－V2也有1.5%、2.5%、3.7%的提升。只比較本文的三個(gè)網(wǎng)絡(luò)，發(fā)現(xiàn)只加了交互框架的IPredRNN相比PredRNN－V2普遍提升較少，說(shuō)明交互框架對(duì)于網(wǎng)絡(luò)的提升占比是較少的，但其中只加了雙注意力機(jī)制的DPredRNN在CSI－30區(qū)間上得分卻比DIPredRNN要好，而在高回波區(qū)域卻還是DIPredRNN的CSI得分更高。這說(shuō)明本文提出的交互框架提高了網(wǎng)絡(luò)在高回波區(qū)域的預(yù)測(cè)能力，是有意義的。綜上，DIPredRNN模型的確提高了預(yù)測(cè)精度。從圖像上來(lái)看，在兩個(gè)數(shù)據(jù)集中，ConvLSTM作為經(jīng)典模型是具有雷達(dá)回波預(yù)測(cè)能力的，最新的PredRNN預(yù)測(cè)更加精準(zhǔn)，本文模型預(yù)測(cè)的圖像無(wú)疑是最貼近金標(biāo)準(zhǔn)的，可以看出本文模型是有提升的。

3 結(jié)束語(yǔ)

本文提出了一種新的雷達(dá)回波外推模型DIPredRNN，該模型使用雙注意力模塊恢復(fù)遺忘的時(shí)間記憶信息，增強(qiáng)了長(zhǎng)期依賴，通過交互框架充分利用上下文信息，增強(qiáng)了模型短期依賴。與經(jīng)典模型和最新模型在兩個(gè)數(shù)據(jù)集上的實(shí)驗(yàn)對(duì)比，證明了DIPredRNN的先進(jìn)性能。下一步，筆者將探索三維雷達(dá)回波的預(yù)報(bào)，來(lái)改善極端天氣的預(yù)報(bào)事件。

參考文獻(xiàn)：

［1］Sutskever I， Vinyals O， Le Q V. Sequence to sequence learning with neural networks［C］//Proc of the 27th International Conference on Neural Information Processing Systems. Cambridge， MA： MIT Press， 2014：3104－3112.

［2］袁凱， 李武階， 李明， 等. 四種機(jī)器深度學(xué)習(xí)算法對(duì)武漢地區(qū)雷達(dá)回波臨近預(yù)報(bào)的檢驗(yàn)和評(píng)估［J］. 氣象， 2022， 48 （4）： 428－441. （Yuan Kai， Li Wujie， Li Ming，et al.Inspection and evaluation of four machine deep learning algorithms for radar echo nowcas－ting in Wuhan area［J］.Meteorology ， 2022， 48 （4）： 428－441.）

［3］龔勛， 胡嘉駿， 徐年平， 等. 基于深度學(xué)習(xí)的多普勒氣象雷達(dá)回波外推短臨預(yù)報(bào)對(duì)比研究［J］. 中國(guó)軍轉(zhuǎn)民， 2022（13）： 76－80. （Gong Xun， Hu Jiajun， Xu Nianping，et al.Comparative study of Doppler weather radar echo extrapolation short－term forecast based on deep learning［J］.China Military to Civilian ， 2022（13）： 76－80.）

［4］黃俊豪. 基于深度學(xué)習(xí)的短臨降水預(yù)測(cè)方法研究［D］.廈門：東南大學(xué)，2022. （Huang Junhao. Research on short－term precipitation prediction method based on deep learning［D］.Xiamen： Southeast University，2022.）

［5］周康輝. 基于深度卷積神經(jīng)網(wǎng)絡(luò)的強(qiáng)對(duì)流天氣預(yù)報(bào)方法研究［D］. 北京：中國(guó)氣象科學(xué)研究院，2022. （Zhou Kanghui. Research on severe convective weather forecasting methods based on deep neural network［D］. Beijing： Chinese Academy of Meteorological Sciences，2022.）

［6］張京紅， 韋方強(qiáng)， 鄧波， 等. 區(qū)域泥石流短臨預(yù)報(bào)及其應(yīng)用－基于多普勒天氣雷達(dá)技術(shù)的預(yù)報(bào)系統(tǒng)［J］. 自然災(zāi)害學(xué)報(bào)， 2008，17 （2）： 71－77. （Zhang Jinghong， Wei Fangqiang， Deng Bo，et al.Regional short－term debris flow forecasting and its application－forecasting system based on Doppler weather radar technology［J］.Journal of Natural Disasters ， 2008， 17 （2）： 71－77.）

［7］Shi Xingjian， Chen Zhourong， Wang Hao，et al.Convolutional LSTM network： a machine learning approach for precipitation nowcasting［C］//Proc of the 28th International Conference on Neural Information Processing Systems. Cambridge， MA： MIT Press， 2015：802－810.

［8］Shi Xingjian，Gao Zhihan，Lausen L， et al.Deep learning for precipi－tation nowcasting： a benchmark and a new model［C］//Proc of the 31st International Conference on Neural Information Processing Systems. Red Hook， NY： Curran Associates Inc.， 2017：5622－5632.

［9］Wang Yunbo， Long Mingsheng， Wang Jianmin， et al.PredRNN： recurrent neural networks for predictive learning using spatiotemporal LSTMs［C］//Proc of the 31st International Conference on Neural Information Processing Systems. Red Hook， NY： Curran Associates Inc.， 2017： 879－888.

［10］Graves Wayne G， Danihelka I. Neural turing machines［EB/OL］. （2014－12－10）. https：//arxiv.org/abs/1410.5401.

［11］Sukhbaatar S， Weston J， Fergus R. End－to－end memory networks［C］//Proc of the 28th International Conference on Neural Information Processing Systems. Cambridge， MA： MIT Press， 2015：2440－2448.

［12］Graves Wayne G， Reynolds M，et al.Hybrid computing using a neural network with dynamic external memory［J］.Nature ， 2016， 538 （7626）： 471－476.

［13］Wang Yunbo， Gao Zhifeng， Long Mingsheng，et al.PredRNN+： towards a resolution of the deep－in－time dilemma in spatiotemporal predictive learning［C］//Proc of International Conference on Machine Learning.［S.l.］：PMLR， 2018： 5123－5132.

［14］Srivastava R K， Greff K， Schmidhuber J. Highway networks［EB/OL］. （2015－11－03）. https：//arxiv.org/abs/1505.00387.

［15］Wang Yunbo， Jiang Lu， Yang M H，et al.Eidetic 3D LSTM： a model for video prediction and beyond［C］//Proc of International Conference on Learning Representations. 2018.

［16］Vaswani Shazeer N， Parmar N，et al.Attention is all you need［C］//Proc of the 31st International Conference on Neural Information Processing Systems. Red Hook， NY： Curran Associates Inc.， 2017：6000－6010.

［17］Lin Zhouhan， Feng Minwei， Santos C N，et al.A structured self－attentive sentence embedding［EB/OL］. （2017－03－09）. https：//arxiv.org/abs/1703.03130.

［18］Wang Yunbo， Zhang Jianjin， Zhu Hongyu，et al.Memory in memory： a predictive neural network for learning higher－order non－stationarity from spatiotemporal dynamics［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE Press， 2019： 9146－9154.

［19］Wang Yunbo， Wu Haixu， Zhang Jianjin，et al.PredRNN： a recurrent neural network for spatiotemporal predictive learning［J］.IEEE Trans on Pattern Analysis and Machine Intelligence ， 2022， 45 （2）： 2208－2225.

［20］Pascanu R， Montufar G， Bengio Y. On the number of response regions of deep feed forward networks with piece－wise linear activations［EB/OL］. （2014－02－14）. https：//arxiv.org/abs/1312.6098.

［21］Hinton G E， McClelland J L， Rumelhart D E. Distributed representations［M］//Parallel Distributed Processing： Explorations in the Microstructure of Cognition. Cambridge， MA： MIT Press， 1986： 77－109.

［22］Bengio S， Bengio Y. Taking on the curse of dimensionality in joint distributions using neural networks［J］.IEEE Trans on Neural Networks ， 2000， 11 （3）： 550－557.

［23］Sutskever I， Vinyals O， Le Q V. Sequence to sequence learning with neural networks［C］//Proc of the 27th International Conference on Neural Information Processing Systems. Cambridge， MA： MIT Press， 2014：3104－3112.

［24］Marrocu M， Massidda L. Performance comparison between deep learningand optical flow－based techniques for nowcast precipitation from radar images［J］.Forecasting ， 2020， 2 （2）： 194－210.

［25］Fu Jun， Liu Jing， Tian Haijie，et al.Dual attention network for scene segmentation［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE Press， 2019： 3141－3149.

收稿日期：2023－07－31；修回日期：2023－09－23基金項(xiàng)目：四川省自然科學(xué)基金資助項(xiàng)目（2023NSFSC0482）；四川省科技計(jì)劃資助項(xiàng)目（2022YFS0542）；成都信息工程大學(xué)科技創(chuàng)新能力提升計(jì)劃資助項(xiàng)目（KYTD202324）

作者簡(jiǎn)介：羅健文（1998—），男，四川眉山人，碩士研究生，CCF會(huì)員，主要研究方向?yàn)樯疃葘W(xué)習(xí)、雷達(dá)回波外推；鄒茂揚(yáng)（1974—），女（通信作者），四川瀘州人，副教授，博士，主要研究方向?yàn)榛谌斯ぶ悄艿膱D形圖像處理與計(jì)算成像（zoumy@cuit.edu.cn）；楊昊（1981—），男，四川成都人，副教授，博士，主要研究方向?yàn)閿?shù)據(jù)挖掘和機(jī)器學(xué)習(xí)；陳敏（1989—），女，四川樂山人，助教，博士研究生，主要研究方向?yàn)榇髷?shù)據(jù)挖掘與智慧氣象；楊康權(quán)（1985—），男，廣東吳川人，碩士研究生，主要研究方向?yàn)橹行〕叨忍鞖庋芯考皵?shù)值預(yù)報(bào)釋用．