一種雷達(dá)回波外推的注意力融合和信息回憶的LSTM 方法

程勇，錢(qián)坤，康志明，何光鑫，王軍，莊瀟然

(1.南京信息工程大學(xué)，江蘇 南京，210044；2.中國(guó)氣象局廣州熱帶海洋氣象研究所，廣東 廣州 510641；3.江蘇省氣象臺(tái)，江蘇 南京 210008)

1 引 言

雷達(dá)回波外推可視為對(duì)連續(xù)時(shí)間序列圖像變化趨勢(shì)的估計(jì)和預(yù)測(cè)，即用現(xiàn)有一段時(shí)間內(nèi)雷達(dá)回波圖像預(yù)測(cè)未來(lái)一定時(shí)間內(nèi)雷達(dá)回波圖像。臨近預(yù)報(bào)通常是指描述現(xiàn)時(shí)天氣狀況和未來(lái)兩小時(shí)內(nèi)的天氣預(yù)報(bào)，其主要預(yù)報(bào)對(duì)象包括強(qiáng)降水、大風(fēng)、冰雹等災(zāi)害性天氣。例如，臨近強(qiáng)降水預(yù)報(bào)的目標(biāo)是準(zhǔn)確、及時(shí)地預(yù)報(bào)未來(lái)兩小時(shí)內(nèi)區(qū)域降水強(qiáng)度和分布情況。由此可見(jiàn)，雷達(dá)回波外推的方法能為臨近預(yù)報(bào)提供直觀的雷達(dá)回波圖像參考，因而如何快速準(zhǔn)確地預(yù)報(bào)出氣象雷達(dá)圖像序列已成為氣象領(lǐng)域研究的熱點(diǎn)和難點(diǎn)。

雷達(dá)回波圖外推的傳統(tǒng)方法主要有交叉相關(guān)外推算法[1]、質(zhì)心跟蹤法[2]和光流法[3]。交叉相關(guān)外推算法通過(guò)計(jì)算雷達(dá)回波等資料在連續(xù)時(shí)次的空間最優(yōu)相關(guān)，得到對(duì)流系統(tǒng)不同位置的移動(dòng)矢量特征，并基于這些移動(dòng)矢量對(duì)雷達(dá)回波等進(jìn)行外推。然而，在強(qiáng)降水、雷暴天氣下，雷達(dá)回波信號(hào)受到干擾和遮擋影響，目標(biāo)的位置和運(yùn)動(dòng)狀態(tài)可能發(fā)生較大變化，致使交叉相關(guān)法跟蹤目標(biāo)的位置和軌跡錯(cuò)誤。質(zhì)心跟蹤法是將雷暴視為三維單體進(jìn)行識(shí)別、分析、追蹤，適用于對(duì)強(qiáng)雷暴單體進(jìn)行擬合外推來(lái)做臨近預(yù)報(bào)，但在雷達(dá)回波目標(biāo)較多時(shí)，質(zhì)心跟蹤可能會(huì)受到困擾，預(yù)報(bào)準(zhǔn)確度會(huì)顯著下降。光流法利用圖像序列中像素在時(shí)間域上的變化以及相鄰時(shí)間之間的相關(guān)性來(lái)找到上一時(shí)間跟當(dāng)前時(shí)間之間存在的對(duì)應(yīng)關(guān)系。然后通過(guò)光流場(chǎng)外推最近的降水場(chǎng)。然而，光流法在大雨和雷暴天氣這些復(fù)雜的天氣條件下，場(chǎng)景的光度變化過(guò)大，會(huì)導(dǎo)致光流法無(wú)法準(zhǔn)確地檢測(cè)到物體的運(yùn)動(dòng)軌跡。上述三種方法無(wú)法在海量的雷達(dá)數(shù)據(jù)中學(xué)習(xí)規(guī)律，因而它們的預(yù)測(cè)準(zhǔn)確率偏低。

隨著計(jì)算機(jī)技術(shù)的發(fā)展，時(shí)空序列預(yù)測(cè)的研究已經(jīng)廣泛應(yīng)用在交通流預(yù)測(cè)[4-7]、視頻預(yù)測(cè)[8-11]和雷達(dá)回波外推[12-18]等領(lǐng)域。深度學(xué)習(xí)方法具備建模高度非線(xiàn)性復(fù)雜系統(tǒng)的能力，越來(lái)越多的人嘗試將深度學(xué)習(xí)應(yīng)用于解決時(shí)空序列的問(wèn)題。將深度學(xué)習(xí)與雷達(dá)回波外推相結(jié)合，能夠從海量的雷達(dá)數(shù)據(jù)中找出潛在規(guī)律，進(jìn)而提高對(duì)指定地區(qū)未來(lái)一段時(shí)間內(nèi)的天氣狀況預(yù)測(cè)準(zhǔn)確度。Shi 等[19]將卷積神經(jīng)網(wǎng)絡(luò)(CNN)和長(zhǎng)短期記憶網(wǎng)絡(luò)(LSTM)相結(jié)合，提出卷積長(zhǎng)短期記憶網(wǎng)絡(luò)(ConvLSTM)的方法，它可以很好地從CNN和RNN的輸入分別學(xué)習(xí)和建?？臻g和時(shí)間表示。由于ConvLSTM 在雷達(dá)回波外推上的良好表現(xiàn)，大量研究在其基礎(chǔ)上進(jìn)一步開(kāi)展，這些研究往往只關(guān)注了時(shí)間的傳遞，而忽視了堆疊的網(wǎng)絡(luò)單元層與層之間的空間關(guān)系。因而Wang 等[20-21]通過(guò)在原有的ConvLSTM中引入時(shí)空記憶單元M，提出了PredRNN 和PredRNN++算法，這是一種空間記憶可以保存從底層到頂層的空間信息。Tran 等[22]的研究表明，該算法可以應(yīng)用于雷達(dá)回波外推，具有比ConvLSTM 更好的性能。然而，新增的時(shí)空記憶單元M在網(wǎng)絡(luò)中以“之”字型傳遞，疊加的網(wǎng)絡(luò)單元每一層每一時(shí)間步都通過(guò)它串聯(lián)起來(lái)，信息傳遞過(guò)長(zhǎng)就容易導(dǎo)致梯度爆炸，使得預(yù)測(cè)結(jié)果不準(zhǔn)確。為了保持長(zhǎng)期的時(shí)空相關(guān)性，Eidetic 3D LSTM[23]和SA-ConvLSTM[17]利用了自注意力機(jī)制(self-attention)[24]。注意力機(jī)制可以從歷史記憶中找尋信息，能保存更多的時(shí)空表征。然而，它們只是利用單一的注意力機(jī)制來(lái)回憶先前的時(shí)間記憶，信息獲取和特征表達(dá)能力都較為有限。

為了克服現(xiàn)有模型的局限性，本文針對(duì)時(shí)空記憶單元M的時(shí)空信息傳遞過(guò)程長(zhǎng)，隨著傳遞次數(shù)增加，信息的傳遞會(huì)受到干擾，造成預(yù)測(cè)結(jié)果不準(zhǔn)確的問(wèn)題，提出了一種注意力融合模塊(Attention Fusion)。利用注意力模塊將通道信息和時(shí)空信息相互融合來(lái)獲得更好的長(zhǎng)期時(shí)空表示，以替代遺忘門(mén)的時(shí)空記憶更新，從而關(guān)聯(lián)更多的時(shí)空歷史信息，減少信息在傳遞過(guò)程中丟失，形成更好的時(shí)空表征。同時(shí)在編碼過(guò)程中隨著堆疊的網(wǎng)絡(luò)單元次數(shù)的增加，當(dāng)前時(shí)間輸入的信息保留的越來(lái)越少，信息丟失嚴(yán)重，是一個(gè)不可忽視的問(wèn)題。采用在編碼器和解碼器之間添加信息回憶(Recall)模塊，讓解碼器的結(jié)果與編碼器的輸入進(jìn)行信息的融合，從而回憶起堆疊的多級(jí)編碼器信息，進(jìn)一步保存預(yù)測(cè)的細(xì)節(jié)。最后，將兩部分結(jié)合起來(lái)構(gòu)建起新的網(wǎng)絡(luò)模型 AFR-LSTM(Spatiotemporal LSTM Model with Attention Fusion and Recall)。

2 提出的方法

在本節(jié)中，首先介紹了引入注意力融合機(jī)制的網(wǎng)絡(luò)單元AF-LSTM，再詳細(xì)介紹了時(shí)空和通道的注意力融合機(jī)制。然后，介紹信息回憶模塊（Recall）。最后，提出了結(jié)合注意力融合機(jī)制和信息回憶模塊的AFR-LSTM網(wǎng)絡(luò)模型。

2.1 網(wǎng)絡(luò)單元AF-LSTM

在本節(jié)中，介紹了如何將時(shí)空和通道的注意力融合機(jī)制嵌入到ST-LSTM 單元中，形成網(wǎng)絡(luò)單元AF-LSTM，如圖1所示。

圖1 注意力融合的時(shí)空長(zhǎng)短期記憶網(wǎng)絡(luò)單元AF-LSTM

AF-LSTM 網(wǎng)絡(luò)單元的輸入包含當(dāng)前輸入Xt、前一單元層輸出的時(shí)空記憶單元M l-1、前τ層連續(xù)歷史時(shí)空記憶單元的集合M l-τ:l-1、前一時(shí)刻相同層的隱藏狀態(tài)H lt-1和時(shí)間記憶單元Clt-1。當(dāng)前輸入Xt和隱藏狀態(tài)H lt-1和時(shí)間記憶單元Clt-1保持和ST-LSTM 網(wǎng)絡(luò)單元相同，不同的是將前一層輸出的時(shí)空記憶單元M l-1和前τ層連續(xù)歷史時(shí)空記憶單元的集合M l-τ:l-1作為時(shí)空和通道注意力融合機(jī)制的輸入，以此幫助時(shí)空記憶單元M l-1回憶遺忘的信息，從而達(dá)到保留信息的目的。改進(jìn)后的更新M l計(jì)算方式如公式(1)所示。

其中⊙是矩陣乘積，τ是連續(xù)歷史的時(shí)空記憶單元的數(shù)量，i't和g't分別代表的是輸入門(mén)和輸入調(diào)制門(mén)。公式(1)中的AttFusion 表示2.2 節(jié)中的時(shí)空和通道注意力融合計(jì)算公式。視時(shí)空記憶單元的遺忘門(mén)ft'為查詢(xún)矩陣，前τ層連續(xù)歷史時(shí)空記憶單元的集合Ml-τ:l-1表示鍵矩陣和值矩陣。這一模塊的主要作用是通過(guò)注意力融合機(jī)制控制先前τ個(gè)時(shí)空記憶單元中強(qiáng)調(diào)哪些信息，從而使得網(wǎng)絡(luò)產(chǎn)生更加準(zhǔn)確的預(yù)測(cè)結(jié)果。該注意融合機(jī)制可以很好地控制長(zhǎng)期的信息，從而提高網(wǎng)絡(luò)的記憶能力。

2.2 時(shí)空和通道的注意力融合機(jī)制

盡管時(shí)空記憶單元M能夠存儲(chǔ)歷史信息，但它無(wú)法直接幫助輸入或隱藏狀態(tài)選擇所需的特征。相比之下，注意力機(jī)制能夠從歷史記憶中查找并選擇信息，從而可以保存更多的時(shí)空表征。為了進(jìn)一步提高時(shí)空記憶單元M時(shí)空信息保留能力，本文提出了一種時(shí)空和通道的注意力融合機(jī)制，如圖2所示。

圖2 時(shí)空和通道的注意力融合模塊

本文將給定的時(shí)空特征遺忘門(mén)f t'∈RB×C×H×W視為查詢(xún)矩陣Ql，這里的B，C，H，W 分別代表的是特征圖像批量大小、通道數(shù)量、圖像高度和圖像寬度。首先直接將其重塑為Ql∈RN×(H×W)×C以匹配后續(xù)操作。然后將對(duì)應(yīng)的前τ層連續(xù)歷史時(shí)空記憶單元的集合M l-τ:l-1∈RB×C×τ×H×W視為鍵矩陣Kl和值矩陣Vl，其中τ指的是時(shí)間序列的長(zhǎng)度。它們 分 別 被 重 塑 為Kl∈RB×(τ×H×W)×C和Vl∈RB×(τ×H×W)×C。最后，通過(guò)公式(2)進(jìn)行計(jì)算，可以得到時(shí)空注意力模塊的輸出ST_ATT：

如圖2 中的藍(lán)色部分所示，先使用softmax 函數(shù)對(duì)查詢(xún)矩陣Ql和鍵矩陣Kl轉(zhuǎn)置的矩陣乘積進(jìn)行了歸一化處理，以表示查詢(xún)矩陣Ql和鍵矩陣Kl之間的位置相似度。這個(gè)位置相似度代表了給定的時(shí)空特征f 't和前τ層連續(xù)歷史時(shí)空記憶單元的集合M l-τ:l-1之間的相關(guān)程度。接著，利用值矩陣Vl計(jì)算矩陣乘積作為更新信息的權(quán)重，有選擇地將M l-τ:l-1的時(shí)空信息集合起來(lái)，并將其重塑為原始形狀。最后將它們與上一層的時(shí)空記憶單元M l-1相加，并通過(guò)一個(gè)layernorm 層來(lái)得到最終的時(shí)空注意力模塊輸出ST_ATT。

通道注意力模塊旨在對(duì)通道之間的相關(guān)性進(jìn)行建模。與時(shí)空注意力模塊不同的是，它將給定的時(shí)空特征f 't∈RB×C×H×W重塑為查詢(xún)矩陣Qc，而將前τ層連續(xù)歷史時(shí)空記憶單元的集合M l-τ:l-1∈RB×C×τ×H×W視為鍵矩陣Kc和值矩陣Vc，并 將 它 們 分 別 重 塑 為Kc∈RB×(τ×C)×(H×W)和Vc∈RB×(τ×C)×(H×W)。然后，根據(jù)公式（3），可以計(jì)算出通道注意力模塊的輸出C_ATT：

如圖2 中的橙色部分所示，使用softmax(Qc·K cT)∈RB×C×(τ×C)來(lái)表示查詢(xún)矩陣Qc對(duì)鍵矩陣Kc在通道上的影響程度。然后使用值矩陣Vc計(jì)算矩陣乘積作為更新信息的權(quán)重，有選擇地將M l-τ:l-1通道信息集合起來(lái)，并將其重塑為原始形狀。最后將它們與上一層的時(shí)空記憶單元M l-1相加，并通過(guò)一個(gè)layernorm 層來(lái)得到最終的通道注意力模塊輸出C_ATT。

相關(guān)資料研究表明[14]，對(duì)患者腫瘤復(fù)發(fā)的因素較多，其中包括復(fù)發(fā)時(shí)間、分期、腫瘤分級(jí)以及腫瘤大小等，這些因素都對(duì)腫瘤的復(fù)發(fā)將造成影響，針對(duì)于滿(mǎn)足手術(shù)指征的患者應(yīng)當(dāng)盡早實(shí)施手術(shù)治療。同時(shí)吉西他濱與其他灌注化療藥聯(lián)合使用較單一用藥效果更好。目前無(wú)論是表柔比星還是吉西他濱在治療中高危非浸潤(rùn)性膀胱尿路上皮癌方面都有著較令人滿(mǎn)意的效果，這與王曉天等研究結(jié)果相似[1]。

求得時(shí)空注意力模塊的輸出ST_ATT 和通道注意力模塊的輸出C_ATT 后，再進(jìn)行最后的操作將它們進(jìn)行集成，如圖2的綠色部分所示。具體而言，將ST_ATT 和C_ATT 先分別經(jīng)過(guò)一個(gè)卷積核大小為三的卷積層、一個(gè)layernorm 的歸一化層、一個(gè)ReLU的激活函數(shù)層、一個(gè)卷積核大小為一的卷積層，然后對(duì)兩個(gè)結(jié)果執(zhí)行元素求和，最后利用卷積層生成最后的結(jié)果AttFusion，具體計(jì)算過(guò)程如公式(4)所示。

因?yàn)槿诤献⒁饬δK的輸出同時(shí)包含了時(shí)空和通道信息，而這些信息在連續(xù)時(shí)間序列中的位置是對(duì)應(yīng)的，所以最終的輸出比單個(gè)模塊的輸出更具有效性。

2.3 信息回憶模塊(Recall)

在編碼過(guò)程中，隨著網(wǎng)絡(luò)單元的堆疊，當(dāng)前時(shí)間輸入的信息被逐漸遺忘，導(dǎo)致信息丟失的問(wèn)題。因此，本文在編碼器和解碼器之間添加了信息回憶模塊，如圖3所示。該模塊能夠?qū)⒔獯a器的輸出與編碼器的輸入進(jìn)行對(duì)應(yīng)融合，回憶起多級(jí)編碼器中的信息，從而更好地保留預(yù)測(cè)細(xì)節(jié)，避免預(yù)測(cè)位置偏差過(guò)大。該過(guò)程可以用公式(5)表示。

圖3 信息回憶模塊

其中，Enc-1表示用于從數(shù)據(jù)集中提取深度特征的編碼器輸出，Decl-1表示經(jīng)過(guò)堆疊網(wǎng)絡(luò)的解碼器輸出，Decl表示經(jīng)過(guò)將二者的結(jié)果相加得到的最終的編碼器結(jié)果，l表示層數(shù)。

2.4 堆疊融合結(jié)構(gòu)

本文所提出的模型在以往的堆疊結(jié)構(gòu)基礎(chǔ)上加入了信息回憶模塊，具體結(jié)構(gòu)如圖4所示。一次預(yù)測(cè)過(guò)程是由編碼器、四層網(wǎng)絡(luò)單元、解碼器和融合模塊組成。時(shí)間記憶單元沿著水平方向傳遞，隱藏狀態(tài)沿著水平和垂直方向傳遞。時(shí)空記憶單元Ml-1以“之”字形方式傳遞，表示為橙色線(xiàn)。前τ層連續(xù)歷史時(shí)空記憶單元的集合Ml-τ:l-1表示為灰色立方體，作為每個(gè)單元的輸入存在。在解碼輸出部分，采用信息回憶模塊將解碼器的結(jié)果與編碼器的輸入進(jìn)行融合，以輸出最終的預(yù)測(cè)結(jié)果X?t。

圖4 堆疊融合結(jié)構(gòu)

3 數(shù)據(jù)集介紹

3.1 Moving MNIST數(shù)據(jù)集

Moving MNIST 數(shù)據(jù)集[25]是預(yù)測(cè)任務(wù)中最常用的數(shù)據(jù)集之一，每個(gè)序列由20 個(gè)連續(xù)幀的灰度圖片組成，這些圖像中的兩個(gè)數(shù)字會(huì)按照一定的速度和方向在連續(xù)時(shí)間中變化。在本文的實(shí)驗(yàn)中，每幀圖像的尺寸為64 × 64 像素，數(shù)據(jù)集的容量是確定的，包括10 000 個(gè)序列的訓(xùn)練集、2 000個(gè)序列的驗(yàn)證集和3 000 個(gè)序列的測(cè)試集。在本文的實(shí)驗(yàn)中，前十幀將會(huì)作為輸入，后十幀作為測(cè)試。

3.2 雷達(dá)數(shù)據(jù)集

本文使用2022 江蘇氣象AI算法挑戰(zhàn)賽-AI助力強(qiáng)對(duì)流天氣預(yù)報(bào)中的雷達(dá)數(shù)據(jù)集（https://tianchi.aliyun.com/competition/entrance/531962/information）來(lái)評(píng)估模型性能。該數(shù)據(jù)集是江蘇省氣象臺(tái)在2019—2021 年4—9 月期間收集的雷達(dá)回波數(shù)據(jù)組成，覆蓋了整個(gè)江蘇省區(qū)域面積。每張圖像大小為480×560 像素，數(shù)據(jù)的取值范圍為0～70 dBZ，水平分辨率為0.01 °×0.01 °。數(shù)據(jù)集包含訓(xùn)練集、驗(yàn)證集和測(cè)試集，共涵蓋2 萬(wàn)+次的天氣樣本。在訓(xùn)練集中，一個(gè)序列樣本由20 張間隔為6 分鐘的CAPPI 雷達(dá)圖像組成。每個(gè)樣本中，前10 張圖像用作輸入，后10 張圖像用于預(yù)測(cè)輸出，即利用過(guò)去一小時(shí)的數(shù)據(jù)來(lái)預(yù)測(cè)未來(lái)一小時(shí)的數(shù)據(jù)。從訓(xùn)練集中隨機(jī)選取2 000 個(gè)樣本作為驗(yàn)證集，測(cè)試集也包含2 000個(gè)樣本。

4 實(shí)驗(yàn)與分析

本章將在兩個(gè)數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，一個(gè)是標(biāo)準(zhǔn)的Moving MNIST 數(shù)據(jù)集，另一個(gè)是2019—2021 年4—9 月真實(shí)的江蘇省氣象雷達(dá)回波數(shù)據(jù)集，并詳細(xì)介紹了實(shí)驗(yàn)的參數(shù)設(shè)置、評(píng)價(jià)指標(biāo)、對(duì)比實(shí)驗(yàn)和結(jié)果分析。

4.1 參數(shù)設(shè)置

4.2 Moving MNIST實(shí)驗(yàn)結(jié)果

本實(shí)驗(yàn)選用均方誤差(Mean Square Error,MSE)和結(jié)構(gòu)相似性[26](Structural Similarity Index,SSIM) 兩個(gè)指標(biāo)來(lái)衡量預(yù)測(cè)的圖片質(zhì)量。其中，MSE 是一種常用的衡量數(shù)據(jù)誤差的方法，它能夠評(píng)估數(shù)據(jù)的變化程度，MSE的值越小，說(shuō)明預(yù)測(cè)模型描述實(shí)驗(yàn)數(shù)據(jù)具有更好的精確度，具體的計(jì)算過(guò)程如公式（6）所示。而SSIM 是一種更加細(xì)致的圖像相似性度量方法，可以衡量?jī)煞鶊D像在結(jié)構(gòu)上的相似度。當(dāng)MSE 越低，SSIM 越高時(shí)，表示預(yù)測(cè)效果越好，因?yàn)榇藭r(shí)預(yù)測(cè)結(jié)果更加精確，同時(shí)在結(jié)構(gòu)上與原始圖像更加相似。

通過(guò)對(duì)比Moving MNIST 數(shù)據(jù)集的可視化結(jié)果，可以清晰地看出本文提出的AFR-LSTM 方法相比其他深度神經(jīng)網(wǎng)絡(luò)方法表現(xiàn)更優(yōu)，具體如圖5所示。

圖5 Moving MNIST數(shù)據(jù)集上不同方法的運(yùn)行結(jié)果

實(shí)驗(yàn)分別計(jì)算了不同深度學(xué)習(xí)預(yù)測(cè)算法的MSE 和SSIM 指標(biāo)，結(jié)果如表1 所示。相比與其他算法，AFR-LSTM 方法在均方誤差和結(jié)構(gòu)相似性方面表現(xiàn)更為出色，這說(shuō)明AFR-LSTM 方法在預(yù)測(cè)圖像質(zhì)量方面具有較大的優(yōu)勢(shì)。

表1 不同方法在Moving MNIST數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果(前10幀預(yù)測(cè)后10幀)

4.3 在雷達(dá)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果

4.3.1 評(píng)估指標(biāo)

采用臨界成功指數(shù)（Critical Success Index，CSI）和Heidke技能評(píng)分（Heidke Skill Score，HSS）這兩種常見(jiàn)的氣象評(píng)分函數(shù)來(lái)評(píng)價(jià)模型在臨近預(yù)報(bào)方面的性能。采用閾值化方法將預(yù)測(cè)結(jié)果和實(shí)際情況進(jìn)行轉(zhuǎn)換，如果該值大于給定的閾值，則相應(yīng)的值設(shè)為1，否則設(shè)置為0。然后計(jì)算真陽(yáng)性TP(實(shí)際為1，預(yù)測(cè)為1)、假陽(yáng)性FP (實(shí)際為0，預(yù)測(cè)為1)、真陰性TN(實(shí)際為0，預(yù)測(cè)為0)和假陰性FN(實(shí)際為1，預(yù)測(cè)為0) 的數(shù)量。根據(jù)這些分類(lèi)結(jié)果，可以使用公式（6）和公式（7）來(lái)計(jì)算CSI 和HSS。這些評(píng)分函數(shù)能夠更準(zhǔn)確地衡量預(yù)測(cè)結(jié)果和實(shí)際情況之間的匹配程度，從而驗(yàn)證本文提出的模型在臨近預(yù)報(bào)方面的優(yōu)越性能。

具體實(shí)施時(shí)選用了10 dBZ、20 dBZ和40 dBZ三個(gè)不同的分類(lèi)閾值標(biāo)準(zhǔn)，將預(yù)測(cè)結(jié)果和地面真實(shí)情況進(jìn)行轉(zhuǎn)換后，通過(guò)計(jì)算CSI 和HSS 指標(biāo)來(lái)評(píng)價(jià)模型的性能，數(shù)值結(jié)果越大則說(shuō)明模型表現(xiàn)越好。

4.3.2 實(shí)驗(yàn)結(jié)果

分別計(jì)算了不同深度學(xué)習(xí)預(yù)測(cè)算法的CSI 和HSS 評(píng)分，并對(duì)其結(jié)果進(jìn)行了對(duì)比分析。實(shí)驗(yàn)結(jié)果如表2 所示，AFR-LSTM 模型在所有閾值下均表現(xiàn)出色，CSI 和HSS 評(píng)價(jià)指標(biāo)均取得較好結(jié)果，表明其在臨近預(yù)報(bào)方面具有顯著優(yōu)勢(shì)。

表2 不同方法在雷達(dá)數(shù)據(jù)集上的CSI和HSS評(píng)分結(jié)果（前10幀預(yù)測(cè)后10幀）

在閾值設(shè)置為40 dBZ 時(shí)，使用本文提出的AFR-LSTM 模型得到的CSI 和HSS 指標(biāo)分別為0.273 5和0.299 5，相比于使用MotionGRU模型得到的結(jié)果分別提高了26.79%和5.76%，結(jié)果更為理想。此外，與基礎(chǔ)PredRNN 模型相比，CSI 指標(biāo)提高了53.13%，HSS 指標(biāo)提高了28.1%，表明了本文提出的時(shí)空和通道的注意力融合機(jī)制以及信息回憶模塊的有效性。此外，添加這兩個(gè)模塊后，相較于其他網(wǎng)絡(luò)，該模型在實(shí)驗(yàn)中獲得了顯著的提升，這表明了時(shí)空和通道的注意力融合機(jī)制和信息回憶模塊可以獲得更好的圖像準(zhǔn)確度，從而提高預(yù)測(cè)結(jié)果的準(zhǔn)確度。最后，SA-ConvLSTM 和E3D-LSTM 的結(jié)果優(yōu)于PredRNN 和PredRNN++，ConvLSTM在所有方法中的性能最差。

為進(jìn)一步地說(shuō)明結(jié)果，本研究在不同的閾值條件下對(duì)比了各個(gè)網(wǎng)絡(luò)模型隨時(shí)間而變的CSI 和HSS 結(jié)果曲線(xiàn)。通過(guò)圖6 可以直觀地看出，AFRLSTM 模型始終保持著更優(yōu)秀的預(yù)測(cè)結(jié)果，在所有時(shí)間點(diǎn)和所有閾值條件下均表現(xiàn)出較好的性能。因此，證明了本文提出的AFR-LSTM 模型在雷達(dá)數(shù)據(jù)集預(yù)測(cè)中是一種非常有效的方法。

圖6 不同閾值條件下不同網(wǎng)絡(luò)模型所有預(yù)測(cè)結(jié)果的CSI和HSS曲線(xiàn)

為更好地比較和理解結(jié)果，本文通過(guò)展示不同方法的預(yù)測(cè)示例來(lái)比較不同模型的預(yù)測(cè)效果，如圖7 所示。從圖中可以看出，隨著時(shí)間的增加，ConvLSTM、PredRNN 和PredRNN++模型的預(yù)測(cè)效果逐漸變差，在最后的預(yù)測(cè)圖像中，強(qiáng)回波區(qū)域明顯消失，只有AFR-LSTM 模型和MotionGRU 模型保存了很好的強(qiáng)回波區(qū)域。其他模型預(yù)測(cè)的強(qiáng)回波區(qū)域隨著時(shí)間的推移也漸漸弱于AFR-LSTM模型。相較于MotionGRU模型，本文提出的AFRLSTM 模型不僅在強(qiáng)回波區(qū)域的預(yù)測(cè)更加優(yōu)越，在位置上也更加準(zhǔn)確。這是因?yàn)?，AFR-LSTM 模型同時(shí)采用了時(shí)空和通道的注意力融合機(jī)制和信息回憶模塊。兩種注意力機(jī)制融合起來(lái)能夠更好地捕捉時(shí)空相關(guān)性和通道相關(guān)性，幫助神經(jīng)網(wǎng)絡(luò)挖掘更多的時(shí)空信息，以模擬長(zhǎng)期依賴(lài)，在雷達(dá)回波預(yù)報(bào)可以保留更多的強(qiáng)回波信息。信息回憶模塊的主要作用是通過(guò)引入歷史雷達(dá)圖像信息來(lái)幫助提升預(yù)測(cè)的準(zhǔn)確性，從歷史雷達(dá)圖像中提取信息，并將其融合到當(dāng)前的預(yù)測(cè)中，進(jìn)一步保存預(yù)測(cè)的細(xì)節(jié)，較好地避免預(yù)測(cè)位置偏差過(guò)大。

圖7 雷達(dá)數(shù)據(jù)集上不同方法的運(yùn)行結(jié)果

4.3.3 消融實(shí)驗(yàn)

在本研究中，為了證明時(shí)空注意力模塊和通道注意力模塊的有效性，進(jìn)行了消融實(shí)驗(yàn)。具體地，單獨(dú)將時(shí)空注意力模塊和通道注意力模塊加入到基礎(chǔ)網(wǎng)絡(luò)進(jìn)行實(shí)驗(yàn)，并將實(shí)驗(yàn)結(jié)果與融合的AF-LSTM 模型的結(jié)果進(jìn)行比較。同時(shí)，為探究信息回憶模塊的有效性，本文單獨(dú)將信息回憶模塊加入到基礎(chǔ)網(wǎng)絡(luò)和基礎(chǔ)網(wǎng)絡(luò)進(jìn)行對(duì)比實(shí)驗(yàn)。所有的實(shí)驗(yàn)結(jié)果如表3 所示，其中，Baseline+SP 為基礎(chǔ)網(wǎng)絡(luò)加時(shí)空注意力模塊，Baseline+CH 為基礎(chǔ)網(wǎng)絡(luò)加通道注意力模塊，Baseline+AF 為基礎(chǔ)網(wǎng)絡(luò)加注意力融合模塊，Baseline+Recall為基礎(chǔ)網(wǎng)絡(luò)加信息回憶模塊。

表3 雷達(dá)數(shù)據(jù)集上添加不同模塊的CSI、HSS和SSIM評(píng)分

實(shí)驗(yàn)結(jié)果表明，單獨(dú)的時(shí)空注意力模塊和通道注意力模塊都可以提高預(yù)測(cè)性能，但是最好的性能是通過(guò)融合這兩種注意力模塊來(lái)實(shí)現(xiàn)的。單獨(dú)的時(shí)空注意力模塊可以提高CSI 和HSS 指標(biāo)分別高達(dá)7.4%和4.8%，說(shuō)明時(shí)空注意力模塊有助于捕捉時(shí)序信息和空間相關(guān)性。而單獨(dú)的通道注意力模塊對(duì)性能提升較小。但是，將兩種注意力機(jī)制進(jìn)行融合可以進(jìn)一步提高性能，CSI和HSS指標(biāo)分別提高了9.2%和6.8%。因此，結(jié)果表明將兩種注意力機(jī)制融合起來(lái)能夠更好地捕捉時(shí)空相關(guān)性和通道相關(guān)性，從而提高預(yù)測(cè)性能。加入了信息回憶機(jī)制的基礎(chǔ)網(wǎng)絡(luò)在SSIM 指標(biāo)上表現(xiàn)更好，這表明信息回憶機(jī)制有助于更好地保持預(yù)測(cè)圖片的位置相似度。雖然信息回憶機(jī)制在CSI 和HSS 指標(biāo)上并沒(méi)有很明顯的提升，但其更重要的功能是很好地避免了預(yù)測(cè)位置偏差過(guò)大的問(wèn)題，保證模型在位置準(zhǔn)確度上的良好表現(xiàn)。

5 結(jié) 論

隨著計(jì)算機(jī)技術(shù)和人工智能的不斷進(jìn)步，深度學(xué)習(xí)技術(shù)在氣象預(yù)測(cè)領(lǐng)域中的應(yīng)用已經(jīng)越來(lái)越廣泛。在這個(gè)背景下，本文提出了一種新的雷達(dá)回波圖外推方法—AFR-LSTM。通過(guò)結(jié)合通道和時(shí)空的注意力融合機(jī)制，更好地捕捉時(shí)空相關(guān)性和通道相關(guān)性，有效幫助卷積神經(jīng)網(wǎng)絡(luò)挖掘更多的時(shí)空信息。此外，信息回憶模塊的應(yīng)用進(jìn)一步增強(qiáng)模型對(duì)預(yù)測(cè)位置的保存，從歷史雷達(dá)圖像中提取信息，并將其融合到當(dāng)前的預(yù)測(cè)中，避免了預(yù)測(cè)位置偏差過(guò)大的問(wèn)題。實(shí)驗(yàn)結(jié)果表明，AFRLSTM 網(wǎng)絡(luò)模型相比于其他算法能夠獲得更好的圖像準(zhǔn)確度，提高了預(yù)報(bào)的準(zhǔn)確度。然而，AFRLSTM 網(wǎng)絡(luò)模型結(jié)構(gòu)相較于原始網(wǎng)絡(luò)更加復(fù)雜，引入了更多的參數(shù)量，導(dǎo)致計(jì)算復(fù)雜度增加，從而增加了訓(xùn)練的時(shí)間，預(yù)測(cè)速度也有所下降，因此需要在計(jì)算資源和時(shí)間成本之間進(jìn)行權(quán)衡。在進(jìn)一步的研究中，可以將考慮如何優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)和參數(shù)設(shè)置，以提高計(jì)算效率和預(yù)測(cè)速度。此外也可以考慮將該模型應(yīng)用于其他氣象場(chǎng)景的預(yù)測(cè)，如溫度、濕度、風(fēng)速等方面，以拓展其應(yīng)用范圍。