基于雙向Transformer的降水臨近預(yù)報(bào)模型

摘 要：精準(zhǔn)的降水臨近預(yù)報(bào)對(duì)日常生活至關(guān)重要，但現(xiàn)行預(yù)報(bào)模型的準(zhǔn)確度有待進(jìn)一步提升。為此，提出一種新的預(yù)報(bào)模型BTPN。該模型引入雙向Transformer，從時(shí)空序列的正逆方向提取特征，捕獲關(guān)鍵信息，減少時(shí)空特征丟失；使用卷積Transformer模塊結(jié)合卷積的局部編碼和Transformer的全局編碼特性，強(qiáng)化時(shí)空信息提取和關(guān)聯(lián)性，緩解時(shí)空長(zhǎng)時(shí)序信息丟失問(wèn)題；結(jié)合細(xì)節(jié)提取模塊，有助于減少局部細(xì)節(jié)的損失，并緩解高值區(qū)域消散問(wèn)題。在HKO-7數(shù)據(jù)集上的評(píng)估顯示，BTPN模型在MAE、SSIM及CSI指標(biāo)上超越了其他先進(jìn)模型，并在大面積降水和臺(tái)風(fēng)極端天氣情境中顯示出優(yōu)異的預(yù)測(cè)能力。實(shí)驗(yàn)表明BTPN模型具備更高的預(yù)報(bào)精確性，具備較好的應(yīng)用前景。

關(guān)鍵詞：降水臨近預(yù)報(bào)； 時(shí)空序列； 雙向Transformer； 卷積

中圖分類號(hào)：TP183;P457.6 文獻(xiàn)標(biāo)志碼：A

文章編號(hào)：1001-3695（2024）08-029-2455-06

doi：10.19734/j.issn.1001-3695.2023.12.0613

Bidirectional Transformer-based precipitation nowcasting model

Pan Long， Wu Xi

（School of Computer Science， Chengdu University of Information Technology， Chengdu 610225， China）

Abstract：Accurate precipitation nowcasting is crucial for daily life， but the current forecasting models need further improvement in terms of accuracy. This paper proposed an innovative forecasting model called BTPN to address this issue. The model introduced bidirectional Transformer to extract features from both the forward and backward directions of spatiotemporal sequences， capturing key information and reducing spatiotemporal feature loss. It combined the convolutional Transformer block with the local encoding of convolution and the global encoding of Transformer to enhance spatiotemporal information extraction and correlation， alleviating the problem of long-term spatiotemporal information loss. The model also incorporated a detail extraction module to reduce the loss of local details and mitigate the issue of dissipation in high-value areas. Evaluation on the HKO-7 dataset shows that the BTPN model surpasses other advanced models in terms of MAE， SSIM， and CSI metrics， demonstrating excellent predictive capability in large-scale precipitation and extreme weather scenarios. The experiments demonstrate that the BTPN model possesses higher forecasting accuracy and promising applications.

Key words：precipitation nowcasting; spatiotemporal sequences; bidirectional Transformer; convolution

0 引言

天氣預(yù)報(bào)在當(dāng)代社會(huì)扮演著不可或缺的角色，對(duì)多個(gè)關(guān)鍵性行業(yè)提供了支撐，包括農(nóng)業(yè)、航海和災(zāi)害響應(yīng)等，并對(duì)日常生活及生產(chǎn)活動(dòng)產(chǎn)生深遠(yuǎn)影響［1，2］。然而，實(shí)現(xiàn)高精度、寬范圍、高解析度的實(shí)時(shí)降水預(yù)報(bào)依然是個(gè)突出挑戰(zhàn)。在這些挑戰(zhàn)中，尤其是短期降水預(yù)測(cè)，在氣象學(xué)中占有特殊地位。這一任務(wù)的核心在于使用歷史的氣象數(shù)據(jù)來(lái)預(yù)測(cè)未來(lái)零至一小時(shí)的降水變化，以便有效預(yù)測(cè)并應(yīng)對(duì)潛在的強(qiáng)對(duì)流天氣事件，并確保實(shí)時(shí)氣象預(yù)報(bào)的準(zhǔn)確性。

數(shù)值天氣預(yù)報(bào)（NWP）［3］是當(dāng)今天氣預(yù)測(cè)領(lǐng)域的主要技術(shù)手段。這種方法本質(zhì)上是數(shù)據(jù)驅(qū)動(dòng)型的，需綜合考量一系列大氣物理屬性，包括但不限于風(fēng)速、氣壓和溫度等關(guān)鍵氣象參數(shù)，并依托這些變量構(gòu)建模型框架。NWP模型在操作過(guò)程中需對(duì)高度復(fù)雜的數(shù)學(xué)方程組進(jìn)行求解，因此對(duì)計(jì)算資源的需求極其巨大，隨之而來(lái)的是顯著的計(jì)算成本。此外，鑒于其對(duì)大量輸入數(shù)據(jù)的依賴性，該技術(shù)在處理短時(shí)間尺度預(yù)報(bào)的預(yù)測(cè)準(zhǔn)確率尚有待提高［4］。

因現(xiàn)代社會(huì)對(duì)快速且準(zhǔn)確的短期天氣預(yù)報(bào)的迫切需求，數(shù)值天氣預(yù)報(bào)（NWP）技術(shù)表現(xiàn)出了其局限性［5，6］。目前，在短期臨近預(yù)報(bào)的實(shí)踐中，外推法成為了主要選擇。

傳統(tǒng)的外推方法包括單質(zhì)心法、互相關(guān)法和光流法［7，8］。單質(zhì)心法通過(guò)識(shí)別和跟蹤對(duì)流單體，提供基于單體合并和分裂的運(yùn)動(dòng)和演變信息，但當(dāng)對(duì)流回波發(fā)生融合和分裂時(shí)預(yù)報(bào)精度會(huì)迅速下降［9］?；ハ嚓P(guān)方法通過(guò)計(jì)算兩個(gè)臨近時(shí)刻的雷達(dá)回波之間的空間優(yōu)化相關(guān)系數(shù)來(lái)建立擬合關(guān)系，有效跟蹤層狀云和降雨系統(tǒng)，但對(duì)于回波變化迅速的強(qiáng)對(duì)流系統(tǒng)，其跟蹤精度明顯降低［7］。當(dāng)前應(yīng)用較多的光流法，如ROVER（雷達(dá)回波的實(shí)時(shí)光流變分方法）［10］，通過(guò)計(jì)算雷達(dá)回波圖像序列中的光流場(chǎng)來(lái)代替雷達(dá)回波運(yùn)動(dòng)矢量場(chǎng)，進(jìn)而實(shí)現(xiàn)臨近投射，但計(jì)算過(guò)程中存在累積誤差問(wèn)題。

傳統(tǒng)氣象預(yù)報(bào)方法常借助最新的幾幅雷達(dá)回波圖像來(lái)預(yù)測(cè)未來(lái)回波的位置，無(wú)視了雷達(dá)回波中對(duì)流系統(tǒng)的非線性動(dòng)態(tài)。這種做法就導(dǎo)致了對(duì)歷史雷達(dá)數(shù)據(jù)的應(yīng)用不充分和預(yù)測(cè)時(shí)間跨度的限制［11］兩個(gè)主要局限性。

隨著人工智能技術(shù)，尤其是深度學(xué)習(xí)的飛速進(jìn)步，這些技術(shù)已在目標(biāo)檢測(cè)、圖像分割、自然語(yǔ)言處理等多個(gè)領(lǐng)域得到成功應(yīng)用。在氣象學(xué)領(lǐng)域，特別是關(guān)鍵的降水臨近預(yù)報(bào)研究領(lǐng)域，研究人員已經(jīng)開始探索人工智能的潛力，并取得了突破性的成果［1，12，13］。

Shi等人［14］提出的卷積長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)（ConvLSTM）在氣象預(yù)報(bào)領(lǐng)域標(biāo)志著一項(xiàng)重大的技術(shù)突破。與標(biāo)準(zhǔn)的全連接LSTM相比，ConvLSTM借助卷積操作有效地挖掘了空間特征，大幅提升了降水臨近預(yù)報(bào)的準(zhǔn)確性，優(yōu)于傳統(tǒng)的全連接LSTM及光流技術(shù)。繼此創(chuàng)新之后，Shi等人［15］進(jìn)一步開發(fā)了TrajGRU模型，該模型整合了時(shí)間卷積網(wǎng)絡(luò)對(duì)時(shí)空屬性的高度敏感性以及光流技術(shù)模擬云運(yùn)動(dòng)的能力，進(jìn)一步增強(qiáng)了對(duì)云自然運(yùn)動(dòng)的模擬，從而提升了預(yù)報(bào)性能。

在此之后，Wang等人［16］開發(fā)了PredRNN模型，該模型的核心創(chuàng)新在于融入了時(shí)空長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)（spatio-temporal LSTM），通過(guò)這種設(shè)計(jì)，模型可以有效地捕捉時(shí)間序列數(shù)據(jù)中的空間和時(shí)間依賴性，顯著提高了對(duì)復(fù)雜天氣系統(tǒng)動(dòng)態(tài)預(yù)測(cè)的準(zhǔn)確性。進(jìn)一步地，Wang等人［17］提出了PredRNN++，利用Causal LSTM進(jìn)一步提升了信息流和梯度傳播的效率，同時(shí)引入了創(chuàng)新的梯度高速公路機(jī)制，有效提升了深度時(shí)空網(wǎng)絡(luò)在訓(xùn)練階段面臨的穩(wěn)定性。最終，Wang等人［18］推出了PredRNNv2，該模型不僅在PredRNN++的基礎(chǔ)上進(jìn)行了擴(kuò)展，而且通過(guò)整合具備記憶解耦功能的時(shí)空記憶流，結(jié)合使用反向傳播計(jì)劃抽樣訓(xùn)練與記憶解耦損失，極大地強(qiáng)化了模型對(duì)時(shí)間和空間多維長(zhǎng)期依賴的捕獲能力，為臨近降水預(yù)報(bào)技術(shù)帶來(lái)了革新性的進(jìn)展。

Guen等人［19］提出的PhyDNet模型，巧妙地融合了物理學(xué)原理與前沿深度學(xué)習(xí)技術(shù)。該架構(gòu)通過(guò)集成新穎的物理循環(huán)單元（PhyCell），這一單元受到數(shù)據(jù)同化技術(shù)的啟發(fā)，在隱空間中施加偏微分方程（PDE）的約束以進(jìn)行預(yù)測(cè)，不僅提高了模型在預(yù)測(cè)任務(wù)中的準(zhǔn)確性和可解釋性，還確保了其預(yù)測(cè)過(guò)程遵循物理定律。

在降水臨近預(yù)報(bào)的研究領(lǐng)域，卷積神經(jīng)網(wǎng)絡(luò)（CNN）已經(jīng)成為一個(gè)不可或缺的工具。CNN憑借其卓越的圖像特征提取能力，通過(guò)將這些特征有效映射到標(biāo)簽圖像上，已廣泛應(yīng)用于多種預(yù)測(cè)任務(wù)中。在這一系列的網(wǎng)絡(luò)架構(gòu)中，U-Net［20］作為一個(gè)經(jīng)典的全卷積網(wǎng)絡(luò)結(jié)構(gòu)，因其廣闊的適用性而受到科研界的高度重視［21］。例如，Han等人［22］提出的基于U-Net的降水預(yù)測(cè)模型，在預(yù)測(cè)性能上優(yōu)于傳統(tǒng)的外推方法。此外，文獻(xiàn)［13］推出的SmaAt-UNet模型運(yùn)用了深度可分離卷積［23］和卷積塊注意力模塊（CBAM）［24］，在大幅減少參數(shù)量（僅為原始U-Net的四分之一）的同時(shí)，仍保持了接近原始U-Net的精確預(yù)測(cè)能力。Gao等人［21］提出的SimVP模型在視頻預(yù)測(cè)任務(wù)中取得了卓越的成果，這一成就不僅凸顯了全卷積網(wǎng)絡(luò)在比拼RNN網(wǎng)絡(luò)時(shí)展現(xiàn)出的潛力，也在時(shí)空序列預(yù)測(cè)方面實(shí)現(xiàn)了更優(yōu)表現(xiàn)。繼續(xù)在這一方向深入探索，Han等人［5］將SimVP模型成功遷移到短臨預(yù)報(bào)的任務(wù)中，并展現(xiàn)了同樣優(yōu)異的性能。

由于降水本身具有高度非線性、隨機(jī)性和復(fù)雜性，其時(shí)間變化較快、空間分布不均勻，同時(shí)還具有短期突發(fā)性和不可預(yù)見性等特點(diǎn)，降水臨近預(yù)報(bào)精度還有較大提升空間。在降水臨近預(yù)報(bào)領(lǐng)域，循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）模型，如PredRNN系列，在傳遞長(zhǎng)時(shí)間序列信息的能力上表現(xiàn)出色。然而，它們?cè)诓蹲胶头治隹臻g特征方面存在局限。此外，RNN模型逐步預(yù)測(cè)的特性也限制了訓(xùn)練和推理效率，并且具有高計(jì)算成本［22］。相比之下，卷積神經(jīng)網(wǎng)絡(luò)（CNN）模型在空間特征提取方面具有強(qiáng)大的優(yōu)勢(shì)，計(jì)算量小且結(jié)構(gòu)簡(jiǎn)單。然而，當(dāng)處理時(shí)間序列數(shù)據(jù)時(shí)，CNN模型面臨信息流失的問(wèn)題，尤其在進(jìn)行長(zhǎng)時(shí)間序列預(yù)測(cè)時(shí)更為嚴(yán)重［22，25］。CNN和RNN模型都無(wú)法獲取全局變化信息，這對(duì)于降水臨近預(yù)報(bào)是一個(gè)瓶頸，因?yàn)榫植拷邓艿饺纸邓兓挠绊?，而局部感受野無(wú)法準(zhǔn)確理解和把握全局變化。在當(dāng)前模型中，對(duì)于降水預(yù)報(bào)中更關(guān)心的高強(qiáng)降水區(qū)域的預(yù)測(cè)，仍存在高值區(qū)域易消散的情況，整體預(yù)報(bào)準(zhǔn)確性仍有待提升［5，7］。

針對(duì)以上問(wèn)題，本文提出了一種基于雙向Transformer的降水臨近預(yù)報(bào)模型（BTPN）。模型的主體架構(gòu)采用了SimVP模型，利用空間特征和時(shí)空特征分離處理的方式，緩解一定的時(shí)空信息流失問(wèn)題［21］。為了獲取全局狀態(tài)信息，本文設(shè)計(jì)了一種雙向Transformer（bi-directional Transformer，BiT）。與傳統(tǒng)的Transformer相比，BiT可以同時(shí)從時(shí)空序列的順序和逆序中高效地提取特征，從而有效捕捉那些在順向信息流中易被忽略的關(guān)鍵細(xì)節(jié)，并且保留更多特征信息，減輕了時(shí)空信息流失問(wèn)題。與以BERT語(yǔ)言模型［26］ 為代表的使用掩碼機(jī)制（masked language model，MLM）實(shí)現(xiàn)深度雙向Transformer不同，本文雙向Transformer在注意力階段通過(guò)雙向的Q和K對(duì)時(shí)空特征進(jìn)行加權(quán)，這種方法更加簡(jiǎn)單易行且適用于時(shí)空序列問(wèn)題。BiT具備了Transformer［27，28］ 的核心優(yōu)勢(shì)，即全局注意力機(jī)制，可以在整個(gè)序列范圍內(nèi)捕獲相關(guān)信息，從而提升了模型處理長(zhǎng)期依賴關(guān)系信息的能力，其優(yōu)秀的注意力機(jī)制也能很好地關(guān)注高值區(qū)域的變化。與卷積提供的局部特征編碼相結(jié)合，BiT的全局編碼能力使本文設(shè)計(jì)的CT-block能夠輕量高效地提取時(shí)空信息，同時(shí)其殘差結(jié)構(gòu)緩解了模型深層特征的損失。在模型的編碼器和解碼器階段，本文引入了D-block結(jié)構(gòu)，這種基于殘差［29］的設(shè)計(jì)思路有效地減少了在維度轉(zhuǎn)換過(guò)程中低維細(xì)節(jié)特征的丟失，緩解了高值區(qū)域消散問(wèn)題。在公認(rèn)的HKO-7數(shù)據(jù)集［15］ 上進(jìn)行的一系列對(duì)比實(shí)驗(yàn)中，實(shí)驗(yàn)結(jié)果充分證明了BTPN模型在降水臨近預(yù)報(bào)任務(wù)上的卓越表現(xiàn)，相比其他模型展現(xiàn)了更高的預(yù)測(cè)準(zhǔn)確率。

1 BTPN模型

降水臨近預(yù)報(bào)任務(wù)本質(zhì)是時(shí)空序列預(yù)測(cè)問(wèn)題，需要同時(shí)考慮時(shí)間維度和空間維度。為了進(jìn)一步提升降水臨近預(yù)報(bào)準(zhǔn)確性，設(shè)計(jì)了BTPN模型，如圖1所示。該模型由encoder、translator和decoder三種結(jié)構(gòu)組成，encoder用于提取歷史幀的空間特征，translator用于學(xué)習(xí)時(shí)空演化與傳遞，decoder用于集成和預(yù)測(cè)未來(lái)幀的空間特征。這種空間特征和時(shí)空特征融合分離的結(jié)構(gòu)使得CNN模型也能具備更高的時(shí)空特征傳遞性能［21］。

a）encoder。在編碼器設(shè)計(jì)中，采取了創(chuàng)新的堆疊策略，將CGS與D-block模塊相結(jié)合。編碼器由Ns個(gè)CGS（Conv-GroupNorm-SiLU）和D-block的復(fù)合結(jié)構(gòu)組成。在處理編碼器輸入數(shù)據(jù)時(shí)，本文將輸入數(shù)據(jù)的形狀從（B，T，C，H，W）改組合為（B×T，C，H，W），即將批次維度B和時(shí)間維度T合并，該策略使得模型能更集中于提取空間特征。在這一過(guò)程中，每組的CGS-D-block-CGS結(jié)構(gòu)中，CGS和D-block采用步長(zhǎng)為1的卷積，保證特征提取的精細(xì)化，而每組結(jié)構(gòu)末尾的CGS則采用步長(zhǎng)為2的卷積操作，以實(shí)現(xiàn)下采樣。在傳統(tǒng)模型中，過(guò)度依賴CGS模塊的堆疊往往會(huì)導(dǎo)致空間細(xì)節(jié)信息的大量損失，而通過(guò)在CGS堆疊中穿插D-block模塊的策略，既強(qiáng)化了深層特征的提取，同時(shí)也有效減輕了淺層細(xì)節(jié)信息的丟失，從而實(shí)現(xiàn)了優(yōu)化模型對(duì)空間特征把控的能力，加強(qiáng)了對(duì)高值區(qū)域預(yù)報(bào)的準(zhǔn)確性。

b）translator。設(shè)計(jì)采用了Nt個(gè)卷積Transformer模塊（CT-block）來(lái)學(xué)習(xí)和處理時(shí)空域特征，有效緩解了CNN模型存在的時(shí)空長(zhǎng)時(shí)序信息丟失的問(wèn)題，還實(shí)現(xiàn)了對(duì)全局和局部信息的綜合利用。輸入特征的形狀由（B，T，C，H，W）轉(zhuǎn)換為（B，T×C，H，W），合并了時(shí)間維度T和通道維度C，使其能夠同時(shí)處理時(shí)空特征的動(dòng)態(tài)變化。CT-block結(jié)構(gòu)內(nèi)嵌了雙向Transformer（BiT）機(jī)制，它的工作過(guò)程開始于一個(gè)1×1大小的卷積層，用于擴(kuò)充特征的通道數(shù)。接著，采用殘差連接結(jié)構(gòu)［29］進(jìn)行特征學(xué)習(xí)，其中首先通過(guò)一個(gè)3×3的卷積層來(lái)捕捉局部時(shí)空特征，然后使用1×1的逐點(diǎn)卷積（pointwise convolution）對(duì)特征通道進(jìn)行線性組合并將其映射至一個(gè)更高維的空間，以此來(lái)增強(qiáng)特征的表達(dá)能力。BiT用于全局時(shí)空信息的學(xué)習(xí)，它允許模型捕捉和整合跨越整個(gè)輸入的長(zhǎng)范圍依賴信息。最后，輸入特征和BiT的輸出通過(guò)一個(gè)3×3的卷積層進(jìn)行合并和融合，這樣不僅利用了BiT提供的全局信息，還保留了局部特征的細(xì)節(jié)，能夠?qū)W習(xí)局部降水和全局降水之間的相互影響關(guān)系。

c）BiT。如圖2所示，常規(guī)雙向Transformer主要應(yīng)用于自然語(yǔ)言處理（NLP）領(lǐng)域，以BERT語(yǔ)言模型［26］為代表，主要使用掩碼操作實(shí)現(xiàn)上下文雙向理解，本文的雙向Transformer（BiT）是通過(guò)設(shè)計(jì)的雙向多頭自注意力（BMA）機(jī)制來(lái)實(shí)現(xiàn)雙向操作，增強(qiáng)對(duì)動(dòng)態(tài)時(shí)空數(shù)據(jù)序列的正向和逆向處理能力，具備更優(yōu)的時(shí)空信息提取能力，緩解了時(shí)空信息流失的問(wèn)題，其雙向的注意力也可以更好地5U/3pKoaOc0uqSiFdgxaaw==捕獲高值區(qū)域的變化，更適用于時(shí)空序列問(wèn)題。該機(jī)制對(duì)捕獲復(fù)雜的動(dòng)態(tài)場(chǎng)景中變化迅速的特征至關(guān)重要。通過(guò)在已有的查詢（Q）和鍵（K）向量的基礎(chǔ)上增添它們的反向?qū)?yīng)（和），BMA使得模型能夠從數(shù)據(jù)的兩個(gè)方向同步地提取關(guān)鍵特征，使用逆序的和從逆序特征中揪出容易遺漏的重要信息，進(jìn)而增強(qiáng)了模型使用順序的Q和K進(jìn)行特征篩選的能力。BiT通過(guò)雙向多頭自我注意力單元和多層感知機(jī)（MLP）塊的串聯(lián)搭建而成，這些模塊的協(xié)同工作用于合成和精煉時(shí)空特征，以及施行高階非線性特征轉(zhuǎn)換。每個(gè)注意力和MLP模塊前采用層歸一化（LN），以規(guī)范化輸入，這樣的預(yù)處理對(duì)提升模型的訓(xùn)練穩(wěn)定性和加速收斂進(jìn)程格外有益。BiT模型設(shè)計(jì)中缺少對(duì)空間位置的內(nèi)在偏置，影響了空間特征的感知能力。汲取MobileViT［30］中數(shù)據(jù)空間重新排列的方法，強(qiáng)化了BiT對(duì)空間特征的感知。通過(guò)unfold操作，將標(biāo)準(zhǔn)輸入維度（B，D，H，W）重新排列為（B，N，P，D），其中P=wh表示一個(gè)圖像patch中的像素?cái)?shù)，N=（HW）/P代表圖像中patch的總數(shù)。在實(shí)驗(yàn)中，本文選擇了（2，2）大小的patch。隨后，fold操作使得變換后的數(shù)據(jù)能夠輕松地恢復(fù)為其原始維度（B，D，H，W）。BiT操作流程如下：

z′i=BMSA（LN（zi-1））+zi-1 i=1，…，L（1）

zi=MLP（LN（z′i））+z′i i=1，…，L（2）

雙向多頭自注意力依賴于縮放的點(diǎn)積注意，對(duì)順序查詢Q、順序鍵K、逆序查詢、逆序鍵和值V進(jìn)行操作：

attention（Q，K，，，V）=softmax（QKT+Tdk）V（3）

headi=attention（QWQi，KWKi，Wi，Wi，VWVi）（4）

MultiHead（Q，K，，，V）=concati（headi）WO（5）

其中：dk是關(guān)鍵維度；Wi和WO為權(quán)重矩陣。值得注意的是，在計(jì)算逆序控制和時(shí)需要先對(duì)特征在通道維度進(jìn)行逆序操作，當(dāng)完成T運(yùn)算后在通道維度再次進(jìn)行逆序操作，即還原為順序結(jié)構(gòu)，如圖2所示，其中符號(hào)即代表通道逆序操作。

d）decoder。解碼器采用Ns層TCGS+D-block+CGS復(fù)合結(jié)構(gòu)的疊加策略來(lái)逐漸構(gòu)建對(duì)未來(lái)幀的預(yù)測(cè)。在這個(gè)過(guò)程中，轉(zhuǎn)置卷積操作扮演了上采樣的角色，旨在將深層的特征空間有效恢復(fù)至與原始輸入匹配的分辨率，此操作的采樣步長(zhǎng)設(shè)為2。而D-block和CGS層則通過(guò)步長(zhǎng)為1的卷積過(guò)程細(xì)致地處理特征信息，以確保輸出的細(xì)節(jié)質(zhì)量。通過(guò)decoder模塊的跳躍連接，可以利用淺層歷史輸入數(shù)據(jù)來(lái)恢復(fù)預(yù)報(bào)結(jié)果中的淺層細(xì)節(jié)。整個(gè)解碼器的架構(gòu)設(shè)計(jì)與編碼器（encoder）形成了一種對(duì)稱關(guān)系。

2 實(shí)驗(yàn)

2.1 HKO-7數(shù)據(jù)集

HKO-7數(shù)據(jù)集依托于香港天文臺(tái)，2017年由Shi等人［15］正式提出，之后被氣象預(yù)報(bào)領(lǐng)域研究廣泛應(yīng)用，推動(dòng)了降水預(yù)報(bào)領(lǐng)域的發(fā)展。HKO-7數(shù)據(jù)集是2009—2015年的香港區(qū)域雷達(dá)回波數(shù)據(jù)。雷達(dá)CAPPI反射率圖像的分辨率為480×480像素，高度為2 km，覆蓋以香港為中心的512 km×512 km區(qū)域。數(shù)據(jù)是逐6 min的，因此每天有240幀數(shù)據(jù)。數(shù)雷達(dá)反射率因子可以通過(guò)pixel= 255×dBZ+1070+0.5」線性變換為像素值，并將轉(zhuǎn)換后的像素值裁剪為0～255。利用Z-R關(guān)系可以將雷達(dá)反射率值轉(zhuǎn)換為降雨強(qiáng)度值（mm/h）：dBZ=10blog a+10blog R，其中R為降雨率水平，a=58.53，b=1.56。

如圖3所示，由于降雨事件很少發(fā)生，所以根據(jù)雨量信息選擇下雨天來(lái)形成最終的數(shù)據(jù)集，如表1所示，該數(shù)據(jù)集有812天用于訓(xùn)練，50天用于驗(yàn)證，131天用于測(cè)試。本文對(duì)HKO-7數(shù)據(jù)進(jìn)行了降采樣，由480×480處理為112×112大小。

2.2 實(shí)驗(yàn)設(shè)置

如圖3所示，HKO-7數(shù)據(jù)集存在數(shù)據(jù)分布不均衡的情況，Shi等人［15］提出損失函數(shù)B-MSE和B-MAE用于解決該問(wèn)題。B-MSE和B-MAE分別是在常規(guī)MSE和MAE的基礎(chǔ)上通過(guò)不同降水強(qiáng)度進(jìn)行加權(quán)而改進(jìn)的損失函數(shù)，可以提高強(qiáng)降水臨近預(yù)報(bào)的精度。損失函數(shù)如下［15］：

loss=1N∑Nn=1∑224i=1∑224j=1ωn，i，j（xn，i，j-n，i，j）2+

1N∑Nn=1∑224i=1∑224j=1ωn，i，j|xn，i，j-n，i，j|

ω（x）=1 x<222≤x<555≤x<101010≤x<3030x≥30（6）

其中：N代表數(shù)據(jù)幀；xn，i，j代表第n幀的（i，j）位置的數(shù)值；ωn，i，j代表第n幀的（i，j）位置的權(quán)重，通過(guò)權(quán)重函數(shù)ω（x）獲取。

數(shù)據(jù)預(yù)處理方式使用最大最小歸一化，其公式如下：

Y=X-minmax-min（7）

其中：min為0；max為255；X為輸入數(shù)據(jù)；Y為歸一化后數(shù)據(jù)。

BTPN模型設(shè)置encoder和decoder模塊的Ns為2；其中GroupNorm的group數(shù)量為2。translator模塊的Nt設(shè)置為3，其中GroupNorm的group數(shù)量為8。BiT模塊的雙向自注意力設(shè)置為4頭。

其他對(duì)比模型的和官方開源代碼參數(shù)一致。在本文中所有模型的基礎(chǔ)訓(xùn)練設(shè)置保持一致，本文使用Adam優(yōu)化器［31］，學(xué)習(xí)率設(shè)置為10-4，進(jìn)行100 000次采樣訓(xùn)練，batch_size設(shè)置為2，輸入歷史1 h數(shù)據(jù)（10幀）預(yù)測(cè)未來(lái)1 h（10幀）變化。本文使用RTX 2080顯卡進(jìn)行訓(xùn)練，12 GB顯存，CPU為Intel CoreTM i7-7700K CPU，4.20 GHz，PyTorch版本為1.10.1。

2.3 實(shí)驗(yàn)指標(biāo)

為了全面評(píng)估不同模型的性能，本文使用了MAE（平均絕對(duì)誤差）、CSI（臨界成功指數(shù)）和SSIM（結(jié)構(gòu)相似性）三種評(píng)價(jià)指標(biāo)。

a）MAE。平均絕對(duì)誤差主要是可以對(duì)數(shù)值精度誤差進(jìn)行評(píng)估，有效地揭示了預(yù)測(cè)值和真實(shí)值在數(shù)值上的差異。MAE越小表示越接近真實(shí)值，其公式如下：

MAE=∑ni=1xi-yin（8）

其中：xi表示預(yù)測(cè)值；yi表示真實(shí)值；n表示像素?cái)?shù)量。

b）CSI。臨界成功指數(shù)同時(shí)考慮了預(yù)報(bào)中的命中、漏報(bào)和誤報(bào)，能夠評(píng)定不同降水等級(jí)下的準(zhǔn)確性，是降水臨近預(yù)報(bào)中常用的評(píng)價(jià)指標(biāo)，其公式如下：

CSI=TPTP+FN+FP（9）

其中：TP（預(yù)測(cè)=1，真值=1）是真陽(yáng)性；FN（預(yù)測(cè)=0，真值=1）是假陽(yáng)性；FP（預(yù)測(cè)=1，真值=0）是假陰性。

c）SSIM。結(jié)構(gòu)相似性是評(píng)定兩幅圖像之間的空間相似程度的指標(biāo)，同時(shí)考慮圖片亮度、對(duì)比與結(jié)構(gòu)信息，在圖像質(zhì)量的衡量上更能符合人眼對(duì)圖像質(zhì)量的判斷，其公式如下：

SSIM（x，y）=（2μxμy+c1）（2σxy+c2）（μ2x+μ2y+c1）（σ2x+σ2y+c2）（10）

對(duì)于輸入圖像x和y，μx和μy分別代表x和y的均值，σx和σy分別代表x和y的方差，σxy代表x和y的協(xié)方差，c1=（k1L）2和c2=（k2L）2是兩個(gè)常量，k1=0.01，k2=0.03，L代表像素范圍值。SSIM數(shù)值為［-1，1］，越接近于1表示兩幅圖像越相似。

2.4 實(shí)驗(yàn)結(jié)果與分析

不同模型在測(cè)試集上的MAE、SSIM和CSI指標(biāo)如表2所示，其中CSI指標(biāo)選取了2、5、10和30 mm/h四種降水閾值，以評(píng)估模型對(duì)于從小雨到暴雨不同降水強(qiáng)度的預(yù)報(bào)準(zhǔn)確度。從表2可以看出，BTPN模型在所有指標(biāo)上均超越了其他模型，與較優(yōu)的PredRNN-v2模型相比，MAE和SSIM分別提升了2.06%和3.11%，在2、5、10和30 mm/h閾值下的CSI指標(biāo)分別提升了0.44%、1%、2.51%和7.11%。由此可以看出，BTPN模型整體上具有較高的預(yù)報(bào)精度，特別是在關(guān)注度更高的高降水量區(qū)域表現(xiàn)出更為顯著的精度提升，這對(duì)于短臨預(yù)報(bào)具有重要的意義。

平均指標(biāo)并不能完全反映不同模型在不同時(shí)間維度上的預(yù)報(bào)準(zhǔn)確度，因此本文繪制了各模型在不同預(yù)報(bào)時(shí)刻的精度趨勢(shì)圖，如圖4所示。從圖中可以直觀地看出，BTPN模型在不同預(yù)報(bào)時(shí)刻同樣保持著超越其他模型的精度，并維持了較低的誤差累積，體現(xiàn)了BTPN模型在降水臨近預(yù)報(bào)上的有效性和優(yōu)秀性能。

為客觀評(píng)估不同模型的性能，本文挑選了兩種代表性的降水情景進(jìn)行了詳細(xì)分析：a）普遍的大面積降水事件;b）強(qiáng)度更為嚴(yán)峻的臺(tái)風(fēng)天氣。大面積降水事件包括了一系列不同的降水強(qiáng)度，能夠全面測(cè)試各模型在常見降水氣候下的預(yù)報(bào)準(zhǔn)確性。在極端氣象事件如臺(tái)風(fēng)的預(yù)報(bào)中，準(zhǔn)確性尤為關(guān)鍵。由于臺(tái)風(fēng)導(dǎo)致的降水變化具有較高的不可預(yù)測(cè)性，這對(duì)于預(yù)報(bào)模型來(lái)說(shuō)是一個(gè)顯著的挑戰(zhàn)，極端天氣預(yù)報(bào)的準(zhǔn)確性能夠有效地驗(yàn)證模型的綜合性能表現(xiàn)。

圖5中矩形框標(biāo)識(shí)的部分清晰地揭示了BTPN模型預(yù)報(bào)結(jié)果與實(shí)際觀測(cè)的吻合程度較高。相比之下，其他模型在預(yù)測(cè)高降水率區(qū)域時(shí)顯現(xiàn)了明顯的消散現(xiàn)象，光流法無(wú)法預(yù)測(cè)雨區(qū)的生消變換，未能精確捕捉到實(shí)際的降水區(qū)域。圖6展示的性能指標(biāo)柱狀圖進(jìn)一步印證了BTPN模型在大范圍降水事件預(yù)報(bào)上的卓越準(zhǔn)確性。

在臺(tái)風(fēng)條件下，BTPN模型繼續(xù)展現(xiàn)出其優(yōu)異的預(yù)測(cè)精度。圖7中的矩形框清楚地表明，BTPN模型能較為確切地預(yù)測(cè)低值和高值區(qū)域的分布，展現(xiàn)了其優(yōu)秀的時(shí)空信息傳遞和提取能力，而其他模型在這方面表現(xiàn)則不佳，產(chǎn)生了較多的誤報(bào)問(wèn)題，光流法更是出現(xiàn)了嚴(yán)重的形變現(xiàn)象。對(duì)圖6、8中的指標(biāo)圖進(jìn)行比較可見，在臺(tái)風(fēng)引起的降水中，各模型的臨近降水預(yù)報(bào)準(zhǔn)確度普遍低于普通降水事件的預(yù)報(bào)準(zhǔn)確度，這反映出臺(tái)風(fēng)對(duì)降水預(yù)報(bào)準(zhǔn)確性所造成的負(fù)面影響顯著，增加了降水落區(qū)預(yù)測(cè)的不確定性。然而，即便如此，BTPN模型在各項(xiàng)指標(biāo)上依舊保持了一定的優(yōu)勢(shì)，并顯示出較高的穩(wěn)健性。

2.5 消融實(shí)驗(yàn)

消融實(shí)驗(yàn)是評(píng)價(jià)和解析模型各構(gòu)成部分作用的重要實(shí)驗(yàn)方法。該方法通過(guò)刪減或修改模型的特定部分，研究這些變動(dòng)如何影響模型的整體表現(xiàn)。

如表3所示，本文對(duì)BTPN模型進(jìn)行了一系列消融實(shí)驗(yàn)，主要針對(duì)模型中的CT-block、BiT和D-block三個(gè)關(guān)鍵模塊。消融實(shí)驗(yàn)的初始條件是基礎(chǔ)的SimVP模型，即model 1。在model 1的基礎(chǔ)上，將inception模塊替換為內(nèi)含常規(guī)Transformer的CT-block構(gòu)建出model 2。實(shí)驗(yàn)結(jié)果表明，該變動(dòng)帶來(lái)了模型性能的整體提升，由此證明了CT-block的有效性。接下來(lái)，model 3是在model 2的基礎(chǔ)上，通過(guò)采用BiT替代CT-block中的Transformer結(jié)構(gòu)，模型性能再次得到提高，這驗(yàn)證了雙向Transformer在時(shí)空序列特征提取方面的有效性。BTPN模型是在model 3的基礎(chǔ)上加入了D-block細(xì)節(jié)模塊，減少了編解碼過(guò)程中可能出現(xiàn)的特征丟失，從而實(shí)現(xiàn)了性能的進(jìn)一步提升。model 4是在BTPN基礎(chǔ)上，使用單向Transformer（UnT）替換雙向Transformer（BiT），UnT也就是對(duì)BiT中的逆序和使用常規(guī)順序特征，發(fā)現(xiàn)精度下降，尤其是高值區(qū)域，說(shuō)明單純地增加和并未帶來(lái)性能提升，因此逆序操作是有效的，模型可以從逆序特征中學(xué)習(xí)到更多的信息。

消融實(shí)驗(yàn)的結(jié)果清楚地表明，本文為降水臨近預(yù)報(bào)專門設(shè)計(jì)的三個(gè)模塊不僅具有實(shí)際效能，而且在提升模型整體性能方面發(fā)揮了關(guān)鍵作用。

3 結(jié)束語(yǔ)

本文提出了一種創(chuàng)新的降水臨近預(yù)報(bào)模型BTPN，設(shè)計(jì)的雙向Transformer結(jié)構(gòu)有效地捕捉了數(shù)據(jù)在時(shí)間和空間上的關(guān)聯(lián)性。與此同時(shí)，結(jié)合 CT-block，融合Transformer全局信息和卷積局部特征的優(yōu)勢(shì)。此外，使用D-block增強(qiáng)編解碼過(guò)程中的特征抽取能力，并緩解細(xì)節(jié)信息的損失，從而實(shí)現(xiàn)了更高的預(yù)報(bào)準(zhǔn)確度。

在HKO-7數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果驗(yàn)證了BTPN模型在降水臨近預(yù)報(bào)領(lǐng)域的先進(jìn)性。實(shí)驗(yàn)結(jié)果直觀地展示了BTPN模型在時(shí)空信息的傳遞和提取方面優(yōu)于其他模型，進(jìn)一步提升了對(duì)降水高值區(qū)域的預(yù)報(bào)準(zhǔn)確性。無(wú)論是在定量指標(biāo)上還是定性指標(biāo)上，BTPN模型都展現(xiàn)出較優(yōu)的性能，證明了模型設(shè)計(jì)的有效性。這為降水預(yù)報(bào)問(wèn)題提供了一種新的思路，對(duì)未來(lái)的研究有著一定的啟示作用。未來(lái)，本文將探究多源數(shù)據(jù)融合的預(yù)報(bào)方法，通過(guò)結(jié)合溫度場(chǎng)、風(fēng)場(chǎng)等對(duì)降水預(yù)測(cè)有著密切關(guān)聯(lián)的因子，以期進(jìn)一步提高預(yù)報(bào)的精度。

參考文獻(xiàn)：

［1］Gao Zhihan， Shi Xingjian， Wang Hao， et al. Deep learning and the weather forecasting problem： precipitation nowcasting［M］//Camps-Valls G， Tuia D， Zhu X X， et al. Deep Learning for the Earth Sciences： A Comprehensive Approach to Remote Sensing， Climate Science， and Geosciences.［S.l.］： Wiley， 2021： 218-239.

［2］羅健文， 鄒茂揚(yáng)， 楊昊， 等. 面向降雨預(yù)報(bào)的雷達(dá)回波預(yù)測(cè)序列外推方法［J］. 計(jì)算機(jī)應(yīng)用研究， 2024， 41（4）： 1138-1142. （Luo Jianwen， Zou Maoyang， Yang Hao， et al. Research on extrapolation of radar echo prediction sequence for rainfall prediction［J］. Application Research of Computers， 2024， 41（4）： 1138-1142.）

［3］Bauer P， Thorpe A， Brunet G. The quiet revolution of numerical weather prediction［J］. Nature， 2015， 525（7567）： 47-55.

［4］Ayzel G， Scheffer T， Heistermann M. RainNet v1.0： a convolutional neural network for radar-based precipitation nowcasting［J］. Geoscientific Model Development， 2020， 13（6）： 2631-2644.

［5］Han D， Choo M， Im J， et al. Precipitation nowcasting using ground radar data and simpler yet better video prediction deep learning［J］. GIScience & Remote Sensing， 2023， 60（1）： 2203363.

［6］Ko J， Lee K， Hwang H， et al. Effective training strategies for deep-learning-based precipitation nowcasting and estimation［J］. Compu-ters & Geosciences， 2022， 161： 105072.

［7］孔德璇. 基于深度學(xué)習(xí)的貴州地區(qū)分鐘級(jí)臨近降水預(yù)報(bào)研究［D］. 南京： 南京信息工程大學(xué)， 2023. （Kong Dexuan. Research on minute-level near-term precipitation forecast in Guizhou based on deep learning［D］. Nanjing： Nanjing University of Information Science & Technology， 2023.）

［8］吳曉鋒， 唐曉文， 王元， 等. 基于單多普勒雷達(dá)的光流法改進(jìn)技術(shù)［J］. 氣象科學(xué)， 2020，40（4）： 497-504. （Wu Xiaofeng， Tang Xiaowen， Wang Yuan， et al. Improved optical flow method based on single-Doppler radar［J］. Meteorological Science， 2020， 40（4）： 497-504.）

［9］Johnson J， Mackeen P L， Witt A， et al. The storm cell identification and tracking algorithm： an enhanced WSR-88D algorithm［J］. Weather and Forecasting， 1998， 13（2）： 263-276.

［10］Woo W C， Wong W K. Operational application of optical flow techniques to rainfall nowcasting［J］. Atmosphere， 2017， 8（3）： 48.

［11］Gultepe I， Sharman R， Williams P D， et al. A review of high impact weather for aviation meteorology［J］. Pure and Applied Geophy-sics， 2019， 176： 1869-1921.

［12］徐成鵬， 曹勇， 張恒德， 等. U-Net模型在京津冀臨近降水預(yù)報(bào)中的應(yīng)用和檢驗(yàn)評(píng)估［J］. 氣象科學(xué)， 2022， 42（6）： 781-792. （Xu Chengpeng， Cao Yong， Zhang Hengde， et al. Application and evaluation of U-Net model in near-term precipitation forecast in Beijing-Tianjin-Hebei region［J］. Meteorological Science， 2022， 42（6）： 781-792.）

［13］Trebing K， Staczyk T， Mehrkanoon S. SmaAt-UNet： precipitation nowcasting using a small attention-UNet architecture［J］. Pattern Recognition Letters， 2021， 145： 178-186.

［14］Shi Xingjian， Chen Zhourong， Wang Hao， et al. Convolutional LSTM network： a machine learning approach for precipitation nowcasting［C］//Proc of the 28th International Conference on Neural Information Processing Systems. Cambridge， MA： MIT Press， 2015： 802-810.

［15］Shi Xingjian， Gao Zhihan， Lausen L， et al. Deep learning for precipitation nowcasting： a benchmark and a new model［C］//Proc of the 31st Conference on Neural Information Processing Systems. Red Hook， NY： Curran Associates Inc.， 2017： 5622-5632.

［16］Wang Yunbo， Long Mingsheng， Wang Jianmin， et al. PredRNN： recurrent neural networks for predictive learning using spatiotemporal LSTMs［C］//Proc of the 31st Conference on Neural Information Processing Systems. Red Hook， NY： Curran Associates Inc.， 2017， 879-888.

［17］Wang Yunbo， Gao Zhifeng， Long Mingsheng， et al. PredRNN++： towards a resolution of the deep-in-time dilemma in spatiotemporal predictive learning［C］//Proc of the 35th International Conference on Machine Learning.［S.l.］： PMLR， 2018： 5123-5132.

［18］Wang Yunbo， Wu Haixu， Zhang Jianjin， et al. PredRNN： a recurrent neural network for spatiotemporal predictive learning［J］. IEEE Trans on Pattern Analysis and Machine Intelligence， 2023， 45（2）： 2208-2225.

［19］Guen V L， Thome N. Disentangling physical dynamics from unknown factors for unsupervised video prediction［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE Press， 2020： 11474-11484.

［20］Ronneberger O， Fischer P， Brox T. U-Net： convolutional networks for biomedical image segmentation［M］//Navab N， Hornegger J， Wells W， et al. Medical Image Computing and Computer-Assisted Intervention. Berlin： Springer， 2015： 234-241.

［21］Gao Zhangyang， Tan Cheng， Wu Lirong， et al. SimVP： simpler yet better video prediction［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE Press， 2022： 3160-3170.

［22］Han Lei， Liang He， Chen Haonan， et al. Convective precipitation nowcasting using U-Net model［J］. IEEE Trans on Geoscience and Remote Sensing， 2022， 60： 1-8.

［23］Chollet F. Xception： deep learning with depthwise separable convolutions［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE Press， 2017： 1800-1807.

［24］Woo S， Park J， Lee J Y， et al. CBAM： convolutional block attention module［C］//Proc of European Conference on Computer Vision. Berlin： Springer， 2018： 3-19.

［25］Reichstein M， Camps-Valls G， Stevens B， et al. Deep learning and process understanding for data-driven earth system science［J］. Nature， 2019， 566（7743）： 195-204.

［26］Devlin J， Chang M W， Lee K， et al. BERT： pre-training of deep bidirectional transformers for language understanding［EB/OL］. （2019-05-24）. https：//arxiv.org/abs/1810.04805.

［27］Vaswani A， Shazeer N， Parmar N， et al. Attention is all you need［EB/OL］. （2023-08-02）. https：//arxiv.org/abs/1706.03762.

［28］Dosovitskiy A， Beyer L， Kolesnikov A， et al. An image is worth 16×16 words： Transformers for image recognition at scale［EB/OL］. （2021-06-03）. https：//arxiv.org/abs/2010.11929.

［29］He Kaiming， Zhang Xiangyu， Ren Shaoqing， et al. Deep residual learning for image recognition［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE Press， 2016： 770-778.

［30］Mehta S， Rastegari M. MobileViT： light-weight， general-purpose， and mobile-friendly vision Transformer［EB/OL］. （2021-10-05）. https：//arxiv.org/abs/2110.02178.

［31］Kingma D P， Ba J. Adam： a method for stochastic optimization［EB/OL］. （2017-01-30）. https：//arxiv.org/abs/1412.6980.