利用地理空間和時間信息GNN-Transformer在MJO預(yù)測中的應(yīng)用

摘要： 針對目前深度學(xué)習(xí)在極端天氣現(xiàn)象Madden-Julian振蕩（MJO）預(yù)測任務(wù)中表現(xiàn)欠佳的問題， 提出一種基于動態(tài)圖神經(jīng)網(wǎng)絡(luò)與Transformer結(jié)合的時序預(yù)測模型. 首先， 將地球海

陸二維網(wǎng)格映射到圖結(jié)構(gòu)的節(jié)點上， 并提出利用多重注意力混合海陸掩碼的方法進行節(jié)點篩選； 其次， 使用基于熱傳導(dǎo)與節(jié)點相似度度量進行邊權(quán)重的迭代更新， 以獲取每個時間步

中最準(zhǔn)確的氣候模式信息； 再次， 使用最大極值法抽取不同時間段的異常節(jié)點信息作為極端氣候的發(fā)生點， 并對這類點的變權(quán)重進行強化； 最后， 將上述結(jié)果輸入到圖神經(jīng)網(wǎng)絡(luò)進行

編碼， 并使用Transformer進行解碼操作獲取預(yù)測結(jié)果. 實驗結(jié)果表明， 該模型在預(yù)測中最高可獲得39 d的雙變量相關(guān)系數(shù)（COR）有效預(yù)測值， 以及31 d的均方根誤差（RMSE）有效預(yù)測值， 性能優(yōu)于現(xiàn)有模型.

關(guān)鍵詞： 時空預(yù)測； 圖神經(jīng)網(wǎng)絡(luò)； 天氣預(yù)測； 時間序列預(yù)測

中圖分類號： TP399" 文獻標(biāo)志碼： A" 文章編號： 1671-5489（2025）01-0067-09

Harnessing Geospatial and Temporal Information：GNN-Transformer Application to MJO Prediction

WEI Xiaohui1， XU Zhewen1， WANG Xingwang1， HAO Jieyun1， LIU Changzheng2

（1. College of Computer Science and Technology， Jilin University， Changchun 130012， China;

2. Laboratory for Climate Studies， China Meteorological Administration， Beijing 100081， China）

收稿日期： 2023-09-25.

第一作者簡介： 魏曉輝（1972—）， 男， 漢族， 博士， 教授， 博士生導(dǎo)師， 從事網(wǎng)格系統(tǒng)與網(wǎng)絡(luò)安全的研究， E-mail： weixh@jlu.edu.cn.

通信作者簡介： 王興旺（1990—）， 男， 漢族， 博士， 副教授， 從事計算機系統(tǒng)結(jié)構(gòu)的研究， E-mail： xww@jlu.edu.cn.

基金項目： 國家重點研發(fā)計劃項目（批準(zhǔn)號： 2017YFC1502306）和國家自然科學(xué)基金（批準(zhǔn)號： 42175952; 62272190）.

Abstract： Aiming at" the problem of poor performance exhibited by current deep learning" in extreme weather phenomenon Madden-Julian oscillation （MJO） prediction tasks，

we proposed a time series prediction model based on a combination of dynamic graph neural network and Transformer. Firstly， we mapped the two-dimensional grid of Earth’s land and sea to the nodes of graph structure，

and proposed" a method of using" multi-attention hybrid sea and land masks for node screening. Secondly， we iteratively updated edge weights based on heat conduction and node similarity measurement to obtain

the most accurate climate model information at each time step. Thirdly， we used the maximum extreme value method to extract abnormal node information during different time periods as occurrence points

of extreme climate， and strengthened variable weights of these points. Finally， we input above results into a graph neural network for encoding and utilized Transformer for decoding operations" to obtain prediction results.

Experimental results show that the model can achieve an effective bivariate correlation coefficient （COR） prediction value of up to 39 d as well as an effective root mean square error （RMSE） prediction value of 31 d

in prediction， and its performance is superior to existing models.

Keywords： spatio-temporal forecasting; graph neural network;" weather forcasting; time series prediction

近年來， 極端天氣現(xiàn)象越來越頻繁， 預(yù)測并防止極端天氣變化備受關(guān)注. Madden-Julian振蕩（MJO）是一種熱帶赤道地區(qū)的顯著對流與顯著無對流區(qū)塊， 在北半球冬季主要以

周期約30～90 d的速度向東前進的現(xiàn)象， 是大氣振蕩的一種， 可能導(dǎo)致極其嚴(yán)重的自然災(zāi)害［1］. 基于深度學(xué)習(xí)模型的改進和國際合作研究， 使用氣候模型進行的MJO預(yù)

測可以預(yù)測多達21 d［2-3］. 但由于對MJO動態(tài)和信息挖掘的了解不足而導(dǎo)致系統(tǒng)模型存在誤差， 長時間預(yù)測性能相對較低. 深度學(xué)習(xí)技術(shù)預(yù)測性能較低的主要原因如下：

1） 原始氣候數(shù)據(jù)包含過多信息， 對大氣振蕩預(yù)測造成干擾， 同時增加了計算成本；

2） 通用的深度學(xué)習(xí)方法通常傾向于對固定模式進行線性擬合， 很難捕捉地球系統(tǒng)的氣候變化， 導(dǎo)致分布偏移；

3） 監(jiān)督模型因樣本不足和物理約束而受到困擾， 特別是在有效的氣象數(shù)據(jù)方面， 缺乏物理指導(dǎo)使其成為一項困難任務(wù).

為解決上述問題， 本文提出一種引入定制歸納偏差的動態(tài)MJO圖神經(jīng)網(wǎng)絡(luò)——Transformer模型DMGFormer）. 與現(xiàn)有的基于卷積神經(jīng)網(wǎng)絡(luò)（CNN）［4-7］或集成學(xué)習(xí)［8］的研究方法不同， 本文利用空間-時間圖神經(jīng)網(wǎng)絡(luò)（STGNN）模擬大氣振蕩， 使用矢量采樣器、 動態(tài)圖神經(jīng)網(wǎng)絡(luò)、 異常檢測模型和Transformer模型［9］. 實驗結(jié)果表明， DMGFormer在MJO預(yù)測性能上有很大改進， 并且優(yōu)于現(xiàn)有的深度學(xué)習(xí)方法.

3 實驗及結(jié)果分析

3.1 實驗設(shè)置

3.1.1 設(shè) 備

使用一臺搭載Intel（R） Xeon（R） E5-2680v4（2.40 GHz） CPU， 128 GB DDR4 DRAM， Tesla P40（24 GB） GPU（帶有CUDA 11.1版本， 驅(qū)動程序版本515.43.04）， Ubuntu 22.04操作

系統(tǒng)以及Python 3.8的計算機訓(xùn)練模型， 并使用該環(huán)境訓(xùn)練對比方法. 使用PyTorch 1.11構(gòu)建網(wǎng)絡(luò)框架.

3.1.2 數(shù)據(jù)集

本文從數(shù)據(jù)集ERA5中選擇3個環(huán)流變量： 出射長波輻射（單位為W/m2）， U200（單位為m/s）和U850（單位為m/s）. 圖2顯示了全球熱帶地區(qū)

， 分辨率為5°×5°， 用于過濾和分割該地區(qū)的數(shù)據(jù)集. 本文選擇從1980年1月1日—2016年12月31日作為訓(xùn)練集， 從2017年1月1日—2019年12月31日作為驗證集，

從2020年1月1日—2021年12月31日作為測試集. 每個時間步是1 d， 因此模型的輸入時間長度為40 d， 預(yù)測長度也為40 d.

3.1.3 度量標(biāo)準(zhǔn)

為衡量MJO的預(yù)測能力， 采用氣象領(lǐng)域中主要的一對度量標(biāo)準(zhǔn)［17］， 分別是雙變量相關(guān)系數(shù)（COR）和均方根誤差（RMSE）：

COR=∑［（1）×Y（1）+（2）×Y（2）］∑［2（1）+

2（2）］∑［Y2（1）+Y2（2）］，RMSE=1M∑［（（1）-Y（1））2+（（2）-Y（2））2］，（14）

COR衡量了預(yù)測與實際結(jié)果之間的共現(xiàn)強度， RMSE則進行逐項比較以計算實際差異.

3.1.4 基準(zhǔn)模型

將DMGFormer與下列方法進行比較： 1） NWP方法， 如Babj［19］和ECMWF［20］； 2） 支持因子分解機的神經(jīng)網(wǎng)絡(luò)方法（FNN）［21］； 3） 循環(huán)神經(jīng)網(wǎng)

絡(luò)方法AR-RNN［22］； 4） 基于CNN的方法CNN-LSTM［23］和ConvLSTM［24］. 基線模型使用MAE目標(biāo)函數(shù)進行訓(xùn)練， 然后通過Adam優(yōu)化器進行最多100次迭代的

優(yōu)化. 均值和標(biāo)準(zhǔn)差從使用不同隨機種子的10次實驗中獲得.

3.2 對比實驗

表2列出了不同方法的最佳預(yù)測能力. 由表2可見： NWP方法持續(xù)取得最佳結(jié)果， 特別是ECMWF方法， 可以可靠地預(yù)測MJO長達28 d， 是目前的最新技術(shù)， 而簡單的人工神經(jīng)網(wǎng)絡(luò)方法或者

準(zhǔn)確性較低， 或者存在重大限制; FNN方法只能預(yù)測17 d; AR-RNN方法可以預(yù)測25 d， 但需要300 d的輸入數(shù)據(jù). 對于深度時空神經(jīng)網(wǎng)絡(luò)方法， 它們在捕捉MJO的一些時空信息方面

取得了顯著進展. 本文選擇最簡單的時空神經(jīng)網(wǎng)絡(luò)， 即CNN+LSTM和ConvLSTM， 并輸入相同的數(shù)據(jù)集進行MJO預(yù)測. 實驗結(jié)果表明， 本文設(shè)計的基本時空神經(jīng)網(wǎng)絡(luò)模型DMGFormer在強度預(yù)

測RMSE和位置預(yù)測COR兩方面均超過了這兩種網(wǎng)絡(luò)， 并且本文模型在性能上明顯優(yōu)于已有的結(jié)果， DMGFormer的性能甚至可以與ECMWF方法在最新技術(shù)水平上媲美.

此外， 本文還進行了數(shù)據(jù)可視化， 使用RMM指數(shù)的空間相位圖展示了圖4中的典型MJO事件. 由圖4可見， 與ECMWF模型的預(yù)測結(jié)果相比， DMGFormer模型的結(jié)果更接近觀測結(jié)果.

3.3 消融實驗

消融實驗旨在通過將異常檢測方法（ADM）和區(qū)域采樣方法（VAM）整合到基本的時空網(wǎng)絡(luò)模型DMGFormer中， 以評估這兩種方法的性能， 并用于MJO的預(yù)測. 表3列出了消融方法的性能比較結(jié)果. 研究結(jié)果表明， 這兩

種領(lǐng)域知識方法可以在不同程度上顯著提高MJO預(yù)測的準(zhǔn)確性. 在添加了ADM和VAM后， 預(yù)測性能提高了2 d和1 d， 證明了其有效性. 此外， 當(dāng)兩種方法都被添加到神經(jīng)網(wǎng)絡(luò)中時， 可觀

察到預(yù)測技能的改善并不是累積的， 而是導(dǎo)致了4 d的變化. 表明這兩種方法具有相互增強的效果.

綜上所述， 針對目前深度學(xué)習(xí)在極端天氣現(xiàn)象Madden-Julian振蕩預(yù)測任務(wù)中表現(xiàn)欠佳的問題， 本文提出了一種結(jié)合Transformer的動態(tài)圖神經(jīng)網(wǎng)絡(luò)DMGFormer模型， 用于大氣振蕩現(xiàn)

象MJO的長期預(yù)測. 首先， 使用基于注意力機制的VAM層進行圖節(jié)點篩選采樣； 其次， 設(shè)計基于熱傳導(dǎo)與相似性原理的DGGM執(zhí)行邊權(quán)重更新； 再次， 采取ADM進行異常檢測， 篩選出可

以突出表示大氣振蕩的節(jié)點進行邊權(quán)重強化； 最后， 使用GNN對上述結(jié)果進行編碼表示， 并使用Transformer方法對時序數(shù)據(jù)進行解碼生成預(yù)測. 實驗結(jié)果表明， 本文模型目前

效果最好， 并超過了數(shù)值預(yù)測方法的預(yù)報范圍.

參考文獻

［1］ ZHANG C D. Madden-Julian Oscillation： Bridging Weather and Climate ［J］. Bul

letin of the American Meteorological Society， 2013， 94（12）： 1849-1870.

［2］ JIANG X A， ADAMES á F， KIM D， et al. Fifty Years of Research on the Madden-Julian Oscillation： Recent Progress， Challenges， and P

erspectives ［J］. Journal of Geophysical Research： Atmospheres， 2020， 125（17）： e2019JD030911-1-e2019JD030911-64.

［3］ DELAUNAY A， CHRISTENSEN H M. Interpretable Deep Learning

for Probabilistic MJO Prediction ［J］. Geophysical Research Letters， 2022， 49（16）： e2022GL098566-1-e2022GL098566-10.

［4］ AHMED A A M， DEO R C， FENG Q， et al. Hybrid Deep Learning Method for a Week-A

head Evapotranspiration Forecasting ［J］. Stochastic Environmental Research and Risk Assessment， 2021， 36： 831-849.

［5］ DIJKSTRA H A， PETERSIK P， HERNáNDEZ-GARCíA E， et al. The Application of Machine Learning Techniques to Improve El Ni

o Prediction Skill ［J］. Frontiers in Physics， 2019， 7： 153-1-153-13.

［6］ HAM Y G， KIM J H， LUO J J. Deep Learning for Multi-year ENSO Forecasts ［J］. Nature， 2019， 573（7775）： 568-572.

［7］ STAN C， MANTRIPRAGADA R S S. A Deep Learning Filter for the Intraseasonal Vari

ability of the Tropics ［J］. Artificial Intelligence for the Earth Systems， 2023， 22（4）： 1-12.

［8］ GUO Y N， CAO X Q， LIU B N， et al. El Nio Index Prediction Using Deep Le

arning with Ensemble Empirical Mode Decomposition ［J］. Symmetry， 2020， 12（6）： 893-1-893-19.

［9］ VASWANI A， SHAZEER N， PARMAR N， et al. Attention Is All Yo

u Need ［EB/OL］. （2017-07-12）［2023-03-10］. https：//arxiv.org/abs/1706.03762.

［10］ HERSBACH H， BELL B， BERRISFORD P， et al. The ERA5 Global Reanalysis ［J］. Qu

arterly Journal of the Royal Meteorological Society， 2020， 146： 1999-2049.

［11］ CACHAY S R， ERICKSON E， BUCKER A F C， et al. The World as a Graph： Improving El Nio Forecasts with Graph Neural Networks ［EB

/OL］. （2021-04-11）［2023-05-01］. https：//arxiv.org/abs/2104.05089.

［12］ YANG Y M， KIM J H， PARK J H， et al. Exploring Dominant Pro

cesses for Multi-month MJO Prediction Using Deep Learning ［EB/OL］.

（2023-02-27）［2023-05-10］. https：//doi.org/10.21203/rs.3.rs-2512278/v1.

［13］ SIFFER A， FOUQUE P A， TERMIER A， et al. Anomaly Detection in Streams with Ex

treme Value Theory ［C］//Proceedings of the 23rd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York： ACM， 2017： 1067-1075.

［14］ FISHER R A， TIPPETT L H C. Limiting Forms of the Frequency Distribution of t

he Largest or Smallest Member of a Sample ［C］//Mathematical Proceedings of the Cambridge Philosophical Society. Cambridge： Cambridge University Press， 1928： 180-190.

［15］ GNEDENKO B. Sur La Distribution Limite du Terme Maximum D’u

ne Serie Aleatoire ［J］. Annals of Mathematics， 1943， 44（3）： 423-453.

［16］ XU K， LI C T， TIAN Y L， et al. Representation Learning on Graphs with Jumpin

g Knowledge Networks ［C］//International Conference on Machine Learning. New York： PMLR， 2018： 5453-5462.

［17］ WHEELER M C， HENDON H H. An All-Season Real-Time Multivariate MJO Index： Deve

lopment of an Index for Monitoring and Prediction ［J］. Monthly Weather Review， 2004， 132（8）： 1917-1932.

［18］ CHEN B D， DANG L J， ZHENG N N， et al. Kalman Filtering under Information The

oretic Criteria ［M］. Cham： Springer International Publishing， 2023： 89-126.

［19］ YING M， ZHANG W， YU H， et al. An Overview of the China Meteorological Admini

stration Tropical Cyclone Database ［J］. Journal of Atmospheric and Oceanic Technology， 2014， 31（2）： 287-301.

［20］ MOLTENI F， BUIZZA R， PALMER T N， et al. The ECMWF Ensemble Prediction System

： Methodology and Validation ［J］. Quarterly Journal of the Royal Meteorological Society， 1996， 122： 73-119.

［21］ MARTIN Z， BARNES E， MALONEY E. Predicting the MJO Using Int

erpretable Machine-Learning Models ［J/OL］. Authorea Preprints， （2021-03-01）［2023-05-15］. DOI： 10.1002/essoar.10506356.1.

［22］ SILINI R， BARREIRO M， MASOLLER C. Machine Learning Prediction of the

Madden-Julian Oscillation ［J］. NPJ Climate and Atmospheric Science， 2021， 4： 57-1-57-7.

［23］ ZHAO J F， MAO X， CHEN L J. Speech Emotion Recognition Using Deep 1D amp; 2D CNN

LSTM Networks ［J］. Biomedical Signal Processing and Control， 2019， 47： 312-323.

［24］ LIN Z H， LI M M， ZHENG Z B， et al. Self-attention ConvLSTM for Spatiotempora

l Prediction ［C］//Proceedings of the AAAI Conference on Artificial Intelligence. Palo Alto： AAAI， 2020： 11531-11538.

（責(zé)任編輯： 韓 嘯）