陳代明 王亞東 咸永財 張鳴倫 劉明 沈凱令
摘? 要: 短臨降水預測由于氣象數(shù)據(jù)體量大、種類繁多,以及大氣系統(tǒng)的復雜性,預測難度大。擬構(gòu)建一個基于時空預測網(wǎng)絡的雷達回波外推模型來提高預測性能。該網(wǎng)絡旨在將時間特征和空間特征進行解耦,獨立提取特征??臻g模塊通過注意力機制建模時間不變信息,時間模塊通過級聯(lián)的門控機制建模時間依賴。最后,在雷達回波數(shù)據(jù)集上驗證了模型的性能。
關鍵詞: 短臨預報; 神經(jīng)網(wǎng)絡; 時空解耦; 雷達回波
中圖分類號:TP399? ? ? ? ? 文獻標識碼:A? ? ?文章編號:1006-8228(2023)05-01-05
Radar echo extrapolation research based on spatiotemporal prediction network
Chen Daiming1, Wang Yadong1, Xian Yongcai1,? Zhang Minglun1, Liu Ming1, Shen Kailing2
(1. National Energy Shanxi Hydro electric Limited Liability Company, Hanzhong, Shanxi 723000, China;
2. Nanjing University of Information Science and Technology)
Abstract: Short-term precipitation prediction is difficult due to the large volume and variety of meteorological data, as well as the complexity of atmospheric systems. We propose to construct a radar echo extrapolation model based on a spatiotemporal prediction network to improve the prediction performance. The network aims to decouple temporal and spatial features and extract features independently. The spatial module models time-invariant information through an attention mechanism, and the temporal module models temporal dependence through a cascaded gating mechanism. The performance of the model is validated on a radar echo dataset.
Key words: short-term forecasting; neural networks; spatiotemporal decoupling; radar echoes
0 引言
短時強降雨一直是重大自然災害中需關注和研究的重點問題。我國長江中下游流域今年極端暴雨天氣頻發(fā),由此造成的災害和影響極其嚴重。由于強降雨短臨預報能夠根據(jù)當前時刻的天氣情況提供未來多個小時內(nèi)降雨強度估計值,所以預報的結(jié)果可以用于輔助相關部門和相關行業(yè)組織及時做出正確決策。
短時強降雨具有高度非線性、隨機性和復雜性,使得強降雨短臨預報成為具有挑戰(zhàn)性的世界難題。
新一代多普勒天氣雷達作為探測云團降水的主要工具,輸出的產(chǎn)品已成為天氣監(jiān)測、預警強對流天氣的重要信息來源。其中,雷達回波圖像具有嚴格的時序特征(時間分辨率為6分鐘),其反射率因子能夠更直觀、高效的反映降水實況,結(jié)合其他氣象要素指標或天氣形勢,可以獲得更好的效果,對提高災害性天氣監(jiān)測能力和改進天氣預報質(zhì)量有重要的現(xiàn)實意義[1]。目前,降水預測主要就是基于多普勒雷達的歷史數(shù)據(jù)和實時雷達觀測結(jié)果,推測雷達回波未來的位置和強度,利用Z-R關系[2-4]求出未來時刻的降雨強度,然后,預報員結(jié)合自身經(jīng)驗,在預測結(jié)果的基礎上給出最終短臨預報。然而,由于氣象數(shù)據(jù)體量大、種類繁多、不易處理,以及大氣系統(tǒng)的復雜性,在實際業(yè)務中,只有經(jīng)驗豐富的預報員才能較為準確的給出定性的預報,主觀性較強。有鑒于此,本項目將針對這一目標,專注于基于天氣雷達數(shù)據(jù)的外推研究,基于石家莊市氣象局提供的數(shù)據(jù),擬構(gòu)建一個基于時空預測網(wǎng)絡的雷達回波外推模型。
本文在傳統(tǒng)卷積神經(jīng)網(wǎng)絡的基礎上,提出了一個改進的基于時空預測網(wǎng)絡的回波外推模型,模型通過雙分支特征并行提取的編碼結(jié)構(gòu)從歷史的雷達回波圖像中分別學習回波的空間和時間變化規(guī)律,從而實現(xiàn)對雷達回波的外推。在對比實驗中與之前的深度學習雷達回波外推方法進行對比,實驗表明本文提出的算法的表現(xiàn)優(yōu)于現(xiàn)有的深度學習外推方法。
1 研究現(xiàn)狀
1.1 研究現(xiàn)狀
傳統(tǒng)短臨預報主要包括統(tǒng)計預報、數(shù)值模式預報和雷達外推方法。統(tǒng)計預報法缺乏物理基礎、預報精度不高;當前主流的數(shù)值模式歐洲ECMWF模式[5]、美國GFS模式[6]與中國天氣預報GRAPES模式[7]等雖然能進行中長期、大尺度的降雨范圍、趨勢等預報,但因其時間(1-3h)、空間(3-13km)分辨率相對于中小尺度強對流天氣系統(tǒng)偏低,不能準確地捕捉較短時內(nèi)、中小尺度強對流發(fā)生、發(fā)展等全生命史。近年來,盡管基于雷達回波的外推方法取得了一定的效果,但仍存在一些問題[8]。目前相對成熟的雷達外推方法主要是交叉相關法和光流法。交叉相關法從近2幀圖像中推演[9],屬于剛體線性外推,無法解決形變問題,不具備從歷史數(shù)據(jù)中學習的能力,無法解決對流天氣的生消問題。光流法比交叉相關法精確一些[10],但其成功使用有較大限制,因為在雷達外推過程中光流估計步驟和雷達回波的外推步驟是分開的,因而會產(chǎn)生累積誤差,使得光流法參數(shù)設置十分困難。
深度學習是在這樣的背景下異軍突起,正演變成一場盛大的創(chuàng)新革命,成為了人工智能最炙手可熱的領域。施恩[11]等人提出了一種基于動態(tài)卷積神經(jīng)網(wǎng)絡方法來實現(xiàn)雷達回波的外推,其性能要勝于傳統(tǒng)方法COTREC[12]和DITERC[13]。施行健[14]等人提出一種卷積長短期記憶網(wǎng)絡(Convolutional Long Short-Term Memory, ConvLSTM)模型,該模型可以同時學習到雷達圖像空間和時間上的特征,解決回波外推問題的同時也獲得了比實時光流法更加準確的結(jié)果。張玲玲[15]在其基礎上將卷積自編碼器與ConvLSTM進行對接,增強了外推圖像的質(zhì)量。隨后施行健[16]在ConvLSTM的基礎上又進行改進,提出了軌跡門循環(huán)單元(Trajectory Gate Recurrent Unit, TrajGRU)模型。該模型相對于未改進前增加了一定的抗畸變性,但在實際業(yè)務中效果與ConvLSTM相差不大。與此同時,作者還制定了一個新的評估基準HKO-7,實現(xiàn)了對降水更加合理的預測。事實上,降水預測可以看作是一種回歸問題。吳昆[17]等人采用三維卷積神經(jīng)網(wǎng)絡(3D Convolutional Neural Networks, 3DCNN)和LSTM結(jié)合的方式預測了特定區(qū)域的降水量,并在氣象站平臺上實現(xiàn)穩(wěn)定運行。Han[18]等人進一步將3DCNN應用于三維多普勒雷達數(shù)據(jù)中進行對流風暴預測,并將預測問題轉(zhuǎn)化為分類問題。關鵬洲[19]將Inception網(wǎng)絡與Xgboost集成學習相結(jié)合,得到了較好的回歸效果。
1.2 存在的問題
已有的時空預測網(wǎng)絡,大多針對的是視頻這種時間分辨率較高的時空序列,而雷達數(shù)據(jù)間隔時間較長,加上氣象系統(tǒng)本身的復雜性,雷達回波序列預測更加困難,尤其是對流的產(chǎn)生和消失不能做到很好的預測。另外,時空預測普遍存在的后期預測模糊問題,尤其是對于雷達外推,當前的解決方案并不能很好的解決。因此,需要針對雷達回波序列的特點,設計適合的算法。
普通卷積運算對局部特征變化的圖像并不適用。普通卷積核默認是以從左到右、自上而下的方式進行計算加權(quán),卷積核鄰域與被卷積目標位置對應關系是不變的,所以普通卷積對擁有局部不變特征的圖像較為合適。但面對具有如旋轉(zhuǎn)、放縮和生消等特性的回波圖像時,這樣的卷積操作是有明顯局限的。
2 工作內(nèi)容
2.1 數(shù)據(jù)集制作
本研究使用寶雞新一代多普勒天氣雷達數(shù)據(jù),收集了2019-2021年24次降水事件的雷達數(shù)據(jù)來制作數(shù)據(jù)集。原始雷達數(shù)據(jù)首先被質(zhì)量控制,然后被插值到笛卡爾坐標,空間分辨率為水平1千米。在這項研究中,我們使用組合反射率的數(shù)據(jù),數(shù)據(jù)集的時間分辨率為6分鐘。
將預處理過的雷達回波序列按天分類,每一天240幀圖像劃分為6個塊,每個塊是40幀。隨機選取4個塊作為訓練集,1個作為驗證集,1個作為測試集。訓練集和驗證集都是選取一個長度為30的滑動窗口,進行采樣,其中10幀作為輸入,20幀作為標簽。每個樣本張圖像存放在一個文件夾內(nèi)代表一個樣本;測試集的滑動窗口長度同樣為30,其中10幀作為輸入,20幀作為標簽驗證。將所有樣本按照80%、10%、10%來劃分,分別得到訓練集、驗證集和測試集。
2.2 雷達回波外推模型
在本節(jié)中,我們定義了雷達回波外推任務以及我們設計的體系結(jié)構(gòu)中每個組件的作用。令[xt∈rw×h×c]表示雷達回波序列[x]中的第[t]幀,其中w,h和c分別表示寬度,高度和通道數(shù)。雷達回波外推的目的是在給定輸入幀[x1:t]的情況下生成未來幀[xt+1]。在第t個時間步,我們的網(wǎng)絡觀察到直到第t幀的先前連續(xù)幀的歷史記錄,并生成下一幀的預測值。我們的模型是一個解耦時間和空間的雙分支網(wǎng)絡??紤]到雷達回波在時空中產(chǎn)生一系列變化,而以往的幀預測網(wǎng)絡只在統(tǒng)一的時空中進行建模,這會導致信息的紊亂和丟失,不能讓模型全面的學習到時空的變化,也會導致錯誤的預測。因此,我們采用了將時間和空間分開解耦的方式,獨立的學習一系列信息,并通過適當方式進行合并,來產(chǎn)生更準確的預測。
2.2.1 空間模塊
空間模塊處理時間不變的靜態(tài)信息??臻g模塊接收輸入模塊的輸入并進入多頭注意力機制(圖1)。
具體來說,將輸入通過兩個不同的線性變換或者非線性變換,即Key模塊和Value模塊。此外,將初始狀態(tài)為零的張量通過Query模塊來作為注意力機制中的Query部分,值得注意的是,Query在整個時間序列的過程中是隨時間傳播,不斷更新修改。注意力機制即將過去的信息與當前的輸入信息進行非均等權(quán)重的分配,讓過去與現(xiàn)在的相關性更大的信息能夠得到更多的關注。此后,在通道方向上進行分裂,劃分成若干的組別。
[AttentionQ,K,V=softmaxQKIdV]? ⑴
考慮到時空中會包含若干獨立的時空行為,我們設立若干個獨立模塊,其參數(shù)是可以學習的,我們通過模型的更新過程,不斷調(diào)整獨立模塊的參數(shù),使其逼近各種時空行為。具體來說,我們通過注意力機制進行選擇,使輸入選擇與自己的時空行為更相近的獨立模塊,并在此基礎上通過ConvGRU進行更新。
[zt=σWzxt+Uzht-1rt=σWtxt+Utht-1ht=tanhWxt+Urt°ht-1ht=1-zt°ht-1+zi°ht]? ⑵
最后,我們將所有的更新數(shù)據(jù)在通道方向上進行結(jié)合并通過線性變換或非線性變換進行更新(圖2)。
2.2.2 時間模塊
時間模塊我們采用PredRNN++網(wǎng)絡中的循環(huán)單元CausalLSTM來捕獲時間信息。的變換來擬合現(xiàn)實情況下的變換趨勢。
[gtitft=tanhσσW1Xt,Hkt-1,Ckt-1]
[Ckt=ft⊙Ckt-1+it⊙gt]
[g'ti'tf't=tanhσσW2Xt,Ckt,Mk-1t] ⑶
[Mkt=f't⊙tanhW3Mk-1t+i't⊙g't]
[ot=tanhW4Xt,Ckt,Mkt]
[Hkt=ot⊙tanhW5Ckt,Mkt]
最后,將提取的時間信息送入解碼模塊,與空間模塊提取的信息合并后進行解碼。
3 實驗結(jié)果與分析
3.1 實驗環(huán)境
實驗設計代碼基于版本3.8的Python語言開發(fā)。深度學習網(wǎng)絡模型主要通過Pytorch開源神經(jīng)網(wǎng)絡庫實現(xiàn),鑒于模型結(jié)構(gòu)與訓練數(shù)據(jù)較大,應對如此龐大的計算量僅僅使用CPU訓練耗時太久難以完成,因此我們結(jié)合GPU加速深度學習實驗的經(jīng)驗,采用NVIDIA GeForceGTX3060進行GPU并行計算加速。
3.2 評估方法
在氣象業(yè)務中,對不同的降水強度往往給予的關注程度不同,因此應該根據(jù)模型在不同降水程度下的綜合表現(xiàn)作為評價算法好壞的重要依據(jù)。選取不同降水強度,并找到對應的反射率進而定位到對應的灰度閾值上,即可完成降水強度在回波圖像上的表征。本文中采用的預測指標包括: 臨界成功指數(shù)(CSI) 、誤報率(FAR) 以及探測概率(POD)。本文以nS、nM和nF分別表示預測圖像中成功、漏報和空報的格點數(shù),CSI、FAR、POD計算公式如下:
[CSI = nS /( nS + nM + nF )]
[FAR = nf/(nS + nF)]? ⑷
[POD = nS /( nS + nM)]
POD和CSI指標越高代表預測的越精準;而FAR值越低自然代表模型越精準。為了能更直觀的反映外推出的圖像相似程度,將MSE也放入評價標準中。MSE通過累計所有像素差異得來,是最直接的誤差來源,值越小代表預測效果越好。
3.3 實驗結(jié)果
外推模型評估方面,選取了反射率為30和50(單位dBZ)兩個等級作為對應灰度閾值來進行二值化。這些等級分別代表了降水大雨級別和暴雨級別。實驗將本文的算法與ConvLSTM、TrajGRU、PredRNN以及PredRNN++四種主流算法進行對比,突出所提算法的準確率。在兩個閾值條件下,進行了外推時長為1小時的實驗,實驗結(jié)果如表1和表2所示。
在不同反射率強度對應的各模型統(tǒng)計結(jié)果中,可以看出,本文模型的POD和CSI兩個指標較另外四種方法均為最高,F(xiàn)AR和MSE數(shù)值均為最低,提出的模型在所有評價標準中均是最優(yōu)的。30dbz情況下,相比于ConvLSTM、TrajGRU、PredRNN、PredRNN++,POD增長0.061、0.045、0.020、0.011;CSI增長0.030、0.021、0.012、0.008;FAR下降0.056、0.038、0.021、0.008。
實驗證明,將時空提取過程分為兩個獨立的分支,即時間分支和空間分支,可以更全面和精細化的提取并預測未來的變換趨勢。
3.4 可視化展示
4 結(jié)束語
本文提出了一種用于雷達外推的雙分支時間空間獨立提取器網(wǎng)絡。我們網(wǎng)絡的時間分支能夠有效建模時間依賴,對時間上的非平穩(wěn)變換也能準確捕獲??臻g分支建模時不變信息,對圖像的細節(jié)也能較好的擬合。最后,網(wǎng)絡融合空間分支和時間分支的各自的優(yōu)勢,進而產(chǎn)生準確的預測。我們在雷達回波數(shù)據(jù)集上的實驗證明了模型的有效性。未來可以將其應用于其他時空序列預測問題上,如交通流預測等。
參考文獻(References):
[1] 王婷,劉云鵬,董晨,等.短臨降水預報方法及其應用研究綜述[J].電子世界,2019(10):11-13
[2] 朱亞宗,董德保,何越,等.CINRAD/SA雷達天饋系統(tǒng)關鍵參
數(shù)測量方法研究[J].物聯(lián)網(wǎng)技術(shù),2019(9):25-27
[3] Zeng Zhilin, Wang Donghai, Chen Yun. An investigation of
convective features and Z-R relationships for a local extreme precipitation event[J]. Atmospheric Research,2021,250
[4] Sébastien Verrier,LaurentBarthes,Cécile Mallet.
Theoretical and empirical scale dependency of Z-R relationships: Evidence, impacts, and correction[J]. Journal of Geophysical Research. Atmospheres,2013,118(14)
[5] 陶祖鈺,趙翠光,陳敏.談談統(tǒng)計預報的必要性[J].氣象科技
進展,2016,6(1):6-13
[6] Huosheng Xie,Lidong Wu,Wei Xie,Qing Lin,Ming Liu,
Yongjing Lin. Improving ECMWF short-term intensive rainfall forecasts using generative adversarial nets and deep belief networks[J].Atmospheric Research,2021,249
[7] Malay Ganai,SnehlataTirkey,R.P.M. Krishna,Parthasarathi
Mukhopadhyay. The impact of modified rate of precipitation conversion parameter in the convective parameterization scheme of operational weather forecast model (GFS T1534) over Indian summer monsoon region[J]. Atmospheric Research,2021,248(prepublish)
[8] 薛紀善.新一代數(shù)值預報系統(tǒng)(GRAPES)的初步結(jié)果[A].
中國氣象學會.海峽兩岸氣象科學技術(shù)研討會論文匯編[C].中國氣象學會:中國氣象學會,2004:1
[9] 吳劍坤,陳明軒,秦睿,等.多種雷達回波區(qū)域跟蹤技術(shù)對比研
究[A]. 中國氣象學會.第35屆中國氣象學會年會S1災害天氣監(jiān)測、分析與預報[C].中國氣象學會:中國氣象學會,2018:6
[10] 陳雷,戴建華,陶嵐.一種改進后的交叉相關法(COTREC)在
降水臨近預報中的應用[J].熱帶氣象學報,2009,25(1):117-122
[11] Shi E, Li Q, Gu D, et al, A Method of Weather Radar
Echo Extrapolation Based on Convolutional Neural Networks[C], International Conference on Multimedia Modeling, Bangkok, Thailand, Springer,2018:16-28
[12] Fletcher T D, Andrieu H, Hamel P. Understanding,
management and modelling of urban hydrology and its consequences for receiving waters: A state of the art[J].Advances in water resources,2013,51:261-279
[13] Zhang Y, Chen M, Xia W, et al, Estimation of weather
radar echo motion field and its application to precipitation nowcasting[J]. Acta Meteorol, Sin,2006,64(5):631-646
[14] Shi X J, Chen Z, Wang H, et al, Convolutional LSTM
network: A machine learning approach for precipitation nowcasting[C].Advances in neural information processing systems, Quebec, Canada, MIT Press,2015:802-810
[15] 張玲玲.基于雷達回波圖像的短期降雨預測[D]. 碩士,河北
師范大學,2018
[16] Shi X J, Gao Z, Lausen L, et al, Deep learning for
precipitation nowcasting: A benchmark and a new model[C]. Advances in Neural Information Processing Systems, Long Beach, USA, MIT Press,2017:5617-5627
[17] Wu K, Shen Y, Wang S, 3D Convolutional Neural
Network for Regional Precipitation Nowcasting[J], Journal of Image and Signal Processing,2018,7(4):200-212
[18] Han L, Sun J, Zhang W, Convolutional neural network
for convective storm nowcasting using 3-D Doppler Weather Radar Data[J]. IEEE Transactions on Geoscience and Remote Sensing,2019,58(2):1-9
[19] 關鵬洲,王夢毫,李倩.基于集成學習和深度學習的短期降
雨預測模型[C].2017年(第五屆)全國大學生統(tǒng)計建模大賽獲獎論文選.中國統(tǒng)計教育學會,2017:2-23