曾安捷 華維 嚴(yán)中偉 祖子清 婁曉 于小淇 夏江江
1 成都信息工程大學(xué),成都 610225
2 中國科學(xué)院大氣物理研究所東亞區(qū)域氣候—環(huán)境重點(diǎn)實(shí)驗(yàn)室,北京 100029
3 中國科學(xué)院大學(xué)地球與行星科學(xué)學(xué)院,北京 100049
4 國家海洋環(huán)境預(yù)報(bào)中心國家海洋局海洋災(zāi)害預(yù)報(bào)技術(shù)研究重點(diǎn)實(shí)驗(yàn)室,北京 100081
氣象要素的時(shí)空預(yù)報(bào)問題是天氣氣候預(yù)報(bào)中一個(gè)重要的研究課題。近年來,隨著可用氣象觀測(cè)數(shù)據(jù)的增多以及計(jì)算機(jī)技術(shù)的發(fā)展,機(jī)器學(xué)習(xí),特別是深度學(xué)習(xí)方法被越來越多地應(yīng)用于天氣氣候預(yù)報(bào)問題中。周康輝等(2021)總結(jié)了傳統(tǒng)機(jī)器學(xué)習(xí)方法和深度學(xué)習(xí)方法在強(qiáng)對(duì)流監(jiān)測(cè)、短時(shí)臨近預(yù)報(bào)和短期預(yù)報(bào)領(lǐng)域的應(yīng)用,對(duì)目前機(jī)器學(xué)習(xí)存在的問題和未來發(fā)展方向進(jìn)行了討論。賀圣平等(2021)在關(guān)于機(jī)器學(xué)習(xí)方法在氣候預(yù)報(bào)中的應(yīng)用的研究中,介紹了機(jī)器學(xué)習(xí)方法和卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network, CNN)的原理,并利用卷積神經(jīng)網(wǎng)絡(luò)對(duì)東亞冬季溫度進(jìn)行了建?;貓?bào)。在北京地區(qū)體感溫度誤差和華北氣溫多模式集合預(yù)報(bào)的訂正問題中,機(jī)器學(xué)習(xí)方法均取得了較好的效果(門曉磊等, 2019; 武略等, 2022)。Zhou et al.(2022)利用深度學(xué)習(xí)方法,基于基本數(shù)值模式變量進(jìn)行定量降水預(yù)報(bào),預(yù)報(bào)效果超過了歐洲氣象中心的ECMWF HRES高分辨率數(shù)值模型。
在氣象要素的臨近預(yù)報(bào)問題中,以長(zhǎng)短期記憶網(wǎng)絡(luò)(Long Short-Term Memory, LSTM)結(jié)合卷積神經(jīng)網(wǎng)絡(luò)CNN為主要結(jié)構(gòu)的卷積長(zhǎng)短期記憶模型ConvLSTM (Shi et al., 2015)和預(yù)報(bào)循環(huán)網(wǎng)絡(luò)PredRNN(Wang et al., 2017)被用來進(jìn)行雷達(dá)回波的時(shí)空預(yù)報(bào)。這類模型主要是基于能直接提取時(shí)序信息的循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network,RNN)構(gòu)建的。在基于RNN結(jié)構(gòu)的預(yù)報(bào)中,韓豐等(2019)利用具有空間記憶模塊和時(shí)間記憶模塊的ST-LSTM(SpatioTemporal LSTM)單元構(gòu)建模型,對(duì)雷達(dá)反射率進(jìn)行預(yù)報(bào),其預(yù)報(bào)效果超過了業(yè)務(wù)使用的交叉相關(guān)法。
近年來,有較多的研究以卷積神經(jīng)網(wǎng)絡(luò)CNN為主要網(wǎng)絡(luò)結(jié)構(gòu)構(gòu)建時(shí)空預(yù)報(bào)模型。一般來說基于CNN結(jié)構(gòu)的模型能夠較好地捕捉空間信息(Reichstein et al., 2019),常用于和圖像處理相關(guān)的問題中。但基于CNN結(jié)構(gòu)的模型也能利用卷積結(jié)構(gòu)將時(shí)間序列圖像疊加在通道或深度維度上,隱式地處理時(shí)空序列預(yù)報(bào)問題(Prudden et al., 2020;Hu et al., 2021)。相比基于RNN的預(yù)報(bào)模型(如ConvLSTM),基于CNN的預(yù)報(bào)模型的結(jié)構(gòu)更加簡(jiǎn)單靈活,優(yōu)化模型所消耗的計(jì)算資源更少,被越來越多地應(yīng)用于時(shí)空預(yù)報(bào)任務(wù)(Han et al., 2021;Hu et al.,2021)。
為了預(yù)報(bào)未來多個(gè)時(shí)次的氣象要素場(chǎng),基于CNN的模型通常采用不同的預(yù)報(bào)策略,例如迭代預(yù)報(bào)策略(Recursive Forecast Strategy, RFS)以及直接預(yù)報(bào)策略(Direct Forecast Strategy, DFS)(Shi and Yeung, 2018)。RFS模型一般以相對(duì)于輸入時(shí)段氣象要素場(chǎng)的下一時(shí)次氣象要素場(chǎng)為訓(xùn)練目標(biāo),通過將上一時(shí)次的預(yù)報(bào)場(chǎng)作為預(yù)報(bào)下一時(shí)次氣象要素場(chǎng)的一個(gè)輸入,迭代使用RFS模型從而實(shí)現(xiàn)目標(biāo)時(shí)段的預(yù)報(bào)(曹偉華等, 2022)。Ayzel et al.(2020)構(gòu)建了一個(gè)基于CNN的雷達(dá)回波預(yù)報(bào)模型RainNet,RainNet輸出未來5 min的雷達(dá)回波,通過迭代策略RainNet被用于預(yù)報(bào)未來1 h內(nèi)12個(gè)連續(xù)時(shí)次的雷達(dá)回波。對(duì)于較低的降水閾值,RainNet預(yù)報(bào)效果超過了基于光流法的傳統(tǒng)模型,RainNet對(duì)較強(qiáng)降水的預(yù)報(bào)能力有限。
與RFS利用模型自身輸出作為新的模型輸入進(jìn)行預(yù)報(bào)不同,DFS模型直接對(duì)目標(biāo)時(shí)段進(jìn)行訓(xùn)練,不需要借助模型中間輸出就能生成目標(biāo)時(shí)段的預(yù)報(bào)。DFS模型通常有多輸出的多時(shí)次直接預(yù)報(bào)模型(Direct Forecast Strategy-Multi steps, DFS-M)和單輸出的單時(shí)次直接預(yù)報(bào)模型(Direct Forecast Strategy-Single step, DFS-S)。DFS-M模型在整個(gè)目標(biāo)時(shí)段的所有時(shí)次上計(jì)算損失函數(shù),通過一個(gè)模型直接輸出多個(gè)時(shí)次的預(yù)報(bào)結(jié)果。在使用DFS-M預(yù)報(bào)策略的研究中,Zhang et al.(2019)使用多來源的3維雷達(dá)回波數(shù)據(jù)和氣象再分析數(shù)據(jù),構(gòu)建了一個(gè)3D卷積模型(3D-cube Successive Convolution Network, 3D-SCN)用于預(yù)報(bào)對(duì)流雷暴的生消發(fā)展,該模型的預(yù)報(bào)效果超過了傳統(tǒng)臨近預(yù)報(bào)算法雷暴識(shí)別、追蹤與外推算法(Thunderstorm Identification,Tracking, and Nowcasting, TITAN )。Castro et al.(2021)利用時(shí)空卷積“序列到序列”網(wǎng)絡(luò)(Spatiotemporal Convolutional Sequence to Sequence Network, STConvS2S)構(gòu)建了一個(gè) DFS-M模型,相比于一般的CNN序列預(yù)報(bào)模型,STConvS2S在訓(xùn)練階段不會(huì)違背輸入數(shù)據(jù)的時(shí)間順序,可以生成超過輸入時(shí)次長(zhǎng)度的預(yù)報(bào)。其對(duì)于氣溫的預(yù)報(bào)效果超過基于RNN的基準(zhǔn)模型,訓(xùn)練耗時(shí)比RNN模型更短。Pan et al.(2021)構(gòu)建了基于UNet網(wǎng)絡(luò)變體的混合重分配網(wǎng)絡(luò)(FUsion and REassignment Networks, FURENet),通過融合額外的偏正雷達(dá)數(shù)據(jù),F(xiàn)URENet可以更好地預(yù)報(bào)對(duì)流雷暴的演變過程。
DFS-S模型一般由多個(gè)子模型構(gòu)成,每個(gè)子模型負(fù)責(zé)預(yù)報(bào)目標(biāo)時(shí)段中的一個(gè)時(shí)次。在使用DFS-S預(yù)報(bào)策略的研究中,Agrawal et al.(2019)使用UNet模型預(yù)報(bào)未來1 h的雷達(dá)降水,預(yù)報(bào)效果超過了光流法、持續(xù)預(yù)報(bào)以及一個(gè)數(shù)值預(yù)報(bào)模型。Ham et al.(2019)利用CNN直接預(yù)報(bào)未來某一個(gè)時(shí)刻的Ni?o指數(shù),相比動(dòng)力預(yù)報(bào)模型CNN模型更善于預(yù)報(bào)海溫的緯向分布。Trebing et al.(2021)提出加入注意力機(jī)制的UNet變體模型SmaAt-UNet(Small Attention-UNet),該模型使用更少參數(shù)取得了和其他深度學(xué)習(xí)模型相似的降水預(yù)報(bào)效果。
通過相關(guān)研究可以看出,在使用基于CNN的模型進(jìn)行臨近預(yù)報(bào)時(shí),可以采用不同的預(yù)報(bào)策略,但目前缺少針對(duì)同一個(gè)氣象要素臨近預(yù)報(bào)問題使用多個(gè)預(yù)報(bào)策略的研究,此類研究可以通過對(duì)比不同預(yù)報(bào)策略預(yù)報(bào)效果的差異,分析預(yù)報(bào)策略對(duì)模型預(yù)報(bào)效果的影響。
本研究以一個(gè)氣象要素時(shí)空預(yù)報(bào)問題(垂直累積液態(tài)水含量)為例,對(duì)比基于CNN模型的不同預(yù)報(bào)策略模型的預(yù)報(bào)效果,通過深度學(xué)習(xí)可解釋性技術(shù),對(duì)導(dǎo)致預(yù)報(bào)策略間差異的原因進(jìn)行初步分析,以期為深度學(xué)習(xí)技術(shù)在天氣氣候預(yù)報(bào)問題中的應(yīng)用提供方法參考。
本研究使用風(fēng)暴事件圖像數(shù)據(jù)集(Storm EVent ImagRy, SEVIR)中的垂直累積液態(tài)水含量(Vertically Integrated Liquid water content, VIL)數(shù)據(jù)作為時(shí)空預(yù)報(bào)問題的數(shù)據(jù)集。為了有效地訓(xùn)練各種深度學(xué)習(xí)模型以及驗(yàn)證各個(gè)算法在氣象應(yīng)用問題中的效果,美國麻省理工學(xué)院林肯實(shí)驗(yàn)室Veillette et al.(2020)結(jié)合GOSE-16氣象衛(wèi)星以及NEXRAD天氣雷達(dá)的觀測(cè)數(shù)據(jù)構(gòu)建了風(fēng)暴事件圖像數(shù)據(jù)集SEVIR,以加速氣象問題中深度學(xué)習(xí)方法的創(chuàng)新。SEVIR數(shù)據(jù)集是一個(gè)時(shí)空對(duì)齊的圖像集合,這些圖像記錄了2017~2019年在美國大陸上發(fā)生的多種天氣事件。SEVIR數(shù)據(jù)集約有20%的天氣事件被分類為風(fēng)暴事件,其余的天氣事件被稱為隨機(jī)事件。SEVIR_VIL數(shù)據(jù)集共包含了18968次天氣事件,每一個(gè)天氣事件的持續(xù)時(shí)間為4 h,由49個(gè)連續(xù)的垂直累積液態(tài)水含量圖像組成,相鄰時(shí)次的圖像間隔5 min,單個(gè)垂直累積液態(tài)水圖像以1 km分辨率覆蓋一個(gè)384×384的格點(diǎn)區(qū)域。SEVIR_VIL中的數(shù)據(jù)以灰度圖的形式進(jìn)行保存,取值范圍是0~255以內(nèi)的整數(shù)?;叶葓D像的格點(diǎn)值和實(shí)際的垂直累積液態(tài)水含量(單位:kg/m2)的轉(zhuǎn)化規(guī)則如表1所示,灰度值255代表缺測(cè)。
表1 灰度圖格點(diǎn)值和垂直累積液態(tài)水含量之間的轉(zhuǎn)換關(guān)系Table 1 Scaling rule of converting vertical integrated liquid from gray scale image
參照使用SEVIR_VIL數(shù)據(jù)的已有研究(Hu et al., 2021),本研究將1個(gè)天氣事件分成了3個(gè)單獨(dú)的訓(xùn)練樣本序列,每一個(gè)訓(xùn)練樣本序列包含25個(gè)連續(xù)時(shí)次圖像,其中前13個(gè)時(shí)次作為輸入時(shí)段,剩下的12個(gè)時(shí)次是目標(biāo)預(yù)報(bào)時(shí)段。本研究將2019年6月1日之前的44760個(gè)訓(xùn)練樣本序列劃分為深度學(xué)習(xí)模型的訓(xùn)練集和驗(yàn)證集,訓(xùn)練集驗(yàn)證集的數(shù)據(jù)比例為8∶2,2019年6月1日之后的12133個(gè)訓(xùn)練樣本序列作為測(cè)試集。為了方便模型訓(xùn)練優(yōu)化,將圖像格點(diǎn)值除以255,對(duì)數(shù)據(jù)集整體進(jìn)行了歸一化處理。
2.2.1 構(gòu)建RFS和DFS預(yù)報(bào)策略模型的基礎(chǔ)網(wǎng)絡(luò)結(jié)構(gòu)
本研究使用UNet網(wǎng)絡(luò)結(jié)構(gòu)作為構(gòu)建RFS和DFS預(yù)報(bào)策略模型的基礎(chǔ)網(wǎng)絡(luò)結(jié)構(gòu),由于該網(wǎng)絡(luò)整體結(jié)構(gòu)像一個(gè)大寫的英文字母U,故稱其為UNet,UNet的具體細(xì)節(jié)結(jié)構(gòu)可參考文獻(xiàn)(Ronneberger et al., 2015)。本研究使用的UNet網(wǎng)絡(luò)如圖1所示,主要結(jié)構(gòu)設(shè)計(jì)包含:對(duì)稱的4層編碼—解碼網(wǎng)絡(luò)結(jié)構(gòu),每層編碼—解碼結(jié)構(gòu)之間都有一個(gè)跳躍連接,在解碼網(wǎng)絡(luò)后通過一個(gè)1×1的卷積層得到模型的最終輸出。編碼器由4個(gè)下采樣模塊組成,每一個(gè)下采樣模塊都有2個(gè)卷積層和1個(gè)平均池化層。每一個(gè)下采樣模塊減小輸入圖像的大小,同時(shí)使其特征圖數(shù)量翻倍。相對(duì)應(yīng)的解碼器由4個(gè)上采樣模塊構(gòu)成,上采樣模塊擴(kuò)展輸入圖像的大小,同時(shí)使其特征圖數(shù)量減半。每一個(gè)上采樣模塊有1個(gè)上采樣層和2個(gè)卷積層。跳躍連接將編碼器中的低層特征同解碼器中的高層特征結(jié)合在一起,保留了輸入垂直液態(tài)水含量圖像中的多尺度空間信息。
圖1 構(gòu)建三個(gè)預(yù)報(bào)策略模型的基礎(chǔ)UNet網(wǎng)絡(luò)結(jié)構(gòu)Fig. 1 Basic UNet architecture for constructing three forecast-strategy models
本研究的預(yù)報(bào)目標(biāo)是構(gòu)建3種基于基礎(chǔ)UNet網(wǎng)絡(luò)結(jié)構(gòu)的預(yù)報(bào)策略模型,利用歷史13個(gè)連續(xù)時(shí)次的垂直液態(tài)水含量圖像預(yù)報(bào)未來12個(gè)連續(xù)時(shí)次的垂直液態(tài)水含量圖像。因此基礎(chǔ)UNet網(wǎng)絡(luò)的輸入圖像大小是13×384×384,其中13個(gè)通道代表歷史13個(gè)連續(xù)時(shí)次。輸出圖像的大小是12×384×384,其中12個(gè)通道代表未來12個(gè)連續(xù)時(shí)次。該網(wǎng)絡(luò)模型共有899596個(gè)可訓(xùn)練參數(shù),訓(xùn)練的迭代輪次設(shè)置為50次,訓(xùn)練批次大小為4,在4個(gè)NVIDIA GTX 1080Ti顯卡上使用pytorch(Paszke et al., 2019)框架進(jìn)行并行計(jì)算,訓(xùn)練耗時(shí)約5小時(shí)。模型的損失函數(shù)為均方誤差損失(Mean Squared Error, MSE),使用解耦權(quán)重衰減的自適應(yīng)矩估計(jì)優(yōu)化器AdamW(Loshchilov and Hutter,2019)更新網(wǎng)絡(luò)參數(shù),學(xué)習(xí)率為0.0001,權(quán)重衰減系數(shù)為0.001。
2.2.2 基于基礎(chǔ)UNet網(wǎng)絡(luò)結(jié)構(gòu)的3個(gè)預(yù)報(bào)策略模型
本研究設(shè)計(jì)了3個(gè)基于基礎(chǔ)UNet網(wǎng)絡(luò)結(jié)構(gòu)(2.2.1小節(jié))的預(yù)報(bào)策略模型,以對(duì)比不同預(yù)報(bào)策略對(duì)于深度學(xué)習(xí)模型預(yù)報(bào)能力的影響。為盡量保證模型間的預(yù)報(bào)效果差異只受預(yù)報(bào)策略的影響,3個(gè)預(yù)報(bào)策略模型均使用同樣的網(wǎng)絡(luò)結(jié)構(gòu),僅在模型訓(xùn)練時(shí)誤差計(jì)算的時(shí)次上有所不同。3個(gè)預(yù)報(bào)策略模型的輸入圖像大小均為13×384×384,輸出圖像大小為12×384×384,而在實(shí)際預(yù)報(bào)階段使用的輸出時(shí)次取決于模型的預(yù)報(bào)策略。
第一個(gè)預(yù)報(bào)策略模型是基于迭代預(yù)報(bào)策略的RFS模型,模型輸出相對(duì)于輸入時(shí)段下一時(shí)次的垂直液態(tài)水含量圖像。模型自身輸出的預(yù)報(bào)作為進(jìn)行下一次預(yù)報(bào)的一個(gè)新的輸入時(shí)次,同原始輸入時(shí)次結(jié)合,組成模型新的輸入時(shí)段(圖2中間輸入序列),以此迭代生成下一時(shí)次的垂直液態(tài)水含量圖像。因此目標(biāo)的多時(shí)次預(yù)報(bào)是通過迭代使用12次RFS模型實(shí)現(xiàn)的,其預(yù)報(bào)流程如圖2所示。為了簡(jiǎn)便該RFS模型被記為RFS-O(Recursive Forecast Strategy-One step)模型(“O”代表模型輸出1個(gè)時(shí)次的垂直液態(tài)水含量)。
圖2 RFS-O模型預(yù)報(bào)流程示意圖Fig. 2 Forecast process of RFS-O model
第二個(gè)模型是基于直接預(yù)報(bào)策略的多時(shí)次輸出模型DFS-M。DFS-M模型同時(shí)預(yù)報(bào)未來12個(gè)時(shí)次的垂直液態(tài)水含量圖像,模型實(shí)際采用的預(yù)報(bào)時(shí)次即為模型的全部輸出:12×384×384,其預(yù)報(bào)流程如圖3所示。
圖3 同圖2,但為DFS-M模型Fig. 3 Same as Fig. 2, but for DFS-M model
第三個(gè)模型是基于直接預(yù)報(bào)策略的單時(shí)次輸出模型DFS-S。一個(gè)DFS-S子模型只預(yù)報(bào)單個(gè)時(shí)次的垂直液態(tài)水含量圖像,與RFS-O模型迭代使用同一個(gè)模型進(jìn)行預(yù)報(bào)不同的是,DFS-S模型同時(shí)訓(xùn)練12個(gè)DFS-S子模型來預(yù)報(bào)目標(biāo)時(shí)段,每個(gè)子模型負(fù)責(zé)預(yù)報(bào)特定的1個(gè)時(shí)次(其預(yù)報(bào)流程如圖4所示)。
圖4 同圖2,但為DFS-S模型Fig. 4 Same as Fig. 2, but for DFS-S model
使用一張NVIDIA GTX 1080Ti顯卡進(jìn)行預(yù)報(bào)測(cè)試,經(jīng)過訓(xùn)練后的3種預(yù)報(bào)策略模型的單次推斷耗時(shí)如圖5所示。RFS-O模型的預(yù)報(bào)耗時(shí)最高,約為0.317 s。DFS-M模型預(yù)報(bào)耗時(shí)約為0.007 s,預(yù)報(bào)速度最快。DFS-S模型進(jìn)行一次預(yù)報(bào)約耗時(shí)0.086 s。
圖5 RFS-O、DFS-M和DFS-S模型進(jìn)行一次預(yù)報(bào)的耗時(shí)Fig. 5 Inference time of RFS-O, DFS-M, and DFS-S models for a single forecast
本研究設(shè)計(jì)構(gòu)建了上述3種基于不同預(yù)報(bào)策略的垂直液態(tài)水含量臨近預(yù)報(bào)模型。通過對(duì)比每個(gè)預(yù)報(bào)策略模型的預(yù)報(bào)結(jié)果,可以評(píng)估不同預(yù)報(bào)策略的對(duì)于模型預(yù)報(bào)能力的影響。
本研究利用一些常用的統(tǒng)計(jì)評(píng)估指標(biāo)在測(cè)試集上評(píng)估模型的預(yù)報(bào)效果,這些評(píng)估指標(biāo)包括均方根誤差(Root-Mean-Square Error, RMSE)以及3個(gè)基于二維混淆矩陣的降水預(yù)報(bào)評(píng)分(垂直液態(tài)水含量與地面降水有直接聯(lián)系):命中率(Probability of Detection, POD),臨界成功指數(shù)(Critical Success Index, CSI)以及虛警率(False Alarm Rate, FAR)。
RMSE代表預(yù)報(bào)垂直液態(tài)水含量圖像中格點(diǎn)值同實(shí)際觀測(cè)圖像對(duì)應(yīng)格點(diǎn)值之間的平均誤差,其計(jì)算公式如下:
其中,M和N分別為垂直液態(tài)含水量圖像的總行數(shù)和列數(shù),i和j分別為垂直液態(tài)含水量圖像中格點(diǎn)所在的行數(shù)和列數(shù),公式中的V和Vs分別代表實(shí)際觀測(cè)圖像和模型預(yù)報(bào)圖像的格點(diǎn)值。
降水預(yù)報(bào)評(píng)分是在特定閾值下對(duì)預(yù)報(bào)技術(shù)有效性的統(tǒng)計(jì)評(píng)估,通過表2所示的二維混淆矩陣,本研究分別計(jì)算POD、CSI和FAR評(píng)分,對(duì)應(yīng)計(jì)算公式如下:
表2 用于降水預(yù)報(bào)評(píng)分計(jì)算的二維混淆矩陣Table 2 Binary contingency table for calculating precipitation forecast verification metrics
其中,TP代表真正例(True Positive)相同格點(diǎn)位置的垂直液態(tài)水含量觀測(cè)值和模型預(yù)報(bào)值都超過特定閾值的格點(diǎn)數(shù)量,F(xiàn)N是假反例(False Negative)觀測(cè)值超過特定閾值而預(yù)報(bào)值在該閾值之下的格點(diǎn)數(shù)量,F(xiàn)P是假正例(False Positive)觀測(cè)值低于特定閾值而預(yù)報(bào)值超過該閾值的格點(diǎn)數(shù)量。
本研究所使用的3個(gè)降水評(píng)分的取值范圍均為0~1,其中POD和CSI越接近1,F(xiàn)AR越接近0,代表模型的預(yù)報(bào)效果越好。
3.2.1 模型在整體預(yù)報(bào)時(shí)段上的預(yù)報(bào)效果
本節(jié)對(duì)比使用不同預(yù)報(bào)策略的模型:RFS-O、DFS-M和DFS-S,在12個(gè)預(yù)報(bào)時(shí)次上的平均預(yù)報(bào)效果,計(jì)算各預(yù)報(bào)策略模型在測(cè)試集上預(yù)報(bào)結(jié)果的平均RMSE誤差及以20為閾值的POD、CSI和FAR評(píng)分,其結(jié)果如表3所示。采用直接預(yù)報(bào)策略的模型(DFS-M和DFS-S)在4個(gè)統(tǒng)計(jì)評(píng)分中有3個(gè)(除了FAR)都優(yōu)于采用迭代預(yù)報(bào)策略的RFS-O模型,DFS-M和DFS-S的平均RMSE低于RFS-O約19%,POD和CSI分別高于RFS-O模型27%和12%。DFS-M模型在除了FAR的統(tǒng)計(jì)評(píng)估指標(biāo)上都略微優(yōu)于DFS-S模型。在預(yù)報(bào)耗時(shí)方面DFS-M對(duì)測(cè)試集中全部天氣事件進(jìn)行預(yù)報(bào)耗時(shí)244 s,DFS-S和RFS-O則分別耗時(shí)684 s和1345 s。
表3 預(yù)報(bào)策略模型在測(cè)試集上的平均統(tǒng)計(jì)評(píng)分Table 3 Comparison of the averaged statistical forecast scores of RFS-O, DFS-M and DFS-S models on the test dataset
3.2.2 預(yù)報(bào)策略模型在12個(gè)預(yù)報(bào)時(shí)次上的預(yù)報(bào)效果
圖6展示了3個(gè)預(yù)報(bào)策略模型的RMSE、POD、CSI和FAR隨預(yù)報(bào)時(shí)次的變化情況??梢钥闯鲭S著預(yù)報(bào)時(shí)次的增加,預(yù)報(bào)的不確定性有所上升。3個(gè)模型的RMSE、FAR均隨預(yù)報(bào)時(shí)次增加而上升,POD和CSI隨預(yù)報(bào)時(shí)次增加而下降,模型的綜合預(yù)報(bào)效果隨預(yù)報(bào)時(shí)次的增加而下降。
圖6 預(yù)報(bào)策略模型的(a)RMSE(單位:kg m-2)、(b)POD、(c)CSI和(d)FAR隨12個(gè)預(yù)報(bào)時(shí)次的變化Fig. 6 Variations of (a) RMSE (kg m-2), (b) POD, (c) CSI, and (d) FAR of forecast-strategy models over 12 forecast time steps
如圖6a所示,隨著預(yù)報(bào)時(shí)次的增加,直接預(yù)報(bào)策略模型DFS-M和DFS-S的RMSE明顯優(yōu)于迭代預(yù)報(bào)策略模型RFS-O。對(duì)于兩個(gè)直接預(yù)報(bào)模型,DFS-M在整體預(yù)報(bào)時(shí)段上優(yōu)于DFS-S模型,對(duì)于前兩個(gè)預(yù)報(bào)時(shí)次的RMSE,DFS-S的預(yù)報(bào)效果略微優(yōu)于DFS-M。
從降水預(yù)報(bào)評(píng)分來看,圖6b中RFS-O的POD明顯低于兩個(gè)直接預(yù)報(bào)模型。DFS-M和DFS-S模型的POD評(píng)分接近,在前5個(gè)預(yù)報(bào)時(shí)次DFS-M的POD略微優(yōu)于DFS-S模型。在圖6c中兩個(gè)直接預(yù)報(bào)策略模型DFS-M和DFS-S的CSI優(yōu)于RFS-O模型,DFS-M的CSI在整體目標(biāo)時(shí)段上優(yōu)于DFS-S,前3個(gè)時(shí)次DFS-S模型的CSI高于DFS-M。在圖6d中,RFS-O模型的FAR低于DFS-M和DFS-S,DFS-S的FAR在前6個(gè)時(shí)次低于DFS-M模型。
為了對(duì)比模型預(yù)報(bào)和實(shí)際觀測(cè)的垂直液態(tài)水含量之間的差異,本研究隨機(jī)選取模型測(cè)試集中的一次降水天氣事件,并繪制了該天氣事件中,未來6個(gè)預(yù)報(bào)時(shí)次的垂直液態(tài)水含量分布圖,同3個(gè)預(yù)報(bào)策略模型對(duì)應(yīng)時(shí)次的輸出進(jìn)行對(duì)比分析,如圖7所示。每一列代表一個(gè)預(yù)報(bào)時(shí)次,第一行是該次天氣事件中實(shí)際觀測(cè)的垂直液態(tài)水含量分布圖,剩下3行為各個(gè)模型的對(duì)應(yīng)預(yù)報(bào)結(jié)果。
圖7 2019年6月1日(89.6°W~94.9°W,43.3°E~46.6°E)區(qū)域測(cè)試集一次降水天氣事件實(shí)例中(d1)觀測(cè)和(d2-d4)模型預(yù)報(bào)的t+1時(shí)次(第一列)、t+3時(shí)次(第二列)、t+5時(shí)次(第三列)、t+7時(shí)次(第四列)、t+9時(shí)次(第五列)和t+11時(shí)次(第六列)垂直累積液態(tài)水含量分布Fig. 7 Vertically Integrated Liquid water content (VIL) distributions across t + 1 (the first column), t + 3 (the second column), t + 5 (the third column), t + 7(the fourth column), t + 9 (the fifth column), and t + 11 (the sixth column) time steps for (d1) observation and (d2-d4) model outputs within a single weather event from test dataset on 1 Jun 2019 within the region (89.6°W-94.9°W,43.3°E-46.6°E)
如圖7所示,3個(gè)模型的垂直液態(tài)水含量相對(duì)實(shí)際觀測(cè)偏低,RFS-O模型的預(yù)報(bào)結(jié)果偏低更明顯。DFS-M模型對(duì)于更長(zhǎng)預(yù)報(bào)時(shí)次的垂直液態(tài)水含量的高值區(qū)域預(yù)報(bào)得更準(zhǔn)確,整體來說直接預(yù)報(bào)策略模型DFS-M和DFS-S對(duì)于高值垂直液態(tài)水含量的位置和大小的預(yù)報(bào)都優(yōu)于迭代預(yù)報(bào)策略模型RFS-O。隨著預(yù)報(bào)時(shí)次的增加,模型預(yù)報(bào)的主要垂直液態(tài)水含量分布區(qū)域開始發(fā)散,使得預(yù)報(bào)結(jié)果出現(xiàn)模糊現(xiàn)象。RFS-O的預(yù)報(bào)圖像發(fā)散較小,同時(shí)對(duì)垂直液態(tài)水含量的預(yù)報(bào)偏小,這對(duì)應(yīng)了3.2.1和3.2.2小節(jié)中RFS-O模型較小的FAR。
基于直接預(yù)報(bào)策略的兩個(gè)模型DFS-M和DFS-S的對(duì)垂直液態(tài)水含量的預(yù)報(bào)效果明顯優(yōu)于基于迭代預(yù)報(bào)策略的RFS-O,本研究嘗試對(duì)這兩個(gè)直接預(yù)報(bào)模型進(jìn)行進(jìn)一步分析。為了對(duì)比兩個(gè)模型的潛在差異,使用深度學(xué)習(xí)可解釋性方法深度學(xué)習(xí)重要性特征法(Deep Learning Important FeaTures, Deep-LIFT)(Shrikumar et al., 2017)對(duì)兩個(gè)模型輸入時(shí)次的特征重要性進(jìn)行了計(jì)算。DeepLIFT方法利用反向傳播神經(jīng)網(wǎng)絡(luò)中所有神經(jīng)元對(duì)于輸入特征的貢獻(xiàn),在特定的輸入上解析一個(gè)神經(jīng)網(wǎng)絡(luò)的輸出預(yù)測(cè)。在本研究中,輸入特征共有13個(gè),即13個(gè)歷史時(shí)次的垂直液態(tài)水含量圖像。DeepLIFT方法使用神經(jīng)網(wǎng)絡(luò)中神經(jīng)元的激活值和“參考”激活值之間的差異計(jì)算貢獻(xiàn)分?jǐn)?shù),先通過正向傳播過程計(jì)算各層神經(jīng)元和“參考”激活間的差異,然后通過反向傳播算法逐層推導(dǎo)出模型輸入的特征貢獻(xiàn)度。通過使用參考差異,DeepLIFT在梯度為零的情況下也能允許神經(jīng)元傳遞重要信號(hào),同時(shí)也解決了梯度變化不連續(xù)的問題。模型在使用DeepLIFT方法后可以得到13個(gè)貢獻(xiàn)度圖像(每個(gè)貢獻(xiàn)度圖像的大小和輸入圖像相同),本研究定義單個(gè)輸入時(shí)次的特征重要性分?jǐn)?shù)等于該時(shí)次貢獻(xiàn)度圖像的格點(diǎn)絕對(duì)值的平均。研究對(duì)測(cè)試集中的1512個(gè)風(fēng)暴事件使用DeepLIFT,并采用相對(duì)重要性分?jǐn)?shù),也即單個(gè)輸入時(shí)次的特征重要性分?jǐn)?shù)在13個(gè)輸入時(shí)次特征重要性分?jǐn)?shù)之和中的占比,作為每個(gè)輸入時(shí)次重要性的表征指標(biāo)。
如圖8所示是DFS-M和DFS-S模型13個(gè)輸入時(shí)次的相對(duì)重要性分?jǐn)?shù)在12個(gè)預(yù)報(bào)時(shí)次上的變化曲線。兩個(gè)模型最主要的區(qū)別是DFS-M模型的相對(duì)重要性分?jǐn)?shù)在預(yù)報(bào)時(shí)次上的變化穩(wěn)定,震蕩較小,曲線相對(duì)光滑。DFS-S模型的相對(duì)重要性分?jǐn)?shù)在預(yù)報(bào)時(shí)次上有很大震蕩,相鄰預(yù)報(bào)時(shí)次間的相對(duì)重要性不具有明顯的變化規(guī)律。如圖9所示是兩個(gè)模型的單個(gè)輸入時(shí)次對(duì)于整體預(yù)報(bào)時(shí)段的相對(duì)重要性分?jǐn)?shù),這相當(dāng)于單個(gè)輸入時(shí)次對(duì)于12個(gè)預(yù)報(bào)時(shí)次的相對(duì)重要性分?jǐn)?shù)之和。兩個(gè)模型的相對(duì)重要性分?jǐn)?shù)都集中在最后幾個(gè)輸入時(shí)次上,t-1和t輸入時(shí)次的重要性占總輸入重要性的80%,說明t-1和t時(shí)次的輸入對(duì)于整體預(yù)報(bào)有很大的影響。
圖8 隨預(yù)報(bào)時(shí)次增加,模型輸入時(shí)次(a)t-12、(b)t-11、(c)t-10、(d)t-9、(e)t-8、(f)t-7、(g)t-6、(h)t-5、(i)t-4、(j)t-3、(k)t-2、(l)t-1、(m)t 的相對(duì)重要性分?jǐn)?shù)折線圖Fig. 8 Line charts of relative importance score evolution with increasing forecast times for input time steps (a) t-12, (b) t-11, (c) t-10, (d) t-9,(e) t-8, (f) t-7, (g) t-6, (h) t-5, (i) t-4, (j) t-3, (k) t-2, (l) t-1, and (m) t for DFS-M and DFS-S models
圖9 模型13個(gè)輸入時(shí)次在整體預(yù)報(bào)時(shí)段上相對(duì)重要性得分的分布Fig. 9 Distribution of 13 input time steps’ relative importance scores on the whole forecast time sequence
DFS-M和DFS-S的輸入重要性在12個(gè)預(yù)報(bào)時(shí)次上的變化曲線有相似的趨勢(shì),研究通過對(duì)圖8中曲線進(jìn)行一元線性擬合得到了每個(gè)輸入時(shí)次相對(duì)重要性得分變化的斜率,結(jié)果如圖10所示。前期輸入時(shí)次(從第t-12到t-2輸入時(shí)次)的相對(duì)重要性隨著預(yù)報(bào)時(shí)次增加具有上升趨勢(shì),盡管t-1和t輸入時(shí)次在12個(gè)預(yù)報(bào)時(shí)次上的總體重要性占比很高,t-1和t輸入時(shí)次在單個(gè)預(yù)報(bào)時(shí)次上的重要性隨預(yù)報(bào)時(shí)次的增加呈現(xiàn)下降的趨勢(shì)。這說明靠近預(yù)報(bào)時(shí)段的輸入時(shí)次對(duì)于整體預(yù)報(bào)起主導(dǎo)作用,但其重要性會(huì)隨著預(yù)報(bào)時(shí)次的增加逐漸下降,前期輸入時(shí)次(t-12到t-2)對(duì)于較長(zhǎng)時(shí)次的預(yù)報(bào)的重要性會(huì)相對(duì)地升高。注意到DFS-S模型的斜率通常大于DFS-M模型的斜率,這說明DFS-M模型的輸出時(shí)次間存在著一定的約束關(guān)系。
圖10 模型13個(gè)輸入時(shí)次相對(duì)重要性得分隨預(yù)報(bào)時(shí)次變化曲線的一元線性擬合斜率Fig. 10 Slopes of unary linear fit for the variations of 13 input time steps’ relative importance scores over 12 forecast time steps
對(duì)于DFS-M的每一個(gè)輸入時(shí)次,重要性在12個(gè)預(yù)報(bào)時(shí)次上變化較一致,而DFS-S模型的輸入重要性沒有明顯變化規(guī)律,盡管兩個(gè)模型輸入重要性變化趨勢(shì)相同,DFS-S的變化斜率總是大于DFSM,相對(duì)來說DFS-S模型的輸入重要性更加不受約束。這些模型特征表明,DFS-M模型能捕捉到12個(gè)預(yù)報(bào)時(shí)次間存在的聯(lián)系,對(duì)模型各輸出時(shí)次的預(yù)報(bào)結(jié)果有一定的約束作用。兩個(gè)直接預(yù)報(bào)模型的輸入重要性主要集中在最后兩個(gè)時(shí)次,隨著預(yù)報(bào)時(shí)次增加t-12到t-2輸入時(shí)次重要性上升,t-1和t時(shí)次重要性下降,這說明在進(jìn)行較長(zhǎng)期預(yù)報(bào)時(shí),需要重視前幾個(gè)預(yù)報(bào)時(shí)次對(duì)最終預(yù)報(bào)的貢獻(xiàn)。
本研究通過使用經(jīng)典UNet網(wǎng)絡(luò)結(jié)構(gòu)構(gòu)建了3個(gè)預(yù)報(bào)策略模型,基于歷史13個(gè)時(shí)次的垂直液態(tài)水含量對(duì)未來12個(gè)時(shí)次的垂直液態(tài)水含量圖象進(jìn)行外推預(yù)報(bào),對(duì)比了一個(gè)迭代預(yù)報(bào)策略模型RFSO和兩個(gè)直接預(yù)報(bào)模型DFS-M和DFS-S在氣象臨近預(yù)報(bào)中的預(yù)報(bào)效果。通過對(duì)不同模型預(yù)報(bào)結(jié)果的統(tǒng)計(jì)評(píng)估以及對(duì)輸入時(shí)次重要性的對(duì)比分析,本研究總結(jié)了這些預(yù)報(bào)策略模型的優(yōu)缺點(diǎn)。這里對(duì)迭代預(yù)報(bào)模型和直接預(yù)報(bào)模型的特征和在不同預(yù)報(bào)時(shí)次的預(yù)報(bào)效果進(jìn)行討論。
和采用直接預(yù)報(bào)策略的模型相比,RFS-O模型的整體預(yù)報(bào)效果較差,RFS-O不好的預(yù)報(bào)表現(xiàn)和模型使用自身中間輸出進(jìn)行迭代預(yù)報(bào)時(shí)誤差的累積有關(guān),相似的誤差累積也在一些文獻(xiàn)中有所提及(Bi et al., 2023)。RFS-O在訓(xùn)練階段的輸入是真實(shí)的歷史時(shí)次垂直液態(tài)水含量數(shù)據(jù),而在進(jìn)行實(shí)際迭代預(yù)報(bào)時(shí)模型的輸入逐步被模型自身輸出的預(yù)報(bào)數(shù)據(jù)所取代,這種訓(xùn)練和推理階段的差異使得RFS-O模型比直接預(yù)報(bào)模型更容易出現(xiàn)誤差累積。
對(duì)于采用直接預(yù)報(bào)的DFS-M和DFS-S模型,DFS-M模型在目標(biāo)時(shí)段的平均預(yù)報(bào)效果優(yōu)于DFS-S模型。有研究對(duì)一般機(jī)器學(xué)習(xí)方法中的時(shí)序預(yù)報(bào)策略進(jìn)行了對(duì)比(Bontempi et al., 2013),該研究表明對(duì)于一般的時(shí)間序列預(yù)報(bào)問題,單時(shí)次輸出的模型是獨(dú)立訓(xùn)練的,忽略了目標(biāo)預(yù)報(bào)時(shí)段中每個(gè)時(shí)次間存在的統(tǒng)計(jì)相關(guān)性。在本研究中DFS-S模型的每一個(gè)子模型都是以單一時(shí)次垂直液態(tài)水含量圖像為標(biāo)簽進(jìn)行訓(xùn)練的,子模型將其預(yù)報(bào)的時(shí)次看作和余下11個(gè)預(yù)報(bào)時(shí)次相互獨(dú)立。但短時(shí)間內(nèi)大氣中含水量的變化是一個(gè)連續(xù)的過程,因此每一個(gè)時(shí)次間的垂直液態(tài)水含量都存在一定的相關(guān)性,但DFS-S模型的訓(xùn)練過程沒有考慮這種相關(guān)性,影響了DFS-S模型的預(yù)報(bào)效果。研究通過3.4節(jié)中對(duì)兩個(gè)模型的DeepLIFT輸入重要性在預(yù)報(bào)時(shí)次上的變化進(jìn)行分析,進(jìn)一步說明了這種差異。DFS-S模型對(duì)于前幾個(gè)時(shí)次的預(yù)報(bào)在RMSE、CSI和FAR上略微優(yōu)于DFS-M模型,可能是由于預(yù)報(bào)的不確定性會(huì)隨著預(yù)報(bào)時(shí)次的增加而增加,導(dǎo)致DFS-M模型在訓(xùn)練時(shí)的主要誤差集中在較為靠后的預(yù)報(bào)時(shí)次,經(jīng)過反向傳播后,模型對(duì)靠后的幾個(gè)預(yù)報(bào)時(shí)次加入了較多預(yù)報(bào)權(quán)重,使得模型對(duì)于前幾個(gè)預(yù)報(bào)時(shí)次的預(yù)報(bào)效果欠佳(Taieb and Atiya, 2016)。本研究對(duì)氣象臨近預(yù)報(bào)問題中迭代預(yù)報(bào)和直接預(yù)報(bào)策略的討論,可以類似應(yīng)用在基于深度學(xué)習(xí)方法的氣候預(yù)報(bào)問題中。
通過對(duì)采用迭代預(yù)報(bào)和直接預(yù)報(bào)策略的模型進(jìn)行對(duì)比和分析,研究得出了以下3點(diǎn)主要結(jié)論:
(1)迭代預(yù)報(bào)模型RFS-O的預(yù)報(bào)誤差隨著預(yù)報(bào)時(shí)次的增加而快速累積,直接預(yù)報(bào)模型對(duì)目標(biāo)時(shí)段的預(yù)報(bào)效果優(yōu)于迭代預(yù)報(bào)模型。
(2)由于預(yù)報(bào)時(shí)次間的相關(guān)性約束,以整個(gè)目標(biāo)時(shí)段為標(biāo)簽進(jìn)行訓(xùn)練的DFS-M模型的預(yù)報(bào)表現(xiàn)更加穩(wěn)健,整體預(yù)報(bào)效果優(yōu)于以單一時(shí)次為標(biāo)簽進(jìn)行訓(xùn)練的DFS-S模型。
(3)對(duì)于直接預(yù)報(bào)模型DFS-M和DFS-S,模型對(duì)于整個(gè)預(yù)報(bào)時(shí)段的總體輸入重要性主要集中在最后兩個(gè)輸入時(shí)次。對(duì)于單個(gè)預(yù)報(bào)時(shí)次,較早輸入時(shí)次的重要性隨著預(yù)報(bào)時(shí)次的增加而上升。
由于DFS-M和DFS-S對(duì)于不同時(shí)次的預(yù)報(bào)效果不同,可以將DFS-S對(duì)于前3個(gè)時(shí)次的預(yù)報(bào)同DFS-M對(duì)后9個(gè)時(shí)次的預(yù)報(bào)組合起來,看作一種結(jié)合預(yù)報(bào)的結(jié)果。該結(jié)合預(yù)報(bào)在整體目標(biāo)時(shí)段上具有更低的平均RMSE,降水預(yù)報(bào)評(píng)分介于兩個(gè)模型的降水預(yù)報(bào)評(píng)分之間。