深度學(xué)習(xí)方法在玉溪市烤煙種植區(qū)冰雹預(yù)測中的初步應(yīng)用

朱 睿,納麗佳

(玉溪市氣象局,云南 玉溪 653100)

0 引言

隨著人工影響天氣工作在服務(wù)農(nóng)業(yè)生產(chǎn)、支持防災(zāi)減災(zāi)、助力生態(tài)文明建設(shè)和保障重大活動等方面發(fā)揮的作用越來越突顯,對人工影響天氣作業(yè)能力提出了更高要求,冰雹預(yù)測準(zhǔn)確性是提升作業(yè)能力的關(guān)鍵要素。當(dāng)前,冰雹預(yù)測手段已經(jīng)從基于經(jīng)驗(yàn)和類比預(yù)報(bào)的階段發(fā)展到數(shù)值天氣預(yù)報(bào)模式階段,數(shù)值天氣預(yù)報(bào)模式已成為冰雹等短時(shí)臨近預(yù)報(bào)的重要手段。但是,數(shù)值天氣預(yù)報(bào)模式是通過求解一系列數(shù)學(xué)物理方程模擬大氣過程,數(shù)值模擬的過程中存在很多不確定性因素,比如不確定的初始條件、物理過程參數(shù)化等。由于大氣的混沌特性,不確定的初始場以及物理過程的參數(shù)化會導(dǎo)致模式結(jié)果出現(xiàn)很大的不確定性。近年來,機(jī)器學(xué)習(xí),尤其是深度學(xué)習(xí),展示了處理大數(shù)據(jù)的強(qiáng)大能力,該方法能從海量數(shù)據(jù)中提取有效信息和處理非線性問題,深度學(xué)習(xí)技術(shù)的突破,為解決數(shù)值天氣預(yù)報(bào)模式的不確定性問題提供了一個(gè)新思路,已被應(yīng)用于氣象領(lǐng)域極端事件的檢測和預(yù)測以及對流天氣短時(shí)臨近預(yù)報(bào)。在預(yù)報(bào)業(yè)務(wù)中,針對小尺度、精細(xì)化預(yù)報(bào)需求,預(yù)報(bào)員需要綜合對天氣形勢、實(shí)況信息及多種數(shù)值預(yù)報(bào)產(chǎn)品的融合分析,結(jié)合自身的預(yù)報(bào)經(jīng)驗(yàn)和局地特征,通過會商給出預(yù)報(bào)結(jié)論。會商過程中花費(fèi)了預(yù)報(bào)員大量的時(shí)間和精力整合分析多源信息[1]。深度學(xué)習(xí)方法在融合、處理信息方面的優(yōu)勢一定程度上可以代替預(yù)報(bào)員在會商中整合、分析信息的過程,通過數(shù)據(jù)挖掘、學(xué)習(xí),將預(yù)報(bào)員的經(jīng)驗(yàn)內(nèi)化在算法中,實(shí)現(xiàn)智能、高效的預(yù)報(bào),并已取得了積極的成果。本文通過分析玉溪市2006—2021年這期間6至9月降雹過程,建立玉溪冰雹個(gè)例庫,利用深度學(xué)習(xí)方法,學(xué)習(xí)降雹雷達(dá)回波特征,建立冰雹預(yù)測模型,分析模型應(yīng)用效果。

1 方法和數(shù)據(jù)

1.1 深度學(xué)習(xí)方法

近10年里,深度學(xué)習(xí)在圖像處理、語音識別等領(lǐng)域取得了巨大成功,發(fā)展了諸多功能強(qiáng)大的神經(jīng)網(wǎng)絡(luò)模型,其中循環(huán)神經(jīng)網(wǎng)絡(luò)是一類專門為處理序列數(shù)據(jù)設(shè)計(jì)的神經(jīng)網(wǎng)絡(luò),在時(shí)間序列預(yù)報(bào)中發(fā)揮重要作用。氣象過程的演變和預(yù)報(bào)是時(shí)間序列過程,因此,循環(huán)神經(jīng)網(wǎng)絡(luò)更適合處理氣象領(lǐng)域的時(shí)間序列的預(yù)測問題,最具代表性的基于信息篩選記憶的長短期記憶神經(jīng)網(wǎng)絡(luò),即LSTM神經(jīng)網(wǎng)絡(luò)。

時(shí)間序列預(yù)測法是一種定量分析法,它是在時(shí)間序列變量分析的基礎(chǔ)上,運(yùn)用一定的數(shù)學(xué)方法建立預(yù)測模型,使時(shí)間趨勢向外延伸,從而預(yù)測未來發(fā)展變化趨勢確定變量預(yù)測值。時(shí)間序列預(yù)測法也叫歷史延伸法或外推法,它的主要特點(diǎn)是假定事物的過去趨勢會延伸到未來。

時(shí)間序列是指同一變量按事件發(fā)生的先后順序排列起來的一組觀察值或記錄值。構(gòu)成時(shí)間系列的要素有兩個(gè):其一是時(shí)間,其二是與時(shí)間相對應(yīng)的變量水平。實(shí)際數(shù)據(jù)的時(shí)間序列能夠展示研究對象在一定時(shí)期內(nèi)的發(fā)展變化趨勢與規(guī)律,因而可以從時(shí)間序列中找出變量變化的特征、趨勢以及發(fā)展規(guī)律,從而對變量的未來變化進(jìn)行有效地預(yù)測。

時(shí)間序列預(yù)測分析就是利用過去一段時(shí)間內(nèi)某事件時(shí)間的特征來預(yù)測未來一段時(shí)間內(nèi)該事件的特征。這是一類相對比較復(fù)雜的預(yù)測建模問題,和回歸分析模型的預(yù)測不同,時(shí)間序列模型(LSTM)是依賴于事件發(fā)生的先后順序的,同樣大小的值改變順序后輸入模型產(chǎn)生的結(jié)果是不同的。

冰雹預(yù)測最核心的就是判斷因變量屬于哪個(gè)類別,也就是提供的數(shù)據(jù)具有降雹特征還是非降雹特征,廣義上屬于分類預(yù)測任務(wù)。但是,冰雹云的發(fā)展,跟時(shí)間序列又有密切關(guān)系,具備構(gòu)成時(shí)間系列的兩要素,即時(shí)間和與時(shí)間相對應(yīng)的變量水平,狹義上又屬于時(shí)間序列預(yù)測。

1.2 數(shù)據(jù)來源

在建立玉溪冰雹個(gè)例庫過程中,挑選樣本時(shí),排除華寧盤溪鎮(zhèn)、華溪鎮(zhèn),新平漠沙鎮(zhèn),峨山化念鎮(zhèn),元江曼來鎮(zhèn)、甘莊街道、澧江街道、紅河街道等熱區(qū),以及排除湖面及哀牢山沿線等山區(qū)(無人區(qū))。玉溪邊界主要是根據(jù)玉溪市烤煙種植區(qū)分布對應(yīng)挑選,確保樣本實(shí)況統(tǒng)計(jì)準(zhǔn)確。

雷達(dá)數(shù)據(jù)選取范圍為2006—2021年這期間6至9月玉溪市具有完整雷達(dá)回波數(shù)據(jù)和降雹災(zāi)情收集數(shù)據(jù)的共431個(gè)降雹過程數(shù)據(jù);同時(shí),選取了700個(gè)非降雹過程數(shù)據(jù),對431個(gè)降雹過程和700個(gè)非降雹過程進(jìn)行分析。其中2006—2018年的385個(gè)降雹過程數(shù)據(jù)用于建模,2019—2021年的46個(gè)降雹過程數(shù)據(jù)用于預(yù)測檢驗(yàn)。

特征因子的選取主要是依據(jù)國內(nèi)外在雷達(dá)研究方面成果:Winston等研究表明,垂直積分液態(tài)水含量對冰雹的存在有較好的指示作用[2];Amburn等認(rèn)為VIL密度超過4(g·m-3)時(shí),風(fēng)暴幾乎肯定會產(chǎn)生直徑超過2 cm 的大冰雹[3];Roy分析了強(qiáng)對流天氣和回波頂之間的關(guān)系,認(rèn)為在冰雹、龍卷風(fēng)和雷暴大風(fēng)等強(qiáng)天氣中,冰雹的回波頂最高[4];俞小鼎等分析了多普勒天氣雷達(dá)與強(qiáng)對流天氣預(yù)警之間的關(guān)系,指出產(chǎn)生大冰雹的強(qiáng)對流風(fēng)暴最顯著特征是在反射率因子垂直剖面圖上高懸的反射率因子高值區(qū)、-20℃等溫線高度之上的超過45 dBz的反射率因子核、風(fēng)暴頂輻散和s波段雷達(dá)回波的三體散射現(xiàn)象[5];段勇等通過判斷風(fēng)暴頂頂高、風(fēng)暴最大有效反射率等因子,加權(quán)分析冰雹出現(xiàn)的可能性[6]。冰雹天氣預(yù)測模型建立過程中,因子選取不僅包含了上述特征,同時(shí),還擴(kuò)充了30 dBz頂高/底高、35 dBz頂高/底高、40 dBz頂高/底高、45 dBz頂高/底高、50 dBz頂高/底高、55 dBz頂高/底高、60 dBz頂高/底高、65 dBz頂高/底高等,選取的特征因子共72個(gè)(表1)。

表1 多普勒雷達(dá)回波特征因子名稱

1.3 數(shù)據(jù)標(biāo)準(zhǔn)化

LSTM神經(jīng)網(wǎng)絡(luò)要求數(shù)據(jù)輸入有特定格式,輸入到LSTM模型的數(shù)據(jù)必須是3D數(shù)據(jù),形如(samples,time_steps,features)的3D張量,構(gòu)造LSTM人工神經(jīng)網(wǎng)絡(luò)輸入數(shù)據(jù),就是數(shù)據(jù)標(biāo)準(zhǔn)化的過程。輸入數(shù)據(jù)的形狀是由神經(jīng)網(wǎng)絡(luò)第一個(gè)隱藏層上的“input_shape”參數(shù)指定,輸入的三個(gè)維度指樣品(一個(gè)序列是一個(gè)樣本,批次由一個(gè)或多個(gè)樣本組成)、時(shí)間步(一個(gè)時(shí)間步代表樣本中的一個(gè)觀察點(diǎn))和特征(一個(gè)特征是在一個(gè)時(shí)間步長的觀察得到的)[7]。輸入層在擬合模型時(shí)以及在做出預(yù)測時(shí),對數(shù)據(jù)的要求必須是3D數(shù)組,即使數(shù)組的特定維度僅包含單個(gè)值,NumPy數(shù)組中的reshape()函數(shù)可用于將1D或2D數(shù)據(jù)重塑為3D,并且會將一個(gè)元組作為新定義的形狀的參數(shù)。本文batch_input_shape=(16 280,10,72)。

1.4 模型構(gòu)建

冰雹天氣預(yù)測模型人工神經(jīng)網(wǎng)絡(luò)包含了輸入層、隱藏層、輸出層,通過激活函數(shù)控制輸出,層與層之間通過權(quán)值連接[8]。網(wǎng)絡(luò)結(jié)構(gòu)采用LSTM+Dense層+激活層,構(gòu)建它需要確定LSTM模塊的激活函數(shù)、接收LSTM輸出的完全連接人工神經(jīng)網(wǎng)絡(luò)的激活函數(shù),選擇優(yōu)化器,確定誤差的計(jì)算方式、權(quán)重參數(shù)的迭代更新方式和訓(xùn)練模型迭代次數(shù)epoch、每次梯度更新的樣本數(shù)batch_size等[9]。方案中,訓(xùn)練代價(jià)函數(shù)為[10]：

(1)

式中:m為樣本總數(shù);K為輸出結(jié)點(diǎn)的數(shù)量,y為真實(shí)的參考值;λ為正則化參數(shù)設(shè)定為1;L為神經(jīng)網(wǎng)絡(luò)的層數(shù);θ為神經(jīng)網(wǎng)絡(luò)層數(shù)之間的參數(shù)矩陣。優(yōu)化器選擇Adam,Adam方法效果良好,與其他自適應(yīng)學(xué)習(xí)率算法相比,其收斂速度更快,學(xué)習(xí)效果更為有效,而且可以糾正其他優(yōu)化技術(shù)中存在的問題,如學(xué)習(xí)率消失、收斂過慢或是高方差的參數(shù)更新導(dǎo)致?lián)p失函數(shù)波動較大等問題[11]。編譯網(wǎng)絡(luò)選擇binary_crossentrop交叉熵?fù)p失函數(shù),優(yōu)勢在于引入了平衡參數(shù),可以進(jìn)行正負(fù)樣本的平衡。評價(jià)函數(shù)選擇acc,即準(zhǔn)確率,評價(jià)函數(shù)和損失函數(shù)相似,只不過評價(jià)函數(shù)的結(jié)果不會用于訓(xùn)練過程中。

2 結(jié)果驗(yàn)證

2.1 統(tǒng)計(jì)對比

在驗(yàn)證基于人工神經(jīng)網(wǎng)絡(luò)建立的冰雹天氣預(yù)測模型時(shí),選取了2019—2021年46個(gè)降雹過程和50個(gè)非降雹過程雷達(dá)回波數(shù)據(jù)進(jìn)行檢驗(yàn)評估,針對是否降雹進(jìn)行預(yù)測,將實(shí)例分成陽性和陰性兩種,實(shí)際降雹被認(rèn)為是陽性,沒有降雹認(rèn)為是陰性,所以在預(yù)測時(shí),有以下4種情況[12]：

(1)真陽性:預(yù)測為降雹,實(shí)際降雹。

(2)假陽性:預(yù)測降雹,實(shí)際無降雹(空報(bào))。

(3)真陰性:預(yù)測無降雹,實(shí)際無降雹。

(4)假陰性:預(yù)測無降雹,實(shí)際降雹(漏報(bào))。

經(jīng)檢驗(yàn):降雹預(yù)測準(zhǔn)確率82.6%;另外,在50個(gè)無降雹個(gè)例中,有18個(gè)預(yù)測為降雹,但實(shí)際未降雹,出現(xiàn)空報(bào),空報(bào)率36%。空報(bào)個(gè)例中57%個(gè)例已實(shí)施人工防雹作業(yè)(表2)。

表2 2019—2021年46個(gè)降雹過程和50個(gè)非降雹過程人工神經(jīng)網(wǎng)絡(luò)模型預(yù)測檢驗(yàn)情況表

上述46個(gè)降雹過程和50個(gè)非降雹過程雷達(dá)回波數(shù)據(jù)同時(shí)納入基于數(shù)值預(yù)報(bào)的概念模型法預(yù)測檢驗(yàn)。通過對玉溪市2016—2018年385個(gè)降雹過程數(shù)據(jù)統(tǒng)計(jì)得出:回波強(qiáng)度≥55 dBz占81.9%、0℃層回波強(qiáng)度≥50 dBz占87.5%、-10 ℃層回波強(qiáng)度≥45 dBz占74.5%、回波頂高≥10 km占92.2%、55 dBz回波頂高≥4 km占77.8%、50 dBz回波頂高≥6 km占78.5%、45 dBz回波頂高≥7 km占76%、垂直液態(tài)含水量≥15 kg/m2占78.8%。因此,基于數(shù)值預(yù)報(bào)的概念模型法取回波強(qiáng)度55 dBz、0℃層回波強(qiáng)度50 dBz、-10℃層回波強(qiáng)度45 dBz、回波頂高10 km、55 dBz回波頂高4 km、50 dBz回波頂高6 km、45 dBz回波頂高7 km、垂直液態(tài)含水量15 kg/m2為閾值。當(dāng)達(dá)到閾值時(shí),降雹準(zhǔn)確率61%、空報(bào)率43.8%、漏報(bào)率39%。

檢驗(yàn)結(jié)果表明:人工神經(jīng)網(wǎng)絡(luò)預(yù)測模型對冰雹預(yù)測準(zhǔn)確率達(dá)82.6%,而基于數(shù)值預(yù)報(bào)的概念模型法僅為61%,人工神經(jīng)網(wǎng)絡(luò)較傳統(tǒng)的基于數(shù)值預(yù)報(bào)的概念模型法提高了21.6個(gè)百分點(diǎn);與此同時(shí),人工神經(jīng)網(wǎng)絡(luò)的空報(bào)率降低了7.8個(gè)百分點(diǎn)。

2.2 個(gè)例分析

為直觀地說明人工神經(jīng)網(wǎng)絡(luò)與基于數(shù)值預(yù)報(bào)的概念模型法的區(qū)別,選用2021年8月2日過程案例采用2種方法進(jìn)行回算,并對結(jié)果進(jìn)行對比分析。

實(shí)況:2021年8月2日23時(shí)38分至44分,江川區(qū)江城鎮(zhèn)白家營村遭遇大風(fēng)夾雜冰雹成災(zāi)(禁射區(qū)),期間伴有雷電及短時(shí)強(qiáng)降水。冰雹持續(xù)時(shí)間7 min左右,最大冰雹最大直徑約4 mm?？緹熓転?zāi)44.5 hm2,其它農(nóng)作物受災(zāi)25.1 hm2。

預(yù)測識別:21∶35～23∶50,分散的強(qiáng)對流云團(tuán)不斷在澄江市、華寧縣、江川縣、紅塔區(qū)、通?？h移動增強(qiáng),在江川有降雹發(fā)生。選取當(dāng)日23∶38刻雷達(dá)回波資料運(yùn)用于模型,人工神經(jīng)網(wǎng)絡(luò)模型預(yù)測結(jié)果為降雹,降雹概率75%,并且預(yù)測為正在降雹(圖1);而基于數(shù)值預(yù)報(bào)的概念模型預(yù)測為不降雹。

圖1 2021年8月2日23時(shí)38分江川強(qiáng)回波人工神經(jīng)網(wǎng)絡(luò)預(yù)測結(jié)果圖

根據(jù)回波強(qiáng)度、回波頂高、垂直液態(tài)水含量及回波剖面等數(shù)據(jù)(封三圖版Ⅱ圖2)分析表明,位于江川區(qū)域的強(qiáng)回波數(shù)據(jù)接近但未達(dá)到閾值,并且僅回波頂高比閾值少0.5 km,此回波頂高9.5 km(歷史降雹個(gè)例回波頂高≥10 km占92.2%),基于數(shù)值預(yù)報(bào)的概念模型因而失敗,從而造成漏報(bào)。由此可知,人工神經(jīng)網(wǎng)絡(luò)可以解決基于數(shù)值預(yù)報(bào)的概念模型單一閾值設(shè)置造成的漏報(bào)問題。隨著個(gè)例的逐步累積,人工神經(jīng)網(wǎng)絡(luò)模型識別的效果還會有進(jìn)一步的提高,而基于數(shù)值預(yù)報(bào)的概念模型法則停在原有水平,并且同樣的錯(cuò)誤會反復(fù)出現(xiàn)。

3 結(jié)論與討論

3.1 結(jié)論

(1)通過構(gòu)造LSTM(人工神經(jīng)網(wǎng)絡(luò))數(shù)據(jù)集,利用深度學(xué)習(xí)方法,學(xué)習(xí)冰雹云發(fā)展變化的雷達(dá)回波特征,分析這些特征在時(shí)間序列上的關(guān)系,對玉溪市建立了一個(gè)冰雹天氣預(yù)測模型,模型在冰雹云識別方面展現(xiàn)出了較強(qiáng)的能力,經(jīng)驗(yàn)證:人工神經(jīng)網(wǎng)絡(luò)預(yù)測模型對冰雹預(yù)測準(zhǔn)確率達(dá)82.6%,而基于數(shù)值預(yù)報(bào)的概念模型法僅為61%,人工神經(jīng)網(wǎng)絡(luò)較傳統(tǒng)的基于數(shù)值預(yù)報(bào)的概念模型法提高了21.6個(gè)百分點(diǎn);與此同時(shí),人工神經(jīng)網(wǎng)絡(luò)的空報(bào)率降低了7.8個(gè)百分點(diǎn)。在氣象領(lǐng)域證明了使用深度學(xué)習(xí)方法,根據(jù)輸入特征向量進(jìn)行自我適應(yīng)的人工智能作為冰雹天氣預(yù)測手段的可行性。

(2)降雹雷達(dá)回波在回波圖像上有明顯的特征,比如三體散射釘狀回波,弓形回波等,而CNN卷積神經(jīng)網(wǎng)絡(luò),善于挖掘數(shù)據(jù)局部特征,提取全局訓(xùn)練特征和分類,處理的數(shù)據(jù)是圖像。構(gòu)建更復(fù)雜的CNN-LSTM網(wǎng)絡(luò)模型結(jié)構(gòu),由CNN人工神經(jīng)網(wǎng)絡(luò)提取數(shù)據(jù)在空間結(jié)構(gòu)上的特征,把這些特征作為時(shí)間序列的輸入,使用LSTM人工神經(jīng)網(wǎng)絡(luò)進(jìn)行進(jìn)一步的提取,把最終提取出的特征放在全連接網(wǎng)絡(luò)中,最后進(jìn)行冰雹預(yù)測,應(yīng)該是更加優(yōu)秀的冰雹天氣預(yù)測模型。

3.2 討論

(1)本文在模型建立過程中,應(yīng)用了大數(shù)據(jù)的數(shù)據(jù)集構(gòu)造方式,適應(yīng)了當(dāng)前大數(shù)據(jù)的發(fā)展趨勢。但是,基礎(chǔ)數(shù)據(jù)沒有經(jīng)過相關(guān)性分析取舍和歸一化等數(shù)據(jù)處理,模型訓(xùn)練過程中可能存在數(shù)據(jù)干擾、計(jì)算精度不夠等情況,模型性能還有待進(jìn)一步提升。

(2)降雹時(shí)刻在冰雹個(gè)例分析過程中由分析人員根據(jù)冰雹災(zāi)情上報(bào)資料和課題組總結(jié)的降雹時(shí)刻確定方法標(biāo)定,存在主觀影響因素,導(dǎo)致模型在學(xué)習(xí)過程中,有可能未學(xué)習(xí)到真實(shí)的降雹時(shí)刻冰雹云內(nèi)在規(guī)律,所以模型在時(shí)刻預(yù)測產(chǎn)生偏差。

(3)本模型建立過程僅針對雷達(dá)回波特征進(jìn)行深度學(xué)習(xí),沒有利用探空資料。如果將探空資料擴(kuò)充給網(wǎng)絡(luò)訓(xùn)練,訓(xùn)練人工智能識別冰雹云天氣雷達(dá)回波特征和物理量場內(nèi)在規(guī)律,預(yù)計(jì)可以進(jìn)一步提高冰雹天氣預(yù)測的準(zhǔn)確率。

未來進(jìn)一步提取正負(fù)樣本特征向量進(jìn)行機(jī)器學(xué)習(xí),尋找最優(yōu)正樣本區(qū)別于負(fù)樣本的內(nèi)在特征規(guī)律;完善模型結(jié)構(gòu),構(gòu)建CNN-LSTM網(wǎng)絡(luò)模型,學(xué)習(xí)降雹回波圖像特征;擴(kuò)充探空資料給網(wǎng)絡(luò)訓(xùn)練,訓(xùn)練人工智能識別冰雹云天氣物理量場和雷達(dá)回波特征規(guī)律;逐年完善冰雹個(gè)例庫,增加模型訓(xùn)練數(shù)據(jù)。以上措施將有效提高冰雹預(yù)測模型準(zhǔn)確率,大幅提升人工影響天氣作業(yè)能力。