黃啟橋,麥雄發(fā),李 玲,唐 菁,唐飛籠
(1.南寧師范大學數(shù)學與統(tǒng)計學院,南寧 530001;2.南寧師范大學地理科學與規(guī)劃學院,南寧 530001)
雷達回波外推是短臨降水預報的重要手段,即利用當前雷達探測到的回波數(shù)據(jù),推測雷達回波未來的強度分布及回波體的移動速度和方向,實現(xiàn)對強對流系統(tǒng)的跟蹤預報[1]。目前,短臨預報中應用最廣泛的方法是單體質(zhì)心法[2]和交叉相關法[3]。單體質(zhì)心法通過預測雷達回波的質(zhì)心來推測下一時刻的回波位置,該方法在穩(wěn)定性降水過程的預報中取得較好效果;但在局部地區(qū)對流天氣中,回波發(fā)展演變較快,其預報精度會隨時間的變化快速下降。交叉相關法通過計算相鄰時刻反射率因子超過一定閾值的回波區(qū)域的最大相關系數(shù)來跟蹤和外推回波,對演變迅速的強對流降水系統(tǒng)的外推預報精度較低。
近年來,以深度學習為代表的人工智能技術具有針對不確定性問題進行記憶、聯(lián)想、學習和推斷的能力,在圖像識別、自然語言處理和決策分析等領域取得了顯著的進步。深度學習技術作為一種先進的非線性數(shù)學模型,兼具優(yōu)異的特征提取和學習能力,通過對海量的資料數(shù)據(jù)進行學習,挖掘數(shù)據(jù)的內(nèi)在特征及其蘊含的物理規(guī)律,被廣泛用來建立復雜的非線性模型;隨著計算機硬件性能不斷提升,深度學習技術的理論和應用得到迅速發(fā)展,這也為精細化短臨降水預報提供了新思路和新技術,其在降水預報中已有諸多應用[4-12]。Agrawal 等[13]將短臨降水預報抽象成圖像處理問題,并基于深度神經(jīng)網(wǎng)絡構建一種端到端的短臨降水預報模型,該模型的預報效果優(yōu)于光流法和快速更新系統(tǒng)(HRRR)。Ayzel 等[14]提出了精簡型深度神經(jīng)網(wǎng)絡降水預報模型,并探究數(shù)據(jù)預處理方法、卷積核尺寸和損失函數(shù)對預報準確率的影響。方巍等[15]提出了基于對抗型光流長短時記憶網(wǎng)絡的回波外推模型(deep convolutional generative adversarial flow based long short-term memory network,DCF-LSTM),通過引入光流法并采用深度卷積對抗網(wǎng)絡判別模塊(deep convolutional generative adversarial net work,DCGAN),使得DCFLSTM 的預報準確率得到進一步提升。吳卓升等[16]提出了基于動態(tài)概率卷積神經(jīng)網(wǎng)絡的回波外推模型(dynamic probability convolutional neural network,DPCNN),通過在卷積神經(jīng)網(wǎng)絡上增加動態(tài)概率計算層,使得卷積神經(jīng)網(wǎng)絡在預測階段能夠根據(jù)輸入序列計算對應的概率卷積核進而提高預報準確率。Shi 等[17]基于全連接長短時記憶模型(full connected LSTM,F(xiàn)C-LSTM),提出了卷積長短時記憶模型(Convolutional Long Short-Term Memory,ConvLSTM),并將其運用于雷達回波外推預報中,其預測精度高于傳統(tǒng)光流法。相比傳統(tǒng)雷達回波外推方法,深度神經(jīng)網(wǎng)絡從海量的氣象資料中學習回波演變規(guī)律,提高了數(shù)據(jù)的利用率,有助于提高雷達回波外推預報的精度。
由于降水過程是一個極為復雜的過程,不同地區(qū)的氣候和降水特征也不相同,不同方法針對不同區(qū)域范圍的適用性也不同,應對不同的天氣類型也各有優(yōu)勢。利用華南2019 年到2020 年的6—8 月的雷達回波拼圖資料數(shù)據(jù),建立ConvLSTM 回波外推模型,對廣西區(qū)域范圍內(nèi)進行短臨降水預報,并將ConvLSTM 預報結(jié)果與傳統(tǒng)光流法對比。通過比較在不同預報時間長度及回波反射率強度下的預報精度,檢驗ConvLSTM 模型在廣西區(qū)域范圍的適用性。
數(shù)據(jù)來源于華南的CINRAD/SA 型多普勒雷達拼圖資料數(shù)據(jù),研究區(qū)域為廣西區(qū)域范圍,覆蓋時間為2019 年—2020 年每年6 月至8 月;其中2019 年總共20918 幅雷達回波圖像,2020 年總共21792 幅圖像。雷達回波圖像的網(wǎng)格數(shù)量為280 行×360 行,水平分辨率0.01°×0.01°,約1km,每張圖像的時間間隔為6min。
雷達波束在傳播過程中遇到山體、植被和建筑物等地物干擾,導致雷達發(fā)射的電磁波束受到局部或全部遮擋。地物干擾會導致觀測信號出現(xiàn)噪聲,這些會對真實雷達回波運動矢量分析和降雨估計帶來一定誤差,本研究采用局部均值算法進行地物雜波去噪。
Shi 等[17]基于全連接長短時記憶模型(Fully Connected LSTM,F(xiàn)C-LSTM),提出了卷積長短時記憶模型(ConvLSTM)。FC-LSTM 在處理長序列問題上有出色的能力,但該模型只能提取時間序列信息,無法提取空間信息。對于空間數(shù)據(jù)特別是雷達回波數(shù)據(jù)而言,包含了大量的冗余信息,F(xiàn)C-LSTM 無法進行處理。通過將卷積運算應用于FC-LSTM 的“輸入到狀態(tài)”和“狀態(tài)到狀態(tài)”兩部分以改進FCLSTM,不僅可以提取序列的空間信息,且改進后的ConvLSTM 能夠去除大量空間冗余特征;通過堆疊多個ConvLSTM 層形成編碼預測網(wǎng)絡結(jié)構,可構建用于雷達回波外推預報的端到端訓練模型。ConvLSTM 采用與FC-LSTM 相似的門控單元控制當前輸入特征是否傳遞下去,F(xiàn)C-LSTM 和ConvLSTM的結(jié)構如圖1 所示。
從圖1(b)可以看到,ConvLSTM 通過遺忘門(ft)、輸入門(it)和輸出門(ot)控制著數(shù)據(jù)在細胞內(nèi)部的交流。各個門控制著數(shù)據(jù)參與到細胞狀態(tài)的更新,通過門來選擇性的保留或舍棄信息。~Ct為記憶細胞,其保留了當前的輸入特征,并通過控制前一刻的信息是否繼續(xù)傳遞。門之間的傳遞關系采用公式(1)表達,
圖1 FC-LSTM 和ConvLSTM 結(jié)構圖
式(1)中,“?!北硎揪仃噷氐某朔ㄟ\算,“*”表示卷積運算;σ 為sigmoid 激活函數(shù),其公式為:
遺忘門可以控制信息的遺忘,把認為冗余的信息舍棄,并保留有用的信息并繼續(xù)向后傳遞;繼續(xù)傳遞的信息流入輸入門,通過sigmoid 層決定需要更新的信息,并通過tanh 層得到新的細胞信息,進行細胞更新。最后通過輸出門的sigmoid 的信息與通過tanh 的記憶細胞的信息相乘得到模型的最終輸出。
氣象預報業(yè)務中常用的預測評價指標有正確率(probability of detection,POD)、臨界成功指數(shù)(critical success index,CSI)及誤報率(false alarm rate,F(xiàn)AR)三個評估指標。在計算上述指標時,首先需要設定一個回波強度閾值,在實際觀測中,若某個像素點的值大于回波強度閾值,則判定判定實際觀測值是活躍的,否則為不活躍;若回波外推結(jié)果中的某個像素點的值大于該回波強度閾值,則判定預測值為活躍,否則為不活躍。對于實際觀測值和預報值均為活躍的情況,認定為預報成功,記為S;對于觀測值為活躍而預測值為不活躍的情況,視為漏報,記為M;對于實際觀測值為不活躍,預報值為活躍的情況,視為空報,記為F。3 個評估指標采用式(3)、(4)和(5)計算。
式(3)、(4)和(5)中,nS、nM、nF分別表示回波外推預報圖象的預報成功、空報和漏報的像素點的個數(shù)。
在氣象預報業(yè)務中,對不同的降水強度往往給予不同的關注度;因此,本試驗采用多重回波反射率強度進行評估,并選取20dBZ、30dBZ 和40dBZ 三個回波反射率作為評估閾值。此外,本試驗還進行了回波外推結(jié)果可視化,通過多重反射率評估和回波外推結(jié)果可視化兩個方面對比ConvLSTM 和光流法的預報結(jié)果。
運行環(huán)境為2.60 GHz CPU、內(nèi)存大小1TB 和Quadro RTX8000 48G 顯卡,基于Python3.8 和Tensorflow2.4 框架。采用2019 年6 月至8 月的雷達回波圖像作為訓練集,對原始序列數(shù)據(jù)以長度為20 的滑動窗口、步長為1 進行滑動采樣,得到每個樣本包含20 張時間連續(xù)的雷達回波圖像,其中前10 張作為模型輸入,后10 張作為模型輸出,得到的訓練集總共有19160 個樣本。模型通過歷史1h 的10 張圖像外推未來1h 的10 張圖像,即將雷達圖像序列作為模型輸入和樣本標簽。
ConvLSTM 模型由4 層ConvLSTM 循環(huán)層組成,每一層使用了96 個尺寸為3x3 的卷積核。并在每一個ConvLSTM 層后加入批標準化層(Batch Normalization layer,BN),通過對每層的輸出進行批標準化處理,防止過擬合并提高模型的訓練速度。本文采用Adam 作為ConvLSTM 模型的優(yōu)化器,Adam 的學習率設置為0.0001;訓練的每一批數(shù)據(jù)大小batchsize 為16 個樣本,最大迭代次數(shù)設置為300 次。采用均方誤差(MSE)作為ConvLSTM 模型的損失函數(shù),其計算公式如式(6)所示,t 是期望輸出,y 是ConvLSTM 模型的輸出。
設計了ConvLSTM 和半拉格朗日外推光流法[18]的對比實驗。光流法是一種經(jīng)典的圖像跟蹤算法,能準確地實現(xiàn)對目標物的識別、追蹤和運動估計,已被廣泛應用于天文、氣象和醫(yī)學等領域。采用光流法和ConvLSTM 兩種方法進行回波外推實驗,通過輸入歷史1h 的10 張圖像,預報未來1h 的10 張圖像,在20dBZ、30dBZ 和40dBZ 三個回波反射率強度條件下進行雷達回波消融實驗。
由于測試集樣本量較大,本文選取2020 年6 月11 日至20 日、7 月11 日至20 日和8 月11 日至20日總共30d 進行每小時預報試驗,測試集總共715個樣本;利用光流法和訓練好的ConvLSTM 模型對715 個測試樣本進行外推預報,并計算出各項評估指標的平均值;此外,本文還計算各項指標在1h 的均值,結(jié)果如表1 所示。并給出ConvLSTM 與光流法預報1h 內(nèi)逐6min 的各項評估數(shù)據(jù)的變化曲線圖,如圖2 所示。
從圖2 可以清楚地看出,相比光流法,ConvLSTM模型的CSI 和POD 兩個評價指標取得更好的效果,F(xiàn)AR 均較光流法低。在同一反射率強度條件下,兩種算法的CSI 和POD 數(shù)值均隨著外推時間的增加而下降,而FAR 逐漸增加。在相同預報時間下,隨著回波反射率的增加,CSI 和POD 逐漸下降,F(xiàn)AR 則逐漸增加;在回波反射率大于等于20dBZ 和30dBZ條件下,此時過濾掉的的信息較少,光流法和ConvLSTM 在1h 內(nèi)都具有較高的預測準確率,預測結(jié)果也較為穩(wěn)定。隨著回波反射率的增大,過濾掉的細節(jié)信息增多,兩種方法的POD、CSI 和FAR 出現(xiàn)不同程度的變化;尤其在回波反射率大于等于40dBZ 條件下,光流法的CSI 和POD 下降較快,F(xiàn)AR 上升明顯,且FAR 曲線震蕩較為明顯。相比光流法,ConvLSTM 的外推結(jié)果能夠更好地保持圖像細節(jié),在回波反射率大于等于40dBZ 條件下,其預報效果優(yōu)于光流法。
圖2 多重反射率的各指標變化對比
從表1 中可以看出,采用ConvLSTM 的雷達回波外推方法能夠取得更好的預測結(jié)果,預測結(jié)果也較為穩(wěn)定。表1 中,隨著回波反射率的增加,ConvLSTM 模型的CSI 和POD 兩個評估指標均高于光流法,而FAR 較光流法低。具體來說,在回波反射率大于等于20dBZ 條件下,ConvLSTM 的CSI 和POD 比光流法均高出0.02,F(xiàn)AR 低了0.03;此外,在回波反射率大于等于30dBZ 條件下,ConvLSTM 的CSI 和POD 分別比光流法均高出0.05 和0.06,F(xiàn)AR低了0.06;在回波反射率大于等于20dBZ 和大于等于30dBZ 條件下,兩種方法的預報效果相當。隨著回波反射率強度的增加,光流法的CSI 和POD 下降較ConvLSTM 較快,F(xiàn)AR 上升明顯。在回波反射率大于等于40dBZ 條件下,ConvLSTM 的CSI 和POD 分別比光流法高出0.14 和0.10,F(xiàn)AR 下降了0.16,ConvLSTM 預報效果顯著。在多重反射率條件下,ConvLSTM 的CSI 和POD 均值較光流法分別高出0.06 和0.059,F(xiàn)AR 下降了0.058。ConvLSTM 兼具優(yōu)異的特征提取和學習能力,可以充分利用海量的歷史資料數(shù)據(jù),在訓練過程中學習雷達回波特征的演變規(guī)律并進行外推;通過對比在不同反射率強度條件下的SCI、POD 和FAR,實驗結(jié)果表明,ConvLSTM預報結(jié)果優(yōu)于傳統(tǒng)光流法。
表1 不同反射率強度的實驗結(jié)果對比
在回波反射率強度大于等于20BZ 和30dBZ 條件下,兩種算法的FAR 評價指標增加較慢。隨著回波反射率的增加,兩種方法的3 個評價指標變化較快;特別是在反射率強度大于等于40dBZ 條件下,ConvLSTM 和光流法的POD 下降較快,F(xiàn)AR 增加顯著。由于回波強度與覆蓋面積往往成反比的,隨著回波反射率的增加,所對應的像素點個數(shù)就越少;此外,深度學習在進行回波外推預報時存在不同程度的模糊化現(xiàn)象,這將導致預報成功的像素點個數(shù)相對減少,而漏報的像素點個數(shù)和空報像素點的個數(shù)相對增加,從而導致FAR 增大較快,而POD 減小較快。
在回波外推結(jié)果可視化對比實驗中,分別對2020 年7 月11 日和2020 年8 月19 日兩次降水過程進行雷達回波外推預報,實驗結(jié)果如圖3 所示。模型通過輸入歷史1h 的10 張圖像,外推未來1h 的10 張圖像,與輸入序列的時間間隔相同,實際觀測、回波外推結(jié)果的每張圖之間的相隔時間均為6 min。限于篇幅,本文僅選取第1、第3 和第5 時刻的3 張圖像進行可視化,每個樣本對應3 幅圖像。
從兩次降水事件的外推結(jié)果可以看出,ConvLSTM 的回波外推結(jié)果與實際觀測吻合程度較較光流法高。隨著回波外推時間的增加,光流法預測結(jié)果的形狀出現(xiàn)了明顯變形;由于光流法遵循灰度不變性假設,而實際的雷達回波存在生消演變,對于移速較快和生消演變迅速的降水過程,隨著預報時間的增加,其預報效果逐漸降低。此外,隨著預報時間的增加,ConvLSTM 方法越往后外推圖像相比于實際觀測圖像有不同程度的模糊化現(xiàn)象,由于ConvLSTM 模型通過訓練過程中學習到的雷達回波特征演變規(guī)律進行外推預報,模型盡可能通過歷史回波數(shù)據(jù)序列去外推回波的形狀和移動位置。此外,回波在生消演變過程中的增強或消散無法完全地通過歷史觀測數(shù)據(jù)的先驗知識來進行精確預報,所以ConvLSTM 的回波外推結(jié)果存在不確定性。ConvLSTM 模型在進行回波外推預報時,外推預報結(jié)果盡可能地覆蓋回波的范圍而無法精確地預測回波強度演變的細節(jié),導致外推結(jié)果也出現(xiàn)不同程度的模糊化現(xiàn)象。
(1)本研究基于華南2019—2020 年每年的6月至8 月的雷達回波拼圖資料數(shù)據(jù),采用ConvLSTM 構建了0~1h 短臨降水預報模型,檢驗了該模型在廣西區(qū)域范圍內(nèi)的降水預報能力?;贑onvLSTM 的雷達回波外推預報模型,通過從大量的雷達資料數(shù)據(jù)中學習雷達回波演變規(guī)律,提高了數(shù)據(jù)的利用率,其預報效果優(yōu)于傳統(tǒng)的光流法。
(2)雖然深度學習方法較光流法有一定的優(yōu)勢,但從外推結(jié)果可視化圖像上看,ConvLSTM 模型的外推預報圖象存在模糊化現(xiàn)象。且隨著回波反射率的增加,預報結(jié)果的POD 降低顯著,F(xiàn)AR 升高明顯;由于回波特征演變的復雜性,在回波反射率大于等于20dBZ 條件下,ConvLSTM 模型的CSI、POD 較高,F(xiàn)AR 的較低;隨著回波反射率和預報時間的增加,ConvLSTM 的CSI 和POD 逐漸下降,F(xiàn)AR 逐漸升高。由于雷達回波強度和覆蓋面積往往是成反比的,這表明隨著回波強度的增大,預報成功的像素點個數(shù)相對減少,而漏報的像素點個數(shù)和空報像素點的個數(shù)相對增加,此外ConvLSTM 在進行雷達回波外推預報時存在模糊化的現(xiàn)象,所以隨著回波反射率的增加POD 降低顯著,F(xiàn)AR 升高明顯。
深度學習方法較傳統(tǒng)外推預報方法有一定的優(yōu)勢,但是也存在一些問題,隨著回波反射率強度的增加,對細節(jié)的預測難度更大,深度學習外推結(jié)果出現(xiàn)模糊現(xiàn)象。