基于多任務(wù)長(zhǎng)短時(shí)卷積計(jì)算網(wǎng)絡(luò)的降雨預(yù)測(cè)

王 軍，陳百艷，程 勇

(1.南京信息工程大學(xué) 計(jì)算機(jī)與軟件學(xué)院，江蘇 南京 210044；2.南京信息工程大學(xué) 科技產(chǎn)業(yè)處，江蘇 南京 210044)

0 引 言

降雨預(yù)測(cè)與人類(lèi)生活和社會(huì)經(jīng)濟(jì)等方面具有密切聯(lián)系，準(zhǔn)確的氣象預(yù)測(cè)可以為人類(lèi)出行及生命安全提供可靠的科學(xué)依據(jù)，但建立高效的短期降雨預(yù)測(cè)模型面臨諸多挑戰(zhàn)。隨著傳感器探測(cè)技術(shù)、儲(chǔ)存技術(shù)不斷更新，傳統(tǒng)的降雨預(yù)測(cè)方法已無(wú)法滿足氣象大數(shù)據(jù)處理的要求。近年來(lái)深度學(xué)習(xí)在各個(gè)領(lǐng)域中的應(yīng)用，得到學(xué)者的廣泛認(rèn)可，同時(shí)也給氣象預(yù)測(cè)擴(kuò)展了處理分析多種氣象大數(shù)據(jù)的方法。受到啟發(fā)，本文中降雨預(yù)測(cè)的研究工作主要基于深度學(xué)習(xí)展開(kāi)。

目前，越來(lái)越多的氣象中心開(kāi)始使用多個(gè)觀測(cè)點(diǎn)的一組氣象特征作為降雨預(yù)測(cè)數(shù)據(jù)，現(xiàn)有降雨預(yù)測(cè)模型大多基于單站點(diǎn)數(shù)據(jù)構(gòu)建，無(wú)法利用數(shù)據(jù)間的橫向關(guān)聯(lián)性，數(shù)據(jù)縱向特征的完整性也無(wú)法保證。本文使用多任務(wù)學(xué)習(xí)構(gòu)建探索多站點(diǎn)數(shù)據(jù)時(shí)空特性的降雨預(yù)測(cè)模型，將多個(gè)觀測(cè)站點(diǎn)氣象數(shù)據(jù)進(jìn)行聯(lián)合學(xué)習(xí)，對(duì)站點(diǎn)間的相關(guān)性進(jìn)行建模，充分利用多站點(diǎn)氣象數(shù)據(jù)的橫縱特性，使模型的預(yù)測(cè)結(jié)果更加準(zhǔn)確、豐富。

研究時(shí)，將降雨預(yù)測(cè)問(wèn)題類(lèi)比為時(shí)空序列預(yù)測(cè)問(wèn)題，通過(guò)輸入以往一段時(shí)刻的雷達(dá)序列圖像，預(yù)測(cè)出未來(lái)某一時(shí)刻的雷達(dá)序列圖像。由于時(shí)空序列具有高維性，模型必須進(jìn)行多步預(yù)測(cè)，使得模型需要捕捉數(shù)據(jù)的時(shí)空結(jié)構(gòu)。對(duì)此，本文提出在長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)中加入卷積運(yùn)算結(jié)構(gòu)，與多任務(wù)學(xué)習(xí)方法結(jié)合建立端到端的MTL-LSTC網(wǎng)絡(luò)模型，對(duì)氣象數(shù)據(jù)進(jìn)行編碼預(yù)測(cè)。大量實(shí)驗(yàn)結(jié)果表明，模型可以有效提取氣象數(shù)據(jù)內(nèi)部時(shí)空特性，使預(yù)測(cè)精度大幅提高。

1 相關(guān)工作

目前的降雨預(yù)測(cè)方法主要分3類(lèi)：概念模型預(yù)測(cè)技術(shù)[1]、數(shù)值預(yù)測(cè)技術(shù)[2]和雷達(dá)回波外推預(yù)測(cè)技術(shù)[3]。概念模型預(yù)測(cè)技術(shù)是通過(guò)分析觀測(cè)數(shù)據(jù)，建立強(qiáng)對(duì)流天氣系統(tǒng)產(chǎn)生、發(fā)展、消失的概念模型，結(jié)合其它外推方法進(jìn)行預(yù)報(bào)的技術(shù)；數(shù)值預(yù)測(cè)技術(shù)是指根據(jù)大氣的實(shí)際情況，通過(guò)數(shù)值計(jì)算表示氣象演變過(guò)程的流體力學(xué)或熱力學(xué)的方程組，對(duì)未來(lái)的大氣運(yùn)動(dòng)狀況及其它氣象信息進(jìn)行預(yù)測(cè)的方法；雷達(dá)回波外推預(yù)測(cè)技術(shù)是通過(guò)跟蹤雷達(dá)圖像或云圖等氣象圖像資料，外推出降雨云團(tuán)或者強(qiáng)風(fēng)暴的位置、形狀和強(qiáng)度的變化。近幾年，數(shù)值預(yù)測(cè)技術(shù)和雷達(dá)回波外推預(yù)測(cè)技術(shù)受到了越來(lái)越多的學(xué)者推崇，然而使用數(shù)值預(yù)測(cè)技術(shù)進(jìn)行臨近預(yù)測(cè)時(shí)，對(duì)大氣模型模擬物理公式的過(guò)程較為復(fù)雜，因此，更多研究者使用雷達(dá)回波外推預(yù)測(cè)技術(shù)構(gòu)建降雨預(yù)測(cè)模型。

深度學(xué)習(xí)的飛速發(fā)展給降雨預(yù)測(cè)帶來(lái)了新突破，大量的氣象數(shù)據(jù)可以通過(guò)深度學(xué)習(xí)探索出氣象因子之間相互依賴(lài)的關(guān)系及潛在規(guī)律，預(yù)測(cè)出降雨在未來(lái)某一時(shí)刻的情況。最新研究中，文獻(xiàn)[4]提出將Horn-Schunck算法[5]和Lucas-Kanade算法[6]結(jié)合進(jìn)行實(shí)時(shí)回波變分光流計(jì)算，捕獲關(guān)鍵位置的雷達(dá)回波運(yùn)動(dòng)變化過(guò)程，對(duì)局域系統(tǒng)[7]內(nèi)短距離強(qiáng)暴雨預(yù)警的研究。但是這類(lèi)光流算法模型中，光流計(jì)算的步驟與雷達(dá)回波外推步驟是分開(kāi)的，使得模型的參數(shù)優(yōu)化過(guò)程十分困難。隨著深度學(xué)習(xí)的發(fā)展，循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural networks，RNN)和長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)(long short-term memory，LSTM)將這一問(wèn)題有效解決。文獻(xiàn)[8]開(kāi)創(chuàng)性的提出LSTM編碼-解碼模型，搭建序列到序列學(xué)習(xí)過(guò)程的通用框架，通過(guò)訓(xùn)練臨時(shí)的LSTM單元解決學(xué)習(xí)中序列信息傳輸?shù)膯?wèn)題。之后，文獻(xiàn)[9]對(duì)LSTM模型中編碼-解碼過(guò)程進(jìn)行優(yōu)化，提出全連接的長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)模型(fully connected LSTM，F(xiàn)C-LSTM)，在重構(gòu)輸入序列的同時(shí)預(yù)測(cè)未來(lái)序列，模擬時(shí)空序列預(yù)測(cè)內(nèi)的空間關(guān)系。雖然FC-LSTM模型為處理時(shí)空序列預(yù)測(cè)問(wèn)題提供了有效解決方法，但由于LSTM層間采用全連接的方式，不考慮空間相關(guān)性且存在較高冗余。為更好模擬出時(shí)空序列內(nèi)時(shí)空關(guān)系，本文提出使用具有卷積運(yùn)算結(jié)構(gòu)的長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)(long short-term convolutional calculation network，LSTC)，通過(guò)疊加多個(gè)LSTC層形成編碼預(yù)測(cè)結(jié)構(gòu)，構(gòu)建更高效的降雨預(yù)測(cè)模型。

多任務(wù)學(xué)習(xí)是機(jī)器學(xué)習(xí)的一種學(xué)習(xí)范式，利用多個(gè)相關(guān)任務(wù)包含的豐富信息來(lái)提高所有任務(wù)的泛化能力。機(jī)器學(xué)習(xí)通常需要大量的訓(xùn)練樣本學(xué)習(xí)，來(lái)取得精確的結(jié)果，基于神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)模型需要更龐大的標(biāo)記樣本來(lái)訓(xùn)練含有大量模型參數(shù)的深層神經(jīng)網(wǎng)絡(luò)。如果樣本數(shù)量不足，不論是淺層模型還是深層模型學(xué)習(xí)要求都不能得到滿足。如果單個(gè)任務(wù)中的訓(xùn)練樣本有限，而此時(shí)模型中恰巧有多個(gè)相關(guān)任務(wù)，那么多任務(wù)學(xué)習(xí)就是一個(gè)很好的解決方案。

多任務(wù)學(xué)習(xí)常常會(huì)與遷移學(xué)習(xí)作比較，兩者之間相似卻完全不同。多任務(wù)學(xué)習(xí)中，相關(guān)任務(wù)與目標(biāo)任務(wù)之間沒(méi)有區(qū)別，都是為了提高所有任務(wù)的性能。而遷移學(xué)習(xí)則是借助相關(guān)任務(wù)來(lái)提高目標(biāo)任務(wù)的性能，有時(shí)目標(biāo)任務(wù)比相關(guān)任務(wù)看起來(lái)更重要。目前多任務(wù)學(xué)習(xí)的主要研究方向有多任務(wù)學(xué)習(xí)正則化[10]、多任務(wù)學(xué)習(xí)與神經(jīng)網(wǎng)絡(luò)的結(jié)合[11]和多任務(wù)學(xué)習(xí)的權(quán)值分配[12]。雖然多任務(wù)學(xué)習(xí)方法目前已逐漸成熟，但在氣象預(yù)測(cè)中的應(yīng)用較少，本文仔細(xì)研究文獻(xiàn)[13]中工作后，提出使用多任務(wù)學(xué)習(xí)方法處理多站點(diǎn)預(yù)測(cè)問(wèn)題，通過(guò)站點(diǎn)相關(guān)性矩陣自動(dòng)描述站點(diǎn)間的關(guān)聯(lián)性，進(jìn)一步提高深度學(xué)習(xí)降雨預(yù)測(cè)模型的性能。

2 基于MTL-LSTC網(wǎng)絡(luò)的降雨預(yù)測(cè)模型

本文將多任務(wù)學(xué)習(xí)方法與LSTC網(wǎng)絡(luò)結(jié)合，提出基于MTL-LSTC網(wǎng)絡(luò)的降雨預(yù)測(cè)模型。多任務(wù)學(xué)習(xí)對(duì)多個(gè)相關(guān)任務(wù)進(jìn)行同時(shí)學(xué)習(xí)，相比單任務(wù)學(xué)習(xí)獨(dú)立分解的策略，多任務(wù)學(xué)習(xí)能夠有效利用多站點(diǎn)氣象數(shù)據(jù)中關(guān)聯(lián)因素，使模型具有更高的泛化能力。LSTC網(wǎng)絡(luò)能夠更好捕捉氣象序列數(shù)據(jù)的時(shí)空相關(guān)性，構(gòu)建出通用的時(shí)空序列預(yù)測(cè)模型，進(jìn)行更有效的降雨預(yù)測(cè)。接下來(lái)首先對(duì)多任務(wù)學(xué)習(xí)和LSTC網(wǎng)絡(luò)兩個(gè)模塊分別進(jìn)行闡述，最后對(duì)整個(gè)模型的優(yōu)化過(guò)程進(jìn)行詳細(xì)介紹。

2.1 多任務(wù)學(xué)習(xí)設(shè)置

降雨預(yù)測(cè)是一個(gè)回歸問(wèn)題，已有解決方法包括獨(dú)立模型[14]和統(tǒng)一模型[15]，獨(dú)立模型不考慮多站點(diǎn)間內(nèi)在關(guān)聯(lián)，統(tǒng)一模型假設(shè)所有站點(diǎn)使用相同的關(guān)聯(lián)公式，這兩類(lèi)模型都不能提取出多站點(diǎn)氣象數(shù)據(jù)的差異性。本文使用多任務(wù)學(xué)習(xí)方法構(gòu)建端到端的多站點(diǎn)降雨預(yù)測(cè)模型，允許信息從一個(gè)站點(diǎn)轉(zhuǎn)移到其它相關(guān)站點(diǎn)，并建立站點(diǎn)間相關(guān)性矩陣。本節(jié)將從2個(gè)部分對(duì)模型中多任務(wù)學(xué)習(xí)設(shè)置進(jìn)行詳細(xì)介紹，首先介紹建立多站點(diǎn)間相互關(guān)系的過(guò)程，然后介紹網(wǎng)絡(luò)中多任務(wù)學(xué)習(xí)的功能。

(1)

式中：l(.) 表示損失函數(shù)，g(.) 表示激活函數(shù)，f(.) 表示特征轉(zhuǎn)換函數(shù)，U∈RH×1表示輸出層，其中H是隱藏層的維度。統(tǒng)一模型是將所有站點(diǎn)看成相同的模型進(jìn)行輸出，沒(méi)有考慮各個(gè)站點(diǎn)的特性。我們將統(tǒng)一模型轉(zhuǎn)換為多任務(wù)學(xué)習(xí)模型，定義每個(gè)站點(diǎn)都有自己的輸出層Op∈RH×1， 利用輸出層Op表現(xiàn)每個(gè)站點(diǎn)特性。由于回歸問(wèn)題一般使用均值方差法計(jì)算損失函數(shù)，此處損失函數(shù)的計(jì)算方法如式(2)所示

(2)

式中：f(.)、g(.) 表示特征轉(zhuǎn)換函數(shù)，θ表示特征轉(zhuǎn)換網(wǎng)絡(luò)，U∈RH×1表示輸出層。在構(gòu)建站點(diǎn)相關(guān)性矩陣I∈Rp×p的過(guò)程中，定義Ii,j表示站點(diǎn)i和站點(diǎn)j間相似性，利用tr(OI-1OT) 使輸出值Op受矩陣I的限制。當(dāng)Oi和Oj值越接近，Ii,j值越大?？傊?，多任務(wù)學(xué)習(xí)設(shè)置就是為模型中所有站點(diǎn)訓(xùn)練統(tǒng)一的θ和U， 用不同的輸出Op模擬站點(diǎn)特性，最終多任務(wù)學(xué)習(xí)的計(jì)算方法如式(3)所示

(3)

2.2 LSTC網(wǎng)絡(luò)

LSTC網(wǎng)絡(luò)模型中，輸入的每個(gè)時(shí)間序列都是一個(gè)二維的氣象雷達(dá)圖像，將圖像分割為一組平鋪不重疊的平面，將平面內(nèi)像素作為觀測(cè)值，則降雨預(yù)測(cè)就是一個(gè)時(shí)空序列預(yù)測(cè)問(wèn)題。

(4)

圖1 二維圖像分割為三維張量

為更好模擬出氣象數(shù)據(jù)的時(shí)空序列特性，對(duì)FC-LSTM網(wǎng)絡(luò)模型進(jìn)行優(yōu)化，在FC-LSTM網(wǎng)絡(luò)輸入到狀態(tài)和狀態(tài)到狀態(tài)之間的轉(zhuǎn)換過(guò)程中疊加多個(gè)LSTC網(wǎng)絡(luò)將空間信息進(jìn)行編碼，構(gòu)建出可以利用空間信息的長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)模型。解決FC-LSTM網(wǎng)絡(luò)處理時(shí)空數(shù)據(jù)時(shí)，由于輸入到狀態(tài)和狀態(tài)到狀態(tài)的全連接方式，導(dǎo)致空間信息沒(méi)有被編碼且連接方式冗余的問(wèn)題。

LSTC網(wǎng)絡(luò)的內(nèi)部結(jié)構(gòu)如圖2所示，將所有的輸入x1,…,xt、 神經(jīng)元輸出c1,…,ct、 隱藏狀態(tài)h1,…,ht和門(mén)控機(jī)制i1、ot、ft設(shè)置成一個(gè)三維的張量，行和列的空間維度設(shè)置成一個(gè)二維的張量，假設(shè)輸入和狀態(tài)是空間網(wǎng)格上的向量，圖中輸入和狀態(tài)是空間網(wǎng)格上的向量，LSTC單元就是通過(guò)相鄰網(wǎng)格上的輸入和狀態(tài)進(jìn)行卷積運(yùn)算，預(yù)測(cè)未來(lái)某個(gè)網(wǎng)格上的狀態(tài)。計(jì)算過(guò)程如式(5)～式(9)所示

it=σ(Wxi·xt+Whi·ht-1+Wci°ct-1+bi)

(5)

ft=σ(Wxf·xt+Whf·ht-1+Wcf°ct-1+bf)

(6)

ot=σ(Wxo·xt+Who·ht-1+Wco°ct+bo)

(7)

ct=ft°ct-1+it°tanh(Wxc·xt+Whc·ht-1+bc)

(8)

ht=ot°tanh(ct)

(9)

其中，·表示卷積運(yùn)算符號(hào)，°表示哈達(dá)瑪乘積。ct表示累積輸入狀態(tài)信息的儲(chǔ)存單元，通過(guò)調(diào)節(jié)儲(chǔ)存單元的參數(shù)控制門(mén)的讀、寫(xiě)和刪除。輸入門(mén)it控制進(jìn)入儲(chǔ)存單元信息量；遺忘門(mén)ft控制過(guò)去儲(chǔ)存狀態(tài)ct-1中被遺忘的信息量；輸出門(mén)ot控制傳輸?shù)阶罱K狀態(tài)ot中的信息量。

圖2 LSTC網(wǎng)絡(luò)的內(nèi)部結(jié)構(gòu)

為使隱藏狀態(tài)與輸入狀態(tài)具有相同的行列數(shù)，在進(jìn)行卷積計(jì)算前，需要對(duì)隱藏狀態(tài)進(jìn)行填充操作。一般長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)中所有初始狀態(tài)均為0，所以隱藏狀態(tài)的填充過(guò)程初始化也為0，然后根據(jù)外界信息進(jìn)行自我更新。

整個(gè)LSTC網(wǎng)絡(luò)編碼解碼過(guò)程如圖3所示，編碼網(wǎng)絡(luò)和解碼網(wǎng)絡(luò)由多個(gè)LSTC網(wǎng)絡(luò)層堆疊得到，編碼網(wǎng)絡(luò)中將輸入序列壓縮為一個(gè)隱藏狀態(tài)張量，預(yù)測(cè)網(wǎng)絡(luò)通過(guò)復(fù)制編碼層的最終狀態(tài)作為輸入，其維度與預(yù)測(cè)目標(biāo)維度相同，目的是使LSTC網(wǎng)絡(luò)層連接起來(lái)，輸入到一個(gè)全連接層進(jìn)行最終預(yù)測(cè)。

圖3 LSTC網(wǎng)絡(luò)的編碼預(yù)測(cè)過(guò)程

2.3 基于MTL-LSTC網(wǎng)絡(luò)的降雨預(yù)測(cè)模型

如圖4所示，整個(gè)模型由3個(gè)主要部分組成：一是表示輸入特征的特征轉(zhuǎn)換網(wǎng)絡(luò)；二是預(yù)測(cè)降雨量的編碼預(yù)測(cè)網(wǎng)絡(luò)，使用LSTC網(wǎng)絡(luò)提取深層氣象特征；三是包含站點(diǎn)相關(guān)性的多任務(wù)模塊，使用一個(gè)全連接層輸出多站點(diǎn)預(yù)測(cè)結(jié)果。

圖4 MTL-LSTC網(wǎng)絡(luò)結(jié)構(gòu)

在對(duì)模型中I、O、U和θ的目標(biāo)函數(shù)進(jìn)行優(yōu)化時(shí)，使用隨機(jī)交替的方法，首先固定I優(yōu)化O、U和θ； 然后固定θ優(yōu)化I、U和O， 在不斷迭代過(guò)程中得到最優(yōu)I、O和θ。

固定I來(lái)優(yōu)化O、U和θ的過(guò)程中，使用梯度下降的方法對(duì)O和θ進(jìn)行聯(lián)合優(yōu)化，則問(wèn)題的描述如式(10)所示

(10)

(11)

(12)

(13)

最后，為簡(jiǎn)化I的優(yōu)化過(guò)程，將O和θ同時(shí)進(jìn)行固定，則優(yōu)化后的計(jì)算過(guò)程是一個(gè)簡(jiǎn)單的凸函數(shù)，如式(14)所示。將其轉(zhuǎn)化為封閉解的形式如式(15)所示，式(15)中可以發(fā)現(xiàn)當(dāng)Oi和Oj越接近時(shí)，Ii,j的值越大

(14)

(15)

以上是對(duì)目標(biāo)函數(shù)中I、O、U和θ進(jìn)行優(yōu)化的過(guò)程，在實(shí)際操作過(guò)程中我們還需要對(duì)I進(jìn)行初始化的操作。為使相鄰站點(diǎn)具有相似任務(wù)模型，即當(dāng)Δ(j-i) 值越小時(shí)，獲得的Ii,j值越大，因此使用站點(diǎn)間的空間距離對(duì)I進(jìn)行初始化。定義一個(gè)矩陣A表示站點(diǎn)i和站點(diǎn)j的靠近程度，則Ai,j的計(jì)算方法如式(16)所示

(16)

式中：di,j表示站點(diǎn)i、j之間的地理空間距離，σ為給定標(biāo)量，A是一個(gè)站點(diǎn)相關(guān)性矩陣，初始化令A(yù)=I， 在訓(xùn)練的過(guò)程在不斷調(diào)整I的大小。

最終模型的推理算法如算法1所示，使用的是簡(jiǎn)單隨機(jī)梯度下降法，算法中學(xué)習(xí)率η固定，每個(gè)參數(shù)自適應(yīng)學(xué)習(xí)率使用Adam算法[16]進(jìn)行計(jì)算。

算法1：模型的推理算法

步驟1 初始化O、U、θ為任意值

步驟2 初始化I=A

步驟3 當(dāng)為收斂時(shí)：

步驟4count=1

步驟5 令η表示學(xué)習(xí)率

步驟6 當(dāng)count=Threshold時(shí)

步驟7 讀取小批量

步驟11count+=1

步驟12 結(jié)束

步驟14 結(jié)束

3 實(shí) 驗(yàn)

本文中MTL-LSTC網(wǎng)絡(luò)降雨預(yù)測(cè)模型的工作主要分為兩個(gè)部分，一個(gè)是使用LSTC網(wǎng)絡(luò)對(duì)時(shí)空序列進(jìn)行編碼解碼的降雨量預(yù)測(cè)；另一個(gè)是使用多任務(wù)模型提取出多站點(diǎn)間相關(guān)性。以上介紹了模型的整個(gè)功能，接下來(lái)將對(duì)最終的實(shí)驗(yàn)過(guò)程進(jìn)行詳細(xì)描述。

3.1 數(shù)據(jù)選取與預(yù)處理

本文選取澳門(mén)地區(qū)2018年9月至2019年3月的CINRAD-SA型多普勒氣象雷達(dá)數(shù)據(jù)作為實(shí)驗(yàn)數(shù)據(jù)集。由于CINRAD-SA型多普勒氣象雷達(dá)數(shù)據(jù)無(wú)法直接應(yīng)用于神經(jīng)網(wǎng)絡(luò)模型，需進(jìn)行數(shù)據(jù)預(yù)處理將CINRAD-SA型多普勒氣象雷達(dá)數(shù)據(jù)轉(zhuǎn)換成CAPPI氣象雷達(dá)回波圖像。首先將CINRAD-SA型多普勒氣象雷達(dá)數(shù)據(jù)放入三維笛卡爾直角坐標(biāo)系中；然后對(duì)坐標(biāo)系中網(wǎng)格數(shù)據(jù)進(jìn)行水平采樣，獲得一個(gè)二維平面數(shù)據(jù)，此時(shí)數(shù)據(jù)中還包含冗余的背景信息，對(duì)這些背景信息進(jìn)行數(shù)據(jù)清洗；最后使用灰度變化強(qiáng)化數(shù)據(jù)中雷達(dá)回波強(qiáng)度，通過(guò)映射得到分辨率為250×250的CAPPI灰度圖像。

此外，數(shù)據(jù)集中經(jīng)常出現(xiàn)空數(shù)據(jù)，空白數(shù)據(jù)對(duì)預(yù)測(cè)結(jié)果的干擾很強(qiáng)必須剔除。剔除空白數(shù)據(jù)后，對(duì)數(shù)據(jù)集進(jìn)行二次抽樣，創(chuàng)建出可管理的訓(xùn)練集、驗(yàn)證集和測(cè)試集，最終確定每個(gè)訓(xùn)練集中含有32 000個(gè)樣本，每個(gè)驗(yàn)證集中含有4800個(gè)樣本，每個(gè)測(cè)試集中含有3200個(gè)樣本。圖5為數(shù)據(jù)集中的一組樣本圖像，每個(gè)樣本含有4幅圖像 {x1,x2,x3,x4}， 圖像間時(shí)間間隔為6 min。

圖5 數(shù)據(jù)集中的一組樣本圖像

3.2 實(shí)驗(yàn)設(shè)置

為保證預(yù)測(cè)結(jié)果更加準(zhǔn)確，合理選擇多站點(diǎn)至關(guān)重要，理想的站點(diǎn)可以提供豐富的信息和隱藏的線索。例如有站點(diǎn)A與站點(diǎn)B相距20公里，當(dāng)站點(diǎn)A的地區(qū)發(fā)生了強(qiáng)降雨，那么站點(diǎn)B就有很大可能會(huì)發(fā)生強(qiáng)降雨。據(jù)此，本文根據(jù)不同方向、距離和高度將觀測(cè)地站點(diǎn)周?chē)臻g區(qū)域劃分為正態(tài)分布的單元。如圖6所示，空間區(qū)域劃分為8個(gè)方向(標(biāo)記為1到8)，2個(gè)跨度(標(biāo)記為I、II)，包含8×2個(gè)單元和一個(gè)自身單元共17個(gè)單元，將單元中天氣特征串聯(lián)起來(lái)，獲得最終多站點(diǎn)特征集合。

圖6 空間區(qū)域劃分

3.3 實(shí)驗(yàn)標(biāo)準(zhǔn)

實(shí)驗(yàn)采用臨界成功指數(shù)(CSI)、誤報(bào)率(FAR)、探測(cè)概率(POD)評(píng)估模型預(yù)測(cè)效果，采用均方誤差(MSE)和均方根誤差(RMSE)[17]評(píng)估模型預(yù)測(cè)結(jié)果準(zhǔn)確率。如果像素灰度超過(guò)閾值，則判定預(yù)測(cè)值是有效；反之無(wú)效。當(dāng)預(yù)測(cè)值有效并且真實(shí)值也有效時(shí)，則預(yù)測(cè)成功，記作S；當(dāng)預(yù)測(cè)值無(wú)效并且真實(shí)值也無(wú)效時(shí)，則沒(méi)有預(yù)測(cè)成功，記作F；當(dāng)預(yù)測(cè)值為有效但真實(shí)值無(wú)效時(shí)，則預(yù)測(cè)失誤，記作M。nS、nF、nM分別表示命中、未命中、假警報(bào)(即預(yù)測(cè)成功、沒(méi)有預(yù)測(cè)成功和預(yù)測(cè)失誤)。

CSI、FAR和POD均是基于nS、nF、nM這3個(gè)指標(biāo)計(jì)算得到。首先使用定義閾值將預(yù)測(cè)和地面真值轉(zhuǎn)換為0/1矩陣，然后計(jì)算出nS、nF、nM。最后CSI指標(biāo)的計(jì)算過(guò)程如式(17)所示

(17)

FAR表示在實(shí)驗(yàn)中有些指標(biāo)系統(tǒng)無(wú)法計(jì)算出樣本的真實(shí)狀態(tài)，于是直接判定其結(jié)果為命中的情況。計(jì)算的方法如式(18)所示

(18)

POD表示模型根據(jù)輸入信號(hào)，正確判斷出目標(biāo)信號(hào)的概率。在這里計(jì)算方法如式(19)所示

(19)

MSE指標(biāo)計(jì)算的是降雨量預(yù)測(cè)值和真實(shí)值的平均平方誤差。在計(jì)算前需要根據(jù)Z-R關(guān)系法[18]，將像素值換算成單元格上的降雨量值，計(jì)算方法如式(20)所示，式中N表示圖像區(qū)域內(nèi)Ω的單元(格點(diǎn))數(shù)，F(xiàn)表示真實(shí)觀測(cè)的雷達(dá)圖像，F(xiàn)′表示預(yù)測(cè)得到的雷達(dá)圖像，t0和τ分別表示預(yù)報(bào)時(shí)刻和預(yù)測(cè)時(shí)效，F(xiàn)′(t0+τ,x) 表示在時(shí)刻t0+τ圖像中格點(diǎn)x上的降雨量

(20)

RMSE的計(jì)算方法如式(21)所示

(21)

3.4 結(jié)果分析

首先對(duì)單任務(wù)學(xué)習(xí)下深度學(xué)習(xí)模型的實(shí)驗(yàn)結(jié)果進(jìn)行簡(jiǎn)單的比較分析，然后對(duì)多任務(wù)學(xué)習(xí)下深度學(xué)習(xí)模型的實(shí)驗(yàn)結(jié)果進(jìn)行詳細(xì)的比較分析。

與單任務(wù)深度學(xué)習(xí)模型實(shí)驗(yàn)比較時(shí)，將長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)(LSTM)模型、卷積神經(jīng)網(wǎng)絡(luò)(CNN)模型和FC-LSTM模型作為L(zhǎng)STC模型的對(duì)比模型，結(jié)果如圖7、圖8所示。圖7顯示，隨預(yù)測(cè)時(shí)間增長(zhǎng)LSTC模型與LSTM模型預(yù)測(cè)效果差距越來(lái)越大，CNN模型與FC-LSTM模型的預(yù)測(cè)效果較靠近，LSTC模型的預(yù)測(cè)效果最好，特別是準(zhǔn)確率和誤報(bào)率上優(yōu)勢(shì)明顯，說(shuō)明LSTC模型不僅解決了FC-LSTM模型中冗余連接的問(wèn)題，且加入卷積運(yùn)算后LSTC模型能夠模擬時(shí)空序列的時(shí)空關(guān)系，有效提高降雨預(yù)測(cè)模型性能。

圖7 不同模型的預(yù)測(cè)指標(biāo)對(duì)比

圖8 一組預(yù)測(cè)結(jié)果實(shí)例對(duì)比

圖8對(duì)比顯示LSTC模型的結(jié)果與真實(shí)圖像高度相似，特別是圖像輪廓部分，說(shuō)明LSTC模型可以在訓(xùn)練過(guò)程中學(xué)習(xí)觀測(cè)區(qū)域邊緣的回波特征變化，得到的預(yù)測(cè)結(jié)果更可靠。FC-LSTM模型的預(yù)測(cè)結(jié)果很清晰，但是FC-LSTM模型的假報(bào)警率較高，預(yù)測(cè)結(jié)果不具有說(shuō)服性。LSTC模型得到的外推圖像較為模糊，這是因?yàn)槔走_(dá)回波外推本身具有不確定性，其輸入和輸出之間的對(duì)應(yīng)關(guān)系復(fù)雜，網(wǎng)絡(luò)無(wú)法對(duì)觀測(cè)區(qū)域內(nèi)所有回波變化做出精準(zhǔn)預(yù)測(cè)，但圖像是否清晰并不影響最終的預(yù)測(cè)效果。

在多任務(wù)深度學(xué)習(xí)模型實(shí)驗(yàn)比較分析時(shí)，將多任務(wù)循環(huán)神經(jīng)網(wǎng)絡(luò)(MTL-RNN)模型[19]、多任務(wù)長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)(MTL-LSTM)模型[20]、多任務(wù)卷積神經(jīng)網(wǎng)絡(luò)模型[21]和多任務(wù)全連接的長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)(MTL-FC-LSTM)模型作為MTL-LSTC網(wǎng)絡(luò)降雨預(yù)測(cè)模型的對(duì)比模型，實(shí)驗(yàn)結(jié)果如圖9和表1所示。

圖9 單任務(wù)模型和多任務(wù)模型在指標(biāo)MSE上的比較

表1 各個(gè)模型中預(yù)測(cè)指標(biāo)比較

圖9中多任務(wù)學(xué)習(xí)下所有模型都要比基于單任務(wù)學(xué)習(xí)模型表現(xiàn)出更好預(yù)測(cè)效果，說(shuō)明在多站點(diǎn)中使用同一個(gè)任務(wù)方式不合理，使用多任務(wù)學(xué)習(xí)方法不僅可以學(xué)習(xí)到不同站點(diǎn)間隱藏線索，也可以提取到不同任務(wù)間關(guān)聯(lián)性，有效提高整個(gè)模型性能。

從表1中可知MTL-LSTC網(wǎng)絡(luò)模型相比MTL-FC-LSTM網(wǎng)絡(luò)模型，誤差率下降約3.2%，預(yù)測(cè)成功率提高約10%。說(shuō)明長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)中加入卷積運(yùn)算結(jié)構(gòu)是有效的，并且多任務(wù)學(xué)習(xí)能夠有效提高多站點(diǎn)氣象數(shù)據(jù)利用率，模型預(yù)測(cè)結(jié)果更加準(zhǔn)確。

最后，將MTL-LSTC網(wǎng)絡(luò)模型與歐洲中距離天氣預(yù)報(bào)系統(tǒng)(ECMWF)進(jìn)行性能評(píng)估。如圖10所示，MTL-LSTC網(wǎng)絡(luò)模型預(yù)測(cè)結(jié)果在RMSE指標(biāo)和CSI指標(biāo)上準(zhǔn)確率明顯高于ECMWF。表明在利用原始觀測(cè)站點(diǎn)氣象數(shù)據(jù)特征進(jìn)行降雨預(yù)測(cè)時(shí)，MTL-LSTC網(wǎng)絡(luò)模型預(yù)測(cè)結(jié)果更加準(zhǔn)確。

圖10 與公共天氣預(yù)測(cè)系統(tǒng)ECMWF性能對(duì)比

4 結(jié)束語(yǔ)

本文研究如何使用多個(gè)觀測(cè)點(diǎn)氣象特征進(jìn)行降雨預(yù)報(bào)，提出基于MTL-LSTC網(wǎng)絡(luò)降雨預(yù)測(cè)模型，在長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)輸入到狀態(tài)和狀態(tài)到狀態(tài)轉(zhuǎn)換過(guò)程中加入卷積運(yùn)算結(jié)構(gòu)，通過(guò)疊加多個(gè)LSTC網(wǎng)絡(luò)進(jìn)行編碼預(yù)測(cè)，解決了長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)中信息連接冗余問(wèn)題，彌補(bǔ)長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)處理時(shí)空信息時(shí)的缺陷。多任務(wù)學(xué)習(xí)將多站點(diǎn)信息進(jìn)行聯(lián)合學(xué)習(xí)，允許學(xué)習(xí)到的知識(shí)從一個(gè)站點(diǎn)轉(zhuǎn)移到其它相關(guān)站點(diǎn)，對(duì)站點(diǎn)間相關(guān)性建模，使站點(diǎn)間隱藏信息得到充分利用。大量實(shí)驗(yàn)結(jié)果表明，基于MTL-LSTC網(wǎng)絡(luò)的降雨預(yù)測(cè)模型可行且有效。接下來(lái)的工作是對(duì)所提出方法與其它公共預(yù)測(cè)系統(tǒng)進(jìn)行比較，進(jìn)一步驗(yàn)證模型的準(zhǔn)確性和有效性。