基于小樣本學(xué)習(xí)的降雨云分類(lèi)及天氣預(yù)測(cè)

徐銘美，方 睿，羅 鳴，雷 蕾

(成都信息工程大學(xué)，四川 成都610225)

1 引言

天氣與人們的生活息息相關(guān)，但由于其變化莫測(cè)的特性，長(zhǎng)期以來(lái)都有許多專(zhuān)家和學(xué)者投身于氣候和天氣預(yù)測(cè)的研究當(dāng)中。目前，國(guó)內(nèi)外對(duì)降雨預(yù)測(cè)的研究大多都局限于衛(wèi)星云圖的數(shù)據(jù)。但由于傳統(tǒng)的天氣預(yù)測(cè)方法存在很多弊端，如需要的數(shù)據(jù)量大，計(jì)算時(shí)間久，代價(jià)大，專(zhuān)業(yè)性高等，越來(lái)越多學(xué)者開(kāi)始關(guān)注運(yùn)用其它的自然天氣數(shù)據(jù)來(lái)進(jìn)行預(yù)測(cè)研究。其中，一些科研人員提出了利用云朵圖片進(jìn)行分類(lèi)和檢測(cè)識(shí)別，如張飛等提出的基于深度卷積神經(jīng)網(wǎng)絡(luò)的云分類(lèi)算法[1]，從而能夠快速簡(jiǎn)單的獲取有價(jià)值的天氣信息。

隨著人工智能的不斷發(fā)展，在氣候研究方面也取得了較好的成果。如張敏靖等提出的基于對(duì)抗和遷移學(xué)習(xí)的災(zāi)害天氣衛(wèi)星云圖分類(lèi)[2]，以及李冰潔等提出的氣象衛(wèi)星系統(tǒng)的云圖自動(dòng)分類(lèi)識(shí)別研究[3]，均運(yùn)用了深度學(xué)習(xí)算法對(duì)天氣進(jìn)行預(yù)測(cè)。其中，降雨作為最為常見(jiàn)的天氣之一，也成為了天氣預(yù)測(cè)的重點(diǎn)。如高利峰提出的降雨量預(yù)測(cè)方法研究[4]。但是，由于目前關(guān)于云朵圖像的標(biāo)準(zhǔn)公開(kāi)數(shù)據(jù)集較少，所以在進(jìn)行天氣預(yù)測(cè)時(shí)，面臨著數(shù)據(jù)集缺乏的問(wèn)題。大部分的深度學(xué)習(xí)算法都需要大量的相關(guān)數(shù)據(jù)進(jìn)行訓(xùn)練，才能得到較好的準(zhǔn)確度。因此，目前利用深度學(xué)習(xí)框架對(duì)降雨云圖像進(jìn)行分類(lèi)存在著以下兩個(gè)問(wèn)題：淺層的卷積神經(jīng)網(wǎng)絡(luò)不能充分地提取降雨云圖像的特征信息；降雨云圖像數(shù)據(jù)樣本小導(dǎo)致深層卷積網(wǎng)絡(luò)在訓(xùn)練過(guò)程中容易過(guò)擬合。

針對(duì)本次實(shí)驗(yàn)的研究?jī)?nèi)容，本文采用小樣本學(xué)習(xí)的方法，即僅利用少量樣本就可以訓(xùn)練得到不錯(cuò)的效果，從而解決了上述問(wèn)題，并得到一種更加簡(jiǎn)單，便捷，代價(jià)小，專(zhuān)業(yè)性要求較低的天氣預(yù)測(cè)方法。本文提出的元基線(xiàn)改進(jìn)模型Distillation-Meta-Baseline(后簡(jiǎn)稱(chēng)為D-MB模型)的實(shí)驗(yàn)結(jié)果也表明，其能夠在少樣本數(shù)據(jù)的條件下，實(shí)現(xiàn)較好的分類(lèi)效果。從而為天氣預(yù)測(cè)提供了一種有效地，新穎的，實(shí)時(shí)性強(qiáng)的輔助決策方法。

2 數(shù)據(jù)獲取

2.1 數(shù)據(jù)集的構(gòu)建與預(yù)處理

本文所采用的自建降雨云圖像數(shù)據(jù)由世界氣象組織(World Meteorological Organization，簡(jiǎn)稱(chēng)WMO)提供，其對(duì)應(yīng)的相關(guān)降雨信息也均來(lái)自WMO官網(wǎng)。由于世界氣象組織所提供的數(shù)據(jù)包含了所有類(lèi)型的云圖像，所以本文需要對(duì)其進(jìn)行二次整合，從而得到一個(gè)較為標(biāo)準(zhǔn)的降雨云圖像數(shù)據(jù)集。同時(shí)，為了避免數(shù)據(jù)樣本數(shù)量分布及內(nèi)容上的差異而導(dǎo)致的一些問(wèn)題，本文首先對(duì)圖像進(jìn)行增強(qiáng)和歸一化處理，通過(guò)隨機(jī)旋轉(zhuǎn)，偏移等操作提高樣本數(shù)量。并且依照世界氣象組織提供的降雨云分類(lèi)標(biāo)準(zhǔn)，以及不同的降雨云類(lèi)型將數(shù)據(jù)集分為6類(lèi)：高層避光云，高積堡狀云，積雨鬢狀云，積雨禿狀云，雨層云，以及鉤卷云。如表1所示。

表1 降雨云數(shù)據(jù)信息表

每類(lèi)圖像20張，數(shù)據(jù)集的總樣本數(shù)量為120張，部分降雨云樣本如圖1所示。

圖1 降雨云圖像

3 研究方法與模型構(gòu)建

3.1 研究方法

小樣本學(xué)習(xí)與傳統(tǒng)的監(jiān)督學(xué)習(xí)不同，它的目標(biāo)是使模型通過(guò)訓(xùn)練學(xué)會(huì)學(xué)習(xí)，而不是著重于讓機(jī)器識(shí)別訓(xùn)練集中的圖片并泛化到測(cè)試集上。與此同時(shí)，隨著小樣本學(xué)習(xí)領(lǐng)域的快速發(fā)展，元學(xué)習(xí)作為小樣本學(xué)習(xí)中最主要的一類(lèi)方法，也涌現(xiàn)出了大量的新算法。常見(jiàn)的元學(xué)習(xí)框架可以大致分為3類(lèi)：基于記憶的元學(xué)習(xí)方法，基于優(yōu)化的元學(xué)習(xí)方法，以及基于距離度量的元學(xué)習(xí)方法。

基于記憶的元學(xué)習(xí)方法即在原本的元學(xué)習(xí)框架中添加記憶機(jī)制，使得模型能夠?qū)W(xué)習(xí)到的知識(shí)進(jìn)行總結(jié)提取，并輔助后面的學(xué)習(xí)任務(wù)。Ravi和Larochelle在2017年便提出將LSTM與元學(xué)習(xí)相結(jié)合的優(yōu)化算法[9]。

基于優(yōu)化的元學(xué)習(xí)方法是指通過(guò)元學(xué)習(xí)模型在支持集上進(jìn)行優(yōu)化操作。基于優(yōu)化的元學(xué)習(xí)方法有很多，其中包括了選擇初始化參數(shù)，采用不同的梯度更新算法等。例如Finn等人在MAML[10]中就提出通過(guò)為每個(gè)訓(xùn)練任務(wù)提供一個(gè)更好的初始化參數(shù)，從而達(dá)到更佳的訓(xùn)練效果。

基于距離的元學(xué)習(xí)方法通過(guò)度量特征之間的距離來(lái)進(jìn)行網(wǎng)絡(luò)的訓(xùn)練。在距離度量的元學(xué)習(xí)模型中，通過(guò)計(jì)算比較詢(xún)問(wèn)集和支持集樣本特征之間的距離來(lái)實(shí)現(xiàn)分類(lèi)。如Vinyals等人在2017年發(fā)表的Matching Network[11]就提出了一種快速學(xué)習(xí)樣本間度量方式的框架。

盡管上述的元學(xué)習(xí)算法已經(jīng)取得了許多優(yōu)異的成績(jī)，但是近年來(lái)一些對(duì)預(yù)訓(xùn)練分類(lèi)器性能的研究，如Gidaris和Komodakis[12]提出的余弦度量分類(lèi)器訓(xùn)練方法，以及Yinbo Chen[7]等人基于元基線(xiàn)提出的優(yōu)化方法，表現(xiàn)出的效果更優(yōu)于之前的幾種元學(xué)習(xí)方法，尤其是在面對(duì)跨域問(wèn)題時(shí)。

因此，本文提出的D-MB模型將分類(lèi)器基線(xiàn)和元學(xué)習(xí)的優(yōu)點(diǎn)相結(jié)合，并引入知識(shí)蒸餾的思想，使得模型性能優(yōu)于以往的方法，并將其應(yīng)用于降雨云圖像的分類(lèi)和天氣預(yù)測(cè)。

3.2 模型建立

基于小樣本的D-MB模型訓(xùn)練主要分為兩個(gè)階段：分類(lèi)器訓(xùn)練階段和元學(xué)習(xí)階段。對(duì)于分類(lèi)器訓(xùn)練階段，需要使用大量帶標(biāo)簽的基類(lèi)(Cbase)數(shù)據(jù)訓(xùn)練出一個(gè)分類(lèi)器，從而為后面的元學(xué)習(xí)模型提供性能優(yōu)異的特征提取器(或稱(chēng)為編碼器encoder)。然后，將新類(lèi)(Cnovel)圖像數(shù)據(jù)輸入到到元學(xué)習(xí)框架中進(jìn)行訓(xùn)練和學(xué)習(xí)。其中，值得注意的是本文采用的基類(lèi)數(shù)據(jù)來(lái)自于公開(kāi)數(shù)據(jù)集cifar100，新類(lèi)數(shù)據(jù)為本文自建的降雨云數(shù)據(jù)集。

3.2.1 分類(lèi)器模型

傳統(tǒng)的分類(lèi)器模型是通過(guò)使用大量的數(shù)據(jù)獨(dú)立訓(xùn)練而成的，其訓(xùn)練結(jié)果的好壞通常都是通過(guò)與數(shù)據(jù)標(biāo)簽進(jìn)行對(duì)比得到的。但是數(shù)據(jù)標(biāo)簽包含的信息量往往較少，只能反映出結(jié)果的對(duì)錯(cuò)。所以，有學(xué)者提出在訓(xùn)練分類(lèi)器模型時(shí)，引入一個(gè)預(yù)訓(xùn)練好的復(fù)雜模型(或稱(chēng)為教師模型)來(lái)進(jìn)行輔助，此時(shí)被訓(xùn)練的分類(lèi)器模型稱(chēng)為學(xué)生模型。具體而言，即使用教師模型中的softmax層輸出來(lái)作為另一種“標(biāo)簽”，Hinton[13]將其稱(chēng)為soft target，與學(xué)生模型的輸出進(jìn)行比較，從而獲得更加豐富的反饋信息。種訓(xùn)練的過(guò)程就被稱(chēng)作為“知識(shí)蒸餾”。值得注意的是，如果在實(shí)驗(yàn)過(guò)程中soft target的數(shù)值方差太大，則引入教師模型的意義就不大了，所以在這里需要引入溫度參數(shù)T來(lái)控制教師模型對(duì)學(xué)生模型的影響，具體可見(jiàn)式(1)。

(1)

其中zi表示分類(lèi)器模型中softmax層的輸出，zj表示其它模型的輸出，qi表示zi與zj之前的關(guān)聯(lián)度。溫度參數(shù)的值是根據(jù)具體實(shí)驗(yàn)的要求進(jìn)行人為設(shè)置的，常設(shè)為1。另外，T如果太大了，會(huì)導(dǎo)致正確項(xiàng)的數(shù)值與錯(cuò)誤項(xiàng)的數(shù)據(jù)差距太小，無(wú)法區(qū)分出哪個(gè)是正確的選項(xiàng)；T如果太小了，模型在“蒸餾”過(guò)程中會(huì)弱化soft target的作用，從而失去了蒸餾的意義。

根據(jù)Hinton[13]的研究表明，可以根據(jù)自身的實(shí)驗(yàn)需求進(jìn)行教師模型的選擇，不一定要是一個(gè)復(fù)雜的網(wǎng)絡(luò)模型。最后，會(huì)得到一個(gè)網(wǎng)絡(luò)層數(shù)更淺，運(yùn)行更快，但準(zhǔn)確度堪比同類(lèi)型復(fù)雜網(wǎng)絡(luò)的分類(lèi)器模型。分類(lèi)器蒸餾訓(xùn)練的具體流程如圖2所示。

3.2.2 元學(xué)習(xí)模型

圖2 分類(lèi)器蒸餾實(shí)驗(yàn)流程

在進(jìn)行元學(xué)習(xí)模型訓(xùn)練之前，需要先將蒸餾過(guò)后的分類(lèi)器網(wǎng)絡(luò)去掉全連接層，并將其作為元學(xué)習(xí)模型中的encoder。同時(shí)，將Cnovel的數(shù)據(jù)劃分為支持集(support set)和詢(xún)問(wèn)集(query set)。

元學(xué)習(xí)的主要特點(diǎn)是以task作為基本單位進(jìn)行網(wǎng)絡(luò)訓(xùn)練，即將整個(gè)網(wǎng)絡(luò)的訓(xùn)練過(guò)程分為多個(gè)小任務(wù)進(jìn)行。在每個(gè)task中，需要在支持集上的N個(gè)類(lèi)各抽取K張的降雨云圖像(即N-way K-shot)輸入到編碼器fθ中，從而提取出各類(lèi)數(shù)據(jù)的特征，同時(shí)在詢(xún)問(wèn)集中也要抽出一定數(shù)量的圖片進(jìn)行特征提取。然后分別計(jì)算出詢(xún)問(wèn)集數(shù)據(jù)與支持集中各類(lèi)數(shù)據(jù)之間的相似度，最后將計(jì)算結(jié)果與詢(xún)問(wèn)集中抽取的數(shù)據(jù)標(biāo)簽進(jìn)行對(duì)比，計(jì)算出loss。其中，相似度的計(jì)算可以選用L2或者COS來(lái)度量?jī)烧咧g的距離。具體的元學(xué)習(xí)模型框架如圖3所示。

3.2.3 損失函數(shù)

圖3 元學(xué)習(xí)模型算法流程

a) 分類(lèi)器模型的損失函數(shù)

本文的蒸餾實(shí)驗(yàn)采用標(biāo)準(zhǔn)交叉熵作為分類(lèi)器訓(xùn)練的損失函數(shù)，其loss通常包括了兩個(gè)部分：一個(gè)是學(xué)生模型與教師模型輸出之間的loss1，另一個(gè)是學(xué)生模型與數(shù)據(jù)標(biāo)簽之間的loss2。具體的損失函數(shù)見(jiàn)式(2)

loss=loss1+loss2

(2)

其中，loss1的具體計(jì)算可見(jiàn)式(3)

(3)

loss2的具體計(jì)算可見(jiàn)式(4)

(4)

b) 元學(xué)習(xí)模型的損失函數(shù)

由于整個(gè)元基線(xiàn)模型的損失函數(shù)是由每個(gè)訓(xùn)練任務(wù)的損失一起構(gòu)成的，所以需要計(jì)算每個(gè)任務(wù)的損失。首先，在支持集中計(jì)算N個(gè)類(lèi)的質(zhì)心，這些質(zhì)心定義在式(5)中。

(5)

然后，用式(6)計(jì)算定義的查詢(xún)集中每個(gè)樣本的預(yù)測(cè)概率分布。

(6)

其中，S為支持集，Sc為在c類(lèi)別的選取的數(shù)據(jù)，wc為計(jì)算出的特征平均值(類(lèi)中心)，fθ為編碼器函數(shù)，x為輸入的圖像樣本數(shù)據(jù)，p為計(jì)算出的余弦相似度。

損失是由p和查詢(xún)集中樣本的標(biāo)簽計(jì)算的交叉熵?fù)p失，具體可見(jiàn)式(7)

(7)

值得注意的是，將每個(gè)任務(wù)都視為訓(xùn)練過(guò)程中的數(shù)據(jù)點(diǎn)，每個(gè)batch可能包含多個(gè)任務(wù)，并計(jì)算平均損失。

4 數(shù)據(jù)結(jié)果與分析

本文的實(shí)驗(yàn)環(huán)境為L(zhǎng)inux操作系統(tǒng)，采用英偉達(dá)(NVDIA)顯卡，CUDA10.0，Pytorch版本為3.7，顯卡內(nèi)存為12G。

實(shí)驗(yàn)主要分為了三部分：運(yùn)用知識(shí)蒸餾的思想訓(xùn)練分類(lèi)器模型，并與未經(jīng)蒸餾訓(xùn)練的模型進(jìn)行對(duì)比；構(gòu)建一個(gè)基于小樣本的元學(xué)習(xí)分類(lèi)模型實(shí)現(xiàn)降雨預(yù)測(cè)，并對(duì)比不同深度的分類(lèi)器網(wǎng)絡(luò)對(duì)整個(gè)元學(xué)習(xí)模型準(zhǔn)確度的影響；與目前主流的元學(xué)習(xí)模型進(jìn)行效果對(duì)比。

4.1 分類(lèi)器模型的訓(xùn)練結(jié)果分析與對(duì)比

通過(guò)運(yùn)用知識(shí)蒸餾的思想，本文選擇ResNet110作為預(yù)訓(xùn)練的教師模型。同時(shí)考慮到不同網(wǎng)絡(luò)深度的encoder對(duì)D-MB模型分類(lèi)效果的影響，分別選擇ResNet12，ResNet18，ResNet34，ResNet50作為學(xué)生模型，在cifar100數(shù)據(jù)集上進(jìn)行訓(xùn)練對(duì)比。

本小節(jié)的實(shí)驗(yàn)主要分為兩個(gè)部分。首先，對(duì)上面所提及的4個(gè)學(xué)生網(wǎng)絡(luò)分別進(jìn)行了隨機(jī)初始化獨(dú)立訓(xùn)練。然后，再對(duì)同樣的4個(gè)學(xué)生網(wǎng)絡(luò)進(jìn)行蒸餾實(shí)驗(yàn)。訓(xùn)練的基本設(shè)置為迭代200次，批處理數(shù)量為128，學(xué)習(xí)率為0.1，權(quán)重遞減1e-4，學(xué)習(xí)動(dòng)量為0.9，優(yōu)化器選用Adam。兩次的具體結(jié)果如下表2所示。

表2 分類(lèi)器模型結(jié)果對(duì)比

從上表可以觀察到，隨著網(wǎng)絡(luò)的加深，學(xué)生模型的準(zhǔn)確度越來(lái)越高。且通過(guò)蒸餾實(shí)驗(yàn)訓(xùn)練出的模型準(zhǔn)確度均高于獨(dú)立訓(xùn)練的模型。由此可見(jiàn)，運(yùn)用知識(shí)蒸餾的思想可以明顯提高分類(lèi)器網(wǎng)絡(luò)的性能。

4.2 D-MB模型實(shí)驗(yàn)結(jié)果的分析

本次實(shí)驗(yàn)采用的數(shù)據(jù)集為自建的降雨云數(shù)據(jù)。為了體現(xiàn)D-MB模型在跨域分類(lèi)方面的有效性，本文將該數(shù)據(jù)集(共6個(gè)類(lèi)，120張)中的4個(gè)類(lèi)劃分為支持集(80張)，剩下的2個(gè)類(lèi)劃分為詢(xún)問(wèn)集(40張)，然后分別將shot數(shù)設(shè)置為1和5進(jìn)行訓(xùn)練和測(cè)試。

在進(jìn)行D-MB實(shí)驗(yàn)之前，需要將蒸餾后的學(xué)生網(wǎng)絡(luò)去掉全連接層作為元基線(xiàn)模型的encoder。在接下來(lái)的實(shí)驗(yàn)中，分別采用ResNet12，ResNet18，ResNet34，ResNet50作為元基線(xiàn)模型的encoder進(jìn)行實(shí)驗(yàn)對(duì)比，挑選出性能最佳的主干網(wǎng)絡(luò)模型。訓(xùn)練的基本設(shè)置為迭代20次，每個(gè)task的batch為4，學(xué)習(xí)率為0.001，權(quán)重遞減1e-4，優(yōu)化器選用Adam。具體的模型準(zhǔn)確度測(cè)試結(jié)果如表4所示。

表4 D-MB模型實(shí)驗(yàn)結(jié)果

由上表觀察可得，ResNet12在降雨云數(shù)據(jù)集上的分類(lèi)效果最佳，因此本文采用ResNet12作為元基線(xiàn)模型的encoder。D-MB模型訓(xùn)練精度如圖4和圖5所示。

圖4 ResNet12的1shot訓(xùn)練準(zhǔn)確度

從圖中可以看出，D-MB模型的1shot和5shot的訓(xùn)練精度分別可以達(dá)到57%和74.78%。

圖5 ResNet12的5shot訓(xùn)練準(zhǔn)確度

4.3 與目前主流的元學(xué)習(xí)模型的對(duì)比分析

目前，元學(xué)習(xí)模型方法大致可以分為基于記憶的元學(xué)習(xí)方法，基于優(yōu)化的元學(xué)習(xí)方法，以及基于距離度量的元學(xué)習(xí)方法這3類(lèi)。在本小節(jié)中，本文主要選擇兩種應(yīng)用較為廣泛且效果得到了學(xué)界認(rèn)可的元學(xué)習(xí)模型——Prototype Network和Matching Network。在進(jìn)行對(duì)比實(shí)驗(yàn)時(shí)，對(duì)于Prototype Network和Matching Network模型訓(xùn)練的基本設(shè)置均為迭代80次，采用隨機(jī)梯度下降法，學(xué)習(xí)率為0.001。最后的實(shí)驗(yàn)對(duì)比結(jié)果如下表5所示。

表5 元學(xué)習(xí)模型實(shí)驗(yàn)結(jié)果對(duì)比

從表中可以看出，本文提出的D-MB模型相比于Prototype Network和Matching Network模型在自建的降雨云數(shù)據(jù)上表現(xiàn)出了更高的預(yù)測(cè)準(zhǔn)確度。

5 結(jié)語(yǔ)

本文根據(jù)世界氣象組織提供的資料，建立了一個(gè)新的降雨云圖像數(shù)據(jù)集，其中包括了6類(lèi)降雨云，各類(lèi)20張，共120張圖片。并在此基礎(chǔ)上提出了一種基于小樣本學(xué)習(xí)的降雨云分類(lèi)模型(D-MB模型)，進(jìn)行天氣預(yù)測(cè)。整個(gè)模型分為了兩個(gè)部分：分類(lèi)器模型和元學(xué)習(xí)模型。其中，在分類(lèi)器模型的訓(xùn)練過(guò)程中引入知識(shí)蒸餾的思想，使得相比于傳統(tǒng)獨(dú)立訓(xùn)練出的分類(lèi)模型準(zhǔn)確率要高。利用降雨云數(shù)據(jù)集訓(xùn)練出的元學(xué)習(xí)模型的1shot和5shot測(cè)試精度高達(dá)54.2%和70.2%。相比于目前常見(jiàn)的元學(xué)習(xí)分類(lèi)模型擁有更好的跨域性和更高的準(zhǔn)確性。通過(guò)各類(lèi)降雨云對(duì)應(yīng)的降雨信息，在一定程度上可以實(shí)現(xiàn)實(shí)時(shí)有效地天氣預(yù)測(cè)。