面向輕量化的地基云圖分割技術(shù)研究

張 雪, 賈克斌, 劉 鈞, 張 亮

(1.北京工業(yè)大學(xué) 信息學(xué)部，北京 100124；2.先進(jìn)信息網(wǎng)絡(luò)北京實(shí)驗(yàn)室，北京 100124；3.華云升達(dá)(北京)氣象科技有限公司，北京 102299)

云作為一種重要?dú)庀笠蛩?，是水氣循環(huán)的中間環(huán)節(jié)，不同形態(tài)和數(shù)量的云常伴隨不同的天氣現(xiàn)象，因此云量的觀測對(duì)天氣預(yù)測具有一定的指導(dǎo)意義。云量檢測是檢測云體積的大小，用云體遮蔽天空視野成數(shù)的指標(biāo)來衡量云量。準(zhǔn)確分割云圖，獲取有效的云量信息，不僅能提升天氣預(yù)報(bào)的準(zhǔn)確性，也為飛行保障、人工增雨等提供幫助[1]。

目前云圖來源有衛(wèi)星遙感觀測得到的云圖和地基觀測得到的云圖，本研究針對(duì)從地面觀測得到的地基云圖，它有形狀、結(jié)構(gòu)、紋理等精細(xì)的云體細(xì)節(jié)信息，能更有效地分割云圖、檢測云量，進(jìn)而有效輔助局部區(qū)域內(nèi)的天氣預(yù)測。近幾年，地基云圖的觀測主要靠人工目測，由觀測員根據(jù)自己的經(jīng)驗(yàn)對(duì)觀測到的云量進(jìn)行判斷，但這個(gè)方法存在受主觀意識(shí)和情緒干擾、成本高等弊端，所以基于地基云圖的云量自動(dòng)檢測方法逐漸發(fā)展起來，而云圖分割是實(shí)現(xiàn)云量自動(dòng)化檢測的關(guān)鍵步驟。

近年來，不少學(xué)者提出了越來越多的云圖分割方法，最初提出基于閾值的分割方法，Yamashita等[2]通過定義天空指數(shù)SI和亮度指數(shù)BI，用SI和BI閾值將云和天空分開；周文君等[3]用全天空成像儀觀測云量，通過統(tǒng)計(jì)分析像素點(diǎn)紅藍(lán)比值，設(shè)定閾值小于0.62為晴空，閾值大于0.66為云體；Zhu等[4]提出一種局部閾值算法，根據(jù)不同區(qū)域的特征使用不同的閾值來區(qū)分云體和天空，提高了云圖分割精度。

隨著深度學(xué)習(xí)和卷積神經(jīng)網(wǎng)絡(luò)的快速發(fā)展，越來越多的深度學(xué)習(xí)結(jié)合卷積神經(jīng)網(wǎng)絡(luò)方法被用到地基云圖的檢測上。毋立芳等[5]提出一種基于超像素分析的全卷積網(wǎng)絡(luò)(Fully Convolutional Networks,FCN)和深度卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks,CNN)結(jié)合的FCN-CNN云圖分割方法，該方法首先通過超像素分析實(shí)現(xiàn)云圖每個(gè)像素點(diǎn)近領(lǐng)域的聚類，然后將聚類結(jié)果輸入FCN-CNN，可以得到較精確的分割結(jié)果。沈慧想等[6]提出一種對(duì)稱式密集連接卷積神經(jīng)網(wǎng)絡(luò)對(duì)云圖進(jìn)行分割，該方法首先通過普通卷積提取云圖特征，然后經(jīng)過密集連接塊和上采樣模塊處理特征圖，最后并聯(lián)融合網(wǎng)絡(luò)淺層和深層特征，實(shí)現(xiàn)云圖分割，該方法在一定程度上提高了地基云圖分割的精度，但是模型參數(shù)量太大，嚴(yán)重影響了訓(xùn)練速度。Dev等[7]利用Encoder-Decoder架構(gòu)，提出了一種基于深度學(xué)習(xí)的云圖分割網(wǎng)絡(luò)CloudSegNet，使云圖分割準(zhǔn)確率達(dá)到了94%。

隨著卷積神經(jīng)網(wǎng)絡(luò)在圖像分割領(lǐng)域發(fā)展得越來越成熟，也有不少卷積神經(jīng)網(wǎng)絡(luò)用于云圖分割技術(shù)，通過對(duì)大量數(shù)據(jù)的學(xué)習(xí)，提取精細(xì)的云體特征，使網(wǎng)絡(luò)魯棒性更高、泛化能力更強(qiáng)，進(jìn)而達(dá)到更佳的分割效果。但現(xiàn)有云圖分割網(wǎng)絡(luò)模型參數(shù)量較大，運(yùn)算復(fù)雜度較高，導(dǎo)致訓(xùn)練速度慢，難以實(shí)際部署。因此研究一種低參數(shù)量、低顯存占用的云圖分割技術(shù)，實(shí)現(xiàn)云圖的精準(zhǔn)分割對(duì)研究氣候變化、天氣預(yù)測等氣象領(lǐng)域問題具有極大的實(shí)際應(yīng)用價(jià)值。本文構(gòu)建了標(biāo)準(zhǔn)GT地基云圖數(shù)據(jù)集HBMCD_GT，基于這一數(shù)據(jù)集，提出了一種基于地基云圖的輕量化分割網(wǎng)絡(luò)LGCSegNet(Lightweight Ground-Based Cloud Image Segmentation Network)，可以在低運(yùn)算量前提下更好地提取云體特征信息，實(shí)現(xiàn)對(duì)云圖的精確分割。

1 數(shù)據(jù)集

1.1 數(shù)據(jù)集構(gòu)建

本文構(gòu)建的云圖分割數(shù)據(jù)集HBMCD_GT是在HBMCD數(shù)據(jù)集[8]作為原圖片的基礎(chǔ)上進(jìn)行構(gòu)建的，具體構(gòu)建步驟如圖1所示。

圖1 HBMCD_GT數(shù)據(jù)集構(gòu)建流程

HBMCD數(shù)據(jù)集中的圖片大多是白天云圖，會(huì)有很強(qiáng)的太陽光，嚴(yán)重干擾了云圖分割，因此為了構(gòu)建標(biāo)準(zhǔn)的GT地基云圖數(shù)據(jù)集，主要有以下兩個(gè)步驟：① 訓(xùn)練一個(gè)分割效果較好的分割網(wǎng)絡(luò)，輔助云圖分割；② 將云圖YCrCb的Y通道分量進(jìn)行閾值分割后的結(jié)果與云圖分割的0-1圖像矩陣相與，再進(jìn)行人工校準(zhǔn)標(biāo)注，最后得到精準(zhǔn)的GT圖。

上述步驟①的流程如圖1(a)所示，選用分割效果表現(xiàn)出色的UNet作為預(yù)訓(xùn)練網(wǎng)絡(luò)，用開源的分割數(shù)據(jù)集SWIMSEG[9]和SWINSEG[10]作為訓(xùn)練數(shù)據(jù)，但是這兩個(gè)數(shù)據(jù)集中圖片數(shù)量都比較少，為了保證訓(xùn)練網(wǎng)絡(luò)的性能，將上述兩個(gè)數(shù)據(jù)集進(jìn)行數(shù)據(jù)擴(kuò)增，用擴(kuò)增后的數(shù)據(jù)來訓(xùn)練UNet網(wǎng)絡(luò)，擴(kuò)增前后數(shù)據(jù)如表1所示。

表1 數(shù)據(jù)集擴(kuò)增前后數(shù)據(jù)量對(duì)比

標(biāo)準(zhǔn)GT地基云圖數(shù)據(jù)集構(gòu)建步驟②的流程如圖1(b)所示，首先將HBMCD的原始圖片輸入預(yù)訓(xùn)練網(wǎng)絡(luò)UNet，得到0-1圖像矩陣；接著將原始圖片在YCrCb顏色空間提取Y通道分量，然后利用閾值判斷太陽光和云體，大于閾值判斷為太陽光，小于閾值判斷為云體；最后將閾值判斷結(jié)果與0-1圖像矩陣相與，達(dá)到去除太陽光的目的，效果如圖2所示。

圖2 分割數(shù)據(jù)集制作步驟分割效果圖

為保證數(shù)據(jù)集的置信度，通過對(duì)分割圖逐張進(jìn)行人工校準(zhǔn)標(biāo)注，最后形成標(biāo)準(zhǔn)的HBMCD_GT數(shù)據(jù)集。

1.2 數(shù)據(jù)集對(duì)比

將現(xiàn)有的開源云圖分割數(shù)據(jù)集與本文構(gòu)建的數(shù)據(jù)集進(jìn)行對(duì)比，如表2所示，SWIMSEG數(shù)據(jù)集是白天地基云圖的原圖和GT圖，而SWINSEG數(shù)據(jù)集是夜晚地基云圖的原圖和GT圖。以上兩個(gè)數(shù)據(jù)集中云圖的GT圖數(shù)量比較少，本文構(gòu)建的數(shù)據(jù)集既包含白天云圖的GT圖也包含夜晚云圖的GT圖，圖片數(shù)量較多，為后續(xù)云量檢測提供了堅(jiān)實(shí)的數(shù)據(jù)基礎(chǔ)。

表2 數(shù)據(jù)集比較

2 輕量化地基云圖分割網(wǎng)絡(luò)模型

由于現(xiàn)有云圖分割方法分割效果不佳，無法解決太陽光干擾，并且網(wǎng)絡(luò)模型參數(shù)量和運(yùn)算復(fù)雜度高，不便于實(shí)際部署應(yīng)用，因此采用在語義分割上表現(xiàn)較好的Encoder-Decoder框架思想構(gòu)建本文網(wǎng)絡(luò)模型LGCSegNet，網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。圖片輸入網(wǎng)絡(luò)后，首先進(jìn)入Encoder模塊，通過一層3×3卷積和最大池化層提取圖像淺層特征信息，然后通過特征提取單元和下采樣單元提取圖像深層特征。為了提升神經(jīng)網(wǎng)絡(luò)特征提取的效果，在加深網(wǎng)絡(luò)深度的前提下保證網(wǎng)絡(luò)參數(shù)量盡可能小，通過重復(fù)4次Down-Conv達(dá)到目的，每個(gè)Down-Conv模塊由不同個(gè)數(shù)的特征提取單元和一個(gè)下采樣單元組成，經(jīng)過4個(gè)Down-Conv模塊后，特征進(jìn)入一個(gè)1×1的卷積；接著進(jìn)入Decoder部分，該部分采用了4個(gè)Up-Conv的上采樣單元和1個(gè)final Up-Conv的上采樣單元，在Up-Conv上采樣單元中也使用了膨脹卷積，能有效降低參數(shù)量，避免特征損失。

圖3 LGCSegNet網(wǎng)絡(luò)結(jié)構(gòu)

2.1 Encoder模塊

在Encoder模塊中利用卷積層和池化層提取不同尺度的特征，其流程為：224×224的輸入圖像首先經(jīng)過一個(gè)3×3卷積層和最大池化層得到112×112大小的圖像特征，然后再通過4個(gè)Down-Conv模塊，每個(gè)Down-Conv模塊的輸出特征大小是輸入該模塊特征的一半，最后經(jīng)過一個(gè)1×1卷積得到7×7大小的特征。其中4個(gè)Down-Conv模塊構(gòu)成了Encoder模塊特征提取的主要部分，而每個(gè)Down-Conv本質(zhì)是由不同個(gè)數(shù)的特征提取單元和一個(gè)下采樣單元構(gòu)成，所以特征提取單元和下采樣單元的設(shè)計(jì)是本文網(wǎng)絡(luò)設(shè)計(jì)的重要環(huán)節(jié)之一。

為了減少參數(shù)量，本文借鑒MobileNet[11]的設(shè)計(jì)思想，在特征提取單元中采用深度可分離卷積，其基本思想是把標(biāo)準(zhǔn)卷積分解成深度卷積(Depthwise Convolution，DWConv)和1×1逐點(diǎn)卷積(Pointwise Convolution)，先用深度卷積實(shí)現(xiàn)每個(gè)卷積核對(duì)應(yīng)一個(gè)輸入通道，然后再用1×1的逐點(diǎn)卷積來組合不同通道深度卷積輸出的信息，這個(gè)過程不僅可以有效減少參數(shù)計(jì)算量和模型大小，而且還保證了特征提取單元的寬度和深度。為了提取更多豐富的云體結(jié)構(gòu)特征，在深度卷積中加入不同膨脹率的膨脹卷積(Dilated Convolution)，使模型在同一層有不同的感受野，有效降低模型深度。本文還使用了跳躍連接提取殘差特征，最后，使用通道打亂方法打亂通道間信息，彌補(bǔ)了通道連接帶來的損失，接著利用一個(gè)全局平均池化和兩個(gè)全連接層對(duì)打亂后的通道進(jìn)行整體特征提取，并將輸出結(jié)果與原通道特征圖進(jìn)行逐元素相乘，實(shí)現(xiàn)通道權(quán)重分配，提升模型能力，這就是注意力機(jī)制(Attention)[12]，特征提取單元模型設(shè)計(jì)如圖4所示。

圖4 特征提取單元模型

在下采樣單元中，首先通過一個(gè)1×1卷積整合通道間信息，然后同時(shí)經(jīng)過3×3的平均池化和最大池化，提取局部區(qū)域的整體和輪廓信息，保留主要的特征信息，降低信息冗余，完成不同尺度特征的下采樣。接著將平均池化和最大池化的輸出分別經(jīng)過一個(gè)1×1卷積后實(shí)現(xiàn)通道相連，增加通道寬度，下采樣單元網(wǎng)絡(luò)模型設(shè)計(jì)如圖5所示。

圖5 下采樣單元網(wǎng)絡(luò)模型

2.2 Decoder模塊

為了重現(xiàn)提取的特征，需要將Encoder模塊得到的特征經(jīng)過上采樣單元還原到圖像原始尺寸，這個(gè)過程稱為Decoder。在本文中，使用了4個(gè)Up-Conv和1個(gè)final Up-Conv上采樣單元，為了減少模型參數(shù)量，在Up-Conv中，首先經(jīng)過一個(gè)1×1卷積，再經(jīng)過上采樣增大特征尺寸，最后通過一個(gè)深度卷積和膨脹率為1的膨脹卷積，如圖6(a)所示；而與Up-Conv結(jié)構(gòu)相比final Up-Conv只是將深度卷積和膨脹卷積換成了普通的3×3卷積，如圖6(b)所示。由于深度卷積在減少參數(shù)量的同時(shí)可能會(huì)損失一些特征，所以采用concatenate方法將Encoder模塊與Decoder模塊具有相同尺度特征的通道進(jìn)行合并，以實(shí)現(xiàn)更精細(xì)的圖像特征重現(xiàn)。

圖6 上采樣單元網(wǎng)絡(luò)模型

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)配置

為了滿足實(shí)驗(yàn)過程中快速處理數(shù)據(jù)的要求，本文實(shí)驗(yàn)在實(shí)驗(yàn)室GPU上進(jìn)行，在處理器為Intel?Xeon?Silver 4114 CPU @2.20 GHz，運(yùn)行內(nèi)存為32 GB DDR4，顯卡為Nvidia GeForce RTX 2080的硬件環(huán)境下，搭建Ubuntu 18.04的操作系統(tǒng)，并在該操作系統(tǒng)上用Pytorch 1.4框架和Python 3.7搭建網(wǎng)絡(luò)，實(shí)現(xiàn)網(wǎng)絡(luò)的訓(xùn)練、驗(yàn)證和測試。

本文將HBMCD數(shù)據(jù)集中11000張圖片和本文構(gòu)建的對(duì)應(yīng)HBMCD_GT作為數(shù)據(jù)集，為了讓模型充分學(xué)習(xí)云圖特征，達(dá)到較好的實(shí)驗(yàn)效果，將訓(xùn)練集、驗(yàn)證集、測試集按8∶1∶1的比例分開。網(wǎng)絡(luò)訓(xùn)練批次batch_size設(shè)為32，訓(xùn)練迭代次數(shù)epoch設(shè)為100，學(xué)習(xí)率為0.01，損失函數(shù)是交叉熵函數(shù)，優(yōu)化器是Adam，為了避免實(shí)驗(yàn)過擬合，在訓(xùn)練時(shí)使用early stop，當(dāng)?shù)螖?shù)達(dá)到20次時(shí)，若驗(yàn)證損失依然沒有減小，就停止訓(xùn)練。

本文實(shí)驗(yàn)評(píng)價(jià)指標(biāo)是像素準(zhǔn)確率(Pixel Accuracy，PA)、平均交并比(Mean Intersection over Union，MIoU)，其計(jì)算公式為

(1)

(2)

式中：TP(True Positive)為被模型分類正確的正樣本；TN(True Negative)為被模型分類正確的負(fù)樣本；FN(False Negative)為被模型分類錯(cuò)誤的正樣本；FP(False Positive)為被模型分類錯(cuò)誤的負(fù)樣本；n為類別數(shù)。為了保證最終實(shí)驗(yàn)結(jié)果的可信度，重復(fù)6次實(shí)驗(yàn)并取其均值作為每個(gè)實(shí)驗(yàn)指標(biāo)的最終結(jié)果。

3.2 實(shí)驗(yàn)結(jié)果及分析

將網(wǎng)絡(luò)分割效果圖與原圖、GroundTruth真值圖進(jìn)行對(duì)比，如圖7所示，本文所提出的模型LGCSegNet能分割出大部分的云體，只有一些與天空顏色相近的云體和絲縷狀云體難以被分割出來。

圖7 網(wǎng)絡(luò)云圖分割結(jié)果

為了證明本文模型LGCSegNet在地基云圖上較優(yōu)的分割效果，將本文模型和幾種在語義分割上表現(xiàn)優(yōu)秀的經(jīng)典網(wǎng)絡(luò)進(jìn)行對(duì)比，主要對(duì)比指標(biāo)是像素準(zhǔn)確率和平均交并比，對(duì)比實(shí)驗(yàn)結(jié)果如表3所示。

表3 網(wǎng)絡(luò)性能比較 單位：%

從表3中可以看出，RefineNet、DeepLab-V3、PSPNet和SegNet網(wǎng)絡(luò)的分割準(zhǔn)確率和平均交并比遠(yuǎn)小于LGCSegNet網(wǎng)絡(luò)；雖然經(jīng)典的分割網(wǎng)絡(luò)UNet和FCN的分割準(zhǔn)確率只比LGCSegNet網(wǎng)絡(luò)低1%左右，但是其平均交并比低于LGCSegNet網(wǎng)絡(luò)近3%，所以本文提出的模型LGCSegNet具有最高的分割準(zhǔn)確率和平均交并比，也證明了模型LGCSegNet有較優(yōu)的分割效果。

接著將上述的幾種網(wǎng)絡(luò)在參數(shù)量、運(yùn)算量和單張圖像預(yù)測耗時(shí)上進(jìn)行對(duì)比，結(jié)果如表4所示，其中運(yùn)算量是網(wǎng)絡(luò)模型的浮點(diǎn)運(yùn)算次數(shù)，也就是網(wǎng)絡(luò)模型的時(shí)間復(fù)雜度，它決定了模型的預(yù)測時(shí)間，時(shí)間復(fù)雜度越大，模型預(yù)測的時(shí)間就越長。

從表4中可以看出，除了本文網(wǎng)絡(luò)LGCSegNet，其他網(wǎng)絡(luò)的參數(shù)量都在10.00 MB以上，運(yùn)算量都在10.000 GB以上，單張圖像的預(yù)測時(shí)間均在2.900 s以上，而LGCSegNet網(wǎng)絡(luò)的參數(shù)量和運(yùn)算量跟其他網(wǎng)絡(luò)相比都很小，參數(shù)量只有0.31 MB，運(yùn)算量只有0.108 GB，單張圖像預(yù)測的時(shí)間也只達(dá)到了2.742 s，相比其他網(wǎng)絡(luò)模型，本文網(wǎng)絡(luò)模型參數(shù)量較少，時(shí)間復(fù)雜度較低，進(jìn)一步減少了模型預(yù)測時(shí)間，達(dá)到了網(wǎng)絡(luò)輕量化的目的。由此證明，本文提出的LGCSegNet模型不僅能精準(zhǔn)分割云圖，而且只用了較低的參數(shù)量和時(shí)間復(fù)雜度，占用較低的顯存，耗費(fèi)較少的預(yù)測時(shí)間，為實(shí)際部署應(yīng)用奠定了良好的基礎(chǔ)。

表4 幾種網(wǎng)絡(luò)模型的輕量化對(duì)比

最后將在云圖分割任務(wù)上表現(xiàn)較好的網(wǎng)絡(luò)FCN、UNet和LGCSegNet在模型訓(xùn)練Loss(網(wǎng)絡(luò)輸出與真實(shí)標(biāo)簽之間的誤差)上進(jìn)行對(duì)比，Loss收斂情況如圖8所示，從圖8中可以看出，對(duì)比3條Loss曲線收斂情況，本文模型LGCSegNet的收斂效果最好，進(jìn)一步證明LGCSegNet網(wǎng)絡(luò)性能較優(yōu)，在地基云圖分割任務(wù)上具有較好的表現(xiàn)。

圖8 LGCSegNet、UNet和FCN網(wǎng)絡(luò)Loss對(duì)比

4 結(jié)束語

實(shí)現(xiàn)云量的自動(dòng)化精準(zhǔn)觀測可以有效減小由氣象觀測員主觀因素影響帶來的識(shí)別誤差，節(jié)約人力成本。為了解決現(xiàn)有云圖分割網(wǎng)絡(luò)效果不佳、顯存占用高等問題，本文利用“Encoder-Decoder”網(wǎng)絡(luò)模型框架，結(jié)合不同層次特征通道合并思想，設(shè)計(jì)并構(gòu)建了一個(gè)輕量化的地基云圖分割網(wǎng)絡(luò)模型LGCSegNet。該網(wǎng)絡(luò)能精確提取云圖特征，在一定程度上避免了特征的邊界損失，將本文模型與經(jīng)典的語義分割網(wǎng)絡(luò)模型進(jìn)行對(duì)比實(shí)驗(yàn)，本文模型可以使分割準(zhǔn)確率達(dá)到96.83%，平均交并比達(dá)到86.00%，在輕量化方面，該網(wǎng)絡(luò)不僅能提升云圖分割準(zhǔn)確率，而且能大量降低參數(shù)量、運(yùn)算復(fù)雜度和顯存占用，為云圖分割的實(shí)際應(yīng)用提供了較大可能。大量的實(shí)驗(yàn)數(shù)據(jù)證明本文構(gòu)建的網(wǎng)絡(luò)模型能在輕量化的前提下實(shí)現(xiàn)高準(zhǔn)確率的分割效果，可以為后續(xù)的天氣預(yù)報(bào)等領(lǐng)域的研究提供有效依據(jù)。本文雖然實(shí)現(xiàn)了云圖的分割，但沒有涉及云圖分類的問題，后續(xù)可以實(shí)現(xiàn)云圖分割與云圖分類的聯(lián)合檢測，進(jìn)一步提高分割和分類準(zhǔn)確率。