基于深度學(xué)習(xí)的衛(wèi)星多通道圖像融合的海霧監(jiān)測處理方法

黃彬 吳銘 孫舒悅 趙偉 崔戰(zhàn)北 呂成

(1 國家氣象中心，北京 100081； 2 北京郵電大學(xué)，北京 100876)

引言

海霧是海洋上低層大氣中的一種水汽凝結(jié)(華)現(xiàn)象，由于水滴或冰晶(或二者皆有)的大量積聚，使水平能見度降低到1 km以下。海霧無論在海上還是在沿岸地帶，都因其惡劣的能見度對交通運輸、海洋捕撈和海洋開發(fā)工程以及軍事活動等造成不良影響。由于海霧的以上危害，所以對于海霧的實時監(jiān)測和預(yù)報就顯得尤為重要。基于氣象衛(wèi)星的海霧檢測的現(xiàn)有方法中閾值法較多，即利用數(shù)值反演的方法，這類方法分析出云霧在物理特性上的區(qū)別，映射到數(shù)據(jù)通道上的差別設(shè)定不同的閾值進行區(qū)分，但需要根據(jù)時間和空間條件的不同，設(shè)置不同的閾值[1-2]。現(xiàn)有一種方法是使用U-Net深度學(xué)習(xí)模型構(gòu)建MODIS多光譜圖像的海霧檢測模型[3]，相比傳統(tǒng)閾值方法該模型更加靈活和智能化，提高了海霧檢測的準確率，但僅使用了可見光圖像，紅外通道包含的大氣信息并未有效利用，且小塊圖像處理和簡單拼接的方式，使得拼接痕跡明顯，對海霧和云邊緣的判斷仍需改進。另一種方法是基于氣象衛(wèi)星數(shù)據(jù)(Himawari-8標準數(shù)據(jù))[4]，將安徽地區(qū)衛(wèi)星圖像劃分為柵格，使用多通道卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks, CNN)分別判定每個柵格是否為霧區(qū)，但結(jié)果對霧的邊緣檢測不夠準確，并且面向的是陸地霧監(jiān)測。本文提出的基于深度學(xué)習(xí)的靜止氣象衛(wèi)星多通道圖像融合的方法能夠結(jié)合多通道圖像特征，使用深度卷積神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)方法實現(xiàn)對渤海和黃海地區(qū)的海霧特征檢測提取與特征量設(shè)計，獲得更加精準的海霧監(jiān)測。

1 數(shù)據(jù)和處理

1.1 數(shù)據(jù)介紹

由于渤海、黃海海霧頻繁發(fā)生，因此對該區(qū)域的海霧作為研究對象。采用Himawari-8半小時標準數(shù)據(jù)，每個時刻包含16通道數(shù)據(jù)，對應(yīng)16通道衛(wèi)星圖像。

表1為Himawari-8數(shù)據(jù)介紹。數(shù)據(jù)經(jīng)緯度范圍：29.74°～41°N和117.5°～128.76°E。根據(jù)2017—2019年《海洋氣象學(xué)報》中《海洋天氣評述》描述的黃渤海區(qū)域發(fā)生海霧的時間段，選取包含海霧數(shù)據(jù)的樣本[5-7]。

表1 Himawari-8數(shù)據(jù)介紹

這個數(shù)據(jù)集包含兩部分，圖像和標簽。圖像大小為1024列×1024行，包含16個通道的圖像。通過選擇3個通道，能夠生成彩色圖像。對于標簽，每個標簽大小是1024×1024，其中海霧區(qū)域標注為白色，其他區(qū)域標注為黑色。對于結(jié)果的評價指標有兩個，一是均交并比(mIOU)，二是觀測值檢驗。在使用第一種評價指標時，我們將2017和2018年有超像素輔助人工標注標簽的201個白天圖像隨機劃分成151個有標簽的訓(xùn)練圖像和50個有標簽的測試圖像。在使用第2種評價指標時，我們采用的衛(wèi)星訓(xùn)練數(shù)據(jù)是2017和2018年有超像素輔助人工標注標簽的201個白天圖像，采用的衛(wèi)星測試數(shù)據(jù)是2019年3月11日至7月20日，共計132 d，每天22張白天圖，選取北京時間07:00—17:30，有少量缺失，共2756個時刻圖。我們在黃渤海區(qū)域選了37個站點，包括海島和浮標數(shù)據(jù)，選取的海上觀測站數(shù)據(jù)是能與衛(wèi)星測試數(shù)據(jù)時間和區(qū)域有交集的數(shù)據(jù)，其中海上觀測站數(shù)據(jù)的時間間隔為3 h，每天4組數(shù)據(jù)(北京時間08:00、11:00、14:00和17:00)，且缺失值較多，青島的3個站點數(shù)據(jù)完整，且數(shù)據(jù)的時間間隔為1 h，下文統(tǒng)稱黃渤海區(qū)域和青島這40個觀測站為海上觀測站。綜上共有海上觀測站數(shù)據(jù)10559個。海上觀測站數(shù)據(jù)不是用來建模，只是用這些觀測站的觀測值來檢驗衛(wèi)星圖像結(jié)果。

圖1為黃渤海區(qū)域37個海上觀測站點(1～37)和青島3個觀測站點(38～40)分布情況，其中藍色為海洋，棕色和綠色為陸地，黃渤海區(qū)域37個站點標為紅色三角，青島3個站點標為橙色圓圈。表2為觀測站點的具體經(jīng)緯度。

圖1 黃渤海區(qū)域37個海上觀測站點(紅色三角)和青島3個站點(橙色圓圈)(包括海島和浮標數(shù)據(jù))空間分布

表2 黃渤海區(qū)域37個海上觀測站點和青島3個站點經(jīng)緯度

1.2 圖像增強及海霧標簽標注

1.2.1 圖像增強

Himawari-8數(shù)據(jù)每個時刻的都有16張圖片，每個圖片代表一個通道。為了便于專家根據(jù)圖像特征標注海霧區(qū)域，需要選擇合適的三通道合成彩色圖像，服務(wù)于人工解譯。我們使用XGBoost[8]對16個通道進行評估。XGBoost可用于主成分分析，能夠?qū)λ型ǖ赖闹匾赃M行排序，計算出哪些通道對于海霧在圖像特征方面特點更加重要。XGBoost可以表示為：

(1)

損失函數(shù)表示為：

(2)

經(jīng)過了XGBoost對16個通道進行分析后，我們得到16個通道關(guān)于海霧檢測任務(wù)的重要性排序，排名前3的通道依次是3，4，14，因此對于每一個時刻，將這3個通道的數(shù)據(jù)提取出來，融合為彩色圖像，便于專家進行標注。根據(jù)表1，選出的排名前3通道中3通道的物理性質(zhì)包含霧。7通道的物理性質(zhì)也包含霧，但其中心波長為3.9 μm,介于3.55～3.93 μm之間，這個范圍通道在白天的中紅外云圖上物象間色調(diào)的相對變化十分復(fù)雜，是圖像識別的一大技術(shù)難題[9]，所以未選用7通道。另外，由于1，2，3通道合成的彩色圖像是可見光圖片，比較符合人眼的觀察習(xí)慣，因此也將1，2，3通道合成真彩圖片，輔助進行標注判斷。圖2為1，2，3通道合成的真彩圖，圖3為3，4，14通道合成的偽彩圖。

圖2 2018年4月28日03:00(UTC)黃渤海區(qū)域1，2，3通道合成圖像(黃色矩形框中為海霧,下同)

圖3 2018年4月28號03:00(UTC)黃渤海區(qū)域3，4，14通道合成圖像

1.2.2 超像素輔助的人工海霧標注

使用SLIC(Simple Linear Iterative Clustering)超像素算法[10]，先對偽彩圖做超像素分割，然后基于超像素塊做人工海霧標注。超像素自適應(yīng)的邊緣算法非常適合云霧邊緣的提取，同時超像素輔助的人工標注與人工邊緣提取相比，更為高效，標簽也更加精細。

設(shè)定每個圖像使用SLIC生成300個像素塊，決定算法生成超像素塊形狀的參數(shù)設(shè)定為4，為了方便標注，我們設(shè)計并實現(xiàn)了一個標注工具，將選擇超像素圖像塊的操作內(nèi)置到標注工具中，可以更加便捷地獲取精細標注標簽。其中海霧區(qū)域標注為白色，其他區(qū)域標注為黑色，如圖4所示。

圖4 2018年5月29號23:30(UTC)黃渤海區(qū)域1，2，3通道原圖像(a)、3，4，14通道原圖像(b)、超像素算法處理后圖像(c)和標注結(jié)果圖像(d)

2 深度學(xué)習(xí)海霧檢測

2.1 深度學(xué)習(xí)海霧檢測框架

首先使用訓(xùn)練集(151個有標簽的訓(xùn)練圖像)來訓(xùn)練下面圖5中的初步模型，訓(xùn)練300期(epoch)后得到圖5中海霧識別模型，再將測試集(50個有標簽的測試圖像)作為海霧識別模型的輸入，海霧識別模型的輸出為識別結(jié)果，最后對比得到的識別結(jié)果與測試集的真實標簽，用相應(yīng)的評估指標來評估海霧識別模型的準確度。

圖5 深度學(xué)習(xí)海霧檢測框架

2.2 深度卷積神經(jīng)網(wǎng)絡(luò)D-LinkNet

D-LinkNet[11]以LinkNet[12]作為基本骨架，D-LinkNet使用在ImageNet[13]數(shù)據(jù)集上訓(xùn)練好的ResNet[14]作為網(wǎng)絡(luò)的骨架，并在中心部分添加帶有直接連接的空洞卷積層，D-LinkNet結(jié)構(gòu)如圖6所示。

圖6 D-LinkNet結(jié)構(gòu)

D-LinkNet的A部分為網(wǎng)絡(luò)的Encoder，這部分以預(yù)訓(xùn)練好的ResNet作為基礎(chǔ)。使用ImageNet預(yù)訓(xùn)練的ResNet作為初始化可以增強D-LinkNet的表征與泛化能力，同時在訓(xùn)練時可以極大地提升網(wǎng)絡(luò)的收斂速度。

B部分為網(wǎng)絡(luò)的中心部分，如圖7所示。這部分使用添加捷徑連接的空洞卷積，形成串并結(jié)合的結(jié)構(gòu)，展開結(jié)構(gòu)見圖。B部分展開圖分為五條支路，其中每條支路都有不同的深度和不同的感受野大小，從上至下，網(wǎng)絡(luò)對輸入特征圖譜的感受野大小分別為31,15,7,3,1，深度為4,3,2,1,0(深度為0表示恒等映射)。這種結(jié)構(gòu)在保持特征的空間分辨率不變的同時，極大地擴增網(wǎng)絡(luò)中心部分感受野，同時對不同深度、不同廣度的特征進行融合，使最后生成的特征圖既有足夠大的感受野，又有豐富多維的語義信息，且特征尺度不變，沒有損失空間上的相對信息。

圖7 D-LinkNet中心部分展開示意

C部分為網(wǎng)絡(luò)的Decoder部分，圖中綠色箭頭部分使用殘差網(wǎng)絡(luò)的瓶頸結(jié)構(gòu)，這種結(jié)構(gòu)通過引入1×1的卷積核來降低整體的計算量，同時可以增加網(wǎng)絡(luò)中激活函數(shù)的數(shù)目，提升網(wǎng)絡(luò)的表征能力。C部分使用轉(zhuǎn)置卷積進行上采樣，對特征圖譜進行邊長32倍上采樣，還原出與原始圖像相同尺度的語義標簽圖。

3 試驗

3.1 評價指標

選擇均交并比(mIOU)和觀測值檢驗作為語義分割結(jié)果的評估指標。

mIOU[15]是語義分割的標準度量，其計算兩個集合的交集與并集之比。在語義分割問題中，這兩個集合是真實值和預(yù)測值。其公式可變形為：

(3)

式中：TP為真正；FN為假負；FP為假正。

mIOU是各類IOU求和再取平均，其中IOU是交并比，表示某一類別預(yù)測結(jié)果和真實值的交集與并集的比值。mIOU的公式為:

(4)

式中：i是真實值；j是預(yù)測值；pij表示將i預(yù)測成j。

觀測值檢驗,將得到的衛(wèi)星測試數(shù)據(jù)結(jié)果與海上觀測站數(shù)據(jù)結(jié)果進行對比，使用霧區(qū)準確率，霧區(qū)識別率和檢測正確率作為評估指標，其公式為：

(5)

(6)

(7)

式中：mf表示海上觀測站觀測的有霧數(shù)據(jù)；sf表示經(jīng)過我們方法檢測顯示有霧數(shù)據(jù)；mn表示海上觀測站觀測的無霧數(shù)據(jù)；sn表示經(jīng)過我們方法檢測顯示無霧數(shù)據(jù)；cc表示云覆蓋，密不透風(fēng)的中高云覆蓋；ntotal為所有觀測樣本數(shù)；Pa表示霧區(qū)準確率；Pr表示霧區(qū)識別率；Da表示檢測正確率。

霧區(qū)識別率沒有統(tǒng)計云覆蓋情況，因為基于圖像，很難識別。

3.2 實現(xiàn)細節(jié)

對于mIOU指標，采用的衛(wèi)星數(shù)據(jù)是2017和2018年超像素輔助人工標注201幅圖像。在訓(xùn)練前，隨機劃分了151個有標簽的訓(xùn)練圖像和50個有標簽的測試圖像。訓(xùn)練圖像是16通道(1024×1024×16)的原始圖像，我們使用隨機旋轉(zhuǎn)和翻轉(zhuǎn)來增強圖像。在2張RTX2080Ti上訓(xùn)練D-LinkNet深度卷積神經(jīng)網(wǎng)絡(luò)，用Facol Loss[16]和MSE loss相加作為損失函數(shù)。其中Focal Loss旨在解決one-stage目標檢測器在訓(xùn)練過程中出現(xiàn)的極端前景背景類不均衡問題(如，前景：背景=1:1000)，F(xiàn)acol LossFL是由CE loss添加調(diào)制因子(1-pt)γ而成，其公式為：

FL(pt)=-(1-pt)γlg(pt)

(8)

(9)

式中：γ≥0為可調(diào)的注意力參數(shù)；(1-pt)γ為調(diào)制因子，該因子可以減少易分類樣本的權(quán)重，從而使得模型在訓(xùn)練時更專注于難分類的樣本。在本問題中的體現(xiàn)是，對于大部分的樣本，海霧區(qū)域只占整張圖片的一小部分，使用Focal Loss能夠讓神經(jīng)網(wǎng)絡(luò)在訓(xùn)練時更加專注于小部分的海霧。y=1是真實類的標簽；p∈[0,1]是模型對標簽真實類的估計概率。

MSE loss指的是模型預(yù)測值f(x)與樣本真實值y之間距離平方的平均值MSE，其公式為：

(10)

式中：yi和f(xi)分別表示第i個樣本的真實值和預(yù)測值；m為樣本個數(shù)。

選用Adam[17]作為優(yōu)化器，學(xué)習(xí)率設(shè)為0.0005，批大小(batch size)設(shè)置為4,然后將D-LinkNet網(wǎng)絡(luò)在訓(xùn)練集上訓(xùn)練300個epoch。

對于觀測值檢驗指標，我們采用的衛(wèi)星訓(xùn)練數(shù)據(jù)是2017和2018超像素輔助人工標注圖像201張。其他訓(xùn)練步驟與上文mIOU指標一致。

3.3 試驗結(jié)果

使用基于D-LinkNet深度卷積神經(jīng)網(wǎng)絡(luò)的海霧識別模型對衛(wèi)星數(shù)據(jù)測試集進行測試，最終在測試集上的mIOU為0.9436。圖8中左邊是測試集原圖，右邊是識別結(jié)果圖，其中黃色矩形框中為海霧,黃色環(huán)形區(qū)為小塊海霧。左右對比得出我們的海霧識別模型不但可以識別出大塊海霧且對小塊海霧也能較好地識別。

圖8 2018年6月21號2:00(UTC)黃渤海區(qū)域測試集1，2，3通道原圖(a)與識別結(jié)果圖(b)

統(tǒng)計衛(wèi)星測試數(shù)據(jù)結(jié)果與海上觀測站數(shù)據(jù)結(jié)果，再根據(jù)本文3.1節(jié)中的霧區(qū)準確率，霧區(qū)識別率和檢測正確率計算公式，計算得出霧區(qū)準確率為66.5%，霧區(qū)識別率為51.9%，檢測正確率為93.2%。最終將數(shù)據(jù)記錄在表3中。

表3 衛(wèi)星測試數(shù)據(jù)結(jié)果與海上觀測站數(shù)據(jù)結(jié)果對比

4 結(jié)論與討論

海霧無論在海上還是在沿岸地帶，都因其惡劣的能見度對交通運輸、海洋捕撈和海洋開發(fā)工程以及軍事活動等造成不良影響，因此對于海霧的實時監(jiān)測和預(yù)報就顯得尤為重要。本文提出了基于深度學(xué)習(xí)的靜止氣象衛(wèi)星多通道圖像融合分割算法，使用基于D-LinkNet深度卷積神經(jīng)網(wǎng)絡(luò)的海霧識別模型，選擇mIOU和觀測值檢驗作為語義分割結(jié)果的評估指標。最終在衛(wèi)星數(shù)據(jù)測試集上的mIOU為0.9436，并對比衛(wèi)星數(shù)據(jù)測試結(jié)果與海上觀測站數(shù)據(jù)結(jié)果，得到檢測正確率是93.2%，結(jié)果表明本文提出的方法能為海霧識別提供一個可靠的參考。與傳統(tǒng)閾值方法相比，深度學(xué)習(xí)方法優(yōu)點是可以使用衛(wèi)星16個通道數(shù)據(jù)作為輸入，自動地學(xué)習(xí)數(shù)據(jù)特征，缺點是深度學(xué)習(xí)方法對數(shù)據(jù)物理意義的可解釋性不如傳統(tǒng)閾值方法。

綜上，基于深度學(xué)習(xí)的靜止氣象衛(wèi)星多通道圖像融合分割算法對于海霧監(jiān)測具有重要的科學(xué)意義和應(yīng)用前景。