基于多維損失函數(shù)優(yōu)化FSRNet的氣象觀測圖像超分辨率重構(gòu)算法

王瑞祥

（1.河南省氣象探測數(shù)據(jù)中心，河南 鄭州 450003；2.中國氣象局·河南省農(nóng)業(yè)氣象保障與應(yīng)用技術(shù)重點實驗室，河南 鄭州 450003）

0 引言

目前，我國已建立地面、高空和空間觀測相結(jié)合的綜合氣象觀測網(wǎng)，在支撐公共氣象、資源氣象及生態(tài)氣象服務(wù)中發(fā)揮了顯著作用，但在部分氣象災(zāi)害重點監(jiān)測區(qū)域、特殊地理位置和一些重點服務(wù)區(qū)域仍然存在觀測途徑難、站點稀少等問題，難以捕捉到局地災(zāi)害性天氣現(xiàn)象和觀測資料。據(jù)此，河南作為志愿氣象觀測的試點省份，已招募社會志愿氣象觀測設(shè)備并入觀測站網(wǎng)序列。但是由于志愿觀測設(shè)備存在多樣性，測量環(huán)境各異，儀器缺乏穩(wěn)定性，數(shù)據(jù)采集和傳輸受到通信條件和觀測環(huán)境多種因素的限制，一系列觀測圖像質(zhì)量較低，給研究帶來了困難，因此需要對氣象觀測圖像進(jìn)行超分辨率重構(gòu)。

超分辨率（Super-Resolution，SR）是圖像分析與識別中的一項基本技術(shù)，可以極大地促進(jìn)農(nóng)作物圖像的目標(biāo)識別任務(wù)，在傳統(tǒng)的圖像識別領(lǐng)域應(yīng)用廣泛［1-2］。在農(nóng)業(yè)氣象觀測以及一些志愿觀測圖像中，例如農(nóng)作物的生長圖像、重要天氣現(xiàn)象圖像、天氣過程的圖像等，不同觀測設(shè)備的圖像質(zhì)量存在較大的差異，傳統(tǒng)圖像空間中的像素級均方誤差損失函數(shù)通常運用在極個別圖像的超分辨率重構(gòu)上［3］，其像素級的輸出更接近真實的HR 圖像，會使得輸出的圖像產(chǎn)生平滑和模糊的效果，對細(xì)節(jié)和紋理的要求不高。相對于普通圖像的超分辨率，氣象觀測圖像中不同的觀測要素存在特定的先驗知識，例如霧霾、冰雹、降水、大風(fēng)以及農(nóng)作物不同的周期生長，具有不同的知識特點，這些先驗知識是氣象圖像的超分辨率的關(guān)鍵，例如，不同天氣圖像所對應(yīng)的天氣現(xiàn)象字段以及不同的農(nóng)作物圖片對應(yīng)的生長周期等可以幫助重建更加精細(xì)的目標(biāo)形狀［4］，其字段的構(gòu)造成分可以重塑目標(biāo)細(xì)節(jié)。

通過對FSRNet 超分辨率網(wǎng)絡(luò)各個模塊進(jìn)行分析研究發(fā)現(xiàn)，傳統(tǒng)的超分辨率網(wǎng)絡(luò)模塊之間構(gòu)造相對粗略，損失函數(shù)的設(shè)計相對欠缺不夠完善，從而導(dǎo)致經(jīng)過網(wǎng)絡(luò)訓(xùn)練輸出的超分辨率圖像的紋理不夠精細(xì)、各項硬指標(biāo)和視覺質(zhì)量不高。針對以上問題，本研究提出了一種基于多維損失函數(shù)優(yōu)化FSRNet 的氣象觀測圖像超分辨率重構(gòu)算法，降低了計算復(fù)雜度，節(jié)省了大量的計算量，對網(wǎng)絡(luò)訓(xùn)練采用遞進(jìn)式的方法，對模型進(jìn)行分步訓(xùn)練，解決了網(wǎng)絡(luò)訓(xùn)練時較難的參數(shù)調(diào)整，避免了粗略超分辨率網(wǎng)絡(luò)造成先驗估計準(zhǔn)確性較低等相關(guān)問題，使粗略超分辨率網(wǎng)絡(luò)輸出質(zhì)量較高的圖像。

1 傳統(tǒng)超分辨率網(wǎng)絡(luò)

傳統(tǒng)的超分辨率網(wǎng)絡(luò)結(jié)構(gòu)可大致分為粗糙SR網(wǎng)絡(luò)（coarse SR network）、精細(xì)SR 編碼器（fine SR encoder）、先驗估計網(wǎng)絡(luò)（prior estimation network）和精細(xì)SR 解碼器（fine SR decoder）四個模塊。網(wǎng)絡(luò)的輸入經(jīng)過立方卷積插值模糊處理過的圖像，最后輸出的是高分辨率的SR 圖像。通過立方卷積插值（bicubic）對氣象觀測圖像進(jìn)行接近高分辨率的圖像放大效果處理，為了使先驗估計網(wǎng)絡(luò)直接從分辨率相對較低的氣象觀測圖像中提取到關(guān)鍵的先驗信息，首先不改變輸出圖像大小，使圖像由粗糙SR 網(wǎng)絡(luò)輸入，先快速生成一個粗略的SR圖像，使得先驗估計網(wǎng)絡(luò)能夠提取到相對準(zhǔn)確的圖像中目標(biāo)關(guān)鍵點和解析圖。氣象觀測圖像途徑粗略的SR 網(wǎng)絡(luò)后可以產(chǎn)生粗略SR 圖像，將粗略SR 圖像輸入到先驗估計網(wǎng)絡(luò)中，通過先驗估計網(wǎng)絡(luò)來預(yù)測氣象觀測圖像中的目標(biāo)解析圖和關(guān)鍵點熱圖，對圖像進(jìn)行降采樣，使得輸出的先驗信息包括多個預(yù)測的目標(biāo)解析圖。接著將粗略SR 圖像輸入到精細(xì)SR 編碼器中，精細(xì)SR 編碼器利用殘差塊進(jìn)行特征提取，將特征進(jìn)行下采樣，將先驗特征融合圖像特征作為串聯(lián)結(jié)構(gòu)形式，并把其作為精細(xì)SR 解碼器的輸入，運用精細(xì)SR 解碼器將特征進(jìn)行上采樣到一個較高的分辨率，恢復(fù)最終的HR 圖像，此時相對分辨率較模糊的氣象觀測圖像就完成了傳統(tǒng)的超分辨率重建，可以提高氣象圖像精細(xì)化程度，但圖像的紋理不夠精細(xì)、各項硬指標(biāo)和視覺質(zhì)量仍不高。

2 超分辨率網(wǎng)絡(luò)的改進(jìn)

2.1 粗糙SR網(wǎng)絡(luò)的優(yōu)化

原始的FSRNet 超分辨率網(wǎng)絡(luò)對于圖像的輸入尺寸相對較大，往往是插值過后的低分辨率圖像，然而輸入圖像的尺寸與經(jīng)過神經(jīng)網(wǎng)絡(luò)訓(xùn)練計算的時間復(fù)雜度成正比，尺寸越大則時間復(fù)雜度越高。因此，為了提高網(wǎng)絡(luò)的效率和重構(gòu)質(zhì)量，把原始圖像進(jìn)行降分辨度輸入，保證輸入尺寸為較低的16×16 低分辨率圖像，并以此輸入至粗糙SR 網(wǎng)絡(luò)中進(jìn)行圖像恢復(fù)，并在粗糙SR 網(wǎng)絡(luò)末端融入轉(zhuǎn)置反卷積函數(shù)再把圖像恢復(fù)至128×128×3。FSRNet 在粗糙SR網(wǎng)絡(luò)中使用了3個殘差塊來提取特征，在最后增加一個轉(zhuǎn)置卷積層來放大圖像。

2.2 多維損失函數(shù)構(gòu)建

通過使用FAN網(wǎng)絡(luò)，來提取目標(biāo)熱圖進(jìn)行監(jiān)督訓(xùn)練，引入的蒸餾FAN網(wǎng)絡(luò)表示為FANd。

通過引入圖像目標(biāo)注意力損失，恢復(fù)目標(biāo)圖像周圍區(qū)域的屬性特征，由于圖像的關(guān)鍵點熱圖可以更好地體現(xiàn)目標(biāo)所在的位置特征，所以運用目標(biāo)關(guān)鍵點熱圖表現(xiàn)位置信息，記為Mτ，將放大后的圖像與目標(biāo)圖像構(gòu)成逐要素信息矩陣向量，并對其進(jìn)行向量積計算，以目標(biāo)周圍的圖像特征作為圖像目標(biāo)注意力的重點關(guān)注區(qū)域，由此目標(biāo)注意力損失可以表示為lat，其損失函數(shù)表示為式（1）。

式中：G代表圖像目標(biāo)SR 網(wǎng)絡(luò)的生成器，G在訓(xùn)練的第一階段表示為粗略SR 網(wǎng)絡(luò)，后一階段表示剩余網(wǎng)絡(luò)。HSR和LSR分別為輸入的目標(biāo)圖像和Plow。目標(biāo)熱圖在各通道上的最大值為關(guān)鍵點注意力熱圖Mτ。使熱圖標(biāo)準(zhǔn)化至［0，1］范圍內(nèi)，使得界標(biāo)之間的差異性特征更為鮮明，圖像的長和寬W、H均為128像素。

先驗損失的引入，通過先驗估計網(wǎng)絡(luò)PNet預(yù)測目標(biāo)先驗信息，減少生成的圖像先驗信息和目標(biāo)先驗信息之間的差異性，先驗損失函數(shù)記為lprior，其定義如式（2）。

式中：PNet降采樣后輸出，所以經(jīng)過粗略SR 網(wǎng)絡(luò)后輸出的氣象觀測圖像為64×64像素。

感知損失的引入［5］，使用VGG16網(wǎng)絡(luò)的高級特征記為φVGG，生成更真實的HR 圖像，有效防止生成的氣象圖像產(chǎn)生失真和模糊的問題，感知損失函數(shù)記為lperc，其表現(xiàn)形式如式（3）。

通過引入逐像素均方誤差損失訓(xùn)練，找出目標(biāo)圖像和超分辨圖像之間的差異性最小的界值，均方誤差損失函數(shù)記為lmse，其表現(xiàn)形式如式（4）。

與基于MSE的深度模型圖像重建相比，生成對抗網(wǎng)絡(luò)（GAN）對SR 的圖像重建帶來了顯著的效果，通過判別網(wǎng)絡(luò)區(qū)分SR 圖像和真實環(huán)境下的高分辨率圖像，有效地還原真實環(huán)境下的圖像。引入對抗損失函數(shù)來生成超分辨率氣象觀測圖像，通過構(gòu) 建 鑒 別 器Diden，MSE 損 失 可 以 用IHSR～PNetr與ISR～PNetg之間的關(guān)系來表示，其中IHSR～PNetr表示為圖像的目標(biāo)分布特征，ISR～PNetg表示為圖像生成的分布的特征，用Wasserstein 距離［6］的概念來度量IHSR～PNetr與ISR～PNetg之間的關(guān)系，為了對鑒別器中“Lipschitz-1 條件”進(jìn)行有效規(guī)范和限定，采用帶有梯度懲罰策略的WGAN（WGAN with gradient penalty）［7］，該策略相比于傳統(tǒng)的WGAN 訓(xùn)練更加穩(wěn)定，可以使收斂速度變得更快，并且使得生成的樣本圖像質(zhì)量更高。令I(lǐng)～表示為PNetr和PNetg的樣本中的隨機(jī)采樣圖像，對抗性損失函數(shù)記為lWGAN，其表現(xiàn)形式如式（5）。

熱力圖可以精確描述目標(biāo)中心點的特征，通過訓(xùn)練，可以準(zhǔn)確得知目標(biāo)中心存在損失，為了更好地發(fā)掘目標(biāo)中心點的特征，引入熱圖損失，使得目標(biāo)結(jié)構(gòu)的一致性得以提升。通過量化目標(biāo)圖像熱力圖與最小生成圖像相互之間存在的關(guān)系，用它們之間的差異性距離來計算熱度損失，把熱圖損失記為lheatmap，其損失函數(shù)的形式語言定義如式（6）。

式中：N表示關(guān)鍵點的數(shù)量。綜上所述，通過上述損失函數(shù)的融入，進(jìn)行多維訓(xùn)練，首先訓(xùn)練粗略SR 網(wǎng)絡(luò)，其次訓(xùn)練剩余網(wǎng)絡(luò)部分，具體訓(xùn)練損失函數(shù)表示為式（7）、式（8）。

本研究優(yōu)化超分辨率網(wǎng)絡(luò)結(jié)構(gòu)，構(gòu)成了一種多維損失函數(shù)的超分辨率網(wǎng)絡(luò)（Multi-dimensional loss function super resolution network，MLFSRNet），通過融入對抗性損失訓(xùn)練，以超分辨率網(wǎng)絡(luò)生成器和鑒別器網(wǎng)絡(luò)組成網(wǎng)絡(luò)的整體結(jié)構(gòu)。生成器網(wǎng)絡(luò)的結(jié)構(gòu)在FSRNet 的基礎(chǔ)下優(yōu)化了粗糙SR 網(wǎng)絡(luò)，以卷積層（Conv）、平均池化層（AvePool）和LeakyReLU激活組成鑒別器網(wǎng)絡(luò)的結(jié)構(gòu)。

3 試驗分析

3.1 數(shù)據(jù)集和相關(guān)參數(shù)

為了使模型能夠更好地擬合真實環(huán)境，更容易與先進(jìn)的算法模型進(jìn)行比較，選擇使用公開的數(shù)據(jù)集MWD（Multi-class Weather Dataset）進(jìn)行試驗分析，該數(shù)據(jù)集包含6 個常見類別的65 000 張圖像，這些類別包括晴天、多云、下雨、下雪、薄霧和雷雨天氣。該數(shù)據(jù)集還有利于天氣分類和屬性識別。

3.2 損失函數(shù)的影響分析

通過消融研究來驗證本研究所提出的MLFSRNet網(wǎng)絡(luò)在引入面部注意力損失、熱圖損失和感知損失的有效性，使用最普遍使用的峰值信噪比PSNR來評估超分辨率網(wǎng)絡(luò)的性能，用結(jié)構(gòu)相似性SSIM指標(biāo)來評估各個損失函數(shù)對于網(wǎng)絡(luò)優(yōu)化的影響，以不同結(jié)構(gòu)的網(wǎng)絡(luò)進(jìn)行試驗對比。由表1 可知，由不同損失函數(shù)構(gòu)成的網(wǎng)絡(luò)與構(gòu)造的多維損失函數(shù)相比，其中l(wèi)step1-δlheatmap-εlat是去掉了注意力損失和熱度損失，只有像素?fù)p失和感知損失并進(jìn)行對抗性訓(xùn)練的結(jié)果，lstep1-εlat加入了熱圖損失，lstep1包含注意力損失、熱度損失以及像素?fù)p失和感知損失。由試驗可知，當(dāng)在模型中融入注意力損失和熱圖損失構(gòu)成多維損失融入后，PSNR 和SSIM 指標(biāo)在數(shù)據(jù)集上的試驗效果都有明顯上升，由此可知MLFSRNet網(wǎng)絡(luò)的性能更好，可以生產(chǎn)出效果更佳的超分辨率圖像。

表1 超分辨率網(wǎng)絡(luò)的PSNR和SSIM指標(biāo)的消融比較

3.3 粗略SR網(wǎng)絡(luò)的優(yōu)化分析

為了驗證MLFSRNet 優(yōu)化后粗略SR 網(wǎng)絡(luò)的性能，與傳統(tǒng)超分辨率網(wǎng)絡(luò)的粗略SR網(wǎng)絡(luò)進(jìn)行對比分析。MLFSRNet 輸入的是16×16 像素的低分辨率圖像，F(xiàn)SRNet輸入的是128×128像素，所以MLFSRNet的粗略SR 網(wǎng)絡(luò)算法復(fù)雜度有所降低。該模型隨著網(wǎng)絡(luò)訓(xùn)練PSNR 和SSIM 的變化情況如圖1 所示，MLFSRNet 和原始FSRNet 的粗略SR 網(wǎng)絡(luò)在PSNR和SSIM 上的對比見表2，由此可知構(gòu)造的模型對圖像的超分辨率優(yōu)化比傳統(tǒng)模型效果更好。

圖1 MLFSRNet網(wǎng)絡(luò)訓(xùn)練PSNR和SSIM變化圖

表2 MLFSRNet與傳統(tǒng)FSRNet對比

3.4 MLFSRNet與先進(jìn)算法模型對比分析

將構(gòu)造的多維損失函數(shù)的超分辨率網(wǎng)絡(luò)MLFSRNet方法與一些先進(jìn)的算法模型進(jìn)行對比分析，圖2 分別顯示了構(gòu)造的算法在不同量級的MWD 數(shù)據(jù)集中效果都優(yōu)于其他算法。由表3也可以看出構(gòu)造的網(wǎng)絡(luò)在PSNR和SSIM上都優(yōu)于傳統(tǒng)的FSRNet［8-9］。

圖2 MLFSRNet網(wǎng)絡(luò)與先進(jìn)算法對比

表3 MLFSRNet與優(yōu)秀的FSRNet比較PSNR和SSIM

4 結(jié)論

本研究提出了一種多維損失函數(shù)優(yōu)化FSRNet的超分辨率網(wǎng)絡(luò)MLFSRNet，首先引入熱圖損失、目標(biāo)注意力損失和對抗性損失等多維損失函數(shù)，對FSRNet 進(jìn)行模塊優(yōu)化，使用轉(zhuǎn)置卷積放大低分辨率的圖像，從而降低了算法復(fù)雜度，并提升了粗略SR 網(wǎng)絡(luò)的性能。其次對模型進(jìn)行分步訓(xùn)練，先對低分辨率圖像進(jìn)行粗略SR 網(wǎng)絡(luò)訓(xùn)練，再使剩余網(wǎng)絡(luò)融入訓(xùn)練，解決了網(wǎng)絡(luò)訓(xùn)練時調(diào)參困難等相關(guān)問題，引入熱圖損失、目標(biāo)注意力損失和對抗性損失訓(xùn)練，也提高了超分辨率氣象觀測圖像的質(zhì)量，通過試驗證明MLFSRNet 對于氣象圖像的超分辨率重建效果比一些先進(jìn)的算法更好，為氣象領(lǐng)域圖像天氣現(xiàn)象識別提供了支撐。