基于深度學(xué)習(xí)的毫米波和亞毫米波成像儀的圖像增強(qiáng)技術(shù)

胡偉東,張文龍,安大偉,王 璐,陳 實(shí),岳 芬,LIGTHART Leo P.

(1. 北京理工大學(xué)，北京 100081；2. 國家衛(wèi)星氣象中心，北京 100142；3. 代爾夫特理工大學(xué)，荷蘭 代爾夫特 2628 CN)

0 引言

毫米波和亞毫米波成像儀(MMSI)是中國風(fēng)云四號(hào)地球同步軌道氣象衛(wèi)星上的重要載荷。其極化方式分為水平和垂直兩種，54，118，183，380，425 GHz的5個(gè)頻段可用于獲取地球亮溫?cái)?shù)據(jù)。在空間遙感和地球觀測(cè)方面，MMSI具有巨大潛力且被廣泛應(yīng)用，還可連續(xù)觀測(cè)云層變化，彌補(bǔ)氣象衛(wèi)星無法觀測(cè)惡劣天氣，如風(fēng)暴、颶風(fēng)、臺(tái)風(fēng)和冰雹等方面的不足。由于天線尺寸、系統(tǒng)噪聲和下采樣的限制，MMSI的低頻通道空間分辨率較低，影響數(shù)據(jù)的進(jìn)一步使用，例如有些地球物理參數(shù)的求取需要組合應(yīng)用不同波段的亮溫?cái)?shù)據(jù)[1-5]，故有必要采取一些技術(shù)來解決該問題。

BG(Backus-Gilbert)反演算法最初由Backus和Gilbert[6-7]提出，其利用天線方向圖中地面重疊區(qū)域的冗余信息和天線方向圖的先驗(yàn)知識(shí)從天線溫度反演出與地面真實(shí)場(chǎng)景更加接近的亮溫值，消除重疊模糊的影響。圖像去卷積算法由Sethman等[8-9]提出，通過傅里葉變換在頻域上構(gòu)建Wiener濾波器進(jìn)行濾波，得到?jīng)]有被平滑的亮溫分布的估計(jì)，在算法處理過程中降低了重疊模糊的影響。SIR(Scatterometer Image Reconstruction)算法最初用于散射計(jì)圖像的分辨率增強(qiáng)，是乘法代數(shù)重建技術(shù) (Multiplicative Algebraic Reconstruction Technique，MART)的變形，該方法首先由Long等[10-11]發(fā)現(xiàn)并用于提高微波成像儀亮溫?cái)?shù)據(jù)的分辨率。該算法基于迭代過程實(shí)現(xiàn)，首先將成像儀測(cè)量的像元分配到矩形網(wǎng)格上，使用迭代過程從初始亮溫估計(jì)出更加接近真實(shí)場(chǎng)景的亮溫圖像，并為每個(gè)像元提供亮溫的最大熵估計(jì)。其中BG反演算法和SIR算法模型構(gòu)建較為復(fù)雜，需要考慮天線的增益等，且不能有效控制噪聲。圖像去卷積算法在分辨率提升較高時(shí)會(huì)產(chǎn)生振鈴效應(yīng)，同時(shí)也伴隨著噪聲增大。

星載微波成像儀的非過采樣通道的地面像元沒有重疊，針對(duì)這種情況，文獻(xiàn)[12]中提出將超分辨(super-resolution)圖像重建算法應(yīng)用于毫米波與亞毫米波探測(cè)儀非過采樣通道中。但在進(jìn)行超分辨圖像重建的過程中，插值過程一般采用簡(jiǎn)單的線性插值或雙三次插值，導(dǎo)致插值后的結(jié)果過于平滑。近些年，卷積神經(jīng)網(wǎng)絡(luò)(CNN)也被成功應(yīng)用于圖像超分辨率[13]、去噪[14]和去模糊[15-16]等方面。本文只考慮亮溫?cái)?shù)據(jù)的圖像超分辨率問題，目的是為訓(xùn)練一個(gè)有效的卷積神經(jīng)網(wǎng)絡(luò)模型，以解決下采樣引起的圖像退化問題。與傳統(tǒng)的雙三次插值方法不同，基于學(xué)習(xí)思想的卷積神經(jīng)網(wǎng)絡(luò)模型將超分辨的過程定義為一個(gè)待學(xué)習(xí)的映射函數(shù)，通過數(shù)據(jù)驅(qū)動(dòng)的思想和端對(duì)端的訓(xùn)練方法來獲得該映射函數(shù)，無需預(yù)處理，訓(xùn)練好的模型能得到更精細(xì)的重建結(jié)果。

1 設(shè)計(jì)思路與方法

超分辨卷積神經(jīng)網(wǎng)絡(luò)(SRCNN)被直接用于學(xué)習(xí)映射函數(shù)f′=F(g)，式中：g為觀測(cè)到的天線溫度圖像，可用于恢復(fù)圖像F(g) ，使其盡可能接近地面真實(shí)高分辨率亮溫圖像f。采用基于學(xué)習(xí)思想的卷積神經(jīng)網(wǎng)絡(luò)模型可實(shí)現(xiàn)該映射函數(shù)F。卷積神經(jīng)網(wǎng)絡(luò)能通過特征變換將觀測(cè)圖像數(shù)據(jù)重建為理想的高分辨數(shù)據(jù)，特征變換的過程即實(shí)現(xiàn)卷積核的卷積操作。卷積核的模型參數(shù)可通過在樣本集上訓(xùn)練獲得；最優(yōu)的CNN模型權(quán)重參數(shù)可通過最小化卷積神經(jīng)網(wǎng)絡(luò)的輸出結(jié)果和高分辨率圖像之間的誤差學(xué)習(xí)獲得。為獲取低分辨率與高分辨率遙感圖像之間端對(duì)端的映射F，需確定SRCNN網(wǎng)絡(luò)架構(gòu)中的相關(guān)參數(shù)ψ=(W1,W2,W3,B1,B2,B3)。定義損失函數(shù)：重構(gòu)出的高分辨率亮溫圖像F(gi,ψ)與理想高分辨率亮溫圖像f間最小誤差函數(shù)，用于判斷訓(xùn)練過程中這些參數(shù)是否最優(yōu)化，表達(dá)式為

(1)

式中：n為訓(xùn)練集中樣本的個(gè)數(shù)；f為理想亮溫圖像；g為f下采樣退化后的結(jié)果；ψ為網(wǎng)絡(luò)模型參數(shù)；L為關(guān)于ψ的損失函數(shù)。在該過程中，卷積神經(jīng)網(wǎng)絡(luò)模型可直接學(xué)習(xí)高分辨率圖像f和低分辨率圖像g間的映射，不需預(yù)處理。

卷積神經(jīng)網(wǎng)絡(luò)模型包含3個(gè)卷積層，描述如下：

1)特征提取和表示。該操作從低分辨率的亮溫圖像中提取塊圖像，并把每個(gè)塊圖像表示為高維向量。塊圖像的選取是在原始圖像上采用大小為(33，33)、步長為1的滑動(dòng)窗口提取，目的是更有效地提取圖像局部特征。

2)非線性映射。將每個(gè)高維向量非線性地映射到另一個(gè)高維向量上進(jìn)行多次特征變換。

3)重建。將以上高維向量聚合在一起，生成最終的高分辨率亮溫圖像。期望該圖像與地面真實(shí)亮溫f盡可能接近。

第1層卷積層用于從低分辨率的亮度溫度圖像g中提取特征，在第1層中，用于特征提取的卷積核數(shù)為n1，故輸出為n1維向量。從低分辨率圖像中提取的n1維向量被下一層使用。第1層的映射函數(shù)可寫成

F1(g)=max(0,W1?g+B1)

(2)

式中：g為觀測(cè)到的亮溫?cái)?shù)據(jù)；W1和B1分別為卷積核和偏差；?為卷積運(yùn)算。

第1層從低分辨率圖像中提取了n1維特征，在第2次運(yùn)算中，將這些n1維向量映射成n2維向量。第2層的映射函數(shù)為

F2(g)=max[0,W2?F1(g)+B2]

(3)

式中：W2為第2個(gè)卷積層的權(quán)重參數(shù)，包含n2卷積核；B2為n2維。第3層定義了一個(gè)卷積層，從n2維向量生成最終的高分辨率圖像，其映射函數(shù)為

F3(g)=W3?F2(g)+B3

(4)

式中：W3為第3層卷積層參數(shù)的權(quán)重，卷積層的第3層直接輸出高分辨率圖像，無任何后處理。實(shí)驗(yàn)中使用的卷積神經(jīng)網(wǎng)絡(luò)由3層組成。使用標(biāo)準(zhǔn)的反向傳播作為訓(xùn)練算法。

2 仿真實(shí)驗(yàn)及結(jié)果分析

應(yīng)用SRCNN模型重建低分辨率的亮溫圖像。

2.1 實(shí)驗(yàn)設(shè)置

風(fēng)云四號(hào)氣象衛(wèi)星于2016年12月11日發(fā)射，MMSI的真實(shí)亮溫?cái)?shù)據(jù)尚未對(duì)外公開，故利用風(fēng)云三號(hào)衛(wèi)星微波輻射成像儀(MWRI)的亮溫?cái)?shù)據(jù)做模擬實(shí)驗(yàn)。MWRI是中國的風(fēng)云三號(hào)極軌衛(wèi)星上的一種毫米波、亞毫米波載荷。MWRI可測(cè)量水平和垂直極化中的10.65，18.70，23.80，36.50，89.00 GHz的亮溫。

選取2017年3月到6月的40幅圖像作為數(shù)據(jù)集的高分辨率圖像，其中包含了各種亮溫變化，可為模型提供豐富信息。高分辨率圖像通過下采樣來獲得低分辨率的圖像，高分辨率和低分辨率圖像被用作訓(xùn)練SRCNN模型的數(shù)據(jù)集。在制作好的數(shù)據(jù)集中取出35張圖像用于訓(xùn)練，剩下的5張圖像用于測(cè)試。

文獻(xiàn)[13]中提出了SRCNN的基準(zhǔn)模型，并在文獻(xiàn)[17]中得以應(yīng)用，卷積神經(jīng)網(wǎng)絡(luò)由 3層卷積層組成，卷積核數(shù)量分別為64、32、1，卷積核尺寸分別為9、1、5。因本文使用的數(shù)據(jù)集較小，卷積神經(jīng)網(wǎng)絡(luò)的模型使用了一組較小的超參數(shù)：卷積核的數(shù)量分別為20、10、1，卷積核尺寸分別為9、1、5。在訓(xùn)練過程中，使用Caffe進(jìn)行1.5×107次訓(xùn)練，得到了最優(yōu)的結(jié)果。

在風(fēng)云四號(hào)衛(wèi)星模擬數(shù)據(jù)和數(shù)據(jù)集中的測(cè)試圖像上測(cè)試訓(xùn)練好的模型。用峰值信噪比(PSNR，RPSN)和結(jié)構(gòu)相似度(SSIM，RSSIM)評(píng)估經(jīng)過訓(xùn)練的模型。RPSN表示頂點(diǎn)信號(hào)到達(dá)噪聲比率，是峰值信號(hào)和干擾圖像質(zhì)量的背景噪聲之間的工程性專業(yè)用語，也是權(quán)衡圖像失真或者信號(hào)失真的指標(biāo)。其數(shù)學(xué)表達(dá)式為

RPSN=10lg[(2n-1)2/EMS]

(5)

(6)

式中：EMS為均方誤差，表示算法處理前和處理后的圖像的接近程度；I1(i,j)，I2(i,j)分別為參考圖像I1和待評(píng)價(jià)圖像I2在相同位置處的亮溫值；h和w為圖像的長和寬。RPSN和EMS是基于參考圖像I1和待評(píng)價(jià)圖像I2之間對(duì)應(yīng)像素點(diǎn)的誤差，即根據(jù)誤差敏感度對(duì)遙感圖像亮溫值做相關(guān)計(jì)算和統(tǒng)計(jì)，進(jìn)而評(píng)價(jià)其質(zhì)量好壞。峰值信噪比值與失真情況對(duì)應(yīng)相反關(guān)系，其值越大，表征待評(píng)價(jià)圖像I2越逼近參考圖像I1。

結(jié)構(gòu)相似度基于圖像的結(jié)構(gòu)性、像元間的關(guān)聯(lián)性以及人眼對(duì)其結(jié)構(gòu)變化的敏感程度，從圖像結(jié)構(gòu)、圖像對(duì)比度及其亮度三個(gè)方面的信息考慮參考圖像I1和待評(píng)價(jià)圖像I2間的相似程度，其數(shù)學(xué)表達(dá)式為

(7)

式中：C1,C2可確保式中分母不為零，從而增加計(jì)算的穩(wěn)定性，一般C1=[K1×(2n-1)]2，C2=[K2×(2n-1)]2，對(duì)應(yīng)的K1=0.01，K2=0.03，n=8；μI1,μI2分別為參考圖像I1和待評(píng)價(jià)圖像I2的均值，表示二者的灰度信息分量；σI1,σI2分別為參考圖像I1和待評(píng)價(jià)圖像I2的方差，表示二者的對(duì)比度信息分量；σI1I2為參考圖像I1和待評(píng)價(jià)圖像I2的協(xié)方差，可以表示為

(8)

2.2 風(fēng)云四號(hào)衛(wèi)星模擬數(shù)據(jù)的實(shí)驗(yàn)結(jié)果

因風(fēng)云四號(hào)衛(wèi)星中MMSI的真實(shí)亮溫?cái)?shù)據(jù)尚未公開，故使用國家衛(wèi)星氣象中心提供的183 GHz正演模擬數(shù)據(jù)驗(yàn)證模型，如圖1所示。

模擬亮溫?cái)?shù)據(jù)為183 GHz通道的臺(tái)風(fēng)場(chǎng)景信息，其分辨率為24 km×24 km。用雙三次插值模擬下采樣處理過程，得到退化圖像，實(shí)驗(yàn)結(jié)果如圖2所示。

SRCNN重構(gòu)圖像呈現(xiàn)的細(xì)節(jié)比雙三次重建圖像更詳細(xì)，臺(tái)風(fēng)的輪廓更清晰，更接近最初的圖像(見圖1)。對(duì)于任何模型，根據(jù)最初的高分辨率圖像和重建圖像之間的峰值信噪比和結(jié)構(gòu)相似度評(píng)估其性能。

在本實(shí)驗(yàn)中，原始高分辨率圖像與雙三次重建圖像之間的RPSN和RSSIM分別為38.17 dB和0.95。原始高分辨率圖像與SRCNN重建圖像之間的RPSN和RSSIM分別為39.86 dB和0.97。經(jīng)過SRCNN的重建，RPSN和RSSIM分別增加了1.69 dB和0.02。該特征表明：與傳統(tǒng)的雙三次重建圖像相比，SRCNN重構(gòu)圖像更接近初始圖像。在圖2中，選擇繪制了第60行的數(shù)據(jù)。SRCNN重建圖像的細(xì)節(jié)比雙三次重建圖像更接近初始圖像。

2.3 數(shù)據(jù)集實(shí)驗(yàn)結(jié)果

地面分辨率為9 km×15 km的5幅89 GHz的測(cè)試圖像數(shù)據(jù)集被用來進(jìn)一步評(píng)估模型。實(shí)驗(yàn)使用雙三次插值模擬下采樣的處理過程，得到了退化圖像。模型的評(píng)估參數(shù)見表1，圖3為測(cè)試圖像的實(shí)驗(yàn)結(jié)果。

表1 數(shù)據(jù)集測(cè)試圖像的評(píng)價(jià)指標(biāo)

表1列出了數(shù)據(jù)集中5個(gè)測(cè)試圖像的評(píng)價(jià)指標(biāo)。SRCNN模型通過學(xué)習(xí)低分辨率圖像和高分辨率圖像之間的映射關(guān)系來重構(gòu)圖像，與雙三次重建方法相比，RPSN平均提高了1.13 dB。

圖4為圖3中的桑給巴爾島區(qū)域。圖4 (b)中桑給巴爾島的邊緣和細(xì)節(jié)受下采樣的影響較模糊。雙三次插值方法處理后，桑給巴爾島的輪廓更加明顯，但仍然缺乏一些細(xì)節(jié)。CNN模型具有強(qiáng)大的非線性映射能力，圖4(d)結(jié)果顯示，SRCNN模型能很好地重構(gòu)原始圖像的細(xì)節(jié)信息。

圖5選擇和繪制了60行數(shù)據(jù)，SRCNN重構(gòu)圖像的數(shù)據(jù)分布比雙三次重建圖像更接近原始圖像。盡管雙三次重建圖像的結(jié)果更平滑，但細(xì)節(jié)重構(gòu)的結(jié)果不夠準(zhǔn)確。通過數(shù)據(jù)分布，SRCNN重構(gòu)的結(jié)果包含了更多原始圖像信息，得到了很好的結(jié)果。

3 結(jié)束語

本文介紹了卷積神經(jīng)網(wǎng)絡(luò)在風(fēng)云衛(wèi)星亮溫圖像增強(qiáng)上的應(yīng)用。雖然深度學(xué)習(xí)在計(jì)算機(jī)視覺和模式識(shí)別領(lǐng)域已經(jīng)取得了很大的成果，但在遙感數(shù)據(jù)中的應(yīng)用，尤其是微波遙感數(shù)據(jù)，仍然有很多問題值得研究。

與傳統(tǒng)的插值方法不同，SRCNN方法提高了風(fēng)云衛(wèi)星亮溫圖像的峰值信噪比，得到的結(jié)果較傳統(tǒng)方法更精細(xì)。本文提出的基于深度學(xué)習(xí)的方法不需要設(shè)計(jì)復(fù)雜精確的插值模型，因神經(jīng)網(wǎng)絡(luò)可在數(shù)據(jù)集中自動(dòng)學(xué)習(xí)高分辨率圖像和低分辨率圖像之間的映射關(guān)系，直接輸出高分辨率圖像。實(shí)驗(yàn)結(jié)果表明：使用SRCNN的增強(qiáng)圖像提供了更多的細(xì)節(jié)。評(píng)價(jià)指標(biāo)展示了SRCNN對(duì)MMSI亮溫?cái)?shù)據(jù)的有效性。由于亮溫圖像的圖像細(xì)節(jié)變化較為平緩，故在做模型設(shè)計(jì)時(shí)，如何使模型有效提取特征需要引起重視。基于深度學(xué)習(xí)的超分辨模型適用于非過采樣亮溫?cái)?shù)據(jù)的超分辨，也可在其他微波探測(cè)儀數(shù)據(jù)中改進(jìn)使用，具有很強(qiáng)的普適性。由于深度學(xué)習(xí)模型具有很強(qiáng)的擬合能力，故在樣本集上進(jìn)行訓(xùn)練時(shí)容易產(chǎn)生過擬合的現(xiàn)象，必須采取正則化的方法防止過擬合。此外，深度學(xué)習(xí)模型需對(duì)大量樣本進(jìn)行特征學(xué)習(xí)，但在氣象遙感領(lǐng)域，目前公開用于學(xué)術(shù)研究的數(shù)據(jù)集很少，故本文使用的數(shù)據(jù)集具有一定的局限性，僅驗(yàn)證了算法的可行性。未來希望能夠有更權(quán)威的輻射計(jì)亮溫?cái)?shù)據(jù)集推動(dòng)該領(lǐng)域的發(fā)展。

利用SRCNN遙感圖像增強(qiáng)技術(shù)不僅有效提高了亮溫圖像的質(zhì)量，而且提高了地面目標(biāo)的識(shí)別能力。與傳統(tǒng)方法相比，增強(qiáng)的亮溫圖像更接近地面的真實(shí)信息，為物理參數(shù)的反演、天氣預(yù)報(bào)等工作的開展提供了新思路，具有一定的參考價(jià)值。未來希望能將輻射計(jì)亮溫?cái)?shù)據(jù)的獲取、重構(gòu)和參數(shù)反演有效整合。數(shù)據(jù)獲取過程中受哪些退化因素的影響，影響程度如何；可采用哪種方法進(jìn)行補(bǔ)償或重構(gòu)；重構(gòu)后的數(shù)據(jù)對(duì)參數(shù)反演的定量指標(biāo)有何影響；如果在工程實(shí)踐中運(yùn)用重構(gòu)后的數(shù)據(jù)進(jìn)行反演會(huì)提升反演精度，代價(jià)是什么：這些都是工程實(shí)踐上需研究的問題，也是下一步需要扎實(shí)做的工作。

[1] WANG J R, TEDESCO M. Identification of atmospheric influences on the estimation of snow water equivalent from AMSR-E measurements[J]. Remote Sensing Environment, 2007, 111(2/3): 398-408.

[2] NORMAN C G. Classification of snow cover and precipitation using the special sensor microwave imager[J]. Journal of Geophysical Research: Atmospheres, 1991, 96(D4): 7423-7435.

[3] RALPH R F, ERIC A S, WESLEY B, et al. A screening methodology for passive microwave precipitation retrieval algorithms[J]. Journal of the Atmospheric Sciences, 1998, 55(9): 1583-1600.

[4] PAMPALONI P, PALOSCIA S. Microwave emission and plant water content. A comparison between field measurement and theory[J]. IEEE Transactions on Geoscience and Remote Sensing, 1986(6): 900-905.

[5] MIN Q, LIN B. Remote sensing of evapotranspiration and carbon uptake at Harvard forest[J]. Remote Sensing of Environment, 2006, 100(3): 379-387.

[6] BACKUS G, GILBERT F. Numerical applications of a formalism for geophysical inverse problem[J]. Geophysical Journal International, 1967, 13: 247-276.

[7] BACKUS G, GILBERT F. The resolving power of gross Earth data[J]. Geophysical Journal International, 1968, 16(2): 169-205.

[8] SETHMANN R, BURNS B A, HEYGSTER G C. Spatial resolution improvement of SSM/I data with image restoration techniques[J]. IEEE Transactions on Geoscience and Remote Sensing, 1994, 32(6): 1144-1151.

[9] SETHMANN R, HEYGSTER G, BURNS B. Image deconvolution techniques for reconstruction of SSM/I data[C]∥Proceedings of the 11th Annual International Geoscience and Remote Sensing Symposium, Espoo, Finland, 1991, 4: 2377-2380.

[10] LONG D G, HARDIN P J, WHITING P T. Resolution enhancement of spaceborne scatterometer data[J]. IEEE Transactions on Geoscience and Remote Sensing, 1993, 31(3): 700-715.

[11] LONG D G, DAUN D L. Spatial resolution enhancement of SSM/I data[J]. IEEE Transactions on Geoscience and Remote Sensing, 1998, 36(2): 407-417.

[12] DI Paola F, DIETRICH S. Resolution enhancement for microwave-based atmospheric sounding from geostationary orbits[J]. Radio Science, 2008, 43(6): 1-14.

[13] DONG C, CHEN C L, HE K, et al. Learning a deep convolutional network for image super-resolution[J]. 2014, 8692: 184-199.

[14] JAIN V, SEUNG S. Natural image denoising with convolutional networks[C]∥Advances in Neural Information Processing Systems, Vancouver, British Columbia, Canada, 2009: 769-776.

[15] SCHULER C J, HIRSCH M, HARMELING S, et al. Learning to deblur[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2016, 38(7): 1439-1451.

[16] WEI Y, YUAN Q, SHEN H, et al. A universal remote sensing image quality improvement method with deep learning[C]∥2016 IEEE International Geoscience and Remote Sensing Symposium, Beijing, China, 2016: 6950-6953.

[17] DUCOURNAU A, FABLET R. Deep learning for ocean remote sensing: an application of convolutional neural networks for super-resolution on satellite-derived SST data[C]∥9th IAPR Workshop on Pattern Recognition in Remote Sensing (PRRS), Cancun, Mexico, 2016: 1-6.