多尺度殘差深度神經(jīng)網(wǎng)絡(luò)的衛(wèi)星圖像超分辨率算法

汪家明，盧 濤

武漢工程大學(xué)計算機科學(xué)與工程學(xué)院，湖北 武漢 430205

遙感衛(wèi)星是一種重要的對地觀測手段，能夠?qū)Φ孛孢M行大面積的同步觀測以獲得地面目標(biāo)的信息。遙感衛(wèi)星圖像在災(zāi)害監(jiān)測預(yù)警、資源勘探、和環(huán)境檢測等領(lǐng)域有著廣泛的應(yīng)用前景。然而，由于硬件設(shè)備與成本的限制，遙感圖像的分辨率固定。此外，大氣湍流、成像過程噪聲、設(shè)備與景物之間的運動模糊、光學(xué)傳感器的欠采樣，降低了衛(wèi)星圖像的分辨率和質(zhì)量。為了提高遙感影像的空間分辨率，克服噪聲和成像模糊的影響，對遙感圖像的超分辨率重建顯得尤為迫切。

現(xiàn)有的圖像超分辨率重建算法（super-resolu?tion，SR）主要分為2類：基于重建的算法和基于學(xué)習(xí)的算法。基于重建的算法通過多個低分辨率圖像來融合亞像素精度的多幀信息［1］，重建出更高分辨率的圖像。但基于重建的方法僅能利用低分辨率圖像之間的互補信息，不能增加新的高頻信息，因此這類重建方法的放大倍數(shù)有限。然而后續(xù)的識別任務(wù)更加關(guān)注高頻信息中包含的特征［2］。近年來，受到機器學(xué)習(xí)理論發(fā)展的影響，基于學(xué)習(xí)的方法受到高度的重視日益成為超分辨率算法研究的主流方向。基于學(xué)習(xí)的算法通過訓(xùn)練樣本提供的先驗信息，學(xué)習(xí)低分辨率圖像塊與高分辨率圖像塊之間的映射模型。從訓(xùn)練樣本的使用角度來看，基于學(xué)習(xí)的算法可以分為3類：基于表達的超分辨率算法，基于回歸的超分辨率算法和基于深度學(xué)習(xí)的超分辨率算法。

基于表達的算法根據(jù)高分辨圖像在不同分辨率空間表達系數(shù)不變這一性質(zhì)，使用低分辨字典表示輸入圖像塊，并找尋低分辨率字典對應(yīng)的高分辨率字典進行重建［3-4］?；诨貧w的算法通過回歸模型對超分重建進行求解［5-6］?？紤]到卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）的優(yōu)秀學(xué)習(xí)能力，通過卷積神經(jīng)網(wǎng)絡(luò)［7-8］來學(xué)習(xí)低分辨率和高分辨圖像之間的復(fù)雜非線性映射關(guān)系，通過多個隱藏層來擴展傳統(tǒng)網(wǎng)絡(luò)的深度。Shi等［9］構(gòu)建了亞像素空間的卷積神經(jīng)網(wǎng)絡(luò)，直接而高效地學(xué)習(xí)了從低分辨率圖像到高分辨率圖像的映射函數(shù)。Kim等［10］通過深度殘差網(wǎng)絡(luò)證明了深度殘差網(wǎng)絡(luò)層數(shù)對于超分辨率性能有提升。生成對抗網(wǎng)絡(luò)［11］由生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)組成，通過生成網(wǎng)絡(luò)生成細節(jié)，取得了良好的視覺效果，但是客觀指標(biāo)較低。Luo等［12］在 Kim［10］的基礎(chǔ)上根據(jù)自相似性填充圖像取代零填充，避免增加無用的信息，在衛(wèi)星圖像超分辨率任務(wù)中表現(xiàn)出了優(yōu)異的重建效果。

衛(wèi)星圖像超分辨率是特定領(lǐng)域的超分辨率重建問題，準(zhǔn)確的邊緣和紋理等高頻信息對于衛(wèi)星圖像檢測和識別任務(wù)是至關(guān)重要的［13］。待識別目標(biāo)的全局高頻信息在檢測任務(wù)中占據(jù)主導(dǎo)地位，而局部的高頻信息在識別任務(wù)中不可或缺。但是遙感衛(wèi)星圖像成像范圍廣，目標(biāo)的尺度差異較大，直接使用同構(gòu)同質(zhì)的網(wǎng)絡(luò)預(yù)測重建不同尺度的目標(biāo)，導(dǎo)致重建精度不滿足要求或者效率低下。而現(xiàn)有的基于多尺度的超分辨率算法中，多尺度信息融合是在像素域或特征域進行，重建結(jié)果注重的是圖像的內(nèi)容和局部高頻信息，卻忽略了全局的高頻信息。因此需要一個網(wǎng)絡(luò)結(jié)構(gòu)，可以靈活處理不同尺度的目標(biāo)和不同精度的超分辨率任務(wù)，預(yù)測出不同尺度目標(biāo)的邊緣和紋理等高頻信息，并在更加快速和有效的殘差空間融合多尺度信息。綜合考慮上述問題，本文提出了一個多尺度殘差深度神經(jīng)網(wǎng)絡(luò)的衛(wèi)星圖像超分辨率算法。

1 基于多尺度殘差深度神經(jīng)網(wǎng)絡(luò)的衛(wèi)星圖像超分辨率

結(jié)合多尺度圖像分析和深度殘差網(wǎng)絡(luò)，將同一衛(wèi)星圖像以多尺度的形式放入不同的深度殘差神經(jīng)網(wǎng)絡(luò)中，建立不同尺度特征的自適應(yīng)深度神經(jīng)網(wǎng)絡(luò)，學(xué)習(xí)從底層到高層的特征，預(yù)測不同尺度空間的高頻殘差信息。然后通過殘差融合網(wǎng)絡(luò)將預(yù)測所得的不同尺度空間的殘差圖像在殘差空間進行加權(quán)，進行殘差信息之間的互補和融合，使得不同目標(biāo)能夠在最合適的空間進行表達。本文中的多尺度殘差網(wǎng)絡(luò)以兩個不同尺度空間子網(wǎng)絡(luò)為例，分別為尺度空間1和尺度空間2，網(wǎng)絡(luò)結(jié)構(gòu)圖如圖1所示。

1.1 殘差學(xué)習(xí)

Kim［10］證明了隨著網(wǎng)絡(luò)層數(shù)的增加，大量的超參數(shù)促進了網(wǎng)絡(luò)的非線性表達能力。然而，網(wǎng)絡(luò)層數(shù)的單一級聯(lián)帶了一個不可避免的問題：梯度消失/梯度爆炸導(dǎo)致在反向傳播中網(wǎng)絡(luò)的參數(shù)無法優(yōu)化［14］。由于輸入的低分辨率圖像和原始高分辨率圖像非常相似，本文定義殘差圖像為ri=yi-xi。殘差圖像的像素值大多數(shù)為零或者較小值。低分辨率圖像的插值結(jié)果xi屬于原始圖像yi的低頻分量，因此殘差圖像ri為yi的高頻分量。相比直接預(yù)測像素域的圖像，使用殘差學(xué)習(xí)不僅會大量減少網(wǎng)絡(luò)攜帶的信息，可加快網(wǎng)絡(luò)收斂速度，還可以避免深度網(wǎng)絡(luò)的不收斂問題［10］。

圖1 多尺度殘差網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)。網(wǎng)絡(luò)包括多尺度殘差學(xué)習(xí)網(wǎng)絡(luò)和殘差融合網(wǎng)絡(luò)兩部分（k表示卷積核大小，n表示卷積核個數(shù)，s表示步長）Fig.1 Network architecture of multi-scale residual deep neural network.The network includes two subnetworks：multi-scale residual network and residual fusion network.（k is the convolution kernel size，n is the number of convolution kernel and s is stride size）

1.2 多尺度特征提取

在尺度空間1殘差學(xué)習(xí)網(wǎng)絡(luò)中，本文使用大小為41×41像素的重疊圖像塊進行訓(xùn)練。本文定義卷積核大小為3×3。網(wǎng)絡(luò)輸出的殘差為：

其中fS1(x)為尺度空間1殘差學(xué)習(xí)網(wǎng)絡(luò)預(yù)測所得的殘差。為尺度空間1殘差學(xué)習(xí)網(wǎng)絡(luò)第19層輸出的特征圖。卷積的權(quán)值大小為64×3×3×1，偏置項大小為1×1。

在尺度空間2殘差學(xué)習(xí)網(wǎng)絡(luò)中使用100×100的非重疊圖像塊。由于輸入圖像塊大小的增加，所以需要更大的感受野。本文定義卷積核大小為7×7，尺度空間1和尺度空間2殘差空間增強網(wǎng)絡(luò)相似。網(wǎng)絡(luò)輸出的殘差為：

其中fS2(x)為尺度空間2殘差學(xué)習(xí)網(wǎng)絡(luò)預(yù)測所得的殘差。為殘差學(xué)習(xí)網(wǎng)絡(luò)第19層輸出的特征圖。卷積的權(quán)值大小為64×7×7×1，偏置項大小為1×1。

1.3 殘差融合網(wǎng)絡(luò)

相同尺度的目標(biāo)在不同的尺度空間具有不同的表達形式［15］，本文通過不同尺度空間找尋不同尺度的目標(biāo)的最適合的表達形式，并通過多尺度的表達形式進行信息互補，保證了目標(biāo)表達的準(zhǔn)確性。本文試圖通過融合模型組合尺度空間1的殘差信息和尺度空間2的殘差信息。融合后的殘差為：

其中m表示尺度空間2預(yù)測殘差的權(quán)重，在本文中m=0.9。最終的重建圖像為：

1 .4 損失函數(shù)

使用均方誤差（mean squared error，MSE）作為網(wǎng)絡(luò)的損失函數(shù)，整體的損失函數(shù)為：

其中α，β控制不同尺度殘差學(xué)習(xí)網(wǎng)絡(luò)之間的平衡，在本文中α=β=1。網(wǎng)絡(luò)優(yōu)化過程中使用梯度下降法來進行反向傳播。每次卷積操作都會縮小特征圖的大小，通過填充零來保留更多的邊緣像素，以更準(zhǔn)確地推斷中心像素，同時也確保了所有的特征圖大小相同。網(wǎng)絡(luò)損失如圖2所示，由于2個子網(wǎng)絡(luò)訓(xùn)練使用的圖像塊大小差異，所以對應(yīng)的網(wǎng)絡(luò)訓(xùn)練時的損失在量級有差異，但收斂趨勢相同，證明了使用不同尺度的殘差網(wǎng)絡(luò)恢復(fù)殘差的合理性。

圖2 不同尺度殘差網(wǎng)絡(luò)的訓(xùn)練損失圖：（a）尺度1，（b）尺度2Fig.2 Training loss of multi-scale residual networks：（a）scale 1，（b）scale 2

2 結(jié)果與討論

2.1 實驗數(shù)據(jù)與參數(shù)

本文在Space Net衛(wèi)星圖像數(shù)據(jù)集中進行實驗，并通過峰值信噪比（peak signal to noise ratio，PSNR）本文中定義為RPSNR、結(jié)構(gòu)相似性（structural similarity，SSIM）和互信息（mutual information，MI）作為重建圖片質(zhì)量的客觀評估標(biāo)準(zhǔn)。PSNR和SSIM從圖像的角度刻畫了重建圖像與原始圖像之間的相似性，而互信息可從信息的角度表示兩幅圖像之間的信息的依賴程度，互信息評分越高，圖像之間的依賴越高，圖像之間的相似性也越高。圖像x與y之間的互信息定義為：

式（6）中，m和n表示灰度值，P(m)表示灰度值為m的像素數(shù)量占整幅圖像的比例。

Space Net衛(wèi)星圖像數(shù)據(jù)集中包括里約熱內(nèi)盧、巴黎、拉斯維加斯、上海和喀土穆5個可用的區(qū)域，每個地圖圖像都由完整的高分辨率衛(wèi)星圖像分割為438×406像素的RGB圖像，圖像的興趣內(nèi)容主要為建筑和道路等。從里約熱內(nèi)盧地圖中隨機選取240張建筑群圖像，其中的160張作為訓(xùn)練集，40張作為驗證集，余下40張作為測試樣本。

本文算法網(wǎng)絡(luò)為并行網(wǎng)絡(luò)結(jié)構(gòu)，每個子網(wǎng)絡(luò)都需要訓(xùn)練80個時期。由于網(wǎng)絡(luò)層數(shù)較深，因此本文算法使用學(xué)習(xí)率衰減，學(xué)習(xí)率初始化為0.1，每隔20個時期學(xué)習(xí)率便會下降至原來的1/10，而網(wǎng)絡(luò)的動量為0.9。為了避免過擬合，本文使用?2正則化，其權(quán)值衰減為0.0001。在尺度空間1殘差學(xué)習(xí)網(wǎng)絡(luò)中，本文設(shè)置步長為1，填充為1，而尺度空間2殘差學(xué)習(xí)網(wǎng)絡(luò)中，設(shè)置步長為1，填充為3。本文使用msra來初始化權(quán)重，即滿足均值為0方差為的高斯分布（n輸入訓(xùn)練樣本的個數(shù)），使用constant來初始化偏置項，即初始值為0。實驗先將RGB圖像轉(zhuǎn)換到Y(jié)CbCr顏色空間，在Y通道中進行重建，重建完成后再將Y通道的圖像還原到RGB顏色空間。

2.2 實驗結(jié)果與分析

對結(jié)果進行定量和定性的分析，并使用PSNR、SSIM和MI用于評估重建的結(jié)果進行定量分析。此外為了驗證本文算法網(wǎng)絡(luò)結(jié)構(gòu)的有效性，比較了CNN中前沿的算法：加速的基于卷積網(wǎng)絡(luò)的圖像超分辨率算法（auelerating the super_reso?lution convolutional neural network，F(xiàn)SRCNN）［16］，經(jīng)典深度學(xué)習(xí)算法基于深度卷積網(wǎng)絡(luò)的圖像超分辨率算法（image super-resolution using deep convo?lutional networks，SRCNN）［7］的加速優(yōu)化版本，拉普拉斯金字塔超分辨率網(wǎng)絡(luò)（laplacian pyramid su?per-resolution networks，LapSRN）［17］，視頻衛(wèi)星圖像超分辨率算法（video satellite imayery super resolu?tion，VISR）［12］。本文中使用的對比算法 FSRCNN的源代碼由論文作者Chao Dong提供，LapSRN的源代碼由論文作者Wei-Sheng Lai提供，VISR的源代碼由論文作者Yimin Luo提供。所有測試圖像的PSNR和SSIM如圖3所示（由于FSRCNN的客觀評分過低，并未在圖3中展示），本文算法重建圖像的PSNR和SSIM都是最優(yōu)的，如表1所示，本文算法無論是PSNR、SSIM還是MI都獲得了最高的客觀評分。與性能排名第二的算法VISR相比，分別提升了0.25 dB，0.01和0.03，表明了多尺度的殘差網(wǎng)絡(luò)通過不同尺度空間更有效地學(xué)習(xí)圖像內(nèi)容和結(jié)構(gòu)，以及通過更深網(wǎng)絡(luò)恢復(fù)圖像的信息的有效性。

圖3 Space Net衛(wèi)星圖像超分辨率結(jié)果的客觀對比：（a）PSNR，（b）SSIMFig.3 Objective results of super-resolution algorithms over Space Net satellite images：（a）PSNR，（b）SSIM

表1 Space Net數(shù)據(jù)集上PSNR，SSIM和MI的平均結(jié)果Tab.1 Average results of PSNR，SSIM and MI on SpaceNet dataset

2.2.1 本文算法與FSRCNN對比 FSRCNN使用亞像素空間來取代SRCNN在像素域的計算，但是FSRCNN中輸入的低分辨率圖像塊大小為11×11像素，對應(yīng)的高分辨率圖像塊大小為19×19像素，因此并不適用于尺度差異較大的衛(wèi)星圖像，如圖4所示，F(xiàn)SRCNN有較好的重建效果，但是由于尺度問題，導(dǎo)致重建圖4（b）中圖像塊拼接處不平滑，客觀評分較低。

圖4 SpaceNet衛(wèi)星圖像超分辨率結(jié)果的主觀對比：（a）雙三次插值，（b）FSRCNN，（c）LapSRN，（d）VISR，（e）本文算法，（f）高分辨圖像Fig.4 Subjective results of different super-resolution algorithms over SpaceNet satellite images：（a）bicubic，（b）FSRCNN，（c）LapSRN，（d）VISR，（e）our algorithm，（f）high resolution image

2.2.2 本文算法與LapSRN對比 LapSRN為多尺度的深度學(xué)習(xí)算法，但是LapSRN的多尺度信息融合主要是在訓(xùn)練網(wǎng)絡(luò)中的特征域進行。而本文算法則是通過構(gòu)建并行網(wǎng)絡(luò)，在殘差域中進行融合。殘差空間與圖像的高頻信息之間聯(lián)系更為緊密，且殘差域中數(shù)值較小，攜帶的信息量較小，能夠有更高的計算效率。

2.2.3 本文算法與VISR對比 VISR通過對低分辨圖像進行自相似填充，來避免網(wǎng)絡(luò)中的零填充帶來無用的信息，但是也因此將網(wǎng)絡(luò)改變?yōu)橄袼赜?。像素域中的重建會更多的關(guān)注于圖像中的低頻信息內(nèi)容，而衛(wèi)星圖像超分辨率任務(wù)中更希望恢復(fù)的是高頻信息，且在殘差域網(wǎng)絡(luò)中更為高效。

由圖4圖像重建客觀結(jié)果來看，該算法的重建圖像比其他算法的結(jié)果包含更多的細節(jié)信息。使用本文的算法重建的高分辨率圖像擁有更多的高頻信息。例如，對于小目標(biāo)建筑，本文的算法使房屋的輪廓更清晰；對于大目標(biāo)建筑，本文的算法在屋頂?shù)募y理方面有更好的表現(xiàn)；對于建筑間的道路，本文的方法更清晰的重建出了道路中的細紋?？傊?，由本文的結(jié)果證明，使用多尺度的殘差網(wǎng)絡(luò)有助于衛(wèi)星圖像的超分辨復(fù)原。

3 結(jié) 語

考慮到衛(wèi)星圖像的特殊性，使用多尺度學(xué)習(xí)來提高卷積神經(jīng)網(wǎng)絡(luò)對遙感衛(wèi)星圖像不同尺度先驗信息的適應(yīng)能力，通過融合多尺度殘差得到更準(zhǔn)確的邊緣和紋理等高頻信息。在Space Net數(shù)據(jù)集上的實驗結(jié)果表明：提出的多尺度殘差深度神經(jīng)網(wǎng)絡(luò)能有效地增強重建圖像中的高頻信息，相比前沿的衛(wèi)星圖像而言具有更好的主客觀重建質(zhì)量。