基于生成網(wǎng)絡的遙感圖像超分辨率的研究

張清勇， 陳智勇， 駱瀟原

(武漢理工大學自動化學院，武漢430070)

0 引言

近年來隨著航天技術不斷向前發(fā)展，眾多商業(yè)公司也在積極地發(fā)展著火箭發(fā)射技術，將來會有越來越多的低成本商業(yè)衛(wèi)星被應用于遙感圖像領域。在遙感圖像領域還存在許多無法避免因客觀素會影響遙感圖像的分辨率，例如傳輸過程中的噪聲、光學系統(tǒng)的像差和大氣的散射作用等［1］。為了改善低成本衛(wèi)星的成像質(zhì)量，提高圖像的分辨率，需要采用超分辨率技術對獲取的遙感圖像進行處理。

圖像超分辨率是從單幅或多幅低分辨率圖像重構(gòu)出一幅高分辨率圖像(High Resolution，HR)。目前圖像超分辨率研究領域主流方法有3種:插值、重建和學習。在圖像超分辨率應用的早期多采用插值的算法，較為常見的有雙立方插值法［2］(Bicubic interpolation)。插值的方法易產(chǎn)生邊緣模糊及振鈴效應［3］。重構(gòu)的方法則是通過同一場景下的多幅低分辨率圖像中提取出高頻信息，減少了插值方法中出現(xiàn)的邊緣模糊，但是存在最后解不穩(wěn)定、不唯一等問題［4］。

而基于學習的超分辨率方法有著良好的重構(gòu)結(jié)果，其中比較典型的有支持向量回歸方法［5］、稀疏表示［6］和深度學習等方法。最初將深度學習引入圖像超分辨率的是超分辨率卷積神經(jīng)網(wǎng)絡［7］(Super-Resolution ConvolutionalNeuralNetwork，SRCNN)。SRCNN細節(jié)和復雜紋理在經(jīng)過修復之后依然顯得有些模糊。

2017年，Ledig［8］等的超分辨率生成對抗網(wǎng)絡(SuperResolution GenerativeAdversarialNetworks，SRGAN)取得了很好的超分辨率效果。生成對抗神經(jīng)網(wǎng)絡超分辨率在細節(jié)豐富程度上遠勝SRCNN，對于圖像細節(jié)部分的恢復有著良好的效果。但是SRGAN同樣也需要大量的樣本進行訓練才能盡可能取得好的效果。通常認為深度卷積神經(jīng)網(wǎng)絡已經(jīng)從包含大量圖像的數(shù)據(jù)集中獲取了足夠的信息，所以修復效果比較好［10］。但是 Zhang等［11］發(fā)現(xiàn)用一個在訓練集上表現(xiàn)良好的卷積神經(jīng)網(wǎng)絡對隨機標簽的測試集進行測試時出現(xiàn)了過擬合的現(xiàn)象，認為深度卷積神經(jīng)網(wǎng)絡效果之所以這么好不僅是因為有著大量數(shù)據(jù)集的訓練，還有網(wǎng)絡結(jié)構(gòu)本身所發(fā)揮的重要作用。

本文針對性地采用了Ulyanov等［11］提出的生成網(wǎng)絡進行圖像超分辨率的方法。本文還針對遙感圖像中地形地貌差異明顯、紋理細節(jié)豐富等特點對生成網(wǎng)絡進行改進，增加了網(wǎng)絡參數(shù)和網(wǎng)絡層數(shù)。網(wǎng)絡的初始化參數(shù)是隨機的，通過學習低分辨率圖像的特征，并把這些特征應用在高分辨率圖像中，使用不同尺度層面的自相似性放大圖像，在保證恢復圖像質(zhì)量的同時無需使用數(shù)據(jù)集對網(wǎng)絡進行大量預訓練。生成網(wǎng)絡模型不必通過對數(shù)據(jù)集進行預先的參數(shù)訓練與學習即可實現(xiàn)傳統(tǒng)意義上的圖像修復［12］，例如圖像去噪，圖像去遮蓋以及圖像超分辨率等任務，網(wǎng)絡權重是隨機的，先驗信息來自網(wǎng)絡結(jié)構(gòu)本身。受文獻［13］中網(wǎng)絡層數(shù)越深效果越好的啟發(fā)，本文中生成器網(wǎng)絡使用了更多的網(wǎng)絡參數(shù)和更深的網(wǎng)絡。

1 遙感圖像超分辨率原理

1.1 遙感成像模型

首先對遙感圖像的成像模型［14］描述，可以用一個線性系統(tǒng)對圖像的成像過程進行建模:

式中:X為成像系統(tǒng)得到的低分圖像;D為下采樣過程;H為全局一致模糊算子;F為幾何映射;Y為高分辨率圖像;V為加性噪聲。因為在成像過程本身就是下采樣，還附帶了不可避免的噪聲，所以成像得到的圖像質(zhì)量必然會發(fā)生下降，而且數(shù)字圖像采集本身即是一個離散化過程，如果想在硬件上進行改進來提高成像質(zhì)量，需要極高的成本和代價。在成本和技術手段的限制之下必然會達到一個瓶頸，因此發(fā)展了圖像超分辨率技術，通過處理算法層面上的提高，對圖像進行修復，以獲得質(zhì)量更好的圖像。

1.2 生成網(wǎng)絡模型

單幅圖像的超分辨率是一個逆問題，得到的解是不唯一的，因為一幅低分辨率圖像可能對應多幅高分辨率圖像。圖像超分辨率屬于一個基于能量最小化模型的問題:

式(2)中，E(x;x0)是一個數(shù)據(jù)項，這里選擇其形式如式(3)所示;x*是網(wǎng)絡輸出的高分辨率圖像;x0為生成網(wǎng)絡輸入的低分辨率圖像;d(x)為生成網(wǎng)絡輸出圖像的下采樣過程;R(x)則是抓取圖像先驗知識的正則化項。這里將R(x)用一個神經(jīng)網(wǎng)絡表示，其形式為:

式中:z為隨機初始化參數(shù)的網(wǎng)絡輸入;θ為生成網(wǎng)絡的網(wǎng)絡參數(shù)，采用Adam優(yōu)化算法［15］，迭代更新網(wǎng)絡權重參數(shù)，θ的最優(yōu)值通過訓練得到。當給定一個最優(yōu)參數(shù)θ*之后，圖像恢復的過程如式(5)所示，將輸入信號z代入網(wǎng)絡即可得到網(wǎng)絡輸出的高分辨率圖像x*。其具體網(wǎng)絡結(jié)構(gòu)如圖1所示，網(wǎng)絡結(jié)構(gòu)類似于沙漏形狀。

圖1 生成網(wǎng)絡結(jié)構(gòu)圖

生成網(wǎng)絡結(jié)構(gòu)采用encoder-decoder結(jié)構(gòu)［16］，也就是編碼-解碼模型，輸入網(wǎng)絡d和輸出網(wǎng)絡u。若圖1中S快捷連接(黃色箭頭所示)過多，會導致網(wǎng)絡學習質(zhì)量下降。因此網(wǎng)絡結(jié)構(gòu)主要是用全卷積結(jié)構(gòu)來構(gòu)造，上采樣采用了雙線性和最近鄰上采樣，下采樣通過調(diào)整卷積的步幅實現(xiàn)。在每次訓練迭代時對輸入的參數(shù)z添加隨機噪聲，避免最終結(jié)果過多地依賴最初輸入的參數(shù)z，確保網(wǎng)絡本身學到更多的信息。不限制學習次數(shù)，最終網(wǎng)絡會輸出一個和原圖像分布相同的輸出圖像，若限制訓練迭代次數(shù)，網(wǎng)絡則會輸出一個修復后的圖像。

1.3 評判標準

實驗中圖片相似度采用了國際通用的評判標準來衡量實驗性能，即峰值信噪比［17］(Peak Signal to Noise Ratio，PSNR) 和結(jié)構(gòu)相似性［18］(Structural similarity index，SSIM)。峰值信噪比是目前使用的最為廣泛的客觀圖像品質(zhì)評價標準，其定義式為:

式中:MSE為原圖像和經(jīng)過處理后圖像的均方誤差;PSNR的單位為dB，PSNR起源于香農(nóng)理論，用來表示圖像局部信息丟失的多少。

結(jié)構(gòu)相似性SSIM是一種衡量電影、電視或者其他數(shù)字圖像的主觀感受的一種方法，算法在設計上充分考慮了人眼實際的視覺特性，比傳統(tǒng)方法更符合人眼的真實感受，該算法分別從亮度，對比度和結(jié)構(gòu)3個角度來評估圖像的相似性，其計算式為:

式中:μX、μY分別為圖像 X 和 Y 的均值;σX、σY分別為圖像X和Y的方差，σXY為圖像X和圖像Y的協(xié)方差;C1、C2、C3為常數(shù)，避免了分母為零的情況［4］。

由于SSIM在衡量圖像質(zhì)量上的優(yōu)秀表現(xiàn)，SSIM相對數(shù)值高的圖像更符合人眼觀看真實圖像的主觀感受，所以它已經(jīng)被廣泛應用于圖像質(zhì)量評價領域，在圖像質(zhì)量評價領域成為了一個重要的指標。

2 實驗及結(jié)果分析

本實驗中所有測試圖像來源于美國國家地質(zhì)勘探局(United States Geological Survey，USGS)的遙感圖片數(shù)據(jù)集。

圖2 USGS遙感圖像工廠原始HR圖像及各種方法重構(gòu)結(jié)果

圖3 USGS遙感圖像湖泊原始HR圖像及各種方法重構(gòu)結(jié)果

在本文中利用生成網(wǎng)絡模型，對測試數(shù)據(jù)集當中3種地質(zhì)圖像類型分別進行了3次圖像超分辨率實驗，這3種地質(zhì)圖像類型為工廠、湖泊和房屋(見圖2～4)。這3次實驗的原始圖像如圖2(a)～圖4(a)所示;對比測試使用了雙立方插值，其實驗結(jié)果如圖2(b)～圖4(b)所示;對比測試還使用了SRCNN，其實驗結(jié)果如圖2(c)～圖4(c)所示;最后對本文采用的生成網(wǎng)絡圖像超分辨率方法進行了測試，其實驗結(jié)果如圖2(d)～圖4(d)所示。

對3種地質(zhì)圖像類別進行了3種超分辨率方法的對比，結(jié)果顯示見圖2(d)～圖4(d)，生成網(wǎng)絡相對于圖2(b)～圖4(b)以及雙立方插值和圖2(c)～圖4(c)SRCNN，在圖像超分辨率的效果更好。因為低分辨率圖像經(jīng)過生成網(wǎng)絡模型處理后的輸出圖像的效果，相對于雙立方插值處理后的輸出圖像和SRCNN處理后的輸出圖像來說，無論是在圖像銳度還是在圖像清晰度上都有較為明顯的提升，圖像在經(jīng)過處理之后更加容易辨認遙感地質(zhì)圖像中的多種圖像類別。

圖4 USGS遙感圖像房屋原始HR圖像及各種方法重構(gòu)結(jié)果

從圖2中(c)和(d)房屋的屋頂部分的細節(jié)對比和圖3中(c)和(d)湖泊碼頭部分的對比可以看出，生成網(wǎng)絡進行超分辨率重構(gòu)后的圖像相較于SRCNN重構(gòu)后的圖像更為銳利，在遙感圖像細節(jié)的修復上有著更好的表現(xiàn)，對受損圖像中的復雜紋理修復效果更好，修復后的圖像中的細節(jié)更豐富，更符合人眼的視覺特性。遙感圖像在經(jīng)過生成網(wǎng)絡修復后，紋理與邊緣更加清晰，輸出圖像中的物體更加容易辨認。

從表1中3種地質(zhì)類型的平均PSNR指標的數(shù)據(jù)結(jié)果來看，生成網(wǎng)絡模型在遙感地質(zhì)圖像超分辨率上的表現(xiàn)結(jié)果優(yōu)于雙立方插值的超分辨率方法，也優(yōu)于SRCNN的圖像超分辨率修復效果。而且使用生成網(wǎng)絡進行圖像超分辨率，修復后圖像的SSIM數(shù)值比使用雙立方插值和SRCNN進行修復后圖像的SSIM數(shù)值更高，所以使用生成網(wǎng)絡進行地質(zhì)圖像超分辨率修復，修復后圖像在人眼視覺的主觀感受上更為接近原圖，圖像超分辨率的效果更好。并且相對于SRCNN，生成網(wǎng)絡模型無需使用大量圖像數(shù)據(jù)集對網(wǎng)絡進行訓練，從始至終生成網(wǎng)絡的輸入只有一張等待修復的低分辨率圖片，但是所取得的效果卻優(yōu)于經(jīng)受過大量數(shù)據(jù)訓練的SRCNN，并且經(jīng)過生成網(wǎng)絡修復過的圖像在主觀感受上變得更加銳利和清晰。

表1 重建HR圖像的平均PSNR和SSIM值

3 結(jié)語

本文通過無預訓練的生成網(wǎng)絡對遙感地質(zhì)圖像進行了圖像超分辨率實驗。網(wǎng)絡輸入低分辨率的地質(zhì)遙感圖像，經(jīng)過生成網(wǎng)絡的不斷迭代訓練之后，最后實現(xiàn)單幅圖像的超分辨率重建修復。實驗證明了網(wǎng)絡結(jié)構(gòu)本身的結(jié)構(gòu)對于遙感圖像超分辨率的修復工作有很大影響，好的網(wǎng)絡結(jié)構(gòu)能夠達到較好的超分辨率修復效果。下一步的工作將嘗試改進模型的損失函數(shù)，希望能進一步提升超分辨率圖像的細節(jié)與復雜紋理的修復效果。