基于RDN卷積神經網絡的遙感影像超分辨率重建方法研究

陳學業(yè) ，黃 穎 ，郭明強 ，楊亞侖，吳 亮，謝 忠

1. 深圳市數(shù)字城市工程研究中心，廣東 深圳 518034；

2. 自然資源部 城市國土資源監(jiān)測與仿真重點實驗室，廣東 深圳 518034；

3. 武漢中地數(shù)碼科技有限公司，湖北 武漢 430074；

4. 武漢中地先進技術研究院有限公司，湖北 武漢 430074；

5. 中國地質大學（武漢） 地理與信息工程學院，湖北 武漢 430074；

6. 國家地理信息系統(tǒng)工程技術研究中心，湖北 武漢 430074

0 引 言

圖像超分辨率（SR）重建技術是指運用圖像處理和信號處理的方式，通過特定的算法將已有的一幅或多幅低質量、低分辨率圖像轉換成高質量、高分辨率圖像的技術[1]。圖像超分辨率重建的結果具有不唯一性，它存在多重解[2]，如何通過低分辨率圖像得到一個最接近真實情況的高分辨率圖像一直是學者們想要解決的一個難題。

近年來，圖像超分辨率重建技術受到了學者們的極大關注，在許多領域中超分辨率重建都有著重要的應用，如醫(yī)療圖像增強[3]和小物體檢測[4]。同樣在測繪遙感領域中，由于硬件成本和技術的限制，衛(wèi)星觀測到的圖像往往不能滿足應用的需求，因此超分辨率重建技術在遙感領域也有著非常重要的研究和應用價值，可應用在諸如土地覆蓋分類[5-8]、自然災害預警[9]、目標檢測[10-12]等領域。

本文首先介紹了目前超分辨率重建方法在自然圖像和遙感影像領域的研究現(xiàn)狀，對現(xiàn)有方法進行總結分析。之后針對遙感影像特點提出了基于RDN卷積神經網絡的遙感影像超分重建方法，使用AID、NWPU-RESISC45遙感影像數(shù)據(jù)集進行實驗，驗證使用RDN模型進行遙感影像超分重建的可行性并評估其超分重建能力。

1 相關研究

國內外的許多學者都對圖像超分辨率重建算法進行了深入的研究，這些方法主要包括插值、重建和機器學習3大類。

HARRIS等[13]人首次提出了基于插值的方法進行圖像超分辨率重建并成功地將一幅低分辨圖像重建為一幅高分辨率圖像。在此之后，出現(xiàn)了經典的最近鄰插值、雙線性插值和雙三次插值等算法。

TSAI[14-15]提出了基于重建的超分辨率算法，利用圖像的退化模型，研究原始圖像視覺場景如何演化得到觀測圖像[14-15]?；谥亟ǖ慕浀渌惴ㄖ饕ǎ旱聪蛲队胺╗16]、凸集投影法[17]、最大后驗概率法[18-19]。

2000年FREEMAN等[20]人首次提出了基于學習的超分辨率重建方法?；趯W習的方法主要分為三類，分別是流形學習、稀疏表示和深度學習。CHANG等[21]人利用流形學習的鄰域嵌入算法實現(xiàn)了圖像超分辨率，它假設高分辨率圖像和低分辨率圖像在特征空間中具有相似的局部流形[15]。YANG等[22-24]人將壓縮感知理論引進了超分辨率重建中，提出了一種基于稀疏表示的重建模型。DONG等[25]人將卷積神經網絡應用到圖像超分辨率重建中，構建了SRCNN超分重建模型，為基于深度學習的遙感影像超分重建技術發(fā)展奠定了基礎。2016年DONG等[26]人又提出了FSRCNN模型，該模型對SRCNN進行了改進。KIM等[27]人提出了VDSR模型，VDSR是一個具有20層網絡的深度模型，該模型結合了VGG[28]模型和ResNet[29]模型，將殘差學習引入到圖像超分辨率中并取得了很好的效果。LEDIG等[30]人將生成對抗網絡GAN引入到超分辨率重建中，并提出了SRGAN模型。WANG等[31]人在SRGAN的基礎上對SRGAN模型進行了改進并提出了ESRGAN模型，引入了殘差密集塊來代替SRGAN的殘差單元，并移除了批量歸一化層。LIM等[32]人在SRGAN的基礎之上設計了EDSR模型，在一定程度上提升了圖像超分重建效果。ZHANG等[33]人基于SRDenseNet和ResNet設計了RDN模型，借用殘差網絡和密集連接塊的思想將深度學習網絡應用到了自然圖像的超分辨率重建中。

在遙感領域中，基于插值的算法主要用于遙感影像的預處理，而進行超分重建的主要是基于深度學習的方法。本文基于RDN深度卷積神經網絡實現(xiàn)遙感影像的超分重建，并使用遙感影像數(shù)據(jù)集對其重建能力進行驗證。

2 RDN遙感影像超分重建模型

針對遙感影像超分重建問題，本文采用RDN網絡模型[33]，基于SRDenseNet和ResNet進行構建，網絡架構如圖1所示。

圖1 RDN模型架構圖Fig.1 RDN model

在圖1中，LR代表低分辨率圖像，Conv代表卷積層，RDB代表Residual dense block即殘差密集塊，Concat代表連接層，1×1 Conv代表尺寸為1×1的卷積核，Upscale代表上采樣操作，HR代表重建后的高分辨率圖像結果，藍色箭頭代表局部特征融合，綠色箭頭代表全局特征融合。

在架構圖中可以發(fā)現(xiàn)，第一個卷積層F-1是通過輸入的低分辨率圖像LR得到的，公式如下：

式中，HSFE1(LR)為第一個卷積操作；F-1為用于進一步的淺層特征提取和全局殘差學習。接下來由F-1到F0，F(xiàn)0的計算公式如下：

式中，HSFE2(F-1)為第二個卷積操作，并作為殘差密集塊的輸入。假設包含D個殘差密集塊，那么第d個RDB的輸出Fd公式如下：

式中，HRDB,d為第d個RDB操作，可以將其看做一個操作的復合函數(shù)，包含卷積操作和ReLU激活函數(shù)，F(xiàn)d則是充分利用了每個RDB的卷積操作而產生的。

在經過多個RDB的特征提取后，還要進行密集特征融合，包含全局特征融合和全局殘差學習，F(xiàn)DF是利用密集特征融合復合函數(shù)的特征映射，公式如下：

整個過程可以表達為：

式中，ILR為輸入的低分辨率圖像；ISR為輸出的高分辨率圖像；HRDN為整個RDN超分重建網絡模型的操作。

3 模型對比實驗分析

3.1 實驗數(shù)據(jù)與預處理

本文所用實驗數(shù)據(jù)分別來自AID、NWPU-RESISC45數(shù)據(jù)集。使用AID數(shù)據(jù)集中包含的10 000張遙感影像作為訓練數(shù)據(jù)集，圖像的分辨率為600×600。選用NWPURESISC45作為測試數(shù)據(jù)集，數(shù)據(jù)集共有31500張遙感影像，圖像的分辨率為256×256。

選用python中的cv2和numpy框架進行訓練數(shù)據(jù)預處理，首先讀取遙感影像，然后將RGB三通道模式轉為YCrCb模式，并將Y通道的數(shù)據(jù)提取出來作為主要處理對象。此時提取出來的Y通道影像為高質量灰度圖像，通過雙三次插值算法對高質量灰度圖像H_Image進行下采樣處理，得到與H_Image分辨率相同的低質量灰度圖像L_Image。接下來對影像進行隨機裁剪，裁剪的尺寸為32×32，裁剪的子圖像個數(shù)為30。最終獲得300 000對影像，保存在h5文件中。

3.2 模型對比分析

為了證明RDN模型的應用能力，選取NWPU-RESISC45數(shù)據(jù)集進行超分重建測試。選擇BICUBIC、SRCNN、VDSR和RDN 4種方法進行重建實驗對比，使用PSNR和SSIM作為評價指標，選擇2、3、4放大倍數(shù)來對比不同方法之間的優(yōu)劣。

定性分析。本文將4種方法的重建實驗結果與真實高分影像（GT）進行對比，包括放大2倍、3倍、4倍后不同情況的重建結果對比，如圖2所示。

圖2 不同方法生成的2倍、3倍、4倍重建結果與真實高分影像（GT）對比Fig.2 2x, 3x and 4x reconstruction results of different methods

由圖2可以發(fā)現(xiàn)，NWPU-RESISC45數(shù)據(jù)集中，BICUBIC方法雖然可以大致恢復出原圖像，但并不能重建出較好的細節(jié)，給人一種模糊的感覺?；谏疃葘W習的SRCNN和VDSR方法相對于BICUBIC方法來說有了質的變化，能夠更加清晰地展示出地物的紋理特征和細節(jié)變化，但由于遙感影像的地物類別較為復雜，不同的地物重建結果往往也不一樣。草地、水域等紋理比較單一的地物，各個方法之間超分重建的結果差異很?。唤ㄖ?、山脈等紋理比較豐富的地物，各個方法之間的差異較為明顯。隨著放大倍數(shù)增大，RDN模型得到的重建結果更加光滑，雖然地物的部分細節(jié)紋理丟失，但建筑物等物體的邊緣更加清晰，說明RDN模型比較適用于遙感影像土地利用分類、建筑物提取、道路提取等對細節(jié)紋理特征要求不高的領域。

定量分析。本文選取4張影像對不同方法的PSNR和SSIM值進行定量分析，結果見表1、表2。

表1 不同方法超分重建結果的PSNR值Tab.1 PSNR of super reconstruction results for different methods

表2 不同方法超分重建結果的SSIM值Tab.2 SSIM of super reconstruction results for different methods

從表1和表2中的結果可以看出，隨著放大倍數(shù)的增大，各個重建結果所對應的PSNR值和SSIM值隨之減小?？傮w來說，BICUBIC、SRCNN、VDSR和RDN等方法所對應的PSNR和SSIM值依次增高，效果越來越好。對于這些影像的2倍重建來說，RDN模型在某些圖像上的表現(xiàn)比VDSR稍差，但到了3倍和4倍時，RDN模型的優(yōu)勢就發(fā)揮了出來，無論是PSNR還是SSIM，都表現(xiàn)較好。

4 結 論

本文針對遙感影像的超分辨率重建問題，選擇了幾個優(yōu)秀的基于卷積神經網絡的超分辨率網絡模型，以AID數(shù)據(jù)集為訓練數(shù)據(jù)集，以NWPU-RESISC45數(shù)據(jù)集為測試數(shù)據(jù)集，以PSNR和SSIM作為圖像評價的指標進行了實驗，發(fā)現(xiàn)基于RDN的超分重建模型在遙感影像重建中要優(yōu)于其他模型。在2倍重建時，VDSR模型的重建效果在部分影像中要稍優(yōu)于RDN模型，但隨著放大倍數(shù)增大，RDN模型的PSNR和SSIM明顯優(yōu)于其他模型，且重建后的圖像更加光滑，地物邊緣相對更加清晰，有利于基于重建的影像進行地物提取，適合地塊、房屋、道路、水體的提取。下一步將針對遙感影像超分重建需求，研究一種在線遙感影像超分辨率重建系統(tǒng)，實現(xiàn)遙感影像超分重建深度學習模型訓練樣本的自動預處理、自動訓練和自動化測試，實現(xiàn)高分辨率遙感影像的在線自動重建。