結構增強型生成對抗網絡SAR圖像超分辨率重建

閔 銳，楊 學 志，董 張 玉,4，陳 鯨

(1.合肥工業(yè)大學計算機與信息學院，安徽 合肥 230009；2.工業(yè)安全與應急技術安徽省重點實驗室，安徽 合肥 230009；3.合肥工業(yè)大學軟件學院，安徽 合肥 230009；4.智能互聯系統安徽省實驗室，安徽 合肥 230009)

0 引言

SAR(Synthetic Aperture Radar)系統[1-3]具備全天時、全天候、多極化等優(yōu)點，在遙感領域具有重要研究/應用價值，然而受系統設備以及成像過程不可抗干擾等因素影響，實際獲取的SAR圖像空間分辨率較低，難以滿足應用需求。由于SAR系統硬件設備昂貴，目前一般從軟件算法方向[4]提升SAR圖像空間分辨率，重建后的SAR圖像可更好用于目標識別分類[5]、災害監(jiān)測[6]等任務。

傳統圖像重建方法分為三大類：1)基于插值[7]的方法，如最近鄰插值[8](Nearest Neighbor Interpolation，NNI)、雙線性插值[9]和雙三次(Bicubic)插值[10]算法，該類方法主要通過插值函數估計待插值位置像素值以完成圖像重建，原理簡單、重建速度快，但插值后圖像質量較差、缺乏高頻信息，導致重建圖像紋理粗糙、邊緣模糊；2)基于重建的方法，如凸集投影法[11](Projection Onto Convex Sets，POCS)、迭代反投影法[12](Iterative Back Projection，IBP)和最大后驗概率法[13](Maximum A Posteriori，MAP)，該類方法旨在通過正則化約束制約解空間，以尋求高分辨率圖像近似估計，在圖像邊緣和細節(jié)重建方面比插值算法效果更好，但解不唯一且易受初始值影響；3)基于學習的方法[14]，其核心為以學習的方式獲取低分辨率到高分辨率圖像的非線性映射關系，通過選取合適的學習方法獲取重建模型，與基于重建的方法相比，該類方法通過訓練樣本獲得額外先驗知識，在重建圖像高頻細節(jié)信息部分效果更好。深度學習生成對抗網絡(Generative Adversarial Network，GAN)[15]具有強大的特征提取和特征表達能力，基于GAN網絡的超分辨率圖像重建算法相比傳統方法效果更好。例如：Legid等[16]首次將GAN網絡用于圖像重建，提出超分辨率生成對抗網絡(Super-Resolution Generative Adversarial Network，SRGAN)，不同于超分辨率卷積網絡(Super-Resolution Convolutional Neural Network，SRCNN)[17-19]，SRGAN網絡具有生成和判別雙網絡，博弈對抗訓練方式保證了生成網絡重建圖像質量隨著判別網絡性能增強而提升，效果顯著優(yōu)于傳統方法；為進一步提升重建圖像質量，Wang等[20]提出增強型超分辨率生成對抗網絡(Enhanced Super-Resolution Generative Adversarial Network，ESRGAN)模型，該模型通過改進生成網絡和感知域損失函數，有效增強了重建圖像細節(jié)信息和視覺效果，進一步提升了生成對抗網絡超分辨率重建優(yōu)勢，但仍存在重建圖像邊緣細節(jié)信息不足和局部“偽影”等問題。為解決此問題，本文提出一種基于生成對抗網絡的SAR圖像重建算法，以期有效增強重建圖像邊緣細節(jié)信息，改善“偽影”現象，并與其他算法進行比較，探索該算法在圖像重建方面的優(yōu)勢。

1 研究方法

1.1 GAN原理

GAN是一種無監(jiān)督深度學習模型，主要由生成器G(Generator)和判別器D(Discriminator)組成，G用于學習訓練數據分布，從而產生符合真實數據分布的新樣本數據，D用于判別G生成新樣本真假，二者交替訓練提升各自網絡性能，形成博弈對抗關系，最終使整個網絡達到“納什均衡”[21]。GAN數學模型表達式為：

(1)

式中：E表示函數期望值；Pdata(x)為真實樣本數據集；Pz(z)為先驗數據集，z為隨機噪聲數據；D(G(z))表示D判別生成樣本G(z)的真實概率，值越接近1，表示生成數據越接近真實樣本，同理D(x)表示D判別真實樣本x的真實概率。

GAN對抗訓練流程為：1)初始化生成器G和判別器D參數；2)從真實樣本Pdata(x)中隨機采集n個樣本x，從先驗分布Pz(z)中隨機采集n個噪聲z，并通過生成器G生成n個生成樣本G(z)；3)固定生成器G，訓練判別器D以盡可能準確判別真實樣本和生成樣本，循環(huán)多次更新D參數，增大D(x)數值，減小D(G(z))數值；4)固定判別器D，訓練生成器G以盡可能縮小生成樣本與真實樣本差距，循環(huán)多次更新G參數，增大D(G(z))數值；5)重復步驟3)和步驟4)，使得D(x)≈D(G(z))≈0.5，即網絡最終達到“納什均衡”。

1.2 結構增強型生成對抗網絡框架

近現代圖像超分辨率重建研究多圍繞光學圖像展開，鑒于成像后階段SAR圖像與光學灰度圖像存儲方式和通道數相同，二者存在一定相似性，本文參考ESRGAN[20]光學網絡模型，對其重建SAR圖像存在的邊緣細節(jié)信息不足與“偽影”現象進行改進，提出一種結構增強型生成對抗網絡(Enhanced Structural Generative Adversarial Network，ES-GAN)SAR圖像重建算法，ES-GAN模型生成器網絡結構按模塊功能可分為特征提取模塊A、特征增強模塊B和上采樣重建模塊C(圖1)，各模塊網絡層參數如表1所示。

圖1 ES-GAN生成器網絡結構

表1 ES-GAN網絡參數

(1)特征提取模塊A，由第一個卷積層組成。基于“高頻邊緣細節(jié)信息傾向于被較小卷積核所提取，而較為粗糙的結構內容信息更適合較大尺寸卷積核提取”[22]，為保留更多SAR圖像邊緣細節(jié)信息，同時降低計算復雜度，本文網絡使用3×3小卷積核提取輸入SAR圖像特征信息。用ILR表示輸入低分辨率SAR圖像，fconv1表示第一個卷積過程，xconv1表示卷積輸出結果，則模塊A可表示為：

xconv1=fconv1(ILR)

(2)

(3)

xconv2=fconv2(xRRDB)

(4)

圖2 RRDB模塊結構

(3)上采樣重建模塊C，由上采樣和第三個卷積層組成。不同于ESRGAN網絡模型采用單一上采樣方式，本文交替使用最近鄰插值(NNI)和亞像素卷積(Sub-Pixel Convolution，SPC)方式進行上采樣，NNI執(zhí)行空域變換，SPC執(zhí)行depth-to-space變換，二者交替有助于提升空間結構信息與深層抽象信息的交互融合，同時SPC上采樣方式有助于降低參數量和時間復雜度。本文網絡上采樣重建模塊結構如圖3所示，其中，Trunk A和Trunk B分別代表NNI和SPC上采樣模塊，每個采樣模塊放大倍數scale=2，使用PReLU(Parametric Rectified Linear Unit)作為激活函數，因為PReLU函數能夠使網絡稀疏性更好，從而提升訓練精度，同時在反向傳播過程中能夠保持較好的流動性，從而加快網絡訓練速度[23]。最后采用卷積網絡將多通道特征圖融合為單通道特征圖并輸出，進而參考Shang等[24]的研究提出模型上采樣部分結構，采用LReLU函數提高模型特征融合過程中的非線性擬合性能。定義NNI上采樣模塊函數為fTrunkA，SPC上采樣模塊函數為fTrunkB，第3、4個卷積層函數分別為fconv3、fconv4，LReLU函數為fLReLU，最后模型輸出ISR可表示為：

ISR=fconv4(fLReLU(fconv3(fTrunkB(fTrunkA(xconv1+xconv2)))))

(5)

圖3 上采樣重建模塊結構

1.3 損失函數

(1)VGG感知損失LVGG：網絡用VGG19模型進行預訓練，φij表示VGG19模型中第i層池化層和第j層卷積層之間的特征映射圖，(i,j)為相應特征圖維度，低分辨率圖像ILR尺寸為W×H，則定義LVGG為重建圖像ISR與參考圖像IHR之間的歐氏距離，公式為：

(6)

(7)

(3)像素損失Lpix：定義超分辨率放大尺寸為r，則重建圖像ISR尺寸為rW×rH，Lpix可表示為：

(8)

(9)

綜上，本文網絡生成器總損失函數Ltotal公式為：

(10)

2 實驗結果與分析

2.1 SAR數據集

(1)訓練數據集：從哥白尼數據開放中心(https://scihub.copernicus.eu)下載125張哨兵-1B GRD級別SAR數據，空間分辨率為10 m，VH極化，重訪周期6 d。對圖像進行預處理：利用ENVI軟件自動配準工具對SAR數據進行配準成像，配準誤差小于1個像元；采用BM3D[25]濾波算法對SAR圖像相干斑噪聲進行降噪；將原圖像裁剪為256×256大小。為使網絡訓練效果更佳，對有限數據集進行擴展：對預處理后的SAR圖像進行0°、90°、180°、270°旋轉及鏡像操作，得到8倍增樣本，最終得到1 000張256×256高分辨率參考圖像IHR；再利用雙三次插值算法對參考圖像IHR4倍降采樣，得到1 000張64×64低分辨率圖像ILR。

(2)測試數據集：選取由分享網站(https://down.itsvse.com/item/15937.html)提供的TerraSAR-X衛(wèi)星拍攝的3幅不同場景SAR圖像(成像時間為直布羅陀：2008年3月，荷蘭納爾登：2009年3月，西班牙安達素爾：2013年3月)，成像模式均為高分辨率聚束模式(High Resolution SpotLight,HS)、VV或HH單極化，分辨率為1 m×1 m，重訪周期為11 d。由于圖像中含有大量山體、農田和建筑等地物，內容和紋理信息豐富，適合作為驗證圖像。將3幅SAR圖像裁剪為256×256大小，并選取其中10幅紋理細節(jié)豐富的SAR圖像塊，制作成測試數據集，如圖4所示。

圖4 測試數據集

2.2 實驗環(huán)境及參數設置

本文實驗環(huán)境為Window 10-64位操作系統，CPU為Intel(R) Xeon(R)Silver 4114 CPU@2.20 GHz 2.19 GHz，內存為128 GB RAM，GPU為NVIDIA Tesla P100-PCIE，顯存16 GB，使用Pytorch框架搭建ES-GAN網絡模型，實驗統一進行放大倍數scale=4 的SAR圖像超分辨率重建實驗，并與傳統雙三次(Bicubic)插值、深度學習SRCNN和ESRGAN模型進行對比分析。生成器網絡使用Adam優(yōu)化器(β1=0.9，β2=0.000)，初始化學習率為1×10-4，每批次數量為batch_size=32，最大迭代次數epochs=20 000，λ=0.02,η=0.05,ζ=0.005。

2.3 模型對比分析

選用峰值信噪比(PSNR)、結構相似性(SSIM)和測試時間作為算法評價指標，使用圖4測試數據集對本文ES-GAN網絡模型與Bicubic、SRCNN[16]、ESRGAN[18]超分辨率網絡模型進行實驗。依次采用各算法模型對測試數據集進行重建，并記錄每幅重建圖像的PSNR、SSIM和重建時間，PSNR和SSIM取10幅圖像的平均值，測試時間求和，得到各算法最終評價指標(表2)?？梢钥闯觯?)Bicubic方法忽略了像素間的空間聯系，導致其PSNR和SSIM最低；深度學習方法中，采用對抗訓練方式的ESRGAN和ES-GAN模型重建指標更優(yōu)；針對對抗訓練方式所造成的“偽影”現象，ES-GAN模型從網絡結構和損失函數兩方面加以改進，故重建圖像PSNR和SSIM最高，空間信息保持最好。2)Bicubic插值方法原理最簡單，測試時間最短；深度學習方法中，ES-GAN與SRCNN模型測試時間大致相當，由于ES-GAN模型采用傳統插值和亞像素卷積方式交替上采樣，其比ESRGAN模型采用單一亞像素卷積上采樣方式用時更短，算法效率更佳，更適合海量遙感衛(wèi)星數據超分辨率重建。

表2 各模型評價指標對比

為進一步證明本文算法有效性，選取兩幅紋理邊緣信息豐富影像(TS_2和TS_3)的局部區(qū)域(圖5a、圖5f中白框部分)進行說明(圖5)。對于TS_2影像而言，因插值算法忽略了像素間的空間聯系，導致Bicubic重建圖像視覺效果較模糊，像素間“鋸齒”現象較嚴重(圖5b)；深度學習模型(圖5c-圖5e)中，ESRGAN和本文ES-GAN模型由于網絡層數更多，對特征提取更充分，因此重建圖像更加清晰，視覺效果更好，尤其是本文ES-GAN模型重建結果(圖5e)邊緣紋理更加清晰、真實，層次感更強，結構更合理，但ESRGAN模型重建結果(圖5d)部分紋理出現錯亂現象。上述分析結果對于TS_3影像同樣適用。

圖5 ES-GAN結果的定性對比

2.4 消融實驗

表3 ES-GAN模型結構消融對比

選用不同模式下的ES-GAN模型依次對測試數據集的10幅SAR圖像進行重建，并選取紋理信息較豐富、結構層次感較強的3張重建圖像(TS_1、TS_4和TS_5)進行效果對比(圖6)。

(1)重建模塊：對比圖6中第二、三列子圖發(fā)現，在損失函數相同的情況下，交替采用SPC和NNI進行上采樣的第三列子圖更清晰，邊緣紋理細節(jié)更突出(如圖6f和圖6g框內部分)，視覺效果明顯優(yōu)于僅采用SPC上采樣的第二列子圖；同時對比圖6a-圖6c及圖6i-圖6k中框內部分可以發(fā)現，重建圖像均出現一定程度紋理錯亂，圖像結構與原圖有明顯差異，仍存在與參考圖像結構紋理信息不符的“偽影”現象。

圖6 ES-GAN消融實驗效果

3 結論

本文在ESRGAN模型基礎上對原網絡結構和損失函數加以改進，提出一種結構增強型生成對抗網絡SAR圖像重建算法，該算法特點為：1)網絡結構上，改進原網絡上采樣模塊，采用NNI和SPC交替上采樣方式，促進了空間深度信息交互融合，增強了重建圖像邊緣細節(jié)信息；2)損失函數上，在原網絡損失函數基礎上引入結構損失函數，通過每批次反向傳播調節(jié)生成網絡參數，達到緩解網絡“偽影”目的。通過視覺效果和質量評價對算法有效性進行驗證，結果表明：本文算法重建圖像內容結構保持更好，紋理細節(jié)信息更豐富，證明了交替采樣方式和結構損失函數對重建圖像細節(jié)提升、緩解“偽影”現象的有效作用；本文算法對于結構內容單一圖像的重建效果提升不明顯，更適用于紋理信息豐富的SAR圖像。本文仍存在不足之處：在數據驗證方面，由于沒有公開SAR圖像超分辨率驗證數據集，驗證結果缺乏可比性；在圖像處理上，對SAR圖像固有的乘性光斑噪聲、SAR圖像存儲方式等特性考慮不足，后續(xù)實驗將進一步結合SAR圖像自身特性，同時關注算法在災害監(jiān)測、目標識別等方面的實用價值。