基于特征復(fù)用的膨脹-殘差網(wǎng)絡(luò)的SAR圖像超分辨重建

李 萌 劉 暢

①(中國科學(xué)院空天信息創(chuàng)新研究院 北京 100190)

②(中國科學(xué)院電子學(xué)研究所 北京 100190)

③(中國科學(xué)院大學(xué) 北京 100049)

1 引言

合成孔徑雷達(dá)(Synthetic Aperture Radar,SAR)具有的全天時、全天候特性使得SAR圖像被廣泛應(yīng)用于各個領(lǐng)域，如目標(biāo)檢測、地物分類和變化檢測等。圖像分辨率作為評價SAR圖像質(zhì)量的一個重要指標(biāo)，分辨率越高的圖像會攜帶更多的語義信息，在后續(xù)的高級視覺任務(wù)中，能夠產(chǎn)生更好的處理效果。然而由于經(jīng)濟(jì)因素的限制，以及SAR成像系統(tǒng)的本身硬件設(shè)備限制，大批SAR圖像來自于低端圖像采集設(shè)備或者未經(jīng)過無損的保存，導(dǎo)致采集到的SAR圖像數(shù)據(jù)多以低分辨率的形式存在，嚴(yán)重限制了后期的應(yīng)用需求，因此需要進(jìn)行SAR圖像分辨率的提高。

SAR圖像分辨率提高通常有3種途徑：其一是改進(jìn)和更新硬件，如通過增大系統(tǒng)的發(fā)射帶寬和合成大孔徑來提高系統(tǒng)理論分辨率；其二是如現(xiàn)代譜估計法[1]和數(shù)據(jù)外推法[2]等在成像階段對SAR成像系統(tǒng)采集的原始回波數(shù)據(jù)進(jìn)行處理，但它們對信號模型的依賴性很強(qiáng)，且計算量十分龐大；其三為圖像超分辨重建(Super Resolution,SR)方法，即對成像后的SAR圖像運用圖像處理方法，從而實現(xiàn)分辨率提高。受限于SAR相干成像原理，并且改進(jìn)和更新硬件所需的周期長、成本高，圖像超分辨重建算法的運行成本低，而可行性好，具有重要意義。

插值作為最傳統(tǒng)的SAR圖像超分辨重建算法，其計算簡單、復(fù)雜度低，結(jié)果計算十分迅速，能夠滿足實時任務(wù)需求。最常用的插值方法為最近鄰插值法[3]、雙線性插值方法[4]和雙三次插值[5]，但由于插值法只利用了圖像鄰域之間的相關(guān)信息，因此重建得到的圖像精度很低。相較于插值法，Yang等人[6]提出的基于稀疏表示的圖像重建方法ScSR(Super-Resolution Via Sparse Representation)可以得到效果較好的超分辨重建結(jié)果。其利用圖像塊的稀疏性訓(xùn)練得到高低分辨率圖像塊之間的一對字典，實現(xiàn)了高低分辨率圖像映射關(guān)系的自主學(xué)習(xí)，然而由于訓(xùn)練集樣本受限，因此使用范圍較窄。相較于傳統(tǒng)的SAR圖像超分辨重建算法，卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)能夠自適應(yīng)地捕獲特征，聯(lián)合特征網(wǎng)絡(luò)訓(xùn)練上采樣模塊，通過圖像庫直接訓(xùn)練低分辨率(Low Resolution,LR)圖像到高分辨率(High Resolution,HR)圖像的端對端的映射函數(shù)，具有更好的操作性和靈活性，因此能夠得到更加準(zhǔn)確的超分結(jié)果，是目前運用最廣并且效果最好的超分辨重建算法。

目前，CNN已被廣泛運用到SAR圖像超分辨重建領(lǐng)域。例如，Dong等人[7]設(shè)計的SRCNN(Super-Resolution Convolutional Neural Network)方法使用前饋的3層卷積神經(jīng)網(wǎng)絡(luò)做非線性映射，首次將CNN應(yīng)用至超分辨領(lǐng)域，但該算法需要對原始高分辨率圖像進(jìn)行兩次采樣操作來生成輸入圖像，導(dǎo)致時間開銷很大；由于輸入的低分辨率圖像和輸出的高分辨率圖像在很大程度上是相似的，也就是低分辨率圖像攜帶的低頻信息與高分辨率圖像的低頻信息相近，訓(xùn)練時帶上低頻信息部分會多花費大量的時間，Kim等人[8]提出的VDSR(Very Deep Super Resolution)模型將He等人[9]提出的殘差結(jié)構(gòu)添加進(jìn)超分辨模型，在提升效率的同時進(jìn)而解決了之前網(wǎng)絡(luò)結(jié)構(gòu)比較深時無法訓(xùn)練的問題；Wang等人[10]使用生成式對抗網(wǎng)絡(luò)(Generative Adversarial Networks,GAN)來實現(xiàn)SAR圖像超分辨重建；Li等人[11]進(jìn)一步探索了基于反饋機(jī)制即權(quán)重共享的CNN在超分任務(wù)中的運用。

在算法精度方面，全卷積超分辨算法[8-10]均選擇普通殘差結(jié)構(gòu)作為特征提取模塊。然而普通殘差單元的感受野較小，因此對微小細(xì)節(jié)并不敏感，導(dǎo)致小目標(biāo)的超分效果不夠精細(xì)，甚至信息無法重建；為增加網(wǎng)絡(luò)感受野，許多網(wǎng)絡(luò)結(jié)構(gòu)[12-14]會使用數(shù)量龐大的殘差塊結(jié)構(gòu)，由于網(wǎng)絡(luò)層數(shù)多、結(jié)構(gòu)復(fù)雜，以致訓(xùn)練網(wǎng)絡(luò)十分困難，難以快速達(dá)到收斂。而膨脹卷積(Dilated CNN)[15]通過存在空洞的卷積核實現(xiàn)尺寸不變的輸出特征圖，既能實現(xiàn)特征的快速提取，又能保持微小目標(biāo)的信息重建。因此本文基于一種膨脹-殘差卷積神經(jīng)網(wǎng)絡(luò)(Dilated-Resnet CNN,DR-CNN)來提升分類效率。該結(jié)構(gòu)實質(zhì)上是將殘差單元中的普通卷積更替為膨脹卷積，因此很容易實現(xiàn)和遷移推廣到復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)中。

另外，考慮到全卷積超分辨網(wǎng)絡(luò)作為一個編碼-解碼框架，低等級的特征圖包含更多的簡單信息，比如邊界、顏色，而高等級的特征圖則可以捕獲更抽象且強(qiáng)語義的高維特征，因此本文采用把不同等級上具有相同尺度的特征圖疊加后再送入下一步的卷積操作，即特征復(fù)用[16]。這種設(shè)計可以使特征提取模塊同時利用不同尺度上的低級特征和高級特征，從而來捕獲更多空間上下文語義特征，進(jìn)一步提升DR-CNN模型的超分辨精度，文中稱該算法為特征復(fù)用的膨脹-殘差卷積神經(jīng)網(wǎng)絡(luò)(Feature Reuse Dilated-Resnet CNN,FRDR-CNN)。同時，在網(wǎng)絡(luò)中引入感知損失，以此克服SAR圖像斑點噪聲的干擾，實現(xiàn)了高精度的SAR圖像圖像重建。

綜上，后文的結(jié)構(gòu)安排如下：第2節(jié)介紹卷積和感知損失等相關(guān)理論；第3節(jié)詳細(xì)介紹DRCNN結(jié)構(gòu)以及FRDR-CNN結(jié)構(gòu)；第4節(jié)為實驗部分，基于某研究所所提供的某地區(qū)兩對不同場景下相同空間分辨率的SAR圖像，驗證了本文采用算法的準(zhǔn)確性和可行性。

2 原理介紹

2.1 膨脹卷積

卷積神經(jīng)網(wǎng)絡(luò)通過使用局部操作按階層對不同圖像特征進(jìn)行抽象，隨后連接非線性激活層對圖像進(jìn)行去線性化[17]。隨著數(shù)據(jù)的大規(guī)模化和計算機(jī)硬件的飛速發(fā)展，多層CNN模型展現(xiàn)了極大的優(yōu)勢。常見的多層CNN特征模型如VGG[18],ResNet[9]和DenseNet[16]等，并已應(yīng)用于圖像超分辨、圖像降噪、目標(biāo)檢測與識別、地物分類和分割等諸多研究領(lǐng)域。

膨脹卷積[15]通過設(shè)置不同大小的膨脹因子(dilation rate)對普通卷積窗進(jìn)行空洞填充(hole padding)，填充的元素不會隨著學(xué)習(xí)做出調(diào)整，在不增加卷積核參數(shù)量的情況下使卷積核的感受野擴(kuò)大。膨脹卷積的計算方式與普通卷積相同，卷積核逐像素滑動，當(dāng)滑動至某個像素點后，計算該像素點的鄰域像素矩陣與卷積核模板的滑動內(nèi)積。膨脹卷積的感受野大小和產(chǎn)生的特征圖分辨率計算公式為

其中，d為膨脹因子，k,k′分別表示原始卷積核和膨脹后的卷積核尺寸，h,h′分別表示輸入和輸出特征圖的分辨率大小，p表 示邊緣填充尺寸，s為滑動步長。

圖1為卷積核大小為3×3時，不同膨脹因子所對應(yīng)的膨脹卷積核感受野大小示意，其中圖1(a)對應(yīng)膨脹因子為1的3×3卷積核，簡記為1-Dilated conv，其感受野為3×3；類似地，圖1(b)圖對應(yīng)2-Dilated conv，膨脹因子為2，雖然卷積核大小只有3×3，但感受野已擴(kuò)大至5×5；圖1(c)圖對應(yīng)5-Dilated conv，膨脹因子為5，感受野擴(kuò)大至11×11。不難發(fā)現(xiàn)，當(dāng)膨脹因子為1時，膨脹卷積等價于普通卷積。

膨脹卷積能夠在不增加卷積核參數(shù)量的情況下擴(kuò)大卷積核的感受野，因此，不需要通過池化操作降低特征圖的分辨率，便可獲取到比較高級的語義信息，從而能夠有效避免特征圖分辨率降低帶來的圖像局部細(xì)節(jié)信息損失嚴(yán)重的問題；另外，不同大小的膨脹因子的使用，能夠形成不同尺寸的卷積感受野，從而注意到不同尺度的圖像特征。

2.2 殘差網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)通過一系列網(wǎng)絡(luò)層學(xué)習(xí)層次性特征，隨著網(wǎng)絡(luò)層數(shù)的加深，提取細(xì)節(jié)與抽象能力越豐富，語義信息越完整。因此，理論上深層網(wǎng)絡(luò)模型的特征提取能力將優(yōu)于淺層模型。但實際層數(shù)迭代的增加也極大地增加了網(wǎng)絡(luò)權(quán)值的訓(xùn)練時間，而且容易出現(xiàn)梯度爆炸或梯度彌散，從而造成訓(xùn)練結(jié)果的準(zhǔn)確率飽和甚至下降。針對以上問題，He等人[9]提出了殘差網(wǎng)絡(luò)ResNet，其利用擬合殘差函數(shù)的思想，在保證網(wǎng)絡(luò)結(jié)構(gòu)足夠深的同時，實現(xiàn)了訓(xùn)練過程的優(yōu)化，有效克服了退化問題，結(jié)構(gòu)如圖2(a)所示。

簡單而言，殘差網(wǎng)絡(luò)通過卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)殘差函數(shù)F(x)，并與輸入的特征圖x相加，從而得到輸出函數(shù)H(x)，可以表示為

圖1 膨脹卷積原理圖Fig.1 Dilated convolution schematic

圖2 殘差單元結(jié)構(gòu)Fig.2 Structure of residual unit

2.3 感知損失

利用卷積神經(jīng)網(wǎng)絡(luò)對圖像進(jìn)行超分辨重建時，基本都是通過最小化輸出的重建圖像和原始高分辨圖像之間的平均平方誤差(Mean Square Error,MSE)來衡量兩者的相似性，這種基于像素點的損失函數(shù)雖能得到不錯的超分辨率結(jié)果，但也會導(dǎo)致超分辨重建中細(xì)節(jié)等高頻信息很難較好地恢復(fù)，感知質(zhì)量較差。JOHNSON等人[19]提出了一種基于特征的損失函數(shù)，感知損失(perceptual loss)。在超分網(wǎng)絡(luò)的后端接入一個權(quán)重不更新的VGG16網(wǎng)絡(luò)[18]，利用訓(xùn)練好的VGG16的某層輸出作為高維抽象特征學(xué)習(xí)器，將VGG16提取的特征作為目標(biāo)函數(shù)，通過對比重建圖像和原始高分辨圖像的特征值，從而判斷超分辨率重建結(jié)果是否符合自然圖像分布規(guī)律。感知損失的定義為

值得注意的是，使用不同層的特征輸出作為損失函數(shù)，將會產(chǎn)生不同的超分辨重建結(jié)果，選擇低層的特征圖，會導(dǎo)致感知損失無法提取到高級的特征，從而影響損失函數(shù)的判別結(jié)果。若單純使用高層的特征，則會嚴(yán)重降低訓(xùn)練速度。針對超分任務(wù)，文獻(xiàn)[19]在實驗中證明使用VGG16中relu2_2特征圖輸出作為感知損失計算層時超分結(jié)果最佳，本文沿用該準(zhǔn)則，將感知損失加入SAR圖像超分辨重建的目標(biāo)函數(shù)，期望重建圖像在高層次的語義特征層面和原始高分辨率圖像更加逼近。

3 特征復(fù)用的膨脹-殘差卷積神經(jīng)網(wǎng)絡(luò)

本節(jié)將詳細(xì)地介紹基于特征復(fù)用的膨脹-殘差卷積神經(jīng)網(wǎng)絡(luò)(FRDR-CNN)。本文的主要思想與文獻(xiàn)[14]類似，設(shè)計了一種膨脹-殘差單元結(jié)構(gòu)(DR-CNN)，并利用DR-CNN為主體框架，構(gòu)造FRDR-CNN網(wǎng)絡(luò)作為超分辨生成式對抗網(wǎng)絡(luò)中的生成網(wǎng)絡(luò)。鑒于生成式對抗網(wǎng)絡(luò)的難以解釋性，本文只使用生成模型來完成SAR圖像的超分任務(wù)。

3.1 膨脹-殘差單元

圖像超分辨問題是一個相對來說比較低級的圖像語義問題，特征提取模塊決定了圖像超分辨效果的上界。作為最常用的特征提取網(wǎng)絡(luò)，提升感受野通用的方式為增加網(wǎng)絡(luò)層數(shù)，但會帶來計算量的激增。另外，將原始圖像輸入到傳統(tǒng)的Res-Net網(wǎng)絡(luò)模型[9]經(jīng)過特征提取后，特征圖的分辨率會縮小為輸入圖像的1/32，導(dǎo)致圖像大量局部細(xì)節(jié)信息損失，嚴(yán)重影響圖像邊緣等微小結(jié)構(gòu)信息的保留能力，這與超分辨任務(wù)的初衷是違背的。針對此問題，參考文獻(xiàn)[20]的思路，本文設(shè)計了一種膨脹-殘差單元結(jié)構(gòu)，如圖2(b)所示。通過膨脹卷積限制特征圖分辨率的嚴(yán)重?fù)p失，有效保留更多的細(xì)節(jié)信息，同時改善了感受野與中低層網(wǎng)絡(luò)不能并存的矛盾。

DR-CNN結(jié)構(gòu)拋棄傳統(tǒng)殘差單元中的普通卷積，使用膨脹卷積進(jìn)行殘差塊的構(gòu)建，為保證結(jié)構(gòu)中卷積核的連續(xù)性，設(shè)計原則應(yīng)滿足混合膨脹卷積框架設(shè)計原則(Hybrid Dilated Convolution,HDC)[21]。

本文選擇采用Dilation rate分別為[1,2,5]，配合3×3大小的卷積核作為DR-CNN的構(gòu)成元素，對比傳統(tǒng)的殘差單元，根據(jù)式(1)、式(2)，可以計算出，DR-CNN使得一個殘差單元的感受野由普通的5×5擴(kuò)大至15×15。DR-CNN單元可以被視作獨立的模塊，因此能夠很容易地加入各種全卷積神經(jīng)網(wǎng)絡(luò)中，具有很強(qiáng)的可遷移性。

3.2 特征復(fù)用的膨脹-殘差卷積神經(jīng)網(wǎng)絡(luò)

DR-CNN作為變種的殘差單元結(jié)構(gòu)，單純增加殘差單元的個數(shù)，不能最大化利用不同尺度上的低級特征和高級特征，提取特征的效率較低。為了提升DR-CNN提取特征的精確度，本文將不同層級的DR-CNN對應(yīng)的卷積層加入跳線連接結(jié)構(gòu)，將兩部分具有同樣尺寸的特征圖做相加操作后再輸入到下一個卷積層，實現(xiàn)了高低維特征的特征復(fù)用，稱為FRDR-CNN，結(jié)構(gòu)圖如圖3所示。該結(jié)構(gòu)能夠讓反向傳播信號直接傳遞到底層，一定程度上解決梯度消失的問題，同時能夠?qū)崿F(xiàn)不同層級的特征最大化利用，從而大幅度提升SAR圖像超分辨重建精度。

為加深網(wǎng)絡(luò)層數(shù)，本文在設(shè)計的特征提取模塊中引入了16個DR-CNN單元。圖3中的k表示卷積核大小，s表示卷積步長，n表示卷積核的通道數(shù)。為了保證特征復(fù)用時跳躍連接的可行性，F(xiàn)RDR-CNN網(wǎng)絡(luò)要求DR-CNN單元內(nèi)部的所有膨脹卷積核的邊緣填充模式均使用“SAME”模式，且特征圖數(shù)量和殘差塊中的特征圖通道數(shù)均為64，也因此實現(xiàn)了經(jīng)過FRDR-CNN網(wǎng)絡(luò)的特征提取部分后輸出特征圖與輸入圖像尺寸一致。

SAR圖像超分辨任務(wù)中的上采樣方式有許多種，例如插值(interpolating)、像素重組(pixel shuffle)[22]、轉(zhuǎn)置卷積(deconvolution)[23]等。為保證重建過程參數(shù)的可訓(xùn)練性，同時實現(xiàn)信號復(fù)原，在FRDR-CNN模型的后端，接入轉(zhuǎn)置卷積作為FRDR-CNN的上采樣模塊，以此建立LR圖像到HR圖像端到端的超分辨過程。為了減弱轉(zhuǎn)置卷積帶來的棋盤格效應(yīng)，需要保證卷積核的尺寸大小可以被步長整除，本文采用的卷積核尺寸為4×4，步長為1，通道數(shù)為64。

FRDR-CNN網(wǎng)絡(luò)中首端的普通卷積負(fù)責(zé)將輸入的LR圖像進(jìn)行初級特征提取，并進(jìn)行通道擴(kuò)增至64；末端的普通卷積對經(jīng)過轉(zhuǎn)置卷積實現(xiàn)尺寸放大后的特征圖進(jìn)行通道壓縮，將輸出置為單通道，即可得到最終的SAR圖像超分辨重建結(jié)果。將輸出結(jié)果與真實HR圖像送入訓(xùn)練好的VGG16[18]網(wǎng)絡(luò)，計算二者在高維特征上的均方誤差，通過反向傳播修正FRDR-CNN網(wǎng)絡(luò)的參數(shù)。

另外，F(xiàn)RDR-CNN中的所有激活函數(shù)均使用ReLU[24]，為節(jié)省位置在結(jié)構(gòu)圖中并未畫出。其具體形式為

其中，I表示輸入圖像，S表示經(jīng)ReLU激活后圖像。FRDR-CNN模型的最后一層不使用激活函數(shù)。

4 實驗結(jié)果和分析

為了驗證FRDR-CNN模型的超分辨重建能力，本節(jié)選擇傳統(tǒng)重建算法雙三次插值(bicubic)[5]、基于稀疏編碼的重建算法(ScSR)[6]、參數(shù)規(guī)模相當(dāng)?shù)腟RResNet[14]與膨脹-殘差卷積DR-CNN和采用特征復(fù)用后的FRDR-CNN進(jìn)行對比試驗，并嘗試在實驗中選擇是否使用感知損失計算重建誤差。本實驗所用計算機(jī)配置為Intel(R)Xeon(R)CPU X5650@ 2.67 GHz，內(nèi)存為16 GB RAM,GPU為NVIDIA GEFORCE GTX 1070Ti，顯存為8 G，實驗環(huán)境為Pytorch深度學(xué)習(xí)框架。

4.1 實驗數(shù)據(jù)介紹

本章實驗用到的數(shù)據(jù)來自某研究所提供的某地區(qū)兩對不同分辨率的機(jī)載SAR圖像，圖像空間分辨率為0.5 m，圖像大小為8192×16384，圖像中有農(nóng)田，道路以及少量建筑，包含的信息比較豐富，典型場景如圖4所示。

圖3 聯(lián)合感知損失的FRDR-CNN網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 Structure of Feature Reuse Dilated-Resnet CNN(FRDR-CNN)with perceptual loss

圖4 數(shù)據(jù)集中的典型場景圖Fig.4 Typical scene graphs in the dataset

和光學(xué)圖像超分辨的數(shù)據(jù)處理過程相同，參考Wang[25]的實驗過程，本文將原始SAR圖像視作高分辨圖像(HR)，使用三次方插值(bicubic)將HR的物理寬和高分辨率均縮小至1/4大小，以此作為低分辨數(shù)據(jù)(LR)。這種策略能夠彌補(bǔ)SAR圖像數(shù)據(jù)不足的缺陷，另外也解決了HR與LR嚴(yán)格配準(zhǔn)難度大的問題。將一整幅HR的SAR圖像裁剪為256×256像素的小圖像作為標(biāo)簽圖像，同樣對應(yīng)的LR的SAR圖像裁剪為64×64像素的小圖像，為擴(kuò)充數(shù)據(jù)量，采用0,90,180和270°的圖像旋轉(zhuǎn)，圖像翻轉(zhuǎn)以及圖像鏡像等操作進(jìn)行數(shù)據(jù)增廣(data augmentation)。共生成6000對數(shù)據(jù)集，選取其中5對作為測試圖像，其余數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)。其中測試圖像含有樹木，河流、耕地等不同場景，以測試算法模型的魯棒性。

4.2 SAR圖像超分辨評價指標(biāo)

為了對SAR圖像超分辨算法效果進(jìn)行客觀評價，本文選取峰值信噪比(Peak Signal to Noise Ratio,PSNR)[26]、結(jié)構(gòu)相似性指數(shù)(Structural SIMilarity index,SSIM)[27]和邊緣保持系數(shù)(Edge Preservation Degreebased on the Ratio Of Average,EPD-ROA)[28]作為重建圖像質(zhì)量的客觀評價指標(biāo)。

PSNR由均方誤差決定，以原始的高分辨率圖像作為基準(zhǔn)，定量對超分辨重建后的結(jié)果進(jìn)行評價，其計算如式(6)所示

其中，MSE(x,y)表示x,y兩幅圖像之間的均方誤差，L為圖像的灰度級。PSNR值越大，表示兩幅圖像的相似度越高。

SSIM可以有效反映圖像整體結(jié)構(gòu)相似性，其定義如式(7)所示其中，x,y分別代表原始圖像和超分辨重建圖像，l(x,y)表征亮度對比，s(x,y)表征結(jié)構(gòu)信息對比，c(x,y)表征對比度對比，而α,β和γ 3個指數(shù)用來調(diào)節(jié)亮度、結(jié)構(gòu)信息及對比度3部分在SSIM指標(biāo)中所占的比例大小。SSIM值越接近1，表示超分辨重建圖像與原始圖像的結(jié)構(gòu)相似度越強(qiáng)。

EPD-ROA的HD和VD計算值可以反映重建圖像在水平和垂直方向的邊緣保持度，有利于超分重建算法對邊界等高頻信息的恢復(fù)效果。其定義為

其中，m為選定區(qū)域內(nèi)的像素總數(shù)，X1(i),X2(i)代表重建圖像沿水平和垂直方向上的兩個相鄰像素，Y1(i),Y2(i)代表原始高分辨圖像中與X1(i),X2(i)相鄰的兩個像素。EPD-ROA的分子表示測試圖像的邊緣總量，分母表示真實的邊緣總量，其值越接近1，表示超分辨重建圖像的邊緣保持性越好。

4.3 實驗結(jié)果與分析

圖5和圖6給出了兩幅SAR測試圖像的4倍超分辨結(jié)果及局部放大圖，其中下方小圖為上方大圖對應(yīng)顏色框部分的細(xì)節(jié)放大展示。其中，圖5(a)與圖6(a)為LR圖像，圖5(b)與圖6(b)為原始的HR圖像，圖5(c)與圖6(c)為Bicubic重建結(jié)果，圖5(d)與圖6(d)為ScSR的超分辨結(jié)果，圖5(e)與圖6(e)為SRResNet超分結(jié)果，圖5(f)與圖6(f)為DR-CNN超分結(jié)果，圖5(g)與圖6(g)為采用特征復(fù)用結(jié)構(gòu)后的FRDR-CNN超分辨結(jié)果，圖5(h)與圖6(h)為聯(lián)合感知損失的FRDR-CNN的超分結(jié)果。

主觀上，從圖5和圖6可以看出，Bicubic和ScSR的結(jié)果整體上十分模糊，邊緣細(xì)節(jié)的恢復(fù)效果較差，如圖5(c)和5(d)中的耕地界限。DRCNN與SRResNet超分算法的視覺效果比較接近，這兩種方法均比傳統(tǒng)算法得到的結(jié)果線條更為銳利，且能夠恢復(fù)較多的小目標(biāo)信息，如圖6(f)紅框中的樹木。從圖5(g)和圖6(g)可以看出，采用了特征復(fù)用結(jié)構(gòu)后視覺效果提升十分明顯，極大地增強(qiáng)了圖像的紋理重建效果。聯(lián)合了感知損失后的FRDRCNN層次感比較分明，整體更加明朗，同時細(xì)節(jié)更為清晰，點線目標(biāo)的保持性較好，在圖5(h)和圖6(h)都有所體現(xiàn)。總體上，針對4×放大任務(wù)，本文提出的基于感知損失的FRDR-CNN與HR圖像的差異性最小，在視覺上具有最理想的SAR圖像重建效果。

圖5 場景1的SAR圖像超分結(jié)果及局部放大圖Fig.5 Super resolution results and partial enlargement images of scene 1

選擇峰值信噪比PSNR[26]、結(jié)構(gòu)相似性指數(shù)SSIM[27]和邊緣保持系數(shù)EPD-ROA[28]作為圖像質(zhì)量的客觀評價指標(biāo)。與圖5和圖6對應(yīng)的兩個場景的超分客觀指標(biāo)由表1給出。

由表1結(jié)果可以看出，基于卷積神經(jīng)網(wǎng)絡(luò)的超分辨算法在指標(biāo)上領(lǐng)先Bicubic方法很多；DR-CNN表現(xiàn)明顯優(yōu)于SRResNet，證明了膨脹-殘差網(wǎng)絡(luò)的有效性；采用特征復(fù)用結(jié)構(gòu)后，使得FRDR-CNN算法的PSNR較DR-CNN提高了約0.80 dB，而SSIM和EPD-ROA計算值則提高了1.7%；感知損失的加入將FRDR-CNN算法的PSNR指標(biāo)計算值提升了1.0 dB，而SSIM和EPD-ROA指標(biāo)計算值分別提升了約0.010和0.015，這與圖5和圖6的主觀感受是一致的。

為對所有場景進(jìn)行客觀評價，探討模型的穩(wěn)定性和魯棒性，并進(jìn)行算法的時間消耗評估，圖7展示了6種算法對應(yīng)的5張測試圖像的平均PSNR，SSIM與EPD-ROA值。為便于展示，圖7中將PSNR值除以了100。

從5組測試集的評估圖中可以看出，基于特征復(fù)用的膨脹-殘差網(wǎng)絡(luò)在聯(lián)合了感知損失后，PSNR均值為33.5023 dB,SSIM均值為0.5127,EPD-ROA(HD)均值為0.4243,EPD-ROA(VD)均值為0.4373,4個指標(biāo)均為6種算法最高，說明該方法與原始HR圖的相似度和邊緣保持能力都達(dá)到了最優(yōu)?；谔卣鲝?fù)用的膨脹-殘差網(wǎng)絡(luò)能學(xué)習(xí)更多的上下文語義特征，并具有超大感受野，從而提升了微小目標(biāo)和細(xì)節(jié)的超分效果。同時，感知損失由于使用了高級語義特征，能夠根據(jù)像素的空間關(guān)聯(lián)信息判斷圖像之間的相似度，使得FRDR-CNN的超分效果實現(xiàn)了進(jìn)一步提升，在圖像全局和邊緣細(xì)節(jié)上都有最好表現(xiàn)。綜上，上述實驗驗證了基于特征復(fù)用的膨脹-殘差網(wǎng)絡(luò)模型能夠?qū)崿F(xiàn)高精度的SAR圖像超分辨重建。

圖6 場景2的SAR圖像超分結(jié)果及局部放大圖Fig.6 Super resolution results and partial enlargement images of scene 2

表1 場景1和場景2的SAR圖像重建結(jié)果表Tab.1 SAR image reconstruction results table of scene 1 and 2

5 結(jié)論

本文通過聯(lián)合了感知損失的FRDR-CNN算法實現(xiàn)了精準(zhǔn)的SAR圖像超分辨重建。該算法首先提出一種膨脹-殘差單元結(jié)構(gòu)，在保留邊緣結(jié)構(gòu)信息的情形下仍可獲得超大感受野；通過特征復(fù)用，實現(xiàn)了不同層級的特征最大化利用，以此捕獲更多上下文強(qiáng)語義特征，進(jìn)而提升小物體的超分精度；引入感知損失來約束超分辨率結(jié)果，實現(xiàn)了邊緣信息的精準(zhǔn)重建。實驗表明，相較于Bicubic和普通殘差超分辨網(wǎng)絡(luò)，DR-CNN在主觀感受和客觀指標(biāo)均取得了精度上的大幅度提升，同時，DR-CNN作為一種獨立的單元模塊，也具有很強(qiáng)的遷移性。使用特征復(fù)用結(jié)構(gòu)構(gòu)成的FRDR-CNN進(jìn)一步提高了DR-CNN算法的精度，聯(lián)合了感知損失的FRDRCNN算法得到了更為逼真和準(zhǔn)確的超分辨重建結(jié)果，因此具有很強(qiáng)的實用性。

圖7 5張測試圖像的平均SSIM與EPD-ROA值Fig.7 Average SSIM and EPD-ROA values for five test images