基于自適應(yīng)重建的雙路徑圖像超分辨率重建網(wǎng)絡(luò)

邵俊

（福建師范大學(xué)光電與信息工程學(xué)院 福建省福州市 350007）

1 引言

單張圖像超分辨率(SISR)旨在從低分辨率圖像(LR)建恢復(fù)準(zhǔn)確的高分辨率圖像(HR)。單張圖像超分辨率被廣泛應(yīng)用于監(jiān)控成像和衛(wèi)星遙感圖像等領(lǐng)域。早期的單張圖像超分辨率方法，例如，雙三次插值法近年來很少受到關(guān)注，因?yàn)樗蛇^于平滑和不自然的圖像。由于深度學(xué)習(xí)在計(jì)算機(jī)領(lǐng)域取得的進(jìn)步，促使許多基于深度卷積的超分辨率算法被提出來。Dong 等人[1]首先引入用于圖像重建的三層卷積神經(jīng)網(wǎng)絡(luò)，提出了使用深度卷積網(wǎng)絡(luò)的圖像超分辨率方法。Lim 等人[2]提出了一個具有殘差塊的非常深和寬的模型，并且在保真度方面取得了令人滿意的性能。Ledig 等人[3]提出了一種使用殘差網(wǎng)絡(luò)實(shí)現(xiàn)圖像超分辨率(SRResNet)的方法，但這些方法往往專注于恢復(fù)高頻信息，對圖像的低頻信息恢復(fù)不足。為了解決這個問題，使用寬激活的高效和精確圖像超分辨率算法[4]將亞像素卷積上采樣[5]作為跳層以單獨(dú)對低分辨率圖像進(jìn)行重建，但是亞像素卷積上采樣使用單尺度結(jié)構(gòu)進(jìn)行重建，不能充分利用低分辨率圖像中的特征信息。為了解決這個問題，本文提出一種基于自適應(yīng)重建的雙路徑圖像超分辨率重建網(wǎng)絡(luò)。具體而言，自適應(yīng)亞像素重建層(AFSL)[6]使用具有多個卷積核尺度的亞像素卷積結(jié)構(gòu)實(shí)現(xiàn)上采樣，并能根據(jù)網(wǎng)絡(luò)中自動學(xué)習(xí)的權(quán)重刪除一些比例較低的尺度分支，該方法可以充分利用圖像的特征信息，并且已被證明AFSL 的性能優(yōu)于亞像素卷積上采樣方法。本文引入自適應(yīng)亞像素重建層到SRResNet 中，以SRResNet 為網(wǎng)絡(luò)主干，將自適應(yīng)亞像素重建層作為跳層以單獨(dú)重建低分辨率圖像，最后將主干輸出結(jié)果和跳層輸出結(jié)果融合作為最終重建結(jié)果，所提的基于自適應(yīng)重建的雙路徑圖像超分辨率重建網(wǎng)絡(luò)能充分利用低分辨率圖像的特征信息來提高重建質(zhì)量。

2 方法

2.1 網(wǎng)絡(luò)架構(gòu)

圖1 展示了本文的網(wǎng)絡(luò)架構(gòu)，網(wǎng)絡(luò)基于SRResNet 網(wǎng)絡(luò)進(jìn)行改進(jìn), 分為主體和跳層兩個部分，主體與SRResNet 的結(jié)構(gòu)組成相同，淺層特征提取階段由一個卷積層和一個池化層組成，深層特征提取由16 個殘差塊組成，每個殘差塊的結(jié)構(gòu)是卷積層-批歸一化層-池化層-卷積層-批歸一化層。重建使用了亞像素卷積層，跳層部分使用自適應(yīng)亞像素重建層。輸入低分辨率圖像分別經(jīng)過主干部分和跳層部分后，主干的重建結(jié)果與跳層的重建結(jié)果相加，得到最終的重建圖像。使用AFSL 作為跳層可以幫助網(wǎng)絡(luò)充分利用低分辨率圖像的特征信息。

2.2 自適應(yīng)亞像素重建層

如圖2 所示，自適應(yīng)亞像素重建層由四個不同卷積核大小的亞像素卷積分支組成，卷積核大小分別為3、5、7 和9, 然后輸入圖像ILR經(jīng)過4 個分支。

x1,x2,x3,x4,最后通過一個concat 層將4 個輸出級聯(lián)，經(jīng)過一個1×1 的卷積層后，使用一個3×3 卷積層得到重建結(jié)果。

表1：Model，Model-Ⅰ和Model-Ⅱ在四個公共數(shù)據(jù)集上以4 倍放大的重建結(jié)果的PSNR 和SSIM

圖1：基于自適應(yīng)重建的雙路徑圖像超分辨率網(wǎng)絡(luò)

圖2：自適應(yīng)亞像素重建層

2.3 損失函數(shù)

本文使用內(nèi)容損失范數(shù)L1作為損失函數(shù)來訓(xùn)練網(wǎng)絡(luò)。損失函數(shù)的計(jì)算可寫為公式（1）。

其中，IHR表示原始高分辨率圖像。G 表示本文網(wǎng)絡(luò)。

3 實(shí)驗(yàn)

3.1 數(shù)據(jù)集及訓(xùn)練細(xì)節(jié)

本文使用數(shù)據(jù)集DIV2K800 作為訓(xùn)練集，其包含800 張?jiān)几叻直媛蕡D像，在數(shù)據(jù)集Set5，Set14,BSD100 和Urban100 上測試。將不同的訓(xùn)練圖像裁剪為128×128 的高分辨率圖像塊，并對高分辨率圖像塊下采樣，以獲得低分辨率圖像。批尺寸大小為16，學(xué)習(xí)率初始值為0.0002，總共迭代500000 次。使用Adam 優(yōu)化器進(jìn)行優(yōu)化。使用PyTorch 框架在NVDIA GTX1060 GPU 和16G 內(nèi)存上實(shí)現(xiàn)模型訓(xùn)練。

圖3：Model，Model-Ⅰ和Model-Ⅱ的重建結(jié)果

3.2 對比實(shí)驗(yàn)

本文使用峰值信噪比(PSNR)和結(jié)構(gòu)相似度 (SSIM)來評估圖像超分辨率方法的性能。將RGB 圖像轉(zhuǎn)到Y(jié)CrCb 色彩空間，在Y 通道上計(jì)算兩種指標(biāo)。為了驗(yàn)證在殘差網(wǎng)絡(luò)將自適應(yīng)亞像素重建層作為跳層可以提升重建質(zhì)量，本文以SRResNet 為基礎(chǔ)網(wǎng)絡(luò)，表示為模型Model,在Model 的基礎(chǔ)上，分別將亞像素卷積層和自適應(yīng)亞像素重建層作為跳層，進(jìn)而構(gòu)建了Model-Ⅰ和Model-Ⅱ兩個模型。表1 展示了Model，Model-Ⅰ和Model-Ⅱ在四個數(shù)據(jù)集上以4 倍放大的重建結(jié)果的PSNR 和SSIM，粗體字表示最佳。由表可知，Model-Ⅱ在兩個數(shù)據(jù)集上的PSNR 值和SSIM 值均達(dá)到最佳。這表明將自適應(yīng)亞像素重建層作為跳層對重建質(zhì)量有一定的提升。圖3展示了Model,Model-Ⅰ和Model-Ⅱ?qū)SD100 數(shù)據(jù)集中的102061以4 倍放大的重建結(jié)果的定性比較，重建結(jié)果下方是局部放大區(qū)域，由圖可知，由于自適應(yīng)亞像素重建層充分利用了低分辨率圖像的特征信息，Model-Ⅱ比Model-Ⅰ生成了更真實(shí)的紋理。

4 結(jié)語

本文在殘差網(wǎng)絡(luò)圖像超分辨率重建算法中將自適應(yīng)亞像素重建層而不是亞像素卷積層作為跳層，以實(shí)現(xiàn)圖像超分辨率。實(shí)驗(yàn)結(jié)果表明提出方法的有效性和優(yōu)越性，解決了在殘差網(wǎng)絡(luò)中以亞像素卷積層作為跳層不能充分利用低分辨率圖像特征信息的問題。