基于雙重殘差注意力網(wǎng)絡(luò)的圖像超分辨率重構(gòu)方法*

張美燕，吳 巖，蔡文郁*

(1.浙江水利水電學(xué)院電氣工程學(xué)院，浙江 杭州 310018；2.杭州電子科技大學(xué)電子信息學(xué)院，浙江 杭州 310018)

圖像超分辨率重構(gòu)(Image Super-Resolution Reconstruction，SR)是計算機(jī)視覺和圖像處理領(lǐng)域的研究熱點，尤其是單幅圖像超分辨率重構(gòu)(Single-Image Super-Resolution Reconstruction，SISR)在近幾年得到了越來越多的關(guān)注。 SISR 是指從一個低分辨率(Low Resolution，LR)圖像恢復(fù)出一個高分辨率(High Resolution，HR)圖像的過程[1]。 圖像超分辨率重構(gòu)具有廣泛的現(xiàn)實應(yīng)用，例如視頻監(jiān)控、遙感、醫(yī)學(xué)成像，以及作為圖像分類、識別、去噪和檢測的預(yù)處理[2-8]。 圖像超分辨率重構(gòu)是一個具有挑戰(zhàn)性以及固有不適定性的問題，因為總是存在多個HR圖像對應(yīng)單個LR 圖像[9]。 目前主流的圖像超分辨率重構(gòu)方法分為以下三類:基于插值的SR 法、基于重構(gòu)的SR 法和基于學(xué)習(xí)的SR 法。 基于插值的SR方法非常簡單，直接利用自然圖像的先驗知識，因此不能提供超分辨重構(gòu)所需的額外信息。 基于插值的SR 方法主要包括最近鄰插值[10]、雙線性插值[11]和雙三次插值[12]等。 基于重構(gòu)的SR 方法引入某些先驗知識和約束，包括迭代反投影方法(Iterative Back-Projection，IBP)[13]、凸集投影法(Projection Onto Convex Sets，POCS)[14]、最大后驗(Maximum A Posteriori，MAP)概率法[15]等。 這類方法多依賴一組高度相關(guān)的LR 圖像序列進(jìn)行重構(gòu)，但是重構(gòu)模型的參數(shù)很難精確估計，如果使用場景無法提供足夠信息時，提高圖像分辨率變得非常困難。

Dong 等人[16]首次將卷積神經(jīng)網(wǎng)絡(luò)運(yùn)用到圖像超分辨問題中，并取得了良好的重構(gòu)效果，越來越多的研究將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于SISR 領(lǐng)域。 Kim 等人[17]提出了一種超深的網(wǎng)絡(luò)架構(gòu)VDSR，通過對殘差圖像學(xué)習(xí)獲得較好的圖像超分辨率重構(gòu)效果。 為了提升SR 的速度，Dong 等人[18]又提出了網(wǎng)絡(luò)架構(gòu)FSRCNN，將低分辨率圖像輸入卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)，在末端利用反卷積進(jìn)行上采樣降低模型計算量。 2016 年Shi 等人[19]提出了網(wǎng)絡(luò)架構(gòu)ESPCN，可以在低分辨率空間進(jìn)行學(xué)習(xí)，通過亞像素卷積的方式對圖像進(jìn)行上采樣。 2017 年，Zhu 等人[20]提出了CycleGAN(Cycle-Generative Adversarial Network)用于圖像轉(zhuǎn)換，將雙重學(xué)習(xí)結(jié)構(gòu)應(yīng)用于訓(xùn)練未配對的數(shù)據(jù)，并提出了一種循環(huán)一致性損失來避免GAN 方法[21]的模態(tài)崩潰問題，并幫助最小化分布散度。 同年，Lim 等人[22]認(rèn)為SRGAN 生成器中殘差網(wǎng)絡(luò)結(jié)構(gòu)中的BN 層會減小網(wǎng)絡(luò)范圍的靈活性，他們對殘差網(wǎng)絡(luò)進(jìn)行簡化之后，提出了非常寬的網(wǎng)絡(luò)架構(gòu)EDSR。 Zhang 等人[23]認(rèn)為以前的SR 方法對每個信道的特征都進(jìn)行了平等學(xué)習(xí)，缺乏對不同類型信息(如低頻和高頻信息)學(xué)習(xí)的靈活性并且耗費過多的計算資源，因此他們在殘差網(wǎng)絡(luò)中加入了注意力機(jī)制，提出的RCAN 網(wǎng)絡(luò)建立長跳連接和短跳連接用于忽略中間豐富的低頻信息。

新型的圖像超分辨率重構(gòu)算法多以卷積神經(jīng)網(wǎng)絡(luò)、殘差網(wǎng)絡(luò)[24]、亞像素卷積層[18]為基礎(chǔ)，通過修改網(wǎng)絡(luò)結(jié)構(gòu)提高算法速度和精度。 圖像超分辨率重構(gòu)作為低級圖像處理任務(wù)，要求盡可能保留圖像的底層信息。 現(xiàn)有算法存在兩個主要問題:一是學(xué)習(xí)從LR 圖像到HR 圖像的映射函數(shù)通常是一個不適定問題，因為存在無數(shù)的HR 圖像可降采樣到同一LR 圖像，所以可能存在的函數(shù)空間非常大，很難找到一個很好的解決方案；二是現(xiàn)有算法為了提升網(wǎng)絡(luò)的特征提取能力往往采用更深更大的網(wǎng)絡(luò)架構(gòu)，導(dǎo)致網(wǎng)絡(luò)參數(shù)量巨大，因此消耗了大量計算資源；而且超分辨率重構(gòu)后得到的圖像過于平滑，缺少細(xì)節(jié)紋理信息，不夠逼真。 針對以上問題，提出了一種基于雙回歸網(wǎng)絡(luò)的圖像超分辨率重構(gòu)算法，采用雙重殘差注意力網(wǎng)絡(luò)(Dual Residual Attention Network，DRAN)實現(xiàn)泛化界最小化，實驗結(jié)果表明本文方法能夠獲得更好的主觀視覺評價和客觀量化評價。

1 基于雙回歸網(wǎng)絡(luò)的超分辨率重構(gòu)算法

基于雙回歸網(wǎng)絡(luò)，提出了雙重殘差注意力網(wǎng)絡(luò)的圖像重構(gòu)方法，通過引入雙回歸方案提出了對LR數(shù)據(jù)進(jìn)行附加約束以減少可能的函數(shù)空間，解決了現(xiàn)有的SR 方法在學(xué)習(xí)從LR 圖像到HR 圖像映射函數(shù)的不適定問題。 雙重殘差注意力網(wǎng)絡(luò)主要由原始網(wǎng)絡(luò)和回歸網(wǎng)絡(luò)組成，原始網(wǎng)絡(luò)負(fù)責(zé)學(xué)習(xí)LR 圖像到HR 圖像的重構(gòu)，對偶回歸網(wǎng)絡(luò)負(fù)責(zé)估計降采樣核和重構(gòu)LR 圖像。 本文主要創(chuàng)新點如下:提出了基于雙回歸網(wǎng)絡(luò)的雙重殘差注意力網(wǎng)絡(luò)(Dual Residual Attention Network，DRAN)的圖像超分辨率重構(gòu)方法(DRAN-SR)，獲取了更好的峰值信噪比和結(jié)構(gòu)相似性。

本文研究的DRAN-SR 模型結(jié)構(gòu)如圖1 所示，其中x代表LR 圖像，y代表HR 圖像，DRAN-SR 同時學(xué)習(xí)原始映射P重構(gòu)HR 圖像和對偶映射D重構(gòu)LR圖像。 原始重構(gòu)任務(wù)可以表示為:學(xué)習(xí)函數(shù)P:x→y，使得預(yù)測的P(x)與其對應(yīng)的HR 圖像y相似；對偶回歸任務(wù)可以表示為:學(xué)習(xí)函數(shù)D:y→x，使得預(yù)測的D(x)與其對應(yīng)的LR 圖像x相似。 原始重構(gòu)任務(wù)和對偶回歸任務(wù)可以形成一個封閉的循環(huán)，并提供信息監(jiān)督來訓(xùn)練模型P和D。 理論上如果P(x)是正確的HR 圖像，那么下采樣圖像D(P(x))應(yīng)該非常接近輸入的LR 圖像x。 在此約束條件下，可以減少可能的映射函數(shù)空間，并使它更容易學(xué)習(xí)到一個更好的映射來重構(gòu)HR 圖像。 下文將對各個具體模塊進(jìn)行詳細(xì)介紹。

圖1 DRAN-SR 網(wǎng)絡(luò)架構(gòu)

1.1 原始網(wǎng)絡(luò)

原始網(wǎng)絡(luò)的任務(wù)是將LR 圖像重構(gòu)為HR 圖像，原始網(wǎng)絡(luò)包括log2(s)個重構(gòu)塊，其中s表示超分辨率的倍率。 本文選擇基于注意力機(jī)制的多級殘差網(wǎng)絡(luò)(Multi-Residual Attention Network，MRAN)作為原始網(wǎng)絡(luò)的重構(gòu)塊，通過引入空間注意力模塊和通道注意力模塊改進(jìn)殘差網(wǎng)絡(luò)，該網(wǎng)絡(luò)提高了對重構(gòu)關(guān)鍵信息的提取能力。 重構(gòu)塊MRAN 主要包括淺層特征提取模塊、殘差集合模塊和上采樣重構(gòu)模塊。每個殘差集合包含8 個殘差組(Residual Group，RG)，RG 網(wǎng)絡(luò)結(jié)構(gòu)如圖2 所示。 每個殘差組由4 個殘差塊(Residual Block)、1 個聚合模塊、1 個通道注意力模塊以及1 個卷積層組成。 本文的殘差塊采用了EDSR 網(wǎng)絡(luò)的RB 結(jié)構(gòu)，并在末端添加空間注意力模塊，從而提高網(wǎng)絡(luò)的特征提取能力。

圖2 MRAN 的殘差組RG 結(jié)構(gòu)

1.2 回歸網(wǎng)絡(luò)

回歸網(wǎng)絡(luò)的任務(wù)是將重構(gòu)得到的HR 圖像降采樣為LR 圖像。 理想情況下，如果從LR→HR 的映射最優(yōu)，則超分辨重構(gòu)所得HR 圖像可以向下采樣以獲得相同的輸入LR 圖像。 基于這樣的約束，本文估計底層的下采樣核，從而減少可能函數(shù)的空間。對偶回歸映射是學(xué)習(xí)潛在的退化方法，相較于學(xué)習(xí)從LR 到HR 的重構(gòu)簡單得多。 所以，本文算法只設(shè)計了兩個卷積層和一個LeakyReLU 激活層作為回歸塊，因此計算成本比重構(gòu)塊更低，但在實際中有良好的效果。 回歸塊的模型結(jié)構(gòu)如圖3 所示。

圖3 回歸塊模型結(jié)構(gòu)

1.3 損失函數(shù)設(shè)計

為了兼顧原始回歸網(wǎng)絡(luò)和對偶回歸網(wǎng)絡(luò)對于優(yōu)化結(jié)果的權(quán)重，本文設(shè)計的DRAN-SR 算法的損失函數(shù)主要由兩部分組成，如式(1)所示:

式中:N表示成對的樣本Sp={(xi，yi)}i=1，xi，yi表示成對數(shù)據(jù)集中的一對低分辨率和高分辨率圖像，P(xi)表示通過原始網(wǎng)絡(luò)的重構(gòu)得到HR 圖像，D(P(xi))表示由回歸網(wǎng)絡(luò)對重構(gòu)HR 圖像降采樣得到的LR 圖像，λ表示雙回歸損失函數(shù)的權(quán)重系數(shù)，Lp和LD分別表示原始回歸任務(wù)和對偶回歸任務(wù)的損失函數(shù)(即L1損失函數(shù))。L1損失函數(shù)也稱為最小化絕對誤差(Least Absolute Error，LAE)，目標(biāo)是最小化真實值yi和預(yù)測值f(xi)之間的差值和DL1的絕對值，如式(2)所示:

式中:DL1表示平均絕對誤差(MAE)，L1損失函數(shù)表示為minDL1。 下文討論如何確定式(1)中的權(quán)重系數(shù)λ，表1 所示的為通過實驗測試不同值對結(jié)果的影響，λ的值從0.001 增加到10，λ值越大說明對偶回歸模塊在損失函數(shù)中所占比重越大，即約束效果越強(qiáng)。

表1 權(quán)重系數(shù)與PSNR 的影響

從表1 中可以看出，λ過小時，回歸網(wǎng)絡(luò)的約束力也比較小，無法提供有效的監(jiān)督，導(dǎo)致圖像超分辨率重構(gòu)的結(jié)果一般；當(dāng)λ逐漸增大時，回歸網(wǎng)絡(luò)在損失函數(shù)所占的比重越來越大，約束力越來越強(qiáng)，導(dǎo)致雙回歸網(wǎng)絡(luò)的原始模塊無法很好地學(xué)習(xí)從LR 圖像到HR 圖像的重構(gòu)效果。 本文最終選定λ取值0.1，原始網(wǎng)絡(luò)和回歸網(wǎng)絡(luò)在損失函數(shù)中所占比重達(dá)到較好的平衡狀態(tài)。

1.4 理論分析

模型測試數(shù)據(jù)樣本所表現(xiàn)的誤差期望稱為“泛化誤差”(Generalization Error)，泛化誤差常用來衡量一個模型對于未知數(shù)據(jù)的泛化能力。 本文利用泛化誤差來驗證所提出的回歸方案的有效性，并通過拉德馬赫復(fù)雜度[25]來獲得本文所提出雙回歸模型的泛化界。

本文將雙重殘差注意力網(wǎng)絡(luò)的泛化誤差定義如下:

式中:P表示原始任務(wù)，D表示回歸任務(wù)，在實際中雙回歸網(wǎng)絡(luò)的目標(biāo)是雙向優(yōu)化任務(wù)，對于N個樣本的經(jīng)驗損失定義如下:

按照文獻(xiàn)[26]定義了對偶學(xué)習(xí)的函數(shù)空間Hdual∈P×D，拉德馬赫復(fù)雜度可以衡量函數(shù)空間的復(fù)雜度，也就是說它可以得出原始網(wǎng)絡(luò)和回歸網(wǎng)絡(luò)的豐富性，復(fù)雜度越高的函數(shù)簇對應(yīng)的拉德馬赫值越高。 對于一個基本分布S，Z={z1，z2，…，zN}是樣本集合，其中zi={xi，yi}，則雙回歸網(wǎng)絡(luò)在集合Z上的經(jīng)驗拉德馬赫復(fù)雜度＾Rz(P，D)為:

泛化誤差上界是指泛化誤差允許的最大值，泛化誤差是指模型由訓(xùn)練集泛化至測試集的過程中產(chǎn)生的誤差，一般用訓(xùn)練集外的誤差，即整個輸入空間上的誤差期望減去訓(xùn)練誤差。 本文分析了該對偶回歸方案的泛化界，從有限函數(shù)空間的簡單情況開始，將其推廣到一個具有無限函數(shù)空間的更廣泛情況。令LP[P(x)，y]+λLD{D[P(x)，x]}是從x×y映射到[0，C]的一簇函數(shù)，假設(shè)函數(shù)空間Hdual是有限的，則存在一個滿足0≤η≤1 的η，至少以概率1-η，使不等式(7)成立:

因此，在相同的訓(xùn)練集樣本數(shù)量條件下，本文所提出的DRAN-SR 算法具有更小的泛化界，在未知數(shù)據(jù)中取得更好的圖像超分辨率重構(gòu)效果。

2 實驗結(jié)果與分析

本文采用DIV2K 測試數(shù)據(jù)集作為數(shù)據(jù)源，該數(shù)據(jù)集包含1 000 張2 K 高清圖像。 測試過程中利用數(shù)據(jù)集中成對的高分辨率原圖與對應(yīng)2、3、4、8 倍降采樣低分辨率圖片進(jìn)行模型訓(xùn)練，并采用了五個基準(zhǔn)測試集Set5、Set14、BSD100、Urban100 和Manga109 對所提出的DRAN-SR 算法進(jìn)行測試驗證。

實驗場景設(shè)置如下:DRAN-SR 使用RGB 三通道圖像進(jìn)行訓(xùn)練，在輸入前對圖像做歸一化處理，每一批輸入是16 幅尺寸為48×48 的圖像，這些小的圖像塊都從數(shù)據(jù)集原圖中隨機(jī)截取得到，提高了數(shù)據(jù)豐富性。 訓(xùn)練過程使用L1 損失函數(shù)和Adam 優(yōu)化器，其中β1=0.9，β2=0.999，ε=10-8，學(xué)習(xí)率初始化設(shè)置為10-4。 在迭代過程中通過余弦退火下降方式逐漸降到10-7，雙回歸損失函數(shù)的權(quán)重系數(shù)λ設(shè)為0.1。 實驗用到的主要參數(shù)如表2 所示。

表2 實驗參數(shù)設(shè)置

本文設(shè)置原始回歸網(wǎng)絡(luò)的每個基礎(chǔ)重構(gòu)塊MRAN 包含8 個殘差組RG，則對應(yīng)4 倍的超分辨率原始網(wǎng)絡(luò)包括2 個基礎(chǔ)重構(gòu)塊，共有16 個殘差組RG；8 倍的超分辨率原始網(wǎng)絡(luò)包括3 個基礎(chǔ)重構(gòu)塊，共有24 個殘差組RG。 本文對DRAN-SR 算法與其他網(wǎng)絡(luò)在Set5 數(shù)據(jù)集上進(jìn)行4 倍超分辨率重構(gòu)，網(wǎng)絡(luò)性能與參數(shù)量之間的對比關(guān)系如圖4 所示。

圖4 不同模型參數(shù)量與重構(gòu)性能對比

圖4 中橫坐標(biāo)表示模型的參數(shù)量(百萬級別)，縱坐標(biāo)表示峰值信噪比(Peak Signal to Noise Ratio，PSNR)性能指標(biāo)。 從圖中可以看出，在Set5 測試集中DRAN 的PSNR 明顯優(yōu)于傳統(tǒng)的插值法、SRCN 及VDSR 算法，與參數(shù)量龐大的EDSR 相比也有其優(yōu)勢。

為了驗證雙回歸超分辨率重構(gòu)的有效性，本文進(jìn)行了四倍超分辨率重構(gòu)的消融實驗(Ablation Experiment)，實驗結(jié)果如表3 所示。 從表3 中可以看出DRAN-SR 與基線相比，雙回歸模型在各個數(shù)據(jù)集上都有更好的性能。

表3 雙回歸方法消融實驗(SR×4)

通過引入一個附加的約束條件來減少映射函數(shù)的空間，對偶回歸方案可以改善HR 圖像的重構(gòu)效果。 表4 給出了DRAN-SR 與其他方法在各個基準(zhǔn)數(shù)據(jù)集上2、3、4、8 倍重構(gòu)后圖像的PSNR 和結(jié)構(gòu)相似性(Structural Similarity，SSIM)，最好結(jié)果和次好結(jié)果分別使用黑體和下劃線標(biāo)記。

表4 實驗結(jié)果對比

從表4 中可以發(fā)現(xiàn)，DRAN-SR 算法的結(jié)果明顯優(yōu)于EDSR-SR、VDSR-SR、SRCNN-SR、Bicubic-SR 等算法。 在重構(gòu)倍率較小的情況下，DRAN-SR 在小部分測試集中的結(jié)果略差于EDSR。 但在重構(gòu)倍率較高的情況下，DRAN-SR 的重構(gòu)效果明顯優(yōu)于擁有更大參數(shù)量的EDSR-SR。 因此，由于強(qiáng)大的特征提取能力和更好的學(xué)習(xí)能力，DRAN-SR 在不增加額外參數(shù)的前提下，在重構(gòu)倍率較高的圖像超分辨率重構(gòu)中取得更好的結(jié)果。

圖5 顯示了不同圖像超分辨重構(gòu)算法在各個基準(zhǔn)測試集中得到的測試圖像，可以發(fā)現(xiàn)DRAN-SR得到的重構(gòu)結(jié)果細(xì)節(jié)更豐富，邊緣紋理更加清晰，從視覺上能給人帶來更好的主觀體驗。

圖5 基準(zhǔn)測試集測試結(jié)果

3 總結(jié)

本文引入對偶雙回歸網(wǎng)絡(luò)架構(gòu)，將基于注意力機(jī)制的多級殘差網(wǎng)絡(luò)作為原始網(wǎng)絡(luò)的基礎(chǔ)重構(gòu)塊，提出了一種基于雙重殘差注意力網(wǎng)絡(luò)結(jié)構(gòu)的圖像超分辨重構(gòu)方法。 回歸網(wǎng)絡(luò)結(jié)構(gòu)模型通過對LR 數(shù)據(jù)增加額外約束減少可能的映射空間，提高HR 圖像的重構(gòu)質(zhì)量，多級殘差注意力網(wǎng)絡(luò)通過強(qiáng)大的特征提取能力和更高的特征利用率，使得重構(gòu)的HR 圖像擁有更多的細(xì)節(jié)紋理。 基于標(biāo)準(zhǔn)測試集的實驗結(jié)果驗證了本文算法相較于以前的圖像超分辨重構(gòu)方法，在主觀視覺評價和客觀量化評價上都取得了明顯的性能提升。