基于動(dòng)態(tài)自適應(yīng)層疊網(wǎng)絡(luò)的輕量化圖像超分辨率重建

張法正，楊娟，汪榮貴，薛麗霞

（合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院，合肥 230009）

0 概述

單張圖像超分辨率（Single Image Super-Resolution，SISR）重建將一個(gè)低分辨率（Low Resolution，LR）圖像映射到一個(gè)高分辨率（High Resolution，HR）圖像，已廣泛應(yīng)用于安保系統(tǒng)［1］、智能監(jiān)控系統(tǒng)［2］、醫(yī)學(xué)圖像增強(qiáng)［3］等領(lǐng)域。由于一個(gè)特定的低分辨率圖像可能對(duì)應(yīng)多個(gè)高分辨率圖像，因此SISR 是一個(gè)高度病態(tài)的過(guò)程。研究人員提出基于插值［4］、基于重構(gòu)［5］，以及基于學(xué)習(xí)［6-7］的SISR 方法，其中基于卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）的SISR 方法因其強(qiáng)大的表征能力而具有優(yōu)異的重建性能。

深度學(xué)習(xí)已經(jīng)成為計(jì)算機(jī)視覺(jué)領(lǐng)域的重要工具，通過(guò)構(gòu)建端到端的卷積神經(jīng)網(wǎng)絡(luò)來(lái)學(xué)習(xí)低分辨率到高分辨率之間的映射關(guān)系。DONG 等將超分辨率重建任務(wù)和深度學(xué)習(xí)相結(jié)合，提出只包含3 層卷積層的超分辨率重建網(wǎng)絡(luò)SRCNN［8］，具有較優(yōu)的重建效果。為提高網(wǎng)絡(luò)模型的映射能力，KIM 等根據(jù)殘差學(xué)習(xí)原理，提出更深的網(wǎng)絡(luò)VDSR［9］和DRCN［10］。TAI 等在DRRN［11］中引入遞歸殘差塊，降低網(wǎng)絡(luò)的訓(xùn)練難度并通過(guò)遞歸塊減少網(wǎng)絡(luò)參數(shù)。這些方法都是通過(guò)插值將低分辨率圖像放大到與高分辨率圖像相同的尺寸，進(jìn)而提取特征，導(dǎo)致網(wǎng)絡(luò)的訓(xùn)練時(shí)間延長(zhǎng)。針對(duì)該問(wèn)題，SHI 等提出ESPCN［12］，在網(wǎng)絡(luò)末端通過(guò)亞像素卷積將初始低分辨率圖像放大到與高分辨率圖像一致的尺寸。后續(xù)很多網(wǎng)絡(luò)模型結(jié)合亞像素卷積的優(yōu)點(diǎn)，重建效果都得到了一定程度的提升。LIM 等考慮到BN 層對(duì)超分辨率重建效果的影響，利用殘差塊堆疊出EDSR 網(wǎng)絡(luò)［13］，并去掉相應(yīng)的BN層。ZHANG等在RCAN［14］中引入SE［15］模塊，在每個(gè)殘差塊中加入SE 模塊，使網(wǎng)絡(luò)在傳遞信息的過(guò)程中不斷被修正，從而提高模型的性能指標(biāo)。為降低計(jì)算成本，在超分辨率重建任務(wù)中，輕量級(jí)和高效模型的構(gòu)建越來(lái)越受到研究人員的關(guān)注。AHN 等在殘差網(wǎng)絡(luò)的基礎(chǔ)上，結(jié)合級(jí)聯(lián)機(jī)制通過(guò)局部和全局來(lái)集成多個(gè)層的特征，設(shè)計(jì)一個(gè)適用于移動(dòng)場(chǎng)景的輕量級(jí)網(wǎng)絡(luò)CARN［16］，導(dǎo)致重建后的指標(biāo)降低。之后，MUQEET 等提出MAFFSRN［17］并引入多注意力模塊來(lái)提高性能。ZHAO 等在通道聚合網(wǎng)絡(luò)（Path Aggregation Network，PAN）［18］中引入像素注意力，使得模型在加入較少參數(shù)量的同時(shí)提升重建指標(biāo)。文獻(xiàn)［19］設(shè)計(jì)一種基于蝴蝶結(jié)構(gòu)的網(wǎng)絡(luò)LatticeNet 以自適應(yīng)組合殘差塊，取得了較優(yōu)的重建效果。輕量級(jí)超分辨率重建網(wǎng)絡(luò)能夠平衡峰值信噪比（Peak Signal to Noise Ratio，PSNR）與參數(shù)量之間的關(guān)系。

本文提出一種輕量化動(dòng)態(tài)自適應(yīng)層疊網(wǎng)絡(luò)（Dynamic Adaptive Cascade Network，DACN）。通過(guò)雙路殘差的學(xué)習(xí)方式提取圖像的紋理細(xì)節(jié)并過(guò)濾冗余信息，增強(qiáng)信息交互性，獲得更豐富的信息。通過(guò)縱向并行地共享雙路殘差塊（Dual Residual Block，DRB）中的部分卷積參數(shù)，利用可學(xué)習(xí)參數(shù)調(diào)整共享卷積的權(quán)重，在減少參數(shù)量的同時(shí)，使得卷積參數(shù)更加契合原始特征與目標(biāo)特征的非線性映射關(guān)系，提高網(wǎng)絡(luò)對(duì)紋理細(xì)節(jié)的提取性能。

1 動(dòng)態(tài)自適應(yīng)層疊網(wǎng)絡(luò)

1.1 網(wǎng)絡(luò)結(jié)構(gòu)

DACN 的架構(gòu)如圖1 所示。DACN由N個(gè)動(dòng)態(tài)自適應(yīng)層疊模塊（Dynamic Adaptive Cascade Block，DACB）通過(guò)殘差連接相連構(gòu)成，并通過(guò)一個(gè)全局跳躍連接保留原始特征，將不同的卷積塊串接后加上1×1 卷積層，獲得中高頻信息，從而改善圖像重建效果。DACB由M個(gè)DRB和M-1 個(gè)動(dòng)態(tài)自適應(yīng)模塊（Dynamic Adaptive Block，DAB）層疊組成。

圖1 動(dòng)態(tài)自適應(yīng)層疊網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Structure of dynamic adaptive cascade network

DACN 主要由N個(gè)DACB 通過(guò)殘差連接方式級(jí)聯(lián)組成，低分辨率圖像先通過(guò)3×3 的卷積提取淺層特征，令x表示網(wǎng)絡(luò)的輸入，淺層特征的計(jì)算過(guò)程如式（1）所示：

其中：fs表示3×3 的卷積操作。通過(guò)DACB 提取圖像的深層特征，深層特征的計(jì)算過(guò)程如式（2）所示：

1.1.1 動(dòng)態(tài)自適應(yīng)層疊模塊

動(dòng)態(tài)自適應(yīng)層疊模塊目的是有效地提取重要的紋理細(xì)節(jié)，同時(shí)過(guò)濾掉無(wú)用的特征。動(dòng)態(tài)自適應(yīng)層疊模塊主要包括DRB 和DAB。

根據(jù)殘差網(wǎng)絡(luò)的思想，DACB 選擇以層疊的方式將DRB 和DAB 聯(lián)合，通過(guò)每次的疊加使得初始特征與更新后的特征進(jìn)行交互，增強(qiáng)網(wǎng)絡(luò)的非線性映射能力。DACB 每次通過(guò)DAB 的特征增強(qiáng)后，將1×1卷積層作為過(guò)渡層，以便后續(xù)更有效地提取特征。令DACB 的輸入為F0，DACB 的信息流傳遞如式（5）～式（7）所示：

1）雙路殘差塊，采用雙路并行的方式提取特征。本文考慮到加入過(guò)多的普通卷積使得參數(shù)量顯著提升，DRB 的上路通過(guò)深度可分離卷積提取低頻特征。相比對(duì)應(yīng)的卷積，深度可分離卷積不僅具有較多的計(jì)算量以及較少的參數(shù)量，同時(shí)能更好地進(jìn)行維度變化。假設(shè)DRB 的輸入為x，DRB 的上路信息傳遞如式（8）所示：

其中：μ表示LReLU 激活函數(shù)；fdw表示深度可分離卷積。通過(guò)一個(gè)像素注意力來(lái)修改特征權(quán)重，將像素注意力生成的三維矩陣作為注意力特征。像素注意力通過(guò)1×1 卷積層和Sigmoid 函數(shù)得到注意力圖，然后將注意圖與輸入特征相乘，如式（9）所示：

其中：σ表示Sigmoid 激活函數(shù)；f1表示1×1卷積。DRB 的下路由兩個(gè)殘差塊組成，主要目的是通過(guò)串行方式提取高頻特征，得到豐富的紋理信息，如式（10）所示：

其中：fr表示下路兩個(gè)殘差塊。最后將低頻特征和高頻特征合并，如式（11）所示：

其中：y表示DRB 的輸出，通過(guò)這種學(xué)習(xí)方式使得DRB 在提取高頻特征的同時(shí)保留一些必需的低頻信息。

2）動(dòng)態(tài)自適應(yīng)模塊，通常情況下，網(wǎng)絡(luò)越深參數(shù)量越多，可學(xué)習(xí)到的內(nèi)容也就越多，最終得到的結(jié)果也會(huì)更理想。而輕量化網(wǎng)絡(luò)因其參數(shù)量較少，通常對(duì)模型的設(shè)計(jì)要求較高，需要充分且合理地利用卷積核來(lái)提取豐富的特征。因此，本文基于動(dòng)態(tài)卷積核［20］的思想，設(shè)計(jì)動(dòng)態(tài)自適應(yīng)模塊，并與雙路殘差塊聯(lián)合工作，在網(wǎng)絡(luò)參數(shù)量減少的同時(shí)進(jìn)一步增強(qiáng)特征的提取能力。動(dòng)態(tài)自適應(yīng)模塊結(jié)構(gòu)如圖2 所示，利用注意力機(jī)制得到每個(gè)卷積核所需要的權(quán)重，該注意力機(jī)制與通道注意力類似，不同點(diǎn)在于最后通過(guò)Softmax 函數(shù)將權(quán)重值控制在0 和1 之間，且權(quán)重值總和為1。

圖2 動(dòng)態(tài)自適應(yīng)模塊結(jié)構(gòu)Fig.2 Structure of dynamic adaptive block

動(dòng)態(tài)自適應(yīng)模塊的注意力機(jī)制以非線性方式疊加卷積核，使得模型的表征能力得到顯著提升。利用上層DRB 的下路4 個(gè)卷積核和2 個(gè)新的卷積核作為動(dòng)態(tài)卷積核的子卷積，每個(gè)卷積核與權(quán)重值相乘再相加，使得模塊在提取特征時(shí)可以自適應(yīng)地選擇卷積核的參數(shù)。DRB 中的下路卷積核通過(guò)串行方式來(lái)逐步提取特征，此時(shí)卷積核已經(jīng)有了“橫向”提取特征的特征參數(shù)，經(jīng)過(guò)DAB 的并行處理，使得原本擁有“橫向”特征參數(shù)的卷積核學(xué)習(xí)到“縱向”的特征參數(shù)，有效地提升了卷積核的利用率。由于動(dòng)態(tài)自適應(yīng)模塊的輸入是DAB 的輸出與初始特征的加和，因此在DRB 中引入兩個(gè)新的卷積核作為子卷積核，以動(dòng)態(tài)校準(zhǔn)獲取到的特征，在參數(shù)量小幅增加的同時(shí)使得模塊具有指導(dǎo)DAB 共享卷積塊的作用。假設(shè)x為DAB 的輸入特征，首先通過(guò)全局平均池化對(duì)x進(jìn)行壓縮操作，得到通道級(jí)的全局特征，如式（12）所示：

然后對(duì)全局特征進(jìn)行Excitation 操作，通過(guò)2 個(gè)全連接層學(xué)習(xí)各個(gè)通道間的關(guān)系，第1 個(gè)對(duì)得到的全局描述特征進(jìn)行壓縮降維，第2 個(gè)再將其恢復(fù)成原始維度。Excitation 操作過(guò)程如式（13）所示：

其中：σ表示Softmax 函數(shù)；v1、v2表示2 個(gè)全連接層；w1，w2，…，w6表示經(jīng)Softmax 后得到的權(quán)重結(jié)果，且w1+w2+…+w6=1。利用雙路殘差塊中的下路共享卷積核和2 個(gè)新的卷積核與權(quán)重相乘，如式（14）所示：

1.1.2 重建模塊

本文考慮到普通的上采樣會(huì)引入一些無(wú)用信息，影響重建效果，采用亞像素卷積將圖像上采樣至目標(biāo)尺寸，再通過(guò)一個(gè)3×3 卷積對(duì)重建結(jié)果進(jìn)行微調(diào)。假設(shè)Ff為深層特征，將其與淺層特征F0相加并送入到重建模塊得到最終結(jié)果。重建模塊信息流如式（15）所示：

其中：y表示最終生成的SR 圖像；φ表示重建模塊，包括亞像素卷積和3×3 的卷積操作。

1.2 損失函數(shù)

本文考慮到L1 損失函數(shù)的收斂速度比L2 快，選擇L1 函數(shù)作為損失函數(shù)，如式（16）所示：

其中：N表示訓(xùn)練集中圖像的總數(shù)；θ表示需要優(yōu)化求解的模型參數(shù)集和表示第i個(gè)低分辨率圖像和高分辨率圖像；H表示本文所提出的DACN。

2 實(shí)驗(yàn)結(jié)果與分析

2.1 數(shù)據(jù)集與度量標(biāo)準(zhǔn)

在訓(xùn)練階段，本文使用DIV2K 數(shù)據(jù)集，該數(shù)據(jù)集是廣泛應(yīng)用于超分辨率重建的訓(xùn)練集。圖像通過(guò)水平隨機(jī)翻轉(zhuǎn)和旋轉(zhuǎn)90°、180°、270°進(jìn)行數(shù)據(jù)增強(qiáng)。在測(cè)試階段，本文使用Set5［21］、Set14［22］、BSD100［23］、Manga109［24］基準(zhǔn)數(shù)據(jù)集，為了與之前的工作保持一致，在YCbCr 顏色空間的Y 通道上使用PSNR 和結(jié)構(gòu)相似性（SSIM）來(lái)評(píng)價(jià)SR 結(jié)果。

在本文提出的DACN 網(wǎng)絡(luò)中，未說(shuō)明的卷積核大小都是3×3。DACN 包括3 個(gè)DACB，每個(gè)DACB包含3 個(gè)雙路殘差塊。LIM 和WANG 等提出BN 不僅消耗大量的計(jì)算資源，而且在超分辨率重建任務(wù)中會(huì)限制網(wǎng)絡(luò)參數(shù)的自由變化范圍，因此模型未采用BN層。本文模型使用ADAM優(yōu)化器進(jìn)行訓(xùn)練，其中β1=0.9，β2=0.999，?=10-8。學(xué)習(xí)率初始化為1×10-4，每經(jīng)過(guò)200 輪學(xué)習(xí)率下降1/2。因此，本文模型在訓(xùn)練過(guò)程中將batch-size 設(shè)置為8。DACN 模型用Pytorch 框架來(lái)實(shí)現(xiàn)，并在NVIDIA 2080Ti GPU上進(jìn)行訓(xùn)練。

2.2 消融實(shí)驗(yàn)

為驗(yàn)證模塊的有效性，本文對(duì)動(dòng)態(tài)自適應(yīng)層疊網(wǎng)絡(luò)進(jìn)行消融實(shí)驗(yàn)。在Set5、Set14、BSD100 數(shù)據(jù)集上，當(dāng)放大因子為4 時(shí)，不同模型的PSNR 對(duì)比如表1所示，ORB 表示單路殘差模塊。

2.2.1 雙路殘差模塊的有效性

現(xiàn)有網(wǎng)絡(luò)利用殘差塊提取圖像特征，忽略了深度可分離卷積可以大幅減少模型參數(shù)量的能力。從表1 可以看出：當(dāng)模型僅利用ORB 進(jìn)行學(xué)習(xí)時(shí)，即表中的DACN+ORB，其在Set5 數(shù)據(jù)集上的PSNR 為32.14 dB；當(dāng)模型利用DRB 進(jìn)行學(xué)習(xí)時(shí)，在Set5 數(shù)據(jù)集上DACN+DRB 模型的PSNR 為32.22 dB，同時(shí)參數(shù)量相比DACN+DRB 模型僅增加1×105左右，說(shuō)明提出的DRB 在增加少量參數(shù)的同時(shí)可以充分挖掘圖像的細(xì)節(jié)特征，增強(qiáng)網(wǎng)絡(luò)的重建能力。

2.2.2 動(dòng)態(tài)自適應(yīng)模塊的有效性

DACN+DAB 為加入動(dòng)態(tài)卷積核的網(wǎng)絡(luò)模型，即動(dòng)態(tài)卷積核的子卷積沒(méi)有共享DRB 的下路卷積，在Set5 數(shù)據(jù)集上的PSNR 指標(biāo)提升到32.27 dB。由此可以看出：動(dòng)態(tài)自適應(yīng)模塊利用可學(xué)習(xí)參數(shù)調(diào)整卷積的權(quán)重，使得卷積參數(shù)更加契合原始特征與目標(biāo)特征的非線性映射關(guān)系，增強(qiáng)網(wǎng)絡(luò)對(duì)紋理細(xì)節(jié)的提取性能，同時(shí)，參數(shù)量也會(huì)大幅增加。因此，本文提出的動(dòng)態(tài)自適應(yīng)層疊網(wǎng)絡(luò)結(jié)合DRB 中的共享卷積，利用卷積核減少參數(shù)的同時(shí)，使得DRB 中的卷積可以學(xué)習(xí)到不同角度的細(xì)節(jié)特征，有效地提升了網(wǎng)絡(luò)的重建性能。

在Set5 數(shù)據(jù)集上，當(dāng)放大因子為4 時(shí)，參數(shù)N對(duì)PSNR、參數(shù)量、計(jì)算量的影響如圖3 所示。從圖3 可以看出，PSNR 最初隨著參數(shù)N的增加上升幅度較大，當(dāng)參數(shù)N=4 時(shí)，上升幅度逐漸減慢，當(dāng)參數(shù)N≥4時(shí)，參數(shù)N的增加所帶來(lái)的參數(shù)量和計(jì)算量都會(huì)大幅增多，不符合輕量化標(biāo)準(zhǔn)，并且PSNR 變化不大。為了使得模型性能與重建質(zhì)量實(shí)現(xiàn)最佳平衡，DACN 選擇參數(shù)N=3，即包含3 個(gè)DACB。

圖3 參數(shù)N 對(duì)峰值信噪比、參數(shù)量、計(jì)算量的影響Fig.3 Influence of parameter N on PSNR，parameter quanitity and calculation quanitity

2.3 對(duì)比實(shí)驗(yàn)

在Set5 數(shù)據(jù)集上，當(dāng)放大因子為4 時(shí)，不同網(wǎng)絡(luò)的PSNR 與參數(shù)量、計(jì)算量之間的關(guān)系如圖4 所示，圓形標(biāo)注的是其他網(wǎng)絡(luò)，正方形標(biāo)注的是本文DACN 網(wǎng)絡(luò)。DACN 在參數(shù)量和計(jì)算量較小的情況下，PSNR 指標(biāo)較大，在性能與質(zhì)量上達(dá)到了平衡。

圖4 不同網(wǎng)絡(luò)的參數(shù)量、計(jì)算量與峰值信噪比的關(guān)系Fig.4 Relationship between PSNR and parameters quanitity，calculation quanitity of different networks

本文將DACN 與其他超分辨率重建網(wǎng)絡(luò)進(jìn)行對(duì)比，包括SRCNN、VDSR、LapSRN［25］、MemNet［26］、CARN、PAN、RFDN［27］。所有網(wǎng)絡(luò)分別在放大因子為2、3、4 的情況下進(jìn)行評(píng)估。本文均使用峰值信噪比（PSNR）和結(jié)構(gòu)相似性（SSIM）作為指標(biāo)。表2 所示為不同超分辨率網(wǎng)絡(luò)模型在不同放大因子下峰值信噪比與結(jié)構(gòu)相似性對(duì)比。加粗的數(shù)據(jù)為重建效果最優(yōu)的數(shù)據(jù)，加下劃線的數(shù)據(jù)為次優(yōu)。從表2 可以看出，本文提出的DACN 在基準(zhǔn)數(shù)據(jù)集上的重建效果較優(yōu)，參數(shù)量也較為理想。

表2 不同網(wǎng)絡(luò)的峰值信噪比與結(jié)構(gòu)相似性對(duì)比Table 2 Peak signal to noise ratio and structural similarity comparison among different networks

當(dāng)放大因子為4 時(shí)，在Urban100 和BSD100 數(shù)據(jù)集上，不同網(wǎng)絡(luò)的可視化結(jié)果對(duì)比如圖5 所示。從圖5 可以看出，本文網(wǎng)絡(luò)DACN 在恢復(fù)圖像紋理細(xì)節(jié)上有較大優(yōu)勢(shì)。對(duì)于重構(gòu)Urban100 數(shù)據(jù)集中圖像時(shí)，雖然PAN 和RFDN 在一定程度上恢復(fù)了部分紋理信息，但生成的部分線條有不同程度的彎曲。相比CARN、PAN、RFDN 等網(wǎng)絡(luò)，本文所提的DACN網(wǎng)絡(luò)恢復(fù)的圖案線條更加符合原圖的紋理。

圖5 不同網(wǎng)絡(luò)的可視化結(jié)果對(duì)比Fig.5 Visualization results comparison among different networks

3 結(jié)束語(yǔ)

本文提出基于動(dòng)態(tài)自適應(yīng)層疊模塊的輕量化網(wǎng)絡(luò)，在雙路殘差塊中利用深度可分離卷積減少參數(shù)量，同時(shí)引入像素注意力機(jī)制使網(wǎng)絡(luò)精確地提取圖像細(xì)節(jié)信息，將雙路殘差塊的一部分卷積參數(shù)與動(dòng)態(tài)自適應(yīng)模塊共享，不僅從不同角度提取特征，還可以根據(jù)不同的輸入以自學(xué)習(xí)的方式自動(dòng)調(diào)整卷積核的參數(shù)，有效提升重建圖像的質(zhì)量。實(shí)驗(yàn)結(jié)果表明，相比VDSR、CARN、PAN 等網(wǎng)絡(luò)，本文網(wǎng)絡(luò)具有較優(yōu)的圖像重建性能且參數(shù)量較少，在可視化圖像中生成的紋理更接近原始圖像的紋理線條。后續(xù)考慮將剪枝算法融入到動(dòng)態(tài)自適應(yīng)層疊網(wǎng)絡(luò)中，進(jìn)一步減少網(wǎng)絡(luò)參數(shù)量，提高圖像重建能力。