混合階通道注意力網(wǎng)絡(luò)的單圖像超分辨率重建

姚 魯，宋慧慧，張開(kāi)華

（1.江蘇省大數(shù)據(jù)分析技術(shù)重點(diǎn)實(shí)驗(yàn)室（南京信息工程大學(xué)），南京 210044；2.南京信息工程大學(xué)大氣環(huán)境與裝備技術(shù)協(xié)同創(chuàng)新中心，南京 210044）

（*通信作者電子郵箱songhuihui@nuist.edu.cn）

0 引言

近年來(lái)，隨著深度學(xué)習(xí)的重大發(fā)展，圖像超分辨率重建領(lǐng)域得到廣泛關(guān)注。單幅圖像超分辨率（Single Image Super-Resolution，SISR）任務(wù)是個(gè)不適定的（ill-posed）逆問(wèn)題，旨在從低分辨率（Low-Resolution，LR）圖像中恢復(fù)出高分辨率（High-Resolution，HR）圖像。目前主要算法是基于學(xué)習(xí)的將LR 圖像經(jīng)過(guò)非線性映射得到HR 圖像［1］。以下簡(jiǎn)要回顧與本文相關(guān)的基于卷積神經(jīng)網(wǎng)絡(luò)的（Convolution Neural Network，CNN）超分辨率算法和通道注意力機(jī)制。

Dong 等［2］首先將CNN 引入圖像超分辨率重建領(lǐng)域，提出基于卷積神經(jīng)網(wǎng)絡(luò)的超分辨率（Super-Resolution using CNN，SRCNN）。殘差網(wǎng)絡(luò)［3］解決了網(wǎng)絡(luò)深度和模型退化之間的矛盾，使超分辨率網(wǎng)絡(luò)逐漸往更深更寬方向發(fā)展。Kim等［4］提出了使用非常深的卷積網(wǎng)絡(luò)構(gòu)建準(zhǔn)確的圖像超分辨率（accurate image Super-Resolution using Very Deep convolutional networks，VDSR）。此網(wǎng)絡(luò)深度達(dá)20層，采用殘差網(wǎng)絡(luò)和梯度裁剪解決梯度爆炸問(wèn)題。Zhang 等［5］提出了非常深的殘差通道注意力超分辨率（image super-resolution using very deep Residual Channel Attention Network，RCAN）算法。此算法以殘差網(wǎng)絡(luò)為基礎(chǔ)構(gòu)建了深度達(dá)400層的網(wǎng)絡(luò)。

人類感知的關(guān)注通常指人類視覺(jué)系統(tǒng)能自適應(yīng)處理視覺(jué)信息關(guān)注于顯著區(qū)域［6］。近年來(lái)，學(xué)者已提出將多種注意力處理算法嵌入CNN 用于各種任務(wù)。Hu 等［7］提出壓縮和擴(kuò)張網(wǎng)絡(luò)（Squeeze-and-Excitation Network，SENet）利用通道間相互關(guān)系提升分類性能；Zhang 等［5］提出全局平均池化（Global Average Pooling，GAP）構(gòu)建的一階通道注意力以自適應(yīng)縮放通道間特征；Dai等［8］提出采用二階通道注意力網(wǎng)絡(luò)的圖像超分辨率（Second-order Attention Network single image superresolution，SAN），采用二階通道注意力模塊解決之前超分辨率算法忽視對(duì)于CNN 內(nèi)部層特征相互關(guān)系的研究，主要利用二階統(tǒng)計(jì)特征構(gòu)成的全局協(xié)方差池化（Global Covariance Pooling，GCP）自適應(yīng)縮放通道間特征進(jìn)行特征表達(dá)和特征相互性學(xué)習(xí)。

深度網(wǎng)絡(luò)在圖像超分辨率性能上取得重大提升，而現(xiàn)有SISR 算法對(duì)于通道間特征的研究算法只考慮一階通道信息（RCAN）或二階通道統(tǒng)計(jì)信息（SAN），并沒(méi)有將一、二階通道信息進(jìn)行優(yōu)勢(shì)互補(bǔ)。此外，已有通道注意力算法采用升降維破壞了每個(gè)通道和其權(quán)重的直接對(duì)應(yīng)關(guān)系，不利于通道間特征相互性學(xué)習(xí)，影響網(wǎng)絡(luò)性能的提高。

因此，本文提出一種混合階通道注意力網(wǎng)絡(luò)的單幅圖像超分辨率重建（Mixed-order Channel Attention Network for single image super-resolution reconstruction，MCAN）進(jìn)行更強(qiáng)大的特征表達(dá)和相互性學(xué)習(xí)。本文的工作總結(jié)如下：

1）針對(duì)先前不同階通道注意力破壞權(quán)重預(yù)測(cè)與通道不對(duì)應(yīng)問(wèn)題，本文首先改進(jìn)先前一、二階通道注意力模型，提出有效一階通道注意力（Efficient First-order Channel Attention，EFCA）模型和有效二階通道注意力（Efficient Second-order Channel Attention，ESCA）模型，這樣能對(duì)應(yīng)預(yù)測(cè)通道權(quán)重，使得特征加權(quán)更合理，具體可見(jiàn)1.2.1節(jié)和1.2.2節(jié)。

2）針對(duì)之前一、二階通道注意力模型沒(méi)有綜合考慮將不同階通道注意力優(yōu)勢(shì)互補(bǔ)的問(wèn)題，本文將改進(jìn)后的一、二階模型融入殘差網(wǎng)絡(luò)構(gòu)成基本組件混合階殘差通道注意力組（Mixed-order Residual Attention Group，MRAG），具體可見(jiàn)1.3節(jié)。

在一系列測(cè)試數(shù)據(jù)集上結(jié)果表明，與SRCNN［2］、RCAN［5］、SAN［8］等相比，本文算法無(wú)論在客觀評(píng)價(jià)標(biāo)準(zhǔn)還是主觀視覺(jué)效果上結(jié)果都更好，具體可見(jiàn)2.2.2節(jié)。

1 本文算法MCAN

本文算法采用生成對(duì)抗網(wǎng)絡(luò)，生成器如圖1～2 所示，包括4 個(gè)部分：1）淺層特征提取網(wǎng)絡(luò)；2）共享資源的混合階殘差注意力網(wǎng)絡(luò)（Shared-resource Mixed-order Residual Attention Group，SMRAG）；3）上采樣模塊；4）重建模塊。判別器結(jié)構(gòu)如圖3。

1.1 生成器

本文算法首先使用一個(gè)卷積從輸入的低分辨率圖像ILR提取淺層特征，可表示為：

其中：F0表示卷積后的淺層特征；HSF（）表示卷積操作。再將淺層特征輸入SMRAG網(wǎng)絡(luò)以提取深層特征，增強(qiáng)網(wǎng)絡(luò)非線性表達(dá)能力，可表示為：

其中：FDF表示深層特征；HSMRAG（）表示提取深度特征模塊SMRAG，由G個(gè)混合階殘差注意力組MRAG 組成。再將提取到的深層特征進(jìn)行上采樣，可表示為：

其中：H↑()是上采樣操作；F↑是上采樣后特征。本文上采樣算法采用亞像素卷積［9］。最后上采樣后特征經(jīng)過(guò)一個(gè)卷積映射到放大4倍的重建后圖像，此過(guò)程可表示為：

其中：HR()表示重建模塊；ISR表示重建后圖像。

1.2 共享資源的混合階殘差注意力網(wǎng)絡(luò)SMRAG

如圖1 虛線部分即為所提出的共享資源的混合階殘差注意力網(wǎng)絡(luò)SMRAG，由G個(gè)混合階殘差通道注意力組MRAG（圖2（a））和一個(gè)最長(zhǎng)范圍共享資源的跳躍連接（Shared-Source skip Connection，SSC）結(jié)構(gòu)組成。每個(gè)MRAG 包括M個(gè)有效一階殘差注意力模型（EFCA）、一個(gè)中等長(zhǎng)度的跳躍連接結(jié)構(gòu)以及一個(gè)二階通道注意力模型（ESCA）。此二階模型使得網(wǎng)絡(luò)更關(guān)注于信息量大的特征，增強(qiáng)了網(wǎng)絡(luò)判別能力［8］，提升了圖像恢復(fù)質(zhì)量。

簡(jiǎn)單重復(fù)堆疊殘差網(wǎng)絡(luò)雖然能構(gòu)建非常深的網(wǎng)絡(luò)，但由于梯度消失和爆炸問(wèn)題導(dǎo)致訓(xùn)練困難和性能瓶頸，因此本文使用MRAG模塊作為基本單元。而重復(fù)堆疊MRAG網(wǎng)絡(luò)不能取得更好的性能，本文又引入最長(zhǎng)范圍共享資源的跳躍連接結(jié)構(gòu)（SSC）。這樣不僅能促進(jìn)深層網(wǎng)絡(luò)的訓(xùn)練，還能將LR 圖像信息逐層向后傳遞大量低頻信息，減少信息丟失。SMRAG網(wǎng)絡(luò)中的第g個(gè)MRAG可表示為：

對(duì)每個(gè)MRAG 模型，首先將改進(jìn)后的一階模型EFCA 模型嵌入殘差塊，構(gòu)建改進(jìn)后一階殘差注意力（Efficient Firstorder Residual Attention，EFRA）模塊，多個(gè)（M個(gè)）EFRA 級(jí)聯(lián)和最后的二階通道注意力模型（ESCA）構(gòu)成MRAG。最后以MRAG 為基本單元構(gòu)成SMARG 模型。SMRAG 模型利用改進(jìn)后的一、二階通道模型EFCA 和ESCA 使得通道權(quán)重預(yù)測(cè)與每個(gè)通道直接對(duì)應(yīng)，權(quán)重預(yù)測(cè)更準(zhǔn)確合理，網(wǎng)絡(luò)判別能力得以提高；同時(shí)混合使用不同階通道注意力以進(jìn)行優(yōu)勢(shì)互補(bǔ)，這樣使得重建后圖像紋理細(xì)節(jié)得到更好的恢復(fù)。

1.2.1 有效一階通道注意力模型（EFCA）

如圖2（b），對(duì)于每個(gè)EFCA 模型，前一層輸出特征z首先經(jīng)過(guò)全局平均池化HGAP()，再經(jīng)大小為k的一維卷積WC，最后再將sigmoid 函數(shù)所產(chǎn)生的權(quán)重向量和此模塊輸入的每個(gè)特征通道做點(diǎn)乘。和RCAN 中的通道注意力所不同的是，這里的通道特征在經(jīng)過(guò)全局平均池化后，直接經(jīng)過(guò)參數(shù)為k的一維卷積［10］，而不是原來(lái)的二維卷積升降維，這避免了權(quán)重向量與通道特征不直接對(duì)應(yīng)問(wèn)題，使得通道注意力預(yù)測(cè)更準(zhǔn)確。權(quán)重可表示為：

其中：σ()是sigmoid函數(shù)；WC是一維卷積。

圖1 生成器框架Fig.1 Framework of generator

圖2 生成器的子圖Fig.2 Submodules of generator

1.2.2 二階通道注意力模型（ESCA）

如圖2（d），與以上EFCA 相比，本文二階模型采用全局協(xié)方差池化HGCP()而非全局平均池化HGAP()，其余均相同。受Dai等［8］啟發(fā)，本文采用全局協(xié)方差池化以增強(qiáng)網(wǎng)絡(luò)判別能力的學(xué)習(xí)。以下闡明此模型如何利用二階信息。

協(xié)方差歸一化：

對(duì)于H×W×C特征圖F=[f1，f2，…，fC]，首先改變其維度，得到S=W×H，C維特征。則樣本協(xié)方差矩陣可表示為：

其中：I、1 分別是S×S的單位矩陣和數(shù)字1 的矩陣。之后再對(duì)協(xié)方差矩陣進(jìn)行歸一化。由于協(xié)方差矩陣Σ是半正定矩陣，有如下特征值分解：

其中：U是正定矩陣；Λ=diag(λ1，λ2，…，λC)是對(duì)角陣。則協(xié)方差歸一化可轉(zhuǎn)化為特征值的冪運(yùn)算，即

其中：α是正實(shí)數(shù)，本文中α取1/2。則

全局協(xié)方差之后是核為k的快速一維卷積WC。之前的一階模型采用升降維操作，本文改為一維卷積實(shí)現(xiàn)。原本的升降維破壞了每個(gè)通道與其對(duì)應(yīng)權(quán)重之間的直接對(duì)應(yīng)關(guān)系，且利用這種方式的通道注意力也不高效。因此本文采用局部跨通道交互作用策略預(yù)測(cè)通道權(quán)重，即改為核為k一維卷積。這不僅讓通道注意力預(yù)測(cè)更直接，且是局部作用，計(jì)算也更高效。具體來(lái)說(shuō)此二階模型對(duì)于每個(gè)通道考慮其相鄰的k個(gè)通道以捕捉局部跨通道的相互作用。k即局部跨通道的范圍，即有多少相鄰?fù)ǖ绤⑴c一個(gè)通道注意力預(yù)測(cè)，顯然k會(huì)影響模型效率。由于相互作用范圍與通道數(shù)有關(guān)，本文設(shè)計(jì)核大小由自適應(yīng)通道函數(shù)φ()決定，即

其中：|y|odd是最接近y的奇數(shù)。這種改變避免升降維，使得通道注意力預(yù)測(cè)更高效合理

最后，將sigmoid（）函數(shù)產(chǎn)生的權(quán)重向量和原始輸入特征做點(diǎn)乘。通過(guò)2.2.1 節(jié)消融實(shí)驗(yàn)部分可以看出，改進(jìn)后的直接對(duì)應(yīng)式權(quán)重預(yù)測(cè)方式比之前升降維方式對(duì)于感知效果提升確實(shí)有一定效果。

1.3 判別器網(wǎng)絡(luò)結(jié)構(gòu)

訓(xùn)練判別器以區(qū)分真實(shí)圖像GT（Ground Truth）和生成的超分辨率（Super-Resolution，SR）圖像。如圖3，首先，將GT或SR送入4 個(gè)基本模塊構(gòu)成的判別器。每個(gè)模塊包含兩組卷積、批歸一化和Leady ReLU 激活函數(shù)。這4 個(gè)模塊通道數(shù)逐級(jí)遞增，分別是64、128、256 和512。最后利用兩個(gè)全連接層構(gòu)成的二分類器判斷網(wǎng)絡(luò)輸入圖像的真假。

圖3 判別器框架Fig.3 Framework of discriminator

1.4 損失函數(shù)

按照Vu等［11］設(shè)計(jì)，生成器和判別器分別以各自目標(biāo)函數(shù)LG、LD進(jìn)行迭代更新訓(xùn)練。

其中：LFRG是結(jié)合焦點(diǎn)損失（focal loss）的相對(duì)生成對(duì)抗網(wǎng)絡(luò)（Generative Adversarial Network，GAN）損失；LC是內(nèi)容損失；LTV是總方差損失；αFRG、αC、αTV是每個(gè)子函數(shù)對(duì)應(yīng)權(quán)重。

2 實(shí)驗(yàn)與分析

2.1 數(shù)據(jù)集

本文算法在DIV2K［12］數(shù)據(jù)集上訓(xùn)練。此數(shù)據(jù)集包括800個(gè)訓(xùn)練圖像、100 個(gè)驗(yàn)證圖像和100 個(gè)測(cè)試圖像。測(cè)試采用6個(gè)基準(zhǔn)測(cè)試集Set5、Set14、BSD100（Berkeley Segmentation Dataset）、Urban100、DIV2K 驗(yàn)證集（DIVerse 2K resolution image dataset）和PIRM（Perceptual Image Restoration and Manipulation）自驗(yàn)證集。定量評(píng)估模型采用Blau 等［13］提出的感知質(zhì)量評(píng)估標(biāo)準(zhǔn)。

其中：NRQM是非參考質(zhì)量評(píng)估方法（Non-Reference Quality assessment Method）［14］的評(píng)估指標(biāo)；NIQE是自然圖像質(zhì)量評(píng)估器（Natural Image Quality Evaluator）［15］的評(píng)估指標(biāo)。

1）數(shù)據(jù)集和預(yù)處理。

實(shí)驗(yàn)首先對(duì)真實(shí)圖像雙三次下采樣4 倍，再減去DIV2K的RGB 均值預(yù)處理所有圖像。最后對(duì)訓(xùn)練集進(jìn)行隨機(jī)旋轉(zhuǎn)90°、180°、270°和水平翻轉(zhuǎn)的數(shù)據(jù)增強(qiáng)。本模型也用于放大2倍、3 倍情形，需調(diào)整卷積核個(gè)數(shù)，本文只針對(duì)更具有挑戰(zhàn)性的4倍情景。

2）訓(xùn)練設(shè)置。

實(shí)驗(yàn)時(shí)，為提高計(jì)算效率，每個(gè)小批中將16 個(gè)低、高分辨圖像分別裁剪為48× 48和196 × 196的小塊。為控制變量以便和相對(duì)生成對(duì)抗網(wǎng)絡(luò)的感知增強(qiáng)圖像超分辨（Perception-Enhanced image Super-Resolution via relativistic generative adversarial networks，PESR）算法［11］公平比較，設(shè)置MRAG 數(shù)量G=4，M=8。EFCA、ESCA 模型之外卷積和通道數(shù)設(shè)置為3× 3和256。

2.2 實(shí)驗(yàn)設(shè)置

本文算法采用Adam 優(yōu)化器，設(shè)置動(dòng)量β1=0.9，β2=0.999。批量大小為16。L1 損失初始化生成器迭代2 × 105次，再用全損失函數(shù)式（13）、（18）交替優(yōu)化生成器和判別器2 × 105次。損失函數(shù)權(quán)重參數(shù)設(shè)置為αFRG=1，αC=50，αTV=10-6。

預(yù)訓(xùn)練學(xué)習(xí)率初始化為10-4；GAN 訓(xùn)練學(xué)習(xí)率初始化為5×10-5，每1.2×105次批更新后減半，采用Pytorch 框架，使用一塊Nvidia 2080 Ti訓(xùn)練30 h左右，少于RCAN和SAN所需約7 d訓(xùn)練時(shí)間。

2.2.1 消融實(shí)驗(yàn)

為探究將通道注意力升降維改為一維卷積以及混合不同階通道注意力對(duì)MCAN 影響，以下采用升降維一階通道注意力模型（RCAN）、二階模型（SAN）與本文快速一維卷積實(shí)現(xiàn)的一階模型（EFCA）、二階模型（ESCA）分別在BSD100 數(shù)據(jù)集上做對(duì)比實(shí)驗(yàn)。為保持參數(shù)一致，設(shè)置G=4，M=8，結(jié)果如表1所示，評(píng)價(jià)指標(biāo)為感知指數(shù)（Perceptual Index，PI），PI 值越小越好。①和②是訓(xùn)練時(shí)分別采用升降維的一、二階模型，③和④是分別采用改進(jìn)后一、二階模型EFCA、ESCA。①和③，②和④對(duì)比表明，將一階或二階通道注意力由升降維改為一維卷積，通道預(yù)測(cè)權(quán)重和每個(gè)通道特征一一對(duì)應(yīng)，注意力預(yù)測(cè)更準(zhǔn)確；⑤和⑥對(duì)比表明，改進(jìn)后一階（EFCA）二階（ESCA）通道模型融入殘差塊混合使用相比單獨(dú)采用一階或二階模型性能更好。這表明采用改進(jìn)的通道注意力模型不僅權(quán)重預(yù)測(cè)更準(zhǔn)確合理，更關(guān)注于信息量大的特征，還提高了網(wǎng)絡(luò)判別性學(xué)習(xí)能力，故比其他算法結(jié)果更優(yōu)。

表1 BSD100數(shù)據(jù)集上不同通道注意力模型的對(duì)比實(shí)驗(yàn)Tab.1 Comparative experiments of different channel attention models on BSD100 dataset

2.2.2 和其他算法相比

本文算法MCAN 與現(xiàn)有超分辨率算法Bicucic［16］、SRCNN［2］、增強(qiáng)深度殘差網(wǎng)絡(luò)的單幅圖像超分辨（Enhanced Deep residual networks for single image Super-Resolution，EDSR）［17］、RCAN［5］、SAN［8］、生成對(duì)抗網(wǎng)絡(luò)的單幅逼真圖像超分辨率（photo-realistic single image Super-Resolution using a GAN，SRGAN）［18］算法、自動(dòng)紋理合成實(shí)現(xiàn)的單幅圖像超分辨率（Enhancenet： single image super-resolution through automated texture synthesis，ENET）［19］以及PESR［11］相比，利用峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）和感知指數(shù)PI對(duì)放大4 倍重建結(jié)果進(jìn)行評(píng)估，結(jié)果如表2 和圖4。從表2 可以看出，MCAN 在Set5、Set14 等數(shù)據(jù)集上PI 均超過(guò)其他超分辨率算法；且從圖4（j）可以看出，相較于圖4（i）等其他算法，本文算法恢復(fù)出的圖像總體效果如雜草和木橋紋理更清晰直觀。這表明直接進(jìn)行通道注意力預(yù)測(cè)以及二階統(tǒng)計(jì)信息的利用能增強(qiáng)網(wǎng)絡(luò)判別性能力的學(xué)習(xí)，提升網(wǎng)絡(luò)性能。

表2 放大4倍時(shí)不同算法在基準(zhǔn)測(cè)試集上的比較Tab.2 Comparison of different methods on benchmark test sets at 4x magnification

圖4 不同算法定性比較（PI/PSNR）Fig.4 Qualitative comparison of different methods（PI/PSNR）

3 結(jié)語(yǔ)

本文提出混合階通道注意力網(wǎng)絡(luò)的單幅圖像超分辨率算法以增強(qiáng)網(wǎng)絡(luò)判別能力恢復(fù)出高分辨率圖像。首先網(wǎng)絡(luò)去除先前一、二階通道注意力模型升降維改為一維卷積，使得通道注意力預(yù)測(cè)更直接準(zhǔn)確且簡(jiǎn)單；再結(jié)合一、二階通道注意力特別是二階統(tǒng)計(jì)信息，以增強(qiáng)網(wǎng)絡(luò)判別性學(xué)習(xí)能力使得重建后圖像具有更多紋理細(xì)節(jié)。與其他算法相比，本文算法不論是客觀評(píng)價(jià)標(biāo)準(zhǔn)還是主觀感覺(jué)都有所提高，重建出圖像具有更高的質(zhì)量且能顯示更精細(xì)的紋理。下一步打算添加一些符合原圖的先驗(yàn)信息，使得恢復(fù)出的圖像更接近真實(shí)圖像。