通道與空間注意力圖像超分辨率網(wǎng)絡(luò)

劉 璟，宋海川，黃建設(shè)，馬利莊

華東師范大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，上海200062

高分辨率圖像具有高密集度的像素分布，圖像的空間分辨率越高，能容納的高頻細(xì)節(jié)成分越多，越有利于后續(xù)的圖像與視覺(jué)分析等任務(wù)。受限于實(shí)際硬件成像水平、網(wǎng)絡(luò)傳輸流量、硬盤(pán)存儲(chǔ)空間與壓縮技術(shù)，無(wú)法獲得或無(wú)法存儲(chǔ)非常高分辨率的圖像，因此必須通過(guò)超分辨率技術(shù)提高圖像分辨率。這種提升可以是對(duì)原圖的高分辨率重建，也可以是沒(méi)有原圖的單純圖像放大過(guò)程。超分辨率技術(shù)已被廣泛應(yīng)用于醫(yī)學(xué)圖像處理、衛(wèi)星遙感影像、高清數(shù)字電視、視頻監(jiān)控等高新技術(shù)領(lǐng)域，與計(jì)算機(jī)視覺(jué)一些交叉領(lǐng)域，例如，語(yǔ)義分割領(lǐng)域DUC[1]模塊，通過(guò)使用超分辨率領(lǐng)域的Sub-Pixel 方法[2]，使其相比baseline方法提高了2%mIoU。

單圖超分辨率算法的研究分為兩個(gè)方向，其一目標(biāo)為重建出更高感知質(zhì)量的高分辨率圖像，這類(lèi)往往運(yùn)用GAN（Generative Adversarial Networks）的技術(shù)，把已有超分辨率網(wǎng)絡(luò)作為生成器的基礎(chǔ)上，增加一個(gè)判別器，同時(shí)使用MSE 或L1 損失函數(shù)和VGG 等特征損失函數(shù)來(lái)重建逼真的超分辨率圖像，后者具有比前者更真實(shí)的高頻細(xì)節(jié)，但是與原圖的一致性上不如前者。因此，在與原圖更為接近、更為相似的研究方向上，復(fù)原高頻細(xì)節(jié)成為了一大熱點(diǎn)。

針對(duì)重建與原圖更為接近的高分辨率圖像的研究，起源于SRCNN[3]（Super Resolution Convolutional Nerual Network），早期的超分辨率網(wǎng)絡(luò)普遍采用bicubic 上采樣算法將輸入與輸出的特征圖的尺度size放大為一致，認(rèn)為這有利于進(jìn)行非線性映射，隨之出現(xiàn)的VDSR[4]（Very Deep convolutional network for single image Super Resolution）、DRRN[5]（Deep Recursive Residual Network）與DRCN[6]（Deeply Recursive Convolutional Network）網(wǎng)絡(luò)便是該種架構(gòu)。這種方式很快被證明徒增計(jì)算量，并且會(huì)產(chǎn)生新的噪音，并丟失原圖信息。隨之出現(xiàn)的FSRCNN[7]（Fast Super Resolution Convolutional Nerual Network）與ESPCN[2]（Efficient Sub-Pixel Convolutional Network）分別在網(wǎng)絡(luò)末尾生成輸出圖片的特征圖的卷積層前加上反卷積層與Sub-Pixel卷積進(jìn)行上采樣，在學(xué)界普遍證實(shí)了Sub-Pixel 卷積能避免反卷積層帶來(lái)的棋盤(pán)格效應(yīng)帶來(lái)的指標(biāo)下降后，之后出現(xiàn)的超分辨率網(wǎng)絡(luò)大多采用Sub-Pixel卷積[2]進(jìn)行上采樣。

NTIRE2017[8]（New Trends in Image Restoration and Enhancement）比賽在2017 年提出了一個(gè)新的訓(xùn)練集DIV2K[9]，NTIRE2017 的 冠 軍 模 型EDSR[10]（Enhanced Deep Super Resolution）Lim等人表示，批量歸一化層操作不利于超分辨率網(wǎng)絡(luò)的訓(xùn)練，是占用更多顯存并且減慢網(wǎng)絡(luò)收斂的無(wú)效操作，該模型簡(jiǎn)單地在SRResNet[11]的基礎(chǔ)上移除BN層后，獲得了NTIRE2017的冠軍。Guo等人在DWSR[12]（Deep Wavelet Super Resolution）網(wǎng)絡(luò)中設(shè)計(jì)了一個(gè)深度卷積神經(jīng)網(wǎng)絡(luò)模型來(lái)預(yù)測(cè)低分辨率圖像與原圖的4個(gè)小波域的殘差細(xì)節(jié)，取得了較好的成績(jī)。CVPR2018 中，Tai 等人在DBPN[13]（Deep Back-Projection Network）中提出了一種迭代升降采樣方式，使得網(wǎng)絡(luò)可以同時(shí)學(xué)習(xí)在低分辨率與高分辨率下的特征映射方式。

針對(duì)高頻細(xì)節(jié)不易復(fù)原的問(wèn)題，提出了一個(gè)基于注意力機(jī)制的基本塊，它由通道注意力和空間注意力兩部分組成，分別對(duì)通道間的高低頻信息與同一通道內(nèi)不同空間位置的高低頻信息分配不同的權(quán)重，從而使得高頻與低頻信息都能更好地被學(xué)習(xí)。進(jìn)一步的，基于該注意力基本塊，設(shè)計(jì)了基于注意力機(jī)制的單幅圖像超分辨率網(wǎng)絡(luò)，若干基本塊結(jié)合短期特征體質(zhì)模塊組成一特征提取組，若干特征提取組與長(zhǎng)期特征調(diào)制模塊形成整個(gè)特征映射子網(wǎng)。低分辨率圖像在經(jīng)過(guò)前期特征提取、特征映射子網(wǎng)與上采樣模塊后，高分辨率圖像得以重建，其中特征調(diào)制模塊能夠解決來(lái)自前期層的長(zhǎng)期信息在后期層被減弱或丟失導(dǎo)致訓(xùn)練過(guò)程難以進(jìn)行甚至不收斂的問(wèn)題。實(shí)驗(yàn)結(jié)果表明，與SRCNN、FSRCNN、EDSR、DBPN、DWSR 等網(wǎng)絡(luò)相比，本文方法具有更好的重建效果。

1 基于注意力機(jī)制的基本塊設(shè)計(jì)

基本塊作為單張圖像超分辨率網(wǎng)絡(luò)的主要非特征映射模塊，是影響重建結(jié)果的重要因素。本章以EDSR[10]中的基本塊作為基線進(jìn)行多方面的改進(jìn)。

基于注意力機(jī)制的基本塊由兩個(gè)3×3的卷積層，一個(gè)具有空間注意力機(jī)制的激活層和在層尾的通道注意力層組成。其中，兩個(gè)3×3卷積層和一個(gè)激活層組成了常用的超分辨率任務(wù)基本塊，這種基本塊在EDSR中被證明為非常高效的特征映射塊，并被后面的超分辨率網(wǎng)絡(luò)廣泛使用，結(jié)構(gòu)如圖1（a）所示。相對(duì)這種結(jié)構(gòu)，做出如下優(yōu)化：第一，將常用結(jié)構(gòu)中的ReLU 激活層替換為本文設(shè)計(jì)的攜帶空間信息的注意力激活層。第二，對(duì)兩個(gè)3×3卷積層中間的激活層使用寬激活配置，卷積層中間的通道數(shù)為輸入與輸出的4倍，改進(jìn)后的激活層配置中廣泛的寬度使得基本塊的映射能力得到進(jìn)一步的提升。第三，在基本塊做殘差前加入通道注意力層，使得不同通道間的權(quán)重分配更加均衡。

圖1 （a）EDSR中基本塊中的特征提取配置

圖1 （b）本文改進(jìn)基本塊中的特征提取配置

1.1 寬激活層

傳統(tǒng)的單圖超分辨率深度學(xué)習(xí)網(wǎng)絡(luò)中的基本塊結(jié)構(gòu)具有兩個(gè)3×3 卷積層與一個(gè)ReLU 激活層，數(shù)據(jù)流的通道數(shù)配置為{x,x,x}（x 為基本塊通道數(shù)，下同）。為了促使更多的低層次信息可以通過(guò)以達(dá)到盡可能將低層信息傳遞到后面的層，在Relu激活之前對(duì)通道數(shù)進(jìn)行r 倍擴(kuò)張，在廣泛地對(duì)各通道信息進(jìn)行激活后進(jìn)行倍壓縮，改變后的通道數(shù)配置為。這樣配置后基本塊的計(jì)算量與參數(shù)量保持不變。參照WDSR[14]的結(jié)論，實(shí)驗(yàn)中將r 設(shè)置為4 以得到最佳的配置，最終的通道數(shù)配置為，即基本塊的輸入通道數(shù)與輸出通道數(shù)調(diào)整為原結(jié)構(gòu)的一半，而中間激活通道數(shù)為原結(jié)構(gòu)的兩倍。

1.2 空間注意力激活層

不同的通道具有不同的重要性，例如，在具有復(fù)雜邊緣和紋理特征的特征映射中，高頻濾波器更重要。但是，同一通道中的不同區(qū)域，亦具有不同的重要性。例如，如果能夠集中在高頻區(qū)域的細(xì)節(jié)區(qū)域，同時(shí)抑制低頻區(qū)域的權(quán)重，這將有助于高頻濾波器學(xué)習(xí)更多的高頻特征，最終圖像的高頻細(xì)節(jié)被更好地重建，反之亦然。受這些啟發(fā)，提出了一種新的空間注意力激活層（Spatial Attention Activation Layer，SAAL）作為具有空間注意信息的激活層。輸入信息先經(jīng)過(guò)一個(gè)1×1 卷積層來(lái)融合跨通道的信息，接著通過(guò)ReLU 激活層與DepthWise卷積層，每個(gè)通道分別學(xué)習(xí)它們的空間權(quán)重，最后Sigmoid層將空間權(quán)重的動(dòng)態(tài)范圍映射到[0，1]，逐像素點(diǎn)乘輸入信息，進(jìn)而得到攜帶空間信息的激活特征圖。

空間注意力激活層分離了高頻與低頻信息至不同濾波器，使得它們分別具備不同的功能，同時(shí)專(zhuān)注學(xué)習(xí)高頻與低頻信息，使它們相比于原有激活層的學(xué)習(xí)，對(duì)高頻與低頻的預(yù)測(cè)都更好。會(huì)在實(shí)驗(yàn)部分具體分析這一點(diǎn)?？臻g注意力激活層可表示為：

其中，W 分別代表DepthWise 卷積層與1×1 卷積層，δ代表ReLU激活層，HSAAL代表空間注意力激活層。注意該激活層幾乎不會(huì)帶來(lái)更多的參數(shù)量與計(jì)算量，因?yàn)镈epthWise 卷積層的計(jì)算是單通道對(duì)單通道的計(jì)算，而1×1卷積層的卷積核計(jì)算量?jī)H為相同配置下的3×3卷積層的九分之一。

1.3 通道注意力層

通道注意力機(jī)制在單圖超分辨率任務(wù)中有兩點(diǎn)優(yōu)勢(shì)。一方面，基本塊卷積層中的每個(gè)濾波器都使用本地的感受野，因此卷積后的輸出不能利用本地區(qū)域之外的上下文信息，而通道注意的全局池化層包含了通道的全局的空間信息。另一方面，特征映射中的不同通道在提取低頻或高頻分量上起著不同的作用，引入信道注意層可以自適應(yīng)地調(diào)節(jié)信道的權(quán)重從而有效地提高重建指標(biāo)。在難以重建高頻細(xì)節(jié)的超分辨率任務(wù)中，往往表現(xiàn)為有利于對(duì)提取高頻成分的通道分配更高的權(quán)重，對(duì)冗余的低頻成分提取通道分配更低的權(quán)重。

如圖2 所示，借鑒SENet 中的擴(kuò)張-擠壓結(jié)構(gòu)，將該結(jié)構(gòu)作為本文的通道注意力層中的權(quán)重線性映射部分，并將整個(gè)通道注意力層放置在基本塊的末尾。使用X=[X1,X2,…,Xc,…,XC] ∈RH×W×C來(lái)表示通道注意力層的輸入，它由C 張大小為H×W 的特征圖組成，后接一個(gè)全局池化層與全局方差層，其輸出是通道的均值與方差統(tǒng)計(jì)信息：

圖2 通道注意力層網(wǎng)絡(luò)流程圖

將輸入層的各通道的統(tǒng)計(jì)系數(shù)（這里選取均值mean 與標(biāo)準(zhǔn)差std）作為單像素、多通道的輸入，分別經(jīng)過(guò)擠壓、激活與擴(kuò)張結(jié)構(gòu)，形成兩組通道注意力系數(shù)：

其中，δ 代表ReLU 激活層，σ 代表Sigmoid 激活層，將注意力系數(shù)映射到[0，1]區(qū)間內(nèi)。兩支路的通道注意力加權(quán)求和（在這里，選取系數(shù)均為1）得到最終的通道注意力系數(shù)s。將通道注意力系數(shù)分別與輸入進(jìn)行點(diǎn)乘求和，形成帶通道注意力機(jī)制的輸出：

其中，HCA代表通道注意力層，s 和x 代表通道注意力系數(shù)與分配權(quán)重前的特征圖輸入。

如圖3所示為整個(gè)基本塊，它可以表示為：

其中，F(xiàn)b、Fb-1分別為第b 個(gè)基本塊的輸入與輸出，Bb代表第b 個(gè)基本塊，HCA為該基本塊的通道注意力層，δ 為該基本塊的空間注意力激活層，Wb為第b 個(gè)基本塊的卷積層。

2 網(wǎng)絡(luò)架構(gòu)設(shè)計(jì)

2.1 網(wǎng)絡(luò)的總體結(jié)構(gòu)

網(wǎng)絡(luò)的總體結(jié)構(gòu)如圖4所示，它由如下幾個(gè)模塊組成：初始特征提取層、特征映射子網(wǎng)（Feature Mapping Sub-Net，F(xiàn)MS）、上采樣模塊，其中特征映射子網(wǎng)由堆疊的基本塊連接組（Base Block Concat Group，BBCG）組成。

設(shè)ILR與ISR為輸入的低分辨率（Low Resolution，LR）圖像與對(duì)應(yīng)的經(jīng)過(guò)本文設(shè)計(jì)的CSAN（Channel and Spatial Attention Network）網(wǎng)絡(luò)重建后的超分辨率圖像。首先使用一個(gè)3×3 卷積層對(duì)輸入圖像進(jìn)行淺層特征提取：

其中，f0(?)代表網(wǎng)絡(luò)的頭部卷積層。FSF接著被用作特征映射子網(wǎng)的輸入，F(xiàn)SF先經(jīng)過(guò)G 個(gè)基本塊連接組與一個(gè)卷積層得到深層的特征殘差圖，然后與FSF進(jìn)行全局的殘差連接，得到網(wǎng)絡(luò)的深層特征（Deep Feature，DF）FDF：

其中，Gg(?)代表第g 個(gè)基本塊連接組，fdf(?)代表特征映射子網(wǎng)的尾卷積層，HFMS代表特征映射子網(wǎng)，它經(jīng)過(guò)了2 階段的基本塊堆疊，擁有龐大的深度與感受野。第一個(gè)階段由基本塊連接組形成堆疊結(jié)構(gòu)，第二個(gè)階段為簡(jiǎn)單的全局殘差連接。然后，網(wǎng)絡(luò)的深層特征FDF被送進(jìn)上采樣模塊得到最終的超分辨率重建圖像ISR：

其中，HUP代表上采樣層，HCSAN代表本文設(shè)計(jì)的網(wǎng)絡(luò)的總體結(jié)構(gòu)。

2.2 基本塊連接組

形成較高的超分辨率網(wǎng)絡(luò)圖像重建性能，往往需要非常深的網(wǎng)絡(luò)層數(shù)，但是簡(jiǎn)單地堆疊基本塊或卷積層不能達(dá)到預(yù)期的效果。因此，設(shè)計(jì)了一種兩階段的基本塊堆疊方式，基本塊連接組方式代表了第一階段的深度折疊，第二層的折疊為全局殘差結(jié)構(gòu)。經(jīng)過(guò)兩階段的深度折疊，網(wǎng)絡(luò)深度大幅縮減，不易收斂的深層基本塊堆疊網(wǎng)絡(luò)轉(zhuǎn)化為容易收斂的淺層基本塊連接組堆疊網(wǎng)絡(luò)。

圖3 本文的改進(jìn)基本塊網(wǎng)絡(luò)流程圖

圖4 基本塊連接組，階段式上采樣與網(wǎng)絡(luò)總體結(jié)構(gòu)

如圖4 左上角所示為基本塊連接組的示意圖。每個(gè)基本塊的輸出都被連接（concat），經(jīng)過(guò)一個(gè)基本塊連接組末尾的卷積層對(duì)各基本塊的輸出進(jìn)行壓縮得到有用的基本塊連接組的輸出。這樣的設(shè)置使得所有基本塊的輸出都得以充分利用，從而緩解淺層信息被遺漏導(dǎo)致的深層網(wǎng)絡(luò)難以收斂的問(wèn)題?；緣K連接組可以表示為：

其中，Gg代表第g 個(gè)基本塊連接組，F(xiàn)g和Fg-1分別為基本塊連接組的輸入和輸出，λb為第b 個(gè)基本塊輸出的權(quán)重，Bb為第b 個(gè)基本塊的輸出。

2.3 上采樣模塊

采用階段式上采樣（每次進(jìn)行2 倍分辨率的上采樣）代替一次性的上采樣，這樣的設(shè)置使得網(wǎng)絡(luò)能在多尺度（不同2J尺度）上進(jìn)行學(xué)習(xí)，而不僅僅是在最低尺度上進(jìn)行學(xué)習(xí)。圖4 中的網(wǎng)絡(luò)為4×超分辨率(J=2)的示例，含有2 個(gè)上采樣模塊（右下角虛線框），其中上采樣模塊由2個(gè)3×3卷積核一個(gè)像素重洗（Pixel Shuffle）層組成，其中像素重洗層起到把空間維度壓縮，擴(kuò)張分辨率維度的作用。例如，在2 倍分辨率中，先用過(guò)第一個(gè)3×3卷積將通道擴(kuò)充為原來(lái)的4倍，經(jīng)過(guò)像素重洗層后，通道數(shù)還原，而分辨率為原來(lái)的2倍。

2.4 優(yōu)化器與損失函數(shù)

使用Adam 作為優(yōu)化器算法，分別在第150，第200與第250epoch 將學(xué)習(xí)率減半，初始學(xué)習(xí)率為1E-4 。將L1損失函數(shù)作為Adam優(yōu)化器的優(yōu)化目標(biāo)：

3 實(shí)驗(yàn)與分析

3.1 實(shí)驗(yàn)配置

3.1.1 數(shù)據(jù)集

與EDSR[10]、SRMD[15]、RDN[16]等 網(wǎng) 絡(luò) 一 致，使 用DIV2K[9]作為本文的訓(xùn)練與驗(yàn)證集。DIV2K包含800張訓(xùn)練圖像，100張驗(yàn)證圖像，100張測(cè)試圖像（均為2K分辨率）與它們4個(gè)尺度（2倍、3倍、4倍、8倍）下對(duì)應(yīng)的低分辨率圖像。在此基礎(chǔ)上，添加了選圖范圍更加豐富、張數(shù)更多的Flikr2k 數(shù)據(jù)集作為訓(xùn)練集組成DF2K 訓(xùn)練集作為本文的訓(xùn)練集進(jìn)行訓(xùn)練。網(wǎng)絡(luò)輸入圖像為48×48的分塊，經(jīng)過(guò)順時(shí)針旋轉(zhuǎn)0°、90°、180°、270°，左右翻轉(zhuǎn)與上下翻轉(zhuǎn)得到8倍于原數(shù)據(jù)的增強(qiáng)數(shù)據(jù)集，該增強(qiáng)策略同時(shí)也應(yīng)用于測(cè)試階段對(duì)結(jié)果進(jìn)行融合從而進(jìn)一步提升重建的準(zhǔn)確度。

3.1.2 測(cè)試指標(biāo)

經(jīng)過(guò)融合輸出的高分辨率重建結(jié)果與標(biāo)簽高分辨率圖像在YCbCr 空間計(jì)算Y 通道的峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）和結(jié)構(gòu)相似性（Structural Similarity，SSIM）作為衡量單圖超分辨率算法的客觀性能指標(biāo)，從而更準(zhǔn)確地表明本文算法相較其他算法的優(yōu)越性。PSNR 反映兩幅圖像對(duì)應(yīng)像素點(diǎn)間的誤差，其值越高表明輸出圖像失真越少，圖像重建質(zhì)量越好。SSIM是表示兩幅圖像相似度的評(píng)價(jià)指標(biāo)，其值越接近于1代表輸出圖像越接近于原始高分辨率圖像，即重建效果越好。在本文的對(duì)照實(shí)驗(yàn)中，使用DIV2K 驗(yàn)證集的前十張?jiān)谟?xùn)練階段每個(gè)epoch后進(jìn)行測(cè)試。使用5個(gè)單圖超分辨率通用benchmark 在2×尺度與4×尺度進(jìn)行測(cè)試：Set5[17]、Set14[18]、B100、Urban100[19]和Manga109[20]。

3.1.3 模型細(xì)節(jié)

網(wǎng)絡(luò)的基本通道數(shù)設(shè)置為64（對(duì)應(yīng)的，在基本塊內(nèi)，為{32，128，32}配置，基本塊外的卷積層通道數(shù)為32，而基本塊中的DepthWise 卷積層通道數(shù)為128）。在對(duì)照實(shí)驗(yàn)中（2 倍尺度），使用每個(gè)基本塊連接組10 個(gè)基本塊，10 個(gè)基本塊連接組，通道數(shù)64，也即10B-10G-64C的配置；在性能測(cè)試中，使用更大的網(wǎng)絡(luò)配置，20G-10G-64C。

3.2 對(duì)照實(shí)驗(yàn)與模型分析

3.2.1 通道注意力機(jī)制的有效性

如表1所示，研究了本文的基本塊的幾種通道注意力變體，其中基線網(wǎng)絡(luò)僅包含兩個(gè)卷積層和普通的激活層ReLU，而沒(méi)有融合通道注意力機(jī)制。作為對(duì)照，分別去除均值與標(biāo)準(zhǔn)差的分支進(jìn)行實(shí)驗(yàn)。

從表1中前四列或后四列中均可看出，同時(shí)使用均值與標(biāo)準(zhǔn)差兩個(gè)分支的統(tǒng)計(jì)信息作為通道注意力（3組、7組）的重建指標(biāo)最高，而不含通道注意力機(jī)制的基線模型（Baseline）重建指標(biāo)最差，在Set14的×2尺度超分辨率測(cè)試中落后于最優(yōu)配置0.12 dB，在Urban100的×2尺度測(cè)試中落后0.08 dB，證明了本文的通道注意力機(jī)制的有效性。注意通道注意力機(jī)制并不會(huì)過(guò)多地引入額外參數(shù)。

表1 通道注意力層與基本塊連接組對(duì)照實(shí)驗(yàn)數(shù)據(jù)

3.2.2 空間注意力機(jī)制的有效性

本文的空間注意力激活層允許投入很少的額外參數(shù)以獲得性能上的提升。在性能越弱的網(wǎng)絡(luò)中，這種提升越明顯，但投入?yún)?shù)的占比越高?？臻g注意力激活層中DepthWise卷積層的卷積核大小設(shè)置不同，會(huì)影響投入?yún)?shù)的占比與網(wǎng)絡(luò)最后的性能，是一個(gè)性能與參數(shù)的折中。使用基本配置的CSAN模型，通過(guò)不同大小卷積核的配置進(jìn)行對(duì)照實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如表2。表2 是有關(guān)是否使用空間注意力激活層（SAAL）與其中DepthWise卷積核大小對(duì)于結(jié)果的影響的對(duì)照實(shí)驗(yàn)配置表與實(shí)驗(yàn)數(shù)據(jù)。MAdds 與顯存占用為3×16×16 作為輸入時(shí)的測(cè)試數(shù)據(jù)，PSNR 為DIV2K801～810 驗(yàn)證集重建結(jié)果的平均值，網(wǎng)絡(luò)為基線配置。實(shí)驗(yàn)結(jié)果表明，SA 層的引入，從卷積核大小為5×5開(kāi)始具有提升，并且卷積核大小越大提升越大，引入SA層會(huì)帶來(lái)約1.66倍的顯存占用。

表2 空間注意力激活層對(duì)照實(shí)驗(yàn)數(shù)據(jù)

進(jìn)一步觀察了通道注意力激活層對(duì)特征圖帶來(lái)的變化來(lái)分析通道注意力激活層的本質(zhì)。如圖5 所示為Set5-2x中的一組示例高頻濾波器特征圖。其中左圖為原圖，中圖為空間注意力激活層前的特征圖，右圖為經(jīng)過(guò)空間注意力激活層激活后的特征圖。可視化圖將特征圖的值sigmoid激活后線性放縮至-175至175范圍，進(jìn)行藍(lán)綠色調(diào)的colormap映射。

圖5 空間注意力激活層特征圖可視化

可以清楚地從圖5 右圖中觀察到本文的空間注意力激活層能殺死高頻濾波器中的低頻部分（綠色部分代表該區(qū)域被分配接近0 的權(quán)重），從而更好地提取高頻特征，從而證明了本文的空間注意力激活層的有效性。

3.2.3 基本塊連接組的有效性

基本塊連接組能夠折疊網(wǎng)絡(luò)的基本塊深度，從而使得網(wǎng)絡(luò)不會(huì)隨著深度的增加而難以收斂，網(wǎng)絡(luò)更好地收斂為網(wǎng)絡(luò)帶來(lái)更高的重建精度。由于寬激活層的配置，基本塊外的卷積不會(huì)帶來(lái)太多額外的參數(shù)量。在基線配置下使用DIV2K 驗(yàn)證集801～810 對(duì)PSNR 指標(biāo)進(jìn)行測(cè)試，對(duì)是否使用基本塊連接組、是否對(duì)各輸入的weight進(jìn)行放縮進(jìn)行驗(yàn)證。如圖6 所示，最終圖4 中的配置取得了最好的成績(jī)。圖1 中相同通道注意力配置下是否使用基本塊連接組的對(duì)照實(shí)驗(yàn)也證明了基本塊連接組的有效性。

圖6 基本塊連接組對(duì)照實(shí)驗(yàn)的PSNR-Epoch曲線圖

3.3 與已有算法的對(duì)比

為了證明本文方法的先進(jìn)性與有效性，選取了單張圖像超分辨率領(lǐng)域先進(jìn)的8 種方法深度學(xué)習(xí)方法，

SRCNN[3]、VDSR[4]、DRCN[6]、LapSRN[21]、MemNet[22]、EDSR[10]、SRMDNF[15]、D-DBPN[13]，與傳統(tǒng)的Bicubic 算法，在2 倍與4 倍尺度分別進(jìn)行對(duì)比，結(jié)果如表3。從表中可以看出，無(wú)論是在2 倍還是4 倍尺度下，在不同測(cè)試集下，本文算法對(duì)于重建圖像的PSNR 與SSIM 指標(biāo)均處于領(lǐng)先，其中PSNR在5個(gè)不同的測(cè)試集上平均領(lǐng)先D-DBPN約0.4 dB。

同樣對(duì)不同先進(jìn)算法的主觀視覺(jué)效果進(jìn)行了對(duì)比評(píng)價(jià)，圖像來(lái)自測(cè)試集Urban100，結(jié)果如圖7所示。圖7（a）中，由于降采樣使得高頻信號(hào)缺失導(dǎo)致窗沿的平行線發(fā)生了嚴(yán)重的混淆現(xiàn)象，F(xiàn)SRCNN 沒(méi)有解決混淆現(xiàn)象，其他的算法均預(yù)測(cè)了錯(cuò)誤的方向，只有本文算法成功重建了原圖的窗沿平行線方向。圖7（b）中的混淆現(xiàn)象體現(xiàn)在欄桿上，同樣只有本文算法由于最準(zhǔn)確地還原了欄桿的方向而得到了精度最高的重建結(jié)果。因此，定量數(shù)據(jù)與定性視覺(jué)效果，均表明低分辨率圖像通過(guò)本文算法得到的重建效果整體優(yōu)于所對(duì)比的重建算法。

4 結(jié)論

本文提出了一種基于通道注意力機(jī)制與空間注意力機(jī)制的單幅圖像超分辨率網(wǎng)絡(luò)。網(wǎng)絡(luò)使用階段式上采樣進(jìn)行分辨率的提升，使得網(wǎng)絡(luò)可以學(xué)習(xí)不同的2倍尺度上的非線性特征映射；使用基本塊連接組對(duì)網(wǎng)絡(luò)的深度進(jìn)行折疊，使得非常深的超分辨率網(wǎng)絡(luò)可以更快更好地收斂；使用包含通道注意力層與空間注意力激活層的改進(jìn)基本塊作為網(wǎng)絡(luò)的基本特征映射單位，對(duì)照實(shí)驗(yàn)證明了提出的通道注意力機(jī)制和空間注意力機(jī)制的有效性；大量實(shí)驗(yàn)表明本文方法不論從客觀定量指標(biāo)，還是主觀視覺(jué)上，均優(yōu)于目前的先進(jìn)方法。

表3 與先進(jìn)單張圖像超分辨率領(lǐng)域已有算法的指標(biāo)對(duì)比

圖7 （b）“Img100”-2×與不同先進(jìn)算法的視覺(jué)效果對(duì)比