基于注意力和寬激活密集殘差網(wǎng)絡(luò)的圖像超分辨率重建

寇旗旗， 李超， 程德強(qiáng)， 陳亮亮， 馬浩輝， 張劍英

（1.中國礦業(yè)大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，江蘇 徐州 221116；2.中國礦業(yè)大學(xué) 信息與控制工程學(xué)院，江蘇 徐州 221116）

1 引 言

超分辨率重建（Super-Resolution，SR）旨在對輸入的一幅或多幅低分辨率圖像（Low-Resolution，LR）進(jìn)行重建，以得出細(xì)節(jié)更加豐富的高分辨率圖像（High-Resolution，HR）。目前，隨著計(jì)算機(jī)視覺的飛速發(fā)展，圖像超分辨率重建技術(shù)已經(jīng)廣泛應(yīng)用于夜間高噪圖像重建、遙感衛(wèi)星成像、醫(yī)學(xué)影像分析和霧霾圖像重建等領(lǐng)域［1-3］。對于任意的一張低分辨圖像，其重建后對應(yīng)無數(shù)個(gè)不同的高分辨圖像，因此，圖像的超分辨率重建是一個(gè)典型的病態(tài)問題。為解決這個(gè)問題，國內(nèi)外學(xué)者提出了基于插值的方法［4-5］、基于重建的方法［6］和基于學(xué)習(xí)的方法。其中，基于學(xué)習(xí)的方法是通過學(xué)習(xí)低分辨率圖像和高分辨圖像之間的對應(yīng)關(guān)系來獲得圖像的先驗(yàn)知識，進(jìn)而預(yù)測目標(biāo)的高分辨率圖像。在基于學(xué)習(xí)的重建任務(wù)中，將高分辨率圖像使用雙三次差值下采樣得到相應(yīng)低分辨率圖像，組成用于模型訓(xùn)練的高低分辨率圖像對。與傳統(tǒng)重建方法相比，基于學(xué)習(xí)的方法可以得到更好的重建效果，因此受到了眾多學(xué)者的關(guān)注。

近些年來，隨著深度學(xué)習(xí)技術(shù)的發(fā)展，涌現(xiàn)出大量用于解決超分辨重建問題的網(wǎng)絡(luò)模型。2015年，Dong［7］等首次將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于圖像的超分辨率重建，并提出了一種超分辨率重建卷積神經(jīng)網(wǎng)絡(luò)（Super-Resolution Convolutional N-eural Network，SRCNN），該網(wǎng)絡(luò)直接學(xué)習(xí)從低分辨率圖像到高分辨率圖像之間的映射關(guān)系，是一項(xiàng)開創(chuàng)性的工作。隨后，Shi［8］等在SRCNN的基礎(chǔ)上對反卷積層上采樣操作進(jìn)行了改進(jìn)并提出了高效的亞像素卷積層，該層通過重新對特征圖進(jìn)行排列，在減少網(wǎng)絡(luò)參數(shù)的同時(shí)，獲得了更好的重建效果。然而，上述方法均采用淺層的網(wǎng)絡(luò)來獲取圖像的低頻特征信息，忽略了深層特征信息對圖像紋理細(xì)節(jié)重建的影響。Kim［9］等通過采用更深的網(wǎng)絡(luò)結(jié)構(gòu)以及更大的感受野，同時(shí)引入了殘差網(wǎng)絡(luò)（ResNet）［10］思想，提出了一種超分辨率重建極深卷積神經(jīng)網(wǎng)絡(luò)（Super-Resolution Using Very Deep Convolutional Net-works，VDSR），該網(wǎng)絡(luò)模型不僅實(shí)現(xiàn)了深層特征信息的提取，且殘差信息的引入也有效緩解了網(wǎng)絡(luò)層加深導(dǎo)致的梯度彌散問題，提高了網(wǎng)絡(luò)的重建性能。但隨著網(wǎng)絡(luò)深度的增加，網(wǎng)絡(luò)參數(shù)量也在劇增，這導(dǎo)致網(wǎng)絡(luò)難以訓(xùn)練，收斂緩慢。因而Kim［11］等又在深度遞歸網(wǎng)絡(luò)（Deeply Recursive Convolutional Network，DRCN）中結(jié)合VDSR模型的優(yōu)點(diǎn)，提出了遞歸監(jiān)督的學(xué)習(xí)策略以減少模型的參數(shù)。緊接著，Tai［12］等在深度遞歸卷積網(wǎng)絡(luò)（Image Super-Resolution Via Deep Recursive Residual Network，DRRN）中提出了遞歸殘差塊來實(shí)現(xiàn)權(quán)重共享，以此進(jìn)一步降低網(wǎng)絡(luò)參數(shù)量。Lim［13］等通過去除批量歸一化（Batch Normalization，BN）來改進(jìn)殘差塊，提出了一種增強(qiáng)型深度超分辨率網(wǎng)絡(luò)（Enhanced Deep Residual Networks for Single Image Super-Resolution，EDSR），重建效果得到了顯著的提升。Hui［14］等研究發(fā)現(xiàn)網(wǎng)絡(luò)深度也是影響超分辨率重建速度的重要因素，因此提出了輕量化的多蒸餾網(wǎng)絡(luò)（Lightweight Image Super-Resolution with Infor-ma-tion Multi-Distillation network，IMDN）用來提升網(wǎng)絡(luò)的重建速度，為超分辨率重建的輕量化開啟一個(gè)新思路。與Hui等思路不同，Luo［15］等通過提出雙支路特征提取模塊和反向級聯(lián)融合策略來降低計(jì)算復(fù)雜度和內(nèi)存需求，然而此方法的性能提升卻并不明顯。Tong［16］等設(shè)計(jì)了一種密集連接的網(wǎng)絡(luò)以促進(jìn)圖像特征的信息流通，從而提出了密集跳躍連接超分辨率網(wǎng)絡(luò)（Image Super-Resolution Using Dense Skip Connections，SRDe-nseNet）。此后，Zhang［17］等通過將殘差連接和密集連接進(jìn)行融合，進(jìn)一步提升了LR圖像的超分重建效果。2018年，Zhang［18］等通過設(shè)計(jì)一種通道注意力模塊（Channel Attention，CA）來對不同通道的特征重新進(jìn)行加權(quán)分配以增強(qiáng)網(wǎng)絡(luò)的辨別學(xué)習(xí)能力，提出了基于殘差注意力的超分辨率重建網(wǎng)絡(luò)（Image Super-Resolution Using Very Deep Residual Channel Attention Networks，RCAN），注意力機(jī)制的引入使得其重建效果相比其他SR方法得到了顯著的提升。隨后，Dai［19］等對RCAN中的通道注意力進(jìn)行改進(jìn)，提出了基于二階統(tǒng)計(jì)的注意力機(jī)制，并第一次將非局部注意力［20］引入超分辨率重建任務(wù)中。2021年，Chen［21］等從底層研究注意力機(jī)制對超分辨率重建的作用，并提出了一種注意力嵌套圖像超分辨率重建網(wǎng)絡(luò)（Attention in Attention for Image S-uper-Resolution，A2N）。鑒于注意力機(jī)制優(yōu)異的特征表達(dá)能力，研究人員開始在SR任務(wù)中引入各種注意力機(jī)制來提高網(wǎng)絡(luò)的重建性能。此外，Ledig［22］等利用感知損失和對抗損失來實(shí)現(xiàn)低分辨圖像的超分辨重建，并提出了一種超分辨率生成對抗網(wǎng)絡(luò)模型（Super-Resolution Generative Adversial Network,SRGAN），也取得了良好的圖像重建效果。

雖然上述圖像超分辨率重建網(wǎng)絡(luò)取得了較好的重建效果，但大部分網(wǎng)絡(luò)模型沒有充分利用低分辨率圖像的全局和局部信息，存在特征圖太少可能導(dǎo)致重要信息丟失的問題。目前，雖然也有少量網(wǎng)絡(luò)模型綜合考慮了該問題，如Yu［23］等提出了一種寬激活深度殘差網(wǎng)絡(luò)（Wide Act-ivation for Efficient and Accurate Image Super-resolution，WDSR）用于圖像超分辨率重建，該網(wǎng)絡(luò)在盡量不增加參數(shù)量的前提下，通過擴(kuò)大殘差塊內(nèi)激活函數(shù)前的特征通道數(shù)實(shí)現(xiàn)了深層次高頻信息的提取。然而，該方法雖然提取到不同的深層特征信息，但是仍然存在特征復(fù)用和利用率較低的問題。

為了解決以上問題，本文提出了一種基于注意力和寬激活密集殘差網(wǎng)絡(luò)的圖像超分辨率重建模型（Image Super Resolution Reconstruction Based on Attention and Wide-Activated Dense Residual Network，WDRN）。針對低分辨率圖像淺層特征信息利用不足的問題，在淺層特征提取模塊，采用4個(gè)不同尺度且平行的卷積核提取低分辨率圖像的局部和全局信息，作為空間轉(zhuǎn)換的先驗(yàn)信息，通過獲取多層次的感受野來豐富底層關(guān)鍵特征的多樣性，提高重建性能。為保留低分辨率圖像的空間信息，通過引入空間特征轉(zhuǎn)換層，將多尺度淺層特征作為該層的先驗(yàn)信息來引導(dǎo)高頻特征的提取，從而為圖像的重建增添更加深層次的紋理信息。為了獲取豐富多樣的高頻特征信息，對激活函數(shù)前的特征通道數(shù)進(jìn)行了擴(kuò)大以獲取多通道高頻信息。構(gòu)造全局和局部殘差連接以加強(qiáng)殘差塊和網(wǎng)絡(luò)特征前向傳播，使網(wǎng)絡(luò)在不增加參數(shù)的情況下提取多樣性更加豐富的特征。在深層特征映射模塊，在寬激活殘差塊中融入輕量級注意力機(jī)制，對高頻區(qū)域信息分配更多權(quán)重，使模型的重建結(jié)果更清晰的同時(shí)仍維持較低的參數(shù)量水平。

2 原 理

2.1 網(wǎng)絡(luò)結(jié)構(gòu)

本文提出融合注意力的寬激活密集殘差網(wǎng)絡(luò)模型的整體結(jié)構(gòu)如圖1所示。該網(wǎng)絡(luò)模型有3個(gè)子模塊：（1）多尺度淺層特征提取模塊，不同尺度的卷積可以充分提取低分辨率圖像全局和局部的信息，該模塊提取的信息一方面作為深層特征映射模塊的輸入，另一方面作為空間特征轉(zhuǎn)換層的先驗(yàn)信息來引導(dǎo)圖像的重建；（2）深層特征映射模塊，用于提取圖像高頻特征以及對特征重復(fù)利用，該模塊由融合注意力機(jī)制的寬激活殘差塊（Wide Activation Residual Block，WARB）密集連接形成的密集殘差組（Wide Activation Residual Block Group，WARBG）構(gòu)成，空間特征轉(zhuǎn)換層在密集殘差組的前面，用于轉(zhuǎn)換特征圖的中間特征；（3）上采樣重建模塊，該模塊主要由亞像素卷積層和一個(gè)3×3卷積層組成，用于重建出最終的高分辨率圖像。

圖1 融合注意力的寬激活密集殘差網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Structure of attention and wide-activated dense residual network

2.2 多尺度淺層特征提取模塊

受到Szegedy［24］等提出的拓展網(wǎng)絡(luò)寬度思想的啟發(fā)，WDRN中多尺度淺層特征提取模塊使用4個(gè)不同尺寸且平行的卷積核對LR圖像進(jìn)行卷積操作，4個(gè)卷積核的大小分別為1×1，3×3，5×5，7×7。小尺寸的1×1和3×3卷積核可以學(xué)習(xí)得到LR圖像的局部特征，5×5和7×7的較大卷積核在對LR圖像進(jìn)行特征提取時(shí)能獲得大感受野的特征圖。為獲得更佳的特征映射效果，將每個(gè)卷積核輸出64個(gè)特征圖后進(jìn)行多尺度特征級聯(lián)的融合操作，進(jìn)而為空間特征提取模塊提供豐富的先驗(yàn)信息。然后，再將該先驗(yàn)信息融入深層特征映射模塊，使低分辨率圖像的信息得以充分利用，從而提高重建效果。多尺度淺層特征提取過程表示如下：

其中：FSFE，n×n(·)表示分別用n為1，3，5，7的卷積核對低分辨率圖像進(jìn)行淺層特征卷積處理，f0表示將獲得的多尺度特征圖經(jīng)過concat后把通道數(shù)降為64的操作。

2.3 深層特征映射模塊

2.3.1 注意力機(jī)制

人類視覺感知系統(tǒng)會有選擇地聚焦于全局信息中較為顯著的部分，同時(shí)忽略其他不重要的信息。而計(jì)算機(jī)視覺中的注意力機(jī)制與人類視覺感知相似，會從不同角度或在不同程度上重新為網(wǎng)絡(luò)所提取的信息加以區(qū)分。文獻(xiàn)［19］提出的二階通道注意力機(jī)制是對RCAN中通道注意力機(jī)制的改進(jìn)，但兩者僅通過調(diào)整通道特征來獲得對于信息的區(qū)別性表示，忽略了空間特征注意力信息的表示。文獻(xiàn)［20］中的非局部注意力模塊由于只涉及特征圖位置信息而缺乏對于特征圖通道的注意力，且其矩陣乘操作計(jì)算量較大，因此在網(wǎng)絡(luò)模型中并不適合多次使用該注意力機(jī)制模塊。綜上，本文在深層特征映射部分采用輕量級注意力模塊［25］，選擇性內(nèi)核網(wǎng)絡(luò)（Selective Kernel Networks，SKNet），該模塊可以根據(jù)不同尺度的輸入信息自適應(yīng)地選擇合適的卷積核來關(guān)注某些特征信息，并且經(jīng)過分離、融合以及選擇操作后擁有對于通道和空間信息加以區(qū)分的能力，因而更適用于在超分辨率重建任務(wù)中捕捉圖像的高頻信息，該模塊的具體結(jié)構(gòu)如圖2所示。

圖2 SKNet注意力機(jī)制Fig.2 SKNet attention mechanism

在分離操作階段，對輸入的初始特征圖X分別使用3×3和5×5的兩種卷積核進(jìn)行卷積操作，得到兩個(gè)輸出F3×3和F5×5。其次，通過融合操作將此兩部分的特征圖按元素相加的方式融合，得到新的特征圖Fx：

為獲得特征圖的注意力信息，特征圖Fx依次經(jīng)過全局平均池層、先升維再降維的全連接層，得到一個(gè)緊湊的特征向量：

其中：Fgap表示全局平均池化層（global average po-oling，gap），F(xiàn)fc表示全連接層（fully connected，fc）。

最后，在選擇操作階段首先將特征向量Z重新分為a和b兩個(gè)特征向量，兩者為互補(bǔ)關(guān)系，然后再分別與F3×3和F5×5進(jìn)行相應(yīng)通道的加權(quán)操作，進(jìn)而求和得到最終的輸出向量Fm，即：

其中：A，B分別表示由不同的全連接矩陣進(jìn)行特征維度轉(zhuǎn)化后的結(jié)果，ac和bc表示輸出特征向量a和b的第c個(gè)元素。最終的特征映射Fm是通過各種卷積核的注意力權(quán)重獲得的。

2.3.2 融合注意力的寬激活殘差塊

在本文中每個(gè)融合注意力的WARB包括2個(gè)卷積核為1的卷積層，1個(gè)卷積核為3的卷積層與1個(gè)SK注意力模塊。WARB［23］首先在ReLU激活層前通過1×1卷積的方式擴(kuò)展通道數(shù)來獲得更多特征圖，利用多個(gè)通道數(shù)增大信息提取的能力，從而避免單一通道數(shù)造成高頻有效信息丟失的問題。然后，在ReLU激活層后分別又用卷積核大小為1和卷積核大小為3的低秩卷積核替換一個(gè)大的卷積核，以此降低其計(jì)算開銷。因此，WARB不僅有著強(qiáng)大的特征表達(dá)能力，且將參數(shù)量也維持在較低水平。鑒于該寬激活殘差塊的優(yōu)異特性，為了給網(wǎng)絡(luò)提取的高頻信息自適應(yīng)地分配更多的注意力，以得到更加豐富的高頻特征，本文提出在WARB中融入輕量級的SK注意力模塊，并將該融合結(jié)果作為提取深層特征信息的基本單元模塊，具體流程如圖1所示。由于簡單地堆疊殘差塊不利于特征信息的傳遞，因此將每一個(gè)殘差塊提取的特征都輸送給后面的殘差塊中來構(gòu)建一個(gè)WARBG，從而促進(jìn)特征信息的有效傳遞。

2.3.3 空間特征轉(zhuǎn)換層

為獲取更加豐富的深層次圖像空間信息，本文采用空間特征轉(zhuǎn)換層（Spatial Feature Transform Layer，SFT）［26］來對同一個(gè)特征圖的不同位置進(jìn)行差異化處理。該空間特征轉(zhuǎn)換層通過生成仿射變換參數(shù)來實(shí)現(xiàn)空間特征的調(diào)制，并且可以與超分辨率重建主干網(wǎng)絡(luò)結(jié)合在一起，使用相同的損失函數(shù)進(jìn)行端到端的訓(xùn)練，其結(jié)構(gòu)如圖1所示。空間特征變換層包含兩個(gè)輸入，分別是前一個(gè)密集殘差組的輸出特征和淺層特征提取模塊中條件共享的先驗(yàn)信息L0。通過對進(jìn)行變換得到新的輸出并將它作為下一個(gè)密集殘差組的輸入。淺層先驗(yàn)信息L0分別送入到由兩個(gè)1×1的卷積層組成的卷積塊，通過學(xué)習(xí)得到參數(shù)對γi和βi，然后再據(jù)此對深層特征映射模塊網(wǎng)絡(luò)中的每個(gè)中間特征圖進(jìn)行仿射變換，從而實(shí)現(xiàn)自適應(yīng)輸出。相比沒有空間特征變換的網(wǎng)絡(luò)，此模塊有助于網(wǎng)絡(luò)重建出紋理更加清晰、邊緣輪廓更為明顯的圖像。

2.4 上采樣重建模塊

上采樣重建模塊包括亞像素卷積和一個(gè)3×3的卷積層，亞像素卷積旨在對特征圖進(jìn)行上采樣放大，再通過最后的卷積層得到通道數(shù)為3的高分辨率重建結(jié)果，其輸出如下：

其中：fup表示由上采樣重建模塊組成的函數(shù)，P0表示深層特征模塊和淺層特征融合后的輸出，ISR表示最終的重建結(jié)果。

3 實(shí)驗(yàn)結(jié)果及分析

3.1 數(shù)據(jù)集和實(shí)驗(yàn)設(shè)置

在實(shí)驗(yàn)訓(xùn)練階段，采用DIV2K公共標(biāo)準(zhǔn)數(shù)據(jù)集作為本文的訓(xùn)練數(shù)據(jù)集，該數(shù)據(jù)集共包含1 000張樣本圖像，其中每幅圖像都包含非常清晰的細(xì)節(jié)紋理信息，非常適合作為自然圖像超分辨率重建的訓(xùn)練數(shù)據(jù)。在測試和分析階段，為測試和驗(yàn)證本文所提WDRN網(wǎng)絡(luò)性能的優(yōu)越性，選取Set5，Set14［27］，BSD100［28］，Urban100［29］4個(gè)公共標(biāo)準(zhǔn)數(shù)據(jù)集作為基準(zhǔn)測試集來進(jìn)行測驗(yàn)和分析。

本實(shí)驗(yàn)訓(xùn)練測試的實(shí)驗(yàn)硬件環(huán)境為： Intel（R） Core（TM） i9-10980XE CPU@ 3.00GHz，18核36線程；系統(tǒng)內(nèi)存為64 GB；GPU為NVIDIA RTX 3090，24 GB顯存容量；軟件環(huán)境為Ubuntu20.04操作系統(tǒng)。

將L1函數(shù)作為損失函數(shù)來優(yōu)化重建后的高分辨率圖像與真實(shí)高分辨率圖像之間的差值，從而進(jìn)一步優(yōu)化網(wǎng)絡(luò)，可以表示為：

其中：θ表示網(wǎng)絡(luò)需要學(xué)習(xí)的參數(shù)集表示原始的高分辨率圖像表示利用本文所提WDRN網(wǎng)絡(luò)重建后的高分辨率圖像。模型在訓(xùn)練階段使用Adam算法優(yōu)化網(wǎng)絡(luò)參數(shù)，共訓(xùn)練300個(gè)訓(xùn)練周期（Epoch），初始學(xué)習(xí)率為1×10-4，訓(xùn)練200個(gè)Epoch后的學(xué)習(xí)率衰減為0.5×10-4。

3.2 消融實(shí)驗(yàn)結(jié)果與分析

3.2.1 密集殘差組數(shù)和殘差塊的消融實(shí)驗(yàn)

為了測試和驗(yàn)證不同數(shù)目的殘差組（D）和殘差塊（R）組合方式對所提出的WDRN網(wǎng)絡(luò)重建性能的影響，并選取最有效的組合方式，具體測試結(jié)果如表1所示。從表1可以看出，隨著殘差組數(shù)目以及殘差組中殘差塊數(shù)目的增加，各個(gè)測試集的PSNR指標(biāo)都有所提升。當(dāng)模型規(guī)模大于R4D4時(shí)，參數(shù)量增加、訓(xùn)練時(shí)間延長，性能提高不明顯。由實(shí)驗(yàn)結(jié)果可知，R6D4的模型在Set5和Set14的測試集上分別提高了0.02 dB和0.053 dB，一方面是由于DIV2K訓(xùn)練集與Set5和Set14測試集中的圖片類型比較一致，另一方面是由于Set5，Set14是基于非負(fù)領(lǐng)域嵌入的低復(fù)雜度單圖像的測試集，而在包含高復(fù)雜度圖像的BSD100和Urban100測試集上性能提升不明顯，然而R6D4的模型參數(shù)量卻比R4D4的模型參數(shù)量高40.97%。因此，在綜合考慮算法性能、網(wǎng)絡(luò)參數(shù)量因素后，本文最終采用R4D4的組合方式。

表1 殘差組數(shù)量（D）和殘差塊數(shù)量（R）對2倍超分辨率重建性能的影響PSNRTab.1 Effect of number of residual groups （D） and number of residual blocks（R） on performance of 2×super-resolution reconstruction

為進(jìn)一步證明R4D4組合方式的優(yōu)越性，選取BSD100數(shù)據(jù)集的42 049圖像和Urban100數(shù)據(jù)集的img002圖像在不同組合方式下進(jìn)行重建圖像的可視化對比，如圖3和圖4所示。各組合方式的PSNR和SSIM值如圖下方數(shù)字所示。在主觀視覺上，采用R4D4組合方式重建后的圖像相比其他組合方式，在圖3中樹杈陰影部分的處理更為明亮清晰，在圖4中建筑物線條交匯處的像素分辨能力最強(qiáng)。

圖3 不同組合方式在BSD100_42049上的重建效果對比Fig.3 Comparison of reconstruction effect of different combination methods on BSD100_42049

圖4 不同組合方式在Urban100_img002上的重建效果對比Fig.4 Comparison of reconstruction effects of different combinations on Urban100_img002

3.2.2 不同通道倍數(shù)的消融實(shí)驗(yàn)

本文針對WARB內(nèi)激活函數(shù)前放大不同倍數(shù)（用k表示）的特征通道數(shù)也進(jìn)行了有效性研究。在R4D4模型的基礎(chǔ)上，分別采用不同擴(kuò)大倍數(shù)對網(wǎng)絡(luò)進(jìn)行訓(xùn)練，實(shí)驗(yàn)結(jié)果如圖5所示。由折線圖的趨勢不難看出，在BSD100和Urban100測試集上擴(kuò)大倍數(shù)小于4時(shí)的網(wǎng)絡(luò)性能隨著k值的增大而提高，當(dāng)擴(kuò)大倍數(shù)為4時(shí)兩個(gè)測試集的性能均達(dá)到最佳；k值繼續(xù)增大后，在BSD100測試集上性能表現(xiàn)趨于平緩，但是在圖像紋理細(xì)節(jié)更加豐富的Urban100測試集的性能則呈現(xiàn)先下降后升高的現(xiàn)象，表明此時(shí)的網(wǎng)絡(luò)已經(jīng)出現(xiàn)了過擬合現(xiàn)象，且對應(yīng)的計(jì)算量和參數(shù)量也隨之增大。因此，將通道數(shù)擴(kuò)大為原來的4倍可以達(dá)到最佳狀態(tài)。

圖5 不同通道倍數(shù)下4倍超分辨率的PSNRFig.5 PSNR with 4× super-resolution at different channel multiples

3.2.3 空間特征轉(zhuǎn)換層的消融實(shí)驗(yàn)

網(wǎng)絡(luò)結(jié)構(gòu)的微小改動往往會導(dǎo)致結(jié)果有較大的提升，這里針對SFT采用不同連接方式及不同大小卷積核進(jìn)行了有效性驗(yàn)證。圖1中，將共享的低分辨率特征信息送入兩個(gè)1×1并聯(lián)的卷積層學(xué)習(xí)以得到一對調(diào)制參數(shù)。通過將卷積層的并聯(lián)替換成串聯(lián)的方式，并探討不同尺度卷積核對性能的影響，其測試結(jié)果如表2所示。由表2可以看出，在空間特征轉(zhuǎn)換層的連接方式上，同一卷積核大小的情況下，除了在Set5測試集上卷積層并聯(lián)的效果稍遜于串聯(lián)形式，在Set14，BSD100和Urban100測試集上的效果均明顯優(yōu)于串聯(lián)的連接方式。在卷積核尺寸選擇上，串聯(lián)情況下，卷積核的增大除了在Set5測試集上提高了0.008 dB之外，在其他測試集上均有所下降；并聯(lián)情況下的性能對比則更為明顯，卷積核為1×1比3×3的PSNR平均高出0.03 dB。從實(shí)驗(yàn)結(jié)果不難看出，SFT中兩個(gè)卷積層的并聯(lián)組合效果要優(yōu)于串聯(lián)的效果，并且卷積核的增大對性能的提升作用并不明顯。因此，選用1×1的卷積核效果更好。

表2 空間特征轉(zhuǎn)換層卷積核尺寸及連接方式對2倍超分辨率重建性能的影響Tab.2 Effect of convolution kernel size and connection mode of spatial feature transformation layer on performance of 2×super resolution reconstruction

3.2.4 注意力機(jī)制的消融實(shí)驗(yàn)

為了進(jìn)一步說明采用選擇性注意力機(jī)制的有效性和優(yōu)越性，將它與現(xiàn)有的經(jīng)典注意力機(jī)制進(jìn)行比較。實(shí)驗(yàn)結(jié)果如表3所示，相較于沒有加入注意力機(jī)制的情況，網(wǎng)絡(luò)在4個(gè)測試集上的PSNR指標(biāo)分別提升了0.042，0.051，0.028，0.283 dB，充分證明了網(wǎng)絡(luò)融合注意力機(jī)制的有效性。加入SK注意力相比于加入SE，CA，CBAM等經(jīng)典注意力機(jī)制，網(wǎng)絡(luò)性能提升更為明顯，證明了網(wǎng)絡(luò)中融合SK注意力機(jī)制的優(yōu)越性。

表3 注意力機(jī)制對2倍超分辨率重建性能的影響Tab.3 Effects of attention mechanisms on 2× super-resolution reconstruction performance

3.3 算法先進(jìn)性驗(yàn)證

本文算法訓(xùn)練300個(gè)迭代周期（Epoch），網(wǎng)絡(luò)在不同放大倍數(shù)下的收斂曲線如圖6所示。

圖6 不同倍數(shù)下的損失函數(shù)曲線Fig.6 Loss function curves at different magnifications

為了進(jìn)一步驗(yàn)證WDRN模型的有效性，將它與Bicubic，ESPCN［8］，VDSR［9］，DRCN［11］，LapSRN［30］，WDSR_Mini［23］，IMDN［14］和LatticeNet［15］8種主流算法，在Set5，Set14，BSD100以及Urban100測試集及不同放大倍數(shù)下（×2，×3，×4）的超分辨率重建結(jié)果分別進(jìn)行客觀評價(jià)和主觀評價(jià)，對比結(jié)果如表4所示。

表4 放大倍數(shù)為2，3，4時(shí)在基準(zhǔn)數(shù)據(jù)集上的重建結(jié)果比較Tab.4 Reconstruction comparison on baseline dataset at magnifications of 2， 3 and 4（dB）

從表4可以看出，WDRN網(wǎng)絡(luò)在3種放大倍數(shù)下的超分辨率重建結(jié)果均明顯優(yōu)于Bicubic，ESPCN，VDSR，DRCN，LapSRN，WDSR_Mini，IMDN及LatticeNet網(wǎng)絡(luò)。此外，WDRN采用的是由16個(gè)殘差塊構(gòu)成的密集殘差網(wǎng)絡(luò)模型，通過在各個(gè)測試集上對不同放大倍數(shù)的重建結(jié)果進(jìn)行測試和對比分析，實(shí)驗(yàn)結(jié)果表明，本文模型在PSNR和SSIM指標(biāo)上均優(yōu)于同為16個(gè)殘差塊構(gòu)成的WDSR_Mini模型。與LatticeNet網(wǎng)絡(luò)相比，雖然在放大倍數(shù)為2時(shí)本文模型的重建性能在客觀指標(biāo)PSNR上略低于該網(wǎng)絡(luò)，在SSIM指標(biāo)上卻優(yōu)于LatticeNet，表明本文算法重建出的2倍圖像在結(jié)構(gòu)細(xì)節(jié)方面保持得較好，這主要得益于本文模型采用空間特征轉(zhuǎn)換層來獲取低分辨率圖像空間結(jié)構(gòu)信息的原因。此外，WDRN網(wǎng)絡(luò)在3倍和4倍時(shí)的超分辨率重建性能的提升則更加顯著。尤其是在放大倍數(shù)為4時(shí)，本文的WDRN網(wǎng)絡(luò)在Set5，Set14，BSD100數(shù)據(jù)集上的PSNR和SSIM與IMDN和LatticeNet相比，分別平均提高了0.137 dB，0.0215和0.075 dB，0.021。值得注意的是，在主要由城市建筑物規(guī)則圖案組成的紋理特征復(fù)雜的Urban100數(shù)據(jù)集上，WDRN網(wǎng)絡(luò)在PSNR指標(biāo)上也相較LatticeNet提升了0.14 dB。結(jié)果表明，本文所提算法在圖像超分辨率重建效果方面均優(yōu)于其他對比算法。

由于放大倍數(shù)越大，重建出的圖像邊緣就會越模糊，因此為了進(jìn)一步表明本文算法重建結(jié)果的相對優(yōu)越性，本文著重展示了不同重建方法在放大4倍時(shí)的視覺效果圖，如圖7～圖10所示。首先，從較小數(shù)據(jù)集方面分析重建結(jié)果，圖7是不同方法對Set5數(shù)據(jù)集中的baby圖像重建后的結(jié)果。從該結(jié)果可以觀察到，當(dāng)圖像中有細(xì)小的條紋時(shí)，Bicubic，ESPCN，VDSR，WDSR_Mini等模型重建后的眼睫毛線條仍有少許的偽影，與IMDN，LatticeNet模型相比，本文的WDRN模型有效緩解了偽影問題。圖8是不同方法對Set14數(shù)據(jù)集中monarch圖像重建后的結(jié)果，從圖中可以看出，Bicubic，ESPCN重建后的圖像較為模糊，而WDSR_Mini重建后的圖像缺失原圖像邊緣輪廓微小的變化，IMDN和LatticeNet得到了相對清晰的重建結(jié)果，但與原圖和WDRN方法重建后的圖像相比，上述方法表現(xiàn)得過于平滑，致使在紋理細(xì)節(jié)方面存在丟失的現(xiàn)象。

圖7 不同方法在Set5_baby上的重建效果對比Fig. 7 Comparison of reconstruction effects by different methods on Set5_baby

圖8 不同方法在Set14_ monarch上的重建效果對比Fig.8 Comparison of reconstruction effects by different methods on Set14_ monarch

圖9和圖10是在較大數(shù)據(jù)集上各種方法的重建結(jié)果對比，其中圖9是對BSD100數(shù)據(jù)集中編號為253027的斑馬圖像的重建結(jié)果。從圖中可以看出，Bicubic，ESPCN重建后的紋理信息非常模糊，主觀視覺上表現(xiàn)也最差，WDSR_Mini模型重建后的圖像整體相較原圖像過于明亮并且邊緣稍顯模糊，IMDN重建后的圖像在整體上有輕微的顏色失真，LatticeNet模型的重建結(jié)果則存在過曝光問題，而本文重建出的斑馬圖像身上的線條輪廓更為明顯，整體也最為真實(shí)。圖10中的原始圖像選自圖像細(xì)節(jié)豐富且重建難度較大的Urban100數(shù)據(jù)集，從編號為img091紅框內(nèi)地面磚塊部分可以看出，本文算法明顯改善了Bicubic，ESPCN兩種方法在重建時(shí)出現(xiàn)鋸齒狀效應(yīng)嚴(yán)重的問題。相比于VDSR，DRCN，LapSRN，WDSR_Mini算法重建后均出現(xiàn)邊緣細(xì)節(jié)模糊的現(xiàn)象，本文算法的重建效果也得到了明顯的提升。此外，相比于IMDN，LatticeNet算法存在重建后圖像過于平滑的現(xiàn)象，本文算法重建后的圖像效果在主觀上也更加接近原圖。因此，WDRN網(wǎng)絡(luò)模型無論是在主觀評價(jià)上還是客觀評價(jià)上均明顯優(yōu)于現(xiàn)有的主流圖像超分辨率重建方法。

圖9 不同方法在BSD100_253027上的重建效果對比Fig.9 Comparison of reconstruction effects by different methods on BSD100_253027

圖10 不同方法在Urban100_img091上的重建效果對比Fig.10 Comparison of reconstruction effects by different methods on Urban100_img091

4 結(jié) 論

本文提出了一種基于注意力和寬激活密集殘差網(wǎng)絡(luò)的圖像超分辨率重建模型，通過將圖像的多尺度淺層局部特征和全局特征作為空間特征轉(zhuǎn)換層的先驗(yàn)信息用以引導(dǎo)深層高頻特征的提取，使得圖像的空間信息一直作用于整個(gè)特征提取過程。然后，將輕量級注意力機(jī)制融入到寬激活殘差塊中，在不增加網(wǎng)絡(luò)參數(shù)量的情況下盡量擴(kuò)大特征圖數(shù)目，對高頻信息自適應(yīng)地分配更多的注意力，從而獲得了更加豐富的高頻細(xì)節(jié)特征信息。實(shí)驗(yàn)結(jié)果表明，本文所提方法在Urban100數(shù)據(jù)集上4倍超分辨率時(shí)，相比于LatticeNet模型PSNR指標(biāo)提升了0.14 dB，并且模型參數(shù)量維持在較低水平，重建后的圖像在主觀視覺感受上邊緣輪廓也更為清晰，紋理細(xì)節(jié)信息更加豐富。