結(jié)合雙注意力和結(jié)構(gòu)相似度量的圖像超分辨率重建網(wǎng)絡(luò)

黃友文， 唐 欣， 周 斌

(江西理工大學(xué) 信息工程學(xué)院，江西 贛州 341000)

1 引 言

圖像超分辨率(Super-resolution，SR)重建技術(shù)是從單幀或多幀低分辨率(Low resolution，LR)圖像中重建出高分辨率(High resolution，HR)圖像的過程，是近年來計(jì)算機(jī)視覺領(lǐng)域的一個(gè)重要研究方向，經(jīng)歷了基于插值的、重建和學(xué)習(xí)3個(gè)發(fā)展階段[1]。隨著深度學(xué)習(xí)的發(fā)展，基于學(xué)習(xí)的圖像超分辨率重建算法成為研究的熱點(diǎn)。Dong等人[2]提出卷積神經(jīng)網(wǎng)絡(luò)的超分辨率(Super-Resolution Convolutional Neural Networks，SRCNN)，通過3層卷積結(jié)構(gòu)實(shí)現(xiàn)圖像重建，但其網(wǎng)絡(luò)層次太淺，不能充分提取圖像特征，且它對(duì)超參數(shù)的變化非常敏感。Kim等人[3]提出極深卷積網(wǎng)絡(luò)的超分辨率，將網(wǎng)絡(luò)加深到20層，同時(shí)引入殘差思想減輕了網(wǎng)絡(luò)訓(xùn)練的負(fù)擔(dān)，但增加網(wǎng)絡(luò)深度會(huì)加大模型的參數(shù)量和計(jì)算量，產(chǎn)生梯度消失的問題。Kim等人[4]又提出深層遞歸神經(jīng)網(wǎng)絡(luò)(Deeply-Recursive Convolutional Network，DRCN)，使用深層遞歸的方法，在卷積層間共享參數(shù)，緩解了梯度消失問題，但DRCN網(wǎng)絡(luò)層間信息流動(dòng)性較差，沒有充分挖掘圖像不同層次間的特征。Lai等人[5]提出基于Laplacian金字塔的超分辨率，該網(wǎng)絡(luò)通過殘差學(xué)習(xí)和逐級(jí)上采樣恢復(fù)HR圖像，移除插值放大的預(yù)處理，減少了圖像重建時(shí)間。Lim等人[6]提出增強(qiáng)的深度殘差網(wǎng)絡(luò)的超分辨率，通過去除殘差塊中的批歸一化層，擴(kuò)大模型的尺寸來提升重建質(zhì)量。Zhang等人[7]提出殘差密集網(wǎng)絡(luò)(Residual Dense Network，RDN)，該網(wǎng)絡(luò)通過密集連接的卷積層提取并融合局部特征，然后進(jìn)行全局融合。Zhang等人[8]提出深層殘差注意力的超分辨率(Residual Channel Attention Networks，RCAN)，該網(wǎng)絡(luò)在殘差塊中加入通道注意力，使模型能夠?qū)W習(xí)更多通道特征，提高網(wǎng)絡(luò)的判別能力。Ledig等人[9]提出超分辨率生成對(duì)抗網(wǎng)絡(luò)(Super-Resolution Generative Adversarial Network，SRGAN)，該算法通過兩個(gè)網(wǎng)絡(luò)交替迭代訓(xùn)練，但SRGAN生成的高分辨率圖像相對(duì)原圖較模糊。Wang等人[10]又提出增強(qiáng)的超分辨率生成對(duì)抗網(wǎng)絡(luò)，該網(wǎng)絡(luò)使用密集殘差塊作為生成網(wǎng)絡(luò)的主體，獲得了較好的重建效果，但生成的圖像存在過多的偽細(xì)節(jié)。Xiao等人[11]提出可逆縮放網(wǎng)絡(luò)(Invertible Rescaling Networks，IRN)，將HR圖像經(jīng)小波變換分解為低頻分量和高頻分量作為網(wǎng)絡(luò)的輸入，同時(shí)網(wǎng)絡(luò)在縮放過程中使用指定分布后的潛在變量，來捕獲丟失的信息分布，然后以此逆變換重建HR圖像，該方法能有效提升重建模型的性能。

為進(jìn)一步解決LR圖像到HR圖像的映射函數(shù)解空間極大，導(dǎo)致SR模型性能有限，難以產(chǎn)生紋理細(xì)致、邊緣清晰圖像的問題，本文在U-Net模型[12]的基礎(chǔ)上提出一種結(jié)合雙注意力和結(jié)構(gòu)相似度量的圖像超分辨率重建網(wǎng)絡(luò)。本文主要?jiǎng)?chuàng)新包括：(1)該網(wǎng)絡(luò)引入針對(duì)低級(jí)別視覺任務(wù)的數(shù)據(jù)增強(qiáng)模塊對(duì)訓(xùn)練集進(jìn)行預(yù)處理，增加訓(xùn)練樣本的多樣性，提高模型的泛化能力。(2)在改進(jìn)的U-Net網(wǎng)絡(luò)模型中引入殘差雙注意力模塊，將特征提取集中在關(guān)鍵位置和通道中，殘差塊能有效緩解由于網(wǎng)絡(luò)加深造成的梯度消失問題。(3)結(jié)合對(duì)偶回歸損失和結(jié)構(gòu)相似度量的損失約束，增強(qiáng)網(wǎng)絡(luò)約束，有效提高生成圖像的質(zhì)量。本文方法在客觀評(píng)價(jià)指標(biāo)上優(yōu)于其他對(duì)比的方法，有效減少了映射函數(shù)可能的解空間。

2 結(jié)合雙注意力和結(jié)構(gòu)相似度量的超分辨率重建網(wǎng)絡(luò)

2.1 數(shù)據(jù)增強(qiáng)

訓(xùn)練樣本有限時(shí)，數(shù)據(jù)增強(qiáng)能夠增加樣本的多樣性。目前常用的數(shù)據(jù)增強(qiáng)方法大多是為高級(jí)別視覺任務(wù)開發(fā)的，而超分辨率重建是一種典型的低級(jí)別視覺任務(wù)，需要根據(jù)全局關(guān)系決定局部像素點(diǎn)的處理方式。本文引入針對(duì)低級(jí)別視覺任務(wù)的數(shù)據(jù)增強(qiáng)方法，主要包括RGB、Blend、CutMix[13]、Mixup、CutMixup和CutBlur[14]。RGB是打亂RGB像素的排列；Blend是添加固定像素值；CutMix是隨機(jī)切除圖像中的一塊區(qū)域，并使用另一個(gè)圖像替換隨機(jī)切除的區(qū)域，使圖像的上下文邊界產(chǎn)生急劇變換；Mixup是隨機(jī)將兩個(gè)圖像按照比例混合；CutMixup方法結(jié)合了CutMix與Mixup，可以使邊界效應(yīng)和混合圖像上下文信息的比率最小化；CutBlur是切割一個(gè)低分辨率圖像塊，并粘貼到相應(yīng)的高分辨率圖像區(qū)域。根據(jù)文獻(xiàn)[14]中的結(jié)論，采用混合增強(qiáng)方法(MOA)顯著提高了各種場(chǎng)景的性能，尤其當(dāng)模型規(guī)模很大并且數(shù)據(jù)集是來自于現(xiàn)實(shí)環(huán)境中。

2.2 網(wǎng)絡(luò)結(jié)構(gòu)

本文提出一種結(jié)合雙注意力和結(jié)構(gòu)相似度量的超分辨率重建網(wǎng)絡(luò)，網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1 網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Network structure

首先采用Bicubic方式對(duì)輸入圖像放大4倍，之后通過卷積提取該4倍圖像的特征，維度是16×384×384。下采樣模塊由Convs2+Dynamic ReLU+Conv構(gòu)成，其中Convs2是步長(zhǎng)為2的卷積。通過下采樣模塊將輸入特征逐級(jí)縮小，得到2倍和1倍的LR圖像，下采樣操作完成。生成的特征經(jīng)過卷積層得到1倍的LR圖像，與原始1倍LR圖像比較，得到重建損失。上采樣模塊由30個(gè)RDAM模塊和PixelShuffle構(gòu)成，RDAM由殘差和雙注意力模塊組成，將殘差映射依次輸入到雙注意力模塊中產(chǎn)生注意力權(quán)重，再經(jīng)過殘差塊進(jìn)行差值計(jì)算，通過原始輸入和殘差結(jié)果進(jìn)行求和輸出。PixelShuffle像素重組的主要功能是將一個(gè)輸入為H×W的特征圖通過卷積和多通道間的重組得到大小為rH×rW的特征圖，其中r為上采樣因子，r=2。通過上采樣模塊將輸入特征逐級(jí)放大，生成2倍和4倍的圖像，上采樣操作完成。虛線箭頭部分利用跳躍連接將下采樣輸出和上采樣輸入的特征圖連接起來，相當(dāng)于將低層特征拼接到相應(yīng)的高層特征上，創(chuàng)造了信息的傳播路徑。圖1中紅色箭頭部分表示對(duì)偶回歸網(wǎng)絡(luò)(Dual regression networks)[15]，通過反向下采樣操作得到2倍和1倍的LR圖像，與原始的LR圖像比較，得到對(duì)偶回歸網(wǎng)絡(luò)損失，增加網(wǎng)絡(luò)的約束。藍(lán)色雙箭頭部分表示本文損失函數(shù)的實(shí)現(xiàn)路徑。

2.3 殘差雙注意力模塊

何愷明等人提出殘差網(wǎng)絡(luò)(Residual Neural Network)[16]，通過殘差學(xué)習(xí)能有效簡(jiǎn)化模型訓(xùn)練，緩解網(wǎng)絡(luò)加深造成的梯度消失問題。本文將殘差塊引入超分辨率重建網(wǎng)絡(luò)中，與雙注意力模塊[17]構(gòu)成殘差雙注意力模塊(Residual Dual Attention Module，RDAM)，結(jié)構(gòu)如圖2所示。

圖2 殘差雙注意力模塊Fig.2 Residual dual attention module

首先對(duì)輸入特征進(jìn)行卷積操作得到殘差映射，完成特征維度匹配。由于Batch Norm對(duì)圖像來說類似于對(duì)比度的拉伸，圖像經(jīng)過Batch Norm層后，其色彩分布會(huì)被歸一化，破壞了圖像原本的對(duì)比度信息，影響圖像輸出的質(zhì)量。本文在殘差映射塊中去掉Batch Norm層，由兩個(gè)標(biāo)準(zhǔn)卷積層和ReLU激活函數(shù)構(gòu)成。其計(jì)算過程如公式(1)所示：

F=W1δ(W0Fg,b-1)，

(1)

其中F表示從輸入Fg,b-1中學(xué)習(xí)到的殘差映射，δ表示ReLU激活函數(shù)，W0和W1分別表示殘差塊中卷積層的權(quán)重。

注意力機(jī)制是人類視覺所特有的大腦信號(hào)處理機(jī)制，其主要思想是強(qiáng)化特征，以獲取更多關(guān)注目標(biāo)的細(xì)節(jié)信息。圖2中的注意力模塊是由通道注意力 (ChannelAttention，CA)和空間注意力 (SpatialAttention，SA)依次級(jí)聯(lián)的雙注意力模塊[17]，從通道和空間兩個(gè)維度提取注意力特征。

(2)

Mc(F)與輸入特征信息F進(jìn)行元素點(diǎn)乘運(yùn)算得到F′，如公式(3)所示：

F′=Mc(F)?F.

(3)

(4)

Ms(F′)與F′進(jìn)行點(diǎn)乘運(yùn)算得到最終殘差注意力特征信息F″，如公式(5)所示：

F″=Ms(F′)?F′.

(5)

最后將此殘差注意力特征信息與原始輸入進(jìn)行元素求和，如公式(6)所示，其中Fg,b-1和Fg,b分別表示殘差雙注意力模塊的輸入和輸出。

Fg,b=Fg,b-1+F″.

(6)

2.4 激活函數(shù)

在神經(jīng)網(wǎng)絡(luò)中常用的激活函數(shù)有ReLU、LeakyReLU和PReLU等，這些激活函數(shù)的參數(shù)往往是固定的。文獻(xiàn)[18]中提出Dynamic ReLU激活函數(shù)，該函數(shù)能夠根據(jù)輸入特征動(dòng)態(tài)地調(diào)整對(duì)應(yīng)的分段函數(shù)，有效提升了網(wǎng)絡(luò)的表達(dá)能力。

(7)

(8)

2.5 損失函數(shù)

本文中改進(jìn)的U-net網(wǎng)絡(luò)的損失函數(shù)由對(duì)偶回歸網(wǎng)絡(luò)損失和重建損失兩部分疊加組成，通過均方誤差和結(jié)構(gòu)相似度進(jìn)行度量。

2.5.1 均方誤差

均方誤差表示生成圖像與原始圖像間存在的均方誤差值(Mean Square Error，MSE)，公式如式(9)所示，其中M與N分別為圖像的高度和寬度，X(i,j)和Y(i,j)分別為原始圖像和生成圖像。

(9)

文中MSE損失公式如(10)、(11)所示：

(10)

(11)

其中:P(xi)為改進(jìn)的U-Net網(wǎng)絡(luò)，D(P(xi))為對(duì)偶回歸網(wǎng)絡(luò)，W=3是上采樣逐級(jí)放大1倍、2倍和4倍；Q=2是反向下采樣逐步縮小2倍和1倍。

2.5.2 結(jié)構(gòu)相似度

圖像之間的像素相似度往往不能充分反映重建圖像的好壞，利用結(jié)構(gòu)相似度(Structural Similarity，SSIM)能夠衡量圖像之間的結(jié)構(gòu)相似程度，SSIM是對(duì)亮度、對(duì)比度和結(jié)構(gòu)等不同因素間的整體估算，SSIM與人類視覺感知系統(tǒng)(Human vision system，HVS)相似。如式(12)所示：

(12)

其中:μx和μy為像素均值，是對(duì)亮度的估計(jì);σx2和σy2為方差，是對(duì)比度的估計(jì);σxy為圖像的協(xié)方差;c1=(k1L)2;c2=(k2L)2;L是像素的取值區(qū)間，一般的k1=0.01，k2=0.03，L=255。SSIM損失計(jì)算公式如(13)所示，N代表圖片數(shù)量：

(13)

本文中SSIM損失計(jì)算公式如(14)、(15)所示：

(14)

(15)

2.5.3 對(duì)偶回歸網(wǎng)絡(luò)損失

受對(duì)偶回歸網(wǎng)絡(luò)[15]的啟發(fā)，引入對(duì)偶回歸網(wǎng)絡(luò)損失，用于評(píng)估重建圖像經(jīng)下采樣得到的LR圖像與參考圖像的差異。通過生成4倍的HR圖像進(jìn)行下采樣得到2倍和1倍的LR圖像，與真實(shí)的LR圖像比較，得到對(duì)偶回歸網(wǎng)絡(luò)損失LD，用于對(duì)偶回歸網(wǎng)絡(luò)的訓(xùn)練，如公式(16)所示，其中λ和β為權(quán)重參數(shù)，本文采用λ=0.1，β=10。

(16)

2.5.4 重建損失

重建損失是用于評(píng)估改進(jìn)的U-net網(wǎng)絡(luò)重建得到的圖像與參考圖像的差異，網(wǎng)絡(luò)通過下采樣得到1倍的LR圖像和上采樣生成2倍和4倍的圖像，與真實(shí)的HR圖像比較，得到重建損失LP，如公式(17)所示，α為權(quán)重參數(shù)，本文采用α=20。

(17)

對(duì)改進(jìn)的U-net網(wǎng)絡(luò)進(jìn)行訓(xùn)練時(shí)采用公式(18)所示的總損失LTotal進(jìn)行約束，其中LP為重建損失，LD為對(duì)偶回歸網(wǎng)絡(luò)損失。

LTotal=LP+LD.

(18)

3 實(shí)驗(yàn)及結(jié)果分析

實(shí)驗(yàn)平臺(tái)硬件配置為Intel Xeon 3104處理器、16 GB內(nèi)存、NVIDIA 2080Ti顯卡，并使用64位操作系統(tǒng)Ubuntu 18.04 和PyTorch深度學(xué)習(xí)框架進(jìn)行訓(xùn)練和測(cè)試。

3.1 數(shù)據(jù)集及設(shè)置

實(shí)驗(yàn)采用DIV2K數(shù)據(jù)集對(duì)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，該數(shù)據(jù)集包含800張2K高質(zhì)量圖像。本文選取Set5、Set14、BSD100和Urban100為測(cè)試集，分別包括5，14，100，100張高分辨率圖像。DIV2K數(shù)據(jù)集中每張高清圖片都通過Bicubic操作得到了對(duì)應(yīng)的縮小2倍和縮小4倍的低分辨率圖像。對(duì)于每次訓(xùn)練迭代，本文以相同的概率從RGB、Blend、CutMix、Mixup、CutMixup和CutBlur這6種增強(qiáng)方法中隨機(jī)選擇一種增強(qiáng)方法對(duì)輸入的訓(xùn)練數(shù)據(jù)進(jìn)行預(yù)處理，增加了訓(xùn)練樣本的多樣性，進(jìn)一步提升模型的泛化能力。在訓(xùn)練過程中，采用Adam優(yōu)化函數(shù)來優(yōu)化網(wǎng)絡(luò)，其中β1=0.9,β2=0.99，網(wǎng)絡(luò)的初始學(xué)習(xí)率設(shè)置為10-4，采用余弦退火算法對(duì)學(xué)習(xí)率進(jìn)行自動(dòng)調(diào)整。

3.2 客觀實(shí)驗(yàn)結(jié)果分析

為驗(yàn)證算法的效果，本文采用峰值信噪比(Peak Signal-to-Noise Ratio，PSNR)和結(jié)構(gòu)相似度(Structural Similarity，SSIM)來評(píng)估改進(jìn)的網(wǎng)絡(luò)。本文在Set5、Set14、BSD100和Urban100標(biāo)準(zhǔn)測(cè)試集上驗(yàn)證4倍超分辨率重建的性能，并與一些當(dāng)前代表性的超分辨率重建方法進(jìn)行比較，結(jié)果參見表1。其中對(duì)比方法的PSNR和SSIM數(shù)值均來自文獻(xiàn)[19]中的結(jié)果。從表1可以看出，本文方法在4個(gè)測(cè)試集上的PSNR和SSIM數(shù)值均獲得了較好的結(jié)果。對(duì)于Set5、Set14、BSD100和Urban100測(cè)試集，本文方法與SRCNN相比，PSNR分別提升2.06，1.36，0.87，2.24 dB，SSIM值分別提升0.036 5，0.036 6，0.032 9，0.083 7。與SRFBN相比，PSNR分別提升0.07，0.05，0.05，0.16 dB，SSIM值分別提升0.001，0.001 1，0.002 1，0.004 3。對(duì)于Urban100測(cè)試集，本文方法與DBPN相比，PSNR提升0.38 dB，SSIM值提升0.011 2。

表1 各超分辨率方法的客觀評(píng)價(jià)對(duì)比Tab.1 Objective evaluation comparison of various super-resolution methods

同時(shí)本文也比較了在Set5標(biāo)準(zhǔn)測(cè)試集下，不同超分辨率重建方法的參數(shù)數(shù)量和PSNR均值的關(guān)系，對(duì)比結(jié)果參見圖3。其中SRCNN方法的網(wǎng)絡(luò)結(jié)構(gòu)只包含3層，故參數(shù)量較小，但其PSNR值最低。DBPN和RDN方法參數(shù)量較大，本文方法的參數(shù)量只有RDN的大約25%，本文使用較少的參數(shù)量獲得了較好的重建效果。

圖3 Set5測(cè)試集下超分辨率重建方法的參數(shù)量和PSNR的關(guān)系Fig.3 Relationship between the number of parameters of the super resolution reconstruction method and PSNR under Set5 test set

3.3 RDAM模塊對(duì)網(wǎng)絡(luò)的影響

為驗(yàn)證RDAM模塊對(duì)網(wǎng)絡(luò)性能的影響，進(jìn)行了5組4倍超分辨率重建實(shí)驗(yàn)，分別比較了網(wǎng)絡(luò)中采用殘差雙注意力模塊RDAM、僅采用殘差通道注意力模塊RCAB和3組空白對(duì)照實(shí)驗(yàn)：(1)None，不使用殘差塊和雙注意力機(jī)制；(2)僅使用殘差塊，不使用雙注意力機(jī)制；(3)僅使用雙注意力機(jī)制，不使用殘差塊時(shí)，在4個(gè)標(biāo)準(zhǔn)測(cè)試集下PSNR和SSIM均值的變化。實(shí)驗(yàn)結(jié)果如表2所示，通過3組空白對(duì)照實(shí)驗(yàn)可以看出，網(wǎng)絡(luò)在采用RDAM模塊時(shí)，PSNR和SSIM數(shù)值均最高，可以說明當(dāng)殘差塊和雙注意力機(jī)制結(jié)合時(shí)，能有效地提升網(wǎng)絡(luò)的性能。

表2 不同殘差注意力模塊對(duì)重建效果的影響Tab.2 Influence of different residual attention modules on the reconstruction effect

3.4 數(shù)據(jù)增強(qiáng)對(duì)網(wǎng)絡(luò)的影響

為驗(yàn)證數(shù)據(jù)增強(qiáng)對(duì)網(wǎng)絡(luò)的影響，進(jìn)行了3組4倍超分辨率重建實(shí)驗(yàn)，分別比較了網(wǎng)絡(luò)中不采用數(shù)據(jù)增強(qiáng)方法(None)、采用一種CutBlur增強(qiáng)方法和采用混合增強(qiáng)方法(MOA)時(shí)PSNR和SSIM均值的變化。從表3可以看出，在4個(gè)標(biāo)準(zhǔn)測(cè)試集中，采用混合數(shù)據(jù)增強(qiáng)方法(MOA)與不采用數(shù)據(jù)增強(qiáng)方法(None)相比，平均PSNR提升約0.15 dB，平均SSIM提升約0.003 7。

表3 不同數(shù)據(jù)增強(qiáng)方法對(duì)重建效果的影響Tab.3 Influence of different data enhancement methods on the reconstruction effect

3.5 損失函數(shù)對(duì)網(wǎng)絡(luò)的影響

為驗(yàn)證損失函數(shù)對(duì)網(wǎng)絡(luò)性能的影響，進(jìn)行了5組4倍超分辨率重建實(shí)驗(yàn)，分別比較了網(wǎng)絡(luò)中采用本文的損失函數(shù)LP+LD和4組對(duì)照實(shí)驗(yàn)：(1)僅對(duì)網(wǎng)絡(luò)采用重建損失約束LP；(2)僅對(duì)網(wǎng)絡(luò)采用對(duì)偶回歸網(wǎng)絡(luò)損失約束LD；(3)僅對(duì)網(wǎng)絡(luò)采用MSE損失約束LPMSE+λLDMSE；(4)僅對(duì)網(wǎng)絡(luò)采用SSIM損失約束αLPSSIM+βLDSSIM時(shí)，在4個(gè)標(biāo)準(zhǔn)測(cè)試集下PSNR和SSIM均值的變化。實(shí)驗(yàn)結(jié)果參見表4，可以看出，網(wǎng)絡(luò)采用本文的損失函數(shù)LP+LD時(shí)，PSNR和SSIM數(shù)值均最高，說明對(duì)改進(jìn)的U-net網(wǎng)絡(luò)采用重建損失LP和對(duì)偶回歸網(wǎng)絡(luò)損失LD共同約束時(shí)，能最大化提升網(wǎng)絡(luò)的性能。

表4 不同損失函數(shù)對(duì)重建效果的影響Tab.4 Influence of different loss functions on the reconstruction effect

3.6 主觀實(shí)驗(yàn)結(jié)果分析

PSNR和SSIM客觀評(píng)價(jià)圖像質(zhì)量的結(jié)果與人眼主觀視覺感知不是完全一致的。為了驗(yàn)證本文方法的有效性，本文與其他超分辨率重建方法對(duì)比，在Set14、BSD100和Urban100測(cè)試集上選取部分圖像的4倍超分辨率重建結(jié)果，參見圖4。便于觀察，本文將對(duì)比圖像進(jìn)行了局部裁剪和放大。其中，紅色方框中圖像是放大區(qū)域，各重建方法標(biāo)注在圖像的下方。

從主觀視覺效果可以看出，本文方法重建后的超分辨率圖像效果優(yōu)于其他的方法，更好地恢復(fù)了圖像的邊緣和紋理，使細(xì)節(jié)清晰可見。在圖4(a)中，對(duì)于銀飾和難以恢復(fù)的衣領(lǐng)細(xì)節(jié)，SRCNN和VDSR方法遭遇邊緣失真的現(xiàn)象，DRN方法重建的圖像較為清晰，但本文方法對(duì)于彎曲的銀飾細(xì)節(jié)上恢復(fù)效果更好，觀感接近原圖。在圖4(b)中，對(duì)于斑馬紋理細(xì)節(jié)，SRCNN方法學(xué)習(xí)到的高頻特征少，恢復(fù)的圖像邊緣較為模糊，DBPN方法重建出的蝴蝶紋理出現(xiàn)了一些噪點(diǎn)，本文方法重建出的斑馬畫面更加純凈，接近原HR圖像。在圖4(c)中，對(duì)于石塊紋理的細(xì)節(jié)，SRCNN和VDSR遭遇了不同程度的邊緣失真，本文方法相對(duì)于DBPN和RDN，能夠重建更鋒利的石塊邊緣細(xì)節(jié)，效果接近原圖。在圖4(d)中，本文方法相對(duì)于其他的方法，在玻璃窗和難以恢復(fù)的樹枝細(xì)節(jié)上，表現(xiàn)得更加清晰，邊緣細(xì)節(jié)更豐富。

4 結(jié) 論

由于圖像超分辨率重建映射函數(shù)的解空間極大，往往導(dǎo)致重建模型性能有限，不能產(chǎn)生紋理細(xì)致、邊緣清晰的圖像。本文提出了一種結(jié)合雙注意力和結(jié)構(gòu)相似度量的圖像超分辨率重建網(wǎng)絡(luò)。該網(wǎng)絡(luò)采用殘差雙注意力模塊，結(jié)合數(shù)據(jù)增強(qiáng)方法、自適應(yīng)參數(shù)線性整流激活函數(shù)，增加均方誤差和結(jié)構(gòu)相似損失約束，有效提高了生成圖像的質(zhì)量，使生成的圖像更逼近真實(shí)圖像。實(shí)驗(yàn)結(jié)果表明，本文方法對(duì)比SRCNN方法，在Set5、Set14、BSD100和Urban100測(cè)試集上的平均PSNR提升約1.64 dB，SSIM提升約0.047。本文方法能夠更好地重建圖像紋理和邊緣細(xì)節(jié)，在客觀評(píng)價(jià)和主觀視覺上獲得了較好的效果。