通道注意力與殘差級(jí)聯(lián)的圖像超分辨率重建

蔡體健，彭瀟雨，石亞鵬，黃 稷

（華東交通大學(xué)信息工程學(xué)院，江西南昌330013）

1 引 言

圖像超分辨率（Super-Resolution，SR）作為計(jì)算機(jī)視覺(jué)領(lǐng)域的一個(gè)重要分支，一直是研究者們關(guān)注的熱點(diǎn)問(wèn)題。單幅圖像超分辨率的目的是提升圖像分辨率，即將單幅低分辨率（Low-Resolution，LR）圖像恢復(fù)成高分辨率（High-Res?olution，HR）圖像，這是一個(gè)經(jīng)典的不適定逆問(wèn)題。由于其在監(jiān)控設(shè)備、遙感衛(wèi)星圖像［1］和醫(yī)學(xué)影像［2］等領(lǐng)域都有非常重要的應(yīng)用價(jià)值，大量的相關(guān)算法不斷涌現(xiàn)，從早期的基于插值法［3］到各種利用內(nèi)部自相似性法［4］和稀疏表示法［5］，再到現(xiàn)如今基于學(xué)習(xí)的方法［6］。圖像超分辨率方法的性能越來(lái)越好，特別是深度學(xué)習(xí)的應(yīng)用讓超分辨率重建質(zhì)量得到快速提升。

Dong等［8］首次提出一個(gè)只有三層的超分辨率卷積神經(jīng)網(wǎng)絡(luò)（Super-Resolution Convolution?al Neural Network，SRCNN）來(lái)完成低分辨率圖像到高分辨率圖像的映射，與之前的方法相比性能有了很大提升，但仍然存在一定局限性。隨后，Kim等［9］又將SRCNN進(jìn)行改進(jìn)把網(wǎng)絡(luò)加深到接近20層，并在最后重建層加入了一個(gè)跳連接使得網(wǎng)絡(luò)VDSR（Very Deep Convolutional Net?works）只需學(xué)習(xí)殘差。這樣既可以減輕加深網(wǎng)絡(luò)帶來(lái)的梯度爆炸/消失的問(wèn)題，又能避免重復(fù)學(xué)習(xí)，加快收斂。VDSR所帶來(lái)的提升也證明了更深的網(wǎng)絡(luò)能提高網(wǎng)絡(luò)模型的表達(dá)能力，帶來(lái)更好的超分辨率效果。殘差學(xué)習(xí)所取得的顯著效果使其被應(yīng)用到越來(lái)越多的超分辨率網(wǎng)絡(luò)模型。Shi等［10］極具創(chuàng)意地提出了一種有效的亞像素卷積網(wǎng)絡(luò)模型（Efficient Sub-Pixel Convolutional Neural Network，ESPCNN），該網(wǎng)絡(luò)可以將卷積后所得的特征進(jìn)行像素重排直接得到高分辨率圖像，并不需要像SRCNN那樣對(duì)低分辨率圖像進(jìn)行插值預(yù)處理。這一改進(jìn)讓基于CNN的超分辨率網(wǎng)絡(luò)模型能夠?qū)W習(xí)更加復(fù)雜的映射關(guān)系，大大降低了放大圖像的成本。后來(lái)出現(xiàn)的超分辨率方法很多都使用了這一操作來(lái)對(duì)圖像進(jìn)行重建。Lai等［11］提出了一種類似金字塔結(jié)構(gòu)的超分辨率重構(gòu)模型LapSRN（Laplacian Pyramid Net?works），該模型在放大倍數(shù)較高的情況下仍然能保持不錯(cuò)的重構(gòu)效果。與之前這些追求高數(shù)據(jù)指標(biāo)的方法不同，Ledgi等［12］構(gòu)建了一個(gè)用于圖像超分辨率的生成對(duì)抗網(wǎng)絡(luò)SRGAN（Super-Resolution using Generative Adversarial Net?work）。雖然重建圖像在客觀評(píng)價(jià)上并不好，但可以給人帶來(lái)更好的主觀視覺(jué)效果。Lim等［13］以Resblock［14］為基礎(chǔ)設(shè)計(jì)了一個(gè)非常深的網(wǎng)絡(luò)模型EDSR（Enhanced Deep Residual Networks for Single Image Super-Resolution），并獲得2017世界超分辨率重建挑戰(zhàn)賽冠軍。EDSR結(jié)構(gòu)與SRGAN中的生成網(wǎng)絡(luò)SRResNet［12］基本類似，但它將殘差塊中的批歸一化（Batch Normalization，BN）［15］操作去除，因?yàn)閷?shí)驗(yàn)表明BN操作并不適用低層計(jì)算機(jī)視覺(jué)，這一改進(jìn)也讓模型性能得到很大提升。同年，Tong等［16］結(jié)合DenseNet［17］提出了一種能充分利用不同層次間特征信息的網(wǎng)絡(luò)模型SRDenseNet，但極端的連接性不僅阻礙了網(wǎng)絡(luò)的可伸縮性還會(huì)產(chǎn)生冗余計(jì)算。

很多超分辨率方法都試圖通過(guò)加深或加寬網(wǎng)絡(luò)來(lái)提升算法性能，但這樣往往會(huì)增加模型計(jì)算量，還不能很好地挖掘CNN的表達(dá)能力。在輸入的LR圖像中蘊(yùn)含了豐富的特征信息，然而這些信息往往得不到充分利用甚至被忽略從而限制了網(wǎng)絡(luò)的性能。另外，信息也分為不同種類，有的是低頻信息，有的是高頻紋理信息。目前的方法大多數(shù)都是平等對(duì)待特征通道信息，缺乏處理不同通道信息的靈活性。

為此，本文提出了一種通道注意力與殘差級(jí)聯(lián)超分辨率網(wǎng)絡(luò)（Channel Attention and Residual Concatenation Network，CARCN）。本文的貢獻(xiàn)主要如下：（1）將原始的特征信息通過(guò)融合節(jié)點(diǎn)（Fusion Node，F(xiàn)N）與各層進(jìn)行融合，讓LR圖像中的特征信息得到更好的傳遞。（2）提出了殘差級(jí)聯(lián)組（Residual Concatenation Group，RCG）結(jié)構(gòu)，通過(guò)每一層與輸入的級(jí)聯(lián)改善不同層次之間信息流動(dòng)，充分利用LR圖像中的特征信息的同時(shí)還能自適應(yīng)地調(diào)整已融合的特征通道，大大提高網(wǎng)絡(luò)對(duì)圖像細(xì)節(jié)紋理等高頻信息的重建效果。實(shí)驗(yàn)結(jié)果也表明：本文提出的方法與其他先進(jìn)的超分辨率方法比較，無(wú)論是主觀視覺(jué)效果還是客觀數(shù)據(jù)評(píng)估都更好。

2 本文方法

2.1 網(wǎng)絡(luò)結(jié)構(gòu)

本文融合了通道注意力機(jī)制、級(jí)聯(lián)操作和殘差學(xué)習(xí)的策略，提出了CARCN，其整體結(jié)構(gòu)如圖1所示，該模型主要由淺層特征提?。⊿hallow Feature Extraction，SFE）、深層特征映射（Deep Feature Mapping，DFM）和重構(gòu)（Reconstruction，REC）三個(gè)部分組成。

首先只用一個(gè)卷積層從輸入圖像提取淺層特征：

其中：HSFE()表示一個(gè)3×3的卷積操作，ILR為輸入的低分辨率三通道圖像，X0為提取到的淺層特征。隨后，將X0用作深度特征映射模塊的輸入：

其中：HDFM()表示整個(gè)深層特征映射模塊。如圖1所示，深層特征映射模塊由多個(gè)殘差級(jí)聯(lián)組（RCG）、融合節(jié)點(diǎn)（FN）、長(zhǎng)跳連接和一個(gè)常規(guī)卷積層組成。融合節(jié)點(diǎn)由一個(gè)級(jí)聯(lián)層和一個(gè)1×1的降維卷積組成，將殘差級(jí)聯(lián)組的輸出特征與提取到的淺層特征進(jìn)行級(jí)聯(lián)特征融合并降維處理傳遞給下一個(gè)網(wǎng)絡(luò)層，保證信息在傳遞過(guò)程中不被丟失，從而讓原始特征得到最大化利用。卷積層后的長(zhǎng)跳連接可以通過(guò)殘差學(xué)習(xí)提升網(wǎng)絡(luò)性能。XD為提取到的深層特征，最后進(jìn)行重構(gòu)得到超分辨率圖像：

其中：HREC()表示整個(gè)重構(gòu)部分函數(shù)，HUP()為上采樣操作，HCov()是末端的卷積層，輸出通道數(shù)為3。很多方法可以完成上采樣功能，比如轉(zhuǎn)置卷積和亞像素卷積［10］?？紤]到亞像素卷積在執(zhí)行上采樣操作方面比較靈活，能夠平衡計(jì)算效率和性能。本文也選擇使用亞像素卷積實(shí)現(xiàn)重構(gòu)部分的上采樣操作。此外，與許多網(wǎng)絡(luò)不同，為了使訓(xùn)練更加穩(wěn)定，本文不僅對(duì)深層特征上采樣，對(duì)前面提取的淺層特征也進(jìn)行上采樣操作，通過(guò)長(zhǎng)跳連接一起進(jìn)行特征重構(gòu)并輸入到整個(gè)網(wǎng)絡(luò)的最后一個(gè)卷積層，得到高分辨率圖像ILR。

2.2 注意力模塊

很多基于CNN的超分辨率算法對(duì)所提取的特征通道都是同等對(duì)待，限制了網(wǎng)絡(luò)的重構(gòu)性能。為此，本文構(gòu)建了一種有效的注意力模塊（Attention Block，AB），能自適應(yīng)地對(duì)特征通道進(jìn)行校正。

圖1 網(wǎng)絡(luò)整體結(jié)構(gòu)圖Fig.1 Overall network architecture of proposed CARCN model

圖2 注意力模塊結(jié)構(gòu)圖Fig.2 Structure of the attention block

注意力模塊結(jié)構(gòu)如圖2所示，一開(kāi)始用一個(gè)卷積層對(duì)模塊的輸入進(jìn)行特征映射，經(jīng)過(guò)Relu函數(shù)激活后得到一個(gè)大小為H×W×C的特征，記作F=[f1，f2，…，fc?1，fc]，其中fc是第c個(gè)特征通道。然后采用全局平均池化對(duì)每個(gè)通道的信息進(jìn)行全局壓縮，獲得一個(gè)能夠代表這些通道的向量，即：其中：Hsq()表示全局平均池化操作，fc(i，j)是坐標(biāo)（i，j）上的像素值，zc為對(duì)第c個(gè)通道進(jìn)行全局平均池化得到的值。可以將上面的操作看作是對(duì)輸入特征通道信息的初步統(tǒng)計(jì)，壓縮得到的信息具有全局的感受野。

緊接著，用兩個(gè)1×1卷積來(lái)學(xué)習(xí)不同特征通道的相關(guān)性。第一個(gè)卷積將特征維度壓縮到原來(lái)的1/r（r為維度壓縮比例r=16），經(jīng)Relu函數(shù)激活后，第二個(gè)卷積將特征維度復(fù)原。這種類似沙漏的結(jié)構(gòu)具有更多的非線性映射，可以更好地?cái)M合通道間的復(fù)雜關(guān)系，同時(shí)還能夠減少參數(shù)與計(jì)算量。隨后，用Sigmoid函數(shù)對(duì)特征通道信息進(jìn)行重新表示，即：

其中：δ()與σ()分別表示Sigmoid函數(shù)與Relu激活函數(shù)，CD()與CU()分別為前后兩個(gè)卷積操作。最后用獲得的特征通道相關(guān)性信息s對(duì)原始輸入特征進(jìn)行重新校正，即：

其中：fc和sc分別是第c個(gè)特征通道和校正因子，xc則為校正后的特征通道。同時(shí)加入短跳連接讓低頻信息快速通過(guò)，專注于高頻信息的校正。整個(gè)過(guò)程其實(shí)就是一個(gè)給特征通道重新加權(quán)的過(guò)程，權(quán)值代表通特征通道的重要性，再根據(jù)其重要性來(lái)進(jìn)行調(diào)整。

2.3 殘差級(jí)聯(lián)組

在之前的超分辨率方法中，隨著網(wǎng)絡(luò)的不斷加深，特征信息在傳遞過(guò)程中會(huì)被網(wǎng)絡(luò)層逐漸忽略甚至遺漏，以至于最后用來(lái)重建的特征非常少。蘊(yùn)含在LR圖像里的豐富特征信息沒(méi)有得到很好的傳遞和充分的利用，這很大程度上限制了網(wǎng)絡(luò)模型的性能。

本文構(gòu)建了一種殘差級(jí)聯(lián)組（RCG），結(jié)構(gòu)如圖1所示。從圖中可以看出每一層由注意機(jī)力模塊（AB）映射得到的特征都會(huì)與最開(kāi)始的輸入特征進(jìn)行通道級(jí)聯(lián)，并傳遞到下一層：

其中，C()表示級(jí)聯(lián)操作，HAB，n()為第n個(gè)注意力模塊函數(shù)，總共有4個(gè)注意力模塊，X0是整個(gè)殘差級(jí)聯(lián)組的輸入。隨后用一個(gè)1×1的卷積對(duì)級(jí)聯(lián)后的特征進(jìn)行降維，最后通過(guò)一個(gè)跳連接加速低頻信息的傳遞，可用式（9）表示：

其中：Cdown()表示卷積降維，X為最后的輸出。殘差級(jí)聯(lián)組中各層參數(shù)設(shè)置如表1所示，H，W分別是輸入特征圖像的高度和寬度。

組件名稱輸入尺寸輸出尺寸注意力模塊-1級(jí)聯(lián)層-1注意力模塊-2級(jí)聯(lián)層-2注意力模塊-3級(jí)聯(lián)層-3注意力模塊-4級(jí)聯(lián)層-4 1×1卷積層H×W×64 H×W×64+H×W×64 H×W×128 H×W×128+H×W×64 H×W×192 H×W×192+H×W×64 H×W×256 H×W×256+H×W×64 H×W×320 H×W×64 H×W×128 H×W×128 H×W×192 H×W×192 H×W×256 H×W×256 H×W×320 H×W×64

在殘差級(jí)聯(lián)組中，初始輸入直接連接到所有輸出層，與殘差網(wǎng)絡(luò)那樣直接算術(shù)相加不同，這里是進(jìn)行通道級(jí)聯(lián)，再將融合后的特征映射傳遞給后續(xù)的網(wǎng)絡(luò)層。這種不同層次間的級(jí)聯(lián)設(shè)計(jì)結(jié)構(gòu)可以改善不同網(wǎng)絡(luò)層間的信息流動(dòng)，保證特征信息傳遞過(guò)程中的完整性。另外，殘差級(jí)聯(lián)組中每一層的注意力模塊可以自適應(yīng)地調(diào)整已融合的特征通道，這也讓它能夠在充分利用LR圖像中大量特征信息的同時(shí)，對(duì)每個(gè)卷積層的通道信息進(jìn)行調(diào)整，有效提升了CNN的圖像重構(gòu)能力。

2.4 損失函數(shù)

眾所周知，損失函數(shù)對(duì)神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練非常重要，合適的損失函數(shù)可以使網(wǎng)絡(luò)模型得到更好的訓(xùn)練，提高網(wǎng)絡(luò)性能。本文使用L1損失函數(shù)來(lái)訓(xùn)練模型。

其中：θ代表網(wǎng)絡(luò)的參數(shù)集，D()代表了整個(gè)網(wǎng)絡(luò)模型。

3 實(shí) 驗(yàn)

3.1 數(shù)據(jù)集

在實(shí)驗(yàn)中，本文選擇了高質(zhì)量的DIV2K［18］數(shù)據(jù)集用作訓(xùn)練，該數(shù)據(jù)集總共有1 000張2K分辨率的高清圖像，其中800張為訓(xùn)練圖像，100張為驗(yàn)證圖像，以及100張測(cè)試圖像。評(píng)估測(cè)試方面，采用4個(gè)被廣泛使用的標(biāo)準(zhǔn)數(shù)據(jù)集：Set5［19］，Set14［20］，B100［21］和Urban100［22］來(lái)測(cè)試模型性能。為了便于與其他先進(jìn)方法比較，本文和其他算法一樣使用峰值信噪比（Peak Signal to Noise Ra?tio，PSNR）和結(jié)構(gòu)相似度（Structural Similarity Index，SSIM）［23］來(lái)對(duì)模型性能進(jìn)行評(píng)估。所有的實(shí)驗(yàn)結(jié)果都是在YCbCr顏色空間中的Y通道上計(jì)算得到的。

3.2 實(shí)驗(yàn)細(xì)節(jié)

實(shí)驗(yàn)對(duì)DIV2K數(shù)據(jù)集的800張訓(xùn)練圖像進(jìn)行了數(shù)據(jù)增強(qiáng)。通過(guò)將原始圖像隨機(jī)旋轉(zhuǎn)[90°，180°，270°]和水平翻轉(zhuǎn)，可以從每張?jiān)紙D像中獲得額外的7張?jiān)鰪?qiáng)圖像。在每次小批量（Minbatch）訓(xùn)練中，從LR圖像中隨機(jī)截取16個(gè)大小為48×48的LR圖像塊作為網(wǎng)絡(luò)的輸入。初始學(xué)習(xí)率設(shè)置為10?4，每2×105次迭代學(xué)習(xí)率衰減一半，總共進(jìn)行106次迭代訓(xùn)練。本文采用Adam算法對(duì)所提出的模型進(jìn)行優(yōu)化，相關(guān)參數(shù)設(shè)置如下：β1=0.9，β2=0.999，ε=10?8。整個(gè)實(shí)驗(yàn)采用tensorflow框架，在單個(gè)NVIDIA 2080Ti GPU上訓(xùn)練3天完成。

在整個(gè)網(wǎng)絡(luò)模型中，除了文中說(shuō)明外，其他的卷積核大小都為3×3，通道數(shù)設(shè)置為64，級(jí)聯(lián)與降維操作依次計(jì)算。殘差級(jí)聯(lián)組與融合節(jié)點(diǎn)的數(shù)量均為10。

3.3 客觀結(jié)果比較

表2 顯示了本文所提超分辨率方法與現(xiàn)有8種超分辨 率 方法Bicubic［3］，SRCNN［8］，F(xiàn)S?RCNN［24］，VDSR［9］，DRRN［25］，LapSRN［11］，ED?SR［14］和RDN［26］在×2，×3，×4這3種不同放大倍數(shù)時(shí)進(jìn)行定量比較的結(jié)果（最優(yōu)值加粗表示）。從表中可以看出，本文提出的CARCN網(wǎng)絡(luò)在測(cè)試集上的PSNR和SSIM值很多要高于其他方法。特別是在Urban100數(shù)據(jù)集上×3，×4超分辨率的結(jié)果，本文方法在PSNR指標(biāo)上比第二的RDN［26］分別高出了0.09與0.10。且Ur?ban100數(shù)據(jù)集中的圖像都是一些包含很多紋理細(xì)節(jié)的建筑物圖像，這也充分說(shuō)明本文所提方法在復(fù)雜圖像的超分辨率重建上性能比其他方法更好。

3.4 主觀視覺(jué)比較

本文分別從B100與Urban100數(shù)據(jù)集中總共選取了四張圖片用于與其他超分辨率方法在主觀視覺(jué)上比較，如圖3～圖6所示。這些方法包括Bicubic［3］，SRCNN［8］，F(xiàn)SRCNN［24］，VD?SR［9］，LspSRN［11］，DRRN［25］6種現(xiàn)有的經(jīng)典超分辨率方法。從圖3和圖4中能夠看出，本文提出的CARCN網(wǎng)絡(luò)重建后的圖像要比其他方法更加清晰。再觀察圖5可以發(fā)現(xiàn)，其他方法重建后的圖像在紋理上都是較模糊甚至有些錯(cuò)亂的，本文的方法可以相對(duì)清晰且準(zhǔn)確地恢復(fù)圖像中的紋理部分。同時(shí)圖6也顯示了本文方法的視覺(jué)效果要好于其他方法，特別是在細(xì)節(jié)紋理的恢復(fù)上相比其他方法的效果更加細(xì)膩豐富。

表2 在4個(gè)測(cè)試數(shù)據(jù)集上，各種方法×2，×3，×4超分辨率的比較（PSNR/SSIM）Tab.2 Comparison of various methods×2，×3，×4 super resolution on four test data sets（PSNR/SSIM）

圖3 B100數(shù)據(jù)集中69015放大倍數(shù)×3的超分辨率結(jié)果對(duì)比Fig.3 Super-resolution results comparison of imgae 69015 in B100 for scale factor×3

圖4 Urban100數(shù)據(jù)集中img_050放大倍數(shù)×3的超分辨率結(jié)果對(duì)比Fig.4 Super-resolution results comparison of imgae img_050 in Urban100 for scale factor×3

圖5 Urban100數(shù)據(jù)集中img_089放大倍數(shù)×4的超分辨率結(jié)果對(duì)比Fig.5 Super-resolution results comparison of imgae img_089 in Urban100 for scale factor×4

圖6 Urban100數(shù)據(jù)集中img_046放大倍數(shù)×4的超分辨率結(jié)果對(duì)比Fig.6 Super-resolution results comparison of imgae img_046 in Urban100 for scale factor×4

3.5 參數(shù)與性能比較

圖7 顯示了本文提出的CARCN模型與其他先進(jìn)超分辨率模型在Set5數(shù)據(jù)集上，4倍超分辨率情況下結(jié)合性能與對(duì)應(yīng)參數(shù)的比較結(jié)果。

圖7 不同模型性能與參數(shù)量的比較Fig.7 Comparison of performance and the number of pa?rameters of different models

圖中參與比較的模型包括SRCNN［8］VD?SR［9］，LapSRN［11］，DRRN［25］，MemNet［27］，DB?PN［28］，EDSR［14］及RDN［26］。可以看出本文提出的模型在測(cè)試數(shù)據(jù)集上的PSNR指標(biāo)是最高的，但參數(shù)卻幾乎只有EDSR［14］的1/4，RDN［26］的1/2，這也說(shuō)明了本文所提模型在性能上要優(yōu)于其他模型。

3.6 消融分析

為了探究殘差級(jí)聯(lián)組（RCG）和融合節(jié)點(diǎn)（FN）對(duì)本文提出的CARCN網(wǎng)絡(luò)性能的影響，本文將保留RCG與FN和去除RCG與FN的四種網(wǎng)絡(luò)在Set5數(shù)據(jù)集上×2超分辨率的實(shí)驗(yàn)結(jié)果進(jìn)行比較，本次實(shí)驗(yàn)進(jìn)行了4×104次迭代訓(xùn)練。由于去除RCG模型參數(shù)會(huì)相應(yīng)減少，為了公平比較，對(duì)去除RCG的網(wǎng)絡(luò)增加相應(yīng)的通道數(shù)來(lái)保持兩種情況下的參數(shù)一致，并保留注意力模塊。結(jié)果如表3所示，可以看出，同時(shí)保留RCG和FN的網(wǎng)絡(luò)比其他三種網(wǎng)絡(luò)重構(gòu)能力更好。其中，RCG的去除對(duì)模型性能影響較大，F(xiàn)N影響相對(duì)較小。圖8顯示了四種網(wǎng)絡(luò)的收斂曲線（圖中FN-1-RCG-1表示同時(shí)保留FN和RCG的收斂曲線，數(shù)字1表示保留，0表示去除）。從圖中也可以看出FN與RCG都去除的網(wǎng)絡(luò)訓(xùn)練穩(wěn)定性最差，效果也較差；FN與RCG均保留的網(wǎng)絡(luò)訓(xùn)練更加穩(wěn)定，性能也最好。這表明本文提出的殘差級(jí)聯(lián)組結(jié)構(gòu)和融合節(jié)點(diǎn)對(duì)提升網(wǎng)絡(luò)模型性能有不錯(cuò)的效果。

表3 Set5數(shù)據(jù)集上RCG和FN的實(shí)驗(yàn)對(duì)比Tab.3 Experimental Comparison of RCG and FN on Set5

圖8 RCG和FN的收斂分析Fig.8 Convergence analysis on RCG and FN

4 結(jié) 論

本文提出了一種通道注意力與殘差級(jí)聯(lián)超分辨率網(wǎng)絡(luò)CARCN來(lái)改善超分辨率重建效果。利用融合節(jié)點(diǎn)將原始淺層特征傳遞給其他網(wǎng)絡(luò)層，構(gòu)建了殘差級(jí)聯(lián)組，通過(guò)級(jí)聯(lián)結(jié)構(gòu)讓每一層充分利用LR圖像中的特征信息并有進(jìn)行有效傳遞，同時(shí)注意力模塊可以自適應(yīng)地對(duì)特征通道間的相互關(guān)系進(jìn)行校正，提升網(wǎng)絡(luò)對(duì)細(xì)節(jié)紋理的恢復(fù)能力。在Set5，Set14，B100，Urban100 4個(gè)基準(zhǔn)數(shù)據(jù)集上的測(cè)試結(jié)果表明，本文提出的方法與其他方法相比，無(wú)論是在客觀數(shù)據(jù)評(píng)估還是主觀視覺(jué)比較中性能都要更好，在Ur?ban100數(shù)據(jù)集4倍超分辨率的PSNR指標(biāo)上比第二高出了0.1 dB，有效提高了圖像超分辨率重建質(zhì)量。未來(lái)將進(jìn)一步對(duì)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行優(yōu)化，提高其綜合性能。