基于退化感知和序列殘差的圖像盲超分辨率重建

劉鑫 唐紅梅 席建銳 梁春陽

摘 要：針對盲超分辨率重建中特征提取不準(zhǔn)確且重建圖像不夠自然的問題，提出了一種基于退化感知和序列殘差的圖像盲超分辨率重建算法，設(shè)計了小殘差組融合退化感知和序列殘差相結(jié)合作為所提算法的主干網(wǎng)絡(luò)，進一步構(gòu)建了對稱的增強型多尺度殘差模塊，并且在圖像重建部分，將瓶頸注意力模塊與像素重組上采樣模塊級聯(lián)，強調(diào)圖像的多維元素，最后進行了全局殘差連接。實驗表明，與當(dāng)前代表性算法DASR相比，該算法在Set14×2上的PSNR和SSIM分別提高0.145 dB、0.001 4，在Set14×3/4上PSNR分別提高1.898 dB、0.252 dB，且在五個標(biāo)準(zhǔn)測試集上與幾種當(dāng)前流行的圖像超分辨率算法相比取得了更好的性能。

關(guān)鍵詞：盲超分辨率；深度學(xué)習(xí)；退化感知；序列殘差

中圖分類號：TP391.41?? 文獻標(biāo)志碼：A

文章編號：1001-3695（2023）09-049-2869-06

doi：10.19734/j.issn.1001-3695.2022.12.0810

Blind image super-resolution reconstruction based on

degradation aware and sequence residuals

Liu Xin，Tang Hongmei，Xi Jianrui，Liang Chunyang

（College of Electronic Information Engineering，Hebei University of Technology，Tianjin 300401，China）

Abstract：Aiming at the problem that feature extraction is inaccurate and the reconstruction image is not natural enough in blind super-resolution reconstruction，this paper proposed an image blind super-resolution reconstruction based on degradation aware and sequence residuals.This paper proposed a mini-residual group combined degeneration aware and sequence residuals as the backbone network.Then the method constructed a symmetrical enhanced multi-scale residual block.In the image reconstruction part，this paper used the bottleneck attention module and the sub-pixel convolutional module to emphasize the multi-dimensional elements of the image.Finally，the method made a global residual connection. Compared with the current representative algorithm DASR，experiments show that the PSNR and SSIM of the proposed algorithm are improved 0.145 dB and 0.001 4 on Set14×2，and the PSNR of the proposed algorithm is improved 1.898 dB and 0.252 dB on Set14×3/4，respectively.The proposed algorithm achieves better performance than several current image super-resolution algorithms on five standard test sets.

Key words：blind super-resolution；deep learning；degradation aware；sequence residuals

0 引言

圖像的超分辨率（super resolution，SR）重建是指從低分辨率圖像（low-resolution，LR）中重建出更多具有豐富紋理細節(jié)的高分辨率圖像（high-resolution，HR），該技術(shù)被廣泛應(yīng)用在地理遙感、醫(yī)學(xué)成像、軍事公安［1］等領(lǐng)域。HR是具有特征豐富、高像素密度的圖像，可以應(yīng)用于多個領(lǐng)域，所以如何讓重建的圖像逼近HR是近年來的研究熱點。

傳統(tǒng)的圖像超分辨率重建算法一般分為基于插值的圖像超分辨率算法、基于重建的圖像超分辨率算法和基于學(xué)習(xí)的圖像超分辨率算法［2］。隨著深度學(xué)習(xí)的快速發(fā)展，2015年，Dong等人［3］提出基于深度學(xué)習(xí)的超分辨率重建，隨后，研究者們不斷改進基于深度學(xué)習(xí)的超分辨率重建算法，例如EDSR［4］、CARN［5］、SRGAN［6］等。2018年，Schocher等人［7］提出盲超分辨率重建算法，即基于零樣本超分辨率網(wǎng)絡(luò)（ZSSR），通過無監(jiān)督方式訓(xùn)練來自經(jīng)典退化模型單個圖像中的內(nèi)部數(shù)據(jù)。近些年，在圖像盲超分辨率領(lǐng)域，文獻［8，9］分別提出了IKC和DAN，IKC是通過迭代矯正核估計實現(xiàn)超分辨率重建，DAN是將矯正器和超分辨率網(wǎng)絡(luò)統(tǒng)一進行訓(xùn)練。圖像盲超分辨率重建的目的是為了提高退化模型未知圖片的超分效果，由于退化類型多種多樣，可以把圖像盲超分辨率重建的目標(biāo)理解為提高模型的泛化性能，使模型更好地應(yīng)用在現(xiàn)實生活中。但是目前盲超分辨率重建技術(shù)存在特征提取不夠準(zhǔn)確且重建圖像不夠自然的問題，為了解決以上問題，建立了退化感知和序列殘差的圖像盲超分辨率重建網(wǎng)絡(luò)。實驗結(jié)果表明，該算法不僅能夠有效地重建出效果較好、邊緣質(zhì)量較高的圖像，而且與HR圖像更加貼合。其主要貢獻包括：a）構(gòu)建小殘差組置于退化混合序列殘差模塊之前，用于加快特征收斂；b）提出了退化混合序列殘差模塊作為主干網(wǎng)絡(luò)，用于自適應(yīng)提取退化特征的序列信息，加強深層特征的提取；c）設(shè)計了對稱的增強型多尺度殘差模塊，實現(xiàn)了多尺度的特征融合，使得提取深層特征的梯度信息流更加穩(wěn)定。

1 網(wǎng)絡(luò)結(jié)構(gòu)

提出的退化感知混合序列殘差網(wǎng)絡(luò)（degradation aware hybrid sequence residuals network，DAHSRN）圖像盲超分辨率重建算法包括獲取退化特征和提取淺層特征、提取深層特征、重建以及全局殘差連接四部分，如圖1所示。定義整個網(wǎng)絡(luò)有兩個輸入R、ILR和一個輸出ISR。退化表示學(xué)習(xí)的目標(biāo)是以無監(jiān)督的方式學(xué)習(xí)退化信息，本文算法采用各向同性高斯核降質(zhì)和對比學(xué)習(xí)框架進行退化表示學(xué)習(xí)。假設(shè)從同一張退化圖像得到的切片屬于同一種退化，來自不同降質(zhì)圖像的切片屬于不同退化。退化特征R是數(shù)據(jù)IHR通過式（1）退化再經(jīng)過moco編碼器進行對比學(xué)習(xí)得到，如圖2所示，此部分位于圖1的獲取退化特征部分。

2.4 對比現(xiàn)有先進模型

1）定量比較

為了證明本文算法的有效性，在Set5、Set14、Urban100、BSD100、Manga109五個標(biāo)準(zhǔn)測試集的×2/3/4上進行測試，并且分別在PSNR（dB）/SSIM進行了定量客觀比較，對比算法包括當(dāng)前流行的Bicubic、ZSSR、DASR、IKC、MANet［19］。Bicubic利用插值技術(shù)增加圖形數(shù)據(jù)實現(xiàn)圖像超分辨率重建；ZSSR利用外部和內(nèi)部信息進行數(shù)千次反向傳播梯度更新來獲得圖像超分辨率重建結(jié)果；DASR通過學(xué)習(xí)抽象表示各種退化構(gòu)成一種具有退化感知能力的網(wǎng)絡(luò)，從而實現(xiàn)圖像超分辨率重建；IKC通過迭代應(yīng)用核不斷校正來獲得圖像超分辨率結(jié)果；MANet通過集成了門機制和空間注意，以激活局部信息來實現(xiàn)圖像超分辨率重建。具體實驗結(jié)果如表3所示。表3加粗標(biāo)注是本文算法最好的結(jié)果，下畫線標(biāo)注是次好的結(jié)果，PSNR、SSIM后面的箭頭代表數(shù)值越大效果越好。

表3實驗結(jié)果顯示，提升最高的是在Set14和Manga109測試集上。在Set14測試集上指標(biāo)明顯提升，在PSNR指標(biāo)上Set14×2相比于最高的DASR提升了0.145 dB，在Set14×3相比于最高的MANet提升了0.348 dB，在Set14×4相比于最高的MANet提高了0.232 dB，同時也可以看出SSIM相比于指標(biāo)最高的MANet在Set14×2/3/4分別提升了0.02、0.005 2、0.004 1。在Manga109×2/3/4相比于DASR算法PSNR分別提升了0.722 dB、0.227 dB、0.232 dB，在SSIM指標(biāo)上分別提升0.001 1、0.002、0.002 7。從五個測試集上的兩個評價指標(biāo)的整體數(shù)據(jù)來看，本文算法在PSNR和SSIM指標(biāo)上明顯優(yōu)于對比算法，在每個數(shù)據(jù)集指標(biāo)相比于主流算法都有提升，更具有泛化性。結(jié)合定性實驗看出，本文算法重建的效果與HR圖像之間的差距最小，重建的質(zhì)量最好。

2）重建效果比較

考慮到網(wǎng)絡(luò)重建的效果，同其他流行的算法進行了比較，其他算法包括用于圖像恢復(fù)的BSRDM［20］、無監(jiān)督模式的盲超分辨率網(wǎng)絡(luò)DASR、有監(jiān)督模式的盲超分辨率網(wǎng)絡(luò)IKC以及Bicubic。除此之外，圖6給出各個算法在Set5中Butterfly、Set14中Baboon、Urban100中Img003、BSD100中3096、Manga109中AisazuNiharlrarenai的HR圖、裁剪細節(jié)放大圖以及每張圖的PSNR值，截取圖像中的兩部分分別放在相應(yīng)圖像右側(cè)的第一行和第二行。

從圖6（a）可以看出，本文算法對butterfly圖像在紋理細節(jié)上貼近HR，邊緣比DASR更尖銳，明顯與HR相近。本文算法對Baboon圖像鼻子旁邊的胡須要比IKC根根分明，又比BSRDM真實。在Urban100數(shù)據(jù)集中，本文算法重建的Img003墻要比其他算法在顏色上更接近HR，花盆和墻面沒有DASR、IKC連接那么緊密，并且整體花的輪廓清晰，顏色分明，同時要比BSRDM更自然。在BSD100中，本文算法重建出3096圖像比DASR重建圖像的對比度更明顯之外，飛機上的“A”字母紋理細節(jié)也更清晰。對于Manga109漫畫類的圖像，本文算法重建出來的小男孩，臉頰有一種蠟筆畫出的紋理感，更符合漫畫類的圖像?？傊梢钥闯?，用于圖像恢復(fù)的BSRDM算法重建圖像細節(jié)與HR圖像相差甚遠，本文算法比DASR、IKC在PSNR值上要高且重建圖像效果較好。圖6顯示，本文算法重建效果具有一定的泛化性，還原邊緣細節(jié)方面做到非常自然，PSNR值與其他算法相比最高，效果與HR最為相近。

3 結(jié)束語

為了能夠準(zhǔn)確提取圖像特征，讓重建圖像更加自然，提出了退化感知和序列殘差融合作為主干網(wǎng)絡(luò)，從而自適應(yīng)提取退化特征的序列信息；為了能增強有效特征的融合，提高去除冗余特征的能力，使網(wǎng)絡(luò)穩(wěn)定訓(xùn)練，在整體網(wǎng)絡(luò)結(jié)構(gòu)上構(gòu)建了對稱的三個增強型多尺度殘差塊結(jié)構(gòu)；并且考慮到進一步強調(diào)特征的關(guān)鍵元素，在圖像重建過程中的像素重組上采樣模塊前級聯(lián)了瓶頸注意力模塊。在Set5、Set14、Urban100、BSD100和Manga109五個測試集上驗證出本文算法的有效性，結(jié)合評價指標(biāo)的定量結(jié)果和重建效果，最終結(jié)果表明，本文算法可以重建出更好的超分辨率效果。在未來發(fā)展中應(yīng)考慮如何讓盲超分辨重建算法適應(yīng)不同環(huán)境變化，將盲超分辨率重建靈活地應(yīng)用在實際場景中。

參考文獻：

［1］Yin Yu，Robinson J，Zhang Yulun，et al.Joint super-resolution and alignment of tiny faces［C］//Proc of AAAI Conference on Artificial Intelligence.2020：12693-12700.

［2］唐艷秋，潘泓，朱亞平，等. 圖像超分辨率重建研究綜述［J］.電子學(xué)報，2020，48（7）：1407-1420.（Tang Yanqiu，Pan Hong，Zhu Yaping，et al.A survey of image super-resolution reconstruction［J］.Chinese Journal of Electronics，2020，48（7）：1407-1420.）

［3］Dong Chao，Zhu Ximei，Deng Yubin，et al.Boosting optical character recognition：a super-resolution approach ［EB/OL］.（2015-06-07）.https：//arxiv.org/abs/1506.02211.

［4］Lim B，Son S，Kim H，et al.Enhanced deep residual networks for single image super-resolution［C］//Proc of IEEE Conference on Compu-ter Vision and Pattern Recognition Workshops.Piscataway，NJ：IEEE Press，2017：1132-1140.

［5］Ahn N，Kang B，Sohn K A. Fast，accurate，and lightweight super-resolution with cascading residual network［C］//Proc of the 15th Euro-pean Conference on Computer Vision. Berlin：Springer-Verlag，2018：256-272.

［6］Ledig C，Theis L，Huszár F，et al.Photo-realistic single image super-resolution using a generative adversarial network［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition. Piscataway，NJ：IEEE Press，2017：4681-4690.

［7］Shocher A，Cohen N，Irani M. “Zero-shot” super-resolution using deep internal learning［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2018：3118-3126.

［8］Gu Jinjin，Lu Hannan，Zuo Wangmeng，et al.Blind super-resolution with iterative kernel correction ［C］//Proc of the IEEE/CVF Confe-rence on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2019：1604-1613.

［9］Luo Zhengxiong，Huang Yan，Li Shang，et al.Unfolding the alternating optimization for blind super resolution［J］.Advances in Neural Information Processing Systems，2020，33：5632-5643.

［10］Park J，Woo S，Lee J Y，et al.BAM：bottleneck attention module ［EB/OL］.（2018-07-18）.https：//arxiv.org/abs/1807.06514.

［11］Shi Wenzhe，Caballero J，Huszár F，et al.Real-time single image and video super-resolution using an efficient sub-pixel convolutional neural network［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition. Piscataway，NJ：IEEE Press，2016：1874-1883.

［12］PengChangmeng，Shu Pei，Huang Xiaoyang，et al.LCRCA： image super-resolution using lightweight concatenated residual channel attention networks［J］.Applied Intelligence，2022，52（9）：10045-10059.

［13］Wang Longguang，Wang Yingqian，Dong Xiaoyu，et al.Unsupervised degradation representation learning for blind super-resolution［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Re-cognition.Piscataway，NJ：IEEE Press，2021：10576-10585.

［14］Bevilacqua M，Roumy A，Guillemot C，et al.Low-complexity single-image super-resolution based on nonnegative neighbor embedding ［C］//Proc of British Machine Vision Conference.2012.

［15］Yang Jianchao，Wright J，Huang T S，et al.Image super-resolution via sparse representation［J］.IEEE Trans on Image Processing，2010，19（11）：2861-2873.

［16］Martin D，F(xiàn)owlkes C，Tal D，et al.A database of human segmented natural images and its application to evaluating segmentation algorithms and measuring ecological statistics［C］//Proc of the 8th IEEE International Conference on Computer Vision.Piscataway，NJ：IEEE Press，2001：416-423.

［17］Huang Jiabin，Singh A，Ahuja N.Single image super-resolution from transformed self-exemplars［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2015：5197-5206.

［18］Matsui Y，Ito K，Aramaki Y，et al.Sketch-based manga retrieval using Manga109 dataset［J］.Multimedia Tools and Applications，2017，76：21811-21838.

［19］Wang Yan，Li Yusen，Wang Gang，et al.Multi-scale attention network for single image super-resolution ［EB/OL］.（2022-09-29）.https：//arxiv.org/abs/2209.14145.

［20］Yue Zongsheng，Zhao Qian，Xie Jianwen，et al.Blind image super-reso-lution with elaborate degradation modeling on noise and kernel［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Re-cognition.Piscataway，NJ：IEEE Press，2022：2118-2128.

收稿日期：2022-12-21；修回日期：2023-02-17? 基金項目：河北省自然科學(xué)基金資助項目（F2019202387）

作者簡介：劉鑫（1998-），女，河北石家莊人，碩士研究生，主要研究方向為圖像處理與深度學(xué)習(xí)；唐紅梅（1968-），女（通信作者），河北石家莊人，副教授，碩士，主要研究方向為圖像處理與模式識別（hmtang2005@163.com）；席建銳（1998-），女，河南南陽人，碩士研究生，主要研究方向為深度學(xué)習(xí)與三維重建；梁春陽（1996-），男，山東聊城人，碩士，主要研究方向為深度學(xué)習(xí)與三維重建.