多尺度密集特征融合的圖像超分辨率重建

程德強(qiáng)，趙佳敏，寇旗旗，陳亮亮，韓成功

（1.中國(guó)礦業(yè)大學(xué) 信息與控制工程學(xué)院，江蘇 徐州 221116；2.中國(guó)礦業(yè)大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，江蘇 徐州 221116）

1 引言

隨著科技的進(jìn)步，圖像已成為人們獲取信息最方便、最重要的途徑之一，但由于設(shè)備、環(huán)境的限制，遙感圖像［1］、視頻監(jiān)控［2］、醫(yī)學(xué)圖像［3］等應(yīng)用領(lǐng)域中獲取的圖像往往是低分辨率（Low Resolution，LR）圖像。為了實(shí)現(xiàn)更高的研究?jī)r(jià)值，LR圖像往往需要經(jīng)過處理得到具有高像素密度、特征信息豐富的高分辨率（High Resolution，HR）圖像，其中最常見的方法是圖像超分辨率（Super Resolution，SR）重建。但圖像超分辨率重建是一個(gè)不適定問題，總是有多個(gè)HR圖像對(duì)應(yīng)于相同的LR圖像，如何解決這一問題成為近年來的研究熱點(diǎn)。

20世紀(jì)60年代以來，學(xué)者們提出了大量的SR算法，這些方法可以分為基于插值［4］、基于重建［5］和基于學(xué)習(xí)［6-8］的方法。近年來，隨著深度學(xué)習(xí)和卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）的快速發(fā)展，基于深度學(xué)習(xí)的SR方法［9］獲得了優(yōu)異的重建效果。Dong等人［10］提出了首個(gè)基于深度學(xué)習(xí)的超分辨率卷積神經(jīng)網(wǎng)絡(luò)（Super-resolution CNN，SRCNN），利用深度學(xué)習(xí)中的CNN實(shí)現(xiàn)端到端的學(xué)習(xí)LR圖像到HR圖像之間的映射關(guān)系，使得圖像的重建效果有了大幅提升。但SRCNN采用LR圖像的上采樣圖像作為模型的輸入，導(dǎo)致網(wǎng)絡(luò)參數(shù)多、效率低。因此Dong和Tang等 人［11］提 出 一 種 改 進(jìn) 的 網(wǎng) 絡(luò)——FSRCNN（Fast Super-resolution Convolutional Neural Network），該方法直接采用原始LR圖像作為輸入，在網(wǎng)絡(luò)末端采用反卷積的方法重建圖像，加快了網(wǎng)絡(luò)訓(xùn)練過程。Shi等人［12］提出了亞像素卷積神經(jīng)網(wǎng)絡(luò)（Efficient Sub-pixel Convolutional Neural Network，ESPCN），采用亞像素卷積操作實(shí)現(xiàn)圖像重建，在網(wǎng)絡(luò)中直接對(duì)圖像進(jìn)行縮放，降低了訓(xùn)練過程的內(nèi)存消耗。Kim等人［13］提出基于深度卷積網(wǎng)絡(luò)的圖像超分辨率重建方法（Super-resolution using Very Deep Convolutional Networks，VDSR），加深網(wǎng)絡(luò)至20層，結(jié)合殘差學(xué)習(xí)和自適應(yīng)梯度裁剪來加速模型的訓(xùn)練學(xué)習(xí)，提升了重建效果。Lim等人［14］提出增強(qiáng)深度殘差網(wǎng)絡(luò)（Enhanced Deep Residual Networks for Single Image Super-resolution，EDSR），通過堆疊32個(gè)去除BN（Batch Normalization）層的ResNet模塊極大地減少了模型參數(shù)，提高了模型重建性能。Kim等人［15］提出了深度遞歸卷積網(wǎng)絡(luò)（Deeply-recursive Convolutional Network，DRCN），該網(wǎng)絡(luò)利用遞歸思想，通過不同的網(wǎng)絡(luò)層間共享參數(shù)減少參數(shù)量。在此基礎(chǔ)上，Tai等人［16］提出了深度遞歸殘差網(wǎng)絡(luò)（Deep-recursive Residual Network，DRRN），將遞歸思想與殘差結(jié)構(gòu)相結(jié)合，提高了圖像重建效果。Zhang等人［17］提出了一種全新的殘差密集網(wǎng)絡(luò)（Residual Dense Network，RDN），通過對(duì)每個(gè)殘差密集模塊中的卷積層采用密集連接的方式提取豐富的局部特征。Li等人［18］提出了基于多尺度殘差網(wǎng)絡(luò)的圖像超分辨率重建算法（Multi-scale Residual Network，MSRN），將不同尺度卷積核交叉串聯(lián)組成多尺度殘差塊，并采用層次特征融合的方法提升了重建圖像的效果。Hui等人［19］提出IMDN（Information Multi-distillation Network），引入信息多蒸餾塊，更好地利用了層次特征。He等人［20］受常微分方程的啟發(fā)，在OISR-SK2（ODE

inspired Network Design for Single Image Superresolution）中引入了LF塊、RK2塊和RK3塊，以構(gòu)建參數(shù)量較少的殘差網(wǎng)絡(luò)。Li等人［21］提出了DID（A Nested Dense in Dense Structure），在可變局部密集塊之間采用嵌套密集結(jié)構(gòu)，密集融合了不同密集塊提取到的特征信息，有效提高了重建性能。

雖然以上算法有著較好的重建性能，但大部分算法仍存在以下問題：（1）通過增加網(wǎng)絡(luò)的深度來提高模型重建性能會(huì)導(dǎo)致參數(shù)量過大，增大訓(xùn)練難度；（2）提取到的圖像特征信息較為單一，大部分網(wǎng)絡(luò)的核心模塊只采用單一尺度的卷積核，丟失了不同尺度卷積核提取到的不同感受野信息；（3）特征信息利用率低，不同深度的特征信息具有不同的感受野，融合不同深度的特征信息可以提高特征信息的流動(dòng)性，但大部分網(wǎng)絡(luò)只采用了簡(jiǎn)單的跳躍連接。

為了解決這些問題，本文提出了一種多尺度密集特征融合網(wǎng)絡(luò)模型（Multi-scale Dense Feature Fusion Network Model，MDFN），網(wǎng)絡(luò)的核心模塊由一系列多尺度特征融合殘差模塊（Multi-scale Feature Fusion Residual Block，

MFRB）構(gòu)成。在每個(gè)MFRB內(nèi)部串聯(lián)兩個(gè)多尺度特征融合塊（Multi-scale Feature Fusion Block，MFB），MFB首先通過不同尺度卷積核提取豐富的特征信息，然后將卷積核的輸入與提取到的不同尺度特征信息融合提高圖像重建的效率。最后采用密集特征融合結(jié)構(gòu)將每個(gè)MFRB的輸出特征信息充分融合。

2 網(wǎng)絡(luò)模型

多尺度密集特征融合網(wǎng)絡(luò)模型主要分為三個(gè)部分：淺層特征提取模塊、深層特征提取模塊和圖像重建模塊。淺層特征提取模塊由一層卷積層組成，用于提取圖像淺層特征。深層特征提取模塊由一系列MFRB組成，采用密集特征融合結(jié)構(gòu)將每一個(gè)MFRB的輸出特征以及淺層特征傳輸?shù)狡浜竺娴拿恳粋€(gè)特征融合層進(jìn)行特征融合。圖像重建模塊由一個(gè)上采樣層和一個(gè)重建層組成，采用Shi等人［12］提出的亞像素卷積實(shí)現(xiàn)圖像重建階段的上采樣操作，網(wǎng)絡(luò)的整體結(jié)構(gòu)如圖1所示。

圖1 多尺度密集特征融合網(wǎng)絡(luò)Fig.1 Multi-scale dense feature fusion network

2.1 淺層特征提取

本模型的特征提取過程分為淺層特征提取和深層特征提取兩個(gè)階段，如圖1所示，淺層特征提取模塊含有一層卷積層，提取淺層特征的過程可表示為：

其中：ILR表示模型的輸入，ω3×3和b0分別表示卷積層的權(quán)重和偏置，B0表示提取到的淺層特征，模型將該特征作為深層特征提取模塊的輸入。

2.2 基于MFRB的深層特征提取

如圖1所示，深層特征提取模塊由n個(gè)MFRB組成，并在這n個(gè)模塊間建立密集特征融合結(jié)構(gòu)，每一個(gè)MFRB的輸入都由其前面所有MFRB的輸出特征和淺層特征融合而成。密集特征融合結(jié)構(gòu)可以在一定程度上減少參數(shù)量，更充分地利用圖像特征信息。這個(gè)過程可描述為：

其 中：Bk表 示 第k個(gè)MFRB的 輸 出，B0表 示 淺 層特征提取模塊的輸出，[·]表示拼接操作，F(xiàn)k表示第k個(gè)特征融合層的輸出，也是第k+1個(gè)MFRB的輸入分別為第k個(gè)特征融合層中1×1卷積層的權(quán)重和偏置。

圖2為多尺度特征融合殘差塊結(jié)構(gòu)圖，MFRB由兩個(gè)MFB串聯(lián)后在外部添加一個(gè)短殘差連接組成，原理可以表示為：

圖2 多尺度特征融合殘差塊Fig.2 Multi-scale feature fusion residual block

其 中：Bk表 示 第k個(gè)MFRB的 輸 出，F(xiàn)k-1表 示 第k-1個(gè)特征融合層的輸出分別表示第k個(gè)MFRB中第一個(gè)和第二個(gè)多尺度特征融合塊的映射函數(shù)。對(duì)于第一個(gè)多尺度特征融合塊的輸入特征Fk-1，首先采用大小為3×3和5×5的卷積核分別提取特征，再分別使用ReLU激活函數(shù)激活后得到不同尺度的特征T1、X1。為防止特征丟失并充分利用不同尺度的特征，多尺度特征融合塊采用特征融合的結(jié)構(gòu)將T1、X1以及輸入特征Fk-1融合得到融合特征O1。第k個(gè)MFRB中第一個(gè)多尺度特征融合塊的原理可以表示為：

2.3 特征重建

如圖1所示，圖像重建模塊由上采樣層和重建層組成。目前單圖像超分辨率重建尺度放大方法中最常見的有基于插值、亞像素卷積［12］和反卷積三種方法。本文選擇速度快、效果好的亞像素卷積進(jìn)行圖像上采樣，如圖3所示。當(dāng)上采樣因子為2或3時(shí)，上采樣層由一層卷積層、一層像素重組層組成，首先通過卷積層將輸入特征圖的通道數(shù)由M個(gè)變?yōu)镸r2個(gè)，r為圖像上采樣因子。再經(jīng)過像素重組層將Mr2個(gè)通道的特征圖平均分為M組，并將每組r2個(gè)通道中相同位置的r2個(gè)像素點(diǎn)按順序排列為r×r的像素塊，得到一個(gè)M通道且放大r倍的特征圖。當(dāng)上采樣因子為4時(shí)，進(jìn)行兩次2倍上采樣。最后，采用重建層將特征圖的通道數(shù)轉(zhuǎn)化為C，得到重建出的高分辨率圖像。當(dāng)C為1時(shí)，重建出的圖像為灰度圖；當(dāng)C為3時(shí)，重建出的圖像為彩色圖像。圖像重建模塊的原理可以表示為：

圖3 上采樣網(wǎng)絡(luò)Fig.3 Upsampling network

其 中：Fn表 示 圖 像 重 建 模 塊 的 輸 入，HCN(·)、HPX(·)、HRC(·)分別表示卷積層、像素重組層和重建層的映射函數(shù)，BCN、BPX分別表示卷積層、像素重組層的輸出，ISR表示重建出的高分辨率圖像。

2.4 損失函數(shù)

基于卷積網(wǎng)絡(luò)的MDFN采用L1損失函數(shù)訓(xùn)練網(wǎng)絡(luò)。L1損失函數(shù)是圖像超分辨率網(wǎng)絡(luò)模型里較為常用的一種損失函數(shù)，能提供較為穩(wěn)定的梯度，可以指導(dǎo)模型快速收斂。L1損失函數(shù)可以表示為：

其中：fSR(x，y)表示重建圖像，fHR(x，y)表示真實(shí)高分辨率圖像，M、N分別為圖像的寬和高，SL1表示計(jì)算出的L1損失函數(shù)。

3 實(shí)驗(yàn)結(jié)果及分析

3.1 實(shí)驗(yàn)細(xì)節(jié)

本文在基于Ubuntu18.04系統(tǒng)的服務(wù)器上進(jìn)行實(shí)驗(yàn)，采用深度學(xué)習(xí)框架，配置為pytoch1.8.0，Cuda11.1版本，顯卡為GTX3060Ti。采用DIV2K數(shù)據(jù)集作為訓(xùn)練數(shù)據(jù)集，Set5、Set14［22］、BSD100［23］、Urban100［24］這 四 個(gè) 基 準(zhǔn) 數(shù)據(jù)集作為測(cè)試集，將MDFN與同類先進(jìn)算法在測(cè)試集上進(jìn)行圖像重建測(cè)試。

本文模型大小設(shè)置為MFRB的個(gè)數(shù)為6，每個(gè)MFRB中包含2個(gè)MFB，每個(gè)MFRB的輸入、輸出通道數(shù)均為64，MFRB內(nèi)的第一個(gè)MFB中3×3卷積核輸出通道數(shù)為64，第二個(gè)MFB中3×3卷積核輸出通道數(shù)為128。初始學(xué)習(xí)率設(shè)為10-4，每訓(xùn)練200個(gè)epoch學(xué)習(xí)率減半，優(yōu)化方法采用自適應(yīng)矩估計(jì)優(yōu)化器（Adaptive Momentum Estimation，ADAM），設(shè)置參數(shù)為β1=0.9，β2=0.999，ε=10-8。

3.2 性能評(píng)價(jià)指標(biāo)

本文采用圖像超分辨率重建方法中常用的結(jié)構(gòu)相似度（Structural Similarity，SSIM）和峰值信噪比（Peak Signal to Noise Ratio，PSNR）作為性能評(píng)價(jià)指標(biāo)。峰值信噪比是目前最廣泛使用的圖像評(píng)價(jià)指標(biāo)，單位是dB，兩幅圖像間的PSNR越高表示重建圖像相比于高分辨率圖像失真越少。為了更加全面地評(píng)價(jià)圖像，SSIM也被用作本文的性能評(píng)價(jià)指標(biāo)。SSIM從亮度、對(duì)比度以及結(jié)構(gòu)三個(gè)維度衡量圖像的相似性，其值越接近1，說明重建圖像與高分辨率圖像結(jié)構(gòu)越相似，重建效果越好。

3.3 消融研究

為了驗(yàn)證本文提出的MFRB和密集特征融合結(jié)構(gòu)對(duì)模型重建效果的提升。分別將Resblock［14］、RDN［17］、MSRB［18］、MFRB以 及 去 除MFRB中輸入特征融合線的多尺度簡(jiǎn)化融合殘差塊（Multi-scale Simplified Fusion Residual Block，MSFB）這5種網(wǎng)絡(luò)塊分別進(jìn)行層次特征融合［18］以及密集特征融合，采用的網(wǎng)絡(luò)塊數(shù)量均為6個(gè)。以每種模型在細(xì)節(jié)信息較多的Urban100數(shù)據(jù)集上的2倍重建結(jié)果展示不同連接方式、不同特征提取模塊對(duì)模型性能的影響，如表1所示。

從表1中可以看出，在同樣的網(wǎng)絡(luò)塊間采用密集特征融合結(jié)構(gòu)進(jìn)行連接的效果明顯好于層次特征融合結(jié)構(gòu)，密集特征融合結(jié)構(gòu)在MSFB、Resblock、RDN、MSRB、MFRB模塊上的PSNR比層次特征融合結(jié)構(gòu)分別提高了0.05 dB、0.03 dB、0.07 dB、0.07 dB、0.06 dB，SSIM平均提升了約0.000 8，有效證明了密集特征融合結(jié)構(gòu)能夠更好地利用特征信息，提高模型重建效果。

表1 不同連接方式、不同特征提取模塊對(duì)模型性能的影響Tab.1 Effects of different connection modes and different feature extraction modules on model performance

在相同的特征融合方式下，MFRB的重建性能明顯優(yōu)于其他模塊。在密集特征融合結(jié)構(gòu)下，Resblock表 現(xiàn) 的 效 果 最 差，PSNR和SSIM分 別比MFRB低0.88 dB、0.010 0，RDN、MSRB、MSFB的效果好于Resblock，但PSNR和SSIM仍然分別比本文所提出的MFRB平均低0.08 dB和0.002 0。以上實(shí)驗(yàn)充分說明本文所提出的密集特征融合結(jié)構(gòu)和MFRB能夠有效提升圖像重建效果、改善模型性能。

3.4 網(wǎng)絡(luò)性能對(duì)比

為了驗(yàn)證本文算法的有效性，將MDFN與Bicubic［25］、SRCNN［10］、VDSR［13］、DRCN［15］、LapSRN［26］、MSRN［18］、IMDN［19］、OISR-SK2［20］、LatticeNet［27］和DID-D5［21］這 十 種 現(xiàn) 有 圖 像 超 分辨率算法分別在客觀評(píng)價(jià)指標(biāo)和主觀視覺效果兩方面進(jìn)行對(duì)比。其中DID算法通過堆積大量的卷積層取得了復(fù)雜深度的高性能，為公平起見，本文對(duì)DID算法進(jìn)行了參數(shù)調(diào)整和重新訓(xùn)練，保持和本文算法相似的參數(shù)量和相同的訓(xùn)練集。使用五個(gè)可變局部密集塊，每個(gè)密集塊的卷積層數(shù)由2遞增到10，并將其命名為DID-D5。為了充分驗(yàn)證MDFN網(wǎng)絡(luò)模型的效果，分別在三種不同縮放因子下進(jìn)行了實(shí)驗(yàn)。

表2展示了不同超分辨率重建算法在Set5、Set14、BSD100和Urban100四 個(gè) 基 準(zhǔn) 數(shù) 據(jù) 集 上取得的PSNR和SSIM。通過表中數(shù)據(jù)可知，本文所提MDFN的大部分客觀評(píng)價(jià)指標(biāo)都處于領(lǐng)先水平，特別是與ECCV上提出的規(guī)模較大模型MSRN相比，在所有測(cè)試集上均取得了更高的PSNR值，尤其是在細(xì)節(jié)信息較多的Urban100數(shù)據(jù)集上取得的PSNR和SSIM分別平均比MSRN高0.33 dB和0.002 3；與2021年 發(fā)表在ICPR上的最新算法DID-D5相比，在Urban100測(cè)試集上的PSNR和SSIM分別平均提升 了0.06 dB和0.001 4；與2019年CVPR上 提出的OISR-SK2相比，在Set14測(cè)試集上的PSNR、SSIM分 別 平 均 提 升 了0.04 dB、0.000 9，充分證明了本文方法能夠有效提升模型性能。

表2 縮放因子為2、3、4時(shí)在基準(zhǔn)數(shù)據(jù)集下的指標(biāo)對(duì)比Tab.2 Index comparison under benchmark dataset when scaling factor is 2，3 and 4

續(xù)表2縮放因子為2、3、4時(shí)在基準(zhǔn)數(shù)據(jù)集下的指標(biāo)對(duì)比Tab.2 Index comparison under benchmark dataset when scaling factor is 2，3 and 4

主觀視覺效果方面，圖4～6中展示了不同算法在Urban100數(shù)據(jù)集中部分圖像的4倍重建結(jié)果。由圖4可知，不同算法重建出的百葉窗圖像清晰度相差較大，Bicubic、SRCNN兩種算法重建效果較差，百葉窗線條不清晰，圖像細(xì)節(jié)非常模糊，VDSR、LapSRN、MSRN、OISR-SK2、LatticeNet和DID-D5算法的重建效果有所提升，百葉窗邊緣基本清晰，但仍存在振鈴效應(yīng)。MDFN與其他算法相比重建效果最好，圖像紋理細(xì)節(jié)更加清晰，基本不存在振鈴現(xiàn)象。圖5中，通過對(duì)比不同算法重建屋頂天花板的圖像，能夠發(fā)現(xiàn)本文提出的MDFN可以重建出清晰的線條并能夠有效削弱振鈴效應(yīng)。由圖6可以觀察到，九種方法重建圖像均出現(xiàn)了線條方向錯(cuò)亂問題。除OISRSK2、DID-D5及MDFN外，其他 幾 種 方 法 幾 乎無法看到正確方向的線條，而OISR-SK2、DIDD5重建圖像中正確方向的線條仍存在嚴(yán)重失真、不清晰等問題，與其他方法相比MDFN重建效果最好，特別是線條方向錯(cuò)亂問題明顯減輕、圖像細(xì)節(jié)更加清晰。實(shí)驗(yàn)結(jié)果表明，本文提出的采用MFRB和密集特征融合結(jié)構(gòu)的MDFN無論從客觀評(píng)價(jià)指標(biāo)還是主觀視覺效果來看都是最優(yōu)的。

圖4 Urban100中Img040重建結(jié)果Fig.4 Reconstruction results of Img040 in Urban100

圖5 Urban100中Img056重建結(jié)果Fig.5 Reconstruction results of Img056 in Urban100

圖6 Urban100中Img092重建 結(jié)果Fig.6 Reconstruction results of Img092 in Urban100

3.5 模型參數(shù)分析

本文進(jìn)一步分析了模型中MFRB的數(shù)量（D）、MFRB中卷積層輸出通道數(shù)（C）、MFRB中MFB的數(shù)量（G）對(duì)模型性能的影響。設(shè)計(jì)了3組實(shí)驗(yàn)分別測(cè)試D、C、G對(duì)模型性能的影響，測(cè)試結(jié)果如圖7所示，其中，CH表示MFRB中第一個(gè)、第二個(gè)MFB的卷積層輸出通道數(shù)分別為64、128。

從圖7（a）中可以看出，增加MFRB的數(shù)量加深了模型深度可有效提高模型性能。如圖7（c）所示，MFRB中MFB的數(shù)量增加時(shí)，模型的PSNR得到提高，表明增加MFB的數(shù)量加深網(wǎng)絡(luò)也可有效提高模型重建效果。由圖7（b）可知，網(wǎng)絡(luò)中C越大，模型的重建性能越好，但相比于MFRB中第一個(gè)、第二個(gè)MFB的卷積層輸出通道數(shù)分別為64、128，C為128時(shí)的重建效果提升不多，網(wǎng)絡(luò)參數(shù)卻會(huì)大幅增加。由以上實(shí)驗(yàn)可知，增加MFRB的數(shù)量、MFB的數(shù)量或MFRB中卷積層輸出通道數(shù)均可以提高模型性能，但模型的復(fù)雜度以及參數(shù)量也會(huì)隨之增加。為了避免本文模型計(jì)算量過大、計(jì)算速度變慢，最終在MDFN中采用了6個(gè)MFRB，每個(gè)MFRB中包含2個(gè)MFB，其中第一個(gè)MFB卷積層輸出通道數(shù)設(shè)為64，第二個(gè)MFB卷積層輸出通道數(shù)設(shè)為128。

圖7 不同D、C、G的模型PSNR結(jié)果Fig.7 PSNR results of different D,C and G models

3.6 模型大小分析

為了驗(yàn)證MDFN的有效性，將本文算法分別 與DID-D5［21］、OISR-SK2［20］、MSRN［18］三 個(gè)先進(jìn)超分辨率算法分別在模型復(fù)雜度和重建性能方面進(jìn)行對(duì)比。表3（使用Set5（×4）的數(shù)據(jù)集）展示了本文所提MDFN與MSRN、OISRSK2、DID-D5模型復(fù)雜度和部分重建結(jié)果指標(biāo)。

表3 不同模型的復(fù)雜度與性能Tab.3 Complexity and performance of different models

從表中可以看到，與OISR-SK2相比，MDFN的PSNR和SSIM分 別 提 高 了0.09 dB、0.001 1，同時(shí)Flops減少了25.25%，參數(shù)量也顯著降低；與DID-D5相比，本文算法在參數(shù)量和Flops均減少的情況下，PSNR和SSIM分別提升了0.08 dB、0.000 8；MSRN的參數(shù)量和計(jì)算量分別高于本文算法1.19 M、19.51 G，但重建效果明顯低于本文所提出的MDFN，充分說明了本文算法的有效性。

圖8和 圖9分 別 展 示 了MDFN、MSRN、OISR-SK2和DID-D5在 測(cè) 試 集Urban100中 的Img056、Img081上的4倍重建 結(jié) 果。從圖8中 可以看出，DID-D5在窗戶線條處出現(xiàn)了振鈴效應(yīng)，線條明顯模糊彎曲，相比于其他三種算法，MDFN能夠恢復(fù)出較直且清晰的線條以及更接近真實(shí)的大樓外側(cè)圖像。圖9中MDFN重建圖像的線條有清晰的輪廓、無模糊重影現(xiàn)象，并且與黃色背景區(qū)分明顯，相比于MSRN、OISR-SK2和DID-D5，能夠重建出更接近真實(shí)的圖像。以上實(shí)驗(yàn)結(jié)果表明，MDFN不僅提升了重建效果，而且降低了模型復(fù)雜度，提高了特征信息利用率，實(shí)現(xiàn)了更高效的超分辨率重建。

圖8 Urban100中Img056重建結(jié)果Fig.8 Reconstruction results of Img056 in Urban100

圖9 Urban100中Img081重建結(jié)果Fig.9 Reconstruction results of Img081 in Urban100

此外，由圖10可以看出，與SRCNN、VDSR、DRCN、LapSRN、MSRN、OISR-SK2和DID-D5這七種算法相比，MDFN在Set5測(cè)試集上4倍重建圖像的PSNR是最高的，但MDFN的參數(shù)量明顯少于MSRN、OISR-SK2和DID-D5，充分說明了本文模型的優(yōu)越性。

圖10 不同模型在Set5（×4）上的PSNR以及參數(shù)量Fig.10 PSNR and parameters on Set5（×4）dataset of different models

4 結(jié)論

本文提出了一種多尺度密集特征融合網(wǎng)絡(luò)模型，該模型通過構(gòu)建多尺度特征融合殘差塊、密集特征融合結(jié)構(gòu)克服了特征信息利用率低、提取特征信息不全面等問題。該模型核心模塊由6個(gè)多尺度特征融合殘差塊組成，并將殘差塊提取到的特征進(jìn)行了密集融合，加強(qiáng)了網(wǎng)絡(luò)塊之間的特征聯(lián)系、充分利用了圖像特征信息、提高了重建效果。在四個(gè)基準(zhǔn)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，本文所提網(wǎng)絡(luò)模型重建圖像的客觀評(píng)價(jià)指標(biāo)以及視覺效果均優(yōu)于現(xiàn)有網(wǎng)絡(luò)，尤其在Set5數(shù)據(jù)集上的4倍重建結(jié)果的峰值信噪比提升了0.08 dB；與MSRN、OISR-SK2以 及DID-D5算法 相比，在參數(shù)量分別減少19.57%、11.25%、6.14%的同時(shí)獲得了更好的重建效果。由于本文著重研究以較少的參數(shù)獲取更優(yōu)的性能，在模型的結(jié)構(gòu)、模型性能方面仍有所欠缺。在未來的工作中，將進(jìn)一步優(yōu)化多尺度密集特征融合網(wǎng)絡(luò)，從而搭建出結(jié)構(gòu)更簡(jiǎn)單、性能更好的模型。