基于密集殘差連接U型網(wǎng)絡(luò)的噪聲圖像超分辨率重建

劉鵬南， 李龍， 張紫豪， 朱星光， 程德強(qiáng)

（1.中國(guó)礦業(yè)大學(xué) 信息與控制工程學(xué)院，江蘇 徐州 221116；2.山東黃金礦業(yè)（萊西）有限公司，山東 青島 266600）

0 引言

在煤炭開(kāi)采作業(yè)中，粉塵、水霧及低光照條件常導(dǎo)致井下目標(biāo)圖像的成像分辨率低，使得人眼在復(fù)雜工作環(huán)境中難以捕捉到足夠的細(xì)節(jié)信息，對(duì)煤炭生產(chǎn)過(guò)程進(jìn)行監(jiān)控和管理變得異常困難[1]。圖像超分辨率重建旨在從低分辨率圖像中恢復(fù)出高分辨率圖像，以提供更多細(xì)節(jié)信息，有助于改善圖像的可視化質(zhì)量和信息傳遞效果[2]。

目前圖像超分辨率重建方法主要分為3類：基于插值的方法[3]、基于重構(gòu)的方法[4-5]和基于學(xué)習(xí)的方法[6]?；诓逯档姆椒煽焖俚玫街亟ńY(jié)果，但重建圖像會(huì)存在邊緣模糊的問(wèn)題?；谥貥?gòu)的方法計(jì)算量少，但在重建過(guò)程中會(huì)忽略圖像的高頻細(xì)節(jié)信息，導(dǎo)致重建圖像不真實(shí)。基于學(xué)習(xí)的方法可提取更豐富、更具體的圖像細(xì)節(jié)信息，圖像重建效果優(yōu)于前2種方法，其主要采用早期的淺層機(jī)器學(xué)習(xí)與當(dāng)下常用的深度學(xué)習(xí)來(lái)完成圖像超分辨率重建任務(wù)。

在基于學(xué)習(xí)的方法中，研究人員已經(jīng)提出了許多網(wǎng)絡(luò)來(lái)完成圖像超分辨率重建任務(wù)。Yang Shuyuan等[7]提出了基于稀疏編碼理論的圖像超分辨率重建網(wǎng)絡(luò)，該網(wǎng)絡(luò)主要通過(guò)圖像的稀疏表示學(xué)習(xí)獲得高分辨率字典與低分辨率字典，并根據(jù)高低分辨率圖像之間的映射關(guān)系對(duì)圖像進(jìn)行重建。Dong Chao等[8]提出了超分辨率卷積神經(jīng)網(wǎng)絡(luò)（Super Resolution Convolutional Neural Network，SRCNN），首次將深度學(xué)習(xí)引入圖像超分辨率重建領(lǐng)域；之后，Dong Chao等[9]提出了快速超分辨率卷積神經(jīng)網(wǎng)絡(luò)（Fast Super-resolution Convolutional Neural Network，F(xiàn)SRCNN），該網(wǎng)絡(luò)通過(guò)引入可以改變特征維度的反卷積層，實(shí)現(xiàn)了加速網(wǎng)絡(luò)訓(xùn)練的目的。Shi Wenzhe等[10]提出了高效的亞像素卷積神經(jīng)網(wǎng)絡(luò)（Efficient Sub-pixel Convolutional Neural Network，ESPCN），實(shí)現(xiàn)了在網(wǎng)絡(luò)中對(duì)圖像進(jìn)行縮放的目的，加快了網(wǎng)絡(luò)對(duì)圖像重建的速度。He Kaiming等[11]提出了殘差網(wǎng)絡(luò)（Residual Network，ResNet），用來(lái)解決網(wǎng)絡(luò)深度較大時(shí)訓(xùn)練困難的問(wèn)題。J.Kim等[12]提出了極深超分辨率卷積神經(jīng)網(wǎng)絡(luò)（Very Deep Convolution Networks for Super-resolution，VDSR），該網(wǎng)絡(luò)深度達(dá)20層，相較于淺層網(wǎng)絡(luò)具有更好的性能。B.Lim等[13]提出了增強(qiáng)型深度超分辨率卷積神經(jīng)網(wǎng)絡(luò)（Enhanced Deep Super-resolution Network，EDSR），該網(wǎng)絡(luò)去除了批歸一化層[14]，且網(wǎng)絡(luò)深度進(jìn)一步增加，圖像重建效果得到進(jìn)一步提升[15]。Zhang Yulun等[16]提出了殘差密集網(wǎng)絡(luò)（Residual Dense Network，RDN），該網(wǎng)絡(luò)利用密集連接的方式將各層級(jí)之間的特征充分融合，得到了更好的圖像重建效果。Chen Liangliang等[17]提出了基于內(nèi)容引導(dǎo)的單圖像超分辨率深度殘差網(wǎng)絡(luò)（Content-guided Deep Residual Network for Single Image Super-resolution，CDRN），該網(wǎng)絡(luò)增加深度的同時(shí)對(duì)圖像內(nèi)容進(jìn)行導(dǎo)向化，以準(zhǔn)確實(shí)現(xiàn)圖像細(xì)節(jié)的超分辨率重建。程德強(qiáng)等[18]提出了多通道遞歸殘差圖像超分辨率網(wǎng)絡(luò)（Multi Channel Recursive Residual Image Super-resolution Network，MCRRN），該網(wǎng)絡(luò)改變了傳統(tǒng)的用跳躍連接進(jìn)行特征融合的方式，將不同層的特征進(jìn)行跨尺度融合，使網(wǎng)絡(luò)學(xué)習(xí)到更豐富的特征，改善了圖像重建效果。

雖然以上網(wǎng)絡(luò)對(duì)于圖像超分辨率重建具有較好的性能，但存在以下問(wèn)題：① 上述網(wǎng)絡(luò)未考慮噪聲環(huán)境的影響，應(yīng)用背景多是理想環(huán)境下的低分辨率圖像，無(wú)法在對(duì)低分辨率圖像重建的同時(shí)去除噪聲。② VDSR，EDSR，CDRN等網(wǎng)絡(luò)通過(guò)增加網(wǎng)絡(luò)深度的方式來(lái)提升特征提取能力，但該方式會(huì)使網(wǎng)絡(luò)無(wú)差別地對(duì)待圖像特征，無(wú)法對(duì)圖像關(guān)鍵特征進(jìn)行有效提取，且隨著網(wǎng)絡(luò)深度的增加，容易出現(xiàn)高頻細(xì)節(jié)信息丟失的問(wèn)題，導(dǎo)致網(wǎng)絡(luò)重建性能下降。

針對(duì)上述問(wèn)題，本文以卷積神經(jīng)網(wǎng)絡(luò)中的U-Net結(jié)構(gòu)為基礎(chǔ)，提出了一種密集殘差連接U型網(wǎng)絡(luò)，用于對(duì)低分辨率噪聲圖像進(jìn)行超分辨率重建。在密集殘差連接U型網(wǎng)絡(luò)中，設(shè)計(jì)了一種基于密集殘差連接的去噪模塊（Dense Residual Connected Denoising Module，DRCDM），利用殘差學(xué)習(xí)的特點(diǎn)對(duì)低分辨率噪聲圖像進(jìn)行有效去噪；提出了一種殘差特征注意力蒸餾模塊（Residual Feature Attention Distillation Module，RFAM），該模塊通過(guò)增強(qiáng)特征注意力塊（Enhanced Feature Attention Block，EFAB）對(duì)不同空間的特征賦予不同的權(quán)重，可加強(qiáng)網(wǎng)絡(luò)對(duì)于圖像關(guān)鍵特征的提取能力，同時(shí)減少圖像細(xì)節(jié)特征在殘差塊中的損失，從而提升圖像重建質(zhì)量。

1 密集殘差連接U型網(wǎng)絡(luò)

1.1 整體網(wǎng)絡(luò)結(jié)構(gòu)

對(duì)U-Net進(jìn)行改進(jìn)，得到密集殘差連接U型網(wǎng)絡(luò)，其結(jié)構(gòu)如圖1所示。① 在特征提取路徑中去除最大池化層，不再改變特征尺寸，只擴(kuò)大特征通道數(shù)，最大程度減少圖像分辨率的丟失。② 為降低網(wǎng)絡(luò)訓(xùn)練難度，不再使用U-Net的5層結(jié)構(gòu)，只使用3層結(jié)構(gòu)，即對(duì)特征通道數(shù)進(jìn)行2次擴(kuò)張，每次擴(kuò)張都會(huì)使本層特征通道數(shù)擴(kuò)大為上一層的2倍。③ 在特征提取路徑中引入DRCDM，對(duì)低分辨率噪聲圖像進(jìn)行噪聲去除。④ 在重建路徑中引入RFAM，從而提取更關(guān)鍵的特征，且殘差連接的存在可有效防止梯度爆炸、梯度消失、網(wǎng)絡(luò)退化等問(wèn)題，以確保獲取的圖像特征被充分利用。

圖1 密集殘差連接U型網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Dense residual connected U-shaped network structure

首先使用64個(gè)3×3大小的卷積層（Convolution Layer）將RGB噪聲圖像轉(zhuǎn)換成粗特征F0，并通過(guò)ReLU函數(shù)對(duì)粗特征進(jìn)行非線性激活。接著將F0輸入去噪模塊，去噪模塊主要學(xué)習(xí)干凈圖像和噪聲圖像之間的殘差，并最小化其差異：

式中：X為估計(jì)出的干凈圖像；Y為帶有噪聲的圖像；R（·）為去噪函數(shù)；V為噪聲圖像和干凈圖像的殘差。

去噪模塊的輸出經(jīng)過(guò)2個(gè)卷積塊（Convolution Block）分別將特征通道數(shù)擴(kuò)展為128，256，擴(kuò)展后的2個(gè)特征分別為F1，F(xiàn)2。

式中fe（·）為特征通道數(shù)的擴(kuò)展操作。

接著通過(guò)4個(gè)RFAM對(duì)F2進(jìn)行細(xì)節(jié)特征提取，再經(jīng)過(guò)3×3大小的卷積層將F2的特征通道數(shù)降到128，降維后的特征為

式中：fr（·）為特征通道數(shù)的降維操作；fRFAM（·）為RFAM細(xì)節(jié)特征提取操作。

隨后將F1′輸入4個(gè)RFAM進(jìn)行特征細(xì)化，并經(jīng)過(guò)1個(gè) 3×3大小的卷積層將特征通道數(shù)降到64，降維后的特征為

之后將F0′通過(guò)亞像素卷積進(jìn)行像素重排，并通過(guò)最后一個(gè)3×3大小的卷積層將特征通道數(shù)還原為3，得到重建后的圖像：

式中fps（·）為像素重排操作。

1.2 DRCDM

在用于去噪的卷積神經(jīng)網(wǎng)絡(luò)（Denoising Convolutional Neural Network，DnCNN）中加入殘差塊及密集連接，得到DRCDM，其結(jié)構(gòu)如圖2所示。

輸入的粗特征先經(jīng)過(guò)64個(gè)3×3大小的卷積層進(jìn)行細(xì)化，再由ReLU函數(shù)進(jìn)行非線性激活。接著利用密集連接特征融合注意力塊（Densely-Connected Feature Fusion Attention Block，DFAB）對(duì)圖像的關(guān)鍵特征進(jìn)行提取。

DFAB結(jié)構(gòu)如圖3所示，主要由4個(gè)殘差特征融合層（Residual Feature Fusion Layer，RFL）通過(guò)密集連接構(gòu)成。RFL由1個(gè)殘差塊（Residual Block）及1個(gè)特征融合層（Feature Fusion Layer）組成，其中殘差塊通過(guò)32個(gè)3×3大小的卷積層進(jìn)行特征提取，特征融合層先對(duì)輸入特征進(jìn)行通道維度串接（Concat）操作，再通過(guò)1個(gè)1×1大小的卷積層降維。淺層特征及每個(gè)RFL的輸出都采用密集特征融合的方式在特征融合層進(jìn)行特征融合。接著通過(guò)卷積塊注意力模塊[19]（Convolutional Block Attention Module，CBAM）對(duì)輸入特征進(jìn)行加權(quán)，提高網(wǎng)絡(luò)對(duì)圖像關(guān)鍵特征的提取能力。最終通過(guò)64個(gè)3×3大小的卷積層將特征通道數(shù)還原為64。

圖3 DFAB結(jié)構(gòu)Fig.3 Structure of densely-connected feature fusion attention block

DFAB的輸出通過(guò)由卷積層、去歸一化層（Batch Normalization，BN）及ReLU函數(shù)串聯(lián)組成的模塊進(jìn)行深層特征提取，再通過(guò)3個(gè)3×3大小的卷積層將特征通道數(shù)還原為輸入的三通道。

1.3 RFAM

增加卷積神經(jīng)網(wǎng)絡(luò)深度有利于提升特征提取能力，但過(guò)深的網(wǎng)絡(luò)容易導(dǎo)致高頻信息丟失，且無(wú)法差別對(duì)待特征，帶來(lái)多余的信息干擾。殘差特征蒸餾模塊[20]通過(guò)卷積層以一定比例壓縮特征通道來(lái)進(jìn)行特征蒸餾，即保留一部分特征，對(duì)另一部分特征繼續(xù)進(jìn)行細(xì)化。該方式提高了特征提取效率，且通過(guò)殘差學(xué)習(xí)對(duì)丟失的高頻信息進(jìn)行補(bǔ)償。本文在殘差特征蒸餾模塊的基礎(chǔ)上增加EFAB，由此構(gòu)建RFAM，利用注意力機(jī)制提高網(wǎng)絡(luò)對(duì)關(guān)鍵特征的關(guān)注，減少多余信息的干擾。

RFAM結(jié)構(gòu)如圖4所示。首先采用通道分離操作將輸入特征分為2個(gè)部分，一部分特征由單卷積層進(jìn)行通道壓縮，另一部分特征由EFAB進(jìn)行特征細(xì)化。然后將所有通道壓縮后的特征融合，融合后的特征再送入EFAB進(jìn)行特征增強(qiáng)。最后通過(guò)1個(gè)1×1大小的卷積層進(jìn)行特征降維，將特征通道數(shù)恢復(fù)為輸入通道數(shù)。

圖4 RFAM結(jié)構(gòu)Fig.4 Structure of residual feature attention distillation module

EFAB由2個(gè)3×3大小的卷積層、ReLU函數(shù)及增強(qiáng)空間注意力（Enhanced Spatial Attention，ESA）模塊構(gòu)成。輸入特征先經(jīng)過(guò)2個(gè)卷積層和ReLU函數(shù)進(jìn)行特征細(xì)化和激活，再輸入ESA模塊。ESA模塊首先對(duì)輸入特征使用1個(gè)1×1大小的卷積層進(jìn)行通道數(shù)降維。其次通過(guò)stride為2的卷積（Stride Conv）、2×2大小的最大池化層（Pooling）及卷積組（Conv Groups）來(lái)擴(kuò)大感受野范圍，其中卷積組由7×7大小的最大池化層和stride為3的卷積層組成。然后對(duì)輸出的特征進(jìn)行上采樣（Upsampling），并通過(guò)殘差連接與降維后的輸入特征相加。最后將相加的特征通過(guò)1個(gè)1×1大小的卷積層恢復(fù)到輸入通道數(shù)，通過(guò)Sigmoid函數(shù)生成特征注意力權(quán)重，并與輸入特征點(diǎn)乘，得到ESA模塊的輸出。該結(jié)構(gòu)保證了圖像中較為平滑的低頻信息在網(wǎng)絡(luò)中可有效傳遞，還可利用注意力機(jī)制對(duì)高頻信息進(jìn)行高效學(xué)習(xí)，保證網(wǎng)絡(luò)訓(xùn)練效率，有利于提高圖像重建質(zhì)量。

2 實(shí)驗(yàn)結(jié)果與分析

2.1 實(shí)驗(yàn)設(shè)置

實(shí)驗(yàn)硬件環(huán)境：Intel（R） Core（TM） i9-10980XE CPU@3.00 GHz，18核36線程；64 GiB內(nèi)存；NVIDIA RTX 3090顯卡，24 GiB顯存。軟件環(huán)境：Ubuntu20.04操作系統(tǒng)；Pytorch1.8深度學(xué)習(xí)框架；CUDA11.4加速學(xué)習(xí)；Python3.7編程語(yǔ)言。

網(wǎng)絡(luò)共迭代訓(xùn)練500次，初始學(xué)習(xí)率設(shè)置為0.000 1，當(dāng)網(wǎng)絡(luò)訓(xùn)練次數(shù)達(dá)300時(shí)，學(xué)習(xí)率減半，優(yōu)化方法采用自適應(yīng)矩估計(jì)（Adaptive Momentum Estimation，Adam）優(yōu)化器，其參數(shù)β1=0.9，β2=0.99。損失函數(shù)采用L1損失函數(shù)。

2.2 實(shí)驗(yàn)數(shù)據(jù)集

在公共數(shù)據(jù)集DIV2K和煤礦井下圖像數(shù)據(jù)集CMUID[1]（CMUID下載地址：https://github.com/CUMT-AIPR-Lab/CUMT-AIPR-Lab）中添加相同水平的高斯噪聲作為訓(xùn)練集。選取Set5[21]，Set14[22]，B100[23]，Urban100[24]，CMUID[1]中煤礦帶式輸送機(jī)場(chǎng)景及工作車間場(chǎng)景并添加相同水平的高斯噪聲，生成相應(yīng)的Noise-Set5、Noise-Set14、Noise-B100、Noise-Urban100、Noise-場(chǎng)景1、Noise-場(chǎng)景2作為測(cè)試集。本文添加的高斯噪聲的標(biāo)準(zhǔn)差為25 dB。

2.3 實(shí)驗(yàn)對(duì)比網(wǎng)絡(luò)及評(píng)價(jià)指標(biāo)

為驗(yàn)證本文網(wǎng)絡(luò)對(duì)低分辨率噪聲圖像的重建效果，采用雙三次插值[25]（Bicubic）、ESPCN[10]、EDSR[13]、殘差通道注意力網(wǎng)絡(luò)[26]（Residual Channel Attention Networks，RCAN）、深度反向投影網(wǎng)絡(luò)[27]（Deep Back-Projection Network，DBPN）、跨尺度非局部注意網(wǎng)絡(luò)[28]（Cross-Scale Non-Local Attention Network，CSNLN）、非局部稀疏注意力網(wǎng)絡(luò)[29]（Non-Local Sparse Attention Network，NLSN）及邊緣增強(qiáng)特征蒸餾網(wǎng)絡(luò)[30]（Edge-enhanced Feature Distillation Network，EFDN）進(jìn)行對(duì)比實(shí)驗(yàn)。

選用結(jié)構(gòu)相似度（Structural Similarity，SSIM）、圖像感知相似度（Learned Perceptual Image Patch Similarity，LPIPS）及峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）作為評(píng)價(jià)指標(biāo)，對(duì)圖像超分辨率重建效果進(jìn)行評(píng)估。SSIM從圖像結(jié)構(gòu)、對(duì)比度和亮度3個(gè)方面對(duì)圖像質(zhì)量進(jìn)行評(píng)價(jià)，其值越大，表示圖像質(zhì)量越高；LPIPS反映2張圖像在感知方面的相似度，符合人類的主觀感知，其值越小，表示圖像質(zhì)量越高。PSNR通過(guò)計(jì)算2張圖像對(duì)應(yīng)像素點(diǎn)間的誤差來(lái)衡量圖像質(zhì)量，其值越大，表示圖像質(zhì)量越高。

2.4 網(wǎng)絡(luò)參數(shù)實(shí)驗(yàn)

為探究不同數(shù)量RFL對(duì)整體網(wǎng)絡(luò)去噪性能的影響，對(duì)分別含有0，1，2，3，4個(gè)RFL的網(wǎng)絡(luò)進(jìn)行對(duì)比實(shí)驗(yàn)。含有不同數(shù)量RFL的網(wǎng)絡(luò)在測(cè)試集Noise-Set14、Nosie-B100（圖像縮放因子為4）上的SSIM和LPIPS見(jiàn)表1、表2。

表1 含有不同數(shù)量RFL的網(wǎng)絡(luò)在Noise-Set14上的LPIPS和SSIMTable 1 LPIPS and SSIM of network with different numbers of residual feature fusion layer on Noise-Set14

表2 含有不同數(shù)量RFL的網(wǎng)絡(luò)在Noise-B100上的LPIPS和SSIMTable 2 LPIPS and SSIM of network with different numbers of residual feature fusion layer on Noise-B100

從表1、表2可看出，與含有0，1，2，3個(gè)RFL的網(wǎng)絡(luò)相比，含有4個(gè)RFL的網(wǎng)絡(luò)在Noise-Set14測(cè)試集上的LPIPS分別減少了0.124，0.067，0.031，0.009，SSIM分別提高了0.136，0.094，0.046，0.011；在Noise-B100測(cè)試集上的LPIPS分別減少了0.107，0.073，0.038，0.007，SSIM分別提高了0.038，0.023，0.017，0.006。隨著RFL數(shù)量增加，LPIPS逐漸降低，SSIM逐漸升高；含有4個(gè)RFL的網(wǎng)絡(luò)相對(duì)于含有0，1，2，3個(gè)RFL的網(wǎng)絡(luò)的SSIM提升幅度及LPIPS降低幅度逐漸變小，說(shuō)明隨著RFL數(shù)量增加，網(wǎng)絡(luò)對(duì)于低分辨率噪聲圖像的重建性能逐漸達(dá)到飽和。

為防止網(wǎng)絡(luò)性能退化及網(wǎng)絡(luò)訓(xùn)練難度增加，本文選用4個(gè)RFL。

2.5 消融實(shí)驗(yàn)

為驗(yàn)證DRCDM及RFAM的效果，在U-Net基礎(chǔ)上增加不同模塊進(jìn)行消融實(shí)驗(yàn)，在測(cè)試集Noise-Set14上的結(jié)果見(jiàn)表3，可看出同時(shí)添加DRCDM與RFAM后，客觀評(píng)價(jià)指標(biāo)最優(yōu)。

表3 消融實(shí)驗(yàn)結(jié)果Table 3 Results of ablation experiments

2.6 網(wǎng)絡(luò)對(duì)比實(shí)驗(yàn)

2.6.1 不同網(wǎng)絡(luò)客觀評(píng)價(jià)指標(biāo)對(duì)比

6種測(cè)試集下不同網(wǎng)絡(luò)重建的圖像與原始高分辨率圖像的客觀評(píng)價(jià)指標(biāo)對(duì)比見(jiàn)表4、表5。可看出本文網(wǎng)絡(luò)在各測(cè)試集上相對(duì)于其他網(wǎng)絡(luò)的LPIPS整體有所降低，SSIM均有所提高，表明本文網(wǎng)絡(luò)對(duì)于低分辨率圖像的重建效果更好。

表4 不同網(wǎng)絡(luò)在測(cè)試集上的LPIPS對(duì)比Table 4 Comparison of LPIPS of different networks on test set

表5 不同網(wǎng)絡(luò)在測(cè)試集上的SSIM對(duì)比Table 5 Comparison of SSIM of different networks on test set

2.6.2 不同網(wǎng)絡(luò)主觀視覺(jué)效果對(duì)比

不同網(wǎng)絡(luò)在測(cè)試集Noise-Urban100、Noise-B100（圖像縮放因子為8）上的圖像超分辨率重建效果如圖5、圖6所示。由于在縮放因子為8的情況下，低分辨率噪聲圖像尺寸較小，為方便比較噪聲圖像重建的視覺(jué)效果，選用重建圖像的部分放大圖進(jìn)行對(duì)比，左側(cè)高分辨率圖像中標(biāo)出的紅框部分即圖像放大區(qū)域。從圖5、圖6可看出，Bicubic重建的圖像依然存在高斯噪聲且圖像中的建筑結(jié)構(gòu)較為模糊；ESPCN，CSNLN重建的圖像有效去除了部分高斯噪聲，但沒(méi)有恢復(fù)圖像的細(xì)節(jié)特征，仍存在一些重影；EDSR重建的圖像出現(xiàn)了失真現(xiàn)象，在重建圖像的左側(cè)出現(xiàn)一團(tuán)“黑影”；DBPN及RCAN重建的圖像過(guò)于平滑，雖然去除了部分高斯噪聲，但沒(méi)有很好地重建圖像的細(xì)節(jié)特征，使得圖像過(guò)于平滑模糊；NLSN及EFDN重建的圖像在建筑整體結(jié)構(gòu)的恢復(fù)上明顯優(yōu)于前幾種網(wǎng)絡(luò)，細(xì)節(jié)特征恢復(fù)較好，但仍存在部分高斯噪聲；本文網(wǎng)絡(luò)重建的圖像可明顯看出建筑整體結(jié)構(gòu)且建筑線條較為清晰，基本不存在多余高斯噪聲，重建效果較為理想。

圖5 不同網(wǎng)絡(luò)在Noise-Urban100上的圖像超分辨率重建效果對(duì)比Fig.5 Comparison of image super resolution reconstruction effect of different networks on Noise-Urban100

圖6 不同網(wǎng)絡(luò)在Noise-B100上的圖像超分辨率重建效果對(duì)比Fig.6 Comparison of image super resolution reconstruction effect of different networks on Noise-B100

為進(jìn)一步驗(yàn)證本文網(wǎng)絡(luò)對(duì)礦井現(xiàn)場(chǎng)圖像的重建效果，分別選取測(cè)試集Noise-場(chǎng)景1、Noise-場(chǎng)景2（圖像縮放因子為4）進(jìn)行超分辨率重建，效果如圖7、圖8所示。可看出Bicubic，ESPCN，EDSR，RCAN，NLSN，EFDN對(duì)邊緣紋理細(xì)節(jié)的重建效果較差，如帽繩線條不清晰、頭燈質(zhì)感模糊、字跡模糊；本文網(wǎng)絡(luò)重建后的圖像帽繩線條清晰、頭燈質(zhì)感真實(shí)、字跡清晰，在主觀視覺(jué)效果上明顯優(yōu)于其他網(wǎng)絡(luò)。

圖8 不同網(wǎng)絡(luò)在Noise-場(chǎng)景2上的圖像超分辨率重建效果對(duì)比Fig.8 Comparison of image super resolution reconstruction effect of different networks on Noise-scenario 2

2.6.3 不同網(wǎng)絡(luò)復(fù)雜度與運(yùn)行速度對(duì)比

以Noise-場(chǎng)景1（圖像縮放因子為4）為例，不同網(wǎng)絡(luò)的復(fù)雜度和運(yùn)行速度對(duì)比結(jié)果見(jiàn)表6。其中網(wǎng)絡(luò)復(fù)雜度通過(guò)參數(shù)量及浮點(diǎn)運(yùn)算量來(lái)衡量，運(yùn)行速度通過(guò)網(wǎng)絡(luò)重建1張圖像的耗時(shí)來(lái)衡量?？煽闯鲈诒ＷC最優(yōu)SSIM的前提下，本文網(wǎng)絡(luò)在復(fù)雜度及運(yùn)行速度上有著較好的均衡。

表6 不同網(wǎng)絡(luò)的復(fù)雜度和運(yùn)行速度對(duì)比Table 6 Comparison of complexity and running speed of different networks

3 結(jié)論

1） 提出了密集殘差連接U型網(wǎng)絡(luò)，用于噪聲圖像超分辨率重建。在特征提取路徑中引入DRCDM，利用殘差學(xué)習(xí)的特點(diǎn)對(duì)低分辨率噪聲圖像進(jìn)行有效去噪；在重建路徑中，通過(guò)RFAM中的EFAB對(duì)不同空間的特征賦予不同的權(quán)重，加強(qiáng)網(wǎng)絡(luò)對(duì)于圖像關(guān)鍵特征的提取能力。

2） 實(shí)驗(yàn)結(jié)果表明，該網(wǎng)絡(luò)在客觀評(píng)價(jià)指標(biāo)及主觀視覺(jué)效果上總體優(yōu)于對(duì)比網(wǎng)絡(luò)，利用該網(wǎng)絡(luò)重建的圖像基本消除了原有圖像噪聲，有效恢復(fù)了圖像細(xì)節(jié)特征。

3） 雖然該網(wǎng)絡(luò)實(shí)現(xiàn)了對(duì)低分辨率噪聲圖像去噪與重建的雙重目的，但仍存在部分細(xì)節(jié)特征模糊的現(xiàn)象。在未來(lái)的工作中，將對(duì)網(wǎng)絡(luò)中的卷積層與注意力機(jī)制進(jìn)行改進(jìn)，引導(dǎo)網(wǎng)絡(luò)學(xué)習(xí)更準(zhǔn)確的細(xì)節(jié)特征，進(jìn)一步提高重建圖像質(zhì)量。