基于多尺度雙階段網(wǎng)絡(luò)的圖像超分辨率重建

陳清江，尹樂璇，邵羅仡

（西安建筑科技大學(xué) 理學(xué)院，陜西 西安 710055）

引言

圖像超分辨率重建(super-resolution reconstruction，SR)是指將給定的低分辨率(low resolution，LR)圖像通過特定的算法重建得到高分辨率(high resolution，HR)圖像的過程。其在醫(yī)學(xué)影像、安全監(jiān)控和遙感圖像處理等諸多領(lǐng)域都有著極為重要的應(yīng)用[1]。隨著SR 技術(shù)的發(fā)展，圖像超分辨率重建已經(jīng)成為計算機(jī)視覺領(lǐng)域中的研究熱點(diǎn)。目前，SR 算法可以分為三大類，分別是基于插值、基于重構(gòu)和基于學(xué)習(xí)的重建算法[2]。其中，基于學(xué)習(xí)的重建方法是當(dāng)前比較主流的方法，尤其是深度學(xué)習(xí)。研究表明，在圖像超分辨率重建領(lǐng)域中，利用深度學(xué)習(xí)可以取得較好的重建效果。2014年，DONG C 等人首次將深度學(xué)習(xí)引入到圖像超分辨率重建領(lǐng)域中，提出超分辨率卷積神經(jīng)網(wǎng)絡(luò)(SRCNN)[3]，該網(wǎng)絡(luò)僅由3 個卷積層構(gòu)成，在圖像輸入前，首先對其進(jìn)行了預(yù)處理操作，這是第一個基于深度學(xué)習(xí)的圖像超分辨率重建算法。此后，DONG C 等人在SRCNN 的基礎(chǔ)上進(jìn)行了一定的改進(jìn)，提出快速超分辨率卷積神經(jīng)網(wǎng)絡(luò) (FSRCNN)[4]，該網(wǎng)絡(luò)引入轉(zhuǎn)置卷積進(jìn)行上采樣，代替了SRCNN 中的雙三次插值操作，使網(wǎng)絡(luò)直接在LR 圖像上進(jìn)行訓(xùn)練。SHI W 等人提出高效的亞像素卷積神經(jīng)網(wǎng)絡(luò)(ESPCN)[5]，該網(wǎng)絡(luò)采用亞像素卷積層來對圖像進(jìn)行上采樣，去掉了預(yù)處理部分，網(wǎng)絡(luò)的學(xué)習(xí)訓(xùn)練直接在LR 圖像上進(jìn)行，淺層網(wǎng)絡(luò)模型的接受野一般較小，對圖像重建有一定的影響，但是深層網(wǎng)絡(luò)模型的訓(xùn)練難度一般較大[6]。由于LR 圖像和HR 圖像之間具有一定的相似性，故而在深層網(wǎng)絡(luò)中加入殘差學(xué)習(xí)[7]，學(xué)習(xí)LR 圖像和HR 圖像之間的殘差映射關(guān)系，可在一定程度上降低網(wǎng)絡(luò)模型的復(fù)雜度和訓(xùn)練難度。KIM J 等人提出非常深的超分辨率網(wǎng)絡(luò) (VDSR)[8]和深度遞歸卷積網(wǎng)絡(luò) (DRCN)[9]，VDSR 是首次將VGG(visual geometry group)[10]網(wǎng)絡(luò)應(yīng)用在圖像超分辨率重建領(lǐng)域中的網(wǎng)絡(luò)，該網(wǎng)絡(luò)加入了全局殘差學(xué)習(xí)，將LR 圖像直接加在網(wǎng)絡(luò)的輸出中。在不損失VDSR 重建質(zhì)量的前提下，周登文等人對VDSR 進(jìn)行了改進(jìn)，提出了遞歸殘差網(wǎng)絡(luò)(RRSR)[11]，該網(wǎng)絡(luò)采用局部殘差學(xué)習(xí)進(jìn)行訓(xùn)練，并且在殘差塊中引入遞歸學(xué)習(xí)，減少深層網(wǎng)絡(luò)的計算參數(shù)。郭繼昌等人利用全局和局部殘差連接對卷積網(wǎng)絡(luò)進(jìn)行改進(jìn)，減少了網(wǎng)絡(luò)的冗余[12]。LIM B 等人利用殘差塊構(gòu)建出增強(qiáng)的深度超分辨率網(wǎng)絡(luò)(EDSR)[13]，該網(wǎng)絡(luò)去掉了殘差塊中的BN(batch normalization)層，簡化了殘差塊。張敏等人在FSRCNN 和VDSR 的基礎(chǔ)上提出了基于殘差學(xué)習(xí)的超分辨率網(wǎng)絡(luò)[14]，采用了EDSR 中簡化后的殘差塊，提高了重建性能。張健等人針對SRCNN 存在的問題，將CNN 和殘差塊相結(jié)合提出了新的重建算法[15]，提高網(wǎng)絡(luò)的運(yùn)行時間和重建性能。此外，ZHANG Y 等人也將殘差學(xué)習(xí)和密集跳躍連接結(jié)合起來使用，提出殘差密集網(wǎng)絡(luò)(RDN)[16]，保證特征信息的有效利用。隨著對SR 算法的深入研究，研究人員也將注意力機(jī)制引入到了圖像超分辨率重建領(lǐng)域中。如，ZHANG Y 等人提出的深度殘差通道注意力網(wǎng)絡(luò)(RCAN)[17]，魏靜波提出的殘差密集蒸餾注意力網(wǎng)絡(luò)(RDDAN)[18]，DAI T等人提出的二階注意力網(wǎng)絡(luò)(SAN)[19]，NIU B 等人提出的整體注意力網(wǎng)絡(luò)(HAN)[20]以及李滔等人提出的深監(jiān)督跨尺度注意力網(wǎng)絡(luò)[21]等。

雖然已有的網(wǎng)絡(luò)模型均取得了較好的重建效果，但是依然存在著一定的局限性。如，網(wǎng)絡(luò)模型的卷積核大小均采取單一的尺寸，網(wǎng)絡(luò)模型僅關(guān)注通道之間的關(guān)系以及重建圖像依然存在模糊現(xiàn)象等。為解決上述所提到的問題，本文提出了一個新的端到端的網(wǎng)絡(luò)，即多尺度雙階段重建網(wǎng)絡(luò)（multi-scale two-stage reconstruction network，MSTSRN），該網(wǎng)絡(luò)以多尺度卷積層作為大體框架，且采用亞像素卷積層對圖像進(jìn)行上采樣操作。具體所做工作闡述如下：首先，本文以單尺度網(wǎng)絡(luò)信息提取利用不完全的問題為設(shè)計出發(fā)點(diǎn)，提出了新的以多尺度卷積層作為大體框架的端到端的網(wǎng)絡(luò)模型，即MSTSRN。該網(wǎng)絡(luò)可分為兩個階段，共包含四個部分，分別是淺層特征提取、深層特征提取、重建和特征細(xì)化，其中：深層特征提取部分由新提出的殘差組合塊(residual combination block,RCB)和深度特征提取 塊(depth feature extraction block，DFEB)所構(gòu)成，用來對特征信息進(jìn)行深層提取；特征細(xì)化部分由新提出的特征細(xì)化模塊(feature refinement module，F(xiàn)RM)所構(gòu)成，用來對超分辨率圖像進(jìn)行特征提取和細(xì)化。其次，關(guān)于損失函數(shù)部分，以L2損失和SSIM 損失的加權(quán)和作為總體損失函數(shù)，用來最小化高分辨率圖像和超分辨率圖像的像素和結(jié)構(gòu)之間的差異，改善重建后圖像的效果。最后，針對所提出的新的模塊，做了一系列的消融實(shí)驗(yàn)，以驗(yàn)證模塊的有效性。采用Set5、Set14、BSDS100、Manga109 和Urban100 作為實(shí)驗(yàn)的測試集。同時，采用峰值信噪比(peak signal-tonoise ratio，PSNR)[22]和結(jié)構(gòu)相似度 (structural similarity，SSIM)[23]作為圖像質(zhì)量的評價指標(biāo)，并以表格形式給出定量的結(jié)果。

本文的創(chuàng)新點(diǎn)可分為三部分，分別是：由于網(wǎng)絡(luò)模型結(jié)構(gòu)的不同，LR 圖像的重建效果也大不相同，因此構(gòu)造了新的網(wǎng)絡(luò)模塊，用來改善網(wǎng)絡(luò)進(jìn)行特征提取的能力；多尺度卷積層作為一種常見的大體框架，主要對單一卷積層所提取到的信息進(jìn)行補(bǔ)充說明，但是重建后的圖像依然與HR 圖像存在一定的差距，故而在整體網(wǎng)絡(luò)中對不同分支的卷積層進(jìn)行不同的重點(diǎn)處理，并且加入了特征細(xì)化部分，對SR 圖像進(jìn)行進(jìn)一步的細(xì)節(jié)性補(bǔ)充；L2損失為常用的損失函數(shù)，可以有效提高PSNR 的結(jié)果，而SSIM 損失則更符合人眼的觀察情況，故而將二者結(jié)合起來共同作為本文的損失函數(shù)。

1 網(wǎng)絡(luò)模型

1.1 網(wǎng)絡(luò)整體流程

本文整體網(wǎng)絡(luò)模型可分為兩個階段，一共包含四個部分，分別是淺層特征提取、深層特征提取、重建和特征細(xì)化。整體網(wǎng)絡(luò)流程框圖如圖1 所示。

圖1 網(wǎng)絡(luò)流程Fig.1 Network process

本文將網(wǎng)絡(luò)模型分為重建前和重建后兩個階段，第一階段用于對輸入的低分辨率圖像進(jìn)行特征提取和重建，第二階段用于對重建后的圖像進(jìn)行特征提取和細(xì)化以改善最終的圖像重建效果。其中，第一階段包含淺層特征提取、深層特征提取和重建三部分，第二階段為特征細(xì)化部分。

1.2 網(wǎng)絡(luò)整體結(jié)構(gòu)

本文網(wǎng)絡(luò)結(jié)構(gòu)的設(shè)計以多尺度卷積層[24]為出發(fā)點(diǎn)構(gòu)建新的網(wǎng)絡(luò)模型，為了充分利用輸入層的圖像信息，每個分支采用不同尺寸的卷積核，以較為充分地獲取圖像特征信息并進(jìn)行融合。其中，多尺度卷積層主要由3 個不同尺寸的卷積核并行構(gòu)成，分別是 3×3、5×5和 7×7大小的卷積核，具體圖示如圖2 所示，圖中的多尺度卷積層是由文獻(xiàn)[24]中的網(wǎng)絡(luò)整體框架簡化、改進(jìn)而來。

圖2 多尺度卷積層Fig.2 Multiscale convolution layer

本文整體網(wǎng)絡(luò)如圖3 所示。

圖3 網(wǎng)絡(luò)整體結(jié)構(gòu)Fig.3 Overall network structure

淺層特征提取部分：這一部分由不同尺寸的卷積核并行構(gòu)成，分別對輸入的低分辨率圖像進(jìn)行特征提取，分別采用了兩個 3×3、5×5和 7×7的卷積層進(jìn)行淺層特征提取得到F0、F1和F2，其具體表達(dá)如式(1)～式(3)所示。激活函數(shù)采用ReLU 激活函數(shù)。

式中：ILR表示輸入圖像；Cm表示m×m大小的卷積運(yùn)算(m=1,3,5,7)；σ表示ReLU 激活函數(shù)。

深層特征提取部分：由于注意力機(jī)制在圖像超分辨率重建中的成功應(yīng)用，故而在這一部分中引入了融合注意力模塊（CBAM）[25]，以便對所提取到的特征信息進(jìn)行有效聚合。該模塊由通道注意力和空間注意力2 個基本注意力模塊串聯(lián)而成，從而使得網(wǎng)絡(luò)訓(xùn)練對圖像的高頻信息分配較大的權(quán)重參數(shù)，對低頻信息分配較小的權(quán)重參數(shù)。這一部分另可具體劃分為3 個分支：第1 分支為 3×3和5×5卷 積分支的深層特征提取，第2 分支為 7×7卷積分支的深層特征提取，第3 分支由一個1×1卷積和長跳躍連接所構(gòu)成。

第1 分支：該分支首先對 3×3和 5×5卷積分支進(jìn)行特征提取并將融合后的結(jié)果利用卷積層進(jìn)行一次特征再提取，隨后加入CBAM，使得網(wǎng)絡(luò)模型訓(xùn)練的關(guān)注點(diǎn)更加有針對性，且經(jīng)過CBAM 后得到F3；其次，經(jīng)過多個殘差組合塊，使得網(wǎng)絡(luò)模型對F3更進(jìn)一步進(jìn)行特征提取得到F4；最后，對經(jīng)特征提取后的結(jié)果利用1×1的卷積進(jìn)行降維得到該分支最終的提取結(jié)果F5。F3、F4和F5的具體表達(dá)式分別如式(4)～式(6)所示。

式中：?表示點(diǎn)乘運(yùn)算；A(?)表示CBAM 操作；Cat(?)表示Concat 連接操作；Ri(?)表 示經(jīng)過i個 RCB 操作(i=1,2,···,n)。

第2 分支：該分支主要運(yùn)用深度特征提取塊對7×7卷積分支提取后的特征信息進(jìn)行深層特征提取得到F6，具體表示如式(7)所示。

式中：Gdfeb(?)表示DFEB 操作。

第3 分支：該分支僅由一個1×1卷積層和長跳躍連接構(gòu)成，在這一分支中為了防止特征信息隨著網(wǎng)絡(luò)層數(shù)的增加而出現(xiàn)丟失的現(xiàn)象以及梯度消失和梯度爆炸問題的出現(xiàn)，故而特意從輸入的低分辨率圖像處引入長跳躍連接，中間經(jīng)過1×1卷積進(jìn)行改變通道數(shù)得到F7的結(jié)果。

最后，整個深層特征提取部分的結(jié)果為F8，即為將上述三部分所得到的結(jié)果進(jìn)行像素點(diǎn)相加得到。

重建部分：該部分為整體網(wǎng)絡(luò)的重建部分，也稱上采樣。整個部分僅包含一個亞像素卷積層和一個 5×5大小的卷積核，此處卷積核的尺寸隨著不同上采樣的倍數(shù)而改變。該部分重建結(jié)果記為F9。

式中Up(?)表示亞像素卷積操作。

特征細(xì)化部分：該部分是整體網(wǎng)絡(luò)的第二階段，主要由級聯(lián)的FRM 和短跳躍連接所構(gòu)成，并由一個1×1卷積層對特征信息進(jìn)行融合。這一部分旨在對重建后的圖像進(jìn)行細(xì)節(jié)上的優(yōu)化與處理，從而改善重建后的圖像效果，得到最終的重建圖像ISR。

式中GFRB(?)表示FRB 的操作運(yùn)算。

1.3 殘差組合塊

本文基于殘差塊[7]，提出了一個由多個殘差塊所組合而成的新模塊-殘差組合塊(residual combination block,RCB)。設(shè)計該模塊主要用于加深網(wǎng)絡(luò)層數(shù)，進(jìn)行深層特征提取，同時還關(guān)注了層與層之間的相互關(guān)系并進(jìn)行融合。該模塊引入了多個短跳躍連接，將前一層的輸出經(jīng)過跳躍連接，作為相隔一層的輸入，可以有效緩解由于網(wǎng)絡(luò)模型過深所帶來的梯度消失或梯度爆炸問題。并且基于此連接，保證了特征信息的有效利用。具體的RCB 如圖4 所示，圖中RBi參照文獻(xiàn)[7]中的殘差網(wǎng)絡(luò)進(jìn)行簡化而來。

圖4 殘差組合塊Fig.4 Residual combination block

在本文網(wǎng)絡(luò)模型的設(shè)計中，RCB 用于 3×3和5×5卷積分支，進(jìn)行加深網(wǎng)絡(luò)層數(shù)以及深層特征提取。在整體網(wǎng)絡(luò)中，由于RCB 數(shù)量設(shè)置的不同，最終重建圖像的效果也不盡相同。且經(jīng)由實(shí)驗(yàn)對比可知，當(dāng)RCB 的數(shù)量設(shè)置為6時，最終的重建圖像效果較好。

1.4 深度特征提取塊

本文針對 7×7卷積分支設(shè)計了一個新的模塊進(jìn)行深層特征提取-深度特征提取塊（depth feature extraction block，DFEB）。該模塊延續(xù)了多尺度卷積層的思想并對其進(jìn)行了簡化，具體結(jié)構(gòu)如圖5 所示，分別采用2 個 3×3和 5×5卷積作為DFEB 的兩個并行分支，還引入了CBAM[25]，以有效聚合特征信息。同時，為了在不大量增加參數(shù)的情況下提高該模塊的有效性，引入了一個混洗單元（shuffle unit，SU），進(jìn)行更進(jìn)一步的特征提取。該混洗單元主要依據(jù)ShuffleNet 中的基本塊而來，包含組卷積、通道混洗、深度可分離卷積以及ReLU 激活函數(shù)，具體結(jié)構(gòu)如圖6 所示。在模塊參數(shù)量較少以及重建效果較好的情況下，經(jīng)由實(shí)驗(yàn)得到DFEB 和SU 的數(shù)量均設(shè)置為6 較為合適。

圖5 深度特征提取塊Fig.5 Depth feature extraction block

圖6 混洗單元Fig.6 Shuffle unit

1.5 特征細(xì)化模塊

本文在設(shè)計整體網(wǎng)絡(luò)時，考慮了重建后圖像的效果，并且針對此設(shè)計了一個特征細(xì)化模塊（feature refinement module，F(xiàn)RM）。由于整體網(wǎng)絡(luò)分為重建前和重建后兩個階段，因此，將重建后的這一階段也可看作是一種簡單的特征提取網(wǎng)絡(luò)，主要由FRM 和短跳躍連接所構(gòu)成。其中，F(xiàn)RM 的主要作用是將重建后的圖像進(jìn)行更進(jìn)一步的特征提取，以更加全面地恢復(fù)圖像的細(xì)節(jié)信息。該模塊設(shè)計在重建后這一階段，主要是為了在不改變分辨率的情況下提取圖像的特征信息，避免圖像信息出現(xiàn)過多的丟失，因而稱之為特征細(xì)化模塊。

FRM 同樣延續(xù)了多尺度卷積層的思想并對其進(jìn)行了一定改進(jìn)。具體表現(xiàn)為：將3 層卷積改變?yōu)? 層卷積，并且均以空洞卷積所代替，擴(kuò)張率分別設(shè)置為1、2、3、4。由于該模塊的設(shè)計主要用作特征提取，故而我們采用空洞卷積以便在不增加參數(shù)量的同時有效擴(kuò)大感受野，最終達(dá)到參數(shù)量少但是重建效果較好的目的。

最終在訓(xùn)練整體網(wǎng)絡(luò)模型時，發(fā)現(xiàn)將FRM 的數(shù)量設(shè)置為6時，整體網(wǎng)絡(luò)的重建圖像效果較好。具體的FRM 結(jié)構(gòu)如圖7 所示。

圖7 特征細(xì)化模塊Fig.7 Feature refinement module（FRM）

2 損失函數(shù)

由于常用的L1和L2損失函數(shù)或多或少存在一定不足，因此本文引入SSIM 損失函數(shù)，并且以L2和SSIM 的加權(quán)和作為本文最終的損失函數(shù)。

L2損失函數(shù)的表達(dá)式為

式中：m表示圖像的數(shù)量；yi表 示HR 圖像；xi表示LR 圖像；f(xi)表示SR 圖像。

SSIM 損失函數(shù)的表達(dá)式為

式中：μx和 μy分 別表示x和y的平均值；σx和 σy分別表示x和y的標(biāo)準(zhǔn)差；σxy為x和y的協(xié)方差；C1和C2均為常數(shù)。

因而，本文所采用的損失函數(shù)可表示為

經(jīng)實(shí)驗(yàn)，α取0.5 較為合適。

3 實(shí)驗(yàn)

3.1 實(shí)驗(yàn)環(huán)境及設(shè)置

本實(shí)驗(yàn)采用DIV2K 數(shù)據(jù)集作為實(shí)驗(yàn)的訓(xùn)練集，并對該數(shù)據(jù)集進(jìn)行隨機(jī)翻轉(zhuǎn)和裁剪操作。DIV2K 數(shù)據(jù)集包含900 張圖片，800 張用于訓(xùn)練，100 張用于驗(yàn)證。在訓(xùn)練時將圖片裁剪為 64×64像素大小的圖像塊來進(jìn)行訓(xùn)練。采用基準(zhǔn)數(shù)據(jù)集Set5、Set14、Urban100、BSDS100 和Manga109 作為網(wǎng)絡(luò)的測試集，以驗(yàn)證最終的重建效果。其中，基準(zhǔn)數(shù)據(jù)集Set5 包含5 張圖片，Set14 包含14 張圖片，Urban100 和BSDS100 均包含100 張圖片，Manga109 包含109 張圖片。

本實(shí)驗(yàn)在計算機(jī)配置為Windows11，Inter Core i7-12700H，16.0 GB RAM，2.30 GHz，Nvidia GeForce RTX 3060 GPU，利用Pytorch 深度學(xué)習(xí)框架進(jìn)行訓(xùn)練，采用Adam 優(yōu)化算法[26]來對網(wǎng)絡(luò)的收斂進(jìn)行優(yōu)化，初始學(xué)習(xí)率設(shè)置為1e-4。迭代次數(shù)設(shè)置為1 000，批大小設(shè)置為4。實(shí)驗(yàn)的運(yùn)行時間大約為34 h 左右。最終在二倍放大因子下網(wǎng)絡(luò)訓(xùn)練的損失函數(shù)曲線圖如圖8 所示。

圖8 二倍放大因子下的損失函數(shù)曲線圖Fig.8 Loss function curve under double magnification factor

3.2 評價指標(biāo)

為了定量地對本文所提算法進(jìn)行重建后的圖像效果進(jìn)行衡量，本文采用PSNR 和SSIM 作為圖像的評價指標(biāo)。PSNR 基于像素來計算高分辨率圖像和超分辨率圖像之間的差異性；SSIM 從圖像的亮度、對比度和結(jié)構(gòu)3 個方面衡量高分辨率圖像和超分辨率圖像之間的相似性。PSNR 和SSIM的效果表現(xiàn)在：數(shù)值越大，重建效果越好，越接近原圖。一般情況下，當(dāng)PSNR 達(dá)到30 dB 以上時，說明重建圖像效果較好；SSIM 取值范圍在0 至1 之間，故當(dāng)SSIM 取值越接近1時，說明重建后的圖像越接近原圖。

本文網(wǎng)絡(luò)模型在YCrCb 空間上進(jìn)行訓(xùn)練，且所求的PSNR 值均為在Y 通道上計算所得的結(jié)果。

4 實(shí)驗(yàn)結(jié)果

4.1 不同超分辨率算法結(jié)果對比

本實(shí)驗(yàn)采用基準(zhǔn)數(shù)據(jù)集Set5、Set14、Urban100、BSDS100 和Manga109 作為測試集，同時將本文方法與圖像超分辨率重建中幾種經(jīng)典的算法Bicubic、SRCNN、FSRCNN、ESPCN、VDSR 和SRResnet 進(jìn)行對比，以驗(yàn)證本文算法的有效性。

表1 給出了本文算法與其他經(jīng)典算法在測試集×2、×3 和×4 上的PSNR 和SSIM值，其中本文結(jié)果均加粗顯示，且在圖9 處給出了不同算法的運(yùn)行時間的比較。觀察表中數(shù)據(jù)可以發(fā)現(xiàn)，本文所提算法的PSNR 和SSIM 值在測試集Set5、Set14、Urban100、BSDS100 和Manga109 上均有了明顯的提升。由此可見，在客觀評價上，本文算法相比經(jīng)典的算法有了一定的提高。因此，本文所提算法的實(shí)驗(yàn)結(jié)果較好。

表1 不同算法的PSNR 和SSIM 值對比Table 1 Comparison of PSNR and SSIM values of different algorithms

圖9 不同算法訓(xùn)練時間的比較Fig.9 Comparison of training time for different algorithms

表1 中：“時間/s”列為不同算法在測試集Set5 上的平均運(yùn)行時間，由于運(yùn)行設(shè)備以及公開框架的不同，運(yùn)行時間可能與官方所提供的時間有所出入。

圖10 給出了不同算法的重建效果圖。重建圖像選取測試集中的任意圖像，以Set5 中的“bird”、BSDS100 中的“3096”和“8023”以及Urban100 中的“img001”和“img002”為例，并且將圖像進(jìn)行裁剪和放大以進(jìn)行直觀的比較。經(jīng)過觀察，發(fā)現(xiàn)本文所提方法的重建圖像在細(xì)節(jié)信息方面恢復(fù)較為全面。因而在主觀視覺上，本文算法相比經(jīng)典算法有了一定的改善，本文所提算法的重建效果較好。

圖10 放大因子為2 時不同算法的視覺效果圖Fig.10 Visual effect pictures of different algorithms when magnification factor is 2

4.2 在真實(shí)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果與分析

本小節(jié)給出了在真實(shí)數(shù)據(jù)集RealSR 上的定性結(jié)果，并對其中效果不理想的圖片進(jìn)行了簡要分析。數(shù)據(jù)集RealSR 為Jianrui Cai 等人所構(gòu)建的一種模擬相機(jī)的數(shù)據(jù)，提供了Canon 與Nikon 兩種相機(jī)所采集的數(shù)據(jù)。

在這一部分，分別提供了Canon 與Nikon 所采集到的兩張圖片，用作不同方法的實(shí)驗(yàn)效果的定性比較，如圖11 所示。在已有的較為經(jīng)典的方法中，本文所提方法明顯重建效果較好，雖然與HR 圖像仍然具有一定的差距，但是在恢復(fù)圖像細(xì)節(jié)上具有明顯的優(yōu)勢。故而認(rèn)為，本文所提出的方法在真實(shí)數(shù)據(jù)集上也取得了較好的結(jié)果。

圖11 數(shù)據(jù)集RealSR 上的不同算法對比效果圖Fig.11 Comparison effect of different algorithms on dataset RealSR

但是，本文方法也具有一定的局限性，在同樣都是上采樣為二倍的情況下，與HR 圖像相比，圖像 “Nikon_003”的重建效果較差，SR 圖像明顯存在模糊現(xiàn)象，圖像不真實(shí)；圖像“Nikon_005”重建后整體效果明顯偏暗，如圖12 所示。

4.3 消融實(shí)驗(yàn)

4.3.1 損失函數(shù)的消融實(shí)驗(yàn)

為驗(yàn)證本實(shí)驗(yàn)所采用 α值的有效性，以測試集Set5 以及放大因子2 為代表，分別給出了在保持其他設(shè)置不變的情況下，給定不同參數(shù)值，分別對應(yīng)得到的PSNR 和SSIM值，如表2 所示。圖13 以“baby”圖片為例，給出了不同參數(shù)值即不同損失函數(shù)的重建效果圖，可以發(fā)現(xiàn)，雖然L2損失函數(shù)，即當(dāng) α取零時，所取得的PSNR 值與本文所采用的當(dāng)α取0.5 時所取得的PSNR 值僅僅相差0.03 dB，但是L2損失函數(shù)的重建圖像過于平滑，主觀視覺效果不好。因此，采用L2+0.5×(1-LSSIM)作為本實(shí)驗(yàn)的損失函數(shù)。

表2 不同損失函數(shù)在Set5 上的PSNR 和SSIM值Table 2 PSNR and SSIM values of different loss functions on Set5

圖13 不同損失函數(shù)的視覺效果圖Fig.13 Visual renderings of different loss functions

4.3.2 模塊的消融實(shí)驗(yàn)

為驗(yàn)證本文所提出模塊的有效性，本文具體作了如下的實(shí)驗(yàn)：1）去掉整體網(wǎng)絡(luò)中的RCB（MSTSRNRCB），以驗(yàn)證RCB 的有效性；2）去掉整體網(wǎng)絡(luò)中的DFEB（MSTSRN-DFEB），以驗(yàn)證DFEB 的有效性；3）去掉整體網(wǎng)絡(luò)中的FRM（MSTSRN-FRM），以驗(yàn)證FRM 或者說整體網(wǎng)絡(luò)中第二階段的有效性。各個實(shí)驗(yàn)均以×2 后的重建結(jié)果為例，且測試集僅選用Set5 為代表，表3 給出了消融實(shí)驗(yàn)結(jié)果的具體的PSNR 和SSIM 值以及在相同條件下去除個別模塊后的模型訓(xùn)練時間。

表3 Set5 上的PSNR 和SSIM值Table 3 PSNR and SSIM values on Set5 h

5 結(jié)論

本文提出了一個多尺度雙階段重建網(wǎng)絡(luò)用于單幅圖像超分辨率重建。首先引入了多尺度卷積層作為網(wǎng)絡(luò)模型的整體框架，以彌補(bǔ)單尺度信息提取利用不完全的問題；其次，考慮到重建后圖像的細(xì)節(jié)信息恢復(fù)情況，將整體網(wǎng)絡(luò)分為重建前和重建后兩個階段，進(jìn)一步改善圖像的重建效果；最后，提出了3 個新的模塊，來對低分辨率的圖像進(jìn)行特征信息的深層提取和重建。將本文與其他經(jīng)典的單幅圖像超分辨率重建算法進(jìn)行了比較，結(jié)果表明，在客觀評價上，本文算法得到的PSNR 值較高；在主觀視覺上，重建圖像細(xì)節(jié)信息恢復(fù)得較好。當(dāng)然，該算法還有一定的不足，依然存在部分圖像重建效果不好的情況，下一步將針對這一情況進(jìn)行更深層次的研究，以期得到更好的結(jié)果。

附錄 部分核心源代碼