基于密集Inception的單圖像超分辨率重建方法

王海勇，張開(kāi)心，管維正

（1.南京郵電大學(xué)計(jì)算機(jī)學(xué)院，南京 210023；2.南京郵電大學(xué)物聯(lián)網(wǎng)學(xué)院，南京 210003）

（?通信作者電子郵箱18336921525@163.com）

0 引言

單圖像超分辨率（Super-Resolution，SR）重建是計(jì)算機(jī)視覺(jué)領(lǐng)域一個(gè)經(jīng)典的研究方向。刑事偵查、安全監(jiān)控、醫(yī)學(xué)影像等領(lǐng)域非常重視圖像細(xì)節(jié)，但是因?yàn)閿z像設(shè)備、拍攝角度、光線(xiàn)等原因，導(dǎo)致拍攝出來(lái)的圖像分辨率過(guò)低，影響工作人員對(duì)圖像細(xì)節(jié)的判斷［1］。因此，單圖像SR重建的研究至關(guān)重要。

近幾年，隨著深度學(xué)習(xí)的發(fā)展，基于卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）的單圖像SR研究受到廣泛關(guān)注。經(jīng)研究發(fā)現(xiàn)，CNN越深，可以從較大的感受野中獲得越多的上下文信息，重建效果會(huì)越好；但是，隨著網(wǎng)絡(luò)層數(shù)加深到一定規(guī)模，單純地加深網(wǎng)絡(luò)會(huì)出現(xiàn)有關(guān)輸入或梯度信息經(jīng)過(guò)多層傳播，在到達(dá)網(wǎng)絡(luò)末端時(shí)消失［2］。密集連接卷積網(wǎng)絡(luò)（Densely Connected Convolutional Networks，DenseNets）［3］通過(guò)創(chuàng)建每一層到所有后續(xù)層的最短路徑，有效緩解了梯度消失的問(wèn)題，并且能夠加強(qiáng)特征傳播，鼓勵(lì)特征重用。初期，網(wǎng)絡(luò)結(jié)構(gòu)的突破大都是純粹地增加網(wǎng)絡(luò)的深度或?qū)挾?，但是該方法?huì)帶來(lái)很多問(wèn)題，比如：在訓(xùn)練集有限的情況下，網(wǎng)絡(luò)參數(shù)過(guò)多，會(huì)出現(xiàn)過(guò)擬合的現(xiàn)象；網(wǎng)絡(luò)過(guò)大，計(jì)算復(fù)雜度高。在這種情況下，Inception［4］結(jié)構(gòu)應(yīng)運(yùn)而生，該架構(gòu)的主要思想是在增加網(wǎng)絡(luò)深度和寬度的同時(shí)保持計(jì)算預(yù)算不變，提高網(wǎng)絡(luò)內(nèi)計(jì)算資源的利用率［4］。

在以上深度模型的啟發(fā)下，本文提出了一種基于密集Inception 的單圖像超分辨率重建方法。該方法全局采用簡(jiǎn)化后的密集網(wǎng)絡(luò)，每個(gè)分層的特征采用一個(gè)跳過(guò)連接，僅傳入重建層，用于特征重建，可以避免分層特征過(guò)度重用，引入冗余信息。核心模塊采用堆疊的Inception-殘差網(wǎng)絡(luò)（Inception-Residual Network，Inception-ResNet）［5］結(jié)構(gòu)，本文簡(jiǎn)稱(chēng)為IRN，該結(jié)構(gòu)通過(guò)很少的計(jì)算量，保證了模型的深度和寬度，利于圖像特征提取和重建，選用的IRN 結(jié)構(gòu)相較于先前的版本，融入了殘差連接，可以顯著加快網(wǎng)絡(luò)的訓(xùn)練速度?？偟膩?lái)說(shuō)，本文所提出的方法參數(shù)少，模型的訓(xùn)練速度快，可以在資源受限的設(shè)備上進(jìn)行訓(xùn)練。

1 相關(guān)工作

1.1 單圖像超分辨率重建

經(jīng)典的單圖像SR重建方法包括基于插值的方法，基于重建的方法和基于學(xué)習(xí)的方法。其中，基于插值的方法雖然計(jì)算簡(jiǎn)單，但是重建效果差?；谥亟ǖ姆椒ù嬖陔y以處理噪聲、先驗(yàn)約束不生效等問(wèn)題。因此，基于學(xué)習(xí)的方法成為研究熱點(diǎn)。

Dong 等［6］提出了基于CNN 的超分辨率（Super-Resolution CNN，SRCNN），首次將CNN 用于單圖像SR 重建。該模型雖然只有三層，但是相較于傳統(tǒng)的重建方法，重建效果異常顯著。Kim等［7］提出了具有20個(gè)權(quán)重層的超深CNN的圖像超分辨 率（accurate image Super-Resolution using Very Deep convolutional network，VDSR），具有非常大的感受野，同時(shí)VDSR 將多種尺度的圖像同時(shí)放入模型中進(jìn)行訓(xùn)練，滿(mǎn)足了多尺度圖像重建的需求。Dong等［8］又提出了加速的超分辨率CNN（Fast Super-Resolution CNN，F(xiàn)SRCNN），在網(wǎng)絡(luò)末端引入了一個(gè)反卷積層用于上采樣。基于學(xué)習(xí)的圖像超分辨率重建方法與傳統(tǒng)的方法相比具有顯著的優(yōu)越性，因此，本文采用基于學(xué)習(xí)的方法進(jìn)行研究。

1.2 跳過(guò)連接

隨著卷積神經(jīng)網(wǎng)絡(luò)的加深，相應(yīng)的梯度消失問(wèn)題也顯現(xiàn)出來(lái)。為了解決這一問(wèn)題，Kim等［9］提出了深度遞歸卷積網(wǎng)絡(luò)（Deeply-Recursive Convolutional Network，DRCN），使用遞歸神經(jīng)網(wǎng)絡(luò)來(lái)解決SR 問(wèn)題。Huang 等［3］提出了密集卷積網(wǎng)絡(luò)，在該網(wǎng)絡(luò)中所有的層通過(guò)跳過(guò)連接的方式連接起來(lái)，L層的卷積神經(jīng)網(wǎng)絡(luò)有L(L+1)/2 個(gè)連接。Tong 等［10］使用密集跳過(guò)連接來(lái)解決圖像SR問(wèn)題，表明了使用密集跳過(guò)連接的方式重建圖像的效果更好。Zhang 等［11］提出了基于殘差密集網(wǎng)絡(luò)的圖像超分辨率（Residual Dense Network for image superresolution，RDN），通過(guò)密集連接使得每個(gè)殘差塊都能獲得來(lái)自先前殘差塊的輸出。Tang 等［12］簡(jiǎn)化了密集連接架構(gòu)，只在重構(gòu)層中重用各個(gè)特征提取層的特征，減少了冗余信息。

1.3 Inception結(jié)構(gòu)

2014 年，谷歌推出了一款稱(chēng)為GoogLeNet 的網(wǎng)絡(luò)，其核心結(jié)構(gòu)是Inception-v1，該結(jié)構(gòu)修改了傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，將全連接變成稀疏連接［4］。Ioffe 等［13］引入批量歸一化的思想，修改后的結(jié)構(gòu)稱(chēng)為Inception-v2。由于大尺寸卷積核進(jìn)行卷積操作的計(jì)算量非常大，為了提高計(jì)算效率，Szegedy等［14］將Inception-v1 結(jié)構(gòu)中5× 5 卷積核替換為兩層3× 3 的卷積核，通過(guò)共享相鄰切片之間的權(quán)重，減少了參數(shù)量，該結(jié)構(gòu)稱(chēng)為Inception-v3［14］。Szegedy 等［5］又提出了Inception-v4 和Inception-ResNet，其中Inception-v4 為先前版本的變體，Inception-ResNet 在普通的Inception 結(jié)構(gòu)中引入了ResNet，極大提高了模型訓(xùn)練速度。

Li 等［15］提出了基于多尺度殘差網(wǎng)絡(luò)的圖像SR（Multi-Scale Residual Network for image super-resolution，MSRN），該方法主要由多尺度殘差塊（Multi-Scale Residual Block，MSRB）構(gòu)成，該結(jié)構(gòu)采用3× 3 和5× 5 兩種卷積核交叉串聯(lián)的方式從各個(gè)尺度提取圖像特征，保證提取特征的多樣性。Qin 等［16］提出了一種基于多分辨率空域殘差密集網(wǎng)絡(luò)的圖像超分辨率重建方法，有效解決了先前方法重建的圖像存在紋理區(qū)域過(guò)度平滑的問(wèn)題。

2 本文方法

2.1 網(wǎng)絡(luò)結(jié)構(gòu)

本文所提出的基于密集Inception的單圖像超分辨率重建方法的模型結(jié)構(gòu)如圖1所示。

本文模型主要由兩部分組成：特征提取模塊和特征重建模塊。用于訓(xùn)練的單個(gè)低分辨率（Low Resolution，LR）圖像表示為ILR∈RW×H×C，重建的高分辨率（High Resolution，HR）圖像表示為ISR∈RWr×Hr×C，其中，W和H表示LR 圖像的寬度和高度，r表示放大系數(shù)，C表示色彩空間的通道數(shù)。模型的輸入輸出原理表示為：

其中：FFE(?)表示特征提取模塊的映射函數(shù)；FFR(?)表示特征重建模塊的映射函數(shù)；HFE表示特征提取模塊的輸出，同時(shí)作為特征重建模塊的輸入。

2.1.1 特征提取模塊

本文所提出的特征提取模塊由低層特征提取模塊、高層特征提取模塊和一個(gè)特征融合層組成。其中，低層特征提取模塊由一個(gè)卷積核大小為3× 3的卷積層構(gòu)成；高層特征提取模塊由若干個(gè)堆疊的IRN 組成；在整個(gè)模塊外圍構(gòu)建了簡(jiǎn)化后的密集跳過(guò)連接，僅融合低層特征模塊的輸出與高層特征模塊各個(gè)子模塊的輸出，作為特征融合層的輸入。

特征提取模塊在圖像超分辨率重建模型中起著重要作用，提取的特征越多，重建效果越好。先前的圖像超分辨率重建模型通常僅使用特征提取模塊最終輸出的特征來(lái)重建圖像，而忽略了在特征傳遞過(guò)程中各個(gè)特征提取層的多樣特征。因此，本文所提出的模型使用簡(jiǎn)化后的密集網(wǎng)絡(luò)融合各個(gè)特征提取層的特征，從而獲得更多上下文信息，可以為重建模塊提供豐富的信息。

通常情況下，提高深度神經(jīng)網(wǎng)絡(luò)性能的最直接方法是增加模型的大小，包括增加模型的深度和寬度，這是一種簡(jiǎn)單安全的訓(xùn)練高質(zhì)量模型的方法，特別是考慮到大量標(biāo)記的訓(xùn)練數(shù)據(jù)的可用性。然而，這種簡(jiǎn)單的解決方案有兩個(gè)主要問(wèn)題：1）較大的網(wǎng)絡(luò)尺度通常意味著提取更多的參數(shù)，這使得在訓(xùn)練集數(shù)量有限的情況下，容易出現(xiàn)過(guò)度擬合，在訓(xùn)練集很大的情況下，運(yùn)算量又非常巨大；2）統(tǒng)一增加網(wǎng)絡(luò)大小會(huì)導(dǎo)致計(jì)算資源的顯著增加。例如，在深度卷積神經(jīng)網(wǎng)絡(luò)中，如果連接兩個(gè)卷積層，則任何一個(gè)卷積層卷積核數(shù)量的增加都會(huì)導(dǎo)致計(jì)算量成倍的增加，如果無(wú)效地使用增加的容量則浪費(fèi)了大量計(jì)算資源。由于在實(shí)驗(yàn)中計(jì)算預(yù)算總是有限的，因此計(jì)算資源的有效分配也優(yōu)于沒(méi)有限制地增加網(wǎng)絡(luò)大?。?］。解決這兩個(gè)問(wèn)題的根本方法是將卷積層之間的完全連接轉(zhuǎn)變成稀疏連接。

Inception 結(jié)構(gòu)的主要思想是將各個(gè)卷積層以串聯(lián)并聯(lián)的方式相結(jié)合，使得在每個(gè)卷積層中增加卷積核的數(shù)量而不會(huì)引入過(guò)多的計(jì)算量，因此本文提出的模型選擇該結(jié)構(gòu)作為主要的特征提取模塊［4］。由于該結(jié)構(gòu)現(xiàn)行的版本很多，本文僅選擇IRN 進(jìn)行疊加，其結(jié)構(gòu)如圖2 所示，該結(jié)構(gòu)與先前各版本相比融入了殘差結(jié)構(gòu)，可以顯著加快模型的訓(xùn)練速度。

圖2 IRN結(jié)構(gòu)Fig.2 Structure of IRN

具體地，整個(gè)特征提取模塊的輸入輸出原理表示為：

其中：H0表示低層特征提取模塊的輸出同時(shí)作為高層特征提取模塊的輸入；分別表示第1、2、i和n個(gè)IRN 的輸出；FLF(·)表示低層特征提取模塊的映射函數(shù)，表示各個(gè)IRN 映射函數(shù)；表示串聯(lián)結(jié)構(gòu)；HGF表示特征融合層的輸出；FGF(·)表示融合層的映射函數(shù)。

構(gòu)成高層特征提取模塊的IRN 主結(jié)構(gòu)由1× 1 和3× 3 兩種卷積層組成，寬度上采用多通道串聯(lián)的結(jié)構(gòu)，全局采用殘差連接，第i個(gè)IRN的輸入輸出原理可以表示為：

2.1.2 特征重建模塊

大多數(shù)模型的特征重建模塊選用反卷積層將圖像恢復(fù)到原始尺寸，與插值方法相比，減少了計(jì)算量。但是對(duì)于不同尺度的模型，需要設(shè)置不同數(shù)量和尺寸的反卷積層，以2 × 2 反卷積層為基準(zhǔn)，逐漸將圖片恢復(fù)到原始尺寸大小。放大因子越大，需要堆疊的2 × 2 反卷積層越多，會(huì)增加訓(xùn)練的不確定性；并且，該方法不適用于奇數(shù)放大因子。因此，重建模塊由一個(gè)卷積層、一個(gè)Pixel Shuffle 層和一個(gè)特征重建層組成，重建模塊的輸入是由特征融合層的輸出得到。

該模塊的輸入輸出原理表示為：

其中：HCN表示卷積層的輸出；FCN(·)表示卷積層的映射函數(shù)；HPX表示Pixel Shuffle 層的輸出；FPX(·)表示Pixel Shuffle 層的映射函數(shù)；ISR為重建的SR 圖像；FRC(·)表示重建層的映射函數(shù)。

2.2 損失函數(shù)

大多數(shù)通用的損失函數(shù)包括兩種：一種是L1_Loss，也稱(chēng)為最小絕對(duì)值偏差（Least Absolute Deviation，LAD），實(shí)現(xiàn)原理是把目標(biāo)值與估計(jì)值的絕對(duì)插值總和最小化；另一種是L2_Loss，也稱(chēng)為最小平方誤差（Least Square Error，LSE），原理是把目標(biāo)值與估計(jì)值的插值平方和最小化。為了便于和先前的工作比較，選擇常用的L1_Loss。假設(shè)訓(xùn)練集表示為，包括N個(gè)LR 圖像和對(duì)應(yīng)的HR 圖像，以L(fǎng)R 圖像作為輸入，輸出重建的SR 圖像，最終目標(biāo)是最小化兩者之間的差距。L1_Loss的原理表示為：

3 實(shí)驗(yàn)與結(jié)果分析

3.1 訓(xùn)練和測(cè)試數(shù)據(jù)集

為了將本文方法和現(xiàn)有的方法進(jìn)行比較，本文的訓(xùn)練集采用DIV2K 數(shù)據(jù)集［17］，其中包括800 張訓(xùn)練圖像、100 張驗(yàn)證圖像和100 張測(cè)試圖像，不同于以往的291 幅圖像，該數(shù)據(jù)集每一張圖像都是分辨率為2 048× 1080 的高清圖像，對(duì)圖像重建的效果要求更高。本文選用前800 張圖像作為訓(xùn)練集，訓(xùn)練集采用縮放、旋轉(zhuǎn)、翻轉(zhuǎn)三種方式進(jìn)行擴(kuò)充。

測(cè)試集選擇通用的基準(zhǔn)數(shù)據(jù)集：Set5［18］、Set14［19］、Urban100［20］，這些數(shù)據(jù)集包含各種類(lèi)型的圖像，滿(mǎn)足在各種場(chǎng)景的圖像中驗(yàn)證本文的模型。測(cè)試集的圖像均通過(guò)Matlab代碼使用雙三次插值下采樣進(jìn)行處理，得到LR 圖像，下采樣尺度包括×2、×3、×4。為了便于與先前方法比較，僅在基于YCbCr色彩空間中的亮度通道Y進(jìn)行測(cè)試。

3.2 實(shí)驗(yàn)參數(shù)

模型的高層特征提取模塊中，IRN 的個(gè)數(shù)設(shè)置為8。為了避免在訓(xùn)練過(guò)程中出現(xiàn)尺寸不匹配的情況，在代碼上使用零填充的方法，保證在特征傳遞過(guò)程中圖像大小保持一致。實(shí)驗(yàn)環(huán)境在基于Ubuntu 系統(tǒng)的遠(yuǎn)程服務(wù)器上進(jìn)行，配置兩臺(tái)英偉達(dá)GPU，使用python進(jìn)行編程，版本為3.6.9，深度學(xué)習(xí)框架采用pytorch，版本為1.0.0，對(duì)應(yīng)的torchvision 版本為0.2.0，CUDA版本為11.0。

訓(xùn)練的batch_size設(shè)置為16，圖像分多個(gè)批次進(jìn)行反向迭代訓(xùn)練，總共訓(xùn)練1 000 個(gè)epoch。訓(xùn)練下采樣倍數(shù)為×2 的模型時(shí)，patch_size 設(shè)置為96；訓(xùn)練下采樣倍數(shù)為×3 的模型時(shí)，patch_size 設(shè)置為144；訓(xùn)練下采樣倍數(shù)為×4 的模型時(shí)，patch_size 設(shè)置為192。低層特征提取模塊的卷積核大小設(shè)置為3× 3。特征提取模塊和特征融合層的所有卷積層的輸出均設(shè)置為64 個(gè)特征圖，即64 個(gè)通道。初始學(xué)習(xí)率設(shè)置為1E-4，每200 個(gè)epoch 后，將學(xué)習(xí)率降至原來(lái)的一半。使用自適應(yīng)矩估計(jì)（ADaptive Moment Estimation，ADAM）優(yōu)化器［21］訓(xùn)練模型，參數(shù)設(shè)置為β1=0.9，β2=0.999，?=10-8。

為了加快模型的訓(xùn)練，提高圖形處理器（Graphics Processing Unit，GPU）的內(nèi)存占用率，充分利用GPU 內(nèi)存，Pytorch 框架的Dataloader 模塊里面的參數(shù)num_workers 設(shè)置為8，分配多個(gè)子線(xiàn)程訓(xùn)練模型，pin_memory 設(shè)置為T(mén)rue，節(jié)省了將數(shù)據(jù)從中央處理器（Central Processing Unit，CPU）傳入隨機(jī)存取存儲(chǔ)器（Random Access Memory，RAM），再傳輸?shù)紾PU 的時(shí)間，直接映射數(shù)據(jù)到GPU 的專(zhuān)用內(nèi)存，減少數(shù)據(jù)傳輸時(shí)間，可以避免CPU 被瘋狂占用而GPU 空閑，提高了GPU利用率。

3.3 性能評(píng)價(jià)指標(biāo)

本文主要選用峰值信噪比（Peak Signal-to Noise-Ratio，PSNR）和結(jié)構(gòu)相似性（Structural SIMilarity，SSIM）作為重建圖像質(zhì)量的評(píng)價(jià)指標(biāo)。PSNR的計(jì)算式為：

其中：MAX表示圖像點(diǎn)顏色的最大數(shù)值；L1 表示損失函數(shù)。兩幅圖像間的PSNR 值（單位dB）越高，則重建圖像相對(duì)于HR圖像失真越少。

SSIM 計(jì)算式基于樣本x和y之間的三個(gè)比較衡量：亮度、對(duì)比度和結(jié)構(gòu)。SSIM的計(jì)算式表示為：

其中：μx為x的均值，μy為y的均值；為x的方差，為y的方差，σxy為x和y的協(xié)方差；c1=(k1L)2，c2=(k2L)2為兩個(gè)常數(shù)，L為像素值的范圍2B-1（B是比特深度，一般取值為8），k1=0.01，k2=0.03為默認(rèn)值。

每次計(jì)算時(shí)都從圖像上取一個(gè)N×N的窗口，然后不斷滑動(dòng)窗口進(jìn)行計(jì)算，最后取平均值作為全局的SSIM。

3.4 結(jié)果分析

3.4.1 重建性能對(duì)比

圖3給出了本文方法在放大倍數(shù)為2、3、4時(shí)，模型的損失變化情況，橫坐標(biāo)為epoch，縱坐標(biāo)為loss?？梢钥闯?，本文方法可以使loss 迅速收斂至很小值，且運(yùn)行穩(wěn)定，可以較好地優(yōu)化模型參數(shù)，使重建性能更佳。

圖3 本文方法的損失收斂曲線(xiàn)Fig.3 Loss convergence curve of proposed method

為了驗(yàn)證本文方法在重建性能上的優(yōu)越性，將本文方法與SRCNN［6］、高效亞像素CNN（Efficient Sub-pixel CNN，ESPCN）［22］、FSRCNN［8］、VDSR［7］、DRCN［9］、深度拉普拉斯金字塔超分辨率重建網(wǎng)絡(luò)（fast and accurate image Super-Resolution with deep Laplacian pyramid Network，LapSRN）［23］、深度遞歸殘差網(wǎng)絡(luò)（Deep Recursive Residual Network，DRRN）［24］、用于圖像恢復(fù)的持久性存儲(chǔ)網(wǎng)絡(luò)（persistent Memory Network for image restoration，MemNet）［25］和MSRN［15］方法進(jìn)行比較，這些方法的實(shí)驗(yàn)結(jié)果均通過(guò)原文公開(kāi)的實(shí)驗(yàn)數(shù)據(jù)獲取。針對(duì)插值處理過(guò)的×2、×3、×4 的LR 圖像，采用本文所提出的模型進(jìn)行重建，得到對(duì)應(yīng)的SR 圖像，再通過(guò)Matlab 代碼，得到SR 圖像的PSNR值和SSIM值。

圖4 給出了本文方法在測(cè)試數(shù)據(jù)集上生成的部分SR 圖像與其他方法重建圖像的細(xì)節(jié)對(duì)比，能夠觀(guān)察到，本文方法重建圖像的細(xì)節(jié)恢復(fù)得最好。其中，SRCNN 等方法重建的嬰兒睫毛和蝴蝶翅膀細(xì)節(jié)非常模糊且失真嚴(yán)重，小鳥(niǎo)嘴巴邊緣和辣椒輪廓存在偽影，而本文方法得到的嬰兒睫毛根根分明，蝴蝶翅膀細(xì)節(jié)完整，小鳥(niǎo)嘴巴和辣椒邊緣輪廓清晰，線(xiàn)條明朗，高頻細(xì)節(jié)得到恢復(fù)，更接近原始HR圖像。

圖4 不同方法重建的SR圖像局部細(xì)節(jié)對(duì)比Fig.4 Local detail comparison of SR images reconstructed by different methods

表1～3 分別給出了在測(cè)試集中，本文方法與其他方法在放大倍數(shù)為2、3和4時(shí)的PSNR值和SSIM值的比較，加粗顯示的數(shù)據(jù)代表所有方法中最優(yōu)的?？梢钥闯?，與SRCNN 等方法相比，本文方法得到的PSNR值和SSIM值均有顯著提升，主要是由于本文方法采用一種稀疏連接的方法，可以在增加模型深度和寬度時(shí)，保證參數(shù)量盡可能少地增加，同時(shí)使重建性能得到提升；與同樣采用稀疏連接方法的MSRN 相比，互有優(yōu)劣，主要是由于MSRN 采用5× 5 和3× 3 兩種卷積交叉串聯(lián)的方式，本文方法采用1× 1 和3× 3 兩種卷積直接連接的方法，使得MSRN 的參數(shù)量遠(yuǎn)遠(yuǎn)多于本文方法，從而導(dǎo)致其部分性能優(yōu)于本文方法。其中，放大倍數(shù)為4 時(shí)，針對(duì)數(shù)據(jù)集Set5，相較于VDSR，本文方法的SSIM 高了0.013 6，相較于MSRN，其SSIM 高了0.002 9。具體的參數(shù)對(duì)性能的影響在3.4.2節(jié)進(jìn)行了詳細(xì)的分析對(duì)比。

表1 本文方法與其他方法在放大倍數(shù)為2時(shí)的PSNR/SSIM對(duì)比Tab.1 Comparison of PSNR/SSIM between proposed method and other methods at 2 magnification

表2 本文方法與其他方法在放大倍數(shù)為3時(shí)的PSNR/SSIM對(duì)比Tab.2 Comparison of PSNR/SSIM between proposed method and other methods at 3 magnification

通過(guò)整體分析可以得出，相較于其他方法，本文方法不管在主觀(guān)視覺(jué)還是客觀(guān)評(píng)價(jià)上，重建效果均有顯著的提升。

表3 本文方法與其他方法在放大倍數(shù)為4時(shí)的PSNR/SSIM對(duì)比Tab.3 Comparison of PSNR/SSIM between proposed method and other methods at 4 magnification

3.4.2 參數(shù)量、平均訓(xùn)練時(shí)間和SSIM的對(duì)比

為了驗(yàn)證本文方法在參數(shù)規(guī)模和訓(xùn)練時(shí)間上的優(yōu)越性，將其與SRCNN、ESPCN、FSRCNN、VDSR、DRCN、LapSRN、DRRN、MemNet和MSRN方法進(jìn)行了比較，如表4所示。

表4 不同方法在參數(shù)量、平均訓(xùn)練時(shí)間以及SSIM上的對(duì)比Tab.4 Comparison of parameters，average training time and SSIM of different methods

從表4中可以看出，本文方法的平均訓(xùn)練時(shí)間最短，SSIM值最高。本文方法的參數(shù)量與MSRN 和DRCN 相比，分別減少了78%和21%，SSIM 分別提升了0.000 5 和0.005 2，主要是因?yàn)楸疚姆椒ú捎肐RN 結(jié)構(gòu)組建模型，該結(jié)構(gòu)采用稀疏連接的方法。在同樣深度和寬度的情況下，與直接連接3× 3卷積核的結(jié)構(gòu)相比，IRN 可以節(jié)省60%的參數(shù)量；與采用MSRB作為主要結(jié)構(gòu)的MSRN 相比，單個(gè)IRN 的參數(shù)量比MSRB 減少68%。與SRCNN、ESPCN、FSRCNN 等方法相比，本文方法雖然參數(shù)量略微增加，但重建性能得到大幅提升，主要是因?yàn)閰?shù)量過(guò)少會(huì)對(duì)重建性能的提升略有影響。

總體來(lái)說(shuō)，本文方法在減少參數(shù)量、縮短訓(xùn)練時(shí)間，以及提升重建效果上，均有顯著的提升。同時(shí)，文獻(xiàn)［4］證明了模型對(duì)資源的占用與參數(shù)量呈正相關(guān)，而本文方法擁有更少的參數(shù)可以證明本文所提出的模型對(duì)實(shí)驗(yàn)設(shè)備資源的占用少，能夠適應(yīng)設(shè)備資源受限的情況。

4 結(jié)語(yǔ)

本文提出了一種基于密集Inception的單圖像超分辨率重建方法。該方法全局融合了簡(jiǎn)化的密集網(wǎng)絡(luò)，將每一個(gè)分層特征提取模塊的輸出用于重建，核心模塊引入了Inception-ResNet 結(jié)構(gòu)，將其應(yīng)用在圖像超分辨率重建領(lǐng)域。實(shí)驗(yàn)結(jié)果表明，本文方法具有較好的重建效果，并且使用了更少的參數(shù)，極大提升了模型的訓(xùn)練速度。但是，由于該方法著重縮減模型參數(shù)，對(duì)圖像的重建性能稍有影響，下一步將研究在模型參數(shù)盡可能少的情況下，提升重建性能。