基于深度漸進(jìn)式反投影注意力網(wǎng)絡(luò)的圖像超分辨率重建

胡高鵬，陳子鎏，王曉明，2*，張開(kāi)放

（1.西華大學(xué)計(jì)算機(jī)與軟件工程學(xué)院，成都 610039；2.西華大學(xué)機(jī)器人研究中心，成都 610039）

（*通信作者電子郵箱hgp9411@163.com）

0 引言

在如今數(shù)據(jù)爆炸的時(shí)代，圖像數(shù)據(jù)占據(jù)著尤為重要的地位，同時(shí)人們對(duì)圖像分辨率的需求也越來(lái)越高。但是依靠提高硬件設(shè)施來(lái)提高圖像的清晰度，不僅難度大、成本高，而且實(shí)用性差。圖像超分辨率（Super-Resolution，SR）技術(shù)便是使用數(shù)字信號(hào)處理技術(shù)將單張LR圖像或一組LR圖像序列重建成HR 圖像。作為近些年來(lái)研究的熱點(diǎn)問(wèn)題，圖像SR 任務(wù)又可分為單幀圖像超分辨率（Single Image Super-Resolution，SISR）［1-9］、多幀圖像超分辨（Multi-Frame Super Resolution，MFSR）［10-12］和視頻超分辨率（Video Super-Resolution，VSR）［13-15］。本文主要研究單幀圖像超分辨率的問(wèn)題，即只利用單幅圖像的高頻和低頻信息進(jìn)行圖像SR重建。

隨著對(duì)SR 任務(wù)研究的深入，涌現(xiàn)出了大量的SR 算法，這些算法大致可分為三類(lèi)：基于插值的方法、基于重建的方法、基于學(xué)習(xí)的方法。由于近些年深度學(xué)習(xí)在計(jì)算機(jī)視覺(jué)各領(lǐng)域都取得了突出的表現(xiàn)，所以基于學(xué)習(xí)的SR方法也成為了超分辨率技術(shù)研究的熱點(diǎn)。Dong 等［1］首次將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于SISR 問(wèn)題，提出了（Super-Resolution Convolutional Neural Network，SRCNN），并取得了優(yōu)越的表現(xiàn)。Kim 等［2］提出了（Super-Resolution using Very Deep Convolutional Network，VDSR），使用殘差的思想緩解了梯度消失或梯度爆炸的問(wèn)題，將網(wǎng)絡(luò)層數(shù)增加至20 層，由于只學(xué)習(xí)圖像的高頻信息，所以提高了收斂速度，同時(shí)在VDSR中使用了較大的感受野來(lái)提升效果并且在單模型中考慮到了多尺度問(wèn)題。之后Kim 等［3］考慮到參數(shù)規(guī)模的問(wèn)題又提出了（Deep Recursive Convolutional Network，DRCN），即使用遞歸的網(wǎng)絡(luò)結(jié)構(gòu)，共享網(wǎng)絡(luò)結(jié)構(gòu)之間的參數(shù)，有效地降低了訓(xùn)練的難度；另外作者還采用跳躍連接和集成策略，進(jìn)一步提高性能。隨后Shi等［4］提出 了（Efficient Sub-pixel Convolutional Neural Network，ESPCN），使用LR圖像作為輸入，在網(wǎng)絡(luò)結(jié)構(gòu)的后端使用亞像素卷積層隱式地將LR 圖像映射為HR 圖像，有效地降低了計(jì)算復(fù)雜度，提高了重建效率。Lai 等［5］提出的LapSRN（deep Laplacian pyramid Networks for fast and accurate Super-Resolution），將拉普拉斯金字塔的思想引入到了深度學(xué)習(xí)中，實(shí)驗(yàn)結(jié)果證明了逐級(jí)上采樣操作的優(yōu)越性，并且在訓(xùn)練的過(guò)程中監(jiān)督每一水平預(yù)測(cè)的殘差結(jié)果，使得性能進(jìn)一步提升。Lim 等［6］通過(guò)去除文獻(xiàn)［7］中多余的模塊，并且使用L1范數(shù)作為損失函數(shù)的方式提出了（Enhanced Deep residual networks for single image Super-Resolution，EDSR）網(wǎng)絡(luò)結(jié)構(gòu)。文獻(xiàn)［6］將訓(xùn)練好的低倍上采樣的模型作為高倍率上采樣模型的預(yù)訓(xùn)練，不僅提高了訓(xùn)練的速度，同時(shí)訓(xùn)練的結(jié)果也更好。

以上這些網(wǎng)絡(luò)結(jié)構(gòu)多為前饋結(jié)構(gòu)，忽略了HR 圖像和LR圖像的相互依賴(lài)關(guān)系和上采樣LR 圖像時(shí)的誤差。鑒于此Haris等［8］提出了一種不斷迭代地進(jìn)行上采樣和下采樣的網(wǎng)絡(luò)結(jié)構(gòu)。文獻(xiàn)［8］使用上下采樣相互連接策略和錯(cuò)誤反饋機(jī)制學(xué)習(xí)HR 和LR 的相互映射關(guān)系，并且使用深度級(jí)聯(lián)的結(jié)構(gòu)級(jí)聯(lián)不同階段的HR 和LR 特征重建HR 圖像；但是忽略了在重構(gòu)HR 圖像時(shí)，不同階段產(chǎn)生的HR 特征的貢獻(xiàn)可能不同，并且由于網(wǎng)絡(luò)的深度增加導(dǎo)致重建的HR 過(guò)于平滑，丟失了部分高頻信息。針對(duì)這些問(wèn)題，本文提出了深度漸進(jìn)式反投影注意網(wǎng)絡(luò)，即使用漸進(jìn)式上采樣至特定的倍數(shù)并且引入注意力機(jī)制進(jìn)一步提升了深度反投影網(wǎng)絡(luò)的性能。本文的主要工作有兩個(gè)，分別如下：

1）引入了漸進(jìn)式上采樣的思想，對(duì)于輸入的LR 圖像逐步上采樣至特定的尺寸，這不僅有效地減少了上采樣過(guò)程中引入的噪聲，還由于每次縮放相對(duì)較小的倍率，緩解了上采樣過(guò)程中信息丟失的問(wèn)題，同時(shí)也降低了網(wǎng)絡(luò)的計(jì)算復(fù)雜度。

2）使用注意力機(jī)制為漸進(jìn)式反投影過(guò)程中每階段產(chǎn)生的特征圖以及特征圖的各個(gè)通道，自動(dòng)分配不同的注意力資源。使網(wǎng)絡(luò)模型可以學(xué)習(xí)到盡可能多的高頻信息，并盡量減少上下采樣過(guò)程產(chǎn)生的誤差。

1 深度反投影網(wǎng)絡(luò)超分辨率算法

針對(duì)SISR 任務(wù)，之前大多數(shù)的網(wǎng)絡(luò)模型都是采用前端上采樣、漸進(jìn)式上采樣或后端上采樣方法，但這些方法都忽略了重建過(guò)程中造成的重構(gòu)誤差。Haris等［8］引入了迭代反投影方法，提出了深度反投影網(wǎng)絡(luò)（Deep Back-Projection Networks for super-resolution，DBPN）結(jié)構(gòu)，同時(shí)引入了密集連接的思想發(fā)展DBPN 為D-DBPN（Dense DBPN）。作者主要使用了誤差反饋機(jī)制、相互連接的上采樣和下采樣策略以及深度級(jí)聯(lián)等思想構(gòu)建深度網(wǎng)絡(luò)結(jié)構(gòu)。D-DBPN 采用迭代反投影的思想，多次模擬圖像上采樣及下采樣的過(guò)程，并計(jì)算每次上下采樣中的誤差，利用誤差反饋機(jī)制指導(dǎo)下次的上下采樣過(guò)程，以降低重建誤差。

投影單元分為上投影單元和下投影單元。對(duì)于輸入大小為M×N的LR特征圖Lt-1上投影單元計(jì)算流程被定義為：

上采樣：

下采樣：

計(jì)算誤差：

上采樣：

輸出特征圖：

其中：*表示空間卷積算子；↑s和↓s分別是尺度為s的上下采樣；pt，gt和qt分別代表在t階段的卷積或者反卷積核；Ht表示得到的大小為pM×pN的HR特征圖。

對(duì)于輸入大小為pM×pN的HR 特征圖Ht下投影單元的計(jì)算流程被定義為：

下采樣：

上采樣：

計(jì)算誤差：

下采樣：

輸出特征圖：

深度反投影網(wǎng)絡(luò)雖然已經(jīng)在SR 任務(wù)中取得了卓越的表現(xiàn)，但是仍存在一些問(wèn)題。它使用相互連接的上下投影單元學(xué)習(xí)LR 圖像和HR 圖像之間的相互依賴(lài)關(guān)系，但是一方面由于使用了較深的網(wǎng)絡(luò)的結(jié)構(gòu)，造成參數(shù)規(guī)模較大難以訓(xùn)練；同時(shí)在訓(xùn)練過(guò)程中丟失了部分的高頻信息，使得產(chǎn)生的結(jié)果缺少了邊緣和紋理等細(xì)節(jié)信息。此外該網(wǎng)絡(luò)結(jié)構(gòu)平等地對(duì)待每個(gè)階段產(chǎn)生的HR 特征圖，忽略了各個(gè)特征圖之間的相互依賴(lài)關(guān)系以及各個(gè)特征圖之間各通道的相互依賴(lài)關(guān)系。另一方面，雖然D-DBPN 使用相互連接的上下投影單元學(xué)習(xí)LR 圖像和HR 圖像之間的相互依賴(lài)關(guān)系，但是在上采樣時(shí)仍是直接放大至所需的尺寸。這種方式特別是在高倍率縮放時(shí)，會(huì)造成部分高頻信息丟失和參數(shù)規(guī)模增加等問(wèn)題。

2 本文方法

D-DBPN［8］方法對(duì)提取到的特征圖直接上采樣至給定的倍率，但在高倍率時(shí)容易丟失高頻信息。此外，在重建預(yù)測(cè)圖像時(shí)均等地對(duì)待各階段產(chǎn)生的特征，忽略了特征圖之間的差異性。本文受到LapSR［5］和RCAN（Residual Channel Attention Networks）［9］的啟發(fā)，提出了深度漸進(jìn)式反投影注意力網(wǎng)絡(luò)。由于使用漸進(jìn)式上采樣策略，所以減少了在上采樣過(guò)程丟失的高頻信息，同時(shí)產(chǎn)生的結(jié)果具有更豐富的細(xì)節(jié)信息。此外，引入全局注意力機(jī)制對(duì)相互連接的不同階段的特征圖以及不同特征圖的不同通道分配不同的注意力資源，以學(xué)習(xí)到更深層次的特征信息。本文提出的深度漸進(jìn)式反投影注意力網(wǎng)絡(luò)結(jié)構(gòu)如圖1 所示，由淺層特征提取、漸進(jìn)式反投影、特征注意、重建等四部分組成。

圖1 本文算法的網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Network structure of the proposed algorithm

2.1 淺層特征提取

首先Ih和Ir分別表示大小為M×N和大小為M'×N'的HR 圖像和LR 圖像，并且滿(mǎn)足M＞M'和N＞N'。此外，conv(f，n)表示卷積層，其中f代表濾波器的大小，n表示濾波器的數(shù)量。對(duì)于輸入的LR 圖像Ir，首先使用conv(3，n0)提取淺層特征L0。然后使用conv(1，nr)將提取到的n0維的淺層特征的維度減少到nr。其中n0代表提取LR圖像淺層特征時(shí)，需要的濾波器數(shù)量，nr表示投影單元需要的濾波器數(shù)量。

2.2 漸進(jìn)式反投影策略

鑒于上采樣過(guò)程很容易引入噪聲，尤其在高倍率采樣過(guò)程中容易丟失高頻信息，為此本文提出了漸進(jìn)式反投影策略。即對(duì)于提取到的淺層特征，使用漸進(jìn)式反投影單元縮放至所需尺寸，其中每個(gè)反投影單元都包含上投影單元和下投影單元。

1）上投影單元。上投影單元結(jié)構(gòu)如圖2（a）所示，首先將輸入的LR 特征圖Lt-1映射到特定的尺寸得到特征圖，然后再模擬下采樣的過(guò)程，嘗試將特征圖映射到LR 空間得到特征圖Lt，這一過(guò)程被稱(chēng)之為反投影的過(guò)程。但是由于在計(jì)算HR 和LR 特征之間映射和反映射時(shí)總會(huì)存在誤差，故計(jì)算特征圖Lt-1和由上采樣得到的特征圖Lt之間的誤差。然后對(duì)進(jìn)行相同的上采樣操作得到，用得到的誤差指導(dǎo)到映射過(guò)程，最后得到上采樣投影的輸出HR 特征圖Ht。

圖2 不同單元結(jié)構(gòu)示意圖Fig.2 Schematic diagrams of different unit structures

2）下投影單元。下投影單元的結(jié)構(gòu)和上投影單元相似如圖2（b）所示。上投影單元的輸入是LR特征圖Lt-1，而下投影單元的輸入則是經(jīng)過(guò)上投影單元產(chǎn)生的HR 特征圖Ht。故而首先將輸入的特征圖Ht映射至LR 空間得到特征圖，然后再將特征圖映射至HR 特征圖并計(jì)算特征圖Ht和之間的誤差。最后將投影誤差下采樣得到用以指導(dǎo)Ht到的映射過(guò)程得到LR特征圖Lt。

此外，將需要上采樣t倍的任務(wù)劃分為lb(t)個(gè)子任務(wù)，每個(gè)子任務(wù)都包含若干個(gè)反投影單元。對(duì)于第k子任務(wù)，采用密集連接的方式級(jí)聯(lián)之前k-1 個(gè)子任務(wù)的預(yù)測(cè)結(jié)果。由于采用漸進(jìn)式的上采樣操作，所以每個(gè)子任務(wù)所產(chǎn)生的HR 特征圖尺寸不同。為了解決每個(gè)預(yù)測(cè)特征圖尺寸不同的問(wèn)題，在每個(gè)子任務(wù)開(kāi)始之前使用轉(zhuǎn)置卷積的方法將之前各子任務(wù)輸出的特征圖上采樣至所需尺寸。此外對(duì)于lb(t)個(gè)任務(wù)中的每個(gè)子任務(wù)，均使用迭代的反投影單元學(xué)習(xí)LR 和HR 圖像之間的相互依賴(lài)關(guān)系，漸進(jìn)式反投影策略有效地緩解了高倍率縮放時(shí)的信息丟失和引入噪聲等問(wèn)題。

2.3 全局注意單元

全局注意力單元結(jié)構(gòu)如圖3 所示，即將之前所有上投影單元的輸出結(jié)果[H1，H2，…，Hn]都漸進(jìn)式地上采樣至給定的尺寸并級(jí)聯(lián)在一起得到H×W×C的特征圖。對(duì)于輸入的H×W×C的特征圖X=[H1，H2，…，Hn]，先進(jìn)行全局池化操作，逐通道進(jìn)行分析Z∈RC，Z的第c個(gè)元素可以定義為：

圖3 全局注意力機(jī)制單元結(jié)構(gòu)示意圖Fig.3 Schematic diagram of global attention mechanism unit structure

其中：Hc(i，j)代表在第c個(gè)特征圖(i，j)處的特征值xc；HGP(x)表示全局池化函數(shù)。全局池化得到zc描述了第c個(gè)通道的特征圖的全局信息，同時(shí)也將第c通道的特征信息映射為一個(gè)數(shù)值。之后利用設(shè)計(jì)的門(mén)控函數(shù)計(jì)算每個(gè)通道特征應(yīng)該分配多少注意力。門(mén)控函數(shù)被定義：

其中：f(·)和δ(·)分別表示sigmoid 門(mén)控單元和ReLU 激活函數(shù)；WD是卷積層的權(quán)重矩陣，該卷積層將輸入的特征圖的維度進(jìn)行下采樣，采樣比率為r，然后用ReLU 函數(shù)激活；WU表示上采樣卷積層的權(quán)重矩陣，采樣比率同樣是r，同時(shí)該卷積層的激活函數(shù)使用sigmoid 函數(shù)，從而得到注意力分配比率。最后被分配過(guò)注意力的特征圖可以通過(guò)式（13）計(jì)算得到：

其中：sc和Hc分別表示第c通道的特征的注意力分配比率和第c通道的特征圖，而H'c表示被分配注意力資源的特征圖。

2.4 重建

最后，使用conv(3，3)的卷積層對(duì)全局注意力單元得到的特征圖進(jìn)行重建得到大小為M×N的高分辨率預(yù)測(cè)圖像Isr，重建層如式（14）所示：

其中：Isr表示預(yù)測(cè)得到的高分辨率圖像；fRec(·)是3 個(gè)卷積核大小為3×3的卷積函數(shù)；H'k表示分配過(guò)注意力的各個(gè)階段的特征圖。

針對(duì)超分辨率回歸任務(wù)，通常選擇L1范數(shù)損失和均方誤差（Mean Squared Error，MSE）損失作為網(wǎng)絡(luò)模型的優(yōu)化目標(biāo)，為了選擇出更適合本文方法的損失函數(shù)，在3.1 節(jié)選擇不同的損失函數(shù)進(jìn)行對(duì)比實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明使用L1范數(shù)更適合作為本文方法的優(yōu)化目標(biāo)，故本文的實(shí)驗(yàn)均選擇L1范數(shù)損失函數(shù)。假設(shè)給定的訓(xùn)練集，其包含N個(gè)LR輸入圖像和對(duì)應(yīng)的HR 真實(shí)圖像，則漸進(jìn)式反投影注意力網(wǎng)絡(luò)的優(yōu)化目標(biāo)是最小化L1損失函數(shù)：

其中：HRBPAN(·)表示本文整體的網(wǎng)絡(luò)模型預(yù)測(cè)函數(shù)；θ代表本文網(wǎng)絡(luò)結(jié)構(gòu)中所涉及的參數(shù)；L(·)表示本文方法的損失函數(shù)。此外本文使用隨機(jī)梯度下降法最小化L1損失函數(shù)。

3 實(shí)驗(yàn)與結(jié)果分析

由于本文采用漸進(jìn)式反投影策略，所以在該網(wǎng)絡(luò)結(jié)構(gòu)中每次采樣時(shí)都只使用大小為6 ×6 ×64 的卷積核、步長(zhǎng)和填充大小都為2 的反卷積層，同時(shí)在每個(gè)反投影單元中均使用相同的配置。在訓(xùn)練網(wǎng)絡(luò)模型時(shí)使用數(shù)據(jù)集DIV2K［16］，不做數(shù)據(jù)集增強(qiáng)。此外，使用He 等［17］提出的方法初始化網(wǎng)絡(luò)權(quán)重，并且batchsize 設(shè)為20，訓(xùn)練時(shí)LR 圖像大小為32 ×32。初始的學(xué)習(xí)率為1E-4 并且每迭代5×105次學(xué)習(xí)率降低至原來(lái)的1/10，一共迭代106次。另外使用動(dòng)量為0.9 的Adam［18］優(yōu)化方法，使用L1范數(shù)作為損失函數(shù)。所有的實(shí)驗(yàn)均部署在Nvidia TITAN X（Pascal）GPU 以及Intel Xeon W-2125 CPU 環(huán)境下。

3.1 L1范數(shù)損失函數(shù)和MSE損失函數(shù)對(duì)比

由于損失函數(shù)在網(wǎng)絡(luò)模型中重要的作用，所以在構(gòu)建網(wǎng)絡(luò)模型時(shí)損失函數(shù)的選擇就顯得尤為重要。本文選取目前最常見(jiàn)的損失函數(shù)即L1范數(shù)損失函數(shù)和MSE 損失函數(shù)，進(jìn)行實(shí)驗(yàn)對(duì)比并選擇出更適合本文算法的損失函數(shù)。

為此，本實(shí)驗(yàn)使用縮放因子為4，反投影單元數(shù)量為6 的配置構(gòu)造了模型Ⅰ和模型Ⅱ，模型Ⅰ為使用MSE 損失函數(shù)作為網(wǎng)絡(luò)模型優(yōu)化目標(biāo)的，模型Ⅱ?yàn)槭褂肔1范數(shù)損失函數(shù)作為網(wǎng)絡(luò)模型優(yōu)化目標(biāo)的。同時(shí)為保證實(shí)驗(yàn)的公平性原則模型Ⅰ和模型Ⅱ使用相同大小的卷積核和相同的網(wǎng)絡(luò)深度，其實(shí)驗(yàn)結(jié)果表1所示。

從表1中可以發(fā)現(xiàn)在Set5 數(shù)據(jù)集上，使用L1范數(shù)作為損失函數(shù)的峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）指標(biāo)和結(jié)構(gòu)相似性（Structural SIMilarity，SSIM）指標(biāo)均高于使用MSE 損失函數(shù)的指標(biāo)，同樣在Set14 數(shù)據(jù)集上有相同的結(jié)論，故此認(rèn)為L(zhǎng)1范數(shù)損失函數(shù)更適合作為本文算法的優(yōu)化目標(biāo)。

表1 在Set5和Set14數(shù)據(jù)集上對(duì)比不同損失函數(shù)的表現(xiàn)Tab.1 Performance comparison of different loss functions on Set5 and Set14 datasets

3.2 模型分析

本文方法不僅引入了注意力機(jī)制，而且融入漸進(jìn)式上采樣策略來(lái)提升超分辨率的結(jié)果。為了驗(yàn)證所提出的網(wǎng)絡(luò)模型每部分的有效性，構(gòu)建了三個(gè)網(wǎng)絡(luò)模型，即模型Ⅲ、模型Ⅳ和模型Ⅴ。其中模型Ⅲ是文獻(xiàn)［8］中使用6 個(gè)反投影單元的DDBPN 模型，模型Ⅳ和模型Ⅴ的設(shè)置分別如下：在模型Ⅳ中，只引入了注意力機(jī)制。該模型使用和模型Ⅲ相同數(shù)量的反投影單元，在縮放因子為4 和8時(shí)，分別使用8×8 和12×12 的反卷積核。在模型Ⅴ中，不僅引入了注意力機(jī)制，并且融合了漸進(jìn)式上采樣的操作，使用相同數(shù)量的反投影單元。但是在縮放因子為4和8時(shí)，均使用6×6的反卷積核。實(shí)驗(yàn)對(duì)比了各網(wǎng)絡(luò)模型在不同數(shù)據(jù)集上分別上采樣4 倍和8 倍時(shí)的PSNR 和SSIM［19］的取值，實(shí)驗(yàn)結(jié)果如表2所示。

表2 模型Ⅲ、模型Ⅳ和模型Ⅴ在Set5和Set14數(shù)據(jù)集上的表現(xiàn)Tab.2 Performance of Model Ⅲ，Model Ⅳand Model V on Set5 and Set14 datasets

實(shí)驗(yàn)結(jié)果表明，在相同數(shù)量的反投影單元的情況下，模型Ⅳ和模型Ⅴ在放大4倍和8倍時(shí)的重建結(jié)果，相較于模型Ⅲ在PSNR 指標(biāo)和SSIM 指標(biāo)上都取得了大幅度的提升。其中相對(duì)于模型Ⅲ算法在縮放因子為4時(shí)，模型Ⅳ和模型Ⅴ：在Set5 數(shù)據(jù)集上的PSNR 分別提高了1.41 dB 和1.44 dB，SSIM 分別提高了0.038 和0.039；在Set14 數(shù)據(jù)集上PSNR 分別提高了0.79 dB 和0.86 dB，SSIM 分別高了0.086 和0.0867。當(dāng)縮放因子為8時(shí)，模型Ⅳ和模型Ⅴ相對(duì)于模型Ⅲ：在Set5 數(shù)據(jù)集上PSNR 分別提高了0.79 dB和1.22 dB，SSIM 分別提高了0.076和0.08；在Set14 數(shù)據(jù)集上PSNR 分別提高了1.09 dB 和1.29 dB，SSIM 分別提高了0.145 和0.146。同時(shí)可以觀(guān)察到模型Ⅴ相對(duì)于模型Ⅳ，無(wú)論是在Set5數(shù)據(jù)集上還是在Set14數(shù)據(jù)集上，縮放因子為4和8時(shí)在PSNR指標(biāo)上和SSIM指標(biāo)上均有提高。經(jīng)以上分析可見(jiàn)，本文融合的注意力機(jī)制和漸進(jìn)式上采樣思想每部分都展示了其優(yōu)越性，這都得益于其不同特征圖的差異性和小步幅的上采樣過(guò)程會(huì)減少特征信息的丟失，同時(shí)可以發(fā)現(xiàn)本文算法在縮放因子較大時(shí)重建結(jié)果取得了更優(yōu)越的表現(xiàn)。

3.3 參數(shù)規(guī)模

在本節(jié)選取部分主流深度學(xué)習(xí)的方法與本文算法的參數(shù)規(guī)模大小進(jìn)行對(duì)比，選取的部分主流算法包括SRCNN［1］、VDSR［2］、LapSRN［5］、EDSR［6］、D-DBPN［8］、RCAN［9］、MemNet［20］、FSRCNN（Faster SRCNN）［21］，比較結(jié)果如圖4所示。

圖4（a）展示了當(dāng)縮放因子為4時(shí)，本文所提出的算法和各主流算法在Set5 數(shù)據(jù)集上測(cè)試時(shí)的參數(shù)規(guī)模。從圖4（a）中，可以發(fā)現(xiàn)當(dāng)縮放因子為4時(shí)，本文所提出的算法比EDSR［6］的參數(shù)量減少了66.7%并且重建圖像的質(zhì)量提高了約1 dB。同樣當(dāng)縮放因子為8時(shí)，本文算法的參數(shù)量雖然有些增加，但是仍維持在一個(gè)相對(duì)較小的水平（如圖4（b）所示）。本文算法預(yù)測(cè)圖像的質(zhì)量高于EDSR 的預(yù)測(cè)結(jié)果約1.2 dB，相對(duì)于EDSR［6］效果參數(shù)量減少了66.7%。

圖4 Set5數(shù)據(jù)集上各主流算法在不同模型的參數(shù)規(guī)模對(duì)比Fig.4 Parameter scale comparison of mainstream algorithms on Set5 dataset

本文采用漸進(jìn)式上采樣的策略，并且使用感受野較小的卷積核，同時(shí)網(wǎng)絡(luò)層數(shù)也相對(duì)較少，所以網(wǎng)絡(luò)并沒(méi)有引入的大量的參數(shù)。但是由于算法的優(yōu)越性，保證了預(yù)測(cè)圖像的質(zhì)量維持在一個(gè)相對(duì)較高的水平。

3.4 綜合實(shí)驗(yàn)結(jié)果對(duì)比分析

本節(jié)將本文方法與部分主流的深度學(xué)習(xí)算法在不同的數(shù)據(jù)集上分別上采樣不同的倍數(shù)取得的實(shí)驗(yàn)結(jié)果進(jìn)行對(duì)比分析。實(shí)驗(yàn)所采用的數(shù)據(jù)集分別是Set5［22］、Set14［23］、BSDS100［24］以及Urban100［25］，其中每個(gè)數(shù)據(jù)集有不同的形態(tài)特征，Set5、Set14和BSDS100包含有多個(gè)自然場(chǎng)景，Urban100包含具有不同頻段細(xì)節(jié)的城市場(chǎng)景。本文對(duì)比的主流深度學(xué)習(xí)算法包括SRCNN［1］、VDSR［2］、LapSRN［5］、EDSR［6］、D-DBPN［8］、RCAN［9］、MemNet［20］、FSRCNN［21］、SCN （Sparse Coding based Network）［26］、SRMDNF（learning a single convolutional Super-Resolution Network For Multiple Degradations）［27］和RDN（Residual Dense Network for image super-resolution）［28］并且分別計(jì)算這些主流算法上采樣2 倍、4 倍和8 倍時(shí)的PSNR 和SSIM 值并對(duì)比分析。為了保證實(shí)驗(yàn)的公平性，對(duì)以上算法使用了相同的訓(xùn)練集，并且比較在各測(cè)試集上的平均結(jié)果。縮放因子為2、4和8時(shí)的實(shí)驗(yàn)結(jié)果如表3～5所示。

表3 各SISR算法的×2模型在不同數(shù)據(jù)集上的性能Tab.3 Performance of×2 models of various SISR algorithms on different datasets

從表3～5中可以發(fā)現(xiàn)，在縮放因子為4 和8時(shí)，本文所提出的算法在各數(shù)據(jù)集上PSNR 和SSIM 均取得了最好的表現(xiàn)。在縮放因子為2時(shí)，本文的算法在Set5數(shù)據(jù)集上PSNR 并沒(méi)有取得最優(yōu)的表現(xiàn)，SSIM 也只有微小的提升，但是在其余數(shù)據(jù)集上各指標(biāo)均達(dá)到了最優(yōu)的重建效果。其中在BSD100 數(shù)據(jù)集上縮放因子為4時(shí)與其他算法相比，本文算法的PSNR 提升最明顯達(dá)到了30.93 dB，相較于次最優(yōu)算法RCAN的PSNR提高了3.16 dB。同時(shí)由于本文更關(guān)注縮放因子較大的重建效果，所以總體上縮放因子越大，本文算法的優(yōu)越性展現(xiàn)得越明顯。

圖5展示了部分主流算法在scale=4時(shí)，對(duì)Set5、BSDS100、Set14 和Urban100 數(shù)據(jù)集中的women、monarch、167083 和img_005 四幅圖像的預(yù)測(cè)結(jié)果。觀(guān)察各算法重建的women 圖像的局部放大效果，可以發(fā)現(xiàn)Bicubic 等算法預(yù)測(cè)結(jié)果最模糊，其眼睛區(qū)域較平滑和模糊，而本文算法在眼睛區(qū)域獲得了更為豐富的細(xì)節(jié)信息和較為清晰的邊緣。同時(shí)比較其他兩幅圖像，同樣發(fā)現(xiàn)monarch 放大區(qū)域花瓣的邊緣更加銳利，167083 和img_005 放大區(qū)域的線(xiàn)條也更加明朗。所以本文算法的重建結(jié)果無(wú)論在客觀(guān)指標(biāo)還是在視覺(jué)效果上，都展示出了明顯的優(yōu)越性。

表4 各SISR算法的×4模型在不同數(shù)據(jù)集上的性能Tab.4 Performance of×4 models of various SISR algorithms on different datasets

表5 各SISR算法的×8模型在不同數(shù)據(jù)集上的性能Tab.5 Average performance of×8 models of various SISR algorithms on different datasets

圖5 幾種算法對(duì)4幅圖片的預(yù)測(cè)結(jié)果對(duì)比Fig.5 Prediction results comparison of several algorithms for 4 images

4 結(jié)語(yǔ)

本文提出了深度漸進(jìn)式反投影注意網(wǎng)絡(luò)，主要利用漸進(jìn)式上采樣的思想并結(jié)合了迭代反投影方法和注意力機(jī)制，緩解了目前主流算法上采樣過(guò)程中的高頻信息丟失，忽略了高低分辨率圖像之間的相互依賴(lài)關(guān)系以及不同特征通道對(duì)重建高分辨率圖像的貢獻(xiàn)大小不同等問(wèn)題。本文算法不僅充分發(fā)掘了高低分辨率特征圖所攜帶的細(xì)節(jié)信息，還使用注意力反投影網(wǎng)絡(luò)學(xué)習(xí)到了高低分辨率特征圖以及特征圖各通道之間的相互依賴(lài)關(guān)系，并且引入漸進(jìn)式上采樣的策略減少了上下采樣過(guò)程中信息的丟失，同時(shí)實(shí)驗(yàn)結(jié)果表明了本文算法的優(yōu)越性。