基于多尺度特征融合反投影網(wǎng)絡(luò)的圖像超分辨率重建

孫超文 陳曉,2

圖像的超分辨率重建(Super-resolution,SR)主要分為單圖像超分辨率重建和多圖像超分辨率重建[1],本文研究單圖像超分辨率重建.作為一種重要的圖像處理技術(shù),SR 從低分辨率(Low-resolution,LR)圖像生成對應(yīng)的高分辨率(High-resolution,HR)圖像[2].它在圖像壓縮[3]、醫(yī)學(xué)成像[4]、安全監(jiān)控[5]、衛(wèi)星遙感圖像[6]等領(lǐng)域有著廣泛的應(yīng)用.近年來基于深度學(xué)習(xí)的圖像超分辨率重建方法由于其優(yōu)秀的重建性能受到廣泛關(guān)注[7].

SRCNN[8?9]首次將卷積神經(jīng)網(wǎng)絡(luò)(Convolutional neural network,CNN)用于SR.此后許多研究提出了一系列基于CNN 的SR 算法.增加CNN 網(wǎng)絡(luò)的深度雖然可以提供更大的感受野和更多的上下文信息,但是容易引起兩個問題:梯度消失和大量參數(shù)[10].為了有效地緩解梯度消失的問題,VDSR[11]和EDSR[12]算法借助殘差學(xué)習(xí)[13]訓(xùn)練了更深層的網(wǎng)絡(luò);SR-DenseNet[14]、RDN[15]和DBPN[16]算法則引入密集連接緩解梯度消失的問題[17].為了減少網(wǎng)絡(luò)參數(shù),DRCN[18]和DRRN[19]等網(wǎng)絡(luò)采用遞歸學(xué)習(xí)實現(xiàn)權(quán)重共享.但只是以遞歸的方式堆疊多個相同的層或單元,容易導(dǎo)致出現(xiàn)深度網(wǎng)絡(luò)模型的退化問題.基于遞歸網(wǎng)絡(luò)的SR 算法以前饋的方式從輸入的LR 圖像中學(xué)習(xí)分層表示,這種單向映射依賴于LR 圖像中的有限特征.基于插值的前饋網(wǎng)絡(luò)如FSRCNN[20]和EPSCN[21],遷移到其他放大倍數(shù)需要繁瑣的預(yù)處理,容易引入新的噪聲,難以適應(yīng)更大倍數(shù)的放大.雖然MSRN[22]和Lap SRN[23]可以執(zhí)行8 倍放大但重建效果仍有很大的改善空間.盡管DBPN 算法[16]引入反投影機制實現(xiàn)了深度SR,卻需要龐大的訓(xùn)練集和時間,包括DIV2K(800張2K圖像)[24],Flickr2K(2650張2K圖像)[12]和ImageNet數(shù)據(jù)集(超過1400 萬張圖像)[25].并且,以單一尺寸卷積提取圖像特征減弱網(wǎng)絡(luò)恢復(fù)高頻細節(jié)的能力,以單尺度的投影單元執(zhí)行特征映射降低網(wǎng)絡(luò)的學(xué)習(xí)能力,在放大倍數(shù)大時這個問題更突出.

針對以上問題,本文提出了一種多尺度特征融合反投影網(wǎng)絡(luò)用于圖像超分辨率重建,其結(jié)構(gòu)如圖1所示.作為一種模塊化的端到端網(wǎng)絡(luò),只需對參數(shù)進行少量調(diào)整就可以擴展到任意放大倍數(shù),實現(xiàn)了靈活地定義和訓(xùn)練不同深度的網(wǎng)絡(luò).本文主要工作如下:

圖1 本文算法網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.1 The structure of the proposed network

1)在淺層特征提取階段,基于GoogleNet 的思想[26],設(shè)計多尺度特征提取模塊.采用多個不同的卷積核對輸入LR 圖像進行卷積操作,提取圖像的多種底層特征,再進行特征級聯(lián)實現(xiàn)多尺度特征融合,最后利用1×1 卷積進行降維.多尺度特征提取模塊使得網(wǎng)絡(luò)在淺層特征提取階段獲取不同維度的特征信息,可以使網(wǎng)絡(luò)學(xué)習(xí)到圖像更多的高頻信息,提高重建性能.

2)在特征映射階段,構(gòu)建多尺度投影單元實現(xiàn)自適應(yīng)獲取不同尺度的圖像特征.在兩條支路分別引入不同大小的卷積核進行上(下)采樣,不同支路間可以信息共享,實現(xiàn)充分利用圖像的局部特征.采用1×1 卷積完成數(shù)據(jù)降維和特征的跨通道融合,在學(xué)習(xí)前一層的表示中添加非線性激勵來提高網(wǎng)絡(luò)的泛化能力.這種局部多路徑學(xué)習(xí)方式增強了支路信息交流,豐富了投影特征,進一步增大網(wǎng)絡(luò)的感受野和提高模型學(xué)習(xí)復(fù)雜映射的能力.

3)實現(xiàn)高層信息和低層信息的融合.多尺度上下投影單元通過遞歸學(xué)習(xí)從輸入的LR 圖像中生成HR 特征再投影回LR 空間,實現(xiàn)殘差反饋過程.這種反饋機制將高層信息傳輸回前層并調(diào)整輸入,在豐富高層特征的同時完善低層特征表示.攜帶反饋的遞歸結(jié)構(gòu)不斷調(diào)整LR 和HR 圖像之間的相互關(guān)系,在增加網(wǎng)絡(luò)深度的同時有效地減少網(wǎng)絡(luò)冗余.網(wǎng)絡(luò)通過組合不同深度的HR 特征生成重建圖像,高層與低層特征信息的融合使得網(wǎng)絡(luò)具有強大的早期重建能力.

4)實現(xiàn)全局信息和局部信息的融合.局部殘差信息結(jié)合全局殘差信息可以極大程度地利用圖像特征并克服特征在傳輸過程中消失的缺陷.本網(wǎng)絡(luò)不僅應(yīng)用迭代上下采樣方法為特征映射模塊的投影殘差提供局部殘差反饋,為早期層的學(xué)習(xí)提供豐富的局部特征信息,還在重建階段通過全局殘差跳躍連接將殘差圖像從LR 輸入添加到全局恒等映射中,使得網(wǎng)絡(luò)僅需要學(xué)習(xí)圖像殘差,極大地降低學(xué)習(xí)難度并加速了網(wǎng)絡(luò)的收斂.局部殘差反饋和全局殘差學(xué)習(xí)的結(jié)合促進了特征的傳播和利用,為最終的重建提供更多的特征信息.

1 多尺度特征融合反投影網(wǎng)絡(luò)

多尺度特征融合反投影網(wǎng)絡(luò)主要由3 個部分組成,分別為淺層特征提取模塊,特征映射模塊和重建模塊,如圖1 所示.

由于應(yīng)用了全局殘差學(xué)習(xí),因此整個網(wǎng)絡(luò)將LR 圖像作為輸入,僅需要學(xué)習(xí)HR 圖像和插值LR圖像之間的殘差.令conv(f,n)表示卷積層,其中f為卷積核大小,n為通道數(shù),三個模塊的詳細闡述如下.

1.1 淺層特征提取模塊

首先,使用不同尺度的卷積核在三條支路中分別對輸入的LR 圖像ILR進行卷積操作提取圖像初始特征,然后將特征圖級聯(lián)實現(xiàn)多特征的跨通道融合并利用1×1 卷積層進行數(shù)據(jù)降維,得到淺層LR特征圖L0:

式中,f1×1、f3×3和f5×5分別表示conv(1,n0)、conv(3,n0) 和conv(5,n0) ,n0為初始特征提取階段的通道數(shù),f0表示conv(1,n),n是多尺度投影單元的輸入通道數(shù),f0將總通道數(shù)3×n0降為n.

1.2 特征映射模塊

LR 特征圖L0流入特征映射模塊得到多個不同深度的HR 特征圖Hg:

式中,G表示遞歸總次數(shù);當(dāng)g=1 時,淺層LR 特征圖L0作為當(dāng)前輸入;當(dāng)g>1 時,將第g?1 次遞歸產(chǎn)生的LR 特征圖Lg?1作為本次輸入.表示第g次遞歸的特征投影過程,詳細解釋如下:將一個多尺度上投影單元級聯(lián)一個多尺度下投影單元實現(xiàn)將LR 特征投影到HR 空間,再投影回LR 空間.本網(wǎng)絡(luò)僅使用一對多尺度上下投影單元,通過遞歸學(xué)習(xí)實現(xiàn)權(quán)重共享并構(gòu)成迭代反饋機制.在多尺度投影單元中構(gòu)建兩條支路并且對不同的支路應(yīng)用不同尺度的卷積核.這種局部多路徑學(xué)習(xí)方式可以實現(xiàn)不同旁路之間的信息共享并充分利用圖像局部特征.基于迭代上下采樣框架,設(shè)計多尺度上投影單元和多尺度下投影單元分別用于上采樣和下采樣操作.

1.2.1 多尺度上投影單元

多尺度上投影單元是將LR 特征圖Lg?1映射到HR 空間中,計算流程如下:

步驟 1.輸入LR 特征圖Lg?1,利用不同尺度的反卷積在兩條支路上分別進行上采樣操作,生成HR 特征圖和

步驟 2.級聯(lián)HR 特征圖和,在兩條支路上利用不同尺度的卷積分別進行下采樣操作,將產(chǎn)生的LR 特征圖級聯(lián)實現(xiàn)跨通道信息融合,然后利用1×1 卷積進行特征池化和降維并生成LR 特征圖

步驟 3.計算輸入的LR 特征圖Lg?1和重建的LR 特征圖之間的殘差,并構(gòu)建兩條支路利用不同尺度的反卷積分別進行上采樣操作,LR 空間中的殘差被映射到HR 空間中,生成新的殘差特征和

步驟 4.級聯(lián)和并與級聯(lián)的和進行疊加,通過1×1 卷積進行特征融合和降維,多尺度上投影單元輸出HR 特征圖Hg.

其中,Ch表示Conv(1,n),疊加后總通道數(shù)為2n,通過Ch輸出通道數(shù)變?yōu)閚,與輸入通道數(shù)保持一致.

1.2.2 多尺度下投影單元

多尺度下投影單元與多尺度上投影單元十分相似,是多尺度上投影單元的逆過程,目的是將HR特征投影到LR 空間中,計算過程如下:

步驟 1.將HR 特征圖Hg作為輸入,利用不同尺度的卷積在兩條支路上分別進行下采樣操作,生成LR 特征圖和

步驟 2.級聯(lián)LR 特征圖和,在兩條支路上利用不同尺度的卷積分別進行上采樣操作,將產(chǎn)生的HR 特征圖級聯(lián)實現(xiàn)跨通道信息融合,然后利用1×1 卷積進行特征池化和降維并生成HR 特征圖

步驟 3.計算輸入的HR 特征圖Hg和重建的HR 特征圖之間的殘差,并構(gòu)建兩條支路利用不同尺度的卷積分別進行下采樣操作,HR 空間中的殘差被反投影回LR 空間中,生成新的殘差特征和

步驟 4.級聯(lián)LR 殘差特征和,并與步驟2 中級聯(lián)的LR 特征圖和進行疊加,通過1×1 卷積進行特征融合和降維,得到多尺度下投影單元最終的輸出LR 圖Lg.

其中,C l表示Conv(1,n),相加后總通道數(shù)為2n,通過Conv(1,n)輸出通道數(shù)降低為n,輸入和輸出保持相同的通道數(shù).

令多尺度上、下投影單元的輸入和輸出都具有相同的通道數(shù),這種結(jié)構(gòu)允許多個多尺度投影單元相互交替連接.

為了控制參數(shù)數(shù)量并降低計算復(fù)雜度,許多網(wǎng)絡(luò)往往避免使用大尺寸卷積進行特征映射,這雖然可以從一定程度上提升收斂速度減少運算成本,但卻以犧牲重建性能為代價.而以遞歸學(xué)習(xí)的方式實現(xiàn)多尺度上、下投影單元的迭代能夠大大促進權(quán)重共享減少網(wǎng)絡(luò)冗余.這種設(shè)計不僅可以抑制由大尺寸卷積核帶來的收斂速度慢的缺陷,還可以通過擴大感受野提取更多圖像特征以提高重建效果.因此多尺度投影單元的每條支路均使用了大尺寸卷積核.

1.3 重建模塊

重建模塊融合特征映射模塊生成的不同深度的HR 特征圖并輸出殘差圖像IRes,

其中,[H1,H2,···,H g] 表示多個HR 特征的深度級聯(lián),fRB表示重建模塊的操作,即對級聯(lián)的HR 特征應(yīng)用conv(3,3)進行卷積處理實現(xiàn)分層特征融合.

最后,通過全局殘差跳躍連接輸出超分辨率圖像ISR,其過程表示為:

其中,fUS表示插值上采樣操作,采用雙線性插值將原始輸入圖像ILR放大至目標(biāo)尺寸(也可以選用其他插值算法,如雙三次插值法等),然后繞過網(wǎng)絡(luò)主體部分將插值LR 圖像傳遞到網(wǎng)絡(luò)末端與IRes相加,生成最終的重建圖像ISR.

2 實驗與結(jié)果分析

2.1 實驗設(shè)置

實驗平臺的CPU 為Intel Core i5-7500,GPU為NVIDIA RTX-2080.使用深度學(xué)習(xí)框架Pytorch 1.2.0.

把DIV2K 中的800 張訓(xùn)練圖像作為訓(xùn)練集[24],為了充分利用數(shù)據(jù),采用了旋轉(zhuǎn)和翻轉(zhuǎn)進行了數(shù)據(jù)擴充[12].選用5 個標(biāo)準(zhǔn)數(shù)據(jù)集評估模型性能,分別為Set5[27],Set14[28],BSD100[29],Urban100[30]和Manga109[31].用峰值信噪比(PSNR)和結(jié)構(gòu)相似性(SSIM)[32]作為客觀性能評價指標(biāo).批處理大小設(shè)置為16.為了提高計算效率,根據(jù)不同的放大倍數(shù)選擇輸入不同大小的RGB 圖像,如表1 所示.將Bicubic 作為退化模型,采用He 等[33]提出的方法初始化權(quán)重,使用ADAM[34]優(yōu)化器優(yōu)化參數(shù).將學(xué)習(xí)率初始化為0.0001,每200 輪學(xué)習(xí)率衰減為原來的一半,總共訓(xùn)練1 000 輪.選擇L1 損失來訓(xùn)練本文提出的網(wǎng)絡(luò).

在多尺度投影單元的兩條支路中設(shè)計不同大小的卷積核,并對應(yīng)4 種放大倍數(shù)設(shè)置了相應(yīng)的卷積核和步幅.在最終模型中,將遞歸參數(shù)設(shè)置為7,多尺度投影單元的通道數(shù)設(shè)置為64,即輸出64 個HR 特征圖,因此64 個特征進行7 次迭代產(chǎn)生448個HR 特征圖作為重建模塊的輸入.表1 詳細列出了不同放大倍數(shù)下的超參數(shù)設(shè)置.網(wǎng)絡(luò)的輸入和輸出均使用RGB 通道.除網(wǎng)絡(luò)末端的重建層外,所有卷積和反卷積層后面的激活函數(shù)都使用參數(shù)校正線性單元(PReLU)[32].

2.2 模型分析

首先對本文算法進行模型分析,然后與其他SR 算法的重建結(jié)果(×2、×3、×4 和×8)進行定性和定量比較.

2.2.1 特征提取模塊卷積核尺寸分析

卷積核大小能夠直接改變網(wǎng)絡(luò)的感受野,從而對網(wǎng)絡(luò)的超分辨率性能產(chǎn)生重要影響[35?36].為了達到最佳實驗結(jié)果,本文對特征提取層三條支路上的卷積核大小進行研究.將卷積核大小分別設(shè)置1×1、3×3 和5×5 表示為Ours_135,將卷積核大小分別設(shè)置3×3、5×5 和7×7 表示為Ours_357,結(jié)合圖2和表2,對于8 倍放大,在Set5 測試集下當(dāng)網(wǎng)絡(luò)收斂后Ours_135 比Ours_357 的PSNR 結(jié)果高0.04 d B;Ours_135 在5 個標(biāo)準(zhǔn)測試集中獲得了最高的SSIM 值,在4 個測試集中均具有最佳的PSNR 值,僅在Set14 中比Ours_357 低0.01 d B,總體平均仍高出0.051 d B.此外,更大的卷積核意味著更多的參數(shù),從而降低網(wǎng)絡(luò)的推理速度.實驗表明,當(dāng)采用1×1、3×3 和5×5 的卷積組合時,網(wǎng)絡(luò)能夠充分提取特征,并獲得更高的評價指標(biāo),具有更高的泛化能力.

表2 對特征提取模塊卷積核大小的分析Table 2 Analysis of the kernel size of the feature extraction module

圖2 8 倍放大下對特征提取模塊卷積核大小的分析Fig.2 Analysis of kernel size in the feature extraction module on×8 enlargement

2.2.2 多尺度投影單元的卷積核分析

為了分析多尺度投影單元兩條支路上的卷積核大小對重建性能的影響,我們選取了(8×8,10×10)、(10×10,12×12)和(12×12,14×14)三種不同的多尺度卷積組合在×8 SR 上進行研究,實驗結(jié)果如表3 所示,當(dāng)采用大尺度卷積核(12×12,14×14)的組合方案時,網(wǎng)絡(luò)具有最佳的重建結(jié)果.

表3 對多尺度投影單元的卷積核大小分析Table 3 Analysis of the kernel size of the multi-scale projection unit

2.2.3 多尺度投影單元數(shù)量分析

為了分析多尺度投影單元數(shù)量對超分辨率性能的影響,本文采用set5 測試集在8 倍放大下對多尺度投影單元數(shù)量進行實驗,遞歸次數(shù)對應(yīng)了網(wǎng)絡(luò)中一個多尺度上、下投影單元的數(shù)量.實驗結(jié)果如表4所示,每增加1 次遞歸,網(wǎng)絡(luò)增加10 層,參數(shù)數(shù)量增加1 728,但隨著網(wǎng)絡(luò)的逐漸加深,網(wǎng)絡(luò)之間的性能差距越來越小,7 次遞歸和8 次遞歸的網(wǎng)絡(luò)重建結(jié)果幾乎相同,考慮到模型復(fù)雜度和計算成本,最終選了7 次遞歸的模型.

表4 ×8 模型在Set5 和Set14 測試集上的深度分析Table 4 The depth analysis of the×8 model on Set5 and Set14 datasets

2.2.4 參數(shù)規(guī)模分析

表1 顯示了本算法在不同放大倍數(shù)下的參數(shù)數(shù)量,為了進一步對本文算法的復(fù)雜度進行分析,本文選取了6 種主流的基于深度學(xué)習(xí)的SR 算法和本算法的參數(shù)數(shù)量進行對比,包括SRCNN、FSRCNN、VDSR、Lap SRN、MSRN 和EDSR.如圖3所示,本文算法重建圖像的質(zhì)量比EDSR 的重建結(jié)果提高了0.17 d B,但參數(shù)數(shù)量卻減少了約61%;DBPN 算法雖然通過訓(xùn)練龐大的圖像集獲得了比本文算法略高的重建性能(0.08 dB),但同時參數(shù)規(guī)模也提升了38%.綜上所述,本文算法屬于中等規(guī)模網(wǎng)絡(luò),與EDSR 和DBPN 等具有大規(guī)模參數(shù)的網(wǎng)絡(luò)相比,仍然可以產(chǎn)生具有競爭力的重建結(jié)果,在網(wǎng)絡(luò)性能和參數(shù)量之間具有最佳的平衡.

圖3 主流重建算法在Set5 數(shù)據(jù)集上對于×8 SR 的平均PSNR 和參數(shù)數(shù)量對比Fig.3 Comparison of the average PSNR and the number of parameters of the mainstream reconstruction algorithm for×8 SR on Set5

表1 輸入塊大小、參數(shù)數(shù)量和網(wǎng)絡(luò)超參數(shù)設(shè)置Table 1 The settings of input patch size,number of parameters and network hyperparameters

2.3 與目前先進方法的比較

2.3.1 定量分析

DBPN 算法使用了大量的訓(xùn)練圖像實現(xiàn)了復(fù)雜深度模型的高性能.為公平起見,本文對DBPN算法進行了參數(shù)調(diào)整和重新訓(xùn)練,保持和本文算法相同的訓(xùn)練集和迭代次數(shù),使用一對單尺度投影單元進行7 次遞歸,每個投影單元輸出的64 個HR特征圖,共448 個特征圖作為重建層的輸入,并將其命名為DBPN-R64-7.本文算法與DBPN 算法的對比結(jié)果如圖4 所示.

從圖4(b)～(d)訓(xùn)練時損失函數(shù)的迭代結(jié)果可以看出,本算法相比DBPN-R64-7 具有更快的收斂速度,收斂后的loss 值更低.隨著放大倍數(shù)的增加,這種優(yōu)勢更加明顯.根據(jù)圖4(a)～(d)對客觀評價指標(biāo)的分析可以得出,在Set 5 數(shù)據(jù)集上,對于2到8 倍多個放大倍數(shù),網(wǎng)絡(luò)收斂后本文算法比DBPNR64-7 獲得了更好的PSNR 和SSIM 值,尤其在放大倍數(shù)大時.放大倍數(shù)越大重建難度也越大.而本算法具有更好的重建性能,比DBPN-R64-7 算法能夠更好地適應(yīng)重建難度大的放大倍數(shù).

圖4 Set5 測試集下對不同網(wǎng)絡(luò)的性能分析Fig.4 Analysis of different networks under Set5

對于×2、×3、×4 的SR,將本文算法與13 種SR 方法進行了對比,如表5 所示.由于很多算法不適用于8 倍放大,因此在×8 SR 中與10 種方法進行了對比,如表6 所示.在對比算法中,Bicubic 為傳統(tǒng)的雙三次插值算法,SRCNN、ESPCN 和FSRCNN 為基于CNN 的淺層線性網(wǎng)絡(luò),VDSR 為深層線性網(wǎng)絡(luò),DRCN、DRRN 和DRFN[37]為遞歸網(wǎng)絡(luò),其中DRFN 是設(shè)計處理大放大倍數(shù)SR 的深度網(wǎng)絡(luò),Lap SRN 為漸進式重建網(wǎng)絡(luò),IDN[38]和MSRN 為多路徑網(wǎng)絡(luò),SRMDNF[39]為多重退化網(wǎng)絡(luò),MRFN[40]和EDSR 為殘差網(wǎng)絡(luò).結(jié)合表5 和表6 可以看出,本文算法僅在2 倍放大時與MRFN 存在微弱的差距,但×3、×4 和×8 SR 時在5 個具有不同圖像特點的數(shù)據(jù)集中均具有最高的客觀評價指標(biāo),顯示了在處理大放大倍數(shù)SR 時的有效性,能夠比其他算法更好地保存HR 分量.在5 個數(shù)據(jù)集中,Set5、Set14 和B100 主要包含自然場景;Urban100由城市場景中的規(guī)則圖案和人造結(jié)構(gòu)組成,包含不同頻段的細節(jié)特征;Manga109 是漫畫數(shù)據(jù)集.本文算法不僅擅長重建規(guī)則的人工圖案,還擅長不規(guī)則的自然圖案.尤其是本訓(xùn)練集中沒有包含任何漫畫圖像,但在Manga109 中展現(xiàn)出出色的實驗性能.這表明本文算法在處理漫畫人物等具有精細結(jié)構(gòu)的圖像上也具有優(yōu)秀的重建效果.

表5 不同SR 算法在×2、×3 和×4 上的定量評估Table 5 Quantitative comparison of different algorithms on×2,×3,and×4

表6 不同SR 算法在×8 上的定量評估Table 6 Quantitative comparison of different algorithms on×8

縱向來看,在Set5 數(shù)據(jù)集上對于×2～×8 SR,本文算法的PSNR 值相較于DBPN-R64-7 分別提高了0.25 d B、0.41 d B、0.39 d B、0.31 d B.橫向來看,當(dāng)放大倍數(shù)為8 時,本文算法PSNR 值在5 個數(shù)據(jù)集上比EDSR 算法分別提高了0.17 dB、0.11 dB、0.05 d B、0.08 d B 和0.16 d B.實驗結(jié)果表明,在2到8 倍超分辨率重建時,本文算法對于不同類型的圖像和不同的放大倍數(shù)均具有良好的重建性能,更好地適應(yīng)重建難度更大的放大倍數(shù),而且放大倍數(shù)越大本文算法的優(yōu)勢相比越明顯.

2.3.2 定性分析

選取Bicubic、SRCNN、FSRCNN、DRCN、DRRN、VDSR 和Lap SRN 這7 種算法與本文算法進行了定性對比,圖5 到圖9 顯示了在8 倍放大下對于5 個標(biāo)準(zhǔn)測試集的超分辨率視覺效果對比圖.

圖5 顯示了對于自然圖像“Woman”的可視化結(jié)果,本文算法重建出更加清晰準(zhǔn)確的眉毛圖案,而其他算法損失了更多的細節(jié);圖6 顯示了對于自然圖像“Zebra”的可視化結(jié)果,其他算法由于對高頻分量的恢復(fù)能力較弱所以重建出了錯誤的條紋方向,并且遭受不同程度的模糊和棋盤偽影,而本文算法則成功消除了這些負(fù)面干擾并重建出更接近原始HR 圖像的紋理信息.從圖7 可以看出,本文算法對于不規(guī)則圖案超越了其他算法,可以預(yù)測更多的邊緣細節(jié).從圖8 可以看出,本文算法對包含更多中頻和高頻信息的規(guī)則結(jié)構(gòu)圖案的重建性能具有出色的效果,最大程度地還原了高頻細節(jié)并極大減少振鈴效應(yīng)的干擾.圖9 顯示了對于漫畫圖像“Touyou-Kidan”的可視化結(jié)果.對于包含更多復(fù)雜結(jié)構(gòu)和精細紋理的漫畫圖像,其他算法由于特征利用不足難以估計高頻信息,降低了對文本細節(jié)的重建能力,重建圖像易遭受平滑邊緣和嚴(yán)重的模糊偽像,但本文算法抑制了平滑分量,重建出清晰銳利的文字,明顯預(yù)測了更多高頻細節(jié),具有更加清晰的邊緣和輪廓特征.

圖5 在Set5 上×8 SR 的可視化結(jié)果(woman)Fig.5 Visualized results of×8 SR on Set5(woman)

圖6 在Set14 上×8 SR 的可視化結(jié)果(zebra)Fig.6 Visualized results of×8 SR on Set14(zebra)

圖7 在BSD100 上×8 SR 的可視化結(jié)果(210779)Fig.7 Visualized results of×8 SR on BSD100(210779)

圖8 在Urban100 上×8 SR 的可視化結(jié)果(img005)Fig.8 Visualized results of×8 SR on Urban100(img005)

圖9 在Manga109 上×8 SR 的可視化結(jié)果(TouyouKidan)Fig.9 Visualized results of×8 SR on Manga109(TouyouKidan)

綜上所述,由于圖像退化過程中信息的丟失,尤其是高頻信息的丟失,這些基于CNN 的SR 算法只能還原平滑的圖像邊緣,并且放大倍數(shù)越大,邊緣模糊越為嚴(yán)重.而本文算法能夠抑制平滑分量,預(yù)測更多的高頻分量和細化特征,使SR 圖像具有更加清晰銳利的邊緣和輪廓,在很大程度上緩解棋盤偽影和振鈴效應(yīng)的干擾,并且在8 倍放大中仍然保留這種優(yōu)勢,產(chǎn)生最接近原始真實圖像的結(jié)果.

3 結(jié)論

本文中提出了一種基于多尺度特征融合反投影網(wǎng)絡(luò)用于圖像的超分辨率重建.與單尺度網(wǎng)絡(luò)相比,網(wǎng)絡(luò)中的多尺度特征提取模塊在多個上下文尺度上提取圖像特征,捕獲更多的細節(jié)信息,還可以從輸入的LR 圖像中創(chuàng)建上下文信息,促進LR 圖像的恢復(fù);與前饋網(wǎng)絡(luò)相比,本網(wǎng)絡(luò)可以利用高層特征細化低層表示,并進一步豐富高級信息,更深層次的挖掘LR 和HR 圖像間的相互依賴關(guān)系.本文算法不僅注重局部信息和全局信息的融合,還側(cè)重于將低級細節(jié)與高級抽象語義相結(jié)合,面對8 倍放大仍能很好地生成HR 圖像.實驗分析表明,本文算法減輕了邊緣結(jié)構(gòu)的鋸齒效應(yīng)和模糊偽影的影響,具有優(yōu)秀的重建性能,優(yōu)于其他SR 方法,尤其在8倍放大中.未來研究方向是將其應(yīng)用于更高倍數(shù)(如16 倍)的SR.此外,實際情況中往往需要使用任意放大倍數(shù)進行超分辨率重建,因此設(shè)計和實現(xiàn)圖像任意放大倍數(shù)超分辨率重建的單個網(wǎng)絡(luò)也是潛在的研究方向.