基于FSRCNN補充模塊的圖像超分辨率重建算法研究

陳蔚瑞, 侯培國

(燕山大學(xué) 電氣工程學(xué)院，河北 秦皇島 066004)

1 引 言

圖像超分辨率重建技術(shù),是采用特定的算法將低分辨率圖像恢復(fù)成相應(yīng)高分辨率圖像。由于超分辨率重建技術(shù)可以增加圖像分辨率,因此在相關(guān)領(lǐng)域都有廣泛的應(yīng)用。

傳統(tǒng)的超分辨率重建算法一般分為3種:①基于插值的算法[1];②基于退化模型的算法[2];③基于學(xué)習(xí)的算法[3]。基于學(xué)習(xí)的算法是利用了大量的訓(xùn)練數(shù)據(jù),在其中學(xué)習(xí)低分辨率圖像(LR)和高分辨率圖像(HR)的某種對應(yīng)關(guān)系,并通過這種對應(yīng)關(guān)系預(yù)測低分辨率圖像對應(yīng)的高分辨率圖像。由于深度學(xué)習(xí)的不斷發(fā)展,基于學(xué)習(xí)的算法已成為目前研究的熱點[4,5]。

2014年Dong C等[6]將卷積神經(jīng)網(wǎng)絡(luò)首次運用于圖像超分辨重建技術(shù),提出了超分辨率卷積神經(jīng)網(wǎng)絡(luò)(super-resolution convolutional neural network,SRCNN)網(wǎng)絡(luò)。SRCNN網(wǎng)絡(luò)由3個卷積層構(gòu)成,得到了當(dāng)時在圖像超分辨率重建技術(shù)中最佳的效果。2016年Dong C等[7]提出了加速超分辨率卷積神經(jīng)網(wǎng)絡(luò)(fast super-resolution convolutional neural networks,FSRCNN),將反卷積層應(yīng)用到模型中放大圖片的尺寸,反卷積層的使用不需要在網(wǎng)絡(luò)外部進行圖像放大尺寸的操作,與SRCNN相比FSRCNN的速度有較大提升;同年,又提出了亞像素卷積神經(jīng)網(wǎng)絡(luò)(efficient sub-pixel convlutional neural network,ESPCN)亞像素卷積層的概念[8],在超分辨率重建過程中,其速度和性能都得到了提升。增加網(wǎng)絡(luò)的深度能夠提升模型的性能,使得網(wǎng)絡(luò)能夠從輸入圖像中學(xué)習(xí)到更多的信息,但是直接堆疊網(wǎng)絡(luò),會使網(wǎng)絡(luò)難以收斂,從而導(dǎo)致網(wǎng)絡(luò)退化甚至出現(xiàn)梯度消失等問題。殘差網(wǎng)絡(luò)(residual network,ResNet)[9]是2015年He K M等提出的,能夠很好地解決上述存在的問題,近年來被應(yīng)用在超分辨率重建算法中。加深的超分辨率(very deep super-resolution,VDSR)、增強的深度超分辨率(enhanced deep super-resolution,EDSR)[10]、深度注意力超分辨率(deep attentive super-resolution,DASR)[11]以及超分辨率生成對抗網(wǎng)絡(luò)(super-resolution generative adversarial network,SRGAN)[12]等均采用了殘差學(xué)習(xí)的方法,除了殘差學(xué)習(xí)之外,密集連接[13]、注意力機制[14]、遞歸學(xué)習(xí)[15]等方法也被應(yīng)用在超分辨重建過程中,網(wǎng)絡(luò)層的深度不斷加深,重建性能也在不斷提高。

激活函數(shù)能夠解決卷積神經(jīng)網(wǎng)絡(luò)在非線性上的問題[16],非線性的激活函數(shù)有Sigmoid函數(shù)、tanh函數(shù)、Relu函數(shù)、ELU函數(shù)等,由于Relu函數(shù)能夠克服梯度消失的問題并且能夠加快訓(xùn)練速度,所以在超分辨率重建算法中經(jīng)常使用。但是若輸入為負值,則輸出為0即完全不激活,會造成部分神經(jīng)元的失活,導(dǎo)致缺失部分信息。

針對Relu激活函數(shù)在算法中存在的一些問題,本文設(shè)計了一種基于Relu激活函數(shù)FSRCNN補充模塊的圖像超分辨率重建算法。

2 超分辨率重建原理及評價指標

2.1 超分辨率重建原理

超分辨率是將低分辨率圖像恢復(fù)成相應(yīng)的高分辨率圖像,設(shè)高分辨率圖像為Iy,則相應(yīng)低分辨率圖像Ix的退化過程如下:

Ix=D(Iy,σ)

(1)

式中:D表示退化映射函數(shù);σ表示模型中的參數(shù)。

低分辨率圖像重建高分辨率圖像的數(shù)學(xué)原理為

(2)

超分辨率的學(xué)習(xí)目標:

(3)

式中:L為損失函數(shù);λ為權(quán)衡參數(shù);φ(θ)為正則項。

2.2 評價指標

超分辨率重建技術(shù)常用于參考圖片質(zhì)量的評價指標一般為兩種,一種是峰值信噪比PSNR[17],一種是結(jié)構(gòu)相似性SSIM[18]。

峰值信噪比一般以dB作為單位,數(shù)值越大表明圖像質(zhì)量越好。峰值信噪比公式如下:

(4)

式中:MAX表示的是圖像中像素值中的最大值;MSE是重建圖像SR和原高清圖像HR的均方誤差;單通道圖像的MSE表示為

(5)

多通道圖像的MSE表示為

(6)

式中:C代表通道數(shù);H、W分別代表圖像的高度和寬度;X(i,j)和Y(i,j)分別代表重建圖像對應(yīng)的像素點和原高清圖像對應(yīng)的像素點。

結(jié)構(gòu)相似性是衡量重建圖像和原高清圖像相似度的指標,結(jié)構(gòu)相似性SSIM的值越大表示重建圖像失真越小。

(7)

(8)

(9)

(10)

(11)

式中:μX和μY分別表示重構(gòu)圖像和原高清圖像的均值;σX和σY分別表示重構(gòu)圖像和原高清圖像的方差;σXY表示重構(gòu)圖像和原高清圖像的協(xié)方差。

亮度相似函數(shù):

(12)

對比度相似函數(shù):

(13)

結(jié)構(gòu)相似函數(shù):

(14)

SSIM分別從亮度、對比度、結(jié)構(gòu)這3個方面度量圖像相似性。

SSIM(X,Y)=l(X,Y)×c(X,Y)×s(X,Y)

(15)

式中:C1,C2,C3為常數(shù)。

3 補充模塊在超分辨率算法中的研究

3.1 補充模塊

補充模塊是基于ReLU激活函數(shù)在神經(jīng)網(wǎng)絡(luò)中會造成部分神經(jīng)元失活而提出的一種方法。ReLU函數(shù)表達式為

ReLU=max(0,x)

(16)

圖1 ReLU函數(shù)圖像Fig.1 ReLU function image

從ReLU函數(shù)圖像可以看出,當(dāng)x<0時,y值全部取0,在超分辨率重建算法中會導(dǎo)致部分特征的損失。本文提出的補充模塊是由與ReLU函數(shù)作用相反的rReLU函數(shù)和卷積層構(gòu)成,其中rReLU函數(shù)表達式為

rReLU=min(0,x)

(17)

反向rReLU函數(shù)如圖2所示,是對輸入的負值輸出原本的數(shù)值,在輸入為正值時輸出直接置0。rReLU函數(shù)的作用是在算法中對經(jīng)過卷積層的數(shù)據(jù)進行負值提取。

圖2 rReLU函數(shù)圖像Fig.2 rReLU function image

補充模塊的作用是將通過ReLU激活函數(shù)置0的負值信息重新加入到模型中。模塊中rReLU函數(shù)負責(zé)提取上一層卷積結(jié)果的負值信息,提取的負值信息作為輸入傳入到補充模塊卷積層,其中補充模塊中的卷積層已進行了降維操作,降低了運算量,提升了模型運行性能。

在補充模塊結(jié)構(gòu)圖中,設(shè)輸入為X,第1層卷積層操作可以表示為

F(X)=W1*X+Bi

(18)

通過rReLU激活函數(shù)的操作是

r(X)=min(0,F(X))

(19)

第2層卷積層表示為

S(X)=W2*r(X)+B2

(20)

式中:W代表濾波器;B代表積;*代表卷積操作。

補充模塊結(jié)構(gòu)如圖3所示:

圖3 補充模塊結(jié)構(gòu)圖Fig.3 Supplementary Module Structure Diagram

3.2 FSRCNN補充模塊

FSRCNN模型主要特點是將輸入的低分辨率圖像不經(jīng)過上采樣操作直接作為輸入圖像,在經(jīng)過一系列卷積操作后,利用反卷積層完成上采樣操作,最后得到重建圖像.

圖4為FSRCNN模型示意圖。

圖4 FSRCNN模型示意圖Fig.4 Schematic diagram of the FSRCNN model

圖4可分為以下5個部分:

第1個部分是特征提取層,作用是從輸入圖像中提取特征,輸入圖像是沒有經(jīng)過上采樣操作的原始圖像,卷積核大小為5×5,輸出通道數(shù)設(shè)為56; 第2個部分是收縮層,收縮層采用1×1卷積核進行降維操作,可以減少網(wǎng)絡(luò)參數(shù)量,提高網(wǎng)絡(luò)運行速率,輸出通道為1; 第3個部分是映射層,映射層是為了對特征映射再一次進行非線性映射處理,其中卷積核大小為3×3,在這個過程中輸出通道與輸入通道保持一致; 第4個部分是擴展層,擴展層擴充維度,保持與收縮層一致,與收縮層作用相反,輸出通道為56; 最后第5個部分是反卷積層,進行上采樣操作,卷積核大小是9×9,得到重構(gòu)圖像。FSRCNN模型5個部分中前4個部分都為卷積層。

模型中選用MSE作為損失函數(shù),Adam優(yōu)化器更新參數(shù),其中優(yōu)化目標L(θ)為

(21)

公式中:n是訓(xùn)練樣本的數(shù)目;Xi是高分辨率圖像;Yi是低分辨率圖像;θ是網(wǎng)絡(luò)參數(shù);F(Yi;θ)是重建圖像;模型中的所有參數(shù)都采用反向傳播及隨機梯度下降的方法來進行優(yōu)化,L(θ)優(yōu)化目標的結(jié)果要求最小。

FSRCNN模型原采用PReLU函數(shù)作為激活函數(shù),PReLU函數(shù)如下:

(22)

式中:參數(shù)a一般為0到1之間隨機抽取的值,并且通常相對較小。

在負值域,PReLU的斜率較小,同樣可以避免神經(jīng)元失活的問題。但是由于負值域斜率與正值不同,導(dǎo)致部分特征信息的比例不一致,從而影響超分辨率重建的效果。

基于FSRCNN補充模塊的結(jié)構(gòu)如圖5所示。

圖5 結(jié)構(gòu)圖Fig.5 Structure diagram

基于補充模塊的超分辨率算法是對ReLU激活函數(shù)在模型中存在的問題進行改進,所以對于加入補充模塊的網(wǎng)絡(luò)模型中激活函數(shù)選擇ReLU函數(shù)。從圖中可以看出模型中卷積層的結(jié)果作為輸入通過補充模塊后得到具有一通道的特征向量,之后將特征向量重新加入到模型中再進行下一步卷積操作。而在超分辨率重建方法中,很少會出現(xiàn)過擬合的現(xiàn)象,將補充模塊加入到超分辨率模型中并未出現(xiàn)過擬合的問題。

3.3 實驗結(jié)果及分析

本文以DIV2K作為訓(xùn)練數(shù)據(jù)集,Set5、Set14、Urban100作為測試數(shù)據(jù)集,使用Pytorch深度學(xué)習(xí)框架完成實驗。

訓(xùn)練前對圖像進行預(yù)處理,將圖像分割成56×56的圖像塊,步長設(shè)置為56,訓(xùn)練過程中初始學(xué)習(xí)率設(shè)置為0.001,每50輪迭代后學(xué)習(xí)率衰減,衰減指數(shù)設(shè)置為0.5。PSNR和SSIM作為評價指標來評估算法性能。超分辨率重建效果對比如表1所示。

表1 超分辨率重建效果對比Tab.1 Comparison of super-resolution reconstruction effects

表1中SM是加入補充模塊的FSRCNN算法,PReLU是以PReLU作為激活函數(shù)的FSRCNN算法,ReLU是以ReLU作為激活函數(shù)的FSRCNN算法。

從表1結(jié)果可以看出,在相同訓(xùn)練條件下,基于補充模塊的FSRCNN算法客觀指標得到的數(shù)值均高于僅使用激活函數(shù)ReLU或者PReLU的FSRCNN算法,而且隨著圖片放大倍數(shù)的增大,加入補充模塊的FSRCNN算法呈現(xiàn)的效果越好。

圖像重建效果對比如圖6所示,圖6中左邊是Set14數(shù)據(jù)集中的一幅圖片,右邊的(a)、(b)、(c)、(d)、(e)小圖分別為原高清圖像、經(jīng)過雙三次下采樣的圖像、采用ReLU函數(shù)作為激活函數(shù)的FSRCNN重建圖像、采用PReLU函數(shù)作為激活函數(shù)的FSRCNN重建圖像和加入了補充模塊后的FSRCNN重建圖像。

圖6 圖像重建效果對比Fig.6 Comparison of image reconstruction effects

4 結(jié) 論

本文提出一種基于FSRCNN補充模塊的超分辨率重建算法。其中補充模塊是將算法訓(xùn)練過程中通過卷積層但無法通過ReLU激活函數(shù)的特征值,經(jīng)過rReLU函數(shù)和卷積操作再次加入到算法中進行下一步卷積運算的過程。在此過程中rReLU提取當(dāng)前卷積層的負值信息作為卷積輸入特征,補充模塊中的卷積部分是將輸入特征轉(zhuǎn)換為一通道的輸出特征,該輸出特征與通過ReLU激活函數(shù)的輸出特征相連。

ReLU激活函數(shù)在超分辨率重建過程中,根據(jù)表1結(jié)果的對比,可以看出其導(dǎo)致的部分神經(jīng)元失活問題會對超分辨率重建性能有一定的影響。而本文提出的補充模塊加入到算法中,從測試結(jié)果上表明,補充模塊能夠解決神經(jīng)元失活問題,并且可以進一步加強算法對信息的提取,提升算法的性能。