基于CNN和Resblock的圖像超分辨率重建算法*

張 健，何京璇，王 容

(海南大學(xué)，海南 ?？?570228)

0 引言

圖像所包含的信息量大小在很大程度上取決于圖像的分辨率高低，因此分辨率成為評(píng)價(jià)圖像質(zhì)量的關(guān)鍵指標(biāo)。

圖像的超分辨率技術(shù)[1]是指從一幀或多幀分辨率低的觀測(cè)圖像中恢復(fù)出高分辨率圖像或圖像序列的技術(shù)。根據(jù)對(duì)當(dāng)前文獻(xiàn)的研究，基于學(xué)習(xí)的超分辨率技術(shù)無(wú)論是在圖像質(zhì)量還是圖像類(lèi)型上都優(yōu)于基于插值[2]和基于重建的方法[3-4]?；趯W(xué)習(xí)的超分辨率技術(shù)主要有：CHANG H等人提出的鄰域嵌入算法[5]、TIMOFTE R等人提出的固定鄰域回歸[6]和調(diào)整的固定鄰域回歸[7]、YANG J C等人提出的稀疏編碼算法[8]、DONG C等人提出的利用卷積神經(jīng)網(wǎng)絡(luò)對(duì)圖像進(jìn)行超分辨率重建(SRCNN)的算法[9-10]等。

基于卷積神經(jīng)網(wǎng)絡(luò)的特征，本文提出一種新的圖像重建算法，通過(guò)卷積操作提取原始LR圖像豐富的圖像特征，在網(wǎng)絡(luò)末用反卷積進(jìn)行高分重建，同時(shí)在網(wǎng)絡(luò)中加入殘差結(jié)構(gòu)提升網(wǎng)絡(luò)性能。實(shí)驗(yàn)結(jié)果顯示，相比于Bicubic[2]、SRCNN等方法，本文提出的算法具有更好的圖像超分辨率重建結(jié)果，且運(yùn)算速度、網(wǎng)絡(luò)收斂速度更快，系統(tǒng)性能更穩(wěn)定。

1 相關(guān)理論

由DONG C等人[10]提出的SRCNN算法是一種基于卷積神經(jīng)網(wǎng)絡(luò)的圖像重建算法，該算法首先利用Bicubic方法將輸入的低分辨率圖像放大，達(dá)到與將要輸出的高分辨率圖像相同的尺寸后，再經(jīng)過(guò)三個(gè)卷積層得到重建的圖像。圖1展示了SRCNN的網(wǎng)絡(luò)結(jié)構(gòu)。

圖1 SRCNN的網(wǎng)絡(luò)結(jié)構(gòu)

如圖1所示，首先通過(guò)Bicubic方法得到放大后的圖像，根據(jù)第一層卷積操作對(duì)圖像進(jìn)行特征提取，再通過(guò)第二個(gè)卷積層實(shí)現(xiàn)非線性映射，最后由第三個(gè)卷積層實(shí)現(xiàn)對(duì)圖像的重建，從而獲取高分辨率的圖像。SRCNN實(shí)現(xiàn)了將CNN用于圖像處理的問(wèn)題，但是需要采用雙三次插值法對(duì)圖像進(jìn)行預(yù)處理，運(yùn)算速度較慢。

2 本文算法

本文利用反卷積代替?zhèn)鹘y(tǒng)的雙三次插值，并在網(wǎng)絡(luò)中加入殘差結(jié)構(gòu)，同時(shí)引入反卷積層對(duì)處理后的圖像進(jìn)行上采樣，通過(guò)調(diào)整步長(zhǎng)實(shí)現(xiàn)對(duì)采樣因子的調(diào)整，從而實(shí)現(xiàn)不同尺寸的高分辨率圖像的重建。

2.1 網(wǎng)絡(luò)模型結(jié)構(gòu)

圖2展示了本文算法的網(wǎng)絡(luò)框架。第一層卷積Conv1作為特征提取層,將低分辨率的圖像直接輸入至網(wǎng)絡(luò)，采用64個(gè)卷積核對(duì)圖像進(jìn)行卷積以提取圖像的原始特征信息，生成64個(gè)特征圖，形成C1層。Conv1層的卷積核的尺寸大小為5×5。

Conv2、Conv3以及Conv4構(gòu)成了非線性映射層。將Conv1生成的64個(gè)特征圖輸入至殘差網(wǎng)絡(luò)模塊，經(jīng)過(guò)殘差網(wǎng)絡(luò)輸出64幅特征圖，即C3層，然后采用32個(gè)卷積核進(jìn)行卷積操作生成32個(gè)特征圖，形成C4層。Conv2、Conv3、Conv4層卷積核的尺寸大小都為3×3。

最后一層deconv為反卷積層，運(yùn)用反卷積上采樣操作實(shí)現(xiàn)了最終圖像重建。本文設(shè)計(jì)的網(wǎng)絡(luò)模型中將反卷積核的尺寸設(shè)置為9×9，并通過(guò)調(diào)整步長(zhǎng)來(lái)調(diào)整采樣因子，實(shí)現(xiàn)低分辨率圖像的不同放大尺寸的重建。

2.2 反卷積

當(dāng)步長(zhǎng)s大于1時(shí)，卷積相當(dāng)于下采樣操作，而反卷積相當(dāng)于上采樣操作，當(dāng)步長(zhǎng)等于1時(shí)，卷積與反卷積本質(zhì)上相同。網(wǎng)絡(luò)的復(fù)雜度與步長(zhǎng)有直接關(guān)系，當(dāng)步長(zhǎng)s大于1時(shí)，網(wǎng)絡(luò)的復(fù)雜度將會(huì)降低s2，但是如果步長(zhǎng)過(guò)大，會(huì)嚴(yán)重影響圖像重建的質(zhì)量。圖3展示了反卷積操作過(guò)程，該過(guò)程可用式(1)表示：

F1(Y)=max(W1*Y+B1,0)+ajmin(0,W1*Y+B1)

(1)

其中，Y為輸入的低分辨率圖像，參數(shù)W1和B1分別是反卷積核的權(quán)重矩陣和偏置量，F(xiàn)1(Y)則表示經(jīng)反卷積操作后得到的上采樣圖像。通過(guò)在反卷積層中設(shè)置步長(zhǎng)k(參數(shù)“stride”)，實(shí)現(xiàn)對(duì)輸入圖像的k倍放大。

圖2 本文算法的網(wǎng)絡(luò)框架

圖3 反卷積操作過(guò)程

相較于雙三次插值得到一個(gè)連續(xù)插值函數(shù)的方法，插值本質(zhì)上是圖像的低通濾波器，此方法雖能得到比較平滑的圖像，然而在插值處理時(shí)濾去了圖像的高頻信息，因而圖像在細(xì)節(jié)上會(huì)有所缺失。本文用反卷積代替雙三次插值，并將其放置于網(wǎng)絡(luò)末端用于圖像重建，與SRCNN相比較計(jì)算復(fù)雜度只與LR尺寸相關(guān)，提高了網(wǎng)絡(luò)速度，并且不損失圖像細(xì)節(jié)。

2.3 殘差網(wǎng)絡(luò)

非線性映射是圖像超分辨率重建過(guò)程中最重要的一個(gè)階段，該階段對(duì)性能的影響最為重大。增大非線性映射階段的網(wǎng)絡(luò)層數(shù)能夠?qū)崿F(xiàn)更好的低分辨率圖像重建效果，但是隨著隱藏層數(shù)的增加，會(huì)出現(xiàn)梯度爆炸/梯度消失以及網(wǎng)絡(luò)性能退化等問(wèn)題[11-12]。因此，本文在非線性映射階段加入殘差網(wǎng)絡(luò)，實(shí)現(xiàn)更有效的梯度下降，使得整個(gè)網(wǎng)絡(luò)收斂更快、精度更高，且未引入任何額外的參數(shù)以及計(jì)算復(fù)雜度。殘差模塊堆積組成殘差網(wǎng)絡(luò)，一個(gè)殘差塊又分為直接映射部分和殘差部分[12-14]。圖4展示了殘差網(wǎng)絡(luò)中一個(gè)殘差模塊的結(jié)構(gòu)，殘差網(wǎng)絡(luò)結(jié)構(gòu)可由式(2)描述：

y=x+f(θ,x)

(2)

其中，x為殘差網(wǎng)絡(luò)的輸入，θ是殘差網(wǎng)絡(luò)結(jié)構(gòu)的參數(shù)，f(θ,x)則為網(wǎng)絡(luò)學(xué)習(xí)到的殘差映射關(guān)系，一般由兩個(gè)或三個(gè)卷積操作構(gòu)成，y表示殘差網(wǎng)絡(luò)的輸出。本文采用的殘差網(wǎng)絡(luò)只包含一個(gè)殘差模塊，且殘差模塊只包含卷積層、激活函數(shù)層以及快捷連接，并沒(méi)有使用批量化單元。

圖4 一個(gè)殘差模塊的結(jié)構(gòu)

多個(gè)卷積層級(jí)聯(lián)的輸出和輸入元素間相加得到殘差塊的輸出，利用恒等映射(identity mapping)來(lái)構(gòu)建新增的層，解決了極深度條件下深度卷積神經(jīng)網(wǎng)絡(luò)性能退化的問(wèn)題。同時(shí)，恒等映射避免了新增層對(duì)模型精度的影響，避免模型變差的問(wèn)題。此外，在網(wǎng)絡(luò)訓(xùn)練反向傳播時(shí)，可加快損失傳到前層網(wǎng)絡(luò)，對(duì)前層權(quán)重值進(jìn)行修正，所以總體上提高了網(wǎng)絡(luò)的精度。

2.4 激活函數(shù)與損失函數(shù)

本文采用的激活函數(shù)為帶參數(shù)的修正線性單元(PReLU)[15]，與ReLU激活函數(shù)相比，PReLU激活函數(shù)只增加少量計(jì)算量，但實(shí)現(xiàn)了更高的準(zhǔn)確率，并且能夠避免ReLU激活函數(shù)造成的“dead features”現(xiàn)象[16]。PReLU激活函數(shù)在一定程度上能夠起到正則效果。

本文采用真實(shí)圖像與網(wǎng)絡(luò)預(yù)測(cè)圖像的均方誤差(Mean Squared Error,MSE)表示損失函數(shù)(Loss Function)，如式(3)所示：

(3)

其中，Θ={Wm,bm}表示訓(xùn)練學(xué)習(xí)的網(wǎng)絡(luò)參數(shù)，F(xiàn)(Ym;Θ)和Xm分別表示網(wǎng)絡(luò)預(yù)測(cè)圖像與一組真實(shí)圖像，通過(guò)最小化L(Θ)經(jīng)反向傳播修正網(wǎng)絡(luò)各層的Θ參數(shù)，從而得到最佳的映射模型。

3 實(shí)驗(yàn)與結(jié)果分析

3.1 數(shù)據(jù)集與訓(xùn)練樣本

本文實(shí)驗(yàn)采用文獻(xiàn)[7]中提供的公開(kāi)數(shù)據(jù)集Timofte dataset，該數(shù)據(jù)集包含91張訓(xùn)練圖像和兩個(gè)測(cè)試數(shù)據(jù)集Set5、Set14。

為了提升訓(xùn)練圖像數(shù)據(jù)的有效性[17-18]，本文對(duì)91張?jiān)加?xùn)練圖像進(jìn)行包括旋轉(zhuǎn)、縮放在內(nèi)的數(shù)據(jù)擴(kuò)大，最后得到1 820張圖像作為訓(xùn)練集。使用Set5的圖像作為訓(xùn)練過(guò)程中的驗(yàn)證集。

3.2 結(jié)果及分析

為驗(yàn)證本文算法的重建性能以及網(wǎng)絡(luò)收斂速度，實(shí)驗(yàn)中對(duì)91個(gè)圖像分別進(jìn)行放大倍數(shù)為2的500萬(wàn)次迭代訓(xùn)練和放大倍數(shù)為3的300萬(wàn)次迭代訓(xùn)練以及放大倍數(shù)為4的100萬(wàn)次迭代訓(xùn)練，并使用公開(kāi)數(shù)據(jù)集Timofte dataset中的Set5、Set14以及在圖像超分辨率重建領(lǐng)域通用的BSD200[19]進(jìn)行測(cè)試，并將測(cè)試結(jié)果與Bicubic、RFL[20]、FSRCNN-s[10]、SRCNN[21]等方法進(jìn)行比較。本文使用RMSE(均方根誤差)、PSNR(峰值信噪比)、SSIM(結(jié)構(gòu)相似性指數(shù))作為生成的高分辨率圖像的質(zhì)量評(píng)價(jià)標(biāo)準(zhǔn)。

表1和表2分別展示了當(dāng)訓(xùn)練集為91[7]張圖像時(shí)，各重建方法分別在2倍、3倍、4倍圖像放大比例下的RMSE均值及PSNR均值。

表3展示了當(dāng)訓(xùn)練集為91[7]張圖像時(shí)，各超分辨率重建方法分別在2倍、3倍、4倍圖像放大比例下的SSIM均值。表4展示了當(dāng)訓(xùn)練集為91張圖像時(shí)，各超分辨率重建方法分別在2倍、3倍、4倍圖像放大比例下各測(cè)試集上的測(cè)試時(shí)間。

表1 不同放大比例下各測(cè)試集經(jīng)不同方法處理后RMSE的平均值

表2 不同放大比例下各測(cè)試集經(jīng)不同方法處理后PSNR的平均值

表3 不同放大比例下各測(cè)試集經(jīng)不同方法處理后SSIM的平均值

表4 不同放大比例下在各測(cè)試集上重建的測(cè)試時(shí)間 (s)

由表1和表2可知，本文所提算法RMSE的值明顯低于其他方法RMSE的值，而PSNR的值均高于其他方法；從表3可以看出經(jīng)過(guò)本文算法重建后的SSIM的值均高于其他方法；由表4可見(jiàn)，本文算法重建的測(cè)試時(shí)間更短，效率更高。

圖5和圖6分別展示了在2倍和4倍方法比例下，Bicubic、SRCNN以及本文方法對(duì)圖像“butterfly_GT”和“l(fā)enna”的重建效果對(duì)比。

圖5 2倍放大比例下“butterfly_GT”的重建效果對(duì)比

圖6 4倍放大比例下“l(fā)enna”的重建效果對(duì)比

4 結(jié)束語(yǔ)

針對(duì)現(xiàn)有的SRCNN算法，本文提出了一種新的圖像超分辨率重建算法，基于卷積神經(jīng)網(wǎng)絡(luò)，圖像特征提取源自低分辨率的空間，降低了系統(tǒng)算法的計(jì)算復(fù)雜度，通過(guò)反卷積層實(shí)現(xiàn)最終的圖像重建，同時(shí)在網(wǎng)絡(luò)中加入殘差結(jié)構(gòu)，大大優(yōu)化了網(wǎng)絡(luò)的性能。實(shí)驗(yàn)結(jié)果表明，相比Bicubic、SRCNN等方法，本文方法取得了更好的圖像重建性能，運(yùn)算速度大大提升，且在較少次數(shù)的訓(xùn)練下達(dá)到更好的效果，提高了算法的性能。下一步將研究其他更有效的網(wǎng)絡(luò)模型，在獲得更優(yōu)的超分辨率重建效果的同時(shí)，達(dá)到視頻實(shí)時(shí)處理的要求。