基于改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)的圖像超分辨率重建

甄雪艷，何 寧，孫 欣

(1.北京聯(lián)合大學(xué) 北京市信息服務(wù)工程重點(diǎn)實(shí)驗(yàn)室，北京 100101； 2.北京聯(lián)合大學(xué) 智慧城市學(xué)院，北京 100101)

0 引 言

圖像超分辨率重建技術(shù)一直是計(jì)算機(jī)視覺領(lǐng)域研究的熱點(diǎn)。在如今這個(gè)信息技術(shù)高速發(fā)展的時(shí)代，越來越多的領(lǐng)域都需要高分辨率圖像來滿足技術(shù)方面的需求。而研究者們也以自己的智慧創(chuàng)造出了各種各樣的超分辨率重建技術(shù)。

傳統(tǒng)的圖像超分辨率技術(shù)主要分為3類，即基于模型的方法[1,2]、基于邊緣梯度的方法[3]和基于示例的方法[4-6]。其中，基于示例的方法可以達(dá)到較先進(jìn)的性能。但是，近幾年基于深度學(xué)習(xí)[7-11]的單幅圖像超分辨率重建技術(shù)脫穎而出，以其強(qiáng)大的性能，將圖像超分辨率重建技術(shù)帶到了一個(gè)新的層次。

Dong等[7]提出了SRCNN算法，它將深度學(xué)習(xí)和傳統(tǒng)稀疏編碼相關(guān)聯(lián)，將卷積神經(jīng)網(wǎng)絡(luò)用于圖像超分辨率中，重建出更優(yōu)質(zhì)的圖像。它的網(wǎng)絡(luò)結(jié)構(gòu)非常簡(jiǎn)單，僅用三層網(wǎng)絡(luò)就可以得到較好的重建效果。但是SRCNN很難訓(xùn)練，對(duì)參數(shù)變化非常敏感，而且收斂速度也較慢。Shi等[8]提出了一種直接在低分辨率圖像尺寸上提取特征，計(jì)算得到高分辨率圖像的有效方法。在網(wǎng)絡(luò)中，將放大圖像尺寸的插值函數(shù)隱含在前面的卷積層中，可以自動(dòng)學(xué)習(xí)到。Kim等[9]第一次將之前已有的遞歸神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)應(yīng)用在超分辨率處理中。同時(shí)，利用殘差學(xué)習(xí)的思想，加深了網(wǎng)絡(luò)結(jié)構(gòu)，增加了網(wǎng)絡(luò)感受野，提升了性能。Tai等[10]受文獻(xiàn)[9]的啟發(fā)，對(duì)其結(jié)構(gòu)進(jìn)行調(diào)整，即在一個(gè)遞歸塊內(nèi)，每個(gè)殘差單元內(nèi)對(duì)應(yīng)位置相同的卷積層參數(shù)都共享；并且采用了更深的網(wǎng)絡(luò)結(jié)構(gòu)來提升性能。通常，人們會(huì)選擇使用均方誤差來作為訓(xùn)練網(wǎng)絡(luò)的損失函數(shù)。但是，在能獲得較高峰值信噪比的同時(shí)，圖像也丟失了很多細(xì)節(jié)信息。所以，Ledig等[11]提出了SRGAN算法，將生成對(duì)抗網(wǎng)絡(luò)用在了解決超分辨率問題上，利用感知損失和對(duì)抗損失來更好提升圖像的真實(shí)感。

本文主要研究利用卷積神經(jīng)網(wǎng)絡(luò)對(duì)單幅低分辨圖像進(jìn)行超分辨率重建。受文獻(xiàn)[7]的啟發(fā)，加深卷積網(wǎng)絡(luò)層數(shù)，提出五層卷積的網(wǎng)絡(luò)模型；使用Adam優(yōu)化算法，加快網(wǎng)絡(luò)的收斂速度；采用Leaky ReLU激活函數(shù)，并且調(diào)整卷積核大小以及數(shù)目。實(shí)驗(yàn)結(jié)果表明，改進(jìn)的算法不僅收斂速度快而且重建效果好。

1 相關(guān)技術(shù)

1.1 超分辨率卷積神經(jīng)網(wǎng)絡(luò)SRCNN

SRCNN是Dong等[7]提出的將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于單張圖像超分辨率重建上的一個(gè)算法，是深度學(xué)習(xí)用在超分辨率重建上的開山之作。算法的設(shè)計(jì)思路是從稀疏編碼得來的，網(wǎng)絡(luò)的結(jié)構(gòu)非常簡(jiǎn)單，僅僅只有三層網(wǎng)絡(luò)就得到了較好的重建效果。在概念上將其分別表述為：圖像子塊的提取和表示、非線性映射以及重建3個(gè)步驟。該算法的框架如圖1所示。網(wǎng)絡(luò)的基本設(shè)置為f1=9，f2=1，f3=5，n1=64，n2=32。

圖1 SRCNN算法框架

SRCNN算法的第一層可表示為一個(gè)操作F1

F1(Y)=max(0,W1*Y+B1)

(1)

其中，W1是n1個(gè)大小為c×f1×f1的濾波器，c=1；B1是偏置，“*”表示卷積。第一層的輸出即為使用濾波器W1對(duì)圖像進(jìn)行卷積后的n1個(gè)特征映射。

第二層的操作是

F2(Y)=max(0,W2*F1(Y)+B2)

(2)

其中，W2是n2個(gè)大小為n1×f2×f2的濾波器，B2是n2-維的。每個(gè)輸出的n2-維矢量在概念上說，即為重建后的高分辨率圖像子塊的一個(gè)特征表示。

第三層進(jìn)行重建，定義一個(gè)卷積層，以產(chǎn)生最終的高分辨率圖像

F(Y)=W3*F2(Y)+B3

(3)

其中，W3對(duì)應(yīng)于n2×f3×f3大小的c個(gè)濾波器，B3是一個(gè)c-維向量。

與其它算法相比較，SRCNN算法雖然結(jié)構(gòu)簡(jiǎn)單，重建效果也不錯(cuò)，但是收斂速度慢，需要迭代的次數(shù)多。所以嘗試加深其網(wǎng)絡(luò)層次，使用改進(jìn)的梯度下降算法和激活函數(shù)，在盡可能小的迭代次數(shù)下達(dá)到好的重建效果。

1.2 激活函數(shù)Leaky ReLU

Leaky ReLU是Andrew等[12]提出的一種對(duì)ReLU進(jìn)行改進(jìn)后的激活函數(shù)，其函數(shù)圖像如圖2所示。其中圖2(a)為Relu的函數(shù)圖像，圖2(b)為L(zhǎng)eaky Relu的函數(shù)圖像。對(duì)應(yīng)的數(shù)學(xué)表達(dá)式為

(4)

其中，a=0.01。

圖2 ReLU與Leaky ReLU函數(shù)

從函數(shù)圖像以及數(shù)學(xué)表達(dá)式中可以看出，Relu在輸入值為負(fù)值的時(shí)候，輸出始終為0，導(dǎo)致神經(jīng)元不能更新參數(shù)，也就是神經(jīng)元不學(xué)習(xí)了，這種現(xiàn)象叫做”Dead Neuron”。而Leaky ReLU函數(shù)作為ReLu激活函數(shù)的變體，在負(fù)半軸仍有一個(gè)很小的輸出，使得一階導(dǎo)數(shù)始終不為0，可以減少靜默神經(jīng)元的出現(xiàn)，從而很好解決了這一問題。

1.3 Adam優(yōu)化算法

Adam全稱是自適應(yīng)矩估計(jì)(adaptive moment estimation)，它是由Kingma等[13]提出的一種可以替代傳統(tǒng)隨機(jī)梯度下降過程的一階優(yōu)化算法。Adam算法和傳統(tǒng)的隨機(jī)梯度下降不同，它是一種自適應(yīng)學(xué)習(xí)率的方法，能夠基于訓(xùn)練數(shù)據(jù)迭代地更新神經(jīng)網(wǎng)絡(luò)權(quán)重。Adam算法的優(yōu)點(diǎn)是經(jīng)過偏置校正后，每一次迭代時(shí)學(xué)習(xí)率都有個(gè)確定的范圍，使得參數(shù)比較平穩(wěn)。

Adam算法過程如下：假設(shè)t時(shí)刻，目標(biāo)函數(shù)對(duì)于參數(shù)的一階導(dǎo)數(shù)是gt， 首先計(jì)算對(duì)梯度的一階矩估計(jì)mt和二階矩估計(jì)vt

mt=β1mt-1+(1-β1)gt

(5)

(6)

然后進(jìn)行梯度更新

(7)

其中，η是學(xué)習(xí)率；β1=0.9，β2=0.999，ε=10-8。

在實(shí)際應(yīng)用中，Adam算法效果良好。與其它自適應(yīng)學(xué)習(xí)率方法比較，其收斂速度更快，學(xué)習(xí)效果更為有效。

2 改進(jìn)的基于卷積神經(jīng)網(wǎng)絡(luò)的超分辨率重建方法

基于深度卷積神經(jīng)網(wǎng)絡(luò)的算法已經(jīng)被廣泛用于圖像超分辨率重建并取得了較好的效果[14]。本文設(shè)計(jì)了具有5層卷積層的深度神經(jīng)網(wǎng)絡(luò)，并且使用Adam優(yōu)化算法以及Leaky ReLU激活函數(shù)，用于圖像超分辨率重建。

設(shè)原高分辨率圖像為X， 低分辨率圖像為Y。 我們的目標(biāo)就是從Y中重建出盡可能與X相似的圖像F(Y)， 在Leaky ReLU激活函數(shù)下，第一層是為每個(gè)圖像子塊提取一個(gè)特征，其輸入輸出關(guān)系為

F1(Y)=max(0,W1*Y+B1)+a*min(0,W1*Y+B1)

(8)

其中，W1相當(dāng)于c×f1×f1的n1個(gè)濾波器，其中c是輸入圖像的通道數(shù)目(c=1)，B1是n1-維的；a=0.01。

本文設(shè)計(jì)了三層的卷積網(wǎng)絡(luò)來進(jìn)行非線性映射，雖然會(huì)增加模型的復(fù)雜性，但是也增加了它的非線性，提升了網(wǎng)絡(luò)的表達(dá)能力。而且使用Adam梯度優(yōu)化算法，最后仍能更快收斂并達(dá)到較好的重建效果。

第二、三、四層均為非線性映射，其輸入輸出關(guān)系為

Fl(Y)=max(0,Wl*Fl-1(Y)+Bl)+a*min(0,Wl*Fl-1(Y)+Bl)

(9)

其中，Wl相當(dāng)于nl-1×fl×fl的nl個(gè)濾波器，Bl是nl-維的；l的取值為2,3,4；a=0.01。

第五層是重建，其輸入輸出關(guān)系為

F(Y)=W5*F4(Y)+B5

(10)

其中，W5相當(dāng)于n4×f5×f5大小的c個(gè)濾波器，B5是一個(gè)c-維向量。

具體網(wǎng)絡(luò)算法框架如圖3所示：

訓(xùn)練集圖像經(jīng)過每一層卷積層后得到的特征圖，再經(jīng)過激活函數(shù)。激活函數(shù)采用Leaky ReLU，所有層的步長(zhǎng)均為1，濾波器大小以及數(shù)目如下：

第一層：卷積核數(shù)量為64，濾波器大小為9×9；

第二層：卷積核數(shù)量為64，濾波器大小為5×5；

第三層：卷積核數(shù)量為32，濾波器大小為3×3；

第四層：卷積核數(shù)量為32，濾波器大小為1×1；

第五層：卷積核數(shù)量為1，濾波器大小為3×3。

損失函數(shù)采用均方誤差，將待訓(xùn)練的參數(shù)用向量θ表示

θ=(W1,W2,W3,W4,W5,B1,B2,B3,B4,B5)

(11)

則網(wǎng)絡(luò)損失函數(shù)為

(12)

其中，n是訓(xùn)練樣本數(shù)量。

圖3 算法框架

使用Adam梯度優(yōu)化算法進(jìn)行收斂。假設(shè)t時(shí)刻，損失函數(shù)對(duì)參數(shù)W的一階導(dǎo)數(shù)是L(θ,W)t， 首先計(jì)算對(duì)梯度的一階矩估計(jì)Wmt和二階矩估計(jì)Wvt

Wmt=β1·Wmt-1+(1-β1)L(θ,W)t

(13)

(14)

那么，權(quán)值W則按如下公式進(jìn)行更新

(15)

同理，偏差B的更新公式如下

Bmt=β1·Bmt-1+(1-β1)L(θ,B)t

(16)

(17)

(18)

其中，η是學(xué)習(xí)率；β1=0.9，β2=0.999，ε=10-8。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 數(shù)據(jù)集和評(píng)價(jià)指標(biāo)

本文選用Timoft數(shù)據(jù)集[15]為訓(xùn)練集。首先，將訓(xùn)練集的高分辨率圖像使用雙三次差值算法縮小為原來的1/3，然后再放大，使其變成低分辨率圖像。然后，將訓(xùn)練集的低分辨率圖像按照步長(zhǎng)14抽取出大小為33×33的21 760張子圖像。最終子圖像作為網(wǎng)絡(luò)模型的輸入。作為標(biāo)簽數(shù)據(jù)的則為高分辨圖像中心的17×17的圖像塊。

選用Set5數(shù)據(jù)集[16]以及Set14數(shù)據(jù)集[16]作為測(cè)試集，主要通過主觀實(shí)驗(yàn)效果以及客觀的PSNR值和SSIM值來進(jìn)行算法的性能評(píng)價(jià)?？陀^評(píng)價(jià)指標(biāo)PSNR是對(duì)處理后的結(jié)果跟原圖相比的誤差進(jìn)行定量計(jì)算，PSNR越高，說明失真越小，效果越好[17]。SSIM即結(jié)構(gòu)相似性，定義請(qǐng)參見文獻(xiàn)[18]。

3.2 網(wǎng)絡(luò)訓(xùn)練參數(shù)

(1)初始化參數(shù)：權(quán)重初始化方法采用標(biāo)準(zhǔn)差為0.001，均值為0的高斯正態(tài)分布。

(2)訓(xùn)練方法：采用Adam梯度優(yōu)化算法，默認(rèn)參數(shù)設(shè)置為β1=0.9，β2=0.999，ε=10-8； batch_size為128；每500個(gè)迭代輸出一個(gè)snapshot；前四層的學(xué)習(xí)率為0.0001，第五層的學(xué)習(xí)率為0.000 01。

3.3 實(shí) 驗(yàn)

實(shí)驗(yàn)一：為了驗(yàn)證改進(jìn)方法的有效性，本文在SRCNN算法上直接使用Adam梯度優(yōu)化算法和Leaky ReLU激活函數(shù)進(jìn)行了改進(jìn)，SRCNN算法和本文提出的算法進(jìn)行了實(shí)驗(yàn)對(duì)比，SRCNN選用9-5-5的最優(yōu)模型，選取的最大迭代次數(shù)均為7×105。以Set5數(shù)據(jù)集中Butterfly圖為例，實(shí)驗(yàn)結(jié)果見表1。從表1的PSNR值中可以看出，SRCNN_AL算法比SRCNN算法的重建效果要好很多，高出0.5 db；而本文提出的算法比SRCNN_AL算法的值還要高出0.1 db，比SRCNN算法的值高出0.6 db。同樣，從SSIM值中也可以看出本文提出的方法的重建效果更好。

表1 不同改進(jìn)點(diǎn)的測(cè)試結(jié)果

實(shí)驗(yàn)二：以Set5數(shù)據(jù)集中Butterfly圖為例，用本文方法與Bicubic算法、ScSR算法[19]、SR_NE_ANR算法[15]、SRCNN算法[7]進(jìn)行比較。采用不同迭代次數(shù)得到的網(wǎng)絡(luò)模型進(jìn)行處理，得到PSNR和SSIM的變化趨勢(shì)曲線。SRCNN與本文所提出的算法選取的最大迭代次數(shù)均為 7×105。PSNR和SSIM的變化趨勢(shì)曲線圖分別如圖4和圖5所示。

圖4 Butterfly圖PSNR的變化趨勢(shì)曲線

圖5 Butterfly圖SSIM的變化趨勢(shì)曲線

從圖4、圖5中可以看出：Bicubic算法的結(jié)果值最低，ScSR算法和SR_NE_ANR算法的結(jié)果值有所提升，SRCNN算法在迭代次數(shù)較小時(shí)，結(jié)果值較低，隨著迭代次數(shù)的增加，結(jié)果值逐漸增大；而本文所提出的方法則整體優(yōu)于其它算法，雖然網(wǎng)絡(luò)變得復(fù)雜了，但是收斂速度依然很快，而且重建效果更好。

實(shí)驗(yàn)三：分別用本文方法與Bicubic算法、ScSR算法[19]、SR_NE_ANR算法[15]和SRCNN算法[7]對(duì)Set5數(shù)據(jù)集和Set14數(shù)據(jù)集中的圖片進(jìn)行處理。表2是對(duì)Set5數(shù)據(jù)集中的圖片進(jìn)行處理得到的PSNR值和SSIM值的平均值。表3是對(duì)Set14數(shù)據(jù)集中的圖片進(jìn)行處理得到的PSNR值和SSIM值的平均值。可以看到，本文所提出方法的PSNR值和SSIM值均高于其它對(duì)比算法。

表2 不同算法對(duì)Set5數(shù)據(jù)集中的圖片進(jìn)行 處理得到的平均值

表3 不同算法對(duì)Set14數(shù)據(jù)集中的圖片 進(jìn)行處理得到的平均值

圖6到圖7分別為不同算法對(duì)Set5數(shù)據(jù)集中Butterfly圖、Bird圖的處理結(jié)果，并且分別對(duì)翅膀圖案和鳥嘴進(jìn)行放大。圖8～圖10分別為不同算法對(duì)Set14數(shù)據(jù)集中PPT3圖、Zebra圖、Pepper圖的處理結(jié)果，并且分別對(duì)音符、斑馬條紋以及辣椒邊緣進(jìn)行放大。從圖6(f)中可以看出使用本文方法得到的圖像銳度更強(qiáng)。圖7(f)圖中鳥嘴邊緣黑色部分更為清晰。圖8(f)圖中音符的形變最小，與原圖最接近。圖9(f)圖中斑馬條紋黑白分界處更清晰。圖10(f)圖中兩個(gè)辣椒的連接處更清晰，形變最小。

圖6 不同算法對(duì)Butterfly圖的處理結(jié)果

圖7 不同算法對(duì)Bird圖的處理結(jié)果

圖8 不同算法對(duì)PPT3圖的處理結(jié)果

圖9 不同算法對(duì)Zebra圖的處理結(jié)果

圖10 不同算法對(duì)Pepper圖的處理結(jié)果

4 結(jié)束語

本文利用改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)對(duì)圖像進(jìn)行超分辨率重建。使用五層卷積的網(wǎng)絡(luò)模型，加深了網(wǎng)絡(luò)的層次，學(xué)習(xí)到的特征更全局化，同時(shí)增加了非線性，提升了網(wǎng)絡(luò)的表達(dá)能力。在此基礎(chǔ)上，又使用了Adam梯度優(yōu)化算法和Leaky ReLU激活函數(shù)，使得網(wǎng)絡(luò)模型的收斂速度更快，重建效果更好。針對(duì)本文提出的算法進(jìn)行了一系列的實(shí)驗(yàn)，并與Bicubic算法、ScSR算法、SR_NE_ANR算法、SRCNN算法進(jìn)行比較。結(jié)果表明，不論是PSNR值或SSIM值，還是主觀視覺效果，本文提出的算法都更優(yōu)秀，更能保持圖片的清晰度以及邊緣細(xì)節(jié)等信息，處理結(jié)果更好。