改進(jìn)的生成對(duì)抗網(wǎng)絡(luò)的圖像超分辨率重建

王冬冬，王 力,2+，姜 敏，王可新，欒 浩

(1.貴州大學(xué) 大數(shù)據(jù)與信息工程學(xué)院，貴州 貴陽(yáng) 550025；2.貴州工程應(yīng)用技術(shù)學(xué)院 信息工程學(xué)院，貴州 畢節(jié) 551700)

0 引 言

圖像分辨率主要取決于采集圖像的硬件設(shè)備性能，提升其性能復(fù)雜且難度大、成本高。因此，圖像超分辨率(super-resolution image reconstruction，SR或SRIR)重建技術(shù)應(yīng)運(yùn)而生，即從軟件角度，利用相應(yīng)的重建算法將單幀或序列低分辨率圖像(low resolution，LR)生成高分辨率圖像(high resolution，HR)[1]。SR分為基于插值[2]、基于重建[3,4]以及基于學(xué)習(xí)[5]三大類(lèi)。傳統(tǒng)SR方法(基于插值、重建)雖簡(jiǎn)單快速但重建結(jié)果有棋盤(pán)效應(yīng)，視覺(jué)上過(guò)于平滑，且依賴(lài)HR的先驗(yàn)知識(shí)，當(dāng)圖像放大超過(guò)4倍時(shí)重建的效果并不好。基于學(xué)習(xí)是通過(guò)訓(xùn)練HR和LR之間的關(guān)聯(lián)性構(gòu)建出算法模型，將LR送入模型后得到相應(yīng)的HR，此方法更符合實(shí)際應(yīng)用，更具優(yōu)勢(shì)。Dong等[6]提出基于深度學(xué)習(xí)下的卷積神經(jīng)網(wǎng)絡(luò)的超分辨率(super-resolution using convolutional neural network，SRCNN)算法改善了重建圖像效果，但網(wǎng)絡(luò)結(jié)構(gòu)單一局部感受野受限。同年，Goodfellow等提出生成對(duì)抗網(wǎng)絡(luò)(generative adversa-rial network，GAN)[7]掀起一股熱潮。之后Ledig等[8]將GAN引入SR重建中，提出基于生成對(duì)抗網(wǎng)絡(luò)的圖像超分辨率(SRGAN)算法，豐富了重建圖像的高頻細(xì)節(jié)，但網(wǎng)絡(luò)訓(xùn)練不穩(wěn)定。本文在此基礎(chǔ)上提出一種優(yōu)化的生成對(duì)抗網(wǎng)絡(luò)的超分辨率算法，穩(wěn)定網(wǎng)絡(luò)訓(xùn)練性能，同時(shí)也提升了圖像評(píng)價(jià)指標(biāo)。

1 生成對(duì)抗網(wǎng)絡(luò)(GAN)

1.1 GAN模型理論

原始GAN模型由生成器(generator，G)和判別器(discriminator，D)兩個(gè)模型構(gòu)成，訓(xùn)練的思想源于二人零和博弈[9]，G先通過(guò)初始輸入的信息去偽造數(shù)據(jù)，D判斷偽造數(shù)據(jù)和真實(shí)數(shù)據(jù)，即判斷一個(gè)在真假概率數(shù)值為0～1之間的問(wèn)題。二者通過(guò)相互對(duì)抗不斷更新優(yōu)化來(lái)各自網(wǎng)絡(luò)能力，直到D對(duì)于G生成的假數(shù)據(jù)難以正確判斷時(shí)，即D輸出的概率為0.5時(shí)，就構(gòu)造了一個(gè)能生成以假亂真數(shù)據(jù)的GAN模型。

GAN訓(xùn)練的最終目標(biāo)是希望D能正確判斷同時(shí)又希望G能強(qiáng)大到去混淆D的判斷，可以用以下的公式來(lái)表示此目標(biāo)函數(shù)

(1)

式中：Pdata(x) 表示真實(shí)樣本分布，P(z) 表示生成器分布。第一項(xiàng)表示將真實(shí)數(shù)據(jù)作為輸入送進(jìn)D中進(jìn)行判別真?zhèn)谓Y(jié)果的熵，D希望最大化該結(jié)果為“1”。第二項(xiàng)表示輸入隨機(jī)噪聲到G中生成偽造數(shù)據(jù)，再送入到D中判別結(jié)果的熵，而D試圖將結(jié)果最小化為“0”。GAN訓(xùn)練學(xué)習(xí)時(shí)，G和D是交替優(yōu)化的，先固定G，優(yōu)化D，式(1)可以寫(xiě)成如下形式

(2)

其中，Pr表示真實(shí)樣本，Pg表示生成樣本。上式還可以轉(zhuǎn)化為最小形式

(3)

固定D，優(yōu)化G，則相當(dāng)于最小優(yōu)化下面式子

(4)

也相當(dāng)于最小優(yōu)化

(5)

文中的網(wǎng)絡(luò)訓(xùn)練也基于GAN原理，首先將HR通過(guò)預(yù)處理降采樣得到LR，其次將LR作為輸入送入G學(xué)習(xí)，并輸出生成“偽造”的高分辨率樣本圖像(SR)，最后將SR和HR送到D中學(xué)習(xí)，輸出判斷后反饋給網(wǎng)絡(luò)，直到D難以區(qū)分真假，即最終獲得的SR為圖像超分辨率重建結(jié)果。通過(guò)訓(xùn)練GAN構(gòu)造學(xué)習(xí)庫(kù)產(chǎn)生模型，對(duì)LR進(jìn)行恢復(fù)的過(guò)程中引入由學(xué)習(xí)模型獲得的先驗(yàn)知識(shí)，以得到圖像的高頻細(xì)節(jié)，獲得較好的圖像恢復(fù)效果。流程框架如圖1所示。

圖1 SRGAN訓(xùn)練流程

1.2 GAN目前存在的問(wèn)題

原始GAN需要G生成的假數(shù)據(jù)分布不停地去逼近真實(shí)數(shù)據(jù)的分布，直到達(dá)到最終目標(biāo)。G的能力強(qiáng)弱直接反應(yīng)了生成數(shù)據(jù)和真實(shí)數(shù)據(jù)之間分布相似度的高低。理論上來(lái)說(shuō)，GAN訓(xùn)練生成的假數(shù)據(jù)可以無(wú)限逼近真實(shí)數(shù)據(jù)，即GAN模型能到達(dá)納什均衡[10]，但實(shí)際上只有在梯度下降在凸函數(shù)的情況下才能實(shí)現(xiàn)該均衡性。若實(shí)際中無(wú)法達(dá)到這樣的均衡性時(shí)，用神經(jīng)網(wǎng)絡(luò)構(gòu)建的D和G則會(huì)持續(xù)在一個(gè)更新優(yōu)化的調(diào)整狀態(tài)，即也就是GAN模型難以收斂。若訓(xùn)練途中模型崩潰，模型無(wú)法繼續(xù)學(xué)習(xí)，G會(huì)退化導(dǎo)致總生成相同的樣本，D也無(wú)法更新判斷，同時(shí)無(wú)法獲知訓(xùn)練進(jìn)程。所以GAN訓(xùn)練不穩(wěn)定，易造成模型崩潰。

2 方 法

2.1 改進(jìn)思路

原始GAN是利用本身不連續(xù)性的JS散度[11]去表示生成數(shù)據(jù)和真實(shí)數(shù)據(jù)的距離，存在著訓(xùn)練困難、網(wǎng)絡(luò)的loss無(wú)法指示訓(xùn)練進(jìn)程、生成樣本缺乏多樣性等問(wèn)題，因此文獻(xiàn)[12]中提出的WGAN來(lái)代替GAN訓(xùn)練網(wǎng)絡(luò)。不管生成數(shù)據(jù)和真實(shí)數(shù)據(jù)分布是否重疊，可以利用Wasserstein 距離描述二者的差異程度，反映出它們之間的相似性。可提高訓(xùn)練的穩(wěn)定性，避免梯度消失、模型奔潰的問(wèn)題，且能根據(jù)一個(gè)唯一loss監(jiān)控到模型訓(xùn)練的程度，Wasserstein 距離定義如下

(6)

(7)

其中，θ表示D網(wǎng)絡(luò)的參數(shù)，L為HR圖像和SR圖像分布之間的Wasserstein距離。因此可以轉(zhuǎn)換成擬合函數(shù)Dθ去最大化Wasserstein距離。D的目標(biāo)從分類(lèi)任務(wù)變成了回歸任務(wù)，G的目標(biāo)就是盡力縮短樣本間的Wasserstein距離，解決了原始GAN存在的問(wèn)題。文獻(xiàn)[14]中提到由多個(gè)殘差塊結(jié)構(gòu)疊加構(gòu)成的殘差網(wǎng)絡(luò)，其殘差塊(residual block)和跳躍連接的結(jié)構(gòu)在深層網(wǎng)絡(luò)中能緩解隨著網(wǎng)絡(luò)結(jié)構(gòu)深度增加而帶來(lái)的網(wǎng)絡(luò)退化和梯度消失的問(wèn)題。因此借鑒殘差結(jié)構(gòu)在一定程度上能提高提取特征能力的思想，在D中加入了殘差塊并對(duì)其優(yōu)化。在文獻(xiàn)[15]中提出自歸一化神經(jīng)網(wǎng)絡(luò)(self-normalizing neural networks，SNNs)，SNNs具有一定的收斂性，研究發(fā)現(xiàn)其激勵(lì)值能逼近零均值和單位方差，其效果類(lèi)似于批歸一化。其激活函數(shù)：縮放指數(shù)型線(xiàn)性單元(SELU)具有自標(biāo)準(zhǔn)化的特性，不需要進(jìn)行批量規(guī)范化。因此文中將原始結(jié)構(gòu)中激活函數(shù)relu換為selu，提升網(wǎng)絡(luò)訓(xùn)練，同時(shí)考慮到網(wǎng)絡(luò)結(jié)構(gòu)中過(guò)多的冗余層對(duì)網(wǎng)絡(luò)訓(xùn)練性能的影響，參考了文獻(xiàn)[16]中對(duì)殘差網(wǎng)絡(luò)結(jié)構(gòu)中的去除歸一化層(bath normalization)提升性能的思想，文中采用該思想用于構(gòu)建新網(wǎng)絡(luò)。

2.2 改進(jìn)網(wǎng)絡(luò)結(jié)構(gòu)

根據(jù)2.1節(jié)的改進(jìn)思想，具體設(shè)計(jì)的網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。G網(wǎng)絡(luò)結(jié)構(gòu)如圖2(a)所示，為提取LR特征時(shí)能擴(kuò)大其感受野范圍，將LR先送入一層有64個(gè)9×9的卷積核，步長(zhǎng)為(1，1)的卷積層提取特征后再經(jīng)過(guò)16層的殘差網(wǎng)絡(luò)，將殘差塊中的BN層去掉，并將激活函數(shù)relu替換成selu，有利于網(wǎng)絡(luò)訓(xùn)練加快收斂速度，G中的核心部分就是用于生成高分辨率的16塊相同的殘差塊，同時(shí)在殘差塊的輸入與下一層的輸出之間采用殘差直連(skip connection，跳躍連接)，再通過(guò)一層卷積，該卷積層的輸出與第一層卷積的輸出同樣采用跳躍連接，接著上層輸出通過(guò)兩個(gè)Sub-pixel Layer(亞像素卷積層)恢復(fù)出4倍高分辨率圖像的尺寸，最后經(jīng)過(guò)一層卷積層后輸出結(jié)果為tf.nn.tanh()，即為-1,1,因?yàn)閳D像進(jìn)行了-1,1的預(yù)處理。

D網(wǎng)絡(luò)結(jié)構(gòu)如圖2(b)所示，判別的圖像經(jīng)過(guò)一層64個(gè)4×4，圖像特征通道數(shù)為3，步長(zhǎng)為2×2的卷積層提取特征，加入殘差學(xué)習(xí)單元，有效的深度提取出SR和HR之間的細(xì)節(jié)特征，并對(duì)殘差塊做了優(yōu)化，即將兩個(gè)3×3的卷積層替1×1+3×3+1×1，先經(jīng)一層1×1卷積層降維減少計(jì)算，然后再經(jīng)一層1×1的卷積層下做還原，既保持精度又減少了計(jì)算量，經(jīng)多次實(shí)驗(yàn)仿真測(cè)試，最終加入3塊優(yōu)化殘差塊較好(注：圖2(b)中由于結(jié)構(gòu)圖過(guò)長(zhǎng)只畫(huà)出一個(gè)殘差塊，省略了另外的部分，實(shí)際有3塊)，同樣也去除了BN層，激活函數(shù)lrelu替換成selu。再將上層輸出經(jīng)過(guò) 5層 卷積層，因?yàn)樵龃缶植扛惺芤安⑶以黾訄D像特征數(shù)便于提取特征圖細(xì)節(jié)，所以卷積層的卷積核大小為4×4，步長(zhǎng)為2×2，特征通道數(shù)從64個(gè)以2倍的方式遞增至2048個(gè)。然后再經(jīng)過(guò)三層卷積層對(duì)上層輸出進(jìn)行降維，并采用跳躍連接方式。經(jīng)兩層卷積輸出后通過(guò)Flatten Layer壓平圖像維度，原始GAN的D網(wǎng)絡(luò)最后一層是sigmoid函數(shù)用于輸出一個(gè)0-1之間的置信度，判斷輸入圖像是生成圖像還是真實(shí)圖像。改進(jìn)的結(jié)構(gòu)去掉原始結(jié)構(gòu)D中的sgmoid層，直接用非線(xiàn)性層Dense Layer(全連接層)對(duì)圖像輸出結(jié)果。還用預(yù)訓(xùn)練好的VGG19來(lái)提取生成圖片和真實(shí)圖片的conv5層卷積層的特征輸出結(jié)果，比較兩者之間的特征差異，用于生成局部部位的損失值。

圖2 改進(jìn)網(wǎng)絡(luò)結(jié)構(gòu)

2.3 損失函數(shù)

SRGAN的損失函數(shù)在傳統(tǒng)的代價(jià)函數(shù)的基礎(chǔ)上加入了對(duì)抗損失能有效提升圖像視覺(jué)效果，公式如下

(8)

(9)

SR的算法中大多以?xún)?yōu)化上式(9)得到較高的信噪比，但是圖像缺失高頻細(xì)節(jié)，因此引入基于預(yù)訓(xùn)練好的VGG19網(wǎng)絡(luò)提取特征的損失值

(10)

式(10)表示HR送入預(yù)VGG19后輸出結(jié)果與SR送入VGG19后輸出結(jié)果像素之間的損失，其中W表示圖像的長(zhǎng)，H表示圖像的寬。φi,j表示VGG網(wǎng)絡(luò)中第i層最大池化層后的第j個(gè)卷積層得到的特征圖。Wi,j和Hi,j表示特征圖的維度。

式(8)第三項(xiàng)表示基于D網(wǎng)絡(luò)輸出的概率的對(duì)抗損失，表示LR圖像輸入G網(wǎng)絡(luò)后生成的結(jié)果再送入D網(wǎng)絡(luò)的判別結(jié)果與實(shí)際值的交叉熵，可表示為

(11)

其中，DθD是圖像屬于真實(shí)HR圖像的概率GθG(ILR)， 表示SR圖像。改進(jìn)的模型引入Wasserstein距離進(jìn)行優(yōu)化，若使得下面公式

L=EIHR～Pr(IHR)[DθD(IHR)]-EILR～PG(ILR)[DθD(ILR)]

(12)

達(dá)到最大時(shí)，或

L=-(EIHR～Pr(IHR)[DθD(IHR)]+EILR～PG(ILR)[DθD(ILR)])

(13)

到達(dá)最小時(shí)，那Wasserstein距離就可以用L來(lái)表示，G網(wǎng)絡(luò)的目標(biāo)就是最小化L。

3 實(shí)驗(yàn)仿真及結(jié)果對(duì)比分析

實(shí)驗(yàn)環(huán)境是顯卡為GTX1080Ti，處理器為i7 7800x，運(yùn)行內(nèi)存為32 G，CUDA8.0，CUDNN7.1.4的硬件環(huán)境，以及以TensorFlow相關(guān)的庫(kù)為框架搭建，以Python3.5為編寫(xiě)語(yǔ)言的軟件環(huán)境。實(shí)驗(yàn)中訓(xùn)練集來(lái)自NTIRE2018的DIV2K數(shù)據(jù)集中的800張高清圖(2K分辨率)，通過(guò)Matlab工具箱對(duì)其翻轉(zhuǎn)放縮等方法擴(kuò)充訓(xùn)練集。測(cè)試集采用Set5，Set14以及BSD100這3個(gè)公開(kāi)的基準(zhǔn)數(shù)據(jù)集。為驗(yàn)證文中的SR方法重建效果，實(shí)驗(yàn)仿真選取了幾種較為經(jīng)典且常見(jiàn)的不同的SR方法進(jìn)行對(duì)比，有傳統(tǒng)方法中的最近鄰插值(nearest)和雙三次插值(Bicubic)[17]，有深度學(xué)習(xí)下的SRCNN，以及原始SRGAN。

3.1 網(wǎng)絡(luò)訓(xùn)練參數(shù)

實(shí)驗(yàn)硬件設(shè)備受限，batch_size設(shè)為16，開(kāi)始訓(xùn)練GAN之前，先初始化優(yōu)化G，即對(duì)G先迭代100輪，之后才開(kāi)始訓(xùn)練整個(gè)網(wǎng)絡(luò)，迭代30 000次，初始化學(xué)習(xí)率為0.0001，衰減率為0.1，每迭代15 000次學(xué)習(xí)率就下降為原來(lái)的0.1倍，同時(shí)每迭代500次就保存一次模型。在模型代碼中加入Tensorboard可視化監(jiān)控loss的下降情況，掌握模型訓(xùn)練程度。

3.2 主客觀(guān)評(píng)價(jià)指標(biāo)

常使用客觀(guān)評(píng)價(jià)指標(biāo)評(píng)價(jià)圖像超分辨率的效果。客觀(guān)評(píng)價(jià)注重的是重構(gòu)圖像與真實(shí)圖像在數(shù)據(jù)上的差距，常見(jiàn)的有峰值信噪比(PSNR，單位是dB)和結(jié)構(gòu)相似性(SSIM，在0～1的范圍)。PSNR和SSIM的數(shù)值越大代表效果好，常以二者數(shù)值的高低來(lái)評(píng)判圖像效果，但文獻(xiàn)[18,19]中研究實(shí)驗(yàn)結(jié)果表明其客觀(guān)數(shù)值與人的視覺(jué)感官是有很大差別的，有時(shí)其數(shù)值低的圖像視覺(jué)效果反而比數(shù)值高的要好[20]，因此需要結(jié)合主觀(guān)評(píng)價(jià)，通常以人感官為主體，用肉眼感受圖像，以及對(duì)圖像本身的認(rèn)知特點(diǎn)，對(duì)圖像的好壞給出評(píng)價(jià)，常見(jiàn)的有平均意見(jiàn)指數(shù)(MOS)。本文分別采用PSNR、SSIM和MOS對(duì)實(shí)驗(yàn)結(jié)果綜合評(píng)價(jià)并分析。

3.3 結(jié)果分析

訓(xùn)練模型時(shí)通過(guò)Tensorboard可視化監(jiān)控網(wǎng)絡(luò)訓(xùn)練的程度如圖3所示。圖3中橫坐標(biāo)表示訓(xùn)練時(shí)間，縱坐標(biāo)表示loss值(模型代碼loss值以負(fù)值表示)。從圖3看出，在訓(xùn)練5個(gè)小時(shí)之前，曲線(xiàn)波動(dòng)比較大，訓(xùn)練5個(gè)小時(shí)之后圖中的曲線(xiàn)基本上沒(méi)有較大的波動(dòng)，網(wǎng)絡(luò)迭代大概9525次之后，loss值在-7.047之間極小范圍的浮動(dòng)，基本不再變化，模型進(jìn)入穩(wěn)定訓(xùn)練的狀態(tài)，說(shuō)明改進(jìn)的網(wǎng)絡(luò)結(jié)構(gòu)經(jīng)過(guò)一段時(shí)間的訓(xùn)練后loss值趨于收斂，模型達(dá)到穩(wěn)定的狀態(tài)。

圖3 利用Tensorboard監(jiān)控到的loss

3.3.1 客觀(guān)結(jié)果及分析

分別計(jì)算3個(gè)基準(zhǔn)數(shù)據(jù)集各個(gè)SR方法下的每張HR和SR之間的PSNR和SSIM的值，最終并計(jì)算出各個(gè)測(cè)試集下的PSNR(dB)平均值和SSIM的平均值，得到不同SR方法下的客觀(guān)評(píng)價(jià)標(biāo)準(zhǔn)結(jié)果見(jiàn)表1。

表1中可以看到，在3個(gè)測(cè)試集中，Nearest、Bicubic、SRCNN方法的PSNR和SSIM的數(shù)值呈逐漸增加的一個(gè)趨勢(shì)。在Set5、Set14中，原始的SRGAN下的PSNR和SSIM雖比SRCNN低，但均高于Nearest和Bicubic；在BSD100中，SRGAN的PSNR和SSIM略低于Nearest和Bicubic。在Set5中，文中改進(jìn)SR方法的PSNR和SSIM數(shù)值是最高的。在Set14和BSD100中，文中改進(jìn)SR方法下的PSNR和SSIM雖然略低于SRCNN，但是高于SRGAN。可見(jiàn)本文改進(jìn)的網(wǎng)絡(luò)結(jié)構(gòu)不僅能穩(wěn)定訓(xùn)練網(wǎng)絡(luò)，而且綜合3個(gè)測(cè)試集的評(píng)價(jià)指標(biāo)并求平均值來(lái)看，在SRGAN基礎(chǔ)上PSNR提高了1.311 dB以及SSIM提高了5.47%。

表1 3個(gè)測(cè)試集下不同SR方法客觀(guān)評(píng)價(jià)指標(biāo)結(jié)果對(duì)比

3.3.2 主觀(guān)結(jié)果及分析

由于客觀(guān)評(píng)價(jià)數(shù)值與人的視覺(jué)感官存在一定的差別，需結(jié)合主觀(guān)的評(píng)價(jià)來(lái)對(duì)重建圖像的整體視覺(jué)效果進(jìn)行評(píng)價(jià)，因此，此小節(jié)采用MOS作為主觀(guān)評(píng)價(jià)指標(biāo)分析重建圖像，即隨機(jī)讓30個(gè)評(píng)分者根據(jù)個(gè)人的主觀(guān)感受對(duì)測(cè)試集上的每張圖像中不同SR方法重建出的圖像進(jìn)行評(píng)分(1～5分，分?jǐn)?shù)1表示圖像質(zhì)量差，視覺(jué)效果差，分?jǐn)?shù)5表示圖像質(zhì)量較好，視覺(jué)效果好)，計(jì)算出其平均分，得到主觀(guān)下的MOS評(píng)價(jià)結(jié)果見(jiàn)表2。

表2 3個(gè)測(cè)試集下不同SR方法主觀(guān)評(píng)價(jià)(MOS)結(jié)果對(duì)比

3.3.3 綜合評(píng)價(jià)

結(jié)合表1的客觀(guān)數(shù)值和表2的MOS值以及圖4細(xì)節(jié)對(duì)比圖來(lái)看：Nearest的MOS值最低，重建結(jié)果視覺(jué)上看起來(lái)比較模糊，有比較明顯的方塊。Bicubic的MOS雖然比Nearest高一些，但重建結(jié)果并不好，圖像過(guò)于平滑，視覺(jué)上也顯得模糊。SRCNN的MOS值相比于前兩者有所提高，重建效果也比Nearest和Bicubic有明顯的改善，但是與SRGAN相比細(xì)節(jié)上又缺少了些真實(shí)感。SRGAN和改進(jìn)的方法的MOS比前幾種SR方法高出許多，改進(jìn)的方法只比SRGAN略低一點(diǎn)，差別不大，重建結(jié)果都顯示出逼真的紋理細(xì)節(jié)。綜合客觀(guān)和主觀(guān)分析結(jié)果來(lái)看，傳統(tǒng)方法Nearest和Bicubic視覺(jué)效果不佳，重建效果明顯低于基于學(xué)習(xí)方法下的SRCNN和SRGAN以及文中改進(jìn)的方法，可見(jiàn)基于學(xué)習(xí)的SR方法更具優(yōu)勢(shì)。文中改進(jìn)的方法的PSNR和SSIM數(shù)值雖比SRCNN偏低些，但是就主觀(guān)MOS視覺(jué)對(duì)比來(lái)看，細(xì)節(jié)方面明顯處理得比SRCNN好，紋理細(xì)節(jié)相對(duì)來(lái)說(shuō)更豐富，視覺(jué)效果更真實(shí)，而且PSNR和SSIM的值比原始SRGAN均有所提升，說(shuō)明提出的改進(jìn)方法是可行的。

圖4 測(cè)試集中某張圖片下不同SR方法重建結(jié)果的細(xì)節(jié)放大對(duì)比

4 結(jié)束語(yǔ)

文中提出改進(jìn)的GAN圖像超分辨率方法，用Wasserstein代替JS散度優(yōu)化穩(wěn)定網(wǎng)絡(luò)的訓(xùn)練，加入優(yōu)化殘差塊有效提取深層特征，并在網(wǎng)絡(luò)結(jié)構(gòu)中替換激活函數(shù)SELU提高網(wǎng)絡(luò)訓(xùn)練性能，加快收斂；去除殘差塊中的冗余層保證精度的同時(shí)減少計(jì)算量。實(shí)驗(yàn)結(jié)果表明，改進(jìn)的方法的評(píng)價(jià)指標(biāo)的結(jié)果相對(duì)于原始SRGAN的PSNR提高了1.311 dB，SSIM提高了5.47%。網(wǎng)絡(luò)訓(xùn)練穩(wěn)定性也比原始的SRGAN好。下一步的目標(biāo)繼續(xù)研究基于學(xué)習(xí)方法下SR的高效方法，希望能重建出更好的高分辨率圖像。