基于SRGAN的圖像超分辨率方法研究

侯開(kāi)紀(jì)，葉海洋，張莆林，劉 哲

（江漢大學(xué)人工智能學(xué)院，武漢 430056）

0 引言

隨著當(dāng)代智能計(jì)算機(jī)技術(shù)和信息技術(shù)以及視覺(jué)傳遞交互技術(shù)的日益成熟，我們已迎來(lái)高度信息化的新時(shí)代。正因如此，就要求我們對(duì)信息處理相關(guān)技術(shù)進(jìn)行深入的研究，從而提供更加多元化的選擇。而圖像的處理及其相關(guān)分析技術(shù)是不可或缺的一環(huán)，在日益信息化的場(chǎng)景中應(yīng)用廣泛［1］。

圖像超分辨率在國(guó)防軍事、醫(yī)療影像、人臉識(shí)別等領(lǐng)域具有廣泛的應(yīng)用。本文研究基于SRGAN［2］模型的圖像超分辨率技術(shù)，通過(guò)百度飛槳paddlepaddle［3］訓(xùn)練了SRGAN 網(wǎng)絡(luò)并進(jìn)行了部署，并根據(jù)部署的SRGAN 網(wǎng)絡(luò)構(gòu)建了基于Django技術(shù)的圖像超分辨率系統(tǒng)。

本文計(jì)劃對(duì)神經(jīng)網(wǎng)絡(luò)模型［4］、超分辨率算法等內(nèi)容進(jìn)行復(fù)現(xiàn)，并且針對(duì)存在的問(wèn)題展開(kāi)深入研究，對(duì)已有模型的不足之處提出改進(jìn)和優(yōu)化，最終得到一個(gè)理想的超分辨率神經(jīng)網(wǎng)絡(luò)模型。

1 圖像超分辨率重構(gòu)方法

1.1 分析

SRGAN 是一種基于GAN 模型來(lái)對(duì)圖像進(jìn)行超分辨率重建的算法模型，由生成網(wǎng)絡(luò)（generator）和判別網(wǎng)絡(luò)（discriminator）構(gòu)成［2］。通過(guò)輸入低分辨率的像素圖來(lái)輸出其對(duì)應(yīng)的超分辨率像素圖像，將原始分辨率像素圖像和生成的超分辨率像素圖像依次輸入判別網(wǎng)絡(luò)，當(dāng)判別網(wǎng)絡(luò)D無(wú)法區(qū)分二者時(shí)，最終達(dá)到平衡狀態(tài)。SRGAN 就實(shí)現(xiàn)了重構(gòu)超分辨率像素圖像。

訓(xùn)練SRGAN 模型的過(guò)程如下：首先將高分辨率圖像（IHR）進(jìn)行降采樣得到其對(duì)應(yīng)的低分辨率圖像（ILR），生成網(wǎng)絡(luò)將低分辨率圖像經(jīng)由一個(gè)卷積層的處理，獲得該像素圖像的特征及其參數(shù)；其次調(diào)用激活函數(shù)，再通過(guò)卷積層獲得該像素圖像的主要特征參數(shù)；然后調(diào)用殘差模型；再調(diào)用批量歸一化（BN）層，殘差模塊重新導(dǎo)入激活函數(shù)；最后經(jīng)過(guò)兩次池化層操作，使用亞像素來(lái)提高分辨率，獲得對(duì)應(yīng)的超分辨率圖像（ISR）。

1.2 生成器結(jié)構(gòu)

生成器使用SRResNet。其輸入為一張低分辨率圖像（ILR），將卷積層和prelu 函數(shù)作為激活函數(shù)的激活層來(lái)提取淺層的特征參數(shù)。將提取到的淺層特征參數(shù)傳入殘差塊來(lái)提取深層特征參數(shù)。最后經(jīng)由一個(gè)上采樣層，生成較高分辨率的像素圖像。如圖1 所示，k表示卷積核尺寸、n表示輸出通道數(shù)、s為卷積步長(zhǎng)［5］。

圖1 生成網(wǎng)絡(luò)結(jié)構(gòu)

1.2.1 殘差塊

殘差塊（如圖2所示）由Conv2D卷積層、Batch-Norm2D函數(shù)、prelu函數(shù)以及跳過(guò)連接（skip connection）組成，其優(yōu)點(diǎn)是可以避免梯度消失，較為穩(wěn)定地通過(guò)加深層數(shù)來(lái)提高模型。

圖2 殘差塊

1.2.2 上采樣塊

上采樣層有兩個(gè)上采樣塊。上采樣塊包括Conv2D、upscale_factor為2的pixelshuffle和prelu函數(shù)。其作用是放大原圖像，獲得更高的分辨率。如圖3所示。

圖3 上采樣塊

1.3 判別器整體結(jié)構(gòu)

判別器用于估計(jì)輸入到判別器的是真實(shí)的圖像的概率。判別器含有8 個(gè)卷積層，從第2 個(gè)卷積層開(kāi)始，每個(gè)卷積層后面加一個(gè)Batch-Norm 層來(lái)歸一化中間層。如圖4所示，k表示卷積核尺寸、n表示輸出通道數(shù)、s為卷積步長(zhǎng)［5］。

圖4 判別器整體結(jié)構(gòu)

1.4 損失函數(shù)

SRGAN 生成的網(wǎng)絡(luò)損失函數(shù)為感知損失，由兩部分組成：內(nèi)容損失和對(duì)抗損失［5］。

對(duì)抗損失方面的計(jì)算方法：

其中，DθD表示原始像素圖像的分辨率被成功提升的概率（實(shí)現(xiàn)超分辨率），GθD(ILR)表示生成的高清分辨率像素圖像。

本文調(diào)用的內(nèi)容損失函數(shù)有兩個(gè)：MSEloss［5］,表示像素層面的誤差；VGGloss［5］表示激活函數(shù)的損失。MSEloss計(jì)算方法如下：

VGGloss的計(jì)算方法如下:

2 項(xiàng)目實(shí)施

2.1 數(shù)據(jù)集介紹

本文使用CelebA 數(shù)據(jù)集進(jìn)行模型的訓(xùn)練和實(shí)驗(yàn)效果測(cè)試，CelebA 是由香港中文大學(xué)建立并且開(kāi)放使用的數(shù)據(jù)集，其中涵蓋了10177個(gè)名人及其相關(guān)的202599 張高清圖片，并且全部的像素圖都做好了相關(guān)特征標(biāo)記，從而方便進(jìn)行模型訓(xùn)練以及使用，這對(duì)圖像超分相關(guān)的訓(xùn)練是非常好用的數(shù)據(jù)集。本文使用的切塊大小為44 × 44。

2.2 運(yùn)行環(huán)境搭建

本文使用的Linux系統(tǒng)版為4.15.0-140-generic，使用的開(kāi)發(fā)語(yǔ)言是Python 3.7.4，并使用Paddlepaddle 2.0.2框架作為核心深度學(xué)習(xí)框架。

2.3 對(duì)比試驗(yàn)及改進(jìn)

為了與SRGAN 作比較，本文同時(shí)訓(xùn)練一個(gè)SRResNet 網(wǎng)絡(luò)。SRResNet 和SRGAN 的 生 成器進(jìn)行相同初始化。此外，在卷積層進(jìn)行卷積操作時(shí)，將padding 的大小設(shè)置為0，減少卷積運(yùn)算量。將原圖（IHR）進(jìn)行壓縮來(lái)獲得其對(duì)應(yīng)的低分辨率（ILR）圖。如圖5所示。

圖5 左圖為ILR，右圖為IHR

訓(xùn)練過(guò)程中將batchsize 設(shè)置為16，并使用Adam 優(yōu)化器對(duì)梯度的一階矩估計(jì)（first moment estimation）和二階矩估計(jì)（second moment estimation）進(jìn)行綜合考慮，計(jì)算出更新步長(zhǎng)。本文將學(xué)習(xí)率設(shè)置為10-4，β 設(shè)置為0.9 進(jìn)行105迭代后，將學(xué)習(xí)率調(diào)整為10-5繼續(xù)迭代。使用損失函數(shù)通過(guò)反向傳播更新參數(shù)，更新整個(gè)網(wǎng)絡(luò)卷積層的權(quán)重。并且為進(jìn)一步增強(qiáng)數(shù)據(jù)，本文將測(cè)試圖進(jìn)行隨機(jī)旋轉(zhuǎn)、翻轉(zhuǎn)和去噪［6］。

訓(xùn)練過(guò)程中關(guān)于低分辨率圖、SRResNet、SRGAN以及原圖對(duì)比如圖6所示。

圖6 低分辨率圖、SRResNet、SRGAN、原圖對(duì)比

3 結(jié)語(yǔ)

對(duì)于SRGAN 的模型訓(xùn)練，本文在原基礎(chǔ)上對(duì)SRGAN 實(shí)現(xiàn)了優(yōu)化：將原數(shù)據(jù)進(jìn)行了數(shù)據(jù)增強(qiáng)、圖像去噪；在進(jìn)行卷積操作時(shí)，減小padding 的值從而減少卷積運(yùn)算量；在訓(xùn)練過(guò)程中動(dòng)態(tài)調(diào)整學(xué)習(xí)率。在本文中，按照SRGAN 模型的框架結(jié)構(gòu)：從生成網(wǎng)絡(luò)模型到判別網(wǎng)絡(luò)模型來(lái)實(shí)現(xiàn)對(duì)應(yīng)的操作。首先準(zhǔn)備好了一定量未結(jié)果處理的原始圖像集，將原始像素圖導(dǎo)入到生成器當(dāng)中，經(jīng)過(guò)多層的卷積、多層的池化處理以后，再次將數(shù)據(jù)傳輸進(jìn)入判別器中，得到的相較于原始圖像有更高像素以及清晰度的結(jié)果圖像。與原始像素圖和結(jié)果圖像進(jìn)行對(duì)比，最終發(fā)現(xiàn)結(jié)果圖像在像素?cái)?shù)增多的同時(shí)還不破壞原始像素圖的風(fēng)格，保證了一定的真實(shí)性。［5］