單幀圖像的耦合生成式對(duì)抗超分辨率重建

張賀舒，李 濤，宋公飛，2，3

1.南京信息工程大學(xué) 自動(dòng)化學(xué)院，南京210044

2.化工過程先進(jìn)控制和優(yōu)化技術(shù)教育部重點(diǎn)實(shí)驗(yàn)室，上海200237

3.南京信息工程大學(xué) 江蘇省大氣環(huán)境與裝備技術(shù)協(xié)同創(chuàng)新中心，南京210044

1 引言

超分辨率（Super-Resolution，SR）[1]技術(shù)是指從觀測(cè)到的低分辨率圖像重建出相應(yīng)的高分辨率圖像。高分辨率圖像具有更高的像素密度，能提供更多的色調(diào)、形狀、紋理等細(xì)節(jié)信息，帶來更好的視覺體驗(yàn)?，F(xiàn)有SR根據(jù)輸入信息不同可分為兩類：從多張低分辨率圖像重建出高分辨率圖像（多幀圖像超分辨）和從單張低分辨率圖像重建出高分辨率圖像（單幀圖像超分辨）。單幀圖像超分辨（Single Image Super-Resolution，SISR）利用單幅圖像進(jìn)行超分辨重建，克服了圖像序列難以獲得和時(shí)序性不夠的問題。單幀圖像由于缺乏多幀圖像間的關(guān)聯(lián)信息，難以獲取圖像降質(zhì)的先驗(yàn)信息而成為圖像超分辨重建的難點(diǎn)。SISR 是一個(gè)逆問題，對(duì)于一張低分辨率圖像可能存在許多不同的高分辨率圖像與之對(duì)應(yīng)，為了讓逆向圖片的結(jié)果更接近真實(shí)圖片，需要讓模型在現(xiàn)有的低分辨率像素的色度信息和位置信息約束條件下，在指定領(lǐng)域中來進(jìn)行可逆訓(xùn)練。傳統(tǒng)方法如頻域、插值、最大后驗(yàn)概率法等用于SISR時(shí)，往往只能提高圖像中局部區(qū)域的清晰度，對(duì)圖像整體則會(huì)產(chǎn)生鈍化、模糊的效果?；谏疃葘W(xué)習(xí)的SR主要是SISR，為了讓模型能夠更好地學(xué)習(xí)和利用約束條件，神經(jīng)網(wǎng)絡(luò)直接優(yōu)化低分辨率圖像到高分辨率圖像的損失函數(shù)進(jìn)行端到端訓(xùn)練。文獻(xiàn)[2]最先提出使用卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)圖像超分辨（Super-Resolution Convolutional Neural Network，SRCNN），SRCNN包含特征提取層、非線性映射層和重建層，實(shí)驗(yàn)效果明顯優(yōu)于傳統(tǒng)算法，但該方法使得網(wǎng)絡(luò)計(jì)算量大、運(yùn)算周期長(zhǎng)。文獻(xiàn)[3]提出快速超分辨率卷積神經(jīng)網(wǎng)絡(luò)（Fast Super-Resolution Convolutional Neural Network，F(xiàn)SRCNN），增加了網(wǎng)絡(luò)的深度，以低分辨率圖像作為網(wǎng)絡(luò)的輸入，使用反卷積運(yùn)算將低尺寸的高維特征圖轉(zhuǎn)換為高分辨率圖像，效果和速度較SRCNN 均有提升。

在圖像放大四倍及以上時(shí)，上述網(wǎng)絡(luò)所得到的結(jié)果會(huì)顯得有些平滑，缺少一些細(xì)節(jié)上的真實(shí)感。原因是這些網(wǎng)絡(luò)使用的代價(jià)函數(shù)是基于像素點(diǎn)的最小均方差（Mean Square Error，MSE），使得重建結(jié)果有較高的信噪比，但缺少高頻信息，出現(xiàn)過度平滑的紋理。2016年Ledig等人提出了基于生成對(duì)抗網(wǎng)絡(luò)（Generative Adversarial Network，GAN）的圖像超分辨重建算法（Super Resolution Generative Adversarial Network，SRGAN）[4]，利用生成對(duì)抗網(wǎng)絡(luò)和感知損失函數(shù)使得重建的高分辨率圖像與真實(shí)的高分辨率圖像無論是在低層次的像素值還是高層次的抽象特征及整體概念和風(fēng)格上都很接近。文獻(xiàn)[5]提出了一種可以無監(jiān)督學(xué)習(xí)聯(lián)合分布的耦合生成對(duì)抗網(wǎng)絡(luò)（Coupled Generative Adversarial Networks，CoGAN）。Berthelot等人針對(duì)GAN在訓(xùn)練中難以收斂、容易出現(xiàn)模式坍塌[6]等缺點(diǎn)，提出一種邊界平衡生成對(duì)抗網(wǎng)絡(luò)（Boundary Equilibrium Generative Adversarial Networks，BEGAN）[7]。

受以上工作啟發(fā)，本文提出一種改進(jìn)的單幀圖像超分辨率重建算法，主要工作和創(chuàng)新點(diǎn)為：（1）將CoGAN經(jīng)調(diào)整改進(jìn)后應(yīng)用于圖像超分辨重建；（2）引入自注意力增強(qiáng)卷積，兼顧圖像中每個(gè)位置及其遠(yuǎn)端的細(xì)節(jié)，提升圖像的重建效果；（3）對(duì)生成器和判別器的學(xué)習(xí)能力做出平衡，在圖像的多樣性和生成質(zhì)量間做出平衡；（4）使用相對(duì)判別損失函數(shù)作為來自對(duì)抗神經(jīng)網(wǎng)絡(luò)的目標(biāo)函數(shù)，使得網(wǎng)絡(luò)結(jié)構(gòu)更加穩(wěn)定，生成更高質(zhì)量的圖片；（5）與傳統(tǒng)對(duì)抗神經(jīng)網(wǎng)絡(luò)使用隨機(jī)向量作為網(wǎng)絡(luò)輸入不同，將低分辨率圖像作為輸入，實(shí)現(xiàn)四倍上采樣的圖像超分辨率。

2 相關(guān)工作

2.1 生成對(duì)抗網(wǎng)絡(luò)

生成對(duì)抗網(wǎng)絡(luò)由Goodfellow 等[8]在2014 年第一次提出，是生成式模型最新也是目前最為成功的一項(xiàng)技術(shù)。

GAN的主要思想是自由博弈論[9]中的零和博弈，通過兩個(gè)玩家的對(duì)抗實(shí)現(xiàn)學(xué)習(xí)。博弈雙方為生成器網(wǎng)絡(luò)和判別器網(wǎng)絡(luò)，生成器的主要工作是學(xué)習(xí)訓(xùn)練樣本的數(shù)據(jù)分布，生成樣本，盡可能使其看上去與訓(xùn)練樣本一致。判別器是一個(gè)二分類模型，目的是準(zhǔn)確判斷輸入樣本是否屬于真實(shí)的訓(xùn)練樣本。假設(shè)網(wǎng)絡(luò)輸入為z，則生成器的輸出為G(z)，判別器的輸出根據(jù)輸入不同可分為D(x)和D(G(z))，理想情況下D(x)=1,D(G(z))=0。上述博弈過程可表示為如下目標(biāo)函數(shù)：

式（1）中V(D,G) 是生成對(duì)抗網(wǎng)絡(luò)整體的目標(biāo)函數(shù)，V(D,G)是生成器的目標(biāo)函數(shù)，V(D,G)是判別器的目標(biāo)函數(shù)。生成器和判別器的訓(xùn)練過程交替進(jìn)行，更新一方參數(shù)時(shí)，另一方參數(shù)固定住不更新。固定住生成器，對(duì)判別器進(jìn)行更新：優(yōu)化判別器D網(wǎng)絡(luò)，使其對(duì)真實(shí)輸入判別結(jié)果D(x)盡可能大，對(duì)生成器輸出判別結(jié)果D(G(z))盡可能小，即求目標(biāo)函數(shù)V(D,G)的最大值；固定住判別器，對(duì)生成器進(jìn)行更新：優(yōu)化生成器G網(wǎng)絡(luò)，盡可能欺騙判別器，讓判別器判斷生成器生成結(jié)果為真的概率D(G(z))趨于1，即求目標(biāo)函數(shù)V(D,G)的最小值。具體實(shí)現(xiàn)流程如圖1所示。

圖1 生成對(duì)抗網(wǎng)絡(luò)

通常情況下，判別器的學(xué)習(xí)能力優(yōu)于生成器[10]，且生成器和判別器的學(xué)習(xí)能力并不固定，會(huì)隨著學(xué)習(xí)程度而變化，本文在訓(xùn)練網(wǎng)絡(luò)時(shí)使用了動(dòng)態(tài)學(xué)習(xí)率來改善這一問題，盡可能保持生成器和判別器訓(xùn)練同步。

2.2 耦合生成對(duì)抗網(wǎng)絡(luò)

耦合生成對(duì)抗網(wǎng)絡(luò)將兩個(gè)GAN 組合在一起，每個(gè)GAN 針對(duì)一個(gè)圖像域（image domain），本質(zhì)上GAN 學(xué)習(xí)的圖像分布p(x′)要足夠逼近訓(xùn)練樣本分布p(x)，則任意輸入噪聲到訓(xùn)練好的生成器中，都能生成足夠像訓(xùn)練樣本的圖像。在CoGAN 中，因?yàn)樯婕暗接蜃赃m應(yīng)（domain adaption）問題，將單個(gè)分布p(x)拓展到聯(lián)合分布p(x,y)上。在傳統(tǒng)domain adaption 中，需要學(xué)習(xí)或訓(xùn)練一個(gè)域適配器（domain adaptor），而domain adaptor需要用源域（source domain）和對(duì)應(yīng)的目標(biāo)域（target domain）的訓(xùn)練圖片來訓(xùn)練。如果直接訓(xùn)練這兩個(gè)GAN，那么CoGAN得到的是這兩個(gè)邊際分布的內(nèi)積而不是聯(lián)合分布即p(x,y)!=p(x)p(y)。因此CoGAN 通過對(duì)網(wǎng)絡(luò)加上無監(jiān)督的權(quán)值共享約束同時(shí)求解邊界分布的內(nèi)積分布解使得其可以在兩個(gè)domain不存在對(duì)應(yīng)圖像（corresponding images）的情況下實(shí)現(xiàn)無監(jiān)督的學(xué)習(xí)一個(gè)聯(lián)合分布，如可以學(xué)習(xí)圖片的顏色和深度兩個(gè)不同屬性的聯(lián)合分布。

圖2 生成網(wǎng)絡(luò)結(jié)構(gòu)圖

3 方法

3.1 生成對(duì)抗網(wǎng)絡(luò)

受以上文獻(xiàn)所做工作的啟發(fā)，本文設(shè)計(jì)了耦合生成式對(duì)抗超分辨率重建算法來完成單幀圖像超分辨重建任務(wù)。通過構(gòu)建兩個(gè)生成器和兩個(gè)判別器，共享輸入進(jìn)行同步訓(xùn)練，訓(xùn)練方法與經(jīng)典GAN 網(wǎng)絡(luò)類似。為了實(shí)現(xiàn)更好的圖像超分辨重建效果通過“耦合”的方式對(duì)生成器2進(jìn)行指導(dǎo)，“耦合”穿插在正常訓(xùn)練中。D1(Gen_1)和D2(Gen_2)分別為生成器1和生成器2的生成數(shù)據(jù)是否為真的判別結(jié)果，定義：

當(dāng)e≤0 時(shí)認(rèn)為生成器1重建后圖像更為真實(shí)，此時(shí)拉近生成器2 到生成器1 的距離，將生成器1 網(wǎng)絡(luò)層前幾層的權(quán)值共享給生成器2，使得生成器2 獲得更優(yōu)的高頻細(xì)節(jié)特征。當(dāng)e ＞0 時(shí)認(rèn)為生成器2 重建后的圖像更加真實(shí)，則不進(jìn)行權(quán)值共享。

本文中設(shè)計(jì)每單獨(dú)訓(xùn)練生成器兩次（無權(quán)值共享），根據(jù)e的大小判斷是否“耦合”訓(xùn)練（e≤0 權(quán)值共享，e ＞0 不發(fā)生改變）一次。經(jīng)典的對(duì)抗式訓(xùn)練能夠拉近生成器生成的分布和真實(shí)的數(shù)據(jù)分布之間的距離，而本文中穿插“耦合”訓(xùn)練的方式不僅能夠拉近生成器1 和生成器2分布之間的距離，指導(dǎo)生成器2的數(shù)據(jù)生成，提高生成器2 的學(xué)習(xí)能力，而且降低了網(wǎng)絡(luò)的參數(shù)量，提高模型的收斂速度。

由于本文設(shè)計(jì)的生成網(wǎng)絡(luò)中生成器間共享輸入且會(huì)發(fā)生“耦合”即權(quán)值共享的情況，很可能會(huì)發(fā)生兩個(gè)生成器間生成的分布重合，因此，設(shè)計(jì)網(wǎng)絡(luò)時(shí)進(jìn)行了隨機(jī)權(quán)值初始化，對(duì)于不會(huì)發(fā)生權(quán)值共享的生成網(wǎng)絡(luò)卷積層使用不同尺寸的卷積核，訓(xùn)練過程中兩個(gè)生成器始終保持生成結(jié)果的差異，沒有發(fā)生重合的情況。判別器的輸出很大程度上影響了網(wǎng)絡(luò)訓(xùn)練過程中是否會(huì)出現(xiàn)“耦合”訓(xùn)練的情況，設(shè)計(jì)兩判別器具有完全相同的網(wǎng)絡(luò)結(jié)構(gòu)。

以下從網(wǎng)絡(luò)結(jié)構(gòu)和損失函數(shù)設(shè)置兩個(gè)部分進(jìn)行詳細(xì)介紹。

使用深度殘差網(wǎng)絡(luò)作為生成網(wǎng)絡(luò)，深度卷積網(wǎng)絡(luò)作為判別網(wǎng)絡(luò)。網(wǎng)絡(luò)框架結(jié)構(gòu)如圖2、圖3所示。

如圖2所示，生成網(wǎng)絡(luò)由淺層特征提取[11]模塊、基于殘差塊[12]的特征提取模塊、基于自注意力增強(qiáng)卷積[13]的深層特征提取模塊、圖像上采樣模塊和圖像重建模塊五部分組成。當(dāng)生成器間發(fā)生“耦合”時(shí)，生成網(wǎng)絡(luò)中高層語義信息進(jìn)行權(quán)值共享，一方面保證GAN 的生成器能夠解碼出高層的語義信息，另一方面使得生成器中解碼底層細(xì)節(jié)的層可以將共性的表達(dá)轉(zhuǎn)換成各自domain中不同的內(nèi)容，進(jìn)而混淆判別器。由此生成網(wǎng)絡(luò)學(xué)習(xí)低分辨輸入圖像ILR到高分辨圖像IHR之間的映射關(guān)系，進(jìn)而重建出與ILR對(duì)應(yīng)的超分辨圖像ISR，具體操作如下。

（1）淺層特征提?。簭牡头直鎴D像ILR中提取小塊，將每個(gè)小塊表示為相應(yīng)的高維向量，這些向量即為提取的淺層特征。通過一組卷積核對(duì)圖像進(jìn)行卷積操作，激活函數(shù)為PReLU。

（2）深層特征提?。簩⑸弦徊襟E中的高維向量非線性映射到另一高維向量，得到的每個(gè)映射向量為重建的高分辨率圖像小塊的表示。通過16組殘差塊（Residual Block）、一組自注意力增強(qiáng)卷積（Augmentedconv）、批歸一化實(shí)現(xiàn)。傳統(tǒng)卷積操作通過低分辨率圖像中的空間局部點(diǎn)來生成高分辨率細(xì)節(jié)特征，僅在局部鄰域上工作，可能會(huì)錯(cuò)失全局信息。自注意力機(jī)制則可以在不增加參數(shù)的前提下獲取長(zhǎng)范圍多層次的依賴交互關(guān)系，生成圖像時(shí)能夠協(xié)調(diào)好每個(gè)位置的細(xì)節(jié)和遠(yuǎn)端的細(xì)節(jié)。自注意力增強(qiáng)卷積使用自注意力機(jī)制來增強(qiáng)卷積，將卷積特征圖（強(qiáng)制局部性）連接到自注意特征圖（能夠建模更長(zhǎng)程的依賴），聯(lián)合注意空間子空間和特征子空間，引入額外的特征圖而不是進(jìn)行精細(xì)化處理，納入相對(duì)位置信息的同時(shí)維持平移等效性。

（3）圖像上采樣：聚集高分辨小塊，利用兩個(gè)上采樣塊將圖像放大四倍。上采樣塊為“卷積+BN+PixelShuffle+PRELU 激活函數(shù)”操作，其中，PixelShuffle 算法[14]將大小為H×W的低分辨率輸入圖像經(jīng)過Sub-Pixel操作轉(zhuǎn)變?yōu)閞H×rW的高分辨率圖像，參數(shù)r為上采樣因子（upscaling factor）即圖像的擴(kuò)大倍率，本文中r設(shè)置為2。

（4）圖像重建：經(jīng)上采樣操作后的特征圖通過一層卷積層進(jìn)行重建，生成高分辨率圖像ISR。

如圖3 所示，判別網(wǎng)絡(luò)由七層卷積層構(gòu)成，前六層卷積層中每?jī)蓪拥木矸e核由64×64 遞增至512，提取圖像特征，最后將提取的512維特征輸入到一個(gè)卷積核為1的卷積層。判別網(wǎng)絡(luò)的輸入是生成器的輸出IHR或真實(shí)的高分辨圖像ISR，與以往GAN中判別器作為分類器輸出真或假的結(jié)果不同，本文中判別器的輸出仍是與輸入同樣尺寸的圖像形式。

圖3 判別網(wǎng)絡(luò)結(jié)構(gòu)圖

3.2 損失函數(shù)

生成對(duì)抗網(wǎng)絡(luò)的性能的發(fā)揮很大程度上取決于損失函數(shù)的定義和使用。針對(duì)本文設(shè)計(jì)的網(wǎng)絡(luò)模型，最終的損失值由輸入圖片自身內(nèi)容方面的損失值和來自對(duì)抗神經(jīng)網(wǎng)絡(luò)的損失值共同組成。自身內(nèi)容方面的損失值包括基于像素點(diǎn)的損失值和基于特征空間的損失值。

3.2.1 生成器損失函數(shù)

設(shè)計(jì)生成器損失函數(shù)如式（3）所示，各項(xiàng)具體含義如下：

IHR(x,y)為真實(shí)高分辨率圖像，ILR(x,y)為低分辨率圖像，h、w、r為圖像的長(zhǎng)、寬、通道數(shù)，G(ILR(x,y))為生成器重建后的圖像。

（2）基于特征空間[15]的感知損失函數(shù)，利用訓(xùn)練好的VGG19 網(wǎng)絡(luò)[16]計(jì)算網(wǎng)絡(luò)生成的圖像IHR和真實(shí)高分辨率圖像ISR的相應(yīng)特征值，然后通過特征圖歐式距離來計(jì)算相應(yīng)的損失函數(shù)：

φ(i,j)為第i個(gè)池化層之前第j個(gè)卷積所得到的特征映射，W(i,j)、H(i,j)為φ的維度。

（3）來自對(duì)抗神經(jīng)網(wǎng)絡(luò)的損失值能夠評(píng)價(jià)生成器生成的圖片IHR和真實(shí)圖片ISR之間的相似性。本文采用相對(duì)損失函數(shù)，評(píng)估給定的實(shí)際數(shù)據(jù)比隨機(jī)抽樣的假數(shù)據(jù)更真實(shí)的概率，融合兩層特征更好地明確了損失函數(shù)改進(jìn)的方向，GAN的結(jié)構(gòu)更加穩(wěn)定。

假設(shè)傳統(tǒng)GAN 中生成器的損失函數(shù)為如式（6）所示，結(jié)合相對(duì)判別本文改進(jìn)為式（7）形式：

g1、g2為標(biāo)量函數(shù)，ISR為重建后的高分辨率圖像，D(ISR)為判別器判斷重建后的圖像是真實(shí)圖像的。

3.2.2 判別器損失函數(shù)

在對(duì)抗網(wǎng)絡(luò)訓(xùn)練中，判別器的學(xué)習(xí)能力遠(yuǎn)遠(yuǎn)強(qiáng)于生成器，針對(duì)這一問題，本文除了在訓(xùn)練過程中使用動(dòng)態(tài)學(xué)習(xí)率以外，在設(shè)置判別器損失函數(shù)時(shí)對(duì)生成器和判別器的能力做出平衡。具體損失函數(shù)lD設(shè)計(jì)如式（8）～（12）：

f1、f2為標(biāo)量函數(shù)。L(.)為L(zhǎng)1 范數(shù)損失函數(shù)。pi+1為pi的更新，參數(shù)p平衡生成器和判別器的學(xué)習(xí)能力。γ是生成樣本損失的期望和真實(shí)樣本損失的期望的比值，能夠在生成圖像的多樣性和生成質(zhì)量間做出平衡。

4 實(shí)驗(yàn)

4.1 實(shí)驗(yàn)準(zhǔn)備

實(shí)驗(yàn)中使用數(shù)據(jù)集為針對(duì)本文提出的網(wǎng)絡(luò)結(jié)構(gòu)，使用DIV2K數(shù)據(jù)集中的800張訓(xùn)練圖片作為訓(xùn)練集，分別在Set5 數(shù)據(jù)集、Set14 數(shù)據(jù)集、BSD100 數(shù)據(jù)集上進(jìn)行測(cè)試。將訓(xùn)練集中的圖片使用雙三次插值方法進(jìn)行4 倍下采樣操作得到的低分辨率圖片作為網(wǎng)絡(luò)輸入。使用Adam 優(yōu)化器，每迭代2 000 次，學(xué)習(xí)率衰減為1/10。對(duì)重建結(jié)果使用評(píng)價(jià)指標(biāo)圖像峰值信噪比（Peak Signalto-Noise Ratio，PSNR）和圖像結(jié)構(gòu)相似度（Structural Similarity，SSIM）進(jìn)行量化評(píng)估。與代表方法如雙三次線性插值（Bicubic）方法、SRCNN方法、FSRCNN方法以及SRGAN重建效果進(jìn)行對(duì)比。運(yùn)行環(huán)境為Pytorch1.0，16 GB RAM，顯卡為NVIDIA GeForce 2080。

4.2 消融實(shí)驗(yàn)

本文算法中生成器生成結(jié)果分別用Gen_1和Gen_2表示，Gen_2為網(wǎng)絡(luò)中接收權(quán)值共享的對(duì)抗網(wǎng)絡(luò)生成器的輸出。

4.2.1 自注意力增強(qiáng)對(duì)模型性能的影響

為了驗(yàn)證生成網(wǎng)絡(luò)中自注意力增強(qiáng)的使用對(duì)模型最終重建能力的影響，在保證其他條件相同的情況下，使用卷積代替本文中的自注意力增強(qiáng)卷積的模型attent在Set5數(shù)據(jù)集上進(jìn)行測(cè)試，如圖4所示。計(jì)算得到重建4倍后的圖像與真實(shí)圖像的PSNR和SSIM值，結(jié)果如表1。

由表1可知，使用自注意力增強(qiáng)模塊使得生成圖像的PSNR和SSIM值都有一定提高。

4.2.2 相對(duì)損失對(duì)模型性能的影響

損失函數(shù)設(shè)置的好壞很大程度上影響了模型的最終重建效果，為此在Set14 數(shù)據(jù)集上訓(xùn)練了本文模型和未使用相對(duì)判別器的輸出為損失的模型relat 進(jìn)行損失函數(shù)選擇的對(duì)比實(shí)驗(yàn)。實(shí)驗(yàn)對(duì)比圖如圖5所示，量化指標(biāo)對(duì)比如表2所示。

圖4 自注意力增強(qiáng)模塊使用的重建效果對(duì)比圖

表1 自注意力增強(qiáng)模塊在Set5數(shù)據(jù)集上的測(cè)試結(jié)果

圖5 相對(duì)損失使用的重建效果對(duì)比圖

表2 相對(duì)損失在Set14數(shù)據(jù)集上的測(cè)試結(jié)果

由圖5可知，模型使用相對(duì)損失重建出的花朵圖像高頻信息更加豐富，邊緣銳化效果較好。由表2 中可知，模型使用相對(duì)損失重建出的圖像取得更高的PSNR、SSIM值。從視覺效果和量化指標(biāo)均證明相對(duì)損失更加適合超分辨重建任務(wù)。

4.2.3 平衡學(xué)習(xí)能力對(duì)模型性能的影響

生成器和判別器訓(xùn)練程度的差異直接影響模型最終重建效果，將平衡了生成器和判別器學(xué)習(xí)能力的本文模型和未平衡的模型balan進(jìn)行對(duì)比，如圖6所示，定性對(duì)比如表3所示。

圖6 平衡學(xué)習(xí)能力方法使用的重建效果對(duì)比圖

表果

圖6 中，紅色方框標(biāo)出為感興趣部分，本文方法中在重建花瓣等高頻細(xì)節(jié)中做得更好。由表3 可知本文方法重建的圖像在PSNR 和SSIM 指標(biāo)上較模型balan都有提高。以上均證明了平衡生成器和判別器學(xué)習(xí)能力這一方法在實(shí)現(xiàn)圖像超分辨重建上的有效性。

4.3 實(shí)驗(yàn)結(jié)果與分析

網(wǎng)絡(luò)訓(xùn)練共進(jìn)行了20 萬次左右迭代，經(jīng)過16 萬次迭代后，各項(xiàng)參數(shù)逐步收斂。本文方法較雙線性插值（Bicubic）方法在PSNR 和SSIM 值上提升約2.8 dB、0.08，和SRGAN相比提升約0.75 dB、0.04。實(shí)驗(yàn)說明了本文提出的耦合生成式對(duì)抗超分辨率重建算法在單幀圖像超分辨重建上的有效性。

超分辨重建視覺結(jié)果對(duì)比如圖7～9，對(duì)圖像細(xì)節(jié)部分進(jìn)行了局部放大，被紅色矩形框標(biāo)注的是感興趣區(qū)域。從圖中可以看出，本文方法重建后的圖像和Bicubic、SRCNN、FSRCNN 方法重建的圖像相比，輪廓更加清晰；和SRGAN方法相比，Set5數(shù)據(jù)集中選取示例圖像baby（圖7），本文算法中圖像眼部的睫毛以及帽子上的線條更加清晰；Set14 數(shù)據(jù)集中選取圖像baboon（圖8），本文生成圖像面部的毛發(fā)和嘴部的胡須細(xì)節(jié)更加明顯；BSD100 數(shù)據(jù)集中選取1 號(hào)石像（圖9），本文算法生成的石像的眼部上方和底部鋸齒花紋的紋理細(xì)節(jié)信息更加豐富，且SRGAN 生成的石像眼部上方類似于牙齒的形狀處出現(xiàn)了明顯的模糊和缺陷，這也是GAN網(wǎng)絡(luò)在生成圖像結(jié)果方面的一個(gè)顯著缺陷，本文算法在一定程度上改善了這一問題。結(jié)合在Set5、Set14 和Set100數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果，本文算法生成的圖像更接近真實(shí)的高分辨圖片。

使用Inception Score（IS）評(píng)估標(biāo)準(zhǔn)針對(duì)本文提出的方法和SRGAN生成的圖像做平均評(píng)估，評(píng)估結(jié)果如表4所示，與SRGAN 相比本文算法中IS 值提升約0.4，這說明了本文算法模型具有優(yōu)良性質(zhì)，生成圖片的清晰度和多樣性更好，能夠增強(qiáng)生成圖像的質(zhì)量。

圖7 Set5數(shù)據(jù)集超分辨重建效果對(duì)比圖

圖8 Set14數(shù)據(jù)集超分辨重建效果對(duì)比圖

圖9 BSD100數(shù)據(jù)集超分辨重建效果對(duì)比圖

表4 IS值對(duì)比圖

本文使用評(píng)價(jià)指標(biāo)圖像峰值信噪比PSNR 和圖像結(jié)構(gòu)相似度SSIM對(duì)重建結(jié)果進(jìn)行量化評(píng)估。PSNR反映兩幅圖像間像素點(diǎn)的誤差，值越高，誤差越小，則重建圖像質(zhì)量越高。

SSIM 代表重建圖像和真實(shí)圖像間的結(jié)構(gòu)相似性，其值越接近于1，兩者結(jié)構(gòu)越相似，重建效果越好。

l(x,y)、c(x,y)、s(x,y)表示圖像的亮度、對(duì)比度、結(jié)構(gòu)相似性。

在放大因子為4的情況下，將本文算法重建后的圖像與bicubic、SRCNN、FSRCNN方法重建圖像的PSNR、SSIM值進(jìn)行對(duì)比，如表5、表6所示?？梢姡疚姆椒ㄔ跀?shù)據(jù)集Set5、Set14、BSD100上均取得了優(yōu)異的結(jié)果，本文方法較結(jié)果最好的SRGAN 在PSNR 和SSIM 值上提高約0.75 dB、0.04。由此可證明本文算法結(jié)果優(yōu)異。在Set14 和BSD100 數(shù)據(jù)集上，Gen_2 較Gen_1 結(jié)果更好，證明了本文方法在實(shí)現(xiàn)圖像超分辨重建上的有效性。

表5 各數(shù)據(jù)集上超分辨重建結(jié)果PSNR值對(duì)比 dB

表6 各數(shù)據(jù)集上超分辨重建結(jié)果SSIM值對(duì)比

5 結(jié)束語

本文提出了一種耦合生成式對(duì)抗超分辨率重建算法對(duì)單幀圖像進(jìn)行超分辨重建。生成器中使用了自注意力增強(qiáng)卷積，判別器中使用相對(duì)損失函數(shù)，提高生成樣本的多樣性和生成質(zhì)量。對(duì)生成器和判別器的能力做出平衡，使得網(wǎng)絡(luò)訓(xùn)練更加穩(wěn)定快速。在Set5 數(shù)據(jù)集、Set14數(shù)據(jù)集、BSD100數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，相較于其他超分辨方法，本文提出的方法在重建細(xì)節(jié)和圖像邊緣銳化方面做得更好，在PSNR 值和SSIM 值上都有一定的提升。使用IS 值作為GAN 生成圖像評(píng)估標(biāo)準(zhǔn)，將本文方法與SRGAN生成圖像做對(duì)比，在IS值上提升超過0.4，提高了生成圖像的多樣性。以上均證明了本文提出的方法在圖像超分辨率重建方面的有效性。在大多數(shù)情況下本文方法中生成器2 表現(xiàn)優(yōu)于生成器1，但在數(shù)據(jù)集Set5上生成器1表現(xiàn)較好，后期工作將探究這一現(xiàn)象的原因。