生成對(duì)抗網(wǎng)絡(luò)介紹及應(yīng)用

奚祥品，陳 筱，朱向冰

(安徽師范大學(xué) 物理與電子信息學(xué)院，安徽 蕪湖241002)

0 引言

近年來(lái)，隨著計(jì)算機(jī)技術(shù)的發(fā)展，數(shù)據(jù)量的積累和對(duì)動(dòng)物神經(jīng)網(wǎng)絡(luò)的研究及成果，使得人工智能發(fā)展迅速，在機(jī)器學(xué)習(xí)方面尤為突出。依據(jù)輸入數(shù)據(jù)集是否有標(biāo)簽(label)，機(jī)器學(xué)習(xí)任務(wù)被分為有監(jiān)督學(xué)習(xí)[1]、無(wú)監(jiān)督學(xué)習(xí)[2]和半監(jiān)督學(xué)習(xí)[3]。目前機(jī)器學(xué)習(xí)[4]方法，特別是深度學(xué)習(xí)[5]方法在無(wú)監(jiān)督學(xué)習(xí)任務(wù)中取得優(yōu)秀的成績(jī)，如圖像修復(fù)、圖像生成及風(fēng)格遷移等。生成對(duì)抗網(wǎng)絡(luò)(Generative Adversarial Networks,GAN)是一種無(wú)需大量標(biāo)注訓(xùn)練數(shù)據(jù)的深度學(xué)習(xí)模型，在許多方面都有應(yīng)用，包括圖像生成[6]、圖像語(yǔ)義編輯[7]、圖像風(fēng)格轉(zhuǎn)換[8]以及圖像超分辨率等[9]。

2014年，Goodfellow等人[10]最早提出了生成器和判別器的概念和結(jié)構(gòu)，介紹了GAN。2014年9月，Mehdi Mirza等人[11]在原始GAN的基礎(chǔ)上提出了條件GAN，證明了該模型可以生成以類別標(biāo)簽為條件的手寫數(shù)字集。Xi Chen等人[12]提出了GAN的理論擴(kuò)展InfoGAN，從3D渲染圖像的光照中構(gòu)成模型，從SVHN數(shù)據(jù)集上的中心數(shù)字中獲得背景數(shù)字。Yu L等人[13]提出了一個(gè)序列生成框架，稱為SeqGAN，以解決原始GAN不易生成離散標(biāo)記序列的問(wèn)題。GAN廣泛應(yīng)用在圖像領(lǐng)域，將從GAN模型的結(jié)構(gòu)和原理進(jìn)行介紹。

1 GAN模型

GAN是一組相互競(jìng)爭(zhēng)的網(wǎng)絡(luò)。GAN由生成器(Generator)和判別器(Discriminator)組成。例如對(duì)于一組圖像數(shù)據(jù)集，常見(jiàn)的類比是把一個(gè)網(wǎng)絡(luò)看作偽造專家，而另一個(gè)網(wǎng)絡(luò)看作鑒別專家。偽造專家被稱為“生成器G”，生成器的目的是為了生成逼真的圖像。鑒別專家被稱為“判別器D”，它接收偽造(fake)圖像和真實(shí) (real)圖像，并將它們區(qū)分開(kāi),如圖1所示。在GAN的結(jié)構(gòu)中，生成器接受隨機(jī)噪聲生成合成數(shù)據(jù)樣本。將合成數(shù)據(jù)樣本或真實(shí)樣本數(shù)據(jù)集輸入到判別器進(jìn)行判斷，如果是合成數(shù)據(jù)樣本，則輸出“偽造”，同時(shí)輸出分?jǐn)?shù)(接近0)。如果判別器判斷輸入是真實(shí)數(shù)據(jù)集樣本，則輸出“真實(shí)”，并進(jìn)行打分。生成器和判別器接受訓(xùn)練，相互競(jìng)爭(zhēng)。

圖1 GAN結(jié)構(gòu)Fig.1 Structure of GAN

生成器無(wú)法直接生成真實(shí)圖像，它學(xué)習(xí)的方式是通過(guò)與判別器進(jìn)行交互。判別器可以獲得真實(shí)樣本(來(lái)自真實(shí)圖像數(shù)據(jù)集)以及偽造樣本。如果判別器識(shí)別到樣本來(lái)自生成器，判別器反饋結(jié)果為偽造；如果識(shí)別到樣本來(lái)自真實(shí)數(shù)據(jù)集，反饋結(jié)果為真實(shí)。這個(gè)結(jié)果(fake)可以用來(lái)訓(xùn)練生成器，使其能夠產(chǎn)生質(zhì)量更好的偽造品。判別器網(wǎng)絡(luò)D可以理解為一個(gè)函數(shù)，計(jì)算輸入圖像樣本數(shù)據(jù)來(lái)自真實(shí)數(shù)據(jù)分布的概率，對(duì)輸入的圖像樣本進(jìn)行評(píng)價(jià)。判斷的數(shù)據(jù)若來(lái)自真實(shí)數(shù)據(jù)集，則輸出接近于1；若是有生成器生成，則輸出接近0。當(dāng)判別器分類效果比較優(yōu)秀時(shí)停止訓(xùn)練，對(duì)生成器G繼續(xù)進(jìn)行訓(xùn)練，同時(shí)降低判別器的準(zhǔn)確度。如果生成器產(chǎn)生的圖像數(shù)據(jù)與真實(shí)的圖像數(shù)據(jù)及其相近，判別器就會(huì)最大程度地混淆，對(duì)所有輸入預(yù)測(cè)結(jié)果為0.5。

GAN網(wǎng)絡(luò)有很多優(yōu)點(diǎn)，但也存在訓(xùn)練不穩(wěn)定、梯度消失、模式崩潰的問(wèn)題。為解決這些問(wèn)題，提出了很多的GAN改進(jìn)模型，下文對(duì)部分模型進(jìn)行介紹。

2 GAN改進(jìn)模型

2.1 深度卷積生成對(duì)抗神經(jīng)網(wǎng)絡(luò)

Radford等人[14]提出了一種名為深度卷積生成對(duì)抗神經(jīng)網(wǎng)絡(luò) (Deep Convolutional Generative Adversarial Networks,DCGAN)的網(wǎng)絡(luò)架構(gòu)，生成器模型和判別器模型都運(yùn)用了深度卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks,CNN)。如圖2所示，它將原始GAN網(wǎng)絡(luò)和CNN網(wǎng)絡(luò)結(jié)合起來(lái)，生成多種多樣的圖像。生成器和判別器使用ReLU激活函數(shù)降低梯度消失風(fēng)險(xiǎn)。將池化層用卷積層替代，判別器用步幅卷積替代，生成器用部分步幅卷積替代。DCGAN對(duì)CNN的結(jié)構(gòu)做了一些改變，以提高樣本的質(zhì)量和收斂的速度。

圖2 DCGAN生成器結(jié)構(gòu)Fig.2 Generator structure of DCGAN

2.2 條件生成對(duì)抗網(wǎng)絡(luò)

原始GAN生成的圖像隨機(jī)，生成圖像不可控制。針對(duì)原始GAN不能生成特定屬性圖像的問(wèn)題，Mehdi Mirza等人提出了條件生成對(duì)抗網(wǎng)絡(luò)(Conditional Generative Adversarial Networks,CGAN)。如圖3所示，CGAN生成器和判別器的輸入多了一個(gè)約束項(xiàng)y，用來(lái)生成指定的圖像。約束項(xiàng)y可以是一個(gè)圖像的類別標(biāo)簽，也可以是圖像的部分屬性數(shù)據(jù)。如果條件變量y是類別標(biāo)簽，那么CGAN便將無(wú)監(jiān)督的學(xué)習(xí)轉(zhuǎn)化為有監(jiān)督的學(xué)習(xí)。CGAN生成的圖像雖有很多缺陷，譬如圖像邊緣模糊，生成的圖像分辨率太低等，但是它為后面的Cycle-GAN開(kāi)拓了道路，模型轉(zhuǎn)換圖像風(fēng)格時(shí)對(duì)屬性特征的處理方法受CGAN啟發(fā)。

圖3 CGAN結(jié)構(gòu)Fig.3 Structure of CGAN

2.3 無(wú)監(jiān)督式生成對(duì)抗網(wǎng)絡(luò)

相對(duì)于原始GAN網(wǎng)絡(luò)，無(wú)監(jiān)督式生成對(duì)抗網(wǎng)絡(luò)(Information Maximizing Generative Adversarial Networks,InfoGAN)[12]將隨機(jī)噪聲z分成固定分布噪聲z1(見(jiàn)圖4)和有隱含意義的信號(hào)(例如圖像風(fēng)格)c，損失函數(shù)里面用到互信息，使得隱變量c與生成的變量G(z,c)擁有盡可能多的共同信息。對(duì)隨機(jī)噪聲 z 施加可解釋的隱含變量，控制圖像生成。以MINST數(shù)據(jù)集為例，了解隱含變量可以控制生成圖像的亮度、傾斜程度、筆劃粗細(xì)等。

圖4 CGAN結(jié)構(gòu)Fig.4 Structure of InfoGAN

2.4 基于能量式生成對(duì)抗網(wǎng)絡(luò)

基于能量式生成對(duì)抗網(wǎng)絡(luò)(Energy-based Generative Adversarial Networks,EBGAN)[15]與原始GAN的區(qū)別在于，EBGAN更改了判別器的架構(gòu),如圖5所示。在輸入圖像(x)后添加一個(gè)自編碼器(Auto-encoder)，把自編碼器當(dāng)作判別器，輸出的E是編碼器(Encoder)和解碼器(Decoder)的均方差(MSE)。根據(jù)提供的真實(shí)圖像樣本重構(gòu)誤差值來(lái)判斷圖像質(zhì)量的好壞，圖像重構(gòu)的誤差越小，說(shuō)明圖像的質(zhì)量越高;相反，如果圖像重構(gòu)的誤差值越大，說(shuō)明圖像的質(zhì)量越差。EBGAN的優(yōu)點(diǎn)是不需要生成器提供偽造圖像樣本，僅使用真實(shí)圖像樣本就可以重復(fù)訓(xùn)練判別器。在訓(xùn)練EBGAN最初的幾個(gè)迭代(epoch)就可以得到比較清晰的圖像。

圖5 EBGAN結(jié)構(gòu)Fig.5 Structure of EBGAN

2.5 改進(jìn)自編碼器式生成對(duì)抗網(wǎng)絡(luò)

改進(jìn)自編碼器式生成對(duì)抗網(wǎng)絡(luò) (Variational Autoencoder Generative Adversarial Networks,VAE-GAN)[16]可以理解為用變分自編碼器(Variational Autoencoder)來(lái)強(qiáng)化GAN。VAE可以理解為auto-encoder的改進(jìn)。如圖6，圖像x進(jìn)入編碼器(Encoder)后轉(zhuǎn)化為向量(代碼)q，q再進(jìn)入解碼器(decoder)后再輸出圖像x。圖像x前后要求越相近越好。VAE會(huì)約束q，使其滿足正態(tài)分布。VAE-GAN在原來(lái)的編碼器和解碼器之后再加一個(gè)判別器，來(lái)判斷解碼器(生成器)輸出圖像x的真?zhèn)涡?。生成器在?xùn)練的時(shí)候要考慮判別器的反饋，同時(shí)需要降低圖像重構(gòu)差異值，所以訓(xùn)練的結(jié)果比較穩(wěn)定。

圖6 VAE-GAN結(jié)構(gòu)Fig.6 Structure of VAE-GAN

2.6 雙向生成對(duì)抗網(wǎng)絡(luò)

雙向生成對(duì)抗網(wǎng)絡(luò)(Bidirectional Generative Adversarial Networks,BiGAN)[17]由一組自編碼器(autodecoder)和判別器(discriminator)組成。編碼器和解碼器相互無(wú)關(guān)聯(lián)。如圖7所示，輸入真實(shí)圖像x進(jìn)入編碼器獲得代碼(code)p，輸入代碼(code)p進(jìn)入解碼器(decoder)生成圖像x。

圖7 BiGAN結(jié)構(gòu)Fig.7 Structure of BiGAN

2.7 超分辨率生成對(duì)抗網(wǎng)絡(luò)

為了提高圖像在更高分辨率下的保真度，C.Ledig等[18]提出了超分辨率生成對(duì)抗網(wǎng)絡(luò) (Super-Resolution Using a Generative Adversarial Network,SRGAN)，使一幅低分辨率的圖像生成一幅相同更高分辨率的圖像。為了使生成的高分辨率圖像和真實(shí)高分辨率圖像相近，SRGAN在loss上增加了feature map部分的均分誤差。生成器和判別器的結(jié)構(gòu)如圖8所示。生成器由B殘差塊(B residual block)和多個(gè)卷積層組成，目的是生成高分辨率的圖像。B residual block包括卷積(Conv)、歸一化(BN)、參數(shù)化修正線性單元(PReLU)、元素求和(Element Wise Sum)。圖8中的k,n,s分別表示每個(gè)卷積層相應(yīng)的卷積核大小、特征映射數(shù)量和步幅。判別器同樣由大量卷積層組成，目的是判別輸入圖像的真?zhèn)涡?，判別器的卷積層包括Conv、BN以及帶泄露的修正線性單元(Leaky ReLU)。

圖8 SRGAN部分結(jié)構(gòu)Fig.8 Structure of SRGAN

3 GAN的應(yīng)用

3.1 圖像生成

由GAN的結(jié)構(gòu)就可以了解到，GAN的一個(gè)作用就是生成數(shù)據(jù)。目前限制深度學(xué)習(xí)發(fā)展的一個(gè)原因是訓(xùn)練數(shù)據(jù)的缺乏，而GAN生成數(shù)據(jù)剛好可以彌補(bǔ)這一缺陷。最近的GAN研究主要集中在提高圖像生成能力的質(zhì)量和實(shí)用性上。LAPGAN模型[19]在Laplacian金字塔框架中引入了層疊的卷積網(wǎng)絡(luò)，以粗糙到精細(xì)的方式生成圖像。Huang等人[20]使用了類似的方法，GAN對(duì)中間表示操作，而不是低分辨率圖像。CGAN的想法后來(lái)被擴(kuò)展到自然語(yǔ)言。Reed等人[21]使用GAN架構(gòu)從文本描述中合成圖像，可以理解為自然語(yǔ)言處理(NLP)。例如，給定一只鳥(niǎo)的文字說(shuō)明，比如它的頭部和翅膀上有一些黑色的白色，以及長(zhǎng)長(zhǎng)的橙色的喙，經(jīng)過(guò)訓(xùn)練的GAN可以生成一些與描述相符的圖像，如圖9所示。

圖9 文字描述生成圖像Fig.9 Text description generated image

條件GAN不僅可以用來(lái)生成具有特定屬性的新樣本，還可以用來(lái)開(kāi)發(fā)編輯圖像的工具。例如，改變圖像中一個(gè)人的表情，讓她微笑，或者修改皮膚顏色讓她看起來(lái)更年輕，如圖10所示。GAN在圖像編輯方面的其他應(yīng)用包括Brock[22]等人的工作。

圖10 更改面部表情Fig.10 Facial expression changes

3.2 圖像超分辨率

圖像超分辨率技術(shù)能夠使低分辨率圖像生成高分辨率圖像，訓(xùn)練模型在上采樣時(shí)模擬出逼真的細(xì)節(jié)。SRGAN模型[18]通過(guò)添加一個(gè)損失組件(loss)改進(jìn)GAN的損失函數(shù)，將基于均方誤差的內(nèi)容損失替換為基于VGG網(wǎng)絡(luò)的特征映射計(jì)算的損失。損失函數(shù)包括對(duì)抗損失、圖像平滑項(xiàng)和特征圖差異三個(gè)損失項(xiàng)，對(duì)抗式損失是損失函數(shù)的組成部分。圖像超分辨應(yīng)用介紹如圖11所示，從左到右分別為：雙三次插值法對(duì)應(yīng)圖像、超分辨率深度殘差網(wǎng)絡(luò)對(duì)應(yīng)圖像、超分辨率生成對(duì)抗網(wǎng)絡(luò)圖像以及原始高分辨率圖像。

圖11 SRGAN生成高分辨率圖像Fig.11 Generates high-resolution images by SRGAN

3.3 圖像風(fēng)格遷移

圖像風(fēng)格遷移如圖12所示，使用內(nèi)容圖像和風(fēng)格圖像組合，生成一張風(fēng)格遷移之后的圖像。pix2pix模型為圖像風(fēng)格遷移提供了通用的解決方案。pix2pix模型學(xué)習(xí)輸入圖像到輸出圖像的圖像特征變化，同時(shí)構(gòu)建了一個(gè)loss函數(shù)來(lái)訓(xùn)練這種特征變化。如圖13所示，從模型圖生成街景，航拍照片生成地圖，黑白圖像上色到手繪圖像轉(zhuǎn)變現(xiàn)實(shí)圖像，體現(xiàn)了pix2pix模型在圖像風(fēng)格遷移上的作用。

圖12 圖像風(fēng)格遷移Fig.12 Image style transfer

圖13 pix2pix生成圖像Fig.13 Generate image use pix2pix

4 結(jié)束語(yǔ)

本文對(duì)GAN的原理結(jié)構(gòu)、改進(jìn)模型以及應(yīng)用進(jìn)行了介紹與總結(jié)，在深度學(xué)習(xí)這個(gè)廣泛的背景下使用GAN進(jìn)行圖像分類，對(duì)在非監(jiān)督學(xué)習(xí)中提取特征進(jìn)行有效定量評(píng)估。GAN應(yīng)用主要是圖像生成，在預(yù)先設(shè)定的條件下生成圖像時(shí)很有效。以圖像超分辨率為例，解釋了現(xiàn)有的方法如何優(yōu)化生成對(duì)抗網(wǎng)絡(luò)(如SRGAN)，以獲得更高質(zhì)量的圖像結(jié)果。最后，pix2pix演示了GAN如何解決自動(dòng)將輸入圖像轉(zhuǎn)換為輸出圖像等一系列任務(wù)。借由GAN的強(qiáng)大能力，基于GAN的應(yīng)用在未來(lái)也將會(huì)有更廣闊的前景。