生成式對(duì)抗網(wǎng)絡(luò)的應(yīng)用綜述

葉 晨，關(guān) 瑋

（同濟(jì)大學(xué) 嵌入式系統(tǒng)與服務(wù)計(jì)算教育部重點(diǎn)實(shí)驗(yàn)室，上海 201804）

1 GAN基本介紹

生成式對(duì)抗網(wǎng)絡(luò)［1］（generative adversarial networks）是一種類似于對(duì)抗博弈游戲的訓(xùn)練網(wǎng)絡(luò)。該訓(xùn)練網(wǎng)絡(luò)由兩個(gè)神經(jīng)網(wǎng)絡(luò)組成，一個(gè)稱為生成器，一個(gè)稱為判別器。生成器嘗試生成能夠欺騙判別器的虛假樣本，而判別器盡可能去判別樣本是真實(shí)樣本，還是生成器生成的虛假樣本。就好像假鈔專家與造假鈔者的博弈。二者在對(duì)抗訓(xùn)練下不斷優(yōu)化，最終達(dá)到納什平衡。該網(wǎng)絡(luò)的目標(biāo)函數(shù)為

式中：z是服從高斯分布的隨機(jī)噪聲；G代表生成器；D代表判別器；Pdata（x）代表真實(shí)數(shù)據(jù)的概率分布；Pz（x）代表隨機(jī)噪聲的概率分布；x～Pdata表示從真實(shí)數(shù)據(jù)的分布中隨機(jī)抽取x；z～Pz表示從高斯分布的隨機(jī)噪聲中抽取噪聲z；D（x）和G（z）均表示判別器和生成器在接收括號(hào)內(nèi)輸入后所輸出的向量。對(duì)于生成器G來(lái)說(shuō)，通過(guò)隨機(jī)噪聲z作為輸入，生成器G期望自己生成的樣本盡可能地欺騙判別器D，所以需要最大化判別概率D（G（z）），于是對(duì)于生成器G，它的目標(biāo)函數(shù)是最小化log（1-D（G（z）））。對(duì)于判別器D，為了盡可能地區(qū)分真實(shí)樣本和虛假的生成樣本，它希望最小化判別概率D（G（z））的同時(shí)，最大化判別概率D（x），其中x是真實(shí)樣本。于是判別器的目標(biāo)函數(shù)是最大化logD（x）+log（1-D（G（z）））（可見(jiàn)生成器G的目標(biāo)函數(shù)與真實(shí)樣本無(wú)關(guān)）。在訓(xùn)練的開(kāi)始階段，因?yàn)樯善鱃產(chǎn)生的樣本往往較差，判別器D能絕對(duì)自信地否定樣本，導(dǎo)致梯度較小，所以訓(xùn)練初期一般將目標(biāo)函數(shù)log（1-D（G（z）））改為log（D（G（z）））。

理論證明方面，當(dāng)生成器固定時(shí)，對(duì)V（G，D）求導(dǎo)，可以得到最優(yōu)判別器D*（x）

式中：PG（x）代表生成器構(gòu)造的概率分布。把最優(yōu)判別器代入目標(biāo)函數(shù)，得到生成器G的目標(biāo)函數(shù)等價(jià)于優(yōu)化Pdata（x），PG（x）的JS（Jensen-Shannon）散度。而且只有當(dāng)D是最優(yōu)判別器時(shí)，G的目標(biāo)函數(shù)才等同于JS散度，所以文獻(xiàn)［1］提出應(yīng)該減少更新G參數(shù)的次數(shù)，多次更新D的參數(shù)。可以證明，當(dāng)訓(xùn)練樣本足夠多時(shí)，模型會(huì)收斂，PG（x）=Pdata（x），二者達(dá)到納什均衡。此時(shí)判別器D對(duì)真實(shí)樣本還是生成樣本的判別概率均為1/2，樣本達(dá)到了難以區(qū)分的程度。

2 目標(biāo)函數(shù)的優(yōu)化

文獻(xiàn)［1］提出GAN網(wǎng)絡(luò)時(shí)，對(duì)生成器的目標(biāo)是重構(gòu)真實(shí)分布，使得生成器產(chǎn)生的數(shù)據(jù)分布與真實(shí)分布越接近越好。上文提到，在已達(dá)最優(yōu)判別器的情況下，生成器的優(yōu)化公式恰好代表了PG（x）與Pdata（x）之間的JS散度。于是最小化生成器目標(biāo)函數(shù)的任務(wù)實(shí)質(zhì)上轉(zhuǎn)變?yōu)樽钚』瘍蓚€(gè)分布間的JS散度。因?yàn)橹挥性谂袆e器是最優(yōu)的情況下，生成器的目標(biāo)函數(shù)才表示兩個(gè)分布間的JS散度，所以訓(xùn)練中往往迭代更新多次判別器，再更新一次生成器。這種做法是為了避免在更新生成器之后，V（G，D）（式（1））的函數(shù)域改變，可能導(dǎo)致再找到的新的判別器反而使得JS散度升高，因此，不要過(guò)于頻繁地更新生成器。

2.1 f-divergence

文獻(xiàn)［1］中使用JS散度來(lái)度量?jī)蓚€(gè)分布之間的距離有一個(gè)明顯的局限性，就是JS散度有其自身的函數(shù)域，從宏觀理解上來(lái)說(shuō)，也許會(huì)導(dǎo)致PG（x）和Pdata（x）的分布的可能取值域缺乏重疊，或者PG（x）成為了Pdata（x）分布的一部分（模式崩塌）。文獻(xiàn)［2］提出了一個(gè)通用的模式f-divergence，來(lái)衡量?jī)蓚€(gè)分布的距離。

f-divergence定義為

式中：P、Q為任意兩個(gè)不同的分布；p（x）和q（x）代表從P和Q中采樣出x的概率。f可以是各種不同的版本，只要滿足它是一個(gè)凸函數(shù)并且f（1）=0。

舉例來(lái)說(shuō)，當(dāng)設(shè)置f（x）=xlogx，f-divergence即為KL Divergence

當(dāng) 設(shè) 置f（x）=-logx，f-divergence 即 為Reverse KL Divergence

f-divergence可以說(shuō)是對(duì)生成式對(duì)抗網(wǎng)絡(luò)模型的統(tǒng)一，對(duì)任意滿足條件的f都可以構(gòu)造一個(gè)對(duì)應(yīng)的生成式對(duì)抗網(wǎng)絡(luò)。

該方法的提出是為了解決GAN在訓(xùn)練中模式崩塌的問(wèn)題，避免PG（x）與Pdata（x）差異過(guò)大。但是在實(shí)驗(yàn)當(dāng)中發(fā)現(xiàn)，不同的f-divergence對(duì)訓(xùn)練結(jié)果并沒(méi)有改善。

2.2 最小二乘GAN

上面提到，通過(guò)JS散度來(lái)衡量?jī)蓚€(gè)分布的差異，從而拉近PG（x）與Pdata（x）的距離，存在一些問(wèn)題。首先，對(duì)于圖像采樣的分布來(lái)說(shuō)，PG（x）與Pdata（x）是高維復(fù)雜空間在低維空間的折疊，有時(shí)候兩種分布的重疊部分甚至可能不存在。其次，想要完全還原兩種分布的重疊部分，需要足夠多的數(shù)據(jù)。從數(shù)學(xué)計(jì)算上來(lái)說(shuō)，兩種分布，如果在空間中沒(méi)有折疊，那么不管它們之間是距離無(wú)限遠(yuǎn)，還是非常接近，只是保持了微妙的不相交，它們的JS散度計(jì)算出來(lái)都是log 2。那么對(duì)于二分類判別器，如果兩種分布不重疊，判別器始終都判定生成樣本為假，梯度完全消失，無(wú)法進(jìn)行優(yōu)化。

針對(duì)判別器的梯度消失的問(wèn)題，文獻(xiàn)［3］提出LSGAN（最小二乘GAN）的方法。

LSGAN 是f-divergence中f（x）=（t-1）2時(shí)的特殊情況。LSGAN的損失函數(shù)J（D）定義如下：

因?yàn)閟igmoid激活函數(shù)在中間部分的梯度較大，而極大或極小部分的梯度近乎消失，當(dāng)判別器深度置信地判定真實(shí)圖片與生成圖片時(shí)，始終處于無(wú)梯度狀態(tài)。于是LSGAN提出使用線性的激活函數(shù)，這樣梯度便不會(huì)消失。實(shí)驗(yàn)表明，該方法比傳統(tǒng)生成式對(duì)抗網(wǎng)絡(luò)生成圖像的效果有較為明顯的提升。

2.3 Wasserstein GAN

針對(duì)JS散度以及f-divergence散度不能充分表征兩個(gè)分布之間距離的問(wèn)題，WGAN［4］（Wasserstein GAN）提出了一種全新的衡量?jī)蓚€(gè)分布之間距離的方法，稱為泥土移動(dòng)距離。把任意兩個(gè)分布P和Q當(dāng)作兩堆土堆，移動(dòng)土堆P的土，使得土堆P與土堆Q的分布完全一致，則最少需要移動(dòng)的泥土量可以表征兩種分布的差異。

可以很明顯并且直觀地看出，通過(guò)泥土移動(dòng)距離來(lái)判別兩個(gè)分布的距離，不會(huì)出現(xiàn)只要PG（x）與Pdata（x）無(wú)重疊部分，不論差距多大，JS散度的值始終是log 2這樣的情況。

基于評(píng)估泥土移動(dòng)距離，目標(biāo)函數(shù)變?yōu)?/p>

式中：D∈1-Lipschitz表示任意函數(shù)||f（x1）-f（x2）||≤||x1-x2||，即限制判別器D足夠平滑，因變量不隨自變量的變化而變化過(guò)快。這種情況可以避免當(dāng)判別器D訓(xùn)練得過(guò)好，真實(shí)樣本的判別趨近于正無(wú)窮，生成樣本的判別趨近于負(fù)無(wú)窮，導(dǎo)致判別器D無(wú)法收斂。

但是實(shí)際操作中很難做到限制D∈1-Lipschitz，于是文獻(xiàn)［4］提出的方法是限制權(quán)重。設(shè)置一個(gè)權(quán)重上限p和權(quán)重下限-p，如果更新后的權(quán)重w＞p，則w=p；如果更新后的w＜-p，那么w=-p。

2.4 Wasserstein GAN-Gradient Penalty

WGAN-GP［5］（Wasserstein GAN-Gradient Penalty）提出，雖然控制D∈1-Lipschitz很難，但是可以等效地通過(guò)控制每一個(gè)樣本x的梯度的范式≤1來(lái)限制判別器，從而得到同樣的效果，即

于是引入一個(gè)梯度懲罰，只要梯度的范式大于1，就會(huì)產(chǎn)生損失。目標(biāo)函數(shù)變?yōu)?/p>

式中：λ表示人為選定的參數(shù)；?x表示對(duì)x求偏導(dǎo)數(shù)；||?xD（x）||表示對(duì)D（x）中的x計(jì)算范式。但是對(duì)所有的x都判別梯度，計(jì)算量過(guò)大。文獻(xiàn)［5］提出對(duì)一個(gè)懲罰分布內(nèi)的x進(jìn)行梯度懲罰的計(jì)算。該范圍的選擇方法為從Pdata（x）任選一個(gè)點(diǎn)，再?gòu)腜G（x）任選一個(gè)點(diǎn)，把兩個(gè)點(diǎn)相連，從連線上任取一點(diǎn)，就屬于懲罰分布。直覺(jué)上可以認(rèn)為這樣選點(diǎn)的意義是連線上的點(diǎn)能夠影響PG（x）如何移動(dòng)到Pdata（x）。

在實(shí)驗(yàn)中發(fā)現(xiàn)，||?xD（x）||并不是越接近0效果越好，而是越接近1訓(xùn)練效果越好。于是目標(biāo)函數(shù)變?yōu)?/p>

式中：x～Ppenalty表示上文提到的從Pdata（x）一個(gè)點(diǎn)和PG（x）一個(gè)點(diǎn)的連線上取中間位置的x。實(shí)驗(yàn)結(jié)果表明，該方法可以顯著提高生成圖片的效果。

3 常見(jiàn)的GAN模型

傳統(tǒng)GAN在目標(biāo)函數(shù)上的優(yōu)勢(shì)明顯，但是訓(xùn)練困難，效果也不佳。于是人們希望能夠?qū)AN和傳統(tǒng)神經(jīng)網(wǎng)絡(luò)相結(jié)合，生成更真實(shí)效果更好的圖片。本節(jié)列舉一些常見(jiàn)的GAN變體。

3.1 條件GAN

由于傳統(tǒng)GAN的生成圖片除了真實(shí)與否完全不受控制，所以條件控制下的GAN（cGAN）應(yīng)運(yùn)而生。生成器同時(shí)接收隨機(jī)噪聲z和條件變量c作為輸入。判別器在接收真實(shí)圖片x或者虛假圖片x′的同時(shí)也同時(shí)接收條件變量c。下文將會(huì)詳細(xì)介紹這一類GAN的變體。結(jié)構(gòu)圖如圖1所示。其中x′代表生成器G輸出的虛假圖片。

圖1 條件GAN結(jié)構(gòu)示意圖Fig.1 Structure of conditional GAN

3.2 增加分類器的GAN

增加一個(gè)分類器的GAN，又稱為輔助GAN（ACGAN）［6］。在判別器D之外，增加一個(gè)分類器C來(lái)對(duì)圖片類別標(biāo)簽進(jìn)行分類，可以輔助訓(xùn)練。該分類器可以是預(yù)訓(xùn)練好的分類器。結(jié)構(gòu)圖如圖2所示。圖中，C代表分類器，c′代表分類器的輸出。

圖2 輔助GAN結(jié)構(gòu)示意圖Fig.2 Structure of auxiliary GAN

3.3 與自動(dòng)編碼解碼器結(jié)合的GAN

自動(dòng)編碼器與解碼器是很常見(jiàn)的生成模型訓(xùn)練方法。解碼器的功能類似于生成器G，而編碼器編碼出的向量似乎與隱空間特征有著千絲萬(wàn)縷的聯(lián)系，常用于特征提取/降維。BiGAN（bidirectional GAN）提出將額外的判別器D加入編碼解碼器結(jié)構(gòu)中，實(shí)現(xiàn)隱空間映射，優(yōu)化生成結(jié)果［7］。真實(shí)圖片x通過(guò)編碼器En編碼為特征向量，隨機(jī)噪聲z通過(guò)解碼器De解碼為生成圖片，然后把成對(duì)數(shù)據(jù)同時(shí)送入判別器D來(lái)判斷數(shù)據(jù)對(duì)是來(lái)自編碼器En還是解碼器De。結(jié)構(gòu)圖如圖3所示。圖中，En（x）和De（z）分別代表編碼器和解碼器的輸出。

圖3 BiGAN結(jié)構(gòu)示意圖Fig.3 Structure of BiGAN

3.4 與變分自動(dòng)編碼器結(jié)合的GAN

變分自動(dòng)編碼器（VAE）是自動(dòng)編碼器的一種變體，通過(guò)在編碼器En的輸出中加入隨機(jī)噪聲z，再將編碼器學(xué)習(xí)到的方差信息σ的指數(shù)輸出與z作點(diǎn)乘，加上編碼器的輸出m后送入解碼器De，從而削弱輸出之間的關(guān)聯(lián)［8］。結(jié)構(gòu)圖如圖4所示。圖中，exp代表取指數(shù)，u代表經(jīng)過(guò)一系列運(yùn)算后傳到解碼器De的輸入。

VAE在重構(gòu)圖片時(shí)遇到的常見(jiàn)問(wèn)題是平均了同類別圖片的各種不同形態(tài)，導(dǎo)致圖片模糊。于是VAE-GAN提出將判別器D加入到網(wǎng)絡(luò)結(jié)構(gòu)中，從而改善圖片質(zhì)量［9］。結(jié)構(gòu)圖如圖5所示，其中z～En（x）表示噪聲z是來(lái)自編碼器En的輸出。

圖4 VAE結(jié)構(gòu)示意圖Fig.4 Structure of VAE

圖5 VAE-GAN結(jié)構(gòu)示意圖Fig.5 Structure of VAE-GAN

3.5 深度卷積GAN架構(gòu)

深度卷積GAN（DCGAN）是一種常見(jiàn)的訓(xùn)練GAN的神經(jīng)網(wǎng)絡(luò)架構(gòu)［10］。該網(wǎng)絡(luò)自提出后受到大范圍的推崇。該網(wǎng)絡(luò)主要提出了五點(diǎn)更新：①不使用池化層，用步幅卷積層代替；②在生成模型和判別模型時(shí)都使用 BatchNormalization［11］；③不使用全連接層；④生成網(wǎng)絡(luò)的激活函數(shù)除了輸出層使用Tanh以外，都使用ReLU；⑤判別網(wǎng)絡(luò)的激活函數(shù)都使用LeakyReLU。該網(wǎng)絡(luò)對(duì)于穩(wěn)定GAN的訓(xùn)練有許多幫助，實(shí)驗(yàn)中往往能取得較為優(yōu)異的表現(xiàn)。

文獻(xiàn)［10］中通過(guò)實(shí)驗(yàn)來(lái)測(cè)試DCGAN在特征提取上的能力。在CIFAR-10數(shù)據(jù)集上，廣泛使用的一個(gè)基于K-means方法的單層特征提取基準(zhǔn)，采用4 800維的特征映射，能夠獲得80.6%的準(zhǔn)確率。該基準(zhǔn)方法的多層非監(jiān)督擴(kuò)展能夠達(dá)到82%的準(zhǔn)確率。DCGAN只使用512維的特征映射，能夠達(dá)到82.8%的準(zhǔn)確率，超過(guò)了所有基于K-means的方法。實(shí)驗(yàn)結(jié)果見(jiàn)表1［10］。其中可支持向量機(jī)簡(jiǎn)寫(xiě)為SVM。

表1 CIFAR-10分類準(zhǔn)確率及特征維度對(duì)比Tab.1 Comparison of accuracy and feature of CIFAR-10

文獻(xiàn)［10］還測(cè)試了DCGAN在街景房屋數(shù)字（SVHN）數(shù)據(jù)集上對(duì)1 000類樣本的分類準(zhǔn)確率，實(shí)驗(yàn)結(jié)果表明，DCGAN的表現(xiàn)超過(guò)所有現(xiàn)存方法。實(shí)驗(yàn)結(jié)果見(jiàn)表 2［10］。表中，將 Stack What-Where Auto-Encoders模型簡(jiǎn)稱為SWWAE。

表2 SVHN數(shù)據(jù)集上1 000個(gè)類別的分類準(zhǔn)確率Tab.2 SVHN classification accuracy with 1 000 labels

4 條件控制的GAN

傳統(tǒng)的GAN網(wǎng)絡(luò)對(duì)生成的模式?jīng)]有限制，無(wú)法控制輸出與輸入的關(guān)系，得不到嚴(yán)格限制條件下的生成樣本。通過(guò)增加限制條件，可以得到想要的結(jié)果。

4.1 標(biāo)簽控制的GAN

在早期的監(jiān)督學(xué)習(xí)中，標(biāo)簽控制生成的圖片有一個(gè)顯著的問(wèn)題，就是相同的物體，可能有不同的遠(yuǎn)近大小在不同角度的呈現(xiàn)。例如，近距離的動(dòng)車特寫(xiě)圖片和遠(yuǎn)距離的動(dòng)車全景圖片標(biāo)簽相同。在傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)訓(xùn)練中，生成圖片往往會(huì)取相同標(biāo)簽不同場(chǎng)景的平均值，于是產(chǎn)生了模糊的圖片。這種多模態(tài)生成問(wèn)題可以通過(guò)GAN來(lái)解決。

在文獻(xiàn)［1］中提到GAN也許可以加上限制條件來(lái)進(jìn)行訓(xùn)練。于是文獻(xiàn)［12-13］對(duì)類別標(biāo)簽限制進(jìn)行了嘗試。cGAN中將隨機(jī)噪聲z與類別標(biāo)簽c一同送入生成器，同時(shí)判別器對(duì)生成的樣本和類別標(biāo)簽c一同進(jìn)行判別。于是訓(xùn)練集變成了3種數(shù)據(jù)對(duì)：｛真實(shí)圖片，匹配的標(biāo)簽｝，｛真實(shí)圖片，不匹配的標(biāo)簽｝，｛生成圖片，匹配的標(biāo)簽｝。其中只有第一種數(shù)據(jù)對(duì)，判別器D應(yīng)當(dāng)判定為正確。目標(biāo)函數(shù)為

式中：x|y表示在y標(biāo)簽限制下取到x；z|y表示在y標(biāo)簽限制下取到z。實(shí)驗(yàn)結(jié)果表明，cGAN的確能夠控制生成模式，產(chǎn)生指定類別的圖像，但圖像的效果并沒(méi)有得到改善，說(shuō)明網(wǎng)絡(luò)的結(jié)構(gòu)還需要更進(jìn)一步的優(yōu)化方法。針對(duì)生成高分辨率圖片的困難，文獻(xiàn)［14］提出了一種方法，利用拉普拉斯金字塔結(jié)構(gòu)［15］來(lái)訓(xùn)練網(wǎng)絡(luò)，從而解決大圖片生成模糊的問(wèn)題。這種策略將最初的問(wèn)題分解為一系列更易于管理的階段，在每個(gè)圖片尺度上都分別使用cGAN方法訓(xùn)練一個(gè)基于卷積網(wǎng)絡(luò)的生成模型。該方法稱之為L(zhǎng)aplacian GAN（LAPGAN）。具體結(jié)構(gòu)如圖6所示。

圖6 LAPGAN結(jié)構(gòu)示意圖Fig.6 Structure of LAPGAN

訓(xùn)練網(wǎng)絡(luò)包含一系列的cGAN網(wǎng)絡(luò)，從64×64的圖像I0開(kāi)始，每次對(duì)圖片縮小采樣成I1，再把I1擴(kuò)大采樣為I0′，得到原始圖片相同尺寸的模糊圖片。再通過(guò)清晰圖片和模糊圖片得到真實(shí)的銳化圖片h0，而模糊圖片作為生成器G0的輸入條件，與隨機(jī)噪聲z0一起生成虛假的銳化圖片h0′，讓判別器D0進(jìn)行判斷。縮小的清晰圖片I1送入下一層cGAN進(jìn)行同樣步驟的訓(xùn)練。直到最后一層的圖片尺寸變?yōu)?×8。該方法能顯著改善生成的圖片質(zhì)量。

4.2 文本描述控制的GAN

僅有類別標(biāo)簽限制的樣本，并不能完全解決生成問(wèn)題的多樣性需要。人們希望能夠僅僅給出語(yǔ)言描述，就產(chǎn)生相關(guān)的圖片。文獻(xiàn)［16］提出通過(guò)具體的語(yǔ)言描述，來(lái)生成合理的鳥(niǎo)類和花類圖片。這類問(wèn)題可以分解為兩個(gè)小問(wèn)題：①學(xué)習(xí)一個(gè)文本特征向量，這個(gè)文本特征向量能夠捕獲重要的視覺(jué)細(xì)節(jié)；②使用這些特征來(lái)合成非常真實(shí)的圖片。將文本編碼為特征向量是基于文獻(xiàn)［17］中的模型來(lái)訓(xùn)練的。給定一組訓(xùn)練數(shù)據(jù)集｛（vn，tn，yn）：n=1，…，N｝，文本分類器的損失函數(shù)為

式中：Δ表示0-1損失；vn表示圖片；tn是相對(duì)應(yīng)的描述文本；yn是類別標(biāo)簽。分類器fv和ft的參數(shù)化如下：

式中：α是圖像編碼器；β是文本編碼器。對(duì)公式（13）來(lái)說(shuō)，給定一個(gè)圖片v，對(duì)v編碼為α（v），然后猜測(cè)一個(gè)文本描述t，這個(gè)t是來(lái)自類別空間y∈Y的某一類別y的某個(gè)文本描述，記作t～τ（y）。那么通過(guò)這個(gè)計(jì)算，可以知道有某一類別y的文本描述t，可以使得α（v）β（t）最大，那么這個(gè)y就是推測(cè)的類別y。公式（14）也是同理。最后，使得圖像分類器和文本分類器的判斷損失最小，獲得一個(gè)訓(xùn)練好的文本編碼器，該文本編碼器編碼過(guò)的文本特征作為條件，傳入DCGAN［10］進(jìn)行訓(xùn)練。

在訓(xùn)練過(guò)程中，開(kāi)創(chuàng)性地區(qū)分兩種錯(cuò)誤來(lái)源：不真實(shí)的圖像與任何文本，以及不匹配的文本的真實(shí)圖像。即在每個(gè)訓(xùn)練步驟中將3種類型的輸入饋送到判別器：｛真實(shí)圖像，匹配文本｝，｛真實(shí)圖像，不匹配文本｝，｛虛假圖像，真實(shí)文本｝。這種訓(xùn)練技術(shù)對(duì)于生成高質(zhì)量圖像非常重要，因?yàn)樗粌H告訴模型如何生成逼真的圖像，而且還告訴文本和圖像之間的對(duì)應(yīng)關(guān)系。

在訓(xùn)練文本生成圖像的過(guò)程中發(fā)現(xiàn)，隨機(jī)噪聲z往往與圖片風(fēng)格因素（例如背景色、姿態(tài)等）有關(guān)。為了獲得某種指定風(fēng)格的圖片，可以訓(xùn)練一個(gè)風(fēng)格編碼器。風(fēng)格編碼器的損失函數(shù)定義為

式中：β（t）代表訓(xùn)練好的文本編碼器對(duì)t進(jìn)行編碼；S代表風(fēng)格編碼器；損失函數(shù)Lstyle最小化隨機(jī)噪聲z和z與文本編碼產(chǎn)生的圖片經(jīng)過(guò)風(fēng)格編碼器回溯的編碼噪聲的L2范數(shù)；t，z～N（0，1）表示t來(lái)自于文本樣本集，噪聲z來(lái)自于正態(tài)分布。當(dāng)風(fēng)格編碼器訓(xùn)練好，給定一個(gè)指定的圖片，想要生成與圖片相同風(fēng)格的另一張圖片，只需要編碼該圖片的風(fēng)格，作為z傳入生成器即可。

通過(guò)文本描述只控制生成的圖片內(nèi)容是不夠的，還需要能夠控制內(nèi)容生成的具體細(xì)節(jié)以及具體位置。文獻(xiàn)［18］提出一個(gè)新模型 GAWWN（generative adversarial what-where network），可以控制生成內(nèi)容和生成位置。該模型把問(wèn)題分解為確定位置和生成圖片兩個(gè)部分。對(duì)于如何確定位置，GAWWN提出的第一種方法是通過(guò)空間變換網(wǎng)絡(luò)學(xué)習(xí)對(duì)象的邊界框?？臻g變換器網(wǎng)絡(luò)的輸出與輸入圖片大小相同，但是對(duì)象邊界外的值都置為0。空間變換網(wǎng)絡(luò)的輸出經(jīng)過(guò)幾個(gè)卷積層將其大小縮減為一維向量，這不僅保留了文本信息，而且還通過(guò)邊界框提供了對(duì)象位置的約束。這種方法的優(yōu)點(diǎn)是它是端到端的，不需要額外的輸入。GAWWN提出的第二種方法是使用指定的關(guān)鍵點(diǎn)來(lái)約束圖像中對(duì)象的不同部分（例如頭部、腿部、手臂、尾部等）。為了讓關(guān)鍵點(diǎn)包含位置信息，對(duì)于每個(gè)關(guān)鍵點(diǎn)，生成一個(gè)掩碼矩陣，其中具有位置信息的關(guān)鍵點(diǎn)置為1，其他為0，該張量放入二進(jìn)制矩陣中，即1表示存在關(guān)鍵點(diǎn)，0表示不存在需控制的關(guān)鍵點(diǎn)，然后在深度方向上進(jìn)行復(fù)制。雖然這種方法能夠?qū)ι傻木植刻卣鬟M(jìn)行位置約束，但它需要額外的用戶輸入來(lái)指定關(guān)鍵點(diǎn)。實(shí)驗(yàn)結(jié)果表明，該方法雖然基于文獻(xiàn)［16］的架構(gòu)，但是不僅能指定位置生成圖片的內(nèi)容，還能把清晰圖片尺寸從64×64擴(kuò)展到128×128。不過(guò)該方法在人臉生成上效果較差，并且僅適用于具有單個(gè)對(duì)象的圖像。

StackGAN提出，為了模仿人類由粗到精的作圖方法，可以使用兩個(gè)生成器進(jìn)行文本到圖像的合成，而不是只使用一個(gè)生成器［19］。第一個(gè)生成器由隨機(jī)噪聲和文本描述作為輸入，負(fù)責(zé)生成64×64的粗糙圖像，只包含目標(biāo)圖形的一些基礎(chǔ)形狀和基本顏色，以及背景樣式；而第二個(gè)生成器獲取第一個(gè)生成器的輸出以及相同的文本描述，來(lái)完成整個(gè)繪圖過(guò)程，生成具有更高分辨率和更清晰細(xì)節(jié)的圖像，每個(gè)生成器都匹配自己的判別器，并且每個(gè)生成器都加入一個(gè)KL（Kullback-Leibler）散度參數(shù)限制，來(lái)使文本特征的分布更接近高斯分布。

StackGAN++在StackGAN的基礎(chǔ)上，提出了一個(gè)巨有多級(jí)生成器的樹(shù)狀結(jié)構(gòu)網(wǎng)絡(luò)［20］。輸入可以看作根節(jié)點(diǎn)，而不同的分叉上都能生成不同尺度的圖片。在該網(wǎng)絡(luò)中，監(jiān)督學(xué)習(xí)與非監(jiān)督學(xué)習(xí)同時(shí)進(jìn)行，并互為補(bǔ)充。

AttnGAN］（Attentional GAN）通過(guò)在圖像和文本特征上使用注意機(jī)制進(jìn)一步擴(kuò)展了StackGAN++的體系結(jié)構(gòu)［21。

PPGN（plug & play genarative network）使用了降噪自編碼和朗之采樣，采用迭代的方法來(lái)進(jìn)行訓(xùn)練［22］。該方法的效果勝于同時(shí)期任何的標(biāo)簽限制以及文本限制的圖像生成模型。

文本描述控制的GAN有一個(gè)共同缺點(diǎn)就是在一個(gè)圖像中涉及多個(gè)復(fù)雜對(duì)象的情況下，所有現(xiàn)有模型都工作得很糟糕。因?yàn)槟Ｐ椭粚W(xué)習(xí)圖像的整體特征，而不是學(xué)習(xí)其中每種對(duì)象的概念。

4.3 圖片控制的GAN

圖像到圖像的轉(zhuǎn)換就好像一個(gè)場(chǎng)景到另一個(gè)場(chǎng)景的轉(zhuǎn)換，又或者說(shuō)是一種風(fēng)格遷移，比如照片到畫(huà)家畫(huà)作的風(fēng)格遷移。

文獻(xiàn)［23］提出將圖片作為限制條件的通用GAN訓(xùn)練框架，稱為pix2pix。早期的論文研究發(fā)現(xiàn)，該損失函數(shù)與更傳統(tǒng)的損失函數(shù)一起訓(xùn)練對(duì)訓(xùn)練結(jié)果有幫助，例如L2距離［24］，即判別器D的任務(wù)保持不變，但是生成器G的任務(wù)不僅是欺騙判別器，而且還要接近L2意義上的真實(shí)輸出。該文章使用L1距離而不是L2，因?yàn)長(zhǎng)1鼓勵(lì)更少的模糊。在判別網(wǎng)絡(luò)D方面，設(shè)計(jì)了一個(gè)判別器體系結(jié)構(gòu)，稱之為PatchGAN，該網(wǎng)絡(luò)只能在補(bǔ)丁規(guī)模上懲罰結(jié)構(gòu)損失。這個(gè)判別器試圖分類每個(gè)N×N大小的補(bǔ)丁圖像是真實(shí)的還是假的。該實(shí)驗(yàn)可以產(chǎn)生相當(dāng)優(yōu)秀的生成樣本，盡管添加了Dropout處理噪聲［25］，但是依然存在網(wǎng)絡(luò)輸出隨機(jī)性較差的問(wèn)題。

與此類有監(jiān)督學(xué)習(xí)不同的是，無(wú)監(jiān)督學(xué)習(xí)下的圖片風(fēng)格轉(zhuǎn)換，以不成對(duì)的訓(xùn)練集進(jìn)行訓(xùn)練。CycleGAN［26］、DualGAN［27］以及 DiscoGAN［28］可謂有異曲同工之妙。它們的思想類似于一種表現(xiàn)良好的翻譯器，可以將中文翻譯為英文，該英文再翻譯為中文后，和最初的中文無(wú)差別。將該思想應(yīng)用在生成器G上，進(jìn)行一種循環(huán)的雙重學(xué)習(xí)。結(jié)構(gòu)如圖7所示。圖中，G和F都是生成器，DX和DY都是判別器。

圖7 cycleGAN結(jié)構(gòu)示意圖Fig.7 Structure of cycleGAN

以CycleGAN為例，首先要訓(xùn)練兩個(gè)互為反向的目標(biāo)函數(shù)。對(duì)于生成器G：X→Y和它的判別器DY，為了滿足循環(huán)x→G（x）→F（G（x））≈x，加上循環(huán)一致性損失：

在這里，對(duì)于來(lái)自域X的每個(gè)圖像x，圖像轉(zhuǎn)換周期應(yīng)該能使x回到原始圖像，即x→G（x）→F（G（x））≈x，一般稱之為前向循環(huán)一致性。類似地，對(duì)于來(lái)自域Y的每個(gè)圖像y、G和F也應(yīng)該滿足后向循環(huán)一致性：y→F（y）→G（F（y））≈y。所以，完整的訓(xùn)練目標(biāo)就變成兩個(gè)對(duì)抗損失加上循環(huán)一致性損失。

上述模型都旨在實(shí)現(xiàn)一對(duì)一的場(chǎng)景轉(zhuǎn)換。文獻(xiàn)［29］提出一種多場(chǎng)景的通用轉(zhuǎn)換框架，整個(gè)網(wǎng)絡(luò)只使用一對(duì)生成器和判別器。生成器除了接收隨機(jī)噪聲外，還需要接收目標(biāo)領(lǐng)域的信息。判別器除了判別圖片是否真實(shí)外，還需要判別圖片屬于哪一個(gè)領(lǐng)域。與此同時(shí)，為了防止圖像翻譯過(guò)程中內(nèi)容的改變，需再加上重構(gòu)損失，以保證內(nèi)容的完整。

這種無(wú)監(jiān)督學(xué)習(xí)最明顯的缺點(diǎn)就是需要大量的訓(xùn)練數(shù)據(jù)來(lái)學(xué)習(xí)特征。文獻(xiàn)［30］提出通過(guò)編碼器、解碼器來(lái)學(xué)習(xí)特征，從而實(shí)現(xiàn)將圖片轉(zhuǎn)換到訓(xùn)練階段從未看過(guò)的目標(biāo)類圖像。

上述模型中，pix2pix能夠產(chǎn)生最為清晰的圖像。

5 GAN在不同領(lǐng)域的應(yīng)用

由于GAN網(wǎng)絡(luò)的優(yōu)點(diǎn)是不需要針對(duì)應(yīng)用的問(wèn)題去設(shè)計(jì)專門的損失函數(shù)，不需要顯式地建模數(shù)據(jù)分布，所以在圖像、文本、語(yǔ)音等諸多領(lǐng)域都有廣泛的應(yīng)用。

5.1 高分辨率圖像

高分辨率技術(shù)是指從低分辨率圖像重建出相應(yīng)的高分辨率圖像，在無(wú)法采集到清晰圖像時(shí)，具有重要應(yīng)用價(jià)值，例如監(jiān)控設(shè)備、醫(yī)學(xué)影像等。然而，傳統(tǒng)的基于深度學(xué)習(xí)的方法是通過(guò)卷積網(wǎng)絡(luò)對(duì)原始的圖像進(jìn)行信息采集，生成的高分辨率圖像缺乏具體的紋理細(xì)節(jié)，容易產(chǎn)生模糊。GAN作為一種生成模型，可以巧妙地解決該問(wèn)題。SRGAN［31］（superresolution GAN）在GAN的原始損失基礎(chǔ)上，利用殘差網(wǎng)絡(luò)，加上了感知相似性損失，來(lái)生成細(xì)節(jié)豐富的圖像。感知損失重點(diǎn)關(guān)注判別器中間層的特征誤差，而不是輸出結(jié)果的逐個(gè)像素誤差。

高分辨率重建的圖像質(zhì)量往往使用峰值信噪比（PSNR）衡量，PSNR的值越大，圖像質(zhì)量越好，數(shù)值大于20 dB符合重建圖像標(biāo)準(zhǔn)。文獻(xiàn)［31］中采取截?cái)嗨枷脒M(jìn)行了實(shí)驗(yàn)，在相同網(wǎng)絡(luò)結(jié)構(gòu)下，通過(guò)對(duì)抗損失訓(xùn)練的SRGAN產(chǎn)生的圖像PSNR達(dá)到29 dB以上，在數(shù)值上會(huì)略低于不采取對(duì)抗損失訓(xùn)練的網(wǎng)絡(luò)產(chǎn)生的圖像，然而后者會(huì)出現(xiàn)細(xì)節(jié)模糊，前者則會(huì)產(chǎn)生非常細(xì)膩的紋理。

5.2 目標(biāo)檢測(cè)和變型

圖像檢測(cè)小目標(biāo)對(duì)象存在的問(wèn)題往往在于小目標(biāo)對(duì)象過(guò)低的分辨率，所以直觀的解決辦法便是將低分辨率圖像擴(kuò)大為高分辨率圖像來(lái)加強(qiáng)判別能力。文獻(xiàn)［32］將判別器分為對(duì)抗分支和感知分支。對(duì)抗分支負(fù)責(zé)傳統(tǒng)的生成大圖像任務(wù)，而感知分支負(fù)責(zé)保證大圖像在檢測(cè)中的效用。SeGAN（segmenting GAN）使用一個(gè)分段器、一個(gè)生成器和一個(gè)鑒別器來(lái)復(fù)原重構(gòu)被隱藏對(duì)象［33］。

與場(chǎng)景轉(zhuǎn)換相反，對(duì)象變形是在背景不變的情況下，用特定條件替換圖像中的對(duì)象。GeneGAN（generated GAN）使用了編碼解碼器結(jié)構(gòu)，編碼器將圖像分解為背景特征和對(duì)象特征，解碼器將背景特征和要變形的對(duì)象特征重新整合來(lái)重構(gòu)圖像［34］。重要的是，為了使特征空間分離，需要兩個(gè)分離的訓(xùn)練集，一個(gè)是具有該對(duì)象的圖像集，另一個(gè)是不具有該對(duì)象的圖像集。此外，GAN還可以應(yīng)用于圖像混合任務(wù)，將一個(gè)對(duì)象植入另一個(gè)圖像的背景中。GPGAN（gaussian-poisson GAN）［35］提出將基于GAN的和傳統(tǒng)的基于梯度的圖像融合方法相結(jié)合。GPGAN試圖通過(guò)優(yōu)化高斯-泊松方程（Gaussian-Poisson equation）［36］生成高分辨率的良好融合圖像。

5.3 視頻、音樂(lè)、語(yǔ)言和語(yǔ)音生成

利用GAN的生成能力，不僅能夠生成全新的，具有創(chuàng)造性的視頻、音樂(lè)或語(yǔ)言類事物，而且還能夠通過(guò)標(biāo)簽限制、隱空間的條件限制，來(lái)對(duì)已有的此類事物進(jìn)行定性或定量的修改、修復(fù)和完善，例如視頻后期處理、音域修改、人聲模仿等，從而大量提升此類產(chǎn)業(yè)產(chǎn)品的效率，節(jié)省大量人力成本和時(shí)間成本。

一般來(lái)說(shuō)，視頻由相對(duì)靜止的背景和動(dòng)態(tài)的運(yùn)動(dòng)目標(biāo)組成。VGAN（video GAN）使用一個(gè)兩階段的生成器［37］。3D卷積神經(jīng)網(wǎng)絡(luò)生成器負(fù)責(zé)生成運(yùn)動(dòng)前景，2D卷積神經(jīng)網(wǎng)絡(luò)生成器負(fù)責(zé)生成靜止的背景。Pose-GAN結(jié)合VAE和GAN方法來(lái)生成視頻，首先，VAE結(jié)合當(dāng)前幀的姿態(tài)和過(guò)去的姿態(tài)特征預(yù)測(cè)下一幀的運(yùn)動(dòng)信息，然后3D卷積神經(jīng)網(wǎng)絡(luò)構(gòu)成的GAN生成后續(xù)視頻幀［38］。MoCoGAN（motion and content GAN）提出在隱空間對(duì)內(nèi)容部分和運(yùn)動(dòng)部分進(jìn)行分離，使用RNN網(wǎng)絡(luò)建模運(yùn)動(dòng)部分［39］。生成視頻內(nèi)容的一致性往往使用平均內(nèi)容距離（ACD）衡量。若真實(shí)視頻的ACD值為最優(yōu)值0，實(shí)驗(yàn)表明，MoCoGAN的ACD平均值能夠達(dá)到1.79，遠(yuǎn)低于VGAN的5.02。

在音樂(lè)生成方面，C-RNN-GAN（continuous RNN-GAN）［40］將生成器和判別器都建模為一個(gè)具有長(zhǎng)短時(shí)記憶（LSTM［41］）的RNN，直接提取音樂(lè)的整個(gè)序列。但是，音樂(lè)這種包括歌詞和音符的離散數(shù)據(jù)，使用GAN生成存在很多問(wèn)題，缺乏局部一致性 。 而 SeqGAN（sequenceGAN）［42］、ORGAN（object reinforced GAN）［43］則采用了策略梯度算法，不是一次性生成完整的序列。SeqGAN將生成器的輸出視為代理的策略，并將判別器的輸出作為獎(jiǎng)勵(lì)。就像強(qiáng)化學(xué)習(xí)一樣，生成器選擇從判別器那里獲得更大的獎(jiǎng)勵(lì)。ORGAN與SeqGAN略有不同，在獎(jiǎng)勵(lì)函數(shù)中添加了一個(gè)硬編碼的目標(biāo)函數(shù)來(lái)實(shí)現(xiàn)指定的目標(biāo)。

在語(yǔ)言生成方面，RankGAN［44］用語(yǔ)句生成器和排序器代替?zhèn)鹘y(tǒng)判別器。類似于傳統(tǒng)GAN的對(duì)抗，語(yǔ)句生成器努力使生成的虛假語(yǔ)句在排序器中獲得較高的排序，而排序器努力把真實(shí)語(yǔ)句置于較高的排序。因?yàn)樯傻恼Z(yǔ)句也是離散的，所以運(yùn)用了類似SeqGAN和ORGAN的梯度策略算法。

在語(yǔ)音生成方面，VAW-GAN（Variational autoencoding Wasserste in GAN）［45］是一種結(jié)合了GAN和VAE框架的語(yǔ)音轉(zhuǎn)換系統(tǒng)。編碼器處理語(yǔ)音內(nèi)容z，而解碼器在給定目標(biāo)說(shuō)話者信息y的條件下生成語(yǔ)音。在國(guó)際標(biāo)準(zhǔn)中，統(tǒng)一使用平均主觀意見(jiàn)分（MOS）值來(lái)評(píng)價(jià)語(yǔ)音質(zhì)量。VAW-GAN在驗(yàn)證集和測(cè)試集的得分均超過(guò)3分，優(yōu)于基準(zhǔn)VAE，展現(xiàn)了更豐富的頻率變化以及更清晰的聲音。

5.4 醫(yī)學(xué)圖像分割

SegAN（segmentation GAN）提出了一個(gè)分割者-批評(píng)者結(jié)構(gòu)來(lái)分割醫(yī)學(xué)圖片［46］。與GAN的結(jié)構(gòu)相似，分割者生成預(yù)測(cè)的分割圖片，而批評(píng)者判斷分割圖片是真實(shí)的還是分割者生成的。SeqAN在人腦腫瘤分割挑戰(zhàn)BraTS 2013數(shù)據(jù)集上達(dá)到了最優(yōu)方法的分?jǐn)?shù)，并且在BraTS 2015數(shù)據(jù)集上，獲得了切片分和準(zhǔn)確率的最高分。DI2IN（deep image-toimage network）通過(guò)對(duì)抗訓(xùn)練分割3D CT圖像，該方法在頸椎、胸腔、腰椎的CT分割準(zhǔn)確率上都超過(guò)了 已 有 的 方 法［47］。 SCAN（structure correcting adversarial network）使用GAN方法分割X射線圖像，在JSRT數(shù)據(jù)集上對(duì)心臟和肺部的識(shí)別準(zhǔn)確率以及分割準(zhǔn)確率均超過(guò)了所有現(xiàn)存方法，并且每張測(cè)試時(shí)間只需0.84 s，超過(guò)原基準(zhǔn)時(shí)間的26 s［48］。

6 GAN訓(xùn)練問(wèn)題的改善方法

GAN往往存在較為嚴(yán)重的訓(xùn)練問(wèn)題，在WGAN中進(jìn)行了較為詳細(xì)的介紹。許多論文也致力于解決訓(xùn)練問(wèn)題，下面列舉一些改善訓(xùn)練的方法。

6.1 常見(jiàn)的優(yōu)化方法

有許多在神經(jīng)網(wǎng)絡(luò)中常用的優(yōu)化方法同樣適用于GAN的訓(xùn)練。首先是對(duì)輸入圖片進(jìn)行預(yù)處理，將輸入圖像規(guī)范化到-1～1之間，并且在訓(xùn)練中使用批量標(biāo)準(zhǔn)化。針對(duì)梯度消失和模式崩塌問(wèn)題，需要避免在訓(xùn)練中引入稀疏矩陣。激活函數(shù)盡量采用ReLU等變體，同時(shí)使用最大值池化層。模式崩塌時(shí)，生成的圖片過(guò)于相似，可以減小每一批次送入判別器的圖片數(shù)量。在對(duì)訓(xùn)練過(guò)程暫不清晰時(shí)，梯度下降的優(yōu)化可優(yōu)先使用Adam［49］。針對(duì)過(guò)擬合問(wèn)題，可以在判別器的輸入中添加隨機(jī)噪聲，Dropout的使用也有極大的幫助，亦或是采取6.3節(jié)提到的標(biāo)簽平滑方法。而常用的提前終止訓(xùn)練防止過(guò)擬合往往并不需要，因?yàn)橛?xùn)練過(guò)程很難理想化地達(dá)到納什均衡。

6.2 架構(gòu)選擇

能用DCGAN的時(shí)候就選用DCGAN。當(dāng)不能使用DCGAN而且沒(méi)有穩(wěn)定的模型時(shí)，可以使用混合模型，例如KL+GAN或者VAE+GAN。在架構(gòu)選擇中，寬度往往比深度重要。在使用VAE時(shí)，給生成器與判別器增加一些噪聲對(duì)訓(xùn)練是有幫助的［50］。

6.3 結(jié)果的替換

當(dāng)判別器D的結(jié)果只是真實(shí)標(biāo)簽1和虛假標(biāo)簽0時(shí)，容易產(chǎn)生過(guò)于置信的結(jié)果。使用標(biāo)簽平滑方法，用0.7～1.0之間的隨機(jī)值代替標(biāo)簽1，用0～0.3的隨機(jī)值代替標(biāo)簽0。

除此之外，可以不評(píng)估最后輸出的真假標(biāo)量，而是評(píng)估判別器D某一層輸出的特征和真實(shí)圖片在該層輸出特征的差異，就像評(píng)估編碼器編碼特征的距離。該方法稱為特征匹配。特征匹配引入了隨機(jī)性，可以減輕模式崩塌，也使得判別器更難過(guò)擬合。

4.3節(jié)提到的PatchGAN也十分值得嘗試使用。它將所有補(bǔ)丁范圍內(nèi)的損失求平均作為最終的損失，可以使生成器生成更加銳利清晰的邊緣。

6.4 多個(gè)GAN網(wǎng)絡(luò)的堆疊

當(dāng)單個(gè)GAN不足以有效地處理任務(wù)時(shí)，可以堆疊多個(gè)GAN來(lái)將問(wèn)題模塊化。例如，F(xiàn)ashionGAN使用兩個(gè)GAN來(lái)執(zhí)行局部圖像翻譯［51］。LAPGAN中使用了拉普拉斯金字塔結(jié)構(gòu)的GAN。StackGAN思路同樣類似。Progressive GAN（ProGAN）［52］可以生成高質(zhì)量的高分辨率圖像。

7 總結(jié)與展望

自從2014年Goodfellow等人首次提出GAN網(wǎng)絡(luò)模型結(jié)構(gòu)，利用該網(wǎng)絡(luò)精妙的零和博弈思路來(lái)處理各式各樣的問(wèn)題，以及解決該網(wǎng)絡(luò)訓(xùn)練困難的論文，如雨后春筍般涌現(xiàn)。本文旨在通俗地解釋GAN的基礎(chǔ)理論，整理解釋了較為常用的GAN訓(xùn)練模型，以及在時(shí)間線上按照理論發(fā)展的邏輯整理出條件限制下GAN在圖片生成方面的發(fā)展，并且較為宏觀地歸納GAN在各種不同場(chǎng)景的應(yīng)用，同時(shí)總結(jié)了一些改善訓(xùn)練的技巧。筆者相信，這一技術(shù)將會(huì)大幅度改進(jìn)深度學(xué)習(xí)在一些應(yīng)用場(chǎng)景中存在的局限性，尤其是在生成模型方面，從零到有所謂創(chuàng)造，一直是難以解決的問(wèn)題，而GAN恰恰是對(duì)生成模型絕佳的改進(jìn)。目前相關(guān)應(yīng)用仍處于起步階段，在未來(lái)將會(huì)有更有效、更廣泛的嘗試。下面對(duì)于GAN在應(yīng)用上的落地，提出若干展望：

（1）GAN在圖像生成和風(fēng)格轉(zhuǎn)換方面真正體現(xiàn)出創(chuàng)造性。隨著社會(huì)的發(fā)展，文化娛樂(lè)所承載的生活比重越來(lái)越大，而文娛產(chǎn)業(yè)最重要的就是快速且創(chuàng)新。如果能夠利用GAN在生成方面的分布廣度，創(chuàng)造出一些新穎的文娛產(chǎn)品，從而激發(fā)人們的創(chuàng)造力，將會(huì)大大改善這個(gè)產(chǎn)業(yè)的生產(chǎn)力。例如，利用條件控制的GAN，通過(guò)給定故事背景，自動(dòng)生成一系列動(dòng)畫(huà)作品，而動(dòng)畫(huà)作品的風(fēng)格也許會(huì)別具一格。

（2）GAN在圖像修復(fù)領(lǐng)域的應(yīng)用。不僅僅是在圖像中的目標(biāo)移除和填補(bǔ)，圖像超分辨率分析等方面，利用深度神經(jīng)網(wǎng)絡(luò)對(duì)于高維復(fù)雜映射具有強(qiáng)大的逼近能力，可以有效地提取圖像中的語(yǔ)義。結(jié)合語(yǔ)義和紋理可以對(duì)藝術(shù)品的細(xì)節(jié)修復(fù)提供幫助，例如壁畫(huà)修補(bǔ)，書(shū)法拓片的修復(fù)等。

（3）GAN在醫(yī)學(xué)圖像生成方面的應(yīng)用。輔助醫(yī)生做圖像數(shù)據(jù)分析的人工智能越來(lái)越常見(jiàn)，這些人工智能需要的訓(xùn)練數(shù)據(jù)樣本越多樣越好。可是相比健康的樣本，研究人員難以獲取足夠多的病變圖像樣本。在類似各種形態(tài)（圖像、語(yǔ)音、語(yǔ)言等）的數(shù)據(jù)增廣研究中，GAN擁有廣闊的發(fā)展前景。