生成對(duì)抗網(wǎng)絡(luò)研究綜述

王正龍，張保穩(wěn),2

生成對(duì)抗網(wǎng)絡(luò)研究綜述

王正龍1，張保穩(wěn)1,2

（1. 上海交通大學(xué)網(wǎng)絡(luò)安全技術(shù)研究院，上海 200240；2. 上海市信息安全綜合管理技術(shù)研究重點(diǎn)實(shí)驗(yàn)室，上海 200240）

首先介紹了生成對(duì)抗網(wǎng)絡(luò)基本理論、應(yīng)用場(chǎng)景和研究現(xiàn)狀，并列舉了其亟待改進(jìn)的問題。圍繞針對(duì)提升模型訓(xùn)練效率、提升生成樣本質(zhì)量和降低模式崩潰現(xiàn)象發(fā)生可能性3類問題的解決，從模型結(jié)構(gòu)和訓(xùn)練過程兩大改進(jìn)方向和7個(gè)細(xì)分維度，對(duì)近年來生成對(duì)抗網(wǎng)絡(luò)的主要研究工作、改進(jìn)機(jī)理和特點(diǎn)進(jìn)行了歸納和總結(jié)，并結(jié)合3方面對(duì)其未來的研究方向進(jìn)行了探討。

生成對(duì)抗網(wǎng)絡(luò)；生成模型；深度學(xué)習(xí)；模式崩潰；分布距離度量；神經(jīng)網(wǎng)絡(luò)魯棒性

1 引言

近年來，隨著人工智能的蓬勃發(fā)展，用于解決人工智能問題的神經(jīng)網(wǎng)絡(luò)生成算法成為研究熱點(diǎn)。生成模型學(xué)習(xí)樣本概率分布，并從分布中生成新的數(shù)據(jù)，以此衡量研究者對(duì)于高維概率分布的操控能力。此類模型可用于數(shù)據(jù)增強(qiáng)、圖像翻譯等領(lǐng)域。傳統(tǒng)生成模型通常基于馬爾可夫鏈、最大似然及近似推理，其代表模型有RBM[1]（restricted Boltzmann machines）及其衍生模型如DBN[2]（deep belief network）、DBM[3]（deep Boltzmann machines）、VAE[4]（variational auto-encoder）等，此類方法計(jì)算復(fù)雜且生成效果有限。

2014年，Goodfellow等提出了基于博弈論的生成模型——生成對(duì)抗網(wǎng)絡(luò)[5]（GAN，generative adversarial network），它使用兩個(gè)神經(jīng)網(wǎng)絡(luò)進(jìn)行對(duì)抗訓(xùn)練，通過反向傳播更新網(wǎng)絡(luò)權(quán)值，易于計(jì)算且效果顯著。該模型一經(jīng)提出就引起神經(jīng)網(wǎng)絡(luò)領(lǐng)域研究人員的關(guān)注，對(duì)其進(jìn)行了大量的研究和改進(jìn)。

作為一種生成模型，GAN及其衍生模型常用于為深度學(xué)習(xí)中的數(shù)據(jù)增強(qiáng)、數(shù)據(jù)預(yù)處理方法生成樣本，并在圖像處理、生物醫(yī)學(xué)、網(wǎng)絡(luò)與信息安全等領(lǐng)域有著廣泛的應(yīng)用場(chǎng)景。在圖像處理領(lǐng)域中，Koo等[6]使用深度卷積生成對(duì)抗網(wǎng)絡(luò)[7]（DCGAN，deep convolutional GAN）為黑白照片著色；CycleGAN[8]通過學(xué)習(xí)兩類樣本空間的雙向映射實(shí)現(xiàn)圖像風(fēng)格遷移；CVAE-GAN[9]能夠在不改變樣本分類結(jié)果的前提下生成細(xì)粒度修改的新樣本。在生物醫(yī)學(xué)領(lǐng)域，Schlegl等[10]使用WGAN[11]（wasserstein GAN）檢測(cè)病變的視網(wǎng)膜光學(xué)相干斷層掃描成像數(shù)據(jù)；Wolterink等[12]使用WGAN合成血管的幾何形狀，用于對(duì)冠狀動(dòng)脈心臟CT血管造影圖進(jìn)行補(bǔ)充。在網(wǎng)絡(luò)與信息安全領(lǐng)域，劉西蒙等[13]總結(jié)了3種基于GAN的對(duì)抗樣本問題防御策略，這3種策略都通過GAN重建應(yīng)用系統(tǒng)的輸入樣本，以排除輸入樣本中可能存在的微小擾動(dòng)帶來的影響；張煜等[14]提出了一種基于GAN的文本序列數(shù)據(jù)集脫敏模型，該模型無須針對(duì)隱私屬性精心設(shè)計(jì)處理規(guī)則即可實(shí)現(xiàn)數(shù)據(jù)集脫敏；Beaulieu-Jones等[15]提出一種在訓(xùn)練GAN模型時(shí)添加隨機(jī)噪聲的方法來避免模型從病人的就醫(yī)數(shù)據(jù)中學(xué)習(xí)到個(gè)人隱私的方法，郭鵬等[16]在文獻(xiàn)[15]的基礎(chǔ)上，使用自適應(yīng)梯度裁剪閾值進(jìn)行了優(yōu)化，提高了生成圖像的清晰度和多樣性；王旭東等[17]提出了一種基于SN-GAN[18]（spectral normalization GAN）的人臉圖像補(bǔ)全方法，用于在人臉被遮擋時(shí)盡量保留人臉的身份特征并對(duì)身份校驗(yàn)。

隨著GAN的應(yīng)用場(chǎng)景日漸復(fù)雜，研究者需要進(jìn)一步深入研究GAN理論，以指導(dǎo)其設(shè)計(jì)過程，并解決GAN模型常見的模式崩潰、訓(xùn)練困難等問題。本文對(duì)既有GAN的研究工作及其評(píng)價(jià)方法進(jìn)行歸納與總結(jié)，并在此基礎(chǔ)上探討了其未來發(fā)展的方向。

2 GAN的基本模型及工作機(jī)理

GAN的基本模型的主要思想是令兩個(gè)神經(jīng)網(wǎng)絡(luò)不斷進(jìn)行二元極大極小博弈，在此過程中模型逐漸習(xí)得真實(shí)樣本分布。一般而言，當(dāng)兩個(gè)網(wǎng)絡(luò)的對(duì)抗達(dá)到納什均衡后，認(rèn)為訓(xùn)練完成。

圖1給出了GAN的基本模型，生成器網(wǎng)絡(luò)（記為）的輸入為來自隱空間（記為p）的隨機(jī)變量（記為），輸出生成樣本，其訓(xùn)練目標(biāo)是提高生成樣本與真實(shí)樣本的相似度，使其無法被判別器（記為）網(wǎng)絡(luò)區(qū)分，即令生成樣本（記為p）分布與真實(shí)樣本（記為data）分布盡量相同[5]。的輸入為真實(shí)樣本（記為）或生成樣本（記為），輸出判別結(jié)果，其訓(xùn)練目標(biāo)是分辨真實(shí)樣本與生成樣本。判別結(jié)果用于計(jì)算目標(biāo)函數(shù)，通過反向傳播更新網(wǎng)絡(luò)權(quán)值。在對(duì)抗訓(xùn)練的過程中，判別真假樣本的能力逐漸提高，而為了欺騙，生成樣本逐漸趨近于真實(shí)樣本，最終使整個(gè)模型生成質(zhì)量較好的新數(shù)據(jù)。

圖1 GAN的基本模型

Figure 1 The basic model of GAN

如前所述，訓(xùn)練目標(biāo)可以概括為：最小化p與data之間的距離，最大化辨別樣本的準(zhǔn)確率，即()值趨于1且()值趨于0。由此可得到目標(biāo)函數(shù)表達(dá)式

其本質(zhì)為最小化p和data的KLD（Kullbakc-Leibler divergence）。KLD用于衡量兩種不同分布之間的差異，定義為

由式(2)易知KLD不對(duì)稱，可通過數(shù)學(xué)技巧將其變?yōu)閷?duì)稱，即JSD（Jensen Shannon divergence），定義為

GAN的基本模型具有以下優(yōu)點(diǎn)：計(jì)算過程使用反向傳播而不需要馬爾可夫鏈，回避了近似計(jì)算困難的概率難題，此外，訓(xùn)練時(shí)無須推斷隨機(jī)變量。它與DBN相比能更快生成樣本，與VAE相比有更好的生成效果。

同時(shí)，GAN的基本模型有許多亟待改進(jìn)之處。在模型訓(xùn)練過程中，存在模式崩潰問題[19]：生成器從具有多種模式的訓(xùn)練集中僅學(xué)習(xí)到單個(gè)或有限的模式，而錯(cuò)失對(duì)其他模式的學(xué)習(xí)，從而無法生成具有多樣性的樣本。若想解決模式崩潰問題，就需要對(duì)GAN模型加以改進(jìn)，指導(dǎo)生成器學(xué)習(xí)真實(shí)樣本集中包含的多種模式，或避免生成器僅學(xué)習(xí)有限種模式。此外，使用隨機(jī)向量作為生成器的輸入缺乏語義和可操作性，無法控制模型生成具有指定特征的樣本；模型使用到的神經(jīng)網(wǎng)絡(luò)本身可以被進(jìn)一步改造和優(yōu)化；訓(xùn)練過程中易出現(xiàn)梯度消失、訓(xùn)練不穩(wěn)定、神經(jīng)網(wǎng)絡(luò)難以收斂等問題。上述問題導(dǎo)致模型的訓(xùn)練難度較大、訓(xùn)練時(shí)間較長。

當(dāng)前對(duì)GAN理論的主流研究工作大部分圍繞上述問題的優(yōu)化處理和對(duì)模型進(jìn)行研究改進(jìn)。本文分別按照模型結(jié)構(gòu)的改進(jìn)、模型訓(xùn)練過程的改進(jìn)兩個(gè)方向，從輸入輸出、生成器、判別器、多模塊組合、模型交叉、分布距離度量、梯度計(jì)算過程7個(gè)維度（如表1所示）對(duì)近年來GAN主要研究工作、改進(jìn)機(jī)理和特點(diǎn)進(jìn)行歸納和總結(jié)。

3 基于模型結(jié)構(gòu)改進(jìn)的GAN衍生模型

圖1給出的GAN的基本模型由輸入輸出、生成器、判別器三大模塊按一定原理或思想組合而成。因此，對(duì)模型結(jié)構(gòu)進(jìn)行改進(jìn)的切入點(diǎn)可以劃分為輸入輸出、生成器、判別器、模型的模塊結(jié)構(gòu)和模塊結(jié)構(gòu)的組合思想5部分，本節(jié)按照這5個(gè)部分對(duì)現(xiàn)有GAN研究進(jìn)行歸納分類與介紹。

3.1 基于輸入輸出改進(jìn)的GAN模型

基于輸入輸出的改進(jìn)主要是指從的輸入端和的輸出端著手進(jìn)行改進(jìn)。在GAN的基本模型中，的輸入為隱空間上的隨機(jī)變量，因此對(duì)其改進(jìn)主要從隱空間與隱變量這兩點(diǎn)展開，改進(jìn)隱變量的目的是使其更好地控制生成樣本的細(xì)節(jié)，而改進(jìn)隱空間則是為了更好地區(qū)分不同的生成模式。輸出的判別結(jié)果是真假二分類，可以配合目標(biāo)函數(shù)將其調(diào)整為多分類或去除神經(jīng)網(wǎng)絡(luò)的Softmax層直接輸出特征向量，進(jìn)而優(yōu)化訓(xùn)練過程、實(shí)現(xiàn)半監(jiān)督學(xué)習(xí)等效果。

表1 本文討論的現(xiàn)有主要的GAN衍生模型

cGAN[20]（conditional GAN）在與的輸入中額外加入類別標(biāo)簽或其他有助于樣本生成的附加信息（記為），從而使GAN可以生成符合特定條件的數(shù)據(jù)。cGAN模型如圖2所示。

圖2 cGAN模型

Figure 2 Model of cGAN

圖3 BiCoGAN模型

Figure 3 Model of BiCoGAN

IcGAN[22]（invertible conditional GAN）以文獻(xiàn)[20]為基礎(chǔ)，增加了兩個(gè)預(yù)訓(xùn)練的編碼器Ez和Ey，Ez用于生成隱空間中的隨機(jī)變量z，Ey用于生成原始條件y，通過將y修改成y'作為cGAN的輸入條件，從而控制合成圖像的細(xì)節(jié)（如圖4所示）。本文提出了3種從分布中進(jìn)行采樣獲得y'的方法：當(dāng)y為二進(jìn)制向量時(shí)，可通過KDE（kernel denisity estimation）擬合分布并進(jìn)行采樣；當(dāng)y為實(shí)向量時(shí)，可選取訓(xùn)練集的標(biāo)簽向量進(jìn)行直接插值；當(dāng)某個(gè)條件并不是在所有訓(xùn)練集中表現(xiàn)唯一時(shí)，可直接對(duì)pdata進(jìn)行采樣。

Figure4 Model of IcGAN

InfoGAN[23]（模型如圖5所示）將的輸入拆分成隨機(jī)變量與隱編碼，的輸出包括真假二分類和去掉Softmax層的特征向量輸出兩項(xiàng)，以與特征向量間的互信息作為約束，從而使能夠表示生成樣本的不同特征維度，為網(wǎng)絡(luò)增加了可解釋性。

DeLiGAN[24]適用于訓(xùn)練數(shù)據(jù)規(guī)模小、種類多的場(chǎng)景，DeliGAN模型如圖6所示。Gurumurthy等[24]提出使用GMM（Gaussian mixture model）對(duì)隱空間進(jìn)行參數(shù)化，再隨機(jī)選擇一個(gè)高斯分量進(jìn)行重參數(shù)化，從指定的高斯分布中獲取樣本，但模型使用GMM是一種簡化假設(shè)，限制了其逼近更復(fù)雜分布的能力。

圖5 InfoGAN模型

Figure5 Model of InfoGAN

圖6 DeLiGAN模型

Figure6 Model of DeLiGAN

NEMGAN（noise engineered mode matching GAN）[25]的提出者提出一種能夠在訓(xùn)練集存在數(shù)據(jù)不均衡情況下表現(xiàn)較好的模式匹配策略，根據(jù)生成樣本訓(xùn)練出其在隱空間中的對(duì)應(yīng)表示，得到潛在模式的先驗(yàn)分布，從而將生成樣本的多種模式進(jìn)行分離，并且與真實(shí)樣本的模式進(jìn)行匹配，保證了生成樣本中包含多個(gè)真實(shí)樣本的模式，以緩解模式崩潰問題。

FCGAN（fully conditional GAN）[26]以文獻(xiàn)[20]為基礎(chǔ)，將額外信息連接到神經(jīng)網(wǎng)絡(luò)的每一層，一定限度上提升了有條件生成樣本時(shí)的生成樣本質(zhì)量，但該模型在較為復(fù)雜或大向量的場(chǎng)景中運(yùn)算效率低。

SGAN（semi-supervised learning GAN）[27]是一種能夠?yàn)閿?shù)據(jù)集重建標(biāo)簽信息的半監(jiān)督模型，其模型如圖7所示。它將改進(jìn)為分類器與判別器的結(jié)合體，的輸出包含類真實(shí)樣本和一類生成樣本，共有+1類。向模型輸入無標(biāo)簽的樣本且判別器將其分類為真實(shí)樣本時(shí)，可以將判別器的輸出作為該樣本的標(biāo)簽。

圖7 SGAN模型

Figure7 Model of SGAN

AC-GAN（auxiliary classifier GAN）[28]同時(shí)具備文獻(xiàn)[20]和文獻(xiàn)[27]的特點(diǎn)，輸入隨機(jī)變量與分類信息，輸出樣本為假和分類概率，該方法能夠在有條件生成樣本時(shí)輸出生成樣本所屬的類別。

3.2 基于生成器改進(jìn)的GAN模型

基于生成器進(jìn)行改進(jìn)的工作，旨在提高生成樣本質(zhì)量與避免模式崩潰問題，使模型能夠生成多種類的樣本，且同一種類內(nèi)的樣本具有多樣性。改進(jìn)的思路包括：使用集成學(xué)習(xí)（ensemble learning）的思想綜合多個(gè)弱生成器所學(xué)習(xí)到的模式、設(shè)計(jì)每個(gè)生成器專注于學(xué)習(xí)特定模式多生成器架構(gòu)，從而使模型整體包含多個(gè)模式，使用多智能體系統(tǒng)的思想使多個(gè)生成器之間產(chǎn)生競爭與合作的關(guān)系等。

AdaGAN模型[29]的提出者提出了一種融入集成學(xué)習(xí)思想的迭代訓(xùn)練算法。在單步迭代過程中，根據(jù)訓(xùn)練樣本與混合權(quán)值得到一個(gè)弱生成器，該弱生成器與上一輪迭代得到的弱生成器加權(quán)混合，得到本次迭代結(jié)果。若干輪迭代以后，生成器綜合了多個(gè)弱生成器各自學(xué)習(xí)到的模式，緩解了模式缺失導(dǎo)致的模式崩潰問題，并能夠生成出質(zhì)量較好的樣本。但是，混合多個(gè)生成器網(wǎng)絡(luò)導(dǎo)致輸入的隱空間不連續(xù)，不能像基本GAN模型那樣通過插值法得到新的隱變量。

MADGAN（multi-agent diverse GAN）[30]由多個(gè)生成器和一個(gè)判別器組成，其模型如圖8所示。其中，判別器負(fù)責(zé)判斷輸入樣本是真實(shí)樣本還是生成樣本，若為生成樣本則判斷它是由哪一個(gè)生成器所生成的。每個(gè)生成器專注于學(xué)習(xí)特定模式，模型使多個(gè)生成器各自學(xué)習(xí)到的p混合來近似data，模型最終得到的生成樣本來自多個(gè)學(xué)習(xí)到了不同模式的生成器，顯式地保證了生成樣本的多樣性，緩解了模式崩潰問題。

圖8 MADGAN模型

Figure 8 Model of MADGAN

MGAN[31]緩解模式崩潰問題的思路與文獻(xiàn)[30]類似，其模型如圖9所示。該模型設(shè)計(jì)了一種與判別器權(quán)值共享但去除掉Softmax層的分類器，用于承擔(dān)判斷生成樣本所屬生成器的功能，判別器僅負(fù)責(zé)判別樣本為真實(shí)樣本還是生成樣本。

圖9 MGAN模型

Figure 9 Model of MGAN

文獻(xiàn)[32]提出一種引入消息傳遞機(jī)制的多生成器MPMGAN（message passing multi-agent GAN）模型，如圖10所示。生成器輸出作為傳遞給其他生成器的消息。在消息共享機(jī)制的作用下，所有生成器都有合作目標(biāo)、競爭目標(biāo)兩種目標(biāo)。合作目標(biāo)鼓勵(lì)其他生成器的生成樣本優(yōu)于自身的生成樣本；競爭目標(biāo)促使自身的生成樣本優(yōu)于其他生成器的生成樣本。兩種目標(biāo)共同作用使生成樣本質(zhì)量得以優(yōu)化。

3.3 基于判別器改進(jìn)的GAN模型

GAN模型訓(xùn)練過程中，最初的生成樣本質(zhì)量較差，判別器可以簡單地區(qū)分樣本，這導(dǎo)致生成器初始訓(xùn)練速度慢。改進(jìn)判別器，使其符合生成器當(dāng)前能力有助于加快訓(xùn)練，使其識(shí)別多種模式可以緩解模式崩潰問題。改進(jìn)思路包括使單一判別器能識(shí)別出更多模式，以及使多個(gè)判別器中的每個(gè)判別器專注于識(shí)別特定模式等。PacGAN模型如圖11所示。

圖10 MPMGAN模型

Figure10 Model of MPMGAN

PacGAN[33]將同一類的多個(gè)樣本“打包”后一起輸入判別器，以此保證每次判別器輸入的樣本都具有多樣性。由于判別器每次接受輸入時(shí)都能感知到樣本的多樣性，生成器試圖欺騙判別器時(shí)，需要保證生成樣本的多樣性，這有助于緩解模式崩潰問題。

圖11 PacGAN模型

Figure11 Model of PacGAN

GMAN（generative multi-adversarial networks）模型[34]的提出者認(rèn)為過度改進(jìn)判別器會(huì)使目標(biāo)函數(shù)過于苛刻，反而抑制生成器學(xué)習(xí)，因此提出一種結(jié)合集成學(xué)習(xí)的方法，通過設(shè)置多個(gè)判別器，生成器從多判別器聚合結(jié)果中學(xué)習(xí)，從而使網(wǎng)絡(luò)加速收斂。GMAN模型如圖12所示。

圖12 GMAN模型

Figure12 Model of GMAN

DropoutGAN[35]設(shè)置了一組判別器，在每批樣本訓(xùn)練結(jié)束時(shí)，以一定概率刪除該結(jié)果，將剩余結(jié)果聚合后反饋到生成器，以此使生成器不局限于欺騙特定判別器。DropoutGAN模型的提出者認(rèn)為模式崩潰問題是生成器對(duì)特定判別器或靜態(tài)集成判別器的過度擬合，即生成器學(xué)習(xí)到了使判別器輸出真值的特殊條件而非學(xué)習(xí)到了樣本模式，而該模型的結(jié)構(gòu)中，判別器集合是動(dòng)態(tài)變化的，生成器無法學(xué)習(xí)到欺騙判別器的特殊條件，從而使生成器學(xué)習(xí)多種樣本模式，有助于緩解模式崩潰問題。DropoutGAN模型如圖13所示。

D2GAN（dual discriminator GAN）[36]設(shè)置了兩個(gè)判別器1、2，分別使用正向KL散度及逆向KL散度，以充分利用二者互補(bǔ)的統(tǒng)計(jì)特性。其中1通過正確判定樣本來自真實(shí)樣本分布獲得獎(jiǎng)勵(lì)，2則通過正確判定樣本來自生成樣本分布獲得獎(jiǎng)勵(lì)。生成器同時(shí)欺騙兩個(gè)判別器，以此來提升生成樣本的質(zhì)量。D2GAN模型如圖14所示。

圖13 DropoutGAN模型

Figure13 Model of DropoutGAN

圖14 D2GAN模型

Figure14 Model ofD2GAN

StabilizingGAN模型[37]的提出者認(rèn)為真實(shí)樣本在空間中集中分布，而生成樣本初始時(shí)在空間中分散分布，導(dǎo)致訓(xùn)練初期判別器能夠準(zhǔn)確判斷出幾乎所有生成樣本，產(chǎn)生無效梯度，使生成器訓(xùn)練緩慢。因此，他們提出同時(shí)訓(xùn)練一組視角受限的判別器，每個(gè)判別器都專注于空間中的一部分投影，生成器逐漸滿足所有判別器的限制，以此穩(wěn)定訓(xùn)練，提升生成樣本質(zhì)量。

在EBGAN（energy-based GAN）模型[38]（如圖15所示）中引入了能量函數(shù)的方法，事物間差異越大能量越高，故而真實(shí)分布附近樣本具有較低能量。其研究者設(shè)計(jì)了一個(gè)由編碼器和解碼器構(gòu)成的判別器，使用MSE（mean square error）衡量生成樣本與真實(shí)樣本的差異并作為能量函數(shù)，生成器目標(biāo)為生成最小化能量的生成樣本。BEGAN[39]（boundary equilibrium GAN）使用自編碼器替代文獻(xiàn)[38]中的判別器。

3.4 基于多模塊組合改進(jìn)的GAN模型

除了更好地?cái)M合真實(shí)樣本分布之外，提升網(wǎng)絡(luò)收斂的速度、提高生成圖片的清晰度、將其應(yīng)用在半監(jiān)督學(xué)習(xí)上等同樣是GAN模型改進(jìn)的方向。這類研究工作通過調(diào)整模塊結(jié)構(gòu)，對(duì)不同的影響因素加以優(yōu)化處理，使模型達(dá)到特定目的。

圖15 EBGAN模型

Figure 15 Model of EBGAN

GRAN[40]（generative recurrent adversarial networks）是一種遞歸生成模型，它反復(fù)生成以上一狀態(tài)為條件的輸出，最終得到更符合人類直覺的生成樣本。

StackGAN[41]以文獻(xiàn)[20]為基礎(chǔ)構(gòu)建了一種兩階段模型（如圖16所示）。它將文本描述作為額外信息，階段一生成較低分辨率的圖像并輸出至階段二，階段二輸出較高分辨率的圖像，從而提高生成圖像的分辨率。

圖16 StackGAN模型

Figure 16 Model of StackGAN

ProgressGAN模型[42]的提出者認(rèn)為小尺度圖像能夠保證多樣性且細(xì)節(jié)不丟失，他們使用多個(gè)且逐漸增大的WGAN-GP[62]網(wǎng)絡(luò)，逐步訓(xùn)練最終生成高清圖像。

TripleGAN[43]通過增加一個(gè)分類器網(wǎng)絡(luò)，為真實(shí)樣本生成標(biāo)簽，生成器為真實(shí)標(biāo)簽生成樣本，判別器判別接收的樣本標(biāo)簽對(duì)是否為有真實(shí)標(biāo)簽的真實(shí)樣本，從而同時(shí)訓(xùn)練出效果較好的分類器和生成器，將GAN的能力擴(kuò)展到可以為無標(biāo)簽樣本打標(biāo)簽。TripleGAN模型如 圖17所示。

圖17 TripleGAN模型

Figure 17 Model of TripleGAN

ControlGAN模型[44]的提出者認(rèn)為文獻(xiàn)[20]中的判別器同時(shí)承擔(dān)了真實(shí)樣本分類與判別真假樣本兩個(gè)任務(wù)，因此將其拆分為獨(dú)立的分類器和判別器，從而在有條件生成樣本時(shí)更細(xì)粒度地控制生成樣本的特征。ControlGAN模型如圖18所示。

圖18 ControlGAN模型

Figure 18 Model of ControlGAN

SGAN[45]（several local pairs GAN）使用若干組局部網(wǎng)絡(luò)對(duì)和一組全局網(wǎng)絡(luò)對(duì)，每組網(wǎng)絡(luò)對(duì)有一個(gè)生成器與一個(gè)判別器。局部網(wǎng)絡(luò)對(duì)使用固定的配對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，不同局部網(wǎng)絡(luò)對(duì)之間沒有信息交互，全局網(wǎng)絡(luò)利用局部網(wǎng)絡(luò)進(jìn)行訓(xùn)練。由于每一個(gè)局部網(wǎng)絡(luò)對(duì)都可以學(xué)到一種模式，在使用局部網(wǎng)絡(luò)對(duì)更新全局網(wǎng)絡(luò)對(duì)后，能夠保證全局網(wǎng)絡(luò)對(duì)綜合了多種模式，從而緩解模式崩潰問題。SGAN模型如圖19所示。

MemoryGAN模型[46]的提出者認(rèn)為隱空間具有連續(xù)的分布，但不同種類的結(jié)構(gòu)卻具有不連續(xù)性，因此在網(wǎng)絡(luò)中加入存儲(chǔ)網(wǎng)絡(luò)供生成器和判別器訪問，使生成器和判別器學(xué)習(xí)數(shù)據(jù)的聚類分布以優(yōu)化該問題。

圖19 SGAN模型

Figure 19 Model of SGAN

3.5 基于模型交叉思想改進(jìn)的GAN模型

結(jié)合其他生成模型思想及其他領(lǐng)域思想對(duì)GAN模型進(jìn)行改進(jìn)，同樣可以起到優(yōu)化模型表現(xiàn)或拓展模型應(yīng)用場(chǎng)景的效果。

DCGAN[7]使用去除池化層的CNN（convolutional neural network）替代基本GAN模型中的多層感知機(jī)（如圖20所示），并使用全局池化層替代全連接層以減少計(jì)算量，以提高生成樣本的質(zhì)量，優(yōu)化訓(xùn)練不穩(wěn)定的問題。

圖20 DCGAN模型中的CNN

Figure 20 CNN of DCGAN model

CapsuleGAN[47]使用膠囊網(wǎng)絡(luò)作為判別器的框架（如圖21所示）。膠囊網(wǎng)絡(luò)可以用于替代神經(jīng)元，將節(jié)點(diǎn)輸出由一個(gè)值轉(zhuǎn)變?yōu)橐粋€(gè)向量，神經(jīng)元用于檢測(cè)某個(gè)特定模式，而膠囊網(wǎng)絡(luò)可以檢測(cè)某個(gè)種類的模式，以此提高判別器的泛化能力，從而提高生成樣本質(zhì)量。

圖21 CapsuleGAN的基本原理

Figure 21 Basic theory of CapsuleGAN

VAEGAN[48]利用GAN來提高VAE生成樣本的質(zhì)量。其觀點(diǎn)是：在VAE中，編碼器將真實(shí)分布編碼到隱空間，而解碼器將隱空間恢復(fù)為真實(shí)分布。單獨(dú)解碼器即可用作生成模型，但生成樣本質(zhì)量較差，因此再將其輸入判別器中。

DEGAN（decoder-encoder GAN）模型[49]的提出者認(rèn)為輸入的隨機(jī)變量服從高斯分布，因此生成器需將整個(gè)高斯分布映射到圖像，無法反映真實(shí)樣本分布。因此借鑒VAE的思想，在GAN中加入預(yù)訓(xùn)練的編碼器與解碼器，將隨機(jī)變量映射為含有真實(shí)樣本分布信息的變量，再傳遞給GAN，從而加速收斂并提高生成質(zhì)量。

AAE（adversarial auto-encoder）[50]通過在AE（auto-encoder）的隱藏層中增加對(duì)抗的思想來結(jié)合AE與GAN。判別器通過判斷數(shù)據(jù)是來自隱藏層還是真實(shí)樣本，使編碼器的分布向真實(shí)樣本分布靠近。

BiGAN[51]使用編碼器來提取真實(shí)樣本特征，使用解碼器來模仿生成器，并使用判別器來辨別特征樣本對(duì)來自編碼器還是解碼器，最終使編碼方式和解碼方式趨近于互逆，從而使隨機(jī)變量與真實(shí)數(shù)據(jù)形成映射。ALi[52]和BiGAN本質(zhì)相同，二者僅有細(xì)微區(qū)別。BiGAN模型如圖22所示。

圖22 BiGAN模型

Figure 22 Model of BiGAN

MatAN（matching adversarial network）[53]使用孿生網(wǎng)絡(luò)替換判別器，以將正確標(biāo)簽考慮在生成器目標(biāo)函數(shù)中。孿生網(wǎng)絡(luò)用于衡量真實(shí)數(shù)據(jù)與生成數(shù)據(jù)的相似度。該方法對(duì)加快生成器訓(xùn)練有效。

SAGAN（self-attention GAN）模型[54]的提出者認(rèn)為GAN在合成結(jié)構(gòu)約束少的種類上表現(xiàn)較好，但難以捕捉復(fù)雜的模式，通過在網(wǎng)絡(luò)中引入自注意力機(jī)制以解決該問題。

KDGAN[55]運(yùn)用KD（knowledge distillation）的思想，模型包含作為學(xué)生網(wǎng)絡(luò)的輕量分類器、大型復(fù)雜教師網(wǎng)絡(luò)及判別器，其中，分類器和教師網(wǎng)絡(luò)都生成標(biāo)簽，二者通過互相蒸餾輸出學(xué)習(xí)彼此的知識(shí)，最終可訓(xùn)練得到表現(xiàn)較好的輕量級(jí)分類器。

IRGAN[56]利用GAN將IR（information retrieval）領(lǐng)域中的生成式檢索模型與判別式檢索模型相結(jié)合，對(duì)于生成器采用基于策略梯度的強(qiáng)化學(xué)習(xí)來訓(xùn)練，從而在典型的信息檢索任務(wù)中取得較好的表現(xiàn)。IRGAN模型如圖23所示。

圖23 IRGAN模型

Figure 23 Model of IRGAN

LapGAN[57]使用了圖像處理領(lǐng)域的思想，同時(shí)使用三組cGAN[20]，按照高斯金字塔的模式對(duì)圖像逐級(jí)下采樣訓(xùn)練網(wǎng)絡(luò)，按照拉普拉斯金字塔的模式對(duì)圖像逐級(jí)上采樣，從而達(dá)到從模糊圖像中重構(gòu)高像素圖像的目的。

QuGAN[58]將GAN的思想與量子計(jì)算的思想相結(jié)合，將生成器類比生成線路，判別器類比判別線路，生成線路盡可能模仿真實(shí)線路的波函數(shù)，判別線路盡可能僅通過對(duì)輔助比特的測(cè)量來確定輸入的波函數(shù)來自生成線路還是真實(shí)線路。

BayesianGAN模型[59]的提出者認(rèn)為GAN隱式學(xué)習(xí)分布的方法難以顯式建模，因此提出使用隨機(jī)梯度哈密頓蒙特卡洛方法來邊際化兩個(gè)神經(jīng)網(wǎng)絡(luò)的權(quán)值，從而使數(shù)據(jù)表示具有可解釋性。

4 基于訓(xùn)練過程改進(jìn)的GAN衍生模型

GAN模型的訓(xùn)練目標(biāo)是使生成器學(xué)習(xí)到一個(gè)與真實(shí)樣本分布盡可能相似的生成樣本分布，需要有一個(gè)合理的樣本分布距離度量方法用于衡量兩個(gè)分布的相似程度。此外，神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程是使用梯度下降等方法使神經(jīng)網(wǎng)絡(luò)損失函數(shù)值越來越小的過程，因此優(yōu)化損失函數(shù)的計(jì)算也是改進(jìn)GAN模型訓(xùn)練過程的一個(gè)方向。在這兩個(gè)方面加以研究，有助于改善GAN模型訓(xùn)練過程遇到的不穩(wěn)定、難收斂等問題，提升模型表現(xiàn)。

4.1 基于分布距離度量改進(jìn)的GAN模型

目前應(yīng)用于GAN中的分布距離度量有兩大主流方法：基于f-散度，選擇合理的()制造不同的GAN；基于IPM（integral probability metric）框架，選擇合理的函數(shù)空間制造不同的GAN。

f-GAN模型[60]的提出者認(rèn)為KLD是分布距離度量的一種特殊情況，并提出了其推廣方式。給定任意兩個(gè)分布、，()、()分別為其絕對(duì)連續(xù)的密度函數(shù)，是定義域?yàn)棣值南掳脒B續(xù)凸函數(shù)且滿足(1)=0，定義f-散度為

借助凸函數(shù)的Fenchel共軛函數(shù)可以將f-散度定義GAN的目標(biāo)函數(shù)表示為

由此，可以選擇滿足不同條件的函數(shù)來訓(xùn)練GAN模型，且GAN的基本模型可以被認(rèn)為是f-GAN的一個(gè)特例，其他滿足f-GAN要求的模型包括LSGAN[61]（least squares GAN）中使用的Personχ2散度、EBGAN[38]中使用的總體方差等。

IPM[80]是一種度量兩個(gè)分布之間距離的方法，它首先規(guī)定一個(gè)實(shí)值函數(shù)集，再尋找集合中使式(9)中兩個(gè)分布差異最大的函數(shù)，將最大差異值定義為分布距離。通過式(8)計(jì)算得到的值是真實(shí)值而非概率值。

WGAN模型[11]的提出者指出JSD在生成分布與真實(shí)分布無交集時(shí)會(huì)引起生成器梯度消失，當(dāng)判別器表現(xiàn)足夠好時(shí)，KLD與JSD會(huì)給出不一致的結(jié)果，影響網(wǎng)絡(luò)收斂，因此使用Wasserstein距離來取代原有衡量方法，其定義如式(10)所示，其中(data,p)指所有邊緣分布為data和p的聯(lián)合概率分布。

文獻(xiàn)[11]進(jìn)一步提出，判別器需要滿足1-Lipschitz條件以保證其優(yōu)化目標(biāo)有界。其思想為：如果局部最小點(diǎn)附近梯度范圍較小，那么細(xì)微擾動(dòng)對(duì)輸出影響較低，模型泛化能力較好，也較穩(wěn)定。Lipschitz條件的定義如式(11)所示。

為滿足該條件，WGAN使用截?cái)嘁韵拗婆袆e器網(wǎng)絡(luò)權(quán)值取值范圍，這使得判別器網(wǎng)絡(luò)中大部分權(quán)值落在邊界上，此時(shí)生成器無法獲得有效的梯度并進(jìn)行學(xué)習(xí)，這可能引發(fā)模式崩潰。WGAN-GP[62]使用式(12)定義的L2梯度懲罰項(xiàng)替代截?cái)?，使限制不過于極端。

文獻(xiàn)[63]提出了如式(13)所示的新梯度懲罰項(xiàng)對(duì)WGAN-GP進(jìn)行改進(jìn)，即WGAN-LP，它可以穩(wěn)定訓(xùn)練，降低網(wǎng)絡(luò)對(duì)梯度懲罰項(xiàng)的敏感性。

BWGAN（Banach WGAN）模型[64]的提出者認(rèn)為WGAN-GP必須使用L2范數(shù)使其失去在特定應(yīng)用場(chǎng)景下選擇其他范數(shù)的能力，因此對(duì)梯度懲罰項(xiàng)進(jìn)行泛化，使模型適用范圍從希爾伯特空間推廣到巴拿赫空間。

CT-GAN模型[65]的提出者認(rèn)為WGAN-GP的梯度懲罰項(xiàng)在訓(xùn)練迭代次數(shù)有限的情況下僅在判別器輸入樣本附近有效，且當(dāng)兩分布距離較遠(yuǎn)時(shí)梯度懲罰項(xiàng)不能保證真實(shí)樣本分布的連續(xù)性，因此在其目標(biāo)函數(shù)上增加一項(xiàng)用于約束來自真實(shí)樣本輸入產(chǎn)生的梯度，其定義如式(14)所示。

文獻(xiàn)[66]提出介于WGAN與WGAN-GP間的折中方案，即RWGAN（relaxed WGAN），它同時(shí)使用非對(duì)稱截?cái)嗯c梯度懲罰項(xiàng)，說明了該散度在DRO（distribution ally robust optimization）和RPO（robust portfolio optimization）問題上有較好的表現(xiàn)。

CramerGAN模型[67]的提出者認(rèn)為使用Wasserstein距離訓(xùn)練GAN時(shí)會(huì)產(chǎn)生有偏樣本梯度，可能導(dǎo)致優(yōu)化到錯(cuò)誤的最小值，因此提出了可以作為分布距離無偏估計(jì)量的Cramer距離作為其替代方法。

文獻(xiàn)[18]提出使用譜范數(shù)來約束神經(jīng)網(wǎng)絡(luò)權(quán)值最大變化范圍，具體做法是使用譜歸一化方法，即判別器網(wǎng)絡(luò)的權(quán)值矩陣除以T最大特征值平方根可以使判別器網(wǎng)絡(luò)滿足Lipschitz條件。

WGAN-div[68]利用文獻(xiàn)[81]中給出的結(jié)論，得出一種既無須滿足Lipschitz條件又保持Wasserstein距離性質(zhì)的方法，將其稱為Wasserstein散度。

McGAN[69]（mean and covariance WGAN）在IPM基礎(chǔ)上結(jié)合了MMD（maximum mean discrepancy）的思想，MMD可以在RKHS（reproducing kernel Hilbert space）中度量分布差異。文獻(xiàn)[67]將分布距離定義為具有權(quán)值矩陣的生成器網(wǎng)絡(luò)分別接受真實(shí)樣本和生成樣本輸入后，所輸出均值差異的最大值，并在此基礎(chǔ)上進(jìn)一步同時(shí)考慮方差特征。

GMMN（generative moment matching networks）模型[70]的提出者認(rèn)為GAN的極小極大問題難以優(yōu)化，因此提出直接以MMD的平方作為生成器目標(biāo)函數(shù)，其定義如式(15)所示。

MMDGAN[71]基于GMMN進(jìn)行改進(jìn)，引入了GAN的對(duì)抗學(xué)習(xí)思想，將核變換由固定的高斯核函數(shù)轉(zhuǎn)換為神經(jīng)網(wǎng)絡(luò)對(duì)抗學(xué)習(xí)得出的核函數(shù)，從而改進(jìn)了GMMN生成樣本的質(zhì)量。

FisherGAN[72]在IPM基礎(chǔ)上結(jié)合了Fisher判別分析思想，即利用投影技術(shù)降維并得到同一類組內(nèi)偏差與不同類組間偏差，使用凸優(yōu)化方法尋找使組內(nèi)偏差最小化、組間偏差最大化的平面以分割不同類別。該方法在判別器的二階矩上引入數(shù)據(jù)相關(guān)約束以區(qū)分兩種分布，提升了GAN在半監(jiān)督學(xué)習(xí)上的效果。

IGAN（improved GAN）[73]采用最大平均偏差的思想，提出了新的目標(biāo)函數(shù)，使生成樣本和真實(shí)樣本在通過判別器網(wǎng)絡(luò)時(shí)中間層的特征盡可能相同，還將樣本以小批量的方式輸入判別器進(jìn)行訓(xùn)練，防止其快速收斂到特定的點(diǎn)，此外，在損失函數(shù)中增加一項(xiàng)用以使梯度持續(xù)向均衡點(diǎn)更新，對(duì)標(biāo)簽設(shè)置參數(shù)進(jìn)行平滑處理，通過這些方法的綜合使用提升GAN在半監(jiān)督學(xué)習(xí)上的效果。

MIX+GAN模型[74]的提出者認(rèn)為JSD與Wasserstein距離均無法較好地衡量模型泛化能力，因此提出一種基于判別器的神經(jīng)網(wǎng)絡(luò)距離用于衡量模型泛化能力，并說明了使用該距離訓(xùn)練更穩(wěn)定。

OT（optimal transport）理論提供了一種衡量分布距離的方法，旨在找到一種在給定損失函數(shù)上的傳輸方案，使一種概率測(cè)度轉(zhuǎn)移為另一種概率測(cè)度的總成本最小。OT-GAN[75]將最優(yōu)傳輸中的Sinkhorn算法與文獻(xiàn)[67]相結(jié)合，提出了最小批處理能量距離。文獻(xiàn)[75]利用該距離使用判別器將生成樣本與真實(shí)樣本的特征在隱空間中對(duì)齊，并對(duì)特征的距離進(jìn)行最小化。

MMGAN[76]（manifold matching GAN）引入流形學(xué)習(xí)思想，即高維數(shù)據(jù)是低維數(shù)據(jù)含有冗余的映射，樣本作為高維數(shù)據(jù)，通?？稍O(shè)法在低維空間唯一表示。文獻(xiàn)[74]將真實(shí)分布與生成分布各作為一個(gè)流形，判別器網(wǎng)絡(luò)不輸出一個(gè)值，而是直接輸出樣本的向量表示，訓(xùn)練目的是使兩個(gè)流形盡可能地匹配。

4.2 基于梯度計(jì)算過程改進(jìn)的GAN模型

使用梯度下降等方法訓(xùn)練神經(jīng)網(wǎng)絡(luò)的過程是使損失函數(shù)值越來越小的過程，因此優(yōu)化損失函數(shù)的計(jì)算使其在訓(xùn)練過程中穩(wěn)定而不產(chǎn)生梯度消失等問題，可以提升模型收斂速度，提高生成樣本質(zhì)量。

MAGAN（margin adaptation GAN）模型[77]的提出者基于EBGAN中引入合頁損失函數(shù)從而忽略高能量的生成樣本這一思想，進(jìn)一步提出自適應(yīng)合頁損失函數(shù)，即引入損失函數(shù)裕度，并根據(jù)能量預(yù)期自動(dòng)調(diào)節(jié)裕度，以此提高模型穩(wěn)定性。

LSGAN模型[61]的提出者認(rèn)為判別器使用sigmoid函數(shù)可能導(dǎo)致訓(xùn)練過程中梯度消失，因此提出使用最小二乘損失函數(shù)加以解決。

SoftmaxGAN模型[78]的提出者認(rèn)為Softmax損失函數(shù)梯度始終非零，不會(huì)造成判別器訓(xùn)練過程中梯度消失的問題，因此可以用于替代基本GAN模型中判別器網(wǎng)絡(luò)使用的二值交叉熵?fù)p失函數(shù)。

RGAN（relativistic GAN）模型[79]的提出者認(rèn)為判別器未將“輸入樣本一半為真實(shí)樣本，一半為生成樣本”作為先驗(yàn)知識(shí)加以利用，即未考慮真實(shí)樣本對(duì)訓(xùn)練的影響，生成器應(yīng)當(dāng)既能提升生成樣本被判別為真實(shí)樣本的概率，又能降低真實(shí)樣本被判別為真實(shí)的概率。文獻(xiàn)[77]通過重新定義判別器的損失函數(shù)提高了生成樣本的質(zhì)量和訓(xùn)練穩(wěn)定性。記判別器原始輸出為()，激活函數(shù)為，則有

5 GAN模型的評(píng)價(jià)指標(biāo)

GAN模型的評(píng)價(jià)指標(biāo)用于定性或定量評(píng)價(jià)GAN模型的生成效果。文獻(xiàn)[82]認(rèn)為好的評(píng)價(jià)指標(biāo)應(yīng)偏向具有如下特點(diǎn)的模型：生成樣本與真實(shí)樣本相似；生成樣本在類內(nèi)、類間保持多樣化；模型在隱空間采樣可控；對(duì)改變樣本語義的失真和變化敏感。同時(shí)指標(biāo)自身應(yīng)該具有的特點(diǎn)包括：有明確的值域且值的大小能夠反映對(duì)模型較好或較差的評(píng)價(jià)、對(duì)樣本數(shù)量的需求低、計(jì)算復(fù)雜度低等。

IS（inception scores）模型[73]的提出者認(rèn)為質(zhì)量較高的生成樣本更容易被明確地分類，且生成樣本在各個(gè)類中均勻分布時(shí)樣本多樣性較好。以使用Inception-v3[83]作為分類器為例，預(yù)訓(xùn)練好的模型接收一幅圖像作為輸入，輸出一個(gè)1 000維向量，每一維值為輸入屬于某一類別的概率。樣本質(zhì)量越高，輸出向量中的某一個(gè)值越趨近于1，而其他值越趨近于0，樣本多樣性越好，樣本在不同類上的分布越趨向均勻分布。IS指標(biāo)可定義為式(17)，其值越大說明模型越好。

IS有一些衍生指標(biāo)。MS[84]（mode score）與IS類似，但考慮了真實(shí)樣本上標(biāo)簽的先驗(yàn)分布。m-IS[24]（modified inception score）在IS基礎(chǔ)上通過對(duì)劃分到同一類的樣本計(jì)算交叉熵來對(duì)類內(nèi)樣本多樣性進(jìn)行衡量。AM Score[85]在IS基礎(chǔ)上考慮真實(shí)樣本數(shù)據(jù)分布不均勻的情況，要求最小化生成樣本與真實(shí)樣本的標(biāo)簽分布的KLD。

文獻(xiàn)[86]詳細(xì)探討了IS指標(biāo)的局限性。從適用范圍來說，它要求分類模型與生成模型在同一數(shù)據(jù)集上訓(xùn)練，且分類模型參數(shù)的輕微變動(dòng)會(huì)影響計(jì)算結(jié)果；從計(jì)算過程來說，計(jì)算經(jīng)驗(yàn)分布的數(shù)據(jù)量過少會(huì)影響計(jì)算結(jié)果；從意義上來說，IS的兩個(gè)基本觀點(diǎn)不夠合理，因此IS值較大不能代表生成模型較好，即單獨(dú)使用IS作為評(píng)價(jià)指標(biāo)是不足的。

FID（Fréchet Inception distance）[87]的主要思想是：既然預(yù)訓(xùn)練網(wǎng)絡(luò)模型可以提取樣本特征信息，那么分別提取真實(shí)樣本與生成樣本特征信息，假設(shè)特征符合多元高斯分布，再計(jì)算分布間Fréchet距離，距離近則生成圖片質(zhì)量較高，多樣性較好。記真實(shí)樣本和生成樣本特征均值分別為data和μ，data和分別為兩者的協(xié)方差矩陣，F(xiàn)ID的定義如下。

FID值越小，說明生成模型表現(xiàn)越好。FID比IS更合理，避免了許多IS的缺陷，在實(shí)際應(yīng)用中較為有效，但其多元高斯分布的假設(shè)在實(shí)際中不成立。

1-NN分類器（1-nearest neighbor classifier）[88]的做法是為真實(shí)樣本打上正標(biāo)簽，為生成樣本打上負(fù)標(biāo)簽，分類器每次判斷一對(duì)圖像，計(jì)算保留正標(biāo)簽樣本的準(zhǔn)確率，準(zhǔn)確率越靠近50%，說明分布距離越近，則GAN的效果越好。

GAN-train & GAN-test[89]用于評(píng)價(jià)生成多種類樣本的GAN，它包含3個(gè)指標(biāo)：GAN-train是使用生成樣本訓(xùn)練分類器網(wǎng)絡(luò)，再使用該網(wǎng)絡(luò)對(duì)真實(shí)樣本進(jìn)行分類得到的準(zhǔn)確率，用于衡量生成樣本的多樣性；GAN-test是使用真實(shí)樣本訓(xùn)練分類器網(wǎng)絡(luò)，再使用該網(wǎng)絡(luò)對(duì)生成樣本進(jìn)行分類得到的準(zhǔn)確率，用于衡量生成樣本的真實(shí)性；GAN-base是用真實(shí)樣本訓(xùn)練分類器網(wǎng)絡(luò)，再使用該網(wǎng)絡(luò)對(duì)真實(shí)樣本進(jìn)行分類得到的準(zhǔn)確率，當(dāng)GAN的效果較好時(shí)，GAN-train、GAN-test與GAN-base的值接近。

NRDS[90]（normalized relative discriminative score）使用帶有正標(biāo)簽的真實(shí)樣本和帶有負(fù)標(biāo)簽的生成樣本訓(xùn)練分類器網(wǎng)絡(luò)，認(rèn)為只要在樣本上訓(xùn)練足夠多輪，生成器總可以將真實(shí)樣本和生成樣本區(qū)分開，且訓(xùn)練的輪數(shù)越多，認(rèn)為生成樣本與真實(shí)樣本越接近。

總而言之，目前GAN的評(píng)價(jià)指標(biāo)尚未形成統(tǒng)一的標(biāo)準(zhǔn)，不少評(píng)價(jià)指標(biāo)的假設(shè)基于人的主觀感受提出，缺乏嚴(yán)謹(jǐn)?shù)睦碚撘罁?jù)。所以，在對(duì)GAN模型進(jìn)行評(píng)價(jià)時(shí)，通常根據(jù)評(píng)價(jià)的側(cè)重點(diǎn)，選取更適合的指標(biāo)，或者自行設(shè)計(jì)新的評(píng)價(jià)指標(biāo)。

6 GAN的挑戰(zhàn)和研究方向

目前，雖然在GAN的研究方面取得了很大的進(jìn)展，但仍存在一些復(fù)雜的問題需要研究和解決。

6.1 模式崩潰問題

盡管現(xiàn)有研究在解決模式崩潰問題上進(jìn)行了很多嘗試，也取得了一些進(jìn)展，但如何解決模式崩潰問題依然是GAN面臨的主要挑戰(zhàn)。

針對(duì)GAN發(fā)生模式崩潰的原因，已有一些研究工作嘗試給予解釋：文獻(xiàn)[91]將生成器視為一個(gè)維流形的參數(shù)化描述，當(dāng)流形上某點(diǎn)的切線空間維數(shù)小于，導(dǎo)致在該點(diǎn)沿一些方向進(jìn)行變化時(shí)，數(shù)據(jù)的變化無效，因此生成器會(huì)產(chǎn)生單一的數(shù)據(jù)；文獻(xiàn)[92]基于最優(yōu)傳輸理論，認(rèn)為生成器將隱空間的分布映射為流形上的分布是一個(gè)傳輸映射，它具有間斷點(diǎn)，是非連續(xù)映射，但神經(jīng)網(wǎng)絡(luò)目前僅能近似連續(xù)映射，從而導(dǎo)致生成無意義結(jié)果并引發(fā)模式崩潰；文 獻(xiàn)[93]認(rèn)為當(dāng)模式崩潰發(fā)生時(shí)，判別器網(wǎng)絡(luò)權(quán)值矩陣的奇異值急劇減小，可從該問題入手解決模式崩潰問題。

與普通神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程相比，GAN模型中存在生成器與判別器之間的博弈機(jī)制，這使得GAN模式崩潰問題變得復(fù)雜。總而言之，GAN模式崩潰問題研究工作尚處于起步階段，研究出發(fā)的角度多樣，未形成一個(gè)統(tǒng)一的框架來解釋該問題。今后的工作如果能從GAN的博弈機(jī)制出發(fā)，將生成器和判別器兩方面的相關(guān)因素綜合起來，會(huì)有助于該問題的解決。

6.2 訓(xùn)練集樣本的影響

神經(jīng)網(wǎng)絡(luò)的表現(xiàn)主要取決于模型自身的特點(diǎn)，以及訓(xùn)練使用的真實(shí)樣本集。同樣，GAN模型的訓(xùn)練學(xué)習(xí)的質(zhì)量也受制于訓(xùn)練樣本集的影響。

一方面，樣本集的自身內(nèi)在數(shù)據(jù)分布情況可能會(huì)影響GAN的訓(xùn)練效率和生成質(zhì)量。例如，文獻(xiàn)[94]在樣本集上定義了類內(nèi)距離集與類間距離集，并依此提出基于距離的可分性指數(shù)，用于量化樣本可分性，并指出當(dāng)不同種類樣本按相同分布混合時(shí)最難以區(qū)分，使用這種樣本集進(jìn)行有監(jiān)督學(xué)習(xí)時(shí)很難使模型有較好表現(xiàn)。這對(duì)于GAN的樣本生成質(zhì)量評(píng)價(jià)指標(biāo)設(shè)計(jì)具有借鑒意義。

另一方面，GAN模型的一大特點(diǎn)是學(xué)習(xí)真實(shí)樣本分布，因此需要足夠多真實(shí)樣本進(jìn)行訓(xùn)練才能有較好表現(xiàn)，研究如何使用小規(guī)模訓(xùn)練集得到較好的GAN模型是具有挑戰(zhàn)和意義的。GAN模型對(duì)訓(xùn)練集質(zhì)量也有較高要求，而高質(zhì)量的數(shù)據(jù)集往往難以獲得，因此研究哪些數(shù)據(jù)會(huì)影響模型表現(xiàn)，如何規(guī)避低質(zhì)量樣本帶來的負(fù)面影響，以降低對(duì)訓(xùn)練集質(zhì)量的高要求，成為今后的研究方向。

此外，在降低訓(xùn)練集樣本數(shù)量需求方面已有一些研究。文獻(xiàn)[95]通過遷移學(xué)習(xí)，在預(yù)訓(xùn)練的生成器網(wǎng)絡(luò)和判別器網(wǎng)絡(luò)上使用適當(dāng)?shù)臉颖具M(jìn)行微調(diào)，但樣本嚴(yán)重不足或樣本與預(yù)訓(xùn)練數(shù)據(jù)區(qū)別較大時(shí)效果不佳。文獻(xiàn)[96]認(rèn)為網(wǎng)絡(luò)權(quán)值的奇異值與生成樣本的語義有關(guān)，因此通過對(duì)網(wǎng)絡(luò)權(quán)值進(jìn)行奇異值分解，微調(diào)預(yù)訓(xùn)練模型的奇異值來達(dá)到使用較少樣本訓(xùn)練的目的。文獻(xiàn)[97]在GAN上使用元學(xué)習(xí)，在小樣本訓(xùn)練問題上取得了一定的效果。文獻(xiàn)[98]使用重建損失和三元組損失改造GAN的損失函數(shù)，從而將自監(jiān)督學(xué)習(xí)的思想引入GAN中，在小樣本訓(xùn)練問題上取得了一些效果。文獻(xiàn)[99]設(shè)計(jì)了自適應(yīng)判別器增強(qiáng)方法，將訓(xùn)練集所需數(shù)據(jù)縮小為原有的1/10～1/20。

對(duì)于降低訓(xùn)練集樣本質(zhì)量需求的研究已有一些研究。文獻(xiàn)[100]提出構(gòu)建噪聲標(biāo)簽轉(zhuǎn)移模型，將其合并在文獻(xiàn)[28]的分類器中，從而排除有監(jiān)督學(xué)習(xí)場(chǎng)景下標(biāo)簽噪聲的影響。NRGAN[101]在模型中設(shè)置了圖像生成器和噪聲生成器，分別用以學(xué)習(xí)真實(shí)樣本中的數(shù)據(jù)分布和噪聲分布，從而在無須預(yù)知噪聲分布的情況下從有噪訓(xùn)練集中生成無噪樣本。

目前，有關(guān)訓(xùn)練集樣本對(duì)GAN的影響的研究仍處于初期，縮小訓(xùn)練集規(guī)模往往導(dǎo)致對(duì)復(fù)雜模式支持較差，而降低訓(xùn)練集樣本質(zhì)量需求則伴隨著過多假設(shè)，如文獻(xiàn)[100]設(shè)置了標(biāo)簽的噪聲轉(zhuǎn)移矩陣，文獻(xiàn)[101]引入訓(xùn)練集的噪聲是被指定分布的。后續(xù)工作應(yīng)進(jìn)一步研究產(chǎn)生這些限制的原因，并以此為指導(dǎo)使其應(yīng)用場(chǎng)景更符合真實(shí)情況。

6.3 與模型魯棒性問題研究的交叉

神經(jīng)網(wǎng)絡(luò)魯棒性反映當(dāng)輸入數(shù)據(jù)集上出現(xiàn)微小擾動(dòng)后，模型依然能在輸出端表現(xiàn)出抗干擾的能力[102]。GAN的研究與人工神經(jīng)網(wǎng)絡(luò)魯棒性的研究相輔相成，密切相關(guān)。一方面，GAN使用對(duì)抗樣本對(duì)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，有助于提升模型的魯棒性[103]。另一方面，神經(jīng)網(wǎng)絡(luò)魯棒性的相關(guān)研究與GAN的改進(jìn)存在內(nèi)在聯(lián)系，如文獻(xiàn)[104]提出深度神經(jīng)網(wǎng)絡(luò)經(jīng)過對(duì)抗訓(xùn)練后損失在峰值附近更加平滑，以及在CNN中使用Lipschitz條件可以使模型同時(shí)具有較好的魯棒性與準(zhǔn)確性，這些方法與文獻(xiàn)[11]、文獻(xiàn)[62]、文獻(xiàn)[63]在思想上相似，因此該領(lǐng)域的相關(guān)研究對(duì)于GAN的改進(jìn)有一定的參考借鑒價(jià)值，特別是在生成對(duì)抗樣本質(zhì)量的評(píng)價(jià)和生成器的目標(biāo)研究方面。

文獻(xiàn)[105]提出一種度量魯棒性的方法，從對(duì)抗頻度和對(duì)抗嚴(yán)重程度兩方面描述神經(jīng)網(wǎng)絡(luò)在數(shù)據(jù)集上的魯棒性。其中對(duì)抗頻度反映數(shù)據(jù)集上對(duì)抗性擾動(dòng)發(fā)生的可能性，對(duì)抗嚴(yán)重程度反映擾動(dòng)發(fā)生時(shí)導(dǎo)致輸出偏離的程度。該方法在GAN生成對(duì)抗樣本數(shù)據(jù)集質(zhì)量的評(píng)價(jià)層面具有借鑒價(jià)值，并對(duì)生成器的訓(xùn)練具有指導(dǎo)意義。文獻(xiàn)[106]提出一種基于符號(hào)線性松弛的神經(jīng)網(wǎng)絡(luò)安全性分析方法，把對(duì)抗性擾動(dòng)當(dāng)作安全屬性違反的一種約束特例來處理，其框架可以定義5種不同的安全屬性約束，針對(duì)對(duì)抗性擾動(dòng)的結(jié)果進(jìn)行細(xì)化。這些工作有助于GAN生成器設(shè)計(jì)目標(biāo)的分類研究。

7 結(jié)束語

作為近期人工智能領(lǐng)域的熱點(diǎn)問題之一，GAN模型的研究可以提升神經(jīng)網(wǎng)絡(luò)的魯棒性和安全性。本文將GAN模型的研究總結(jié)歸納兩大方向（基于模型結(jié)構(gòu)的改進(jìn)和基于訓(xùn)練過程的改進(jìn)），分別從輸入輸出、生成器、判別器、多模塊組合、模型交叉、分布距離度量、梯度計(jì)算過程7個(gè)維度對(duì)近年來GAN的主要研究工作、改進(jìn)機(jī)理和特點(diǎn)進(jìn)行了歸納總結(jié)，并研究了現(xiàn)有用于評(píng)價(jià)GAN模型生成樣本質(zhì)量的指標(biāo)，發(fā)現(xiàn)現(xiàn)有GAN模型的改進(jìn)主要圍繞提升模型訓(xùn)練效率、降低模式崩潰現(xiàn)象發(fā)生概率和提升生成樣本質(zhì)量3類問題的解決加以展開。在此基礎(chǔ)上，本文從模式崩潰問題解決、訓(xùn)練集數(shù)據(jù)集影響以及對(duì)魯棒性問題研究交叉3方面，探討了GAN研究可能遇到的問題與挑戰(zhàn)，提出了未來的研究方向。

[1] SMOLENSKY P. Information processing in dynamical systems: Foundations of harmony theory[R]. 1986.

[2] HINTON G, OSINDERO S, TEH Y W.A fast learning algorithm for deep belief nets[J]. Neural Computation, 2006 18(7): 1527-1554.

[3] SALAKHUTDINOV R, HINTON G. Deep boltzmann machines[C]//Artificial Intelligence and Statistics. 2009: 448-455.

[4] KINGMA D P, WELLING M. Auto-encoding variational bayes[J]. arXiv preprint arXiv:1312.6114, 2013.

[5] GOODFELLOW I, POUGET-ABADIE J, MIRZA M, et al. Generative adversarial nets[C]//Advances in Neural Information Processing Systems. 2014: 2672-2680.

[6] KOO S. Automatic colorization with deep convolutional generative adversarial networks[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops. 2017: 212-217.

[7] RADFORD A, METZ L, CHINTALA S. Unsupervised representation learning with deep convolutional generative adversarial networks[J]. arXiv preprint arXiv:1511.06434, 2015.

[8] ZHU J Y, PARK T, ISOLA P, et al. Unpaired image-to-image translation using cycle-consistent adversarial networks[C]//Proceedings of the IEEE International Conference on Computer Vision. 2017: 2223-2232.

[9] BAO J, CHEN D, WEN F, et al. CVAE-GAN: fine-grained image generation through asymmetric training[C]//Proceedings of the IEEE International Conference on Computer Vision. 2017: 2745-2754.

[10] SCHLEGL T, SEEB?CK P, WALDSTEIN S M, et al. Unsupervised anomaly detection with generative adversarial networks to guide marker discovery[C]//International Conference on Information Processing in Medical Imaging. 2017: 146-157.

[11] ARJOVSKY M, CHINTALA S, BOTTOU L. WassersteinGAN[J]. arXiv preprint arXiv:1701.07875, 2017.

[12] WOLTERINK J M, LEINER T, ISGUM I. Blood vessel geometry synthesis using generative adversarial networks[J]. arXiv preprint arXiv:1804.04381, 2018.

[13] 劉西蒙, 謝樂輝, 王耀鵬, 等. 深度學(xué)習(xí)中的對(duì)抗攻擊與防御[J]. 網(wǎng)絡(luò)與信息安全學(xué)報(bào), 2020(5):36-53.

LIU X M, XIE L H, WANGY P, et al. Adversarial attacks and defenses in deep learning[J]. Chinese Journal of Network and Information Security, 2020, 6(5): 36-53.

[14] 張煜, 呂錫香, 鄒宇聰, 等. 基于生成對(duì)抗網(wǎng)絡(luò)的文本序列數(shù)據(jù)集脫敏[J]. 網(wǎng)絡(luò)與信息安全學(xué)報(bào), 2020(4):109-119.

ZHANG Y, LYU X X, ZOU Y C, et al. Differentially private sequence generative adversarial networks for data privacy masking[J]. Chinese Journal of Network and Information Security, 2020, 6(4): 109-119.

[15] BEAULIEU-JONES B K, WU Z S, WILLIAMS C, et al. Privacy-preserving generative deep neural networks support clinical data sharing[J]. Circulation: Cardiovascular Quality and Outcomes, 2019, 12(7): e005122.

[16] 郭鵬, 鐘尚平, 陳開志, 等. 差分隱私GAN梯度裁剪閾值的自適應(yīng)選取方法[J]. 網(wǎng)絡(luò)與信息安全學(xué)報(bào), 2018, 4(5): 10-20.

GUO P, ZHONG S P, CHEN K J, et al. Adaptive selection method of differential privacy GAN gradient clipping thresholds[J]. Chinese Journal of Network and Information Security, 2018, 4(5): 10-20.

[17] 王旭東, 衛(wèi)紅權(quán), 高超, 等. 身份保持約束下的人臉圖像補(bǔ)全[J]. 網(wǎng)絡(luò)與信息安全學(xué)報(bào), 2018, 4(8): 71-76.

WANG X D, WEI H Q, GAO C, et al. Identity preserving face completion with generative adversarial networks[J]. Chinese Journal of Network and Information Security, 2018, 4(8): 71-76.

[18] MIYATO T, KATAOKA T, KOYAMA M, et al. Spectral normalization for generative adversarial networks[J]. arXiv preprint arXiv:1802.05957, 2018.

[19] GOODFELLOW I. NIPS 2016 tutorial: generative adversarial networks[J]. arXiv preprint arXiv:1701.00160, 2016.

[20] MIRZA M, OSINDERO S. Conditional generative adversarial nets[J]. arXiv preprint arXiv:1411.1784, 2014.

[21] JAISWAL A, ABDALMAGEED W, WU Y, et al. Bidirectional conditional generative adversarial networks[C]//Asian Conference on Computer Vision. 2018: 216-232.

[22] PERARNAU G, VAN DE WEIJER J, RADUCANU B, et al. Invertible conditional GANs for image editing[J]. arXiv preprint arXiv:1611.06355, 2016.

[23] CHEN X, DUAN Y, HOUTHOOFT R, et al. Infogan: Interpretable representation learning by information maximizing generative adversarial nets[C]//Advances in Neural Information Processing Systems. 2016: 2172-2180.

[24] GURUMURTHY S, KIRAN SARVADEVABHATLA R, VENKATESH BABU R. DeLiGAN: Generative adversarial networks for diverse and limited data[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2017: 166-174.

[25] MISHRA D, JAYENDRAN A, SRIVASTAVA V, et al. Mode matching in GANs through latent space learning and inversion[J]. arXiv preprint arXiv:1811.03692, 2018.

[26] KWAK H, ZHANG B T. Ways of conditioning generative adversarial networks[J]. arXiv preprint arXiv:1611.01455, 2016.

[27] ODENA A. Semi-supervised learning with generative adversarial networks[J]. arXiv preprint arXiv:1606.01583, 2016.

[28] ODENA A, OLAH C, SHLENS J. Conditional image synthesis with auxiliary classifier GANs[C]//International Conference on Machine Learning. 2017: 2642-2651.

[29] TOLSTIKHIN I O, GELLY S, BOUSQUET O, et al. AdaGAN: boosting generative models[C]//Advances in Neural Information Processing Systems. 2017: 5424-5433.

[30] GHOSH A, KULHARIA V, NAMBOODIRI V P, et al. Multi-agent diverse generative adversarial networks[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2018: 8513-8521.

[31] HOANG Q, NGUYEN T D, LE T, et al. MGAN: training generative adversarial nets with multiple generators[C]//International Conference on Learning Representations. 2018.

[32] GHOSH A, KULHARIA V, NAMBOODIRI V. Message passing multi-agent GANs[J]. arXiv preprint arXiv:1612.01294, 2016.

[33] LIN Z, KHETAN A, FANTI G, et al. PacGAN: The power of two samples in generative adversarial networks[J]. IEEE Journal on Selected Areas in Information Theory, 2020, 1(1): 324-335.

[34] DURUGKAR I, GEMP I, MAHADEVAN S. Generative multi-adversarial networks[J]. arXiv preprint arXiv:1611.01673, 2016.

[35] MORDIDO G, YANG H, MEINEL C. Dropout-GAN: learning from a dynamic ensemble of discriminators[J]. arXiv preprint arXiv:1807.11346, 2018.

[36] NGUYEN T, LE T, VU H, et al. Dual discriminator generative adversarial nets[C]//Advances in Neural Information Processing Systems. 2017: 2670-2680.

[37] NEYSHABUR B, BHOJANAPALLI S, CHAKRABARTI A. Stabilizing GAN training with multiple random projections[J]. arXiv preprint arXiv:1705.07831, 2017.

[38] ZHAO J, MATHIEU M, LECUN Y. Energy-based generative adversarial network[J]. arXiv preprint arXiv:1609.03126, 2016.

[39] BERTHELOT D, SCHUMM T, METZ L. BeGAN: boundary equilibrium generative adversarial networks[J]. arXiv preprint arXiv:1703.10717, 2017.

[40] IM D J, KIM C D, JIANG H, et al. Generating images with recurrent adversarial networks[J]. arXiv preprint arXiv:1602.05110, 2016.

[41] ZHANG H, XU T, LI H, et al. StackGAN: text to photo-realistic image synthesis with stacked generative adversarial networks[C]//Proceedings of the IEEE International Conference on Computer Vision. 2017: 5907-5915.

[42] KARRAS T, AILA T, LAINE S, et al. Progressive growing of gans for improved quality, stability, and variation[J]. arXiv preprint arXiv:1710.10196, 2017.

[43] LI C, XU T, ZHU J, et al. Triple generative adversarial nets[J]. Advances in Neural Information Processing Systems, 2017, 30: 4088-4098.

[44] LEE M, SEOK J. Controllable generative adversarial network[J]. Ieee Access, 2019, 7: 28158-28169.

[45] CHAVDAROVA T, FLEURET F. SGAN: An alternative training of generative adversarial networks[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2018: 9407-9415.

[46] KIM Y, KIM M, KIM G. Memorization precedes generation: Learning unsupervised gans with memory networks[J]. arXiv preprint arXiv:1803.01500, 2018.

[47] JAISWAL A, ABDALMAGEED W, WU Y, et al. CapsuleGAN: Generative adversarial capsule network[C]//Proceedings of the European Conference on Computer Vision (ECCV). 2018.

[48] LARSEN A B L, S?NDERBY S K, LAROCHELLE H, et al. Autoencoding beyond pixels using a learned similarity metric[C]//International Conference on Machine Learning. 2016: 1558-1566.

[49] ZHONG G, GAO W, LIU Y, et al. Generative adversarial networks with decoder-encoder output noises[J]. Neural Networks, 2020.

[50] MAKHZANI A, SHLENS J, JAITLY N, et al. Adversarial autoencoders[J]. arXiv preprint arXiv:1511.05644, 2015.

[51] DONAHUE J, KR?HENBüHL P, DARRELL T. Adversarial feature learning[J]. arXiv preprint arXiv:1605.09782, 2016.

[52] DUMOULIN V, BELGHAZI I, POOLE B, et al. Adversarially learned inference[J]. arXiv preprint arXiv:1606.00704, 2016.

[53] MáTTYUS G, URTASUN R. Matching adversarial networks[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2018: 8024-8032.

[54] ZHANG H, GOODFELLOW I, METAXAS D, et al. Self-attention generative adversarial networks[C]//International Conference on Machine Learning. 2019: 7354-7363.

[55] WANG X, ZHANG R, SUN Y, et al. KdGAN: Knowledge distillation with generative adversarial networks[C]//Advances in Neural Information Processing Systems. 2018: 775-786.

[56] WANG J, YU L, ZHANG W, et al. IrGAN: a minimax game for unifying generative and discriminative information retrieval models[C]//Proceedings of the 40th International ACM SIGIR Conference on Research and Development in Information Retrieval. 2017: 515-524.

[57] DENTON E L, CHINTALA S, FERGUS R. Deep generative image models using a laplacian pyramid of adversarial networks[C]//Advances in Neural Information Processing Systems. 2015: 1486-1494.

[58] LLOYD S, WEEDBROOK C. Quantum generative adversarial learning[J]. Physical Review Letters, 2018, 121(4).

[59] SAATCI Y, WILSON A G. Bayesian GAN[C]//Advances in Neural Information Processing Systems. 2017: 3622-3631.

[60] NOWOZIN S, CSEKE B, TOMIOKA R. f-GAN: training generative neural samplers using variational divergence minimization[C]//Advances in Neural Information Processing Systems. 2016: 271-279.

[61] MAO X, LI Q, XIE H, et al. Least squares generative adversarial networks[C]//Proceedings of the IEEE International Conference on Computer Vision. 2017: 2794-2802.

[62] GULRAJANI I, AHMED F, ARJOVSKY M, et al. Improved training of WassersteinGANs[C]//Advances in Neural Information Processing Systems. 2017: 5767-5777.

[63] PETZKA H, FISCHER A, LUKOVNICOV D. On the regularization of WassersteinGANs[J]. arXiv preprint arXiv:1709.08894, 2017.

[64] ADLER J, LUNZ S. Banach WassersteinGAN[C]//Advances in Neural Information Processing Systems. 2018: 6754-6763.

[65] WEI X, GONG B, LIU Z, et al. Improving the improved training of WassersteinGANs: a consistency term and its dual effect[J]. arXiv preprint arXiv:1803.01541, 2018.

[66] GUO X, HONG J, LIN T, et al. Relaxed wasserstein with applications to GANs[J]. arXiv preprint arXiv:1705.07164, 2017.

[67] BELLEMARE M G, DANIHELKA I, DABNEY W, et al. The cramer distance as a solution to biased wasserstein gradients[J]. arXiv preprint arXiv:1705.10743, 2017.

[68] WU J, HUANG Z, THOMA J, et al. Wasserstein divergence for GANs[C]//Proceedings of the European Conference on Computer Vision (ECCV). 2018: 653-668.

[69] MROUEH Y, SERCU T, GOEL V. McGAN: Mean and covariance feature matching GAN[J]. arXiv preprint arXiv:1702.08398, 2017.

[70] LI Y, SWERSKY K, ZEMEL R. Generative moment matching networks[C]//International Conference on Machine Learning. 2015: 1718-1727.

[71] LI C L, CHANG W C, CHENG Y, et al. MmdGAN: towards deeper understanding of moment matching network[C]//Advances in Neural Information Processing Systems. 2017: 2203-2213

[72] MROUEH Y, SERCU T. Fisher GAN[C]//Advances in Neural Information Processing Systems. 2017: 2513-2523.

[73] SALIMANS T, GOODFELLOW I, ZAREMBA W, et al. Improved techniques for training GANS[C]//Advances in Neural Information Processing Systems. 2016: 2234-2242.

[74] ARORA S, GE R, LIANG Y, et al. Generalization and equilibrium in generative adversarial nets (GANs)[J]. arXiv preprint arXiv:1703.00573, 2017.

[75] SALIMANS T, ZHANG H, RADFORD A, et al. Improving GANs using optimal transport[J]. arXiv preprint arXiv:1803.05573, 2018.

[76] PARK N, ANAND A, MONIZ J R A, et al. MMGAN: manifold-Matching generative adversarial networks[C]//2018 24th International Conference on Pattern Recognition (ICPR). 2018: 1343-1348.

[77] WANG R, CULLY A, CHANG H J, et al. MaGAN: margin adaptation for generative adversarial networks[J]. arXiv preprint arXiv:1704.03817, 2017.

[78] LIN M. SoftmaxGAN[J]. arXiv preprint arXiv:1704.06191, 2017.

[79] JOLICOEUR-MARTINEAU A. The relativistic discriminator: a key element missing from standard GAN[J]. arXiv preprint arXiv:1807.00734, 2018.

[80] MüLLER A. Integral probability metrics and their generating classes of functions[J]. Advances in Applied Probability, 1997: 429-443.

[81] EVANS L C. Partial differential equations and monge-kantorovich mass transfer[J]. Current Developments in Mathematics, 1997, 1997(1): 65-126.

[82] BORJI A. Pros and cons of GAN evaluation measures[J]. Computer Vision and Image Understanding, 2019, 179: 41-65.

[83] SZEGEDY C, VANHOUCKE V, IOFFE S, et al. Rethinking the inception architecture for computer vision[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2016: 2818-2826.

[84] CHE T, LI Y, JACOB A P, et al. Mode regularized generative adversarial networks[J]. arXiv preprint arXiv:1612.02136, 2016.

[85] ZHOU Z, CAI H, RONG S, et al. Activation maximization generative adversarial nets[J]. arXiv preprint arXiv:1703.02000, 2017.

[86] BARRATT S, SHARMA R. A note on the inception score[J]. arXiv preprint arXiv:1801.01973, 2018.

[87] HEUSEL M, RAMSAUER H, UNTERTHINER T, et al. GANs trained by a two time-scale update rule converge to a local nash equilibrium[C]//Advances in Neural Information Processing Systems. 2017: 6626-6637.

[88] LOPEZ-PAZ D, OQUAB M. Revisiting classifier two-sample tests[J]. arXiv preprint arXiv:1610.06545, 2016.

[89] SHMELKOV K, SCHMID C, ALAHARI K. How good is my GAN[C]//Proceedings of the European Conference on Computer Vision (ECCV). 2018: 213-229.

[90] ZHANG Z, SONG Y, QI H. Decoupled learning for conditional adversarial networks[C]//2018 IEEE Winter Conference on Applications of Computer Vision (WACV). 2018: 700-708.

[91] QI G J, ZHANG L, HU H, et al. Global versus localized generative adversarial nets[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2018: 1517-1525.

[92] LEI N, GUO Y, AN D, et al. Mode collapse and regularity of optimal transportation maps[J]. arXiv preprint arXiv:1902.02934, 2019.

[93] LIU K, TANG W, ZHOU F, et al. Spectral regularization for combating mode collapse in GANs[C]//Proceedings of the IEEE International Conference on Computer Vision. 2019: 6382-6390.

[94] GUAN S, LOEW M, KO H. Data separability for neural network classifiers and the development of a separability index[J]. arXiv preprint arXiv:2005.13120, 2020.

[95] MO S, CHO M, SHIN J. Freeze discriminator: a simple baseline for fine-tuning GANs[J]. arXiv preprint arXiv:2002.10964, 2020.

[96] ROBB E, CHU W S, KUMAR A, et al. Few-shot adaptation of generative adversarial networks[J]. arXiv preprint arXiv: 2010. 11943, 2020.

[97] ZHANG R, CHE T, GHAHRAMANI Z, et al. MetaGAN: an adversarial approach to few-shot learning[C]//Advances in Neural Information Processing Systems. 2018: 2365-2374.

[98] NGUYEN K, TODOROVIC S. A self-supervised GAN for unsupervised few-shot object recognition[J]. arXiv preprint arXiv:2008.06982, 2020.

[99] KARRAS T, AITTALA M, HELLSTEN J, et al. Training generative adversarial networks with limited data[J]. Advances in Neural Information Processing Systems, 2020, 33.

[100] KANEKO T, USHIKU Y, HARADA T. Label-noise robust generative adversarial networks[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2019: 2467-2476.

[101] KANEKO T, HARADA T. Noise robust generative adversarial networks[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2020: 8404-8414.

[102] SZEGEDY C, ZAREMBA W, SUTSKEVER I, et al. Intriguing properties of neural networks[C]//2nd International Conference on Learning Representations, ICLR 2014. 2014.

[103] GOODFELLOW I J, SHLENS J, SZEGEDY C. Explaining and harnessing adversarial examples[J]. Stat, 2015, 1050: 20.

[104] BAI T, LUO J, ZHAO J. Recent advances in understanding adversarial robustness of deep neural networks[J]. arXiv preprint arXiv:2011.01539, 2020.

[105] BASTANI O, IOANNOU Y, LAMPROPOULOS L, et al. Measuring neural net robustness with constraints[C]//Advances in Neural Information Processing Systems. 2016: 2613-2621.

[106] WANG S, PEI K, WHITEHOUSE J, et al. Efficient formal safety analysis of neural networks[C]//Advances in Neural Information Processing Systems. 2018: 6367-6377.

Survey of generative adversarial network

WANG Zhenglong1, ZHANG Baowen1,2

1. Institute of Cyber Science and Technology, Shanghai Jiao Tong University, Shanghai 200240, China 2. Shanghai Key Laboratory of Integrated Administration Technologies for Information Security, Shanghai 200240, China

Firstly, the basic theory, application scenarios and current state of research of GAN (generative adversarial network) were introduced, and the problems need to be improved were listed. Then, recent research, improvement mechanism and model features in 2 categories and 7 subcategories revolved around 3 points (improving model training efficiency, improving the quality of generated samples, and reducing the possibility of model collapse) were generalized and summarized. Finally, 3 future research directions were discussed.

generative adversarial network, generative model, deep learning, mode collapse, distribution similarity measurement, robustness of artificial neural network

The National Key R&D Program of China (2020YFB1807504，2020YFB1807500)

TP183

A

10.11959/j.issn.2096?109x.2021080

2020?12?31；

2021?06?10

張保穩(wěn)，zhangbw@sjtu.edu.cn

國家重點(diǎn)研發(fā)計(jì)劃（2020YFB1807504，2020YFB1807500）

王正龍, 張保穩(wěn). 生成對(duì)抗網(wǎng)絡(luò)研究綜述[J]. 網(wǎng)絡(luò)與信息安全學(xué)報(bào), 2021, 7(4): 68-85.

WANG Z L, ZHANG B W. Survey of generative adversarial network[J]. Chinese Journal of Network and Information Security, 2021, 7(4): 68-85.

王正龍（1997?），男，寧夏銀川人，上海交通大學(xué)碩士生，主要研究方向?yàn)樯蓪?duì)抗網(wǎng)絡(luò)、人工神經(jīng)網(wǎng)絡(luò)魯棒性與安全性。

張保穩(wěn)（1975?），男，山東菏澤人，上海交通大學(xué)副研究員，主要研究方向?yàn)樯窠?jīng)網(wǎng)絡(luò)魯棒性與安全性、網(wǎng)絡(luò)信息安全本體，以及新型網(wǎng)絡(luò)系統(tǒng)安全性分析與評(píng)估。