基于一種條件熵距離懲罰的生成式對(duì)抗網(wǎng)絡(luò)*

譚宏衛(wèi) ,王國(guó)棟 ,周林勇 ,張自力,3

1(西南大學(xué) 計(jì)算機(jī)與信息科學(xué)學(xué)院,重慶 400715)

2(貴州財(cái)經(jīng)大學(xué) 數(shù)統(tǒng)學(xué)院,貴州 貴陽(yáng) 550025)

3(School of Information Technology,Deakin University,Locked Bag 20000,Geelong,VIC 3220,Australia)

GANs 是由Goodfellow 等人[1]受博弈論中二人零和博弈思想的啟發(fā)所提出的一種深度生成模型,其網(wǎng)絡(luò)結(jié)構(gòu)主要由判別器網(wǎng)絡(luò)和生成器網(wǎng)絡(luò)所構(gòu)成.判別器的目的是盡量正確地判斷:輸入數(shù)據(jù)是來(lái)自真實(shí)數(shù)據(jù)分布還是來(lái)自生成分布;而生成器的目的是盡量去學(xué)習(xí)與真實(shí)數(shù)據(jù)分布一致的分布,并生成以假亂真的樣本.雖然GANs 已廣泛應(yīng)用于圖像生成[2,3]、超分辨率圖像合成[4,5]、語(yǔ)義分割[6,7]等多個(gè)領(lǐng)域,但要生成高質(zhì)量的樣本仍是該領(lǐng)域的一個(gè)挑戰(zhàn).

為了提高GANs 生成樣本的質(zhì)量,出現(xiàn)了很多有針對(duì)性的算法[8],這些算法主要基于以下兩個(gè)角度而提出.

一是基于網(wǎng)絡(luò)結(jié)構(gòu)的算法研究.由于GANs 網(wǎng)絡(luò)結(jié)構(gòu)的靈活性,其判別器網(wǎng)絡(luò)和生成器網(wǎng)絡(luò)可以是任何類型的網(wǎng)絡(luò)結(jié)構(gòu).深度生成式對(duì)抗卷積網(wǎng)絡(luò)(deep convolutional generative adversarial network,簡(jiǎn)稱DCGAN)[2]就是其中一種典型的網(wǎng)絡(luò)結(jié)構(gòu)算法,其判別器和生成器均使用卷積神經(jīng)網(wǎng)絡(luò)(CNN),同時(shí)改變梯度優(yōu)化算法(Adam)[9],以及加入批量標(biāo)準(zhǔn)化(batch normalization,簡(jiǎn)稱BN)[10]層等策略,以提升GANs 網(wǎng)絡(luò)的穩(wěn)定性及整體性能.此后,研究者們將一些高性能網(wǎng)絡(luò)模塊嵌入到DCGAN 的網(wǎng)絡(luò)結(jié)構(gòu)中,極大地提升了GANs 網(wǎng)絡(luò)的性能,如將殘差模塊[11]整合到WGAN-GP[12]中以生成文本,將自注意機(jī)制模塊[13]整合到條件GANs 中以生成圖像[14],將Laplacian 金字塔模塊[5]融入到GANs 網(wǎng)絡(luò)中以提高人臉圖像生成的質(zhì)量[4]等.除此之外,還有部分算法是針對(duì)特定的應(yīng)用而提出不同結(jié)構(gòu)的GANs 算法,如SGAN[15]、TripleGAN[16]、CycleGAN[17]、BigGAN[6]等.這些算法基本上都是從純網(wǎng)絡(luò)結(jié)構(gòu)角度來(lái)設(shè)計(jì)的,并未考慮樣本多樣性問(wèn)題.本文利用信息熵來(lái)衡量樣本多樣性,并將其融入到算法中以提高GANs 生成樣本的質(zhì)量.

二是基于目標(biāo)函數(shù)的算法研究.這類算法主要從兩個(gè)方面展開(kāi)研究:(1) 改變目標(biāo)函數(shù)的形式;(2) 懲罰目標(biāo)函數(shù).針對(duì)前者,Nowozin 等人[18]將原始GANs 中的JS 散度[19]推廣到一般化的f 型散度,并提出f-GAN 算法;進(jìn)一步地,Mao 等人[3]根據(jù)原始GANs 的對(duì)抗規(guī)則,用平方損失函數(shù)來(lái)代替GANs 中的熵?fù)p失函數(shù),從而提出LSGAN 算法.除此之外,Arjovsky 等人[20]從微分流形的角度嚴(yán)格證明了JS 散度是導(dǎo)致GANs 生成器梯度消失及訓(xùn)練不穩(wěn)定的主要原因,由此他們提出用Wasserstein I 型距離[21]代替JS 散度來(lái)衡量真實(shí)分布與生成分布之間的距離,并提出WGAN 算法[22].至于后者,Gulrajani 等人[12]利用1 中心梯度懲罰技術(shù)來(lái)解決WGAN 中Lipschitz 條件的限制,并提出WGAN-GP 算法以提高WGAN 生成樣本的質(zhì)量.由此研究路線,Hoang 等人[23]開(kāi)發(fā)了零中心梯度懲罰的GANs 算法(GAN-0GP).Miyato 等人[24]提出譜標(biāo)準(zhǔn)化的生成式對(duì)抗網(wǎng)絡(luò)(SNGAN),他們利用標(biāo)準(zhǔn)化的譜范數(shù)來(lái)限制判別器網(wǎng)絡(luò)的Lipschitz 常數(shù),使得網(wǎng)絡(luò)的Lipschitz 常數(shù)逼近于1,這相當(dāng)于對(duì)判別器網(wǎng)絡(luò)實(shí)施正則化.截止目前,雖然有很多優(yōu)秀的GANs 算法極大地提升了生成樣本的質(zhì)量,但仍不能滿足現(xiàn)實(shí)任務(wù)的需求,亟需探索高性能的算法以提高GANs 生成樣本的質(zhì)量.

基于對(duì)上述GANs 算法研究的調(diào)查,本文提出一種條件熵距離懲罰的生成式對(duì)抗網(wǎng)絡(luò),旨在進(jìn)一步提高GANs 生成樣本的質(zhì)量.我們所提出的這一對(duì)抗網(wǎng)絡(luò)與其他懲罰技術(shù)最大的區(qū)別在于:懲罰函數(shù)直接懲罰生成器,而非判別器.首先,利用條件熵構(gòu)造一種距離,可證此距離滿足度量空間中的三大條件:正定性、對(duì)稱性及三角不等式.為了既能保證生成數(shù)據(jù)多樣性與真實(shí)數(shù)據(jù)多樣性的一致性,又能迫使生成分布盡可能地逼近真實(shí)分布,本文直接用這個(gè)距離來(lái)懲罰GANs 生成器.除此之外,本文在DCGAN[2]網(wǎng)絡(luò)結(jié)構(gòu)的基礎(chǔ)上,進(jìn)一步優(yōu)化GANs網(wǎng)絡(luò)結(jié)構(gòu)及初始化策略,主要的優(yōu)化策略有:(1) 將批量標(biāo)準(zhǔn)化(BN)和譜標(biāo)準(zhǔn)化(SN)有機(jī)地融入到判別器網(wǎng)絡(luò)中;(2) 刪除生成器中的尺度不變層(311 層),即卷積核為3、步長(zhǎng)為1 以及加邊數(shù)為1 的卷積層;(3) 改變兩個(gè)網(wǎng)絡(luò)的初始化策略,判別器和生成器均使用正交初始化[25].這樣的網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)及初始化策略,不但能縮小網(wǎng)絡(luò)的參數(shù)空間和降低顯存消耗,而且還能提高網(wǎng)絡(luò)的訓(xùn)練效率和性能.

本文第1 節(jié)簡(jiǎn)要介紹GANs 基礎(chǔ)知識(shí).第2 節(jié)構(gòu)建一種距離,優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu),并提出一種GANs 懲罰算法.第3 節(jié)是實(shí)驗(yàn).第4 節(jié)為本文總結(jié).

1 背景知識(shí)

GANs 是一種有效而直接的深度生成模型,其基本網(wǎng)絡(luò)結(jié)構(gòu)由判別器網(wǎng)絡(luò)D和生成器網(wǎng)絡(luò)G所構(gòu)成.本質(zhì)上,GANs 的優(yōu)化問(wèn)題是一個(gè)極小極大問(wèn)題[1],其損失函數(shù)分為兩部分,分別對(duì)應(yīng)于判別器網(wǎng)絡(luò)和生成器網(wǎng)絡(luò)的損失函數(shù),其損失函數(shù)分別如下:

其中,pdata和pz分別表示真實(shí)數(shù)據(jù)分布和隱分布(先驗(yàn)分布).為便于表示,令表示生成分布,則有從理論上講,GANs 經(jīng)過(guò)多輪迭代,可使生成分布無(wú)限逼近真實(shí)分布[1].但在訓(xùn)練之初,方程(2)中的損失函數(shù)有可能達(dá)到飽和,無(wú)法傳遞有價(jià)值的信息,使得兩個(gè)分布無(wú)法逼近.鑒于此,Goodfellow 等人[1]建議將飽和的損失函數(shù)(2)轉(zhuǎn)化成非飽和損失函數(shù),于是有

相比方程(2),方程(3)中的損失函數(shù)更能使GANs 訓(xùn)練穩(wěn)定,也因此有研究者將原始GANs[1]稱為非飽和型GANs(non-saturating GANs,簡(jiǎn)稱NSGANs)[26].

GANs 的訓(xùn)練過(guò)程分為兩個(gè)階段:第1 階段訓(xùn)練判別器D,第2 階段訓(xùn)練生成器G.當(dāng)訓(xùn)練完判別器D之后,傳遞真假信息給生成器G,而生成器G根據(jù)信息(實(shí)質(zhì)上是梯度信息)的真?zhèn)?調(diào)整更新策略,盡量生成高質(zhì)量的樣本去“哄騙”判別器.于是,產(chǎn)生了這樣的對(duì)抗策略:當(dāng)訓(xùn)練判別器D時(shí),盡量使D(G(z))=0;而當(dāng)訓(xùn)練生成器G時(shí),盡量使D(G(z))=1.通過(guò)這樣的對(duì)抗策略,判別器和生成器都在不斷地提升彼此的判別能力和生成能力,直到判別器無(wú)法判斷生成器生成的樣本是來(lái)源于真實(shí)數(shù)分布還是生成分布.圖1 所示為GANs 的訓(xùn)練框架圖.

Fig.1 The framework for training GANs:Training D in first stage (in the red dotted box)and training G in second stage (in the black solid line box)圖1 GANs 的訓(xùn)練框架:第1 階段訓(xùn)練判別器D(紅虛線框內(nèi)),第2 階段訓(xùn)練生成器G(黑實(shí)線框內(nèi))

2 條件熵距離懲罰的生成式對(duì)抗網(wǎng)絡(luò)

本節(jié)將詳細(xì)闡述本文所提出的懲罰算法.首先,利用條件熵構(gòu)建一種距離,并將其直接懲罰于生成器的非飽和損失函數(shù)上,即方程(3);其次,在DCGAN 網(wǎng)絡(luò)結(jié)構(gòu)[2]的基礎(chǔ)上,優(yōu)化GANs 的網(wǎng)絡(luò)結(jié)構(gòu)及超參設(shè)置,改變生成器網(wǎng)絡(luò)和判別器網(wǎng)絡(luò)的初始化策略,以此來(lái)提升模型的訓(xùn)練效率及性能.

2.1 條件熵距離

信息熵是隨機(jī)變量不確定程度的度量;它也是從平均意義上描述隨機(jī)變量所需信息量的度量.設(shè)X是離散型隨機(jī)變量,其分布函數(shù)為則X的信息熵[19]為

其中,x 表示隨機(jī)變量X的取值空間.同理,對(duì)于離散型隨機(jī)變量Y,有其中,FY(y)是隨機(jī)變量Y的分布函數(shù),y 是Y的取值空間.對(duì)于在X給定的條件下,隨機(jī)變量Y的條件熵[19]可定義為

其中,F(x,y) 和F(y|x) 分別表示X和Y的聯(lián)合分布函數(shù)和條件分布函數(shù).若要度量?jī)蓚€(gè)隨機(jī)變量分布之間的距離,可用它們之間的KL 散度[19]來(lái)度量,其定義如下:

現(xiàn)考慮度量?jī)蓚€(gè)隨機(jī)變量X和Y之間的關(guān)系或一個(gè)隨機(jī)變量包含另一個(gè)隨機(jī)變量的信息量,可用兩個(gè)隨機(jī)變量之間的互信息來(lái)度量[19],其定義為

由KL 散度(6)定義可知,I(X;Y)=D(F(x,y)||FX(x)FY(y)).由此可見(jiàn),I(X;Y)也度量了兩個(gè)隨機(jī)變量之間的距離;同樣,I(X;Y)非負(fù),并且,當(dāng)且僅當(dāng)X=Y時(shí),I(X;Y)=0.但是,I(X;Y)同樣不是兩個(gè)隨機(jī)變量之間真正的距離,因?yàn)樗粷M足距離定義中的三角不等式.鑒于此,根據(jù)方程(5)可構(gòu)造如下距離:

而又由I(X;Y)=H(X)-H(X|Y)=H(Y)-H(Y|X),可得ρ(X,Y)=H(X)+H(Y) -2I(X,Y).由方程(8)可知,ρ(X,Y)由條件熵所構(gòu)成,故稱其為條件熵距離(conditional entropy distance,簡(jiǎn)稱CED).需要特別指出的是,若X和Y為連續(xù)性隨機(jī)變量,只需將每個(gè)定義中的分布函數(shù)換成概率密度函數(shù),求和符號(hào)換成相應(yīng)的積分符號(hào)即可.

定理1.ρ(X,Y)是一種距離,即滿足:

(1) 正定性:ρ(X,Y) ≥ 0,當(dāng)其僅當(dāng)X=Y時(shí),ρ(X,Y)=0.

(2) 對(duì)稱性:ρ(X,Y)=ρ(Y,X).

(3) 三角不等式:對(duì)于隨機(jī)變量X、Y、Z,有ρ(X,Y)+ρ(Y,Z)≥ρ(X,Z).

證明:

(1) 正定性.由于熵是非負(fù),得ρ(X,Y)=H(X|Y)+H(Y|X) ≥ 0,并且當(dāng)X=Y時(shí),H(X|Y)=H(Y|X)=0,可知ρ(X,Y)=0;反之,當(dāng)ρ(X,Y)=0時(shí),由ρ(X,Y)=H(X|Y)+H(Y|X)及熵的非負(fù)性,有H(X|Y)=H(Y|X)=0,此時(shí)X=Y.因此,ρ(X,Y) ≥ 0,當(dāng)其僅當(dāng)X=Y時(shí),ρ(X,Y)=0.

(2) 對(duì)稱性.由ρ(X,Y)=H(X|Y)+H(Y|X)=H(Y|X)+H(X|Y)=ρ(Y,X)易知,ρ(X,Y)=ρ(Y,X).

(3) 三角不等式.若要證ρ(X,Y)+ρ(Y,Z)≥ρ(X,Z),只需證H(X|Y)+H(Y|X)+H(Y|Z)+H(Z|Y)≥H(X|Z)+H(Z|X)成立.而對(duì)于隨機(jī)變量X、Y、Z,有H(X|Y)+H(Y|Z)≥H(X|Y,Z)+H(Y|Z)=H(X,Y|Z)=H(X|Z)+H(Y|X,Z)≥H(X|Z).

同理可得,H(Y|X)+H(Z|Y)≥H(Z|X),合并兩個(gè)不等式就有H(X|Y)+H(Y|X)+H(Y|Z)+H(Z|Y)≥H(X|Z)+H(Z|X)成立,即有ρ(X,Y)+ρ(Y,Z)≥ρ(X,Z)成立.因此,ρ(X,Y)是一種距離.證畢.□

2.2 生成器的條件熵距離懲罰

GANs 生成樣本的質(zhì)量與其樣本的多樣性和逼真度密切相關(guān).鑒于此,需構(gòu)建這樣一種GANs 算法:在保持多樣性的同時(shí),盡量使得生成分布無(wú)限逼近真實(shí)分布.利用條件熵距離能實(shí)現(xiàn)這樣的算法,信息熵可度量樣本的多樣性,而由此構(gòu)造的距離可度量生成分布與真實(shí)分布之間的距離.為此,只需將條件熵距離直接懲罰于GANs生成器的目標(biāo)函數(shù)上,使之生成的樣本更具多樣性和高逼真度,從而提高GANs 生成樣本的質(zhì)量.在判別器損失函數(shù)不變的條件下,將條件熵距離直接加入到生成器非飽和損失函數(shù)中,即方程(3)中,有:

其中,λ是懲罰因子.在實(shí)際中,并不容易估算方程(10)中的條件熵距離,其需要具體的分布函數(shù)或密度函數(shù)表達(dá)式,以圖像生成為例,圖像數(shù)據(jù)的真實(shí)分布和生成分布并不可知.在這種情況下,用經(jīng)驗(yàn)分布函數(shù)代替真實(shí)分布函數(shù)不失為一個(gè)好的選擇.設(shè)真實(shí)數(shù)據(jù)樣本的經(jīng)驗(yàn)分布函數(shù)為pEdata,生成數(shù)據(jù)樣本的經(jīng)驗(yàn)分布函數(shù)為pEG,則方程(10)中的由此看出,隨機(jī)變量的取值空間分別是真實(shí)數(shù)據(jù)域和生成數(shù)據(jù)域.由損失函數(shù)方程(9)和方程(10)構(gòu)成的GANs,我們稱其為條件熵距離懲罰的GANs,簡(jiǎn)記為熵距離GANs(entropy distance GAN,簡(jiǎn)稱EDGAN).EDGAN 的算法流程如算法1 所示.

算法1.條件熵距離懲罰GANs 算法(EDGAN).

EDGAN 算法利用小批量隨機(jī)梯度下降法訓(xùn)練網(wǎng)絡(luò),同時(shí)使用OAdam 梯度優(yōu)化算法(β1=0.5,β2=0.9),判別器和生成器均使用正交初始化,懲罰因子λ設(shè)為1.

輸入:

· 樣本批量數(shù)m=64;

· 兩個(gè)網(wǎng)絡(luò)學(xué)習(xí)率:判別器lr_D=0.0001,生成器lr_G=0.0004;

· 隱分布Z～N128(0,0.02);

· 網(wǎng)絡(luò)迭代總次數(shù)k= 100000;

· 判別器迭代次數(shù)kD=2,生成器迭代次數(shù)kG=1.

根據(jù)條件熵距離的特性,EDGAN 算法在盡量保持樣本多樣性的同時(shí),使得生成分布與真實(shí)分布之間的距離盡可能地接近,即在EDGAN 算法的更新過(guò)程中,同時(shí)考慮樣本的多樣性和逼真度兩個(gè)因素,這有助于提高GANs 生成樣本的質(zhì)量.雖然GANs 的目標(biāo)函數(shù)是影響其性能的關(guān)鍵因素,但絕不是唯一的影響因素,這其中還有網(wǎng)絡(luò)結(jié)構(gòu)、超參設(shè)置及初始化策略等因素都有可能影響其性能.因此,優(yōu)化GANs 的網(wǎng)絡(luò)結(jié)構(gòu)及參數(shù)設(shè)置也是提升GANs 性能的重要技術(shù)手段之一.本文將在DCGAN 網(wǎng)絡(luò)結(jié)構(gòu)[2]的基礎(chǔ)上,優(yōu)化GANs 的網(wǎng)絡(luò)結(jié)構(gòu)及超參設(shè)置,改變GANs 的初始化策略,縮小GANs 的參數(shù)空間,加速GANs 的訓(xùn)練效率,并結(jié)合懲罰機(jī)制,提升GANs的整體性能.

2.3 優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)

DCGAN 的網(wǎng)絡(luò)結(jié)構(gòu)是一種經(jīng)典的GANs 網(wǎng)絡(luò)結(jié)構(gòu),其判別器網(wǎng)絡(luò)和生成器網(wǎng)絡(luò)均使用卷積神經(jīng)網(wǎng)絡(luò)(CNN),它的基本參數(shù)設(shè)置是:在判別器和生成器中均使用批量標(biāo)準(zhǔn)化(BN),生成器的激活函數(shù)除輸出層用Tanh函數(shù)外,其余層都使用ReLU 激活函數(shù)[27],判別器除最后一層用Sigmoid 激活函數(shù)外,其余層均使用LeaklyRelU激活函數(shù)[28](斜率為0.2),兩個(gè)網(wǎng)絡(luò)的參數(shù)初始化都取值于N(0,0.02)隨機(jī)數(shù),兩個(gè)網(wǎng)絡(luò)的學(xué)習(xí)率都是0.000 2,隱分布是均勻分布U[-1,1],批量數(shù)(batchsize)是128,梯度優(yōu)化算法是Aadm 算法[9](β1=0.5,β2=0.999).圖2 是圖像尺寸為3 × 32 ×32 的DCGAN 網(wǎng)絡(luò)結(jié)構(gòu),其中,在判別器中類似于conv 64 3 1 1 BN LReLU 的卷積層依次表示該卷積層網(wǎng)絡(luò)的輸出通道是64(即深度),卷積核(kernel)是3,步長(zhǎng)(stride)是1,加邊數(shù)(padding)是1,卷積操作之后執(zhí)行批量標(biāo)準(zhǔn)化,最后使用激活函數(shù)LReLU(LeakyLReLU)輸出該層網(wǎng)絡(luò)結(jié)果.同理,在生成器中,首先將隱分布隨機(jī)數(shù)(noise)壓縮成尺寸為512 × 4 ×4 的樣本,然后傳入下一層;deconv 表示降卷積網(wǎng)絡(luò)層,其他表示的含義與判別器一樣.

本文所有的實(shí)驗(yàn)都在Pytorch 框架[29]下完成,為了便于表示和敘述,其網(wǎng)絡(luò)結(jié)構(gòu)的表示方法也是借助于Pytorch 中的表示方法.在Pytorch 中,如果卷積核為3,步長(zhǎng)是1,加邊數(shù)也是1,則無(wú)論是判別器中的卷積層還是生成器中的降卷積層的輸出尺寸與上一層的尺寸一致,我們將這種卷積層稱為311 尺度不變層.這種卷積層具有特殊的含義,它只提取特征不作尺度變換.因此,在DCGAN 的網(wǎng)絡(luò)結(jié)構(gòu)中,常在311 尺度不變層后面加上尺度變換層構(gòu)成另一類輸出通道下的樣本尺度.這樣的設(shè)計(jì)在每類輸出通道下都要進(jìn)行兩次特征提取,使得所提取的特征更加精細(xì)化.如果在判別器中精細(xì)化的特征更有利于提升其判別能力,但在生成器中,就不一定能夠提升生成能力.因?yàn)榫?xì)化的特征使得生成器更容易忽視樣本的一般特征,從而導(dǎo)致生成的樣本質(zhì)量反而下降.后面的實(shí)驗(yàn)也證實(shí)了這樣的判斷.

Fig.2 The 3 × 32 × 32 network structure of DCGAN圖2 圖像尺寸3 × 32 × 32為的DCGAN 網(wǎng)絡(luò)結(jié)構(gòu)

優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)是提升GANs 性能的技術(shù)之一.鑒于上述分析,剔除DCGAN 生成器中所有的311 尺度不變層將有助于提升GANs 生成樣本的質(zhì)量,同時(shí)也極大地縮小生成器網(wǎng)絡(luò)的參數(shù)空間,加速網(wǎng)絡(luò)的訓(xùn)練效率.特別需要強(qiáng)調(diào)的是,圖2 所示生成器的倒數(shù)第2 層也是311 層,但其真正的目的是通道變換,而非特征提取,所以不能剔除.除此之外,本文還將SNGAN[24]中的譜標(biāo)準(zhǔn)化(SN)策略融入到GANs 的判別器中.與DCGAN 和SNGAN最大的不同是,改進(jìn)的判別器網(wǎng)絡(luò)并非單純地使用批量標(biāo)準(zhǔn)化或譜標(biāo)準(zhǔn)化,而是將兩者有機(jī)地融合到判別器網(wǎng)絡(luò)中.具體地說(shuō),將SN 層加入到Sigmoid 層的前一層,其余層均使用BN 層.這樣設(shè)計(jì)的目的在于,充分地利用兩種標(biāo)準(zhǔn)化的優(yōu)勢(shì).BN 的主要作用是使前后兩層之間的分布盡量保持一致,減小每層網(wǎng)絡(luò)內(nèi)部之間的協(xié)方差偏移(covariate shift),改善梯度更新過(guò)程,加速網(wǎng)絡(luò)收斂.而SN 的主要作用是使得每層網(wǎng)絡(luò)的Lipshitz 常數(shù)盡量逼近1,進(jìn)而使得判別器網(wǎng)絡(luò)的訓(xùn)練更加穩(wěn)定,其作用等價(jià)于網(wǎng)絡(luò)正則化.由此看來(lái),BN 與SN 之間并無(wú)沖突,其作用也不可相互替代.同時(shí),無(wú)需顧慮SN 在網(wǎng)絡(luò)中的位置,根據(jù)BN 和SN 的原理,加入Sigmoid 層的前一層是最合理的位置.一般情況下,DCGAN 中Sigmoid 層的前一層網(wǎng)絡(luò)是壓縮層,將上一層的結(jié)果壓縮成N×1×1×1(N表示通道數(shù)),此時(shí)使用BN 并不能起到任何作用,但SN 不一樣,仍然能夠控制該層的Lipschitz 常數(shù),并且此時(shí)的SN 仍能對(duì)模型產(chǎn)生正則化效果.從這個(gè)角度分析,SN 解決了BN 在Sigmoid 層的前一層網(wǎng)絡(luò)中失效的問(wèn)題.因此,將兩者有機(jī)地融合到判別器中更有利于提升網(wǎng)絡(luò)的判別能力.圖3 所示為優(yōu)化的DCGAN 網(wǎng)絡(luò)結(jié)構(gòu).

初始化策略及超參數(shù)設(shè)置是GANs 網(wǎng)絡(luò)結(jié)構(gòu)的重要組成部分,這兩項(xiàng)配置對(duì)網(wǎng)絡(luò)結(jié)果有一定的影響.常用的GANs 網(wǎng)絡(luò)權(quán)重初始化是高斯分布(N(0,0.02)或均勻分布(U(0,1))隨機(jī)數(shù).本文采用的初始化策略是判別器與生成器均使用正交初始化[25].這個(gè)初始化策略受到如下事實(shí)的啟發(fā):隨機(jī)向量的正交變換的熵不變[19].需要特別強(qiáng)調(diào)的是,偏置項(xiàng)沒(méi)有初始化,因?yàn)榫矸e層的后一層加入BN 層或SN 層之后,該卷積層的偏置項(xiàng)并沒(méi)有發(fā)揮任何作用,所以一般將偏置項(xiàng)去除.除此之外,經(jīng)過(guò)不斷的實(shí)驗(yàn),獲得了如下最優(yōu)超參:懲罰因子λ=1,批量數(shù)為64,梯度優(yōu)化算法使用OAdam(optimistic Adam)算法[30],其參數(shù)設(shè)為β1=0.5,β2=0.9,判別器的學(xué)習(xí)率lr_D為0.000 1,生成器的學(xué)習(xí)率lr_G為0.000 4,隱空間分布是128 維的標(biāo)準(zhǔn)高斯分布,網(wǎng)絡(luò)迭代率是2:1(即生成器每迭代1 次判別器需迭代2 次).接下來(lái),通過(guò)實(shí)驗(yàn)來(lái)證實(shí)網(wǎng)絡(luò)結(jié)構(gòu)配置(包括超參數(shù)、初始化策略以及結(jié)構(gòu)優(yōu)化)的高效性以及懲罰模型的有效性.

Fig.3 The optimized network structure of DCGAN (the image size is 3 × 32 × 32)圖3 優(yōu)化的DCGAN 網(wǎng)絡(luò)結(jié)構(gòu)(圖像尺寸為3 × 32 × 32)

3 實(shí) 驗(yàn)

為了驗(yàn)證EDGAN 算法的性能,本文在CIFAR10[31]、SVHN[32]、STL10[33]、CelebA[34]、LSUN[35]數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn),其中,LSUN 數(shù)據(jù)集只用bedroom 子集,共3 033 042 張圖片,同時(shí)與近年來(lái)的一些代表性算法作對(duì)比.所有實(shí)驗(yàn)都在Pytorch 框架下完成,且數(shù)據(jù)集STL10、CelebA 和LSUN(bedroom)的圖像尺寸被統(tǒng)一剪裁為3 × 32 ×32.首先,在第3.1 節(jié)中簡(jiǎn)述模型的評(píng)價(jià)標(biāo)準(zhǔn);之后,在第3.2 節(jié)中驗(yàn)證優(yōu)化的網(wǎng)絡(luò)結(jié)構(gòu)性能;然后,在第3.3節(jié)中對(duì)懲罰模型的有效性進(jìn)行驗(yàn)證;最后,第3.4 節(jié)是算法性能對(duì)比.

3.1 性能評(píng)價(jià)標(biāo)準(zhǔn)

目前在GANs 領(lǐng)域中,IS(inception score)得分[36]和FID(Frechet inception distance)值[37]是兩個(gè)最經(jīng)典的性能評(píng)價(jià)指標(biāo),幾乎已成為該領(lǐng)域內(nèi)通用的評(píng)價(jià)標(biāo)準(zhǔn).IS 得分是利用在ImageNet 數(shù)據(jù)集上預(yù)訓(xùn)練的InceptionV3網(wǎng)絡(luò)[38]對(duì)GANs 生成的樣本構(gòu)建一個(gè)得分統(tǒng)計(jì)量,其表達(dá)式如下:

FID 值實(shí)質(zhì)上是兩個(gè)假設(shè)的高斯分布之間的Wasserstein II 型距離[40].具體地,FID 值是利用inception V3 網(wǎng)絡(luò)(其他CNN 網(wǎng)絡(luò)也可行)分別將生成樣本與真實(shí)樣本嵌入到一個(gè)特征空間中,同時(shí)假設(shè)嵌入的樣本服從高斯分布,并分別計(jì)算嵌入樣本的均值μG、μd和協(xié)方差CG、Cd,則兩個(gè)分布之間的FID 值為

由FID 值的定義(12)可知,只要滿足高斯分布的假設(shè),FID 值能夠很好地度量GANs 模型的性能.根據(jù)中心極限定理[41],若樣本容量趨于無(wú)窮大,則其極限分布服從高斯分布.于是,在實(shí)際中計(jì)算FID 時(shí)常常要求GANs 生成足夠多的樣本.由于FID 值是間接地度量生成分布與真實(shí)分布之間的距離,因此,FID 越小,模型的性能越好.相比IS 得分,FID 值更能全面地度量GANs 模型生成樣本的質(zhì)量(無(wú)論是多樣性還是逼真度)[37],這個(gè)指標(biāo)幾乎已成為GANs 領(lǐng)域內(nèi)統(tǒng)一的評(píng)價(jià)標(biāo)準(zhǔn).本文所有的實(shí)驗(yàn)結(jié)果都僅以FID 值作為評(píng)價(jià)標(biāo)準(zhǔn).在無(wú)特別說(shuō)明的情況下,所有實(shí)驗(yàn)的FID 值都是分別從真實(shí)樣本中抽取50 000 個(gè)樣本,從生成樣本中抽取50 000 個(gè)樣本而計(jì)算得出.

3.2 優(yōu)化的網(wǎng)絡(luò)結(jié)構(gòu)性能驗(yàn)證

為了驗(yàn)證兩種優(yōu)化策略的有效性,即:(1) 將判別器倒數(shù)第2 層的卷積層修改為譜標(biāo)準(zhǔn)化的卷積層(如圖3(a)中倒數(shù)第2 層所示);(2) 刪除生成器中的311 不變層,在DCGAN 網(wǎng)絡(luò)結(jié)構(gòu)上執(zhí)行消融實(shí)驗(yàn)(ablation study).為便于表示,用SN_in_P(SN in Penultimate)和R311(Remove 311)分別表示第(1)種和第(2)種優(yōu)化策略.為簡(jiǎn)化實(shí)驗(yàn)過(guò)程,這個(gè)消融實(shí)驗(yàn)僅在CIFAR 10 數(shù)據(jù)集上執(zhí)行,生成器分別訓(xùn)練70k、100k、140k 和200k 次.然后,將這種優(yōu)化策略拓展到其他4 個(gè)數(shù)據(jù)集上來(lái)驗(yàn)證其性能.CIFAR 10 數(shù)據(jù)集是由60 000 張32×32 的彩色圖片構(gòu)成,其中有50 000 張圖片構(gòu)成訓(xùn)練集,10 000 張圖片構(gòu)成驗(yàn)證集,本文用到的數(shù)據(jù)集是去標(biāo)簽后的訓(xùn)練集(50 000 張).

表1 是兩種優(yōu)化策略的消融實(shí)驗(yàn)結(jié)果.表1 的結(jié)果顯示,SN_in_P 策略對(duì)DCGAN(表1 第2 行)的整體性能有所提升,但是提升幅度顯著差于R311 策略,尤其是訓(xùn)練次數(shù)為140k 時(shí),FID 值下降至26.27.可以看出,移除前(表1 中DCGAN)和移除后(表1 中R311)的結(jié)果形成了鮮明的對(duì)比.為了驗(yàn)證兩種策略相結(jié)合的效果,我們分別實(shí)驗(yàn)當(dāng)批量數(shù)為128(表1 中第5 行)和64(表1 中第6 行)時(shí),網(wǎng)絡(luò)的性能變化情況.可以看出,在4 種迭代次數(shù)下,兩種優(yōu)化策略相結(jié)合的網(wǎng)絡(luò)性能均有不同程度的提升,FID 值均在下降.相比之下,當(dāng)批量數(shù)為64 時(shí),網(wǎng)絡(luò)效果更好.表1 所示結(jié)果充分證實(shí),本文所提出的兩種優(yōu)化策略是有效的,尤其是兩種優(yōu)化策略相結(jié)合的網(wǎng)絡(luò)更是大幅度地提升了網(wǎng)絡(luò)的性能.

Table 1 Testing the effectiveness of optimization strategy on network structure (FID)表1 網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化策略的有效性驗(yàn)證(FID)

為了全面地驗(yàn)證兩種優(yōu)化策略的效果,我們分別在CIFAR10、SVHN、CelebA 等5 個(gè)數(shù)據(jù)集上訓(xùn)練兩種策略相結(jié)合的網(wǎng)絡(luò).為便于表示,稱這個(gè)優(yōu)化的網(wǎng)絡(luò)結(jié)構(gòu)為OptimizedDCGAN.在這個(gè)實(shí)驗(yàn)中,將批量數(shù)設(shè)為64.表1的結(jié)果已經(jīng)顯示,批量數(shù)為64 比批量數(shù)為128 時(shí)的網(wǎng)絡(luò)性能更好.為了驗(yàn)證這一事實(shí),單獨(dú)對(duì)批量數(shù)執(zhí)行消融實(shí)驗(yàn).圖4 是DCGAN 分別在CIFAR 10 數(shù)據(jù)集上訓(xùn)練70k、100k、140k 和200k、批量數(shù)分別為64 和128 的結(jié)果.可以清晰地看出,批量數(shù)為64 的網(wǎng)絡(luò)(藍(lán)色)顯著優(yōu)于批量數(shù)為128 的網(wǎng)絡(luò)(淺灰色).在無(wú)特別說(shuō)明的情況下,后續(xù)所有實(shí)驗(yàn)的批量數(shù)均設(shè)為64.表2 是OptimizedDCGAN 在5 個(gè)數(shù)據(jù)集上分別訓(xùn)練70k、100k、140k 和200k次后的結(jié)果.

Fig.4 The effect of batchsize on network performance (CIFAR 10)圖4 批量數(shù)對(duì)網(wǎng)絡(luò)性能的影響(CIFAR 10)

Table 2 The performance of the optimized DCGAN network structure (FID value)表2 優(yōu)化的DCGAN 網(wǎng)絡(luò)結(jié)構(gòu)的性能(FID 值)

相比DCGAN 網(wǎng)絡(luò)結(jié)構(gòu),優(yōu)化的網(wǎng)絡(luò)結(jié)構(gòu)OptimizedDCGAN 的性能在5 個(gè)數(shù)據(jù)集上均有顯著的提升.值得強(qiáng)調(diào)的是,在SVHN 數(shù)據(jù)集上,DCGAN 在4 種訓(xùn)練次數(shù)上的表現(xiàn)極不穩(wěn)定,尤其是在訓(xùn)練次數(shù)為140k 時(shí),FID 值忽然從11.19(100k)上升至71.07,200k 時(shí)又下降至41.72,而OptimizedDCGAN 網(wǎng)絡(luò)結(jié)構(gòu)表現(xiàn)較為穩(wěn)定.表2 的結(jié)果再次驗(yàn)證了本文所提出的網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化策略的有效性.

3.3 懲罰模型的有效性驗(yàn)證

本節(jié)驗(yàn)證由OptimizedDCGAN 網(wǎng)絡(luò)結(jié)構(gòu)與條件熵懲罰相結(jié)合的懲罰模型的有效性.首先,探究懲罰模型一些關(guān)鍵參數(shù)的最優(yōu)配置,包括迭代率、學(xué)習(xí)率以及初始化策略等;其次,驗(yàn)證本文所提出的懲罰技術(shù)的有效性.

3.3.1 懲罰模型的參數(shù)配置及初始化策略

考慮到深度神經(jīng)網(wǎng)絡(luò)對(duì)網(wǎng)絡(luò)參數(shù)配置的敏感性,我們通過(guò)一系列的消融實(shí)驗(yàn)來(lái)確定一些關(guān)鍵的超參數(shù)及其初始化策略.通過(guò)反復(fù)實(shí)驗(yàn)得到,懲罰模型的一些最優(yōu)參數(shù)配置如下:懲罰因子λ=1,迭代率2:1(即生成器每更新一次判別器需更新兩次),判別器學(xué)習(xí)率lr_D=0.0001,生成器學(xué)習(xí)率lr_G=0.0004,梯度優(yōu)化算法使用OAdam(0.5,0.9),初始化策略:判別器和生成器均使用正交初始化.下面,我們利用消融策略逐一驗(yàn)證這些配置的有效性.為簡(jiǎn)化驗(yàn)證過(guò)程,所有消融實(shí)驗(yàn)僅在CIFAR 10 上執(zhí)行,生成器均訓(xùn)練100k 次.

首先,確定最優(yōu)的懲罰因子λ.在其他參數(shù)保持不變的前提下,觀察λ=0.1,1,5,10,15,20時(shí)網(wǎng)絡(luò)性能的變化情況,其結(jié)果顯示在表3 中.可以看出,當(dāng)λ=1 時(shí),網(wǎng)絡(luò)性能表現(xiàn)最佳,此時(shí)FID 值為14.02.其次,再觀察網(wǎng)絡(luò)學(xué)習(xí)率、迭代率、初始化策略、梯度優(yōu)化算法對(duì)網(wǎng)絡(luò)性能的影響,每個(gè)目標(biāo)觀察量均設(shè)置5 種變化,并統(tǒng)一表示為A、B、C、D、E.這些實(shí)驗(yàn)結(jié)果均總結(jié)在表4 中,其中每個(gè)目標(biāo)觀察量的5 種變化A～E的含義均置于FID 值的下方.由表4 的結(jié)果可知,當(dāng)lr_D=0.0001、lr_G=0.0004 時(shí),網(wǎng)絡(luò)性能表現(xiàn)最佳.從學(xué)習(xí)率的實(shí)驗(yàn)結(jié)果還可以看出,這個(gè)參數(shù)對(duì)網(wǎng)絡(luò)性能的影響較大;特別地,當(dāng)lr_D＞lr_G時(shí)(如表4 中B、D組合),網(wǎng)絡(luò)性能較差,反之,則較好(如A、C、E組合).為此,我們單獨(dú)執(zhí)行實(shí)驗(yàn)9 種學(xué)習(xí)率組合以探究這個(gè)有趣的現(xiàn)象,結(jié)果如圖5 所示.

Table 3 Different penalty factors and corresponding FID values on CIFAR 10表3 不同懲罰因子λ 所對(duì)應(yīng)的FID 值(CIFRA 10)

Table 4 Implementing the ablation studies with respect to some hyper parameters and initialization (CIFAR 10)表4 一些超參數(shù)及初始化策略的消融實(shí)驗(yàn)(CIFRA 10)

在圖5 中,藍(lán)色的點(diǎn)(LR1-LR4)表示lr_D＞lr_G的點(diǎn),紅色的點(diǎn)表示lr_D≤lr_G的點(diǎn).可以清晰地看出,藍(lán)色點(diǎn)的FID 值普遍高于紅色的點(diǎn),這說(shuō)明上述現(xiàn)象是存在的.對(duì)于迭代率,選擇2:1 較好.在初始化方法中,選用4 種初始化方法:正交初始化(Orth)[25]、Glorot 正態(tài)初始化(Glorot)[42]、高斯初始化N(0,0.02)以及Kaiming 正態(tài)初始化(KaiN)[43],5 種組合.

上面表4 的結(jié)果顯示,當(dāng)判別器和生成器均實(shí)施正交初始化時(shí),網(wǎng)絡(luò)性能最優(yōu).在梯度優(yōu)化算法中,只選擇兩種優(yōu)化算法(Adam,OAdam),不同參數(shù)下的5 種組合.已有研究表明,Adam 算法一般要優(yōu)于其他優(yōu)化算法[12,23,44],如SGD、RMSprop、Rprop 等算法.在懲罰模型中,選擇OAdam(0.5,0.9)較優(yōu).

Fig.5 The effect on network performance with different learning rates圖5 不同學(xué)習(xí)率對(duì)網(wǎng)絡(luò)性能的影響

3.3.2 懲罰技術(shù)的有效性驗(yàn)證

為了充分體現(xiàn)本文所提出的懲罰技術(shù)的有效性,分別在CIFAR 10、SVHN、STL 10、CelebA 和LSUN 這5個(gè)數(shù)據(jù)集上執(zhí)行如下實(shí)驗(yàn):(1) 不帶任何懲罰的網(wǎng)絡(luò)(no-penalty);(2) 利用條件熵距離懲罰生成器的網(wǎng)絡(luò)(EDGAN);(3) 利用Jensen-Shannon(JS)散度(對(duì)稱版本的KL 散度)懲罰生成器的網(wǎng)絡(luò)(with-JS-penalty);(4) 利用WGAN-GP[12]中的梯度懲罰技術(shù)懲罰判別器、條件熵距離懲罰生成器,即雙懲罰網(wǎng)絡(luò)(with-bi-penalty),其中,判別器懲罰因子沿用WGAN-GP 中的設(shè)置(懲罰因子為10,Lipschitz 常數(shù)為1).同樣,所有生成器均訓(xùn)練100k 次,實(shí)驗(yàn)結(jié)果見(jiàn)表5.特別需要強(qiáng)調(diào)的是,表5 第2 列的結(jié)果(不帶懲罰的網(wǎng)絡(luò))與表2 訓(xùn)練100k 次時(shí)的結(jié)果不一樣,主要是由于兩個(gè)網(wǎng)絡(luò)使用的參數(shù)及初始化策略不一致,前者使用第3.3.1 節(jié)中的參數(shù)及初始化配置,而后者使用DCGAN 中的配置.首先,觀察不帶懲罰的網(wǎng)絡(luò)(表5 第2 列)與帶條件熵距離懲罰生成器的網(wǎng)絡(luò)(表5 第3 列,本文提出的算法),5 個(gè)數(shù)據(jù)集所對(duì)應(yīng)的FID 值均有不同程度的下降,網(wǎng)絡(luò)性能獲得提升.這充分說(shuō)明,本文所提懲罰技術(shù)是有效的.其次,再觀察帶JS 懲罰的網(wǎng)絡(luò)(表5 第4 列)以及雙懲罰網(wǎng)絡(luò)(表5 最后一列),5 個(gè)數(shù)據(jù)集上的FID值均大于第3 列的FID 值(EDGAN),這也充分證實(shí),本文所提出的懲罰技術(shù)具有明顯的優(yōu)勢(shì).

Table 5 Verifying the penalty effect of EDGAN algorithm:The generator iterates 100k times (FID value)表5 驗(yàn)證EDGAN 算法的懲罰效果:生成器更新100k 次的FID 值

3.4 整體性能對(duì)比

上述一系列實(shí)驗(yàn)可驗(yàn)證得出,EDGAN 算法能夠顯著提高GANs 網(wǎng)絡(luò)的性能.為了更進(jìn)一步地驗(yàn)證EDGAN的優(yōu)越性,現(xiàn)將該算法與近年來(lái)的一些代表性算法作比較.本文在5 個(gè)數(shù)據(jù)集上訓(xùn)練LSGAN(2017)、WGAN GP(2017)和SNGAN(2018)等5 種算法,其結(jié)果顯示在表6 中.其中,表6 最后一列表示最優(yōu)結(jié)果的生成器迭代次數(shù),最后一行是真實(shí)數(shù)據(jù)的FID 值.從表6 所示結(jié)果可以看出,EDGAN 算法在多個(gè)數(shù)據(jù)集上都超越了目前的一些經(jīng)典算法,只有在SVHN 和LSUN 數(shù)據(jù)集上稍遜于GAN-0GP和LSGAN 算法.與此同時(shí),EDGAN 在CIFAR 10、STL 10 和CelebA 數(shù)據(jù)集上的FID 值更進(jìn)一步地接近真實(shí)數(shù)據(jù)集的FID 值.表6 中加灰色的行是SAGAN 算法,這是一種經(jīng)典的條件GANs 算法,而這里是將其標(biāo)簽信息從算法中刪除,此時(shí),SAGAN 算法就退化為無(wú)條件的GANs(即GANs).在此執(zhí)行這個(gè)實(shí)驗(yàn),意在說(shuō)明是否可將條件GANs 的優(yōu)良性能移植到無(wú)條件GANs 上?SAGAN在5 個(gè)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明,答案是否定的.這也充分證實(shí)這樣的一個(gè)事實(shí):條件GANs 并不能當(dāng)作無(wú)條件GANs 來(lái)使用.因此,開(kāi)發(fā)高性能的無(wú)監(jiān)督圖像生成算法成為本文研究的出發(fā)點(diǎn).

Table 6 Comparison of the algorithm performance表6 算法性能對(duì)比

4 結(jié)束語(yǔ)

本文利用條件熵距離對(duì)GANs 生成器的目標(biāo)函數(shù)進(jìn)行懲罰,其目的是在保持樣本多樣性的條件下迫使生成分布盡可能地接近真實(shí)分布,這使得GANs 生成的樣本既有多樣性又具有高逼真度,從而能夠提高GANs 生成樣本的整體質(zhì)量.除此之外,本文在DCGAN 網(wǎng)絡(luò)結(jié)構(gòu)的基礎(chǔ)上,對(duì)GANs 的網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行優(yōu)化,其中包括:(1) 根據(jù)批量標(biāo)準(zhǔn)化和譜標(biāo)準(zhǔn)化的互補(bǔ)特性,將兩個(gè)標(biāo)準(zhǔn)化技術(shù)有機(jī)地融入到判別器網(wǎng)絡(luò)中,以提高網(wǎng)絡(luò)的判別能力;(2) 去除生成器網(wǎng)絡(luò)中的311 尺度不變層,提升生成器的生成能力,同時(shí)也可縮小生成器網(wǎng)絡(luò)的參數(shù)空間,以此提高網(wǎng)絡(luò)的訓(xùn)練效率及性能;(3) 改變兩個(gè)網(wǎng)絡(luò)的初始化策略,判別器網(wǎng)絡(luò)和生成器網(wǎng)絡(luò)均使用正交初始化.最后,將懲罰的GANs 目標(biāo)函數(shù)與優(yōu)化的網(wǎng)絡(luò)結(jié)構(gòu)相結(jié)合,形成條件熵距離懲罰的GANs,即EDGAN.實(shí)驗(yàn)結(jié)果表明,EDGAN 算法已經(jīng)超越了目前的一些經(jīng)典GANs 算法.

雖然本文通過(guò)實(shí)驗(yàn)驗(yàn)證EDGAN 可以提高GANs 生成樣本的質(zhì)量,但其收斂性理論問(wèn)題仍有待進(jìn)一步加以研究.另外,如何利用EDGAN 生成的樣本解決一些無(wú)監(jiān)督問(wèn)題,即EDGAN 的下游問(wèn)題,仍有待深入研究.