基于條件梯度Wasserstein生成對(duì)抗網(wǎng)絡(luò)的圖像識(shí)別

何子慶，聶紅玉2，劉 月，尹 洋

(1.西南交通大學(xué) 信息科學(xué)與技術(shù)學(xué)院, 成都 610097； 2.重慶交通職業(yè)學(xué)院 大數(shù)據(jù)學(xué)院，重慶 402247)

0 引言

圖像識(shí)別一直是計(jì)算機(jī)視覺(jué)領(lǐng)域內(nèi)的熱門(mén)研究，大多數(shù)圖像識(shí)別的方法都是利用卷積神經(jīng)網(wǎng)絡(luò)模型(CNN)來(lái)實(shí)現(xiàn)，但是卷積神經(jīng)網(wǎng)絡(luò)模型需要使用規(guī)模巨大的訓(xùn)練數(shù)據(jù)集來(lái)進(jìn)行訓(xùn)練，導(dǎo)致網(wǎng)絡(luò)模型收斂速度很慢，并且需要很多訓(xùn)練技巧來(lái)提高識(shí)別率。文獻(xiàn)[1]提出的生成式對(duì)抗網(wǎng)絡(luò)(GAN)，已經(jīng)被證明功能強(qiáng)大，既可以利用生成器模擬復(fù)雜的數(shù)據(jù)分布，又可以利用判別器進(jìn)行特征提取。GAN應(yīng)用廣泛，包括語(yǔ)言處理[2]、圖像修復(fù)[3]等。但是如何將GAN強(qiáng)大的特征提取能力應(yīng)用到圖像識(shí)別任務(wù)上是一個(gè)具有挑戰(zhàn)性的問(wèn)題。文獻(xiàn)[4]針對(duì)GAN不能生成具有特定屬性圖片的問(wèn)題提出了條件生成對(duì)抗網(wǎng)絡(luò)CGAN，利用數(shù)據(jù)標(biāo)簽指導(dǎo)數(shù)據(jù)生成，構(gòu)建了有監(jiān)督的生成對(duì)抗網(wǎng)絡(luò)模型。文獻(xiàn)[5]針對(duì)GAN的網(wǎng)絡(luò)模型訓(xùn)練不穩(wěn)定的缺點(diǎn)，提出一種深度卷積生成對(duì)抗網(wǎng)絡(luò)(DCGAN)模型，可以通過(guò)無(wú)監(jiān)督學(xué)習(xí)訓(xùn)練深度卷積生成對(duì)抗網(wǎng)絡(luò)模型,然后在有監(jiān)督學(xué)習(xí)任務(wù)中重復(fù)利用判別模型的一部分作為特征提取器。條件深度卷積對(duì)抗網(wǎng)絡(luò)CDCGAN結(jié)合了CGAN和DCGAN的優(yōu)點(diǎn)，在DCGAN的基礎(chǔ)上引入條件y指導(dǎo)訓(xùn)練。但是這幾種方法，都沒(méi)有從根本上解決GAN產(chǎn)生的收斂速度慢、訓(xùn)練不穩(wěn)定、生成樣本多樣性不足、collapse mode等問(wèn)題。

文獻(xiàn)[6]提出了一種用Wasserstein距離代替GAN中JS散度作為懲罰函數(shù)的對(duì)抗網(wǎng)絡(luò)模型WGAN，解決了GAN訓(xùn)練不穩(wěn)定問(wèn)題。文獻(xiàn)[7]又對(duì)WGAN模型進(jìn)行了改進(jìn)，提出了帶有梯度懲罰的WGAN：WGAN -GP，比WGAN擁有更快的收斂速度，也可以產(chǎn)生更高質(zhì)量的生成樣本。

本文結(jié)合CDCGAN和WGAN-GP的優(yōu)點(diǎn)，提出一種混合網(wǎng)絡(luò)模型：帶有梯度懲罰的條件Wasserstein生成對(duì)抗網(wǎng)絡(luò)模型(CDCWGAN-GP)。首先訓(xùn)練此對(duì)抗網(wǎng)絡(luò)模型，然后從訓(xùn)練好的網(wǎng)絡(luò)模型中提取判別器D來(lái)進(jìn)行圖像分類(lèi)任務(wù)。在這里，本文設(shè)計(jì)了一個(gè)具有識(shí)別全局和局部一致性的判別器：全局判別器需要完整圖像的輸入來(lái)提取整體圖像的特征，局部判別器只需要從一小塊區(qū)域上提取更加細(xì)微的特征，這樣可以大大增強(qiáng)判別器提取特征的能力。通過(guò)實(shí)驗(yàn)結(jié)果可以證明，相比于其他類(lèi)似的網(wǎng)絡(luò)模型，本文提出的CDCWGAN-GP網(wǎng)絡(luò)模型在圖像識(shí)別任務(wù)中獲得了更出色的結(jié)果。

1 相關(guān)工作

1.1 生成式對(duì)抗網(wǎng)絡(luò)模型

生成式對(duì)抗網(wǎng)絡(luò)模型GAN已經(jīng)被證明了既可以生成高質(zhì)量的圖像，也擁有強(qiáng)大的特征提取能力。我們用生成器(G)代表生成模型，判別器(D)代表判別模型[8]。在圖像識(shí)別的任務(wù)中，GAN網(wǎng)絡(luò)同時(shí)訓(xùn)練G和D，生成器G把從先驗(yàn)分布P_z中采樣得到的隨機(jī)矢量z映射到圖像空間；判別器D判斷輸入圖像是不是“真實(shí)的”，優(yōu)化公式如下：

Ez-Pz(z)[log(1-D(G(z))]

(1)

D的輸入?yún)?shù)x代表一張圖片，輸出D(x)代表x為真實(shí)圖片的概率，如果為1，就代表100%是真實(shí)的圖片，如果為0，就代表不可能是真實(shí)的圖片；類(lèi)似D(x)，D(G(z))代表判別器判斷由生成器產(chǎn)生的生成圖片G(z)是否為真實(shí)圖片的概率；這樣，G和D構(gòu)成了一個(gè)動(dòng)態(tài)的“博弈過(guò)程”。在最理想的狀態(tài)下，G可以生成足以“以假亂真”的圖片G(z)，對(duì)于D來(lái)說(shuō)，它難以判定G生成的圖片究竟是不是真實(shí)的，此時(shí)D(G(z))=0.5。GAN模型流程圖如下：

圖1 GAN模型的流程圖

1.2 條件生成對(duì)抗網(wǎng)絡(luò)

條件生成對(duì)抗網(wǎng)絡(luò)CGAN將屬性信息y融入生成器G和判別器D中，屬性y可以是任何標(biāo)簽信息，例如圖像的類(lèi)別、人臉圖像的面部表情等。優(yōu)化公式如下：

+Ez-Pz(z)[log(1-D(G(z/y))]

(2)

CGAN的目標(biāo)函數(shù)類(lèi)似GAN的目標(biāo)函數(shù)，在圖像識(shí)別任務(wù)中，y代表圖片的標(biāo)簽信息。D(x/y)就代表真實(shí)輸入x與標(biāo)簽y融合后輸入到判別器中得到是否為真實(shí)數(shù)據(jù)的概率；D(G(z/y))就代表判別器判斷由生成器產(chǎn)生的生成數(shù)據(jù)與y融合后的數(shù)據(jù)是否為真實(shí)的概率。

帶條件的輸入可以指導(dǎo)網(wǎng)絡(luò)生成我們想要的某種圖片信息，同時(shí)也相當(dāng)于是從無(wú)監(jiān)督模型到有監(jiān)督模型。

1.3 條件深度卷積對(duì)抗網(wǎng)絡(luò)

深度卷積對(duì)抗網(wǎng)絡(luò)DCGAN是把GAN與CNN結(jié)合起來(lái)的網(wǎng)絡(luò)模型，而條件深度卷積對(duì)抗網(wǎng)絡(luò)(CDCGAN)就是把CGAN與DCGAN結(jié)合起來(lái)的網(wǎng)絡(luò)模型。CDCGAN是在DCGAN的框架下，將生成器每層的輸入都加上標(biāo)簽y，同樣將判別器的每層輸入也加上標(biāo)簽y，利用標(biāo)簽y指導(dǎo)樣本的生成。

圖2 CDCGAN網(wǎng)絡(luò)結(jié)構(gòu)示意圖

1.4 帶有梯度懲罰的Wasserstein生成對(duì)抗網(wǎng)絡(luò)

1.4.1 WGAN網(wǎng)絡(luò)

Wasserstein距離又叫Earth-Mover(EM)距離，定義如下：

(3)

WGAN網(wǎng)絡(luò)中構(gòu)造了一個(gè)包含參數(shù)ω且最后一層不是非線性激活層的判別器網(wǎng)絡(luò)D，在限制ω不超過(guò)某個(gè)范圍的條件下，使得：

L=Ex～Pr[D(x)]-Ex～Pg[D(x)]

(4)

盡可能取到最大，此時(shí)L就近似等于真實(shí)分布與生成分布之間的Wasserstein距離(忽略常數(shù)倍數(shù)K)。

WGAN與GAN相比，其實(shí)只改了4點(diǎn)，如下[9]：

1)判別器最后一層去掉sigmoid。

2)生成器和判別器的loss不取log。

3)每次更新判別器的參數(shù)之后把它們的絕對(duì)值截?cái)嗟讲怀^(guò)一個(gè)固定常數(shù)c。

4)不要用基于動(dòng)量的優(yōu)化算法(包括Momentum和Adam)。推薦RMSProp和SGD。

1.4.2 WGAN-GP網(wǎng)絡(luò)

WGAN-GP網(wǎng)絡(luò)改進(jìn)了WGAN網(wǎng)絡(luò)，使用一個(gè)當(dāng)且僅當(dāng)其梯度小于或等于1的范數(shù)時(shí)的可微函數(shù)1-Lipschitz對(duì)約束函數(shù)L進(jìn)行梯度懲罰。算法如下：

(5)

(6)

這里θ代表U[0,1]的隨機(jī)數(shù)。相比于WGAN，WGAN-GP有以下幾個(gè)特點(diǎn)：

1)該模型提出了在原來(lái)WGAN模型的基礎(chǔ)上利用梯度懲罰項(xiàng)來(lái)約束Wasserstein距離，避免WGAN模型有可能產(chǎn)生的訓(xùn)練不穩(wěn)定和生成數(shù)據(jù)病態(tài)的問(wèn)題。

2)該模型收斂速度更快，生成樣本質(zhì)量也更高

3)該模型適應(yīng)性更強(qiáng)，在不同架構(gòu)下都可以得到穩(wěn)定的訓(xùn)練結(jié)果。

2 本文網(wǎng)絡(luò)模型

本文將CDCGAN和WGAN-GP結(jié)合起來(lái)，從而得到本文的條件梯度Wasserstein 生成對(duì)抗網(wǎng)絡(luò)(CDCWGAN-GP)模型。為了提高判別器的提取圖像特征能力，本文將判別器D分為全局判別器和局部判別器，把兩個(gè)判別器連接起來(lái)一起打分。然后，我們將訓(xùn)練好的網(wǎng)絡(luò)中的判別器D提取出來(lái)，構(gòu)建一個(gè)新的卷積網(wǎng)絡(luò)進(jìn)行微調(diào)，從而完成圖像分類(lèi)任務(wù)。

2.1 CDCGAN-GP的懲罰函數(shù)

在CDCWGAN-GP中，判別器D希望真實(shí)數(shù)據(jù)分布與生成數(shù)據(jù)分布之間的距離L越大越好，相反，生成器G希望L越小越好，優(yōu)化公式為：

(7)

(8)

y代表圖像的標(biāo)簽，在本文中就是圖片的類(lèi)別。不同WGAN-GP的目標(biāo)函數(shù)，CDCGAN-GP的生成器輸入數(shù)據(jù)融合了圖片標(biāo)簽信息，而標(biāo)簽信息可以指導(dǎo)生成器的樣本生成。判別器D和生成器G的損失函數(shù)下：

(9)

判別器的損失函數(shù)由兩部分構(gòu)成：1.生成樣本通過(guò)判別器得到的損失；2.真實(shí)樣本通過(guò)判別器得到的損失，并在前添加負(fù)號(hào)；兩部分加起來(lái)就是判別器的損失函數(shù)。

loss(G)=-Ex～Pg[D(x/y)]

(10)

生成器的損失函數(shù)定義為生成樣本通過(guò)判別器得到的損失,再添加負(fù)號(hào)。

2.2 生成器的網(wǎng)絡(luò)結(jié)構(gòu)

我們以訓(xùn)練集CIFAR10為例，圖像大小為32*32。生成器G的輸入z為服從正態(tài)分布的100維的隨機(jī)噪聲向量，將z與類(lèi)別標(biāo)簽y(10維)連接形成一個(gè)大小為[64,110]的張量，通過(guò)一個(gè)linear全連接層將z變換為維度是2 048的向量,然后將其reshape為維度大小是[512,2,2]的張量，進(jìn)行非線性relu函數(shù)變換，得到第一層網(wǎng)絡(luò)的輸出。然后通過(guò)四層卷積核大小為5*5，步長(zhǎng)為(2,2)的轉(zhuǎn)置卷積層[10]，輸出都用非線性relu函數(shù)激活，得到大小為[32,32,3]的張量,最后用tanh函數(shù)激活，得到生成器的輸出圖片。

圖3 CDCWGAN-GP生成器結(jié)構(gòu)示意圖

類(lèi)型卷積核大小步長(zhǎng)卷積核個(gè)數(shù)concat//110linear//2048reshape//512deconv2d(1)5?52?2256deconv2d(2)5?52?2128deconv2d(3)5?52?264deconv2d(4)5?52?23

2.3 判別器網(wǎng)絡(luò)結(jié)構(gòu)

無(wú)論是GAN模型還是DCGAN模型中，判別器的網(wǎng)絡(luò)模型都是不斷縮小特征圖從而提取到一整張圖片的全局特征，全局特征可以代表一張圖片的整體結(jié)構(gòu)，但是對(duì)于圖片中的局部特征并不能很好地表達(dá)出來(lái)。為了加強(qiáng)模型中判別器提取圖像特征的能力，本文再設(shè)計(jì)一個(gè)局部判別器，用于提取圖片中局部特征，最后將全局判別器和局部判別器結(jié)合起來(lái)一起打分。

以CIFAR10數(shù)據(jù)集為例。全局判別器的輸入是一張維度為[3,32,32]大小的圖像，經(jīng)過(guò)五層卷積核大小為5*5，步長(zhǎng)為2*2的卷積層，每層輸出都要進(jìn)行l(wèi)eakyrelu函數(shù)變換，得到大小為(512,1,1)的張量，最后reshape成一個(gè)維度大小是[1,512]的特征向量。

局部判別器的網(wǎng)絡(luò)結(jié)構(gòu)類(lèi)似于全局判別器，只不過(guò)局部判別器的輸入是以原圖中心點(diǎn)為中心，大小是原圖1/4的圖像，尺寸為16*16。經(jīng)過(guò)四層卷積核大小為5*5，步長(zhǎng)為2*2的卷積層，每層輸出都要進(jìn)行l(wèi)eakyrelu函數(shù)變換，最后reshape成一個(gè)大小為(1,512)的特征向量。

最后我們將全局判別器和局部判別器的輸出用concat函數(shù)直接連接起來(lái)，形成一個(gè)維度大小為1 024的特征向量，然后經(jīng)過(guò)linear全連接層，輸出為1或者0代表輸入圖像的真或者假。

這里我們不同于CDCGAN的網(wǎng)絡(luò)，由于我們之后還要將判別器提取出來(lái)進(jìn)行圖像分類(lèi)， 所以判別器D每層的輸入沒(méi)有加入標(biāo)簽y。并且由于我們使用了梯度懲罰，所以最后的輸出去掉sigmoid函數(shù)。

2.4 訓(xùn)練

本文對(duì)數(shù)據(jù)集進(jìn)行批量化處理，batch的大小設(shè)為64。

表2 全局判別器的網(wǎng)絡(luò)層

表3 局部判別器的網(wǎng)絡(luò)層

表4 concat連接層

由于是對(duì)每個(gè)batch中的每一個(gè)樣本都做了梯度懲罰，因此判別器中不能用batchnormalization[11]，但是可以使用其他的 Normalization方法[12]，比如Layer Normalization、InstanceNormalization。在本文的D網(wǎng)絡(luò)，再訓(xùn)練G網(wǎng)絡(luò)，并且每訓(xùn)練5次D網(wǎng)絡(luò)，再訓(xùn)練1次G網(wǎng)絡(luò)，目的就是為了保證D網(wǎng)絡(luò)大致滿(mǎn)足Wasserstein距離的條件。在WGAN網(wǎng)絡(luò)模型中訓(xùn)練網(wǎng)絡(luò)并不建議用Adam優(yōu)化器，但是在本文的網(wǎng)絡(luò)模型中因?yàn)槭褂昧薟GAN-GP的訓(xùn)練方式，所以還是可以用Adam優(yōu)化器,且參數(shù)設(shè)定為：β1=0.000 5,β2=0.9,并且本文采用了適應(yīng)性更強(qiáng)的根據(jù)訓(xùn)練次數(shù)可變的學(xué)習(xí)率，學(xué)習(xí)率初始化為0.002，當(dāng)訓(xùn)練的迭代次數(shù)epoch大于設(shè)定的訓(xùn)練次數(shù)的一半時(shí)，學(xué)習(xí)率變?yōu)樵瓉?lái)的十分之一，當(dāng)訓(xùn)練的迭代次數(shù)epoch大于設(shè)定的訓(xùn)練次數(shù)的五分之四時(shí)，學(xué)習(xí)率再變?yōu)樯弦淮蔚氖种??？勺兓膶W(xué)習(xí)率可以讓參數(shù)調(diào)整變得更加有效。

圖4 CDCWGAN-GP判別器結(jié)構(gòu)示意圖

2.5 進(jìn)行圖像識(shí)別

當(dāng)訓(xùn)練好CDCWGAN-GP網(wǎng)絡(luò)模型后，把判別器D提取出來(lái)，將最后一層linear全連接層的輸出改為n(將要分類(lèi)的類(lèi)別)，最后加上Sofmax分類(lèi)器，構(gòu)建一個(gè)新的卷積網(wǎng)絡(luò)用于圖像識(shí)別。卷積網(wǎng)絡(luò)的損失函數(shù)是Softmax[14]的結(jié)果與標(biāo)簽y的交叉熵，使用Adam優(yōu)化器進(jìn)行優(yōu)化(β1=0.000 5，β2=0.9)，并且同樣對(duì)數(shù)據(jù)集進(jìn)行批量化處理，batch的大小設(shè)為64。新的用于圖像識(shí)別的網(wǎng)絡(luò)只需要進(jìn)行參數(shù)微調(diào)，就可以得到很好地分類(lèi)效果了。在生成式對(duì)抗模型中，由于生成器可以生成高質(zhì)量的樣本，所以判別器不僅能通過(guò)原始數(shù)據(jù)集學(xué)習(xí)圖像特征，而且還可以通過(guò)生成樣本學(xué)習(xí)到更多的圖像特征。并且本文設(shè)計(jì)的具有全局和局部一致性的判別器，能更有效的提取到圖像的內(nèi)部隱含特征，從而有效提高了圖像識(shí)別的準(zhǔn)確率。

3 實(shí)驗(yàn)結(jié)果和分析

本文分別在FASHION-MNIST[15]和CIFAR-10數(shù)據(jù)集上進(jìn)行實(shí)例驗(yàn)證。實(shí)驗(yàn)環(huán)境為:Intel(R) Core(TM) i7-7700K CPU @4.20 GHz 四核處理器，金士頓 DDR4 2 400 MHz 16 GB運(yùn)行內(nèi)存(RAM),Nvidia GeForce GTX 1 080 (8 GB/戴爾)GPU，Tensorflow(1.4.0)平臺(tái)。

3.1 FASHION-MNIST的實(shí)驗(yàn)結(jié)果

許多網(wǎng)絡(luò)模型在MNIST數(shù)據(jù)集上的分類(lèi)測(cè)試結(jié)果都己經(jīng)接近100%，并且MNIST數(shù)據(jù)集的識(shí)別并不能代表真正的計(jì)算機(jī)視覺(jué)問(wèn)題。所以，我們采用FASHION-MNIST數(shù)據(jù)集代替MNIST數(shù)據(jù)集。類(lèi)似MNIST數(shù)據(jù)集，F(xiàn)ASHION-MNIST數(shù)據(jù)集包含了7萬(wàn)張商品照片，其中分為10個(gè)類(lèi)別，訓(xùn)練集有6萬(wàn)張，測(cè)試集有1萬(wàn)張，每張圖片都是灰度圖片，且像素大小為28*28。

首先我們訓(xùn)練對(duì)抗網(wǎng)絡(luò)，訓(xùn)練初期，判別器的損失迅速增加，而生成器損失緩慢減少。隨著訓(xùn)練對(duì)抗的不斷進(jìn)行，判別器損失的增幅減慢，而生成器損失的降幅加快，最終生成器和判別器的對(duì)抗達(dá)到一個(gè)比較穩(wěn)定的范圍，模型達(dá)到收斂。

在整個(gè)訓(xùn)練過(guò)程中，生成器G和判別器D一直在進(jìn)行對(duì)抗，訓(xùn)練開(kāi)始后，判別器強(qiáng)于生成器，意味著生成樣本與判別樣本的Wasserstein距離較大。隨著訓(xùn)練次數(shù)的不斷增加，對(duì)抗趨勢(shì)最終將會(huì)穩(wěn)定在一個(gè)范圍內(nèi)，此時(shí)意味著生成樣本與判別樣本的Wasserstein距離較小，生成器會(huì)略強(qiáng)于判別器。通過(guò)對(duì)抗網(wǎng)絡(luò)得到的生成樣本如圖5所示。

圖5表明，當(dāng)epoch達(dá)到50的時(shí)候，生成器就可以生成質(zhì)量不錯(cuò)的圖片，隨著epoch不斷增加，生成樣板的質(zhì)量也越來(lái)越高。

表5 FASHION-MNIST各種方法的分類(lèi)準(zhǔn)確率對(duì)比

圖5 FASHION-MNIST生成樣本

當(dāng)對(duì)抗網(wǎng)絡(luò)訓(xùn)練好后，我們將判別器抽取出來(lái)再進(jìn)行圖像分類(lèi)實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果如圖6所示。

圖6 FASHION-MNIST分類(lèi)準(zhǔn)確率的變化

通過(guò)與DCGAN進(jìn)行的實(shí)驗(yàn)對(duì)比，突顯了本文模型的分類(lèi)效果，實(shí)驗(yàn)結(jié)果如圖6。其中藍(lán)色曲線為DCGAN+softmax的實(shí)驗(yàn)結(jié)果，橙色曲線為CDCGAN-GP+softmax的實(shí)驗(yàn)結(jié)果。可以發(fā)現(xiàn)，將判別器提取出來(lái)后，再通過(guò)較少的訓(xùn)練次數(shù)進(jìn)行微調(diào)就可以得到很好地分類(lèi)效果。值得注意的是，本文提出的的CDCWGAN-GP相比DCGAN，收斂的速度更快，最終準(zhǔn)確率也更高，可以達(dá)到94.5%。

表5將本文模型與傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)及其各類(lèi)變種網(wǎng)絡(luò)模型[17]進(jìn)行了實(shí)驗(yàn)對(duì)比，在與本文網(wǎng)絡(luò)結(jié)構(gòu)相似的非大型模型中，本文的分類(lèi)準(zhǔn)確率最高，更加突出顯示了本文模型分類(lèi)能力的優(yōu)越性。值得特別說(shuō)明的是，通過(guò)在 CDCWGAN-GP訓(xùn)練對(duì)抗網(wǎng)絡(luò)的過(guò)程中間接進(jìn)行的數(shù)據(jù)增強(qiáng)效果優(yōu)于對(duì)原始數(shù)據(jù)進(jìn)行預(yù)處理的數(shù)據(jù)增強(qiáng)效果。

3.2 CIFAR-10的實(shí)驗(yàn)結(jié)果

CIRAR-10數(shù)據(jù)集中一共有6萬(wàn)張彩色圖片，包含了來(lái)自10個(gè)類(lèi)別的自然圖像，每張圖片大小是32*32。其中，訓(xùn)練集有5萬(wàn)張圖片，5等分地分為5個(gè)訓(xùn)練批，測(cè)試集有1萬(wàn)張圖片。訓(xùn)練中的損失如下：在CIFAR10上的訓(xùn)練過(guò)程中，整個(gè)網(wǎng)絡(luò)的判別器損失d_1oss呈增加趨勢(shì)，且增幅不斷減慢，而生成器損失g_loss呈增加趨勢(shì)，且增幅不斷加快，最終判別器和生成器的對(duì)抗趨于穩(wěn)定的狀態(tài)，模型達(dá)到收斂。

表6 CIFAR10各種方法的分類(lèi)準(zhǔn)確率對(duì)比

CIRFAR-10數(shù)據(jù)集的生成樣本如圖7所示，可以發(fā)現(xiàn)，隨著epoch增加，生成樣本的效果越來(lái)越好，當(dāng)epoch達(dá)到150后，生成樣本的效果達(dá)到最優(yōu)。

最后，通過(guò)對(duì)判別器參數(shù)進(jìn)行微調(diào)，得到分類(lèi)的實(shí)驗(yàn)結(jié)果如圖8。一開(kāi)始分類(lèi)的準(zhǔn)確率就可以達(dá)到80%左右，當(dāng)epoch達(dá)到20的時(shí)候，準(zhǔn)確率趨于穩(wěn)定，可以達(dá)到88%左右。圖8表明本文模型的分類(lèi)損失隨著epoch增加而逐漸降低。

圖7 CIFAR10生成樣本

圖8 CIFAR10的分類(lèi)準(zhǔn)確率的變化

在CIFAR-10數(shù)據(jù)集上, 同樣將本文模型與DCGAN模型進(jìn)行了實(shí)驗(yàn)比對(duì)，如圖8通過(guò)實(shí)驗(yàn)結(jié)果可以證明，相比DCGAN模型，我們的模型收斂速度更快，并且分類(lèi)的結(jié)果準(zhǔn)確度也更高。

表6是本文模型與其他模型[18-19]在CIFAR-10數(shù)據(jù)集上進(jìn)行的實(shí)驗(yàn)結(jié)果比對(duì)?？梢园l(fā)現(xiàn)，本文模型優(yōu)于其他的比較模型且取得了最佳的效果。

4 結(jié)論

本文結(jié)合WGAN-GP網(wǎng)絡(luò)模型和CDCGAN網(wǎng)絡(luò)模型，提出了混合模型—條件梯度Wasserstein生成對(duì)抗網(wǎng)絡(luò)CDCWGAN-GP。并且為了能更全面的提取圖像的特征，將判別器分為了全局判別器和局部判別器，利用兩個(gè)判別器一起打分，從而更好地識(shí)別圖像的全局和局部一致性。利用本文的模型來(lái)進(jìn)行圖像識(shí)別，可以使準(zhǔn)確率顯著提升。本文提出的模型不僅能得到質(zhì)量很高的生成樣本，而且相比傳統(tǒng)的GAN訓(xùn)練方式，收斂速度更快，訓(xùn)練時(shí)也更加穩(wěn)定，再利用具有全局和局部一致性的判別器能更好地提取圖像特征并進(jìn)行特征表達(dá)。在FASHION-MNIST和CIFAR10數(shù)據(jù)集上進(jìn)行的實(shí)驗(yàn)證明，相比于其他類(lèi)似的方法，本文的模型分類(lèi)效果更加出色，證明了此模型的可行性。在以后的工作中，作者將針對(duì)高分辨率圖像該如何訓(xùn)練，對(duì)抗模型什么時(shí)候達(dá)到最優(yōu)效果，以及不同參數(shù)(例如不同優(yōu)化器的選擇，batch的大小不同)對(duì)精度的影響等問(wèn)題進(jìn)行更加深入的研究。