多層次生成對抗網(wǎng)絡(luò)的動畫頭像生成方法研究

高文超，任圣博，田 馳，趙珊珊

中國礦業(yè)大學(xué)（北京）機電與信息工程學(xué)院，北京100083

近幾年由于動畫題材被越來越多的人所接受，各種社交平臺的用戶對個性化頭像的需求愈加強烈，但是喜歡動畫又追求獨特風(fēng)格的部分群體并不具備作畫和設(shè)計能力，且難以找到專業(yè)設(shè)計師設(shè)計頭像，深度生成模型的誕生使計算機作畫成為可能。

由Goodfellow等提出的生成對抗網(wǎng)絡(luò)[1]是目前最成功的生成模型，具有強大的泛用性。目前GANs已經(jīng)廣泛應(yīng)用于視頻音樂語音合成、圖像檢索、人體姿態(tài)估計、超分辨率[2-5]等領(lǐng)域。但是原始GANs 是無監(jiān)督模型，無法控制生成數(shù)據(jù)的模式。針對這個問題，CGAN[6]、ACGAN[7]等模型被提出，CGAN通過附加信息對模型進行約束，ACGAN 則是添加輔助分類器，最小化圖像真假的對數(shù)似然性和圖片分類的對數(shù)似然性，這些理論使得按條件控制GANs生成成為現(xiàn)實。但是GANs仍然存在難以訓(xùn)練的問題，容易生成多樣性缺失的圖像，即模式崩潰。文獻[8-10]等方法，通過設(shè)計網(wǎng)絡(luò)結(jié)構(gòu)、調(diào)整目標(biāo)函數(shù)、優(yōu)化訓(xùn)練方法對模式崩潰的問題進行了改進。

人臉頭像的五官、膚色和發(fā)色等特征相差較小，但動畫頭像根據(jù)不同主題其頭發(fā)、眼睛、皮膚等都有所不同，所以在GANs 生成中保證多樣性和真實性存在一定難度。在無條件人臉生成算法方面，ProGAN[11]、MSG-GAN[12]取得了不錯的效果。ProGAN 使用逐級生成思想，從低分辨率開始訓(xùn)練，訓(xùn)練完成后添加新層以訓(xùn)練更高分辨率，循序漸進，能有效且穩(wěn)定地訓(xùn)練高質(zhì)量高分辨率模型。MSG-GAN 通過添加生成器中間層和判別器中間層的連接允許判別器的梯度流入生成器，解決了梯度消失問題。在文本生成圖像算法中，為了能夠生成高質(zhì)量高分辨率圖像，StackGAN++[13]通過將網(wǎng)絡(luò)結(jié)構(gòu)堆疊，為每一個階段的網(wǎng)絡(luò)配置一個判別器，緩解梯度消失和直接生成高分辨率圖像難度大的問題。

實驗發(fā)現(xiàn)使用DCGAN、WGAN等方法很容易造成模式崩潰、圖像細(xì)節(jié)不足、扭曲等問題，同時這些方法不提供條件生成，限制了圖像多樣性。為解決上述問題，本文基于堆疊式結(jié)構(gòu)思想，利用多尺度信息，提出以下改進方案：

（1）為提高網(wǎng)絡(luò)表達能力，文獻[13]通過在生成器中添加殘差塊增加網(wǎng)絡(luò)深度以增加圖像細(xì)節(jié)信息。其殘差塊由卷積層、BN層和ReLU激活組成，本文將殘差塊中的BN層刪去。該方法能有效提升訓(xùn)練速度，小幅提升生成圖像質(zhì)量。

（2）設(shè)計輔助分類器對合成圖像進行分類，增加合成圖像的多樣性，緩解模式崩潰。

（3）引入特征圖空間損失和圖像像素空間均值方差損失。特征圖空間損失[14]要求合成數(shù)據(jù)特征和真實數(shù)據(jù)特征的均方誤差較小；圖像像素空間均值方差損失要求圖像的顏色和數(shù)據(jù)分布基本一致。本文在目標(biāo)函數(shù)中添加以上兩種損失，引導(dǎo)模型收斂。

1 相關(guān)理論

1.1 生成對抗網(wǎng)絡(luò)

生成對抗網(wǎng)絡(luò)（generative adversarial networks，GANs）是Goodfellow 等在2014 年提出的生成式模型，源于博弈論中的二人零和博弈思想。不同于傳統(tǒng)生成模型，GANs 至少包含一個生成模型和一個判別模型，二者交替訓(xùn)練相互競爭。生成器的目的是捕獲到真實數(shù)據(jù)的分布，產(chǎn)生具有特定意義的圖像，判別器的目的是盡量區(qū)分出輸入的數(shù)據(jù)是生成數(shù)據(jù)還是真實數(shù)據(jù)。理論上，G和D只需要是能擬合相應(yīng)生成和判別功能的函數(shù)即可，但因神經(jīng)網(wǎng)絡(luò)在圖像方面的良好效果，一般使用深度神經(jīng)網(wǎng)絡(luò)表示。GANs網(wǎng)絡(luò)結(jié)構(gòu)見圖1。

圖1 生成對抗網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Generative adversial network structure

生成對抗網(wǎng)絡(luò)的損失函數(shù)表示為：

其中，px為真實圖像的數(shù)據(jù)分布；pz為輸入噪聲的數(shù)據(jù)分布。

GANs 兩個模型的訓(xùn)練相互獨立，其損失函數(shù)需要分為兩部分，交替訓(xùn)練。

1.2 多層次結(jié)構(gòu)

DCGAN 沒有從根本上解決模式崩潰的現(xiàn)象，訓(xùn)練更高分辨率的圖像仍然會產(chǎn)生圖像扭曲和細(xì)節(jié)消失等問題，嚴(yán)重情況下還會模式崩潰。在文本生成圖像領(lǐng)域，Zhang 等人于2017 年提出堆疊式生成對抗網(wǎng)絡(luò)StackGAN[15]，核心思想就是將生成任務(wù)分成兩個階段，第一階段生成低分辨率圖像，粗略勾畫出物體的形狀和顏色，第二階段做出修正，生成細(xì)節(jié)豐富的高分辨率圖像。每一個階段的生成網(wǎng)絡(luò)分別配置一個判別器，這樣不僅減輕網(wǎng)絡(luò)的生成壓力，降低訓(xùn)練難度，還解決了梯度消失問題。

原始StackGAN 需要將訓(xùn)練網(wǎng)絡(luò)分成兩部分，且兩部分網(wǎng)絡(luò)不能實現(xiàn)協(xié)同訓(xùn)練，第二階段的訓(xùn)練梯度不能流到第一階段。深度學(xué)習(xí)研究員一般追求端到端的模型，希望由一個網(wǎng)絡(luò)一次性完成任務(wù)。Zhang等人隨后推出一個端到端網(wǎng)絡(luò)：StackGAN++，將多階段的任務(wù)合并到一個網(wǎng)絡(luò)同時訓(xùn)練，實驗表明相對于StackGAN 模型效果有了顯著提升。

鑒于堆疊式結(jié)構(gòu)有效改善了因網(wǎng)絡(luò)深度增加造成的梯度消失問題，提升了深度卷積網(wǎng)絡(luò)的性能，而且在生成高分辨率圖像上表現(xiàn)優(yōu)異，本文基于堆疊式結(jié)構(gòu)設(shè)計了生成器。

1.3 帶有輔助分類器的生成對抗網(wǎng)絡(luò)

原始GANs是無監(jiān)督模型，只能根據(jù)噪聲輸出合成圖片，不能控制生成的細(xì)節(jié)信息。CGAN第一次將附加信息引入GANs，實現(xiàn)了對圖像細(xì)節(jié)的控制。ACGAN是對CGAN的進一步擴展，實現(xiàn)了對輸入圖像的分類功能，不僅能夠穩(wěn)定訓(xùn)練，還提高生成圖像的質(zhì)量。

生成器輸入包括兩部分：類別信息c和噪聲z，將c和z合并輸入生成器得到合成圖像，然后將合成圖像和真實圖像輸入判別器得到分類和判別真假的結(jié)果。

ACGAN 的損失函數(shù)具有兩部分，一是判別器損失LS，二是圖像分類損失LC。損失函數(shù)定義如下所示：

Xreal表示真實的訓(xùn)練圖像，Xfake表示合成訓(xùn)練圖像，C代表分類信息。P(S|X)，P(C|X)分別表示圖像真假和類別。

1.4 門控線性單元

門控機制已經(jīng)被證明對循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）有效，LSTMs通過由輸入門和遺忘門控制的獨立單元實現(xiàn)長期記憶，使信息不會很容易在時間步的轉(zhuǎn)換中消失。相對于RNN，卷積網(wǎng)絡(luò)不依賴于前一個時刻的隱藏層狀態(tài)，無需遺忘門，可以方便地實現(xiàn)并行化，Dauphin 等[16]將無需遺忘門的門控卷積網(wǎng)絡(luò)應(yīng)用到語言建模，提出了門控線性單元GLU，不僅有效降低了梯度消失，還保留了非線性的能力。GLU操作定義為：

W和V代表不同的卷積核，具有相同的維度，b和c代表偏置參數(shù)；?是相同維度的矩陣按元素相乘；σ指sigmoid 非線性函數(shù)，控制了X*W+b中的那些信息傳到下一層，即門控機制。StackGAN++將GLU作為激活單元，增加非線性。

2 多層次生成對抗網(wǎng)絡(luò)的動畫頭像生成方法

神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和損失函數(shù)是影響網(wǎng)絡(luò)性能的重要因素。本文分別在這兩方面作出改進。

2.1 網(wǎng)絡(luò)結(jié)構(gòu)

本文設(shè)計了一個由兩個網(wǎng)絡(luò)堆疊而成的生成器和兩個帶有輔助分類器的判別器。網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

圖2 帶輔助分類器的多層次結(jié)構(gòu)生成對抗網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 Auxiliary classification atteched multi-level generative adversial network

（1）生成器網(wǎng)絡(luò)結(jié)構(gòu)

生成器由兩階段網(wǎng)絡(luò)堆疊而成，第一階段網(wǎng)絡(luò)包含三個上采樣層；第二階段網(wǎng)絡(luò)包含一個聯(lián)合訓(xùn)練層，兩個殘差塊和一個上采樣層。

F0和F1是第一階段和第二階段的網(wǎng)絡(luò)，h0和h1是第一階段和第二階段的隱藏狀態(tài)，S0和S1是低分辨率和高分辨率的圖像。G0和G1是一個3×3卷積層，對隱藏狀態(tài)進行降維得到3通道圖像。

Z是一個從高斯分布中采樣得到的噪聲向量，與降維后的條件向量e拼接，輸入F0進行上采樣得到隱藏狀態(tài)h0，然后將(h0,e)輸入F1得到隱藏狀態(tài)h1，將(h0,h1)分別輸入(G0,G1)得到圖像(S0,S1)。公式定義為：

F0將圖像分辨率提升8 倍，由三個上采樣結(jié)構(gòu)組成，上采樣結(jié)構(gòu)如表1。

表1 上采樣網(wǎng)絡(luò)結(jié)構(gòu)Table 1 Upsampling network

F1的主要任務(wù)是對低尺度圖像的細(xì)節(jié)進行補充然后增大分辨率，結(jié)構(gòu)包含一個聯(lián)合訓(xùn)練層、兩個殘差塊和一個上采樣層。

其中殘差塊的任務(wù)是對上一階段的細(xì)節(jié)進行修復(fù)。一般殘差塊由卷積層、BN層和ReLU組成，本文將BN 層去掉，以增加模型生成質(zhì)量穩(wěn)定性，節(jié)省顯存，增加訓(xùn)練速度。

Batch norm（BN）是深度學(xué)習(xí)的一個重要技術(shù)，可以加速模型收斂，但是BN在圖像生成和超分辨率方面表現(xiàn)欠佳。圖像超分辨率任務(wù)要求網(wǎng)絡(luò)輸出的顏色、對比度、亮度和輸入圖像一致，只改變分辨率和細(xì)節(jié)信息。而BN會對色彩的分布進行標(biāo)準(zhǔn)化，破壞原來的對比度信息，去除BN反而得到較好的性能[17-19]。所以，本文將殘差結(jié)構(gòu)中的BN層刪去。

殘差結(jié)構(gòu)如圖3所示。

圖3 殘差結(jié)構(gòu)Fig.3 Residual network

本文生成器所有激活單元采用GLU 結(jié)構(gòu)，相比于ReLU，復(fù)雜程度更高，表達能力更強，很少產(chǎn)生梯度消失問題。實驗發(fā)現(xiàn)，GLU在穩(wěn)定模型上也具有一定效果。

（2）判別器網(wǎng)絡(luò)結(jié)構(gòu)

GAN 具有強大的生成能力，但是模型的穩(wěn)定性一直是亟待解決的問題。實驗發(fā)現(xiàn)StackGAN++雖然在條件生成上具有較好的生成效果，但是仍然會在多輪的訓(xùn)練中陷入模式崩潰，難以收斂。StackGAN++的判別器承擔(dān)兩個任務(wù)：一是判別圖像真假；二是判斷條件和圖像相符程度，任務(wù)相對于GANs較為復(fù)雜。本文設(shè)計輔助分類器[7]承擔(dān)圖像分類任務(wù)，將一個復(fù)雜的判別任務(wù)分割成多個簡單的小問題，實驗表示輔助分類器減輕了判別器的任務(wù)，穩(wěn)定了模型的訓(xùn)練。

通常判別器和生成器失衡較快的原因是簡單的判別器容易訓(xùn)練，在短時間訓(xùn)練太強，無法為生成器提供有效梯度。為增加判別器訓(xùn)練的難度并減少顯存消耗，本文將分類器和判別器特征提取層的參數(shù)共享，然后添加兩個全連接層分別完成判別和分類任務(wù)。

判別器和輔助分類器網(wǎng)絡(luò)結(jié)構(gòu)如表2、表3。

表2 D0 網(wǎng)絡(luò)結(jié)構(gòu)Table 2 D0 network structure

表3 D1 網(wǎng)絡(luò)結(jié)構(gòu)Table 3 D1 network structure

實驗發(fā)現(xiàn)增大判別器的卷積核大小會增加判別器的訓(xùn)練難度，延遲判別器和生成器失衡，使合成圖像質(zhì)量增加。如果判別器過于簡單，生成器很容易模式崩潰。

2.2 損失函數(shù)

GANs通過JS散度衡量兩個分布之間的距離，當(dāng)兩個分布之間完全沒有交集的時候，JS 散度是一個常數(shù)，反向傳播的梯度為0，這在深度學(xué)習(xí)訓(xùn)練中是一個致命問題。本文引入特征圖空間損失、像素空間均值方差損失和分類損失輔助訓(xùn)練。

圖像像素空間的L2距離經(jīng)常用到機器學(xué)習(xí)模型的訓(xùn)練，但這經(jīng)常導(dǎo)致圖像模糊的情況出現(xiàn)。真實的圖像是具有多個峰值的多模態(tài)數(shù)據(jù)，而采樣得到的數(shù)據(jù)不能包含所有峰值，如果使用單峰數(shù)據(jù)分布擬合多峰數(shù)據(jù)分布會使圖像較為單一、模糊。圖像較高層次特征圖會捕獲高級內(nèi)容，可以綜合多種屬性，不限制精確像素，產(chǎn)生更多的模式。相對于圖像像素空間的L2 距離損失，特征圖上的感知損失可以像人眼一樣評估[20]，具有更強的靈活性。本文模型引入特征圖空間損失Lfeat，希望加速收斂的同時減少圖像模糊化。

C是一個用來計算特征圖的網(wǎng)絡(luò)，可以嵌入判別器，作為判別器的一部分共享參數(shù)。Xi是低尺度和高尺度真實圖像。

GANs 的最終目的是生成與真實數(shù)據(jù)分布相同的數(shù)據(jù)，那么最優(yōu)模型生成數(shù)據(jù)的均值方差應(yīng)該與真實數(shù)據(jù)的均值方差相同，但是特征圖感知損失并不強調(diào)圖像均值和方差的一致性。為了使圖像的顏色和數(shù)據(jù)分布接近，本文引入圖像像素空間均值方差損失Lcov,μ。

本文引入分類器輔助訓(xùn)練，當(dāng)優(yōu)化判別器時輸入是真實圖像和合成圖像，標(biāo)簽是lreal和lfake；當(dāng)優(yōu)化生成器時輸入是合成圖像，標(biāo)簽是lreal。分類損失定義為：

H表示交叉熵。

判別器D通過最小化交叉熵?fù)p失判別輸入圖像的真假和類別。其對抗損失定義為：

生成器損失是圖像像素空間均值方差損失、特征圖空間損失、對抗損失和分類損失的加權(quán)和。

判別器損失是對抗損失和分類損失加權(quán)和：

本文參數(shù)設(shè)置為λ1=1，λ2=1，λcov,μ=0.1，λimg=0.1，λGC=1，λDC=0.5。

綜上所述，本文設(shè)計了一個由兩階段網(wǎng)絡(luò)堆疊的生成器和兩個帶有分類功能的判別器，并剔除生成器殘差結(jié)構(gòu)中的BN層，引入圖像特征圖空間損失、圖像像素空間均值方差損失和分類損失。

3 實驗結(jié)果和分析

3.1 實驗數(shù)據(jù)

為訓(xùn)練本文的生成模型，從網(wǎng)上搜索了36 000 張96×96 的動畫人物頭像。本文的生成模型具有輔助分類器，需要對真實圖像數(shù)據(jù)集進行分類。實驗發(fā)現(xiàn)人物頭發(fā)顏色相對明顯，且通過DCGAN[7]、LSGAN[21]模型生成的圖像會產(chǎn)生背景和頭發(fā)雜糅，邊界扭曲的現(xiàn)象，所以本文根據(jù)頭發(fā)顏色進行分類，希望模型能夠根據(jù)頭發(fā)顏色進行合成。

本文實驗環(huán)境為ubuntu 14.04系統(tǒng)，采用深度學(xué)習(xí)框架pytorch1.6+cuda10.1，NVIDIA 1080 加速運算。模型采用mini-batch 訓(xùn)練方式，batchsize 設(shè)置為64。使用Adam優(yōu)化器，初始學(xué)習(xí)率設(shè)置為0.000 2，迭代50輪。

3.2 評價指標(biāo)

評價合成圖像主要考慮兩個因素：圖像清晰度和圖像多樣性。圖像清晰度不足往往是網(wǎng)絡(luò)的表達能力不足，不能再現(xiàn)圖像細(xì)節(jié)，需要使用更復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)；圖像多樣性不足往往是損失函數(shù)和訓(xùn)練方法的問題，常見現(xiàn)象就是模式崩潰。

本文選擇Fréchet inception distance（FID）[22]衡量生成圖片質(zhì)量。FID 直接衡量合成數(shù)據(jù)和真實數(shù)據(jù)分布的距離，距離越小說明合成圖像與真實圖像越接近。FID 是通過Inception V3 模型[23]提取視覺特征向量，并假定該特征服從多維高斯分布，然后計算真實圖像特征向量的均值、協(xié)方差(μx,Cx)和合成圖像特征向量的均值、協(xié)方差(μg,Cg)。兩個分布的Fréchet距離定義如下：

x代表真實樣本集分布，g代表合成樣本集分布，μ、C分別代表提取特征后特征向量的均值和協(xié)方差，tr 表示矩陣的跡。

FID值越小，說明合成圖像和真實圖像的分布越接近，合成圖像的多樣性和質(zhì)量越好。FID對模式崩潰相對敏感，而且對噪聲具有很好的魯棒性，如果發(fā)生模式崩潰，生成的頭像相似性太高，那么FID分?jǐn)?shù)會很高，所以FID可以用來衡量生成結(jié)果的多樣性。

3.3 模型結(jié)果對比和分析

基于多層次結(jié)構(gòu)添加特征圖空間損失Lfeat和圖像像素空間均值方差損失Lcov,μ的提升效果不如DCGAN明顯，所以本文將DCGAN加入實驗參與對比。

模型分析分為無條件和有條件兩種情況，在無條件情況下，將多層次結(jié)構(gòu)與DCGAN模型對比，驗證多層次結(jié)構(gòu)的有用性；在有條件情況下，對DCGAN 添加Lfeat和Lcov,μ進行對比以驗證本文損失，最后對StackGAN++和ACM-GAN對比分析驗證本文最終模型的有用性。

3.3.1 無條件模型對比分析

DCGAN 在無條件下進行訓(xùn)練，第8 輪FID 分?jǐn)?shù)最優(yōu)，顏色較為鮮艷，但是圖像顆粒感嚴(yán)重，視覺感受較差。隨著迭代次數(shù)增加，顏色逐漸暗淡，F(xiàn)ID 分?jǐn)?shù)有所下降，視覺感受有所上升。原因是圖像多樣性降低和顏色變暗導(dǎo)致真實圖像分布差距變大，這一缺點在多層次結(jié)構(gòu)同樣存在。

圖4 是無條件模型結(jié)果對比，可以看出LSGAN 與DCGAN生成質(zhì)量沒有明顯差異，多層次結(jié)構(gòu)（無標(biāo)簽）的部分圖像具有較高的清晰度和真實度，但是大多數(shù)圖像比較扭曲。

圖4 無條件模型結(jié)果對比Fig.4 Comparison of model results in unconditional models

無監(jiān)督模型的FID 分?jǐn)?shù)對比如表4 所示，多層次結(jié)構(gòu)的FID分?jǐn)?shù)相對于DCGAN下降17.11，改善較大。

表4 無監(jiān)督模型FID分?jǐn)?shù)Table 4 FID score of unsupervised model

多層次結(jié)構(gòu)（無標(biāo)簽）是將ACM-GAN 的條件和輔助分類器去掉的模型。實驗發(fā)現(xiàn)，無條件情況下模型在第二階段很容易陷入模式崩潰，需要通過顏色一致性正則化[10]對第二階段圖像加以限制。

3.3.2 有條件模型對比分析

針對有條件情況，根據(jù)標(biāo)簽比例從訓(xùn)練集中挑選出10 000張圖片與生成的10 000張圖片計算FID分?jǐn)?shù)。

首先對DCGAN 添加特征圖空間損失Lfeat和圖像像素空間均值方差損失Lcov,μ驗證損失函數(shù)。實驗結(jié)果如表5所示。

表5 基于DCGAN的模型FID分?jǐn)?shù)Table 5 FID Score of different model based on DCGAN

本文DCGAN（有標(biāo)簽）模型是通過對噪聲z拼接條件向量，在判別器中間層添加條件[3]實現(xiàn)條件控制。相對于無條件DCGAN 的FID 分?jǐn)?shù)增加7.6，表現(xiàn)稍差，震蕩程度稍高。雖然基本能夠?qū)崿F(xiàn)按照條件生成對應(yīng)頭發(fā)顏色的頭像，但是圖像模糊程度較高，多樣性較差。

添加圖像特征圖空間損失Lfeat后收斂速度增加，震蕩程度稍弱，F(xiàn)ID分?jǐn)?shù)降低到61.79。生成頭像如圖5第二行，頭發(fā)顏色和條件對應(yīng)程度增強，視覺感受增加。Lfeat雖然使FID分?jǐn)?shù)有所下降，但合成圖像仍然存在顏色暗淡，不鮮艷的問題。Lcov,μ損失要求合成圖像和真實圖像顏色和方差一致，在添加Lfeat的基礎(chǔ)上添加Lcov,μ后FID分?jǐn)?shù)降低到55.69。從生成結(jié)果看該模型生成的圖像顏色鮮艷，細(xì)節(jié)豐富，更貼近真實圖像，部分圖像的眼部表達更加生動。

圖5 有條件模型結(jié)果對比Fig.5 Comparison of model results in conditional models

表6 是StackGAN++和本文模型的FID 分?jǐn)?shù)對比，可以看出本文方法均優(yōu)于StackGAN++。StackGAN++的殘差結(jié)構(gòu)中帶有BN，與殘差塊中帶有BN 的ACMGAN的區(qū)別在于輔助分類器。相對于StackGAN++，輔助分類器使FID分?jǐn)?shù)提升3.82，且生成的圖像與顏色對應(yīng)程度更高。

表6 Stack GAN++和ACM-GAN模型FID分?jǐn)?shù)Table 6 FID Score of StackGAN++and ACM-GAN model

通常GANs 模型生成圖像的質(zhì)量在訓(xùn)練初期震蕩提高，到達一定程度后質(zhì)量就會震蕩下降。ACM-GAN（BN）的圖像質(zhì)量震蕩情況相對于StackGAN++較弱，在多次訓(xùn)練中遇到模式崩潰的次數(shù)低于StackGAN++。表7是StackGAN++和ACM-GAN平均模式崩潰次數(shù)和第一次崩潰epoch對比。

表7 50epoch模式崩潰次數(shù)對比Table 7 Frequency comparison of mode collapse during 50epoch

實驗發(fā)現(xiàn)，StackGAN++和ACM-GAN 都具有模型修復(fù)的能力，可以在一定的epoch 內(nèi)跳出模式崩潰。StackGAN++第一次崩潰是在第20 epoch，遠早于ACMGAN，且在崩潰修復(fù)后再次陷入模式崩潰幾率更大。ACM-GAN第一次崩潰epoch一般在45輪，平均崩潰次數(shù)為0.5次，穩(wěn)定性較StackGAN++更高。

不同于StackGAN++將判斷生成圖像是否符合條件和判別圖像真假的任務(wù)完全交給判別器，使得判別器壓力較大，ACM-GAN 的輔助分類器只承擔(dān)圖像分類任務(wù)，對模式崩潰較為敏感。當(dāng)發(fā)生模式崩潰時，分類損失較高，輔助分類器會引導(dǎo)模型修復(fù)?？梢园l(fā)現(xiàn)輔助分類器對于模型穩(wěn)定性和避免模式崩潰具有重要作用。

輔助分類損失對模型收斂起引導(dǎo)作用，損失大小應(yīng)小于對抗損失，如果分類權(quán)值過大，輔助分類器性能過強，可能對模型的引導(dǎo)起反作用。本文設(shè)置λGC=1，λDC=0.5，λDC應(yīng)小于λGC，且權(quán)值應(yīng)都小于1，兩者允許±0.2以內(nèi)的波動。

ACM-GAN 將殘差結(jié)構(gòu)的BN 層去掉，F(xiàn)ID 分?jǐn)?shù)具有小幅提升，訓(xùn)練時間減少8%。實驗發(fā)現(xiàn)，在殘差塊添加BN層的ACM-GAN在batch-size較小的情況下，合成圖像容易產(chǎn)生黑邊或者白邊甚至模式崩潰。ACM-GAN對這種情況有所改善，模型訓(xùn)練穩(wěn)定性較強，模式崩潰的概率減少。

添加圖像特征空間損失Lfeat，和圖像像素空間均值方差損失Lcov,μ效果均有所優(yōu)化，最優(yōu)達到27.96，相對于StackGAN++提升23.1%，模型訓(xùn)練過程穩(wěn)定更高，生成質(zhì)量震蕩程度進一步降低。Lfeat改善了圖像的扭曲現(xiàn)象，并提升視覺感受，但是稍微導(dǎo)致圖像顏色暗淡，不鮮艷。Lcov,μ關(guān)注合成圖像和真實圖像顏色上的差距和分布的方差差距，對于圖像的顏色差異和模式崩潰較為敏感，減輕了圖像模糊情況，生成的圖像鮮艷度更高，細(xì)節(jié)信息豐富，視覺感受更好。

Lfeat的權(quán)值選擇和特征圖層數(shù)的選擇對結(jié)果影響較大，實驗發(fā)現(xiàn)，權(quán)值過低會導(dǎo)致?lián)p失項不起作用，過高會導(dǎo)致模式崩潰的發(fā)生；如果特征圖過于靠近輸入層，也可能導(dǎo)致模式崩潰，需要對應(yīng)的減少Lfeat權(quán)值大小。特征圖靠近輸入層，那么特征圖空間就更接近圖像像素空間，不能充分提取更高層次的信息，會更加關(guān)注圖像像素級別的誤差，使圖像出現(xiàn)模糊的情況；特征圖過于靠近輸出層，又會導(dǎo)致不能充分提取高層次信息，對網(wǎng)絡(luò)引導(dǎo)作用過小。只有在大小合適的特征圖上才能充分提取高層次信息，經(jīng)過實驗，本文第一階段采用，第二階段采用。

Lfeat和Lcov,μ的權(quán)值選擇不應(yīng)過大，設(shè)置在0.1±0.05之間。Lfeat和Lcov,μ是對圖像的定性衡量，與對抗損失這種動態(tài)衡量方式不同，對抗損失關(guān)注圖像的真假概率，對圖像的像素值約束寬松。Lfeat和Lcov,μ只是對模型的收斂起部分引導(dǎo)作用，和分類損失一樣不能太大。

由于數(shù)據(jù)集有樣本不平衡的現(xiàn)象，Blue、Green、Purple樣本較少，導(dǎo)致這三種顏色和頭像的對應(yīng)度較差。Yellow 和Black 兩種顏色數(shù)據(jù)較多，所以生成效果略優(yōu)于其他顏色。

4 結(jié)束語

本文基于堆疊式結(jié)構(gòu)，結(jié)合輔助分類器并引入特征圖損失和圖像像素空間均值方差損失，提出了改進模型ACM-GAN 用于動畫頭像生成。實驗結(jié)果表明，在圖像生成清晰度、多樣性和訓(xùn)練穩(wěn)定性方面，相對于DCGAN、LSGAN、StackGAN++均有提升，證明了該方法的有效性。受限于數(shù)據(jù)集的分辨率，本文模型不能生成更高分辨率的圖像，而且圖像存在不平衡和分類信息不準(zhǔn)確的現(xiàn)象，對生成結(jié)果造成一定的影響。在接下來的研究中，可以搜集更高分辨率的頭像數(shù)據(jù)集，進行更細(xì)致的分類工作。此外，在網(wǎng)絡(luò)結(jié)構(gòu)上還可以引入注意力機制思想進一步提升網(wǎng)絡(luò)的表達能力。