基于樣本特征解碼約束的GANs

陳泓佑 陳 帆 和紅杰 朱翌明

生成式對抗網(wǎng)絡(luò)(Generative adversarial networks,GANs)是2014 年 Goodfellow 等[1]依據(jù)零和博弈思想和納什均衡原理提出的一種數(shù)據(jù)生成模型,被廣泛應(yīng)用于圖像生成領(lǐng)域.GANs 在網(wǎng)絡(luò)結(jié)構(gòu)上主要由生成器G網(wǎng)絡(luò)和判別器D網(wǎng)絡(luò)組成[1-3].G網(wǎng)絡(luò)的目的是將隨機(jī)噪聲映射到訓(xùn)練集分布中,對隨機(jī)噪聲和訓(xùn)練數(shù)據(jù)的聯(lián)合概率密度進(jìn)行建模,關(guān)注于數(shù)據(jù)生成過程.D網(wǎng)絡(luò)的目的是區(qū)分出饋入樣本的類別問題,關(guān)注于生成數(shù)據(jù)和訓(xùn)練數(shù)據(jù)的最優(yōu)分界面.GANs 的最大特點(diǎn)是對抗學(xué)習(xí)方式,訓(xùn)練過程中G網(wǎng)絡(luò)和D網(wǎng)絡(luò)交替對抗訓(xùn)練,兩者的能力同步提升.

由于GANs 在圖像數(shù)據(jù)生成上的出色表現(xiàn),此后為提高GANs 生成圖像的多樣性(模式坍塌問題)和質(zhì)量等,研究者提出了許多GANs 衍生模型.

從加入條件變量和圖像隱碼控制方面進(jìn)行改進(jìn).Mirza 等[4]提出的條件生成式對抗網(wǎng)絡(luò)嘗試?yán)糜?xùn)練集樣本的某些信息(如圖像類別標(biāo)簽)來提高隨機(jī)噪聲z的可解釋性,使得生成圖像質(zhì)量有所提高.Odena[5]提出的半監(jiān)督學(xué)習(xí)生成式對抗網(wǎng)絡(luò)將GANs 進(jìn)行拓展,利用半監(jiān)督學(xué)習(xí)使得D網(wǎng)絡(luò)分類能力提高,能夠有效提高生成圖像質(zhì)量及收斂速度.Odena 等[6]提出的輔助分類器生成式對抗網(wǎng)絡(luò)可實(shí)現(xiàn)多分類問題,輸出的則是對應(yīng)標(biāo)簽的概率值,有效提高了GANs 模型模擬多類別、高分辨率數(shù)據(jù)集的效果.Chen 等[7]提出的信息極大化生成式對抗網(wǎng)絡(luò)在GANs 對抗學(xué)習(xí)的基礎(chǔ)上,通過引入一個訓(xùn)練集樣本對應(yīng)的隱含信息(如類別標(biāo)簽,傾斜度),使得隱含信息與生成樣本具有較高的互信息,有效提高圖像生成質(zhì)量.Donahue 等[8]提出雙向生成式對抗網(wǎng)絡(luò) (Bidirectional generative adversarial networks,BiGANs)是一種雙向結(jié)構(gòu)的對抗模型,增加了一個訓(xùn)練好的編碼器E 網(wǎng)絡(luò)用于提取訓(xùn)練樣本隱碼c,在D網(wǎng)絡(luò)的饋入信息是隨機(jī)噪聲z與對應(yīng)生成樣本配對或樣本隱碼c與對應(yīng)的訓(xùn)練樣本配對,在生成實(shí)際場景圖像上能取得很好的效果.以上GANs 中對于需要標(biāo)簽信息的GANs 模型限制了其在無監(jiān)督對抗學(xué)習(xí)中的應(yīng)用.雙向生成式對抗網(wǎng)絡(luò)中隱碼的引入使得訓(xùn)練樣本反復(fù)被編碼器編碼,而且饋入到D網(wǎng)絡(luò)的數(shù)據(jù)不僅僅是圖像樣本,還有隱碼c,整個GANs 網(wǎng)絡(luò)框架變得更復(fù)雜,增加訓(xùn)練代價(jià).

從GANs 網(wǎng)絡(luò)結(jié)構(gòu)或框架設(shè)計(jì)方面進(jìn)行改進(jìn).Radford 等[9]提出的深度卷積生成式對抗網(wǎng)絡(luò)(Deep convolutional generative adversarial networks,DCGANs)使用重新設(shè)計(jì)的卷積神經(jīng)網(wǎng)絡(luò)作為G和D網(wǎng)絡(luò),能夠有效提高圖像生成質(zhì)量,并且成為GANs 網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)上的標(biāo)準(zhǔn)模型之一.Denton等[10]提出的一種拉普拉斯金字塔生成式對抗網(wǎng)絡(luò)模型,結(jié)合GANs 和條件GANs 的一些優(yōu)點(diǎn),使用多個GANs 逐層地生成高質(zhì)量自然圖像.Brock等[11]基于殘差網(wǎng)絡(luò)設(shè)計(jì)的大型生成式對抗網(wǎng)絡(luò)能有效生成大尺寸,高質(zhì)量的自然圖像,但參數(shù)量明顯大于一般GANs 模型,需要更多的硬件資源和時間成本.Nguyen 等[12]提出的雙判別器生成式對抗網(wǎng)絡(luò)使用兩個D網(wǎng)絡(luò)更細(xì)化GANs 中D網(wǎng)絡(luò)的分類任務(wù),能使得訓(xùn)練收斂速度變快及提高生成圖像的多樣性.張龍等[13]提出一種協(xié)作式結(jié)構(gòu)的GANs模型提高生成圖像質(zhì)量,一定程度避免了模式坍塌現(xiàn)象的發(fā)生.GANs 網(wǎng)絡(luò)結(jié)構(gòu)的設(shè)計(jì)通常難度較大,這也是到目前為止,通過結(jié)構(gòu)設(shè)計(jì)提升GANs 能力的經(jīng)典GANs 模型很少的主要原因.

從優(yōu)化目標(biāo)函數(shù)梯度消失方面進(jìn)行改進(jìn).GANs優(yōu)化Jensen-Shannon (JS)散度時可能導(dǎo)致梯度消失,使得訓(xùn)練效果相對較差,多樣性不足[14].研究者主要是使用其他散度代替JS 散度.Arjovsky 等[14]提出沃瑟斯坦距離生成式對抗網(wǎng)絡(luò),利用沃瑟斯坦距離來描述作為兩個分布的相似度;這有效避免了優(yōu)化JS 散度容易出現(xiàn)的梯度消失現(xiàn)象,但對D網(wǎng)絡(luò)權(quán)重剪枝比較粗暴.Mao 等[15]提出的最小二乘生成式對抗網(wǎng)絡(luò)(Least squares generative adversarial networks,Least squares GANs 或LSGANs)是利用最小二乘原理,將G和D網(wǎng)絡(luò)的損失函數(shù)設(shè)計(jì)成最小二乘形式,使得GANs 優(yōu)化生成數(shù)據(jù)分布和訓(xùn)練數(shù)據(jù)分布的Pearson 散度,避免梯度消失,并且損失函數(shù)收斂過程更平穩(wěn).Berthelot 等[16]提出的邊界平衡生成式對抗網(wǎng)絡(luò)(Boundary equilibrium generative adversarial networks,BEGANs)將一個自編碼器作為D網(wǎng)絡(luò),設(shè)計(jì)了G和D網(wǎng)絡(luò)的平衡度量方法來優(yōu)化沃瑟斯坦距離,進(jìn)而引入新的超參數(shù)來平衡兩個網(wǎng)絡(luò)訓(xùn)練,以期得到更好的生成圖像.Gulrajani 等[17]提出的梯度懲罰沃瑟斯坦距離生成式對抗網(wǎng)絡(luò)(WGANs with gradient penalty,WGANsGP),Wu 等[18]提出的沃瑟斯坦散度生成式對抗網(wǎng)絡(luò)均是WGANs的改進(jìn)模型,其中WGANsGP 通過梯度懲罰的方式替換掉權(quán)重剪切,從而避免因權(quán)重剪切導(dǎo)致的權(quán)重集中化和調(diào)參上的梯度消失問題.沃瑟斯坦散度生成式對抗網(wǎng)絡(luò)通過引入沃瑟斯坦散度,從而去除WGANs中D網(wǎng)絡(luò)的Lipschitz 條件,又能保留沃瑟斯坦距離度量兩個分布的良好性質(zhì)(如JS 散度的梯度消失問題).Su[19]提出的對偶GANs 模型,通過引入合理的概率散度并找出它的對偶表達(dá),再將其轉(zhuǎn)化成極小-極大博弈形式,從而避免了類似于WGANs 需要的Lipschitz 條件和多數(shù)GANs 容易發(fā)生梯度消失問題.Zhao 等[20]提出基于能量的生成式對抗網(wǎng)絡(luò)是將D網(wǎng)絡(luò)看成能量函數(shù),提供了一種基于能量解釋的GANs,并且通過pull-away term 策略來防止梯度消失問題導(dǎo)致的模式坍塌.王功明等[21]等提出一種基于重構(gòu)誤差能量函數(shù)的GANs 模型,利用深度置信網(wǎng)絡(luò)作為G網(wǎng)絡(luò),能預(yù)防網(wǎng)絡(luò)梯度消失,在生成效果和網(wǎng)絡(luò)學(xué)習(xí)效率上有所提升.這些方法雖然能有效解決梯度消失問題,但普遍需要比較多的迭代次數(shù),特別是優(yōu)化沃瑟斯坦距離的GANs,通常為使得D網(wǎng)絡(luò)滿足1-Lipschitz 條件,每個批次的訓(xùn)練中很可能需要對其進(jìn)行多次訓(xùn)練.

除此之外還有其他的改進(jìn)途徑.Qi[22]提出的損失敏感型生成式對抗網(wǎng)絡(luò)主要為了限制GANs 試圖模擬任意訓(xùn)練集分布的能力,讓生成模型能夠更偏向于改進(jìn)真實(shí)度不高的樣本從而提高圖像生成效果.Zhang 等[23]提出的自注意力生成式對抗網(wǎng)絡(luò)(Self-attention generation adversarial networks,SAGANs),利用注意力機(jī)制嵌入G網(wǎng)絡(luò)和D網(wǎng)絡(luò)中,使得兩個網(wǎng)絡(luò)能更好地學(xué)習(xí)網(wǎng)絡(luò)自發(fā)關(guān)注的訓(xùn)練圖像特征提高了生成圖像質(zhì)量和多樣性,但其網(wǎng)絡(luò)規(guī)模和訓(xùn)練迭代次數(shù)有所增加.

考慮到優(yōu)化JS 散度容易帶來的梯度消失問題,無監(jiān)督GANs 模型在訓(xùn)練上更便利的優(yōu)點(diǎn).本文依然將JS 散度作為主優(yōu)化目標(biāo)的前提下,提出了一種基于訓(xùn)練集樣本特征解碼損失約束的無監(jiān)督GANs模型.所設(shè)計(jì)的模型不僅盡量避免優(yōu)化JS散度可能帶來的梯度消失問題,同時也通過改進(jìn)GANs 網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu),融入樣本本身的特征信息進(jìn)行訓(xùn)練以提高GANs 圖像生成能力.首先利用無監(jiān)督特征學(xué)習(xí)模型預(yù)訓(xùn)練出訓(xùn)練集樣本的中間層特征;然后構(gòu)建一個與G網(wǎng)絡(luò)結(jié)構(gòu)一致和權(quán)重共享的解碼器Dec,在每次對抗訓(xùn)練前使用本文設(shè)計(jì)的約束條件進(jìn)行圖像特征解碼;最后再進(jìn)行優(yōu)化JS 散度的GANs 對抗學(xué)習(xí).為驗(yàn)證所設(shè)計(jì)的GANs 性能,利用Celeba和Cifar10 數(shù)據(jù)集,對比分析了幾種典型GANs 模型的生成效果.實(shí)驗(yàn)結(jié)果表明,本文方法能有效提高生成圖像的多樣性和質(zhì)量的同時,還能減少訓(xùn)練所需的epoch 數(shù).

1 對抗原理

GANs 的典型結(jié)構(gòu)由一個生成器G和判別器D組成.G網(wǎng)絡(luò)的任務(wù)是模擬訓(xùn)練集X進(jìn)行數(shù)據(jù)生成,D網(wǎng)絡(luò)的任務(wù)是分辨出饋入的樣本屬于X或者G(Z).

G網(wǎng)絡(luò)的每個輸入量為一個隨機(jī)噪聲z,z ∈Z且Z～FZ(z),隨機(jī)噪聲z的分布函數(shù)FZ(z)通常為正態(tài)分布或均勻分布.記訓(xùn)練樣本x,x ∈X且X～FX(x),其中FX(x) 為訓(xùn)練樣本集X的分布函數(shù).那么D和G網(wǎng)絡(luò)的損失函數(shù)分別為:

式中,m是每次饋入神經(jīng)網(wǎng)絡(luò)樣本的個數(shù).從而整個網(wǎng)絡(luò)的博弈損失函數(shù)為:

式中,V(G,D)是一個二元極小極大零和博弈函數(shù),E(·) 為 期望函數(shù).優(yōu)化損失函數(shù)最終目的為使得G(Z)的統(tǒng)計(jì)分布FG(x) 趨近于訓(xùn)練樣本集X的分布FX(x).為便于以下討論,使用概率密度函數(shù)代替分布函數(shù)來描述分布.

2 解碼約束的GANs

本節(jié)先分析優(yōu)化JS 散度可能帶來的梯度消失問題;然后提出了本文解決方法,同時給出了理論推導(dǎo),為本文的解決方法提供依據(jù);最后給出本文方法的訓(xùn)練步驟.

2.1 問題分析

為便于分析和討論,先引入Kullback-Leibler(KL)散度和JS 散度的定義.

定義1[24].設(shè)兩個具有相同樣本空間 Ω 的隨機(jī)變量X和G的概率密度函數(shù)分別為fX(x)和fG(x).KL 散度定義為:

式(6)表明,式(3)的優(yōu)化目標(biāo)其實(shí)是最小化訓(xùn)練集X的概率密度函數(shù)fX(x) 和生成集G(Z)的概率密度函數(shù)fG(x)的JS 散度.

Arjovsky 等[14]在WGANs 的分析過程中指出當(dāng)生成樣本集分布fG(x) 與訓(xùn)練樣本集分布fX(x)的相似度越低,即當(dāng)兩個分布的交叉區(qū)域越小,JS(fX(x)||fG(x))越接近于常數(shù)1.這可能引發(fā)損失函數(shù)梯度消失的現(xiàn)象.在GANs 訓(xùn)練過程中,fG(x)是逐漸擬合fX(x)的過程,JS 散度的固有性質(zhì)可知,在GANs 訓(xùn)練的起步階段梯度消失現(xiàn)象更明顯.即使GANs 能夠繼續(xù)通過優(yōu)化方法進(jìn)行參數(shù)更新,為使得fG(x) 與fX(x)有足夠的相交區(qū)域,也需要更多epoch 數(shù)進(jìn)行訓(xùn)練.解決這個問題的一般方法是使用Pearson 散度或沃瑟斯坦距離代替JS 散度重新設(shè)計(jì)損失函數(shù).

2.2 特征解碼約束的GANs

由第2.1 節(jié)分析可知,JS 散度為常數(shù)而導(dǎo)致梯度消失的一個重要前提是fG(x) 與fX(x)的相似度足夠低.那么通過添加約束條件利于fG(x)相 似于fX(x)可以達(dá)到盡量避免JS 散度為常數(shù)的目的,為此本文設(shè)計(jì)了一種JS +λ·KL 混合散度的約束方法.約束條件KL(fX(x)||fG(x)) 的目的是為使得fG(x)與fX(x)的相交區(qū)域變大.

如圖1 所示,本文設(shè)計(jì)的GANs 分為3 個部分: 1)特征學(xué)習(xí)部分: 目的是預(yù)訓(xùn)練出訓(xùn)練集X的特征集C.2)解碼學(xué)習(xí)部分: 目的是先通過本文設(shè)計(jì)的解碼約束條件對特征集C進(jìn)行解碼,完成KL(fX(x)||fDec(x))約束.又通過解碼器Dec與G網(wǎng)絡(luò)結(jié)構(gòu)一致,參數(shù)共享,以近似達(dá)到KL(fX(x)||fG(x)) 約束.最終使得在優(yōu)化JS 散度前fG(x)與fX(x)相交區(qū)域變大,JS 散度不易為常數(shù),從而盡量避免出現(xiàn)梯度消失現(xiàn)象.3)對抗學(xué)習(xí)部分: 通過優(yōu)化JS 散度使得fG(x) 模擬fX(x).其中特征學(xué)習(xí)部分是預(yù)訓(xùn)練,解碼學(xué)習(xí)和對抗學(xué)習(xí)部分需要一起動態(tài)學(xué)習(xí).與一般含自動編碼機(jī)GANs 不同的是,本文自動編碼機(jī)主要目的是預(yù)訓(xùn)練出可用的隱含特征.例如,與雙向生成式對抗網(wǎng)絡(luò)相比,隱含特征c不會饋入D網(wǎng)絡(luò)對其參數(shù)更新及直接參與對抗訓(xùn)練,僅用于解碼學(xué)習(xí);與BEGANs 相比,D網(wǎng)絡(luò)的任務(wù)仍然是二分類,無編碼功能.

圖1 總體結(jié)構(gòu)示意圖Fig.1 Overall structure sketch

2.2.1 特征學(xué)習(xí)

在圖像特征學(xué)習(xí)中,需要提取出圖像的隱含信息,用此表征原始圖像.自編碼特征學(xué)習(xí)是一種有效的圖像特征學(xué)習(xí)方法[26].常用的自動編碼機(jī)較多,除噪自動編碼機(jī)[26-28]經(jīng)過對訓(xùn)練樣本加入噪聲并進(jìn)行降噪的訓(xùn)練過程,能夠強(qiáng)迫網(wǎng)絡(luò)學(xué)習(xí)到更加魯棒的不變性特征,獲得饋入圖像的更有效和更魯棒的表達(dá).收縮自動編碼機(jī)[26,29]能夠較好地重構(gòu)訓(xùn)練樣本,并且對訓(xùn)練樣本一定程度的擾動具有不變性.稀疏自動編碼機(jī)[26,30]將稀疏編碼和自編碼機(jī)結(jié)合,可以提取饋入樣本的稀疏顯著性特征.對于一般任務(wù),最常用的依然是經(jīng)典自動編碼機(jī)模型[26].

由于隨機(jī)噪聲z維度相對較低(如64 或100維),特征提取任務(wù)相對簡單,且為獲取更好的重構(gòu)圖像效果.本文將經(jīng)典自動編碼機(jī)結(jié)合U-Net 網(wǎng)絡(luò)模型[31],建立了5 層的全連接類似U-Net 的自動編碼機(jī)用于C的獲取,并且使得特征c的維度與隨機(jī)噪聲z的維度是相同的.圖2 給出了U-Net 型自動編碼機(jī)用于獲取X的特征集C的示意圖.該網(wǎng)絡(luò)由5 層神經(jīng)元組成,第3 層用于特征提取,特征圖像像素個數(shù)與隨機(jī)噪聲z維度相一致.

圖2 特征學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.2 Structure diagram of feature learning network

訓(xùn)練過程中,損失函數(shù)選用均方差損失函數(shù):

2.2.2 解碼及對抗學(xué)習(xí)

設(shè)訓(xùn)練樣本集X對應(yīng)的特征集為C,解碼器為Dec,它與G網(wǎng)絡(luò)共享權(quán)重,網(wǎng)絡(luò)結(jié)構(gòu)一致.記X的概率密度函數(shù)為fX(x).解碼集Dec(C)的概率密度函數(shù)為fDec(x).解碼損失函數(shù)為:

式中,xi為X中的樣本,ci為xi對應(yīng)于C中的樣本,m為樣本個數(shù).||·||為度量兩個樣本的距離函數(shù),常用的函數(shù)類型有L1 和L2 型函數(shù).

在原有的JS 散度對抗損失函數(shù)中引入解碼損失函數(shù)進(jìn)行約束,需要控制解碼約束條件對Dec網(wǎng)絡(luò)梯度下降的貢獻(xiàn).主要原因有以下3 點(diǎn): 1)G網(wǎng)絡(luò)模擬的是訓(xùn)練集X的主要特征,不需要按像素嚴(yán)格一致.解碼損失函數(shù)是按像素嚴(yán)格一致進(jìn)行圖像重構(gòu),因此后者約束更強(qiáng)勢.2)對抗損失函數(shù)是優(yōu)化JS(fX(x)||fG(x)),解碼損失函數(shù)是優(yōu)化KL(fX(x)||fDec(x)),優(yōu)化后者雖然對避免JS(fX(x)||fG(x))為常數(shù)有益,但各自的梯度下降方向并不完全一致,應(yīng)保證JS(fX(x)||fG(x))是主優(yōu)化方向.3)優(yōu)化二元組 (fX(x),fG(x))相 對于優(yōu)化三元組(fX(x),fG(x),fDec(x)) 難度更低.當(dāng)fDec(x)≈fG(x)時,相當(dāng)于近似優(yōu)化前者.

為達(dá)到以上目的,可以通過對解碼損失函數(shù)權(quán)重系數(shù),訓(xùn)練頻次及學(xué)習(xí)率加以控制.當(dāng)解碼損失函數(shù)式(8)選用L2 型函數(shù)時,本文設(shè)計(jì)的解碼損失函數(shù)如下:

式中,δ是判別函數(shù),1 表示進(jìn)行解碼訓(xùn)練,0 表示屏蔽解碼訓(xùn)練;λ是解碼損失函數(shù)權(quán)重系數(shù).

式中,t是當(dāng)前的迭代epoch 數(shù),r是控制調(diào)用解碼約束的頻次,l是控制最后一次解碼的控制變量.每次對抗學(xué)習(xí)前,依據(jù)條件判別式(10)以此來控制解碼約束條件的使用總次數(shù)和頻率.

由此,最終的對抗網(wǎng)絡(luò)損失函數(shù)為:

由于D網(wǎng)絡(luò)是一個二分類網(wǎng)絡(luò),利用單向標(biāo)簽平滑[32]處理能對分類性能有一定提高,這有益于降低分類網(wǎng)絡(luò)的訓(xùn)練難度.在實(shí)際訓(xùn)練操作中可以使用這種方式對式(1)進(jìn)行標(biāo)簽平滑處理.

為使得上面所提供的解決方法有所依據(jù).分析了以下3 點(diǎn): 1)優(yōu)化 J S+λ·KL 混合散度對JS 散度不為常數(shù)的影響.2)優(yōu)化 J S+λ·KL 混合散度對優(yōu)化原有JS 散度相對于分布對 (fX(x),fG(x))的極小值點(diǎn)及單調(diào)性的影響.3)優(yōu)化KL 散度時解碼損失函數(shù)類型選擇的依據(jù).為此下面3 個命題進(jìn)行了討論分析.

命題1.限制解碼器Dec解碼約束條件對Dec網(wǎng)絡(luò)參數(shù)更新的梯度貢獻(xiàn),且使得fDec(x)≈fG(x).那么訓(xùn)練過程中引入解碼約束條件有利于避免JS(fX(x)||fG(x)為常數(shù).

證明.要證明命題結(jié)論,只需要證明引入約束條件后有利于fG(x) 相似于fX(x)即可.

記第t次解碼訓(xùn)練后解碼集Dec(C,t)對應(yīng)的概率密度函數(shù)為fDec(x,t),第t次對抗訓(xùn)練后生成數(shù)據(jù)集G(Z,t) 對應(yīng)的概率密度函數(shù)為fG(x,t).

由式(6)的C(G)條件知,G網(wǎng)絡(luò)僅僅是使得fG(x) 模擬fX(x),并不要求G(Z)=X.所以優(yōu)化過程是一個依分布收斂的過程,即:

由式(8)可知,對于解碼器Dec的理想目標(biāo)是求解C→X的映射,使得Dec(C)=X,即:

式中,xi和Dec(ci)分別是各自樣本空間中的任意樣本,且ci是xi的特征碼.故而解碼器Dec的理想目標(biāo)是使得Dec(C,t)幾乎處處收斂于X.但由于訓(xùn)練中,通常只能達(dá)到如下情況:

命題3.當(dāng)訓(xùn)練集X符合正態(tài)分布時,解碼器Dec應(yīng)選用L2 型函數(shù).

證明.記X對應(yīng)的訓(xùn)練集為C,解碼集為Dec(C).fX(x|c) 為C給定時,X的條件概率密度函數(shù).fDec(x|c) 為C給定時,解碼集Dec(C)等于訓(xùn)練集X的條件概率密度函數(shù),那么解碼器Dec解碼的目的可表達(dá)為使得fDec(x|c)≈fX(x|c),即:

式中,ε是任意小的正實(shí)數(shù).

其蘊(yùn)含于(由KL 散度的信息論含義可得):

因?yàn)?lnfX(x|c) 為已知的訓(xùn)練集X及其對應(yīng)的特征集C表達(dá)的信息.所以其為常數(shù),在梯度下降優(yōu)化時不對梯度做貢獻(xiàn).由此式(21)等價(jià)于優(yōu)化下式:

由命題2 可知,引入解碼約束條件基本不影響函數(shù)的單調(diào)性和極小值點(diǎn),表明它們相對于分布對(fX(x),fG(x))的最優(yōu)解一致,優(yōu)化任務(wù)的總體目的相近.

由命題3 可知,若訓(xùn)練樣本X符合正態(tài)分布,應(yīng)選用均方差損失函數(shù).由于訓(xùn)練集X中樣本的結(jié)構(gòu)信息(幾何結(jié)構(gòu)量)、顏色信息和清晰度(與圖像紋理相關(guān))等關(guān)鍵特征信息,依據(jù)三大中心極限定理可知是滿足正態(tài)分布假設(shè)或近似正態(tài)分布假設(shè).

2.3 網(wǎng)絡(luò)訓(xùn)練

通過以上描述,可以得到整個網(wǎng)絡(luò)的訓(xùn)練方法,如下所示:

步驟1.依據(jù)式(7)充分訓(xùn)練U-Net 型自動編碼機(jī),獲取訓(xùn)練集X的特征集C.

步驟2.依據(jù)式(10)計(jì)算出判別值δ,如果δ=1 則對解碼器Dec(解碼器與生成器G權(quán)重共享,網(wǎng)絡(luò)結(jié)構(gòu)一致)使用均方根傳播優(yōu)化方法進(jìn)行解碼訓(xùn)練.每次饋入批量尺寸個x和對應(yīng)的特征碼c.

步驟3.分別饋入批量尺寸個x和G(z)到判別器D網(wǎng)絡(luò),使用均方根傳播優(yōu)化方法對其進(jìn)行權(quán)重更新.

步驟4.饋入批量尺寸個z到生成器G網(wǎng)絡(luò),使用均方根傳播優(yōu)化方法對其進(jìn)行權(quán)重更新.連續(xù)訓(xùn)練2 次G.

步驟5.重復(fù)步驟 2～4,直到達(dá)到最大epoch數(shù)為止.

3 實(shí)驗(yàn)及分析

本文實(shí)驗(yàn)中,選取的主要軟硬件環(huán)境為,Tensor-Flow1.12.0 GPU 版本,CUDA 9.0,cuDNN 7.4,英偉達(dá)GTX1080,GTX1080Ti,RTX2080Ti 顯卡.實(shí)驗(yàn)的其他部分如下.

3.1 評價(jià)指標(biāo)及數(shù)據(jù)集

為定量對比分析多個生成模型的生成圖像效果,選取Inception score (IS)[33-34]、弗雷歇距離(Frechet inception distance,FID)[33-34]和平均清晰度進(jìn)行評價(jià).IS 是評價(jià)生成圖像的質(zhì)量和模式類別多樣性的指標(biāo)(對多樣性描述更準(zhǔn)確一些),指標(biāo)值越高越好.FID 也是評價(jià)生成圖像質(zhì)量和多樣性,越低越好.計(jì)算IS 指標(biāo)不需要訓(xùn)練集做對比,計(jì)算FID 指標(biāo)需要訓(xùn)練集做對比,FID 越小表明與訓(xùn)練集的圖像質(zhì)量及多樣性越接近.清晰度是圖像重要的視覺質(zhì)量指標(biāo),越高則有更多紋理結(jié)構(gòu)信息.清晰度方法選取常用的基于能量梯度表達(dá)計(jì)算公式:

式中,I(i,j) 表示在圖像樣本x中坐標(biāo) (i,j)處的像素值大小,w和h分別表示樣本圖像x的寬度和高度.使用S(x)除以圖像像素個數(shù)以獲取平均清晰度.

為驗(yàn)證本文GANs 模型的生成圖像的效果,選取Celeba 和Cifar10 數(shù)據(jù)集進(jìn)行測試.數(shù)據(jù)集詳細(xì)信息如下所示.

Celeba 數(shù)據(jù)集共含有202 599 張彩色人物上半身圖像,每張圖像大小為178×218 像素.在實(shí)驗(yàn)中選取前50 000 張圖像,裁剪出64×64 的人臉圖像作為訓(xùn)練集.Cifar10 數(shù)據(jù)集含有50 000 張訓(xùn)練集彩色圖像和10 000 張測試集彩色圖像.每張圖片大小為32×32,10 個類別的圖像在訓(xùn)練集和測試集中比例相同.實(shí)驗(yàn)選用Cifar10 的訓(xùn)練集作為GANs的訓(xùn)練集.圖3～ 4 展示了訓(xùn)練集的樣本圖像.

圖3 Celeba 數(shù)據(jù)集樣本Fig.3 Samples of Celeba dataset

圖4 Cifar10 數(shù)據(jù)集樣本Fig.4 Samples of Cifar10 dataset

3.2 特征學(xué)習(xí)實(shí)驗(yàn)

在圖像特征學(xué)習(xí)中,使用類似于U-Net 的5 層全連接自編碼機(jī)用于特征學(xué)習(xí),每層神經(jīng)元數(shù)量為:w×h、1 0×10、1 0×10、1 0×10 和w×h(w和h是圖像寬度和高度),激活函數(shù)為softsign,使用Adam 方法進(jìn)行優(yōu)化,學(xué)習(xí)率為0.001,動量因子為0.9.每批提取100 個樣本圖像的中間層特征,迭代次數(shù)為 7 000.在GTX1080Ti 顯卡條件下,Cifar10數(shù)據(jù)集上所耗時間約為7 小時,Celeba 數(shù)據(jù)集上所耗時間約為18 小時.

圖5 展示了部分訓(xùn)練樣本重構(gòu)效果和提取的特征圖.前后3 行圖像各為一個單元,每個單元中第1 行是原圖,第2 行是重構(gòu)圖,第3 行是對應(yīng)的特征圖.在特征圖中,每1 個格子對應(yīng)原特征圖的1 個彩色像素.

圖5 U-Net 自動編碼示例Fig.5 Samples of U-Net auto-encoder

由圖5 可以看出,U-Net 結(jié)構(gòu)下的自編碼機(jī)都有比較好的圖像重構(gòu)視覺效果,所提取的隱含特征都有比較好的特征表達(dá)能力.從圖5 可以觀察出圖像顏色和紋理結(jié)構(gòu)越豐富,隱含特征色彩也越豐富.反之,特征的顏色也比較單一.例如圖5 人臉圖像中,第 1～4 列頭發(fā)顏色和背景顏色都偏暗,面部方向?yàn)檎?第 5～8 列背景圖像,面部角度及頭發(fā)顏色都比較鮮明.與之對應(yīng),它們的特征也有比較明顯的顏色區(qū)分度,從而表明所學(xué)習(xí)到的特征包含了原始圖像的一些信息,如顏色和面部方向.在Cifar10 數(shù)據(jù)集中依然有類似的規(guī)律,能明顯看出,后4 列圖像是顏色鮮明的,特征也鮮明.

表1 給出了Celeba 和Cifar10 數(shù)據(jù)集重構(gòu)樣本與訓(xùn)練集的峰值信噪比(Peek signal to noise ratio,PSNR)和結(jié)構(gòu)相似度(Structural similarity,SSIM)質(zhì)量評估指標(biāo).

表1 原圖像與重構(gòu)圖像的PSNR 和SSIM 值統(tǒng)計(jì)Table 1 PSNR &SSIM between original and reconstructed images

由表1 可以看出,在Celeba 和Cifar10 數(shù)據(jù)集上,U-Net 型自動編碼機(jī)重構(gòu)的樣本在PSNR 和SSIM指標(biāo)上都有不錯的表現(xiàn).結(jié)合圖5 來看,其提取的特征具有訓(xùn)練集樣本的特征表達(dá)能力.

3.3 不同解碼實(shí)驗(yàn)對比

本節(jié)實(shí)驗(yàn)為驗(yàn)證樣本特征有效性,限制解碼約束條件的必要性及解碼函數(shù)類型選擇的重要性做了如下實(shí)驗(yàn).1)正態(tài)特征(每個訓(xùn)練樣本對應(yīng)的特征符合標(biāo)準(zhǔn)正態(tài)分布);2)均勻特征(每個訓(xùn)練樣本對應(yīng)的特征符合[-1,1]的均勻分布);3) L1 解碼約束條件.4) L2 解碼約束條件,但不限制其對損失函數(shù)的梯度貢獻(xiàn).5)本文方法(L2 解碼約束條件,限制對損失函數(shù)梯度貢獻(xiàn));除此,還計(jì)算了訓(xùn)練集的指標(biāo)信息用以對比分析.

所有實(shí)驗(yàn)選用均方根傳播優(yōu)化方法,學(xué)習(xí)率為0.0002,動量因子為0.9,批量尺寸為64,epoch 數(shù)為15.在第1 至3 或5 組實(shí)驗(yàn)中,式(9)選取參數(shù)λ=1.0×10-7;式(10)中,r=2,l=11.在第4 組實(shí)驗(yàn)中,λ=1.0,r=1,l=epoch.Celeba 和Cifar10實(shí)驗(yàn)每組生成50 000 張圖片進(jìn)行統(tǒng)計(jì)分析.表2～3 展示了統(tǒng)計(jì)圖像數(shù)據(jù)得到的各項(xiàng)指標(biāo)結(jié)果,其中上標(biāo) * 項(xiàng)是來自不限L2 約束對損失函數(shù)梯度貢獻(xiàn)權(quán)重實(shí)驗(yàn),第5 列是計(jì)算與訓(xùn)練集清晰度均值的差距值,粗體表示最優(yōu)值.

表2 Celeba 中不同解碼實(shí)驗(yàn)結(jié)果Table 2 Results of different decoding experiments in Celeba

1)分析對于饋入圖像特征c的必要性.對比表2～3 中的正態(tài)特征,由均勻特征和L2 (本文)表項(xiàng)可知,本文方法在IS 和FID 這兩項(xiàng)關(guān)鍵指標(biāo)上,均是最優(yōu).特別是在FID 指標(biāo)上有顯著提升,表明使用圖像特征c進(jìn)行解碼是必要的,饋入的特征類型是不能隨意選取.對比清晰度,本文方法的清晰度均值雖不是最大,但是本文清晰度更接近訓(xùn)練集的清晰度水平,表明能更合理地模擬訓(xùn)練集高頻信息.

2)分析解碼損失函數(shù)類型的必要性.對比表2～3 中L1 和L2 (本文)可知,IS 和FID 指標(biāo)依然是本文占優(yōu).清晰度均值表項(xiàng)L1 約束占優(yōu)表明其生成的圖像填充的紋理信息更多,但本文方法清晰度依然最接近訓(xùn)練集清晰度.

3)分析限制解碼約束條件對梯度貢獻(xiàn)的必要性.對比表2～ 3 中L2*和L2 (本文)可知,L2*的IS 和FID 指標(biāo)明顯占劣勢,這表明其多樣性和生成圖像的指標(biāo)較差.對比清晰度指標(biāo)可以發(fā)現(xiàn)不限制L2 約束條件對梯度的貢獻(xiàn),會影響生成圖像的細(xì)節(jié)紋理填充.應(yīng)注意表3 中L2*和訓(xùn)練集表項(xiàng)的清晰度均值相近的原因,前者是因?yàn)榧y理細(xì)節(jié)丟失導(dǎo)致清晰度下降,后者是因?yàn)閳D像前景或背景本身紋理較少(如艦船、馬匹、汽車、飛機(jī)等類別)導(dǎo)致整體清晰度下降.

表3 Cifar10 中不同解碼實(shí)驗(yàn)結(jié)果Table 3 Results of different decoding experiments in Cifar10

通過以上3 個方面的分析可以發(fā)現(xiàn),本文方法中使用圖像特征進(jìn)行解碼是必要的,饋入的解碼特征類型不具有隨意性;對于解碼損失函數(shù)使用L2效果更優(yōu),具有一定必要性;限制解碼損失函數(shù)對梯度的貢獻(xiàn),使得fDec(x)和fG(x)應(yīng)近似相等是必要的.后兩點(diǎn)也與模型的理論分析部分一致.

圖6～ 11 展示了在Celeba 和Cifar10 數(shù)據(jù)集中,均勻特征、不限制權(quán)重的L2 約束以及本文方法實(shí)驗(yàn)生成樣本.

圖6 Celeba 中均勻特征實(shí)驗(yàn)樣本Fig.6 Uniform feature experimental samples in Celeba

由圖3 和圖6～ 8 可以看出,本文方法(圖8)生成的圖像更細(xì)膩,圖像紋理填充主要是填充到頭發(fā)部分,視覺效果更好.而均勻特征生成的圖像中(圖6),一些紋理信息不僅填充到面部,而且還填充到背景區(qū)域,這也是表2 中其清晰度均值偏高的原因.表明它能夠生成更多的紋理細(xì)節(jié),但是填充位置未必合理.對于 L 2*生成的圖像中(圖7)能夠發(fā)現(xiàn),生成的樣本比較模糊,紋理信息填充比較差,影響了視覺效果.表明限制解碼損失函數(shù)對梯度下降的貢獻(xiàn)是必要的.

圖7 Celeba 中L2 解碼不限制權(quán)重實(shí)驗(yàn)樣本Fig.7 L2 decoding with not restrict weight experimental samples in Celeba

圖8 Celeba 中本文方法實(shí)驗(yàn)樣本Fig.8 Experimental samples of our method in Celeba

由圖9～ 11 可以看出,本文方法(圖11)能更明顯地生成圖像中背景和前景部分.而均勻特征生成圖像(圖9)紋理填充得更多.對于L2*生成的圖像(圖10)也能夠發(fā)現(xiàn)圖像相對模糊.通過以上的數(shù)據(jù)及生成圖像對比分析表明,在本文方法中,為生成更好質(zhì)量的圖像,需要選取合適的解碼特征類型,限制解碼約束條件權(quán)重以及選取合適的解碼函數(shù)類型.

圖9 Cifar10 中均勻特征實(shí)驗(yàn)樣本Fig.9 Uniform feature experimental samples in Cifar10

圖10 Cifar10 中L2 解碼不限制權(quán)重實(shí)驗(yàn)樣本Fig.10 L2 decoding with not restrict weight experimental samples in Cifar10

圖11 Cifar10 中本文方法實(shí)驗(yàn)樣本Fig.11 Experimental samples of our method in Cifar10

3.4 耗時分析

本文GANs 所使用的G和D網(wǎng)絡(luò)內(nèi)部結(jié)構(gòu)均與DCGANs 一致,并且本文將JS 散度作為主優(yōu)化目標(biāo),后者將JS 散度作為優(yōu)化目標(biāo).為驗(yàn)證模型的所耗時間代價(jià),在同一臺含GTX1080Ti 顯卡的計(jì)算機(jī)上測試了DCGANs 和本文GANs 模型的耗時,以此對比分析出本文的訓(xùn)練時間代價(jià).

由表4 可以看出,在預(yù)訓(xùn)練出訓(xùn)練集樣本特征前提下,本文GANs 總耗時有所下降,這得益于總的epoch 數(shù)減少.但單位耗時有所提高,這源于本文GANs 在某些epoch 訓(xùn)練周期內(nèi)會使用解碼約束條件.由第3.3 節(jié)實(shí)驗(yàn)設(shè)置可以看出,解碼約束的使用僅在0 和0 到11 之內(nèi)的偶數(shù)訓(xùn)練周期中,共6 次.在特征提取的過程中,由第3.2 節(jié)可知,其耗時遠(yuǎn)大于用于解碼和對抗訓(xùn)練耗時.表明本文GANs 在特征學(xué)習(xí)過程中的預(yù)訓(xùn)練耗時代價(jià)較大.總耗時的減少為模型的參數(shù)調(diào)試帶來了比較大的便利.

表4 時間代價(jià)測試Table 4 Test of time cost

3.5 不同GANs 實(shí)驗(yàn)對比

在對抗訓(xùn)練實(shí)驗(yàn)中,本文選取的G網(wǎng)絡(luò)和D網(wǎng)絡(luò)結(jié)構(gòu)與DCGANs 一致,LSGANs、WGANs 和WGANsGP 的網(wǎng)絡(luò)結(jié)構(gòu)處理方法相同.選取均方根傳播優(yōu)化方法,學(xué)習(xí)率和動量因子分別為0.0002和0.9.

BEGANs 和SAGANs 分別依據(jù)文獻(xiàn)[16,23]代碼單獨(dú)實(shí)驗(yàn),關(guān)鍵參數(shù)與原文一致,選用Adam優(yōu)化.所有實(shí)驗(yàn)中批量尺寸為64.在Celeba 和Cifar10 上每組實(shí)驗(yàn)均生成50 000 張圖片進(jìn)行數(shù)據(jù)統(tǒng)計(jì),獲得表5～ 6 實(shí)驗(yàn)數(shù)據(jù).在表5～ 6 中,SAGANs1使用WGANsGP 損失函數(shù)(優(yōu)化沃瑟斯坦距離),SAGANs2使用DCGANs 損失函數(shù)(優(yōu)化JS 散度);關(guān)于本文所設(shè)計(jì)GANs 參數(shù)統(tǒng)計(jì),前半部分是解碼及對抗學(xué)習(xí)模型參數(shù)量,后半部分是U-Net 自動編碼機(jī)模型參數(shù)量.

對比分析表5 實(shí)驗(yàn)數(shù)據(jù)可知:

表5 Celeba 中不同GANs 對比Table 5 Comparsion of different GANs in Celeba

1)對比前5 個和本文GANs 模型.由IS 指標(biāo)可以看出,本文雖稍好于LSGANs、WGANs 和W G A N s G P,但它們之間I S 指標(biāo)基本一致;DCGANs 和BEGANs 較差,表明兩者多樣性和質(zhì)量差于其他方法.在FID 指標(biāo)上,本文GANs模型明顯優(yōu)于這5 個GANs 模型,表明本文GANs模型相對地更能有效模擬訓(xùn)練集分布.在清晰度指標(biāo)上,雖然清晰度均值不是最大,但是它與訓(xùn)練集之間的清晰度均值差距更小,表明本文GANs 對高頻細(xì)節(jié)模擬更合理.對比模型參數(shù)可知,由于特征學(xué)習(xí)網(wǎng)絡(luò)的參數(shù)量較少,所以本文GANs 模型并沒有明顯增加參數(shù)量.最后對比epoch 數(shù)可以看出,本文相對于上述GANs 模型有明顯優(yōu)勢.

2)對比SAGANs 和本文GANs 效果.從SAGANs1 和本文GANs 的實(shí)驗(yàn)數(shù)據(jù)可知,優(yōu)化沃瑟斯坦距離的SAGANs 的綜合性能很好,IS 指標(biāo)與本文相當(dāng),FID 指標(biāo)稍好于本文GANs;在清晰度指標(biāo)上,它能更合理地模擬人臉紋理信息,雖然參數(shù)量兩者基本一致,但其訓(xùn)練epoch 數(shù)明顯多于本文GANs模型.再對比SAGANs2 和本文GANs 可知,本文綜合效果又較明顯優(yōu)于優(yōu)化JS 散度的SAGANs模型.說明當(dāng)JS 散度作為優(yōu)化目標(biāo)或主優(yōu)化目標(biāo)時,本文GANs 模型比融入注意力機(jī)制和譜歸一化優(yōu)化的SAGANs 模型表現(xiàn)更佳.同時,通過對應(yīng)地對比DCGANs 與WGANs、SAGANs1 與SAGANs2,可以看出,優(yōu)化JS 散度模型生成圖像質(zhì)量差于優(yōu)化沃瑟斯坦距離模型生成圖像質(zhì)量.這也證明了WGANs[14]的分析,JS 散度的確可能帶來梯度消失問題,導(dǎo)致生成圖像質(zhì)量下降.

由表6 可知,在Cifar10 數(shù)據(jù)集中依然存在上述類似的實(shí)驗(yàn)現(xiàn)象,但從統(tǒng)計(jì)的數(shù)據(jù)來看,沒有單類別數(shù)據(jù)集那么明顯.

表6 Cifar10 中不同GANs 對比Table 6 Comparsion of different GANs in Cifar10

通過以上實(shí)驗(yàn)數(shù)據(jù)及分析可知,本文GANs 綜合性能達(dá)到除了優(yōu)化沃瑟斯坦距離的SAGANs 外的最優(yōu)效果.相對而言,本文GANs 在仍以JS 散度為主優(yōu)化目標(biāo)時,模型綜合性能靠近優(yōu)化沃瑟斯坦距離的SAGANs,并且網(wǎng)絡(luò)結(jié)構(gòu)并沒有使用注意力機(jī)制和譜歸一化優(yōu)化.同時在預(yù)訓(xùn)練提取出訓(xùn)練特征的前提下,本文GANs 模型明顯減少epoch 數(shù).

由圖12～ 19 的展示,可以直觀地對比BEGANs、DCGANs、WGANsGP 和SAGANs1 的GANs 生成效果.

圖12 Celeba 中BEGANs 實(shí)驗(yàn)樣本Fig.12 Experimental samples of BEGANs in Celeba

圖13 Celeba 中DCGANs 實(shí)驗(yàn)樣本Fig.13 Experimental samples of DCGANs in Celeba

圖14 Celeba 中WGANsGP 實(shí)驗(yàn)樣本Fig.14 Experimental samples of WGANsGP in Celeba

圖15 Celeba 中SAGANs1 實(shí)驗(yàn)樣本Fig.15 Experimental samples of SAGANs1 in Celeba

圖16 Cifar10 中BEGANs 實(shí)驗(yàn)樣本Fig.16 Experimental samples of BEGANs in Cifar10

圖17 Cifar10 中DCGANs 實(shí)驗(yàn)樣本Fig.17 Experimental samples of DCGANs in Cifar10

圖18 Cifar10 中WGANsGP 實(shí)驗(yàn)樣本Fig.18 Experimental samples of WGANsGP in Cifar10

圖19 Cifar10 中SAGANs1 實(shí)驗(yàn)樣本Fig.19 Experimental samples of SAGANs1 in Cifar10

對比分析使用Celeba 數(shù)據(jù)集訓(xùn)練GANs 而生成的圖像.由圖12 可知,BEGANs 雖然能很好對形態(tài)特征進(jìn)行學(xué)習(xí),但的確存在比較嚴(yán)重的高頻信息丟失現(xiàn)象,并且生成的圖像出現(xiàn)斑塊.由圖13～ 14可知,DCGANs 和WGANsGP 生成的圖像紋理信息填充區(qū)域過多,比如訓(xùn)練圖像面部的高頻信息較少,但是生成圖像存在面部填充高頻信息的現(xiàn)象,這也是表4 對應(yīng)的清晰度均值項(xiàng)偏高的原因之一.圖15 能很明顯地觀察到優(yōu)化沃瑟斯坦距離的SAGANs 生成的圖像,在面部形態(tài)和紋理等特征更合理,并且結(jié)合圖8 (本文效果),也能發(fā)現(xiàn)更好地生成圖像樣本,其形態(tài)和紋理等信息都比較協(xié)調(diào).對比Cifar10 數(shù)據(jù)集生成的圖像,除圖16 可以明顯看出差異外,難以直接進(jìn)行視覺評估,在第3.5 節(jié)和表6 數(shù)據(jù)進(jìn)行了分析.

綜上所述,本文方法(JS +λ·KL 散度) 相對于DCGANs (JS 散度)有較明顯的提升,在IS 指標(biāo)上也能達(dá)到LSGANs (Pearson 散度)、WGANs(沃瑟斯坦距離)等GANs 模型的圖像生成效果,并且在FID 指標(biāo)上進(jìn)一步有所提高.此外,本文方法生成的圖像效果能逼近優(yōu)化沃瑟斯坦距離的SAGANs圖像效果,并且參數(shù)量并沒明顯增加.在訓(xùn)練集樣本特征預(yù)學(xué)習(xí)完成后,解碼及對抗學(xué)習(xí)能有效減少訓(xùn)練所需的epoch 數(shù).

4 結(jié)束語

為提高GANs 圖像生成質(zhì)量,考慮到JS 散度可能為近似常數(shù)時帶來對生成圖像效果的不利影響,本文嘗試通過增加樣本特征解碼約束條件來減弱這些影響.實(shí)驗(yàn)結(jié)果表明,利用樣本特征解碼約束條件進(jìn)行對抗訓(xùn)練的約束,有利于圖像生成質(zhì)量提高和減少epoch 數(shù).同時,本文方法能夠更合理地模擬訓(xùn)練集的高頻信息部分.本文方法需對訓(xùn)練樣本預(yù)學(xué)習(xí)出樣本特征,雖較少地增加了網(wǎng)絡(luò)參數(shù)量,但需要較多的特征提取預(yù)訓(xùn)練時間.對于其他特征提取方法,特征分布與隨機(jī)噪聲分布的關(guān)系對生成效果的影響值得進(jìn)一步研究.