結(jié)合互信息最大化的文本到圖像生成方法

莫建文，徐凱亮，林樂平，歐陽寧

(桂林電子科技大學(xué) 信息與通信學(xué)院, 廣西壯族自治區(qū) 桂林 541004)

通過自然語言描述自動(dòng)地生成圖像在圖像生成領(lǐng)域一直都是一項(xiàng)很具有挑戰(zhàn)的任務(wù)，在一些應(yīng)用方面都有著廣泛的需求，比如藝術(shù)生成，計(jì)算機(jī)輔助設(shè)計(jì)等。近年來，這個(gè)研究領(lǐng)域也越來越活躍，并且已經(jīng)取得了很大的進(jìn)展。

現(xiàn)階段，生成對(duì)抗網(wǎng)絡(luò)(Generative Adversarial Networks，GAN)在圖像處理中得到廣泛應(yīng)用[1]。文本到圖像生成方法主要在生成對(duì)抗網(wǎng)絡(luò)的基礎(chǔ)上進(jìn)行研究，研究目的是為了學(xué)習(xí)從文本語義空間到彩色圖像空間的映射。最初，REED等[2]通過基于條件生成對(duì)抗網(wǎng)絡(luò)[3]的框架來處理這項(xiàng)任務(wù)，方法是將整個(gè)文本描述編碼為一個(gè)全局的句向量并作為條件進(jìn)行圖像生成，并且提出了一種新的圖像文本匹配對(duì)抗訓(xùn)練策略，這種方法成功地生成了分辨率64×64的可信賴圖像，但無法生成生動(dòng)的對(duì)象細(xì)節(jié)。而后，ZHANG等[4]提出了分階段的堆疊式生成對(duì)抗網(wǎng)絡(luò)(Stacked Generative Adversarial Networks,StackGAN)，訓(xùn)練策略是先繪制對(duì)象的大致輪廓，再修補(bǔ)細(xì)節(jié)和缺陷，生成過程分為多階段生成網(wǎng)絡(luò)，最后階段生成分辨率為256×256的圖像，這項(xiàng)策略極大地提高了圖像的生成質(zhì)量。之后又提出了StackGAN的端對(duì)端改進(jìn)方法StackGAN-v2[5]，并進(jìn)一步對(duì)模型的穩(wěn)定性進(jìn)行了優(yōu)化。文獻(xiàn)[6]在這個(gè)基礎(chǔ)上提出了與注意力機(jī)制聯(lián)合的生成對(duì)抗網(wǎng)絡(luò)，提供了更為細(xì)致的圖像-文本匹配損失計(jì)算方法。該網(wǎng)絡(luò)生成的圖像更加生動(dòng)，并且與文本描述的匹配度更高。值得注意的是，以上所述方法雖然能生成分辨率越來越高的圖像，更加逼真，并且細(xì)節(jié)更為豐富，但以上方法的目標(biāo)優(yōu)化函數(shù)只是在減小生成樣本分布和源樣本分布間的JS散度。該方法可以拉近兩個(gè)分布的距離，使生成樣本分布逐漸趨近于源樣本分布，但不能保證整體分布間的相似度。當(dāng)只有一部分輸入信號(hào)在語義層面上起作用時(shí)，對(duì)訓(xùn)練是極其不利的。由于生成對(duì)抗網(wǎng)絡(luò)訓(xùn)練不穩(wěn)定且收斂困難，因此很容易出現(xiàn)“模式坍塌”現(xiàn)象，訓(xùn)練出單一模式的樣本，在文本到圖像任務(wù)當(dāng)中，甚至還會(huì)訓(xùn)練出不匹配和無意義的樣本。

生成對(duì)抗網(wǎng)絡(luò)模型不穩(wěn)定的原因主要為訓(xùn)練過于自由，難以達(dá)到納什均衡，導(dǎo)致模型訓(xùn)練容易陷入局部最優(yōu)，使得模型只需要生成符合部分模式的樣本就可以滿足目標(biāo)函數(shù)的優(yōu)化目標(biāo)。加入有效的全局特征互信息約束和局部位置特征互信息約束，可以使模型對(duì)空間結(jié)構(gòu)變得更加敏感，能使該問題得到一定程度的緩解?；バ畔⒆畲蠡瘍?yōu)化原理[7-8]主張?jiān)谏窠?jīng)網(wǎng)絡(luò)的輸入和輸出之間進(jìn)行最大化互信息，這可以獲取更為魯棒且均勻的映射關(guān)系。文獻(xiàn)[9]中提出的互信息神經(jīng)估計(jì)可以利用神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)到連續(xù)變量的互信息估計(jì)，適用于深度神經(jīng)網(wǎng)絡(luò)中的互信息估計(jì)。筆者利用互信息對(duì)模型進(jìn)行優(yōu)化的思想啟發(fā)于文獻(xiàn)[10]中提出的可解釋表示學(xué)習(xí)方法，通過最大化條件變量與生成數(shù)據(jù)的互信息，使得控制條件變量變化的同時(shí)能生成可解釋的圖像特征。另外，估計(jì)和最大化互信息的方法主要借鑒了文獻(xiàn)[11]中提出的通過互信息學(xué)習(xí)深度表示的方法。該方法遵循互信息神經(jīng)估計(jì)，為學(xué)習(xí)一個(gè)可靠的特征表示，最大化輸入數(shù)據(jù)和高級(jí)表示之間的互信息來進(jìn)行表示學(xué)習(xí)，并通過最大化輸入的表示和局部位置向量之間的平均互信息來改善分類任務(wù)的表示質(zhì)量。該方法提出的互信息編碼器不需要解碼器，且訓(xùn)練過程是無監(jiān)督的。通常生成模型也常用作構(gòu)建表示的方法[12-14]，并且互信息在代表性質(zhì)量中起著重要作用。

在StackGAN-v2的網(wǎng)絡(luò)模型基礎(chǔ)上，利用了互信息與圖像空間結(jié)構(gòu)的聯(lián)系，并針對(duì)圖像生成任務(wù)，改進(jìn)了最大化互信息方法，設(shè)計(jì)了一種結(jié)合互信息估計(jì)和最大化的堆疊式生成對(duì)抗網(wǎng)絡(luò)模型。模型主要有兩個(gè)改進(jìn)部分，分別為全局互信息最大化模塊和局部平均互信息最大化模塊。在生成對(duì)抗網(wǎng)絡(luò)模型的輸入和輸出間構(gòu)建互信息最大化模型，最大化模型中有兩個(gè)互信息估計(jì)器(即全局鑒別器和局部鑒別器)，估計(jì)輸入隨機(jī)向量和生成特征圖之間的互信息，并分別考慮全局特征和局部特征兩者與全局向量之間的互信息。利用估計(jì)器來估計(jì)輸入和輸出間的互信息量，將互信息估計(jì)量作為互信息正則項(xiàng)加入到生成器損失當(dāng)中，通過最大化互信息方法約束并優(yōu)化模型參數(shù)間的互信息量。實(shí)驗(yàn)表明這種方法可以有效約束輸入與輸出的全局和局部相關(guān)性，緩解“模式坍塌”問題，生成更具多樣性的樣本。

1 方 法

在生成對(duì)抗網(wǎng)絡(luò)模型的基礎(chǔ)上，結(jié)合了互信息估計(jì)和最大化優(yōu)化方法。具體如圖1所示。

圖1中提出的方法有兩個(gè)組成部分：生成對(duì)抗網(wǎng)絡(luò)模型和互信息最大化模型。首先由生成對(duì)抗網(wǎng)絡(luò)生成不同尺度的特征圖，然后將生成過程最后階段的特征圖與輸入的全局向量進(jìn)行互信息最大化優(yōu)化。具體計(jì)算方法將在本節(jié)的其余部分詳細(xì)闡述。

1.1 網(wǎng)絡(luò)模型

沿用了StackGAN-v2中的多尺度圖像分布近似和條件與非條件聯(lián)合分布近似理論，網(wǎng)絡(luò)框架為樹形結(jié)構(gòu)，具有多個(gè)生成器來生成不同尺寸的圖像。具體架構(gòu)如圖2所示。

圖2 網(wǎng)絡(luò)模型架構(gòu)

圖2中的大虛線框?yàn)檩敵?28×128分辨率的StackGAN-v2模型。c是條件向量，通過訓(xùn)練好的文本編碼器[2]將文本描述映射為文本嵌入向量，再進(jìn)行條件增強(qiáng)[5]處理得到低維條件向量c。首先由條件向量c與高斯隨機(jī)噪聲向量z組合得到全局向量y，然后通過StackGAN-v2生成不同尺寸的圖像。F0,G0,D0和F1,G1,D1分別為不同尺寸的生成器和鑒別器。另外，在輸入層y與特征層h0之間進(jìn)行互信息估計(jì)。

過程具體可表示為

(1)

其中，z～N(0,1)，為高斯先驗(yàn)；{h0,h1}表示不同尺度的特征層；{s0,s1}是分辨率逐漸增加的圖像。每個(gè)生成器都有不同的鑒別器進(jìn)行競爭，并學(xué)習(xí)不同尺度的判別特征。Fi、Gi和Di都被建模為神經(jīng)網(wǎng)絡(luò)。

1.2 互信息估計(jì)與最大化

1.2.1 全局互信息估計(jì)

文本到圖像任務(wù)學(xué)習(xí)的目標(biāo)是向量分布Y到源圖像近似分布S的映射。向量y由條件向量c和隨機(jī)向量z組成，向量y具有全局信息，而條件向量c在生成過程中起主導(dǎo)作用。圖2中的全局互信息最大化模塊具體如圖3所示。

圖3 全局互信息估計(jì)示意圖

通過圖3中表示的全局鑒別器TG估計(jì)并最大化互信息的方法來優(yōu)化生成器F0，該方法訓(xùn)練鑒別器來估計(jì)互信息并打分，可以定義一個(gè)Jensen-Shannon互信息估計(jì)量[11,15]：

(2)

1.2.2 局部平均互信息估計(jì)

只進(jìn)行全局互信息最大化優(yōu)化通常不足以學(xué)習(xí)有用的表示。為了保證表示模型能夠適應(yīng)圖像生成任務(wù)，并生成模式更為均勻的樣本，所提方法最大化全局向量與局部位置特征向量之間的平均互信息，提高相同的全局表征與所有局部塊的互信息，構(gòu)建了局部-全局對(duì)，這有利于學(xué)習(xí)到共享的數(shù)據(jù)。圖2中的局部平均互信息最大化模塊如圖4所示。

圖4 局部平均互信息估計(jì)示意圖

局部平均互信息估計(jì)框架如圖4所示。特征圖中的每個(gè)位置向量都可認(rèn)為是一個(gè)局部位置特征向量，通過尺寸為64×64的特征映射h0提取得到64×64個(gè)具有位置信息的局部位置特征向量，并將全局向量y分別與每個(gè)局部位置特征向量連接起來，構(gòu)建64×64個(gè)局部-全局對(duì)。正偽樣本生成方式與圖3一致，通過一個(gè)局部特征鑒別器TL為每個(gè)局部-全局對(duì)生成一個(gè)得分。

正樣本得分矩陣t可表示為

(3)

其中，M×M為特征映射h0的尺寸，在實(shí)驗(yàn)中設(shè)置M=64；TL是由神經(jīng)網(wǎng)絡(luò)建模的局部鑒別器函數(shù)；ti,j為特征映射h0第i行第j列的局部位置特征向量經(jīng)過局部鑒別器TL的得分。式(3)反映了數(shù)據(jù)中有用的結(jié)構(gòu)(例如空間結(jié)構(gòu)性)。

偽樣本得分矩陣可表示為

(4)

為計(jì)算得分矩陣t的平均得分，令

(5)

在局部-全局對(duì)上，參照式(2)并結(jié)合式(3)、式(4)和式(5)，可定義平均互信息估計(jì)為

(6)

其中，第1項(xiàng)為正樣本的平均互信息估計(jì)量，第2項(xiàng)為偽樣本的平均互信息估計(jì)量，總體表現(xiàn)為局部位置特征向量與全局向量的平均互信息估計(jì)量。

1.2.3 最大化互信息正則項(xiàng)

在標(biāo)準(zhǔn)的堆疊式條件生成對(duì)抗網(wǎng)絡(luò)模型中，生成模型的輸入是由一個(gè)條件向量(例如文本嵌入向量)和一個(gè)連續(xù)的噪聲隨機(jī)向量(例如標(biāo)準(zhǔn)高斯分布)組合而成的，令其為向量y。由于文本條件類別不明確，存在同一個(gè)文本與多張圖片相關(guān)和同一張圖片與多個(gè)文本相關(guān)的情況，生成模型會(huì)將不同的輸入y映射到相同的生成樣本F0(y)，導(dǎo)致F0(y)僅僅依賴于y的少數(shù)維度，從而生成的分布只是真實(shí)數(shù)據(jù)分布的“子分布”。簡單來說，就是因?yàn)樯蓸颖痉植歼^于集中，不夠均勻，為此將全局互信息估計(jì)量和局部平均互信息估計(jì)量進(jìn)行最大化優(yōu)化，利用最大化互信息方法來約束生成器輸入和輸出的特征層，使得y的每個(gè)維度都盡可能地與特征映射h0產(chǎn)生特定的關(guān)系，迫使生成的分布更趨向于真實(shí)分布。

互信息總估計(jì)量由全局互信息和局部平均互信息兩部分組成，因此總估計(jì)量由式(2)和式(6)可知

(7)

其中，α和β為超參數(shù)，設(shè)置為0.5和1。

在StackGAN-v2中的多尺度圖像分布近似和條件與非條件聯(lián)合分布近似理論下，為最大化互信息，將互信息正則項(xiàng)I(F0(Y),Y)加入生成器優(yōu)化目標(biāo)當(dāng)中，因此可知判別器的最大化優(yōu)化目標(biāo)為

(8)

其中,xi來自第i個(gè)尺度的真實(shí)圖像分布pdatai，si來自相同尺度的模型分布pGi。多個(gè)鑒別器并行訓(xùn)練，前兩項(xiàng)為無條件損失，后兩項(xiàng)為條件損失。

生成器最小化優(yōu)化目標(biāo)為

(9)

其中,第1項(xiàng)為無條件損失，第2項(xiàng)為條件損失。

(10)

其中，ρ為超參數(shù)，I(F0(Y),Y)為互信息正則項(xiàng)。由于生成器為最小化目標(biāo)，所以在互信息正則項(xiàng)前加了負(fù)號(hào)。關(guān)于超參數(shù)ρ大小對(duì)結(jié)果的影響，利用實(shí)驗(yàn)進(jìn)行了詳細(xì)分析。

2 實(shí) 驗(yàn)

實(shí)驗(yàn)平臺(tái)的配置為 Intel Xeon E5-2687W八核3.1GHz處理器、32GB內(nèi)存、GTX1080Ti 顯卡以及 Ubuntu 16.04 操作系統(tǒng)，并使用基于Python編程語言的 Pytroch深度學(xué)習(xí)框架。

2.1 數(shù)據(jù)集及評(píng)估指標(biāo)

(1)數(shù)據(jù)集。實(shí)驗(yàn)在數(shù)據(jù)集CUB[16]上評(píng)估了所提出的網(wǎng)絡(luò)模型。CUB數(shù)據(jù)集包含了200類別的11 788張鳥類圖像，其中8 855張樣本作為訓(xùn)練集，2 933張樣本作為測試集，每張圖像都注釋了10個(gè)文本描述。預(yù)先訓(xùn)練的文本編碼器將每個(gè)句子編碼為1 024維度的文本嵌入向量，再進(jìn)行條件增強(qiáng)處理而得到128維的條件向量。

(2)評(píng)估指標(biāo)。選擇多樣性指標(biāo)值inception score[13]為定量評(píng)估指標(biāo)，評(píng)估方法表示為

Is=exp(ExDKL(p(y|x)‖p(y))) ，

(11)

其中x表示一個(gè)生成的樣本，y是inception模型預(yù)測的標(biāo)簽。這個(gè)指標(biāo)表示為一個(gè)好的模型應(yīng)該具備多樣性，因此邊緣分布p(y)和條件分布p(y|x)的KL散度應(yīng)該足夠大。

2.2 實(shí)現(xiàn)細(xì)節(jié)

框架類似StackGAN-v2，類推也可以生成分辨率為256×256的圖像，甚至分辨率更高的圖像。由于分辨率128×128的圖像已經(jīng)具備了完整的特征和結(jié)構(gòu)信息，而所提出的方法主要針對(duì)樣本的空間結(jié)構(gòu)信息進(jìn)行優(yōu)化，為了生成更可靠的全局和局部特征，并減輕計(jì)算負(fù)擔(dān)，設(shè)置128×128為生成目標(biāo)的分辨率。從圖1中可知。將隨機(jī)向量z與條件向量c級(jí)聯(lián)組合得到輸入，經(jīng)過全連接網(wǎng)絡(luò)并重組得到4×4×32Nt的特征張量。通過4個(gè)上采樣塊得到64×64×2Nt的特征張量，接著經(jīng)過兩個(gè)殘差塊和一個(gè)上采樣塊得到128×128×Nt的特征張量，分別經(jīng)過卷積核為3×3的卷積層得到相應(yīng)比例的圖像。為增加輸入輸出的相關(guān)性，該部分框架額外增加了全局鑒別器TG和局部鑒別器TL來估計(jì)互信息的得分。

表1 全局鑒別器TG網(wǎng)絡(luò)細(xì)節(jié)

表2 局部鑒別器TL網(wǎng)絡(luò)細(xì)節(jié)

表1和表2中的Input_1和Input_2分別為特征圖和全局向量；表1中的reshape為向量重組的操作；表2中的expend為向量拓展成向量矩陣的操作，表1和表2中的concat為通道相加的操作，conv為卷積，fc為全連接，Relu為激活函數(shù)。設(shè)置Nt為32?；バ畔㈨?xiàng)作為正則項(xiàng)添加到生成器損失當(dāng)中，全局鑒別器TG和局部鑒別器TL采用學(xué)習(xí)率為0.000 1的Adam求解器，其余模型均采用學(xué)習(xí)率為0.000 2的Adam求解器，其中Adam求解器動(dòng)量皆設(shè)置為[0.5,0.999],批次大小為24，迭代600個(gè)epoch。

2.3 結(jié)果對(duì)比

為了證明互信息正則項(xiàng)的有效性，主要通過與各種主流的文本到圖像生成的網(wǎng)絡(luò)模型進(jìn)行結(jié)果對(duì)比，利用多樣性指標(biāo)值來衡量模型生成圖像的客觀性和多樣性。按照StackGAN的實(shí)驗(yàn)設(shè)置，總共采樣了約30 000張模型生成的隨機(jī)圖像來評(píng)估模型的該指標(biāo)。

表3 多樣性指標(biāo)值對(duì)比結(jié)果

從表3可以看出，所提模型較之前不同的模型都有了顯著的提高，多樣性指標(biāo)值較StackGAN-v2提高了0.41，這表明所提模型生成的樣本多樣性明顯強(qiáng)于其他模型。另外，特別詳細(xì)地與StackGAN-v2進(jìn)行了結(jié)果比較，定性地比較了兩種模型在不同鳥類測試圖像的文本描述條件情況下生成的相同姿態(tài)圖像，結(jié)果如圖5所示。

圖5 相同姿態(tài)結(jié)果對(duì)比圖

圖5中結(jié)果都是在數(shù)據(jù)集CUB上得到，筆者所提模型最終輸出尺寸為128×128。比較了StackGAN-v2的兩種不同分辨率輸出，尺寸分別為128×128和256×256。由對(duì)比結(jié)果可以看出，所提模型在特征方面的處理強(qiáng)于StackGAN-v2。例如，圖5(a)中的樣本，文本中描述為短鳥喙，而StackGAN-v2中128×128分辨率的樣本已經(jīng)丟失了該特征。在特征幾乎完全固定的情況下，提高分辨率只能增強(qiáng)紋理的細(xì)節(jié)，而筆者所提模型結(jié)果明顯保留了更多語義細(xì)節(jié)信息?？臻g結(jié)構(gòu)的邊緣信息可以反映在圖5(b)和圖5(c)中。圖5(b)中文本描述的白色胸部在所提模型中更為明顯且整體性強(qiáng);在圖5(c)中，筆者所提模型對(duì)于灰色翅膀和尾巴的紋理描述和結(jié)構(gòu)的表現(xiàn)都略強(qiáng)于StackGAN-v2；圖5(d)主要表現(xiàn)在整體的色彩和內(nèi)容上，筆者所提模型生成的樣本更接近原圖；而圖5(e)中，兩個(gè)模型都表現(xiàn)出了模式崩潰的傾向，兩者較原圖都有比較大的差距，但筆者所提模型明顯魯棒性更強(qiáng)一些。StackGAN-v2只保留了整體的形狀而完全丟失了局部特征，筆者所提模型還保留了文本描述中提到的鳥嘴。

另外，定性地比較了兩種模型在同一測試圖像的10個(gè)不同文本描述條件下生成的圖像。結(jié)果如圖6所示。

圖6 不同文本描述生成圖像對(duì)比圖

圖6表示為同一測試圖像的10個(gè)不同文本描述條件下生成的圖像，大致描述了一只小鳥，擁有短鳥喙、紅色的冠和胸部，還有棕色的翅膀。可以觀察出兩種模型都能生成不同姿態(tài)的樣本，而筆者所提模型擁有更健全的特征和細(xì)節(jié)并且魯棒性更強(qiáng)。例如圖6(c)、(e)和(g)的文本描述都提到了鳥喙，StackGAN-v2的生成樣本已經(jīng)丟失了該特征，筆者所提模型結(jié)果保留了較為完整的特征。出現(xiàn)同樣情況的還有圖6(b)中的眼睛和(d)中的尾巴；另外在圖6(b)、(d)、(f)、(g)和(j)中，StackGAN-v2已經(jīng)出現(xiàn)了明顯的畸形等現(xiàn)象，而筆者所提模型出現(xiàn)該情況的結(jié)果相對(duì)較少。實(shí)驗(yàn)表明，針對(duì)全局-局部特征加入的互信息正則項(xiàng)，有效地加強(qiáng)了局部信息與全局信息的相關(guān)性，使生成圖像的局部特征不易丟失，保持了更完整的姿態(tài)，模式也更為均勻，也因此提高了生成樣本的多樣性。

另外，對(duì)不同的輸入和不同的超參數(shù)ρ做了多樣性指標(biāo)值評(píng)估，如表4所示。

表4 不同互信息正則項(xiàng)超參數(shù)的多樣性指標(biāo)值對(duì)比結(jié)果

表4中Our1方法為直接最大化條件向量c和特征圖h0的互信息，Our2方法將高斯隨機(jī)噪聲z與條件向量c組合后與特征圖h0的互信息作為最大化優(yōu)化目標(biāo)，其中ρ為式(10)中的互信息正則項(xiàng)的超參數(shù)。實(shí)驗(yàn)表明，當(dāng)ρ=3時(shí),多樣性指標(biāo)值最大，多樣性最好；當(dāng)超參數(shù)設(shè)置過高時(shí)，觀察生成樣本發(fā)現(xiàn)，部分樣本會(huì)出現(xiàn)模式塌陷，導(dǎo)致多樣性變差。結(jié)果表明，Our2方法分?jǐn)?shù)高于Our1方法，這說明了不僅僅文本語義對(duì)結(jié)果有影響，選取的隨機(jī)噪聲分布Z同樣對(duì)結(jié)果也有一定的影響。綜上所述，筆者所提模型最后選擇了Our2方法。

3 總 結(jié)

由于文本到圖像任務(wù)當(dāng)中生成對(duì)抗網(wǎng)絡(luò)訓(xùn)練困難，常常會(huì)出現(xiàn)模式丟失或模式崩潰等現(xiàn)象，導(dǎo)致生成的樣本缺乏多樣性。筆者提出了一種結(jié)合局部-全局互信息最大化的堆疊式文本到圖像的生成對(duì)抗網(wǎng)絡(luò)模型。該模型通過估計(jì)全局特征和局部特征兩者與全局向量間的互信息并將其最大化的方法，增強(qiáng)文本描述與生成樣本的相關(guān)性，建立更為全面且可靠的映射關(guān)系。實(shí)驗(yàn)結(jié)果表明，該方法在保證了生成樣本質(zhì)量不降低的情況下，提升樣本多樣性。