基于線性注意力機(jī)制的單樣本生成對抗網(wǎng)絡(luò)研究*

陳 曦,趙紅東,2,楊東旭,徐柯南,任星霖,封慧杰

(1.河北工業(yè)大學(xué)電子信息工程學(xué)院，天津 300401;2.光電信息控制和安全技術(shù)重點(diǎn)實(shí)驗(yàn)室，天津 300308)

1 引言

圖像分析作為機(jī)器學(xué)習(xí)一個特別重要的應(yīng)用領(lǐng)域，如何利用已有的信息合成出新的圖像是該領(lǐng)域的重點(diǎn)研究內(nèi)容。2014年，Goodfellow等人[1]創(chuàng)造性地利用零和博弈的思想提出了一種新的網(wǎng)絡(luò)模型——生成對抗網(wǎng)絡(luò)GANs(Generative Adversarial Networks)。經(jīng)過不斷的發(fā)展，GANs衍生出了許多優(yōu)秀的模型。其中，將卷積神經(jīng)網(wǎng)絡(luò)引入GANs模型取得了巨大的成功[2]。傳統(tǒng)的GANs訓(xùn)練需要海量的訓(xùn)練樣本[3 - 5]。過去一段時間，研究人員將GANs生成樣本的質(zhì)量與訓(xùn)練集的容量進(jìn)行綁定，認(rèn)為只有海量的訓(xùn)練樣本才可以訓(xùn)練出穩(wěn)定的模型。但是，大多數(shù)情況下研究人員無法獲得足夠多的樣本。因此，少樣本甚至單樣本訓(xùn)練逐漸成為關(guān)注的重點(diǎn)。在傳統(tǒng)的少樣本GANs訓(xùn)練中，通常會出現(xiàn)具有混合特征的生成圖像，例如生成的小狗圖像具有房子的特征信息[6]。出現(xiàn)這種現(xiàn)象的原因是生成器G(Generator)和判別器D(Discriminator)更多的是通過局部信息而非全局信息進(jìn)行參數(shù)迭代。為了克服大量訓(xùn)練樣本難以獲取的困難，文獻(xiàn)[7]在少樣本研究的基礎(chǔ)上提出了一種單樣本學(xué)習(xí)自然風(fēng)景的網(wǎng)絡(luò)模型SinGAN(Learning a Generative Model From a Single Natural Image)，該模型可以通過單樣本學(xué)習(xí)到圖像的基本特征并且進(jìn)行生成。但是，SinGAN模型的訓(xùn)練時間過長不利于實(shí)際應(yīng)用。研究人員想到如果模型可以盡早獲取訓(xùn)練樣本的全局信息，這樣更有利于訓(xùn)練收斂，從而達(dá)到縮短訓(xùn)練時間的目的。Vaswani等人[8]在2016年提出了一種可以抓取更遠(yuǎn)距離特征的提取結(jié)構(gòu)——自注意力SA(Self-Attention)機(jī)制。在2019年，Zhang等人[9]將此結(jié)構(gòu)應(yīng)用至GANs模型實(shí)現(xiàn)了自注意力和生成對抗網(wǎng)絡(luò)的融合SAGAN(Self-Attention for GANs)，在ImageNet數(shù)據(jù)集[10]上取得了巨大成功。但是，應(yīng)用自注意力機(jī)制意味著加深網(wǎng)絡(luò)層數(shù)，需要更多的計(jì)算資源。

為了解決上述問題，研究人員將自注意力機(jī)制中的2個全卷積層用線性層代替，這種結(jié)構(gòu)能大幅降低計(jì)算次數(shù)[11]。于是，本文使用一種更加輕量的注意力方法，并將其命名為線性注意力LA(Linear Attention)機(jī)制，簡稱LA方法。

對于單樣本生成對抗網(wǎng)絡(luò)模型而言，模型的穩(wěn)定性更加重要。研究人員在SAGAN中已經(jīng)證實(shí)了光譜歸一化SN(Spectral Normalization)[12]對GANs模型的穩(wěn)定性發(fā)揮了巨大作用。此外，本文還使用控制變量法對模型的各項(xiàng)性能進(jìn)行了大量測試，評測結(jié)果詳見本文第4節(jié)。

2 相關(guān)工作

近年來，計(jì)算機(jī)視覺領(lǐng)域內(nèi)針對少樣本訓(xùn)練GANs開展了諸如文本生成圖像、圖像超分辨和圖像編輯等多項(xiàng)研究[13 - 15]。Shaham等人[7]提出的SinGAN模型是第1個將自然圖像引入基于GANs內(nèi)部結(jié)構(gòu)的網(wǎng)絡(luò)模型，并且對圖像特征進(jìn)行了詳細(xì)的描述。最近的研究表明，在單樣本上訓(xùn)練模型可以學(xué)到圖像的基本特點(diǎn)，并且生成具有訓(xùn)練圖像基本特征的高質(zhì)量圖像。但是，鑒于單樣本生成對抗網(wǎng)絡(luò)的模型依舊很少，現(xiàn)有較為成熟的大多數(shù)都只適用于紋理圖像，對于特征信息復(fù)雜的樣本圖像生成結(jié)果依舊不理想。針對SinGAN模型存在的問題,文獻(xiàn)[16]提出了新的解決方案，縮短了模型的訓(xùn)練速度。目前，用于單樣本訓(xùn)練生成對抗網(wǎng)絡(luò)的模型中，比較成熟的有SinGAN和InGAN(Internal GAN)[13]，它們都是基于對圖像整體結(jié)構(gòu)的把控以及生成圖像和真實(shí)圖像之間雙向相似性度量進(jìn)行圖像生成的。

最近，注意力模型活躍在計(jì)算機(jī)視覺的各個領(lǐng)域中，并發(fā)揮了其顯著優(yōu)勢。其中，作為注意力模型中的代表，自注意力模型可以有效地學(xué)習(xí)全局的依賴結(jié)構(gòu)，尤其在單樣本任務(wù)中學(xué)習(xí)到有效的全局依賴結(jié)構(gòu)顯得十分重要。Parmar等人[17]提出了一種添加了自注意力機(jī)制的圖像到圖像的轉(zhuǎn)化模型來實(shí)現(xiàn)圖像生成。文獻(xiàn)[18]建立了一種添加了自注意力機(jī)制的最先進(jìn)的圖像翻譯模型。Wang等人[19]設(shè)計(jì)了一種包含自注意力機(jī)制的空間到時間獨(dú)立且無局部信息的音頻模型。文獻(xiàn)[20]提出來的Attn-GAN對輸入的順序信息進(jìn)行編碼處理，但是自注意力機(jī)制并不需要此步驟。SAGAN模型是一種基于自注意力機(jī)制的GAN模型，該模型并不是基于某一特定任務(wù)，但是該模型的成功以消耗大量訓(xùn)練資源為代價。SAGAN針對模型訓(xùn)練不穩(wěn)定的問題提出了諸多解決方法，在穩(wěn)定訓(xùn)練模型方面為本文提供了新的思路。此外，文獻(xiàn)[21]提出將光譜歸一化方法應(yīng)用至判別器模型中，以此來防止Lipschitz出現(xiàn)崩潰，該模型在ImageNet數(shù)據(jù)集的有條件圖像生成方面取得了巨大成功。文獻(xiàn)[22]對自注意力方法進(jìn)行了改進(jìn)，并將其應(yīng)用至GAN中,其相較于SAGAN并沒有太大的性能提升，但所需要的計(jì)算資源卻遠(yuǎn)遠(yuǎn)小于SAGAN。受到上述思想的啟發(fā)，本文設(shè)計(jì)了一種新的線性注意力模型，并將其應(yīng)用至單樣本生成對抗網(wǎng)絡(luò)中，實(shí)驗(yàn)結(jié)果表明，該模型可以有效學(xué)習(xí)全局結(jié)構(gòu)和圖像內(nèi)部更大范圍的特征結(jié)構(gòu)。

3 模型構(gòu)建

生成對抗網(wǎng)絡(luò)包含2個主要的結(jié)構(gòu)模型：生成器和判別器。生成器是利用已有信息生成具有樣本特征的新圖像。判別器更像一個簡單的二值分類器，其目的是將輸入樣本中的假樣本找出來，并且利用反饋機(jī)制更新生成器的參數(shù)，使生成器可以輸出更加真實(shí)的圖像。傳統(tǒng)的生成對抗網(wǎng)絡(luò)模型的目標(biāo)函數(shù)如式(1)所示：

Ez～PZ(z)[log(1-D(G(z)))]

(1)

其中，z表示隨機(jī)噪聲，x表示訓(xùn)練樣本，x～Pdata(x)表示訓(xùn)練樣本x來源于數(shù)據(jù)集Pdata(x),z～PZ(z)表示噪聲z來源于噪聲序列PZ(z)。

3.1 自注意力模型

本節(jié)將簡化后的自注意力網(wǎng)絡(luò)和線性注意力網(wǎng)絡(luò)進(jìn)行詳細(xì)對比(如圖1所示)，并分析網(wǎng)絡(luò)的優(yōu)缺點(diǎn)及其所帶來的影響。接下來通過數(shù)學(xué)推導(dǎo)闡述各個網(wǎng)絡(luò)模型的原理和優(yōu)缺點(diǎn)。

Figure 1 Structure of the attention network圖1 注意力網(wǎng)絡(luò)結(jié)構(gòu)

如圖1b所示的自注意力網(wǎng)絡(luò)[8]中，輸入特征F∈RN×d，其中,N表示輸入像素的數(shù)量，d是輸入特征的維度。自注意力網(wǎng)絡(luò)將輸入特征采樣為3個特征矩陣，分別是Q，K和V。自注意力機(jī)制可以表示為式(2)和式(3)：

A=softmax(QKT)

(2)

Fout=AV

(3)

其中，A∈RN×N，這是由于Q，K和V都是維度為N×d的特征矩陣；softmax(·)為激活函數(shù);Fout為自注意力機(jī)制的輸出結(jié)果，即計(jì)算得到的特征圖譜。自注意力網(wǎng)絡(luò)的計(jì)算復(fù)雜度為Ο(dN2)，二次方運(yùn)算意味著模型需要大量的計(jì)算資源。

目前更受研究人員關(guān)注的是如圖1c所示的簡化后的自注意力網(wǎng)絡(luò)[23]。其中，自注意力中的Q，K和V仍使用與之前相同的特征矩陣。將輸入的特征矩陣定義為F，則簡化后的表達(dá)式如式(4)和式(5)所示：

A=softmax(FFT)

(4)

Fout=AF

(5)

注意力圖譜是通過計(jì)算輸入特征相似空間上的像素得到的，其輸出信息中包含訓(xùn)練樣本的特征信息。與傳統(tǒng)的自注意力網(wǎng)絡(luò)相比，簡化后的自注意力網(wǎng)絡(luò)省略了2個特征提取過程，結(jié)構(gòu)更加簡潔。

但是，即使是簡化后的網(wǎng)絡(luò)，其計(jì)算復(fù)雜度依舊是Ο(dN2)，輸入像素的二次方復(fù)雜性仍會導(dǎo)致其不能直接應(yīng)用在圖像上。因此，以前的工作是使用信息補(bǔ)丁而不是利用像素降低計(jì)算復(fù)雜度。

觀察自注意力工作過程可以發(fā)現(xiàn)，從N到N的注意力矩陣是多余的，且大多數(shù)的計(jì)算僅與少部分像素相關(guān)。因此，本文提出了一種線性注意力代替方案，通過計(jì)算輸入特征和獨(dú)立線性層獲得特征圖譜信息。

3.2 線性注意力機(jī)制

仔細(xì)觀察自注意力網(wǎng)絡(luò)結(jié)構(gòu)可發(fā)現(xiàn)，無論是傳統(tǒng)的結(jié)構(gòu)還是簡化后的結(jié)構(gòu)，它們都是通過反復(fù)計(jì)算輸入特征得到特征圖譜[22]。這樣的設(shè)計(jì)雖然對于獲得遠(yuǎn)距離特征結(jié)構(gòu)有一定的益處，但是重復(fù)計(jì)算會導(dǎo)致大量特征信息冗余，信息利用率不高。研究人員將Q，K和V中的2個使用額外的獨(dú)立線性層L1和L2代替(如圖1d所示)，用于解決計(jì)算過程中出現(xiàn)的信息冗余問題。因此，表達(dá)如式(6)和式(7)所示：

(6)

Fout=AL2

(7)

其中，L1,L2∈RH×d，其參數(shù)值會根據(jù)A進(jìn)行更新。

與自注意力不同的是，線性注意力模型計(jì)算復(fù)雜度為Ο(dHN)，不會出現(xiàn)二次方復(fù)雜計(jì)算。這樣的設(shè)計(jì)大大縮減需要的計(jì)算資源，縮短了訓(xùn)練時間。本文提出來的方法是在像素級別進(jìn)行線性運(yùn)算，彌補(bǔ)了之前在信息補(bǔ)丁層面計(jì)算存在的缺陷。此外，線性注意力模型采用了殘差項(xiàng)，這對于抑制模型崩塌十分有用。綜上可知，線性注意力模型比自注意力模型更加有效，適合規(guī)模化使用。

Figure 2 Structure of single sample generative adversarial network based on attention using linear layers圖2 基于線性注意力機(jī)制的單樣本生成對抗網(wǎng)絡(luò)結(jié)構(gòu)

自注意力模型采用softmax函數(shù)對注意力圖譜進(jìn)行歸一化處理。但是，注意力圖譜是通過特征矩陣的乘法得到的，對輸入特征十分敏感。為了避免這個問題，文獻(xiàn)[24]提出了一種新的雙重歸一化方法，分別對行和列的像素點(diǎn)進(jìn)行了歸一化。其函數(shù)表達(dá)式如式(8)～式(10)所示:

(8)

(9)

(10)

本文將線性注意力模型應(yīng)用至單樣本生成對抗網(wǎng)絡(luò)的生成器和判別器中,還將WGAN-GP的損失函數(shù)[25]和光譜歸一化應(yīng)用到生成器網(wǎng)絡(luò)中，用來穩(wěn)定模型，防止出現(xiàn)模型崩塌等問題。光譜歸一化的Lipschitz函數(shù)的梯度上界被限制，使得梯度函數(shù)更加光滑，在神經(jīng)網(wǎng)絡(luò)優(yōu)化過程中參數(shù)變化會更加穩(wěn)定，不容易出現(xiàn)梯度爆炸。

3.3 LA模型

本文的目標(biāo)是建立一個可以捕獲到訓(xùn)練樣本內(nèi)部統(tǒng)計(jì)數(shù)據(jù)的生成器模型。與傳統(tǒng)的GANs任務(wù)不同，此處的訓(xùn)練集不是數(shù)據(jù)庫中的全部數(shù)據(jù)，而是單幅樣本圖像,且要求模型關(guān)注樣本更大范圍內(nèi)的特征信息，以使輸出圖像結(jié)構(gòu)合理化。

此外，大量實(shí)驗(yàn)表明,金字塔結(jié)構(gòu)和多尺度的訓(xùn)練對提升圖像的質(zhì)量和訓(xùn)練速度具有顯著作用[26]。其中，最為有效的便是搭建拉普拉斯金字塔結(jié)構(gòu)的生成器模型，生成的樣本圖像從低分辨率逐漸向高分辨率過渡。生成器每一層中添加隨機(jī)噪聲，以保證輸出圖像的多樣性。此外，相比于SinGAN模型，文獻(xiàn)[27]提出不需要凍結(jié)生成器之前的參數(shù)權(quán)重。實(shí)驗(yàn)結(jié)果表明，這種設(shè)計(jì)有利于改善生成圖像的質(zhì)量。

本文搭建了如圖2所示的模型，并將線性注意力機(jī)制應(yīng)用至模型中。剛開始訓(xùn)練時，生成器從低分辨率圖像開始輸出，直至圖像達(dá)到設(shè)定的分辨率。模型的訓(xùn)練機(jī)制使用了多尺度訓(xùn)練方法。如圖2所示，將生成器模型以3個為1組進(jìn)行綁定訓(xùn)練。例如，當(dāng)模型訓(xùn)練生成器n時，已經(jīng)訓(xùn)練好的生成器n-1和生成器n-2也會參與生成器n的訓(xùn)練。具體而言,就是生成器n-1和生成器n-2的權(quán)重參數(shù)還會隨著生成器n的訓(xùn)練再更新，并不對模型的權(quán)重進(jìn)行鎖定。其中，權(quán)重的變化主要體現(xiàn)在學(xué)習(xí)率的變化。本文分別設(shè)定了2種學(xué)習(xí)率縮放因子進(jìn)行比較，分別是0.1和0.5。將線性注意力機(jī)制應(yīng)用至模型中有3種不同的設(shè)計(jì)方案，即分別將其放置在3個不同卷積層后，依次將其記為第1、2、3種方案。本文對上述3種方案進(jìn)行了實(shí)驗(yàn)比較，結(jié)果顯示：第1種方案的模型依舊難以快速抓取全局信息，生成的圖像質(zhì)量差且結(jié)構(gòu)布局不合理;其余2種方案的輸出結(jié)果并無太大差異，但是第3種方案獲取的信息更多，需要更多的訓(xùn)練資源與訓(xùn)練時間,且獲取太多的特征信息降低了生成圖像的多樣性，使得輸出圖像的布局與原始圖像的過于相似。因此，本文選擇第2種方案為最終的方案。此外，本文將殘差網(wǎng)絡(luò)的設(shè)計(jì)理念應(yīng)用至模型中(如圖2所示),在每一個生成器的最后一個卷積層加上對上一層的輸出上采樣結(jié)果與隨機(jī)噪聲的和。

最近的工作發(fā)現(xiàn)光譜歸一化對穩(wěn)定GANs模型的訓(xùn)練尤其重要。但是，如果僅在生成器中應(yīng)用光譜歸一化方法，會破壞生成器中的參數(shù)更新和梯度更新。實(shí)驗(yàn)發(fā)現(xiàn)，將光譜歸一化放置在生成器和判別器中，可以減少判別器更新生成器參數(shù)的次數(shù)，因此會有效降低訓(xùn)練過程中的資源消耗，訓(xùn)練模型的表現(xiàn)也更加穩(wěn)定。其中，單樣本生成對抗網(wǎng)絡(luò)的目標(biāo)函數(shù)如式(11)和式(12)所示：

LD=-E(x～Pdata(x))[min(0,-1+D(x))]-

E((z～PZ(z)),(x～Pdata(x)))[min(0,-1-D(G(z),x))]

(11)

LG=-E((z～PZ(z)),(x～Pdata(x)))D(G(z),x)

(12)

4 實(shí)驗(yàn)

本節(jié)將模型在不同風(fēng)格的圖像上進(jìn)行測試。并且利用控制變量法對其進(jìn)行對比，分別對比不同訓(xùn)練階段的生成結(jié)果以及不同學(xué)習(xí)率縮放因子對模型輸出結(jié)果的影響。關(guān)于評價方法，選擇文獻(xiàn)[6]提出來的SIFID(Single Image Fréchet Inception Distance)。相較于IS(Inception Scores)和FID(Fréchet Inception distance)等其它生成對抗網(wǎng)絡(luò)評價指標(biāo)，SIFID的測評機(jī)制更加合理。

FID的提出者通過預(yù)先訓(xùn)練的空間來提取全連接層之前的向量作為圖像的特征[28]。IS則是通過計(jì)算生成圖像與ImageNet中訓(xùn)練圖像相似性進(jìn)行判定。由于實(shí)驗(yàn)并未采用ImageNet數(shù)據(jù)集，因此這樣的評價設(shè)置并不適用于本文模型。眾所周知，預(yù)先訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)頂層可以提取圖像的高級信息，能一定程度上反映圖像本質(zhì)。SIFID通過計(jì)算真實(shí)圖像和生成圖像在特征層面的距離來衡量生成圖像的質(zhì)量，以及判斷紋理結(jié)構(gòu)是否合理,其數(shù)學(xué)表達(dá)式如式(13)所示：

SIFID=‖μr-μg‖2+

(13)

其中，μr表示真實(shí)圖像的特征均值，μg表示生成圖像的特征均值，Σr表示真實(shí)圖像特征的協(xié)方差矩陣，Σg表示生成圖像特征的協(xié)方差矩陣。SIFID本質(zhì)上計(jì)算的是真實(shí)圖像、生成圖像提取的特征向量之間差值的均值和協(xié)方差矩陣的均值。當(dāng)生成圖像和真實(shí)圖像特征相近時，均值之差的平方越小，協(xié)方差也越小，SIFID的值越小。這意味著生成圖像的分布更接近真實(shí)分布。

4.1 結(jié)構(gòu)設(shè)計(jì)及實(shí)驗(yàn)細(xì)節(jié)

實(shí)驗(yàn)中將生成圖像的尺寸設(shè)置為250×250。光譜歸一化被默認(rèn)應(yīng)用至生成器和判別器中。對于生成器和判別器，實(shí)驗(yàn)中使用β1=β2=0.999的Adam優(yōu)化器[29]進(jìn)行訓(xùn)練。默認(rèn)生成器和判別器的學(xué)習(xí)率均為0.000 5。模型對學(xué)習(xí)率進(jìn)行了縮放設(shè)計(jì)，即隨著訓(xùn)練的進(jìn)行，學(xué)習(xí)率也會進(jìn)行更新，默認(rèn)學(xué)習(xí)率縮放因子為0.1。訓(xùn)練網(wǎng)絡(luò)每完成2 000次迭代記為一個階段，默認(rèn)訓(xùn)練階段為3。實(shí)驗(yàn)是在顯卡為NVIDIA GTX 1060的硬件環(huán)境下進(jìn)行的。

4.2 評價模型

本節(jié)從各個方面對本文提出來的模型進(jìn)行評測，主要包括模型的穩(wěn)定性評價、生成結(jié)果結(jié)構(gòu)是否合理及模型的訓(xùn)練時間等。對比測試了單樣本生成對抗網(wǎng)絡(luò)SinGAN模型、添加自注意力機(jī)制后的單樣本生成對抗網(wǎng)絡(luò)SA-G/D模型及使用LA模型的單樣本生成對抗網(wǎng)絡(luò)LA-G/D模型在不同數(shù)據(jù)集上的表現(xiàn)。

實(shí)驗(yàn)在公開數(shù)據(jù)集Generation[6]、Places和CIFAR-100數(shù)據(jù)集上進(jìn)行，上述數(shù)據(jù)集中包含各種類型和風(fēng)格的圖像，可以很全面地檢驗(yàn)?zāi)Ｐ偷姆€(wěn)定性和魯棒性，部分實(shí)驗(yàn)結(jié)果如圖3所示。研究發(fā)現(xiàn)，無論是自注意力還是線性注意力模型都能在較低階段快速獲取訓(xùn)練樣本的全局結(jié)構(gòu)，如圖3a～圖3c所示。此外，通過對比使用不同學(xué)習(xí)率縮放因子的模型生成的結(jié)果發(fā)現(xiàn)，較高的學(xué)習(xí)率縮放因子對模型的復(fù)原樣本結(jié)構(gòu)有顯著幫助。

Figure 3 Comparison of the results among different models圖3 不同模型的生成結(jié)果對比

在評價結(jié)果選擇時并未區(qū)分不同的數(shù)據(jù)集，而是按照不同的模型、階段和學(xué)習(xí)率縮放因子進(jìn)行。其中，實(shí)驗(yàn)分別隨機(jī)選取每個模型的50個生成樣本測評其SIFID值并取平均值(如表1所示)，得到不同模型各個階段的SIFID值曲線圖，如圖4a～圖4c所示,SIFID值越小則代表模型表現(xiàn)越好。對比之下，LA-G/D(將LA應(yīng)用至生成器和判別器)模型要略優(yōu)于SA-G/D(將自注意力模型應(yīng)用至生成器和判別器)模型。并且，與SinGAN模型相比較，本文設(shè)計(jì)的LA-G/D模型的SIFID值、訓(xùn)練時間和生成圖像視覺效果均有大幅改善，遠(yuǎn)超過SinGAN的評測結(jié)果，并與圖3所示的生成結(jié)果相符合。

Table 1 SIFID and training time of different models (average value)

Figure 4 Comparison of SIFID and training time among different models圖4 不同模型的SIFID值和訓(xùn)練時間對比曲線

LA-G/D模型由于其在注意力模型中采用了獨(dú)特的線性結(jié)構(gòu)，相較于SA-G/D模型節(jié)省了更多訓(xùn)練時間。實(shí)驗(yàn)分別對比了SinGAN、SA-G/D和LA-G/D模型不同階段的訓(xùn)練時間，如圖4d～圖4f所示。以最高訓(xùn)練階段為例，SA-G/D模型的訓(xùn)練時間只需SinGAN模型的1/9，而LA-G/D模型的訓(xùn)練時間只有SinGAN的1/10。實(shí)驗(yàn)結(jié)果表明，LA-G/D模型在訓(xùn)練時間方面具有絕對優(yōu)勢。

綜上所述，本文提出的基于線性注意力機(jī)制的單樣本生成對抗網(wǎng)絡(luò)模型較之已有模型具有顯著優(yōu)勢，在評價指標(biāo)SIFID和訓(xùn)練時間上均改善明顯。

5 結(jié)束語

本文提出了一種基于線性注意力機(jī)制的單樣本生成對抗網(wǎng)絡(luò)模型。首先，該網(wǎng)絡(luò)僅需要單樣本就可以完成模型訓(xùn)練，避免了需要獲得海量數(shù)據(jù)集所帶來的困難。然后，模型中應(yīng)用了一種全新的線性注意力機(jī)制，相較于傳統(tǒng)的卷積注意力模型，避免了大量卷積計(jì)算帶來的信息冗余，提高了信息的利用率。其次，該模型相較于已有的網(wǎng)絡(luò)模型，更加容易在低階段獲得訓(xùn)練圖像的全局結(jié)構(gòu)，這對輸出圖像紋理結(jié)構(gòu)是否合理十分有用，且更加有利于節(jié)省訓(xùn)練時間。最后，本文在模型中借鑒了殘差網(wǎng)絡(luò)的設(shè)計(jì)思路，將帶有殘差項(xiàng)的線性注意力機(jī)制和光譜歸一化方法應(yīng)用至模型中，以抑制模型發(fā)生崩塌的風(fēng)險(xiǎn)。本文的工作依舊有改進(jìn)的空間，之后將著重研究如何構(gòu)建基于線性注意力模型的單樣本多任務(wù)的生成對抗網(wǎng)絡(luò)結(jié)構(gòu)。