基于深度學(xué)習(xí)的圖像風(fēng)格遷移方法對(duì)比研究

朱 晴，孫軍梅，白 煌，李秀梅

(杭州師范大學(xué)信息科學(xué)與技術(shù)學(xué)院，浙江 杭州 311121)

隨著攝影技術(shù)的飛速發(fā)展，照片美化、藝術(shù)化等技術(shù)日益受到人們的關(guān)注.其中基于深度學(xué)習(xí)的圖像風(fēng)格遷移方法以其速度快、產(chǎn)量高、資源消耗低、對(duì)使用者專業(yè)能力要求較低等優(yōu)勢(shì)，成為研究熱點(diǎn).

2016年，Gatys等[1]首次發(fā)現(xiàn)深層神經(jīng)網(wǎng)絡(luò)VGG19可以提取圖像風(fēng)格信息和紋理信息，從而開創(chuàng)了基于深度學(xué)習(xí)的圖像風(fēng)格遷移.目前，圖像風(fēng)格遷移方法包括基于圖像迭代的在線式方法[1-3]和基于模型迭代的離線式方法[4-16].前者通過訓(xùn)練，在線優(yōu)化白噪聲圖像，訓(xùn)練完成即獲得風(fēng)格化圖片，常用方法有神經(jīng)風(fēng)格遷移(neural style transfer，NST)[1]、松弛最優(yōu)傳輸和自相似性(style transfer by relaxed optimal transport and self-similarity，STROTSS)[3]等.后者則是通過訓(xùn)練一個(gè)編碼了風(fēng)格信息或圖片重構(gòu)信息的模型，離線地獲得風(fēng)格化圖片，常用的方法有單網(wǎng)絡(luò)單風(fēng)格的快速風(fēng)格遷移(real time style transfer，RTST)[4]，單網(wǎng)絡(luò)多風(fēng)格的條件實(shí)例歸一化(conditional instance normalization，CIN)[6]，以及單網(wǎng)絡(luò)任意風(fēng)格的自適應(yīng)實(shí)例歸一化(adaptive instance normalization，AdaIN)[7]、特征變換(whitening and coloring transforms，WCT)[8]、注意力感知多筆畫(attention-aware multi-stroke style transfer，AAMS)[9]等.

本文基于深度學(xué)習(xí)的方法進(jìn)行風(fēng)格遷移，采用視覺質(zhì)量、風(fēng)格化時(shí)間、結(jié)構(gòu)相似性等評(píng)價(jià)指標(biāo)，比較并分析了基于圖像迭代的在線式方法(NST、STROTSS)和基于模型迭代的離線式方法(RTST、CIN、AdaIN、WCT、AAMS)的性能，以期為風(fēng)格遷移任務(wù)中的方法選擇提供依據(jù).

1 常用的圖像風(fēng)格遷移方法

在神經(jīng)網(wǎng)絡(luò)提取的特征圖中，每一個(gè)數(shù)字都來自一個(gè)特定濾波器在特定位置的卷積，代表了一個(gè)特征的強(qiáng)度.Gatys等[1]發(fā)現(xiàn)，使用在ImageNet上訓(xùn)練好的用于分類任務(wù)的VGG19的不同層，可將內(nèi)容特征和紋理特征提取出來(圖1).VGG19網(wǎng)絡(luò)中較淺的卷積層提取出的特征圖紋理粒度較小、筆觸分明，對(duì)特征圖計(jì)算Gram矩陣，可以表示兩兩特征之間的相關(guān)性，且對(duì)角線元素體現(xiàn)了每個(gè)特征在圖像中出現(xiàn)的量，能夠充分表示風(fēng)格細(xì)節(jié)信息；較深的卷積層提取出的特征圖紋理粒度較粗，描述了大致的輪廓內(nèi)容信息.

圖1 VGG19各層提取圖片特征圖Fig.1 The feature map of each layer extracted from VGG19

1.1 基于圖像迭代的風(fēng)格遷移方法

基于圖像迭代的風(fēng)格遷移方法是一種無風(fēng)格轉(zhuǎn)換網(wǎng)絡(luò)任意風(fēng)格的方法，如圖2所示，輸入內(nèi)容圖片C、風(fēng)格圖片S、初始化白噪聲圖片O，用經(jīng)ImageNet預(yù)訓(xùn)練的VGG19的淺層分別提取S和O的風(fēng)格特征FS和FOS，用深層分別提取C和O的內(nèi)容特征FC和FOC，計(jì)算內(nèi)容損失LC和風(fēng)格損失LS，通過梯度下降的方法最小化損失并優(yōu)化O.基于圖像迭代的方法每次只能風(fēng)格化一張圖片，需要設(shè)置合理的迭代次數(shù)，且針對(duì)不同的內(nèi)容風(fēng)格圖像需要設(shè)置不同的內(nèi)容、風(fēng)格權(quán)重系數(shù)，才能達(dá)到合理的結(jié)果.

圖2 基于圖像迭代方法的訓(xùn)練圖示Fig.2 Training diagram of methods based on image iteration

1.1.1 神經(jīng)風(fēng)格遷移(NST)

Gatys等[1]首次提出了用卷積神經(jīng)網(wǎng)絡(luò)來進(jìn)行圖像風(fēng)格遷移的方法NST，采用VGG19中靠后的卷積層block4_conv2、block5_conv2來提取內(nèi)容特征，靠前的卷積層block1_conv1、block2_conv1、block3_conv1、block4_conv1、block5_conv1來提取風(fēng)格特征.按以下公式分別計(jì)算內(nèi)容損失LC和風(fēng)格損失LS：

總損失函數(shù)的計(jì)算公式為LT=αLC+βLS，其中，α、β分別表示風(fēng)格損失和內(nèi)容損失的權(quán)重.

1.1.2 松弛最優(yōu)傳輸和自相似性 (STROTSS)

STROTSS[3]是另一種基于圖像優(yōu)化的方法.傳統(tǒng)的直方圖相似度量(earth movers distance，EMD)在計(jì)算風(fēng)格損失時(shí)會(huì)同時(shí)優(yōu)化兩個(gè)變量，計(jì)算消耗將達(dá)到三次方數(shù)量級(jí)，其計(jì)算公式為

EMD(A,B)=minT≥0∑ijTijCij,

STROTSS用Relaxed EMD取代EMD，將EMD拆分為兩個(gè)輔助距離RA和RB：

REMD(A,B)=max(RA(A,B),RB(A,B)),RA(A,B)=minT≥0∑ijTijCij,

RB(A,B)=minT≥0∑ijTijCij.

RA和RB都采用EMD度量，但只包含一個(gè)約束，分開優(yōu)化A和B，找到其中最大的損失項(xiàng)，梯度下降進(jìn)行優(yōu)化，大大節(jié)省了計(jì)算消耗.

1.2 基于模型迭代的風(fēng)格遷移方法

基于圖像迭代的風(fēng)格遷移方法產(chǎn)生的風(fēng)格化圖像質(zhì)量較高，但風(fēng)格化每一張圖像都需要訓(xùn)練一次，效率較低.基于模型迭代的方法則能極大縮短時(shí)間消耗,可以分為單網(wǎng)絡(luò)單風(fēng)格、單網(wǎng)絡(luò)多風(fēng)格和單網(wǎng)絡(luò)任意風(fēng)格.其中單網(wǎng)絡(luò)單風(fēng)格和單網(wǎng)絡(luò)多風(fēng)格將風(fēng)格信息編碼在模型中，應(yīng)用時(shí)只需輸入內(nèi)容圖片，速度較快，但風(fēng)格數(shù)量有限，限制了風(fēng)格化應(yīng)用場(chǎng)景；單網(wǎng)絡(luò)任意風(fēng)格則在模型中編碼了圖片重構(gòu)信息，應(yīng)用時(shí)輸入內(nèi)容圖片和風(fēng)格圖片，從風(fēng)格圖片獲取風(fēng)格，風(fēng)格數(shù)量可以無限多，應(yīng)用最為廣泛.

1.2.1 單網(wǎng)絡(luò)單風(fēng)格的快速風(fēng)格遷移(RTST)

RTST[4]構(gòu)建了一個(gè)風(fēng)格轉(zhuǎn)換網(wǎng)絡(luò)(圖3)，將風(fēng)格信息編碼在風(fēng)格轉(zhuǎn)換網(wǎng)絡(luò)中，為每一個(gè)特定風(fēng)格都訓(xùn)練一個(gè)網(wǎng)絡(luò).模型包括編碼模塊和解碼模塊，編碼模塊將圖像編碼到特征表示，解碼模塊將特征表示解碼回圖像空間.通過訓(xùn)練將一種特定的風(fēng)格編碼到網(wǎng)絡(luò)參數(shù)中，具體過程如下：輸入內(nèi)容圖片到一個(gè)風(fēng)格轉(zhuǎn)換網(wǎng)絡(luò)中，得到輸出圖像，提取輸出圖像的內(nèi)容特征和風(fēng)格特征，分別與內(nèi)容圖像的內(nèi)容特征計(jì)算內(nèi)容損失，與風(fēng)格圖像的風(fēng)格特征計(jì)算風(fēng)格損失，所用損失函數(shù)與NST一致，迭代優(yōu)化風(fēng)格轉(zhuǎn)換網(wǎng)絡(luò)的參數(shù)，使得損失最小.RTST可以批量對(duì)內(nèi)容圖像進(jìn)行風(fēng)格化，極大地提升了效率.

圖3 RTST網(wǎng)絡(luò)訓(xùn)練圖Fig.3 RTST network training diagram

1.2.2 單網(wǎng)絡(luò)多風(fēng)格的條件實(shí)例歸一化(CIN)

注:x是輸入IN層的特征圖;μ、σ分別是x的均值和標(biāo)準(zhǔn)差;γ和β是從不同風(fēng)格中學(xué)習(xí)到的仿射參數(shù).圖4 CIN原理圖Fig.4 Schematic diagram of CIN 注:C為內(nèi)容圖片特征圖;S為風(fēng)格圖片特征圖;μ為特征圖均值;σ為特征圖標(biāo)準(zhǔn)差.圖5 AdaIN原理圖Fig.5 Schematic diagram of AdaIN

1.2.3 單網(wǎng)絡(luò)任意風(fēng)格的自適應(yīng)實(shí)例歸一化(AdaIN)

受到CIN啟發(fā)，AdaIN[7]在IN層進(jìn)行另一種形式的操作：訓(xùn)練時(shí)輸入內(nèi)容圖片和一組風(fēng)格圖片，按批次讀入，先提取內(nèi)容圖片和風(fēng)格圖片的特征圖，計(jì)算均值和標(biāo)準(zhǔn)差作為IN層的仿射參數(shù)，用內(nèi)容特征圖減去自身均值除以標(biāo)準(zhǔn)差進(jìn)行去風(fēng)格化，再乘以風(fēng)格特征圖的均值和標(biāo)準(zhǔn)差進(jìn)行風(fēng)格化.其原理見圖5.

AdaIN的操作公式如下：

其中，μ(x)、σ(x)分別是C的均值和標(biāo)準(zhǔn)差，μ(y)、σ(y) 分別是S的均值和標(biāo)準(zhǔn)差.用t代表經(jīng)過AdaIN操作之后的特征圖，隨機(jī)初始化一個(gè)解碼器g，將特征圖t映射回圖片空間的風(fēng)格化圖片：

t=AdaIN(f(c),f(s)),T(c,s)=g(t).

AdaIN的訓(xùn)練目標(biāo)是得到一個(gè)更好的解碼器，使其網(wǎng)絡(luò)參數(shù)更適合交換內(nèi)容和風(fēng)格圖片的均值、標(biāo)準(zhǔn)差，因此訓(xùn)練過程無需指代特定的風(fēng)格，測(cè)試時(shí)從風(fēng)格圖片中計(jì)算仿射參數(shù)，實(shí)現(xiàn)任意風(fēng)格的遷移.此外，在IN層還可對(duì)多張風(fēng)格圖片的均值方差進(jìn)行融合，從而達(dá)到風(fēng)格插值的效果，如圖6所示，每組都對(duì)4種風(fēng)格融合進(jìn)行風(fēng)格遷移，其中每種風(fēng)格所占權(quán)重一致.

內(nèi)容圖片 風(fēng)格圖片 風(fēng)格插值結(jié)果圖6 AdaIN風(fēng)格插值示例Fig.6 AdaIN style interpolation examples

1.2.4 單網(wǎng)絡(luò)任意風(fēng)格的特征變換(WCT)

WCT是一種無需訓(xùn)練風(fēng)格轉(zhuǎn)換網(wǎng)絡(luò)的方法，它預(yù)先訓(xùn)練一個(gè)用于圖像重構(gòu)的自編碼器，優(yōu)化參數(shù)，使圖像重構(gòu)損失盡可能小[8].風(fēng)格轉(zhuǎn)換常運(yùn)用傳統(tǒng)的圖像處理方法白化和著色來實(shí)現(xiàn)，WCT從根本上不同于訓(xùn)練風(fēng)格轉(zhuǎn)換網(wǎng)絡(luò)的方法，它的風(fēng)格轉(zhuǎn)換不利用網(wǎng)絡(luò)中的任何參數(shù)，而是通過傳統(tǒng)算法整合白化和著色轉(zhuǎn)換來匹配內(nèi)容與風(fēng)格特征之間的統(tǒng)計(jì)分布和相關(guān)性，白化著色操作不會(huì)產(chǎn)生網(wǎng)絡(luò)參數(shù).

具體地，首先輸入內(nèi)容圖片C和風(fēng)格圖片S到自編碼器中得到特征圖fC和fS.WCT的目標(biāo)是轉(zhuǎn)換fC使其匹配fS的協(xié)方差矩陣，通過以下兩個(gè)步驟實(shí)現(xiàn)：

然后，通過自編碼器重構(gòu)圖像,即可重建出效果不錯(cuò)的風(fēng)格化結(jié)果.該方法通過預(yù)先訓(xùn)練的編碼器-解碼器網(wǎng)絡(luò)來解決計(jì)算量大、速度慢的問題，同時(shí)擴(kuò)展到了多層的風(fēng)格化，將高層風(fēng)格化后的結(jié)果視作新的內(nèi)容輸入到低層進(jìn)行風(fēng)格化，匹配所有層的風(fēng)格統(tǒng)計(jì)信息，顯著提高了風(fēng)格化質(zhì)量.此外，使用協(xié)方差矩陣來考慮通道之間的相關(guān)性，捕獲了突出的視覺模式.

1.2.5 單網(wǎng)絡(luò)任意風(fēng)格的注意力感知多筆畫(AAMS)

圖7 AAMS注意力圖Fig.7 AAMS attention map

2 實(shí)驗(yàn)

2.1 實(shí)驗(yàn)環(huán)境與設(shè)置

本研究對(duì)上述7種風(fēng)格遷移方法分別進(jìn)行實(shí)驗(yàn)，數(shù)據(jù)集分為訓(xùn)練集和測(cè)試集，均包括內(nèi)容圖片和風(fēng)格圖片.訓(xùn)練集的內(nèi)容圖片為MSCOCO官網(wǎng)“train 2014”中的82 783張訓(xùn)練圖片，數(shù)據(jù)集大小為12.5 GB；測(cè)試集選用6張內(nèi)容圖片(包含人物、景色、建筑等)和12張風(fēng)格鮮明的藝術(shù)風(fēng)格圖片(包含印象派、幻想風(fēng)格主義、抽象表現(xiàn)主義等派系的藝術(shù)作品).訓(xùn)練階段圖片尺寸調(diào)整為512×512，在測(cè)量風(fēng)格化時(shí)間階段也將輸入圖片尺寸調(diào)整為512×512.

NST、STROTSS設(shè)置的迭代次數(shù)是2 000次，RTST、CIN、AdaIN、WCT、AAMS訓(xùn)練時(shí)的迭代次數(shù)為80 000次，batchsize為1，Adam優(yōu)化器的學(xué)習(xí)率大小設(shè)置為1×10-4.顯卡型號(hào)Nvidia GeForce RTX 2080Ti(12 GB顯存)，處理器型號(hào)Core i7-9700K，運(yùn)行內(nèi)存32 GB.

2.2 性能分析

2.2.1 定性評(píng)價(jià)

風(fēng)格遷移任務(wù)沒有真實(shí)標(biāo)簽，它的效果依賴于用戶的滿意度.風(fēng)格遷移結(jié)果應(yīng)該具有內(nèi)容圖片的感知語義、空間布局和風(fēng)格圖片的藝術(shù)風(fēng)格，然而風(fēng)格是多種感知屬性的組合，包括全局色調(diào)、局部筆觸、紋理、線條、形狀、明暗對(duì)比、正負(fù)空間所占比例等，難以直觀定義和量化，因此定性評(píng)價(jià)被廣泛使用.圖8所示為測(cè)試采用的內(nèi)容圖片及藝術(shù)風(fēng)格圖片，其中測(cè)試圖片在訓(xùn)練過程中未曾使用.對(duì)7種方法在風(fēng)格遷移穩(wěn)定性、藝術(shù)化程度、圖像平滑度以及顯著區(qū)域保留度等方面的定性評(píng)價(jià)列于表1.7種方法的風(fēng)格遷移結(jié)果見圖9.

圖8 內(nèi)容圖片及藝術(shù)風(fēng)格圖片F(xiàn)ig.8 Content pictures and artistic style pictures

表1 不同方法風(fēng)格遷移效果的定性比較Tab.1 Qualitative comparison of the style transfer effect of different methods

從表1及圖9可見，基于圖像迭代的方法(NST和STROTSS)大部分生成結(jié)果較好，但不穩(wěn)定，平衡內(nèi)容和風(fēng)格損失的權(quán)重系數(shù)影響力較大，對(duì)于不同的內(nèi)容圖像和風(fēng)格圖像需要手動(dòng)設(shè)置不同的權(quán)重，設(shè)置不當(dāng)容易使梯度下降算法被困在局部最小值上.本研究采用相同的內(nèi)容風(fēng)格權(quán)重，導(dǎo)致圖9所示這兩種方法的風(fēng)格遷移效果并不一致，在第3、4行生成效果較好，第2、8、10行效果較差.STROSS采用更先進(jìn)的直方圖損失函數(shù)，產(chǎn)生的風(fēng)格化圖片更平滑，偽影較少，色彩對(duì)比度更高.

圖9 不同方法的風(fēng)格遷移結(jié)果Fig.9 The style transfer results of different methods

圖9中部分圖片存在偽影，不夠自然，總體來說，在一些只包括線條和色塊的簡單風(fēng)格圖片(第3、6行)上，各種方法遷移效果較好，對(duì)一些語義結(jié)構(gòu)復(fù)雜的圖片(第5、11行)風(fēng)格化效果較差.

基于模型迭代的方法較穩(wěn)定.其中RTST為每種風(fēng)格單獨(dú)訓(xùn)練一種模型，不存在多風(fēng)格之間的干擾，視覺效果較好，但藝術(shù)化程度不夠，只能遷移相關(guān)的圖案到相關(guān)聯(lián)的平滑區(qū)域(天空)，且偶爾會(huì)產(chǎn)生不正常的亮斑，如圖9“girl”中的額頭和“farmer”中的天空.CIN為多種風(fēng)格訓(xùn)練一個(gè)模型，較RTST的視覺效果更自然，但在語義復(fù)雜的風(fēng)格圖像上只遷移顏色等低級(jí)風(fēng)格信息，如圖9第4、7行.AdaIN允許靈活的用戶控制(如內(nèi)容風(fēng)格權(quán)衡、風(fēng)格插值、顏色空間控制等)而不需要修改訓(xùn)練過程，具有更高的速度和靈活性，對(duì)于圖9中大部分內(nèi)容圖片，能忠實(shí)地實(shí)現(xiàn)風(fēng)格圖片的風(fēng)格傳遞.WCT通過堆疊網(wǎng)絡(luò)來獲得更精細(xì)化的效果，能夠捕獲風(fēng)格圖片的顯著性視覺區(qū)域，使內(nèi)容圖片中的重要內(nèi)容很好地風(fēng)格化.AdaIN和WCT能較好地保存內(nèi)容，并匹配風(fēng)格圖片的整體風(fēng)格，當(dāng)風(fēng)格圖片內(nèi)容結(jié)構(gòu)簡單時(shí)，風(fēng)格遷移效果較好，如圖9第6行；當(dāng)風(fēng)格圖片包括復(fù)雜的紋理和筆觸時(shí)，不能夠自適應(yīng)地將不同的風(fēng)格圖案和不同的內(nèi)容結(jié)構(gòu)匹配，無法保持顏色分布，局部的風(fēng)格圖案扭曲，風(fēng)格化結(jié)果會(huì)出現(xiàn)沖刷式的偽影，如圖9第5行，也可能會(huì)在平滑的內(nèi)容區(qū)域產(chǎn)生一些不需要的筆觸，如圖9第1行中的天空.AAMS中加入了注意力機(jī)制，用注意力圖來指導(dǎo)風(fēng)格遷移，因而能夠捕獲任何圖片的顯著性特征，保護(hù)了顯著性區(qū)域的結(jié)構(gòu)，如圖9中的“sailboat”和“cornell”.AAMS同時(shí)實(shí)現(xiàn)了多筆觸大小之間的無縫合成和對(duì)遠(yuǎn)程特征關(guān)注度的一致性，筆畫之間的豐富融合，在不犧牲整體感的情況下，局部呈現(xiàn)有區(qū)別的風(fēng)格模式，產(chǎn)生視覺上合理的風(fēng)格化結(jié)果.然而非顯著背景區(qū)域關(guān)注度較低，結(jié)構(gòu)扭曲和模糊程度相比其他幾種方法更加嚴(yán)重.

2.2.2 定量評(píng)價(jià)

選取多張內(nèi)容、風(fēng)格圖片，用多種方法進(jìn)行風(fēng)格化，并計(jì)算風(fēng)格化時(shí)間的平均值，結(jié)果見表2.其中，基于圖像迭代的方法NST和STROTSS要達(dá)到較好的風(fēng)格化效果，需要多次前向—反向傳播迭代優(yōu)化白噪聲圖像，速度較慢.基于模型迭代的方法在速度上提升了3個(gè)數(shù)量級(jí)，RTST和AdaIN相對(duì)較快，CIN、AAMS及WCT相對(duì)較慢，原因在于：CIN中編碼了多種風(fēng)格，風(fēng)格化時(shí)要在模型參數(shù)中進(jìn)行選擇；AAMS需要先生成注意力圖再來指導(dǎo)風(fēng)格遷移；而WCT通過級(jí)聯(lián)網(wǎng)絡(luò)來獲得更精細(xì)化的結(jié)果，并且采用的奇異值分解算法需要在CPU上執(zhí)行.

表2 不同方法風(fēng)格遷移效果的定量比較Tab.2 Quantitative comparison of the style transfer effect of different methods

結(jié)構(gòu)相似性(structural similarity，SSIM)是一種衡量兩幅圖像相似度的指標(biāo)，從圖像組成的角度將結(jié)構(gòu)信息定義為獨(dú)立于亮度、對(duì)比度的反映場(chǎng)景中物體結(jié)構(gòu)的屬性.風(fēng)格遷移任務(wù)希望把一張圖片的風(fēng)格應(yīng)用到另一張內(nèi)容圖片上，但在結(jié)構(gòu)上，風(fēng)格化結(jié)果應(yīng)與內(nèi)容圖片保持一致性.SSIM值越接近于1代表結(jié)構(gòu)越相似，其計(jì)算方式如下：

由表2可見，CIN風(fēng)格化結(jié)果與內(nèi)容圖片結(jié)構(gòu)相似性最高，合理的解釋是CIN只能學(xué)習(xí)到多種風(fēng)格的低級(jí)信息，只遷移了顏色，內(nèi)容結(jié)構(gòu)保持很好；STROTSS、RTST、AdaIN較好地保持了結(jié)構(gòu)相似性，可能的原因是STROTSS采用了更先進(jìn)的直方圖損失保護(hù)了內(nèi)容結(jié)構(gòu)，RTST只編碼一種風(fēng)格從而免受干擾，而AdaIN只在歸一化層進(jìn)行操作沒有破壞內(nèi)容結(jié)構(gòu)；NST、AAMS、WCT的風(fēng)格化結(jié)果與內(nèi)容圖片的結(jié)構(gòu)相似性較低，可能的原因是NST需要手動(dòng)嘗試才能設(shè)置合理的權(quán)重，AAMS在非顯著性區(qū)域模糊現(xiàn)象嚴(yán)重，WCT中白化著色操作破壞了內(nèi)容語義信息.

3 結(jié)論

本研究比較了NST、STROTSS、RTST、CIN、AdaIN、WCT、AAMS等基于深度學(xué)習(xí)實(shí)現(xiàn)圖像風(fēng)格遷移方法的性能.其中NST、STROTSS在設(shè)置合適權(quán)重前提下產(chǎn)生的風(fēng)格化圖片質(zhì)量較好，但耗時(shí)較長；RTST和CIN能夠獲得自然的視覺效果，但只能進(jìn)行低層次的風(fēng)格化，并且為某種或多種風(fēng)格訓(xùn)練一個(gè)模型實(shí)用性不強(qiáng)；AdaIN、WCT、AAMS可以滿足任意風(fēng)格化的要求，在難度適中的藝術(shù)風(fēng)格遷移任務(wù)上表現(xiàn)較好，且允許更多的用戶控制.