Swish模塊殘差增強(qiáng)的動(dòng)漫線稿上色方法

馮煜颋，李志偉

上海工程技術(shù)大學(xué) 電子電氣工程學(xué)院，上海 201620

卷積神經(jīng)網(wǎng)絡(luò)[1]的出現(xiàn)為灰度圖像的著色提供了新的視角，它的出現(xiàn)使計(jì)算機(jī)視覺方面多項(xiàng)任務(wù)的同時(shí)完成有了可能。而目前的動(dòng)漫線稿上色大多是依靠專業(yè)的動(dòng)漫畫家手繪上色，這會(huì)花費(fèi)大量的時(shí)間和精力，同時(shí)上色效果也受個(gè)人影響。至此，計(jì)算機(jī)自動(dòng)化地進(jìn)行動(dòng)漫線稿著色顯得很有必要，同時(shí)對(duì)于一些普通人來說，能夠利用該方法自行地進(jìn)行線稿著色，創(chuàng)造出自己喜歡的彩色圖片。

這些年來，對(duì)抗生成網(wǎng)絡(luò)（generative adversarial network，GAN）經(jīng)常被用于動(dòng)漫線稿著色[2-4]，研究人員提出了一些優(yōu)秀的用于動(dòng)漫線稿著色的模型：Style2paints[5]、Paintschainer、pixtopix[6]。這些方法能夠自動(dòng)地為動(dòng)漫線稿進(jìn)行著色，生成顏色豐富的彩色圖片，此外可以手動(dòng)地選擇某些顏色來進(jìn)行著色，著色時(shí)間比手繪著色快的多。但是對(duì)抗生成網(wǎng)絡(luò)一直以來都存在著訓(xùn)練時(shí)間長、生成效果不穩(wěn)定、網(wǎng)絡(luò)不收斂等問題。這些問題會(huì)導(dǎo)致基于GAN的動(dòng)漫線稿著色模型生成的彩色圖片質(zhì)量較差，比如顏色填充不合理，填充顏色超過了填充區(qū)域，顏色亮度不協(xié)調(diào)等等問題。就目前的這些基于GAN的上色模型而言，他們很難完成實(shí)際的需求，上色的結(jié)果也需要篩選，一些質(zhì)量差的彩色圖片在所難免，耗時(shí)費(fèi)力。

對(duì)抗生成網(wǎng)絡(luò)由生成器和判別器所組成。在進(jìn)行動(dòng)漫線稿著色時(shí)，生成器輸入動(dòng)漫線稿，輸出彩色圖像。而生成器的網(wǎng)絡(luò)結(jié)構(gòu)和損失函數(shù)的選擇將直接影響最終輸出彩色圖片的質(zhì)量。因此，設(shè)計(jì)一個(gè)合適穩(wěn)定的網(wǎng)絡(luò)和適合的損失函數(shù)能夠有效地提高生成彩色圖像的質(zhì)量。判別器的作用在于判別生成的彩色圖像是否接近于人工著色的效果，避免最終輸出質(zhì)量較差的彩色圖像。而判別器會(huì)影響GAN的訓(xùn)練穩(wěn)定性，訓(xùn)練GAN需要達(dá)到納什均衡，判別器的網(wǎng)絡(luò)需要進(jìn)一步的優(yōu)化來確保訓(xùn)練的穩(wěn)定性。

U-net網(wǎng)絡(luò)是一種U形的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，最初被用于圖像分割領(lǐng)域，它有兩個(gè)分枝，左邊的分支是編碼網(wǎng)絡(luò)結(jié)構(gòu)，右邊的分支是解碼網(wǎng)絡(luò)結(jié)構(gòu)[7]。U-net在圖像合成領(lǐng)域也得到了廣泛的應(yīng)用，但是其在網(wǎng)絡(luò)訓(xùn)練時(shí)中間層容易形成梯度消失[8]。非線性激活函數(shù)的出現(xiàn)使得神經(jīng)網(wǎng)絡(luò)的表達(dá)能力更加強(qiáng)大。

為了提升生成彩色圖像的質(zhì)量，本文提出了一種用于動(dòng)漫線稿上色的生成對(duì)抗模型如圖1所示，生成器網(wǎng)絡(luò)基于U-net使用了Swish激活函數(shù)通過殘差增強(qiáng)的方式來傳遞特征圖信息。在判別器的選擇上使用了Resnet網(wǎng)絡(luò)[9]，結(jié)果顯示有著質(zhì)量極高的上色效果。

圖1 網(wǎng)絡(luò)的整體結(jié)構(gòu)Fig.1 Overall structure of network

（1）基于殘差模塊和Swish函數(shù)提出了兩種連接模塊，可以解決U-net網(wǎng)絡(luò)訓(xùn)練時(shí)中間層梯度消失的問題，更好地濾波特征圖，更好地學(xué)習(xí)到每個(gè)level的特征圖，不會(huì)造成梯度消失，收斂曲線也可以更快收斂。

（2）提出了利用感知損失更好地捕捉參考圖像和生成圖像之間的差異，使生成的彩色圖像紋理細(xì)節(jié)更豐富，顏色與顏色之間的過渡也更流暢。

（3）在Anime Sketch Colorization Pair數(shù)據(jù)集中的實(shí)驗(yàn)結(jié)果表明，本文提出的方法的上色效果優(yōu)于現(xiàn)目前的上色方法，且接近于人為上色的效果。

1 相關(guān)工作

近年來，GAN在深度學(xué)習(xí)這個(gè)領(lǐng)域中日益受到關(guān)注。一個(gè)生成對(duì)抗模型通常由生成器和判別器組成，生成器捕捉真實(shí)樣本的潛在分布并且生成新的數(shù)據(jù)樣本。判別器往往是一個(gè)二值分類器，盡可能正確地從生成樣本中區(qū)分出真實(shí)樣本。通過判別器來引導(dǎo)生成器的訓(xùn)練，通過兩個(gè)模型之間的交替訓(xùn)練不斷進(jìn)行對(duì)抗，最終使得生成模型能夠更好地完成生成任務(wù)。而隨著越來越多GAN變體的出現(xiàn)，GAN在圖像的各個(gè)領(lǐng)域都有著不小的成果。在圖像上色這一領(lǐng)域中，GAN同樣在主流算法中占據(jù)著重要的地位。目前，基于深度學(xué)習(xí)的自動(dòng)著色模型主要采用GAN的體系結(jié)構(gòu)。

文獻(xiàn)[6]提出的Pixtopix也是GAN的一大變體，使用的是條件生產(chǎn)對(duì)抗網(wǎng)絡(luò)（conditional generative adversarial network，CGAN）來實(shí)現(xiàn)圖像到圖像的轉(zhuǎn)換，它可以做的事情很多，比如說將素描畫輪廓轉(zhuǎn)換成圖片，將黑夜場景轉(zhuǎn)換成白天場景、自動(dòng)上色等等。

而Style2paints作為GAN的一種風(fēng)格遷移上色模型變體，在將動(dòng)漫線稿轉(zhuǎn)換為彩色圖像時(shí)需要提前提供顏色使用的參考圖像。Style2paints提出的生成器網(wǎng)絡(luò)使用的也是經(jīng)過殘差增強(qiáng)的U-net網(wǎng)絡(luò)，在網(wǎng)絡(luò)的右半部分中每個(gè)level之間加入了殘差模塊來增強(qiáng)上色細(xì)節(jié)紋理，同時(shí)在生成器網(wǎng)絡(luò)結(jié)構(gòu)中加了一個(gè)輔助分類器，判別器可以判別生成圖片的真假以及分類其相關(guān)的風(fēng)格來實(shí)現(xiàn)風(fēng)格遷移。

現(xiàn)在被廣泛使用的Paintschainer使用的是無條件的判別器，并且取得了令人矚目的成績。用戶只需要輸入一張動(dòng)漫線稿圖片就可以得到一張彩色圖片，通過添加自己想要的顏色還可以得到該顏色風(fēng)格下的效果。但是因?yàn)闆]有標(biāo)簽使它容易過多關(guān)注線條和特征圖之間的關(guān)系，所以圖像構(gòu)成時(shí)會(huì)導(dǎo)致過擬合，線條的填充也會(huì)混亂。

可見，為了提高GAN網(wǎng)絡(luò)的性能，人們對(duì)其網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行了大量的研究。而GAN在動(dòng)漫線稿著色方面也已經(jīng)取得了突出的成績。U-net已經(jīng)被證明在動(dòng)漫線稿上色這一塊有著很好的效果，但是最大的問題就是U-net的上采樣卷積層和下采樣卷積層是直接拼接，當(dāng)編碼器的第一層發(fā)現(xiàn)，它可以簡單地通過跳接將所有的特性直接傳輸?shù)浇獯a器的最后一層，從而使損耗最小化，這就導(dǎo)致了網(wǎng)絡(luò)的中間層無法學(xué)習(xí)到任何東西，無論訓(xùn)練多少次網(wǎng)絡(luò)，在中間層都會(huì)出現(xiàn)梯度消失的問題。

為了解決上述問題，提出了一種用于動(dòng)漫線稿著色的深度學(xué)習(xí)模型，模型的整體結(jié)構(gòu)為對(duì)抗生成網(wǎng)絡(luò)模型。模型的生成器結(jié)構(gòu)用的是經(jīng)過改良的殘差增強(qiáng)U-net的網(wǎng)絡(luò)結(jié)構(gòu)，判別器使用的是ResNet的網(wǎng)絡(luò)結(jié)構(gòu)。受到ResNet網(wǎng)絡(luò)的啟發(fā)，改變了原來U-net網(wǎng)絡(luò)采樣上卷積層和下采樣卷積層直接拼接的方式，不再是跳接方式，使用了Swish激活函數(shù)，提出了兩種連接模塊。而提出的Swish模塊可以更好地濾波網(wǎng)絡(luò)中傳輸?shù)奶卣餍畔?，提高網(wǎng)絡(luò)的學(xué)習(xí)能力，在低等級(jí)卷積層完成任務(wù)時(shí)，高等級(jí)卷積層依舊可以得到濾波過的特征信息進(jìn)行學(xué)習(xí)，解決了動(dòng)漫線稿上色后，顏色細(xì)節(jié)混淆、訓(xùn)練過程中梯度消失等問題。此外，把判別網(wǎng)絡(luò)用作了感知網(wǎng)絡(luò)，能夠得到生成圖像和真實(shí)圖像的感知特征，以此計(jì)算感知損失，擁有感知損失的上色模型能夠生成質(zhì)量更好的彩色圖像。

2 本文方法

2.1 Swish模塊

本文提出的這種新的殘差模塊Swish gated block，是對(duì)Resnet中殘差模塊的一種改進(jìn)。Swish gated block是由Swish module和殘差組成的，Swish module包含了卷積層和Swish激活函數(shù)。提出的殘差模塊結(jié)構(gòu)圖如圖2所示，其中x代表的是輸入數(shù)據(jù)，F(xiàn)(x)代表的是殘差，F(xiàn)(x)+x是殘差模塊的輸出，“+”表示像素點(diǎn)對(duì)應(yīng)相加；G(x)代表的是Swish module里卷積層的輸出，“·”表示像素點(diǎn)對(duì)應(yīng)相乘；T(x)代表的是Swish gated block中卷積層經(jīng)過非線性LReLU函數(shù)后的輸出，S(x)是Swish module的輸出，“⊕”表示特征圖之間進(jìn)行拼接，“T(x)⊕S(x)”是Swish gated block最終輸出。

圖2 Swish模塊Fig.2 Swish module

在殘差模塊中，輸入數(shù)據(jù)x沒有經(jīng)過處理就直接和殘差相加；而在Swish module中，對(duì)x進(jìn)行了處理，使用了Sigmoid函數(shù)，它的優(yōu)勢在于是能夠控制數(shù)值的幅度，在深層網(wǎng)絡(luò)中可以保持?jǐn)?shù)據(jù)幅度不會(huì)出現(xiàn)大的變化。此外，對(duì)Swish gated block中的卷積層使用了非線性LReLU，對(duì)于生成類的任務(wù)比起ReLU有著更好的效果，用Swish module來濾波輸入數(shù)據(jù)x，它就像是一扇門，控制了輸入數(shù)據(jù)x從底層到高層之間通過一個(gè)捷徑的特征圖傳輸。

Swish module定義為：

S(x)是Swish module的輸出，x是輸入數(shù)據(jù)，G(x)是卷積層的輸出，σ(·)表示Sigmoid函數(shù)，“·”表示像素點(diǎn)對(duì)應(yīng)相乘。

Swish gated block的輸出：

這里的T(x)是模塊中的殘差部分，S(x)是Swish module濾波過的信息，最終拼接在一起然后輸出得到的特征圖。

2.2 網(wǎng)絡(luò)結(jié)構(gòu)

生成器網(wǎng)絡(luò)結(jié)構(gòu)是基于U-net的改進(jìn)版如圖3所示，是通過殘差增強(qiáng)的Swish U-net網(wǎng)絡(luò)結(jié)構(gòu)。該網(wǎng)絡(luò)有著6個(gè)不同的分辨率等級(jí)，隨著等級(jí)的提高，分辨率也逐漸降低。和U-net相同，可以把Swish U-net也看作是左右兩個(gè)分支，但是把同一個(gè)分辨率等級(jí)的左右分支之間嵌入一個(gè)Swish module來濾波編碼路徑傳遞到解碼路徑的信息，而不再是原來的跳接，Swish module可以加快網(wǎng)絡(luò)的收斂速度同時(shí)提高網(wǎng)絡(luò)的性能。圖3中每一個(gè)綠色虛線框都是一個(gè)Swish gated block，一共有10個(gè)。在左側(cè)分支中，每個(gè)Swish gated block的輸出由殘差部分輸出的特征圖和經(jīng)過Swish module濾波的特征圖組成；而在右側(cè)分支中，每個(gè)Swish gated block的輸出由三部分組成，分別是殘差部分輸出的特征圖，經(jīng)過輸入經(jīng)過Swish module濾波的特征圖以及對(duì)應(yīng)左側(cè)分支通過Swish module濾波的特征圖組成。

圖3 Swish U-net網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.3 Network structure of Swish U-net

除了網(wǎng)絡(luò)的最后一層卷積層，所有的卷積層都使用了歸一化和LReLU函數(shù)，第i層的Swish gated block的輸入都是第i－1層Swish gated block的輸出進(jìn)行1×1的卷積操作后得到。此外，第i－1層進(jìn)行1×1卷積操作的卷積核個(gè)數(shù)和第i層每個(gè)卷積層的卷積核個(gè)數(shù)相同。從分辨率等級(jí)1到分辨率等級(jí)6，每一個(gè)分辨率等級(jí)中，每層卷積層的卷積核個(gè)數(shù)依次是96，192，288，384，480，512。最后一層卷積層將會(huì)輸出最終的彩色圖像，它由27個(gè)1×1的卷積核，并且沒有使用歸一化和激活函數(shù)。

一般來說，判別器的作用是區(qū)分真實(shí)圖像和生成圖像，本文在判別器上選擇了Resnet作為判別器網(wǎng)絡(luò)，該判別器的網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。這里的判別器有兩個(gè)任務(wù)：（1）用來判別生成圖像和真實(shí)圖像。（2）作為感知網(wǎng)絡(luò)，提取生成圖像和真實(shí)圖像的感知特征，由此計(jì)算感知損失。判別器網(wǎng)絡(luò)最后經(jīng)過歸一化來提高網(wǎng)絡(luò)訓(xùn)練的穩(wěn)定性，再使用ReLU激活函數(shù)，使網(wǎng)絡(luò)訓(xùn)練更快，同時(shí)防止梯度消失。

圖4判別器網(wǎng)絡(luò)層結(jié)構(gòu)Fig.4 Layer structure of discriminator network

圖5 （a）是訓(xùn)練過程，每一步都包含向前傳播和反向傳播兩個(gè)過程，兩個(gè)過程完成一次為一個(gè)Epoch，當(dāng)次數(shù)小于設(shè)定訓(xùn)練值Num時(shí)，一直循環(huán)；圖5（b）為模型訓(xùn)練好之后的預(yù)測流程圖，只有前向傳播。

圖5 網(wǎng)絡(luò)的流程圖Fig.5 Flowchart of network

2.3 損失函數(shù)

本文提出的生成器和判別器是分開訓(xùn)練的，用的是成對(duì)的匹配圖像作為圖像的數(shù)據(jù)集。動(dòng)漫線稿是輸入數(shù)據(jù)，而配對(duì)的彩色圖像是標(biāo)簽。對(duì)于著色任務(wù)，簡單地比較生成圖像和參考彩色圖像的像素顏色會(huì)嚴(yán)重影響輸出圖像的質(zhì)量[10-11]。因?yàn)榻o出一張黑白圖像，頭發(fā)的顏色可以是銀色、也可以是黑色，黑白圖像與上色圖像是一對(duì)多的關(guān)系，但標(biāo)簽僅僅只有一張，因此僅考慮每個(gè)像素的L1loss不合理。為此提出了感知缺失[12]，它可以提供幫助捕捉到生成的彩色圖像和參考圖像之間的差異，為了防止模型過擬合[13]，添加了L2正則化。感知損失基于特征圖計(jì)算：

其中l(wèi)取值[0，5]，T表示生成圖像，G表示真實(shí)圖像，φ0(G)表示用辨別器的網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行卷積操作，φ表示不進(jìn)行卷積操作，表示原圖，φ1(G)表示第一層卷積輸出結(jié)果（特征圖），表示感知特征，依此類推。

λl={0.88，0.79，0.63，0.51，0.39，1.07}，表示不同層的權(quán)重。正則化系數(shù)α=0.009，優(yōu)化器采用Adam。

判別器的網(wǎng)絡(luò)使用了Resnet，卷積層之后進(jìn)行了數(shù)據(jù)的歸一化處理，使得數(shù)據(jù)不會(huì)因?yàn)檫^大而導(dǎo)致訓(xùn)練不穩(wěn)定[14-15]。這里判別器的損失用的是GAN提出的判別器損失。

其中，G表示真實(shí)圖像，T表示生成圖像，D表示判別器，σ(·)表示Sigmoid函數(shù)，E表示數(shù)學(xué)期望。

3 實(shí)驗(yàn)與分析

3.1 數(shù)據(jù)集和評(píng)價(jià)指標(biāo)

為了驗(yàn)證提出的方法的性能，在大型數(shù)據(jù)集Anime Sketch Colorization Pair上進(jìn)行了訓(xùn)練，數(shù)據(jù)集中有著大量的配對(duì)動(dòng)漫線稿圖像和動(dòng)漫上色圖像。對(duì)14 224幅動(dòng)漫線稿和他們對(duì)應(yīng)的彩色圖像進(jìn)行訓(xùn)練，實(shí)驗(yàn)中的所有圖像分辨率都被調(diào)整為256×256。評(píng)估生成圖像的質(zhì)量一直以來都是個(gè)困難的問題。在上色過程中，同一塊上色圖像的區(qū)域用不同的上色模型所生成的顏色也是不同的。除了顏色上的差異之外，不同上色模型所生成的圖像在圖像質(zhì)量（紋理、陰影、亮度）和圖像視覺質(zhì)量上也有很大差異。因此，使用了幾個(gè)標(biāo)準(zhǔn)的圖像質(zhì)量量化指標(biāo)來評(píng)價(jià)和比較Swish U-net和其他現(xiàn)有上色方法，實(shí)驗(yàn)中使用的定量評(píng)價(jià)指標(biāo)包括峰值信噪比（PSNR）、結(jié)構(gòu)相似度（SSIM）[16]、特征相似度（FSIM）[17]。為了確認(rèn)感知損失在上色模型中的作用，使用了FID（frechet inception distance）[18]作為評(píng)估標(biāo)準(zhǔn)來量化彩色圖像的質(zhì)量。如圖6展示了本文上色模型的上色結(jié)果，只需要輸入一張動(dòng)漫線稿就可以得到9種不同顏色的彩色圖像。

圖6 輸入動(dòng)漫線稿得到的彩色圖像Fig.6 Input animation line draft to get color image

3.2 實(shí)驗(yàn)數(shù)據(jù)與結(jié)果

如圖7是展示了帶有感知損失和無感知損失的兩種上色模型比較?？梢郧宄乜吹剑瑤в懈兄獡p失的上色模型生成的彩色圖像更加生動(dòng)和飽滿，特別是顏色漸變平滑，陰影分布合理，沒有違和感；無感知損失的上色模型所生成的彩色圖像顏色不夠豐富并且顏色變化梯度更少。此外，無感知損失的上色模型生成的彩色圖像色彩飽和度也較低，圖片里人物和背景沒有明顯的界線。因此，感知損失對(duì)上色效果有著很大的影響，帶有感知損失的上色模型生成的圖像紋理細(xì)節(jié)更豐富，顏色與顏色之間的過渡也更流暢。

圖7 3種上色模型對(duì)比Fig.7 Comparision of three color models

為了進(jìn)一步研究本文辦法，使用了定量分析來評(píng)估生成圖像的質(zhì)量如表1所示。使用了FID來作為量化指標(biāo)來評(píng)價(jià)生成彩色圖像的質(zhì)量（清晰度）和色彩多樣性。自動(dòng)上色模型是一對(duì)多的轉(zhuǎn)換，F(xiàn)ID在這被用來評(píng)價(jià)生成彩色圖像的質(zhì)量，沒有使用感知損失的Swish U-net簡寫為Swish U-netwpl。此外，這里使用了PSNR、SSIM、FSIM來評(píng)價(jià)3種算法的表現(xiàn)，最好的結(jié)果用黑體字表示。Swish U-net在所有指標(biāo)上都取得了最好的表現(xiàn)，此外沒有感知損失的Swish U-net在所有指標(biāo)上表現(xiàn)是最差的，說明感知損失在上色模型中有著特別重要的作用。提出的Swish模塊殘差增強(qiáng)的網(wǎng)絡(luò)生成的彩色圖像質(zhì)量要優(yōu)于U-net網(wǎng)絡(luò)生成的圖像，說明經(jīng)過Swish模塊殘差增強(qiáng)的生成模型有著更好的上色效果。

表1 3種上色模型在數(shù)據(jù)集上的定量分析Table 1 Quantitative analysis of three color models on datasets

如圖8是Paintschainer、Style2-paints和Swish U-net模型在數(shù)據(jù)集上生成圖像的對(duì)比結(jié)果?？梢钥吹教岢龅腟wish U-net模型就線稿生成的彩色圖像具有更高的視覺質(zhì)量，顏色組合更加合理。同時(shí)，色彩梯度變化更加自然，顏色搭配更符合審美。此外，提出的生成對(duì)抗模型避免了Style2paint和Paintschainer中存在的配色問題，如混色不合理、色彩漸變效果差、配色超出填充區(qū)域等。因此，提出的生成對(duì)抗模型的上色效果不僅優(yōu)于目前的上色方法，甚至接近人為的上色圖片的質(zhì)量。

圖8 Swish U-net和兩種主流上色模型對(duì)比Fig.8 Comparison of Swish U-net and two dominant color models

表2是Paintschainer、style2paints、SwishU-net的定量分析，量化指標(biāo)用到了PSNR、SSIM、FSIM來評(píng)價(jià)生成彩色圖像的質(zhì)量。最好的結(jié)果用了黑字體顯示。在表2中，可以看到Swishi U-net的表現(xiàn)明顯優(yōu)異于Style2paints、Paintschainer的所有指標(biāo)。

表2 Swish U-net和兩種主流上色模型在數(shù)據(jù)集上的定量分析Table 2 Quantitative analysis of Swish U-net and two major coloring models on datasets

如圖9顯示了Swish U-net網(wǎng)絡(luò)的性能，隨著迭代次數(shù)的增加，網(wǎng)絡(luò)逐漸收斂。如圖10展示了生成圖像的可視化結(jié)果，隨著迭代次數(shù)的增加，可以清楚地看到生成圖像的質(zhì)量越來越高并且越來越接近于真實(shí)圖像，顏色線條也更加清晰。

圖9 Anime Sketch Colorization Pair上損失函數(shù)的收斂曲線Fig.9 Convergence curve of loss function on Anime Sketch Colorization Pair

3.3 算法復(fù)雜度計(jì)算

表3比較了Swish U-net和當(dāng)前主流算法的算法復(fù)雜度。所有的算法都是基于python，在GPU上進(jìn)行實(shí)現(xiàn)的，這里只測試了256×256的圖片。為了平衡性能和計(jì)算效率，這里選擇了16個(gè)參數(shù)層進(jìn)行上述實(shí)驗(yàn)。

表3 3種算法的平均運(yùn)行時(shí)間和模型復(fù)雜度Table 3 Average running time and model complexity of three algorithms

可以看出，由于復(fù)雜的優(yōu)化過程，Style2paints和Paintschainer消耗了大量的時(shí)間，而Swish U-net的生成網(wǎng)絡(luò)沒有使用歸一化層減少了運(yùn)行的時(shí)間。平均運(yùn)行時(shí)間和參數(shù)數(shù)量結(jié)果顯示：盡管使用的是輕量級(jí)的框架，經(jīng)過定量分析，Swish U-net表現(xiàn)更加出色。

4 結(jié)束語

本文提出了一種用于動(dòng)漫線稿著色的生成對(duì)抗模型，在生成模型上使用了基于Swish函數(shù)殘差增強(qiáng)的U-net網(wǎng)絡(luò)，在判別模型上使用了Resnet網(wǎng)絡(luò)。嵌入了Swish gate模塊的U-net能夠更好地傳遞特征圖信息，提高了生成網(wǎng)絡(luò)的性能，加快了網(wǎng)絡(luò)的收斂。在判別器上使用了感知網(wǎng)絡(luò)能夠感知生成圖像和真實(shí)圖像的感知特征，計(jì)算出感知損失，感知損失經(jīng)實(shí)驗(yàn)證明能更好地捕捉到黑白圖像和彩色圖像之間的差異，并對(duì)網(wǎng)絡(luò)更好地進(jìn)行端到端的訓(xùn)練。而判別器越優(yōu)秀，對(duì)生成圖像的質(zhì)量要求就越高，結(jié)果就更接近于真實(shí)圖像。經(jīng)過實(shí)驗(yàn)證明：在數(shù)據(jù)集Anime Sketch Colorization Pair上，相比于現(xiàn)有的方法，該方法在處理動(dòng)漫線稿時(shí)有著更大的優(yōu)勢，它生成的彩色圖像有著更高的視覺質(zhì)量和更加豐富的色彩多樣性和匹配性，生成的彩色圖像質(zhì)量甚至接近于人為的上色圖像質(zhì)量。另一方面，本文上色模型生成的9張彩色圖像顏色風(fēng)格布局大多一致，無法生成9種風(fēng)格各不相同的彩色圖像，9張彩色圖片中并不是每張圖片都有著很好的視覺質(zhì)量。盡管如此，本文提出的自動(dòng)上色模型還是優(yōu)秀于現(xiàn)有的自動(dòng)上色模型。