基于前景語(yǔ)義信息的圖像著色算法

吳麗丹，薛雨陽(yáng)，童 同，4*，杜 民，高欽泉，4

（1.福州大學(xué)物理與信息工程學(xué)院，福州 350108；2.福建省醫(yī)療器械與醫(yī)藥技術(shù)重點(diǎn)實(shí)驗(yàn)室（福州大學(xué)），福州 350108；3.筑波大學(xué)計(jì)算機(jī)科學(xué)學(xué)院，筑波3058577，日本；4.福建帝視信息科技有限公司，福州 350001）

0 引言

灰度圖像著色技術(shù)是指通過(guò)一種指定的規(guī)則，對(duì)灰度圖賦以顏色，還原、增強(qiáng)或改變圖像的色彩信息［1］，該技術(shù)在動(dòng)漫制作領(lǐng)域、老照片修復(fù)、藝術(shù)創(chuàng)作等方面有著廣泛的應(yīng)用前景。目前圖像著色算法基本分為三類：

第一類是帶有用戶提示的輔助著色方法。在圖像著色算法早期，由于數(shù)據(jù)和算力的不足，使用人類輔助著色方法才能取得較好的著色效果。Levin 等［2］提出了基于顏色涂抹的方法，利用用戶在局部區(qū)域涂抹的顏色，通過(guò)凸優(yōu)化方法，實(shí)現(xiàn)對(duì)灰度圖像進(jìn)行著色，但實(shí)際上該模型并沒有學(xué)習(xí)到特定類別的顏色信息；Heu 等［3］提出了基于優(yōu)先級(jí)的色彩轉(zhuǎn)移方法，用戶在圖像的一組源像素上涂抹顏色，通過(guò)優(yōu)先級(jí)識(shí)別算法，把顏色轉(zhuǎn)移到鄰近像素上，得到了更可靠的著色性能。

第二類是基于參考的著色方法。Welsh 等［4］最早提出了基于彩色參考圖像的灰度圖著色方法。該模型獲取灰度圖像和參考圖像之間的色彩映射信息，引導(dǎo)灰度圖的著色效果向參考圖靠近；Chang 等［5］提出基于色彩調(diào)色盤的顏色重建方法，包括從彩色圖像創(chuàng)建調(diào)色盤的算法，以及一個(gè)新的色彩傳輸算法；Chen等［6］提出基于語(yǔ)言參考的圖像著色方法，給定灰度圖和自然語(yǔ)言描述即可生成目標(biāo)圖像。

第三類是全自動(dòng)圖像著色方法。深度學(xué)習(xí)算法的發(fā)展、高性能圖像處理器的出現(xiàn)以及大規(guī)模數(shù)據(jù)集的建成和開源為圖像著色方法開辟了新方向。該類方法使用卷積神經(jīng)網(wǎng)絡(luò)搭建不同的網(wǎng)絡(luò)架構(gòu)，通過(guò)激活函數(shù)得到非線性模型，提高模型學(xué)習(xí)能力，輸入大量數(shù)據(jù)訓(xùn)練，讓模型學(xué)習(xí)灰度圖與彩色圖之間的顏色映射。Cheng等［7］提出的自動(dòng)著色技術(shù)，通過(guò)使用超大規(guī)模的數(shù)據(jù)集，結(jié)合基于聯(lián)合雙邊濾波的后處理方法和自適應(yīng)圖像聚類技術(shù)來(lái)整合圖像全局信息，得到了優(yōu)于最新算法的著色效果；Zhang 等［8］使用VGG 神經(jīng)網(wǎng)絡(luò)將著色任務(wù)轉(zhuǎn)化為分類任務(wù)，解決了著色中的顏色不確定性問(wèn)題，為著色算法研究提供了一個(gè)新思路；Zhao 等［9］為了增強(qiáng)圖像的語(yǔ)義理解，提出利用由像素構(gòu)成的對(duì)象來(lái)指導(dǎo)圖像著色，網(wǎng)絡(luò)包括像素化語(yǔ)義嵌入部分和像素化語(yǔ)義生成器部分，分別學(xué)習(xí)對(duì)象是什么和對(duì)象對(duì)應(yīng)的顏色；張娜等［10］提出基于密集神經(jīng)網(wǎng)絡(luò)的灰度圖形著色算法，利用密集神經(jīng)網(wǎng)絡(luò)信息提取的高效性，構(gòu)建了一個(gè)端到端的自動(dòng)著色模型，能有效改善著色過(guò)程中漏色和對(duì)比度低等問(wèn)題。

綜上所述，為了充分強(qiáng)調(diào)圖像前景的顏色信息、提高圖像著色的整體質(zhì)量，本文搭建的網(wǎng)絡(luò)包括兩個(gè)網(wǎng)絡(luò)，分別為前景子網(wǎng)和全景子網(wǎng)。前景子網(wǎng)為全景子網(wǎng)提供多個(gè)前景目標(biāo)的特征信息，兩個(gè)網(wǎng)絡(luò)采用生成對(duì)抗網(wǎng)絡(luò)（Generative Adversarial Network，GAN）。實(shí)驗(yàn)結(jié)果表明，本文算法與傳統(tǒng)算法相比，能明顯改善前景部分著色效果。

1 相關(guān)研究

1.1 實(shí)例分割算法

實(shí)例分割算法的任務(wù)是機(jī)器自動(dòng)從圖像中用目標(biāo)檢測(cè)方法框出不同實(shí)例，再用語(yǔ)義分割方法在不同實(shí)例區(qū)域內(nèi)進(jìn)行逐像素標(biāo)記。Mask R-CNN［11］在實(shí)例分割任務(wù)上取得了非常好的效果。首先，其模型架構(gòu)中的backbone 使用了一系列的卷積用于提取圖像的feature maps，根據(jù)網(wǎng)絡(luò)越深得到的效果會(huì)更加好的觀點(diǎn)，選用ResNet101［12］可以構(gòu)建更深的網(wǎng)絡(luò)，同時(shí)根據(jù)深度殘差網(wǎng)絡(luò)特性，不會(huì)使網(wǎng)絡(luò)退化；其次是特征金字塔網(wǎng)絡(luò)（Feature Pyramid Network，F(xiàn)PN）的提出，融合了底層到高層的feature maps，在提取出較強(qiáng)語(yǔ)義信息的同時(shí)，還保留了位置信息和分辨率信息；接下來(lái)是區(qū)域推薦網(wǎng)絡(luò)（Region Proposal Network，RPN），用于幫助網(wǎng)絡(luò)推薦感興趣的區(qū)域；最后作者提出了ROI Align，是一種區(qū)域特征聚集方式，很好地解決了ROI Pooling操作中兩次量化造成的區(qū)域不匹配問(wèn)題。

由于Mask R-CNN良好的檢測(cè)特性，本文將訓(xùn)練數(shù)據(jù)輸入到Mask R-CNN 中，得到圖像中每個(gè)對(duì)象bounding box 的坐標(biāo)，根據(jù)坐標(biāo)裁剪出所需區(qū)域，作為前景子網(wǎng)的訓(xùn)練數(shù)據(jù)。

1.2 IResNet

Duta 等［13］提出的IResNet（Improved Residual Network）是殘差網(wǎng)絡(luò)ResNet 的改進(jìn)版，網(wǎng)絡(luò)結(jié)構(gòu)模塊如圖1，該方法通過(guò)以下三點(diǎn)改進(jìn)措施得到了更高的準(zhǔn)確性和更好的持續(xù)學(xué)習(xí)收斂性：1）改進(jìn)信息流。作者提出了一種分段的組織結(jié)構(gòu)，根據(jù)stage 不同的位置，安排每個(gè)ResBlock 都有不同的設(shè)計(jì)。2）改進(jìn)快捷連接上的特征映射。在特征空間映射上使用最大池化操作，選擇激活度最高的元素，減少信息的損失，在特征通道映射上使用1×1的卷積層和批歸一化層，能減少空間背景信息丟失；3）分組構(gòu)建塊。主要表現(xiàn)為增加3×3卷積層的參數(shù)量，使得3×3卷積層有更多的通道和更高的空間模式學(xué)習(xí)能力。

圖1 IResBlock的結(jié)構(gòu)Fig.1 Structure of IResBlock

1.3 生成對(duì)抗網(wǎng)絡(luò)

GAN［14］的基本思想源自博弈論的二人零和博弈，包括預(yù)測(cè)數(shù)據(jù)分布的生成器，以及估計(jì)樣本來(lái)自訓(xùn)練數(shù)據(jù)的概率的判別器，通過(guò)對(duì)抗學(xué)習(xí)的方式來(lái)訓(xùn)練。GAN 作為一個(gè)優(yōu)秀的生成模型，在圖像風(fēng)格轉(zhuǎn)換、超分辨率、圖像著色、圖像生成等任務(wù)上廣泛使用。

原始GAN 存在訓(xùn)練不穩(wěn)定、梯度消失或爆炸問(wèn)題，并且沒有指導(dǎo)訓(xùn)練進(jìn)程的指標(biāo)。Arjovsky 等［15］提出的WGAN（Wasserstein Generative Adversarial Network）將GAN 中等價(jià)優(yōu)化兩個(gè)分布距離的衡量方法由JS 散度改為Wasserstein 距離，實(shí)現(xiàn)穩(wěn)定訓(xùn)練和損失函數(shù)的變化可作為訓(xùn)練進(jìn)程指標(biāo)，表現(xiàn)為損失函數(shù)數(shù)值越小，表示真實(shí)分布與生成分布的Wasserstein 距離越小，GAN 訓(xùn)練得越好。使用Wasserstein 距離通常需要在模型中加入Lipschitz 約束，WGAN 通過(guò)權(quán)重裁剪，將判別器參數(shù)的絕對(duì)值限制在某個(gè)固定范圍內(nèi)；WGANGP［16］通過(guò)梯度懲罰，將判別器的梯度作為一個(gè)懲罰項(xiàng)，加入到判別器的損失函數(shù)中。但Wu 等［17］提出的WGAN-div 引入了Wasserstein 散度，如式（1）所示，使得模型去掉Lipschitz 約束的同時(shí)還能保留Wasserstein距離的優(yōu)秀性質(zhì)。

2 本文算法

本文算法使用兩階段網(wǎng)絡(luò)訓(xùn)練方式，兩個(gè)網(wǎng)絡(luò)分別為前景子網(wǎng)和全景子網(wǎng)，利用前景子網(wǎng)提取圖像中多個(gè)前景的特征，減少背景信息干擾，并且采用IResBlock 的網(wǎng)絡(luò)構(gòu)建方式，使輸出彩色圖像的細(xì)節(jié)特征更為豐富、目標(biāo)輪廓更為清晰，實(shí)現(xiàn)了更好的著色效果。本文算法采用接近人類視覺且色域廣的Lab色彩空間。

2.1 設(shè)計(jì)網(wǎng)絡(luò)結(jié)構(gòu)

2.1.1 總體網(wǎng)絡(luò)結(jié)構(gòu)

目前，在基于深度學(xué)習(xí)的灰度圖像著色研究中，著色網(wǎng)絡(luò)主要通過(guò)卷積神經(jīng)網(wǎng)絡(luò)的組合來(lái)提取圖像特征、學(xué)習(xí)顏色映射。單一的神經(jīng)網(wǎng)絡(luò)特征處理能力有限、學(xué)習(xí)能力有限，著色效果有待提高。本文算法采用兩個(gè)階段網(wǎng)絡(luò)訓(xùn)練的方式，充分利用低級(jí)特征信息和高級(jí)特征信息，有效提高了網(wǎng)絡(luò)的性能；由于IResNet 具有良好的特征提取特性和減少信息損失的能力，所以本文前景子網(wǎng)和全景子網(wǎng)的生成器部分借鑒IResNet構(gòu)建網(wǎng)絡(luò)方式，構(gòu)建卷積塊內(nèi)容；GAN在圖像生成相關(guān)領(lǐng)域有其得天獨(dú)厚的優(yōu)點(diǎn)，本文采用WGAN-div 的訓(xùn)練策略，在實(shí)現(xiàn)穩(wěn)定訓(xùn)練、損失函數(shù)的變化可作為訓(xùn)練進(jìn)程指標(biāo)的同時(shí)，提升了訓(xùn)練效果，加快了模型收斂。綜上所述，將借鑒與改進(jìn)的措施應(yīng)用到本文的研究中，得到總體網(wǎng)絡(luò)架構(gòu)如圖2所示。

圖2 本文算法的網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 Network structure of the proposed algorithm

兩個(gè)網(wǎng)絡(luò)結(jié)構(gòu)都為U-Net［18］結(jié)構(gòu)。在生成器網(wǎng)絡(luò)的下采樣部分，采用IResNet 中搭建卷積塊的方式代替普通卷積層，卷積塊參數(shù)如圖1 所示。在第一個(gè)訓(xùn)練階段，將前景子網(wǎng)中第4 個(gè)卷積塊和第8 個(gè)卷積塊的輸出特征經(jīng)過(guò)池化層與全連接層整合為1×512的特征向量，具體過(guò)程如圖3所示。圖3左邊展示了一張前景圖像的特征處理過(guò)程，在實(shí)際訓(xùn)練中，選用了n個(gè)不同的前景圖像，得到n個(gè)1×512 的向量，在第二階段的訓(xùn)練中，將它們作為輔助信息與全景子網(wǎng)中第4 個(gè)卷積塊和第8 個(gè)卷積塊的輸出特征融合，所以最終融合后的特征維度有512 ×(n+1)維。根據(jù)訓(xùn)練前景子網(wǎng)時(shí)選擇前景部分個(gè)數(shù)的不同，特征融合后的通道數(shù)也不同；在生成器網(wǎng)絡(luò)的上采樣部分，使用4×4 的轉(zhuǎn)置卷積進(jìn)行上采樣，通過(guò)skipconnection把淺層特征引過(guò)來(lái)復(fù)用，增加空間域信息。

圖3 特征融合的具體過(guò)程Fig.3 Specific process of feature fusion

2.1.2 判別器

使用馬爾可夫?qū)傩缘呐袆e器，將重構(gòu)的圖像切割為多個(gè)patch，不同的patch之間相互獨(dú)立，判別器對(duì)每個(gè)patch做真假判別，將多個(gè)patch 的判別結(jié)果取平均值，作為最終判別器的輸出。WGAN 中的判別器近似擬合Wasserstein 距離，屬于回歸任務(wù)，需要將判別器最后一層的sigmoid 層去掉。判別器網(wǎng)絡(luò)參數(shù)如表1所示。

表1 判別器網(wǎng)絡(luò)參數(shù)Tab.1 Discriminator network parameters

2.2 構(gòu)造目標(biāo)函數(shù)

深度學(xué)習(xí)算法的訓(xùn)練過(guò)程可以轉(zhuǎn)化為對(duì)某個(gè)目標(biāo)求解最優(yōu)解問(wèn)題。為了完成著色這一目標(biāo)，構(gòu)造目標(biāo)函數(shù)如式（2）所示，通過(guò)不斷優(yōu)化目標(biāo)函數(shù)來(lái)提升兩個(gè)分布之間的相似程度。

其中：Lcolor表示算法的顏色損失，采用基于拉普拉斯先驗(yàn)的回歸損失函數(shù)L1 Loss，能較好地恢復(fù)圖像中的低頻部分，得到清晰且顏色接近的圖像；LG為生成損失函數(shù)，LD為判別損失函數(shù)，模型訓(xùn)練的目的是最小化生成損失函數(shù)和判別損失函數(shù)，如式（3）～（5）所示。

其中：A是輸入灰度圖像，B是真實(shí)彩色標(biāo)簽，N為樣本數(shù)，G表示生成器網(wǎng)絡(luò)，D表示判別器網(wǎng)絡(luò)；G(A)為灰度圖像經(jīng)過(guò)生成器后的生成結(jié)果，Lcolor是輸入G(A)(i)和目標(biāo)B(i)的逐像素間差值的平均絕對(duì)值，D(G(A))表示生成的彩色圖像輸入到判別器的結(jié)果，D(B)表示真實(shí)彩色圖像輸入到判別器的結(jié)果。其中，參照文獻(xiàn)［16］的實(shí)驗(yàn)結(jié)論，本文將式（5）中參數(shù)κ取2、p取6時(shí)，Wasserstein散度收斂最快，生成結(jié)果表現(xiàn)最優(yōu)。

2.3 訓(xùn)練過(guò)程

第一階段先訓(xùn)練前景子網(wǎng)，將訓(xùn)練數(shù)據(jù)輸入到預(yù)訓(xùn)練的Mask R-CNN 網(wǎng)絡(luò)中，每張圖像得到n個(gè)前景部分的裁剪坐標(biāo)，按照坐標(biāo)裁剪可得到多張前景圖像，作為前景子網(wǎng)的訓(xùn)練數(shù)據(jù)輸入到網(wǎng)絡(luò)中訓(xùn)練，保存訓(xùn)練好的網(wǎng)絡(luò)，返回低級(jí)特征和高級(jí)特征。第二階段訓(xùn)練全景子網(wǎng)，將256×256 大小的原圖和第一階段網(wǎng)絡(luò)模型返回的特征輸入到全景子網(wǎng)中進(jìn)行訓(xùn)練，兩個(gè)網(wǎng)絡(luò)使用Adam 優(yōu)化算法在訓(xùn)練過(guò)程中不斷優(yōu)化目標(biāo)函數(shù)，更新網(wǎng)絡(luò)參數(shù)。實(shí)驗(yàn)迭代次數(shù)為252 000，學(xué)習(xí)率設(shè)置為1× 10-4。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)數(shù)據(jù)與環(huán)境

本文算法實(shí)現(xiàn)基于微軟的COCO 數(shù)據(jù)集［19］和PASCAL VOC 數(shù)據(jù)集［20］。實(shí)驗(yàn)分別從COCO 和VOC 中選取18 000 和14 000 張圖像用于訓(xùn)練，4 500 和3 000 張圖像用于測(cè)試，所有數(shù)據(jù)預(yù)先裁剪為256×256大小。

本實(shí)驗(yàn)的硬件環(huán)境：Intel Core i7-7700 CPU 3.60 GHz，主機(jī)內(nèi)存16 GB，顯卡型號(hào)為GTX 1080，軟件環(huán)境為Ubuntu16.04，CUDA 10.0，算法使用Python3.6 進(jìn)行編程，采用Pytorch深度學(xué)習(xí)框架實(shí)現(xiàn)。

3.2 評(píng)價(jià)指標(biāo)

本實(shí)驗(yàn)通過(guò)評(píng)價(jià)指標(biāo)對(duì)著色效果進(jìn)行客觀評(píng)價(jià)。采用峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）和感知相似度（Learned Perceptual Image Patch Similarity，LPIPS）［21］。PSNR是評(píng)價(jià)圖像質(zhì)量時(shí)最普遍和使用最為廣泛的圖像客觀評(píng)價(jià)指標(biāo)，計(jì)算過(guò)程如式（6）所示，其中MSE為均方誤差（Mean Squared Error），在本文實(shí)驗(yàn)中分別計(jì)算RGB 三個(gè)通道的均方誤差，然后取平均值，最后將得到的平均值代入式（6）中計(jì)算。根據(jù)近幾年的研究［22-23］可知，PSNR 本身存在很大的局限性，不能很好地反映人眼主觀感受。LPIPS 是一項(xiàng)基于學(xué)習(xí)的感知相似度度量，比傳統(tǒng)的目前廣泛應(yīng)用的方法更符合人類感知，分值越小即認(rèn)為相似度越高。

其中：l是網(wǎng)絡(luò)的層數(shù)；h和w是特征層的兩個(gè)不同維度；從第l層提取特征并在通道維度中進(jìn)行單元標(biāo)準(zhǔn)化得到通過(guò)矢量wl縮放激活通道維度并計(jì)算L2 范數(shù)；Hl和Wl分別是第l層特征的高和寬。

3.3 實(shí)驗(yàn)結(jié)果

3.3.1 與其他算法對(duì)比

為驗(yàn)證本文算法的有效性及優(yōu)異性，選取部分代表性的圖像與現(xiàn)有開源且表現(xiàn)優(yōu)異的算法進(jìn)行比較，包括Isola 等［24］的pix2pix 和Yoo 等［25］的MemoPainter（memo）。為了公正地對(duì)比各個(gè)算法的效果，所有實(shí)驗(yàn)均統(tǒng)一在相同的軟件環(huán)境和硬件環(huán)境下進(jìn)行，所有算法在COCO 數(shù)據(jù)集上訓(xùn)練14 個(gè)epoch，在PASCAL數(shù)據(jù)集上訓(xùn)練15個(gè)epoch，結(jié)果如圖4所示。

圖4 不同算法的著色效果對(duì)比Fig.4 Comparison of colorization effects of different algorithms

首先，在主觀上比較各個(gè)算法的整體著色質(zhì)量，如圖4 所示，pix2pix只學(xué)到部分顏色信息，圖像質(zhì)量低，memo和本文算法在整體上著色效果表現(xiàn)較好；其次，比較彩色圖像中不同層次物體的色彩對(duì)比度，可以看出memo的實(shí)驗(yàn)結(jié)果圖像的顏色會(huì)趨向于一個(gè)色調(diào)，比如圖像4會(huì)趨向于藍(lán)色，圖像5和圖像6會(huì)趨向于棕色，pix2pix 和本文算法在色彩對(duì)比度上表現(xiàn)得較好；最后，比較各個(gè)算法與原圖的接近程度，在圖像1中的旗幟和人臉效果上，本文算法的結(jié)果更接近真實(shí)情況，色彩更鮮艷，在圖像3 中本文算法更為真實(shí)地呈現(xiàn)了貓和格子沙發(fā)的顏色和紋理，總體比較下來(lái)，本文算法的實(shí)驗(yàn)結(jié)果最接近原圖。在客觀指標(biāo)評(píng)價(jià)對(duì)比中，對(duì)整個(gè)測(cè)試集進(jìn)行計(jì)算，PSNR表現(xiàn)為數(shù)值越大結(jié)果越好，LPIPS 表現(xiàn)為數(shù)值越小結(jié)果越好，本文算法在PSNR上比pix2pix和memo分別高出2.59 dB和7.54 dB，在LPIPS上分別降低了0.01和0.13，具體如表2所示。

表2 不同算法的PSNR及LPIPS對(duì)比Tab.2 Comparison of PSNR and LPIPS among different algorithms

3.3.2 有無(wú)前景子網(wǎng)對(duì)比

本文算法結(jié)構(gòu)包括前景子網(wǎng)和全景子網(wǎng)，為了驗(yàn)證引入前景子網(wǎng)訓(xùn)練的有效性，對(duì)比了有、無(wú)前景子網(wǎng)結(jié)構(gòu)下的著色效果。選擇7 張不同類型的圖像進(jìn)行對(duì)比，結(jié)果如圖5 所示，在主觀上明顯可以看出，引入前景子網(wǎng)后，圖像中前景部分著色更真實(shí)，顏色飽和度更高，呈現(xiàn)出了鮮艷且有層次的著色結(jié)果；在PSNR 和LPIPS 指標(biāo)上，兩個(gè)數(shù)據(jù)集的結(jié)果如表3 所示，可以看出引入前景子網(wǎng)后，本文算法在兩項(xiàng)評(píng)價(jià)指標(biāo)上取得了更好的分?jǐn)?shù)。綜上可知，引入前景子網(wǎng)訓(xùn)練有效地提升了著色效果。

圖5 有無(wú)前景子網(wǎng)的著色效果對(duì)比Fig.5 Comparison of colorization effects with or without foreground subnetwork

表3 有無(wú)前景子網(wǎng)下的PSNR與LPIPS對(duì)比Tab.3 Comparison of PSNR and LPIPS with or without foreground subnetwork

3.3.3 有無(wú)IResBlock對(duì)比

在本文算法生成器的下采樣過(guò)程中，使用普通卷積層，著色整體色調(diào)偏暖，著色效果還可以，但整個(gè)測(cè)試集中部分圖像會(huì)出現(xiàn)效果不好的青色小色塊；使用IResBlock 代替普通卷積層后，原圖信息丟失減少，增強(qiáng)了通道上和空間上的學(xué)習(xí)能力，發(fā)揮其在深層網(wǎng)絡(luò)中也能持續(xù)學(xué)習(xí)收斂性的特性，有效地消減了色塊的出現(xiàn)。具體如圖6所示。

圖6 有無(wú)IResBlock的著色效果對(duì)比Fig.6 Comparison of colorization effects with or without IResBlock

4 結(jié)語(yǔ)

本文提出一種基于前景語(yǔ)義信息的灰度圖像著色算法，該算法通過(guò)前景子網(wǎng)提取圖像前景部分的低級(jí)特征和高級(jí)特征，再將這些特征與全景子網(wǎng)提取的特征信息相融合，實(shí)現(xiàn)像素級(jí)的顏色預(yù)測(cè)與彩色結(jié)果的輸出。通過(guò)實(shí)驗(yàn)證明，本文算法與現(xiàn)有優(yōu)秀算法相比，在較少的訓(xùn)練迭代次數(shù)下，可得到整體著色效果優(yōu)異，顏色更鮮艷、更自然的彩色圖像。下一步的工作將深入研究，將它運(yùn)用到其他類型圖像，比如動(dòng)漫線稿類型，進(jìn)一步強(qiáng)化算法的實(shí)用性和普適性。