結(jié)合全局語義優(yōu)化的對抗性灰度圖像彩色化

萬園園， 王雨青， 張曉寧， 李荅群， 陳小林*

(1. 中國科學(xué)院 長春光學(xué)精密機(jī)械與物理研究所，吉林 長春 130033；2. 中國科學(xué)院大學(xué)，北京 100049)

1 引 言

圖像彩色化實質(zhì)就是為灰度圖像的每一個像素分配顏色[1]。該技術(shù)在機(jī)器視覺、圖像修復(fù)和影視制作等方面具有重要的應(yīng)用價值。現(xiàn)有的彩色化方法有傳統(tǒng)彩色化方法和基于深度學(xué)習(xí)的彩色化方法。

傳統(tǒng)的彩色化方法可分成兩種：基于局部顏色擴(kuò)展的方法[1-4]和基于參考圖的顏色傳遞的方法[1-4]。其中，基于局部顏色擴(kuò)展的方法需要人為在灰度圖像上進(jìn)行顏色涂鴉，需要的用戶操作量較大，在顏色擴(kuò)散過程中易出現(xiàn)邊緣誤擴(kuò)散等問題?；趨⒖紙D的顏色傳遞的方法需要選擇一張與待彩色化灰度圖相似的彩色圖進(jìn)行顏色遷移，雖然此類方法減小了用戶操作量，但是對參考圖的依賴程度高。由于傳統(tǒng)算法受人工干預(yù)影響較大，且效率不高，在這個圖像海量化的信息時代已經(jīng)不再適用。

目前，基于深度學(xué)習(xí)的彩色化算法已經(jīng)能實現(xiàn)自動彩色化。如Cheng[1]等人利用卷積神經(jīng)網(wǎng)絡(luò)來提取灰度圖特征，使用聯(lián)合雙邊濾波進(jìn)行后續(xù)處理，實現(xiàn)了較好的彩色化效果。Iizuka[2]等人利用雙流結(jié)構(gòu)，融合灰度圖像的局部特征和全局特征，并添加標(biāo)簽分類來實現(xiàn)顏色預(yù)測，但生成圖像的顏色飽和度較低且細(xì)節(jié)損失較多。Zhang[3]等人將圖像彩色化問題轉(zhuǎn)化成對像素點(diǎn)顏色的分類問題，將飽和度高的顏色賦予高權(quán)重來獲得鮮艷的顏色，但是容易造成顏色溢出的問題。Larsson[4]等人使用VGG網(wǎng)絡(luò)來解釋場景的語義組成和對象的定位，但仍存在細(xì)節(jié)損失等問題。

近些年，生成對抗網(wǎng)絡(luò)(Generative Adversarial Network，GAN)因其特殊的網(wǎng)絡(luò)結(jié)構(gòu)和訓(xùn)練機(jī)制，在超分辨重建[5]、圖像合成[6]與風(fēng)格轉(zhuǎn)換[7]等領(lǐng)域都取得了巨大的成功。受此啟發(fā)，GAN網(wǎng)絡(luò)也被用來解決圖像彩色化的問題。Isola等[8]人提出使用U-Net與GAN相結(jié)合的方法，在一定程度上提升了彩色化效果。后來Nazeri等[9]利用條件生成對抗網(wǎng)絡(luò)[8](conditional Generative Adversarial Network, cGAN)來還原彩色化的過程。Cao等[10]也通過在cGAN的多個卷積層中添加噪聲來增加彩色化效果的多樣性，但彩色化后顏色溢出的現(xiàn)象仍未改善。ChromaGAN[11]是Patricia等人提出來的一種最新的對抗性彩色化算法，他們把圖像場景分類引入GAN網(wǎng)絡(luò)，通過對顏色信息和類別分布的感知來實現(xiàn)灰度圖像彩色化，可改善場景彩色化錯誤的現(xiàn)象。由于以上基于GAN的彩色化方法均利用相對較淺的低維特征，對圖像的全局語義信息(例如場景的布局)理解不足，從而易導(dǎo)致顏色溢出等現(xiàn)象，且在特征提取時存在一定程度的細(xì)節(jié)損失。

針對以上問題，本文提出一種結(jié)合全局語義優(yōu)化的生成對抗彩色化算法。通過對輸入圖像進(jìn)行下采樣獲取多層特征和全局特征，并在跳躍連接中將得到的全局特征分別與多尺度層級特征融合來提升對圖像整體語義信息的理解能力，且在上采樣過程中引入通道注意力機(jī)制來抑制噪聲和降低冗余特征的權(quán)重，增強(qiáng)有用特征的學(xué)習(xí)能力[13]。同時搭建判別網(wǎng)絡(luò)，動態(tài)化地評價生成圖像的質(zhì)量，進(jìn)一步提升顏色的豐富程度。本文的損失函數(shù)在傳統(tǒng)顏色損失的基礎(chǔ)上引入帶梯度懲罰的Wasserstein生成對抗網(wǎng)絡(luò)[13-14](Wasserstein Generative Adversarial Net-work with Gradient Penalty, WGAN-GP) 的優(yōu)化思想，用Wasserstein距離[15-16]度量真假樣本，以解決傳統(tǒng)GAN在訓(xùn)練過程中出現(xiàn)的梯度消失和模式崩潰等問題。實驗證明，相比于目前主流算法，本文算法的彩色化效果有一定提升。

2 全局語義優(yōu)化的對抗性彩色化算法

由于傳統(tǒng)的RGB模型并不能直觀地反映亮度信息，因此先把圖像轉(zhuǎn)換成Lab模型。生成網(wǎng)絡(luò)的輸入為亮度L通道。生成網(wǎng)絡(luò)主要包括3部分：下采樣、特征融合和上采樣。首先下采樣提取多尺度層級特征和全局特征，然后在跳躍連接中將得到的全局特征與每個尺度的層級特征融合，接著在上采樣過程中重構(gòu)圖像，最終預(yù)測輸出三通道Lab的彩色圖。之后將生成的彩色圖和真實的彩色圖輸入判別網(wǎng)絡(luò)中進(jìn)行識別。生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)在動態(tài)博弈中不斷增強(qiáng)性能，最終達(dá)到生成高質(zhì)量圖像的目的。

2.1 生成網(wǎng)絡(luò)

本文的生成網(wǎng)絡(luò)在U-Net[18]網(wǎng)絡(luò)的基礎(chǔ)上進(jìn)行改進(jìn)，加深了網(wǎng)絡(luò)深度并引入自適應(yīng)特征融合模塊和注意力機(jī)制。具體結(jié)構(gòu)如圖1所示。

其中，為了減少最大池化帶來的信息丟失，本文采用卷積核為4，步幅為2，填充為1的卷積層逐步下采樣，依次獲得不同尺度的層級特征和全局特征。本文在跳躍連接添加特征融合模塊分別將全局特征和多尺度層級特征進(jìn)行自適應(yīng)融合。由于層級特征提取的是感受野相對較小的局部信息，而全局特征具有從整個圖像的感受野中提取的高維信息(如場景布局和類型等),因此全局特征可作為一種先驗信息來增強(qiáng)各個尺度的層級特征[2,17]，而且這兩種特征的融合形成了對圖像信息的高效表達(dá)，有利于生成顏色自然且細(xì)節(jié)豐富的圖像。

與此同時，在上采樣中將得到的全局特征逐漸恢復(fù)高分辨率來構(gòu)建圖像。由于轉(zhuǎn)置卷積易產(chǎn)生棋盤格噪聲，本文采用雙線性插值和4×4的卷積層組合的方式代替轉(zhuǎn)置卷積來擴(kuò)大圖像尺寸。隨后，按照U-Net的思想，在每個尺度下將已增強(qiáng)的低維層級特征通過跳躍連接與上采樣的高維特征拼接融合，共享低維特征的空間信息和細(xì)節(jié)信息[15,17]。為了提升算法特征學(xué)習(xí)的性能，添加了通道注意力機(jī)制[18]對融合之后的特征進(jìn)行通道加權(quán)，抑制噪聲同時更關(guān)注與任務(wù)相關(guān)的特征通道。

2.1.1 自適應(yīng)特征融合模塊

由于提取的層級特征感受野較小，主要包含局部特征信息。一般來說，全局特征反應(yīng)圖像的整體結(jié)構(gòu)，例如場景布局和類型等[17]。局部特征更加注重圖像的細(xì)節(jié)信息，反應(yīng)圖像區(qū)域內(nèi)更詳細(xì)的變化。兩者融合可以有效獲取豐富的特征信息，并且能增強(qiáng)算法全局語義信息的理解能力。因此，本文在不同尺度上通過特征融合模塊動態(tài)的將全局特征和包含局部信息的層級特征進(jìn)行融合，如圖2所示。

圖2 特征融合模塊結(jié)構(gòu)Fig.2 Structure of feature fusion block

假設(shè)層級特征圖fl的尺寸為H×W×Cl,全局特征圖fg的尺寸為1×1×Cg。首先將全局特征fg經(jīng)過1×1的卷積層進(jìn)行調(diào)整，該卷積層可自適應(yīng)地從全局特征中提取最有用的信息來增強(qiáng)通道數(shù)為Cl的層級特征。然后把卷積之后的全局特征復(fù)制H×W次，使得到的全局特征尺度與待融合的層級特征尺度一致。最后將全局特征與層級特征進(jìn)行拼接融合，輸出的特征尺寸為H×W×Cl。融合公式如下：

(1)

其中W是一個Cl×2Cl的權(quán)重矩陣，而b是一個維度為Cl的向量，W和b都是網(wǎng)絡(luò)的可學(xué)習(xí)參數(shù)。

2.1.2 注意力模塊

U-Net結(jié)構(gòu)的優(yōu)勢就是將下采樣的多尺度特征通過跳躍連接在上采樣過程中進(jìn)行整合，使得語義信息豐富的高維特征和包含細(xì)節(jié)信息的低維特征互補(bǔ)，增強(qiáng)算法的性能。但是融合之后的特征層也包含了噪聲響應(yīng)和冗余特征信息，會對圖像彩色化造成干擾。因此，為了能高效地從特征模塊中獲取有用特征信息，引入了通道注意力機(jī)制使網(wǎng)絡(luò)自動學(xué)習(xí)各個特征通道的相互依賴關(guān)系，抑制噪聲并增強(qiáng)有用特征通道的權(quán)重。注意力機(jī)制模塊結(jié)構(gòu)如圖3所示。

圖3 注意力模塊結(jié)構(gòu)Fig.3 Structure of attention block

輸入和輸出的特征圖尺寸均為H×W×C，首先對輸入的特征圖進(jìn)行全局平均池化，得到一個1×1×C的特征圖。從某種程度來說，該特征圖具有全局感受野，可看作是對各個通道的描述。全局平均池化公式如下：

(2)

其中，uc(i,j)表示輸入特征圖的第c個通道內(nèi)位置為(i,j)的像素值，Z為全局平均池化后的特征圖。隨后將特征圖Z經(jīng)過兩個級聯(lián)的卷積層和激活層來學(xué)習(xí)各個特征通道的相關(guān)性。第一個卷積層對特征通道生成尺度為1×1×C/16的特征圖，第二個卷積層再把特征圖擴(kuò)展回1×1×C，經(jīng)過sigmoid函數(shù)激活輸出得到每個特征通道的重要性。最后得到的特征權(quán)重通過乘法加權(quán)在輸入的特征上，從而達(dá)到抑制噪聲和增強(qiáng)與任務(wù)相關(guān)的特征通道權(quán)重的目的[18]，在一定程度上提升了算法的性能。

2.2 判別網(wǎng)絡(luò)

判別網(wǎng)絡(luò)的目標(biāo)是盡可能地區(qū)分生成圖像和真實圖像，本文判別網(wǎng)絡(luò)由5層全卷積層構(gòu)成，詳細(xì)結(jié)構(gòu)如表1所示。

表1 判別網(wǎng)絡(luò)結(jié)構(gòu)Tab.1 Structure of discriminator

判別網(wǎng)絡(luò)前4層采用的是步長為2的4×4卷積層，同時每次下采樣之后特征圖的通道數(shù)加倍，每個卷積層后采用Leaky Relu激活函數(shù)。判別網(wǎng)絡(luò)的最后一層將特征圖映射成單通道輸出。判別網(wǎng)絡(luò)的輸入是生成網(wǎng)絡(luò)生成的彩色圖和與之對應(yīng)的真實彩色圖，經(jīng)過判別網(wǎng)絡(luò)處理之后返回輸入圖像是真或假的概率值。判別網(wǎng)絡(luò)對生成圖像進(jìn)行評估判別，通過優(yōu)化損失函數(shù)，反向傳播誤差調(diào)整網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)，以進(jìn)一步改善生成網(wǎng)絡(luò)的彩色化效果。

2.3 目標(biāo)損失函數(shù)的設(shè)計

傳統(tǒng)GAN大多基于JS散度進(jìn)行優(yōu)化，而JS散度易發(fā)散從而導(dǎo)致產(chǎn)生梯度消失的現(xiàn)象，不利于生成網(wǎng)絡(luò)進(jìn)一步的學(xué)習(xí)。WGAN-GP網(wǎng)絡(luò)采用了Wasserstein距離[14]作為判別真假圖像的依據(jù)，且在損失函數(shù)中添加了梯度懲罰使得判別網(wǎng)絡(luò)滿足1-Lipschitz限制，以解決傳統(tǒng)GAN在訓(xùn)練過程中產(chǎn)生的梯度消失和模式崩潰等問題。

本文將WGAN-GP的優(yōu)化思想與顏色損失相結(jié)合來設(shè)計算法的損失函數(shù)。生成網(wǎng)絡(luò)的損失包括顏色損失和對抗損失兩部分，具體表達(dá)式如下：

Lg(G,D)=LC(G)+λ1Ladv(G,D)，

(3)

其中：LC表示顏色損失，Ladv表示對抗損失。由于Ladv∶LC=1 000∶1，通常情況下，當(dāng)對抗損失為主導(dǎo)時，會使得網(wǎng)絡(luò)權(quán)重被帶偏，因此需要設(shè)置λ1用于平衡兩類損失。考慮到算法的主要任務(wù)是學(xué)習(xí)顏色信息，實驗設(shè)置λ1為1e-4，使得顏色損失占據(jù)主導(dǎo)地位。

對抗損失的具體定義如式4：

(4)

Pg表示生成彩色圖的數(shù)據(jù)分布，顏色損失LC表達(dá)式如式(5)所示，它是計算真實彩色圖與生成彩色圖的L1距離得到的。相比于L2損失，L1損失能較少生成圖像細(xì)節(jié)模糊的現(xiàn)象。其中Pr表示真實彩色圖的數(shù)據(jù)分布。

(5)

其次，判別網(wǎng)絡(luò)的損失函數(shù)引入了Wasserstein距離[14]，公式表達(dá)如式(6)所示。

(6)

公式前兩項表示真實數(shù)據(jù)分布與生成數(shù)據(jù)分布之間的Wasserstein距離。權(quán)重λ取10。Lgp表示梯度懲罰項，公式定義為：

(7)

(8)

3 實驗結(jié)果與分析

3.1 實驗環(huán)境與設(shè)置

本實驗在Pytorch深度學(xué)習(xí)框架下實現(xiàn)，利用TITAN RTX加速訓(xùn)練。選用Place365場景數(shù)據(jù)集對網(wǎng)絡(luò)進(jìn)行端到端的訓(xùn)練，該數(shù)據(jù)集包含365個不同場景的180多萬張圖片。訓(xùn)練之前先將數(shù)據(jù)集里少量灰度圖和場景灰暗的圖片濾除以保證算法能更好地學(xué)習(xí)顏色信息，處理之后最終選取1 687 424張圖片作為訓(xùn)練集，10 000張圖像為測試集。

首先將輸入圖片顏色空間從RGB轉(zhuǎn)化成Lab，將L通道作為生成網(wǎng)絡(luò)的輸入。由于網(wǎng)絡(luò)存在尺度為1×1×C的全局特征，需要固定輸入尺寸的大小，實驗選用256×256的輸入圖像。算法采用Adam算法優(yōu)化損失函數(shù)，初始學(xué)習(xí)率lr=0.000 1，β1=0.5,β2= 0.999，權(quán)重衰減為0.005。每批次大小為32，共訓(xùn)練10個周期，訓(xùn)練期間每迭代1 000個批次進(jìn)行一次驗證輸出，觀察算法的彩色化效果。

3.2 評價指標(biāo)

為了評估算法的彩色化效果，本文分別從定性和定量兩個方面進(jìn)行分析。定性分析主要從視覺效果上進(jìn)行評價，定量分析采用峰值信噪比(Peak Signal to Noise Ratio,PSNR)、結(jié)構(gòu)相似性(Structural Similarity,SSIM)和信息熵(Information Entropy，IE)作為評價指標(biāo)。峰值信噪比是一種使用廣泛的客觀評價指標(biāo)，其數(shù)值越大表示失真越小。結(jié)構(gòu)相似性是衡量兩幅圖像相似度的指標(biāo)，而信息熵表示的是圖像包含信息的豐富程度，信息熵越大，圖像信息越豐富，圖像質(zhì)量越好。

3.3 不同算法的結(jié)果對比

為了證明本文算法的有效性，將本文算法與現(xiàn)有彩色化算法[2-4,11]進(jìn)行比較。實驗結(jié)果如圖4所示。

圖4 不同彩色化算法結(jié)果對比Fig.4 Result comparison of different colorization algorithms

首先針對顏色溢出的問題，例如第1行中，由于缺乏對圖像全局語義的理解，文獻(xiàn)[2,4]算法傾向于把跑道賦予天空的藍(lán)色，文獻(xiàn)[3,11]算法稍好一些，但也將原本紅色的跑道混合了少量藍(lán)色，而本文算法較好地將跑道的顏色恢復(fù)出來。在第2行，文獻(xiàn)[3]算法生成了更接近真實圖像飽和度高的紅色，而鮮艷紅色也違和地出現(xiàn)在輪胎上，文獻(xiàn)[2,4,11]算法得到的顏色飽和度較低且顏色不連續(xù)，本文算法在保持顏色飽和度較高的同時，也沒有出現(xiàn)顏色溢出的現(xiàn)象。在第3行，文獻(xiàn)[3]生成了紫色和黃色混合的花朵，呈現(xiàn)不自然的彩色化效果，文獻(xiàn)[2]花瓣的顏色飽和度較低且分布不均勻，文獻(xiàn)[4]的顏色鮮艷但是沒有還原花蕊的顏色信息，文獻(xiàn)[11]突出花蕊的細(xì)節(jié)信息，而有部分花瓣混合少量綠色。相較之下，本文算法生成的花朵顏色鮮艷且突出花蕊細(xì)節(jié)信息，在一定程度上能夠減少顏色溢出。

針對細(xì)節(jié)損失的問題，在第4行，本文算法還原了泳池顏色這個細(xì)節(jié)信息，而且周圍的草地樹木也呈現(xiàn)較好的彩色化效果。其他算法均沒有給泳池賦予恰當(dāng)?shù)念伾境刂車牟莸氐纫舱w呈現(xiàn)灰褐色。在第5行中，其他算法都忽略水果筐的顏色細(xì)節(jié)，且對水果的顏色恢復(fù)較差，而本文算法不僅還原了水果筐的顏色細(xì)節(jié)，而且圖像整體顏色也更接近真實圖像。

通過以上對比可知，本文算法在保持較飽和顏色信息的同時，一定程度上也能夠緩解顏色溢出和細(xì)節(jié)損失等問題。

同時，為了從客觀的角度證明本文算法的優(yōu)越性。采用3.2介紹的3種評價指標(biāo)，對多種彩色化算法結(jié)果進(jìn)行定量評估，對比結(jié)果如表2所示。表中計算的結(jié)果是對于所有測試集圖像的指標(biāo)平均值?？梢杂^察到，對于相同的測試圖片，本文算法具有更好的評價指標(biāo)，證明本文算法生成的彩色圖相比于其他幾種算法彩色化效果更佳。

表2 不同算法結(jié)果對比Tab.2 Result comparison of different algorithms

以上各種算法處理256×256尺寸大小的圖像平均所需時間如表3所示。

表3 不同算法處理時間Tab.3 Different algorithms processing time

3.4 消融實驗

本實驗采用不同的網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行訓(xùn)練，來驗證GAN結(jié)構(gòu)和各模塊對算法性能的影響。(1)原始U-Net+GAN；(2)U-Net+GF+GAN：GAN的生成網(wǎng)絡(luò)在U-Net基礎(chǔ)上添加全局特征優(yōu)化模塊；(3)本文算法：U-Net+GF+Attention+GAN，生成網(wǎng)絡(luò)繼續(xù)添加通道注意力模塊；(4)本文算法去除GAN：U-Net+GF+Attention，單獨(dú)訓(xùn)練本文算法的生成網(wǎng)絡(luò)G。前3種生成網(wǎng)絡(luò)復(fù)雜度依次升高，可分別驗證全局特征優(yōu)化和通道注意力的作用，最后只訓(xùn)練本文算法的生成網(wǎng)絡(luò)G，來驗證GAN結(jié)構(gòu)對彩色化效果的影響。

由表4可知，添加全局特征優(yōu)化模塊后，相比于原始的U-Net結(jié)構(gòu)，各項指標(biāo)均有所提升，說明全局特征與多尺度層級特征的融合有利于生成質(zhì)量更高的圖像。通道注意力模塊的添加進(jìn)一步增強(qiáng)算法的性能。而只訓(xùn)練本文算法的生成網(wǎng)絡(luò)，評價指標(biāo)均有所下降，證明GAN結(jié)構(gòu)對圖像彩色化有一定提升效果。具體效果如圖5所示。

表4 各模塊作用驗證Tab.4 Effect validation of each module

原始U-Net結(jié)構(gòu)的生成網(wǎng)絡(luò)容易出現(xiàn)顏色溢出的現(xiàn)象，如圖5(a)把房子的屋頂和部分墻面都賦予了天空的藍(lán)色，且忽略了房子旁邊的指示牌的顏色信息。添加全局特征優(yōu)化模塊也相當(dāng)于引入了全局語義優(yōu)化，如圖5(b)屋頂和墻面的藍(lán)色去除，圖像的邊界更加清晰，指示牌也還原了較淺的紅色。說明全局特征優(yōu)化模塊一定程度上增強(qiáng)了算法對圖像的整體信息的理解，有利于減少顏色溢出的現(xiàn)象。接著再添加完通道注意力模塊后(圖5(c)),指示牌和門等細(xì)節(jié)的顏色信息都有少許的加深。由此可知，全局特征優(yōu)化模塊與通道注意力模塊對算法性能都有不同程度的提升效果。而在本文算法的基礎(chǔ)上去除GAN結(jié)構(gòu)訓(xùn)練得到的效果圖(圖5(d))，雖然緩解了顏色溢出的問題，但是顏色的飽和度和圖像質(zhì)量都不如本文算法的效果圖(圖5(e))。這說明GAN網(wǎng)絡(luò)有利于生成彩色化效果更好的圖像。

圖5 不同網(wǎng)絡(luò)結(jié)構(gòu)的結(jié)果對比Fig.5 Result comparison of different network structures

4 結(jié) 論

本文提出的彩色化算法是基于一種對抗策略，將全局特征與多尺度層級特征融合來捕捉圖像的全局語義信息，并且引入通道注意力模塊，通過抑制噪聲和增強(qiáng)與任務(wù)相關(guān)的特征通道的權(quán)重，以提高算法的性能。同時本算法的損失函數(shù)還在WGAN-GP的優(yōu)化基礎(chǔ)上添加顏色損失，便于網(wǎng)絡(luò)訓(xùn)練。實驗結(jié)果表明，該算法在主觀視覺上和評價指標(biāo)上都取得了較好的效果。其中在Place365測試集上PSNR和SSIM指標(biāo)分別達(dá)到24.455 dB和0.943。而且通過消融實驗證明了全局特征與多尺度層級特征融合模塊、注意力模塊和GAN網(wǎng)絡(luò)結(jié)構(gòu)對算法性能的提升都起到了實質(zhì)性的作用。相比于以往算法，本文算法在全局語義信息理解、圖像細(xì)節(jié)保持和顏色飽和度方面有較好的優(yōu)勢。