多視野特征表示的灰度圖像彩色化方法

李洪安 鄭峭雪 馬 天 張 婧 李占利 康寶生

圖像彩色化是計算機視覺和數(shù)字圖像處理等領(lǐng)域的一個研究熱點.使用相關(guān)算法對灰度圖像進行彩色化，可增強圖像的視覺表達能力，提供更多的語義信息.因此，圖像彩色化方法在老舊黑白照片上色、圖像視頻渲染、醫(yī)學(xué)影像分析等方面具有良好的應(yīng)用前景[1-4].

對灰度圖像進行著色的本質(zhì)是預(yù)測圖像中的每個像素值.然而在沒有先驗條件的情況下，一個像素對應(yīng)的顏色值具有多樣性，對同個像素進行顏色預(yù)測的結(jié)果具有不確定性[5].根據(jù)在相鄰鄰域內(nèi)，具有相同亮度信息的像素應(yīng)具有相似顏色值的理論[6-7]，使用人為標(biāo)記的顏色點或顏色線條對灰度圖像進行標(biāo)記，通過顏色傳遞的方法對灰度圖像進行上色成為可能.較早的圖像著色方法也大多基于這種思想對灰度圖像進行著色，著色效果受顏色標(biāo)記值的影響較大.

傳統(tǒng)著色方法需要提供大量的顏色點對圖像中的每個物體進行標(biāo)記，因此學(xué)者們提出一些改進算法[8-9].曹麗琴等[10]使用圖像濾波對匹配像素點進行顏色遷移，克服彩色化結(jié)果容易產(chǎn)生過度平滑的問題.李洪安等[11]利用圖像分塊特征建立圖像彩色擴散優(yōu)化模型，在低采樣條件下，達到保持圖像結(jié)構(gòu)和自然渲染圖像色彩的效果.Li等[12]將圖像彩色化視為優(yōu)化問題，把圖像轉(zhuǎn)化為圖雙拉普拉斯矩陣進行線性優(yōu)化求解，提高傳統(tǒng)圖像彩色化方法的速度.這些改進方法減少用戶的參與量，僅需對相似物體進行顏色標(biāo)記，即可達到圖像彩色化效果.

雖然使用改進的顏色標(biāo)記算法可提高對圖像著色效率，但對用戶的藝術(shù)繪畫水平具有一定要求，因此學(xué)者們提出基于參考示例和風(fēng)格遷移的圖像著色算法，使用匹配算法在參考圖像和待著色圖像中尋找結(jié)構(gòu)相似的像素進行顏色遷移，使著色后的圖像在整體上與參考圖像顏色一致.但此算法也存在一些不足，在進行著色時需要用戶提供一幅結(jié)構(gòu)和內(nèi)容相似的圖像，增加用戶選擇參考圖像的難度和工作量.為了解決這類問題，學(xué)者們提出一些根據(jù)目標(biāo)圖像結(jié)構(gòu)信息提供參考顏色和參考圖像的優(yōu)化算法.Zhang等[13]提出顏色分解優(yōu)化方法，將原始圖像中的顏色分解為線性組合，再通過顏色板對圖像重新上色.Li等[14]從局部匹配尺度和全局優(yōu)化兩方面進行改進，提出串級紋理匹配的圖像彩色化方法.上述方法提高用戶的可操作性，使用自建數(shù)據(jù)庫圖像，可為用戶提供較可靠的選擇，克服需要用戶自己尋找參考圖像的困難.

目前神經(jīng)網(wǎng)絡(luò)已應(yīng)用于目標(biāo)識別、目標(biāo)檢測、圖像分割等方面[15-17].學(xué)者們開始使用人工神經(jīng)網(wǎng)絡(luò)的方法對灰度圖像進行著色，利用神經(jīng)網(wǎng)絡(luò)強大的學(xué)習(xí)和擬合能力，向網(wǎng)絡(luò)輸入灰度圖像或草圖信息，經(jīng)過一定階段的學(xué)習(xí)訓(xùn)練，網(wǎng)絡(luò)輸出一幅著色好的彩色圖像或顏色預(yù)測值.基于深度學(xué)習(xí)的圖像著色方法普遍使用卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network， CNN)、編碼解碼器網(wǎng)絡(luò)和生成對抗網(wǎng)絡(luò)(Generative Adversarial Networks， GAN)產(chǎn)生彩色圖像.Li等[18-19]提出基于GAN的灰度圖像彩色化方法，利用Gabor濾波和深層次網(wǎng)絡(luò)結(jié)構(gòu)提取圖像的特征信息，實現(xiàn)全自動的圖像彩色化.Sangkloy等[20]提出深度對抗圖像合成網(wǎng)絡(luò)，同時輸入物體輪廓和顏色信息，生成逼真的彩色圖像.Yoo等[21]設(shè)計記憶增強著色模型，在無需類別標(biāo)簽下也可進行無監(jiān)督訓(xùn)練，解決圖像彩色化受小樣本學(xué)習(xí)限制的問題.Johari等[22]將圖像彩色化分為兩階段，第1階段根據(jù)輸入圖像的上下文信息分類圖像，第2階段訓(xùn)練特有的著色網(wǎng)絡(luò)進行彩色化.上述研究針對圖像的局部塊信息、一致性結(jié)構(gòu)、上下文信息和可控性等方面進行改進，提出相關(guān)的優(yōu)化算法和網(wǎng)絡(luò)框架，提高使用神經(jīng)網(wǎng)絡(luò)進行自動圖像著色的質(zhì)量.

多尺度特征表示方法主要利用卷積操作融合不同深度和寬度的特征，實現(xiàn)在不同尺度上的視覺任務(wù).特征金字塔網(wǎng)絡(luò)(Feature Pyramid Networks， FPN)[23]和PSPNet(Pyramid Scene Parsing Network)[24]在不同大小的特征圖像上進行卷積，并在網(wǎng)絡(luò)末端對所有提取的信息進行融合并輸出結(jié)果.Chen等[25]針對不同尺度的特征圖像,采用復(fù)雜度不同的卷積操作提取特征信息，并通過特征融合分解的方式實現(xiàn)不同尺度信息之間交換.Meng等[26]設(shè)計動態(tài)調(diào)整策略，使用決策網(wǎng)絡(luò)對輸入的視頻幀的尺度進行自適應(yīng)改變，實現(xiàn)在不同尺度上的信息預(yù)測.

應(yīng)用感知特征進行圖像處理相關(guān)工作可提高模型的感知能力，利用經(jīng)過預(yù)訓(xùn)練的CNN提取圖像的特征信息，可在高級語義特征層面對圖像進行整體感知.圖像感知的方法可應(yīng)用于圖像超分辨率重建、圖像去噪、圖像分割等領(lǐng)域[27-30].

基于神經(jīng)網(wǎng)絡(luò)的灰度圖像著色方法需要進行學(xué)習(xí)訓(xùn)練，在測試階段對目標(biāo)圖像進行著色時，受訓(xùn)練數(shù)據(jù)集上主要顏色的影響，圖像的彩色化結(jié)果單一，與真實圖像的顏色不一致，著色圖像的顏色豐富性較低，對物體邊界容易產(chǎn)生偽影和顏色溢出現(xiàn)象.針對上述問題，本文設(shè)計多視野特征表示的灰度圖像彩色化方法(Multi-field Features Representation Based Colorization of Grayscale Images， MFRC)，從多視野特征表示和視覺感知方面改進灰度圖像彩色化方法，本文方法主要包括優(yōu)化、設(shè)計網(wǎng)絡(luò)結(jié)構(gòu)和目標(biāo)損失函數(shù).受FPN[23]的啟發(fā)，設(shè)計灰度圖像彩色化框架，使用多視野特征表示的端到端網(wǎng)絡(luò)進行彩色化，模擬人眼對圖像的認知過程.從全局到局部、從大尺度物體到小尺寸物體進行漸進式觀察，提高對多種尺度目標(biāo)物體的彩色化效果.在多個尺度上感知圖像，使用感知損失對比生成彩色圖像和真實彩色圖像，提高圖像的整體感知效果.在不同類別的6個數(shù)據(jù)集上的實驗表明，本文方法能有效提升彩色化圖像質(zhì)量，產(chǎn)生顏色更豐富、色調(diào)更一致的彩色圖像，并在客觀評價指標(biāo)和主觀感受上都較優(yōu).

1 多視野特征表示的灰度圖像彩色化方法

目前利用深度神經(jīng)網(wǎng)絡(luò)對灰度圖像進行彩色化，可產(chǎn)生良好的著色效果，但對不同尺度大小的目標(biāo)物體進行著色時仍存在誤著色和受訓(xùn)練數(shù)據(jù)主要類別顏色影響的問題，造成圖像彩色化質(zhì)量降低和顏色溢出的現(xiàn)象.并且在進行圖像著色時，忽略圖像的整體感知信息，使彩色化圖像在整體色調(diào)上不一致.GAN具有強大的圖像生成能力，在圖像風(fēng)格轉(zhuǎn)換、超分辨率、圖像著色等領(lǐng)域具有廣泛的應(yīng)用前景，并衍生出一系列的網(wǎng)絡(luò)模型[31-33].因此，本文在U-Net基礎(chǔ)上設(shè)計多視野特征表示的灰度圖像彩色化方法，利用感知損失對不同尺度特征進行感知，提高彩色化效果.

1.1 方法結(jié)構(gòu)

為了提取圖像中豐富的特征信息，本文設(shè)計多視野特征表示模塊(Multi-field Feature Represented Block， MFRB)，并將其作為U-Net的跳躍連接，融合不同層次的特征信息.因此，本文方法由多視野特征表示U-Net和PatchGAN(Patch-Based GAN)[34]組成.U-Net充當(dāng)彩色圖像生成器，PatchGAN充當(dāng)判別器.此外，利用特征提取網(wǎng)絡(luò)得到感知損失，優(yōu)化模型,產(chǎn)生顏色更和諧的彩色圖像.本文方法整體結(jié)構(gòu)如圖1所示.

輸入待著色圖像的亮度信息L，生成器G提取其特征并輸出預(yù)測色度信息a、b，融合亮度信息和色度信息，產(chǎn)生著色后的彩色圖像.判別器D對來自真實數(shù)據(jù)和生成器的生成彩色圖像進行判斷，計算生成圖像和真實圖像之間的概率分布相似性.通過生成器和判別器之間的相互博弈過程，逐漸提高生成器和判別器的性能，模型的損失函數(shù)定義為

L(G,D)=Ey[lnD(y)]+Ex[ln(1-D(G(x)))]，

其中,x表示Lab顏色空間下待著色圖像亮度信息，y表示Lab顏色空間下真實彩色圖像，E表示期望值.通過最小化生成器損失和最大化判別器損失，在生成器和判別器相互對抗學(xué)習(xí)中達到優(yōu)化整體模型的目的.

圖1 本文方法結(jié)構(gòu)圖

灰度圖像彩色化也可看作回歸預(yù)測問題,即使用優(yōu)化模型預(yù)測每個像素的顏色通道值，因此如何設(shè)計函數(shù)優(yōu)化目標(biāo)十分重要.在深度機器學(xué)習(xí)算法中，通常使用平方差損失函數(shù)和絕對值損失函數(shù)計算真實數(shù)據(jù)與生成數(shù)據(jù)之間的差異值.然而在進行圖像著色任務(wù)時，仍會產(chǎn)生顏色溢出和邊界模糊等問題.Isola等[34]設(shè)計PatchGAN，在分塊區(qū)域上判斷真實圖像和生成圖像，提高判別器網(wǎng)絡(luò)的在局部分塊特征上的感知效果，達到提高生成圖像質(zhì)量的效果，但忽略圖像的全局特征信息，導(dǎo)致圖像整體彩色化質(zhì)量不高.本文在此基礎(chǔ)上增加感知損失，從不同尺度特征上判斷真實圖像和生成圖像，對整個模型的優(yōu)化目標(biāo)為

其中,G表示生成器網(wǎng)絡(luò)，D表示判別器網(wǎng)絡(luò)，Ll1表示生成器的l1損失值，Lp表示感知損失值，λ表示l1損失，γ表示感知損失的系數(shù).

1.2 多視野特征表示U-Net

圖像多尺度特征表示在計算機視覺任務(wù)中較普遍，常見方式是設(shè)計不同的處理分支，在不同尺度上獲取圖像特征信息，然后通過不同的特征融合方式將所有分支提取的信息進行交叉?zhèn)鬟f.但這些方法的研究重點主要集中在如何設(shè)計特征融合方法和減小計算復(fù)雜度，對于多尺度特征的提取，通常使用下采樣的方法獲得.此方法會使輸入圖像分辨率以2的指數(shù)級降低,獲得的多尺度圖像僅僅是分辨率上的不同，不能表示多樣的特征信息.因此，本文從特征獲取角度出發(fā)，設(shè)計MFRB提取圖像的特征信息，并與改進的U-Net結(jié)合，得到多視野特征表示U-Net.MFRB的網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示.

圖2 MFRB結(jié)構(gòu)圖

假設(shè)Xi表示輸入灰度圖像，通過MFRB后的輸出為Xi+1，此過程可表示為

在經(jīng)過多次卷積后，特征圖像的大小逐漸減小，并且隨著卷積核的增大，參數(shù)量呈指數(shù)級增長.在不超過特征圖大小的情況下，提取圖像中的全局信息和局部信息，將多視野感受級別設(shè)置為4(即α=4).從不同感受野上進行特征提取，并使用卷積核大小為1的卷積操作融合不同尺度特征.使用一個大小為1的卷積保留原始特征信息，最后將得到的所有特征進行融合輸出.

U-Net在醫(yī)學(xué)圖像處理上性能較優(yōu)，在醫(yī)療圖像分割、圖像偽影去除等方面具有廣泛應(yīng)用[30，35]，因此本文使用U-Net作為彩色化網(wǎng)絡(luò).傳統(tǒng)U-Net直接融合下采樣層和上采樣層的特征信息，使網(wǎng)絡(luò)充分利用圖像的淺層特征和深層特征.但是下采樣提取的特征圖屬于低級語義信息，而上采樣層的特征圖是由深層卷積得到的高級語義信息，不能直接融合兩者[36].因此，本文將MFRB作為跳躍連接，代替?zhèn)鹘y(tǒng)端到端特征直接相加的方法，將低級特征通過MFRB后與高級特征結(jié)合，提高多尺度特征提取能力.

Inception模塊與MFRB較相似，但仍存在如下不同: 1)功能不同.Inception是為了在增加網(wǎng)絡(luò)深度和寬度時減少參數(shù)量，而MFRB主要用于增加圖像特征的感受野，提取不同尺度的特征.2)結(jié)構(gòu)不同.MFRB可自適應(yīng)不同特征通道數(shù)，對不同大小的尺度特征具有相同比重.整個模塊卷積后得到的特征圖像在數(shù)量上與輸入特征數(shù)量保持一致.而在Inception模塊前后輸出特征圖數(shù)量不同，并且使用池化操作，導(dǎo)致在圖像彩色化過程中丟失部分特征信息，不利于生成高質(zhì)量彩色圖像.3)位置不同.MFRB僅用于在對稱的U-Net網(wǎng)絡(luò)層之間，而Inception作為網(wǎng)絡(luò)的主體模塊，用于提取特征.

除了上述3點不同之處，因為MFRB主要是提取圖像中的多視野特征，并且在MFRB輸入前后的特征圖大小和數(shù)量保持不變，因此它與Inception結(jié)構(gòu)類似，不僅可作用于U-Net中的跳躍連接，還可作為主體模塊或輔助模塊嵌入其它網(wǎng)絡(luò)結(jié)構(gòu)中.

MFRB使用深度可分離卷積代替?zhèn)鹘y(tǒng)卷積操作，在達到提取圖像多尺度特征信息的目的下，減小網(wǎng)絡(luò)的參數(shù)量.利用殘差塊和MFRB設(shè)計的多視野特征表示U-Net結(jié)構(gòu)如圖3所示.

圖3 多視野特征表示U-Net結(jié)構(gòu)圖

在下采樣階段，為了充分提取灰度圖像中的特征信息，使用6個殘差卷積模塊進行特征提取.每次卷積后，特征圖像的大小縮至原來的1/2，特征圖像的數(shù)量變?yōu)樵瓉淼膬杀?

在上采樣階段，為了保持與端到端輸出的特征圖像大小一致，使用卷積核大小為3、步長為2、填充像素為1的6個反卷積操作逐步重建彩色圖像，直至與輸入圖像相同大小.在每次反卷積后，融合MFRB下采樣特征與上采樣特征并輸出.具體網(wǎng)絡(luò)參數(shù)如表1所示.

表1 多視野特征表示U-Net參數(shù)

1.3 多尺度感知損失

深度學(xué)習(xí)模型在產(chǎn)生彩色圖像的前提下，更應(yīng)使生成圖像的顏色在整體色調(diào)上保持和諧.為了使圖像達到更優(yōu)的著色效果，使圖像的整體色調(diào)一致，本文使用感知損失函數(shù)，在不同尺度上的語義信息上判斷彩色化圖像.本文的感知損失函數(shù)是一個在ImageNet數(shù)據(jù)集上經(jīng)過預(yù)訓(xùn)練的VGG-19網(wǎng)絡(luò)，經(jīng)過依次的卷積操作后，得到通道數(shù)量為64、128、256、512、512的特征圖像，特征圖像大小依次為256、128、64、32、16.向VGG-19網(wǎng)絡(luò)輸入彩色圖像，卷積后得到5個不同尺度的感知特征.多尺度感知網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示，圖中Convx-y表示卷積核大小為x，輸出特征圖數(shù)量為y.

根據(jù)Gatys等[37-38]提出的風(fēng)格重建損失定義,特征圖像的格萊姆矩陣定義為

其中,x表示輸入圖像，C表示圖像的通道數(shù)，H表示圖像高度，W表示圖像寬度，φ表示VGG-19網(wǎng)絡(luò)，φj表示第j層網(wǎng)絡(luò).生成圖像與真實圖像之間的感知損失定義為它們的格拉姆矩陣差異值的Frobenius范數(shù)平方，并且對于不同層次的損失設(shè)置權(quán)重都為1，即5種特征損失具有相同的貢獻程度.因此，將5個不同層次的特征損失相加即可得到整體的感知損失：

加入感知損失后，本文方法得到進一步改進，因此在下文中將融合感知損失的MRFC稱作MFRC+.

圖4 多尺度感知網(wǎng)絡(luò)結(jié)構(gòu)圖

2 實驗及結(jié)果分析

2.1 實驗環(huán)境

為了驗證融入MFRB結(jié)構(gòu)的MFRC(即MFRC+)對復(fù)雜圖像和小目標(biāo)物體具有良好的彩色化效果，本文在Natural Color Dataset(NCData)、OxFlower17、 SpongeBob、Monet、Horse、Summer數(shù)據(jù)集上分別進行實驗.

NCData數(shù)據(jù)集是Anwar等[39]為了解決圖像彩色化評價缺乏統(tǒng)一實驗數(shù)據(jù)問題而建立的彩色圖像數(shù)據(jù)集,包括20個類別的721幅彩色RGB圖像.OxFlower17、SpongeBob、SquarePants數(shù)據(jù)集上包含花卉圖像和卡通動漫圖像.Monet、Horse、Summer數(shù)據(jù)集均是從網(wǎng)絡(luò)和ImageNet中選取的公開數(shù)據(jù)集，涵蓋動物和風(fēng)景的自然圖像和莫奈藝術(shù)圖像[28].將所有數(shù)據(jù)集按照8∶2的比例隨機劃分為訓(xùn)練數(shù)據(jù)集和測試數(shù)據(jù)集.

所有實驗均在同臺計算機上完成，使用64位Windows 10操作系統(tǒng)，處理器為Intel(R) Core(TM) i9-10900X CPU @ 3.70 GHz，顯卡為NVIDIAGeForce RTX 2080 Ti，科學(xué)計算庫為PyTorch1.7.0，CUDA10.2，Python3.7.3.

2.2 實驗流程及評價指標(biāo)

在實驗中，對所有的數(shù)據(jù)集進行裁剪，使所有圖像的大小均為256×256.由于所有圖像均是在RGB顏色空間下的彩色圖像，而本文方法接收Lab顏色空間下的L亮度通道信息，輸出a、b色度通道信息.因此，需將所有的圖像進行顏色空間轉(zhuǎn)換，即從RGB顏色空間轉(zhuǎn)換為Lab顏色空間.

實驗分為訓(xùn)練和測試兩部分，在訓(xùn)練期間，將經(jīng)過預(yù)處理的L亮度信息輸入生成器網(wǎng)絡(luò)，再將生成的a、b色度信息與輸入亮度信息L進行融合，得到彩色化圖像.將生成的彩色圖像和真實圖像輸入感知網(wǎng)絡(luò)和判別器網(wǎng)絡(luò)，計算得到兩者之間的差異值.實驗設(shè)置迭代次數(shù)為100，學(xué)習(xí)率為0.003，λ=100，γ=50.使用批量歸一化對數(shù)據(jù)進行正則化，經(jīng)過100次對抗訓(xùn)練后得到最終的彩色化模型.本文采用經(jīng)典算法和全自動彩色化算法[21,32，33]進行對照實驗，經(jīng)過100次訓(xùn)練后得到最終的模型.

為了客觀反映各彩色化模型在不同數(shù)據(jù)集上的性能，使用峰值信噪比(Peak Signal to Noise Ratio， PSNR)、結(jié)構(gòu)相似性(Structural Similarity， SSIM)和感知相似度(Learned Perceptual Image Patch Simi-larity， LPIPS)[40]對彩色化結(jié)果進行定量分析.PSNR是常見的評價圖像壓縮重建質(zhì)量的測量方法.SSIM可從圖像亮度、對比度和結(jié)構(gòu)組成上評價圖像質(zhì)量好壞.LPIPS可從主觀感受上評價圖像質(zhì)量，數(shù)值越小，表示兩幅圖像越相似.

2.3 實驗結(jié)果對比

2.3.1 主觀評價分析

為了驗證本文方法在不同尺度上都能得到較好的彩色化結(jié)果，在6個數(shù)據(jù)集上選擇不同復(fù)雜程度的圖像進行實驗.

本文選取如下對比方法：文獻[19]方法、MemoPainter[21]、DCGAN(Deep Convolutional GAN)[32]、ChromaGAN[33]、pix2pix[34].

各方法在6幅圖像上的彩色化結(jié)果如圖5所示.由圖可看出，當(dāng)圖像復(fù)雜度較低時，各方法都能進行良好的彩色化.但是當(dāng)圖像中的物體增加、顏色種類豐富時，DCGAN顯然不再適用，彩色化結(jié)果趨于黑白，尤其在Summer、Horse數(shù)據(jù)集上.其它算法的彩色結(jié)果與真實圖像都存在不同差異，在前5幅圖像上都能得到較好的彩色化結(jié)果.值得注意的是，因為MFRC+可捕捉圖像中不同尺度物體的細節(jié)信息，得到的彩色化圖像顏色更豐富，更接近于真實圖像.由于加入感知損失，可從高級語義信息上對圖像進行感知，提高模型彩色化效果的一致性.因此得到的彩色化效果也更真實自然，整體顏色更和諧，未出現(xiàn)誤著色和顏色溢出的情況.此外，在第6幅圖像上，MFRC+對圖中的小人和湖面的彩色化效果更優(yōu)，進一步證實MFRC+在復(fù)雜圖像和小目標(biāo)物體上的優(yōu)越性.

(a)真實圖像

(b)ChromaGAN

(c)DCGAN

(d)pix2pix

(e)MemoPainter

(f)文獻[19]方法

(g)MFRC+

2.3.2 定量指標(biāo)分析

為了更客觀公正地對比各方法的彩色化結(jié)果，在6個數(shù)據(jù)集上進行實驗，并使用多種圖像質(zhì)量評價指標(biāo)評價各方法生成的彩色化圖像.各方法的PSNR值對比如表2所示，表中黑體數(shù)字表示最優(yōu)值.由表可看出，MFRC+得到的圖像質(zhì)量最優(yōu).

表2 各方法在6個數(shù)據(jù)集上的PSNR值對比

SSIM指標(biāo)從圖像結(jié)構(gòu)上評價生成彩色圖像和真實彩色圖像，各方法在6個數(shù)據(jù)集上的SSIM值如表3所示，表中黑體數(shù)字表示最優(yōu)值.由表可看出，MFRC+在各數(shù)據(jù)集上都取得最優(yōu)值，充分說明使用感知損失可提高彩色化模型的整體感知能力，使生成彩色圖像和真實彩色圖像在結(jié)構(gòu)上保持一致.

表3 各方法在6個數(shù)據(jù)集上的SSIM值對比

各方法在6個數(shù)據(jù)集上的LPIPS值如表4所示，表中黑體數(shù)字表示最優(yōu)值.由表可看出，MFRC+在所有數(shù)據(jù)集上得到最低值.因為LPIPS指標(biāo)是利用在ImageNet數(shù)據(jù)集上訓(xùn)練后得到的固定網(wǎng)絡(luò)對生成彩色圖像和真實彩色圖像進行相似性判斷，結(jié)果表示圖像在高級語義信息上的相似度.因為MFRC+可處理不同尺度的圖像特征，產(chǎn)生的彩色化圖像顏色種類更豐富、細節(jié)更清楚，因此感知相似度較優(yōu).

表4 各方法在6個數(shù)據(jù)集上的LPIPS值對比

2.4 消融實驗結(jié)果

2.4.1 多視野特征表示模塊的性能

為了驗證本文的MFRB模塊可在不同視野上提取圖像多尺度特征信息，達到良好的彩色化效果，在不添加感知損失的情況下進行實驗，各方法的圖像彩色化結(jié)果如圖6所示.

(a)真實圖像 (b)DCGAN (c)pix2pix (d)MFRC

從圖6可看出，各方法對相同的灰度圖像均可達到彩色化效果的目的，但DCGAN對小尺度物體和圖像細節(jié)進行彩色化時，存在誤著色和邊界模糊等問題.(c)是使用pix2pix得到的彩色化結(jié)果，圖中花朵的紫色花瓣被正確地彩色化，但花瓣邊界產(chǎn)生顏色邊界溢出現(xiàn)象，將背景部分的綠色著色為藍色，與真實圖像不一致.(d)為使用MFRC生成的彩色化圖像，由于采用MFRB在不同感受野上提取特征，使網(wǎng)絡(luò)可更好地對圖像中不同尺度的物體進行彩色化，對圖中的花瓣顏色進行正確預(yù)測，并且在花瓣邊界未產(chǎn)生顏色溢出現(xiàn)象，著色結(jié)果與真實圖像保持一致，表明MFRC可解決顏色溢出問題.

2.4.2 Inception與MFRB性能對比

Inception結(jié)構(gòu)與本文的MFRB較相似，為了表明MFRB和Inception不同，將MFRB替換為Incep-tion結(jié)構(gòu)，在相同的實驗條件下進行實驗，得到的彩色化圖像如圖7所示.由圖可看出，因為MFRB具有多視野特征提取的能力，得到的彩色化結(jié)果明顯優(yōu)于Inception.

(a)真實圖像 (b)Inception (c)MFRB

本文還在數(shù)值上對比Inception和MFRB，具體指標(biāo)值如表5所示,表中黑體數(shù)字表示最優(yōu)值.由表可看出，MFRB性能更優(yōu).

表5 Inception與MFRB的指標(biāo)值對比

2.4.3 有無感知損失對比

由于本文方法引入感知損失，為了驗證加入感知損失后可提升圖像整體彩色化結(jié)果，使用不帶感知損失的MFRC和加入感知損失的MFRC+進行對比，結(jié)果如圖8所示.由圖可看出，雖然不加入感知損失時也能對灰度圖像進行彩色化，但是彩色化結(jié)果與真實圖像存在一定差異.使用感知損失后，彩色化圖像的顏色鮮艷程度更高，在圖像整體上呈現(xiàn)一致性.例如，圖8中對綠色的西蘭花進行著色時，未添加感知損失時將第1個物體彩色化為黃色，不符合圖像的整體一致性.加入感知損失后，所有的物體都被正確彩色化為綠色.因此，使用感知損失可提高圖像色彩一致性，使得到的彩色化圖像質(zhì)量更高，與真實圖像更接近.

(a)真實圖像 (b)灰度圖像 (c)MFRC (d)MFRC+

2.4.4 感知特征可視化

本文使用VGG-19網(wǎng)絡(luò)作為感知網(wǎng)絡(luò)，并將其劃分為5個尺度的感知層級，對圖像進行特征提取.將真實圖像輸入感知網(wǎng)絡(luò)中，并將其輸出的5個層級特征圖像進行可視化.因為每次特征提取都將特征圖尺寸縮小為原來的1/2，所以對小于圖像原始尺寸的特征圖使用雙線性插值的方法進行上采樣，恢復(fù)其圖像分辨率，部分實驗結(jié)果如圖9所示.由圖可看出，隨著感知深度增加，提取的圖像特征信息也更抽象.

為了確定網(wǎng)絡(luò)感知損失的系數(shù)，對不同系數(shù)下網(wǎng)絡(luò)模型的圖像彩色化質(zhì)量進行對比，結(jié)果如圖10所示.由圖可看出，使用不同感知損失系數(shù)對網(wǎng)絡(luò)彩色化能力具有不同的影響.當(dāng)感知損失系數(shù)為50時，在3種指標(biāo)上均達到最優(yōu)值.這也說明加入感知損失可提高圖像彩色化效果和圖像整體一致性的有效性.

(a)真實圖像 (b)第1層特征 (c)第3層特征 (d)第5層特征

圖10 感知損失系數(shù)對方法性能的影響

3 結(jié) 束 語

本文從多視野特征表示和圖像感知兩方面分析圖像彩色化問題，提出多視野特征表示的灰度圖像彩色化方法.使用多視野特征表示塊(MFRB)的U-Net網(wǎng)絡(luò)，提取圖像不同感受野下的特征信息，提高方法對不同尺度目標(biāo)的著色效果.使用感知網(wǎng)絡(luò)在圖像的高級語義信息上對彩色化圖像進行相似度判斷，提高彩色化模型的感知能力，使彩色化后的圖像顏色在整體上保持一致.實驗表明，本文方法在自然圖像和卡通動漫圖像上具有良好的適應(yīng)性.今后可考慮加強圖像彩色化質(zhì)量，增強模型的遷移能力，提高在更廣泛生活應(yīng)用場景中的實用性和可控制性.