基于密集神經(jīng)網(wǎng)絡(luò)的灰度圖像著色算法

張娜 秦品樂 曾建潮 李啟

摘 要：針對(duì)在灰度圖像著色領(lǐng)域中，傳統(tǒng)算法信息提取率不高、著色效果不理想的問題，提出了基于密集神經(jīng)網(wǎng)絡(luò)的灰度圖像著色算法，以實(shí)現(xiàn)改善著色效果，讓人眼更好地觀察圖片信息的目的。利用密集神經(jīng)網(wǎng)絡(luò)的信息提取高效性，構(gòu)建并訓(xùn)練了一個(gè)端到端的深度學(xué)習(xí)模型，對(duì)圖像中的各類信息及特征進(jìn)行提取。訓(xùn)練網(wǎng)絡(luò)時(shí)與原圖像進(jìn)行對(duì)比，以逐漸減小網(wǎng)絡(luò)輸出結(jié)果的信息、分類等各類型的損失。訓(xùn)練完成后，只需向網(wǎng)絡(luò)輸入一張灰度圖片，即可生成一張顏色飽滿、鮮明逼真的彩色圖片。實(shí)驗(yàn)結(jié)果表明，引入密集網(wǎng)絡(luò)后，可有效改善著色過程中的漏色、細(xì)節(jié)信息損失、對(duì)比度低等問題，所提算法著色效果較基于VGG網(wǎng)絡(luò)及U-Net、雙流網(wǎng)絡(luò)結(jié)構(gòu)、殘差網(wǎng)絡(luò)（ResNet）等性能優(yōu)異的先進(jìn)著色算法而言取得了顯著的改進(jìn)。

關(guān)鍵詞：圖像著色;密集神經(jīng)網(wǎng)絡(luò);灰度圖像;特征利用;信息損失

中圖分類號(hào)：TP391.4

文獻(xiàn)標(biāo)志碼：A

Abstract： Aiming at the problem of low information extraction rate of traditional methods and the unideal coloring effect in the grayscale image colorization field， a grayscale image colorization algorithm based on dense neural network was proposed to improve the colorization effect and make the information of image be better observed by human eyes. With making full use of the high information extraction efficiency of dense neural network， an end-to-end deep learning model was built and trained to extract multiple types of information and features in the image. During the training， the loss of the network output result （such as information loss and classification loss） was gradually reduced by comparing with the original image. After the training， with only a grayscale image input into the trained network， a full and vibrant vivid color image was able to be obtained. The experimental results show that the introduction of dense network can effectively alleviate the problems such as color leakage， loss of detail information and low contrast， during the colorization process. The coloring effect has achieved significant improvement compared with the current advanced coloring methods based on Visual Geometry Group （VGG）-net， U-Net， dual stream network structure， Residual Network （ResNet）， etc.

Key words：

image coloring; dense neural network; grayscale image; feature utilization; information loss

0 引言

色彩信息是圖像所包含的一種重要信息，能夠結(jié)合圖中場(chǎng)景的語(yǔ)義及物體表面紋理信息，共同展現(xiàn)豐富的層次感。研究表明，人眼對(duì)彩色強(qiáng)度及其變換具有很高的敏感度，彩色圖像較灰度圖像而言，更便于人眼觀察信息;且從人的心理層面而言，彩色圖像能給與觀察者以更加愉悅、明快的感受，從而有助于理解圖像的內(nèi)容，從中獲取更加全面、豐富的信息，提高圖像使用價(jià)值。因此，將灰度圖像通過一定算法轉(zhuǎn)換為彩色圖像，獲得更好的觀察效果是非常有意義的?；叶葓D像著色（即偽彩色處理）技術(shù)，即是在上述需求下產(chǎn)生的，通過一種指定的規(guī)則，對(duì)灰度值賦以顏色[1]，實(shí)現(xiàn)還原、增強(qiáng)或改變圖像的色彩信息。

目前，主要存在著三類圖像著色的方法。

1）基于用戶引導(dǎo)下的顏色傳播類算法。在灰度圖像著色領(lǐng)域出現(xiàn)較早，由用戶進(jìn)行關(guān)鍵部位或區(qū)域的指導(dǎo)性著色，并按照設(shè)定的算法或轉(zhuǎn)換規(guī)范進(jìn)行顏色擴(kuò)展。其中，Levin等[2]提出了全局優(yōu)化著色算法，支持圖像先驗(yàn)定義，用戶在著色后，生成與著色筆跡匹配的彩色圖像;Lagodzinski等[3-4]提出了一種新穎的著色方法，利用形態(tài)距離變換和圖像結(jié)構(gòu)自動(dòng)傳播用戶在灰度圖像內(nèi)所寫的顏色。上述方法可取得不錯(cuò)的效果，但由于不同的顏色區(qū)域需要明確指示，通常需要密集的用戶交互，且對(duì)與色度深淺等屬性無(wú)法較好地進(jìn)行表征與實(shí)現(xiàn)，也容易出現(xiàn)由于標(biāo)注不當(dāng)、灰度值過于相近等原因產(chǎn)生的顏色滲漏問題。

2）基于指定函數(shù)或參數(shù)的顏色映射算法。通過設(shè)定的著色函數(shù)，將灰度值與彩色值之間建立某種映射關(guān)系，實(shí)現(xiàn)由灰色向彩色的變換。Shah等[5]在基于優(yōu)化的著色方法基礎(chǔ)上，使用三個(gè)相關(guān)系數(shù)來(lái)評(píng)估其在信息損失方面的性能;Li等[6]也使用了基于閾值應(yīng)用著色技術(shù)，該類方法對(duì)閾值選取依賴性較高，且得到的著色效果顏色數(shù)目有限，效果較為生硬。

3）基于數(shù)據(jù)驅(qū)動(dòng)的圖像著色方法。此類方法在早期主要有基于實(shí)例圖像參考法及類比法。Welsh等[7]提出可將灰度圖像的亮度及紋理信息與實(shí)例參考圖像進(jìn)行對(duì)比，實(shí)現(xiàn)灰度圖像的著色;Liu等[8]提出可直接從互聯(lián)網(wǎng)中搜索與目標(biāo)灰度圖相關(guān)的彩色參考實(shí)例圖像進(jìn)行著色;Liu等[9]及Morimoto等[10]通過顏色轉(zhuǎn)換和圖像分析，實(shí)現(xiàn)對(duì)目標(biāo)灰度圖像著色。此類方法在目標(biāo)灰度圖與參考圖像中內(nèi)容相似的較高時(shí)，效果非常不錯(cuò)，但查找參考圖像及匹配過程非常耗時(shí)，當(dāng)著色目標(biāo)或場(chǎng)景非常復(fù)雜或罕見時(shí)，著色效果就更難以得到保證。Irony等[11]則利用紋理特征匹配，首先對(duì)參考圖像和灰度圖像進(jìn)行圖像分割處理，參照參考圖像，對(duì)灰度圖像中具有相似紋理的部分賦以相同的色彩，雖然也可取得不錯(cuò)效果，但分割處理操作也增加了圖像處理負(fù)擔(dān)。

深度學(xué)習(xí)方法的發(fā)展及高性能圖形處理器（Graphics Processing Unit， GPU）的出現(xiàn)，為基于數(shù)據(jù)驅(qū)動(dòng)的圖像著色方法開辟了新的方向。該類方法利用神經(jīng)網(wǎng)絡(luò)，搭建不同的網(wǎng)絡(luò)架構(gòu)，通過卷積操作對(duì)圖像的內(nèi)容和特征進(jìn)行提取及分析，尋找灰度圖像到彩色圖像之間的映射關(guān)系，從而訓(xùn)練出相應(yīng)的模型，實(shí)現(xiàn)著色。Cheng等[12]通過為大規(guī)模數(shù)據(jù)建模，采用基于聯(lián)合雙邊濾波的后處理方式，利用自適應(yīng)圖像聚類技術(shù)來(lái)整合圖像全局信息;Deshpande等[13]通過訓(xùn)練色度圖中的二次目標(biāo)函數(shù)，通過最小化目標(biāo)函數(shù)實(shí)現(xiàn)圖像著色。此類網(wǎng)絡(luò)結(jié)構(gòu)較為簡(jiǎn)單，其著色效果比較有限。Zhang等[14]提出通過VGG（Visual Geometry Group）卷積神經(jīng)網(wǎng)絡(luò)[15]來(lái)提取圖像特征，預(yù)測(cè)每個(gè)像素的顏色直方圖來(lái)為圖像著色，后又提出了新的思路，利用U-Net網(wǎng)絡(luò)[16]進(jìn)行信息提取，并結(jié)合用戶交互進(jìn)行著色[17];Lizuka等[18]構(gòu)建了雙流結(jié)構(gòu)網(wǎng)絡(luò)，同時(shí)提取圖像的全局分類信息及局部特征信息，將兩類信息進(jìn)行融合，實(shí)現(xiàn)對(duì)像素顏色的預(yù)測(cè)。此三類方法較之前的方法已取得了較大改善，但由于其網(wǎng)絡(luò)均在圖像處理過程中均進(jìn)行了下采樣及上采樣操作，存在一定程度的信息丟失。Qin等[19]采用殘差網(wǎng)絡(luò)[20]進(jìn)行細(xì)節(jié)特征的提取，結(jié)合分類信息指導(dǎo)，在一定程度上改善了信息損失，但仍存在細(xì)節(jié)著色不完善、漏色等問題。

通過對(duì)現(xiàn)有灰度圖像著色算法進(jìn)行廣泛研究分析，可以看出，現(xiàn)有的灰度圖像著色已經(jīng)可以實(shí)現(xiàn)給定一幅灰度圖像，通過一定算法得出一幅彩色圖像，但基本都存在如下共性問題：

1）細(xì)節(jié)信息還原度不高。由于對(duì)應(yīng)映射關(guān)系效率有限，特征提取的過程中存在著一定程度的信息損失，導(dǎo)致圖像中的部分內(nèi)容（尤其是較小的物體）不能被賦予適當(dāng)?shù)念伾?/p>

2）物體邊界清晰度不高。在一定程度上存在著“漏色”的問題，在物體邊界處，容易存在顏色滲漏。

3）用戶交互的依賴性較強(qiáng)。需要借由用戶做出大量輔助操作，往往容易引入較多的隨機(jī)性誤差，且不利于將用戶從繁雜的參數(shù)調(diào)整工作中解放出來(lái)。

綜合考慮上述因素，為了充分利用圖像細(xì)節(jié)信息、輪廓信息等低階語(yǔ)義信息，本文采用自適應(yīng)性強(qiáng)、用戶依賴低的密集神經(jīng)網(wǎng)絡(luò)，搭建著色網(wǎng)絡(luò)，并且構(gòu)造了著色網(wǎng)絡(luò)損失函數(shù)以及評(píng)價(jià)指標(biāo)。經(jīng)實(shí)驗(yàn)驗(yàn)證和理論分析，本文算法與傳統(tǒng)方法相比，可以明顯改善細(xì)節(jié)信息損失、邊界不清晰的問題，同時(shí)不需要用戶干預(yù)，得到的著色模型細(xì)節(jié)更加完善、豐富。

1 相關(guān)理論

1.1 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)在圖像識(shí)別、語(yǔ)音分析、自然語(yǔ)言處理等領(lǐng)域已經(jīng)成為研究熱點(diǎn)，該網(wǎng)絡(luò)具有特征共享性，可有效降低網(wǎng)絡(luò)的復(fù)雜性，在解決特征提取及特征映射問題時(shí)可發(fā)揮非常有效的作用。特別是在圖像分析與處理應(yīng)用中，可直接將圖像輸入網(wǎng)絡(luò)，避免了特征提取和分類過程中數(shù)據(jù)重建的復(fù)雜度。目前已經(jīng)有AlexNet（Alex Network）[21]、VGG、GoogleNet[22]、殘差網(wǎng)絡(luò)（Residual Network， ResNet）等不同結(jié)構(gòu)的基于卷積神經(jīng)網(wǎng)絡(luò)的優(yōu)秀網(wǎng)絡(luò)，在圖像分類任務(wù)中已經(jīng)將Top5錯(cuò)誤率降到5%以下。

1.2 跨層級(jí)連接思想

在深度學(xué)習(xí)網(wǎng)絡(luò)中，隨著網(wǎng)絡(luò)深度的加深，梯度消失問題會(huì)愈加明顯，因此產(chǎn)生了較大的信息損失。目前，很多研究學(xué)者都針對(duì)此問題提出了解決方案，如ResNet、Highway Networks[23]、Stochastic depth[24]、FractalNets[25]等，此類算法的網(wǎng)絡(luò)結(jié)構(gòu)各有差別，但其核心都在于——?jiǎng)?chuàng)建早期層級(jí)到后期層級(jí)之間的短連接路徑，在較小的代價(jià)下，利用較早層級(jí)提取到的信息，提高整體信息利用率。其中，ResNet由于其較好的性能和結(jié)構(gòu)的簡(jiǎn)單性，為較多研究者所采用。該網(wǎng)絡(luò)通過在殘差塊的輸出和輸入之間引入一個(gè)短連接，而不是簡(jiǎn)單地堆疊網(wǎng)絡(luò)，實(shí)際映射關(guān)系可表示為F（x）+x，如圖 1所示。

1.3 密集神經(jīng)網(wǎng)絡(luò)

與傳統(tǒng)的網(wǎng)絡(luò)結(jié)構(gòu)不同，密集神經(jīng)網(wǎng)絡(luò)DenseNet（Densely connected convolutional Network）[26]不是通過極其深或者寬的網(wǎng)絡(luò)來(lái)獲得更好的性能，而是通過特征重用來(lái)提升網(wǎng)絡(luò)的性能及潛力，產(chǎn)生易于訓(xùn)練和參數(shù)效率高的壓縮模型。殘差神經(jīng)網(wǎng)絡(luò)（ResNet）雖然也利用了跳層連接的思想，但其僅利用了上一層輸入作為信息補(bǔ)充，并未充分利用早期層級(jí)特征。而密集網(wǎng)絡(luò)通過連接不同層級(jí)的特征圖，將傳統(tǒng)模型中未曾利用或充分利用的前期層級(jí)的特征均引入新的層級(jí)中，充分利用了低層級(jí)卷積層對(duì)位置信息、形狀信息的敏感性，增加后續(xù)層輸入的變化，將更加有效地提高效率，這也是DenseNet和ResNet之間的主要區(qū)別。DenseNet相較于ResNet及早期其他類型網(wǎng)絡(luò)，具備更高的信息利用率。密集網(wǎng)絡(luò)主體結(jié)構(gòu)如圖2所示。

2 本文算法

本文算法引入密集神經(jīng)網(wǎng)絡(luò)，利用其信息提取率和特征利用率高的特性，結(jié)合分類指導(dǎo)及損失優(yōu)化，使輸出彩色圖像的細(xì)節(jié)特征更為豐富、輪廓更為清晰，進(jìn)而達(dá)到更好的著色效果。

2.1 設(shè)計(jì)網(wǎng)絡(luò)結(jié)構(gòu)

2.1.1 總體網(wǎng)絡(luò)結(jié)構(gòu)

現(xiàn)有的基于深度學(xué)習(xí)的灰度圖像著色網(wǎng)絡(luò)主要是通過構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)，對(duì)圖像的細(xì)節(jié)紋理特征進(jìn)行提取，著色效果尚可，但因沒有適當(dāng)?shù)姆绞絹?lái)學(xué)習(xí)正確的圖像全局上下文信息（如場(chǎng)景是屬于室內(nèi)還是室外等），著色網(wǎng)絡(luò)可能出現(xiàn)明顯的錯(cuò)誤。Lizuka等[18]將圖片的類別信息也融入網(wǎng)絡(luò)，用圖片的類別信息來(lái)協(xié)同訓(xùn)練模型，對(duì)整個(gè)著色網(wǎng)絡(luò)起到了分類指導(dǎo)作用。Qin等[19]在此原理基礎(chǔ)上進(jìn)行網(wǎng)絡(luò)設(shè)計(jì)，也獲得了不錯(cuò)的效果，也證實(shí)了雙流結(jié)構(gòu)的有效性。

本文汲取Lizuka等[18]、Qin等[19]算法的優(yōu)點(diǎn)，總體采用雙流架構(gòu)，主要由分類子網(wǎng)絡(luò)和特征提取子網(wǎng)絡(luò)構(gòu)成，通過整合特征信息和分類信息，實(shí)現(xiàn)由灰度圖像到彩色圖像的轉(zhuǎn)換。分類子網(wǎng)絡(luò)采用VGG網(wǎng)絡(luò)獲取圖像的分類信息;在設(shè)計(jì)特征提取子網(wǎng)絡(luò)時(shí)，為了解決傳統(tǒng)深度學(xué)習(xí)算法容易出現(xiàn)的梯度消失及底層特征利用率不足的問題，采用了密集神經(jīng)網(wǎng)絡(luò)。網(wǎng)絡(luò)將紋理細(xì)節(jié)信息及分類信息融合后進(jìn)行特征再提取，根據(jù)得到的綜合特征進(jìn)行色彩預(yù)計(jì)，并與彩色圖像進(jìn)行對(duì)比，計(jì)算色彩、信息量等損失，經(jīng)過多次優(yōu)化訓(xùn)練后得到最終著色模型。網(wǎng)絡(luò)結(jié)構(gòu)如圖 3所示。

2.1.2 特征提取部分

輸入圖像的L通道（此部分即為灰度圖，大小為H ×W×1）進(jìn)入特征提取部分，經(jīng)過一層卷積后，將依次進(jìn)入4個(gè)密集塊。每一個(gè)密集塊中的不同卷積層與其后續(xù)的卷積層進(jìn)行密集連接（塊內(nèi)每層均為k個(gè)feature map，本文設(shè)置k=12）。鑒于密集網(wǎng)絡(luò)的稠密性，每一個(gè)3×3卷積前設(shè)置了一個(gè)1×1卷積（結(jié)構(gòu)如表1中的Dense-block部分），此操作可減少輸入的feature map數(shù)量，可實(shí)現(xiàn)降維效果，減少計(jì)算量，同時(shí)還可融合各個(gè)通道的特征。

在每?jī)蓚€(gè)Dense-block之間，增加了1×1的卷積操作（即圖3中的Transition層），該操作可減少上一個(gè)Dense-block輸出的feature map數(shù)量（本文網(wǎng)絡(luò)設(shè)置為減少到一半），這將有效避免網(wǎng)絡(luò)過于龐大，減少進(jìn)入下一個(gè)Dense-block后的計(jì)算負(fù)擔(dān)。

圖像在經(jīng)過具有上述特征的網(wǎng)絡(luò)后，大量細(xì)節(jié)特征及紋理信息將被提取出，由于密集塊中的卷積層都與前面的每一層保持連接，低級(jí)的信息也將被有效利用，有效減少了信息損失，并改善了梯度彌散的問題。

2.1.3 分類指導(dǎo)部分

圖像進(jìn)入分類指導(dǎo)網(wǎng)絡(luò)后，網(wǎng)絡(luò)將逐步通過卷積操作提取圖像的分類信息，全連接層fc1將提取到的特征重構(gòu)為1×4096的特征向量，再經(jīng)由fc2、fc3整合后得到維度為1×64的特征向量，作為輔助信息進(jìn)入fusion層，幫助判別圖像內(nèi)容的類別。fc4和fc5層和輸入圖像的標(biāo)簽進(jìn)行對(duì)比，經(jīng)過損失優(yōu)化，訓(xùn)練分類網(wǎng)絡(luò)

2.1.4 融合及輸出部分

特征提取網(wǎng)絡(luò)及分類指導(dǎo)網(wǎng)絡(luò)均完成信息提取后，可將二者進(jìn)行融合，進(jìn)一步充分利用分類特征及細(xì)節(jié)紋理特征。由于特征提取部分和分類提取部分所得的特征圖維度不同（前者即Dense-block4，為由密集塊組成的特征提取網(wǎng)絡(luò)產(chǎn)生的特征圖，尺寸仍為輸入網(wǎng)絡(luò)時(shí)的H×W（H=W=256），通道數(shù)為383;而后者即fc3，為VGG分類子網(wǎng)絡(luò)經(jīng)卷積操作、全連接操作及重構(gòu)整合后形成的一維特征向量，尺寸為1×64），在融合時(shí)需要進(jìn)行統(tǒng)一維度，將兩部分信息將重構(gòu)為具有相同維度的feature map，即將fc3層擴(kuò)展重構(gòu)為與Dense-block4特征圖相同的大小H×W，通道數(shù)為64。二者尺寸統(tǒng)一后完成通道連接融合，形成尺寸為H×W，通道數(shù)為447的特征圖Fusion_out，經(jīng)卷積操作后成為fusion層（維度為H×W×128），隨后進(jìn)入Dense-block5進(jìn)行特征再提取，最后經(jīng)卷積操作后成為得到H×W×2的輸出output，此部分即為網(wǎng)絡(luò)所給出的色彩部分預(yù)測(cè)值（ab通道），與黑白通道（L通道）進(jìn)行融合，轉(zhuǎn)化為RGB顏色空間，就形成了一副彩色圖像。

2.2 構(gòu)造損失函數(shù)

網(wǎng)絡(luò)的損失將作為調(diào)整權(quán)重的重要參考內(nèi)容。為更好地調(diào)節(jié)網(wǎng)絡(luò)的特征提取能力及分類性能，本文綜合了特征提取子網(wǎng)絡(luò)的特征提取損失（L1）及分類指導(dǎo)子網(wǎng)絡(luò)的分類損失（L2），共同構(gòu)成總網(wǎng)絡(luò)的損失（Loss）。兩部分損失均獨(dú)立反饋給網(wǎng)絡(luò)，彼此不交互影響。

2.2.1 特征提取損失L1

2.2.2 分類損失L2

分類指導(dǎo)部分，輸入圖像的分類信息作為指導(dǎo)標(biāo)簽ylabel，指導(dǎo)網(wǎng)絡(luò)的預(yù)測(cè)結(jié)果為yout，采用交叉熵（Cross-Entropy）來(lái)衡量網(wǎng)絡(luò)預(yù)測(cè)的分類與真實(shí)分類的損失，即如式（7）所示：

L2=1n∑ni=1[-∑iylabeli log （youti）]（7）

在對(duì)youti求log函數(shù)值時(shí)，如果youti的值為0，會(huì)出現(xiàn)log（youti）值為無(wú)窮，本文在計(jì)算時(shí)，令小于1E-10的數(shù)都等于1E-10。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)數(shù)據(jù)集及環(huán)境

作為有監(jiān)督的著色網(wǎng)絡(luò)，本文提出的網(wǎng)絡(luò)需要大量有分類標(biāo)簽的彩色圖像作為訓(xùn)練數(shù)據(jù)集，故采用MIT Places Database[27]（含205個(gè)場(chǎng)景分類、250多萬(wàn)張圖片）、ImageNet[28]（含1000個(gè)場(chǎng)景分類、120多萬(wàn)張圖片）兩種數(shù)據(jù)集對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。采用HDF5對(duì)數(shù)據(jù)集進(jìn)行處理，生成一個(gè)“.h5”類型的data文件，不再需要依次讀取大量單幅圖片，方便運(yùn)行與維護(hù)。

本文提出的著色網(wǎng)絡(luò)需要進(jìn)行大量的矩陣計(jì)算，故為提高訓(xùn)練效率，采用GPU進(jìn)行訓(xùn)練，GPU型號(hào)為NVIDIA Tesla M40。在方法實(shí)現(xiàn)時(shí)，采用Python編程環(huán)境，基于TensorFlow[29]架構(gòu)進(jìn)行網(wǎng)絡(luò)搭建。

3.2 評(píng)價(jià)指標(biāo)

對(duì)灰度圖像進(jìn)行著色的目的，主要是希望從著色結(jié)果中獲得較灰度圖像而言更豐富的信息， 那么，著色結(jié)果是否清晰，包含的信息量是否充分，即可視為衡量著色算法優(yōu)劣的重要指標(biāo)。

傳統(tǒng)的圖像客觀評(píng)價(jià)指標(biāo)采用的是峰值信噪比（Peak Signal-to-Noise Ratio， PSNR），分值越高即認(rèn)為若質(zhì)量越好，如式（8）所示，其中MSE計(jì)算方式如式（4）所示。

PSNR=10×lg（2n-1）MSE（8）

此標(biāo)準(zhǔn)主要針對(duì)的是新圖與原圖像素之間的像素差異性，分?jǐn)?shù)無(wú)法和人眼看到的視覺品質(zhì)完全一致，有可能PSNR較高者看起來(lái)反而比PSNR較低者差，不能較好地描述信息量豐富程度。為此本文引入了評(píng)價(jià)圖像所含信息充分程度的廣為采用的量化指標(biāo)——圖像熵（Image Entropy）。熵指的是某一特定體系的混亂的程度，對(duì)圖像而言，圖像熵越大，圖像包含的信息更豐富。通過計(jì)算整張圖片彩色通道的信息熵，判斷圖像包含的信息量。利用圖像熵，可從客觀角度評(píng)價(jià)著色結(jié)果與人眼主觀感受是否一致。其計(jì)算方式如式（9）所示：

InEn=-∑ci=0P（i）lb P（i） （9）

其中：InEn表示圖像熵值;P（i）表示值為i的顏色在整幅圖像中出現(xiàn)的概率。

本文構(gòu)造了基于信息熵的評(píng)價(jià)標(biāo)準(zhǔn)，通過計(jì)算著色圖像的信息熵，結(jié)合主觀觀察結(jié)果，從而判斷信息豐富程度， 同時(shí)，主觀觀察結(jié)果也將驗(yàn)證指標(biāo)的有效性。

由于本文提出的網(wǎng)絡(luò)主要是基于Lab空間對(duì)圖像ab通道的色值進(jìn)行預(yù)估，不對(duì)圖像的L通道（反映圖像的灰度信息）進(jìn)行重復(fù)的計(jì)算及處理，故為提高效率，本文在評(píng)價(jià)著色效果時(shí)，僅考慮彩色通道所包含的信息。

3.3 實(shí)驗(yàn)結(jié)果

3.3.1 有原圖參考下的著色效果對(duì)比

為了驗(yàn)證本文所提算法的有效性及優(yōu)異性，現(xiàn)選取了部分代表性的圖片，與現(xiàn)有表現(xiàn)優(yōu)異的算法（如Zhang等[14]提出的基于VGG的著色算法，Lizuka等[18]提出的雙流結(jié)構(gòu)算法，Qin等[19]提出的基于殘差網(wǎng)絡(luò)算法）進(jìn)行比較，從是否漏色、色彩對(duì)比度、細(xì)節(jié)信息損失程度等方面對(duì)上述算法著色效果進(jìn)行比較，具體如圖5所示。著色效果對(duì)比中，Zhang等[14]算法、Lizuka等[18]算法的著色效果均來(lái)自其對(duì)外公示網(wǎng)站的著色結(jié)果，Qin等[19]算法的著色效果采用其最終版著色模型。

是否漏色 對(duì)圖像中的物體著色時(shí)，需要準(zhǔn)確地識(shí)別物體的邊界，否則將會(huì)發(fā)生顏色漏色，如圖5中組（e）箭頭指出部分，Zhang等[14]算法、Lizuka等[18]算法將天空的色彩滲漏到地面上，使得著色效果不太理想，本文算法在此方面表現(xiàn)較好。

色彩對(duì)比度 在對(duì)灰度圖像著色時(shí)要注意彩色圖像中物體的顏色是各不相同的，圖5中組（a）～（d）中Zhang等[14]算法、Lizuka等[18]算法的著色結(jié)果傾向于整體賦予暖黃色色調(diào)，各個(gè)物體之間的顏色沒有較好地區(qū)分開來(lái)，特別是天花板的顏色也混入主色調(diào)。 Qin等[19]算法著色效果物體區(qū)分度有了一定改善，但不如本文算法著色結(jié)果色彩對(duì)比度更鮮明，本文算法所得圖像的色彩對(duì)比度就飽和度更高，各個(gè)物體的顏色彼此獨(dú)立，不受整體色調(diào)蔓延影響，如本文算法組（a）及組（c）中的地板更接近于真實(shí)的木地板色澤紋理;組（b）中的床上用品顏色更為鮮艷。

細(xì)節(jié)信息損失程度 在整體著色能達(dá)到一定效果時(shí)，細(xì)節(jié)信息可否良好還原即成為了重要衡量指標(biāo)。為對(duì)比細(xì)節(jié)效果，將圖5中組（b）和組（d）的細(xì)節(jié)進(jìn)行放大對(duì)比，詳見圖6。圖6（a）中（即圖5組（b）中虛線框圈出的床頭掛畫中的綠色植物），本文算法準(zhǔn)確地賦予了應(yīng)有的綠色，但其他三種并沒有合理地著色，與主色調(diào)融為一體;圖6（b）中本文算法相對(duì)于其他算法而言，較好地為盆栽植物及掛畫中的景物賦予了綠色。從對(duì)比效果可看出，本文算法在實(shí)現(xiàn)整體著色時(shí)，不會(huì)忽略細(xì)節(jié)部分，具備更好的細(xì)節(jié)處理能力，能較好地對(duì)細(xì)節(jié)部位予以著色。

此外，為客觀評(píng)價(jià)各個(gè)算法的性能優(yōu)劣，本文采用了3.2節(jié)中所述的圖像熵InEn作為評(píng)價(jià)指標(biāo)，計(jì)算方式如式（9）所示，同時(shí)列出了采用式（8）中PSNR值，即峰值信噪比計(jì)算的結(jié)果，對(duì)比結(jié)果詳見表4。表4中圖像熵指標(biāo)采用加粗的方式表示性能最好的算法，由圖像熵的定義可知，熵值更大的，表示信息量更豐富;峰值信噪比指標(biāo)也采用加粗的方式表示性能最好的算法，按照定義，峰值信噪比越高，圖像質(zhì)量越好。

從圖5性能對(duì)比可以看出，采用本文所用評(píng)價(jià)指標(biāo)圖像熵InEn，其評(píng)價(jià)結(jié)果與人眼所觀察的效果基本一致，這在客觀上說明了本文算法的優(yōu)異性，同時(shí)也印證了本文采用評(píng)價(jià)指標(biāo)的有效性，而采用PSNR方式進(jìn)行客觀評(píng)價(jià)，按此指標(biāo)最高的為圖像質(zhì)量最好的，但實(shí)際效果并非如此。

3.3.2 老照片及黑白圖像著色效果對(duì)比

為了驗(yàn)證本文算法的普適性，現(xiàn)選取了部分老照片及黑白圖像進(jìn)行著色效果比較，對(duì)比如圖7所示。

Zhang等[14]算法、Lizuka等[18]算法存在些許著色不均勻、漏色的問題，如圖7（a）的門柱和地面;圖7（b）、（c）中天空在湖水中的倒影應(yīng)為藍(lán)色色調(diào)，Zhang等[14]算法著色為綠色;圖7（c）中山體在水中的倒影，只有本文算法沒有被旁邊綠色植物的倒影影響變?yōu)榫G色;圖7（d）中，Zhang等[14]算法、Lizuka等[18]算法、Qin等[19]算法的文字牌匾及屋頂均存在一定程度的漏色、色調(diào)暗沉等問題，本文算法則表現(xiàn)良好。

從上述老照片及黑白照片著色效果來(lái)看，本文提出的算法較Zhang等[14]算法、Lizuka等[18]算法、Qin等[19]算法而言，較少出現(xiàn)漏色現(xiàn)象，細(xì)節(jié)更為豐富，對(duì)比度也更好。

3.3.3 信息損失對(duì)比

從圖5和圖7的著色效果對(duì)比中可以得知，Qin等[19]提出的基于殘差神經(jīng)網(wǎng)絡(luò)的著色算法較之前的表現(xiàn)優(yōu)秀的深度學(xué)習(xí)著色算法而言，在一定程度上減少了信息損失，著色效果也有所改善。將本文算法與其進(jìn)行對(duì)比，通過隨機(jī)選取5000張圖片，按照本文3.2節(jié)中的評(píng)價(jià)指標(biāo)，比較兩種著色方法的信息熵，即InEn值，Qin等[19]算法的算法均值為8.60，而本文算法均值為10.34，圖8為數(shù)據(jù)對(duì)比。上述的實(shí)驗(yàn)結(jié)果可以客觀地反映出，本文著色算法較Qin等[19]的算法取得了明顯改善，信息量更豐富，著色效果更好。

4 結(jié)語(yǔ)

本文提出了一種基于密集神經(jīng)網(wǎng)絡(luò)的灰度圖像著色算法，該算法通過密集模塊構(gòu)成的子網(wǎng)絡(luò)和VGG分類子網(wǎng)絡(luò)分別對(duì)圖像的細(xì)節(jié)特征紋理及分類信息進(jìn)行提取，二者融合后實(shí)現(xiàn)對(duì)彩色結(jié)果的預(yù)測(cè)與輸出。通過實(shí)驗(yàn)證明，本文算法較現(xiàn)有的優(yōu)秀灰度圖像著色算法而言，信息量可提高1%～20%，色澤和對(duì)比度等方面也取得了較大的改善，漏色程度也明顯減小，運(yùn)用于老照片及黑白照片等方面也可取得不錯(cuò)的效果。

本文將密集神經(jīng)網(wǎng)絡(luò)引入圖像著色任務(wù)中，尚未針對(duì)性地研究引入后續(xù)層級(jí)的低級(jí)層級(jí)特征中，哪些層級(jí)對(duì)后期層級(jí)及網(wǎng)絡(luò)輸出有較大的影響，是否有必要全部加入后期層級(jí)，無(wú)差別地將前期層級(jí)提取的特征融入到后期層級(jí)中，可能存在一定的“冗余連接”，造成了該網(wǎng)絡(luò)的稠密性，從而對(duì)于運(yùn)行設(shè)備性能要求較高，網(wǎng)絡(luò)訓(xùn)練時(shí)間也較長(zhǎng)。同時(shí)，由于采用的數(shù)據(jù)集并未涵蓋所有圖像類別，本文所提的算法對(duì)于未學(xué)習(xí)過的圖像著色效果還不太理想。

在下一階段的研究中，首先可考慮通過優(yōu)化密集網(wǎng)絡(luò)部分及整體網(wǎng)絡(luò)架構(gòu)，嘗試通過引入自適應(yīng)學(xué)習(xí)特征權(quán)重類的方式，或自適應(yīng)剪枝算法，判別早期特征的重要程度，降低網(wǎng)絡(luò)稠密性，提高整體效率;同時(shí)，可盡量多地嘗試更多種圖像類別，進(jìn)一步強(qiáng)化算法的普適性與實(shí)用性。

參考文獻(xiàn) （References）

[1] 岡薩雷斯，伍茲.數(shù)字圖像處理[M].3版.阮秋琦，譯.北京：電子工業(yè)出版社，2007：484-486.（GONZALEZ R C， WOODS R E. Digital Image Processing [M]. 3rd ed. RUAN Q Q， translated. Beijing： Publishing House of Electronics Industry， 2007： 484-486.）

[2] LEVIN A， LISCHINSKI D， WEISS Y. Colorization using optimization [J]. ACM Transactions on Graphics， 2004， 23（3）： 689-694.

[3] LAGODZINSKI P， SMOLKA B. Medical image colorization [J]. Journal of Medical Informatics & Technologies， 2007（11）： 47-57.

[4] LAGODZINSKI P， SMOLKA B. Colorization of medical images [J]. China Healthcare Innovation， 2009， 15（4）： 13-23.

[5] SHAH A A， MIKITA G， SHAH K M. Medical image colorization using optimization technique [J]. Acta Medica Okayama， 2013， 62（141）： 235-248.

[6] LI F， ZHU L， ZHANG L， et al. Pseudo-colorization of medical images based on two-stage transfer model [J]. Chinese Journal of Stereology and Image Analysis， 2013， 18（2）： 135-144.

[7] WELSH T， ASHIKHMIN M， MUELLER K. Transferring color to greyscale images [J]. ACM Transactions on Graphics， 2002， 21（3）： 277-280.

[8] LIU X， WAN L， QU Y， et al. Intrinsic colorization [J]. ACM Transactions on Graphics， 2008， 27（5）： Article No. 152.

[9] LIU Y， COHEN M， UYTTENDAELE M， et al. AutoStyle： automatic style transfer from image collections to users images [J]. Computer Graphics Forum， 2014， 33（4）： 21-31.

[10] MORIMOTO Y， TAGUCHI Y， NAEMURA T. Automatic colorization of grayscale images using multiple images on the Web [C]// Proceedings of ACM SIGGRAPH 2009. New York： ACM， 2009： Article No. 59.

[11] IRONY R， COHEN-OR D， LISCHINSKI D. Colorization by example [C]// Proceedings of the 16th Eurographics Conference on Rendering Techniques. Aire-la-Ville， Switzerland： Eurographics Association， 2005： 201-210.

[12] CHENG Z， YANG Q， SHENG B. Deep colorization [C]// Proceedings of the 2015 IEEE International Conference on Computer Vision. Washington， DC： IEEE Computer Society， 2015： 415-423.

[13] DESHPANDE A， ROCK J， FORSYTH D. Learning large-scale automatic image colorization [C]// Proceedings of the 2015 IEEE International Conference on Computer Vision. Washington， DC： IEEE Computer Society， 2015： 567-575.

[14] ZHANG R， ISOLA P， EFROS A A. Colorful image colorization [C]// ECCV2016： Proceedings of the 2016 European Conference on Computer Vision. Amsterdam： Springer International Publishing， 2016： 649-666.

[15] SIMONYAN K， ZISSERMAN A. Very deep convolutional networks for large-scale image recognition [J/OL]. arXiv Preprint， 2014， 2014： arXiv.1409.1556 （2014-09-04） [2018-08-10]. http：//arxiv.org/abs/1409.1556.

[16] RONNEBERGER O， FISCHER P， BROX T. U-Net： Convolutional networks for biomedical image segmentation [C]// MICCAI 2015： Proceedings of the 2015 Medical Image Computing and Computer-Assisted Intervention. Berlin： Springer International Publishing， 2015： 234-241.

[17] ZHANG R， ZHU J Y，? ISOLA P， et al. Real-time user-guided image colorization with learned deep priors [J]. ACM Transactions on Graphics， 2017， 36（4）： Article No. 119.

[18] LIZUKA S， SIMOSERRA E， ISHIKAWA H. Let there be color！： joint end-to-end learning of global and local image priors for automatic image colorization with simultaneous classification [J]. ACM Transactions on Graphics， 2016， 35（4）： Article No. 110.

[19] QIN P L， CHENG Z R， CUI Y H， et al. Research on image colorization algorithm based on residual neural network [C]// CCCV 2017： Proceedings of the 2017 CCF Chinese Conference on Computer Vision， CCIS 771. Berlin： Springer， 2017： 608-621.

[20] HE K M， ZHANG X Y， REN S Q， et al. Deep residual learning for image recognition [C]// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE， 2016： 770-778.

[21] KRIZHEVSKY A， SUTSKEVER I， HINTON G E. ImageNet classification with deep convolutional neural networks [C]// Proceedings of the 25th International Conference on Neural Information Processing Systems. North Miami Beach， FL： Curran Associates Inc.， 2012： 1097-1105.

[22] SZEGEDY C， LIU W， JIA Y， et al. Going deeper with convolutions [C]// CVPR 2015： Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE， 2015： 1-9.

[23] SRIVASTAVA R K， GREFF K， SCHMIDHUBER J. Highway networks [J/OL]. arXiv Preprint， 2015， 2015： arXiv.1505.00387 （2015-03-03） [2018-08-10]. https：//arxiv.org/abs/1505.00387.

[24] HUANG G， SUN Y， LIU Z， et al. Deep networks with stochastic depth [C]// ECCV 2016： Proceedings of the 2016 European Conference on Computer Vision. Berlin： Springer， 2016： 646-661.

[25] LARSSON G， MAIRE M， SHAKHNAROVICH G. FractalNet： ultra-deep neural networks without residuals [J/OL]. arXiv Preprint， 2016， 2016： arXiv.1605.07648 （2016-05-24） [2018-08-16]. https：//arxiv.org/abs/1605.07648.

[26] HUANG G， LIU Z， LAURENS V D M， et al. Densely connected convolutional networks [C]// CVPR 2017： Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE， 2017： 2261-2269.

[27] ZHOU B， LAPEDRIZA A， XIAO J， et al. Learning deep features for scene recognition using places database [C]// NIPS 2014： Proceedings of the 2014 27th International Conference on Neural Information Processing Systems. Cambridge， CA： MIT Press， 2014： 487-495.

[28] DENG J， DONG W， SOCHER R， et al. ImageNet： a large-scale hierarchical image database [C]// CVPR 2009： Proceedings of the 2009 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE， 2009： 248-255.

[29] ABADI M， AGARWAL A， BARHAM P， et al. TensorFlow： large-scale machine learning on heterogeneous distributed systems [J/OL]. arXiv Preprint， 2016， 2016： arXiv.1603.04467 [2018-08-14]. https：//arxiv.org/abs/1603.04467.