深度學(xué)習(xí)彩色化算法對(duì)曝光偏差圖像著色研究

馬騁 孫國(guó)強(qiáng)

0 引言

灰度圖像自動(dòng)彩色化研究始于1970年，Markle[1]提出利用計(jì)算機(jī)輔助技術(shù)對(duì)阿波羅登月計(jì)劃獲取的月球影像實(shí)現(xiàn)彩色化。其方法是讓每個(gè)灰度級(jí)匹配到彩色空間上的一點(diǎn)，將單色圖像映射為一幅彩色圖像，目的是為了便于觀察，突出細(xì)節(jié)。20世紀(jì)80年代，利用彩色化技術(shù)對(duì)傳統(tǒng)黑白照片和影片進(jìn)行著色在圖像處理及電影電視產(chǎn)業(yè)領(lǐng)域出現(xiàn)。彩色化技術(shù)最初利用人工對(duì)圖像和影片中的各個(gè)像素進(jìn)行顏色定標(biāo)和著色，這種方法效率低下。隨著數(shù)字技術(shù)和計(jì)算機(jī)技術(shù)的迅速發(fā)展，圖像自動(dòng)彩色化技術(shù)取得了長(zhǎng)足進(jìn)步[2-7]。

應(yīng)用神經(jīng)網(wǎng)絡(luò)后，自動(dòng)彩色化算法可以擺脫人為操作，實(shí)現(xiàn)真正意義上的自動(dòng)彩色化。目前應(yīng)用于彩色化算法的網(wǎng)絡(luò)模型多為卷積神經(jīng)網(wǎng)絡(luò)（CNN），并且使用訓(xùn)練分類(lèi)算法的圖像數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)進(jìn)行訓(xùn)練。Satoshi Iizuka等[8]使用了兩個(gè)網(wǎng)絡(luò)結(jié)構(gòu)，分別針對(duì)全局特征和局部特征，使用的損失函數(shù)為一種回歸損失。Gustav Larsson等[9]將超列用于VGG網(wǎng)絡(luò)，并且使用未再平衡的分類(lèi)損失。Richard Zhang等[10]使用增加了深度和擴(kuò)張卷積的VGG網(wǎng)絡(luò)，以及再平衡稀有類(lèi)的分類(lèi)損失。使用深度神經(jīng)網(wǎng)絡(luò)可實(shí)現(xiàn)自動(dòng)彩色化并且獲得較好效果，是目前最適合自動(dòng)彩色化算法的方式之一。Richard Zhang等[11]將基于神經(jīng)網(wǎng)絡(luò)的自動(dòng)彩色化算法與交互式彩色化算法結(jié)合，只需指定幾個(gè)點(diǎn)的顏色，使人為操作部分更加簡(jiǎn)化，然后使用基于神經(jīng)網(wǎng)絡(luò)的彩色化算法完成彩色化過(guò)程，較之以往的彩色化算法效果更好。

對(duì)于訓(xùn)練集中沒(méi)有的圖像類(lèi)型著色效果不佳，是目前基于神經(jīng)網(wǎng)絡(luò)的彩色化算法普遍存在的問(wèn)題，其中有一種情況是，需彩色化的圖像存在曝光不足或者曝光過(guò)度等偏差時(shí)，彩色化效果與常規(guī)圖像相比存在較大偏差。偏差具體表現(xiàn)為：①對(duì)物體著色不準(zhǔn)確，尤其在欠曝光情況下，對(duì)多數(shù)圖像中的物體均存在著色錯(cuò)誤現(xiàn)象;②對(duì)物體邊界判定不準(zhǔn)確，這個(gè)問(wèn)題在正常曝光時(shí)同樣存在，但在過(guò)曝光和欠曝光情況下對(duì)一個(gè)物體著色時(shí)，顏色溢出到相鄰物體上的現(xiàn)象更為嚴(yán)重。

本文針對(duì)基于深度學(xué)習(xí)的彩色化算法在過(guò)曝光和欠曝光時(shí)著色效果不佳的缺陷，提出利用直方圖均衡化預(yù)處理，均衡輸入灰度圖像灰度級(jí)直方圖，以優(yōu)化彩色化效果。該方法在灰度圖像彩色化之前，將灰度圖像進(jìn)行直方圖均衡化，均衡灰度圖像的灰度級(jí)，使灰度圖像的亮度分布更加接近正常曝光圖像，使基于神經(jīng)網(wǎng)絡(luò)的彩色化算法達(dá)到正常效果。

1 算法模型

1.1 預(yù)處理彩色化算法

深度學(xué)習(xí)彩色化算法對(duì)不在數(shù)據(jù)集中的圖像類(lèi)型著色會(huì)存在偏差，而現(xiàn)有數(shù)據(jù)集中均不包含過(guò)曝光和欠曝光的圖像數(shù)據(jù)，所以必然會(huì)對(duì)過(guò)曝光和欠曝光圖像著色出現(xiàn)偏差。為了讓彩色化算法發(fā)揮正常效果，需要矯正過(guò)曝光和欠曝光圖像的曝光偏差。采用人工矯正曝光偏差雖然可以得到更好的效果，但在自動(dòng)彩色化圖像時(shí)需耗費(fèi)大量人力，明顯不切實(shí)際，所以需要利用一種可以自動(dòng)矯正曝光偏差的方法完成預(yù)處理任務(wù)。

由于彩色化任務(wù)對(duì)曝光的要求是準(zhǔn)確以及在明暗區(qū)域均有可以分辨的細(xì)節(jié)信息，所以最佳的曝光矯正方法為直方圖均衡化[12-19]。經(jīng)過(guò)直方圖均衡化后會(huì)增強(qiáng)圖像對(duì)比度，對(duì)于過(guò)曝光和欠曝光圖像來(lái)說(shuō)，便是將圖像曝光值矯正到正常曝光水平。因此，將直方圖均衡化作為彩色化算法的預(yù)處理步驟，優(yōu)化過(guò)曝光和欠曝光圖像帶來(lái)的偏差是可行的。

本文模型采用文獻(xiàn)[15]的直方圖均衡化方法，將輸入圖像進(jìn)行直方圖均衡化作為文獻(xiàn)[10]彩色化方法預(yù)處理，實(shí)現(xiàn)對(duì)過(guò)曝光和欠曝光圖像的彩色化。該方法流程如圖1所示，可描述為：①將需要彩色化的圖像輸入模型;②判斷該圖像是否為灰度圖像。如果是灰度圖像，則直接將圖像作為算法的輸入，如果是彩色圖像，則將圖像轉(zhuǎn)化到Lab空間，將L空間提取出來(lái)作為算法的輸入，并將該輸入圖像存儲(chǔ)為輸出圖像的L通道;③將算法的輸入圖像進(jìn)行直方圖均衡化以修正曝光偏差;④將修正后的灰度圖像進(jìn)行彩色化處理，得到輸出圖像的ab通道;⑤將輸出圖像的L通道與ab通道合成，得到輸出的彩色圖像。

1.2 直方圖均衡化預(yù)處理

直方圖均衡化的輸入圖像為灰度圖像或彩色圖像的L通道，其本質(zhì)都是單通道的灰度圖像。對(duì)灰度圖像進(jìn)行直方圖均衡化，本質(zhì)上是將每一個(gè)像素的灰度值做映射，使整體的灰度值分布更加均衡。

對(duì)于輸入的灰度圖像[X∈RH×W×1] ，任意位置[（x，y）] [（0xH，0yW）]對(duì)應(yīng)的L通道灰度值大小為[g（x，y）][（0g（x，y）M）]，其中M為總灰度級(jí)數(shù)。不同灰度級(jí)出現(xiàn)的概率[pi（0iM）]可表示為：

其中[δ（t）=1，t=00，t≠0]。

直方圖均衡化是對(duì)每一個(gè)像素點(diǎn)的灰度值做映射而改變灰度值分布，所以灰度值范圍在映射前后并沒(méi)有變化。假設(shè)直方圖均衡化灰度級(jí)變換為：

利用幾何加權(quán)平均法對(duì)該直方圖均衡化模型建立一種改進(jìn)的最優(yōu)化模型：

該模型中[i=0M-1spii]反映了圖像對(duì)比度，其值越大對(duì)比度越明顯。[i=0M-1sqii]反映了圖像的先驗(yàn)信息，越大則利用的先驗(yàn)信息越豐富。結(jié)合文獻(xiàn)[14]，當(dāng)[i=0M-1qi=1]時(shí)，該模型的最優(yōu)解表達(dá)式為：

輸入圖像[X∈RH×W×1]經(jīng)過(guò)直方圖均衡化[f（X）]后得到[X∈RH×W×1]，[X]即為深度學(xué)習(xí)彩色化算法的輸入。

1.3 深度學(xué)習(xí)彩色化算法

深度學(xué)習(xí)彩色化算法可使用的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)有很多，應(yīng)用比較普遍的有AlexNet、VGG等，本文使用文獻(xiàn)[10]的深度學(xué)習(xí)模型結(jié)構(gòu)如圖2所示。其輸入是一個(gè)只有[X∈RH×W×1]的灰度圖像，輸出是通過(guò)函數(shù)[Y=F（X）]得到的ab兩個(gè)彩色通道[Y∈RH×W×2]，其中H、W是圖像的尺寸，[Y]是預(yù)測(cè)值，[Y]是真實(shí)參考值。網(wǎng)絡(luò)結(jié)構(gòu)中，每一個(gè)方框代表著2-3個(gè)重復(fù)的卷積層和ReLU層，為了方便統(tǒng)一以conv標(biāo)識(shí)。