一種自適應(yīng)的白平衡解決方案研究

何可丁,王 慶

齊魯工業(yè)大學(xué)制漿造紙科學(xué)與技術(shù)教育部/山東省重點(diǎn)實(shí)驗(yàn)室,齊魯工業(yè)大學(xué)(山東省科學(xué)院) 輕工科學(xué)與工程學(xué)院,濟(jì)南 250353

目前對(duì)于自動(dòng)白平衡(AWB)己經(jīng)提出了多種經(jīng)典算法,這些算法可以通過(guò)多種方式進(jìn)行分類,其中包括1)靜態(tài)方法:灰度世界法[1]、完美反射法[2]等；2)動(dòng)態(tài)方法:動(dòng)態(tài)閾值算法,色溫估計(jì)算法、白點(diǎn)檢測(cè)算法等；3)基于學(xué)習(xí)的方法:該方法通過(guò)學(xué)習(xí)訓(xùn)練集,以建立模型的方式來(lái)估計(jì)光源,校正效果較好但實(shí)現(xiàn)過(guò)程復(fù)雜。

灰度世界法,完美反射法等是目前公認(rèn)最基礎(chǔ)的兩種白平衡方法。其中灰度世界法算法簡(jiǎn)單,假設(shè)條件寬泛,所以得到了廣泛的應(yīng)用,但對(duì)含有單一大色塊圖像的白平衡校正會(huì)失效。完美反射法其原理是假設(shè)圖像上最亮點(diǎn)為白點(diǎn),并以此白點(diǎn)為參考對(duì)圖像進(jìn)行自動(dòng)白平衡校正。該算法的優(yōu)勢(shì)在于計(jì)算量少,實(shí)現(xiàn)方式簡(jiǎn)單,但當(dāng)圖像色彩絢麗或亮度整體偏暗時(shí),經(jīng)過(guò)該算法處理的圖像仍然存在色偏。2005年Lam提出了一種灰度世界法和完美反射法的正交組合算法(Quadratic Combining GW&PR,QCGP)[3]。該方法可以很好地對(duì)圖像的色彩進(jìn)行調(diào)整,并且保留上面提到兩種算法的優(yōu)點(diǎn)。但有兩種缺陷,其一,對(duì)色彩豐富度低且某一顏色為主導(dǎo)時(shí)的圖像會(huì)失效;其二,會(huì)使圖像亮度被削弱。針對(duì)第一種缺陷有學(xué)者提出了加權(quán)標(biāo)準(zhǔn)差的灰度世界算法[4],該方法將圖像分塊,并舍棄掉顏色相關(guān)性較小的宏塊,對(duì)嚴(yán)重偏色的圖像校正效果較好,但當(dāng)顏色相關(guān)性較小的區(qū)塊過(guò)多時(shí),圖像白平衡效果依舊很差。針對(duì)第二種缺陷有學(xué)者提出了使用亮度恢復(fù)的QCGP算法[5],它能解決QCGP算法亮度被削弱的缺陷,但仍然無(wú)法解決低色彩豐富度圖像的白平衡問(wèn)題。圖像熵值加權(quán)的AWB方法[6]便是針對(duì)顏色塊較少的圖像校正結(jié)果不理想的問(wèn)題,對(duì)白平衡算法中增益因子的計(jì)算進(jìn)行改進(jìn),改進(jìn)算法顏色還原準(zhǔn)確度較高,但仍然存在一定的校正誤差。由上可知不同特征的圖像的白平衡效果會(huì)有不同,還有學(xué)者通過(guò)將圖像分類選擇相應(yīng)的靜態(tài)類白平衡算法進(jìn)行校正[7]。

近年來(lái)AWB算法的研究以根據(jù)特定場(chǎng)景的設(shè)定,直方圖的運(yùn)用和多種算法的融合為主。如2016年Yu等提出了一種結(jié)合GW和色度直方圖重合的自動(dòng)白平衡方法[8]。該方法能分別滿足GW理論和色度直方圖重合的要求,并能在更多的場(chǎng)景中獲得比這兩種方法更好的效果,計(jì)算復(fù)雜成為該方法最大缺點(diǎn)。Huang等提出了一種基于直方圖偏移補(bǔ)償?shù)陌灼胶馑惴╗9]便是為了解決一些白平衡方法計(jì)算復(fù)雜的缺點(diǎn),它是結(jié)合了簡(jiǎn)單功率約束方法和良好的色差校正能力的AWB算法。該算法以加法運(yùn)算為主,因此計(jì)算復(fù)雜度低。2017年張朵朵等提出基于海思平臺(tái)的自動(dòng)白平衡算法[10],該算法雖然可解決單色場(chǎng)景嚴(yán)重偏色的缺陷,但其因?yàn)樵趯?shí)現(xiàn)過(guò)程中用到線性擬合、線性映射等操作,會(huì)給算法本身引入一定的誤差。2019年戴愛(ài)霞將白點(diǎn)檢測(cè)算法、灰度世界算法以及色溫估計(jì)算法相融合,并且通過(guò)增益多邊形對(duì)增益值進(jìn)行調(diào)整[11]。但其色溫估計(jì)采用的是單色光估計(jì),而實(shí)際生活中大多數(shù)光源是混合光,因此校正效果存在欠缺。2020年M Iqbal等為了解決微光下圖像過(guò)暗的原因,提出了一種在保持輸入圖像對(duì)比度的同時(shí)去除顏色飽和度的白平衡技術(shù)[12],從微光圖像中提取低頻和高頻。使用Sigmoid函數(shù)在低頻上進(jìn)行顏色平衡。然后在YCbCr顏色空間中用約束線性最小二乘極小化來(lái)實(shí)現(xiàn)白平衡。該方法對(duì)于微光下的圖像處理效果較好,但沒(méi)有考慮其它光源下的效果。

盡管目前已經(jīng)研究出了大量的AWB算法,還沒(méi)有一種算法能夠適用于所有的圖像,并且對(duì)于低色彩豐富度圖像的AWB校正算法較少。本文提出了一種適用于低色彩豐富度且沒(méi)有某一顏色為主導(dǎo)的圖像的白平衡算法。在此基礎(chǔ)上,建立了一種自適應(yīng)的白平衡解決方案。根據(jù)圖像的色彩豐富度判定原則,自適應(yīng)選取最合適的白平衡算法。在大量自然圖像上的實(shí)驗(yàn)表明,該方法計(jì)算簡(jiǎn)單,且適用于滿足條件的大部分圖像。

1 GW-DCT算法

利用圖像處理中常用DCT[13-14]對(duì)圖像進(jìn)行變換。DCT作為圖像處理的一種手段,其應(yīng)用特點(diǎn)為:對(duì)于色彩艷麗的圖像在DCT變換后,由于濾掉了高頻部分,從而會(huì)導(dǎo)致圖像不同程度的失真；反之低色彩豐富度圖像因包含較大的冗余信息,且圖像的主要信息為低頻分量,因此DCT變換后圖像基本無(wú)失真情況。因此利用該特點(diǎn),可在白平衡校正之前將低色彩豐富度圖像,先進(jìn)行DCT變換,過(guò)濾掉圖像中的高頻部分,從而降低了由于圖像高頻像素值參與白平衡算法而導(dǎo)致失效的風(fēng)險(xiǎn)。該算法適用于色彩豐富度低、單色面積不大的圖像。

其具體步驟如下所示:首先將圖像的R,G,B三通道進(jìn)行DCT變換。然后根據(jù)灰度世界思想,取圖像平均值,并進(jìn)行不同顏色通道之間的比較。這里可得:

(X=R,G,B)

(1)

然后根據(jù)顏色通道平均值大小比較的結(jié)果進(jìn)行增益系數(shù)計(jì)算。當(dāng)R通道的值居中時(shí),增益過(guò)程如下:

KR=1,

(2)

G,B通道居中時(shí)亦同理,最后對(duì)圖像通道進(jìn)行增益計(jì)算并輸出結(jié)果。

在CVonline圖庫(kù)中選取了22張圖像,圖像主要包含山,水,建筑物等結(jié)構(gòu),因此大部分圖像色彩豐富度不高。首先調(diào)節(jié)圖像顏色通道大小使其偏色,再將偏色圖像經(jīng)過(guò)QCGP算法和GW-DCT算法處理。將顏色豐富度低的圖像經(jīng)兩種算法處理比較后得到的結(jié)果如圖1所示。

注:a)原圖；b)偏色圖像；c)GW-DCT；d)QCGP

圖1為低色彩豐富度圖像的校正結(jié)果,其中圖b)是色彩豐富度低且偏色的圖像。圖d)為QCGP算法處理后的圖像,經(jīng)該算法校正后的圖像仍有紅色,存在校正效果不足的現(xiàn)象。圖c)是本文改進(jìn)算法處理的圖像,校正效果較好。

將圖庫(kù)中色彩豐富度高的圖像進(jìn)行了測(cè)試,如圖2所示。

注:a)原圖；b)色偏圖像；c)GW-DCT

由仿真結(jié)果可知,色彩豐富度較低的圖像經(jīng)過(guò)GW-DCT算法處理白平衡校正效果較好。但圖庫(kù)中色彩豐富度較高的圖像經(jīng)過(guò)該算法處理會(huì)存在校正過(guò)度的現(xiàn)象。因此該算法存在一定的局限性,僅適用于低色彩豐富度的圖像。

2 自適應(yīng)白平衡解決方案

通過(guò)圖像的色彩豐富度、熵、顏色占比和亮度占比四參數(shù)將圖像進(jìn)行分類,然后對(duì)分類好的圖像利用QCGP、PR和GW-DCT算法對(duì)分類圖像進(jìn)行白平衡校正。如圖3所示,該解決方案的關(guān)鍵在于兩次對(duì)于圖像的判定,首先通過(guò)計(jì)算圖像顏色占比來(lái)判定圖像是否以某一顏色為主導(dǎo),然后將區(qū)分出來(lái)的兩類圖像分別進(jìn)行圖像色彩豐富度的判定以及圖像亮度占比的判定,最后綜合以上參數(shù)自適應(yīng)選擇白平衡算法對(duì)圖像進(jìn)行白平衡校正。

圖3 自適應(yīng)解決方案

首先通過(guò)計(jì)算圖像顏色占比來(lái)判斷圖像是否以某一顏色為主導(dǎo)。本文采用量化后的HSV顏色直方圖方法[15],首先將所有顏色量化成64種顏色分類,然后統(tǒng)計(jì)64種顏色分類的像素?cái)?shù),得到直方圖。以64種顏色中像素最多的顏色與圖像總像素之間的比例記為最多顏色占比M。根據(jù)顏色占比將圖像分為兩類:圖像是否以單一色主導(dǎo)。本文在CVonline圖庫(kù)與柯達(dá)真實(shí)彩色圖庫(kù)中選取了101幅圖片進(jìn)行了驗(yàn)證,當(dāng)M<0.2時(shí),圖像不存在某一顏色為主導(dǎo)；反之說(shuō)明圖像存在某一顏色為主導(dǎo)。經(jīng)過(guò)首次分類判斷后,將無(wú)單一色主導(dǎo)圖像進(jìn)行顏色豐富度的判定。該判定需要包含圖像信息熵H以及圖像色度標(biāo)準(zhǔn)差K兩個(gè)圖像參數(shù)。其中,彩色圖像求圖像信息熵H[6]:通過(guò)計(jì)算R、G、B三通道離散熵的平均值獲取。以閾值T1區(qū)分圖像信息熵將圖像分為高、低兩種色彩豐富度的圖像。圖像信息熵H計(jì)算公式如下:

(3)

(4)

其中,p(ki)表示R,G,B三個(gè)分量的灰度值i的像素在圖像中所占的比例。

對(duì)于圖像色度標(biāo)準(zhǔn)差的測(cè)量:將YCbCr空間中的Cb,Cr分量的標(biāo)準(zhǔn)差作為圖像色度標(biāo)準(zhǔn)差能有效評(píng)判圖像顏色豐富度信息,這是因?yàn)椴煌伾矬w邊沿的變化會(huì)導(dǎo)致樣本標(biāo)準(zhǔn)差的增大[16]。因此本文首先將圖像的RGB三通道驅(qū)動(dòng)值轉(zhuǎn)換為YCbCr空間,然后分別計(jì)算Cb,Cr的標(biāo)準(zhǔn)差,若同時(shí)滿足Cb標(biāo)準(zhǔn)差Kb大于閾值T2,Cr標(biāo)準(zhǔn)差Kr大于閾值T3,則判定圖像整體顏色豐富[17]。

(5)

經(jīng)過(guò)多次測(cè)試驗(yàn)證,當(dāng)T1=0.38,T2=1.5,T3=1.5時(shí),可以判定圖像的豐富程度。圖像信息熵H與色度標(biāo)準(zhǔn)差K的皮爾斯相關(guān)系數(shù)[18]為0.47,為弱相關(guān)。因此,雙參數(shù)聯(lián)合判定,彌補(bǔ)了但單參數(shù)判定的可靠性不足,保證了色彩豐富度的色彩判斷準(zhǔn)確性。

單一色主導(dǎo)的圖像利用亮度占比判定可將圖像分類為高、低亮度圖像進(jìn)行亮度占比的判定,由此決定是否采用PR白平衡校正算法[7]。首先需要計(jì)算在圖像中滿足一定閾值的G分量像素的比例:

0.7Gmax≤G(i,j)≤Gmax,

(6)

然后計(jì)算符合條件的圖像像素的個(gè)數(shù)占圖像像素的百分比。

(7)

3 驗(yàn)證與分析

3.1 色偏檢測(cè)

為了驗(yàn)證有效性,在CVonline圖像庫(kù)以及柯達(dá)真實(shí)彩色圖庫(kù)中的101幅圖像采用偏色因子來(lái)衡量圖像的偏色程度[19],共找出未偏色圖像78幅,為了能夠主觀感知圖像經(jīng)過(guò)本文白平衡方法后的處理效果,通過(guò)將未偏色圖像的RGB三通道分別擴(kuò)大1.2倍,縮小0.8倍來(lái)模擬偏色圖,共得到468幅偏色圖像。最后經(jīng)過(guò)本文自適應(yīng)白平衡解決方案處理。

3.2 結(jié)果驗(yàn)證

通過(guò)第二節(jié)的解決方案處理,468幅偏色圖像被分類成246幅色彩絢麗圖像,168幅色彩豐富度低的圖像,54幅存在單一色主導(dǎo)的圖像,其中54幅存在單一色主導(dǎo)的圖像中,有6幅圖像由于亮度不符合條件,故本文所用的三種算法的校正也不理想,其他圖像的白平衡校正方法較好。該自適應(yīng)白平衡解決方案能夠正確地選擇合適的算法,得到圖像的最佳處理效果。

注:a)原圖；b)3.1節(jié)處理后的偏色圖像；c)經(jīng)過(guò)自適應(yīng)解決方案處理的圖像；d)GW處理的圖像；e)GW-DCT算法處理的圖像；f)PR算法處理的圖像

圖4為豐富度較高的圖像白平衡校正效果。從圖4可以看出,GW算法亮度被削弱,GW-DCT校正過(guò)度,PR算法校正不足。自適應(yīng)解決方案正確地選擇了QCGP算法,得到了圖像最佳的處理效果。

注:a)原圖；b)3.1節(jié)處理后的偏色圖像；c)經(jīng)過(guò)自適應(yīng)解決方案處理的圖像；d)GW算法處理的圖像；e)GW-DCT算法處理的圖像；f)QCGP算法處理的圖像

圖5是圖像存在單一大色塊情況的圖像的白平衡校正效果。從這組圖像的天空可以看出,GW與GW-DCT算法都存在過(guò)校正現(xiàn)象,天空都存在偏紅現(xiàn)象,QCGP算法校正效果不足,自適應(yīng)解決方案正確地選擇了PR算法,得到了最佳的白平衡處理效果。

3.3 結(jié)果分析和討論

(8)

表1 評(píng)價(jià)函數(shù)結(jié)果

由表1可知,通過(guò)自適應(yīng)算法處理得到圖4 c)與圖5 c)無(wú)論是平均色度法還是白點(diǎn)色差法,校正圖像與原圖之間的色差都為三種算法最小。證明了本文提出的自適應(yīng)白平衡的解決方案能夠正確的選擇合適的算法。通過(guò)對(duì)圖3的評(píng)價(jià)結(jié)果可知,QCGP更適合色彩豐富度高的圖像。將圖4 c)與圖4 e)的評(píng)價(jià)結(jié)果比較可以看出經(jīng)過(guò)QCGP算法處理的白平衡效果明顯好于DCT算法,與本文第二章的提出的內(nèi)容相符。而圖4 f)的白點(diǎn)色差值與圖4 a)接近是因?yàn)榻?jīng)過(guò)PR算法處理的圖像白點(diǎn)色差較低。通過(guò)對(duì)圖4的評(píng)價(jià)結(jié)果可知,PR算法更適合存在單一色主導(dǎo)的圖像。圖5 c)與圖5 e)的評(píng)價(jià)結(jié)果較為接近是因?yàn)椴糠稚守S富度低的圖像也會(huì)存在單一色主導(dǎo)的現(xiàn)象。

4 結(jié) 論

本文對(duì)圖像進(jìn)行色彩統(tǒng)計(jì)特性分析,根據(jù)圖像色度標(biāo)準(zhǔn)差,信息熵,亮度占比和顏色占比對(duì)圖像歸類后選擇合適的校正算法從而實(shí)現(xiàn)自適應(yīng)的白平衡解決方案,包含QCGP,GW-DCT和PR算法。方法簡(jiǎn)單并且適應(yīng)性廣。經(jīng)過(guò)多幅圖像仿真驗(yàn)證,GW-DCT算法適用于色彩豐富低的圖像；如果圖像的顏色層次豐富,QCGP算法仍然是首選的算法之一；如果圖像以某一顏色為主導(dǎo)且亮度值符合要求,PR算法更為合適。