基于單幅霧天圖像的改進(jìn)迭代白平衡算法

高智慧，翟藝書(shū)，劉月圓

基于單幅霧天圖像的改進(jìn)迭代白平衡算法

高智慧，翟藝書(shū)，劉月圓

（天津職業(yè)技術(shù)師范大學(xué) 理學(xué)院，天津 300222）

針對(duì)霧天環(huán)境下戶外系統(tǒng)拍攝的圖像呈現(xiàn)顏色失真、飽和度低、整體偏霧色表現(xiàn)等問(wèn)題，在幾種白平衡算法基礎(chǔ)上，提出一種改進(jìn)的迭代白平衡算法．對(duì)圖像進(jìn)行直方圖拉伸變換擴(kuò)展動(dòng)態(tài)范圍，將圖像從RGB空間轉(zhuǎn)化到Y(jié)CbCr空間，根據(jù)亮度值特征篩選白色參考點(diǎn)進(jìn)行顏色校正，以輸入圖像和輸出圖像直方圖的余弦相似度作為終止條件，完成對(duì)白平衡迭代處理．實(shí)驗(yàn)結(jié)果表明，該算法可以有效地改善霧天圖像色偏現(xiàn)象和顏色視覺(jué)效果．

霧天圖像；亮度特征；直方圖拉伸；余弦相似度；迭代白平衡

人眼視覺(jué)系統(tǒng)擁有色彩恒常性機(jī)制，可以使同一個(gè)物體（通常認(rèn)為自然界中物品大多數(shù)不會(huì)變色，改變的只是光源）在不同的光源條件下都能被人眼識(shí)別為相同或近似的顏色[1]．然而相機(jī)等圖像采集設(shè)備無(wú)法智能地識(shí)別出光源的變化，導(dǎo)致采集的圖像在不同的光照環(huán)境下呈現(xiàn)不同的顏色偏差．尤其是在霧霾天氣下，由于大氣光的散射作用以及霧霾的遮擋影響，戶外系統(tǒng)拍攝的圖像會(huì)呈現(xiàn)顏色失真、整體偏霧色現(xiàn)象，對(duì)后續(xù)的目標(biāo)識(shí)別和特征提取造成不良影響，降低了戶外視覺(jué)系統(tǒng)的魯棒性．國(guó)內(nèi)外學(xué)者對(duì)于白平衡技術(shù)的研究已經(jīng)有三十多年的歷史，提出了多種經(jīng)典算法，主要有兩大分支：基于假設(shè)的白平衡算法（assumption-based algorithms）和基于先驗(yàn)知識(shí)的白平衡算法（prior information-based algorithms）[2]．基于假設(shè)的白平衡算法依據(jù)一定的假設(shè)為基礎(chǔ)，如最為經(jīng)典的灰度世界算法[3-4]、完美反射算法[5-6]．1980年，G.Buchsbaum依據(jù)標(biāo)準(zhǔn)光源下RGB三通道的平均值為“灰色”的常數(shù)假設(shè)條件，提出了灰度世界法．然而，當(dāng)圖像中存在大量單色塊時(shí)，該算法失效．完美反射法對(duì)圖像白平衡效果明顯，但當(dāng)圖像背景中沒(méi)有白點(diǎn)或場(chǎng)景整體偏暗時(shí)，圖像白平衡處理后可能會(huì)出現(xiàn)偏色問(wèn)題．后來(lái)，有學(xué)者提出基于亮度特征的白平衡算法，假設(shè)圖像中亮度較高的部分點(diǎn)對(duì)應(yīng)場(chǎng)景中白點(diǎn)，實(shí)現(xiàn)顏色調(diào)整[7]，然而，該算法對(duì)于霧霾天氣下的圖像處理的效果并不令人滿意．

基于先驗(yàn)知識(shí)的白平衡算法有色域映射算法、顏色相關(guān)性算法和神經(jīng)網(wǎng)絡(luò)算法等．文獻(xiàn)[8-9]提出了一種基于暗通道先驗(yàn)的AWB算法及改進(jìn)算法，通過(guò)校正RGB通道來(lái)估計(jì)每個(gè)顏色常量增益值，但當(dāng)先驗(yàn)條件不滿足時(shí)，算法失效．Huang[10]等提出了一種基于直方圖匹配的自動(dòng)白平衡算法，但對(duì)相似度低的圖像進(jìn)行校正時(shí)存在局限．

綜上所述，盡管目前已經(jīng)研究出大量的白平衡算法，但還沒(méi)有一種算法能適用于所有的圖像，針對(duì)霧天圖像的白平衡算法更是鮮有研究．因此，本文通過(guò)分析霧天戶外系統(tǒng)的成像特點(diǎn)，結(jié)合霧天圖像的直方圖特征，提出了一種基于亮度特征的迭代白平衡算法．實(shí)驗(yàn)驗(yàn)證了該算法能有效校正霧天圖像的偏色問(wèn)題，得到良好的視覺(jué)效果．

1　霧天圖像的直方圖特征

分析圖像的本質(zhì)特征是圖像處理過(guò)程中至關(guān)重要的一步．由于霧的遮蓋效果，霧天拍攝的戶外圖像存在顏色飽和度低、色偏嚴(yán)重、整體呈現(xiàn)霧的顏色等問(wèn)題，圖像直方圖作為圖像顏色和灰度值的統(tǒng)計(jì)工具，能具體反映出圖像的特點(diǎn)，有助于分析目標(biāo)圖像所具有的衰減特性．

分別給出霧天和晴天兩組采集圖像及直方圖（見(jiàn)圖１），直方圖圖像中橫坐標(biāo)指向的是灰度值，縱坐標(biāo)指向的是灰度值對(duì)應(yīng)的頻次，即每個(gè)灰度值對(duì)應(yīng)的像素個(gè)數(shù)，能夠反饋出圖像對(duì)比度指標(biāo)．

頻次灰度值 a　霧天采集圖像ｂ　霧天采集圖像直方圖 頻次灰度值 c　晴天采集圖像d　晴天采集圖像直方圖

在圖1a中，霧天圖像的能見(jiàn)度較低，大量場(chǎng)景信息被霧氣覆蓋，圖像對(duì)比度低，樹(shù)木和落葉的顏色失真，觀察圖像直方圖可以發(fā)現(xiàn)，直方圖的動(dòng)態(tài)范圍較窄，這是由于圖像中的場(chǎng)景被霧氣遮蓋，灰度分布主要集中在較高幅度值附近所導(dǎo)致的；在圖1c中，晴天下拍攝的場(chǎng)景圖像，顏色飽和度高，圖像對(duì)比度較大，對(duì)應(yīng)的直方圖動(dòng)態(tài)范圍較大，像素區(qū)分度高，對(duì)應(yīng)圖像的分辨率高，圖像中包含更多的細(xì)節(jié)信息．因此，要還原物體的真實(shí)顏色，實(shí)現(xiàn)圖像色彩校正，需要對(duì)圖像的動(dòng)態(tài)范圍進(jìn)行調(diào)整．

2　改進(jìn)的基于亮度特征的迭代白平衡算法

基于亮度特征的白平衡算法，是在完美反射法基礎(chǔ)上進(jìn)一步假設(shè)圖像中亮度較高的部分點(diǎn)對(duì)應(yīng)場(chǎng)景中的白點(diǎn)，將圖像由RGB顏色空間轉(zhuǎn)化到Y(jié)CbCr顏色空間，在亮度通道進(jìn)行白點(diǎn)的搜索，進(jìn)而實(shí)現(xiàn)白平衡處理．相較于RGB顏色模型，由于人眼視覺(jué)對(duì)亮度信息更為敏感，更符合人眼的視覺(jué)特性，因此，理論上來(lái)講，基于亮度特征的白平衡算法具有更好的適用性．然而，由于霧天圖像自身的特征，動(dòng)態(tài)范圍較窄，該算法對(duì)霧天圖像處理不能達(dá)到令人滿意的效果．因此，本文在該算法基礎(chǔ)上開(kāi)展研究，提出一種改進(jìn)的基于亮度特征的迭代白平衡算法，該算法分為直方圖拉伸和迭代白平衡兩個(gè)階段．

2.1　直方圖拉伸

圖像的直方圖反映了圖像中像素灰度值分布的頻次，是場(chǎng)景信息的圖形表示．霧天圖像的直方圖灰度范圍集中，動(dòng)態(tài)范圍較窄，直接進(jìn)行白平衡顏色調(diào)整算法可能會(huì)失效．為此，本文提出的改進(jìn)迭代白平衡算法在第一階段對(duì)圖像進(jìn)行直方圖拉伸變換，對(duì)于彩色圖像，其處理方法是分別對(duì)Ｒ，Ｇ，Ｂ三個(gè)顏色通道進(jìn)行直方圖拉伸變換，具體公式為

2.2　迭代白平衡

算法在該階段首先將像素點(diǎn)值從RGB顏色空間轉(zhuǎn)換到Y(jié)CbCr顏色空間，利用人眼對(duì)亮度信息更敏感的視覺(jué)特性，對(duì)圖像中亮度符合條件的像素作為參考白點(diǎn)進(jìn)行選取，實(shí)現(xiàn)顏色的初步調(diào)整；然后，利用離散余弦變換計(jì)算輸入與輸出兩幅圖像直方圖的相似度作為迭代終止條件完成對(duì)圖像顏色的最終校正．

具體步驟為：

（1）利用

（4）對(duì)輸入圖像進(jìn)行白平衡調(diào)整，具體公式為

（5）計(jì)算輸入圖像和白平衡調(diào)整后輸出圖像的余弦值相似度，具體步驟為：

（a）獲得灰度圖像的直方圖分布；

（b）將直方圖劃分為64個(gè)區(qū)，每個(gè)區(qū)為連續(xù)的4個(gè)灰度等級(jí)；

（c）對(duì)每個(gè)區(qū)的4個(gè)值進(jìn)行求和計(jì)算，得到1個(gè)數(shù)據(jù)，如此會(huì)得到64個(gè)數(shù)據(jù)，即為該幅圖像的一個(gè)向量；

（e）計(jì)算2個(gè)向量的余弦值，即輸入和輸出兩幅圖像的余弦相似度，若兩幅圖像的直方圖越接近，就認(rèn)為2個(gè)向量越接近，即兩幅圖像越相似，余弦相似度越接近于1．

（7）輸出迭代白平衡處理后的圖像．

迭代白平衡算法具體流程見(jiàn)圖2．

圖2　迭代白平衡算法流程

3　實(shí)驗(yàn)結(jié)果與分析

為了測(cè)試算法的白平衡效果，利用Matlab R2019a作為軟件仿真平臺(tái)，對(duì)兩幅霧天圖像進(jìn)行實(shí)驗(yàn)，分別給出主觀和客觀評(píng)價(jià)結(jié)果．

3.1　主觀實(shí)驗(yàn)

主觀實(shí)驗(yàn)中，本文進(jìn)行了兩組對(duì)比實(shí)驗(yàn)，第一組實(shí)驗(yàn)用于顯示本文白平衡算法在迭代中的過(guò)程結(jié)果，即收斂前不同迭代次數(shù)下的白平衡效果（見(jiàn)圖３，從左到右依次為霧圖、第一次迭代結(jié)果、第二次迭代結(jié)果、第三次迭代結(jié)果），第二組則用于顯示與文獻(xiàn)中幾種經(jīng)典白平衡算法的對(duì)比效果（見(jiàn)圖４，從左到右依次為霧圖、灰度世界法、完美反射法、基于亮度特征的白平衡方法、本文算法）．

圖３ 本文迭代白平衡算法不同迭代次數(shù)實(shí)驗(yàn)結(jié)果

圖４　白平衡對(duì)比結(jié)果

由圖３可以看出，隨著迭代次數(shù)的增加，圖像中天空區(qū)域的顏色趨于更加真實(shí)的視覺(jué)效果，有更好的清晰度；由圖4可以看出，霧天圖像經(jīng)過(guò)迭代白平衡算法處理后的輸出圖像對(duì)比度、清晰度都得到了不同程度的提高，圖像的邊緣結(jié)構(gòu)更加明顯，由于被霧霾遮擋而造成圖像飽和度降低的問(wèn)題得到了較大程度的改善．對(duì)比其他三種白平衡算法，本文算法結(jié)果圖像的整體亮度更高，局部細(xì)節(jié)更加突出，圖像的顏色失真補(bǔ)償效果更好，輸出圖像達(dá)到的視覺(jué)效果令人滿意．

3.2　客觀實(shí)驗(yàn)

圖像熵反映了圖像包含的信息量，該指標(biāo)與圖像中顏色數(shù)有關(guān)，顏色數(shù)越大，則信息熵也越大．而平均梯度則描述了圖像中的細(xì)節(jié)豐富程度，該指標(biāo)能更好地刻畫(huà)出白平衡后圖像的細(xì)節(jié)信息量．

色度標(biāo)準(zhǔn)差的計(jì)算公式為

實(shí)驗(yàn)結(jié)果見(jiàn)表1．

表1　不同白平衡算法的圖像熵、平均梯度、色度標(biāo)準(zhǔn)差和白點(diǎn)色差均值

綜合主客觀分析來(lái)看，本文提出的迭代白平衡算法無(wú)論主客觀評(píng)價(jià)都反映出算法的優(yōu)越性．

4　結(jié)語(yǔ)

針對(duì)霧天圖像存在色偏、顏色飽和度低等特點(diǎn)，為滿足圖像后續(xù)的分析和處理工作，在基于亮度特征的白平衡算法基礎(chǔ)上，本文從有霧圖像直方圖特征出發(fā)，提出一種改進(jìn)的迭代白平衡算法．算法首先對(duì)圖像進(jìn)行直方圖拉伸實(shí)現(xiàn)灰度動(dòng)態(tài)范圍的擴(kuò)展，然后在YCbCr空間中利用亮度特征篩選白色參考點(diǎn)實(shí)現(xiàn)顏色調(diào)整，并計(jì)算輸入圖像和白平衡調(diào)整后輸出圖像間的余弦相似度作為算法迭代終止條件，完成對(duì)圖像的最終白平衡處理操作．實(shí)驗(yàn)表明，本文算法能夠有效改善霧霾天氣下拍攝圖像的色偏問(wèn)題，輸出圖像具有較好的視覺(jué)效果．

[1] YEN W H，CHANG H C．A novel automatic white balance method for color constancy under different color Temperatures[J]．IEEE ACCESS，2021，9：111925–111937．

[2] WANG P M，F(xiàn)UTH C S．Automatic white balance with color temperature estimation[C]//IEEE Digest of Technical Papers International Conference on Consumer Electronics．Las Vegas：IEEE，2007：1-2．

[3] Buchsbaum G．A spatial processor model for object colour perception[J]．Journal of the Franklin Institute，1980（1）：1-26．

[4] Barnard K，Cardei V，F(xiàn)unt B．A comparison of computational color constancy algorithms：methodology and experiments with synthesized data[J]．IEEE Transactions on Image Processing，2002，11（9）：972-984．

[5] Lam E Y．Combining gray world and retinex theory for automatic white balance in digital photography[C]//IEEE Proceedings of the Ninth International Symposium on Consumer Electronics．Macau：IEEE，2005：134-139．

[6] Gasparini F，Schettini R．Color balancing of digital photos using simple image statistics[J]．Journal of Pattern Recognition，2004，37（6）：1201-1217．

[7] 劉文耀．?dāng)?shù)字圖像采集與處理[M]. 北京：電子工業(yè)出版社，2007：323-327.

[8] Im J，Kim D，Jung J，et al．Dark channel prior-based white point estimation for automatic white balance[C]//IEEE International Conference on Consumer Electronics（ICCE）．Las Vegas：IEEE，2014：123-124．

[9] Jo J，Im J，Jang J，et al．Adaptive white point extraction based on dark channel prior for automatic white balance[J]．IEEE Transactions on Smart Processing and Computing，2016，5（6）：383-389．

[10] HUANG C，ZHANG Q，WANG H，et al．A low power and low complexity automatic white balance algorithm for amoled driving using histogram matching[J]．Journal of Display Technology，2015，11（1）：53-59．

Improved iterative white balance algorithm based on a single foggy image

GAO Zhihui，ZHAI Yishu，LIU Yueyuan

（School of Science，Tianjin University of Technology and Education，Tianjin 300222，China）

Aiming at the problems such as color distortion，low saturation and overall foggy color performance of images taken by outdoor system in foggy environment，an improved iterative white balance algorithm is proposed based on some white balance algorithms．Histogram stretching transform is used to extend the dynamic range of the image，the image is transformed from space RGB to space YCbCr，and the white reference points are screened according to the brightness value feature for color correction，the iterative processing of white balance is completed by calculating the cosine similarity of the histogram of the input image and the output image histogram as the termination condition．Experimental results show that the algorithm can effectively improve color bias and color visual effect in foggy images．

foggy image；luminance feature；histogram stretching；cosine similarity；iterative white balance

1007-9831（2023）11-0021-06

TP391.4

A

10.3969/j.issn.1007-9831.2023.11.005

2023-04-15

天津市高等學(xué)?？茖W(xué)技術(shù)發(fā)展基金項(xiàng)目（JWK1603）

高智慧（1997-），女，山東濟(jì)寧人，在讀碩士研究生，從事圖像處理模型與算法研究．E-mail：51762041@qq.com

翟藝書(shū)（1979-），女，吉林長(zhǎng)春人，副教授，博士，從事圖像增強(qiáng)研究．E-mail：ebook66@126.com