基于改進(jìn)暗通道先驗(yàn)的圖像去霧算法

張 宏，張玉倫，鄧 旭，徐 梅

(哈爾濱理工大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，黑龍江 哈爾濱 150080)

1 引言

由于在霧霾天氣下拍攝的圖像模糊不清并且對比度較低，這將影響后續(xù)的交通監(jiān)控、軍事偵查、目標(biāo)識別等任務(wù)[1-4]。因此，如何將有霧圖像清晰化顯得尤為重要。

目前圖像去霧算法主要可以分為兩類，即：基于圖像增強(qiáng)方法和基于圖像復(fù)原方法?；趫D像增強(qiáng)方法通常不考慮圖像退化原因，通過提高圖像的對比度來改善圖像的視覺效果。例如，直方圖均衡化[5]和Retinex算法[6]是典型地基于圖像增強(qiáng)方法。然而，直方圖均衡化方法容易導(dǎo)致去霧后的圖像信息丟失，Retinex算法去霧后圖像的色彩保真度不夠令人滿意?；趫D像復(fù)原方法通常分析圖像退化的原因，建立相應(yīng)的退化模型，并在退化過程中補(bǔ)償丟失的信息。例如，基于偏振成像的方法[7]和基于先驗(yàn)知識的方法[8-10]是典型地基于圖像復(fù)原的方法。然而，基于偏振成像的方法對景深信息的確認(rèn)以及大氣散射系數(shù)的改動需要用戶交互式操作。因此，國內(nèi)外研究學(xué)者們著手研究霧氣濃度分布規(guī)律以期望得到合理的先驗(yàn)信息，從根本上達(dá)到圖像去霧的目的。這類方法早期由Tan等人[8]提出，基于無霧圖像具有較高對比度的先驗(yàn)信息，通過最大化局部對比度來達(dá)到圖像去霧效果。但是復(fù)原圖像的顏色容易出現(xiàn)過飽和。Tarel等人[9]提出使用中值濾波，該方法運(yùn)行時間較快，但是復(fù)原圖像容易出現(xiàn)光暈效應(yīng)。Fattal等人[10]基于大氣光傳播介質(zhì)與局部場景透射率不相關(guān)作為先驗(yàn)信息，使用獨(dú)立成分分析來估算透射率，但是該方法復(fù)原的圖像容易發(fā)生失真情況。He等人[11]基于無霧圖像的非天空區(qū)域中至少一個顏色通道上的像素強(qiáng)度非常低的先驗(yàn)信息，提出了經(jīng)典的暗通道先驗(yàn)方法。但是該方法對天空區(qū)域的去霧效果不是很理想。為此，文獻(xiàn)[12，13]是基于He等人提出的暗通道先驗(yàn)方法做出了改進(jìn)。Zhu等人[14]提出了顏色衰減先驗(yàn)的假設(shè)，通過建立場景深度線性模型來獲取深度信息。Meng等人[15]提出了邊界約束和正則化圖像去霧方法，通過犧牲部分邊界信息來復(fù)原圖像。Cai等人[16]提出了一種端到端的網(wǎng)絡(luò)，稱為DehazeNet圖像去霧方法，該方法將深度學(xué)習(xí)與傳統(tǒng)方法相結(jié)合，以有霧圖像為輸入，通過深度學(xué)習(xí)估計(jì)透射圖，然后使用大氣散射模型復(fù)原圖像。與傳統(tǒng)網(wǎng)絡(luò)相比，該網(wǎng)絡(luò)圖像去霧的效率更高。但是，復(fù)原圖像容易出現(xiàn)霧氣去除不徹底的情況。

2 背景

2.1 大氣散射模型

大氣中細(xì)小顆粒物的散射作用是形成霧霾的主要因素，在霧霾天氣下拍攝的圖像可視性大大降低。1999年，Nayar等人[17]提出了著名的大氣散射模型，該模型可以表示為

I(x)=J(x)t(x)+(1-t(x))A

(1)

式中I(x)表示為觀測到的有霧圖像，t(x)表示為場景透射率圖，A表示為全局大氣光值，J(x)表示為所要求取的無霧圖像。

2.2 暗通道先驗(yàn)

He等人[11]通過觀察大量室外無霧圖像的暗通道發(fā)現(xiàn)：在大多數(shù)室外無霧圖像的非天空區(qū)域內(nèi)，至少一個顏色通道上的像素強(qiáng)度非常低，并且像素值接近于0或者等于0。

(2)

式中Jdark(x)表示觀測到的無霧圖像J(x)的暗通道，Jc(x)表示無霧圖像J(x)的第c個顏色通道，其中c∈{R，G，B}，Ω(y)是以像素y為中心的窗口。由于無霧圖像J(x)非天空區(qū)域的暗通道灰度強(qiáng)度較低，因此Jdark(x)→0。

3 本文算法

He等人[11]選取暗通道圖像中最亮的前0.1%的像素點(diǎn)作為大氣光候選區(qū)域，并在大氣光候選區(qū)域?qū)?yīng)其在原始圖像的位置中尋找最大像素點(diǎn)的值作為估計(jì)的大氣光值A(chǔ)。然而，當(dāng)有霧圖像含有亮白色物體或者其它高亮噪聲時，大氣光候選區(qū)域可能會錯誤定位在亮白色物體或其它高亮噪聲上，導(dǎo)致大氣光值估計(jì)的不準(zhǔn)確，從而影響圖像的去霧效果。此外，由于暗通道先驗(yàn)方法復(fù)原圖像的顏色相對較暗，影響圖像的視覺效果。

針對上述分析，本文提出了基于改進(jìn)暗通道先驗(yàn)的圖像去霧算法，圖1為本文提出算法的流程圖，其主要貢獻(xiàn)如下：

1)提出了四叉樹搜索算法來估計(jì)大氣光候選區(qū)域，避免了大氣光候選區(qū)域定位在高亮噪聲或者亮白色物體上，進(jìn)而導(dǎo)致大氣光值估計(jì)的不準(zhǔn)確，影響圖像的復(fù)原效果。

2)將初步的去霧圖像轉(zhuǎn)為HSI顏色空間，保持色調(diào)H和飽和度S不變，僅對亮度I進(jìn)行限制對比度自適應(yīng)直方圖均衡化處理。最后，將HSI顏色空間轉(zhuǎn)為RGB顏色空間得到最終的去霧圖像，改善了去霧后圖像亮度偏暗的問題。

圖1 提出算法的流程圖

3.1 估計(jì)大氣光候選區(qū)域

理想情況下，大氣光被估計(jì)于無窮遠(yuǎn)的天空區(qū)域上。當(dāng)圖像中存在較大的霧氣時，為了避免估計(jì)的大氣光候選區(qū)域定位在高亮噪聲或者亮白色物體上，導(dǎo)致大氣光值估計(jì)的不準(zhǔn)確。本文通過四叉樹搜索算法來估計(jì)大氣光候選區(qū)域，其主要過程可以描述為：

1)將輸入的有霧圖像劃分為四個大小相等的區(qū)域。

2)分別計(jì)算四個區(qū)域的均值和方差，并且將每個對應(yīng)區(qū)域的均值減去對應(yīng)區(qū)域的方差得出對應(yīng)區(qū)域的得分。

3)選擇得分最大的區(qū)域繼續(xù)重復(fù)執(zhí)行四叉樹搜索算法。

4)當(dāng)搜索選定區(qū)域的像素點(diǎn)個數(shù)小于等于設(shè)置的閾值時，停止四叉樹搜索，此區(qū)域?yàn)樽罱K估計(jì)的大氣光候選區(qū)域。如圖2所示，通過不同方法估計(jì)的大氣光候選區(qū)域，大氣光候選區(qū)域標(biāo)記為紅色。

圖2 估計(jì)大氣光候選區(qū)域

從圖2中可以看出He等人[11]的方法錯誤地將大氣光候選區(qū)域定位在白色物體上，這將導(dǎo)致大氣光值估計(jì)的不準(zhǔn)確，進(jìn)而影響圖像的去霧效果。而本文提出的算法將大氣光候選區(qū)域定位在遠(yuǎn)處的天空區(qū)域內(nèi)，有利于提高大氣光值估計(jì)的準(zhǔn)確性。

確定了大氣光候選區(qū)域后，將大氣光候選區(qū)域?qū)?yīng)其在有霧圖像中的位置，再將求得位置的R，G，B三個顏色通道的均值作為估計(jì)的大氣光值A(chǔ)c，其中c∈{R，G，B}。

3.2 估計(jì)透射率和復(fù)原圖像

根據(jù)大氣散射模型(式(1))可知，僅有含霧圖像I(x)是已知的。若想求取無霧圖像J(x)需要計(jì)算兩個未知量，分別是大氣光值A(chǔ)和場景透射率圖t(x)。根據(jù)暗通道先驗(yàn)理論Jdark(x)→0，故根據(jù)式(1)可以求得透射率圖t(x)，即

(3)

為了使去霧后的圖像保留一定的霧度，使其看起來更加自然，在式(3)中引入一個參數(shù)w∈{0，…，1}，即

(4)

式中w值越大，復(fù)原圖像中的霧氣去除效果越明顯，但是復(fù)原圖像的顏色很大程度上會變得比較暗并且過度的凸顯圖像的細(xì)節(jié)，影響了圖像的可視性。而w值越小，復(fù)原圖像中的霧氣去除效果越不明顯。一般w設(shè)為0.95。

根據(jù)第3.1節(jié)計(jì)算得出的大氣光值A(chǔ)c和上述計(jì)算得出的透射率圖t(x)，可以根據(jù)大氣散射模型求出復(fù)原圖像J(x)

(5)

式中t0是為了避免透射率t(x)過小而設(shè)置的閾值(通常設(shè)t0=0.1)。

圖3 通過不同算法獲得的透射圖和相應(yīng)的圖像去霧結(jié)果

從圖3中可以看出，通過He等人[11]提出的方法進(jìn)行去霧時，去霧結(jié)果中的天空區(qū)域出現(xiàn)了顏色失真的情況。而通過本文提出的算法進(jìn)行圖像去霧時，去霧結(jié)果中天空區(qū)域的顏色比較自然，并且沒有出現(xiàn)顏色失真的情況。

3.3 HSI顏色空間處理

由于本文提出的算法是基于暗通道先驗(yàn)原理，使得去霧后的圖像J(x)顏色較暗。因此，將初步去霧后的圖像轉(zhuǎn)為HSI顏色空間并保持H(色調(diào))和S(飽和度)不變，僅對I(亮度)進(jìn)行限制對比度自適應(yīng)直方圖均衡化處理。將處理完的HSI顏色空間轉(zhuǎn)為RGB顏色空間得到最終的去霧后圖像。

限制對比度自適應(yīng)直方圖均衡化主要思想是對其對比度進(jìn)行限幅，具體過程可以描述為：

1)將圖像分割為n個大小相等的連續(xù)子區(qū)域(不重疊)，計(jì)算出每個區(qū)域內(nèi)的直方圖。

圖4 直方圖裁剪和重新均勻分配示意圖

2)對每個子區(qū)域內(nèi)的直方圖進(jìn)行裁剪，使其幅值低于預(yù)先設(shè)定好的上限。如圖4所示，將裁掉的部分像素重新均勻分配到各個灰度級中。從圖4中可以看出，經(jīng)過重新均勻分配后的直方圖有部分像素超過預(yù)先設(shè)定好的上限，故重復(fù)此過程直至所有被裁剪的像素被均勻分配為止。

3)對限制對比度后的每個區(qū)域的直方圖分別進(jìn)行均衡化。

4)最后為了消除人為引起的邊界，使用雙線性插值法將相鄰區(qū)域合并，為每個像素進(jìn)行線性插值運(yùn)算得到最終的圖像。

從圖5中可以看出，通過對HSI顏色空間中的亮度I進(jìn)行限制對比度直方圖均衡化操作，有效的改善了圖像場景亮度偏暗的問題，并且提高了圖像的對比度，更加凸顯去霧后圖像的細(xì)節(jié)。

圖5 初步去霧結(jié)果和最終去霧結(jié)果的比較

4 實(shí)驗(yàn)結(jié)果與分析

本文使用MATLAB編程語言，在windows7的操作系統(tǒng)上進(jìn)行所有實(shí)驗(yàn)。硬件平臺為Inter(R) Core(TM) i5 - 4278U CPU @ 2.60GHz處理器、8GB RAM。

將本文提出的算法與幾種著名的圖像去霧方法(He等人[11]，Zhu等人[14]，Meng等人[15]，Cai等人[16])進(jìn)行比較，分別使用定性評估和定量評估的方式來驗(yàn)證本文方法的有效性。

4.1 真實(shí)有霧圖像定性評估

圖6到圖10表示不同場景下真實(shí)有霧圖像的去霧結(jié)果，其中(a)表示原始有霧圖像，(b)表示He等人[11]的去霧結(jié)果，(c)表示Zhu等人[14]的去霧結(jié)果，(d)表示Meng等人[15]的去霧結(jié)果，(e)表示Cai等人[16]的去霧結(jié)果，(f)表示本文算法的去霧結(jié)果。

圖6 火車圖像的去霧結(jié)果比較

圖7 稻草圖像的去霧結(jié)果比較

圖8 公路圖像的去霧結(jié)果比較

圖9 城市圖像的去霧結(jié)果比較

圖10 森林圖像的去霧結(jié)果比較

從圖6到圖10中可以看出，雖然He等人[11]提出的經(jīng)典暗通道方法可以有效地去除有霧圖像中的霧氣，但是去霧后的圖像顏色偏暗，如圖6(b)所示，并且天空區(qū)域容易出現(xiàn)顏色失真，如圖10(b)所示。雖然Zhu等人[14]提出的顏色衰減先驗(yàn)方法可以增強(qiáng)圖像的紋理信息，但是該方法去霧后的圖像顏色偏暗，如圖6(c)所示，并且遠(yuǎn)處的圖像場景容易出現(xiàn)霧氣去除不徹底的情況，如圖7(c)所示。Meng等人[15]提出的基于邊界約束的去霧方法，該方法可以有效地去除圖像中的霧氣，但是該方法去霧后的圖像容易發(fā)生顏色失真的情況，如圖6(d)所示。Cai等人[16]提出了一種端到端的網(wǎng)絡(luò)去霧方法，雖然去霧后圖像的顏色沒有發(fā)生失真，但是并沒有很有效的去除圖像中的霧氣，如圖10(e)所示。

從圖10(f)中可以看出，本文提出的算法改善了He等人[11]和Meng等人[15]去霧結(jié)果中的天空區(qū)域發(fā)生色彩失真的情況。并且避免了Zhu等人[14]和Cai等人[16]的方法對于遠(yuǎn)處場景的霧氣去除不徹底的情況。從圖6到圖10不同場景下的圖像去霧結(jié)果可以看出，本文提出的算法可以有效的去除圖像中的霧氣。與一些經(jīng)典的圖像去霧方法相比，避免了出現(xiàn)顏色失真的情況，并且改善了去霧后的圖像亮度偏暗的問題。綜合以上定性分析的結(jié)果可以看出，本文提出的算法總體去霧效果更佳。

4.2 真實(shí)有霧圖像定量評估

由于每個人的視覺感知是不同的，使得定性評估的方式包含一些主觀因素。為了更公平的比較實(shí)驗(yàn)，本文又采用定量評估的方式來驗(yàn)證提出算法的有效性。本文選取圖像平均梯度、可見邊邊緣梯度法[18]和圖像信息熵作為定量評估的指標(biāo)。

圖像平均梯度可以描述圖像的清晰程度，反映了圖像細(xì)節(jié)反差程度以及紋理變化。通常來說，平均梯度值越大，圖像越清晰。圖像平均梯度可以表示為

(6)

如表1所示，與其它4種對比的圖像去霧方法相比較，通過本文提出的算法對真實(shí)有霧圖像進(jìn)行去霧處理，去霧結(jié)果的平均梯度值最高。這表明了通過本文算法去霧后的圖像細(xì)節(jié)豐富，紋理清晰。

表1 去霧結(jié)果的平均梯度g對比

可見邊邊緣梯度法[18]包括三個評估指標(biāo)，e(新增可見邊比率)、r(恢復(fù)后對比度質(zhì)量)和σ(恢復(fù)后飽和像素?cái)?shù))。一般來說，e和r的值越大表明去霧后的圖像質(zhì)量越好，σ值越小表明去霧后的圖像質(zhì)量越好，e、r和σ分別定義為[18]：

(7)

(8)

(9)

如表2所示，本文提出算法的新增可見邊比率基本優(yōu)于其它4種對比的圖像去霧方法。僅有個別數(shù)據(jù)略高于本文提出的算法，并且相差較小。例如表2中有關(guān)圖7的數(shù)據(jù)顯示，He等人[11]提出方法的新增可見邊比率略高于本文提出算法的新增可見邊比率。但是結(jié)合定性評估的結(jié)果來看，He等人[11]的去霧結(jié)果中顏色相對偏暗，遠(yuǎn)處的細(xì)節(jié)不容易被人眼捕捉，而本文提出算法的色彩飽和度和亮度都略高于He等人的方法。

表2 去霧結(jié)果的新增可見邊比率e對比

如表3所示，與幾種著名的圖像去霧方法相比較，采用本文提出的算法進(jìn)行去霧處理，恢復(fù)后對比度質(zhì)量最高。這表明了采用本文提出的算法恢復(fù)后的圖像具有較高對比度的特點(diǎn)。

如表4所示，本文算法恢復(fù)后飽和像素?cái)?shù)在圖6、7、8中具有很好的競爭優(yōu)勢。在表4中有關(guān)圖9的數(shù)據(jù)顯示，Zhu等人[14]和Meng等人[15]提出方法的恢復(fù)后飽和像素?cái)?shù)略優(yōu)于本文提出算法的恢復(fù)后飽和像素?cái)?shù)。但是從定性評估角度來看，Zhu等人[14]和Meng等人[15]的去霧結(jié)果中，近距離建筑物復(fù)原的細(xì)節(jié)略差于本文提出算法的去霧效果。表4中有關(guān)圖10的數(shù)據(jù)顯示，He等人[11]提出方法的恢復(fù)后飽和像素?cái)?shù)略優(yōu)于本文提出算法的恢復(fù)后飽和像素?cái)?shù)。但是從定性評估角度來看，He等人[11]去霧結(jié)果中的天空區(qū)域出現(xiàn)了顏色失真，并且近距離的場景顏色暗淡。

表3 去霧結(jié)果的恢復(fù)后對比度質(zhì)量r對比

表4 去霧結(jié)果的恢復(fù)后飽和像素?cái)?shù)σ對比

圖像信息熵值的大小可以反映圖像信息量的多少。通常來說，圖像信息熵的值越大，圖像的信息量越豐富、質(zhì)量越好。圖像信息熵可以表示為

(10)

如表5所示，與其它4種對比的圖像去霧算法相比較，本文去霧結(jié)果的圖像信息熵具有較好的競爭優(yōu)勢，僅圖10中Zhu等人[14]的數(shù)據(jù)略優(yōu)于本文算法。但是從定性評估的角度來看，Zhu等人[14]方法的去霧效果并沒有本文方法的去霧后效果顯示的信息量豐富，并且遠(yuǎn)處場景存在霧氣去除不徹底的情況。而本文算法的去霧結(jié)果中遠(yuǎn)處場景的細(xì)節(jié)較為突出。

表5 去霧結(jié)果的圖像信息熵U對比

5 結(jié)論

本文針對現(xiàn)有的圖像去霧算法存在顏色失真和去霧后圖像亮度偏暗的問題，提出了基于改進(jìn)暗通道先驗(yàn)的圖像去霧算法。通過改進(jìn)的四叉樹搜索算法來估計(jì)大氣光候選區(qū)域，提高了大氣光值估計(jì)的準(zhǔn)確性，并且有效地減少了去霧后的圖像出現(xiàn)顏色失真的情況。此外，通過將初步去霧后的圖像轉(zhuǎn)為HSI顏色空間，僅對亮度I進(jìn)行限制對比度自適應(yīng)直方圖均衡化處理，有效的改善了去霧后的圖像顏色偏暗的問題，提高了圖像的對比度，使去霧后的圖像凸顯更多細(xì)節(jié)。