基于暗通道的快速圖像去霧方法研究與實(shí)現(xiàn)

吳 迪, 葛馨陽(yáng)(沈陽(yáng)師范大學(xué) 物理科學(xué)與技術(shù)學(xué)院, 沈陽(yáng) 110034)

0 引 言

近年來(lái),霧霾天氣愈演愈烈,然而在霧、霾等天氣條件下, 大氣中懸浮的大量顆粒(霧氣、煙、雜質(zhì)等)的散射作用致使成像設(shè)備獲得的圖像嚴(yán)重退化,這在很大程度上影響并限制了室外工作系統(tǒng)的工作性能[1],因此對(duì)霧天圖像進(jìn)行快速有效的去霧處理有著現(xiàn)實(shí)和理論的迫切需要。

迄今為止,國(guó)內(nèi)外對(duì)去霧算法的研究主要分2個(gè)方向:一類是基于圖像增強(qiáng)的方法,該類方法在增加帶霧圖像的對(duì)比度以及優(yōu)化視覺(jué)效果的方面頗有成效,適用的對(duì)象范圍較廣,但是在處理景深多變的圖像中局部景深的時(shí)候,無(wú)法體現(xiàn)出局部場(chǎng)景的細(xì)節(jié),也無(wú)法解決圖像過(guò)亮過(guò)暗或者光照不均的情況[2];另一類是基于大氣散射物理模型提出的去霧的方法,該類方法對(duì)霧天圖像的退化過(guò)程進(jìn)行模擬還原,最終去霧效果自然,無(wú)信息損失[3]。何凱明博士的暗通道先驗(yàn)去霧算法[4]也是在該模型的基礎(chǔ)之上提出來(lái)的。

1 霧天圖像退化的物理模型

根據(jù)大氣傳輸理論的描述,在雨雪霧等極度惡劣的天氣條件下,物體表面反射的光線由于大氣中的渾濁媒介的作用,從目標(biāo)物體到達(dá)觀測(cè)點(diǎn)的傳播過(guò)程中會(huì)發(fā)生散射,從而導(dǎo)致入射光衰減,使觀測(cè)點(diǎn)獲得的圖像存在對(duì)比度下降,細(xì)節(jié)模糊等特性。

1975年,McCartney提出了著名的大氣散射模型[5],該模型表示在霧天條件下,霧天圖像退化的物理模型是由入射光衰減模型與大氣光成像模型組合而成的,如圖1所示,該模型提出后在計(jì)算機(jī)視覺(jué)和圖形學(xué)領(lǐng)域中得到了廣泛的應(yīng)用。根據(jù)光線在惡劣天氣條件下傳輸?shù)奈锢硖匦?其描述為:

I(x)=t(x)J(x)+A(1-t(x))

(1)

圖1 霧天圖像退化的物理模型Fig.1 A physical model for haze image degradation

式(1)中,I表示帶霧圖像;J表示去霧圖像;t(x)表示光線透射率函數(shù);A表示大氣光強(qiáng)度。式(1)揭示了霧天圖像的成因,等號(hào)右邊的第1項(xiàng)t(x)J(x)為直接衰減項(xiàng)[6],表示目標(biāo)物體反射的光線經(jīng)過(guò)大氣傳播衰減后的部分,第2項(xiàng)A(1-t(x))則表示大氣光成像部分,該部分是由前方散射引起的,會(huì)導(dǎo)致成像后場(chǎng)景顏色的偏移。分析式(1)可知,I是已知帶霧圖像,J是待求的去霧圖像,透射率函數(shù)t和大氣光強(qiáng)度A都是未知的,在這種只有一個(gè)已知條件的狀態(tài)下,該方程顯然是無(wú)解的,需要添加先驗(yàn)知識(shí)來(lái)增加約束條件,進(jìn)而求解方程。本文將暗通道先驗(yàn)理論作為方程的約束條件,從而求解出方程中其他未知的參數(shù)[7]。

2 暗通道先驗(yàn)理論

暗通道先驗(yàn)理論是何凱明博士等人在晴朗無(wú)霧的天氣下對(duì)大量室外圖像觀察得出的,本文以下簡(jiǎn)稱何凱明方法。該理論指出,在大部分不含有天空的局部區(qū)域里,總會(huì)存在這樣一些像素,即在RGB顏色模型中至少有一個(gè)顏色通道的強(qiáng)度值很低或者接近于0[8],這些像素稱為暗像素(dark-channel pixel)。對(duì)于任何一幅圖像J,其暗像素Jdark可以定義為:

(2)

式(2)中,Jdark表示去霧圖像J的暗像素;Jc表示去霧圖像J的R、G、B三通道中一個(gè)通道;Ωx表示以x為中心的一個(gè)矩形窗口。假設(shè)在圖像塊Ωx范圍內(nèi)透射率相同,則在帶霧圖像I里,這些暗像素的強(qiáng)度值會(huì)變高,同時(shí)影響著光線穿透力的強(qiáng)弱,為初步估計(jì)透射率函數(shù)打下堅(jiān)實(shí)的基礎(chǔ)[7]。

何凱明方法可分為3個(gè)步驟: 1)去除背景干擾并估計(jì)大氣光強(qiáng)度A; 2)利用導(dǎo)向?yàn)V波獲得精細(xì)的透射率函數(shù)t; 3)求出大氣光強(qiáng)度A。 待求得所有未知量便可獲得最終的去霧圖像[10]。 何凱明博士等人提出的暗通道先驗(yàn)法在單幅圖像去霧方面取得了很大的進(jìn)步, 是目前最實(shí)用有效的去霧方法。 但是在實(shí)際使用過(guò)程中依然存在一些問(wèn)題, 其中首要的問(wèn)題就是大量的計(jì)算使得整個(gè)處理過(guò)程比較耗時(shí), 一幅分辨率266×272的圖像處理用時(shí)2.07 s(處理器為2.4 GHz、系統(tǒng)內(nèi)存為2.00 GB的普通PC), 嚴(yán)重限制了該方法的實(shí)際應(yīng)用和推廣。 針對(duì)時(shí)間復(fù)雜度高的問(wèn)題, 本文結(jié)合何凱明的去霧算法提出了一種改進(jìn)的圖像去霧方法, 該方法在保證去霧效果的前提下, 減少了去霧處理的計(jì)算量, 提升處理效率。

3 改進(jìn)的去霧方法

3.1 流程圖

圖2 流程圖Fig.2 Flow chart

本文提出的改進(jìn)方法流程圖如圖2所示。利用多分辨率的方法對(duì)高分辨率帶霧圖像I進(jìn)行降維處理以減少處理像素的時(shí)間,得到Ilow1和Ilow2,對(duì)其中一幅Ilow采用何凱明方法進(jìn)行去霧處理得到圖像Jlow2,并與另一幅細(xì)節(jié)圖像Q進(jìn)行融合,最后對(duì)融合后的圖像進(jìn)行升維處理到原分辨的p倍(0

3.2 降 維

為了更多的保留原帶霧圖像I的細(xì)節(jié)信息,本文在做降維處理時(shí)不添加平滑濾波器,并以2為采樣因子,對(duì)原帶霧圖像I進(jìn)行降維處理獲得子圖Ilow1和子圖Ilow2,再對(duì)2幅Ilow進(jìn)行何凱明去霧方法處理。經(jīng)過(guò)大量的實(shí)驗(yàn)處理結(jié)果驗(yàn)證,本文選用2幅子圖進(jìn)行融合,既滿足提升去霧速度,又能相對(duì)多的保留場(chǎng)景細(xì)節(jié)。本文采用客觀評(píng)價(jià)指標(biāo)峰值信噪比(PSNR)[11]來(lái)定量的測(cè)試暗通道先驗(yàn)去霧方法與改進(jìn)方法恢復(fù)出的圖像相對(duì)于原帶霧圖像的好壞程度,如圖3所示。

圖3 何凱明方法與改進(jìn)方法處理結(jié)果PSNR對(duì)比Fig.3 The comparison of the PSNR between He Kaiming method and improved method

圖3結(jié)果顯示,大部分圖片經(jīng)過(guò)改進(jìn)去霧方法處理后的峰值信噪比要高于何凱明方法,即改進(jìn)方法處理結(jié)果的失真度要優(yōu)于何凱明方法的處理結(jié)果。

3.3 融 合

考慮最終去霧圖像場(chǎng)景細(xì)節(jié)的還原,先對(duì)其中一幅低分辨率帶霧圖像Ilow1疊加高通濾波器,然后對(duì)2幅低分辨率去霧圖像進(jìn)行融合:

J(x)low=HJ(x)low1+J(x)low2

(3)

圖4 何凱明方法與改進(jìn)方法處理結(jié)果平均梯度對(duì)比Fig.4 The comparison of the average gradient between He Kaiming method and improved method

式(3)中:I(x)low1為低分辨率帶霧像;J(x)low2為低分辨率去霧像;H為高通濾波器,J(x)low為融合后的低分辨率去霧圖像,這樣在增強(qiáng)圖像細(xì)節(jié)特征的同時(shí),還可以對(duì)目標(biāo)圖像的噪聲進(jìn)行抑制。圖4所示為使用何凱明去霧方法和改進(jìn)方法處理的若干幅圖像的平均梯度,平均梯度是評(píng)判圖像清晰程度的指標(biāo),平均梯度越大,圖像細(xì)節(jié)反差率越大,圖像越清晰;反之,圖像越模糊。圖4表明,用改進(jìn)方法處理圖像的平均梯度均高于何凱明去霧方法處理圖像的平均梯度,即添加高通濾波器的改進(jìn)方法處理的圖片的清晰度優(yōu)于何凱明去霧方法處理的圖片的清晰度。

4 實(shí)驗(yàn)結(jié)果與分析

本文提出的改進(jìn)方法和何凱明方法均在操作系統(tǒng)為Windows 7、CPU為AMD V160 Processor 2.4 GHz處理器、系統(tǒng)內(nèi)存為2.00 GB的普通PC上運(yùn)行,并從視覺(jué)效果與時(shí)間復(fù)雜度上對(duì)處理結(jié)果進(jìn)行了對(duì)比。

4.1 視覺(jué)效果

通過(guò)對(duì)大量帶霧圖像進(jìn)行對(duì)比性實(shí)驗(yàn),證明本文提出的方法的有效性、可靠性。圖5～7為一幅分辨率1280×720的帶霧圖像的實(shí)驗(yàn)結(jié)果圖?？梢悦黠@看出,原本受霧氣影響模糊不清、顏色不真實(shí)的圖像經(jīng)過(guò)何凱明去霧方法和改進(jìn)方法處理之后在細(xì)節(jié)上更清晰,顏色上更真實(shí),圖像中被霧氣遮擋住的電線桿,經(jīng)過(guò)去霧處理后也清晰可見(jiàn)。

圖5 圖5霧化圖像Fig.5 Haze image

圖6 何凱明去霧方法處理結(jié)果Fig.6 Haze removal result of using He Kaiming’s method

圖7 改進(jìn)去霧方法處理結(jié)果Fig.7 Haze removal result of using improvedmethod

由圖8～10可見(jiàn)經(jīng)過(guò)何凱明去霧方法處理后的圖像在灰白區(qū)域出現(xiàn)大塊斑塊,但是由改進(jìn)方法處理后的圖像明顯改善,呈現(xiàn)較好的視覺(jué)效果。

圖8 霧化圖像Fig.8 Haze image

圖9 何凱明去霧方法處理結(jié)果Fig.9 Haze removal result of using He Kaiming’s method

圖10 改進(jìn)去霧方法處理結(jié)果Fig.10 Haze removal result of using improvedmethod

圖11～13分別為原帶霧圖像、何凱明去霧方法處理結(jié)果圖像、改進(jìn)去霧方法處理結(jié)果圖像,如圖所示,經(jīng)過(guò)2種方法的處理,濃霧現(xiàn)象都明顯改善,但就遠(yuǎn)景山峰輪廓細(xì)節(jié)而言,改進(jìn)去霧方法處理結(jié)果圖13明顯優(yōu)于的何凱明去霧方法處理結(jié)果圖12,層次感更強(qiáng),細(xì)節(jié)更完善。

圖11 霧化圖像Fig.11 Haze image

圖12 何凱明去霧方法處理結(jié)果Fig.12 Haze removal result of using He Kaiming’s method

圖13 改進(jìn)去霧方法處理結(jié)果Fig.13 Haze removal result of using improvedmethod

4.2 時(shí)間復(fù)雜度

圖14 何凱明方法與改進(jìn)方法處理時(shí)間對(duì)比Fig.14 The comparison of the time between He Kaiming method and improved method

為了驗(yàn)證本文算法在圖像處理速度上的提升,在同一臺(tái)PC、同一版本的Matlab軟件上處理分辨率1280×720的帶霧圖像,實(shí)驗(yàn)數(shù)據(jù)表明,何凱明去霧方法的運(yùn)算時(shí)間為24.23 s,改進(jìn)方法的運(yùn)算時(shí)間為13.11 s,大大提高了運(yùn)算效率。圖14是通過(guò)大量實(shí)驗(yàn)統(tǒng)計(jì)出的何凱明去霧方法與改進(jìn)方法所用時(shí)間的對(duì)比圖,由圖可見(jiàn),改進(jìn)方法運(yùn)行時(shí)間較何凱明方法的運(yùn)算時(shí)間提高了45%左右,且圖片的分辨率越大,改進(jìn)方法的優(yōu)勢(shì)越明顯。

5 結(jié) 論

本文通過(guò)對(duì)何凱明去霧方法進(jìn)行深入的分析與研究,結(jié)合霧天圖像退化的物理模型,通過(guò)對(duì)帶霧圖像進(jìn)行降維處理,實(shí)現(xiàn)了一種快速有效的圖像去霧處理方法,減少資源消耗,而且在處理某些圖像細(xì)節(jié)處時(shí)能夠得到效果更好的去霧效果,使暗通道先驗(yàn)的去霧算法更具備實(shí)時(shí)性。

[ 1 ]禹晶,李大鵬,廖慶敏. 基于物理模型的快速單幅圖像去霧方法[J]. 自動(dòng)化學(xué)報(bào), 2011(2):143-149.

[ 2 ]李方,王好賢,毛興鵬,等. 單一圖像的快速去霧算法[J]. 計(jì)算機(jī)工程與設(shè)計(jì), 2011(12):4129-4132.

[ 3 ]蔣建國(guó),侯天峰,齊美彬. 改進(jìn)的基于暗原色先驗(yàn)的圖像去霧算法[J]. 電路與系統(tǒng)學(xué)報(bào), 2011(2):7-12.

[ 4 ]HE Kaiming,SUN Jian,TANG Xiaoou. Single image haze removal using dark channel prior[C]∥CVPR, 2009:1956-1963.

[ 5 ]LEVIN A,LISCHINSKI D,WEISS Y. A closed form solution to natural image matting[C]∥CVPR, 2006:61-68.

[ 6 ]黃黎紅. 單幅圖像的快速去霧算法[J]. 光電子·激光, 2011(11):1735-1738.

[ 7 ]嵇曉強(qiáng),戴明,孫麗娜,等. 暗原色先驗(yàn)圖像去霧算法研究[J]. 光電子·激光, 2011(6):926-930.

[ 8 ]和曉軍,喬寅. 基于暗原色的單一圖像去霧算法的研究[J]. 計(jì)算機(jī)應(yīng)用研究, 2014(1):304-306.

[ 9 ]胡偉,袁國(guó)棟,董朝,等. 基于暗通道優(yōu)先的單幅圖像去霧新方法[J]. 計(jì)算機(jī)研究與發(fā)展, 2010(12):2132-2140.

[10]佟雨兵,張其善,祁云平. 基于PSNR與SSIM聯(lián)合的圖像質(zhì)量評(píng)價(jià)模型[J]. 中國(guó)圖象圖形學(xué)報(bào), 2006(12):1758-1763.

[11]劉海波,湯群芳,楊杰. 去霧圖像質(zhì)量客觀評(píng)價(jià)方法研究[J]. 量子電子學(xué)報(bào), 2016(1):20-28.

[12]王燕,伍博,谷金宏. 一種單幅圖像去霧方法[J]. 電光與控制, 2011(4):65-67.

[13]戚娜,惠紅梅,穆昌. 一種基于改進(jìn)的暗原色先驗(yàn)圖像去霧方法[J]. 計(jì)算機(jī)與現(xiàn)代化, 2016(5):18-21.

[14]陳瑤,孫興波,黃祥,等. 一種改進(jìn)的暗原色單幅圖像去霧方法[J]. 四川理工學(xué)院學(xué)報(bào)(自然科學(xué)版), 2012(5):62-64.