一種快速單幅圖像去霧新方法①

劉 哲, 黃文準, 黃世奇

?

一種快速單幅圖像去霧新方法①

劉 哲, 黃文準, 黃世奇

(西京學院信息工程學院, 西安 710123)

為了再現(xiàn)霧霾天氣下可見光圖像的清晰場景, 有效抑制霧霾退化造成的圖像對比度、清晰度下降, 本文提出了一種基于改進的雙邊濾波器的快速有效的去霧新方法. 該方法引進了本文首次發(fā)現(xiàn)的簡潔高效的“類高斯核”, 代替?zhèn)鹘y(tǒng)雙邊濾波器的高斯核. 改進的雙邊濾波器具有很好邊緣保持特性, 用該濾波器來準確優(yōu)化霧天大氣傳輸率的估計, 大大提高了計算效率; 在大氣光值估計中, 對暗通道和原圖兩個區(qū)間亮度最大值, 進行加權平均, 精確的估計出霧天大氣光值. 本文算法具有很快的處理速度, 能有效提高復原圖像的清晰度和對比度, 獲得較好的圖像顏色.

圖像去霧; 改進的雙邊濾波器; 大氣散射模型; 暗通道先驗; 圖像處理

在視頻監(jiān)控、導航控制、目標跟蹤、遙感和車輛自主駕駛等技術領域都涉及到霧天圖像處理. 在霧天天氣下, 空氣中會漂浮著大量顆粒, 光在大氣中傳播時會受到懸浮在大氣中的大量微小水滴、氣溶膠等顆粒的影響, 對光線產(chǎn)生散射和吸收作用. 它會導致圖像中目標的對比度降低、飽和度下降和色調(diào)偏移, 直接影響戶外視覺系統(tǒng)效用的發(fā)揮[1,2]. 因此, 霧天降質(zhì)圖像的清晰化處理具有十分重要的意義[3]. 目前, 針對圖像去霧, 人們提出了各種方法, 具體來說可以分為兩類: 圖像增強方法和圖像復原方法. 圖像增強處理這類方法是對被降質(zhì)的圖像進行增強, 改善圖像的質(zhì)量. 這種方法優(yōu)勢在于可以應用已有的成熟圖像處理算法, 可以對常用的圖像增強算法進行針對性的運用和改良, 增強圖像的對比度, 突出圖像中景物的特征和有價值的信息. 但是, 這種方法可能會造成圖像部分信息的損失, 使圖像失真[4]. 圖像復原通過分析霧圖降質(zhì)機理, 建立圖像散射模型, 充分利用圖像退化的先驗知識或假設, 實現(xiàn)場景復原. 相比而言, 利用圖像復原的方法具有內(nèi)在的優(yōu)越性, 已成為圖像去霧領域的研究熱點.

近年來, 基于先驗知識或假設的單幅圖像去霧技術取得了重大突破[5,6]. Tan[7]利用對比度的區(qū)域最大法獲得無霧圖像, 由于該方法旨在增強圖像的對比度, 沒有從物理模型上求解真實場景反照率, 恢復后的顏色顯得過飽和, 且在景深不連續(xù)的地方產(chǎn)生Halo效應. Fattal[8]假設物體表面色度與介質(zhì)傳播具有局部統(tǒng)計不相關性, 利用獨立成分分析來估計場景反照率. 該方法的性能與輸入圖像的統(tǒng)計特性有關, 對于濃霧下的圖像和灰度圖像, 由于顏色信息不足將導致統(tǒng)計估計不可靠. He等[9]提出了暗通道先驗法則, 并借助圖像摳圖算法, 對大多數(shù)戶外圖像都能獲得很好的去霧效果, 具備物理有效性. 但在某些暗通道不接近0的區(qū)域會出現(xiàn)偏差, 導致復原圖像失真, 且軟摳圖算法具有很高的時間和空間復雜度. Tarel等[10]假設大氣耗散函數(shù)在可行域中逼近最大值, 且局部變化平緩, 利用中值濾波來估計大氣耗散函數(shù). 由于沒有嚴格估計大氣光參數(shù), 導致復原效果整體偏暗, 且引入色調(diào)調(diào)整后, 容易引起顏色的失真和Halo效應.

在保證良好去霧效果的前提下, 盡可能的提高去霧算法執(zhí)行效率是學者們一直以來研究圖像去霧技術的方向. 很多新的快速算法源于對文獻[7]、[8]和[9]中算法的改進. 文獻[11]先求出部分像素點透射率值, 然后利用多源線性回歸求出整幅圖像的透射率, 以加快算法速度. 但這種方法求出的透射率較為平滑, 只適用于景深變化平緩的特定應用場合, 處理景物深度呈現(xiàn)劇烈跳變的圖像則效果較差. 文獻[12]中利用聯(lián)合雙邊濾波器對透射率進行細化, 代替文獻[9]中的軟摳圖, 一定程度上提升了算法的執(zhí)行效率, 但還是不明顯. 文獻[13]對圖像進行白平衡后, 求取顏色通道最小值作為環(huán)境光的粗估計, 然后進行邊緣保持濾波來細化環(huán)境光. 上述方法中的濾波器仍然較為耗時, 快速性有待提高.

本文首次提出了一種新穎改進的雙邊濾波器, 來對透射率進行精確估計. 改進的雙邊濾波器在對圖像進行濾波的同時, 能很好的保持圖像邊緣, 相比于He[9]采用軟件摳圖和He[9]提出引導濾波器對透射率進行細化, 改進的雙邊濾波器在保證透射率估計精度的同時, 具有更快的執(zhí)行速度. 在全局大氣光估計中, 本文從大氣散射模型出發(fā), 利用暗通道先驗知識, 通過與有霧圖像亮度最大值進行加權融合, 精確估計全局大氣光的取值范圍. 實驗表明, 本文方法大大降低了去霧算法的復雜度, 具有很好的去霧效果, 能滿足實時應用的要求.

1 背景

在計算機視覺數(shù)字圖像處理學中, 描述有霧圖像的散射模型[7,8]可表示為:

(2)

2 本文算法

2.1 傳輸率的粗估計

He[9]等通過對大量無霧圖像統(tǒng)計特征的觀察, 發(fā)現(xiàn)了被命名為暗原色先驗的先驗規(guī)律, 即在無霧圖像的非天空區(qū)域里, 若把圖像分為若干個子塊, 則每個子塊中都會有某些像素點的一個顏色通道的亮度接近于0.

(4)

(6)

又因為天空光來自無窮遠處, 其傳輸率趨近于0, 所以式(6)能較好地同時處理包含或者不包含天空的區(qū)域. 我們并不需要事先把天空部分單獨加以處理. 現(xiàn)實中, 即使是很晴朗的天氣, 空氣中總會不可避免地包含一些雜質(zhì)分子. 所以當我們看遠處的物體時霧依然是存在的. 而且, 霧的存在是人們感知深度的一個基本線索,這一現(xiàn)象被稱為空間透視. 如果徹底地移除霧的存在, 圖像會看起來不真實, 并且深度感會丟失. 所以我們可以通過在方程(6)中引進一個常數(shù)ω (0<ω≤ 1) , 有針對性的保留一部分覆蓋遙遠景物的霧:

(8)

2.2 雙邊濾波器

雙邊濾波 (Bilateral filter)[14]是一種非線性的濾波方法, 是結(jié)合圖像的空間鄰近度和像素值相似度的一種折衷處理, 同時考慮空域信息和灰度相似性, 達到保邊去噪的目的. 具有簡單、非迭代、局部的特點, 是一種同時考慮了像素空間差異與強度差異的濾波器, 因此具有保持圖像邊緣的特性. 其表達式為:

(10)

(11)

因此,

(12)

從式(12)可以看出, 雙邊濾波器的加權系數(shù)是這兩部分因子的非線性組合, 空間鄰近度因子和亮度像似度因子的乘積. 前者隨著像素點與中心點之間歐幾里德距離的增加而減小, 后者隨著兩像素亮度值之差的增大而減小. 在圖像變化平緩的區(qū)域,鄰域內(nèi)像素亮度值相差不大, 雙邊濾波轉(zhuǎn)化為高斯低通濾波器; 在圖像變化劇烈的區(qū)域,濾波器利用邊緣點附近亮度值相近的像素點的亮度值平均替代原亮度值. 因此, 雙邊濾波器既平滑濾波了圖像, 又保持了圖像邊緣.

由上面公式可以看出, 雙邊濾波器每計算一個點的值, 都要在這個點的鄰域進行兩次高斯模板運算, 算法復雜度很高, 在實際應用中非常耗時. 為此本文提出了一種高效的改進的雙邊濾波器.

2.3 改進雙邊濾波器

1) 該函數(shù)圖形是“類高斯分布圖”, 具有軸對稱、各向同性, 連續(xù)性、光滑性好;

2) 它與圖像卷積不會改變圖像的整體動態(tài)特性;

5) 具有與高斯函數(shù)相同的性質(zhì), 可以做為核平滑函數(shù), 在圖像處理領域可以得到廣泛應用.

所以該濾波器在圖像增強、圖像平滑、圖像降噪、圖像分割、圖像摳圖等領域的應用, 將在另外一篇論文中詳細討論.

(15)

(16)

式(14)、(15)、(16)和式(17)共同構(gòu)成了改進的雙邊濾波器. 從公式層面講, 改進的雙邊濾波器的核比高斯核減少了非常耗時指數(shù)運算, 從整個算法效率上講, 改進的雙邊濾波器比原來算法提高了近一倍. 為了進一步提高計算效率, 我們把二維濾波改為垂直和水平兩個方向的一維濾波, 即:

2.4 傳輸率的優(yōu)化估計

(20)

(21)

2.5 大氣光值的估計

文獻[10]直接采用最亮像素值估計大氣光值, 方法簡單但易受高亮度噪聲或白色物體的影響. 文獻[9]從暗原色中選取0.1%亮度最大的像素, 然后取這些像素對應于原圖像中的最大值作為大氣光值, 但是, 若圖像中天空區(qū)域小于暗原色求取中濾波窗口的尺寸, 則錯誤地濾除了天空區(qū)域. 因此, 本文采用減小大氣光取值范圍的方法, 通過區(qū)間估計, 提高大氣光值估計的精確度和魯棒性.

(a)原圖??????(b)初始傳輸率圖??????(c)初始傳輸率去霧圖???(d)優(yōu)化后的傳輸率圖???(e)優(yōu)化傳輸率去霧圖

(a)原圖??????(b)初始傳輸率圖???(c)初始傳輸率去霧圖???(d)優(yōu)化后的傳輸率圖???(e)優(yōu)化傳輸率去霧圖

(23)

(25)

(27)

2.6 圖像去霧復原

3 實驗和分析

3.1 算法復雜度分析

3.2 算法評價指標

為了衡量去霧算法的有效性, 實驗使用圖像均值(用m表示)來衡量圖像亮度, 鄰域標準差平均值(用e表示)表征局部對比對, 對于細節(jié)邊緣等對比度信息則使用基于梯度域的清晰度(用d來表示)來進行測度. 為了改善客觀評價指標的有效度, 便于兩種算法去霧性能的對比, 將鄰域標準差平均值和基于梯度域的清晰度在原計算公式的基礎上分別除以圖像亮度均值, 統(tǒng)一為單位亮度上的對比度和清晰度. 算法評價指標如表1所示, 其中算法執(zhí)行速度用v表示, 單位為秒.

表1 定量評價指標集

3.3 算法評價與分析

為了驗證本文算法的有效性, 選擇了5幅典型圖像進行復原實驗, 并從定性和定量兩個角度進行評價和分析. 圖5至圖9給出了5幅圖像去霧前后的實驗結(jié)果, 表1給出了5幅圖像的定量評價指標體系.

從圖中可以看出, 經(jīng)過本文算法處理后, 5幅圖像的清晰度和對比度都得到了很大程度的提高, 并且復原圖像色彩鮮艷, 具有較好的圖像顏色. 從表1中圖像處理的運算時間(硬件為Intel酷睿i5CPU, 雙核, 主頻2.6GHz, 8G內(nèi)存, 軟件為Matlab R2008a)來看, 本文算法具有很快的運算速度, 計算效率大大提高. 從圖像均值、鄰域標準差平均值、梯度域的清晰度三個指標來衡量, 本文算法的指標明顯高于He方法, 表現(xiàn)在:

1) 圖像亮度得到了明顯的提升. 如圖8和圖9, 經(jīng)過本文算法的處理, 圖像的整體亮度提高明顯, 更符合人眼視覺特性.

2) 圖像細節(jié)保持更好. 如圖5和圖9, 經(jīng)過本文算法處理, 圖像邊緣得到了很好的保持, 細節(jié)更加豐富和細膩.

3) 圖像的清晰度表現(xiàn)更好, 色彩更明快. 如圖6和圖7, 經(jīng)過本文算法處理, 能較好地恢復景物結(jié)構(gòu), 色彩深淺適宜, 圖像清晰度更高.

4) 計算速度得到了大幅度的提高, 如果進行算法優(yōu)化和并行化處理, 可以達到實時性要求.

(1) 樹林原始圖??????(2) He方法去霧圖??????(3) 本文方法去霧圖

(1) 房屋原始圖??????(2) He方法去霧圖??????(3) 本文方法去霧圖

4 結(jié)論

針對單幅圖像去霧算法中存在的處理效率低、去霧圖像偏暗等問題, 本文提出了一種基于改進的雙邊濾波器的快速有效的去霧新方法. 該方法引進了本文首次發(fā)現(xiàn)的簡潔高效的“類高斯核”(國內(nèi)外文獻未見報道), 代替?zhèn)鹘y(tǒng)雙邊濾波器的高斯核. 改進的雙邊濾波器具有很好邊緣保持特性, 本文用該濾波器來準確優(yōu)化霧天大氣傳輸率的估計, 大大提高了計算效率; 在大氣光值估計中, 對暗通道和原圖兩個區(qū)間亮度最大值, 進行加權平均, 精確的估計出霧天大氣光值. 本文算法具有很快的處理速度, 能有效提高復原圖像的清晰度和對比度, 獲得較好的圖像顏色. 在下一步研究中, 針對改進的雙邊濾波器, 研究利用高效的查表計算方法代替差平方和倒數(shù)的計算, 運用并行化處理技術進一步提高算法的效率.

1 Sun XM, Sun JX, Zhao LR, Cao YG. Improved algorithm for single image haze removing using dark channel prior. Journal of Image and Graphics, 2014, 19(3): 381–385.

2 Wu D, Zhu QS. The latest research progress of image dehazing. Acta Automatica Sinica, 2015, 41(2): 221–239.

3 Ji XQ, Dai M, Yin CL, Feng YP, Bai XG. Haze removal for aerial degraded images. Optics and Precision Engineering, 2011, 19(7): 1659–1668.

4 Nan D, Bi DY, Xu YL, Wang SQ, Lou XL. Image dehazing method based on dark channel prior. Journal of Central South University (Science and Technology), 2013, 44(10): 4101–4108.

5 Sun W, Li DJ, Liu HJ, Jia W. Fast single image fog removal based on atmospheric scattering model. Optics and Precision Engineering, 2013, 21(4): 1040–1046.

6 Li QH, Bi DY, Xu YL, Zha YF. Haze degraded image scene rendition. Acta Automatica Sinica, 2014, 40(4): 744–750.

7 Tan RT. Visibility in bad weather from a single image. Proc. of the 2008 IEEE Conference on Computer Vision and Pattern Recognition. Anchorage, USA. IEEE. 2008. 1–8.

8 Fattal R. Single image dehazing. ACM Trans. on Graphics, 2008, 27(3).

9 He KM, Sun J, Tang XO. Single image haze removal using dark channel prior. Proc. of the 2009 IEEE Conference on Computer Vision and Pattern Recognition. Miami,USA. IEEE. 2009. 1956–1963.

10 Tarel JP, Hautiere N. Fast visibility restoration from a single color or gray level image. Proc. of the 12th IEEE International Conference on Computer Vision. Kyoto, USA. IEEE. 2009. 2201–2208.

11 Li F, Wang HX, Mao XP, Sun YL, Song HY. Fast single image defogging algorithm. Computer Engineering and Design, 2011, 32(12): 4129–4132.

12 Xu HR, Guo JM, Liu Q, Ye L. Fast image dehazing using improved dark channel prior. Proc. IEEE Conference Information Science and Technology. 2012. 663–667.

13 Yu J, Xiao CB, Li DP. Physics-based fast single image fog removal. Proc. IEEE Conference Signal Processing. 2010. 1048–1052,

14 Tomasi C, Manduchi R. Bilateral filtering for gray and color images. Proc. of the Sixth International Conference on Computer Vision. Washington D.C., USA. 1998. 839–8461.

15 李大鵬,禹晶,肖創(chuàng)柏.圖像去霧的無參考客觀質(zhì)量評測方法.中國圖象圖形學報,2011,16(9):1753–1757.

16 郭璠,蔡自興.圖像去霧算法清晰化效果客觀評價方法.自動化學報,2012,38(9):1410–1419.

17 Pei SC, Lee TY. Nighttime haze removal using color transfer pre-processing and dark channel prior. Proc. of the 19th IEEE International Conference on Image Processing (ICIP). Orlando, FL. IEEE. 2012. 957–960.

18 Reinhard E, Adhikhmin M, Gooch B, Shirley P. Color transfer between images. IEEE Trans. on Computer Graphics and Applications, 2001, 21(5): 34–41.

New Fast Single Image Dehazeing Method

LIU Zhe, HUANG Wen-Zhun, HUANG Shi-Qi

(Department of Electronic and Information Engineering, Xijing University, Xi’an 710123, China)

Imaging in the atmosphere presents the phenomenon of low contrast, low saturation and hue offset due to atmospheric particles such as haze and fog. In this paper, a fast method is proposed to remove haze from a single image based on modified bilateral filtering. The similar Gaussian kernel that is firstly proposed in this paper is applied to structure the modified bilateral filtering. The modified bilateral filtering is a linear edge preserving filter and is used to refine medium transmission; meanwhile, it can effectively enhance the speed of data processing. The dark channel prior and fog image are used to accurately estimate the value of global atmospheric light by an interval through weighted fusion. Compared to some state-of-the-art methods, the proposed method can achieve a faster processing speed, effectively improve the visibility and contrast of the restored images, and obtain good color effect.

image dehazing; bilateral filtering; atmospheric scattering model; dark channel prior; image processing

國防預研項目(20157648)

2016-04-19;收到修改稿時間:2016-07-14

[10.15888/j.cnki.csa.005576]