基于天空區(qū)域分割的單幅海面圖像去霧方法

雷 琴,施朝健,陳婷婷

(1.上海海事大學商船學院,上海201306;2.蘭州交通大學電子與信息工程學院,蘭州730070)

基于天空區(qū)域分割的單幅海面圖像去霧方法

雷 琴1,2,施朝健1,陳婷婷1

(1.上海海事大學商船學院,上海201306;2.蘭州交通大學電子與信息工程學院,蘭州730070)

為提高霧天海面圖像的質量,提出面向單幅海面圖像的去霧方法。將均值漂移方法與嵌入置信度的邊緣檢測方法相結合進行圖像分割,分割后的圖像用形態(tài)學膨脹與腐蝕操作進行二值化,提取出天空區(qū)域和非天空區(qū)域。對天空區(qū)域使用限制對比度直方圖均衡算法去霧,非天空區(qū)域使用基于導向濾波的暗通道優(yōu)先算法去霧。導向濾波通過導向圖像內(nèi)容來計算濾波輸出,在精細化透射圖方面可以得到與軟摳圖方法類似的效果,計算開銷較小。實驗結果表明,相對于暗通道優(yōu)先方法,該方法在天空區(qū)域沒有明顯的過渡區(qū)域和偏色現(xiàn)象,可取得較好的去霧效果。

海面圖像;去霧方法;圖像分割;天空區(qū)域;均值漂移;暗通道優(yōu)先

1 概述

戶外場景圖像經(jīng)常會由于霧霾的影響而產(chǎn)生降質現(xiàn)象,這些圖像在對比度和色彩保真度方面都會發(fā)生不同程度的衰減。去霧后的圖像不僅可以帶來更好的直觀視覺效果,并且去霧后的清晰圖像更有利于類似目標識別等算法的實現(xiàn)。在海上航行過程中,海霧是一種危害很大的天氣現(xiàn)象,無論在海上還是在海岸帶地區(qū),海霧都因其大大降低能見度而對交通運輸、漁業(yè)捕撈和養(yǎng)殖、海上油氣勘探開發(fā)以及軍事活動等造成不利的影響。其中,在全部因海洋和氣象原因造成的海難事故中,因海上能見度原因造成的船舶海難事故占有相當?shù)谋壤?。有效的海面圖像去霧方法能夠使船舶裝載的計算機成像系統(tǒng)得到更清晰的海面圖像,從而更好地保障船舶的航行安全。

本文基于暗通道優(yōu)先方法提出一種針對海霧圖像的去霧方法,采用均值漂移方法與嵌入置信度的邊緣檢測方法相結合進行圖像分割,分割出天空區(qū)域和非天空區(qū)域,對天空區(qū)域使用限制對比度直方圖均衡算法去霧,非天空區(qū)域使用基于導向濾波的暗通道優(yōu)先算法去霧。

2 暗通道優(yōu)先去霧算法

目前已有的圖像去霧技術主要分為2類［1-2］: (1)基于圖像增強的去霧方法［3］,該方法通過增強降質圖像的對比度來突出圖像細節(jié),以達到使圖像清晰化的視覺效果。(2)基于物理模型的圖像復原方法［4-5］。該方法首先建立霧天圖像退化模型,通過補償退化過程造成的圖像失真,從而獲得無霧圖像的最優(yōu)值。針對單幅圖像的去霧方法由于其實用性得到了廣泛的關注和研究,文獻［3］通過最大化局部對比度來實現(xiàn)圖像去霧;文獻［4］利用對部分符合規(guī)律的去霧模型采用優(yōu)化計算實現(xiàn)圖像去霧;文獻［5］提出了暗通道優(yōu)先去霧方法,并引起眾多研究人員的關注和進一步的深化和應用研究［6-9］。該方法是近年來文獻中效果最好、評價最高也是最實用的一種單幅圖像去霧方法。

盡管暗通道優(yōu)先去霧方法在當前單幅圖像去霧領域取得了巨大的進步,但是在海面圖像去霧的實際使用過程中會遇到一個極大的挑戰(zhàn)。由于海面圖像天空區(qū)域較多,暗通道優(yōu)先方法在處理天空區(qū)域效果一般［10］,容易產(chǎn)生過渡區(qū)域和偏色現(xiàn)象。

2.1 霧天圖像退化物理模型

在計算機視覺領域中,霧化圖像通常被描述為方程:

其中,I是觀察到的有霧圖像;J是需要恢復的無霧圖像;A是全局大氣光;t是透射率;β表示大氣散射系數(shù);d是景物深度［5］。該方程的物理意義為:右邊第1項代表物體本身的輻射經(jīng)大氣衰減后進入相機的光強,第2項代表大氣光經(jīng)反射或折射后進入相機的光強。去霧方法的本質就是要通過已知條件I,獲得目標值J,A和t。容易看出,去霧是一個欠約束問題,通常要添加不同的先驗信息或者約束條件才能求解。文獻［5］提出了暗通道優(yōu)先法則,并使用該法則得到了很好的去霧效果,這是目前文獻中最為有效的單幅圖像去霧方法。

2.2 導向濾波暗通道的優(yōu)先去霧方法

暗通道優(yōu)先法則認為:在絕大多數(shù)非天空的局部區(qū)域里,某一些像素總會有至少一個顏色通道具有很低的值。換言之,該區(qū)域光強度的最小值是個很小的數(shù)。給暗通道一個數(shù)學定義,對于任意的輸入圖像J,其暗通道可以用下式表達:

其中,Jc表示彩色圖像的每個通道;Ω(x)表示以像素x為中心的一個窗口。暗通道優(yōu)先的理論指出:

實際生活中造成暗原色中低通道值主要有3個因素:(1)汽車、建筑物和城市中玻璃窗戶的陰影,或者是樹葉、樹與巖石等自然景觀的投影;(2)色彩鮮艷的物體或表面,在RGB的3個通道中有些通道的值很低(比如綠色的草地/樹/植物,紅色或黃色的花朵/葉子,或者藍色的水面);(3)顏色較暗的物體或者表面,例如灰暗色的樹干和石頭?？傊?自然景物中到處都是陰影或者彩色,這些景物圖像的暗原色總是灰暗的。

將式(1)變形為:

如上所述,上標c表示R/G/B 3個通道的意思。首先假設在每一個小區(qū)域窗口內(nèi)透射率t(x)為常數(shù),定義為(x),并且A值已經(jīng)給定,然后對式(5)兩邊求2次最小值運算,得到下式:

根據(jù)前述的暗通道優(yōu)先理論有:

因此,可推導出:

將式(8)代入式(6),可得:

在現(xiàn)實生活中,即使是晴天白云,空氣中也存在著一些顆粒,因此,看遠處的物體還是能感覺到霧的影響,另外,霧的存在讓人類感到景深的存在,因此,有必要在去霧時保留一定程度的霧,可以在式(9)中引入一個在［0,1］之間的因子ω,則式(9)修正為:

全局大氣光A值可以借助于暗通道圖從有霧圖像中獲取該值。具體步驟如下:

(1)從暗通道圖中按照亮度的大小取前0.1%的像素。

(2)在這些位置中,在原始有霧圖像I中尋找對應的具有最高亮度的點的值,作為A值。

如此I,A,t都已經(jīng)求得了,完全可以進行J的計算。

當投射圖t的值很小時,會導致J的值偏大,從而使得圖像整體向白場過度,一般可設置閾值t0,當t值小于t0時,令t=t0,因此,最終的恢復公式如下:

3 海面圖像去霧方法

暗通道優(yōu)先去霧方法是當前單幅圖像去霧領域效果較好也是近年來影響最大的一種方法。雖然該方法在大部分戶外場景的單幅圖像去霧方面取得了很好的效果,然而在實際應用中依然存在一些問題;首先,暗通道優(yōu)先去霧方法有一定局限性,不適用于某些特定場景下的圖像去霧,例如對于海面圖像的去霧。由于海面圖像一般具有景深較廣、天空區(qū)域較大、海上目標相對比例較小、顏色整體灰白等特點,通過實驗發(fā)現(xiàn)使用暗通道優(yōu)先去霧方法對此類海面圖像尤其是天空區(qū)域的處理效果一般都不好。天空會出現(xiàn)明顯的過渡區(qū)域和偏色現(xiàn)象,如圖1所示。

圖1 海面圖像的去霧

圖1 (a)為一幅有霧的海面圖像,圖1(b)為對該圖像使用暗通道優(yōu)先方法去霧后的結果,從圖1(b)中白色區(qū)域可以看出,天空區(qū)域具有明顯的過渡區(qū)域和偏色現(xiàn)象。其次,該方法的實現(xiàn)需要進行大量計算,使得整個處理過程比較耗時,導致實際應用受限。

本文通過對海面圖像基本特征的分析,提出一種適合海面圖像去霧的方法,過程如下:

Step1 利用均值漂移方法對海面圖像進行分割,分割后圖像的區(qū)域邊界信息用嵌入置信度的邊緣檢測方法進行二次篩選。

Step2 分割后的圖像用膨脹和腐蝕等形態(tài)學操作提取天空區(qū)域。

Step3 天空區(qū)域圖像采用限制對比度直方圖均衡算法進行去霧。

Step4 非天空區(qū)域圖像采用暗通道優(yōu)先方法進行去霧。

Step5 合成Step3的天空區(qū)域圖像處理結果和Step4的非天空區(qū)域的圖像處理結果為最終海面圖像去霧結果。

3.1 天空區(qū)域分割與提取

本文海面圖像的天空區(qū)域分割采用均值漂移與嵌入置信度的邊緣檢測相結合的方法。均值漂移是一種有效的統(tǒng)計迭代算法,基本思想是先算出當前點的偏移均值,移動該點到其偏移均值,然后以此為新的起始點,繼續(xù)移動,直到滿足一定的條件結束［12］。均值漂移已廣泛應用于聚類分析、目標跟蹤、圖像分割和平滑、濾波、圖像邊緣提取等方面。

均值漂移分割算法如下:

令xi,zi,i=1,2,…,n分別表示空域-顏色域的d維輸入圖像和濾波后圖像的像素,Li表示分割后圖像的第i個像素的標簽。

Step1 初始化j=1,yi,1=xi。

Step2 用以下公式計算yi,j+1直至收斂y=yi,c。

其中,yj+1為{yj}j=1,2,…位置用核G計算的加權均值;y1為核的初始位置的中心。

Step4 對每一個zi,把在空域和顏色域中與zi距離分別小于hs和hr的點分為同一類。

Step5 可以設定一個M值,去除像素點個數(shù)少于M的類別。

邊緣檢測的3個基本過程為梯度估計、非最大值抑制和遲滯閾值［13］。大部分邊緣檢測方法在這3個基本過程中都會采用梯度向量的幅值作為選擇標準。嵌入置信度的邊緣檢測方法將置信度度量策略引入邊緣檢測的這3個基本過程,可以更加有效地進行邊緣檢測［13］。本文在利用均值漂移算法分割圖像后,結合置信度的屬性分析方法,進一步鑒別圖像像素屬性。海面圖像在分割以后,再采用一個結構元素進行形態(tài)學膨脹和腐蝕操作,將分割后的海面圖像進行二值化處理,提取天空區(qū)域。

3.2 限制對比度直方圖均衡算法

在大部分海面圖像中,天空區(qū)域所占比例通常較大,并且呈灰白色,暗通道優(yōu)先去霧算法對海面圖像天空區(qū)域的處理效果一般都不好,處理后的天空區(qū)域會出現(xiàn)明顯的過渡區(qū)域和偏色現(xiàn)象。對于類似天空區(qū)域這種像素值分布比較均衡,無深度突變的圖像,采用直方圖均衡算法進行去霧可以達到不錯的效果。不過,該方法有過度放大圖像中相同區(qū)域噪聲的問題,因此,本文采用一種自適應的直方圖均衡算法,即限制對比度直方圖均衡(Contrast Limited Adaptive Histogram Equalization,CLAHE)算法［14］來處理天空區(qū)域。自適應直方圖均衡化(Adaptive Histogram Equalization,AHE)采用了分塊化的直方圖策略,將圖像劃分為多個小塊,計算每一個小塊的直方圖,并根據(jù)這些直方圖重新分布圖像的亮度值。AHE算法可以很好地改善圖像的低對比度并帶來更多的細節(jié)信息。然而,AHE算法存在導致圖像相似區(qū)域過度放大噪聲的缺點。CLAHE算法用來克服AHE算法過度放大噪聲的問題［14］。CLAHE同普通的自適應直方圖均衡不同的地方主要是其對比度限幅,對于每個小區(qū)域都必須使用對比度限幅,主要用來克服自適應直方圖均衡化過度放大噪音的問題。

3.3 暗通道先驗算法

對于海面圖像的非天空區(qū)域來說,往往會有島嶼、船舶、航標等物體的投影或是海面上漂浮的暗色物體以及浪花激起的陰影,所以該區(qū)域的圖像是符合暗通道優(yōu)先法則的。采用暗通道優(yōu)先算法對該區(qū)域圖像去霧。首先按文獻［5］中所描述的算法自動獲得全局大氣光A的值。原方法的A是取原始像素中某一個點的像素,實際實驗中取符合條件的所有點的平均值作為A的值,因為如果是取一個點,則各通道的A值很有可能全部很接近255,這樣的話會造成處理后的圖像偏色和出現(xiàn)大量色斑。其次計算初始透射率圖 t～(x),由于該圖較粗糙有一些塊效應,因此對該透射率圖采用導向濾波的方式獲得更好更為精細的優(yōu)化后的透射率圖t(x)［11］。最后,已知A和t(x),就可以通過式(12)最后求得去霧后的清晰圖像J。由于只對原圖的非天空區(qū)域進行暗通道去霧,因此在時間上也比對整幅圖像進行處理要縮短很多,從而提高了算法效率。

4 實驗與結果分析

本節(jié)采用了第3節(jié)提出的圖像去霧方法對海面圖像進行去霧處理。圖2給出了去霧處理的仿真實驗結果。

圖2 海面圖像去霧實驗結果

圖2 (a)為實驗中采用的原始有霧海面圖像,分辨率為948×536。首先采用均值漂移方法與嵌入置信度的邊緣檢測方法相結合進行圖像分割,分割結果如圖2(b)所示。分割后的圖像用形態(tài)學膨脹與腐蝕操作進行二值化(采用11×11的方形結構元素),提取出天空區(qū)域和非天空區(qū)域,圖2(c)給出了形態(tài)學操作后的結果,圖中黑色區(qū)域為天空區(qū)域,灰色區(qū)域為非天空區(qū)域。天空區(qū)域用限制對比度直方圖均衡(CLAHE)算法去霧,非天空區(qū)域使用基于導向濾波的暗通道先驗算法去霧,圖2(d)為最終的海面圖像去霧結果。從圖2可以看到,由于海霧的影響,圖2(a)中大船上的字母名稱模糊不清晰,海天線上的小島嶼和小船基本都看不見,而圖2(d)得到了很好的改善。從圖1(b)和圖2(d)的對比中可以看出,文中使用的去霧方法在天空區(qū)域處理并沒有出現(xiàn)如圖1(b)中那樣的過渡區(qū)域和顏色失真。此外,從圖2(d)中可以看出,去霧后的圖像細節(jié)信息更加突出,例如圖2(d)中白色區(qū)域里面的船舶相比原圖更加清晰,保留了暗通道優(yōu)先方法在圖像去霧方面的良好性能,同時避免了該方法在處理某些圖像的天空區(qū)域效果欠佳的問題。

為了更好地驗證本文方法對有霧海面圖像的去霧效果,仿真實驗主要選用一些基于現(xiàn)場采集的海霧圖像。所采集的海面圖像由于大霧嚴重影響視覺效果,去霧處理具有較大挑戰(zhàn)性。圖3給出了本文方法處理的3組海霧較大的圖像對比實驗結果。從圖中可以看出,文獻［5］方法處理結果天空區(qū)域出現(xiàn)明顯的過渡區(qū)域和偏色現(xiàn)象,本文方法處理結果天空過渡區(qū)域更加自然,偏色現(xiàn)象也不明顯,說明本文方法對一些現(xiàn)場采集的真實海面圖像具有較好的去霧效果。

圖3 海霧較大的海面圖像去霧實驗結果

此外,還考察了本文方法的實時性,在實驗中評估了計算開銷。實驗采用64位Windows 8操作系統(tǒng),CPU為 Intel(R)Core(TM)i5-3230M,主頻2.60 GHz,內(nèi)存為4 GB的Lenovo Y400計算機仿真。表1給出了圖3中3幅圖像分別采用本文方法、文獻［5］方法以及基于導向濾波的文獻［11］方法的計算開銷比較結果,可以看出本文方法在計算速度上相對于文獻［5］方法有明顯提高,與基于導向濾波的文獻［11］方法計算時間基本相當,均在幾十毫秒,可以滿足一定的實時性要求。相對于文獻［5］方法,雖然本文方法還需要分割圖像以及用CLAHE算法處理天空區(qū)域,但是計算開銷主要依賴于暗通道優(yōu)先方法,而暗通道優(yōu)先方法計算開銷較大的主要原因是軟摳圖在精細化透射圖時需要求解Matting Laplacian矩陣［15］。由于本文方法采用導向濾波替代軟摳圖方法精細化透射圖,不用求解Laplacian矩陣,因而本文方法具有較小的計算開銷,這與文獻［11］中的結果一致。

表1 計算時間比較

5 結束語

本文通過對不同去霧方法的分析,結合海面圖像特征,提出一種基于天空區(qū)域分割的單幅海面圖像去霧方法。經(jīng)過實驗證明,該方法保留了暗通道優(yōu)先去霧方法突出的去霧效果,同時避免了暗通道優(yōu)先方法在海霧圖像天空區(qū)域可能存在明顯的過渡區(qū)域和偏色現(xiàn)象的不足,此外由于只對原圖的一部分區(qū)域進行暗通道去霧并且采用導向濾波來精細化透射圖,因此去霧速度較快。

［1］禹 晶,徐東彬,廖慶敏.圖像去霧技術研究進展［J］.中國圖象圖形學報,2011,16(9):1561-1576.

［2］郭 璠,蔡自興.圖像去霧算法清晰化效果客觀評價方法［J］.自動化學報,2012,38(9):1410-1419.

［3］Tan R T.Visibility in Bad Weatherfrom a Single Image［C］//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition.Washington,D.C.,USA: IEEE Computer Society,2008:2347-2354.

［4］Fattal R.Single Image Dehazing［J］.ACM Transactions on Graphics,2008,27(3):721-729.

［5］He Kaiming,Sun Jian,Tang Xiaoou.Single Image Haze Removal Using Dark Channel Prior［C］//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition.Washington,D.C.,USA:IEEE Computer Society,2009:1956-1963.

［6］Ullah E,Nawaz R,Iqbal J.Single Image Haze Removal Using Improved Dark Channel Prior［C］//Proceedings of International Conference on Modelling,Identification and Control.Washington,D.C.,USA:IEEE Computer Society,2013:245-248.

［7］Lan Xia,Zhang Liangpei,Shen Huanfeng,et al.Single Image Haze Removal Considering Sensor Blur and Noise［J］.EURASIP Journal on Advances in Signal Processing,2013,(1):1-13.

［8］Li Bo,Wang Shuhang,Zheng Jin,et al.Single Image Haze Removal Using Content-adaptive Dark Channel and Post Enhancement［J］.IET Computer Vision,2014, 8(2):131-140.

［9］Pei Soo-Chang,Lee Tzu-Yen.Effective Image Haze Removal Using Dark Channel Prior and Post-processing［C］//Proceedings of IEEE International Symposium on Circuits and Systems.Washington D.C.,USA:IEEE Press,2012:2777-2780.

［10］胡 偉,袁國棟,董 朝,等.基于暗通道優(yōu)先的單幅圖像去霧新方法［J］.計算機研究與發(fā)展,2010, 47(12):2132-2140.

［11］He Kaiming,Sun Jian,Tang Xiaoou.Guided Image Filtering［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence,2013,35(6):1397-1409.

［12］Comanicu D,Meer P.Mean Shift:A Robust Approach Toward Feature Space Analysis［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence,2002, 24(5):603-619.

［13］Meer P,Georgescu B.Edge Detection with Embedded Confidence［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence,2001,23(12):1351-1365.

［14］Zuiderveld K.ContrastLimited Adaptive Histogram Equalization［M］.San Diego,USA:Academic Press Professional,1994.

［15］Levin A,Lischinski D,Weiss Y.A Closed Form Solution to Natural Image Matting［J］.IEEE Transactions on Pattern Analysis&Machine Intelligence,2008,30(2):228-242.

編輯 顧逸斐

Single Sea Image Haze Removal Method Based on Segmentation of Sky Area

LEI Qin1,2,SHI Chaojian1,CHEN Tingting1
(1.Merchant Marine College,Shanghai Maritime University,Shanghai 201306,China;
2.School of Electronic and Information Engineering,Lanzhou Jiaotong University,Lanzhou 730070,China)

In order to enhance quality of sea hazy images,this paper presents a method of dehazing for sea hazy images.It uses the mean shift method and edge detection method of embedding confidence for image segmentation of a sea hazy image,and applies the morphological dilation and erosion operations with binarization to extract regional and non-regional sky area in the hazy image,and finally dehazes the sky area with restricted contrast histogram equalization algorithm,and non-sky area with dark channel prior with guided filtering.The guided filter computes the filtering output by considering the content of a guidance image,and achieves similar results of refining transmission maps compared with the soft matting method,but needs less computation cost.Experimental results show that relative to the dark channel priority method,the proposed method does not provide the transition area and the phenomenon of color cast in the sky area,and achieves high performance of haze removal.

sea image;haze removal method;image segmentation;sky area;mean shift;dark channel prior

1000-3428(2015)05-0237-06

A

TP391.41

10.3969/j.issn.1000-3428.2015.05.044

國家自然科學基金資助項目“面向海事監(jiān)測的GNSS-R海上物標探測及異類傳感器時空信息融合方法”(51379121);上海市自然科學基金資助項目“基于衛(wèi)星導航反射信號的海上物標探測方法及應用”(13ZR1418700);上海市科委能力建設基金資助項目“空間多元數(shù)據(jù)融合的海事監(jiān)測關鍵技術及應用”(12510501800)。

雷 琴(1980-),女,講師、博士研究生,主研方向:圖像處理,智能交通;施朝健,教授、博士生導師;陳婷婷,博士研究生。

2014-05-12

2014-07-12E-mail:50602748@qq.com

中文引用格式:雷 琴,施朝健,陳婷婷.基于天空區(qū)域分割的單幅海面圖像去霧方法［J］.計算機工程,2015, 41(5):237-242.

英文引用格式:Lei Qin,Shi Chaojian,Chen Tingting.Single Sea Image Haze Removal Method Based on Segmentation of Sky Area［J］.Computer Engineering,2015,41(5):237-242.