基于圖像分割的去霧算法

李林飛，孫　鑫

(西南科技大學(xué) 信息工程學(xué)院，四川 綿陽　621000)

?

基于圖像分割的去霧算法

李林飛，孫鑫

(西南科技大學(xué) 信息工程學(xué)院，四川 綿陽621000)

針對霧霾條件下，所得的單幅圖像出現(xiàn)降質(zhì)現(xiàn)象，因而對視覺效果要求高的圖像進行復(fù)原具有必要性；基于圖像分割的去霧算法以暗通道先驗?zāi)Ｐ蜑榛A(chǔ)對大氣光矢量A值的求取和透射率t(x,y)的處理方法實現(xiàn)改進；首先對單幅圖像進行閾值分割找到天空區(qū)域，在所獲取的天空區(qū)域部分結(jié)合skyline算法，可以找到精確的大氣光矢量A值；進而對初始透射率t(x,y)采用改進的約束最小二乘方濾波進行優(yōu)化，得到優(yōu)化透射率t1(x,y)，最后將所得的大氣光矢量A值和優(yōu)化透射率t1(x,y)利用大氣光傳輸物理模型復(fù)原；改進算法的去霧結(jié)果具備保留細致的邊緣細節(jié)，同時具有高效的去除圖像噪聲能力；實驗結(jié)果表明，與he方法相對比，改進去霧算法的處理時間大程度縮短的同時，圖像效果得到了提升。

暗通道；閾值分割；skyline；最小二乘方濾波；去噪

0　引言

近年來，許多去霧算法被提出，去霧圖像的質(zhì)量也在不斷地提升?；诖罅康膽敉鈭D像分析之后，Tan[1]發(fā)現(xiàn)圖像在霧氣狀態(tài)比清晰狀態(tài)之下具有更高的對比度，因而Tan的主要去霧思想是對霧氣圖像增加盡可能大的對比度，通過這種方式能夠得到較好的去霧圖像效果。然而，真實場景的對比度是不能夠完全復(fù)原的，對霧氣圖像增加的對比度會使得圖像出現(xiàn)過飽和現(xiàn)象并且效果不自然；Fattal[2]則假定場景表面的陰影不會影響傳輸介質(zhì)，由此估計得到場景反照率。該方法基于大量的統(tǒng)計信息并且具有好的處理效果；Kratz[3]針對單幅圖像選用馬爾科夫隨機場，將場景反照率和景深作為兩個相互獨立的統(tǒng)計量，并且得到期望的最大值，同時能夠保留盡可能多的無霧圖像微小細節(jié)，但是輸出圖像的效果被過度增強；Jing[4]提出了一種快速去霧算法，此種方法采用快速雙邊濾波算法處理大氣光值A(chǔ)。但是由于雙邊濾波算法的處理時間比中值濾波算法慢，因而Kratz[3]方法比采用中值濾波算法的Tarrel[5]算法處理速度慢。通過對比大量去霧算法，He[6]得到無霧圖像至少有一個通道的像素值很低的結(jié)論，即暗原色先驗理論，該原理適用于大多數(shù)戶外圖像，但是當(dāng)圖像中存在與天空相似的場景時則會失效。

通過對于大量國內(nèi)外去霧算法的研究，He[6]方法更具優(yōu)勢。但是，由于He[6]方法引入了拉普拉斯矩陣，會消耗大量的處理時間。本文采用改進的He[6]方法不僅能夠提升圖像質(zhì)量，也能夠節(jié)約算法的處理時間。

1　背景

1.1大氣光傳輸物理模型

大氣光傳輸?shù)奈锢砟Ｐ蚚7]被廣泛地應(yīng)用于機器視覺以及計算機圖形圖像處理之中，能夠采用下公式概括：

(1)

圖1　環(huán)境光散射模型

式中，F(xiàn)(x,y)表示霧天圖像在像素點(x,y)的像素值的大?。籖(x,y)則表示無霧圖像在(x,y)處的像素值的大?。籺(x,y)表示傳輸介質(zhì)的透射率，即被攝像頭捕獲到的光線的多少；A為大氣光值；R(x,y)t(x,y)表示直接衰減的部分，也就是在介質(zhì)中被輻射和衰減的部分。此外A(1-t(x,y))則代表光線在大氣中被散射的部分。大氣傳輸?shù)奈锢砟Ｐ湍繕?biāo)是從霧氣圖像中獲取R(x,y)，A和t(x,y)。在具有n個像素點的彩色圖像F(x,y)中，含有3n個約束量以及4n+3個未知量，這些變量的存在使得去霧操作更加具有挑戰(zhàn)性。

在均勻的介質(zhì)中，透射率t(x,y)能夠采用以下公式進行表述：

(2)

其中：β為大氣光的散射系數(shù)，當(dāng)d(x,y)為場景深度，該公式表示場景中的光線與距離之間的關(guān)系，呈指數(shù)型衰減。

1.2暗通道

在非天空區(qū)域，至少存在一個通道的像素值很低并且接近于0，下式能夠表達清晰圖像中隨機一點的暗通道模型：

(3)

依據(jù)暗通道的定義，假定R(x,y)是一幅無霧圖像并且不存在天空區(qū)域，則其暗通道值很低甚至接近于0。

(4)

該模型為暗通道先驗?zāi)Ｐ?，其極低的像素值主要是由這三個原因所造成的：陰影(都市高樓大廈的遮影)，彩色目標(biāo)物體的表面(例如綠色的植物，紅色，黃色或者藍色的目標(biāo)物體)這些物體的暗通道值均很低。

2　改進的暗通道先驗算法

2.1閾值分割劃分區(qū)域

閾值分割算法[9]的目的是將目標(biāo)物體從背景中分割出來，進而將天空與其他景物分離，得到大氣光值A(chǔ)。閾值分割算法的主要步驟是分割閾值的選取，先驗知識可知，天空部分的像素值接近于255，因而本文選定手動設(shè)置閾值的方式用以節(jié)約處理時間。本文選擇簡單閾值分割算法(灰度級閾值分割算法，通過閾值的設(shè)定將圖像劃分為背景和目標(biāo)這兩個部分)。該方法首先將圖像轉(zhuǎn)換為灰度圖像，進而依據(jù)每一級灰度出現(xiàn)的概率繪制直方圖。設(shè)定原始圖像為F(x,y)，分割圖像為F1(x,y)，T為選定的閾值，基本公式能夠表述為：

(5)

設(shè)定閾值為150，180以及200，如圖2所示，將閾值設(shè)定為200，將天空區(qū)域S和原始霧天圖像F(x,y)實現(xiàn)分離。大多數(shù)閾值分割方法自動設(shè)定閾值分割天空區(qū)域?qū)⒒ㄙM算法的大部分處理時間，例如OTSU(大津法)，其選取閾值的方式為：

OTSU=Max[w0(t)*(u0(t)-u)^2+

(6)

圖2　閾值分割

式中，t為閾值，w0為整個圖像的背景所占比值；u0為背景的平均灰度值；w1整個圖像中的目標(biāo)物體所占的比值；u1為目標(biāo)物體的平均灰度值；u為整幅圖像的平均像素值。

2.2Skyline算法搜索大氣光值A(chǔ)

采用閾值分割的方法得到霧氣圖像天空部分的區(qū)域S1；進而采用Skyline算法[10]搜索全球大氣光值A(chǔ)。Skyline算法的目標(biāo)是尋找最優(yōu)解，本文采用Skyline算法尋找天空區(qū)域中像素的最大值，并且將該值設(shè)定為A。算法的實質(zhì)是點E1控制點E2，即點E1的值在任何一個坐標(biāo)維度上其值均不小于點E2，并且E1至少存在某個維度上的值大于E1?？梢圆捎肊1=[E[1],E[2],...,E[n]]控制E2=[E[1],E[2],...,E[n]]，當(dāng)E[i]≥E[j]時，至少存在一個維度的值滿足E[i]>E[j]。

圖3　Skyline模型

圖中，E2和E4被E1所控制，E4和E5被E3所控制，E7被E6所控制。E1，E3和E6沒有控制它們的點，因此其為Skyline點，Skyline點中具有所要查找的最大值點。本文采用Skyline算法搜索霧天圖像的天空區(qū)域，得到全球大氣光值A(chǔ)。

2.3改進的最小二乘濾波優(yōu)化透射率

由于初始透射圖會出現(xiàn)深度斷續(xù)的現(xiàn)象。He[6]采用軟摳圖的方式處理初始透射率，但是該方法占用處理時間的70%以上。本文選用改進的最小二乘濾波方法[11]處理透射率，傳統(tǒng)的濾波方式處理后邊緣細節(jié)易丟失，并且很難獲得好的去噪效果。改進的最小二乘濾波方法保邊去噪的能力強。

最小二乘濾波的數(shù)學(xué)模型是基于二維離散卷積的復(fù)原濾波模型，并且需要引入約束條件。該模型中，f(x,y)為待處理圖像，n(x,y)為相關(guān)噪聲，而g(x,y)為降質(zhì)圖像。

(7)

該離散模型的二維變換如下式所示：

(8)

改進的最小二乘濾波給出線性算子B1和B2,采用‖B1t(x,y)‖2+∫‖B2t(x,y)‖2構(gòu)建透射率t1(x,y)，并且其最小值滿足‖g·Ht(x,y)‖2=‖n‖2，采用拉氏算子λ構(gòu)建下式：

(9)

采用不同的操作數(shù)獲取J(t1(x,y))和t(x,y)的最小比例值，如下式：

2λHTg+2λHTt(x,y)=0

(10)

設(shè)定Rt1(x,y)和Rn為t1(x,y)和n的自相關(guān)矩陣，并且能夠定義為B1TB1=Rt(x,y)Rn,B2TB2=CTC

(11)

(12)

D,A,B,E為對角陣，并且定義H=WDW-1,Rt(x,y)=WAW-1,Rn=WBW-1,C=WEW-1。

(13)

將式(13)變換到頻域，則可得：

(14)

初始透射圖以及經(jīng)過改進的最小二乘濾波處理之后的透射如圖4所示，與He[6]方法處理所得的透射圖相比，更接近于真實值。

圖4　透射圖

2.4本章小結(jié)

本文首先采用閾值分割劃分天空區(qū)域，進而采用Skyline算法找到全球大氣光值最大值A(chǔ)；然后采用改進的最小二乘濾波算法處理透射率t(x,y)得到t1(x,y)，最后采用公式(1)還原得到清晰無霧的圖像。

3　實驗結(jié)果

本文在Windows XP操作系統(tǒng)，Inter corei7-990X CPU5GHz具有4GB內(nèi)存的計算機上運行Visual Studio 2012，配置opencv 2.4.5，采用改進算法實現(xiàn)去霧的目的。改進算法不僅能夠節(jié)約處理時間提高處理效率，同時能夠得到較為自然的圖像處理結(jié)果。

3.1與其他去霧方法對比

本文選擇大量測試圖像進行去霧算法的對比，通過和He[6]方法和Retinex[8]方法的對比，處理之后的圖像質(zhì)量得到提升并且其效果接近真實自然的無霧圖像，如圖5、圖6所示。

圖5　本文和其他算法降質(zhì)圖像

圖6　本文和其他算法降質(zhì)圖像

3.2處理效率對比

以分辨率為600*800的圖像為例，He[6]方法的處理速度為19 560 ms，其中軟摳圖部分的耗時為14 083 ms，該部分占用了大量處理時間。改進算法的處理時間為1 117 ms，處理速度得到顯著提高。Retinex[8]的圖像處理速度為1 205 ms，但其圖像處理效果失真明顯。表中給出不同分辨率圖像的各算法處理時間，本文算法提高圖像處理質(zhì)量的同時縮短了處理時間。

表1　不同算法的處理時間

4　結(jié)論與展望

本文對大氣光矢量A的求取方法進行改進，已有的基于大氣光物理模型的去霧方法一般取整幅圖像像素最大值，或者圖像像素的最大的百分之一的平均值。He[6]采用的軟摳圖占用了整個算法70%的處理時間。本文先采用閾值分割確定天空的區(qū)域，再利用skyline實現(xiàn)A值的較準確定位。進而對初始透射圖利用改進的約束最小二乘方濾波實現(xiàn)優(yōu)化。該方式兼得了傳統(tǒng)最小二乘方濾波去噪能力強的優(yōu)點，并盡可能完整的保持了邊緣細節(jié)。本文所采用的閾值分割結(jié)合Skyline確定A值，并且采用改進的約束最小二乘方濾波優(yōu)化初始透射率是本文的創(chuàng)新之處。與He[6]方法相較，本文方法的處理速度得到顯著提高，并且獲得較好的去霧效果。

下一步主要將本文算法應(yīng)用在視頻處理中。

[1] Tan R. Visibility in bad weather from a single image[A]. Proc of IEEE CVPR08[C]. 2009:1-8.

[2] Fattal R. Single image de-hazing[J]. ACM Transactions on Graphics(0730-0301), 2008, 27(3):1-9.

[3] Kratz L, Nishino K. Factorizing scene albedo and depth from a single foggy image [A].Proceedings of the 2009 IEEE 12th International Conference on Computer Vision[C]. 2009:1701-1708.

[4] Jing Y, Chuangbai X, Dapeng L. Physics based fast single image fog removal[A]. Proceedings of the IEEE International Conference on signal Processing[C]. 2010: 1048-1052.

[5] Tarel J P, Hautiere N. Fast visibility restoration from a single color or gray level image[A].Proc. IEEE international conference on computer vision(ICCV)[C]. 2009:2201-2208.

[6] He K,et al. Single image haze removal using dark channel prior[A]. Proc. of IEEE CVPR09[C]. 2009:1956-1963.

[7] 幸山，嚴華，雷印杰.一種快速暗通道去霧算法[J].計算機測量與控制，2015,23(12):4141-4143.

[8] 石丹，李慶武，范新南，等.基于Courourlet變換和多尺度Retinex的水下圖像增強算法[J].激光與光電子學(xué)進展，2010,47(4):15-18.

[9] 范新南，郭建甲.一種新的自適應(yīng)工程圖像分割算法[J].計算機測量與控制，2006,14(3):395-397.

[10] 朱琳，關(guān)佶紅，周永康. Skyline計算研究綜述[J].計算機工程與應(yīng)用，2008，44(6):160-165.

[11] 閻雪飛，許廷發(fā)，白廷柱.變參式正則化圖像復(fù)原算法[J].Laser & Optoelectronics Progress, 2013, 50(5):51-58.

Rapid Defogging Algorithm Based on Image Segmentation

Li Linfei, Sun Xin

(School of Information Engineering, Southwest University of Science and Technology, Mianyang621000,China)

Directed at the haze conditions, the resulting single image degradation, therefore, the images that require high visual effects need to restore. The optimized algorithm based on dark channel prior improve the way of getting the atmospheric light vector A and the transmittancet(x,y). First using single threshold segmentation find the sky region, then combine with skyline algorithms can locate the precise atmospheric light vector A; then adopting improved Constrained least-square filter optimize the initial transmittancet(x,y) and get optimized transmittancet1(x,y), and finally restore degrade image by physical model of atmospheric with the resulting atmospheric light vector A and optimal transmissiont1(x,y). the improved defogging algorithm not only retained meticulous edge detail, but also has removed image noise efficiently. Experimental results show that compared with the he method, the improved method short defogging processing time, and improve the image effect simultaneously.

dark-channel; threshold segmentation; skyline; least-square filter; defogging

1671-4598(2016)04-0272-03DOI：10.16526/j.cnki.11-4762/tp.2016.04.078

TP391.4

A

2016-01-24；

2016-03-25。

四川省教育廳重點項目(15ZA0118);特殊環(huán)境機器人技術(shù)四川省重點實驗室開放基金(13zxtk0505);西南科技大學(xué)博士基金項目(13zx7112)。

李林飛(1995-)，男，四川樂山人，本科生，主要從事圖像處理、DSP方向的研究。