改進(jìn)暗通道先驗的航空圖像去霧

韓昊男，錢 鋒，呂建威，張 葆*

(1. 中國科學(xué)院大學(xué)，北京 100049；2. 中國科學(xué)院 長春光學(xué)精密機械與物理研究所，吉林 長春 130033)

1 引 言

航空光電成像設(shè)備在外場工作時，不可避免地會受到天氣的影響。在霧霾天氣條件下，大氣介質(zhì)中懸浮著大量的水汽、塵埃等顆粒對大氣中傳播的光線進(jìn)行散射和吸收，導(dǎo)致航空光電成像設(shè)備所采集圖像質(zhì)量下降。大氣中浮質(zhì)顆粒的降質(zhì)機理主要包括：衰減和大氣光。場景目標(biāo)反射的光線在大氣傳播過程中將隨著傳播距離的增加而發(fā)生顯著衰減；同時，大氣中浮質(zhì)顆粒的散射光線也將摻雜進(jìn)物體的反射光線中，形成大氣光。受這兩種機理的影響，降質(zhì)后的圖像表現(xiàn)為：圖像對比度降低，紋理模糊不清以及場景顏色的偏移。在霧霾天氣件下捕獲的航空圖像，圖像質(zhì)量較差，不利于人眼的觀察，也會影響到航空光電成像系統(tǒng)后端的定位、跟蹤、識別等各類智能化技術(shù)的正常運行[1-3]。因此，研究圖像去霧增強技術(shù)對提升圖像質(zhì)量，突破設(shè)備的使用天氣條件限制及提高設(shè)備整體工作性能有著重要的研究意義和應(yīng)用價值。

最近，單幅圖像去霧方法取得了重大進(jìn)展。顏色衰減先驗(Color Attenuation Prior,CAP)[4]憑經(jīng)驗的觀察發(fā)現(xiàn)有霧圖像的亮度和飽和度之差和霧的濃度有相關(guān)性，其用亮度和飽和度之差來估計霧的濃度，經(jīng)過學(xué)習(xí)的方法得到有霧圖像的深度圖，并用其來去霧。非局部先驗(Non-Local Prior,NLP)[5-6]經(jīng)過實驗發(fā)現(xiàn)無霧圖像的顏色可以在RGB空間中聚類，這些像素在霧的影響下會聚類成以大氣光為原點的一條條霧霾線，在一條霧霾線中像素到大氣光的距離和霧的濃度深深相關(guān)，用其進(jìn)行去霧。He提出了一種基于暗通道先驗(Dark Channel Prior,DCP)[7]的去霧方法。首先粗估計出原始傳輸圖，然后利用軟摳圖原理[7]或者引導(dǎo)濾波[8]對原始傳輸圖進(jìn)行優(yōu)化，該算法是常用的普遍去霧算法，許多去霧算法都是基于該算法提出的[9-16]。然而，這些方法存在一個共同的缺點，即去霧后圖像容易產(chǎn)生光暈效應(yīng)或者色彩嚴(yán)重失真現(xiàn)象。

本文依據(jù)暗通道先驗原理，對大氣光估計以及引導(dǎo)濾波進(jìn)行了改進(jìn)。通過對非重疊的暗通道使用四叉樹細(xì)分的方法來求得更精確的大氣光值，并對引導(dǎo)濾波提出一種自適應(yīng)權(quán)重因子的方法對傳輸圖進(jìn)行優(yōu)化以減弱光暈現(xiàn)象的問題。實驗結(jié)果，該方法既能實現(xiàn)良好的去霧效果，又能改善暗通道先驗針對大面積白色物體的適用缺陷，從而擴大了暗通道先驗實現(xiàn)圖像去霧的范圍，并且可以減弱光暈現(xiàn)象。

2 暗通道原理

2.1 大氣散射模型

在計算機視覺中，廣泛應(yīng)用于有霧圖像的大氣散射模型[17-19]為：

I(x)=J(x)t(x)-A(1-t(x)),

(1)

其中：x是像素坐標(biāo)，I(x)是觀察到的有霧圖像，J(x)是無霧圖像，A是全局大氣光，t(x)是大氣傳輸圖。

2.2 暗通道先驗

He等[7]基于對大量無霧圖像(不包括天空區(qū)域)統(tǒng)計觀察發(fā)現(xiàn)，無霧圖像中大多數(shù)的局部區(qū)域包含著一些強度值很低或者強度值接近于零的像素?；诖?，他提出了暗通道先驗?zāi)Ｐ停磳τ谌我庖环鶡o霧圖像，暗通道可以被計算為在一個局部區(qū)域全部像素的最小值：

(2)

其中：Ω是以x為中心的一個方形窗口，Jc是J的一個確定了的RGB顏色通道，Jdark是暗通道圖像。

暗通道和霧的濃度深深相關(guān)，He等挑選暗通道最亮的0.1%像素，這些像素就是霧最濃的像素，并從這些像素中挑選原圖像I中強度最大的像素作為大氣光的估計值。然而，受白色物體的影響，暗通道選擇霧最濃的區(qū)域可能會失效。

(3)

若是將式(3)直接代入式(1)中，去霧圖像會出現(xiàn)明顯的塊效應(yīng)，因此He等采用軟摳圖[7]對其進(jìn)行優(yōu)化，后來將軟摳圖換成引導(dǎo)濾波[8]用來對原始傳輸圖進(jìn)行保邊平滑。然而，當(dāng)圖像平滑和保邊同時應(yīng)用時，由于固定的正則化參數(shù)，邊緣可能會無法避免地被平滑，會產(chǎn)生光暈效應(yīng)。

本文中，針對上述兩個問題，提出了一種改進(jìn)的大氣光估計方法，以解決大氣光估計不準(zhǔn)確的問題。并提出一種改進(jìn)的引導(dǎo)濾波對傳輸圖進(jìn)行優(yōu)化以解決光暈效應(yīng)。利用優(yōu)化后的傳輸圖t(x)，去霧圖像J(x)可表示為：

(4)

式中t0是一個防止分母為0的一個下限值，本文中取值為0.1。

3 本文算法

3.1 大氣光估計

He等[7]首先在暗通道中選取最亮的0.1%像素，然后從其中選取強度最高值作為大氣光估計值。然而，受白色物體的影響，暗通道可能會錯誤的選取霧最濃的區(qū)域，從而導(dǎo)致錯誤的大氣光估計值，這樣去霧圖像可能會產(chǎn)生顏色扭曲現(xiàn)象。Kim等[20]對有霧圖像進(jìn)行四叉樹細(xì)分，并從分成的子塊中選取最大平均值的子塊，再將該子塊進(jìn)行四叉樹細(xì)分，重復(fù)該過程直至達(dá)到預(yù)先設(shè)定好的次數(shù)為止。然后在最后的子塊中，選取一個和(255,255,255)最小的距離的顏色向量作為大氣光的估計值。然而，如果圖像中包含明亮區(qū)域，這個方法可能會錯誤的估計大氣光值，如圖1(b)所示。為了更加可靠的選取大氣光值，本文假定大氣光彌漫在有霧圖像的大部分區(qū)域，而且在局部區(qū)域它的強度值是最高的。通過假定大氣光的這兩個方面，本文通過對一個改進(jìn)后的暗通道圖像進(jìn)行四叉樹細(xì)分。該改進(jìn)的暗通道與原始暗通道的區(qū)別在于該改進(jìn)后的暗通道將圖像分成各個不重疊的子塊L(x)，對每個子塊中選取這個子塊中最小值代替這個子塊中所有的值，從而得到改進(jìn)的暗通道：

(5)

該子塊大小根據(jù)準(zhǔn)確性和可靠性兩方面來憑經(jīng)驗的選取為30×30，圖1(c)展示了通過式(5)改進(jìn)后的暗通道。從圖中可以發(fā)現(xiàn)，改進(jìn)后的暗通道比原始圖像子塊平均值有著更低的強度值，在該提出的方法中，四叉樹細(xì)分方法可以選取更加可靠的用來估計大氣光的候選區(qū)域?？梢詮膱D1(c)看出，提出的方法選取天空區(qū)域作為最終的候選區(qū)域，該方法沒有受到圖像底部白色建筑物的干擾。在最終候選區(qū)域的像素中，本文通過選取一個和(255,255,255)最小距離的顏色向量作為大氣光的估計值，即‖(r,g,b)-(255,255,255)‖。通過最小化與純白色(255,255,255)的距離，可以估計更可靠的大氣光估計值。

圖1 圖像中填滿紅色區(qū)域為最終選定區(qū)域Fig.1 Blocks filled with red color are finally selected region

3.2 引導(dǎo)濾波的改進(jìn)

引導(dǎo)濾波[8]可以平滑圖像和保持圖像邊緣信息，其最大的特點是計算速度快，近幾年出現(xiàn)了一些基于引導(dǎo)濾波的去霧算法[21-22]。引導(dǎo)濾波的關(guān)鍵假設(shè)是局部線性模型：

qi=akIi+bk,?i∈ωk，

(6)

其中：I是引導(dǎo)圖像，q是濾波輸出，ωk是以像素k為中心r為半徑的一個方形窗口，ak和bk是兩個在窗口ωk下的線性系數(shù)，假定為常數(shù)。

局部線性模型保證了只有當(dāng)引導(dǎo)圖像I有邊緣時，對應(yīng)的輸出圖像q也會有該邊緣。引導(dǎo)濾波是一個快速保邊平滑濾波器。它對比雙邊濾波，不僅其速度比雙邊濾波快，而且引導(dǎo)濾波可以避免出現(xiàn)梯度反轉(zhuǎn)效應(yīng)。引導(dǎo)濾波的線性系數(shù)ak和bk可以通過最小化代價函數(shù)E(ak,bk)來得到：

(7)

其中正則化參數(shù)λ用來防止ak過大。然而，由于引導(dǎo)濾波的λ參數(shù)是固定的，當(dāng)引導(dǎo)濾波用于平滑圖像時，其也會同樣地平滑邊緣，這樣以來，光暈效應(yīng)就會無法避免的產(chǎn)生。為了減弱光暈效應(yīng)，本文引入了一個自適應(yīng)權(quán)重φi來解決這個問題，自適應(yīng)權(quán)重因子可以根據(jù)不同的情況來調(diào)整正則化參數(shù)。理想的權(quán)重模型需要當(dāng)像素在邊緣時有個大的權(quán)重，而在非邊緣時有個小的權(quán)重。而圖像的梯度信息可以滿足這個思想。所以自適應(yīng)權(quán)重因子φi被設(shè)計為：

(8)

其中：CGi是引導(dǎo)圖像I在像素i點的顏色梯度值[23]，k是閾值，其值被取為0.05×L，閾值k是用來決定是否像素點在邊緣區(qū)域。L是輸入圖像的動態(tài)范圍，ε是一個小的正常數(shù)，用來防止分母為0。

CGi能根據(jù)當(dāng)前像素點的灰度突變程度公正的決定該像素點邊緣信息放大力度。當(dāng)像素位于圖像邊緣時，邊緣信息越顯著，權(quán)值φi越大，表現(xiàn)為對邊緣信息敏感；當(dāng)像素不在邊緣時，權(quán)值φi較小，表現(xiàn)為對邊緣信息不敏感。

將自適應(yīng)權(quán)重因子應(yīng)用在代價函數(shù)中：

(9)

引導(dǎo)濾波的線性系數(shù)ak和bk可以被計算為：

(10)

(11)

(12)

由于暗通道先驗的簡易性和有效性，原始傳輸圖根據(jù)暗通道先驗來估計。原始傳輸圖可以進(jìn)一步被式(9)來平滑，得到最終的傳輸估計圖。根據(jù)已求得的大氣光值A(chǔ)和傳輸圖t(x)將其代入式(4)即可求得無霧圖像J(x)，如圖2所示。

圖2 運用改進(jìn)后的引導(dǎo)濾波來精細(xì)傳輸圖的圖解Fig.2 Illstration of the proposed improved GIF by using it to refine the transmission map of a haze image

4 實驗結(jié)果

為了證明提出的方法的有效性，通過現(xiàn)階段的去霧算法對多個不同的有霧圖像進(jìn)行了實驗比較，實驗結(jié)果由兩部分組成，第一部分討論去霧效果圖比較。第二部分展現(xiàn)了各個去霧效果圖的客觀評價標(biāo)準(zhǔn)的比較。

4.1 主觀評價

在本節(jié)，提出的濾波器與引導(dǎo)濾波以及加權(quán)引導(dǎo)濾波[24]在去霧領(lǐng)域進(jìn)行了比較，為了公平起見，除了濾波器不同，其余參數(shù)均為相同。從圖3可以看出本文提出的濾波器在天安門屋檐處的光暈效應(yīng)得到了有效減弱，保護(hù)細(xì)節(jié)比引導(dǎo)濾波和加權(quán)引導(dǎo)濾波更好。接下來，提出的算法與三種現(xiàn)階段較新的去霧算法進(jìn)行航空圖像實驗效果比較，所有的參數(shù)設(shè)置選取全都與這些算法原文中設(shè)置的最佳參數(shù)相同。從圖4(b)可以看出顏色衰減先驗在霧不濃的情況下去霧效果還行，但在霧濃的情況下去霧效果較差。這是因為α和線性模型系數(shù)的值都是固定的，這些值應(yīng)該根據(jù)輸入圖像的霧的濃度來自適應(yīng)調(diào)整。從圖4(c)可以看出暗通道先驗由于引導(dǎo)濾波的過度平滑，導(dǎo)致圖像去霧效果不清晰。從圖4(d)可以看出非局部先驗去霧效果比其他去霧算法更好，但其可能發(fā)生錯誤的將像素聚類到霧霾線的情況，這將導(dǎo)致顏色失真。可以看出本文算法產(chǎn)生了更好的去霧效果，去霧圖像顏色更為可靠，光暈更少。

圖3 引導(dǎo)濾波，加權(quán)引導(dǎo)濾波和我們的濾波器處理后的去霧圖像比較Fig.3 Comparison of GIF, WGIF and proposed algorithm

圖4 提出的去霧算法和文獻(xiàn)[5-7]三個去霧算法的比較Fig.4 Comparison of the proposed haze removal algorithm and the haze removal algorithms in [5-7] via three haze images

4.2 客觀評價

表1展示了提出的方法和現(xiàn)階段去霧算法的客觀評價指標(biāo)[25]比較，從中可以看出提出的算法有最好的e，r和IVM，對于σ，提出算法的結(jié)果不是最好就是第二好的結(jié)果。從客觀評價指標(biāo)對比來看，提出的算法無論是邊緣細(xì)節(jié)還是可視性來說，都比現(xiàn)階段算法效果好，但對于某些圖像去霧后飽和度略差。

表1 客觀評價指標(biāo)比較

5 結(jié) 論

在本文中，對暗通道先驗算法進(jìn)行了改進(jìn)。首先，提出的方法對有霧圖像的暗通道進(jìn)行改進(jìn)，改為不重疊區(qū)域，將不重疊的暗通道進(jìn)行四叉樹細(xì)分來估計大氣光值。其次，本文提出了引入了一個自適應(yīng)權(quán)重到引導(dǎo)濾波中，提出的濾波器保邊效果更好，光暈現(xiàn)象較小且不出現(xiàn)過度平滑現(xiàn)象。本文方法產(chǎn)生了視覺上非常令人滿意的結(jié)果，因此更加有利于在航空圖像成像系統(tǒng)中的應(yīng)用。此外，除了單幅圖像去霧，改進(jìn)后的濾波器還可以應(yīng)用到許多其它的領(lǐng)域，比如去噪、細(xì)節(jié)增強、高動態(tài)范圍壓縮、摳圖等等領(lǐng)域的研究。我們將在未來的科研中研究這些領(lǐng)域的應(yīng)用。