基于半反圖像的透射率優(yōu)化降霧算法

王欣欣，何明一，何人杰，姜芳芳

（西北工業(yè)大學(xué) 陜西 西安 710072）

霧霾等惡劣天氣條件下，由于大氣中懸浮著的氣溶膠、微小水滴等隨機(jī)介質(zhì)的散射作用，使成像設(shè)備所拍攝的圖像對(duì)比度降低，細(xì)節(jié)信息不明顯或部分缺失，從而直接限制和影響了智能導(dǎo)航、衛(wèi)星遙感、航空偵察等系統(tǒng)效用的發(fā)揮。因此，對(duì)霧天圖像進(jìn)行有效的降霧處理是戶(hù)外成像系統(tǒng)克服惡劣天氣的影響，穩(wěn)定、可靠工作的保證。

近年來(lái)，眾多學(xué)者對(duì)圖像降霧技術(shù)進(jìn)行了深入研究。已有的降霧算法可分為兩大類(lèi)：基于多幅圖像的降霧算法和基于單幅圖像的降霧算法。利用不同天氣條件下同一場(chǎng)景的兩幅或多幅圖像，來(lái)估計(jì)場(chǎng)景的三維結(jié)構(gòu)和顏色，從而恢復(fù)出清晰圖像[1]。利用偏振片獲取同一場(chǎng)景的不同偏振度的兩幅或者多幅圖像估計(jì)大氣光，恢復(fù)出清晰圖像。利用場(chǎng)景的先驗(yàn)信息或用戶(hù)交互獲得全部或部分參數(shù)，以得到降霧圖像[2]。此外，還有利用圖像本身構(gòu)造約束估計(jì)模型參數(shù)達(dá)到降霧目的[3-6]。

本文在深入分析和研究He K等人[3]提出的基于暗原色先驗(yàn)的單幅圖像降霧算法的基礎(chǔ)上，提出了一種基于半反圖像的透射率優(yōu)化降霧算法，解決了經(jīng)暗原色先驗(yàn)降霧算法處理后的圖像灰白區(qū)域出現(xiàn)顏色失真問(wèn)題。

1 霧天大氣散射模型及暗原色先驗(yàn)理論

1.1 霧天大氣散射模型

根據(jù)光在霧天條件下傳輸?shù)奈锢硖匦?，Nayar等人[1]提出了霧霾天氣條件下的二色大氣散射模型，其數(shù)學(xué)表達(dá)式為：

式中：I(x)表示成像設(shè)備采集到的衰減后的圖像；A為等效的全局大氣光；J(x)為景物的場(chǎng)景輻射；t(x)為透射率分布，用來(lái)描述光線在傳播的過(guò)程中衰減的程度，可以表述為：

其中，β為大氣散射系數(shù)；d為場(chǎng)景深度。

圖像降霧的目的就從霧化圖像I(x)中估計(jì)出透射率t(x)、大氣光A和無(wú)霧圖像J(x)。而在方程(1)中只有I(x)為已知量，A、J(x)和均為未知量，所以這是一個(gè)病態(tài)問(wèn)題。

1.2 暗原色先驗(yàn)理論

暗原色先驗(yàn)理論是He K等人[3]對(duì)大量的戶(hù)外無(wú)霧圖像統(tǒng)計(jì)分析而得出的，基本內(nèi)容為：在絕大多數(shù)戶(hù)外無(wú)霧圖像非天空的局部區(qū)域里，總可以找到一些特殊的像素，這些像素總會(huì)有至少一個(gè)顏色通道的值很小，且接近于零。將通過(guò)局部區(qū)域求最小值的方法得到的值定義為暗原色，并將以上通過(guò)統(tǒng)計(jì)得出的規(guī)律稱(chēng)為暗原色先驗(yàn)規(guī)律。

針對(duì)一幅戶(hù)外無(wú)霧圖像求取暗原色點(diǎn)Jdrak的表達(dá)式為：

其中，Jc為J的一個(gè)顏色通道，Ω(x)是以x為中心的局部區(qū)域。

2 基于半反方法的透射率優(yōu)化降霧方法

本節(jié)中，首先利用半反圖像[6]確定圖像的明亮區(qū)域，并從中獲取大氣光，然后在暗原色先驗(yàn)[4]的基礎(chǔ)上獲取粗略的透射率分布，并對(duì)明亮區(qū)域的透射率進(jìn)行修正，再用引導(dǎo)濾波器對(duì)修正后的透射率分布圖進(jìn)行平滑處理，最后根據(jù)大氣散射模型進(jìn)行圖像降霧處理。

2.1 明亮區(qū)域檢測(cè)

由于文獻(xiàn)[3]中算法對(duì)圖像中不滿(mǎn)足暗原色先驗(yàn)規(guī)律的明亮區(qū)域處理效果不佳，會(huì)出現(xiàn)顏色失真現(xiàn)象。文中先利用半反圖像[6]對(duì)圖像進(jìn)行明亮區(qū)域檢測(cè)，然后再進(jìn)行后續(xù)處理。

文獻(xiàn)[7]指出：1)在絕大多數(shù)的戶(hù)外無(wú)霧且非天空?qǐng)D像的任意局部小區(qū)域內(nèi)，總存在至少一個(gè)像素，它的某一個(gè)或幾個(gè)顏色通道的強(qiáng)度值很低，且接近于零；2)天空或嚴(yán)重霧化圖像的局部小區(qū)域中每個(gè)像素點(diǎn)的RGB3個(gè)通道的強(qiáng)度值都比較大。在上述先驗(yàn)信息的基礎(chǔ)上，文獻(xiàn)[7]提出了一種半反算法，其主要內(nèi)容為：首先利用求反算子表示圖像I(x)的RGB3通道中某一通道值）求得半反圖像Isi(x)，再將半反圖像Isi(x)和霧化圖像I(x)轉(zhuǎn)換到Lab顏色空間，通過(guò)比較這兩個(gè)圖像在Lab顏色空間的色調(diào)差異來(lái)確定明亮區(qū)域。

由于該方法需要進(jìn)行顏色空間轉(zhuǎn)換，算法復(fù)雜，而實(shí)際上直接在RGB顏色空間便可比較半反圖像Isi(x)和霧化圖像I(x)的差異，所以文中直接在RGB顏色空間進(jìn)行處理。定義半反圖像與原始霧化圖像的差為：

顯然，明亮區(qū)域RW，整體偏灰白，其RGB三通道值都比較大，故的值都為 0；而非明亮區(qū)域RB的大部分像素點(diǎn)中至少有一個(gè)通道的強(qiáng)度值很小，即至少有一個(gè)像素滿(mǎn)足，也就是中至少有一個(gè)大于0。因此，可以將的像素點(diǎn)定義為明亮像素，從而檢測(cè)出明亮區(qū)域。

2.2 大氣光估計(jì)

文獻(xiàn)[2]取圖像中的最大強(qiáng)度值作為大氣光，但實(shí)際上，圖像中的強(qiáng)度最大值可能是某個(gè)目標(biāo)（如圖1中的燈光），而并非天空。文獻(xiàn)[3]選取暗原色中亮度最高的0.1%像素，在這些像素中，把對(duì)應(yīng)的輸入圖像I中強(qiáng)度最大的像素點(diǎn)作為大氣光。對(duì)于天空區(qū)域較大或者含有較小的白色物體霧化圖像，該方法能獲得準(zhǔn)確的大氣光。但是對(duì)于含有大面積白色物體，且其像素值大于霧霾天空像素值的圖像，因?yàn)榘低ǖ罒o(wú)法過(guò)濾掉比模板大的白色物體，所以該方法會(huì)造成一定的誤差（如圖1中的白色屋頂）。

文中在由2.1節(jié)確定的明亮區(qū)域中選取大氣光：選取明亮區(qū)域中暗通道強(qiáng)度值前1%的像素點(diǎn)并將對(duì)應(yīng)的輸入圖像中強(qiáng)度最大的像素點(diǎn)作為大氣光。針對(duì)于含有大面積白色物體的圖像，本方法較文獻(xiàn)[2]和文獻(xiàn)[3]方法獲取的大氣光更為準(zhǔn)確（如圖1所示，圖中方框的中心是被作為大氣光的像素點(diǎn)）。

圖1 大氣光估計(jì)Fig.1 Estimation of atmospheric light

2.3 估計(jì)透射率分布

2.3.1 透射率的粗略估計(jì)

使用[3]中計(jì)算透射率的估計(jì)式：

2.3.2 明亮區(qū)域透射率的修正

從[4]中估計(jì)大氣光的方法出發(fā)，當(dāng)霧化圖像中包含天空、水面、偏白色物體等大面積明亮區(qū)域時(shí)，大氣光基本落在這些明亮區(qū)域[3]。利用求透射率分布時(shí)，明亮區(qū)域的像素值I(x)與大氣光A非常接近，所以其對(duì)應(yīng)的透射率t(x)趨于很小的值。然而如此計(jì)算出的透射率t(x)的正確性是建立在暗原色先驗(yàn)假設(shè)成立的基礎(chǔ)之上，但這類(lèi)明亮區(qū)域中每個(gè)像素點(diǎn)的RGB3個(gè)通道的強(qiáng)度值都比較大，顯然不滿(mǎn)足暗原色先驗(yàn)假設(shè)的要求，所以計(jì)算出的透射率t(x)是不準(zhǔn)確的，由此錯(cuò)誤的透射率分布求解降霧圖像必然會(huì)導(dǎo)致降霧效果不佳。

那么，如果不考慮暗原色先驗(yàn)假設(shè)，直接根據(jù)式(1)推導(dǎo)出的準(zhǔn)確透射率函數(shù)應(yīng)該為：

若想消除顏色失真，就必須調(diào)整明亮區(qū)域的透射率~t(x)，使其更加符合實(shí)際透射率tactual(x)，同時(shí)最好能不破壞暗原色降霧的統(tǒng)一框架?；诖耍竟?jié)在明亮區(qū)域RW中，對(duì)2.3.1節(jié)中求得的初始透射率~t(x)進(jìn)行修正。由于透射率分布t(x)=e-βd(x)服從指數(shù)分布，而且當(dāng)I與A越接近時(shí)，其實(shí)際透射率比基于暗原色先驗(yàn)計(jì)算出的透射率大得多，即基于暗原色先驗(yàn)計(jì)算出的透射率誤差越大，因此，將明亮區(qū)域透射率修正公式定義為：

即，在I與A越接近的區(qū)域，透射率的增量越大。這里α是常數(shù)，文中取0.02。

式(7)保證了明亮區(qū)域的透射率不會(huì)錯(cuò)誤地偏向很小的值。這種對(duì)透射率的修正其實(shí)是對(duì)基于暗原色先驗(yàn)圖像降霧算法的一種補(bǔ)充和擴(kuò)展，使其能夠更好地處理含有大面積明亮區(qū)域的霧化圖像，但并沒(méi)有脫離暗原色先驗(yàn)假設(shè)，而是在其基礎(chǔ)上對(duì)霧化圖像中明亮區(qū)域的透射率做了修正，仍然統(tǒng)一于原暗原色先驗(yàn)框架之內(nèi)。也可以理解為：對(duì)圖像中像素值接近大氣光的區(qū)域，降低降霧力度，因?yàn)閺膶?shí)際情形考慮，霧化在偏白色的場(chǎng)景中是不明顯的，也就是說(shuō)可以弱化處理這些偏白色的明亮區(qū)域。圖2為透射率修正前后的對(duì)比圖。

圖2 透射率分布圖Fig.2 Transmission map

由圖2可以看出，修正后天空區(qū)域的透射率明顯大于修正前天空區(qū)域的透射率，這與前面的分析相符，說(shuō)明本文對(duì)透射率的修正是符合實(shí)際要求的。

2.3.3 透射率優(yōu)化

由于在利用暗原色先驗(yàn)估計(jì)透射率的過(guò)程中，采用模板計(jì)算會(huì)造成圖像出現(xiàn)塊效應(yīng)，即視覺(jué)上的“halo”現(xiàn)象，而且會(huì)導(dǎo)致透射率在場(chǎng)景變換的邊緣處出現(xiàn)暗區(qū)域擴(kuò)張，而吞噬明亮區(qū)域的部分邊緣，直接影響降霧效果。文獻(xiàn)[4]用軟摳圖的方法對(duì)初始透射率進(jìn)行了優(yōu)化，優(yōu)化結(jié)果很好地消除了塊效應(yīng)，吞噬現(xiàn)象也得到了明顯的改善，但是其計(jì)算過(guò)程需要構(gòu)建摳圖拉普拉斯矩陣，算法時(shí)間復(fù)雜度較高，計(jì)算量大。因此，為了提高透射率優(yōu)化的速度，文中采用引導(dǎo)濾波器[8]對(duì)初始透射率進(jìn)行優(yōu)化。

引導(dǎo)濾波器使用引導(dǎo)圖像來(lái)輔助產(chǎn)生濾波器的核，其輸出為引導(dǎo)圖像的局部線性變換，它具有良好的邊緣保持的特點(diǎn)，而且沒(méi)有梯度反轉(zhuǎn)的缺陷，同時(shí)引導(dǎo)濾波器與用于圖像摳圖的拉普拉斯矩陣之間有著密切的關(guān)系，并且該濾波器的時(shí)間復(fù)雜度為，遠(yuǎn)低于軟摳圖的時(shí)間復(fù)雜度。

2.4 降霧處理

經(jīng)上面所有步驟之后，已經(jīng)得到了準(zhǔn)確的大氣光A和t(x)透射率，因此，可以利用霧天成像模型恢復(fù)出無(wú)霧圖像J(x)：

其中，t0為常數(shù)，是為透射率t(x)設(shè)置的下限，文中取為0.1，以保證J(x)t(x)不接近于0，也意味著某些霧濃度較大的區(qū)域仍然保留著一定數(shù)量的霧。

3 實(shí)驗(yàn)結(jié)果與分析

從主觀視覺(jué)效果、客觀質(zhì)量?jī)蓚€(gè)方面，對(duì)本文方法與He K[3]、Gibson[4]、Xu H[5]方法的處理結(jié)果進(jìn)行比較。其中，He K[3]在暗原色先驗(yàn)假設(shè)的基礎(chǔ)上，用軟摳圖的方法對(duì)透射率分布圖像進(jìn)行修補(bǔ)，從而達(dá)到降霧的目的；Gibson[5]利用中值濾波代替He K的最小值濾波來(lái)估算透射率，以達(dá)到降霧目的；Xu H[5]利用雙邊濾波代替軟摳圖優(yōu)化透射率，進(jìn)行降霧處理。

3.1 主觀評(píng)價(jià)

圖3和圖4給出了本文算法和幾種比較典型的算法的處理結(jié)果。圖中(a)～(e)分別是原始霧化圖像，He K方法，Gibson方法，Xu H方法和本文方法得到的降霧圖像。

從圖3可以看出，針對(duì)這種不含天空等灰白區(qū)域的圖像，這些方法都能取得較好的效果。但Gibson方法恢復(fù)出的無(wú)霧圖像顏色略有偏移；Xu方法對(duì)景深不連續(xù)區(qū)域處理效果不佳；相比之下，本文方法方法對(duì)顏色保持的效果較好。

從圖4可知，針對(duì)這種含天空區(qū)域的圖像，這些方法的處理效果差異較大。經(jīng)He K方法處理后，圖像天空區(qū)域顏色失真嚴(yán)重；Gibson方法也使會(huì)天空區(qū)域出現(xiàn)顏色失真，而且整幅圖像的顏色都偏暗；Xu方法對(duì)天空區(qū)域和景深不連續(xù)區(qū)域處理效果不佳；本文方法對(duì)天空區(qū)域的處理效果最好，且能較好的保持原圖的顏色信息。

圖3 城市圖像降霧結(jié)果Fig.3 Dehazing results of city view

圖4 花叢圖像降霧結(jié)果Fig.4 Dehazing results of flowers

綜上知，文中方法適用性較廣，能處理各種不同場(chǎng)景的圖像，尤其對(duì)天空等灰白區(qū)域的處理效果較其他幾種方法好，且恢復(fù)出的圖像更符合真實(shí)場(chǎng)景。

3.2 客觀評(píng)價(jià)

本文利用Tarel等人提出的可見(jiàn)邊梯度法對(duì)圖像質(zhì)量進(jìn)行定量分析，通過(guò)比較輸入的霧化圖像和處理后的無(wú)霧圖像，來(lái)獲取圖像新增可見(jiàn)邊緣比、平均對(duì)比度和圖像飽和像素點(diǎn)比3個(gè)參數(shù)。其中，新增可見(jiàn)邊緣比反映復(fù)原出圖像中可見(jiàn)邊緣的能力，該指標(biāo)越大表明算法復(fù)原出可見(jiàn)邊緣的能力越強(qiáng)；平均對(duì)比度越大，表明算法的對(duì)比度增強(qiáng)能力越強(qiáng)；圖像飽和像素點(diǎn)越大，表明算法處理后的圖像中過(guò)飽和的像素點(diǎn)越多。因此，一幅質(zhì)量好的圖像應(yīng)該有較大的和，較小的。

對(duì)圖3和4中的霧化圖像，表1和表2給出了用不同算法處理后圖像質(zhì)量評(píng)價(jià)指標(biāo)值。

表1 城市圖像的質(zhì)量評(píng)價(jià)（圖3）Tab.1 Quantitative evaluation of city view(Fig.3)

表2 花叢圖像的質(zhì)量評(píng)價(jià)（圖4）Tab.2 Quantitative evaluation of flowers(Fig.4)

由表1和表2中的統(tǒng)計(jì)結(jié)果可知，由于本文算法對(duì)明亮區(qū)域的處理使得復(fù)原圖像有更多的可見(jiàn)邊緣和較高的平均對(duì)比度，即和較大，并且處理結(jié)果不會(huì)出現(xiàn)過(guò)飽和點(diǎn)。

另外，由于文中采用引導(dǎo)濾波器來(lái)優(yōu)化透射率圖，很大程度上提高了運(yùn)算速率，所以本文方法的處理速度相比其他幾種算法的處理速度有較大程度的提高。

4 結(jié)論

本文提出了一種基于半反圖像的降霧算法，通過(guò)對(duì)明亮區(qū)域的檢測(cè)來(lái)獲取大氣光的方法，提高了大氣光估計(jì)的準(zhǔn)確性和算法的運(yùn)算速度；其次，文中對(duì)圖像明亮區(qū)域透射率的修正改善了復(fù)原圖像的復(fù)原效果，提高了算法的適用性；另外，選用引導(dǎo)濾波器優(yōu)化初始透射率不僅保證了算法的效果，而且降低了算法的時(shí)間復(fù)雜度。實(shí)驗(yàn)結(jié)果表明，本文算法具有簡(jiǎn)單易行、適用性廣的特點(diǎn)，并且復(fù)原后的圖像真實(shí)、自然。

[1]Nayar S K,Narasimhan S G.Vision in Bad Weather[C]//Proc.of IEEE Int.Conf.on Computer vision (ICCV).Kerkyra,Greece,1999,2:820-827.

[2]Schechner Y Y,Narasllnhan S G,Nayar S K.Instant dehazing of images using polarization[C]//Proc.of IEEE Conf.on Computer Vision and Pattern Recognition (CVPR).Kauai,HI,USA,2001,1:I325-I332.

[3]He K,Sun J,Tang X.Sing image haze removal using dark channel prior[C]//Proc.of IEEE Conf.on Computer Vision and Pattern Recognition(CVPR).Miami,FL,USA,2009：1956-1963.

[4]Gibson K,Vo D,Nguyen T.An investigation in dehazing compressed images and video[C]//OCEANS 2010.Seattle,WA,2010:1-8.

[5]Xu H,Guo J,Liu Q.Fast image dehazing using improved dark channel prior[C]//2012 Int.Conf.on Information Science and Technology(ICIST).Wuhan,China,2012:663-667.

[6]Ancuti C O,Ancuti C,Hermans C.A fast semi-inverse approach to detect and remove the haze from a single image[M].Computer Vision-ACCV 2010.Springer Berlin Heidelberg,2011.