基于天空識別與加權(quán)引導(dǎo)濾波的圖像去霧算法

林貝欣, 殷 明, 邢 燕, 韓 藝

(合肥工業(yè)大學(xué) 數(shù)學(xué)學(xué)院,安徽 合肥 230601)

通常霧環(huán)境中漂浮著許多顆粒,從而導(dǎo)致光線發(fā)生散射,使觀察得到的圖像可見度下降,細節(jié)信息缺失,嚴(yán)重影響圖像在某些領(lǐng)域的應(yīng)用,如目標(biāo)跟蹤、自動監(jiān)視系統(tǒng)和場景評估等;因此研究去霧算法獲得去霧圖像是有意義的和必要的。

近年來,針對有霧圖像,為了提高圖像的可視性和對比度,學(xué)者提出很多圖像去霧算法,并取得了較好的研究成果[1-12]。文獻[1]假設(shè)透射率與表面陰影在局部不相關(guān),估算透射率,該方法在物理上是合理的,但無法處理濃霧圖像,并且在假設(shè)前提被破壞的情況下可能會失效;文獻[2]提出一種顏色衰減先驗,即景深可以由高亮度和低飽和度表征,并建立線性模型,但該方法使用統(tǒng)一的大氣散射系數(shù),導(dǎo)致魯棒性差,濃霧圖像處理效果不能令人滿意;文獻[3]觀察到,剔除天空的暗通道原理,可以實現(xiàn)令人滿意的去霧效果,但在采用Soft Matting思想細化透射率時,存在效率低的問題;為此,文獻[4]提出用引導(dǎo)濾波代替Soft Matting算法,但是恢復(fù)后的圖像在深度不連續(xù)附近仍包含一些光暈偽像;文獻[5-7]優(yōu)化了文獻[4]的算法,提出改進引導(dǎo)濾波,邊緣的細節(jié)強度改善了很多,但是對于邊緣的感知還是不夠強;文獻[8]提出非局部先驗,根據(jù)霧線模型估算透射率,這種模型可以復(fù)原有霧圖像的色彩,但是需要更多的先驗知識,因此在使用時存在局限性,并且在天空區(qū)域中效果也不理想;文獻[9-11]是針對有霧圖像存在天空區(qū)域的去霧算法, 將天空區(qū)域和非天空區(qū)域區(qū)分開, 雖然能夠有效處理天空區(qū)域,但對于被建筑擋住的天空區(qū)域無法檢測出來;文獻[12]從霧圖像中提取3個與霧相關(guān)的統(tǒng)計特征,并用這3個特征的線性組合評估霧密度。這些基于霧密度預(yù)測的方法可以有效地消除霧,但是由于霧密度預(yù)測不準(zhǔn)確,往往產(chǎn)生過度除霧和顏色失真現(xiàn)象。

近年來,利用深度學(xué)習(xí)的方法進行去霧越來越流行。文獻[13]是一種端到端的訓(xùn)練模型,用于從有霧圖像中估計透射率t(x),并提出nonlinear激活函數(shù),提高恢復(fù)圖像的效果。文獻[14]提出的AOD-Net模型并不是像大多數(shù)模型那樣估計透射率t(x)和大氣光A, 而是通過輕量級CNN直接生成清晰圖像;文獻[15]提出一種基于門限融合網(wǎng)絡(luò)的霧圖像的復(fù)原方法,在一般自然圖像中處理效果良好,但是在非常大的霧的情況下,不能取得良好的去霧效果。盡管利用深度學(xué)習(xí)的方法取得了令人鼓舞的結(jié)果,但訓(xùn)練數(shù)據(jù)固有的局限性卻成了這一蓬勃發(fā)展趨勢越來越嚴(yán)重的障礙。

總之,上述去霧算法存在如下3個缺陷:① 不能有效地處理濃霧圖像;② 去霧后的圖像在天空區(qū)域出現(xiàn)塊狀偽影的現(xiàn)象;③ 恢復(fù)的圖像在邊緣區(qū)域出現(xiàn)光暈偽影。分析發(fā)現(xiàn)，去霧效果不佳的原因在于錯誤地估計了透射率。針對天空區(qū)域、景深突變區(qū)域和濃霧圖像處理效果不佳的狀況,本文提出一種基于天空識別與加權(quán)引導(dǎo)濾波的圖像去霧算法,該算法通過自適應(yīng)加權(quán)引導(dǎo)濾波來細化透射率,并把有霧圖像通過4-RTV模型優(yōu)化后的圖像作為引導(dǎo)圖像,再結(jié)合天空識別的結(jié)果調(diào)整透射率,有效地解決了上述不足。

1 相關(guān)理論

1.1 大氣散射模型

大氣散射模型[16-17]顯示了有霧圖像的形成并被大面積使用,其公式如下:

I(x)=t(x)J(x)+A(1-t(x))

(1)

其中:I(x)為有霧圖像;J(x)為無霧圖像;A為全局大氣光;t(x)為透射率或傳輸。在均勻介質(zhì)中,透射率t(x)的表達式為:

t(x)=e-β d(x)

(2)

其中:β為大氣散射系數(shù);d(x)為景深。

1.2 暗通道先驗

文獻[3]提出暗通道原理,用于估算粗略傳輸圖,定義為:

(3)

其中:Ω(x)為以像素點x為核心的鄰域窗口;Jc(y)為J的其中一個顏色通道。自然圖像統(tǒng)計數(shù)據(jù)表明,Jdark(y)趨于0。

(4)

其中,ω用來保持非常少量的霧,通常設(shè)為0.95。

1.3 引導(dǎo)濾波

假設(shè)在以像素k為核心的窗口wk中,在引導(dǎo)圖像Ii與輸出圖像qi之間建立線性模型，即

qi=akIi+bk, ?i∈ωk

(5)

其中,ak、bk為wk中恒定的線性系數(shù)。為確定(ak,bk),在窗口wk中使以下成本函數(shù)最小，即

(6)

其中,λ為防止ak過大的正則化系數(shù)。

文獻[4]提出的引導(dǎo)濾波中,采用全局一致的正則化系數(shù),導(dǎo)致在復(fù)原圖像中出現(xiàn)光暈偽影。由于局部方差大的區(qū)域?qū)?yīng)邊緣區(qū)域,文獻[5]提出加權(quán)引導(dǎo)濾波,即利用引導(dǎo)圖像在窗口wk中的方差信息不斷改變正則化系數(shù)。根據(jù)窗口wk中的方差，定義邊緣權(quán)重，即

(7)

使用邊緣權(quán)重,向邊緣處的像素分配比在平坦區(qū)域中的像素更大的權(quán)重,相應(yīng)地在邊緣處的正則化系數(shù)較小,可以很好地保留邊緣。

2 本文算法

基于暗通道先驗和傳統(tǒng)引導(dǎo)濾波的去霧算法可以有效地處理濃霧圖像,但是難以處理天空和密集的景深突變區(qū)域,因此本文提出一種天空識別和自適應(yīng)加權(quán)引導(dǎo)濾波的圖像去霧算法。具體算法流程如圖1所示。

圖1 算法流程

2.1 估計大氣光值

對于大氣光的選擇,通常選擇天空區(qū)域最亮的點,但比大氣光亮的物體可能導(dǎo)致大氣光的錯誤選擇。為了更可靠地選擇大氣光,采用文獻[18]中基于四叉樹細分的分層搜索方法,它是基于如下事實:在霧區(qū)域(例如天空)中,像素值的變化通常很小。先把霧圖像分為4個矩形塊;再將每個矩形塊的分數(shù)定義為像素的均值減去該矩形塊內(nèi)像素的標(biāo)準(zhǔn)差;接著選擇得分最高的矩形塊,并將其進一步分為4個更小的矩形塊。重復(fù)此過程,直到所選矩形塊的大小小于預(yù)先指定的閾值。

2.2 細化透射率

2.2.1 優(yōu)化引導(dǎo)圖像

引導(dǎo)濾波是邊緣感知操作,只有在外觀平滑的圖像條件下能呈現(xiàn)好的效果。對于具有強紋理區(qū)域,使用引導(dǎo)濾波的精確透射圖易出現(xiàn)具有與此類紋理相關(guān)的錯誤變化;這與大氣散射模型是矛盾的,因為每個像素中的透射圖僅與深度有關(guān),與紋理或顏色無關(guān)。本文希望精煉透射圖是平滑的,在傳統(tǒng)的相對總變差RTV模型[19]的基礎(chǔ)上,提出4-RTV模型,平滑有霧圖像,并用作引導(dǎo)圖像，即

(8)

其中

(9)

其中:q屬于以像素p為中心的方塊區(qū)域R(p);D為窗口化的總變差;g為高斯核函數(shù);?xS、?yS分別為S在x和y方向的梯度;*為卷積符號；卷積核Ki為:

(10)

引導(dǎo)圖像希望是平滑且保持結(jié)構(gòu)的,本文提出的4-RTV模型可以滿足這一需求,如圖2所示。與優(yōu)化前相比,使用RTV模型優(yōu)化后的透射圖過于平滑以至于模糊掉一些邊緣結(jié)構(gòu)(從圖2c和圖2d中右邊的高樓可以看出),而本文方法是在產(chǎn)生平滑表面的同時感知深度邊緣。

圖2 優(yōu)化前后的去霧效果比較

2.2.2 自適應(yīng)加權(quán)引導(dǎo)濾波

為了更好地保存邊緣的一些重要細節(jié),本文在文獻[5]的基礎(chǔ)上改進加權(quán)引導(dǎo)濾波算法,通過添加局部平均值u,以達到進一步提升感知邊緣的能力。局部標(biāo)準(zhǔn)差σ是量化局部清晰度的結(jié)構(gòu)圖像信息的重要描述符。但是σ的感知影響隨局部平均值u的變化而變化。因此將自適應(yīng)邊緣權(quán)重定義為:

(11)

其中:N為引導(dǎo)圖像的總像素數(shù);ε設(shè)為0.005。成本函數(shù)變?yōu)?

(12)

則

(13)

邊緣處的像素一般要比平面區(qū)域中的像素更重要,分配的權(quán)重應(yīng)該更大。若p′位于邊緣區(qū)域,則ωI(p′)的值通常大于1;若p′位于平滑區(qū)域,則ωI(p′)的值小于1。不同邊緣權(quán)重的效果對比如圖3所示。圖3b和圖3c分別為圖3a在文獻[5]和本文使用的邊緣權(quán)重的效果圖。圖3顯示,本文所提出的邊緣權(quán)重更能夠突出邊緣,而文獻[5]使用方差的邊緣權(quán)重,邊緣有點暗淡。

圖3 不同邊緣權(quán)重的效果對比

2.3 基于天空識別修正最終透射率

圖4 下限值不同的去霧效果比較

圖5 天空分割過程示意圖

天空識別算法具體步驟如下:

(1) 用Sobel算子求輸入圖像I的梯度信息,并用雙邊濾波器進行適當(dāng)去噪和濾波。

(2) 將梯度信息換為二值圖像B1(x),并對B1(x)進行半徑為r的腐蝕,得到圖像B2(x)。

(3) 區(qū)域生長。首先選取區(qū)域生長的種子點,剔除位于圖像下方平坦區(qū)域(圖像大小為M×N,若大于M/10,則認為是下方區(qū)域)的點;再在圖像上方平坦區(qū)域中尋找亮度最大的點,并將其作為種子點,再進行區(qū)域生長,得到可能為天空的區(qū)域;計算這個區(qū)域在整個圖像中所占的比例ratio。

(4) 紋理特征。大量實驗數(shù)據(jù)表明,以種子點為原點,選取50×50的天空可能區(qū)域,可以更好地求得這個區(qū)域的紋理特征熵值。

(5) 當(dāng)ratio大于閾值θ時,有種特殊情況會出現(xiàn)在濃霧圖像中,即可能會將圖片中霧比較重但不是天空的區(qū)域誤認為是天空區(qū)域。針對這種特殊情況,若ratio大于等于閾值θ、霧濃度[20]和紋理特征熵值分別大于閾值δ和ξ時,認為所獲得的區(qū)域不是天空區(qū)域;反之認為是天空區(qū)域。當(dāng)ratio小于閾值θ時,認為不是天空區(qū)域。

2.4 復(fù)原圖像

得到大氣光A和最終透射圖t(x)之后,根據(jù)物理大氣散射模型可以得到去霧圖像,表達式如下:

(14)

不同方法的去霧效果比較如圖6～圖10所示,本文恢復(fù)圖像顯示在圖7g中。從圖7g中看出,天空區(qū)域的失真問題以及圖像殘留偽像問題在很大程度上得到改善。

圖6 不同方法的去霧效果比較(一)

圖7 不同方法的去霧效果比較(二)

圖8 不同方法的去霧效果比較(三)

圖9 不同方法的去霧效果比較(四)

圖10 不同方法的去霧效果比較(五)

3 實驗結(jié)果與分析

為了檢驗本文去霧算法的效果,與現(xiàn)有的去霧算法(文獻[3-4]、文獻[2]、文獻[21]、文獻[8]、文獻[12])進行對比,算法代碼來自文獻作者發(fā)布在GitHub上(除文獻[3-4]外)的內(nèi)容,文獻[3-4]的算法代碼從https://github.com/akutta/Haze-Removal獲取,對測試圖像(來源于文獻[1]和文獻[8]使用的單幅圖像集)進行定性和定量評估。實驗主要參數(shù)見表1所列。

表1 主要實驗參數(shù)

η和r取值與劃分天空區(qū)域和非天空區(qū)域有關(guān),多次實驗得知,η在0～0.08之間,實驗效果較好;本文設(shè)η=0.04,r=1。θ為天空區(qū)域占比閾值,取值不可過大,否則無法判斷小面積的天空區(qū)域。多次實驗發(fā)現(xiàn),θ=0.1時實驗效果較好。引入霧濃度δ和紋理特征熵值ξ來確保選取的區(qū)域是天空區(qū)域,當(dāng)δ取值范圍為[0.05,0.12]時,實驗效果較好,本文取ξ=0.1,δ=2。

3.1 定性分析

將本文的方法與選定的5種主流方法進行比較。圖6～圖10給出了針對不同圖像,不同去霧方法的去霧效果。 值得注意的是,文獻[2]的方法可以在一定程度去除霧,但是對于濃霧,效果不理想,如圖8b所示;文獻[21]的方法通過圖像分解能夠很好地阻止光暈偽影,但從圖6f和圖8f可以看出,文獻[21]的去霧效果過于光滑和不自然;文獻[8]和文獻[3-4]都無法很好地處理天空區(qū)域,圖7c和圖7e顯示天空區(qū)域出現(xiàn)塊效應(yīng);文獻[8]的結(jié)果也出現(xiàn)了顏色失真的現(xiàn)象,如圖8c和圖10c所示;通過文獻[3-4]的方法獲得的還原圖像包含光暈偽像,如圖7e和圖9e所示,這是對透射率估算不正確造成的;文獻[21]的方法能夠有效地消除濃霧,但是也產(chǎn)生了顏色失真的現(xiàn)象,如圖6d、圖10d所示,這是對霧密度預(yù)測不準(zhǔn)確造成的。

相比之下,本文去霧效果較好,不僅在天空區(qū)域?qū)崿F(xiàn)真實色彩和更好的感知力,而且能夠有效抑制光暈偽影,很好地保留細節(jié)。

3.2 定量分析

為了客觀評價本文算法的有效性,采用對比增強評估指標(biāo)[22]、梯度幅度相似度偏差GMSD[23]和信息熵作為定量評估。

3.2.1 評估指標(biāo)

對比增強評估指標(biāo)中,e表示去霧圖像中新的可見邊緣相對于模糊圖像的比率;r為除霧之前和之后的梯度范數(shù)的平均比;σ表示除霧后變?yōu)楹谏虬咨南袼匕俜直?。較高的e、r值和較低的σ值表示去霧效果較好。但是e、r和σ并不總是一致的, 因此要平衡好三者。梯度幅度相似度偏差GMSD是評估去霧圖像與輸入霧圖像之間的梯度幅度相似度偏差;畸變程度越小,GMSD值越低,恢復(fù)的圖像越好。圖像信息熵entropy表示復(fù)原圖像信息的豐富度,越大越好。評估指標(biāo)對比結(jié)果見表2所列。

表2 評估指標(biāo)對比結(jié)果

3.2.2 評估結(jié)果與分析

表2列出的對比結(jié)果說明了本文方法的有效性。GMSD的值反映圖像中畸變嚴(yán)重程度的范圍,值越高,失真范圍越大,圖像效果越不好。從表2可以看出,本文方法和文獻[21]的方法都獲得了較小的GMSD值,但文獻[21]的方法受到偽影的影響,細節(jié)保留得不夠清晰,而本文的方法在抑制光暈的同時能夠很好地保留細節(jié)。較高的信息熵值表示復(fù)原圖像信息的豐富度。從表2可以看出,文獻[8]的方法獲得最高的信息熵值,但由于顏色失真導(dǎo)致色彩過于豐富,而本文方法在保持豐富顏色的同時能夠保持顏色的真實感。表2給出了不同去霧方法的對比度增強評估,在平衡e、r和σ三者之后,本文方法獲得良好的效果。

4 結(jié) 論

針對經(jīng)典去霧算法在天空和邊緣處出現(xiàn)光暈的現(xiàn)象,本文以暗通道先驗為基礎(chǔ),提出基于天空識別與加權(quán)引導(dǎo)濾波的圖像去霧算法。通過優(yōu)化引導(dǎo)圖像和改進加權(quán)引導(dǎo)濾波抑制景深處出現(xiàn)的光暈效應(yīng),有效增強了邊緣處的細節(jié)。針對暗通道先驗不適用于天空等明亮區(qū)域問題,提出一種天空識別方法,能夠有效識別圖像中是否存在大面積天空區(qū)域,從而對透射率進行修正,得到潔凈的天空區(qū)域。實驗結(jié)果表明,相比于一些主流的去霧算法,本文算法所得到的圖像在景深處能恢復(fù)更多細節(jié),并且在天空處沒有出現(xiàn)明顯的失真。