馮 輝,王露露,周曉曉
(1 河海大學(xué) 計(jì)算機(jī)與信息學(xué)院,南京 210098;2 江蘇財(cái)經(jīng)職業(yè)技術(shù)學(xué)院 機(jī)械電子與信息工程學(xué)院,淮安 223003)
基于暗通道邊緣細(xì)化的圖像快速去霧算法研究
馮 輝1,2,王露露1,周曉曉1
(1 河海大學(xué) 計(jì)算機(jī)與信息學(xué)院,南京 210098;2 江蘇財(cái)經(jīng)職業(yè)技術(shù)學(xué)院 機(jī)械電子與信息工程學(xué)院,淮安 223003)
指出了在霧霾天氣下,鏡頭獲得的戶(hù)外圖像必然會(huì)出現(xiàn)降質(zhì)和退化等問(wèn)題,暗通道先驗(yàn)算法能夠很好地解決有霧圖像復(fù)原的問(wèn)題,但是其時(shí)效性較低.針對(duì)這些問(wèn)題,提出了一種對(duì)暗通道圖進(jìn)行邊緣細(xì)化修正的改進(jìn)圖像快速去霧算法.該算法對(duì)暗通道邊緣進(jìn)行細(xì)化,并對(duì)透射率進(jìn)行適度修正,以加快透射率的細(xì)化過(guò)程并提高圖像復(fù)原的性能.實(shí)驗(yàn)結(jié)果表明:所提算法在圖像復(fù)原質(zhì)量和速度上都有了較大的提升,具有一定的實(shí)用價(jià)值.
圖像;暗通道先驗(yàn);去霧;邊緣細(xì)化;透射率修正
AbstractIn fog and haze, the outdoor images will be degraded. The dark channel prior algorithm can solve the problem through fog image recovery, but its effectiveness is low. To address this problem, an improved fast dehazing method for images edge thinning correction of dark channel is proposed. The edge of dark channel is thinning step by step, and the transmissivity is corrected appropriately to speed up the thinning process and improve the performance of image restoration. The experimental results show that the algorithm proposed in this paper has greatly improved the quality and speed of image restoration, and has some practical value.
Keywordsimage; dark channel prior; defogging; edge thinning; transmissivity correction
圖像是人類(lèi)認(rèn)識(shí)世界最重要的信息載體之一,人們通過(guò)眼睛觀察和認(rèn)識(shí)客觀世界,就是通過(guò)圖像來(lái)獲取客觀信息.正常的天氣狀態(tài)下,人們觀察到的圖像能夠清晰地反應(yīng)真實(shí)的世界,傳達(dá)準(zhǔn)確的信息.人工智能的發(fā)展離不開(kāi)對(duì)圖像信息的識(shí)別和解讀,清晰圖像可以為圖像識(shí)別提供足夠多的信息.但是有時(shí)人們經(jīng)常會(huì)灰蒙蒙的有霧圖像,這給圖像信息提取和識(shí)別帶來(lái)了很大的麻煩.因此,圖像去霧的研究變得越來(lái)越重要,也已經(jīng)成為人工智能發(fā)展研究的熱點(diǎn)內(nèi)容.
目前,圖像去霧的方法有兩種類(lèi)型,一種是基于圖像增強(qiáng)的方法,比如直方圖均衡化、Retinex算法等;另外一種是基于霧天大氣物理模型的圖像復(fù)原的方法[1].基于圖像增強(qiáng)的去霧方法的思路是從有霧圖像自身出發(fā),通過(guò)對(duì)圖像的細(xì)節(jié)增強(qiáng)來(lái)達(dá)到去霧的效果.這樣的方法沒(méi)有考慮到有霧圖像質(zhì)量退化的因素,單純地針對(duì)圖像本身的增強(qiáng),雖然方法具有普遍意義,但是細(xì)節(jié)信息會(huì)丟失很多,并不能帶來(lái)理想的處理效果.基于物理模型的圖像復(fù)原方法在近些年取得了很大的進(jìn)展.Tan將霧霾圖像和無(wú)霧圖像進(jìn)行分析,發(fā)現(xiàn)無(wú)霧圖像的局部對(duì)比度相對(duì)較高,根據(jù)該特點(diǎn),結(jié)合馬爾可夫隨機(jī)場(chǎng)(MRF),最大程度地增加復(fù)原圖像的局部對(duì)比度[2].該算法雖然能夠得到顯著的效果,但是復(fù)原的圖像對(duì)比度過(guò)高,易產(chǎn)生顏色失真.Nishino將霧霾圖像中的統(tǒng)計(jì)信息進(jìn)行處理,通過(guò)貝葉斯后驗(yàn)概率模型,提取圖像中的潛在特征[3].該算法對(duì)于濃霧區(qū)域效果較好,但不適用于薄霧天氣,會(huì)導(dǎo)致顏色過(guò)度修正.Fattal通過(guò)獨(dú)立分量分析方法獲取場(chǎng)景的輻照度[4],該方法對(duì)于色彩信息要求較高,對(duì)于整體偏暗或濃霧圖像的復(fù)原效果較差,無(wú)法進(jìn)行灰度圖像去霧.He等人提出的暗通道理論,在對(duì)霧霾圖像進(jìn)行處理時(shí)能夠得到較好的復(fù)原圖像[5],但是摳圖算法優(yōu)化透射率時(shí)耗時(shí)過(guò)長(zhǎng),計(jì)算量很大,天空等色彩灰白的明亮區(qū)域產(chǎn)生顏色失真,暗通道理論在該環(huán)境下不成立.為了克服暗通道理論的弱點(diǎn),學(xué)者們又采用了很多的改進(jìn)方法.Tarel提出了一種使用中值濾波代替軟摳圖的快速圖像去霧算法[6],但中值濾波沒(méi)有邊緣保持的功能,若參數(shù)設(shè)置有偏差,容易導(dǎo)致“halo”效應(yīng).本文針對(duì)He等人提出的暗通道理論,針對(duì)暗通道軟摳圖時(shí)效性較低的缺點(diǎn),提出了對(duì)暗通道圖邊緣進(jìn)行逐步插值細(xì)化的方法,再對(duì)透射率計(jì)算進(jìn)行修正來(lái)提高算法的時(shí)效性能,通過(guò)實(shí)驗(yàn)對(duì)比,結(jié)果顯示本文所提出的方法能夠有效提高暗通道去霧算法的性能,有一定的實(shí)用價(jià)值.
霧是由有大量細(xì)微粒子懸浮在大氣中而形成的特別自然現(xiàn)象.由于在霧天大氣中存在大量的細(xì)微粒子,光線在傳播過(guò)程中就會(huì)被散射,反映到人類(lèi)視覺(jué)上就造成了圖像信息的丟失.早在1908年,G.Mie就提出了有關(guān)在介質(zhì)之中的顏料粒子對(duì)光散射的理論即米氏(Mie)散射理論.該理論充分解釋了惡劣天氣條件下的大氣散射作用,因此McCartney在米氏散射理論的基礎(chǔ)上,于1975年提出了目前計(jì)算機(jī)和圖像領(lǐng)域最常用的物理模型,即大氣散射模型[7].霧天圖像的退化模型如下:
I(x)=J(x)t(x)+A(1-t(x))),
(1)
其中,x代表圖像任意像素點(diǎn)的坐標(biāo);I(x)表示最終形成的霧天圖像;t(x)表示光線的透射率,反映霧天條件下光線的傳播能力,t(x)值越大,說(shuō)明光線的透射能力越強(qiáng),得到的圖像越清晰;A表示無(wú)窮遠(yuǎn)處的光強(qiáng),與x無(wú)關(guān),一般視為全局變量;J(x)表示清晰圖像,反映場(chǎng)景的真實(shí)信息,即反射光強(qiáng)度.
在霧天退化模型中,只有霧天圖像I(x)已知,若要恢復(fù)無(wú)霧圖像,可根據(jù)(1)式,通過(guò)求解透射率t(x)和大氣光A,獲得清晰的無(wú)霧圖像J(x).透射率t(x)是景深的函數(shù),公式如下:
t(x)=e-β(λ)d=e-βd,
(2)
由(2)式可知,若景深d不斷增加,場(chǎng)景的輻照度會(huì)以指數(shù)的形式不斷衰減.因此,由霧天圖像退化模型可知,圖像的退化程度與場(chǎng)景深度有關(guān),然而對(duì)于景深的估計(jì)至今仍未得到有效解決.
2.1暗通道先驗(yàn)
暗通道先驗(yàn),暗原色先驗(yàn)理論(dark-channel prior)是Kaiming He等人提出的[5],He等人將收集到的戶(hù)外無(wú)霧圖像進(jìn)行裁剪,去除天空等區(qū)域后進(jìn)行統(tǒng)計(jì)分析,發(fā)現(xiàn)大部分區(qū)域的局部塊中的顏色通道,至少具有一個(gè)很低的像素值,且趨近于零,并將其稱(chēng)為暗通道.通過(guò)獲取R、G、B三通道中的最小值,形成與原圖大小一樣的灰度圖,再通過(guò)固定的窗口大小對(duì)灰度圖進(jìn)行最小值濾波,也即灰度腐蝕操作,最終得到暗通道圖,公式如下:
(3)
其中,Jdark為圖像J的暗原色,Jc表示J的R、G、B通道,Ωx是以x為中心的方形窗口,Jdark趨近于0.
2.2暗通道先驗(yàn)去霧方法
由霧天圖像退化模型可知,根據(jù)式(1),從原圖I(x)中獲取透射率t(x)、大氣光A,才能夠復(fù)原去霧圖J(x).對(duì)原圖I(x)采用固定窗口求取暗通道圖,公式如下:
(4)
然后根據(jù)大氣光估計(jì)來(lái)計(jì)算粗透射率,再用軟摳圖算法來(lái)獲得細(xì)化透射率,最后根據(jù)物理模型、原圖I、參數(shù)A和t(x),得到去霧圖像J.整個(gè)算法過(guò)程如圖1 所示.
(1)大氣光估計(jì).He等人提出改進(jìn)的大氣光估計(jì)方法,通過(guò)獲取的暗通道值來(lái)得到對(duì)應(yīng)的霧氣信息,值越大,對(duì)應(yīng)的霧濃度越大[7].通過(guò)獲取暗通道值最大的前0.1%的像素點(diǎn),在原圖的對(duì)應(yīng)位置找到RGB通道的最大值,將其設(shè)置為大氣光值.此方法使大氣光的獲取更具有魯棒性,準(zhǔn)確性較高.
(2)求解粗透射率.透射率與散射系數(shù)β、場(chǎng)景到圖像傳感器的距離有關(guān),假設(shè)大氣均勻分布,在某一時(shí)刻的散射系數(shù)β被當(dāng)作定值,假設(shè)圖像局部塊Ω(x)中的透射率為常數(shù),根據(jù)退化模型對(duì)式(1)進(jìn)行最小值濾波,可得表達(dá)式如下:
(5)
(6)
由于Jdark趨近于0,且Ac>0,可得下式:
(7)
(8)
雖然暗通道先驗(yàn)排除了天空區(qū)域,在此區(qū)域無(wú)效,但由于天空區(qū)域與大氣光都來(lái)自于無(wú)窮遠(yuǎn)處,因此可用大氣光值A(chǔ)近似等于天空區(qū)域的光強(qiáng),可得(9)式:
(9)
為了使圖像自然、貼合實(shí)際,也有利于對(duì)景深的提取,通過(guò)加入?yún)?shù)ω(0<ω≤1),防止霧氣的過(guò)度去除,使空間中保持少量的霧氣:
(10)
通過(guò)設(shè)置ω的值,使不同圖像保持少量的霧氣,一般情況取ω=0.95,從而得到真實(shí)自然的去霧圖像.
圖1 He的算法去霧流程圖Fig.1 The defogging flow chart of He′s algorithm
(3)圖像復(fù)原.根據(jù)估計(jì)的透射率圖以及大氣光值,可以通過(guò)式(1)獲得清晰的復(fù)原圖像.伴隨著t(x)→0的情況,J(x)t(x)也趨近于0,此時(shí)獲得的去霧圖像可能含有噪聲.通過(guò)設(shè)置閾值t0限制透射率的最低值,保證去霧圖像的質(zhì)量,保留濃霧區(qū)域少量的霧氣,具體公式如下.
(11)
針對(duì)He的霧天圖像復(fù)原的不足,提出采用基于邊緣細(xì)化的去霧算法.(1)對(duì)邊緣區(qū)域采用由塊到像素的插值細(xì)化暗通道圖,修正景深跳變區(qū)域的暗通道值,減少該區(qū)域暈光的產(chǎn)生,降低算法的運(yùn)行時(shí)間.(2)對(duì)于暗通道理論失效的天空等區(qū)域,通過(guò)引入修正因子改進(jìn)透射率公式,減少該區(qū)域的顏色失真.(3)通過(guò)霧霾圖像的降質(zhì)模型復(fù)原清晰的圖像.
3.1邊緣細(xì)化暗通道
基于暗通道理論的去霧算法中,認(rèn)為透射率在局部區(qū)域是一個(gè)定值,因此需要首先求出每個(gè)窗口的暗通道值,類(lèi)似于形態(tài)學(xué)的腐蝕,進(jìn)而得到局部區(qū)域的透射率[5].在保證圖像質(zhì)量的前提下,避免復(fù)原圖像出現(xiàn)“halo”效應(yīng),本文針對(duì)軟摳圖細(xì)化透射率耗時(shí)過(guò)長(zhǎng)且復(fù)雜度高的不足,提出對(duì)有霧圖像邊緣區(qū)域的暗通道進(jìn)行由塊到像素的插值來(lái)細(xì)化暗通道,修正景深跳變區(qū)域的暗通道值,再通過(guò)透射率公式直接得到細(xì)化的透射率,降低算法的運(yùn)算時(shí)間,既保證了非景深跳變區(qū)域的透射率準(zhǔn)確性,也去除了邊緣區(qū)域的塊效應(yīng),保護(hù)了邊緣區(qū)域的細(xì)節(jié).具體步驟如下.
(1) 對(duì)于輸入圖像I,由式(4)獲得暗通道圖Idark.為了保留了良好的細(xì)節(jié)和邊緣信息,可以計(jì)算得到有霧圖像R、G、B通道的最小值圖,見(jiàn)公式(12):
(12)
最小值圖Imin(x)不能用于估計(jì)透射率,因?yàn)榘低ǖ老闰?yàn)成立的條件是基于局部區(qū)域而不是單個(gè)像素點(diǎn).
(2)通過(guò)Sobel算子對(duì)最小值圖Imin(x)完成邊緣檢測(cè)[8],得到包含景深突變信息的二值圖像B,對(duì)B以半徑r進(jìn)行鄰域擴(kuò)展,執(zhí)行形態(tài)學(xué)膨脹操作后得到擴(kuò)展后的二值圖像Bw,得到圖像I的邊緣信息.
(3)將邊緣二值圖像B所在區(qū)域的暗通道值重新計(jì)算,消除或減少暗通道值和最小值差值較大的像素的權(quán)重,降低邊緣區(qū)域的塊效應(yīng).邊緣區(qū)域單個(gè)像素的暗通道細(xì)化可由其鄰域暗通道值的加權(quán)插值得到,公式如下:
(13)
(14)
其中,x為邊緣區(qū)域的像素,S(x)表示中心位于x的25×25方形窗口.i表示窗口S(x)中像素點(diǎn)的索引,為保證運(yùn)行的效率與加權(quán)插值的準(zhǔn)確性,選取25個(gè)像素點(diǎn)作為i的集合,其中包括x、S(x)中13×12以及25×25窗口上均勻分布的像素點(diǎn).
TW為規(guī)范化的權(quán)重之和,權(quán)重的定義如下:
wx(i)=e-(Dx(i)2/σ2,
(15)
Dx(i)=Imin(x)-Idark(i),
(16)
權(quán)重公式引入高斯函數(shù),表示對(duì)邊緣區(qū)域中的任意像素x,當(dāng)最小值Imin(x)和鄰域中Idark(x)的差值很小時(shí),像素x和i趨于相同,權(quán)重wx(i)很高;若差值較大,則得到的權(quán)重值很小.當(dāng)σ∈[0.1,0.3]時(shí),復(fù)原圖像既保留了邊緣細(xì)節(jié)以及紋理信息,也平滑了噪聲.
3.2透射率修正
場(chǎng)景中若出現(xiàn)天空等明亮區(qū)域時(shí),此區(qū)域的暗通道值偏大,和大氣光的值相近[7].因此Idark/A趨近于1,透射率很小,在此區(qū)域的去霧效果會(huì)出現(xiàn)顏色失真.更本質(zhì)的是,透射率t(x)可以表示為:
(17)
由于無(wú)霧環(huán)境下,天空等明亮區(qū)域的暗通道遠(yuǎn)大于0,因此在這些區(qū)域的暗通道失效.為了減少該區(qū)域的顏色失真,引入調(diào)整因子修正透射率求解公式,從而改善失真情況.引入高斯核函數(shù)形式的調(diào)整因子:
f(x)=ke-(Idark(x)-A)2/σ2,
(18)
(19)
3.3圖像復(fù)原
通過(guò)細(xì)化的透射率圖,可以根據(jù)式(11)恢復(fù)無(wú)霧圖像.為了防止透射率大于1的無(wú)效情況,為透射率設(shè)置一個(gè)上界[9],防止恢復(fù)圖像產(chǎn)生失真.最終恢復(fù)的無(wú)霧圖像的表達(dá)式如下:
(20)
通過(guò)對(duì)本文算法大量的實(shí)驗(yàn),證明該算法的去霧圖像視覺(jué)效果良好,亮度適中,具有較高的清晰度,圖像的細(xì)節(jié)信息保持較好.如圖2所示,原始有霧圖像顏色偏灰白色,對(duì)比度低,場(chǎng)景信息比較模糊,顏色失真比較嚴(yán)重;經(jīng)過(guò)改進(jìn)的方法去霧后,圖像結(jié)構(gòu)信息比較清晰,對(duì)比度得到明顯提高,細(xì)節(jié)信息變得豐富,色彩信息比較真實(shí).
圖2 算法的去霧結(jié)果圖Fig.2 The defogging result of the algorithm
為了驗(yàn)證本文算法的性能,將其與He的暗通道以及指導(dǎo)濾波算法的復(fù)原圖像進(jìn)行比較,如圖3所示.在使用本文算法時(shí),第一步邊緣細(xì)化暗通道中,式(15)引入高斯函數(shù)的取0.2;第二步透射率修正中,采用高斯核函數(shù)的調(diào)整因子,式(18)中k取均0.5,取0.1進(jìn)行實(shí)驗(yàn).
圖3 不同算法去霧結(jié)果圖對(duì)比Fig.3 Comparison of defogging results in this paper
觀察圖3的結(jié)果,每種算法均可以改善圖像質(zhì)量,達(dá)到去霧的效果.第一組為霧較濃的風(fēng)景圖,圖中包括天空樹(shù)林的分界區(qū).圖(B)He的算法得到的圖像較為清晰,可是色彩偏暗,存留了較多的霧氣.圖(C)為本文算法得到的去霧圖像,圖像細(xì)節(jié)部分較為清晰,對(duì)比度較好,很好地消除了樹(shù)林與天空的halo效應(yīng),且圖像顏色沒(méi)有失真.
第二組為霧很輕的戶(hù)外場(chǎng)景圖,圖中包括天空與建筑的分界區(qū).圖(E)He的算法獲得很好的清晰度,可是天空區(qū)域產(chǎn)生明顯的顏色失真.圖(F)為本文算法得到的去霧圖像,圖像細(xì)節(jié)部分清晰,對(duì)比度較好,且圖像顏色沒(méi)有失真,與實(shí)際場(chǎng)景很接近.
第三組為霧適中的普通近景圖,且色彩較為豐富,并且圖中包括樹(shù)葉與房屋的分界區(qū).圖(H)He的算法可以去除大部分的霧靄,可是圖像仍然較為模糊,細(xì)節(jié)不明顯,顏色偏暗.圖(I)為本文算法得到的去霧圖像,細(xì)節(jié)部分清晰,對(duì)比度較好,很好地消除了邊緣區(qū)域的halo效應(yīng),無(wú)顏色失真.
圖3對(duì)各個(gè)算法的去霧實(shí)驗(yàn)圖進(jìn)行了對(duì)比,表1中對(duì)比了上述的各個(gè)算法處理的均值、平均梯度、信息熵、峰值信噪比以及運(yùn)算時(shí)間等5個(gè)性能指標(biāo)[10].
表1 不同算法的性能比較Tab.1 Performance comparison of different algorithms
根據(jù)表1中的數(shù)據(jù)可以得出,兩種算法得到的去霧圖像均值都降低,表明圖像的霧氣減弱,色彩更為豐富,圖像亮度更符合人眼的視覺(jué)感受;兩種算法去霧后的圖像平均梯度都增加,有霧圖像引起的灰白現(xiàn)象得到處理,圖像更為清晰,其中本文算法的平均梯度值最大,邊緣區(qū)域細(xì)節(jié)最為清晰;峰值信噪比的增加,表示本文算法能夠更好地抑制噪聲;本文算法處理后的圖像相對(duì)較高的信息熵,說(shuō)明能夠保持原圖的本質(zhì)特征,去霧效果更為真實(shí);相比He算法,本文算法具有更短的運(yùn)行時(shí)間,因此實(shí)時(shí)性更強(qiáng)[11].
本文提出了邊緣細(xì)化透射率修正的圖像去霧算法,通過(guò)對(duì)對(duì)邊緣區(qū)域采用塊到像素插值的方法優(yōu)化暗通道,得到細(xì)化的透射率圖,提高了算法的實(shí)時(shí)性;對(duì)于天空等區(qū)域,通過(guò)引入修正因子改進(jìn)粗透射率,減少該區(qū)域的色彩失真.實(shí)驗(yàn)證明,該算法在多個(gè)性能上都相對(duì)He算法有了很大改進(jìn),在保證了邊緣信息的前提下明顯提高了時(shí)效性.
[1] 吳 迪,朱青松. 圖像去霧的最新研究進(jìn)展[J]. 自動(dòng)化學(xué)報(bào),2015,41(2):221-239.
[2] Tan R T. Visibility in bad weather from a single image[C]//IEEE.2008 Computer Vision and Pattern Recognition.Alaskai: IEEE, 2008:1-8.
[3] Nishino K, Kratz L, Lombardi S. Bayesian Defogging[J]. International Journal of Computer Vision, 2012, 98(3):263-278.
[4] Fattal R. Single image dehazing[J]. ACM Transactions on Graphics, 2008, 27(3): 1-9.
[5] He K, Sun J, Tang X. Single image haze removal using dark channel prior[C]// IEEE. Computer Vision and Pattern Recognition. Miami: IEEE, 2011:1956-1963.
[6] Tarel J P, Hautiere N, Caraffa L, et al. Vision Enhancement in Homogeneous and Heterogeneous Fog[J]. Intelligent Transportation Systems Magazine IEEE, 2012, 4(2):6-20.
[7] Mccartney E J, Jr F F H. Optics of the Atmosphere: Scattering by Molecules and Particles[J]. Journal of Modern Optics, 1977, 14(7):521-521.
[8] 李 鋒, 闞建霞. 基于Sobel算子的圖像快速二維最大熵閾值分割算法[J]. 計(jì)算機(jī)科學(xué), 2015, 42(6A):209-210+220.
[9] Chu H L, Li Y X, Zhou Z M, et al. Optimized fast dehazing method based on dark channel prior[J]. Acta Electronica Sinica, 2013, 41(4):791-797.
[10] 劉書(shū)琴, 毋立芳, 宮 玉,等. 圖像質(zhì)量評(píng)價(jià)綜述[J]. 中國(guó)科技論文, 2011, 06(7):501-506.
[11] 李大鵬, 禹 晶, 肖創(chuàng)柏. 圖像去霧的無(wú)參考客觀質(zhì)量評(píng)測(cè)方法[J].中國(guó)圖象圖形學(xué)報(bào), 2011(9):1753-1757.
ResearchonFastImageDefoggingAlgorithmBasedonEdgeThinningofDarkChannel
FengHui,WangLulu,ZhouXiaoxiao
(1 College of Computer and Information, Hohai University, Nanjing 210098, China;2 Department of Mechanical Electronic and information Engineering, Jiangsu Vocational College of Finance and Economics, Huaian 223003, China)
TP391
A
1672-4321(2017)03-0101-05
2017-06-22
馮 輝(1983-),男,博士生,研究方向:圖像處理、人工智能,E-mail: fenghuiyyd@163.com
國(guó)家自然科學(xué)基金資助項(xiàng)目(61501173); 淮安市重點(diǎn)研發(fā)計(jì)劃(HAG2015009)