韓 亮,張愛萍,田東平
(西安建筑科技大學理學院,陜西西安710055)
隨著城市化進程的推進,各行各業(yè)對智能設(shè)備的依賴度越來越高。大多數(shù)智能設(shè)備如遙感衛(wèi)星成像、智能駕駛、道路監(jiān)控等領(lǐng)域依靠輸入較好的可視性圖像來實現(xiàn)智能化。然而在獲取圖像的過程中,智能設(shè)備容易受到戶外天氣因素干擾,如霧、煙、雨等天氣會導致設(shè)備所獲取圖像的視覺效果衰減、對比度及飽和度降低。因此,研究降質(zhì)圖像的去霧算法對提高智能設(shè)備的成像效果,具有重要的研究意義及應(yīng)用價值。
Fattal[1]通過統(tǒng)計輸入圖像特性,獨立計算分析出場景內(nèi)反射率來實現(xiàn)去霧,但在處理時需要充足色彩信息。Tarel等[2]構(gòu)建出某區(qū)域內(nèi)變化緩慢的大氣耗散函數(shù)實現(xiàn)去霧,但在去霧過程中使用色彩度調(diào)和,造成圖像去霧后存在色彩失真現(xiàn)象。Ancuti等[3]通過兩幅圖像融合多尺度逐個像素進行處理,但由于只能通過2幅衍生圖像進行融合,算法的時間復(fù)雜度較大。He等人[4]提出了基于暗原色先驗的單幅圖像去霧算法,他們通過觀察大量晴天拍攝的圖像發(fā)現(xiàn):這些圖像總是存在一些“暗點”,而這些“暗點”特性是至少存在一個顏色通道的值很低且逼近于零。利用這些“暗點”可以估算出拍攝場景中霧的濃度,再結(jié)合大氣散射模型粗略估算出降質(zhì)圖像的透射率。但是在實際使用中當場景物體和大氣光性質(zhì)十分接近時,暗通道先驗是無效的。Meng等人[5]提出基于邊界約束的去霧算法,是利用正則化約束方法對透射率加權(quán),求取最優(yōu)解作為透射率的估計。該方法雖然對天空區(qū)域色彩失真問題有了一定程度的改善,但是對天空區(qū)域和非天空區(qū)域的邊界處容易出現(xiàn)邊界模糊,細節(jié)信息不清晰的現(xiàn)象。
針對目前暗通道先驗算法在圖像的明亮區(qū)域去霧時存在色偏嚴重、色彩失真等問題,本文提出一種改進的暗通道先驗去霧方法。該方法通過三通道明亮區(qū)域分割法獲得準確大氣光強度值,根據(jù)輻射立方體準則,使用邊界約束條件得到透射率圖像,并利用高斯型同態(tài)濾波優(yōu)化透射圖像,再結(jié)合色階補償原理[6]對透射率圖像與源圖像進行小波融合,通過將融合后的圖像與去霧后的圖像進行不斷地融合補償,最終獲得最佳色階透射率圖像,以達到平滑、去霧的最佳視覺效果。仿真結(jié)果表明,本文算法可以改善明亮區(qū)域色彩失真現(xiàn)象,保持圖像整體輪廓及較好的可視度。
通常戶外天氣下,室外獲取圖像時會受到空氣中大氣微粒(如塵埃,小水滴等)影響,產(chǎn)生不同程度的散射。在霧天中,大氣微粒散射影響尤為明顯,Narasimhan[7]提出了大氣散射模型
I(x)=J(x)t(x)+A[1-t(x)]
(1)
其中,x表示圖像中像素點的二維空間位置;I(x)為觀測或拍攝到的有霧圖像;J(x)為無霧的清晰圖像;A為全局大氣光強度,一般情況下取常數(shù),與局部位置x無關(guān);t(x)為光線的透射率,反映場景深度信息,會隨著場景內(nèi)景物到相機鏡頭的距離增大而減小。
暗原色理論認為在多數(shù)不包括明亮區(qū)域的戶外無霧圖像中,至少存在趨近于0的像素點[9],即
(2)
其中,Jc(y)是輸入圖像的某一通道;φ(x)是以像素點x為中心的局部區(qū)域;Jdark(x)是霧化圖像在φ(x)區(qū)域中的暗原色像素,若是無霧圖像,Jdark(x)會趨近于0。
結(jié)合(2)式和(1)式,得到圖像的近似透射率t(x)
(3)
根據(jù)式(3),結(jié)合圖像的成像模型(1)式,就可以得到去霧后的清晰圖像J(x):
(4)
其中,t0為閾值,防止t(x)透射率過小導致圖像整體向白場過渡,一般取t0=0.1。
根據(jù)有霧圖像得到大氣光強度A和透射率t(x),就可以復(fù)原出清晰的無霧圖像。本文的算法是基于暗通道先驗理論,首先,利用三通道明亮區(qū)域分割法獲得全局大氣光強度值;其次,利用邊界約束條件得到初步的透射率圖像,并運用高斯型同態(tài)濾波對透射率圖像進行平滑處理;最后,用色階補償原理結(jié)合小波變換對透射率圖像與源圖像進行融合,通過多次融合補償獲得最佳色階圖像,進行復(fù)原得到無霧圖像。
He的暗原色算法理論中,通常選取暗原色通道中亮度最高的0.1%像素,并將這些像素對應(yīng)到有霧圖像中取最大亮度作為大氣光A,該方法容易受到諸如明亮區(qū)域物體(如天空、白色物體等)的干擾,使得A取值偏大,從而影響著最終的去霧效果。
根據(jù)圖像明亮區(qū)域中梯度變化較低,像素趨近最大亮度等這些特性,本文引入三通道明亮區(qū)域分割方法,有效地分割明亮區(qū)域,求解大氣光強度。首先,得到高斯濾波平滑后的圖像如下
F(x)=h(x)*β(x)σ,ξ
(5)
其中,β(x)σ,ξ為高斯濾波的核函數(shù),σ,ξ分別為核函數(shù)的尺寸和標準差,F(xiàn)(x)為高斯濾波平滑后的圖像。其次,運用三通道明亮區(qū)域分割方法,即分別設(shè)置RGB三通道的閾值,通過對原圖像利用迭代法求得最小像素灰度值φ(F(X)),初步獲得明亮區(qū)域分割圖像;為了減少區(qū)域內(nèi)過度曝光的像素點,通過多次迭代與修正方法求得更為精確大氣光強A:
(6)
經(jīng)典的暗通道先驗算法采用最小值濾波的方法獲取暗通道圖像,He等為了抑制“階梯”效應(yīng),采用軟摳圖或者引導濾波方法來優(yōu)化透射率及暗通道圖像,但由于對圖像平滑程度有限,圖像邊緣區(qū)域存在色塊效應(yīng)及光暈現(xiàn)象。為了避免這些問題,本文構(gòu)建了邊界約束與高斯型同態(tài)濾波的平滑方法。
基于輻射立方體準則的邊界限制是通過約束條件把暗通道圖像限定到一定的范圍之內(nèi)[8]。該方法可以簡化暗通道圖像求解的復(fù)雜度,一定程度上還可以避免暗通道圖像的“階梯”效應(yīng)。根據(jù)式(1),可以得到
(7)
考慮到圖像的場景散射的限制,如圖1所示,設(shè)定場景的圖像邊界為
圖1 輻射立方體準則
C0≤J(x)≤C1
(8)
其中,C0、C1分別為圖像的上下邊界。從圖1可知,由式(7)和(8),可以得到透射率圖像的限制邊界條件:
C0≤tb(x)≤t(x)≤C1
(9)
其中tb(x)為透射率圖像的下限邊界,由(7)式可得:
(10)
經(jīng)過邊界約束處理,得到初步去除“階梯”效應(yīng)的等效暗通道圖像,且該圖像的邊緣也出現(xiàn)了一定的模糊,但明亮區(qū)域部分的“階梯”效應(yīng)仍然明顯,就會造成去霧復(fù)原時出現(xiàn)光暈現(xiàn)象。本文通過高斯型同態(tài)濾波的方法,對透射率圖像的邊緣進行增強,對圖像其余的部分進行平滑處理,可以有效地避免光暈現(xiàn)象。通過高斯型同態(tài)濾波處理,使得圖像在保持邊緣的基礎(chǔ)上盡可能的與原圖相似。高斯型同態(tài)濾波的數(shù)學表達式為[9]
(11)
其中,H(u,v)為高斯型同態(tài)濾波的傳遞函數(shù);aH,aL分別為高頻與低頻增益系數(shù);c為銳化常數(shù),用來控制濾波器函數(shù)斜面的銳化;D(u,v)表示頻率(u,v)到濾波中心(u0,v0)的距離,D0為截止頻率。
依據(jù)He的算法和本文高斯型同態(tài)濾波算法,分別采用(3)式和(11)式得到處理后的透射率圖像。如圖2所示,分別是用兩種方法進行遠景圖及近景圖清晰化處理對比結(jié)果。其中圖2(a)是原始有霧遠景、近景圖像;圖2(b)、3是He方法得到的暗通道透射率圖像;圖2(c)、是本文算法得到的透射率優(yōu)化圖像;圖2(d)、是何的方法去霧之后的結(jié)果;圖2(e)是本文方法去霧之后的結(jié)果??梢钥闯觯瑑煞N方法在近景有霧圖像清晰化處理時都可以達到很好的效果;但在遠景有霧圖像清晰化處理時,He方法在景深突變邊緣與天空區(qū)域存在邊緣模糊,如圖2(d)所示;而本文方法經(jīng)過濾波處理后透射率圖像保留了圖像的邊緣,平滑了圖像非邊緣部分,但圖像遠景處仍存在過度曝光及白邊現(xiàn)象,如圖2(e)所示。
圖2 遠景與近景透射率圖像的優(yōu)化對比
由于同態(tài)濾波處理圖像時使用的是傅立葉變換,它雖然能較好地刻畫信號的頻譜特性,但傅立葉變換所采用的三角函數(shù)系在時域上沒有任何局部性[10],不能提供有關(guān)頻率成分的時間局部化信息,因此在增強圖像對比度時導致局部亮度過大。相對于傅里葉變換,小波變換是一種信號的時間-頻率分析方法,將小波變換作為頻域多尺度圖像融合的工具,具有良好的局部特性,且融合結(jié)果符合人類視覺認知[11]。本文在邊界約束高斯型同態(tài)濾波的基礎(chǔ)上,結(jié)合小波融合對復(fù)原后遠景圖像進行色階補償修正,目的是解決復(fù)原后遠景圖像存在過渡曝光及白邊問題。
假定原始圖像的色階為α,通過邊界約束高斯型同態(tài)濾波后圖像的色階為ρ(α),兩幅圖像的色階差為δn=|α-ρ(α)|,其中δn必存在最佳的色階差。因此可以通過多次對去霧后的圖像像素進行色階補償來實現(xiàn)圖像優(yōu)化,從而使得去霧后的圖像像素色階變得更加適應(yīng)觀測。像素色階補償流程圖如圖3所示。
圖3 像素色階補償流程圖
圖像的低頻部分是圖像的輪廓和平均特性,高頻部分是圖像的細節(jié)特性。在圖4所示的小波融合過程中,采用的融合規(guī)則及融合算法是:待融合圖像低頻部分采用邏輯濾波器對近似分量進行處理,如式(12)所示:
fC(x,y)=θC1(x,y)+(1-θ)C2(x,y)
(12)
其中,fC(x,y)為融合后圖像近似分量;θ為權(quán)重參數(shù),一般取:θ=0.5;C1(x,y)與C2(x,y)分別為重構(gòu)時圖像小波分解的近似分量。按加權(quán)平均進行融合后更大程度地消除噪聲并抑制偽影。待融合圖像高頻部分按絕對值最大對細節(jié)分量進行處理,如式(13)所示:
fA(x,y)=max{|A1(x,y)|,|A2(x,y)|}
(13)
其中,fA(x,y)為融合后圖像細節(jié)分量;A1(x,y)與A2(x,y)分別為重構(gòu)時小波分解的細節(jié)分量,取絕對值較大的細節(jié)分量時圖像邊界輪廓更為清晰。
一次融合并不一定能立即得到最優(yōu)的像素色階,所以可以進行多次融合來進行不斷優(yōu)化。第一次融合時,利用濾波后的透射率圖像和源圖像得到融合圖像A1,融合后,圖像A1的像素色階為ρ1(α)=|α+δ1|;將融合圖像A1與去霧后圖像再次融合得到第二次融合圖像A2,圖像A2的像素色階為ρ2(α)=|α+δ2|;再利用第二次融合圖像A2與去霧后圖像進行三次融合得到三次融合圖像A3,依次類推,經(jīng)過多次融合,直到獲取最優(yōu)像素色階。由于每次融合后色階補償差為δn(n=1,2,3…),則補償后圖像的像素色階為
ρn(α)=|α+δn|(n=1,2,3…)
(14)
圖4 基于色階差補償法融合圖
本文仿真是在處理器為 AMD A8、內(nèi)存為8GB的筆記本電腦上用MATLAB R2014a運行的。為了驗證算法的有效性,文中通過與ANCUTI算法[3],He算法[4]和Meng算法[5]作對比。仿真參數(shù)設(shè)置為:高斯同態(tài)濾波常數(shù)c=0.8,aH=1.2,aL=0.5;小波分解常數(shù)n=2;其余參數(shù)與文獻[4]相同。
如圖5,給出了近景溪水與遠景城鎮(zhèn)去霧效果對比圖??梢钥闯?,選取的每種方法都有一定的去霧效果。經(jīng)過He方法處理,圖像的溪水周圍存在色彩失真,這是由于溪水區(qū)域?qū)儆诟吡炼确垂鈪^(qū)域,完全不滿足暗通道先驗原則,去霧后復(fù)原圖像會出現(xiàn)色彩失真及偽影,如圖5(c)所示。ANCUTI算法處理后,圖5(b)圖像中殘留一定程度霧氣,主要原因是ANCUTI算法去霧依賴于權(quán)重圖,當圖像亮度過高時導致整幅圖像權(quán)重圖難以有效構(gòu)建,因此對遠景圖像去霧效果不佳;如圖5(c)所示,He算法處理后,圖像的天空區(qū)域有顏色失真現(xiàn)象;經(jīng)過Meng算法處理后,圖像近景去霧效果較好,圖像整體輪廓細節(jié)較為完整,但該算法只通過條件約束簡化透射圖像,未優(yōu)化圖像色彩保真度,導致遠景區(qū)域存在偽影及光暈現(xiàn)象,如圖5(d)所示;本文算法復(fù)原后圖像整體明亮度相對較好,通過使用高斯型同態(tài)濾波,復(fù)原圖像遠景區(qū)域細節(jié)明顯,在去霧同時可視度提高,如圖5(e)所示
圖5 溪水與城鎮(zhèn)去霧效果圖
采用文獻[12]中提出的客觀評價方法對圖5復(fù)原結(jié)果進行評估。從表1、表2可以看出,本文算法去霧后信息熵、新增可見邊比、峰值信噪比都比其它算法高,表明本文算法去霧之后圖像更加清晰,圖像的可視邊緣與輪廓數(shù)量增多,圖像信息量得到提升。
表1 近景溪水圖去霧算法評估結(jié)果
表2 遠景城鎮(zhèn)圖去霧算法評估結(jié)果
針對暗通道先驗去霧方法在處理明亮區(qū)域時存在色彩失真、色偏嚴重等問題,本文采用三通道明亮區(qū)域分割獲取準確的大氣光強度,然后基于輻射立方體法則的條件約束整幅圖像結(jié)構(gòu)輪廓;利用高斯型同態(tài)濾波的特性結(jié)合小波融合,對透射率圖像平滑處理,使用色階補償修正去霧后圖像的飽和度。在求取大氣光值和融合透射圖像過程中,本文算法具有較高的魯棒性;去霧后圖像邊緣細節(jié)突出,整體輪廓結(jié)構(gòu)清晰。但該算法處理復(fù)雜的霧天圖像時,算法運行時間較長不具有實時性,需優(yōu)化參數(shù)模型并提升運行速度。