一種新的夜間單圖像去霧方法

段鏢, 李靖, 陳懷民, 茹懿, 張澤

(1.西北工業(yè)大學 自動化學院, 陜西 西安 710072; 2.西北工業(yè)大學 機電學院, 陜西 西安 710072)

近年來霧霾天氣增多,圖像去霧成為圖像處理的研究熱點。霧霾使得觀測圖像對比度降低,造成物體的像模糊不清,影響觀測結果。在圖像處理的另一些應用領域中,一張清晰的圖像是各種圖像處理算法能夠有效發(fā)揮作用的先決條件。如圖像導航,需要對場景的特征進行識別,而霧霾造成圖像對比度的降低,場景特征“隱沒”于霧中,造成導航算法失效。因而圖像去霧方法通?？勺鳛槠渌麍D像算法的預處理步驟,用以增加各種圖像觀測系統(tǒng)在霧霾天氣下的適用性。

圖像去霧方法主要分為兩類——基于圖像增強的第一類方法與基于大氣物理成像模型的第二類方法。目前以He Kaiming的黑暗通道優(yōu)先[1]為代表的第二類去霧方法[1-5]受到了較為廣泛的認可,這些算法主要用來解決晝間圖像的去霧問題。它們通過對霧霾天氣下的成像過程進行建模,以實現無霧圖像的最優(yōu)估計[6]。從本質上而言,通過大氣物理成像模型求解無霧圖像的是一個病態(tài)問題。因其僅含一個方程而包含無霧圖像J,大氣光值A,透射率t3個未知數。因而其求解過程需要依賴各種先驗假設。其基本流程是,利用各種假設,在帶霧圖像I中,對大氣光值A、透射率圖t進行估計后,再對去霧圖像J進行求解來實現圖像去霧。

夜晚圖像去霧是圖像去霧研究的一個重要分支,夜晚圖像去霧有著與晝間圖像去霧不同的特點。其一,夜晚去霧不存在全局統(tǒng)一的大氣光值夜間圖像去霧相較于晝間圖像去霧更為復雜。其二,在霧霾天氣條件下,霧霾粒子對光的散射作用使得人造光源附近產生明顯的“光暈”[7],且人造光源難以像晝間大氣光是“灰白色”的[8],因此直接利用光源的顏色來近似估計局部的光照條件容易引起圖像的顏色偏移。文獻[8]假定夜間大氣光值為暗通道圖中最亮像素點的像素值,并引入了顏色遷移來抑制因去霧而引起的圖像偏移問題,該種方法取得了一定的去霧效果,但是由于需要1幅參考圖像來實現顏色遷移,因此其對不同光照條件下的適應性較差。Zhang等人估計光強度并增強它以獲得照明平衡的結果,并引入了額外的估計入射光的顏色特性后的顏色校正步驟。最后他們先使用暗通道消除霧霾,然后估算點狀環(huán)境光。但其容易造成某一顏色通道上的對比度過度增強。Li等人的Schechner和Karpel水下圖像模型[9]。 他們假設霧霾圖像由圖像光暈層和薄霧層疊加而成。首先通過對光暈層進行分離削弱圖像的光暈效應,進一步地,假設夜間局部區(qū)域的大氣光值為局部區(qū)域內最亮像素點的像素值,然后再用該點處薄霧層與局部區(qū)域的大氣光值之比的暗通道運算結果來估計該點處的透射率,并最終從薄霧層中反解出無霧圖像。這種方法雖然在一定條件下能夠取得較好的去霧效果,但是在圖像光暈較強且人造光源單色特性明顯的情況下,去霧圖像容易產生明顯的顏色偏移現象。

受到Li等人通過層分離抑制圖像光暈效應的啟發(fā),本文假設圖像由“光照層”及“反射層”疊加而成,并通過級聯濾波的方式將帶霧圖像的“光照層”與“反射層”進行分離,這樣就能在一定程度上抑制人造光源對圖像顏色的影響,從而抑制顏色偏移現象。進一步地,本文通過光照層來估計局部的光照情況與透射率,利用反射層來反解出無霧圖像。實驗結果表明,本文算法取得了較好的去霧效果。

1 構造算法介紹

晝間霧霾圖像的成像模型如(1)式所示

I(x)=J(x)t(x)+A(1-t(x))

(1)

式中：x代表圖像中的一個像素點；I(x)為帶霧圖像I中x點處的像素值；J(x)為未經大氣衰減的清晰圖像J在x點處的像素值,對于去霧算法而言；J代表無霧圖像；A代表在圖像中的全局大氣光值,該值在晝間通常被認為是常量,其代表了太陽光在云層中的散射程度,云層越厚,太陽光在穿透云層時,被散射的能量越多,大氣光值越小[10-11]。霧氣和云相似,其主要成分是水汽。大氣光在到達物體表面后,經物體表面反射,再穿透霧氣層,最終到達成像面[12]。透射率t(x)的大小就代表了霧氣層的厚度,在物距相同的情況下,霧氣越厚,透射率越小。晝間霧霾圖像成像假定了大氣光是晝間存在的唯一光源,其忽略了各種非自然光源的影響[13]。在晝間,J(x)t(x)項代表了物體表面反射的大氣光能量,A(1-t(x))項代表了霧氣散射大氣光后,被成像設備捕獲的光能量。

在夜間的霧霾天氣下,情況有所不同。由于月光、星光等相較于太陽光很弱,其能夠到達物體表面的能量很少,可以忽略不計,因而夜間不存在全局統(tǒng)一的大氣光值[14]。夜間物體表面的反射光主要來自于物體附近的人造光源,不同的人造光源的光譜特性不同,人造光源亦難以像太陽一樣明亮,因而各個光源對單個物體的影響難以保持某個光源絕對占優(yōu)的狀況[15]。對于物體而言,其表面的反射情況相對固定,光源對物體成像的影響取決于光源的光強及光源與物體的距離。光源越強,距離物體越近,物體表面的反射光能量來自于該光源的占比越大。更為一般的情況下,物體介于多個人造光源之間,此時物體距離各個光源的距離難以通過像素距離來準確估計[16]。因而通過尋找光源來估計每一像素點處的光照情況存在著先天的不足。

對于單個像素點而言,其像素值可看成是由來自物體表面的反射光能量以及由所有光源發(fā)出的光經空氣中的霧霾粒子散射后到達成像面的散射光能量的和,如圖1所示。因此,夜間大氣物理成像模型可由(2)式表示

圖1 夜間霧霾條件下成像過程示意圖

I(x)=J(x)t(x)+L(x)(1-t(x))

(2)

式中：L(x)表示在x點處的光照值,其代表了所有光源在該像素點處的散射光能量,I,t的含義同(1)式相同；J則代表了所有光源發(fā)出的光被物表面反射的光能量總和。

求解(2)式最直接的做法是,設法先對L(x)t(x)進行估計,然后利用公式(2)求解J(x),L(x)的估計方法將在本文的第三部分詳細討論。關于透射率t(x)的估計方法,暗原色先驗法提供了一種目前認可度較高的求解思路,其中1幅圖像I在像素點x處的暗通道Idark(x)定義如下

(3)

暗通道運算的本質是一個在圖像局部區(qū)域Ω(x)內的2次最小化運算,其中第一次最小化運算,在像素點x處的(r,g,b)三通道中完成;第二次最小化運算,在窗口直徑為r的方形區(qū)域內完成。

暗通道運算可以對晝間霧圖像的透射率進行較為準確估計。在晝間,由于大氣光A為全局一致的。暗原色先驗假設Idark(x)→0,則A(1-t(x))?J(x)t(x),故Idark(x)→A(1-t(x)),對大氣光A進行適當估計后,則可對x處的圖像透射率t(x)進行估計。在夜間,Idark(x)→0,L(x)并非全局一致的,因而不能夠保證L(x)(1-t(x))?J(x)t(x),故Idark(x)→L(x)(1-t(x))并非在全局范圍內成立。因此,需要對t(x)的估計方法作出適當改進。

2 本文方法

通過(2)式可以看出,夜間有霧圖像可以由J(x)t(x)及L(x)(1-t(x))疊加而成。因此可以假設,夜間有霧圖像由兩圖像層疊加而成。J(x)t(x)代表的圖像層,本文稱為“反射層”,本文用R表示;L(x)(1-t(x))代表的圖像層,本文稱之為“光照層”,本文用H表示。則(2)式可重寫為

(4)

圖像去霧的實現過程,可視作在有霧圖像I中,分離出反射層R與光照層H,再對t(x)進行適當估計后,從“反射層”中反解出J的過程。本文算法的示意圖如圖2所示。

圖2 本文算法的示意圖

對于一個像素點而言,其像素值代表的光能量來自于圖像反射層和光照層兩部分。但從本質上來說,所有的光能量都來自于各種光源。圖像反射層中代表的光能量,是光源發(fā)出的光,經過物體反射與大氣散射后最終被成像系統(tǒng)捕獲的那部分光能量。而圖像光照層中的光,是光源發(fā)出的光直接被大氣散射后,進入成像系統(tǒng)中的光能量。對于1幅圖像中的一個已知點x,其透射率t(x)的大小不變,該點處的光照大小H(x)與光源的光強及遠近有關——光源越亮且像素點距離光源越近,光照H(x)越大,反之則越小。光照層的這種特性,使得對它的分離能夠用圖像的空間濾波來實現。

導引濾波是一種優(yōu)秀的圖像線性空間濾波器,其輸入圖像I同濾波輸出圖像Q有如下映射關系[17]

Q=guidedfilter(I,G,r,ε)

(5)

式中：G為導引圖像,r為濾波窗口半徑；ε為正則化系數。導引濾波假設導引圖像G與濾波輸出Q圖像在局部窗口內滿足線性模型

Qi=akGi+bk,?i∈ωk

(6)

式中：Q表示濾波輸出圖像,i表示圖像中第k個局部窗口ωk中的一個像素點；G表示導引圖像,(ak,bk)表示局部窗口ωk中的線性常系數。對(5)式兩端同取梯度運算,則Q=akI。該式表明,導引濾波保證了濾波輸出圖像與導引圖像在局部區(qū)域內的梯度相似性。同時,文獻[18]假設在局部區(qū)域內,一個像素點在濾波輸出圖像上的像素值等于該點在輸入圖像I上的像素值減去該點處的噪聲值,即滿足

Qi=Ii-ni

(7)

式中：Q為濾波輸出圖像,I為濾波輸入圖像,n為噪聲。通過最小化代價函數

(8)

(9)

(10)

圖3 光照層分離流程示意圖

分離光照層的具體步驟如下:首先,對帶霧圖像I進行初次導引濾波,其中導引圖為其本身。窗口半徑r1窗口半徑,正則化系數ε1取相對較大的值,本文取r1=30,ε2=1×10-5。由于I(x)=R(x)+H(x)≥H(x),因此,得到初次的濾波輸出Q1后,對其像素點的取值進行約束,由此得到粗光照層Hc,其定義如下

(11)

然后,對粗光照層Hc進行第二次導引濾波,其導引圖為第一次導引濾波的輸出圖像Q1。第一次導引濾波由于添加了約束條件,致使粗光照層中仍然含有部分的反射光信息。而直接使用濾波輸出Q1又不能滿足I(x)=R(x)+H(x)≥H(x)條件。因此需要進行第二次導引濾波。導引濾波的濾波輸出圖像同導引圖像具有相似的局部梯度,利用這種性質,將Q1作為第二次濾波的導引圖像,其輸出則能夠作為精細光照層估計結果,該圖像層用Hp表示。此次濾波窗口半徑r2窗口半徑,正則化系數ε2取相對較小的值,本文取r2=10,ε2=1×10-5。

最后,在獲得光照層后,通過矩陣減法,則能夠獲得圖像反射層的估計R′,如(12)式所示

R′=I-δ·Hp

(12)

式中：δ為常數,其使分離出的反射層R中含有較少的光照層成分,以避免去霧圖像整體偏暗,本文取δ=0.95。

在獲得圖像光照層的精確估計后,接下來需要對霧霾圖像的透射率圖進行估計。在此之前,首先需要對圖像的光照情況進行估計。由于H(x)=L(x)(1-t(x)),因此,可利用光照層的精確估計Hp,對光照情況L(x)進行估計。不同于晝間,夜間光源往往呈現出一定的單色性,因而可用一個像素點處{r,g,b}通道上的最大值來代替該點處的光照值,且在同一局部區(qū)域內,光照情況是趨于一致的。故對光照的估計可由(13)式給出

(13)

結合公式(4),可得到透射率的粗估計公式

(14)

為了避免出現過小的透射率值,需要對tc(x)進行限定,最終的透射率估計由(15)式給出

t′(x)=max(tp(x),0.2)

(15)

利用公式(4),即可求得夜晚去霧圖像的估計圖像

(16)

3 實驗結果

本文的實驗結果來自于1臺擁有Intel(R) Core(TM) CPU i5-6200內核的PC機,處理器主頻為2.30 GHz,實驗結果在 MATLAB 2011b平臺下得出。 實驗圖像部分來自于互聯網,另外一些來自于參考文獻[1-3,7]中的demo。本文算法主要與Tarel的方法[3]、Fattal的方法[2]、He的方法[1]、Li的方法比較,并比較了不同夜間光照條件下的3組圖像去霧效果。所有對比方法的代碼均可以在其作者的主頁中找到。其中Tarel的方法[3]、Fattal的方法[2]、He的方法[1]均是在晝間大氣物理模型的基礎上提出的,Li的方法主要針對于夜間去霧。圖4至7均為夜間去霧效果對比,其中圖4至圖6的子圖a)～f)分別為：夜間霧圖像、Fattal算法的去霧結果、Tarel算法的去霧結果、He算法的去霧結果、Li算法的去霧結果以及本文算法的去霧結果。

在夜間光源偏亮的情況下,如圖4c)、4d)所示,Tarel和He的方法容易使圖像的顏色朝向光源方向偏移。而在光源顏色接近白光且較暗的情況下,如圖5b)、5d)及圖6b)、6d)所示,Tarel和He的方法去霧效果較好。而Fattal的算法容易造成顏色失真,如圖4b)及圖5b)所示。在圖7c)中,Tarel的結果過于接近夜間霾圖像本身。

圖4 夜間去霧效果對比場景1 圖5 夜間去霧效果對比場景2

圖6 夜間去霧效果對比場景3 圖7 夜間去霧效果對比場景4

Li的算法能夠明顯提升圖像的對比度,但其容易造成噪聲的明顯放大問題,如圖4e)與圖7e)中的紅色矩形框所示。本文算法能夠較為明顯抑制光源顏色對圖像顏色的影響,使夜間圖像中的物體顏色更接近其本身的顏色,其噪聲放大現象不明顯,綜合比較,本文的夜間去霧效果在各種光照情況下下均能夠取得較好的效果。

4 結 論

去霧算法目前將研究重點放在白天圖像除霧上面,并取得了令人滿意的去霧效果。而夜間霧霾圖像由于不存在全局統(tǒng)一的大氣光值,造成夜間霾圖像模型求解過程較為復雜。直接利用晝間去霧算法來實現夜間去霧效果較差。夜間去霧的關鍵在于如何避免去霧過程中引起的顏色偏移現象。現有算法多通過色彩校正抑制上述現象,但其效果也難以盡如人意。本文通過2層級聯的導引濾波,將夜間霧霾圖像光照層與反射層分離開來。去除光照層后,光源對物體顏色的影響減小,因而顏色偏移現象也能夠得到有效的抑制,且夜間霧霾圖像的反射層中較多的保留了物體本身的色彩信息,這樣利用反射層來反解無霧圖像,能夠更加接近真實無霧場景下采集的圖像。實驗結果表明,本文算法在多場景下均能夠取得較好的去霧效果。本文算法獲得的夜間去霧圖像在光源點附近會產生輕微的亮度下降,這將是未來的研究工作之一。