黃品高,葉 懋,張子方,唐 寧,趙 鵬,周 萍
(1.桂林電子科技大學(xué),廣西 桂林 541004;2.天津市聯(lián)大通訊發(fā)展有限公司,天津 300000)
?
一種暗通道先驗去霧后圖像參數(shù)的調(diào)節(jié)方法
黃品高1,葉懋1,張子方2,唐寧1,趙鵬1,周萍1
(1.桂林電子科技大學(xué),廣西 桂林 541004;2.天津市聯(lián)大通訊發(fā)展有限公司,天津 300000)
針對在暗通道先驗去霧方法中圖像亮度隨著去霧深度加深而降低的情況,分析了導(dǎo)致圖像亮度降低的原因,并結(jié)合戶外自動白平衡的有霧圖像,提出了一種采用圖像能量回補來調(diào)節(jié)圖像參數(shù)的方法,以此來提高圖像亮度和對比度。實驗結(jié)果表明,通過對去霧后圖像損失的能量進行回補,對于不同的去霧深度,圖像的亮度和對比度都能得到較好的調(diào)節(jié)。
去霧;暗通道先驗;圖像能量回補;對比度
在許多戶外場所(如港口、公路),采集的圖像和視頻經(jīng)常受到霧霾天氣的影響,從而導(dǎo)致圖像質(zhì)量下降,具體表現(xiàn)為:拍攝到的圖像對比度低、景物不清晰,無法準確地反映真實場景信息。因此,圖像除霧具有重要意義[1]。近年來,隨著計算機的發(fā)展和圖像采集系統(tǒng)的普及,國內(nèi)外許多學(xué)者在圖像和視頻除霧方面做了大量工作。圖像除霧有以下3種處理方法:
1)已知圖像的一些相關(guān)附加信息,如場景深度信息或地理信息、或者非可見光譜的信息等[2]。
2)多幅圖像除霧。該方法必須知道同一場景不同天氣情況下的圖像,以便估計對比得到場景相關(guān)的附加信息,如場景深度[3]。
3)單幅圖像除霧,即只有單幅圖像[4],不知道任何附加信息。這種方式除霧是當前的主要研究方向。
本文主要研究的是基于單幅圖像的視頻除霧方法[5]。對于未知場景深度的圖像,主要有基于大氣光傳播模型和基于對比度優(yōu)化處理兩類方法:一類是基于對比度處理,通過調(diào)整圖像的對比度,使圖像細節(jié)得到增強,從而達到除霧的目的;另一類是基于大氣光傳播模型,估計出圖像大氣光傳播參數(shù)和場景深度信息,然后恢復(fù)無霧時的圖像。HE等人提出了基于暗通道先驗的除霧方法[2,6]。該方法是基于大量統(tǒng)計后的一種經(jīng)驗知識:戶外無霧彩色圖像中,總有一個顏色通道值很低,這個通道被稱為暗通道。而有霧圖像中,由于霧的存在,這個暗通道的值比較高,由此可以估計霧的濃度和大氣傳播參數(shù),進而算出場景深度,從而恢復(fù)出無霧圖像。HE隨后對算法進行了改進,減小了計算量并提高了精度,使該方法比較接近實用階段。而文獻[7]和文獻[8]又對算法進行了改進。但仍然有兩個缺陷:一是除霧深度參數(shù)變化范圍大,二是除霧后,圖像亮度會降低。本文針對這兩個問題進行了研究,通過改進透射率的計算方法,減少了除霧深度調(diào)整的級數(shù);通過亮度回補,既保證了圖像的亮度,也減少了計算量。
1.1McCartney大氣散射模型
暗通道先驗除霧方法是基于大氣散射模型的一種方法[9]。1977年,McCartney提出了著名的大氣散射模型,大氣散射模型主要由入射光衰減模型和大氣光成像模型兩部分組成。入射光衰減模型描述光從場景點傳播到觀測點之間的衰減過程,而大氣光模型描述周圍環(huán)境中各種光經(jīng)過大氣粒子散射后,對觀測點所觀測到的光強影響,大氣散射模型可描述為
I(x)=J(x)t(x)+A[1-t(x)]
(1)
式中:I(x)為觀測到的有霧圖像;J(x)為待求的無霧圖像;A為全局大氣光強度;x為二維圖像矩陣;t(x)為場景的透射率。J(x)t(x)為入射光衰減模型,隨著景深的增加而隨指數(shù)形式衰減;A[1-t(x)]為大氣光成像模型,霧氣濃度隨景深的增加而隨指數(shù)形式增加。
t(x)可用以下公式描述
t(x)=e-λd(x)
(2)
式中:λ為大氣散射系數(shù);d(x)為場景深度。
從式(1)中可以看出,要得到無霧圖像J(x),需要求出全局大氣光A和透射率t(x)。
1.2暗通道先驗除霧
He等人收集了大量的戶外無霧圖像,通過觀察和實驗來研究和統(tǒng)計無霧圖像的共同特點,提出暗原色先驗理論。通過對原有霧圖像的處理,可以得到天氣晴朗下拍攝的無霧清晰圖像,所以去霧后的圖像應(yīng)滿足對晴天圖像或無霧圖像的統(tǒng)計規(guī)律。該規(guī)律表明:絕大多數(shù)晴天圖像的局部區(qū)域都會有一個顏色通道很低的像素值。根據(jù)HE的方法,對于一副圖像,將RGB各顏色通道值最低組成一個單獨的顏色通道,稱為暗通道,其暗原色圖像各像素點值表述如下
Jdark(x)=min(min(J(x))
(3)
根據(jù)He的研究,對于戶外無霧圖像,其RGB三顏色通道中至少有一個通道的值很低,即
Jdark(x)=min(min(J(x)))→0
(4)
對式(1)兩邊求取暗通道值,得到
Idark(x)=Jdark(x)t(x)+A[1-t(x)]
(5)
由于Jdark(x)→0,因此
(6)
全局大氣光A是通過選取圖像中亮度最高的像素的0.1%求均值得到的。這樣就得到了圖像的透射率。
為了保持圖像的立體感,并不需要去除所有的霧,使用一個去霧深度參數(shù)w可以實現(xiàn),如下式
(7)
如果徹底地移除霧的存在,圖像效果不真實,并且圖像上的遠景和近景之間視覺上的距離感會消失。所以引入去霧深度參數(shù)w(0 1.3圖像亮度降低原因 將式(7)帶入式(1),得 (8) 等號右邊第二項就是霧。由于A的取值為像素中亮度最高部分的0.1%的均值[6],對于J(x)的絕大部分像素值(99.9%以上),可近似認為J(x)≤A,因此 (9) 對式(8)兩邊取數(shù)學(xué)期望,得 (10) 可見,去霧后的圖像平均亮度要低于原圖像。 2.1能量回補原理 對于一幅二維圖像F(x),其平均能量可定義為 (11) 式中:經(jīng)過暗通道除霧后,由于去掉了霧,損失了圖像能量,因此整體畫面亮度會偏低。通常的解決方法是采用亮度自動調(diào)整。亮度自動調(diào)整運算量比較大,不利于除霧系統(tǒng)的實時性。對于目前設(shè)備所獲取的圖像,一般均經(jīng)過了白平衡等一系列處理,使得圖像亮度基本達到了最佳。如果將原始圖像損失的能量補充回來,經(jīng)過處理后的除霧圖像畫面就不至于太暗。設(shè)有霧圖像I(x),去除霧后的圖像為J(x),去除的霧為F(x)。F(x)可以用有霧圖像減去去霧后的圖像得到,即 F(x)=I(x)-J(x) (12) 為了適應(yīng)對圖像的操作,將圖像能量可以從直流分量和交流分量兩部分進行考慮[10]。對于有霧圖像I(x),其直流分量可以用圖像的平均值來衡量,如式(13): (13) 交流分量可以用方差來進行衡量,如式(14) (14) 同理,可以求出無霧圖像J(x)、霧F(x)各自的直流分量和交流分量DJ,CJ,DF,CF。最終經(jīng)過能量回補的圖像J′(x)可以由下式得到 (15) 對應(yīng)到圖像參數(shù)中直流分量和交流分量實際表現(xiàn)為圖像的亮度和對比度。 從式(15)可以看出,式(15)并不是能量回補的精確表達式,它只能在一定程度反映能量補償情況,只能基本保證在同一場景不同去霧深度下圖像亮度近似不變。 因此,為了使圖像不至于過度補償,最終將式(15) 調(diào)整為 (16) 式中:a為亮度調(diào)整系數(shù);b為對比度調(diào)整系數(shù)。 2.2能量回補實現(xiàn)步驟 1)根據(jù)有霧圖像I(x),求出其暗通道值Idark(x); 2)對暗通道值進行濾波; 3)根據(jù)圖像求出全局大氣光A; 4)根據(jù)式(7)求出透射系數(shù)t(x); 5)根據(jù)式(1)求出無霧圖像J(x); 6)由有霧圖像減去去霧后圖像得到霧的圖像F(x); 7)分別求出去霧圖像和霧的圖像的均值和均方差值; 8)按照式(16)對去霧后的圖像進行能量回補。 2.3討論 1)對暗通道進行濾波時,可以采用多種方法實現(xiàn)。若用于快速處理場合,使用小模板和中值濾波可以避免圖像中白邊和黑邊問題。 2)對于能量回補公式,若用于快速處理場合,可以將求均方差改為求絕對值。 采用上述方法對幾種場景圖像進行處理,結(jié)果如圖1~2所示。圖中是兩種場景下采用暗通道和本文改進的算法后的結(jié)果。 圖1 文獻[2]所用圖像處理結(jié)果的對比圖 圖2 道路場景圖像處理結(jié)果的對比圖 圖1和圖2均采用了a=0.8,b=1.2的參數(shù)。表1是圖1、圖2能量計算結(jié)果。從圖中可以看出,經(jīng)過能量回補后圖像的亮度,可以近似穩(wěn)定并與原圖差別不大,受去霧深度影響較小。 表1圖1、圖2中各幅圖像的平均能量 方法原圖w=0.80w=0.89w=0.98圖1暗通道1.6020×1046.1663×1034.8950×1033.7423×103本文方法1.6020×1041.4304×1041.4135×1041.4452×104圖2暗通道1.2644×1042.8700×1031.7773×103990.7261本文方法1.2644×1041.1631×1041.1343×1041.0377×104 前文已經(jīng)提出,本文所述方法適合于對圖像作二次處理。這主要是基于有霧圖像的基本參數(shù)即亮度、對比度前期已經(jīng)處理過,達到了一種優(yōu)化狀態(tài)。如果此條件不滿足,則達不到滿意效果。圖3是圖像參數(shù)未經(jīng)自動優(yōu)化的處理結(jié)果,圖4是圖3中原圖經(jīng)過對比度和亮度調(diào)整后的處理結(jié)果。表2是兩幅圖的平均能量計算結(jié)果。從圖和表中可以看出: 1)經(jīng)過參數(shù)優(yōu)化的圖像處理后能量要穩(wěn)定一些; 2)本文算法在天空、云附近區(qū)域仍有過增強的問題,比原算法更嚴重。 圖3 圖像參數(shù)未經(jīng)自動優(yōu)化的處理結(jié)果 圖4 圖像參數(shù)經(jīng)自動優(yōu)化后的處理結(jié)果 對比項原圖w=0.80w=0.89w=0.98圖3未調(diào)整1.6020×1041.3967×1041.2258×1049.5989×103圖4調(diào)整后1.8771×1041.5967×1041.5539×1041.6739×104 為了對霧天退化圖像進行去霧處理,本文提出了一種采用圖像能量回補來調(diào)節(jié)圖像參數(shù)的方法。在理論分析暗通道先驗去霧算法的基礎(chǔ)之上,對其進行改進,從而有效恢復(fù)圖像信息?;谀芰炕匮a的改進暗通道先驗圖像去霧方法,計算去霧圖像和霧的圖像的均值和均方差值,來調(diào)整圖像的亮度和對比度。實驗分析表明,改進算法可以有效提高并穩(wěn)定去霧后圖像的亮度和對比度,基本不受去霧深度的影響。但該算法有其應(yīng)用局限,適合于做圖像的二次處理,對未經(jīng)優(yōu)化的圖像調(diào)整效果不明顯,并且在天空、云等區(qū)域附近過增強明顯,這也是下一步需要研究的問題。目前,該改進算法可以應(yīng)用于視頻監(jiān)控、智能交通等戶外系統(tǒng),具有廣泛的實際應(yīng)用效果。 [1]ZHU Y B,LIU J M,HAO Y G. An single image dehazing algorithm using sky detection and segmentation[C]//Proc. 2014 7th International Congress on Image and Signal Processing. Dalian: IEEE Computer Society,2014:248-252. [2]HE K, SUN J, TANG X. Single image haze removal using dark channel prior[J]. IEEE transactions on pattern analysis and machine intelligence,2011,33(12):2341-2353. [3]LV X,CHEN W,SHEN I. Real-time dehazing for image and video[C]//Proc. Conference on Computer Graphics & Applications. Hangzhou:IEEE Computer Society,2010:62-69. [4]HU C M, TANG P. Rapid dehazing algorithm based on large-scale median filtering for high-resolution visible near-infrared remote sensing images[J]. International journal of wavelets multiresolution & information processing,2014,12(5):494-496. [5]FANG S, YANG J, ZHAN J, et al. Image quality assessment on image haze removal[C]//Proc.Control and Decision Conference (CCDC). Mianyang: IEEE Computer Society,2011:610-614. [6]HE K, SUN J, TANG X. Guided image filtering[J]. IEEE transactions on pattern analysis & machine intelligence,2013,35(6):1397-1409. [7]孫小明,孫俊喜,趙立榮,等. 暗原色先驗單幅圖像去霧改進算法[J]. 中國圖象圖形學(xué)報,2014,19(3): 381-385. [8]石磊, 蓋志剛.基于暗原色先驗與反圖像的圖像去霧算法[J]. 電視技術(shù),2015,39(23):19-21. [9]杜宏博,王麗會.基于改進暗原色先驗?zāi)P偷目焖賵D像去霧方法[J].計算機工程與應(yīng)用,2016(1):178-184. [10]吳桂平,肖鵬峰,馮學(xué)智,等.一種基于頻譜段能量的高分辨率遙感圖像邊緣特征檢測方法[J]. 測繪學(xué)報, 2011(5):587-591. 黃品高(1978— ),碩士生,主要研究方向為信號與信息處理; 葉懋(1979— ),碩士生,主要研究方向為電路與系統(tǒng); 趙鵬(1991— ),碩士生,主要研究方向為信號與信息處理。 責(zé)任編輯:閆雯雯 Method for adjusting the parameters of image dehazed by method of dark channel prior HUANG Pingao1, YE Mao1,ZHANG Zifang2,TANG Ning1,ZHAO Peng1,ZHOU Ping1 (1.GuilinUniversityofElectronicTechnology,GuangxiGuiLin541004,China;2.TianjinGeneralAssemblyCommunicationDevelopmentCo.,Ltd.,Tianjin300000,China) When a hazed image is dehazed by method of dark channel prior,its brightness will decrease with the depth of fog removed. In view of that, the reason of the problem is analyzed in this paper,and a method is proposed to adjust the parameters of the image by compensating the lost energy of the image. The results of experiment show that the energy loss of the image can be complemented and the brightness and contrast of the image can be adjusted well for different depth of fog removed. dehazing;dark channel prior;image energy complement;contrast TP391.41 ADOI:10.16280/j.videoe.2016.07.026 國家自然科學(xué)基金項目(61363005) 2016-03-23 文獻引用格式:黃品高,葉懋,張子方,等. 一種暗通道先驗去霧后圖像參數(shù)的調(diào)節(jié)方法[J].電視技術(shù),2016,40(7):118-122. HUANG P G,YE M, ZHANG Z F,et al. Method for adjusting the parameters of image dehazed by method of dark channel prior[J]. Video engineering,2016,40(7):118-122.2 基于能量回補改進的暗通道先驗圖像去霧方法
3 實驗結(jié)果
4 小結(jié)