田智源,王修文,孫雨晴,李志偉
(上海工程技術(shù)大學(xué) 電子電氣工程學(xué)院,上海 201600)
惡劣的環(huán)境下,拍攝的戶外圖像通常會(huì)有一定程度的失真,這是由于光在有雜質(zhì)的大氣中傳播時(shí),會(huì)發(fā)生散射和吸收,所獲得的圖像會(huì)很大程度影響后期的使用。因此,改進(jìn)對(duì)此類(lèi)圖像的處理技術(shù),會(huì)很有益于計(jì)算機(jī)視覺(jué)和圖像處理的應(yīng)用,例如圖像增強(qiáng)、圖像分類(lèi)、航空?qǐng)D像以及復(fù)雜環(huán)境下的自動(dòng)駕駛[1]。
早期的圖像處理,為了解決復(fù)雜環(huán)境下圖像失真的問(wèn)題,對(duì)大量的圖像進(jìn)行分析和統(tǒng)計(jì),利用光在無(wú)雜質(zhì)空氣和有雜質(zhì)空氣中傳播的特性,對(duì)圖像進(jìn)行物理建模和數(shù)學(xué)推導(dǎo)。1976 年,McCartney 提出了大氣光散射模型,為后面的去霧圖像的研究做了可靠的鋪墊[2]。近幾年,基于這個(gè)模型的單圖像去霧的研究有很大的進(jìn)展?;隈R爾可夫隨機(jī)場(chǎng)理論;Tan 提出一種最大化圖像對(duì)比度的方法,除去圖像的霧,但是該方法很容易產(chǎn)生過(guò)飽和圖像[3];Fattal 提出獨(dú)立單元分析的方法處理彩色圖像的去霧問(wèn)題,對(duì)薄霧彩色圖像有很好去霧效果[4];何凱明等人通過(guò)對(duì)大量無(wú)霧圖像的分析,發(fā)現(xiàn)了暗通道先驗(yàn)理論,在大多數(shù)的非天空?qǐng)D像中,至少有一個(gè)顏色通道的像素非常低,接近于零,通過(guò)這個(gè)特性,可以分析出圖像霧的厚度,通過(guò)大氣散射模型恢復(fù)出無(wú)霧的圖像,是非常高效的去霧方法,唯一的缺點(diǎn)就是對(duì)天空區(qū)域的去霧處理會(huì)導(dǎo)致失真[5]。針對(duì)暗通道先驗(yàn)的去霧問(wèn)題,之后也提出很多改進(jìn)算法,如謝斌等人結(jié)合暗通道先驗(yàn)和多尺度視網(wǎng)膜知識(shí)改進(jìn)了去霧算法[6];朱慶松等人提出自適應(yīng)的暗通道去霧優(yōu)化算法,都有效地改善了天空區(qū)域的去霧效果[7]。
隨著時(shí)間的推移,基于大氣散射模型下的傳統(tǒng)去霧算法有很多的改進(jìn),但絕大多數(shù)是在透射率上做改進(jìn),透射率隱含有衰減系數(shù),本文通過(guò)對(duì)衰減系數(shù)的理論分析,結(jié)合顏色衰減先驗(yàn)的去霧算法進(jìn)行實(shí)驗(yàn),進(jìn)一步優(yōu)化去霧圖像的品質(zhì)。首先介紹了大氣散射模型,對(duì)透射率的物理建模和數(shù)學(xué)推導(dǎo),得到衰減系數(shù),最后應(yīng)用到去霧算法中。實(shí)驗(yàn)結(jié)果表明,在一定范圍內(nèi),衰減系數(shù)的改變會(huì)有效的提升去霧效果。
早期針對(duì)模糊圖像建立的大氣散射模型,廣泛地應(yīng)用在計(jì)算機(jī)視覺(jué)和圖像處理中,式(1):
其中:I(x) 為初始有霧圖像;J(x) 為場(chǎng)景輻射度,即去霧后圖像;A是大氣光照強(qiáng)度;t(x) 是介質(zhì)傳遞系數(shù),也稱透射率,表示未被吸收和散射并到達(dá)相機(jī)的大氣光比值;x表示圖像像素點(diǎn)的位置。
去霧的目的就是為了還原J,I是已知的,實(shí)現(xiàn)圖像復(fù)原,就需要想辦法計(jì)算t和A的值。式(1)中,J(x)t(x) 被稱為直接衰減項(xiàng),描述無(wú)霧圖像的輻射度在介質(zhì)中的衰減,這也是導(dǎo)致圖像模糊的主要原因;A(1- t(x)) 為大氣光補(bǔ)償項(xiàng),是太陽(yáng)光在介質(zhì)中散射之后產(chǎn)生的,會(huì)導(dǎo)致圖像顏色的偏差,這一項(xiàng)的作用就是補(bǔ)充圖像的色彩和對(duì)比度。
假設(shè)空氣中的介質(zhì)是均勻分布,那么透射率t可以表示為式(2):
其中:β是大氣光的衰減系數(shù),d(x)是深度圖。
在均勻空氣介質(zhì)環(huán)境下,β值一般為常數(shù)[8],其值域一般在1 左右,部分方法為了省去其影響,一般取值為1,可以達(dá)到所需要的實(shí)驗(yàn)效果。關(guān)于深度圖的計(jì)算,通過(guò)對(duì)深度圖的數(shù)學(xué)建模和理論分析,得出深度圖在HSV 色彩空間內(nèi)是呈線性的[9]。通過(guò)對(duì)大量圖像進(jìn)行機(jī)器學(xué)習(xí),能夠在HSV 色彩空間內(nèi)對(duì)深度圖建立線性函數(shù),這一方法也普遍得到認(rèn)同,是目前很不錯(cuò)的深度圖計(jì)算方法。
考慮到入射光的散射現(xiàn)象與空氣介質(zhì)的材質(zhì)、形狀和大小有著密切關(guān)系[10]。其中介質(zhì)的大小能很明顯地影響散射的變化,如圖1 所示。
圖1 介質(zhì)大小對(duì)散射現(xiàn)象的影響Fig.1 The influence of medium size on scattering phenomenon
入射光經(jīng)過(guò)一顆很小的粒子大約(0.01 μm,1/10 λ,λ 是光的波長(zhǎng)),散射光幾乎與入射光相等;經(jīng)過(guò)中等粒子(0.1 μm,大約1/4 λ),會(huì)產(chǎn)生較多的散射;經(jīng)過(guò)更大的粒子(1 μm,超過(guò)λ),入射光幾乎全部散射。
考慮某一方向入射光對(duì)單個(gè)介質(zhì)的照射,如圖2 所示。入射光通過(guò)介質(zhì)發(fā)生散射后的光照強(qiáng)度可以表示為式(3):
圖2 入射光對(duì)單個(gè)介質(zhì)的散射示意圖Fig.2 Schematic diagram of incident light scattering to a single medium
其中:I(θ,λ) 表示單個(gè)粒子散射后的光照強(qiáng)度;β(θ,λ) 表示衰減系數(shù);E(λ) 代表入射光光照強(qiáng)度;θ表示散射后的光與水平坐標(biāo)軸的夾角;λ表示光的波長(zhǎng)。
實(shí)際情況下,太陽(yáng)光對(duì)單個(gè)粒子照射是輻射整個(gè)角度范圍的[11],相當(dāng)于對(duì)單個(gè)介質(zhì)在角度上做積分,通過(guò)積分可以得到接收到的總散射光強(qiáng)度φ(λ),式(4):
其中,β(λ) 表示最終總的衰減系數(shù)。這一步消除了角度θ的影響,那么要得到式(2)的衰減系數(shù)模型,就需要對(duì)該透射系數(shù)細(xì)化,在圖2 的基礎(chǔ)上,入射光對(duì)單個(gè)介質(zhì)照射,相當(dāng)于通過(guò)一個(gè)薄片?,F(xiàn)在考慮入射光穿過(guò)厚度為d的薄片,如圖3 所示。
圖3 圖像深度為d 的入射光的通量示意圖Fig.3 Schematic diagram of incident light flux with image depth d
入射光強(qiáng)度隨著位置x的輻射值百分比變化量,式(5):
根據(jù)場(chǎng)景的深度,再對(duì)微分方程(5)在區(qū)間[0,d]上,兩邊同時(shí)對(duì)x進(jìn)行積分,就可以得到式(6):
其中,E0(λ)是當(dāng)x=0時(shí)的初始值,E(d,λ) 是入射光的光照強(qiáng)度,是到達(dá)圖像的最終光照強(qiáng)度。透射率t就是E0(λ) 與E(d,λ) 的比值,式(7):
為了計(jì)算透射率,由式(7)可知,除去衰減系數(shù)β的影響之外,深度圖d(x)的計(jì)算是另一個(gè)關(guān)鍵。通過(guò)對(duì)大量模糊圖像在不同濃度的像素點(diǎn)值,發(fā)現(xiàn)在HSV 色彩空間中,模糊圖像中的v值與s值的差值與霧的濃度大小近似呈線性關(guān)系,而霧的濃度與圖像深度密切相關(guān),即式(8):
其中:d(x) 是圖像深度;v(x) 圖像的亮度;s(x) 是圖像的飽和度。
基于這一先驗(yàn)知識(shí),進(jìn)一步構(gòu)造一個(gè)線性模型,式(9):
其中:θ0、θ1、θ2是待定系數(shù);ε(x) 是隨機(jī)誤差補(bǔ)償項(xiàng),相當(dāng)于一幅隨機(jī)誤差圖像,且滿足ε(x)~N(0,σ2) ;σ是正則化參數(shù),也是待確定的。
顏色衰減先驗(yàn)知識(shí)在模糊圖像中是普遍適用的,為了解決式(9)中的4 個(gè)參數(shù),這里采用機(jī)器學(xué)習(xí),對(duì)幾百?gòu)垐D像進(jìn)行學(xué)習(xí)擬合,得到最終可靠的深度圖估算模型,式(10):
其中,σ =0.041 337。
該模型一旦確定,普遍適用于傳統(tǒng)方法下的單圖像去霧的深度圖估算,本文也采用了這個(gè)模型。
本文所采用的實(shí)驗(yàn)條件為:筆記本電腦,Window10(64 位),inter(R )Core(TM)i5-5200U @2.20 GHz,運(yùn)行內(nèi)存4 GB,運(yùn)行環(huán)境為Matlab 2015a版本。為了驗(yàn)證衰減系數(shù)的改變后去霧圖像的效果,結(jié)合改進(jìn)后的顏色衰減先驗(yàn)的去霧方法,針對(duì)5種不同的衰減系數(shù),對(duì)圖4 的兩幅不同的有霧圖像進(jìn)行對(duì)比實(shí)驗(yàn)分析。圖4 中(b)~(f),分別設(shè)置β值為0.5,0.7,1,1.3,1.5,通過(guò)圖像觀察可見(jiàn),β值的增加,會(huì)使去霧圖像的色彩更加清晰,以往大多數(shù)的方法,都默認(rèn)β的值為1。事實(shí)證明,當(dāng)β超過(guò)1 后,如β為1.3 時(shí),去霧圖像的效果有明顯的改善,特別是色彩和清晰度有一定的提升,但是隨著β值的繼續(xù)增加,如β為1.5 時(shí),(f)圖的色彩就變得更深,逐漸變暗。將β值繼續(xù)增加到2 后,圖像變得更加暗,失去需要的細(xì)節(jié),所以衰減系數(shù)β值影響,是局限在一定的區(qū)間內(nèi)的。
圖4 不同β 值對(duì)兩幅圖的去霧影響Fig.4 Influence of different β values on the dehazing of the two images
為了定性分析圖像的色彩,引入對(duì)比度參數(shù),計(jì)算公式(11):
實(shí)驗(yàn)將衰減系數(shù)β在區(qū)間[0,2]內(nèi),間隔0.1 取一次值,獲得40 張圖,分為兩組,并計(jì)算出相應(yīng)的對(duì)比度。兩幅圖的對(duì)比度在不同β值下,變化差異較大,如圖5 所示。A組圖在β值為1.3 左右時(shí),B組圖在β值為1~1.1 時(shí),達(dá)到最低對(duì)比度,去霧的效果主觀上能達(dá)到最高。根據(jù)觀察,往往在對(duì)比度為極值時(shí),該處的β值對(duì)算法的去霧效果是最好的。
圖5 兩幅圖的對(duì)比度Fig.5 Contrast of two image
本文針對(duì)在大氣散射模型下的顏色衰減先驗(yàn)去霧算法中未考慮衰減系數(shù)對(duì)去霧圖像的影響,做了分析和優(yōu)化。根據(jù)圖像的特征,進(jìn)行β調(diào)參,可以得到最優(yōu)的效果圖。同時(shí),該方法同樣適用同樣模型下其它場(chǎng)景,如圖像對(duì)比度調(diào)節(jié)、細(xì)節(jié)優(yōu)化等。有望在后續(xù)的研究中,研究可靠的自適應(yīng)參數(shù),修正衰減系數(shù)β值,實(shí)現(xiàn)圖像自適應(yīng)的對(duì)比度增強(qiáng)。