基于霧線和顏色衰減先驗(yàn)的圖像去霧方法

廖苗，陸顏，張錦，趙于前，邸拴虎

（1.湖南科技大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院，湖南 湘潭 411100；2.長(zhǎng)沙理工大學(xué)計(jì)算機(jī)與通信工程學(xué)院，湖南 長(zhǎng)沙 410004；3.中南大學(xué)自動(dòng)化學(xué)院，湖南 長(zhǎng)沙 410083）

0 引言

霧霾環(huán)境下，大氣中的懸浮顆粒會(huì)對(duì)可見(jiàn)光產(chǎn)生散射和吸收作用。戶外成像設(shè)備在該環(huán)境下采集的圖像通常存在色彩失真、細(xì)節(jié)丟失、對(duì)比度低等問(wèn)題，這將導(dǎo)致人們通過(guò)圖像直觀獲取到的外界信息減少，同時(shí)造成圖像后續(xù)處理與分析困難，限制了其在圖像分類、目標(biāo)檢測(cè)、模式識(shí)別、語(yǔ)義分割等領(lǐng)域的應(yīng)用[1]。因此，如何快速有效地實(shí)現(xiàn)圖像去霧已經(jīng)成為當(dāng)前計(jì)算機(jī)視覺(jué)領(lǐng)域的研究熱點(diǎn)，具有重要的研究?jī)r(jià)值和現(xiàn)實(shí)意義。

目前，現(xiàn)有圖像去霧方法主要分為圖像增強(qiáng)、圖像復(fù)原和深度學(xué)習(xí)三大類。基于圖像增強(qiáng)的去霧方法通常不考慮霧霾形成及圖像質(zhì)量下降的原因，主要從改善視覺(jué)效果的角度出發(fā)，對(duì)圖像進(jìn)行處理。Park 等[2]提出了一種基于變分視網(wǎng)膜皮層（Retinex）模型的微光圖像增強(qiáng)方法，根據(jù)圖像場(chǎng)景深度增強(qiáng)圖像，改善圖像視覺(jué)效果。考慮到不同的光照條件和成像噪聲，Hao 等[3]提出了基于特征融合的簡(jiǎn)化Retinex 模型，并將其用于低照度圖像的增強(qiáng)。由于未考慮圖像質(zhì)量下降的原因，基于圖像增強(qiáng)的去霧方法通常對(duì)一些被霧霾嚴(yán)重干擾的圖像效果欠佳，且易導(dǎo)致圖像細(xì)節(jié)信息丟失。

基于圖像復(fù)原的去霧方法通過(guò)研究和分析圖像質(zhì)量下降的原因，構(gòu)建霧圖成像物理模型，并通過(guò)逆向求解獲取清晰圖像[4]。Fattal[5]假設(shè)場(chǎng)景透射率與目標(biāo)的局部表面陰影不相關(guān)，并以此估計(jì)場(chǎng)景透射率，得到復(fù)原圖像。該方法依賴于圖像中豐富的色彩信息，當(dāng)圖像中含有大量濃霧且顏色信息不足時(shí)，去霧效果較差。He 等[6]通過(guò)對(duì)大量清晰無(wú)霧圖像進(jìn)行觀察發(fā)現(xiàn)，在圖像的非天空區(qū)域，某些像素至少在一個(gè)顏色通道的取值接近于零，并根據(jù)該現(xiàn)象提出了暗通道先驗(yàn)（DCP,dark channel prior）理論。基于DCP 理論，文獻(xiàn)[6]利用軟摳圖方法細(xì)化透射率，獲得去霧圖像。軟摳圖方法的計(jì)算復(fù)雜度高且易造成去霧圖像出現(xiàn)光暈現(xiàn)象，He 等[7]提出采用引導(dǎo)濾波代替軟摳圖對(duì)透射率進(jìn)行優(yōu)化。此外，不少學(xué)者也對(duì)DCP 理論進(jìn)行了改進(jìn)和補(bǔ)充[8-9]。例如，Hua 等[8]提出基于暗通道先驗(yàn)的近紅外圖像去霧方法，利用近紅外信息區(qū)分圖像中的天空與非天空區(qū)域，并分別對(duì)其進(jìn)行去霧。該方法解決了DCP 在天空區(qū)域去霧效果欠佳的問(wèn)題。Su等[9]提出了一種基于暗通道圖像質(zhì)心偏移的去霧方法，通過(guò)分析不同場(chǎng)景的暗通道圖像質(zhì)心偏移量，獲取圖像大氣光。該方法可有效改善暗通道先驗(yàn)方法易導(dǎo)致圖像整體偏暗的問(wèn)題。通過(guò)對(duì)大量霧圖進(jìn)行觀察統(tǒng)計(jì)，Zhu 等[10]提出了一種基于顏色衰減先驗(yàn)（CAP,color attenuation prior）的去霧方法，該方法利用像素飽和度隨場(chǎng)景深度衰減這一現(xiàn)象，構(gòu)建顏色與場(chǎng)景深度的線性模型，從而估計(jì)場(chǎng)景透射率，恢復(fù)清晰無(wú)霧圖像。總體來(lái)說(shuō)，基于圖像復(fù)原的去霧方法基于霧圖成像原理進(jìn)行去霧，通?？梢垣@得較好的去霧效果，并且該類方法屬于無(wú)監(jiān)督或弱監(jiān)督方法，不需要進(jìn)行復(fù)雜的模型訓(xùn)練，具有較好的實(shí)時(shí)性和穩(wěn)健性。

近年來(lái)，隨著深度卷積神經(jīng)網(wǎng)絡(luò)（CNN,convolutional neural network）的快速發(fā)展，不少學(xué)者提出了基于深度學(xué)習(xí)的去霧方法[11]。如，Cai 等[12]提出了一種端到端的去霧模型Dehaze-Net，通過(guò)學(xué)習(xí)霧圖與透射率之間的映射關(guān)系獲取清晰圖像，該方法易導(dǎo)致去霧圖像產(chǎn)生顏色失真、細(xì)節(jié)丟失等問(wèn)題。Ren 等[13]提出了基于多尺度卷積神經(jīng)網(wǎng)絡(luò)的去霧模型，該模型包含2 個(gè)子網(wǎng)絡(luò)，分別用于粗略和精確估計(jì)圖像透射率。為了解決去霧方法中存在的Halo效應(yīng)，Chen等[14]提出了一種門控上下文聚合網(wǎng)絡(luò)（GCAN,gated context aggregation network）。Dong 等[15]提出了一種使用頻率信息作為附加先驗(yàn)的融合判別網(wǎng)絡(luò)模型，該模型在生成去霧圖像的同時(shí)，引入了清晰無(wú)霧圖像中的高頻和低頻先驗(yàn)信息對(duì)生成對(duì)抗網(wǎng)絡(luò)進(jìn)行約束，以獲取更好的色彩恢復(fù)效果?；谏疃葘W(xué)習(xí)的去霧方法的訓(xùn)練過(guò)程依賴于大量真實(shí)場(chǎng)景拍攝的有霧圖像和對(duì)應(yīng)的清晰無(wú)霧圖像，該類數(shù)據(jù)集通常難以獲取，且方法的可解釋性和穩(wěn)健性較差。

考慮到基于深度學(xué)習(xí)的去霧方法高度依賴樣本多樣性、網(wǎng)絡(luò)設(shè)計(jì)缺乏有力的理論依據(jù)，且現(xiàn)有基于圖像復(fù)原的圖像去霧方法去霧性能欠佳等因素，本文提出一種基于霧線和顏色衰減先驗(yàn)的圖像去霧方法。該方法首先利用霧線先驗(yàn)以及霍夫變換估計(jì)大氣光，并根據(jù)顏色衰減先驗(yàn)構(gòu)建關(guān)于場(chǎng)景深度的非線性模型，估計(jì)場(chǎng)景透射率；最后，根據(jù)大氣散射模型進(jìn)行逆向求解獲取去霧圖像。

本文主要貢獻(xiàn)與創(chuàng)新如下。

1) 針對(duì)霧圖中像素簇在RGB 空間呈線性分布且相交于大氣光這一特性，提出基于霧線先驗(yàn)的大氣光估計(jì)方法，利用圖像全局信息提取多組霧線及候選大氣光，并通過(guò)霍夫投票獲得精確的大氣光，方法穩(wěn)健性強(qiáng)，可有效避免大氣光估計(jì)不準(zhǔn)確造成的圖像色彩失真等問(wèn)題。

2) 充分利用圖像場(chǎng)景深度與亮度和飽和度差之間的正相關(guān)關(guān)系，提出基于顏色衰減先驗(yàn)的非線性模型，該模型可根據(jù)單幅圖像的亮度和飽和度，快速自動(dòng)獲取像素級(jí)場(chǎng)景深度及透射率，精度高、可靠性強(qiáng)。

3) 所提方法不涉及大型、復(fù)雜網(wǎng)絡(luò)的構(gòu)建與訓(xùn)練，可根據(jù)已求解的大氣光和透射率，快速有效去除單幅圖像中的霧霾干擾，獲得色彩真實(shí)、細(xì)節(jié)豐富的去霧圖像，具有較高的空間和時(shí)間效率。

1 大氣散射模型

霧霾環(huán)境下，圖像成像模型可視為真實(shí)場(chǎng)景衰減后的亮度和散射到相機(jī)中的環(huán)境光的線性組合，即

其中，x為圖像像素；I(x)為相機(jī)采集的霧圖在像素x處的值；R(x)為真實(shí)場(chǎng)景圖像在像素x處的值；t(x)為像素x處的場(chǎng)景透射率；L為大氣光；dp(x)為像素x的場(chǎng)景深度；τ為大氣散射系數(shù)，在大氣均勻的條件下，該系數(shù)可被視為一個(gè)常數(shù)，即τ=1.0。式(1)中，R(x)t(x)為直接衰減項(xiàng)，描述目標(biāo)場(chǎng)景反射光衰減后的部分；L(1-t(x))為大氣光項(xiàng)，描述由懸浮顆粒散射到相機(jī)中的環(huán)境光。圖像去霧是一個(gè)逆向求解過(guò)程，根據(jù)相機(jī)獲取的霧圖I(x)，求解式(1)中的大氣光和透射率，復(fù)原清晰無(wú)霧圖像R(x)。

2 本文方法介紹

為了準(zhǔn)確估計(jì)霧圖中的大氣光和透射率，本文提出了一種基于霧線和顏色衰減先驗(yàn)的去霧方法，流程如圖1 所示。該方法主要分為兩部分，首先，利用霧線先驗(yàn)及霍夫投票獲取霧圖中的大氣光；同時(shí)，基于顏色衰減先驗(yàn)理論中場(chǎng)景深度與圖像亮度、飽和度之間的關(guān)系，建立非線性模型獲取場(chǎng)景深度，從而估計(jì)圖像透射率；最后，根據(jù)已獲取的大氣光和透射率對(duì)大氣散射模型進(jìn)行逆向求解，即可得到去霧圖像。

圖1 本文方法流程

2.1 基于霧線先驗(yàn)的大氣光估計(jì)

2.1.1 霧線先驗(yàn)

研究發(fā)現(xiàn)，對(duì)清晰無(wú)霧圖像進(jìn)行色彩聚類，獲取的某一類別像素通常在無(wú)霧圖像上呈離散、隨機(jī)分布，且在RGB 色彩空間呈緊密、團(tuán)狀分布，霧線先驗(yàn)示意如圖2 所示。

圖2 霧線先驗(yàn)示意

圖2(a)中圓形、星形、十字形等形狀標(biāo)記像素為采用K-means 聚類得到的三類顏色接近的像素簇；圖2(b)顯示了圖2(a)中像素簇在RGB 空間的分布；而在圖2(c)所示的霧圖中，像素色彩值會(huì)根據(jù)其與相機(jī)距離的不同發(fā)生不同程度的改變；圖2(d)給出了圖2(c)中圓形、星形、十字形等形狀標(biāo)記像素簇對(duì)應(yīng)的RGB 空間分布，可以看到，場(chǎng)景中同一像素簇在RGB 空間中呈線性分布，即霧線，且這些霧線的交點(diǎn)即大氣光L。因此，本文將利用該霧線先驗(yàn)估計(jì)霧圖中的大氣光L。

基于霧線先驗(yàn)理論，可將式(1)變形為經(jīng)過(guò)大氣光L的線性方程，即

其中，R(x)-L表示霧線方向。

為了獲取圖像中的霧線，將式(3)中RGB 坐標(biāo)原點(diǎn)移至大氣光L處，得到S(x)為

并采用球面坐標(biāo)系表示矢量S(x)為

其中，r(x)為像素x到原點(diǎn)的距離，即||I(x)-L||；α和β分別為球面坐標(biāo)系中的經(jīng)度和緯度。霧線由具有相同或相近經(jīng)度和緯度的像素構(gòu)成。

2.1.2 大氣光估計(jì)

根據(jù)霧線先驗(yàn)，圖像像素值分布可由RGB 空間中的一個(gè)交點(diǎn)（即大氣光）和由該交點(diǎn)發(fā)出的一系列射線（即霧線）進(jìn)行建模。為了準(zhǔn)確估計(jì)霧圖中的大氣光，本文采用霍夫變換在RGB 空間對(duì)候選大氣光進(jìn)行霍夫投票。首先，考慮一組離散的候選大氣光，并對(duì)于任意候選大氣光在球坐標(biāo)系通過(guò)均勻采樣獲取一組霧線{αk,βk}k=1,…,K，其中，K為霧線數(shù)目，αk和βk為第k條霧線的經(jīng)度和緯度。圖像像素I(x)與由候選大氣光L和任意角度(α,β)定義的直線之間的距離可通過(guò)式(6)所示霍夫變換進(jìn)行計(jì)算。

當(dāng)存在至少一條直線與像素I(x)的距離小于閾值φ時(shí)，該像素才會(huì)對(duì)候選大氣光L進(jìn)行投票?？紤]到球坐標(biāo)系中，經(jīng)過(guò)大氣光的一系列直線呈發(fā)散狀，本文采用自適應(yīng)閾值φ決定該像素是否對(duì)大氣光進(jìn)行投票，該閾值隨著像素與大氣光距離的增加而增大，具體計(jì)算式如下

其中，φ0為權(quán)重參數(shù)，本文取φ0=0.02。根據(jù)暗通道先驗(yàn)理論[6]，圖像中極度明亮的物體是非常罕見(jiàn)的，且某些明亮的目標(biāo)通常不包含霧霾干擾，如靠近相機(jī)的明亮目標(biāo)，因此，僅允許圖像像素對(duì)比自身亮度值高的大氣光進(jìn)行投票。正確的大氣光可更好地模擬圖像像素分布，從而獲得更多的像素投票，因此，最大化式(8)即可獲得最優(yōu)的大氣光L，即

其中，F(xiàn)[·]為指示函數(shù)，若相應(yīng)的判斷條件為真則指示函數(shù)取值為1，否則為0。

其中，A(i)=1+4exp(-i)為快速衰減權(quán)值，當(dāng)像素與大氣光L的差值較小時(shí)，對(duì)該像素投票賦予較大的權(quán)重。

2.1.3 計(jì)算效率優(yōu)化

在RGB 空間，計(jì)算圖像中每一個(gè)像素對(duì)所有候選大氣光的投票是一項(xiàng)計(jì)算成本很高的任務(wù)。為了降低計(jì)算成本，本文提出一種近似計(jì)算方法，在確保計(jì)算準(zhǔn)確的同時(shí)提高計(jì)算速度。首先，對(duì)圖像像素進(jìn)行色彩聚類，采用聚類中心代替圖像像素。其次，將RGB 空間拆分為多個(gè)二維空間，包括RG、GB、RB 空間，并分別在上述3 個(gè)二維色彩空間進(jìn)行霍夫投票。

1) 色彩聚類。本文采用K-means 算法根據(jù)像素色彩值將圖像像素聚類為N類，{Ci}i=1,…,N表示每個(gè)聚類中心的色彩值，{wi}i=1,…,N表示圖像中每個(gè)色彩類別的像素?cái)?shù)，N值遠(yuǎn)小于圖像中的像素?cái)?shù)，本文取N=1 000。在霍夫投票中，每個(gè)色彩值Ci都會(huì)根據(jù)其與候選大氣光的距離進(jìn)行投票，且將wi作為該色彩值的投票權(quán)重，即

2) 基于二維色彩空間的霍夫投票。在RGB 空間計(jì)算圖像像素對(duì)所有候選大氣光的霍夫投票，其時(shí)間與空間開(kāi)銷巨大。為了降低計(jì)算成本，分別在RG、GB、RB 這3 個(gè)二維空間進(jìn)行霍夫投票，獲得3 個(gè)邊緣概率分布，并通過(guò)最大化3 個(gè)邊緣概率分布的外積獲取最優(yōu)的大氣光L。

2.2 基于顏色衰減先驗(yàn)的透射率估計(jì)

根據(jù)式(2)，霧圖中的透射率僅與場(chǎng)景深度相關(guān)。為了估計(jì)圖像場(chǎng)景深度，本文利用霧圖成像過(guò)程中的顏色衰減先驗(yàn)，構(gòu)建圖像亮度、飽和度與場(chǎng)景深度的非線性模型。

2.2.1 顏色衰減先驗(yàn)

不同天氣條件下，真實(shí)場(chǎng)景的成像過(guò)程不同，所獲取圖像的亮度和飽和度也存在較大差異。在無(wú)霧環(huán)境下，場(chǎng)景元素輻射出的光線可直接傳遞至成像系統(tǒng)，其能量損失極少，因此，可獲得色彩豐富、飽和度和對(duì)比度高的清晰圖像。而在霧霾環(huán)境下，場(chǎng)景元素的成像過(guò)程變得復(fù)雜，獲取的圖像受兩方面的影響。一方面，直接衰減項(xiàng)R(x)t(x)使場(chǎng)景元素散射光的能量減少，導(dǎo)致場(chǎng)景固有顏色的亮度和飽和度降低。另一方面，由環(huán)境光散射形成的灰白色大氣光進(jìn)入成像系統(tǒng)，使圖像亮度增加，飽和度降低。場(chǎng)景深度與亮度、飽和度之間的關(guān)系如圖3 所示。

圖3(a)所示為一幅戶外霧圖，從中分別選取場(chǎng)景深度較遠(yuǎn)、適中和較近的3 個(gè)局部區(qū)域R1、R2和R3，箭頭指示區(qū)域?yàn)槠浞糯髨D。圖3(b)給出了每個(gè)局部區(qū)域的平均亮度、飽和度以及兩者的差值。從圖3(b)可以看出，近景區(qū)域R3的飽和度、亮度均適中，兩者的差值較小，接近零。隨著場(chǎng)景深度的增加，在霧霾的影響下，圖像亮度隨之增加，同時(shí)場(chǎng)景飽和度急劇下降，亮度與飽和度的差值明顯提升，場(chǎng)景固有顏色越難識(shí)別。

圖3 場(chǎng)景深度與亮度、飽和度之間的關(guān)系

從RESIDE 數(shù)據(jù)庫(kù)[16]的子集戶外訓(xùn)練集（OTS,outdoor training set）中隨機(jī)挑選20 幅霧圖，對(duì)圖中像素的場(chǎng)景深度與亮度和飽和度差值之間的關(guān)系進(jìn)行統(tǒng)計(jì)，得到顏色衰減先驗(yàn)規(guī)律如圖4 所示，橫坐標(biāo)為像素的場(chǎng)景深度，縱坐標(biāo)為像素亮度與飽和度的差值，圖4 中實(shí)線表示統(tǒng)計(jì)20 幅圖像得到的不同場(chǎng)景深度下，亮度與飽和度之差的均值，灰色區(qū)域表示標(biāo)準(zhǔn)差。

從圖4 可以看出，隨著場(chǎng)景深度的增加，像素亮度與飽和度的差值逐漸增大?；谠擃伾p先驗(yàn)，可以得到圖像的場(chǎng)景深度與亮度和飽和度差值呈正相關(guān)，即

圖4 顏色衰減先驗(yàn)規(guī)律

其中，x表示圖像像素，dp為場(chǎng)景深度，b(x)為像素x處的亮度，s(x)為像素x處的飽和度。

2.2.2 非線性模型的場(chǎng)景深度估計(jì)

基于顏色衰減先驗(yàn)，Zhu 等[10]建立了霧圖中場(chǎng)景深度的線性模型如下

其中，ε(x)表示對(duì)像素x添加的隨機(jī)噪聲。采用該線性模型得到的場(chǎng)景深度存在負(fù)值問(wèn)題。為了避免負(fù)值，本文引入非線性模型對(duì)場(chǎng)景深度進(jìn)行估計(jì)，如式(13)所示。

其中，λ0、λ1、λ2和δ均為該非線性模型參數(shù)，?是一個(gè)隨機(jī)變量，用來(lái)表示模型的隨機(jī)誤差。本文采用期望值為0、方差為σ2的高斯分布作為隨機(jī)變量?(x)，即?(x)～N(0,σ2)。根據(jù)高斯分布特性，可知場(chǎng)景深度dp(x)符合如下分布。

為了獲取非線性模型涉及的參數(shù)λ0、λ1、λ2、δ、σ，本文采取有監(jiān)督的訓(xùn)練策略。隨機(jī)選取RESIDE數(shù)據(jù)庫(kù)OTS 子集中的2 000 幅合成霧圖和其對(duì)應(yīng)的場(chǎng)景深度作為訓(xùn)練數(shù)據(jù)。

利用訓(xùn)練數(shù)據(jù)，可得到如下聯(lián)合概率。

其中，n表示訓(xùn)練樣本中有霧圖像的像素?cái)?shù)目，dp(xn)表示第n個(gè)像素的場(chǎng)景深度，J為聯(lián)合概率值。訓(xùn)練時(shí)，假設(shè)每個(gè)像素的隨機(jī)誤差都是相對(duì)獨(dú)立的，即則聯(lián)合概率J可計(jì)算為

計(jì)算lnJ對(duì)σ2的偏導(dǎo)并令偏導(dǎo)值為0，表示為

即可得到σ2的最大似然估計(jì)為

對(duì)于非線性模型中涉及的參數(shù)λ0、λ1、λ2、δ，本文采用梯度下降算法進(jìn)行求解。首先，分別計(jì)算lnJ對(duì)λ0、λ1、λ2、δ的偏導(dǎo)，即

然后，更新各參數(shù)值直至參數(shù)收斂，即

其中，符號(hào)←表示將右邊的值賦給左邊，參數(shù)λ0、λ1、λ2、δ在訓(xùn)練過(guò)程中是動(dòng)態(tài)迭代更新的。具體參數(shù)訓(xùn)練步驟如算法1 所示。對(duì)于原始霧圖，通過(guò)非線性模型獲取場(chǎng)景深度后，采用式(2)即可獲取圖像的透射率。

算法1參數(shù)訓(xùn)練

3 實(shí)驗(yàn)結(jié)果及分析

3.1 數(shù)據(jù)集

采用RESIDE 公共數(shù)據(jù)集[16]中提供的OTS 作為實(shí)驗(yàn)數(shù)據(jù)。該數(shù)據(jù)集包含72 135 幅合成霧圖和其對(duì)應(yīng)的清晰無(wú)霧圖像，從中隨機(jī)選取2 000 幅圖像作為訓(xùn)練集，500 幅作為測(cè)試集。圖像格式均為JPEG，圖像大小為500 像素×400 像素～500 像素×750 像素。

3.2 評(píng)價(jià)指標(biāo)

為了定量分析方法性能，本文采用信息熵（IE,information entropy）、峰值信噪比（PSNR,peak signal to noise ratio）和結(jié)構(gòu)相似性（SSIM,structural similarity）等[17]指標(biāo)對(duì)去霧圖像進(jìn)行評(píng)價(jià)。IE 可描述圖像的平均信息量，當(dāng)圖像中像素灰度平均分布時(shí)圖像所包含的細(xì)節(jié)最多，其對(duì)應(yīng)的IE 最大；當(dāng)像素取值集中在某一個(gè)較窄的區(qū)間范圍時(shí)，對(duì)應(yīng)的信息熵較小，其計(jì)算式為

其中，g表示像素強(qiáng)度，pk(g)表示色彩通道k中強(qiáng)度g出現(xiàn)的概率。PSNR 是一種全參考的圖像質(zhì)量評(píng)價(jià)指標(biāo)，通過(guò)計(jì)算去霧圖像與真實(shí)清晰參考圖像之間的灰度差異得到，即

其中，n為像素的比特?cái)?shù)，MSE(X,Y)表示去霧圖像X與清晰圖像Y灰度差平方的均值，計(jì)算式如下

其中，Xk和Yk表示圖像X和Y在彩色通道k上的強(qiáng)度，H、W分別為圖像的高度和寬度。PSNR 值越小表明圖像失真越嚴(yán)重。

SSIM 也是一種全參考的圖像質(zhì)量評(píng)價(jià)指標(biāo)，分別從亮度φ、對(duì)比度γ、結(jié)構(gòu)ρ這3 個(gè)方面綜合度量圖像相似性，即

MX和MY、SX和SY分別表示圖像X和Y的均值和標(biāo)準(zhǔn)差，CXY表示圖像X和Y的協(xié)方差，R1、R2和R3為常數(shù)，為了避免出現(xiàn)分母為0 的情況，其值分別設(shè)置為R1=(N1G)2，R2=(N2G)2，，默認(rèn)N1=0.01，N2=0.03，G=255。SSIM 取值范圍為[0,1]，數(shù)值越大表明圖像失真越小。

3.3 非線性模型參數(shù)訓(xùn)練

霧圖成像過(guò)程中，像素場(chǎng)景深度與亮度和飽和度之差呈正相關(guān)。為了準(zhǔn)確估計(jì)霧圖中的像素場(chǎng)景深度，本文構(gòu)建了基于亮度和飽和度的非線性模型。模型參數(shù)訓(xùn)練過(guò)程中，訓(xùn)練圖像的每一個(gè)像素對(duì)應(yīng)一個(gè)亮度、一個(gè)飽和度和一個(gè)場(chǎng)景深度，其中，亮度和飽和度可根據(jù)原始霧圖計(jì)算得到，場(chǎng)景深度則可直接從公共數(shù)據(jù)庫(kù)中獲取。本文采用2 000 幅訓(xùn)練圖像對(duì)非線性模型進(jìn)行訓(xùn)練，利用梯度下降法，通過(guò)迭代更新的方式獲取模型參數(shù)。非線性模型訓(xùn)練過(guò)程中的參數(shù)變化如圖5 所示。從圖5 可以看出，隨著迭代次數(shù)的增加，各參數(shù)值快速下降收斂，當(dāng)?shù)螖?shù)達(dá)100 左右時(shí)，各參數(shù)均趨于穩(wěn)定。實(shí)驗(yàn)中，當(dāng)相鄰兩次迭代的參數(shù)差值小于10-7時(shí)，模型停止迭代，獲取最優(yōu)參數(shù)值，分別為：λ0=-0.103 081，λ1=1.000 521，λ2=-0.999 901，δ=4.000 436，σ=0.022 318。

圖5 非線性模型訓(xùn)練過(guò)程中的參數(shù)變化

3.4 結(jié)果比較與討論

3.4.1 與基于圖像復(fù)原的去霧方法比較

本文方法采用霧線和顏色衰減先驗(yàn)獲取霧圖中的大氣光和透射率，并通過(guò)逆向求解大氣散射模型獲取去霧圖像，屬于基于圖像復(fù)原的去霧方法。不同基于圖像復(fù)原的去霧方法對(duì)室外霧圖的去霧結(jié)果對(duì)比如圖6 所示。其中，圖6(a)為原始霧圖，圖6(b)～圖6(f)分別為文獻(xiàn)[5-6,10,18]方法和本文方法的去霧結(jié)果。下面主要從去霧圖像的亮度、清晰度、飽和度、顏色等方面對(duì)不同方法的去霧效果進(jìn)行定性評(píng)價(jià)。

圖6 不同基于圖像復(fù)原的去霧方法對(duì)室外霧圖的去霧結(jié)果對(duì)比

從圖6可以看出，文獻(xiàn)[5]方法的去霧效果較差，該方法處理后的圖像存在明顯偏色、整體亮度偏低、部分細(xì)節(jié)丟失以及天空區(qū)域色彩失真等問(wèn)題。文獻(xiàn)[6]提出的暗通道先驗(yàn)方法雖然可有效去除霧霾的影響，但其處理后的天空區(qū)域存在顏色過(guò)飽和，且部分天空區(qū)域出現(xiàn)偽影、塊效應(yīng)和光暈現(xiàn)象，如圖6(c2)和圖6(c3)所示。文獻(xiàn)[10]提出的顏色衰減先驗(yàn)方法得到的去霧圖像前景偏暗，且部分圖像因顏色過(guò)飽和而導(dǎo)致部分細(xì)節(jié)丟失，如圖6(d2)所示。文獻(xiàn)[18]方法的整體去霧效果較好，但容易造成某些被隔開(kāi)的天空區(qū)域顏色不一致，以及部分圖像的邊緣出現(xiàn)顏色過(guò)飽和現(xiàn)象，如圖6(e2)和圖6(e4)所示。本文方法可有效克服上述問(wèn)題，從圖6 可以看出，采用本文方法得到的去霧圖像具有比較理想的亮度、飽和度、清晰度以及對(duì)比度，不存在偽影、塊效應(yīng)等問(wèn)題，圖像視覺(jué)效果明顯優(yōu)于其他方法。

采用基于圖像復(fù)原的去霧方法對(duì)OTS 數(shù)據(jù)集所包含的500 幅測(cè)試圖像進(jìn)行去霧，并運(yùn)用IE、PSNR 和SSIM 等指標(biāo)對(duì)去霧圖像進(jìn)行定量評(píng)價(jià)，得到的均值和標(biāo)準(zhǔn)差如表1 所示。從表1 可以看出，本文方法的IE 高于其他方法，表明本文方法獲得的去霧圖像色彩和細(xì)節(jié)更加豐富，信息量更大。同時(shí)，本文方法的PSNR 和SSIM 也明顯高于其他方法，其均值±標(biāo)準(zhǔn)差分別為29.58±0.85 和0.98±0.01，表明本文方法得到的去霧圖像更接近真實(shí)無(wú)霧圖，圖像失真較小。

表1 本文方法與基于圖像復(fù)原的去霧方法的去霧性能比較（均值±標(biāo)準(zhǔn)差）

3.4.2 與基于深度學(xué)習(xí)的去霧方法比較

為了進(jìn)一步驗(yàn)證方法有效性，將本文方法與基于深度學(xué)習(xí)的去霧方法進(jìn)行了比較?？紤]到深度學(xué)習(xí)屬于數(shù)據(jù)驅(qū)動(dòng)型方法，除去測(cè)試所采用的500 幅圖像，本文將RESIDE 數(shù)據(jù)集剩余的71 635 幅圖像均用于基于深度學(xué)習(xí)的去霧方法的模型訓(xùn)練。圖7給出了部分去霧結(jié)果示例，其中，圖7(a)為原始霧圖，圖7(b)～圖7(f)分別為文獻(xiàn)[12,19-21]方法和本文方法的去霧結(jié)果。

基于深度學(xué)習(xí)的去霧方法依賴于網(wǎng)絡(luò)結(jié)構(gòu)的設(shè)計(jì)以及訓(xùn)練數(shù)據(jù)的規(guī)模與多樣性?，F(xiàn)實(shí)生活中想要獲取同一場(chǎng)景的真實(shí)霧圖及其對(duì)應(yīng)的清晰無(wú)霧圖像是一項(xiàng)十分困難的任務(wù)。目前，基于深度學(xué)習(xí)的去霧方法所采用的訓(xùn)練數(shù)據(jù)中，絕大部分霧圖是人工合成的，數(shù)據(jù)多樣性受限，易導(dǎo)致網(wǎng)絡(luò)過(guò)擬合，從而影響網(wǎng)絡(luò)對(duì)真實(shí)霧圖的去霧效果。此外，去霧網(wǎng)絡(luò)的結(jié)構(gòu)設(shè)計(jì)通常缺乏有力的理論依據(jù)，在缺乏理論指導(dǎo)的情況下很難確保網(wǎng)絡(luò)的有效性和可靠性。而本文方法從霧圖成像的原理出發(fā)，構(gòu)建了基于霧線先驗(yàn)的霍夫投票模型和基于顏色衰減先驗(yàn)的非線性模型，分別用于估計(jì)霧圖中的大氣光和透射率，方法理論依據(jù)強(qiáng)、可靠性高、通用性強(qiáng)，可自適應(yīng)獲取單幅圖像的大氣光和透射率，并根據(jù)大氣散射模型，通過(guò)逆向求解得到去霧圖像。從圖7可以看出，文獻(xiàn)[19]方法去霧效果較差，去霧后的圖像整體偏暗，且天空區(qū)域色彩過(guò)飽和。文獻(xiàn)[20]方法的去霧效果優(yōu)于文獻(xiàn)[19]方法，但該方法易在天空區(qū)域產(chǎn)生偽影。文獻(xiàn)[12]方法獲得的去霧圖像對(duì)比度仍較低。文獻(xiàn)[21]方法去霧效果相對(duì)較好，去霧較徹底且不存在偽影，但部分區(qū)域易出現(xiàn)顏色過(guò)飽和。本文方法在采用小樣本訓(xùn)練的情況下即可取得令人滿意的去霧效果，可在去除霧霾干擾的同時(shí)保持圖像色彩，獲得細(xì)節(jié)豐富、對(duì)比度高的去霧圖像。

圖7 與基于深度學(xué)習(xí)的去霧方法的結(jié)果比較

表2 給出了本文方法與基于深度學(xué)習(xí)的去霧方法的去霧性能比較。從表2 可以看出，本文方法的IE 均高于對(duì)比方法，表明本文方法得到的去霧圖像色彩、細(xì)節(jié)更加豐富、信息量更大。且本文方法的PSNR 高于文獻(xiàn)[12,19-20]方法，SSIM 高于文獻(xiàn)[12,19]方法，說(shuō)明本文方法得到的去霧圖像保真度較好，失真較小。

表2 本文方法與基于深度學(xué)習(xí)的去霧方法的去霧性能比較（均值±標(biāo)準(zhǔn)差）

3.5 運(yùn)行時(shí)間

本節(jié)實(shí)驗(yàn)設(shè)備配置如下：(Intel(R) Core(TM)i5-10400F CPU @ 2.90 GHz，24 GB RAM，NVIDIA GeForce RIX 3060 GPU。本節(jié)實(shí)驗(yàn)的參數(shù)數(shù)量、浮點(diǎn)計(jì)算次數(shù)、運(yùn)行平臺(tái)和運(yùn)行時(shí)間（包含訓(xùn)練時(shí)間及測(cè)試一幅圖像的平均時(shí)間）如表3 所示。方法的參數(shù)數(shù)量和浮點(diǎn)計(jì)算次數(shù)很大程度決定了方法運(yùn)行時(shí)所需內(nèi)存空間的大小和運(yùn)行時(shí)間長(zhǎng)短。從表3可以看到，基于圖像復(fù)原的去霧方法參數(shù)數(shù)量和浮點(diǎn)計(jì)算次數(shù)均少于基于深度學(xué)習(xí)的去霧方法，可直接在CPU 上運(yùn)行，而基于深度學(xué)習(xí)的去霧方法[20-21]則需依賴于GPU 的加速運(yùn)算。雖然文獻(xiàn)[12,19]方法均是基于CNN 的，但其屬于輕量級(jí)網(wǎng)絡(luò)，也可直接在CPU 上運(yùn)行，不需要過(guò)分依賴于GPU 加速。文獻(xiàn)[21]提出的FFA-Net 具有相對(duì)復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)，其訓(xùn)練以及測(cè)試時(shí)間均顯著長(zhǎng)于其他基于深度學(xué)習(xí)的去霧方法[12,19-20]。本文方法利用霧線和顏色衰減先驗(yàn)估計(jì)圖像大氣光和透射率，參數(shù)數(shù)量和浮點(diǎn)計(jì)算次數(shù)均明顯低于基于深度學(xué)習(xí)的去霧方法，可直接在CPU 上運(yùn)行，且測(cè)試一幅圖像的平均時(shí)間僅需0.72 s，表明本文方法在空間和時(shí)間效率上均具有明顯優(yōu)勢(shì)。

表3 不同方法的參數(shù)數(shù)量、浮點(diǎn)計(jì)算次數(shù)、運(yùn)行平臺(tái)和運(yùn)行時(shí)間

4 結(jié)束語(yǔ)

本文提出了一種基于霧線和顏色衰減先驗(yàn)的圖像去霧方法。首先，利用霧線先驗(yàn)及霍夫投票獲取霧圖中的大氣光。其次，根據(jù)顏色衰減先驗(yàn)，利用霧圖中像素亮度與飽和度之間的差值，構(gòu)建關(guān)于場(chǎng)景深度的非線性模型，獲取圖像透射率。為驗(yàn)證方法的有效性，在RESIDE 公共戶外數(shù)據(jù)集上進(jìn)行了大量實(shí)驗(yàn)，并與多種基于圖像復(fù)原和基于深度學(xué)習(xí)的去霧方法進(jìn)行了比較，結(jié)果表明，本文方法可有效去除圖像中的霧霾干擾，克服顏色過(guò)飽和、細(xì)節(jié)丟失、圖像偏色等問(wèn)題，獲取高對(duì)比度、清晰自然的去霧圖像，且相較于其他方法，本文方法在空間和時(shí)間效率上均具有顯著優(yōu)勢(shì)。