結(jié)合雙閾值定位與透射率約束的航拍圖像去霧

王偉鵬， 項(xiàng)文杰*， 戴聲奎

(1. 閩南科技學(xué)院 光電信息學(xué)院，福建 泉州 362332； 2.華僑大學(xué) 信息科學(xué)與工程學(xué)院，福建 廈門 361021)

1 引 言

隨著航空技術(shù)和飛行器技術(shù)的快速發(fā)展，航拍圖像成為獲取地形地貌信息的高效方式。然而霧霾天氣帶來的不良影響使得航拍圖像的質(zhì)量嚴(yán)重退化，具體表現(xiàn)為顏色飽和度降低、細(xì)節(jié)可見性不足，導(dǎo)致其在地面測量、目標(biāo)定位和災(zāi)情預(yù)報(bào)等系統(tǒng)中難以發(fā)揮有效作用。因此對圖像進(jìn)行去霧處理具有重要的應(yīng)用價值和實(shí)際意義[1-2]。圖像去霧研究是一項(xiàng)富有挑戰(zhàn)性的工作，由于單張圖像中的霧氣濃度是未知的，并且很難捕捉到同一光照下的完全無霧場景作為參考，因此該問題的解決一直受到制約。

目前，主流的去霧方法大致可分為兩類。一類是基于先驗(yàn)假設(shè)的模型復(fù)原方法，此類方法以物理模型為基礎(chǔ)，充分利用場景的特征提出假設(shè)、約束條件，反推模型實(shí)現(xiàn)清晰圖像的估計(jì)。He[3]等人提出了暗通道先驗(yàn)規(guī)律，結(jié)合大氣散射模型進(jìn)行圖像去霧，方法簡單且效果出眾。Meng[4]等人提出針對傳輸透射率的邊界約束條件，結(jié)合正則化方法進(jìn)行建模，有效消除了圖像噪聲，提高了對比度。Sun[5]等人對大氣亮度進(jìn)行細(xì)化，提出基于局部大氣亮度估計(jì)的去霧算法，有效改善了局部細(xì)節(jié)恢復(fù)的視覺效果。Wang[6]等人提出基于線性變換的透射率估計(jì)方法，并采用弱化策略克服局部區(qū)域的失真問題，達(dá)到自然清晰的恢復(fù)結(jié)果。Bui[7]等人構(gòu)造彩色橢球體用于透射率的估計(jì)，能夠有效提升去霧圖像的對比度，且避免顏色過飽和現(xiàn)象。Sebastian等人提出兩種估計(jì)透射率的方法，一是采用多層感知器對最小通道圖直接進(jìn)行計(jì)算[8]，二是結(jié)合暗通道先驗(yàn)和形態(tài)學(xué)快速重建[9]。Liu[10]等人采用自適應(yīng)正則化方法，有效保持透射率的深度結(jié)構(gòu)。宋瑞霞[11]等人對包含大片天空的圖像進(jìn)行分割，結(jié)合色調(diào)映射實(shí)現(xiàn)圖像去霧。楊燕[12]等人利用高斯函數(shù)對原始場景和去霧場景進(jìn)行衰減擬合，修正透射率實(shí)現(xiàn)區(qū)域補(bǔ)償。

另一類是基于神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方法，此類方法通過大量數(shù)據(jù)的訓(xùn)練實(shí)現(xiàn)圖像去霧，然而受限于樣本的數(shù)據(jù)量和多樣性，對部分自然有霧圖像的處理效果欠佳。Cai[13]等人將大氣散射模型與卷積網(wǎng)絡(luò)相結(jié)合，提出深度學(xué)習(xí)的端到端訓(xùn)練系統(tǒng)，以此準(zhǔn)確估計(jì)傳輸透射率。Ren[14]等人提出一種利用多尺度深層神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方法，用于原始圖像和透射率之間的映射，對自然場景與合成圖像均取得較好的去霧結(jié)果。陳清江[15]等人對霧化場景和清晰結(jié)果之間的殘差構(gòu)造學(xué)習(xí)網(wǎng)絡(luò)，結(jié)合多尺度卷積實(shí)現(xiàn)霧氣分布特征的提取，再利用導(dǎo)向?yàn)V波恢復(fù)圖像。邢曉敏[16]等人通過二階映射策略進(jìn)行樣本訓(xùn)練，提出非配對數(shù)據(jù)的適應(yīng)性對抗網(wǎng)絡(luò)。

考慮到航拍地形地貌具有細(xì)節(jié)豐富多樣且基本不含天空的特點(diǎn)，采用當(dāng)前主流方法估計(jì)大氣光強(qiáng)度和透射率會出現(xiàn)一定的偏差。針對該問題，本文提出一種結(jié)合雙閾值定位大氣光與約束優(yōu)化透射率的航拍圖像去霧算法，并采用基于人眼特性的色調(diào)映射提升視覺效果。實(shí)驗(yàn)表明，該方法的處理效果和算法執(zhí)行效率具有較大的優(yōu)越性。

2 大氣散射模型和暗通道先驗(yàn)

在計(jì)算機(jī)視覺和圖形圖像學(xué)中，霧霾天氣下的圖像降質(zhì)過程可用大氣散射模型[3-4]來描述：

I(x)=J(x)t(x)+A[1-t(x)]

(1)

式中：I(x)和J(x)分別表示有霧圖像和去霧后的清晰圖像；A表示全局大氣光強(qiáng)度值；t(x)表示介質(zhì)透射率，當(dāng)大氣均勻分布時，t(x)=e-βd(x)，β為大氣散射系數(shù)，d(x)為景物深度。觀察式(1)可知，只有I(x)是已知的，若要求解J(x)，需要先求出大氣光A和透射率t(x)。

He[3]等人通過對大量戶外無霧圖像進(jìn)行觀察統(tǒng)計(jì)，總結(jié)了暗通道先驗(yàn)規(guī)律：除了天空和其他大面積白色區(qū)域以外的圖像局部塊中，至少存在一個RGB通道值趨近于零的像素。對于彩色圖像J(x)，其暗通道圖像可表示為：

(2)

式中：Jc表示圖像J的一個顏色通道；Ω(x)表示以像素點(diǎn)x為中心的局部方形區(qū)域。假定大氣光強(qiáng)度已知的前提下，計(jì)算式(1)等號兩邊的暗通道：

(3)

由于I(x)是有霧圖像，其暗通道值不為零；而J(x)是清晰的無霧圖像，其暗通道值非常低，趨近于零，因此舍棄等號右邊第1項(xiàng)，得到介質(zhì)透射率[3]的表達(dá)式：

(4)

式中：引入調(diào)整因子κ(0<κ≤1)用于控制去霧程度，為了保證圖像的視覺效果一般取κ=0.95。通過暗原色先驗(yàn)估計(jì)得到的透射率存在塊效應(yīng)現(xiàn)象，還需要以原始圖像的結(jié)構(gòu)邊緣為參照，經(jīng)過軟摳圖或者導(dǎo)向?yàn)V波進(jìn)一步細(xì)化。然而軟摳圖的時空復(fù)雜度較大，引導(dǎo)濾波的參數(shù)不易調(diào)整都將導(dǎo)致復(fù)原效果不理想。

3 本文算法

基于大氣散射模型，本文重點(diǎn)對大氣光和透射率的估計(jì)、恢復(fù)圖像的色調(diào)調(diào)整進(jìn)行深入研究。本文的算法流程如圖1所示，實(shí)現(xiàn)步驟如下：1)分別提取霧天圖像的梯度圖和暗通道圖，采用雙閾值分割大氣光值所在區(qū)域；2)依次通過條件約束和雙指數(shù)濾波優(yōu)化透射率；3)恢復(fù)圖像并進(jìn)行色調(diào)映射調(diào)整。

圖1 本文算法的流程圖Fig.1 Flow chart of the proposed algorithm

3.1 雙閾值定位大氣光強(qiáng)度

大氣光強(qiáng)度位于原始圖像中霧氣濃度最大的區(qū)域，其估計(jì)值對復(fù)原圖像的亮度產(chǎn)生影響：取值偏大將導(dǎo)致圖像的亮度偏暗，取值偏小則會造成高亮像素值溢出。暗通道方法[3]選取最高亮度值的前0.1%，標(biāo)記這些像素的所在位置，將霧天圖像中對應(yīng)位置上的像素最大值認(rèn)定為大氣光A。Ren[14]等人選取透射率中最暗的前0.1%像素，對應(yīng)霧天圖像中的最大強(qiáng)度值作為A。上述方法僅單方面考慮了圖像亮度來決定A值的估計(jì)，針對基本不含天空且場景細(xì)節(jié)豐富的航拍圖像，魯棒性不足?？紤]到地面上的白色建筑、目標(biāo)物較多，并且霧氣分布較為均勻，本文提出一種融合邊緣檢測與暗通道的估計(jì)方法，通過雙閾值來確定大氣光強(qiáng)度的估計(jì)。

首先，濃霧區(qū)域的梯度信息相對較弱、邊緣細(xì)節(jié)不明顯，因此利用Sobel算子對原始圖像進(jìn)行邊緣檢測，獲取梯度圖g(x)，梯度值越小說明該區(qū)域越平滑，為了限定大氣光所在的濃霧位置，應(yīng)設(shè)定梯度閾值Tg為較小的數(shù)，此處取Tg≤gm·10%(gm表示g(x)的整體平均值)。其次，由暗通道先驗(yàn)可知，霧天圖像的暗通道值Idark(x)隨著霧氣濃度的升高而增大，濃霧區(qū)域的亮度一定是Idark(x)中相對較高的，此處取亮度閾值Td≥Im·90%(Im表示Idark(x)中的最大灰度值)。最后，分別標(biāo)記滿足g(x)Td的像素坐標(biāo)，保留坐標(biāo)位置重合的像素，這些像素構(gòu)成的集合即為大氣光強(qiáng)度所在區(qū)域，該區(qū)域的平均值作為A的估計(jì)。

估計(jì)過程如圖2所示，圖2(a)為邊緣梯度圖，暗區(qū)表示細(xì)節(jié)不明顯的平滑區(qū)域；圖2(b)為暗通道圖，其亮度近似反映霧氣濃度。接下來進(jìn)一步對閾值的選取問題進(jìn)行研究，通過3組不同閾值的定位結(jié)果，討論對大氣光強(qiáng)度的估計(jì)影響：第1組取Tg=gm·10%，Td=Im·90%，自動定位結(jié)果如圖2(c)中的紅色標(biāo)識，此時閾值門檻較低，導(dǎo)致標(biāo)識的濃霧區(qū)域較大，絕大部分位于圖像最上方，深度最深處，然而小部分標(biāo)識出現(xiàn)錯誤，如接近白色的建筑并非濃霧所在位置；第2組設(shè)定高門檻閾值，取Tg=gm·1%，Td=Im·99%，結(jié)果如圖2(d)所示，不難發(fā)現(xiàn)僅有最上方的少數(shù)紅色標(biāo)識滿足閾值條件，對于含有噪聲的霧天降質(zhì)圖像，少量像素的均值計(jì)算不具有魯棒性，因?yàn)檫@些像素本身可能是噪聲點(diǎn)；第3組折中取Tg=gm·5%，Td=Im·95%，結(jié)果如圖2(e)所示，可以看出紅色標(biāo)識區(qū)域的大小介于前兩者之間，既可有效避免圖2(c)中非濃霧的白色目標(biāo)干擾，又具有比圖2(d)更強(qiáng)的噪聲魯棒性。

圖2 大氣光強(qiáng)度的估計(jì)Fig.2 Estimation of the atmospheric light

綜上分析可知，閾值的設(shè)定直接影響大氣光強(qiáng)度的定位和計(jì)算準(zhǔn)確度，因此在本文實(shí)驗(yàn)中，選取Tg=gm·5%，Td=Im·95%可得到合理、準(zhǔn)確的結(jié)果。

3.2 構(gòu)造約束條件估計(jì)透射率

介質(zhì)透射率的準(zhǔn)確估計(jì)是恢復(fù)清晰圖像的關(guān)鍵。針對航空航拍圖像中，地面具有豐富的細(xì)節(jié)特征，考慮到透射率與場景深度相關(guān)，深度一致時，透射率基本相同，因此假設(shè)局部區(qū)域的相鄰像素具有相似的透射率[4]。然而針對深度跳躍的區(qū)間，該假設(shè)并不成立，因?yàn)橥干渎室矔S之跳躍。此處引入加權(quán)函數(shù)W(x,y)進(jìn)行約束：

W(x,y)[t(x)-t(y)]≈0

(5)

式中：x和y表示相鄰的2個像素點(diǎn)。權(quán)重W(x,y)對x和y進(jìn)行條件約束：當(dāng)x和y的深度差值非常大時，W(x,y)應(yīng)取很小值才能使式(5)成立。由于單幅圖像的深度信息是未知的，無法直接構(gòu)造加權(quán)函數(shù)?？紤]到深度跳躍的圖像邊緣，若局部區(qū)域的像素點(diǎn)具有相似的顏色或亮度，則其深度值基本一致，此處采用相鄰像素的顏色差和亮度差來構(gòu)造加權(quán)函數(shù)：

W(x,y)=e-‖I(x)-I(y)‖2/2σ2

(6)

W(x,y)=(|l(x)-l(y)|α+ε)-1

(7)

式中：‖I(x)-I(y)‖表示顏色向量的差值；|l(x)-l(y)|表示對數(shù)亮度通道的差值；σ是規(guī)則參數(shù)；α是控制亮度差的靈敏度系數(shù)；ε是很小的常數(shù)，防止被除數(shù)為零。在全局圖像中引入加權(quán)約束條件，實(shí)現(xiàn)透射率的正則化[4]：

(8)

式中：Ω表示圖像域；ωx表示以x為中心的局部圖像塊。引入差分算子，將式(8)離散化：

(9)

式中：I為圖像像素的索引集；wij為W(x,y)的離散形式。調(diào)整式(9)中的求和順序，引入微分算子，得到：

(10)

式中：?為卷積運(yùn)算，Dj為一階微分算子，Wj為加權(quán)矩陣。通過最小化以下目標(biāo)函數(shù)求解透射率：

(11)

(12)

該估計(jì)結(jié)果還不能完全反映深度信息，如圖3(a)所示，局部區(qū)域的紋理細(xì)節(jié)所在深度基本一致，需要進(jìn)一步濾除。

圖3 本文算法對透射率的估計(jì)Fig.3 Estimation of transmittance by proposed algorithm

3.3 雙指數(shù)濾波優(yōu)化透射率

雙指數(shù)濾波器[17]具有快速平滑去噪的特點(diǎn)，且有效克服了雙邊濾波器的梯度反轉(zhuǎn)現(xiàn)象。該濾波器將透射率t(x)分解為一維信號，先執(zhí)行正向遞歸濾波：

φ(x)=[1-τ(x)λ]t(x)+τ(x)λφ(x-1)

(13)

τ(x)=r[t(x),φ(x-1)]

(14)

再執(zhí)行反向遞歸濾波：

φ(x)=[1-ρ(x)λ]t(x)+ρ(x)λφ(x+1)，

(15)

ρ(x)=r[t(x),φ(x+1)]

(16)

式中：指數(shù)濾波核r(i,j)=exp[-(i-j)2/(2σ2)]；λ和σ用于控制細(xì)節(jié)的平滑程度。聯(lián)合正反向?yàn)V波輸出，即可得到優(yōu)化后的透射率：

(17)

如圖3(b)所示，優(yōu)化后的結(jié)果中已濾除紋理細(xì)節(jié)，僅保留灰度差較大的輪廓特征，與原始圖像的深度信息基本相符。

3.4 恢復(fù)圖像和色調(diào)映射

由透射率和大氣光強(qiáng)度即可反解大氣散射模型[3-4]恢復(fù)清晰的結(jié)果，即：

(18)

式中：引入下限參數(shù)t0=0.03，目的是為了防止透射率接近0時受到噪聲干擾。圖4(a)為霧天航拍圖像，恢復(fù)結(jié)果如圖4(b)所示，通過對比可以看出，霧氣被有效去除的同時，對比度和視見度有所提升，但是去霧之后光線不足，整體色調(diào)偏暗。為了使恢復(fù)效果得到進(jìn)一步提升，研究基于人眼視覺特性的色調(diào)映射方法。韋伯心理學(xué)和物理學(xué)定律[18]指出，人眼對于視覺信號強(qiáng)度的波動感知和反應(yīng)是由背景亮度刺激加權(quán)的。在散射模型中，圖像的背景可用透射率來簡單表示。本文將這一定律融入恢復(fù)圖像的色調(diào)調(diào)整，結(jié)合透射率的平均亮度進(jìn)行非線性擬合，得到映射公式如下：

(19)

式中：tm為透射率tb(x)的平均值；JW(x)為映射后的結(jié)果，如圖4(c)所示，相比映射前，色彩更加鮮艷飽滿，層次感和細(xì)節(jié)可見性得到進(jìn)一步提升。

圖4 本文的去霧效果Fig.4 Defogging results by proposed algorithm in this paper

4 實(shí)驗(yàn)結(jié)果與對比

為了驗(yàn)證本文算法的有效性和優(yōu)勢，與He算法[3]、Cai算法[13]、Ren算法[14]和Sebastian算法[8]進(jìn)行對比，客觀指標(biāo)采用信息熵E和平均梯度G。實(shí)驗(yàn)平臺為MATLAB 8.5.0，運(yùn)行環(huán)境為Win10系統(tǒng)，機(jī)器配置為Intel i5 CPU，2.2 GHz主頻，4 GB內(nèi)存。

4.1 主觀比較

本文的實(shí)驗(yàn)測試選用了包含城市、江河、山林、湖泊和海島等多種地形地貌特征的航拍圖像，多種算法的去霧效果如圖5所示。圖5(a)為有霧圖像，圖5(b)為He算法[3]的去霧結(jié)果，img1和img5的整體亮度偏低；img2的樹木細(xì)節(jié)不明顯；img3和img6的建筑物顏色過于飽和；img4和img7的遠(yuǎn)景處出現(xiàn)偏紫色和偏藍(lán)色現(xiàn)象。圖5(c)為Cai算法[13]的去霧結(jié)果，img1和img2的對比度較差；img3和img6的整體去霧力度不足；img4、img5和img7的遠(yuǎn)景處仍然殘留部分霧氣沒有消除徹底。圖5(d)為Ren算法[14]的去霧結(jié)果，img1和img3的亮度適宜，但是色調(diào)與原始圖像有一定偏差；img2和img4取得較好的恢復(fù)效果，然而視覺上的層次感不足；img6的霧氣去除程度有待提高；img7整體偏綠色。圖5(e)為Sebastian算法[8]的去霧結(jié)果，img1、img2和img3亮度偏暗，對比度較差；img4、img5和img7的遠(yuǎn)景處還有小部分霧氣存在；img6的色彩飽和度不足，顏色信息丟失。圖5(f)為本文算法的去霧結(jié)果，img1、img2和img3整體明亮通透，色調(diào)與原始圖像高度一致；img4、img5和img7遠(yuǎn)景處視見度較高，細(xì)節(jié)清晰可見；img6去霧徹底，色彩保真度較好。通過以上7組圖片的對比可知，本文算法在主觀視覺上的優(yōu)勢較大。

圖5 實(shí)驗(yàn)結(jié)果比較Fig.5 Comparison of experimental results

4.2 客觀比較

圖5中7組圖片的客觀指標(biāo)如表1和表2所示。信息熵E表征圖像中信息量的大小，數(shù)值越大意味著信息量越多；平均梯度G反映細(xì)節(jié)的清晰程度，數(shù)值越大表明圖像越清晰。從單張圖片的對比可以看出，本文的E指標(biāo)和G指標(biāo)具有一定的優(yōu)勢。進(jìn)一步統(tǒng)計(jì)2項(xiàng)指標(biāo)的平均值，本文均取得最高值，再次驗(yàn)證了本文算法的有效性。對比各種算法的運(yùn)行時間，結(jié)果如表3所示，本文構(gòu)造約束條件估計(jì)透射率的復(fù)雜度相對較低，算法運(yùn)行效率相對較高，處理1 024×768分辨率的圖像僅需1.39 s，比其余算法節(jié)省至少60%的時間。

表1 信息熵E的對比Tab.1 Comparison of information entropy

表2 平均梯度G的對比Tab.2 Comparison of mean gradient

表3 運(yùn)行時間的對比(s)Tab.3 Comparison of Running time(s)

5 結(jié) 論

針對航拍設(shè)備在霧天采集圖像引起的細(xì)節(jié)模糊和顏色退化問題，本文給出了快速有效的恢復(fù)方法。根據(jù)梯度圖的細(xì)節(jié)分布特征和暗通道的亮度信息，采用雙閾值定位大氣光強(qiáng)度所在位置；構(gòu)造約束條件與雙指數(shù)濾波的有效結(jié)合，進(jìn)一步優(yōu)化了細(xì)節(jié)處的透射率值；提出基于人眼特性的色調(diào)映射方法，改善恢復(fù)圖像的視覺效果。實(shí)驗(yàn)結(jié)果表明，本文方法所獲取的透射率與深度信息具有高度一致性，7組測試圖像的平均信息熵為7.659，平均梯度為16.631，均優(yōu)于現(xiàn)有算法。同時算法的時間復(fù)雜度低，能夠有效應(yīng)用于遙感定位、地貌測繪、目標(biāo)識別等航拍系統(tǒng)。