基于邊緣檢測暗通道先驗(yàn)的全變差圖像去霧算法

馬 悅，金正猛，馮 燦

(1.南京郵電大學(xué) 理學(xué)院，江蘇 南京 210023 2.北方信息控制研究院集團(tuán)有限公司，江蘇 南京 211153)

隨著我國綜合國力與科學(xué)技術(shù)的快速發(fā)展，對戶外視覺系統(tǒng)智能化的需求變得愈發(fā)迫切［1］。 在現(xiàn)實(shí)生活中，惡劣天氣下拍攝的戶外圖像會受到能見度低和對比度下降的影響，大氣光和介質(zhì)透射的混合會導(dǎo)致圖像有霧，給很多應(yīng)用造成困難，如物體檢測、應(yīng)變檢測和三維重建等。 因此，去除和減少霧的影響顯得尤為重要。

近年來，基于變分和深度學(xué)習(xí)的圖像去霧方法備受研究者們關(guān)注。 Meng 等［2］通過對透射率固有邊界約束的探索，提出了邊界約束和正則化相結(jié)合的圖像去霧方法（以下簡稱為Meng 方法）。 2014 年，文獻(xiàn)［3］提出了加權(quán)矢量變分模型對有霧圖像同時進(jìn)行去霧和去噪，但該模型不能去除遙遠(yuǎn)場景的霧氣。 為此，文獻(xiàn)［4］對文獻(xiàn)［3］的模型進(jìn)行改進(jìn)，提出了與無霧圖像和場景深度相關(guān)的全廣義變差（Total Generalized Variation，TGV）正則化模型，該模型可以有效去除遙遠(yuǎn)場景的霧氣，但去霧圖像顏色偏暗。 文獻(xiàn)［5］ 提 出 了 非 局 部 全 變 差（Non-local Total Variation，NLTV）正則化模型進(jìn)行圖像去霧。 隨著技術(shù)的不斷發(fā)展，卷積神經(jīng)網(wǎng)絡(luò)（Convolutional NeuralNetwork，CNN）在圖像去霧方面［6－9］取得了卓越的成就。 文獻(xiàn)［6］提出了一種端到端的網(wǎng)絡(luò)，稱為DehazeNet 圖像去霧方法，該方法將深度學(xué)習(xí)與傳統(tǒng)方法相結(jié)合，以有霧圖像為輸入，通過深度學(xué)習(xí)估計透射圖，然后使用大氣散射模型復(fù)原圖像。 與傳統(tǒng)網(wǎng)絡(luò)相比，該網(wǎng)絡(luò)圖像去霧的效率更高。 但是，復(fù)原圖像容易出現(xiàn)霧氣去除不徹底的情況。

各種先驗(yàn)知識和假設(shè)的提出［10－14］，有力地推動圖像去霧方法的研究。 文獻(xiàn)［10］提出了基于暗通道先驗(yàn)（Dark Channel Prior，DCP）的圖像去霧方法，利用該先驗(yàn)可以直接估計有霧圖像的透射率，但由于對圖像明亮區(qū)域的透射率估計不準(zhǔn)確，導(dǎo)致去霧后的圖像偏暗和邊緣細(xì)節(jié)丟失。 文獻(xiàn)［12］提出了顏色衰減先驗(yàn)（Color Attenuation Prior，CAP），該先驗(yàn)通過建立場景深度線性模型獲取有霧圖像的深度信息。 文獻(xiàn)［14］ 利用梯度剖面先驗(yàn)（Gradient Profile Prior，GPP）從有霧圖像中估計場景深度，并通過引入各向異性擴(kuò)散和基于迭代學(xué)習(xí)的圖像濾波（Guided Anisotropic Diffusion and Iterative Learning Based Image Filter，GADILF） 改進(jìn)透射率。

注意到He 方法［10］中的暗通道先驗(yàn)對圖像透射率估計不準(zhǔn)確，導(dǎo)致去霧后圖像的邊緣和結(jié)構(gòu)等信息損失嚴(yán)重。 另外，雙TGV 方法［4］的計算復(fù)雜度較高。 本文提出基于邊緣增強(qiáng)的全變差圖像去霧模型及其快速算法。 主要創(chuàng)新點(diǎn)如下：（1） 引入基于邊緣檢測的暗通道先驗(yàn)（Dark Channel Prior with Edge Indicator，EI-DCP）估計初始透射率，同時獲取保留圖像邊緣細(xì)節(jié)信息的初始場景深度；（2） 結(jié)合該初始場景深度，提出一種新的全變差（Total Variation，TV）圖像去霧模型，并證明該變分模型解的存在性和唯一性；（3） 結(jié)合原始-對偶（Primal-dual） 方法［15］，設(shè)計該模型的快速數(shù)值求解算法，并給出算法的收斂性。 數(shù)值實(shí)驗(yàn)結(jié)果表明：相較于文獻(xiàn)［4］的雙TGV 模型，本文模型同樣可以獲得令人滿意的去霧結(jié)果，且較大地縮短了模型求解算法的運(yùn)算時間。

1 相關(guān)工作

本文中，Ω ?R2表示具有Lipschitz 邊界的有界圖像域。 觀測到的彩色有霧圖像為

灰度圖像H可通過加權(quán)平均得到

1999 年，Nayar 等［16］提出大氣散射模型

其中，d為場景深度函數(shù)。 為了簡單起見，η通常被設(shè)置為1。 通過對數(shù)變換，式（1）可轉(zhuǎn)化為

1．1 暗通道先驗(yàn)

He 等［10］通過觀察大量戶外無霧圖像的暗通道發(fā)現(xiàn)：在大多數(shù)戶外無霧圖像的非天空區(qū)域內(nèi)，至少有一個顏色通道的像素強(qiáng)度非常低，且像素值接近于0 或等于0。 故將其定義為暗通道先驗(yàn)（DCP）

其中，c為顏色通道，ωδ（x） 表示以像素x為中心、δ為半徑的局部窗口。

假設(shè)傳輸t（x） 在局部窗口ωδ（x） 中為常數(shù)，并在局部窗口ωδ（x） 中對有霧圖像的3 個彩色通道取最小值可以得到

這里，全局大氣光值A(chǔ)c定義為暗通道中最亮的像素值。 結(jié)合式（5）的暗通道先驗(yàn)和式（6），得到初始透射率

最后，由式（2）得到初始場景深度d0＝－lgt0。

1．2 雙TGV 模型

Gu 等［4］利用暗通道先驗(yàn)估計出初始場景深度。 同時注意到：彩色戶外圖像和場景深度通常是分片光滑的，故提出了如下的雙TGV 圖像去霧模型

雙TGV 模型可以有效去除戶外有霧圖像中的霧氣，同時TGV 正則也可以較好地刻畫場景深度。注意到：在圖像背景復(fù)雜、霧濃度較大的情況下利用DCP 先驗(yàn)估計的初始場景深度邊緣等細(xì)節(jié)特征丟失嚴(yán)重，導(dǎo)致利用雙TGV 模型恢復(fù)后的圖像場景邊緣和對比度等特征發(fā)生退化。 例如，在圖1 中，圖1（a）、圖1（b）分別為合成戶外有霧圖像和原始圖像；圖1（c）、圖1（d）分別為由DCP 估計的初始場景深度圖和雙TGV 模型得到的去霧結(jié)果。 從圖1（d）可以看到，紅框區(qū)域中“山峰”的邊緣處出現(xiàn)白色偽影，場景的能見度降低。 事實(shí)上，從圖1（c）可以看出，“山峰”區(qū)域的邊緣細(xì)節(jié)特征在初始場景深度圖中沒有被很好地刻畫，導(dǎo)致雙TGV 模型在去霧過程中，最終恢復(fù)的圖像邊緣、對比度等細(xì)節(jié)信息損失較嚴(yán)重。

圖1 不同初始場景深度的比較及兩種模型的去霧結(jié)果

2 本文方法

2．1 邊緣檢測暗通道先驗(yàn)

為了恢復(fù)有霧圖像中更多如邊緣、結(jié)構(gòu)等有價值的圖像細(xì)節(jié)信息，本文引入基于邊緣檢測的暗通道先驗(yàn)（EI-DCP）估計初始透射率，同時獲得保持圖像邊緣細(xì)節(jié)信息的初始場景深度。 這里，定義基于邊緣檢測的暗通道先驗(yàn)為

下面利用EI-DCP 估計初始透射率，在式（1）兩邊同時乘以邊緣檢測函數(shù)ψ， 并除以Ac， 再在等式兩邊同時取兩次最小值得到

利用式（7）的EI-DCP，得到初始透射率

最后，由式（2）得到初始場景深度d0＝－lgt0。從圖1 可以觀察到：由EI-DCP 估計的初始場景深度圖1（e）相較于DCP 估計的初始場景深度圖1（c）保留了更多邊緣、結(jié)構(gòu)等圖像細(xì)節(jié)信息。

2．2 本文模型

本文利用EI-DCP 估計初始場景深度d?0。 同時為降低雙TGV 模型計算復(fù)雜度，這里提出如下基于邊緣增強(qiáng)的全變差（TV）圖像去霧模型

其中，

參數(shù)λ、μ ＞0，BV（Ω；R3） 為向量值有界全變差空間。

相較于雙TGV 模型，本文模型結(jié)合EI-DCP 同樣可以恢復(fù)出令人滿意的去霧圖像。 繼續(xù)觀察圖1這個例子，圖1（e）展示了由EI-DCP 估計的初始場景深度圖，本文方法的去霧結(jié)果如圖1（f）所示。 不難發(fā)現(xiàn)，圖1（e）的初始場景深度圖中放大區(qū)域“山峰”的邊緣特征被清晰地刻畫出來，使得所提模型的去霧圖像能夠很好地保持原始圖像的場景邊緣細(xì)節(jié)，恢復(fù)出具有較高能見度和對比度的去霧圖像。本文方法恢復(fù)的去霧圖像的PSNR 值要高于雙TGV方法恢復(fù)的去霧圖像的PSNR 值。 而且，還注意到：雙TGV 模型算法相較于本文模型算法更耗時。 所以本文模型在計算性能上也優(yōu)于雙TGV 模型。

2．3 理論分析

首先，簡單介紹BV（Ω；R3） 空間［18］的一些基本知識。

定義1設(shè)R3），且滿足

BV（Ω；R3） 在賦予范數(shù)

后成為一Banach 空間。

引理1假設(shè)且在則有

引理2假設(shè)是BV（Ω；R3） 中的一函數(shù)列，且滿足則存在子列使得當(dāng)j→∞，在L1（Ω；R3） 中有

定理1設(shè)，對于固定參數(shù)有最小值。

由Ω 為R2中的有界域知，在L1（Ω；R3） 中是一致有界的。 此外，結(jié)合式（10）可得在BV（Ω；R3） 上是一致有界的。因此，存在使得

由引理1 可得

對 于 任 意k∈N有和應(yīng)用Fatou 引理，得到

進(jìn)一步，有

因?yàn)槭街芯仃嘒是正定的，所以E0是嚴(yán)格凸的，從而是嚴(yán)格凸的，因此存在唯一的解。

2．4 本文算法與收斂性分析

本文利用原始-對偶方法［15］，給出所提模型式（9）的快速數(shù)值求解算法。 令M×N表示輸入圖像的大小，經(jīng)過對偶變換，式（9）可以等價為如下鞍點(diǎn)問題

求解式（11）的過程如下：

進(jìn)一步，有

其中，

本文算法的具體計算步驟如下：

步驟1初始化

步驟2未滿足迭代停止條件時，反復(fù)執(zhí)行以下步驟。

步驟3迭代終止條件為其中ε為控制迭代終止的參數(shù)，當(dāng)滿足該條件時停止迭代，輸出。

由于本文算法的收斂性證明與經(jīng)典Primal-dual算法［15］的收斂性證明過程相同，故這里不再贅述，僅給出算法的收斂性結(jié)果。

定理2對于任意給定的σ1，σ2，τ1，τ2＞0 以及L ＝‖?‖，當(dāng)σ1τ1≤1／L2，σ2τ2≤1／L2時，由本文算法產(chǎn)生的序列收斂到鞍點(diǎn)問題式（11）的解。

3 實(shí)驗(yàn)結(jié)果及分析

本文實(shí)驗(yàn)在Windows7 系統(tǒng)、Intel（R） Core（TM）i5-6200U @ 2.30 GHz 處理器、8 GB RAM，使用MATLAB 2019b 完成。 將本文提出的方法與CAP 方法［12］、DehazeNet［6］、Meng 方法［2］和雙TGV 方法［4］的去霧結(jié)果進(jìn)行比較，分別使用定性評估和定量評估的方式來驗(yàn)證本文方法的有效性。 定量評估方法采用峰值信噪比（Peak Signal to Noise Ratio，PSNR）和結(jié)構(gòu)相似性（Structural Similarity，SSIM）［19］作為合成有霧圖像和噪聲有霧圖像去霧效果的評價標(biāo)準(zhǔn)，利用圖像可見度測量（Image Visibility Measurement，IVM）［20］、通 用 質(zhì) 量 指 數(shù)（Universal Quality Index，UQI）［21］和 直 方圖 相 關(guān) 系 數(shù)（Histogram Correlation Coefficient，HCC）［20］這3 個評價指標(biāo)定量評價不同方法對于真實(shí)有霧圖像的去霧性能。 其中，IVM 用來衡量無霧圖像的可見邊緣數(shù)，UQI 用來評估有霧圖像和去霧圖像之間的結(jié)構(gòu)相似性，HCC 用來評估無霧圖像顏色恢復(fù)的性能。 這里，PSNR 值和SSIM 值越高，表示圖像去霧效果越佳，測試方法的IVM 和HCC 值越高，UQI 值越低，表示該方法具有更好的去霧效果。

3．1 參數(shù)的選擇

在每一個像素點(diǎn)x，ωδ（x） 為11×11 的局部窗口。模型式（9）中，固定μ ＝4， 對于λ， 圖像的噪聲越大，λ取值越大，將其設(shè)置為0.03、0.05 或0.09，所有實(shí)驗(yàn)圖像的λ詳細(xì)值如表1 所示。 在本文算法中，令實(shí)驗(yàn)的停止準(zhǔn)則ε ＝1×10－4。

表1 本文模型參數(shù)λ 的取值

3．2 比較不同初始場景深度的性能

本節(jié)在圖2（a1）和圖2（a2）兩幅合成有霧圖像上展示所提模型分別應(yīng)用DCP 和EI-DCP 的去霧性能，驗(yàn)證本文所提先驗(yàn)的優(yōu)越性，實(shí)驗(yàn)結(jié)果如圖2 第二行所示。 從圖2（b1）和圖2（b2）的紅框區(qū)域可以看出，與傳統(tǒng)DCP 相比，EI-DCP 估計的初始場景深度保留了更多圖像細(xì)節(jié)信息，這使得相較于本文模型應(yīng)用DCP 得到的去霧結(jié)果（圖2（f1） 和圖2（f2）），應(yīng)用EI-DCP 可以獲得具有更高對比度的去霧結(jié)果（圖2（e1）和圖2（e2））。 這些結(jié)果表明，相較于DCP，應(yīng)用EI-DCP 估計初始場景深度更具有優(yōu)越性。

圖2 本文模型應(yīng)用EI-DCP 和DCP 的結(jié)果比較

3．3 合成戶外圖像去霧

下面展示不同方法對于合成戶外有霧圖像的去霧性能。 圖3 最后一列展示了4 幅原始戶外圖像，第一列為相應(yīng)的合成有霧圖像Ⅰ、Ⅱ、Ⅲ、Ⅳ，其去霧結(jié)果如圖3 第二到第六列所示?？梢钥闯?，CAP 方法［12］和DehazeNet 方法［6］的去霧結(jié)果存在大量霧氣。 從圖3 第四列的去霧結(jié)果中可以看出，Meng 方法［2］會產(chǎn)生過度曝光的區(qū)域。 雙TGV 方法［4］雖然可以有效去除霧氣，但它會使去霧后的圖像顏色變暗，如圖3 第五列的第一、三幅圖像所示。 與其他4 種方法相比，本文采用EI-DCP 先驗(yàn)和TV 正則刻畫場景深度，可以有效去除霧氣，同時保持原始圖像的對比度和清晰度。

圖3 不同方法對合成戶外圖像的去霧結(jié)果

為了定量分析不同方法的去霧性能，表2 列出了圖3 中各去霧結(jié)果的PSNR 值和SSIM 值，且每行中的最佳值均用粗體標(biāo)記。 由于CAP 方法［12］和DehazeNet 方法［6］分別利用顏色衰減先驗(yàn)和深度卷積神經(jīng)網(wǎng)絡(luò)粗略估計有霧圖像的初始場景深度，然后通過式（1）直接得到去霧后的圖像，導(dǎo)致去霧后圖像的質(zhì)量欠佳。 如表2 所示，CAP 方法［12］和DehazeNet 方法［6］得到的PSNR 值和SSIM 值普遍較低。 Meng 方法［2］不能準(zhǔn)確估計圖像中明亮區(qū)域的初始場景深度，導(dǎo)致去霧圖像易產(chǎn)生顏色失真情況。表2 中，除圖像II 外，Meng 方法［2］去霧結(jié)果的PSNR 值和SSIM 值均低于本文方法。 雙TGV 方法［4］利用傳統(tǒng)DCP 估計的初始場景深度無法詳細(xì)刻畫場景邊緣結(jié)構(gòu)特征，而本文應(yīng)用EI-DCP 不但能夠有效去除圖像中的霧氣，同時還能更好地保持原圖像的邊緣結(jié)構(gòu)特征，觀察表2 不難發(fā)現(xiàn)，本文所提方法的PSNR 值和SSIM 值均高于雙TGV 方法［4］。 特別地，本文方法的平均PSNR 值和SSIM 值要高于其他4 種方法，這也說明本文模型和算法在合成圖像去霧中的有效性。

表2 圖3 中去霧結(jié)果的PSNR 值和SSIM 值

3．4 真實(shí)戶外圖像去霧

本節(jié)展示不同方法對于真實(shí)戶外有霧圖像的去霧性能。 圖4 第一列展示了4 幅真實(shí)有霧圖像Ⅴ、Ⅵ、Ⅶ、Ⅷ，其去霧結(jié)果如圖4 第二到第六列所示。 可以看出，CAP 方法［12］和DehazeNet方法［6］的去霧效果較差；類似于合成有霧圖像的去霧結(jié)果，Meng 方法［2］的去霧結(jié)果仍然出現(xiàn)了過度曝光的區(qū)域；如圖4 第五列第二、三幅圖所示，雙TGV 方法［4］的去霧結(jié)果仍然出現(xiàn)圖像顏色變黑的現(xiàn)象。 另外，圖4 第五列的最后一幅圖像中依然存在大量霧氣。 相比之下，本文方法能更好地保持圖像的局部邊緣和對比度等信息，獲得具有更優(yōu)視覺效果的去霧圖像。

圖4 不同方法對真實(shí)戶外圖像的去霧結(jié)果

表3 給出了不同方法去霧結(jié)果的UQI 值、HCC值、IVM 值，其中加粗字體代表每行中的最佳值。從表3 可以觀察到，相較于其他4 種去霧方法，本文方法的去霧結(jié)果均獲得了最低的UQI 值，這表明本文方法可以更多地保留圖像的結(jié)構(gòu)特征，獲得具有較高圖像質(zhì)量的去霧結(jié)果。 Meng 方法［2］有3 幅圖像具有最高的HCC 值，但從圖4 中可以看出，Meng方法［2］的去霧結(jié)果雖然可以提高圖像對比度，但易出現(xiàn)過度曝光區(qū)域。 相比之下，本文方法的去霧結(jié)果有1 幅圖像具有最高的HCC 值，也有3 幅圖像具有第二高的HCC 值，這表明本文方法可以獲得具有較高圖像對比度的去霧結(jié)果。 進(jìn)一步，由于CAP 方法［12］、DehazeNet 方法［6］、Meng 方法［2］和雙TGV 方法［4］無法較好地恢復(fù)去霧圖像的邊緣細(xì)節(jié)特征，導(dǎo)致去霧結(jié)果的IVM 值偏低。 本文方法的IVM 值均高于其他4 種方法，這表明本文方法應(yīng)用EI-DCP得到的去霧結(jié)果的可見邊緣數(shù)更高，圖像邊緣結(jié)構(gòu)更清晰，圖像對比度更高。 特別地，本文方法獲得了最低的UQI 平均值和最高的HCC 平均值，這表明所提方法可以得到具有更高圖像質(zhì)量和圖像對比度的去霧結(jié)果，同時可以很好地恢復(fù)圖像顏色。 除此之外，本文方法還獲得了最高的IVM 平均值，這也體現(xiàn)了本文所提模型和算法在真實(shí)戶外圖像去霧中的優(yōu)越表現(xiàn)。

表3 圖4 中去霧結(jié)果的UQI 值、HCC 值和IVM 值

下面，比較不同模型在真實(shí)圖像去霧時的運(yùn)算時間。 在相同設(shè)備上，應(yīng)用CAP 方法［12］、DehazeNet 方法［6］、Meng 方法［2］、雙TGV 方法［4］以及本文方法計算圖4 中圖像Ⅴ、Ⅵ、Ⅶ、Ⅷ的平均運(yùn)算時間如表4 所示。可以看出，直接基于大氣散射模型生成去霧圖像的CAP 方法［12］耗時較短，DehazeNet［6］利用訓(xùn)練好的模型對圖像進(jìn)行去霧處理，其運(yùn)算速度也非?？?，Meng等［2］提出的基于透射率邊界約束的方法的運(yùn)算速度也相對較快。 雙TGV 模型算法［4］相較于本文模型算法更復(fù)雜，更耗時，本文算法運(yùn)算速度更快，效率更高。

表4 平均計算時間

3．5 噪聲戶外圖像去霧

最后，將本文所提方法應(yīng)用于帶有不同噪聲的合成有霧圖像去霧。 圖5 展示了兩幅帶有不同程度噪聲的有霧圖像，不同方法的去霧結(jié)果及相應(yīng)的放大區(qū)域如圖6 所示。 通過觀察CAP 方法［12］去霧結(jié)果的放大區(qū)域，可知“座椅”的四周出現(xiàn)了白色偽影。 DehazeNet 方法［6］和Meng 方法［2］可以去除較小的噪聲，而對于添加了較大噪聲的圖像X，他們的去霧結(jié)果并不理想。 相較于雙TGV 方法［4］，本文方法去霧和去噪結(jié)果的視覺效果更佳。

圖5 兩種不同噪聲的有霧圖像

圖6 不同方法的去霧結(jié)果（第一行：圖像IX 的去霧結(jié)果；第二行：圖像X 的去霧結(jié)果；第三行：第一行圖像的放大圖；第四行：第二行圖像的放大圖）

表5 中計算了各方法去霧結(jié)果的PSNR 值和SSIM 值。 從 表 5 可 以 看 出， CAP 方 法［12］和DehazeNet 方法［6］的PSNR 值和SSIM 值較低，其同時去霧和去噪效果較差。 Meng 方法［2］、雙TGV 方法［4］和本文方法均可以同時進(jìn)行去霧和去噪。 特別地，對于兩種不同噪聲水平的有霧圖像，本文方法均可以得到最高的PSNR 值和SSIM 值。 這些結(jié)果表明：在處理含噪聲的有霧圖像時，本文方法仍然可以獲得令人滿意的去霧結(jié)果。

表5 圖6 中去霧結(jié)果的PSNR 值和SSIM 值

4 結(jié)束語

本文提出了一種基于邊緣檢測暗通道先驗(yàn)的全變 差 圖 像 去 霧 模 型。 通 過 與 CAP 方 法［12］、DehazeNet 方法［6］、Meng 方法［2］以及雙TGV 方法［4］去霧結(jié)果的比較，可以發(fā)現(xiàn)，本文方法不僅能夠解決在處理背景復(fù)雜的有霧圖像時易丟失局部邊緣細(xì)節(jié)信息的問題，而且能夠平衡圖像顏色，增強(qiáng)圖像對比度。

在未來的工作中，將根據(jù)各種戶外圖像的特點(diǎn)，通過引入不同的暗通道先驗(yàn)知識，建立新的變分優(yōu)化模型來改善戶外自然有霧圖像的去霧結(jié)果。 此外，未來可通過引入基于邊緣檢測函數(shù)的水下暗通道先驗(yàn)，研究水下圖像的有效去霧方法。