融合平均曲率與直方圖分析的暗通道先驗去霧算法

程浩桐 耿一鳴 張海龍 尤楊楊

DOI：10.19850/j.cnki.2096-4706.2024.01.004

收稿日期：2023-10-24

基金項目：濟寧市重點研發(fā)計劃（2021KJHZ013）；徐州市重點研發(fā)計劃（社會發(fā)展）項目（KC22317）

摘? 要：針對當前暗通道先驗算法存在的邊緣模糊、過飽和以及大氣光值錯估問題，提出一種融合平均曲率與直方圖分析的暗通道先驗去霧算法。首先，計算輸入圖像微觀幾何表面上所有像素點的平均曲率，并以歸一化的平均曲率強度為權重融合小尺度與大尺度傳輸圖；其次，分析存霧圖像三個通道的直方圖，確定是否存在過亮區(qū)域并估計全局大氣光值；最后，利用大氣散射模型得到清晰的去霧圖像。與其他算法在HAZERD等公共數(shù)據(jù)集上的實驗對比結果表明，該算法能夠解決當前暗通道算法存在的問題，且具有更高的魯棒性與實效性。

關鍵詞：圖像去霧；暗通道；平均曲率；大氣散射；大氣光

中圖分類號：TP391.4? ? 文獻標識碼：A 文章編號：2096-4706（2024）01-0017-06

A Dark Channel Prior Dehazing Algorithm Combining Mean Curvature and Histogram Analysis

CHENG Haotong1， GENG Yiming2， ZHANG Hailong2， YOU Yangyang3

（1.School of Bionic Science and Engineering， Jilin University， Changchun? 130022， China; 2.School of Computer Science & Technology， China University of Mining and Technology， Xuzhou? 221116， China; 3.School of Information and Control Engineering， China University of Mining and Technology， Xuzhou? 221116， China）

Abstract： A dark channel prior dehazing algorithm that combines mean curvature and histogram analysis is proposed to address the issues of edge blur， oversaturation， and misestimation of atmospheric light values in current dark channel prior algorithms. Firstly， calculate the mean curvature of all pixels on the micro geometric surface of the input image， and fuse the small-scale and large-scale transmission maps with the normalized mean curvature intensity as the weight; secondly， analyze the histograms of the three channels of the foggy image to determine whether there are overly bright areas and estimate the global atmospheric light value; finally， a clear dehazing image is obtained using the atmospheric scattering model. The experimental comparison with other algorithms on public datasets such as HAZERD shows that this algorithm can solve the problems of current dark channel algorithms and has higher robustness and effectiveness.

Keywords： image dehazing; dark channel; mean curvature; atmospheric scattering; atmospheric light

0? 引? 言

大氣中存在許多細小顆粒物，當細小顆粒物在某一區(qū)域聚集過多時便會造成霧、霾等惡劣天氣現(xiàn)象。去霧算法的研究始于大家對圖像增強技術的思考，借助這種技術可實現(xiàn)將存在噪聲的圖像轉變?yōu)楦哔|量的圖像。同樣地，如果將存霧圖像中的霧氣當作噪聲，就可以直接把圖像增強技術應用到去霧當中。這類算法中比較有代表性的有：基于直方圖均衡化（HE、AHE、CLAHE）[1]的去霧算法、基于Retinex[2]的去霧算法、基于小波變換[3]的去霧算法等。這類算法通過提高對比度、突出圖像細節(jié)的方式使有霧圖像更加清晰。近幾年，隨著機器學習與深度神經(jīng)網(wǎng)絡的興起，基于機器學習和深度學習的去霧算法也屢被提及。例如利用機器學習方法的隨機森林回歸或是利用深度學習方法的卷積神經(jīng)網(wǎng)絡（CNNs）[4]、對抗神經(jīng)網(wǎng)絡（GAN）[5]等來學習估計去霧圖。通過大氣散射模型[6]來求解去霧圖是一個計算未知量單模型的病態(tài)問題，需要附加先驗信息。由此各種先驗規(guī)律被提及出來，通過不同方式估計全局大氣光和傳輸圖，最后應用大氣散射模型得到去霧圖。較具代表性的有暗通道先驗模型（Dark-Channel Prior， DCP）[7]、貝葉斯統(tǒng)計先驗模型（Bayesian Statistical Prior， BCCR）[8]、顏色衰減先驗模型（Color Attenuation Prior， CAP）[9]等。其中，以He[7]等人為代表提出的暗通道先驗算法以其高有效性、低復雜性得到了諸多學者的認可，但此類方法仍存在兩大基本問題：第一，求取暗通道傳輸圖過程中尺度設置不準確將產(chǎn)生邊緣模糊或過飽和現(xiàn)象；第二，圖像中存在的過亮區(qū)域影響全局大氣光值預估。

針對上述問題，本文提出一種融合平均曲率與直方圖分析的暗通道先驗去霧算法，以歸一化后的平均曲率強度為權重對小尺度與大尺度暗通道傳輸圖進行加權融合，抑制了邊緣模糊或過飽和現(xiàn)象；分析存霧圖像的三通道直方圖，確定圖像中是否存在過亮區(qū)域并對過亮區(qū)域進行降值處理，從而緩解了全局大氣光值錯估帶來的色彩失真問題。

1? 相關理論

1.1? 暗通道去霧算法

大氣散射模型具體分為兩個部分：直接衰減部分和環(huán)境光部分。將該模型應用于圖像去霧，具體的定義為：

（1）

其中，I（x，y）表示存霧圖像，J（x，y）表示去霧圖像，t（x，y）表示介質透射圖，A表示全局大氣光，（x，y）表示圖像坐標。在利用上述大氣散射模型進行圖像去霧的過程中，式（1）中的去霧圖像、傳輸圖以及全局大氣光A均為未知變量，因此亟須采用一種方法準確預估傳輸圖t（x， y）以及全局大氣光A作為附加信息代入上述模型進行反解。

He[7]等人在全面分析近5 000張彩色圖像后發(fā)現(xiàn)：對于沒有天空的無霧圖像，總有一個通道的一些像素強度特別低，甚至接近于0。以一個固定尺度將這些像素對應的通道強度值提取出來，就可以形成一張暗通道圖：

（2）

其中，DΩ（x，y）表示以Ω為尺度的圖像暗通道，Ich表示圖像的三個通道，（x，y）表示圖像坐標。在暗通道去霧方法中，選取暗通道圖中前0.1%像素點對應的強度作均值處理，將它用作全局大氣光A。根據(jù)暗通道的先驗理論，無霧圖像J（x， y）在暗通道中的值特別低，甚至J（x， y）→0。對式（1）的兩邊求暗通道，則可得：

（3）

其中，tΩ（x，y）表示以Ω為尺度的粗傳輸圖，α表示遠景加霧參數(shù)，Ach表示各通道的全局大氣光值。通過一種引導濾波器將粗傳輸圖轉變?yōu)榧殏鬏攬DtΩ_f （x，y），在平滑傳輸圖的同時保留邊緣信息。在基于暗通道先驗規(guī)律得到全局大氣光A及細傳輸圖tΩ_f （x，y）之后，代入式（1）進行反解可得到去霧后的圖像：

（4）

1.2? 主曲率與平均曲率

在三維歐幾里得空間中，曲率[10]是指所有經(jīng)過可微曲面S上一點p的曲線Ci所伴隨曲率Ki的集合，在此集合中至少存在一個極大值K1和一個極小值K2，這兩個曲率K1和K2即可微曲面S的主曲率。平均曲率是指空間中某一點任意兩個相互垂直正交曲率的平均值，而上述主曲率K1和K2相互垂直且正交，則平均曲率為：

（5）

其中，Kmea表示可微曲面S的平均曲率，K1和K2表示可微曲面S的主曲率。

2? 本文算法

在利用暗通道去霧算法（DCP） 對圖像進行去霧時，圖像的邊緣常會產(chǎn)生模糊現(xiàn)象，這主要是因為在對存霧圖像求解暗通道傳輸圖的過程中采取了過大的尺度。若要解決這個問題，最簡單的辦法就是降低求解傳輸圖的尺度，但是對圖像全局利用小尺度傳輸圖又會導致去霧過飽和。鑒于此，在對圖像求解暗通道傳輸圖的過程中，可以在物體邊緣位置采取小尺度而在其他位置采取大尺度。那么，如何提取圖像中的邊緣區(qū)域以及如何將邊緣區(qū)域作為一種原則對暗通道進行尺度融合就顯得十分重要。平均曲率信息作為主曲率信息的一種變形，反映了圖像的宏觀信息與微觀信息，其中也包含了豐富的邊緣信息。因此，本文采用歸一化的平均曲率強度作為加權值對暗通道傳輸圖進行多尺度融合，實現(xiàn)在圖像邊緣區(qū)域采用小尺度而在其他區(qū)域采用大尺度的目標。另外，若圖像中存在過亮區(qū)域且過亮區(qū)域的尺度大于求解暗通道的尺度，則會造成全局大氣光A的錯誤預估，導致去霧后的圖像色彩嚴重失真。如果能夠有效辨別圖像中的過亮區(qū)域，并將該區(qū)域中每個通道的強度值進行降值處理，則可以解決上述問題。單通道直方圖是有關該通道強度值分布的函數(shù)，其作用是在該通道中將圖像中的所有像素按照強度值的大小，統(tǒng)計其出現(xiàn)的頻率。通過分析每一個通道的直方圖成分，確定該圖像中是否存在過亮區(qū)域并對過亮區(qū)域進行降值處理。在得到融合傳輸圖和大氣光值后，利用大氣散射模型反解得到去霧圖。本文的算法框架如圖1所示。

2.1? 融合平均曲率的暗通道傳輸圖預估

2.1.1? 平均曲率信息的獲取

根據(jù)曲率[10]的定義，存霧灰度化圖像? 在點（x，y）處的海森矩陣可表示為：

（6）

其中，*表示卷積，Gxx、Gxy、Gyy分別表示x、y、xy方向上二階導數(shù)的卷積核。由于矩陣特征值之積等于矩陣的行列式，矩陣的特征值之和等于矩陣的跡：

（7）

其中，trHgray（x，y）表示海森矩陣的跡，detHgray（x，y）表示海森矩陣的行列式，則海森矩陣的2個特征值為：

（8）

其中，K1（x，y）和K2（x，y）表示點（x，y）處的海森矩陣特征值（PCs），也是存霧圖像在該點的極大與極小曲率，所以該存霧圖像的平均曲率可以表示為：

（9）

本文采用歸一化后平均曲率信息的強度作為權重對兩個尺度的傳輸圖進行加權，以抑制單純暗通道去霧算法出現(xiàn)的邊緣模糊現(xiàn)象。

2.1.2? 融合平均曲率信息的多尺度傳輸圖

在得到平均曲率以后，首先對平均曲率的強度進行歸一化操作；然后計算兩個尺度的暗通道傳輸圖，尺度大小分別為3以及?3×（m×n） / 2×1010?-1。其中，m、n表示存霧圖像的大小，???表示向下取整；之后將歸一化平均曲率強度作為加權值對兩個尺度的暗通道傳輸圖進行加權融合并通過引導濾波得到精細化的傳輸圖：

（10）

其中，tcwm_f表示加權融合后的傳輸圖，t1、t2表示兩個不同尺度的暗通道傳輸圖，Kmea表示存霧圖像的平均曲率強度，???表示歸一化操作，Gf（?）表示引導濾波器。融合的流程圖如圖2所示。

圖2? 多尺度傳輸圖融合流程圖

2.2? 三通道直方圖分析的全局大氣光值預估

本文針對圖像的三個通道分別分析其直方圖成分，確定是否存在過亮區(qū)域，若存在過亮區(qū)域，則對該區(qū)域內(nèi)的三通道強度值進行降值處理，該方法的流程圖如圖3所示。

首先對存霧圖像的每個通道進行直方圖成分分析，獲取每個通道內(nèi)強度的均值Mea、最大值Max、中位數(shù)Mid。如果圖像中不存在過亮區(qū)域，最大值與均值之差應當接近于最大值與中位數(shù)之差；如果圖像中存在過亮區(qū)域，最大值與均值之差應當大于最大值與中位數(shù)之差。由此，本文定義了一種亮度因子λ：

（11）

因此，圖像中不存在過亮區(qū)域時λ≈1，而當圖像中存在過亮區(qū)域時λ＜1。但是直接將λ與1進行比較會形成一定的誤差。為了提高算法的魯棒性，本文另外定義了一個閾值thrc = 0.9，將亮度因子λ與閾值thrc進行比較，確定圖像中是否存在過亮區(qū)域。當亮度因子λ小于閾值thrc時，則認為圖像中存在過亮區(qū)域。而過亮區(qū)域的位置由另一個閾值thr輔助確定，定義為該通道內(nèi)大于Max×thr的所有像素點的集合Ov：

（12）

其中，X_I（x，y）表示圖像的某一通道強度。若要找尋到更為準確的過亮區(qū)域Ov，只需確定最合適的閾值thr即可，本文通過實驗測試最終將閾值thr確定為0.95。

然后，通過遍歷通道內(nèi)的每個像素點尋找這些集合內(nèi)的像素點，把它們的強度值降為該通道內(nèi)的均值Mea：

（13）

最后，將降值后的三通道圖重新融合，找到三個通道中強度前0.1%的像素點，把其強度均值作為全局大氣光值A。

3? 實驗結果與分析

為了驗證本文算法的有效性，基于全圖像質量評價標準（FRIQA），將本文算法以及其他具有代表性的算法在包含室內(nèi)外樣本的多個數(shù)據(jù)集上進行了測試。此外，本文比較了5個數(shù)據(jù)集中存霧樣本圖像相較于樣本真值每種信息各自損失的信息熵，并且將傳統(tǒng)梯度信息融合到本算法中用以與融合平均曲率信息的算法相比較。實驗測試的數(shù)據(jù)集選用HAZERD[11]、O-HAZE[12]、I-HAZE[13]、SOTS-outdoor[14]、SOTS-indoor[14]5個公共標準數(shù)據(jù)集，挑選了1 120張存霧樣本圖像，包含室內(nèi)和室外多個場景。

3.1? 數(shù)據(jù)集設置

HAZERD數(shù)據(jù)集為合成的室外數(shù)據(jù)集，原始的真值圖像共9張，通過后期的加霧算法，分別對每張真值圖像模擬能見度，所以該數(shù)據(jù)集共有45張存霧樣本圖像。O-HAZE與I-HAZE數(shù)據(jù)集同樣為合成的存霧數(shù)據(jù)集，其中O-HAZE數(shù)據(jù)集包含45張室外場景，I-HAZE數(shù)據(jù)集包含30張室內(nèi)場景，上述兩個數(shù)據(jù)集共有75張存霧樣本圖像。SOTS-outdoor與SOTS-indoor為RESIDE[14]數(shù)據(jù)集中的兩組測試集，每組分別包含500張共計1 000張合成的存霧樣本圖像。

3.2? 實驗結果

在實驗階段，除了比較傳統(tǒng)的DCP[7]算法和MOF[15]之外，還選取了同樣基于大氣散射模型的BCCR[8]和CAP[9]算法作為比較對象。

表1和表2分別為室外場景和室內(nèi)場景數(shù)據(jù)集下，本文算法與其他算法根據(jù)FRIQA[16]圖像評價標準進行對比的結果，其中CWM代表本文算法結果。圖4和圖5中紅框為邊緣模糊的抑制情況，橙框為過飽和現(xiàn)象的抑制情況，綠框為過亮區(qū)域造成色彩失真的抑制情況。

從表1和表2中可以看出，本文算法相較于DCP[7]算法，PSNR分別提升了11.17%和11.95%，SSIM分別提升了4.12%和8.02%，VIF[16]與FSIMc[17]也略有提升。相較于改進的MOF[15]算法，PSNR分別提升了7.29%和5.61%，SSIM分別提升了5.17%和1.07%，VIF與FSIMc也略有提升。與此同時，本文算法在與BCCR和CAP算法的對比中，在各項指標上也具有明顯的優(yōu)勢。從圖4和圖5中可以看出，本文算法不僅有效抑制了DCP算法由于尺度設置不準確造成的邊緣模糊現(xiàn)象或過飽和現(xiàn)象，同時也有效解決了圖像存在過亮區(qū)域時去霧結果色彩失真的問題。相較于其他算法，去霧圖像整體色彩、細節(jié)上也都有所改善。

4? 結? 論

本文提出一種融合平均曲率與直方圖分析的暗通道先驗去霧算法。首先，利用海森矩陣求取圖像的平均曲率信息，將歸一化后的平均曲率強度作為權重對兩個尺度的暗通道傳輸圖進行加權融合。其次，分析判斷圖像的三通道直方圖是否存在過亮區(qū)域，若存在過亮區(qū)域則進行降值處理。針對本文算法在室內(nèi)外有霧場景的五個數(shù)據(jù)集上進行了測試，并且與其他去霧算法進行了對比。結果表明，本文算法能夠抑制DCP類算法邊緣模糊及過飽和現(xiàn)象，有效解決了過亮區(qū)域造成的去霧結果色彩失真問題。

參考文獻：

[1] KIM T K，PAIK J K. Contrast Enhancement System using Spatially Adaptive Histogram Equalization with Temporal Filtering [J].IEEE Transactions on Consumer Electronics，1998，44（1）：82-87.

[2] 方雪來，馮象初.基于Retinex的亮度-梯度協(xié)同引導色調(diào)映射算法 [J].吉林大學學報：理學版，2023，61（5）：1178-1186.

[3] SARKAR M，SARKAR P R，MONDAL U，et al. Empirical Wavelet Transform Based Fog Removal via Dark Channel Prior [J].IET Image Processing，2020，14（6）：1170-1179.

[4] 寇旗旗，黃績，程德強，等.基于語義融合的域內(nèi)相似性分組行人重識別 [J].通信學報，2022，43（7）：153-162.

[5] 劉萬軍，程裕茜，曲海成.基于生成對抗網(wǎng)絡的圖像自增強去霧算法 [J/OL].系統(tǒng)仿真學報：1-14[2023-11-29].https：//doi.org/10.16182/j.issn1004731x.joss.22-1551.

[6] 林雷.基于大氣散射模型的去霧算法研究 [D].蘭州：蘭州交通大學，2023.

[7] HE K M，SUN J，TANG X O. Single Image Haze Removal Using Dark Channel Prior [J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2011，33（12）：2341-2353.

[8] MENG G F，WANG Y，DUAN J Y，et al. Efficient Image Dehazing with Boundary Constraint and Contextual Regularization [C]//2013 IEEE International Conference on Computer Vision.Sydney：IEEE，2013：617-624.

[9] ZHU Q S，MAI J M，Shao L. A Fast Single Image Haze Removal Algorithm Using Color Attenuation Prior [J].IEEE transactions on image processing，2015，24（11）：3522-3533.

[10] KOU Q Q，CHENG D Q，ZHUANG H D，et al. Cross-Complementary Local Binary Pattern for Robust Texture Classification [J].IEEE Signal Processing Letters，2019，26（1）：129-133.

[11] ZHANG Y F，DING L，SHARMA G. HazeRD： An Outdoor Scene Dataset and Benchmark for Single Image Dehazing [C]//2017 IEEE International Conference on Image Processing （ICIP）.Beijing：IEEE，2017：3205-3209.

[12] ANCUTI C O，ANCUTI C，TIMOFTE R，et al. O-HAZE： A Dehazing Benchmark with Real Hazy and Haze-free Outdoor Images [C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops （CVPRW）.Salt Lake City：IEEE，2018：8675-8678.

[13] ANCUTI C O，ANCUTI C，RADU T，et al. I-HAZE： A Dehazing Benchmark with Real Hazy and Haze-free Indoor Images [J/OL].arXiv：1804.05091.[2023-08-30].https：//ui.adsabs.harvard.edu/abs/2018arXiv180405091A/abstract.

[14] LI B Y，REN W Q，F(xiàn)U D P，et al.Benchmarking Single Image Dehazing and Beyond [J].IEEE Transactions on Image Processing，2018，28（1）：492-505.

[15] ZHAO D，XU L，YAN Y H，et al. Multi-scale Optimal Fusion Model for Single Image Dehazing [J].Signal Processing-Image Communication，2019，74：253-265.

[16] WANG Z. Image Quality Assessment： From Error Visibility to Structural Similarity [J].IEEE Transactions on Image Processing，2004，13（4）：600-612.

[17] ZHANG L，ZHANG L，MOU X Q，et al. FSIM： A Feature Similarity index for image quality assessment [J].IEEE Transactions on Image Processing，2011，20：2378-2386.

作者簡介：程浩桐（2005—），男，漢族，江蘇徐州人，本科在讀，研究方向：智能信息處理；通訊作者：尤楊楊（1996—），男，漢族，江蘇蘇州人，工程師，碩士，研究方向：圖像處理與模式識別。