基于光照估計和快速引導濾波的夜間圖像去霧算法

段柳

（四川大學計算機學院，成都610065）

0 引言

夜間有霧低照度條件下，由于人造光源、霧霾、捕獲設備等因素的影響，圖像采集設備所捕獲的圖像常伴隨低光照、光照不均勻、對比度下降、顏色失真、部分信息丟失等情況，嚴重影響戶外計算機視覺系統的應用，如視頻監(jiān)控、目標識別、智能交通分析及自動駕駛等。因此，復原夜間圖像對計算機視覺系統有著重要的研究價值。

目前對于夜間霧天圖像去霧主要有以下研究：Pei等人[1]提出一種基于顏色轉換和暗原色先驗的方法，首先利用顏色轉換技術作為夜間圖像去霧的預處理，把顏色映射到白天有霧圖像中，然后利用改進的暗通道先驗方法去霧，由于顏色轉換沒有使用有效的物理模型，導致復原后的顏色不真實。Zhang 等人[2]引入一種新的夜間霧天圖像退化模型，模型中首次考慮了夜晚圖像的不均勻光照和顏色失真現象，并利用Retinex 和暗原色先驗等技術反解該模型得到復原圖像，該方法的處理結果真實自然，對比度明顯提升，但在人造光源區(qū)域存在輝光現象。Li 等人[3]把人造光源加入到大氣散射模型中，該算法首先利用基于相對平滑約束的層次分解算法分離并去除輝光項，然后采用暗原色先驗進行去霧。該方法對因輝光較大遮擋住圖像細節(jié)的夜晚霧天圖像有很好的適應力，但在噪聲抑制方面處理欠佳。Zhang 等人[4]通過對大量白天無霧圖像塊進行統計并提出最大反射先驗理論，利用其進行夜間圖像去霧，該算法處理結果整體偏暗且存在很大的噪聲。Yang 等人[5]將超像素分割引入大氣光和透射率的估計中，使圖像保留更多的細節(jié)信息，但處理結果仍存在噪聲被放大的問題。

綜上分析，本文提出了一種基于光照估計和快速引導濾波的夜間圖像去霧算法，包括四個步驟：輝光分解、圖像增強、亮度補償、去噪。實驗表明，本文提出的算法具有很好的夜間霧天圖像清晰化效果，使去霧后的圖像整體協調自然，細節(jié)更加豐富。

1 夜間霧天模型

1.1 Retinex理論

Retinex 理論認為人眼對物體亮度的感知取決于照明環(huán)境和物體表面對照射光的反射，將原圖像看成是照射光分量和反射光分量的組成，這一過程可由圖1描述，其中照射光分量會影響圖像整體的亮度，對圖像的動態(tài)范圍起決定性作用，反射光分量表示圖像中目標本來的細節(jié)信息，如式（1）：

圖1 Retinex 原理圖

其中I（x）表示相機捕獲的圖像，L（x）表示照射分量，R（x）表示反射分量。

1.2 新模型

我們注意到在夜間霧天環(huán)境中，夜晚環(huán)境光占主導因素，周圍環(huán)境的可視度較低。在某些情況下環(huán)境光的存在致使我們看不見附近的物體，為了提高可視性，首先要盡可能消除人造光源的影響。于是在Retinex 理論的基礎上引入人造光源發(fā)光因子項建立新模型，如圖2 所示。

圖2 基于Retinex的夜晚霧天新模型

由新模型可知，捕獲的圖像由兩部分組成，即去掉輝光層的新霧天圖像（Iˉ(x)）和發(fā)光因子項圖像（G(x)），I(x)為相機所捕獲的圖像。借此本文提出的算法步驟為：首先進行輝光層分解盡最大可能減少人造光的影響，其次針對低光照問題進行圖像增強，伽馬光補償，最后利用快速引導濾波進行保邊去噪得到最終結果，算法流程圖如圖3 所示。

圖3 本文算法基本流程圖

2 新模型求解

2.1 輝光層分離

由公式（2）可知捕獲的場景圖由新霧天圖像和輝光層圖像兩部分構成，所以去除夜晚輝光G（x）就變成層分離問題。夜間霧霾下的發(fā)光具有“短尾”效應，并且輝光圍繞光源多次散射后逐漸平穩(wěn)，因此我們可以利用這種平滑特性和“短尾”效應建立模型，使目標函數層分離出來，環(huán)境光層光滑，把較大梯度的光留在新霧天圖像中：

其中f1,2是雙向一階導數濾波器，f3是二階拉普拉斯濾波器，計算符“*”表示卷積，第二項G 使用?2范數正則化來處理環(huán)境光的梯度，由于G(x)=I(x)-Iˉ(x)，這將促使環(huán)境光層能夠平滑的輸出，第一項使用魯棒函數r（s）=min（s2,i），該函數將保留輸入圖像在得到的新霧天圖像中最大梯度的存在。同時還增加了一個不等式約束來確保解決方案處于適當的范圍內，然而由于這個約束被獨立的應用于每個顏色通道，在對夜間霧霾圖像測試時，易導致顏色的偏移。受顏色恒常性假設的啟發(fā)，添加了第二個約束條件來控制顏色的偏移問題。將兩個約束條件結合在一起，就可以得到具有較少的顏色偏移的環(huán)境光的分離結果，式（4）可通過Li等人[7]提出的半二次分解算法來進行求解，分離出的環(huán)境光如圖4 所示。

從實驗結果圖4 可以看出，輸入的夜間圖像在去除圖4（b）輝光層后，展現了圖像更多的細節(jié)信息，圖像整體的清晰度也得到了提高，圖4（c）分別是兩組圖像輝光層分離后得到的新霧天圖像。

圖4 輝光層分離結果圖

2.2 圖像增強

得到的新霧天圖像具有低照度特性，利用Guo 等人[6]對低照度圖像的思考進行圖像增強，該方法建立在Retinex 基礎之上，表示為：

Iˉ表示去除輝光層的新霧天圖像，R 表示理想中得到的圖像，L（L?）表示光照圖，運算符“*”表示各元素相乘。在該算法中，對于彩色圖像，三個顏色通道假設使用相同光照圖，用L（L?）來同時表示單通道和三通道，在式（5）中新的霧天圖像分解為兩部分，希望得到的復原圖像和光照圖。我們的目的僅是增強低光照圖像，所以求出L 才是關鍵因素，Iˉ/L 就是我們最終所求結果。

（1）光照估計

我們采用局部估計法來獲得更準確的局部光照圖，表示如下：

對于每一個像素點x，亮度值是在某一確切位置三通道的最大值，得到的L?(x)確保了復原結果不會飽和，因此：

為了避免分母為零，e 是一個很小的常數。

這些改進中的大多數方法皆是通過考慮目標像素周圍小區(qū)域內的相鄰像素來估計照明的局部一致性。為了同時保留整體結構特征和平滑紋理細節(jié)，依據最初的光照圖，可通過以下公式求解：

a 是平衡這兩項的系數，‖ ‖*F和‖ ‖*1分別是Frobenious 和?1范式。W 是權重矩陣，?L 是一階導濾波器，它包括水平方向的?hL 和垂直方向的?vL。在式（8）中，第一項關注的是初始光照圖和改進后L 的保真度，第二項關注的是平滑結果。

細看式（8），最初的迭代進程是稀疏加權梯度項‖ ‖W °?L1，范數?1與L 上的梯度同時運算使其有些復雜。顯然下面的關系是成立的：

雖然目標函數與原始函數相比發(fā)生了變化，但從初始照明估計T?中提取照明結構的目標與原始圖像一致。當很小時，值會被抑制。換句話說，目標L 被約束以避免產生初始照明梯度圖中的小幅度梯度。相反，當 ||?dL?(x) 值很大時，上述抑制會減弱。

問題式（10）僅涉及二次項，可通過以下方式求解：

（2）權重選擇

對于初始光照圖的結構性修復，權重W 的設計很關鍵。受相對總變分（RTV）的啟發(fā)，權重可通過以下方式設置：

Gs（x,y）由高斯核和標準差s 產生，表示為：

Dist（x,y）函數用于測量空間歐幾里德距離。我們知道，不同于RTV，此處的權重矩陣是根據L?構造的，而不是利用L 迭代更新，這意味著W 只需計算一次。

根據重新定義的光照圖T，我們可通過式（3）恢復R，效果如圖5（c）所示，與圖5（b）相比，利用光照估計后得到的實驗結果圖細節(jié)信息更加突出。了多張具有代表性的圖片，利用剛提到的三種先進的夜間去霧算法與文本算法進行實驗對比，實驗結果如圖6。

圖5 整個算法處理結果圖

2.3 亮度補償

在去除輝光層，利用光照估計的方法進行圖像增強后，仍存在圖像整體亮度偏暗問題，因此，利用伽馬矯正方法來提高圖像整體亮度，表示如下：

通過對比圖5（c）和（d）我們可以看出，亮度補償后的圖像在暗區(qū)域的細節(jié)信息得以更加突出，整體視覺效果也得到了改善。

2.4 快速引導濾波

我們發(fā)現圖像去除輝光層、利用光照估計算法增強、伽馬光補償后，仍存在一定的噪聲，針對這一問題，通過采用具有保邊去噪效果的濾波算法進行細化處理。為了在去噪的同時提高算法效率，本文采用了He等人[10]提出的快速引波濾波算法圖5（e）為利用快速引導濾波的處理結果，從圖中可以看出，相比原夜晚霧天圖像，噪聲得到極大抑制。

3 實驗結果與分析

3.1 主觀評價

為了進一步說明本文算法的有效性，從網上收集

圖6 本文算法與三種算法的夜間去霧結果對比圖

從實驗結果對比圖6 我們可以看出，Zhang 算法1去除了夜晚霧霾圖像大部分霧霾和一些人造光，但光源周圍仍存在可見的輝光偽影以及被放大了的噪聲。Li 算法消除了大部分人造光源的影響，但仍存在噪聲被放大的特點。Zhang 的另一算法2 雖比他之前提出的效果好，但仍沒有解決輝光偽影問題，并存在噪聲放大、圖像整體亮度偏暗的問題。本文提出的算法很好地避免了并不適用于夜晚的白天大氣成像模型和基于白天高清無霧提出的暗通道先驗方法，利用以Retinex為基礎的增強方法，并考慮了輝光現象、亮度以及噪聲問題，可以很好地解決夜晚圖像去霧問題。同時我們分別對部分圖像處理結果進行局部放大處理，如圖6，通過對比局部放大區(qū)域，可以發(fā)現對比其他三種方法，本文算法處理結果細節(jié)更突出，并有效抑制了噪聲。

3.2 客觀評價

為了客觀說明去霧結果的優(yōu)劣，本文采用了4 種客觀評價標準進行驗證，即無參考的霧感知濃度指標（Fog Aware Density Evaluator，FADE）、平均梯度、標準差和信息熵。FADE 值越小代表圖像霧密度越低，去霧效果較好。平均梯度反映了圖像的清晰度和紋理變化，平均梯度越大說明圖像越清晰，標準差反映了圖像像素值與均值的離散程度，數值越大說明對比度越高，圖像質量越好。信息熵反映圖像信息量，值越大，表明圖像信息越多。

根據上述4 個評價指標，表1-4 分別給出了基于圖6 各算法的評價結果，表中加粗部分為各評價結果對應的最優(yōu)分值。

由表1 可知，四種算法FADE 值均小于輸入圖像，表明在一定程度上進行了去霧操作，Li 等人算法的處理結果優(yōu)于Zhang 等人提出的兩種算法，這是因為Li算法針對夜間霧天圖像進行了輝光去除，有效避免了人造光對圖像去霧的阻礙。本文算法FADE 值取得最優(yōu)結果，這是由于在去除輝光的同時還進行了圖像增強、伽馬光補償和快速引導濾波去噪等處理，使得本文算法相比其他三種算法結果更優(yōu)。

由表2-4 可知，與原有霧圖像相比，經各算法處理結果后的圖像在各個評價指標上均得到不同程度的提升。其中本文算法的去霧結果在平均梯度、標準差上皆明顯優(yōu)于Zhang 算法和Li 算法，在信息熵上明顯優(yōu)于Li 算法，略優(yōu)于Zhang 算法。由此更加客觀地說明利用本文算法進行夜間圖像去霧能得到細節(jié)更清晰的無霧圖像。

表1 圖6 中各算法去霧結果的FADE 值客觀評價

表2 圖6 中各算法去霧結果的平均梯度客觀評價

表3 圖6 中各算法去霧結果的標準差客觀評價

表4 圖6 中各算法去霧結果的信息熵客觀評價

4 結語

本文提出了一種基于光照估計和快速引導濾波的單幅夜間霧天圖像去霧算法。首先針對夜間輝光效應可能造成圖像信息被嚴重遮擋的問題，進行輝光層的分解以提升圖像清晰度，接著對夜晚低能見度問題在Retinex 基礎上通過估計光照圖進行圖像增強，從而避免使用并不適用于夜晚的在白天基礎上總結的暗原色先驗規(guī)律，然后對圖像整體進行光補償，最后對圖像中存在的噪聲利用快速引導濾波進行處理，在抑制噪聲的同時還提高了效率。將本文提出的算法與多種先進的夜間去霧算法進行實驗對比，主客觀分析，驗證了本文算法的優(yōu)越性。但本文算法仍有待進一步完善，夜間圖像成像模型條件復雜，本文建立的新模型將其劃為兩大部分，但在實際場景中會更細雜，因此在對夜間圖像成像模型的構建上可做更加深入的研究。