基于亮度感知權(quán)重的夜間圖像去霧技術(shù)

張志豪，孫 鵬,2,*

（1.中國刑事警察學院，沈陽 110854；2.司法部司法鑒定重點實驗室，上海 200063）

圖像偵查為公安機關(guān)偵破案件提供了直觀有效的信息，在現(xiàn)代偵查方式中扮演著重要的角色。但在夜間霧天環(huán)境下，由于不同色溫的光源照射以及大氣環(huán)境中的霧氣粒子或者懸浮顆粒對光線的散射作用，使視頻監(jiān)控設(shè)備獲取的圖像出現(xiàn)對比度低、細節(jié)信息丟失和偏色的現(xiàn)象，這使得該類圖像的內(nèi)容在偵查階段不易被偵查人員直觀地發(fā)現(xiàn)，在庭審階段作為視聽資料證據(jù)的證明力不強。為解決上述問題，需要對夜間霧天環(huán)境下監(jiān)控設(shè)備獲取的低質(zhì)圖像進行去霧和圖像增強處理。

近年來，日間圖像的去霧問題受到了廣泛的關(guān)注，出現(xiàn)了許多圖像去霧方法，包括基于圖像增強的方法、基于大氣模型的方法和基于機器學習的方法，但是當這些方法直接應(yīng)用于夜間霧天圖像去霧時效果常常不理想。日間去霧方法和夜間去霧方法的主要區(qū)別是對環(huán)境照度的估計。在日間去霧模型中環(huán)境照度是一個恒定值，因為陽光通常是白天場景中唯一且占主導(dǎo)地位的光源，因此白天環(huán)境下的環(huán)境照度在空間上是均勻的。然而，在夜間環(huán)境中，由于多個光源的散射現(xiàn)象，環(huán)境照度在空間上是不均勻變化的，所以日間去霧方法中廣泛使用的先驗方法不再適合于夜間場景。隨著夜間霧天圖像的應(yīng)用價值提高，最近，越來越多的研究人員開始對夜間圖像進行去霧研究。主要代表算法有：Zhang等[1]使用伽馬校正來補償環(huán)境照度，然后利用入射光的特性進行色彩校正；Pei等[2]通過顏色轉(zhuǎn)換技術(shù)將夜間霧天圖像映射到白天霧天圖像，然后使用經(jīng)過改進的暗通道進行圖像去霧；Li等[3]通過修改大氣散射模型，添加了一個大氣點擴散項來模擬光源區(qū)域的發(fā)光效果，然后利用層分離算法對霧天圖像中的光線進行分解。

針對在去霧過程中因環(huán)境照度估計不正確和光源區(qū)域中的先驗假設(shè)無效而導(dǎo)致的圖像對比度低、細節(jié)信息丟失問題，本文采用了一種新的夜間去霧方法。首先，采用一種通道差分的方式使用低通濾波來估計環(huán)境照度，然后基于Retinex[4]理論，對于圖像中非光源區(qū)域使用傳統(tǒng)的暗通道先驗計算相對應(yīng)的大氣透射率，對于圖像中的光源區(qū)域使用基于亮通道的先驗來計算其大氣透射率，接著采用一種基于亮度感知權(quán)重的方式將兩部分估計的大氣透射率混合，從而得出該圖像的混合透射率。最后基于夜間大氣散射模型，結(jié)合計算出的環(huán)境照度和混合透射率來獲得去霧圖像。此外為滿足公安實際工作中對于圖像暗部細節(jié)提升和顏色準確要求，在去霧后使用CLAHE[5]和SoG[6]算法對圖像進一步增強處理，使其更符合人類的視覺系統(tǒng)。與當前主流方法相比本文采用的夜間去霧方法能使處理后的圖像對比度適中、顏色動態(tài)范圍更廣、圖像細節(jié)信息更豐富，能滿足公安圖像偵查工作對于圖像質(zhì)量的要求。

1 實驗原理與方法

圖1為本文方法流程圖，其中夜間圖像去霧的難點在于對夜間圖像中透射率和環(huán)境照度的估計，而在去霧處理后為滿足偵查人員的實際需求，需要對去霧后的圖像進行視覺效果增強處理。

1.1 大氣散射模型

公式（1）為大氣散射模型的數(shù)學表達形式。

大氣散射的物理模型如圖2所示：

其中，I(x)是成像設(shè)備在霧天環(huán)境中獲得的有霧圖像，J(x)是要復(fù)原的無霧圖像。A是一個恒定的顏色矢量，描述了空氣中的整體環(huán)境照明，t是相對于x表示的每個像素的深度的傳播媒介。透射率t(x)=e-θd(x)表示相機從J(x)接收的光的百分比，d(x)是從場景點到相機的距離，θ是相對于場景大氣中的散射系數(shù)。

與白天環(huán)境去霧相比，在夜間環(huán)境去霧更具挑戰(zhàn)性。與白天的單個強光源（陽光）不同，夜間場景通常包含多個光源，例如月光、路燈、車燈等。夜間的環(huán)境照度A不是全局矢量，而是在空間變化的A（x）?；谝陨戏治觯覀儗⒐剑?）重寫為：

夜間去霧的任務(wù)是估計空間變化的環(huán)境照度A(x)和透射率t(x)，以便從公式（2）中求解，從而得到無霧圖像J(x)。

1.2 環(huán)境照度估計

根據(jù)Retinex理論，人眼是根據(jù)周圍環(huán)境的照明和物體表面的反射來感知物體的亮度。數(shù)學上，無霧圖像J(x)可以寫為以下兩項的乘積：環(huán)境照度A(x)和反射率R(x)：

因此，公式（2）可表示為：

我們將Retinex模型中的公式（4）重新表述為：

假設(shè)A(x)在空間上是平滑的，并且被視為低頻項，作為高頻項，對霧天圖像I(x)進行低通濾波，可以有效地估計出A(x)。傳統(tǒng)的Retinex算法使用高斯濾波進行低頻分量估計，但是高斯平滑是各向同性的，并且不保留邊緣，并不能很好地解決該項問題。在本文中，我們采用引導(dǎo)濾波解決環(huán)境照度估算的問題，該引導(dǎo)濾波器能夠使圖像平滑并保留邊緣。與此同時，為更好地保留圖像中夜景的元素結(jié)構(gòu)，本文采用一種通道差分圖代替原始圖像作為參考圖像來指導(dǎo)低通濾波。如公式（6）中所示，將通道差分圖Icd視為每個像素x的最大顏色通道和最小顏色通道值之差：

將環(huán)境照度A作為引導(dǎo)圖像Icd的線性變換寫入以像素k為中心的窗口ωk中：

假設(shè)（ak，bk）在ωk中是恒定的，通過把目標圖像I與引導(dǎo)圖像Icd線性變換之間的差值最小化來獲得參數(shù)，具體損失函數(shù)如下：

其中，ωk是濾波窗口， 是平滑項。方程（8）通過使用嶺回歸模型求解：

其中 ，μk和 是窗口ωk中所有來自圖Icd像素的均值和方差；|ω|是像素數(shù)，Ik是窗口ωk中的平均值，該部分來源于I。獲得系數(shù)ak和bk后，可以通過公式（7）計算A。由于像素x包含在許多過濾窗口中，因此最終可以通過對所有與像素x重疊的窗口取平均值來獲得A(x)：

1.3 亮通道先驗

與白天獲得的霧天圖像不同，夜間霧天圖像中通常有多個光源，并且光源區(qū)域（light source regions,LSR）的顏色特征與非光源區(qū)域的顏色特征有很大不同。本文采用亮通道先驗（bright channel prior, BCP)[7]來獲取光源區(qū)透射率，因為光源區(qū)域的像素經(jīng)常包含一個具有高強度值的顏色通道?；谝陨戏治?，BCP假定在無霧圖像的光源區(qū)域中，每個顏色通道的局部色斑中的最大強度接近1，該先驗是在統(tǒng)計的基礎(chǔ)上得到的。在數(shù)學上BCP定義為：

1.4 基于亮度感知權(quán)重的透射率混合

使用引導(dǎo)濾波獲得A后，可以將BCP和暗通道先驗（dark channel prior, DCP)[8]應(yīng)用為以下公式來計算相應(yīng)的透射率tBCP和tDCP：

因為tBCP和tDCP僅在光源區(qū)域和非光源區(qū)域分別有效，所以要將它們混合在一起以計算最終透射率t。在確定光源區(qū)和非光源區(qū)時，采用一種亮度感知加權(quán)的方法來計算該像素屬于光源區(qū)域的概率α(x)。

通常在光源區(qū)域中，在RGB通道之一中存在至少一個具有高強度的像素，該像素RGB三通道中任意一個通道的灰度值越高則該像素越可能屬于光源區(qū)域。因此在數(shù)學上，可以以亮度感知的方式定義權(quán)重圖α為:

由于一般原始圖像都是線性的，為了便于人眼觀察，所以需要對圖像進行伽馬校正，其中公式（15）的（I c）γ是對圖像I c做伽馬校正，γ是伽馬值。然后計算混合透射率t：

最后，使用引導(dǎo)濾波來優(yōu)化最終的混合透射率t(x)。在獲取環(huán)境照度A(x)及混合透射率t(x)后，通過公式（17）基于有霧圖像I(x)來獲得輸出的去霧圖像J(x)：

1.5 CLAHE與SoG算法原理

傳統(tǒng)的直方圖均衡化在對整幅圖像進行變換時都采用相同的直方圖變換，這種方法對于那些像素分布均勻的圖像來說效果很好，但是對于包含明顯較亮或較暗區(qū)域的圖像往往不能起到顯著的增強效果。限制對比度自適應(yīng)直方圖均衡化（contrast limited adaptive histgram equalization，CLAHE）是一種用來改善圖像對比度的圖像處理技術(shù)，它與傳統(tǒng)的直方圖均衡相比，不同點主要在于對對比度進行了限制，這一特性也可以被應(yīng)用到全局的直方圖均衡中。CLAHE算法能將圖像中明顯比其他區(qū)域亮或者暗的地方的細節(jié)信息描述出來，此外，CLAHE會對每一個像素鄰域都進行對比度限制，從而得到對應(yīng)的變換函數(shù)，用來降低傳統(tǒng)直方圖均衡中噪聲的增強。與此同時，對于處理后的圖像存在的偏色問題，Shades of Gray (SoG)算法能有效解決，使圖像顏色更符合人類的視覺系統(tǒng)。該算法將MaxRGB[9]和GrayWorld[10]算法納入了同一個計算框架下，利用閔式距離代替簡單求平均的方法，其數(shù)學形式如公式（18）：

其中X表示像素點坐標，k為用于校準光照的常量，e為光照，p為閔可夫斯基范數(shù)。當p= 1時，該式就退化為GrayWorld算法，直接求圖像平均；當p=∞時，該式等價于求f(X) 最大值，等同于Max-RGB算法；當1 ＜p＜∞時，就是普通的SoG算法，在p= 6時，算法取得較好的適用性和效果。從具體處理視覺效果圖3中可以看出，經(jīng)過本文方法得到的最終輸出圖像與原圖相比，圖像暗部信息更加豐富、對比度適中、有良好的色彩恒常性。處理后的圖像能幫助偵查人員對圖像中車輛的重要特征（如車牌、車輛輪廓等信息）進行更直觀的提取。

2 實驗過程設(shè)計

2.1 實驗環(huán)境與對象

2.1.1 實驗環(huán)境

PC：HUAWEI MateBook14；操作系統(tǒng)：Windows 10家庭中文版；配置：第八代智能英特爾?酷睿TMi5-8265U處理器8GB+512GB；仿真編譯環(huán)境：Matlab 2019a。

2.1.2 實驗對象

本文實驗對象一部分是在現(xiàn)有研究中廣泛使用的相同測試圖像；另一部分是為結(jié)合公安實際工作，自行采集的包含車輛等信息的圖像。實驗對象的具體信息如表1所示。

表1 實驗數(shù)據(jù)基本信息Table 1 Basic experimental data

2.2 實驗方法

為驗證本文方法的有效性和實用性，首先選取近期主流的去霧方法：基于暗通道先驗（HE）[8]、基于邊界約束和上下文正則化（MENG）[11]、基于顏色衰減先驗（ZHU）[12]、基于暗通道—小波（WT）[13]的去霧方法進行相關(guān)實驗。接著采用國際通用的圖像質(zhì)量評價方法對實驗結(jié)果進行全面評估，最后通過對全部實驗結(jié)果的比對分析來驗證本文方法的優(yōu)越性。

3 實驗結(jié)果及分析

本章主要對實驗結(jié)果分別進行客觀評價與主觀評價對比分析。其中在客觀評價中采用國際通用的無參考圖像評價指標：基于等效圓的偏色檢測因子[14]、平均梯度(avg_gradient)、信息熵(entropy)三個參數(shù)來衡量處理后的圖像質(zhì)量。在本文方法的實驗中，DCP和BCP的濾波核大小固定為 15×15；用于環(huán)境照度和透射率估計的濾波器的內(nèi)核大小為64，兩者的平滑系數(shù)都設(shè)置為0.01；CLAHE中的NumTiles大小為4×4；ClipLimit 值為0.01；SoG算法中閔可夫斯基范數(shù)為6。

3.1 客觀評價

在客觀評價方面，采用基于等效圓的偏色檢測因子、平均梯度、信息熵三個無參考圖像評價指標來對處理后的圖像進行客觀評價（表2）。其中基于等效圓的偏色檢測因子是圖像平均色度和色度中心距的比值，用其可以衡量圖像的偏色程度，即偏色檢測因子越大，該圖像的偏色程度也越大；平均梯度是圖像灰度變化率的平均值，它反映了圖像微小細節(jié)反差變化的速率，能表征圖像的相對清晰度，圖像的平均梯度越大，該圖像相對越清晰；信息熵描述了一幅圖像信息源的平均信息量，其值越大表示該圖像所包含的信息越多，相對越清晰（表3）。

表2 偏色檢測因子、平均梯度、信息熵結(jié)果Table 2 Color-bias detection factor, average gradient and entropy

表3 各檢測指標值的平均提高率（%）Table 3 Average improvement rate of each indicator (%)

從表2偏色檢測因子結(jié)果可以看出，經(jīng)過本文方法處理后的圖像偏色檢測因子相較于原圖都有明顯的減小，而且與其他方法處理過的圖像相比，除test1之外，本文方法處理后的圖像偏色檢測因子都是最小值，基本可以證明本文方法處理后的圖像具有較好的色彩恒常性，更符合人類的視覺感知特征；從表2的平均梯度數(shù)據(jù)實驗結(jié)果來看，除test5之外，通過本文方法處理圖像，其相應(yīng)的平均梯度數(shù)值均是眾多方法處理后圖像中的最高峰值，因此可以證明本文方法處理后的圖像具有良好的清晰度；對表2的信息熵結(jié)果數(shù)據(jù)分析后，可以發(fā)現(xiàn)，與其他方法處理后的圖像的信息熵相比，本文方法在圖像信息熵上有顯著的提高，由此可以證明，經(jīng)過本文方法處理后的圖像有較為豐富的信息量；最后表3對數(shù)據(jù)進行整理，可以看出，本文方法在偏色檢測因子的降低、平均梯度和信息熵的提高方面相比于其他方法具有良好的優(yōu)勢，意味著本文方法處理后的圖像更符合人類的視覺感知特征，同時相對更加清晰、細節(jié)信息更加豐富。

3.2 主觀評價

采用不同方法對實驗對象進行相應(yīng)處理后得到實驗視覺效果圖（圖4）。在圖4中可以看出MENG的方法在光源區(qū)域附近具有良好的視覺效果，同時光源形狀具有良好的一致性，但是天空區(qū)域會產(chǎn)生嚴重的偏色現(xiàn)象；HE和WT這類基于暗通道的方法能較好地抑制噪聲和保留圖像的紋理細節(jié)，但會由于過度的消光使圖像整體偏暗，造成視覺效果不佳的現(xiàn)象；ZHU的方法能有效提高圖像對比度，但是會使圖像暗部細節(jié)信息丟失，如暗部的車牌信息等；此外，以上方法都沒有解決因為不同色溫光源的影響而使圖像產(chǎn)生偏色現(xiàn)象的問題。

從本文方法的處理結(jié)果來看，在黑暗區(qū)域，能夠保留更多的細節(jié)和增強該部分圖像內(nèi)容的可見性，特別是在較暗區(qū)域車輛特征視覺效果上，基本能滿足偵查人員對其信息直接提取的需求，同時也有效解決了夜間圖像常見的偏色問題，同時經(jīng)本文方法處理后的圖像顏色動態(tài)分布范圍更廣（圖5為test4處理前后的RGB顏色直方圖）。從這些視覺效果比較中，可以得出結(jié)論：本文的方法可以更好地解決夜間霧天圖像的偏色問題，同時它在增強圖像較暗區(qū)域的視覺效果和提升顏色的動態(tài)范圍方面也具有明顯優(yōu)勢。

4 結(jié)論

針對圖像偵查中遇到的夜間霧天條件下獲取圖像對比度低、暗部細節(jié)信息丟失、偏色的問題，在去霧方面，重點在于對環(huán)境照度和大氣透射率的估計。基于Retinex理論，通過改進后的大氣散射模型（夜間大氣散射模型）和通道差圖引導(dǎo)的低通濾波解決了不均勻變化的環(huán)境照度估算問題。此外，本文使用亮通道和傳統(tǒng)暗通道先驗分別估計圖像中光源區(qū)域和非光源區(qū)域的大氣透射率，接著采用一種基于亮度感知權(quán)重的方法分別施以相應(yīng)的權(quán)重來區(qū)分圖像中的光源與非光源區(qū)，從而進一步得到最終混合大氣透射率。在圖像增強方面，采用CLAHE與SoG算法實現(xiàn)增強圖像暗部區(qū)域細節(jié)與解決圖像偏色問題。經(jīng)過有效的實驗證明，本文的方法在處理現(xiàn)有研究廣泛使用的相同測試圖像和與公安工作密切聯(lián)系的實際圖像時，在增強圖像暗部細節(jié)、提高圖像對比度和解決夜間圖像常見的偏色問題方面有著明顯的優(yōu)勢。本文工作的不足之處是使用的模型較為單一，自適應(yīng)能力不足，在某些公安實際復(fù)雜場景中效果可能不夠良好，今后將繼續(xù)研究運用魯棒性更強的高級模型，來解決公安工作中面臨的不同復(fù)雜問題。