結(jié)合天空區(qū)域識別的單幅圖像去霧方法

李堯羿，杜宇超，顧振飛

1.南京郵電大學 貝爾英才學院，南京 210003

2.西交利物浦大學 計算機科學與軟件工程系，江蘇 蘇州 215123

3.南京郵電大學 物聯(lián)網(wǎng)學院，南京 210003

4.南京信息職業(yè)技術學院 電子信息學院，南京 210023

1 引言

霧霾天氣下，大氣中廣泛存在的懸浮粒子勢必對光線產(chǎn)生一定程度的吸收及散射作用，從而導致戶外圖像的視覺效果大幅下降，出現(xiàn)圖像內(nèi)容模糊、對比度下降及色彩衰減等退化現(xiàn)象。鑒于計算機視覺中有關目標識別[1-3]、安全監(jiān)控[4-6]、智能交通[7-9]等領域的很多方法都是基于輸入的圖像具備較好的可視性這一前提，消除霧霾天氣所導致的圖像負面效果而恢復出相應的晴天圖像有著顯著的研究意義及應用價值。

近年來，基于大氣散射模型的單幅圖像去霧技術有了顯著發(fā)展。此類技術利用大氣散射模型反演霧天圖像的降質(zhì)過程，預測出模型中相關參數(shù)的最優(yōu)估計值，從而恢復出相應的清晰圖像。Tan[10]方法基于晴天圖像的對比度高于霧天圖像這一假設，并通過馬爾科夫隨機場來決策透射率，方法簡單易行，但恢復效果往往趨于過飽和。Tarel[11]構(gòu)建了大氣耗散函數(shù)并使用中值濾波器來進行近似估計，經(jīng)色調(diào)調(diào)整后獲取相應的清晰圖像，該方法具備了線性復雜度從而可以近似實現(xiàn)實時去霧，但由于中值濾波器并不具備邊緣保持性能，因此所恢復的圖像在景深跳變處往往會出現(xiàn)“光暈效應”。類似的，Jiang等人[12]構(gòu)建了一個高效的基于分層的透射圖估計方法來進行霧天圖像恢復，但由于該方法用來調(diào)整引導圖的均值濾波器也無法保持邊緣信息，因此在景深跳變處無法完全避免“光暈效應”。Zhu等人[13]提出了顏色衰減先驗，并基于該先驗構(gòu)建了線性的霧天降質(zhì)圖像的深度結(jié)構(gòu)模型，但由于該方法在估計大氣散射系數(shù)時使用了全局一致的人工檢驗參數(shù)，因此該方法的魯棒性不佳且只適用于霧氣濃度空間分布一致的圖像。He等人[14]基于大量統(tǒng)計實驗提出了著名的暗通道先驗及相關去霧方法，該方法首先利用暗通道先驗估計出粗略的全圖透射率，然后利用軟摳圖技術或者導向濾波器對透射率進行細化，該方法能夠有效去除圖像中一般區(qū)域的霧氣并恢復出其中的場景細節(jié)。在暗通道先驗的基礎上，為了提高去霧效果或去霧處理效率，多種改進方案也被相繼提出。Meng等人[15]通過增加透射率函數(shù)的邊界約束有效提高了霧氣消除力度，但該方法無法完全區(qū)分圖像中與霧氣相近似的色彩，因此所恢復的圖像容易產(chǎn)生一定的色偏現(xiàn)象。Gibson等人[16]提出了中值暗通道先驗，利用該先驗進行透射率估計可以不再對透射圖進行優(yōu)化處理，因此大幅提高了去霧處理的效率，但該方法所恢復的圖像并不具備較好的視覺效果且易于在所恢復的圖像中產(chǎn)生“黑點”現(xiàn)象。上述方法存在兩個共同的缺點：（1）即去霧后圖像在天空區(qū)域容易產(chǎn)生嚴重的色偏或過增強現(xiàn)象；（2）上述方法所恢復的圖像普遍視覺偏暗，而在處理弱光照霧天降質(zhì)圖像時則易于出現(xiàn)暗區(qū)（近似黑色）。

經(jīng)過分析可以發(fā)現(xiàn)，上述方法對天空區(qū)域失效的主要原因是：（1）天空區(qū)域本身就是由濃密的“霧氣”所構(gòu)成的，因此對天空區(qū)域進行去霧處理本質(zhì)上是不合理的，也不可能通過消除天空區(qū)域的“霧氣”而揭示出隱藏在其后的場景細節(jié)。（2）現(xiàn)有的成像數(shù)學模型以及相關的去霧技術手段，目標都是消除像素中所包含的過量的大氣光（近似白色）分量，從而通過提高飽和度、對比度等方式實現(xiàn)信息增益，考慮到天空區(qū)域應當具備光滑、缺乏紋理的特征，因此對天空區(qū)域引入不適度的信息增益則勢必會引起過增強、色偏等負面效應。（3）在對圖像進行去霧處理的過程中勢必會消除一定程度的大氣光分量，因此圖像全局視覺偏暗在所難免，而且上述方法都是針對大氣光照絕對均勻的霧天圖像的，因此在處理弱光照有霧圖像時，勢必導致弱光照區(qū)域趨于不可見。

為克服上述缺陷，本文提出一種結(jié)合天空區(qū)域識別和暗通道先驗的單幅圖像去霧方法。主要貢獻如下：（1）提出新的圖像先驗知識，從而識別出圖像中的天空區(qū)域，并在此基礎上對天空區(qū)域和非天空區(qū)域進行獨立的處理，在消除圖像中霧氣的同時避免了天空區(qū)域出現(xiàn)色偏、過增強等負面效應。（2）基于天空區(qū)域識別的結(jié)果，提出一種基于天空區(qū)域的大氣光估計策略，提高了大氣光估計的準確性。（3）提出一種鄰域自適應的基于明亮通道先驗的Retinex方法對去霧處理所恢復的圖像進行亮度調(diào)節(jié)，通過提高明亮通道先驗的有效性改善了所恢復圖像的視覺效果。

2 背景

2.1 大氣散射模型

在計算機視覺領域中，大氣散射模型[17-18]被普遍用來描述霧天圖像的降質(zhì)機理：

其中，I(x,y)代表所采集到的霧天降質(zhì)圖像，大氣光L∞描述了場景所受到的環(huán)境光輻照量，是一個全局恒定的、包含三通道(R,G,B)像素強度的矢量，ρ(x,y)是場景反照率，β是大氣散射系數(shù)，d(x ,y)是像素景深。大氣散射系數(shù)和像素景深的聯(lián)合關系稱為透射率，描述了光線在大氣介質(zhì)中的衰減程度。因此，公式（1）可以簡寫為：

基于大氣散射模型的圖像去霧過程可以表述為：利用已知的I(x ,y)來估計出模型中的各項參數(shù)，進而恢復出相應的清晰圖像：

2.2 暗通道先驗及其缺陷分析

He在文獻[14]中提出了著名的暗通道先驗：戶外清晰圖像的非天空的局部區(qū)域中，至少有一個顏色通道內(nèi)的某些像素的強度值近似為零，即：

其中，Ω(x ,y)是以像素點(x ,y)為中心的一個鄰域，c代表RGB色彩空間，Jdark(x ,y)是清晰圖像J(x ,y)所對應的暗通道圖。利用該先驗，假設大氣光L∞已知，局部區(qū)域Ω(x ,y)內(nèi)的透射率近似一致，則基于大氣散射模型的霧天降質(zhì)圖像的透射率估計過程可以表述為：

其中，ω∈(0,1]是考慮到空間透視現(xiàn)象的存在，為了保持圖像的真實度而引入的調(diào)節(jié)因子。

由暗通道先驗的定義可知，該先驗并不適用于天空區(qū)域。文獻[14]的處理方法是將透射率的全局下限認定設定為一個較小的值（0.1），但這樣處理不僅缺乏物理依據(jù)，且效果并不理想。圖1展示了直接利用暗通道先驗進行去霧處理的效果，可以看出所恢復的天空區(qū)域出現(xiàn)了嚴重的色偏和過增強現(xiàn)象。為了解釋這一現(xiàn)象，將公式（2）進行改寫如下：

從公式（5）中可見，即使t(x,y)=0.1，則天空區(qū)域任一像素點與大氣光的任何差異度都會在去霧處理后被放大10倍，且隨著透射率的下降，差異度的放大效應也將越明顯。這顯著壓縮了天空區(qū)域的色彩空間，且違背了天空區(qū)域顏色較亮且平滑這一特點，因此勢必引入色偏、過增強等負面效應。事實上，不僅暗通道先驗不適用于天空區(qū)域，天空區(qū)域的處理問題一直是長期困擾圖像去霧領域的難題[13，19-22]。

在圖1中選擇兩幅包含天空區(qū)域的有霧圖像（圖1的A和圖2的A），并使用四個當前主流方法進行處理（圖B至圖E分別為He方法[14]、Gu方法[20]、Tarel方法[11]和Meng方法[15]的處理效果）。從圖中可以看出，現(xiàn)有方法所恢復的圖像中的天空區(qū)域均出現(xiàn)了顯著的色偏、過增強現(xiàn)象以及光暈效應。

圖1 包含天空區(qū)域的霧天圖像及現(xiàn)有方法的處理效果

3 基于天空識別和改進暗通道先驗的單幅圖像去霧方法

為克服上述缺陷，本文提出一個結(jié)合天空區(qū)域識別和暗通道先驗的單幅圖像去霧方法。首先，在大量統(tǒng)計分析的基礎上，提出新的天空區(qū)域特征先驗。然后，利用所提先驗知識將霧天降質(zhì)圖像分割為天空與非天空區(qū)域。然后，提出一種具備更好準確率的大氣光估計方法，在天空區(qū)域內(nèi)進行大氣光估計。進而，利用所估計出的大氣光，基于暗通道先驗對非天空區(qū)域的透射率進行粗略估計，并使用導向全變分模型[23-24]對透射率進行優(yōu)化。最后，使用一種鄰域自適應的基于明亮通道先驗的Retinex方法[22-23]，對去霧處理所恢復的清晰圖像進行亮度調(diào)節(jié)。本文所提方法的主要流程如圖2所示。

3.1 天空區(qū)域識別

針對圖像中天空區(qū)域的識別問題，現(xiàn)有文獻展開了大量研究并分別給出了解決方案[19-22]。其中，文獻[19]利用高斯混合模型基于圖像的亮度、飽和度和梯度分量對圖像進行場景分割，并在分割所得的子場景集合中依據(jù)天空區(qū)域的面積占比閾值和天空區(qū)域特征閾值進行二次篩選，從而定位出天空區(qū)域。文獻[20]通過構(gòu)建霧天降質(zhì)圖像的霧氣濃度特征圖，并在此基礎上進行聚類操作將圖像分割為多個互不聯(lián)通的子區(qū)域，然后再依據(jù)各區(qū)域的霧氣濃度、亮度、面積占比等特征進行天空區(qū)域識別。此類方法的天空區(qū)域識別準確率缺乏魯棒性，且算法效率勢必受制于聚類操作。文獻[22]引入邊緣跟蹤方法勾勒出可能的天空區(qū)域，并綜合利用圖像的亮度特征和梯度特征對相關區(qū)域進行篩選，該方法只能識別出面積占比較大的天空區(qū)域，而在處理具有大片灰白色場景物體時存在一定的誤判可能性。

圖2 本文方法的主要流程

利用圖像先驗知識[13-14，20，24-25]對降質(zhì)圖像進行恢復或增強是當前計算機視覺領域的主流思想。提煉圖像先驗知識的基本流程可以總結(jié)為：收集大量相關圖像構(gòu)建實驗樣本；獲取并收集樣本圖像中的特征數(shù)據(jù)；對特征數(shù)據(jù)進行整理分析，并總結(jié)出針對某類圖像的具備鮮明統(tǒng)計規(guī)律的特征。

受上述文獻思想的啟發(fā)，本文利用相似的方法，在互聯(lián)網(wǎng)上隨機選取2 000幅包含天空區(qū)域的霧天降質(zhì)圖像做為實驗樣本，并將每張圖像手動分割為天空區(qū)域和非天空區(qū)域?；谏鲜鰧嶒灅颖荆謩e統(tǒng)計了天空區(qū)域和非天空區(qū)域中各像素的梯度分量、亮度分量與圖像全局亮度均值1.2倍的比值（為方便描述，定義該比值為BR），以及飽和度分量，相關統(tǒng)計結(jié)果的累積概率如圖3所示。

從圖3中可以發(fā)現(xiàn)，圖像中的天空區(qū)域具有如下特征：

（1）非天空區(qū)域像素的梯度分量，只有約10%的概率低于0.005；相反，天空區(qū)域像素的梯度分量則依據(jù)極大概率低于0.005。

（2）非天空區(qū)域像素的BR值，只有約15%的概率大于1；相反，天空區(qū)域像素的BR值則有約80%的概率大于1倍。

（3）非天空區(qū)域像素的飽和度分量，只有約18%的概率低于0.04；相反，天空區(qū)域像素的飽和度分量則有超過75%的概率低于0.04。

依據(jù)上述分析，本文提出天空區(qū)域特征先驗，即：當霧天降質(zhì)圖像中某像素的梯度分量低于0.005，亮度分量高于圖像全局亮度均值的1.2倍，飽和度分量低于0.04時，該像素依據(jù)較大概率屬于天空區(qū)域。進而，依據(jù)所提先驗，提取圖像中各像素的天空特征F(x,y)如下：

進而，利用所構(gòu)建天空特征圖F(x ,y)進行天空區(qū)域判定，即：當某像素的天空特征值F(x ,y)大于全圖的天空特征均值的一定倍數(shù)（默認1.2倍）時，判定該像素屬于天空區(qū)域Isky，否則屬于非天空區(qū)域Inon-sky。

為驗證所提先驗的有效性，選擇一組包含天空區(qū)域的霧天降質(zhì)圖像（見圖4），并利用所提方法進行天空區(qū)域識別（為突出識別結(jié)果，將識別為天空區(qū)域的像素標記為紅色，非天空區(qū)域標記為黑色）。由圖4可以看出，圖像中所有的天空區(qū)域都可以被有效識別，這證明了所提先驗具有較好的有效性。然而，從圖4中也可以發(fā)現(xiàn)，圖像中高亮場景物體中的一些點也被誤判為天空區(qū)域中的點。消除此類干擾，可以進一步提高天空區(qū)域判定的魯棒性。

圖3 實驗樣本圖像各項特征的累積概率曲線圖

為此，考慮到圖像形態(tài)學[26-27]中的開運算消除小物體、在纖細點處分離物體，在平滑較大物體的邊界的同時并不明顯改變其面積。所以，對天空特征圖F(x,y)進行開運算處理如下：

圖5給出了利用Fopen(x ,y)進行天空區(qū)域識別的效果（圖像中紅色的部分為識別出的天空區(qū)域Isky，黑色為非天空區(qū)域Inon-sky），可以看出天空區(qū)域基本被完整識別，且高亮噪聲帶來的誤判效應也被有效消除，這證明了所提方法具備了一定的魯棒性。

3.2 改進的大氣估計方法

圖4 包含天空區(qū)域的霧天降質(zhì)圖像及粗略的天空區(qū)域識別結(jié)果

圖5 對應于圖4中各霧天降質(zhì)圖像優(yōu)化后的天空區(qū)域識別結(jié)果

由大氣散射模型可知，霧天降質(zhì)圖像的恢復效果很大程度上取決于大氣光的估計準確率?，F(xiàn)有的去霧方法中，大氣光的估計方法均存在一定的改進空間[28]，如過程繁瑣而不利于自動化執(zhí)行的人機交互大氣光定位方法[29]；文獻[30]直接利用全圖最亮像素點來估計大氣光，而忽略了全圖最亮像素點極有可能歸屬于高亮噪聲點或者干擾物（如白色物體）；He方法[14]先利用暗通道先驗獲取有霧圖像的暗通道圖，然后定位出暗通道圖中的最亮的0.1%的像素點，最后選擇這些像素中具有最高強度的像素作為大氣光；Zhu方法[13]利用顏色衰減先驗獲取有霧圖像的深度圖，然后定位出深度圖中最亮的0.1%的像素點，并將這些像素中具有最高強度的像素作為大氣光。雖然He方法和Zhu方法已經(jīng)很大程度上提高了大氣光的估計精確性，但是其可靠性仍然嚴重依賴于所用先驗知識的有效性，因而在特定條件下存在一定失效的可能性。為進一步改進大氣光的估計準確率，本文通過考慮大氣光的視覺特征，在識別天空區(qū)域的基礎上估計大氣光，具體流程如下：

（1）考慮到大氣光理應存在于天空區(qū)域中（對于無天空區(qū)域的圖像，則應存在于具有較高天空特征的像素集中），因此選擇已識別出的天空區(qū)域作為大氣光估計的候選場景。

（2）考慮到大氣光理應具備低飽和度的特征[19]，在候選場景中定位出鄰域（15×15）飽和度均值最高的前1%的像素，并將其定義為大氣光參考像素集。

（3）分別計算出中大氣光參考像素集各像素的R、G、B三通道均值，并將相應的均值定義為所估計出的大氣光L∞的三通道像素強度值。

表1給出了對圖4中的各幅有霧圖像進行大氣光估計的結(jié)果。從表1可以看出，簡單認定全圖中具備最高亮度的像素為大氣光顯然并不合理（各幅圖像中天空區(qū)域的整體亮度并不高，而具備最高亮度的像素幾乎都接近純白色）；如果直接認定候選場景中的像素均值為大氣光，仍然可能受到候選場景中高亮噪聲的干擾（估計值仍然過高，而可能導致所恢復的圖像過暗）；大氣光參考像素集中的像素均值，即所提方法估計的大氣光值則較為合理。

為進一步驗證所提方法的有效性，圖6選擇了兩幅挑戰(zhàn)性的有霧圖像（為增加實驗難度已進行一定的亮度調(diào)節(jié)）進行測試，并與現(xiàn)有方法（Shwartz方法[30]、He方法[14]和Zhu方法[13]）進行實驗對比。從圖6可以看出，只有本方法準確定位出了候選大氣光（如紅色曲線所圈出區(qū)域），而對比方法則都定位在了干擾物上（如藍色、紫色和綠色點所示）。

3.3 透射率估計

至此，霧天降質(zhì)圖像中的天空區(qū)域已經(jīng)被識別，且大氣光也已知。在此基礎上，對圖像中的天空區(qū)域予以保留，而利用暗通道先驗對非天空區(qū)域Inon-sky內(nèi)的透射率進行粗略估計。

在獲得粗略的透射圖后，為提高透射圖的邊緣特性，文獻[14]利用軟摳圖或?qū)驗V波器[31]對粗略透射圖進行保邊平滑優(yōu)化。然而，軟摳圖方法計算代價大，處理時間長，而導向濾波器對于濾波窗口的尺寸較為敏感[32-33]。因此，本文采用文獻[23]所提的導向全變分模型對透射圖進行優(yōu)化處理：

其中，trefine是優(yōu)化后的透射圖，公式（9）右部第一項是保真項，第二項可以保證優(yōu)化后的透射圖的局部平滑特性（平滑項），第三項可以保持優(yōu)化后的透射圖的中的重要邊緣特性（邊緣保持項），G是輸入圖像的灰度圖，?1=3，?2=300，?3=4是各項的權(quán)重因子[24]。邊緣保持項權(quán)重調(diào)節(jié)函數(shù)，其主要作用是利用輸入圖像的灰度圖中的梯度信息對像素的邊緣重要性進行評估，并進而利用像素的邊緣重要性來調(diào)節(jié)邊緣保持項的權(quán)重。具體而言，如果輸入圖像所對應的灰度圖中某像素點(x ,y)的梯度分量具有較大的值，則認為該點具備了重要的邊緣特征，因而為該點分配較大的邊緣保持項權(quán)重值?3?W(x ,y)。此外，考慮到平滑項權(quán)重的調(diào)整力度是1-W，因此該函數(shù)還可以依據(jù)像素的邊緣重要性來調(diào)整優(yōu)化處理時的平滑力度。

表1 大氣光估計數(shù)值結(jié)果（三通道數(shù)值分別是R、G、B）

圖6 大氣光估計實驗對比圖

如圖7，給出了圖4中各霧天降質(zhì)圖像的灰度圖（第一排），對應的灰度圖梯度信息的三維數(shù)值顯示圖（第二排），以及對應的邊緣保持項權(quán)重值的三維數(shù)值顯示圖（第三排）。從圖7可以看出，所構(gòu)建的邊緣保持項權(quán)重圖確實能夠準確反映輸入圖像中的邊緣重要性分布，從而在對透射圖進行優(yōu)化處理時保留其中的重要邊緣特征。圖7中還給出了對應于圖4中各霧天降質(zhì)圖像的透射圖，以及消除霧氣后的清晰圖像。從優(yōu)化前后的透射圖（及其對應的三維數(shù)值顯示圖）中可以看出，利用公式（9）對透射圖進行優(yōu)化處理，確實消除了不必要的透射率突變，保留了重要的邊緣信息對透射率的影響，同時有效保持了天空區(qū)域的透射率維持恒定（避免了由去霧處理而引入的過增強效應），從而實現(xiàn)了較好的霧氣消除效果，同時避免了出現(xiàn)過增強、色偏等負面視覺效果。

3.4 圖像恢復與亮度調(diào)節(jié)

依據(jù)公式（5），在分別估計出大氣光L∞和透射圖trefine后，便可獲取霧天降質(zhì)圖像I(x ,y)所對應的清晰圖像J(x ,y)。然而，由于在對圖像進行去霧處理的過程中勢必會消除一定程度的大氣光分量，因此所恢復出的區(qū)域普遍視覺偏暗。此外，考慮到天空區(qū)域的亮度高于非天空區(qū)域，而由于天空區(qū)域未做去霧處理，這將導致恢復后的圖像存在亮度不均現(xiàn)象。為消除此類現(xiàn)象，引入文獻[22]所提出的基于明亮通道先驗的Retinex方法，并對其進行改進，具體過程如下：

（1）依據(jù)Retinex模型[34-35]，將有去霧后圖像J分解為對應的光照圖L及反射圖R。并依據(jù)文獻[23]中對明亮通道圖的定義，對去霧后圖像J、光照圖L和反射圖R分別提取亮度通道圖，可得：

其中，Ω(x ,y)是提取亮度通道圖時的鄰域范圍，該鄰域以像素(x ,y)為中心、以為r的半徑。由明亮通道先驗[25]可知，固定的鄰域半徑在處理較暗的圖像時并不能有效確保明亮通道的有效性。所以，本文舍棄了文獻[24]所使用的固定鄰域范圍思想，而是將其重新調(diào)整為自適應的方式，即：

（3）利用導向濾波器[31]對所估計出的光照圖L進行優(yōu)化處理，消除其中過量的紋理細節(jié)。然后可以基于Retinex模型直接獲得反射圖R如下：

其中，Guided()?是以去霧后圖像J的灰度圖為引導圖的導向濾波操作。在獲取反射圖R后，將其認定為所恢復出的最終圖像。

如圖8，給出了對圖7中各圖像進行亮度調(diào)節(jié)后的效果。從圖8中可以看出，圖像視覺偏暗的問題已經(jīng)被有效克服，全圖亮度均勻且揭示出了原本隱藏在弱光照區(qū)域中的場景物體，圖像具備了更好的視覺效果。

4 實驗結(jié)果與分析

為進一步驗證所提方法的有效性及對比優(yōu)勢，本文重新選取4幅霧天降質(zhì)圖像作為實驗圖像（圖9至圖12，包括3幅含有天空區(qū)域的霧天降質(zhì)圖像，以及1幅弱光照霧天降質(zhì)圖像），與4種主流方法（Ancuti方法[36]、He方法[14]、Meng方法[15]、Tarel方法[11]）分別進行主觀和客觀對比。實驗所用軟件為Matlab2014a，計算機配置為：64位Windows7，Intel Core i5 2.6 GHz，8 GB內(nèi)存。本文算法所用參數(shù)已經(jīng)在文中給出，為公平起見，對比方法的參數(shù)全部依據(jù)相關文獻[11，14-15，36]進行設置。

4.1 主觀比較

圖7 各霧天降質(zhì)圖像的灰度圖、灰度圖梯度信息圖、邊緣保持項權(quán)重圖、透射圖和消除霧氣后的清晰圖像

圖8 對圖7中各圖像進行亮度調(diào)節(jié)時所獲取的明亮通道圖、光照圖及反射圖

圖9 場景物體與天空區(qū)域差異較大的霧天圖像及不同方法的去霧效果比較

圖10 場景物體與天空區(qū)域較為相似的霧天圖像及不同方法的去霧效果比較

圖11 紋理細節(jié)較多的霧天圖像及不同方法的去霧效果比較

圖9 至圖12展示了本文所提方法與4種現(xiàn)有主流方法對4幅霧天降質(zhì)圖像的恢復效果。從圖10至圖12的（b）可以看出，Ancuti方法[36]所處理的天空區(qū)域出現(xiàn)了一定程度的色偏現(xiàn)象，且圖9至圖12的（b）均可發(fā)現(xiàn)一定量的霧氣殘留，特別是圖像中視覺偏暗的區(qū)域。這是因為該方法的有效性嚴重依賴于權(quán)重圖的準確性，而權(quán)重圖在信息匱乏區(qū)（天空區(qū)域或暗區(qū)）均難以有效構(gòu)建。He方法[14]是基于“暗通道先驗”的，因此該方法勢必不能有效處理天空區(qū)域。此外，在圖9（c）和圖11（c）的景深跳變處出現(xiàn)了明顯的“光暈效應”。即使He方法采用了導向濾波器來試圖修正此問題，但由于導向濾波器是參數(shù)敏感的，因此效果并不穩(wěn)定（圖10（c）的修正效果較好而圖9（c）修正效果較差）。Meng方法[15]是對He方法的改進，該方法雖然可以對透射率進行一定程度的修正，但是仍然不能有效處理天空區(qū)域（圖9至圖11的（d））。由圖9至圖12的（e）可見，Tarel方法[11]具備較強的霧氣消除能力，但在景深跳變處存在霧氣殘留，而在對天空區(qū)域進行處理時出現(xiàn)了較為明顯的過增強現(xiàn)象。綜上所述，上述對比方法除了各自具有的缺陷以外，還具有兩個共同的缺陷：（1）上述對比方法都不能穩(wěn)定、有效處理圖像中的天空區(qū)域；（2）上述對比方法處理后的圖像普遍視覺偏暗，因此在處理弱光照圖像（見圖12）時會出現(xiàn)一定比例的暗區(qū)。

圖12 弱光照有霧圖像及不同方法的去霧效果比較

由圖9至圖12的（f）可見，本文所提方法有效避免了各類負面效應，這證明了所提天空區(qū)域特征先驗的有效性和魯棒性，因此可以準確識別出各類霧天降質(zhì)圖像中的天空區(qū)域，而對沒有天空區(qū)域的圖像（見圖12）也不會出現(xiàn)誤判。此外，本文所提方法可以更好地消除圖像中的霧氣，而這一點也可以從客觀對比中得到驗證，這證明了透射率估計的準確性。最后，本文所提方法的恢復效果具備了較好的視覺效果，特別是恢復出了弱光照圖像（見圖12）中陰影區(qū)內(nèi)的大量物體，這證明了亮度調(diào)整流程的必要性和有效性。

4.2 客觀比較

為了客觀評價本文方法并與對比方法進行比較，本文采用了3個經(jīng)典的評價指標，包括新增可見邊比Eˉ、平均對比度增益Rˉ和結(jié)構(gòu)相似度SSIM 。依據(jù)文獻[37]，指標Eˉ用于量化去霧后新增的可見邊的比例，指標Rˉ用于評估方法所獲得的平均對比度增益。指標SSIM是由文獻[38]所提出的，用以評估方法的結(jié)構(gòu)信息保持能力。一般來說，較大的Eˉ值、Rˉ值和SSIM值可以驗證對應方法具有較好的霧氣消除能力、視覺效果提升能力和結(jié)構(gòu)保持能力。具體計算方式如下。

（1）新增可見邊比 Eˉ：

其中，n0表示霧天降質(zhì)圖像I0中的可見邊緣數(shù)量，nr表示去霧處理后圖像Ir中的可見邊緣數(shù)量。

其中，ξr表示去霧處理后圖像Ir中的可見邊緣集合，VL0(x,y)表示ξr集合中各像素在去霧處理前的可視性，VLr(x,y)表示ξr集合中各像素在去霧處理后的可視性。

（3）結(jié)構(gòu)相似度SSIM ：

其中，μI0和μIr分別是霧天降質(zhì)圖像I0和去霧處理后圖像Ir的亮度均值，σI0和σIr分別為對應的標準差，σI0,Ir為其協(xié)方差，C1和C2是為防止分母為零或接近于零而出現(xiàn)不穩(wěn)定現(xiàn)象而取的很小的常數(shù)。

在表2至表4中，給出了各方法對圖9至圖12的去霧效果所對應的指標值。

表2 新增可見邊比Eˉ對比結(jié)果

表3 平均對比度增益Rˉ對比結(jié)果

表4 結(jié)構(gòu)相似度SSIM對比結(jié)果

從表2中可以看出，本方法對三幅圖像取得了最高的Eˉ值，這證明了本文所提方法具有較好的霧氣消除效果，從而恢復出了大量的場景細節(jié)。針對圖9至圖11，雖然其他對比方法也能取得了較高的Eˉ值，但這樣的結(jié)果是由天空區(qū)域產(chǎn)生的過增強現(xiàn)象引起的，因為新增的虛假紋理可以產(chǎn)生大量的新增可見邊。此外，對于弱光照霧天圖像（圖12），只有本文方法提供了可見邊增益，而其他方法則一定程度上消除了可見邊，這是由于去霧操作雖然恢復了一定量的可見邊但也導致了大量暗區(qū)，而負面效應已經(jīng)超越了增益，這也證明了亮度調(diào)整的必要性和有效性。由表3給出的平均對比度增益對比結(jié)果可以看出，本文方法對三幅圖像取得了最高的Rˉ值。雖然Meng方法對于圖10取得了最高的平均對比度增益，但是圖10（d）中卻存在顯著的色偏，因此最高的Rˉ值可能是由色偏現(xiàn)象所引起的。綜合表2和表3的結(jié)果，可以證實本文方法具有較好的霧氣消除效果及視覺效果提升能力。各方法的邊緣保持能力可以從表4中看出，本文方法對圖9至圖11取得了最高的SSIM值，這證明了所提方法具有較好的結(jié)構(gòu)保持能力。本文方法對圖12的結(jié)構(gòu)保持能力相對較弱，而這可能是由于對圖12進行了大幅度的亮度調(diào)節(jié)所引起的，雖然使其與原圖具備了較大的結(jié)構(gòu)差異性，但是也使其具備了較好的視覺效果和充分的信息增益。

5 結(jié)束語

本文提出一個結(jié)合天空區(qū)域特征先驗和暗通道先驗的單幅圖像去霧方法，在消除圖像中霧氣的同時有效避免了在天空區(qū)域中引入色偏、過增強等負面效應的問題，并使用一種鄰域自適應的Retinex方法有效提高了去霧處理后圖像的視覺效果。本文所提出的天空區(qū)域特征先驗知識，可以準確識別多種類型的霧天降質(zhì)圖像中的天空區(qū)域。作為天空區(qū)域識別的副產(chǎn)品，大氣光估計的準確性也得到了一定程度的提高。然而，在處理特定的霧天降質(zhì)圖像時，少數(shù)像素點仍存在誤判可能性。進一步的研究工作，包括如何進一步完善天空區(qū)域特征先驗或引入機器學習的思想，以提高天空區(qū)域識別的準確性。