基于融合策略的單幅圖像去霧算法

郭璠，唐琎，蔡自興

（中南大學(xué) 信息科學(xué)與工程學(xué)院，湖南 長(zhǎng)沙 410083）

1 引言

日常生活中所拍攝的圖像極易受到大氣中塵、霧、煙等懸浮顆粒的影響，從而導(dǎo)致圖像的對(duì)比度下降、顏色等特征也受到衰減。由此產(chǎn)生的降質(zhì)圖像往往缺乏視覺(jué)生動(dòng)感，且場(chǎng)景對(duì)象的能見度較低。進(jìn)行去霧處理的目的就是要復(fù)原霧天場(chǎng)景的細(xì)節(jié)信息，增強(qiáng)圖像的清晰度和真實(shí)感，因而去霧算法在許多領(lǐng)域都具有廣泛應(yīng)用。例如在計(jì)算機(jī)視覺(jué)領(lǐng)域，大多數(shù)的室外監(jiān)控系統(tǒng)、智能車輛以及對(duì)象識(shí)別工作都需要準(zhǔn)確提取圖像特征，但霧、霾等惡劣天氣往往極大地限制和影響了系統(tǒng)效用的發(fā)揮和相關(guān)工作的正常進(jìn)行。對(duì)于日常照片處理而言，霧氣的存在降低了所拍攝圖像的對(duì)比度，從而給拍攝者帶來(lái)了較大的困擾。此外，在航拍和衛(wèi)星遙感領(lǐng)域，所拍圖像的質(zhì)量也極易受到各種懸浮顆粒的危害[1]。因此，如何自動(dòng)、實(shí)時(shí)地消除霧氣對(duì)圖像中場(chǎng)景目標(biāo)的影響具有重要的理論研究意義和實(shí)際應(yīng)用價(jià)值。

許多學(xué)者對(duì)此展開了研究，提出了相關(guān)去霧算法，這些方法主要分為2類：一類是基于圖像處理的圖像增強(qiáng)方法，另一類是基于物理模型（主要是大氣散射模型）的圖像復(fù)原方法。經(jīng)典的霧天圖像增強(qiáng)方法主要包括直方圖均衡化、同態(tài)濾波、小波變換、Retinex算法。而霧天圖像復(fù)原方法則主要是研究霧天圖像退化的物理機(jī)制，建立霧天退化模型、反演退化過(guò)程以獲得未經(jīng)干擾退化的無(wú)霧圖像或無(wú)霧圖像的最優(yōu)估計(jì)值。復(fù)原方法通常是利用不同散射光的偏振特性[2]，交互式景深估計(jì)[3]，或利用多幅不同天氣狀況下的同一場(chǎng)景圖像[4]，這些方法均取得了較好的效果。近年來(lái)，針對(duì)單幅圖像的去霧取得了較大進(jìn)展。這方面的早期工作是由Fattal[5]完成的，隨后又有許多研究者提出了各自的單幅圖像去霧方法[6～8]。如 Tan 利用最大化復(fù)原圖像的局部對(duì)比度來(lái)達(dá)到去霧的目的[6]。He 等人提出的基于暗原色原理的去霧方法[7]建立在暗原色先驗(yàn)知識(shí)上，通過(guò)精細(xì)化摳圖處理以達(dá)到很好的去霧效果。Tarel提出的基于快速中值濾波的去霧方法[8]利用中值濾波的變形形式估計(jì)大氣耗散函數(shù)，在此基礎(chǔ)上結(jié)合大氣散射模型復(fù)原圖像視覺(jué)效果。上述這些工作或是從物理成因，或是從經(jīng)驗(yàn)統(tǒng)計(jì)的角度，利用相關(guān)先驗(yàn)知識(shí)以達(dá)到有效去霧的目的。

本文提出了一種基于融合策略的單幅圖像霧天增強(qiáng)算法，該算法僅依靠單幅有霧圖像即可估算出相關(guān)的輸入圖與權(quán)重圖以進(jìn)行有效的去霧處理，整個(gè)過(guò)程無(wú)需借助任何物理模型。最終去霧效果的好壞主要取決于算法是否選取了合適的輸入圖與權(quán)重圖。所提算法首先將原有霧圖像進(jìn)行白平衡處理以獲取消除了色偏的第一幅輸入圖。第二幅輸入圖則采用對(duì)比度變換方法以提高整幅圖像的對(duì)比度。算法定義的權(quán)重圖通過(guò)確定空域像素間的關(guān)系來(lái)對(duì)相關(guān)圖像的特征進(jìn)行評(píng)估，其中某些像素被賦予較大的權(quán)重值，目的是為了準(zhǔn)確描述所期望的圖像特征。最后，去霧過(guò)程采用多分辨率、多尺度的融合方式以避免給最終的去霧結(jié)果造成光暈偽影。與已有去霧方法相比，所提算法主要具有以下2個(gè)特點(diǎn)。①該算法采用逐個(gè)像素點(diǎn)計(jì)算的方式，這就比已有多數(shù)去霧算法所采用的逐個(gè)圖像塊計(jì)算的方式更為有效。這主要是因?yàn)榛趫D像塊的方法認(rèn)為各個(gè)圖像塊內(nèi)的大氣光值恒定。當(dāng)此假設(shè)不滿足時(shí)，需要進(jìn)行額外的圖像后處理以消除最終去霧結(jié)果中的光暈偽影，恰當(dāng)?shù)闹瘘c(diǎn)計(jì)算方式則不存在這一問(wèn)題。②算法的復(fù)雜度低、處理速度較快，能基本滿足實(shí)時(shí)應(yīng)用的需求。相比于已有的傳統(tǒng)增強(qiáng)方法，本文方法所求取的去霧圖像具有較好的清晰度和色彩自然度，如圖1所示。

圖1 與傳統(tǒng)增強(qiáng)算法的去霧效果對(duì)比

2 基于融合策略的去霧算法

2.1 去霧算法流程

所提算法的主要思想是通過(guò)一種簡(jiǎn)單、快速的方式來(lái)增強(qiáng)各種霧天場(chǎng)景的清晰度。盡管該方法沒(méi)有依據(jù)專門的光學(xué)模型，但是通過(guò)將綜合考慮后選取的輸入圖與權(quán)重圖相融合，此方法能夠有效地克服基于物理模型方法所存在的局限性。具體而言，所提方法主要有3大步驟：首先從白平衡和圖像亮度、對(duì)比度這2個(gè)方面求取原有霧圖像的輸入圖；其次，獲取2幅輸入圖所分別對(duì)應(yīng)的霧氣遮罩權(quán)重圖、顯著性權(quán)重圖和曝光度權(quán)重圖；最后將所求取的2幅輸入圖與其對(duì)應(yīng)的權(quán)重圖進(jìn)行多尺度融合，從而得到最終的去霧圖像。圖2即給出了基于融合策略的去霧算法流程。

2.2 融合策略的輸入圖

當(dāng)應(yīng)用融合策略時(shí)，選取合適的輸入圖和權(quán)重圖是保障最終去霧結(jié)果具有較好的清晰度的關(guān)鍵。圖像融合去霧的核心在于將相關(guān)處理結(jié)果與輸入圖相結(jié)合，以保留圖像最為重要的特征。由此，即可使由融合策略所獲取結(jié)果的每一區(qū)域，都至少在一個(gè)輸入圖中展現(xiàn)出最為理想的效果。在所提去霧算法中，融合過(guò)程所需的2個(gè)輸入圖均來(lái)自原有霧圖像。其中，第一幅輸入圖利用白平衡處理消除了原圖像的色偏，而第二幅輸入圖則是通過(guò)對(duì)原圖像進(jìn)行變換以增強(qiáng)圖像的對(duì)比度。

圖2 基于融合策略的去霧算法流程

對(duì)于白平衡處理輸入圖而言，進(jìn)行白平衡操作的主要目的是通過(guò)消除由大氣光所引起的色彩偏差，以改善圖像的外在觀感。對(duì)于一幅圖像來(lái)說(shuō)，物體被人眼觀測(cè)到的顏色不僅僅是由其反射特性所決定的，還取決于射向物體的光線的顏色。為了去除光源因素對(duì)物體顏色的影響，以獲得物體在某一經(jīng)典光源下的顏色，就需要采用白平衡算法以達(dá)到這一功能。從廣義的角度上講，白平衡算法的目的就是將在未知光源下拍攝的物體顏色，轉(zhuǎn)換成在經(jīng)典光源下的物體色彩，從而達(dá)到色彩的一致性。本文方法采用了文獻(xiàn)[8]所提出的白平衡處理方法。對(duì)于霧氣分布均勻的圖像，采用全局白平衡方法。具體做法為首先求取圖像各像素在R、G、B三顏色通道中的最小值，再求取上述最小值序列的0.99分位數(shù)，據(jù)此得到此最小值序列中大于該分位數(shù)的相關(guān)像素的橫、縱坐標(biāo)位置，再按此坐標(biāo)得到三顏色通道中相關(guān)位置的像素值。然后對(duì)這三列所選像素值分別按列求取其均值，并對(duì)其進(jìn)行規(guī)一化。最后將原圖像三顏色通道各像素值分別除以此規(guī)一化后的像素均值，從而得到全局白平衡處理后的圖像。例如對(duì)于圖3(a)所示的有霧圖像，其全局白平衡處理結(jié)果如圖3(b)所示。而對(duì)于霧氣、光照分布不均的圖像，則采用局部白平衡方法。該方法通過(guò)中值濾波、參數(shù)調(diào)節(jié)、三通道均值計(jì)算等方式獲取消除色偏后的白平衡結(jié)果。例如對(duì)于圖3(c)所示的有霧圖像，其局部白平衡處理結(jié)果如圖3(d)所示。在實(shí)際計(jì)算中，僅僅依靠白平衡獲取原圖像的輸入圖僅能在一定程度上解決圖像的色偏問(wèn)題，因此還需要利用另一輸入圖來(lái)提高原圖像在有霧區(qū)域的對(duì)比度。

圖3 原有霧圖像及其白平衡處理結(jié)果

對(duì)比度變換輸入圖是由對(duì)源圖像進(jìn)行對(duì)比度拉伸操作得到的圖像，該操作可增強(qiáng)圖像有霧區(qū)域的對(duì)比度。所提算法主要采用自適應(yīng)對(duì)比度拉伸方法來(lái)自動(dòng)增強(qiáng)圖像對(duì)比。在實(shí)際計(jì)算中，為調(diào)整圖像各像素值，c∈{r,g,b}，按照如下方式對(duì)其進(jìn)行處理

其中，a和b為像素值的下限和上限。實(shí)際運(yùn)算中a 和 b的值分別為0和 255。而對(duì)于 Tlow和 Thigh,這2個(gè)閾值的選取，則是根據(jù)積累分布直方圖采用自適應(yīng)的方法進(jìn)行計(jì)算，其過(guò)程如式(2)所示。

其中，C(Im)為原有霧圖像的積累直方圖。閾值 Th通過(guò)確定Tlow和Thigh以調(diào)整最終圖像的像素值。對(duì)于本文中的所有實(shí)驗(yàn)結(jié)果該值均設(shè)為0.02。對(duì)于彩色圖像而言，為了保持正確的顏色比例，在進(jìn)行對(duì)比度拉伸時(shí) 3個(gè)顏色通道上采用了相同的 Tlow和Thigh值。圖4(b)和圖4(d)分別為對(duì)原有霧圖像圖4(a)和圖4(c)進(jìn)行自適應(yīng)對(duì)比度拉伸處理后得到的輸入圖結(jié)果。從圖中可以看出，將自適應(yīng)對(duì)比度拉伸應(yīng)用于圖像去霧，與直方圖均衡化等傳統(tǒng)的圖像增強(qiáng)方法類似，盡管可以改善最終結(jié)果的整體對(duì)比度，但卻無(wú)法消除圖中遠(yuǎn)處較濃的霧氣。因此，還需要在融合過(guò)程中采用下述權(quán)重圖以增強(qiáng)圖像霧氣較濃區(qū)域的細(xì)節(jié)信息。

圖4 原有霧圖像及其對(duì)比度變換結(jié)果

2.3 融合策略的權(quán)重圖

權(quán)重圖的選取主要取決于復(fù)原處理最終所想達(dá)到的理想效果。由于霧天圖像所體現(xiàn)的霧氣濃度、顯著性及曝光度是其最為本質(zhì)的特征。對(duì)于一幅增強(qiáng)效果較好的去霧圖像而言，其必然應(yīng)受到盡可能少的霧氣影響，同時(shí)人眼所關(guān)心區(qū)域的顯著性得到了突顯，且圖像的整體曝光度也較為適度。因此，上述3個(gè)方面能夠較好地涵蓋圖像的本質(zhì)特征。

首先，對(duì)于霧氣遮罩權(quán)重圖(WF)而言，該權(quán)重圖通過(guò)采用 Retinex算法在輸入圖的 R、G、B三顏色通道上進(jìn)行相關(guān)操作來(lái)衡量圖像場(chǎng)景的霧氣濃度。從人眼視覺(jué)感知的角度來(lái)說(shuō)，霧氣濃度是霧天圖像最為顯著的特性，求取霧氣遮罩權(quán)重圖的目的就是要在最終處理結(jié)果中消除霧氣的影響。具體做法是：定義F(x,y)為標(biāo)準(zhǔn)差為σ的高斯低通平滑函數(shù)，首先將輸入圖與此平滑函數(shù)進(jìn)行卷積運(yùn)算以獲得原圖像的亮度分量圖像，這一過(guò)程可表示為

其中，K為歸一化常數(shù)，σ為標(biāo)準(zhǔn)差，其大小決定了平滑的程度。假設(shè)平滑函數(shù)采用w×w的窗口，則K的取值應(yīng)滿足使函數(shù)F(x,y)的和為1的約束條件。然后通過(guò)計(jì)算此亮度圖像的均值，即可獲得反映霧氣濃度的霧氣遮罩。這樣計(jì)算出來(lái)的遮罩，在場(chǎng)景霧氣分布較為均勻時(shí)，可以作為對(duì)霧氣濃度的合理估計(jì)[9]，例如圖 5(b)即為霧氣分布較為均勻的原有霧圖像圖5(a)的霧氣遮罩圖。但是，在實(shí)驗(yàn)中也發(fā)現(xiàn)對(duì)于許多霧氣分布不均的圖像，若仍采用此種方式就會(huì)得到錯(cuò)誤的霧氣遮罩估計(jì)結(jié)果，例如圖5(d)即為霧氣分布不均的原有霧圖像圖5(c)的霧氣遮罩。由此可見，此種情況下的霧氣遮罩還應(yīng)與圖像的景深相關(guān)。為了體現(xiàn)當(dāng)前場(chǎng)景的深度信息，將該均勻遮罩與相關(guān)輸入圖Ik相乘，再進(jìn)行適當(dāng)?shù)男拚?，以結(jié)合輸入圖 Ik來(lái)求取反映當(dāng)前各景深霧氣濃度的遮罩圖，該過(guò)程可描述為

圖5 原有霧圖像及其對(duì)應(yīng)的霧氣遮罩圖

由于圖像的亮度反映了圖像不同景深處所接收到的光子量。若場(chǎng)景點(diǎn)與拍攝點(diǎn)越遠(yuǎn)，則傳感器所能接收到的光子量越少，從而導(dǎo)致圖像遠(yuǎn)端的霧氣越濃，亮度越暗。因此霧氣遮罩權(quán)重圖所反映的霧氣濃度信息可通過(guò)圖像的亮度信息來(lái)衡量。由此提取L′(x,y)的亮度分量作為最終的霧氣遮罩權(quán)重圖。對(duì)于一幅霧天圖像而言，其霧氣遮罩圖中較小的像素值，一般對(duì)應(yīng)圖像遠(yuǎn)端相對(duì)較濃的霧氣。因此在后續(xù)融合處理中，通過(guò)相關(guān)圖像的乘積運(yùn)算，即可達(dá)到消除霧氣影響的目的。

其次，對(duì)于顯著性權(quán)重圖(WS)來(lái)說(shuō)，該權(quán)重圖主要用于突顯在霧天場(chǎng)景中失去原本顯著性的可識(shí)別對(duì)象。同時(shí)，顯著性權(quán)重圖也體現(xiàn)了人眼所關(guān)注區(qū)域與其臨近區(qū)域的顯著區(qū)分度。為了衡量輸入圖的顯著性，本文采用了Achanta所提出的顯著性區(qū)域檢測(cè)算法[10]。該算法基于圖像空間頻域的分析，通過(guò)疊加多個(gè)基于高斯函數(shù)的帶通濾波器得到。在此算法中，圖像的顯著值定義為S(x,y)=d(Iu-Iω)。其中Iu為圖像的特征均值，Iω為高斯卷積后的圖像，d為歐氏距離平方。這里采用該算法不僅因?yàn)槠溆?jì)算效率高，還因?yàn)槠渌傻娘@著性權(quán)重圖具有較好的邊緣保持特性。由于顯著性權(quán)重圖提高了圖像高光及陰影部分的對(duì)比度，因此該權(quán)重圖的主要作用是增強(qiáng)了相關(guān)輸入圖的整體對(duì)比度。

對(duì)于曝光度權(quán)重圖(WE)，此權(quán)重圖主要用于評(píng)估圖像各像素的曝光是否適度，同時(shí)為保持圖像局部對(duì)比度的自然觀感提供了評(píng)估度量。一般而言，當(dāng)像素的規(guī)范化權(quán)值接近于0.5時(shí)，此像素將會(huì)在結(jié)果中顯示出較高的曝光度。曝光度權(quán)重的求取公式可表示如下

其中，Ik(x,y)為輸入圖像 Ik在各像素點(diǎn)(x,y)處的亮度值。標(biāo)準(zhǔn)差σ被設(shè)定為0.25。曝光度權(quán)重圖將較高的權(quán)重值賦給高斯模型距離接近于0的像素區(qū)域，而那些距離相對(duì)較大的像素區(qū)域，則視為過(guò)曝光或欠曝光區(qū)域。由此，即可通過(guò)此權(quán)重圖調(diào)整上述顯著性權(quán)重圖的處理結(jié)果，進(jìn)而生成具有較好復(fù)原效果的融合圖像。同時(shí)，為了生成一致的處理結(jié)果，限定各權(quán)重圖W在各像素點(diǎn)處的權(quán)值和為1，由此定義了規(guī)范化的權(quán)重值。一般地，對(duì)于輸入k來(lái)說(shuō)，其規(guī)范化權(quán)重圖為。圖6即給出了相關(guān)輸入圖的3個(gè)權(quán)重圖示例，注意到權(quán)重圖中較大的像素值表明該像素將會(huì)在最終的去霧圖像中優(yōu)先突顯。圖像復(fù)原效果還與圖像的色彩緊密相關(guān)，若只將上述這3個(gè)衡量因素以權(quán)重圖的形式進(jìn)行簡(jiǎn)單地混合，有可能會(huì)導(dǎo)致最終結(jié)果顏色失真。因此，需要將輸入圖與權(quán)重圖進(jìn)行多尺度融合以獲得色彩較為自然的去霧結(jié)果。

圖6 由原有霧圖像所得到的輸入圖及其相對(duì)應(yīng)的權(quán)重圖

2.4 多尺度融合

將圖像每一像素點(diǎn)(x,y)處所定義的輸入圖與權(quán)重圖相融合即可得到最終的霧天增強(qiáng)圖像R(x,y)，該過(guò)程可表示為[11]

其中，Ik代表輸入圖，為其所對(duì)應(yīng)的 3個(gè)規(guī)范化的權(quán)重圖。其中k為輸入圖的編號(hào)(k=1,2)，K為輸入圖的數(shù)量，在所提算法中K=2。從圖 6中可以看出，由原有霧圖像所求取的2幅輸入圖可分別獲得霧氣遮罩權(quán)重圖、顯著性權(quán)重圖和曝光度權(quán)重圖這三組圖像。若將每組中分別對(duì)應(yīng) 2幅輸入圖的 2幅權(quán)重圖進(jìn)行規(guī)范化操作，使這2幅權(quán)重圖中每一像素點(diǎn)(x,y)的像素值均滿足這一條件，即可得到規(guī)范化權(quán)重圖。但是若直接采用式(7)對(duì)相關(guān)輸入圖和權(quán)重圖進(jìn)行融合處理，將有可能會(huì)在權(quán)重圖間的尖銳變換處給最終的處理結(jié)果帶來(lái)光暈偽影問(wèn)題。為了避免這一問(wèn)題，采用經(jīng)典的多尺度金字塔精細(xì)化策略[11]來(lái)進(jìn)行融合操作，以達(dá)到去霧過(guò)程不引入光暈偽影的目的。

所提算法采用拉普拉斯金字塔將輸入圖分解為不同尺度的圖像。對(duì)于規(guī)范化權(quán)重圖，則采用高斯金字塔對(duì)其進(jìn)行計(jì)算。考慮到高斯金字塔和拉普拉斯金字塔具有相同數(shù)目的分解級(jí)數(shù)，因此，拉普拉斯輸入圖與高斯規(guī)范化權(quán)重圖的混合在每個(gè)級(jí)數(shù)上獨(dú)立展開，以生成最終的融合金字塔。此融合處理過(guò)程如下式所示

其中，l為金字塔的等級(jí)數(shù)目，實(shí)驗(yàn)中此級(jí)數(shù)l均設(shè)置為3。k為輸入圖像的編號(hào)。L{I}表示對(duì)相關(guān)輸入圖I進(jìn)行拉普拉斯金字塔操作，而表示對(duì)規(guī)范化權(quán)重圖進(jìn)行高斯金字塔操作。兩金字塔操作均是采用由底至上的方式，在金字塔的每一級(jí)分別按(8)式進(jìn)行計(jì)算。由此，即可分別得到針對(duì)2輸入圖的融合結(jié)果，如圖7(b)和圖7(c)所示。最后，將上述2幅融合圖像的每一像素進(jìn)行點(diǎn)乘操作以獲得最終的去霧復(fù)原圖像 Rl，即 Rl(x,y)=。圖7(d)即為采用所提融合方法對(duì)原有霧圖像圖 7(a)的最終增強(qiáng)效果。從圖中可以看出，相比于對(duì)比度變換輸入圖（如圖6(a)所示），圖7(d)不僅清晰化效果更為明顯，且顏色也更為自然。由于去霧本質(zhì)上就是對(duì)比度增強(qiáng)，只是由于霧的濃度與景深成正比，因此有別于一般的對(duì)比度增強(qiáng)，需要估計(jì)出每個(gè)點(diǎn)的景深以便確定增強(qiáng)系數(shù)。所提融合策略即借助權(quán)重圖將原圖像的景深信息與對(duì)比度變換相結(jié)合，因此能取得比單純采用均衡化等傳統(tǒng)增強(qiáng)方法更好的去霧效果。

圖7 多尺度融合策略

3 實(shí)驗(yàn)結(jié)果與性能分析

3.1 對(duì)比分析

為了驗(yàn)證算法的有效性和實(shí)用性，采用MATLAB在Pentium(R)D，3.00 GHz，2 GB內(nèi)存的PC機(jī)上對(duì)大量霧天圖像進(jìn)行了對(duì)比性實(shí)驗(yàn)。

實(shí)驗(yàn)選取了直方圖均衡方法、Tan提出的基于局部對(duì)比度最大化的去霧方法[6]、He提出的基于暗原色原理的去霧方法[7]以及 Tarel提出的快速去霧方法[8]與所提方法進(jìn)行對(duì)比。選取上述這些方法的原因是均衡化算法是圖像增強(qiáng)方法的典型代表，而Tan方法、He方法和Tarel方法則是目前去霧效果較好的基于光學(xué)模型的代表性算法。

圖8即給出了直方圖均衡化方法與本文算法對(duì)薄霧圖像的去霧效果對(duì)比。從該圖中可以看出本文方法的清晰化效果更為突出，去霧后的顏色也更為自然。圖 9為本文算法與Tan方法[6]的去霧效果對(duì)比。Tan方法的去霧結(jié)果在顏色上往往過(guò)于飽和，例如圖9中Tan方法結(jié)果就給人整體顏色偏黃的感覺(jué)，且去霧結(jié)果存在光暈偽影問(wèn)題。圖10為本文算法與He方法的去霧效果對(duì)比。從該圖中可以看出，He方法由于場(chǎng)景對(duì)象（如路面）的顏色與大氣光近似，致使暗原色原理失效，進(jìn)而導(dǎo)致大氣散射模型中的傳播圖估算錯(cuò)誤。因此對(duì)于該圖，He方法的去霧效果，尤其是對(duì)天空區(qū)域的處理并不理想。相比之下，本文方法的去霧結(jié)果自然、視覺(jué)效果改善明顯。圖11給出了本文算法與Tarel方法[8]的去霧效果對(duì)比。由圖可知，針對(duì)此霧天圖像，Tarel方法處理結(jié)果的細(xì)節(jié)增強(qiáng)效果顯著，但在顏色上有所失真且常常伴有光暈偽影現(xiàn)象。處理結(jié)果則不存在這些問(wèn)題。圖12和圖 13為本文算法與上述各去霧方法對(duì)霧天圖像的去霧效果對(duì)比。實(shí)驗(yàn)結(jié)果表明，均衡化方法在增強(qiáng)圖像細(xì)節(jié)的同時(shí)也突顯了圖像的噪聲。基于光學(xué)模型方法中的Tan方法，其去霧結(jié)果往往存在嚴(yán)重的顏色失真。He方法在處理場(chǎng)景對(duì)象顏色與大氣光類似的情況時(shí)效果較差。Tarel方法在大霧情況下的去霧效果不太明顯且往往會(huì)出現(xiàn)光暈偽影現(xiàn)象。對(duì)于如圖12和圖13所示的場(chǎng)景對(duì)象與大氣光顏色類似或存在大片天空區(qū)域的霧天圖像，本文算法的整體視覺(jué)效果與Tan方法較為接近。而對(duì)于其他類型的霧天圖像（如圖8和圖 9所示），本文方法的處理效果則與He方法較為接近。同時(shí)，實(shí)驗(yàn)表明本文方法不受暗原色原理成立條件的限制，在色彩自然度、細(xì)節(jié)還原、噪聲抑制等方面也都要優(yōu)于均衡化方法，且無(wú)Tan方法和Tarel方法的光暈偽影現(xiàn)象出現(xiàn)。

圖8 與直方圖均衡化方法的對(duì)比

圖9 與Tan方法的對(duì)比

圖10 與He方法的對(duì)比

圖11 與Tarel方法的對(duì)比

圖12 與各去霧方法的結(jié)果對(duì)比1

圖13 與各去霧方法的結(jié)果對(duì)比2

由此可見，相比于均衡化方法和基于光學(xué)模型的去霧方法，所提融合方法的清晰化效果較為明顯，能夠得到對(duì)比度、色彩和細(xì)節(jié)信息均適度增強(qiáng)的處理結(jié)果。究其原因，主要是因?yàn)榻?jīng)典的均衡化方法在增強(qiáng)過(guò)程中放大了圖像原有的噪聲，而所提方法則通過(guò)融合過(guò)程中的相關(guān)權(quán)重圖在突顯圖像細(xì)節(jié)的同時(shí)很好地抑制了圖像噪聲。

綜合分析，本文方法優(yōu)于基于光學(xué)模型的去霧方法的原因在于，基于光學(xué)模型（主要是大氣散射模型）的方法存在以下幾個(gè)問(wèn)題：1）建立在圖像塊處理的基礎(chǔ)上，假定各個(gè)圖像塊內(nèi)的大氣光值恒定。當(dāng)此假設(shè)不滿足時(shí)，會(huì)造成最終去霧結(jié)果出現(xiàn)光暈偽影現(xiàn)象，如Tan方法、Tarel方法作為基于光學(xué)模型的去霧方法均存在此問(wèn)題；2）當(dāng)圖像場(chǎng)景對(duì)象與大氣光顏色相似時(shí)，將會(huì)導(dǎo)致暗原色原理失效，如He方法即在此種情況下無(wú)法獲得理想的去霧效果；3）大氣散射模型的前提是假設(shè)光線從場(chǎng)景點(diǎn)到接收點(diǎn)的傳播過(guò)程中只發(fā)生單散射現(xiàn)象，所以對(duì)于發(fā)生多散射的霧天圖像該物理模型將會(huì)失效。而所提方法則不考慮圖像降質(zhì)的物理成因，通過(guò)對(duì)圖像各像素點(diǎn)亮度值的適當(dāng)調(diào)節(jié)實(shí)現(xiàn)對(duì)圖像的有效去霧。

該方法的具體步驟如下。1）初步優(yōu)化。對(duì)原有霧圖像分別進(jìn)行白平衡處理和對(duì)比度變換，得到2幅初步優(yōu)化處理圖像。2）權(quán)重求取。分別求取2幅初步優(yōu)化圖像的霧氣覆蓋程度、顯著度、曝光度權(quán)重，通過(guò)調(diào)節(jié)圖像各像素點(diǎn)在以上3個(gè)方面的權(quán)重，改善圖像霧氣濃度、顯著度、曝光度。其中霧氣權(quán)重越小越好，但為圖像遠(yuǎn)處場(chǎng)景對(duì)象保留一定程度的霧氣將會(huì)使去霧結(jié)果看起來(lái)更為自然且有利于人眼對(duì)深度信息的感知。顯著性權(quán)重圖可加大原圖中顯著區(qū)域的權(quán)重，使這些區(qū)域在去霧結(jié)果中更為突顯。利用曝光度權(quán)重圖可使原圖中欠曝光的區(qū)域的曝光度得到增強(qiáng)，使原圖中曝光過(guò)度的區(qū)域曝光減弱。3）融合處理。將初步優(yōu)化圖像分別乘以霧氣濃度、顯著度及曝光度權(quán)重，對(duì)結(jié)果進(jìn)行融合，以最大限度的提取各自計(jì)算結(jié)果中的有利信息，從而通過(guò)對(duì)多幅圖像的互補(bǔ)信息的處理來(lái)獲得更豐富的細(xì)節(jié)及更全面的信息，最后綜合生成高質(zhì)量的去霧圖像。

3.2 定量評(píng)估

目前，國(guó)內(nèi)外研究者在圖像去霧算法方面開展了大量的研究工作，但對(duì)于去霧效果的客觀評(píng)價(jià)則關(guān)注較少。在為數(shù)不多的去霧效果評(píng)價(jià)方法中，應(yīng)用最廣的是由法國(guó)學(xué)者 Hautiere 所提出的基于可見邊的對(duì)比度增強(qiáng)評(píng)估方法[12]。但是該方法僅僅從圖像對(duì)比度的角度來(lái)評(píng)估去霧效果，而未從人類視覺(jué)感知的角度考慮影響效果評(píng)價(jià)的其他因素。由于霧氣濃度是去霧效果評(píng)價(jià)最為顯著的特性，因此，我們利用He方法所提出的暗原色通道[10]結(jié)合前述霧氣遮罩計(jì)算提出了一個(gè)霧氣濃度衡量指標(biāo)。此圖像霧氣濃度評(píng)價(jià)指標(biāo)定義如下

其中，對(duì)于原有霧圖像I及其去霧后的圖像R，p為圖像各像素點(diǎn)的坐標(biāo) p=(x,y)，dc為采用 He方法計(jì)算得到的暗原色圖像，v為采用本文霧氣遮罩權(quán)重圖計(jì)算方法所得到的均勻分布的霧氣遮罩，H和D分別代表圖像的高和寬。按照式（9）計(jì)算得到的每一像素點(diǎn)的暗原色圖與霧氣遮罩圖乘積的數(shù)值累積和即可代表該場(chǎng)景的霧氣濃度。圖 14即為一個(gè)暗原色圖像及霧氣遮罩的求取結(jié)果示例。從圖中可以看出，算法的復(fù)原效果越好，其所對(duì)應(yīng)的去霧圖像的暗原色圖像 dc和霧氣遮罩v的值與原有霧圖像的dc、v值的差值越大。因此，評(píng)價(jià)指標(biāo)值f越大，說(shuō)明算法的去霧效果也越好。表1即為采用此評(píng)價(jià)指標(biāo)對(duì)圖8至圖13的定量評(píng)估結(jié)果。從表1中可以看出，總體而言本文方法的f值統(tǒng)計(jì)結(jié)果最大，個(gè)別去霧結(jié)果與He方法的結(jié)果類似，說(shuō)明所提方法具有相對(duì)較好的去霧效果。這一結(jié)論與圖 8至圖13的視覺(jué)效果是一致的，從而驗(yàn)證了所提評(píng)價(jià)指標(biāo)的正確性。

此外，本文還采用上述提出的評(píng)價(jià)指標(biāo)對(duì) 250張來(lái)自網(wǎng)絡(luò)數(shù)據(jù)庫(kù)以及Canon S80實(shí)際拍攝的不同場(chǎng)景、不同霧化程度的霧天測(cè)試樣本進(jìn)行了去霧效果評(píng)價(jià)測(cè)試。圖 15即給出了對(duì)這 250幅圖像的 f值統(tǒng)計(jì)結(jié)果。

圖14 不同霧氣濃度下合成圖像的暗原色通道及均勻分布的霧氣遮罩

圖15 對(duì)測(cè)試圖像的指標(biāo)統(tǒng)計(jì)結(jié)果

如圖15所示，橫軸表示評(píng)價(jià)指標(biāo)值，縱軸為圖像編號(hào)，從圖中可以看出，本文方法與He方法的f值在各去霧算法中相對(duì)較大。由于f值越大對(duì)應(yīng)的去霧效果越好，由此可以驗(yàn)證本文所提方法的有效性，這與表1的f值評(píng)估結(jié)果及人眼對(duì)這250幅測(cè)試圖像的視覺(jué)感知結(jié)論是相符的。

表1 采用基于霧氣的評(píng)價(jià)指標(biāo)對(duì)各去霧算法的統(tǒng)計(jì)結(jié)果

3.3 算法復(fù)雜度

對(duì)于一幅大小為sx×sy的圖像，所提基于融合策略的去霧方法的算法復(fù)雜度為O(sxsy)，即該算法的復(fù)雜度為輸入圖像總像素?cái)?shù)目的一個(gè)線性函數(shù)。經(jīng)典的均衡化方法的時(shí)間復(fù)雜度為O(L)，其中L為輸入圖像的灰度級(jí)總數(shù)。Tan方法由于需要采用圖切算法和置信度傳播算法來(lái)優(yōu)化所構(gòu)建的基于馬爾科夫模型框架的代價(jià)函數(shù)，因此該方法的復(fù)雜度要遠(yuǎn)遠(yuǎn)高于所提方法。He方法借助Alpha摳圖技術(shù)實(shí)現(xiàn)對(duì)大氣散射模型中傳播圖的精細(xì)化處理，但是該摳圖過(guò)程所構(gòu)建的拉普拉斯矩陣的規(guī)模較大。例如對(duì)于大小為sx×sy的圖像，此拉普拉斯矩陣的大小為sxsy×sxsy，從而導(dǎo)致算法具有較高的時(shí)空復(fù)雜度。Tarel方法是基于光學(xué)模型的去霧算法中處理速度較快的算法之一，由文獻(xiàn)[8]可知其算法復(fù)雜度為，其中sv為該算法所設(shè)置的濾波窗口大小。

此外，算法的運(yùn)算時(shí)間也是衡量算法復(fù)雜度的一個(gè)重要指標(biāo)。對(duì)于一幅大小為600×400的圖像，均衡化方法的處理速度最快，只需0.05 s。Tarel方法次之，需要9 s。He方法和Tan方法所需處理時(shí)間相對(duì)較長(zhǎng)，分別需要20 s和5～7 min。相比之下，本文方法具有相對(duì)較快的運(yùn)算速度，處理同樣大小的圖像僅需2 s左右。圖16即給出了上述5種去霧方法對(duì)于不同分辨率大小的圖像的運(yùn)算速度，其中所選取圖像的大小分別為128×96,256×192,512×384和1024×768。

圖16 各算法運(yùn)算時(shí)間對(duì)比

4 結(jié)束語(yǔ)

圖像去霧是計(jì)算機(jī)視覺(jué)領(lǐng)域的重要問(wèn)題，本文提出了一種基于融合策略的算法以解決單幅圖像的去霧問(wèn)題。利用該融合策略，通過(guò)選取合適的輸入圖與權(quán)重圖，可以達(dá)到有效去霧的目的。相比于已有基于光學(xué)模型的去霧算法，本文方法可以較好地處理暗原色原理失效的情況，且去霧結(jié)果不存在光暈偽影問(wèn)題，同時(shí)運(yùn)算速度相對(duì)較快。但本文的算法也存在不足，算法由于假定圖像中存在天空區(qū)域而采用了白平衡處理，當(dāng)這一假定條件不成立時(shí)，去霧結(jié)果在顏色上有可能會(huì)過(guò)于飽和。盡管如此，所提方法仍不失為解決單幅圖像去霧問(wèn)題的一種新的思路和處理途徑。同時(shí)，相信本文所提出的解決去霧問(wèn)題的融合思想將會(huì)有助于解決計(jì)算機(jī)視覺(jué)領(lǐng)域的其他問(wèn)題。

[1]ZHANG J W,LI L,YANG G Q,et al. Local albedo-intensitive single image dehazing[J]. The Visual Computer,2010,26(6):1-8.

[2]SHWARTZ S,NAMER E,SCHECHNER Y. Blind haze separation[A].Proceedings of CVPR[C]. New York,United States,2006. 1984-1991.

[3]HU W,YUAN G D,DONG Z,et al. Improved single image dehazing using dark channel prior[J]. Journal of Computer Research and Development,2010,47(12): 2132-2140.

[4]SCHECHNER Y Y,NARASIMHAN S G,NAYAR S K. Instant dehazing of images using polarization[A]. Proceedings of CVPR[C].Los Alamitos,USA,2001. 1325-1332.

[5]FATTAL R. Single image dehazing[J]. ACM Transactions on Graphics,2008,27(3): 72-79.

[6]TAN R T. Visibility in bad weather from a single image[A]. Proceedings of CVPR[C]. Piscataway,USA,2008. 1-8.

[7]HE K M,SUN J,TANG X O. Single image haze removal using dark channel prior[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2011,33(12): 2341-2353.

[8]TAREL J P,HAUTIERE N. Fast visibility restoration from a single color or gray level image[A]. Proceedings of ICCV[C]. Kyoto,Japan,2009. 2201-2208.

[9]XU D B,XIAO C B. Color-preserving defog method for foggy or haze scenes[A]. Proceedings of VISAPP[C]. Lisboa,Portugal,2009. 69-73.

[10]ACHANTA R,HEMAMI S,ESTRADA F,et al. Frequency-tuned salient region detection[A]. Proceedings of CVPR[C]. Piscataway,USA ,2009. 1597-1604.

[11]BURT P,ADELSON T. The laplacian pyramid as a compact image code[J]. IEEE Transactions on Communication,1983,31(4):532-540.

[12]HAUTIERE N,TAREL J P,AUBERT D,et al. Blind contrast enhancement assessment by gradient ratioing at visible edges[J]. Image Analysis & Stereology Journal,2006,27(2): 87-95.