自適應(yīng)高斯融合雙通道的去霧算法

楊 燕 李 翔 張?chǎng)┎?王志偉

（1.蘭州交通大學(xué)電子與信息工程學(xué)院，甘肅蘭州 730070；2.國(guó)網(wǎng)蘭州供電公司，甘肅蘭州 730070）

1 引言

在戶外視覺系統(tǒng)中，由于霧、霾等介質(zhì)對(duì)光的吸收和散射，導(dǎo)致霧霾天氣下捕捉到的圖像出現(xiàn)對(duì)比度下降、顏色失真等問題，目標(biāo)的可辨識(shí)度大大降低。因此，對(duì)在霧天條件下退化圖像進(jìn)行清晰化處理具有重要的研究意義。

目前，圖像去霧算法主要分為圖像增強(qiáng)、圖像復(fù)原和深度學(xué)習(xí)3類。圖像增強(qiáng)方法主要提高了圖像對(duì)比度，視覺上改善了圖像質(zhì)量，但并未考慮圖像退化原理，使得恢復(fù)的圖像出現(xiàn)顏色偏移，代表性的算法有小波變換［1］和Retinex算法［2］等。

圖像復(fù)原方法從圖像的退化機(jī)制出發(fā)，利用霧天退化模型來(lái)反映有霧圖像的退化過程，即用先驗(yàn)知識(shí)得到無(wú)霧圖像中參數(shù)的最優(yōu)估計(jì)值。Tan 等人［3］發(fā)現(xiàn)相比有霧圖像，無(wú)霧圖像的對(duì)比度更高，從而最大化局部對(duì)比度來(lái)恢復(fù)無(wú)霧圖像，但缺點(diǎn)是當(dāng)輸入圖像的霧濃度較高時(shí)，恢復(fù)圖像容易過飽和。He 等人［4］通過觀察發(fā)現(xiàn)有霧圖像的非天空區(qū)域至少有一個(gè)顏色通道的強(qiáng)度值非常低，由此提出了暗通道先驗(yàn)，并用Levin等人［5］提出的軟摳圖算法對(duì)透射圖進(jìn)行濾波，該算法取得了較好的去霧效果，但不適用于有大面積天空區(qū)域和高亮物體的圖像。Wang 等人［6］建立線性傳輸模型來(lái)表示有霧圖像和清晰圖像之間的線性關(guān)系，從而恢復(fù)清晰圖像，該算法對(duì)存在高亮區(qū)域的圖像復(fù)原效果較好，顏色自然，且不會(huì)產(chǎn)生光暈效應(yīng)，但是在白云和天空區(qū)域會(huì)產(chǎn)生塊效應(yīng)。Sun 等人［7］為了避免全局大氣光估計(jì)錯(cuò)誤導(dǎo)致的偏暗和過飽和問題，提出了局部大氣光算法，該方法去霧徹底，去除了光暈效應(yīng)，但部分圖像會(huì)產(chǎn)生偏色現(xiàn)象。Xu 等人［8］提出了一種結(jié)合暗通道和亮通道先驗(yàn)的去霧算法，該算法提出有霧圖像的局部區(qū)域至少有一個(gè)顏色通道的灰度值非常高，將該值取為大氣光值，當(dāng)圖像中出現(xiàn)大量白色物體時(shí)也能較好地估計(jì)出大氣光，但是恢復(fù)的無(wú)霧圖像會(huì)出現(xiàn)光暈效應(yīng)。Suresh 等人［9］提出了基于非線性邊界函數(shù)的透射率邊界算法，將透射率估計(jì)轉(zhuǎn)化為對(duì)有霧圖像和無(wú)霧圖像最小顏色通道差異的估計(jì)，并建立了一種非線性邊界函數(shù)估計(jì)模型，從而估計(jì)出較為準(zhǔn)確的透射率。Li 等人［10］提出了濃度尺度先驗(yàn)算法，建立了具有指數(shù)參數(shù)的伽馬變換模型，該模型不依賴傳統(tǒng)的大氣散射模型，因此減少了對(duì)中間變量的估計(jì)，但是去霧效果不佳?；趶?fù)原的圖像去霧算法［11-13］考慮了霧圖形成的原因，通常可以獲得質(zhì)量較高的復(fù)原圖像，然而這類算法難以對(duì)未知參數(shù)精確估計(jì)。

近年來(lái)，基于深度學(xué)習(xí)的方法引起了廣大學(xué)者的注意，Ren等人［14］提出了多尺度卷積神經(jīng)網(wǎng)絡(luò)，去霧效果較好，但對(duì)夜間圖像失效。Cai 等人［15］提出了端對(duì)端卷積神經(jīng)網(wǎng)絡(luò)，并用雙邊整流線性單元來(lái)提高無(wú)霧圖像的質(zhì)量。Li 等人［16］將透射率和大氣光合并為一個(gè)參數(shù)進(jìn)行訓(xùn)練，從而提出了一種多合一卷積神經(jīng)網(wǎng)絡(luò)。Liu 等人［17］設(shè)計(jì)了一種新的殘差網(wǎng)絡(luò)結(jié)構(gòu)，將先驗(yàn)知識(shí)與霧霾分布信息相結(jié)合來(lái)估計(jì)透射率?；谏疃葘W(xué)習(xí)的算法［18］可自主學(xué)習(xí)圖像特征，且學(xué)習(xí)能力強(qiáng)，數(shù)據(jù)集越大其表現(xiàn)力越好，但這類算法缺乏真實(shí)數(shù)據(jù)集，大都只在合成數(shù)據(jù)集上表現(xiàn)良好，處理真實(shí)霧圖存在缺陷，而且其巨大的計(jì)算量對(duì)硬件設(shè)備要求較高，增加了成本。

為獲得高質(zhì)量的無(wú)霧圖像，本文提出了一種基于自適應(yīng)高斯融合雙通道的去霧算法。利用大氣光與有霧圖像顏色通道之間的關(guān)系，提出中通道估計(jì)大氣光。分別用有霧圖像的最小通道和最大通道估計(jì)清晰圖像最小通道和最大通道，將二者自適應(yīng)加權(quán)融合，以對(duì)清晰圖像最小通道進(jìn)行補(bǔ)償，進(jìn)而得到透射率的最優(yōu)估計(jì)，最后通過大氣散射模型復(fù)原無(wú)霧圖像。實(shí)驗(yàn)結(jié)果表明，本文算法恢復(fù)的無(wú)霧圖像可有效避免顏色偏移和光暈效應(yīng)，時(shí)間復(fù)雜度低，運(yùn)行速度快。

2 背景

2.1 大氣散射模型

在計(jì)算機(jī)視覺領(lǐng)域，霧天圖像的形成機(jī)理通常用大氣散射模型來(lái)描述：

其中I(x)為有霧圖像，J(x)為無(wú)霧圖像，t(x)為透射率，A為大氣光。J(x)t(x)表示直接衰減，描述了光從場(chǎng)景點(diǎn)到觀測(cè)點(diǎn)的衰減；A(1 -t(x))表示大氣光幕，描述了光在傳播過程中被大氣中的介質(zhì)粒子散射對(duì)成像造成的影響。當(dāng)霧氣均勻時(shí)，透射率可表示為：

其中，β為大氣散射系數(shù)，d(x)為景深，即場(chǎng)景點(diǎn)到觀測(cè)點(diǎn)的距離。

2.2 線性傳輸理論

由于有霧圖像與無(wú)霧圖像的最小通道之間存在一定的線性關(guān)系，Wang等人［6］提出了線性傳輸模型來(lái)估計(jì)透射率。根據(jù)式（1），透射率可寫為：

對(duì)其進(jìn)行最小濾波：

其中a為斜率，b為截距，參數(shù)a和b使得方程難以計(jì)算，將上式寫為二次函數(shù)：

其中Min和Max分別表示的最小值和最大值。

結(jié)合式（4）和式（6），并引入變量δ來(lái)調(diào)整變化率，即可得到透射率：

3 本文算法

本文所提基于自適應(yīng)高斯融合雙通道的去霧算法流程圖如圖1 所示。首先，利用實(shí)際大氣光小于最大通道值而大于最小通道值的關(guān)系，通過亮度控制因子將二者自適應(yīng)決策融合，提出中通道大氣光，并對(duì)其進(jìn)行形態(tài)學(xué)閉操作與交叉雙邊濾波處理得到實(shí)際大氣光；其次，在線性傳輸基礎(chǔ)上，用有霧圖像最小通道和最大通道分別估計(jì)清晰圖像最小通道和最大通道，再用亮度控制因子構(gòu)造高斯函數(shù)對(duì)二者賦予自適應(yīng)權(quán)重，通過雙通道線性傳輸?shù)玫角逦鷪D像最優(yōu)通道，進(jìn)而獲得透射率最優(yōu)解；最后，結(jié)合大氣散射模型恢復(fù)出無(wú)霧圖像。

3.1 大氣光估計(jì)

大氣光的估計(jì)很大程度上影響著恢復(fù)圖像的色彩和亮度。暗通道先驗(yàn)算法［4］選取暗通道中最亮的前0.1%的像素處的原圖像素值求平均作為大氣光值，容易受白色物體影響。亮通道先驗(yàn)算法［8］通過對(duì)有霧圖像進(jìn)行兩次最大濾波選取大氣光，在估計(jì)大氣光時(shí)用固定權(quán)重，使得大氣光魯棒性降低。局部大氣光算法［7］將全局大氣光轉(zhuǎn)化為局部特性，避免了全局大氣光估計(jì)不準(zhǔn)導(dǎo)致的偏暗或過飽和問題，但是易產(chǎn)生顏色失真，為了消除此種影響，本文提出利用中通道計(jì)算大氣光。中通道的值介于有霧圖像最大通道和最小通道之間［19］，故在有霧圖像中存在以下關(guān)系：

將最小通道與最大通道融合，并引入亮度控制因子λ(x)進(jìn)行校正，即可得到中通道

其中λ(x)為有霧圖像的亮度均值，λ(x) ∈[0，1]，對(duì)不同的圖像，λ(x)有不同的值。λ(x)的變化可調(diào)節(jié)最小通道與最大通道在中通道中的權(quán)重，進(jìn)而調(diào)節(jié)圖像亮度。換言之，當(dāng)圖像中存在天空及高亮物體時(shí)，將最亮區(qū)域定位為大氣光會(huì)使大氣光估計(jì)過高，此時(shí)λ(x)值較大，中通道大氣光可減小最大通道所占權(quán)值，從而避免將大氣光選為高亮物體；當(dāng)圖像中沒有天空及高亮物體時(shí)，λ(x)值較小，中通道大氣光自適應(yīng)增大最大通道所占權(quán)值。

其中imclose(?)為形態(tài)學(xué)閉操作，BF(?)為交叉雙邊濾波。

不同通道的對(duì)比如圖2 所示，通過觀察可以發(fā)現(xiàn)利用中通道得到的大氣光介于最小通道與最大通道之間，不會(huì)過亮或過暗，具有更好的魯棒性。

將局部大氣光算法與本文算法的大氣光及復(fù)原圖像進(jìn)行對(duì)比，如圖3 所示，可以看出：本文大氣光在窗戶和樹葉位置的細(xì)節(jié)信息更加豐富，并且復(fù)原出的圖像亮度適宜、顏色自然。

3.2 透射率估計(jì)

由大氣散射模型可知，透射率的估計(jì)對(duì)圖像的去霧效果起著至關(guān)重要的作用。當(dāng)一幅有霧圖像中有大面積高亮區(qū)域時(shí)，Wang等人［6］提出的線性傳輸導(dǎo)致清晰圖像最小通道的估計(jì)值出現(xiàn)局部區(qū)域過小，透射率t(x)偏小，去霧圖像產(chǎn)生局部過飽和與偏色現(xiàn)象。在戶外有霧圖像中，普遍認(rèn)為景深越大霧濃度越高，由于天空區(qū)域的景深趨于無(wú)窮，因此在含有天空的有霧圖像中，天空區(qū)域的霧濃度較高，導(dǎo)致Wang 算法對(duì)式（4）中清晰圖像最小通道估計(jì)偏小。針對(duì)這一不足，本文在線性傳輸?shù)幕A(chǔ)上提出了雙通道線性傳輸，即：

其中σ為圖像標(biāo)準(zhǔn)差，σ∈[0，1]。當(dāng)僅用清晰圖像最小通道估計(jì)透射率時(shí)，局部區(qū)域易出現(xiàn)色彩偏移且霧氣無(wú)法完全去除，這主要是由于透射率估計(jì)偏小導(dǎo)致的，故需要增加式（12）中清晰圖像最大通道的權(quán)重進(jìn)而增大透射率。

如式（13）所示，通常情況下圖像的λ(x)值較小，但是當(dāng)圖像中存在大面積天空區(qū)域時(shí)，λ(x)可以隨著場(chǎng)景的變化而自適應(yīng)增大，具有自動(dòng)調(diào)節(jié)功能。所提雙通道線性傳輸可對(duì)天空區(qū)域偏小的透射率進(jìn)行自適應(yīng)補(bǔ)償，解決復(fù)原圖像在天空區(qū)域出現(xiàn)的光暈效應(yīng)及顏色偏移等問題。

用曲線圖來(lái)更直觀地闡述本文所提雙通道線性傳輸?shù)难a(bǔ)償作用，如圖4 所示。實(shí)線為最小通道變化的曲線，點(diǎn)劃線為最大通道變化的曲線，虛線為本文所提雙通道線性傳輸曲線。結(jié)合圖4 與圖5 可以看出：當(dāng)采用無(wú)霧圖像最小通道時(shí)較小，曲線稍平緩，恢復(fù)的圖像去霧不徹底，且在天空區(qū)域失真；當(dāng)采用無(wú)霧圖像最大通道時(shí)，較大，曲線稍陡峭，恢復(fù)的圖像對(duì)比度過高，在亮區(qū)域出現(xiàn)了嚴(yán)重的顏色失真；雙通道線性傳輸將高斯加權(quán)融合，彌補(bǔ)了僅用清晰圖像最小通道估計(jì)透射率方法存在的不足，可恢復(fù)出去霧效果良好、色彩自然的無(wú)霧圖像。

為了證明本文算法的有效性，分別求取Wang算法與本文算法透射率與復(fù)原結(jié)果進(jìn)行比較，如圖6 所示，通過對(duì)比可以看出：Wang 算法獲得的透射率在遠(yuǎn)景處偏低（紅框內(nèi)區(qū)域），所恢復(fù)圖像局部過亮。由于本文算法的補(bǔ)償作用，遠(yuǎn)景區(qū)域透射率有了明顯提高，且本文算法估計(jì)的清晰圖像最優(yōu)通道值更加精確，因此恢復(fù)的無(wú)霧圖像細(xì)節(jié)信息更加豐富，顏色自然，得到了較好的處理結(jié)果。

3.3 圖像復(fù)原

估計(jì)出透射率t(x)與大氣光A(x)后，即可根據(jù)大氣散射模型復(fù)原無(wú)霧圖像：

其中t0為t(x)的下界，通常取t0=0.1。

4 實(shí)驗(yàn)結(jié)果及分析

為了證實(shí)所提算法的有效性，選取具有代表性的8 幅有霧圖像進(jìn)行復(fù)原，包括不含天空區(qū)域與含天空區(qū)域兩組有著不同特征的圖像，并從主客觀兩個(gè)方面對(duì)各算法的去霧效果進(jìn)行分析和對(duì)比，所選對(duì)比算法為He 等人［4］、Wang 等人［6］、Xu 等人［8］、Yang等人［11］、Ren等人［14］、Cai等人［15］所提算法。

4.1 主觀評(píng)價(jià)

主觀評(píng)價(jià)能直觀地展示出算法的去霧效果，圖8～圖9分別為兩組采用上述算法對(duì)8幅經(jīng)典有霧圖像復(fù)原后的效果實(shí)例，通過對(duì)比發(fā)現(xiàn)：如圖8（b）與9（b）所示，He 算法對(duì)近景區(qū)域的處理效果優(yōu)異，復(fù)原圖像細(xì)節(jié)豐富，但是遠(yuǎn)近景交替處會(huì)產(chǎn)生光暈現(xiàn)象，在天空區(qū)域顏色失真，并有光暈效應(yīng)；如圖8（c）與9（c）所示，Wang 算法能基本去除霧氣，但是在高亮區(qū)域失真嚴(yán)重，且恢復(fù)的濃霧圖像存在殘霧，在含有天空?qǐng)D像中出現(xiàn)了輪廓效應(yīng)，在圖9（c）第一幅圖像較為明顯；如圖8（d）與9（d）所示，Xu 算法對(duì)存在高亮物體的圖像處理效果較好，恢復(fù)的圖像顏色自然，但在天空區(qū)域和非天空區(qū)域都易出現(xiàn)光暈效應(yīng)；如圖8（e）與9（e）所示，Yang 算法對(duì)天空區(qū)域處理效果較好，但易出現(xiàn)色彩過飽和與遠(yuǎn)景去霧不徹底的問題；Ren算法與Cai算法都是基于卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)的算法，容易產(chǎn)生顏色失真，且在濃霧區(qū)域去霧不徹底；本文算法基于自適應(yīng)高斯融合雙通道來(lái)恢復(fù)無(wú)霧圖像，復(fù)原圖像清晰度較高，對(duì)于遠(yuǎn)近景的霧氣都能有效去除，對(duì)包含天空區(qū)域的圖像也有較高的復(fù)原效率，不會(huì)出現(xiàn)光暈效應(yīng)及顏色偏移，且能保留豐富的細(xì)節(jié)信息。

4.2 客觀評(píng)價(jià)

主觀評(píng)價(jià)方法并不能全面衡量去霧算法的優(yōu)劣，本文加入客觀評(píng)價(jià)來(lái)更全面地評(píng)測(cè)去霧算法，用經(jīng)典的可見邊邊緣梯度法［20-21］中的新增可見邊之比e、可見邊梯度比rˉ，飽和黑色或白色像素點(diǎn)百分比σ以及算法運(yùn)行時(shí)間t四個(gè)指標(biāo)進(jìn)行評(píng)測(cè)，這些指標(biāo)為無(wú)參考指標(biāo)，用于真實(shí)場(chǎng)景下去霧效果的評(píng)價(jià)。其中e和rˉ越大越好，表明復(fù)原的圖像邊緣細(xì)節(jié)數(shù)量多、強(qiáng)度大，σ和t越小越好，表明復(fù)原圖像中全黑或全白的像素點(diǎn)少，運(yùn)行速度快，其數(shù)學(xué)表達(dá)式可分別表示為：

其中n0和nr分別表示有霧圖像和復(fù)原圖像的可見邊數(shù)目分別為有霧圖像和復(fù)原圖像的平均梯度，ns為圖像中全黑和全白的像素點(diǎn)個(gè)數(shù)，dimx和dimy分別為圖像的寬和高。各算法客觀指標(biāo)對(duì)比如表1 所示（表中數(shù)值為均值），從表1 可以看出：由于本文算法復(fù)原的圖像細(xì)節(jié)豐富、輪廓清晰，因此在指標(biāo)e和rˉ上表現(xiàn)良好。本文算法恢復(fù)出的圖像顏色自然，所以指標(biāo)σ值更小。算法復(fù)雜度是度量一個(gè)算法是否高效的重要指標(biāo)，通常較好的復(fù)原效果往往伴隨著高復(fù)雜度，理想的去霧算法應(yīng)在保證復(fù)原效果的同時(shí)降低算法復(fù)雜度，本文算法在t指標(biāo)上排名第2，表明本文算法恢復(fù)出的圖像運(yùn)行速度快、算法復(fù)雜度更低。本文算法在各指標(biāo)上表現(xiàn)優(yōu)異，證明了本文算法的有效性和可行性。

表1 各算法客觀指標(biāo)對(duì)比Tab.1 Comparison of objective indicators of various algorithms

4.3 測(cè)試集驗(yàn)證

為驗(yàn)證本文算法對(duì)測(cè)試集圖像同樣有效，隨機(jī)選取RESIDE 數(shù)據(jù)集中的4 幅圖像進(jìn)行實(shí)驗(yàn)分析，如圖10所示。從復(fù)原結(jié)果可以看出He算法復(fù)原的圖像整體偏暗，且由于在邊緣高估了透射率，存在光暈效應(yīng)；Wang 算法由于對(duì)透射率的估計(jì)偏小，導(dǎo)致復(fù)原的圖像過飽和；Xu 算法復(fù)原的圖像出現(xiàn)了嚴(yán)重的光暈效應(yīng)；Yang 算法恢復(fù)的圖像整體效果良好，但是在遠(yuǎn)景部分存在輕微殘霧；Ren 算法與Cai 算法是基于深度學(xué)習(xí)的去霧算法，整體復(fù)原效果較好，但是在霧濃度較高區(qū)域去霧不徹底，不適用于濃霧圖像；本文算法對(duì)遠(yuǎn)景和近景的霧氣都能有效去除，能較好地保留細(xì)節(jié)信息，對(duì)存在高亮和天空區(qū)域的有霧圖像也能復(fù)原出質(zhì)量較好的無(wú)霧圖像，不會(huì)出現(xiàn)顏色失真，綜合來(lái)看整體去霧效果良好。

測(cè)試集圖像客觀評(píng)價(jià)通常用全參考指標(biāo)峰值信噪比（PSNR，Peak Signal-to-Noise Ratio）和結(jié)構(gòu)相似度（SSIM，Structural Similarity Index Measure?ment），PSNR 和SSIM 越大表示算法的復(fù)原效果越好。各算法客觀指標(biāo)對(duì)比如表2 所示（表中數(shù)值為均值），從表2可以看出，本文算法在測(cè)試集的PSNR指標(biāo)排名第2，說(shuō)明本文算法復(fù)原圖像失真較少，該指標(biāo)落后于Cai算法，但Cai算法復(fù)原的圖像去霧不徹底；SSIM 指標(biāo)領(lǐng)先于其他算法，說(shuō)明本文算法復(fù)原圖像與清晰圖像相似度更高，質(zhì)量更好。

表2 各算法的PSNR和SSIM指標(biāo)對(duì)比Tab.2 Comparison of PSNR and SSIM indicators of each algorithm

5 結(jié)論

霧霾場(chǎng)景下的圖像存在對(duì)比度下降等問題，本文提出了一種基于自適應(yīng)高斯融合雙通道的去霧算法。根據(jù)大氣光與有霧圖像通道值之間的關(guān)系，提出中通道計(jì)算大氣光，通過參數(shù)調(diào)節(jié)有霧圖像最大通道與最小通道在大氣光中所占權(quán)重，使得大氣光能隨著圖像的不同而自適應(yīng)變化，且能自動(dòng)調(diào)整圖像亮度；針對(duì)線性傳輸對(duì)透射率估計(jì)偏小導(dǎo)致的圖像過飽和、去霧不徹底與偏色問題，提出雙通道線性傳輸對(duì)清晰圖像最優(yōu)通道進(jìn)行估計(jì)，并構(gòu)造高斯函數(shù)加權(quán)使其可以自適應(yīng)調(diào)整；實(shí)驗(yàn)結(jié)果表明，本文算法可對(duì)霧霾圖像處理得到較好的復(fù)原效果，處理含有大面積天空區(qū)域以及高亮區(qū)域的圖像時(shí)也有優(yōu)越的表現(xiàn)，色彩自然且不會(huì)出現(xiàn)光暈效應(yīng)及顏色偏移，在主客觀評(píng)價(jià)上也有明顯優(yōu)勢(shì)。