圖像去霧技術(shù)研究綜述

李博文，劉進(jìn)鋒

（寧夏大學(xué)信息工程學(xué)院，銀川 750021）

0 引言

隨著現(xiàn)代工業(yè)文明的發(fā)展進(jìn)步，大氣污染現(xiàn)象愈發(fā)嚴(yán)重，由此產(chǎn)生的霧霾天氣困擾著人們的出行和工作。霧霾是導(dǎo)致圖像模糊的最主要原因之一，受霧霾天氣影響，專(zhuān)業(yè)的監(jiān)控和遙感成像系統(tǒng)所拍攝的圖像也無(wú)法滿足相應(yīng)的工作需求。數(shù)字圖像質(zhì)量的惡化會(huì)影響各種視覺(jué)任務(wù)的執(zhí)行與處理。因此需要對(duì)圖像進(jìn)行預(yù)處理，以降低霧霾對(duì)其成像質(zhì)量的影響。此外，霧霾天氣下獲取的圖像，直接影響計(jì)算機(jī)視覺(jué)中的語(yǔ)義分割、目標(biāo)檢測(cè)等任務(wù)的效果。綜上所述，對(duì)包含霧或霾影響的圖像進(jìn)行相應(yīng)的處理十分必要。

近年來(lái)，眾多國(guó)內(nèi)外學(xué)者和研究機(jī)構(gòu)對(duì)圖像去霧算法開(kāi)展了深入的研究，并不斷突破已有技術(shù)水平，取得了長(zhǎng)足的進(jìn)步。本文按照去霧算法中所使用圖像數(shù)量的不同，對(duì)多幅圖像去霧算法和單幅圖像去霧算法進(jìn)行分析，對(duì)圖像去霧中常用的數(shù)據(jù)集和評(píng)價(jià)指標(biāo)進(jìn)行闡述。

1 圖像去霧的各類(lèi)算法及比較

1.1 基于多幅圖像的去霧算法

2001 年，Schechner 等提出了一種無(wú)需依賴天氣狀況變化的去霧算法，他們認(rèn)為通常被大氣粒子散射的大氣光是部分極化的，僅依靠偏振過(guò)濾無(wú)法得到較好的去霧效果。同時(shí)大氣散射的偏振效應(yīng)會(huì)影響去霧效果，因此，該算法將兩幅圖像在不同位置上獲得的偏振圖像作為輸入計(jì)算大氣光強(qiáng)，可以恢復(fù)出無(wú)霧場(chǎng)景下的圖像。雖然該算法在場(chǎng)景對(duì)比和色彩校正方面取得了較大的進(jìn)步，但是對(duì)于包含濃霧天氣的圖像，其處理效果差強(qiáng)人意。

2009 年，Schaul 等應(yīng)用基于加權(quán)最小二乘（WLS）算法優(yōu)化的框架及最大化對(duì)比度的像素級(jí)融合標(biāo)準(zhǔn)，融合可見(jiàn)光和近紅外（NIR）圖像來(lái)生成無(wú)霧場(chǎng)景下的圖像，該方法不依賴于散射模型，在近紅外圖像和去霧圖像中具有更高的清晰度和對(duì)比度，并且產(chǎn)生的偽影較少。由于該算法使用亮度通道進(jìn)行處理，因此在極端亮度變化的情況下，圖像的顏色會(huì)顯得不真實(shí)。

2016 年，劉同軍提出基于多幅偏振圖像的去霧算法。該算法首先對(duì)0°、60°及120°的偏振圖像進(jìn)行Stokes 矢量分析，結(jié)合He 等的暗原色先驗(yàn)理論估計(jì)霧天圖像的無(wú)窮遠(yuǎn)處大氣光強(qiáng)，應(yīng)用導(dǎo)向?yàn)V波進(jìn)一步優(yōu)化霧天圖像的傳輸透射率，該算法可以有效地增強(qiáng)圖像細(xì)節(jié)信息的表現(xiàn)力。

1.2 單幅圖像去霧算法

雖然多幅圖像去霧算法可以實(shí)現(xiàn)有效的去霧效果，但是在實(shí)際應(yīng)用場(chǎng)景中往往無(wú)法獲取到需要補(bǔ)充的額外信息。目前更多的是針對(duì)單幅圖像去霧的研究。

1.2.1 基于圖像增強(qiáng)的去霧算法

基于圖像增強(qiáng)的去霧算法通過(guò)增強(qiáng)對(duì)比度改善圖像的視覺(jué)效果，但是對(duì)于圖像突出部分的信息可能會(huì)造成一定損失。圖像增強(qiáng)分為全局化增強(qiáng)和局部化增強(qiáng)兩大類(lèi)。在全局化增強(qiáng)的方法中，有基于直方圖均衡化、基于同態(tài)濾波以及基于Retinex 理論等算法。在全局化增強(qiáng)的方法中，主要有對(duì)比增強(qiáng)和局部直方圖均衡化等算法。

直方圖均衡化即對(duì)圖像的直方圖進(jìn)行均衡化處理，使原圖的灰度級(jí)分布更加均勻，同時(shí)提升圖像的對(duì)比度和亮度，使圖像的感官效果更佳。

同態(tài)濾波旨在消除不均勻照度的影響而又不損失圖象細(xì)節(jié)，在頻域中將圖像動(dòng)態(tài)范圍進(jìn)行壓縮，可以同時(shí)增加對(duì)比度和亮度，借此達(dá)到圖像增強(qiáng)的目的。

Retinex 理論以色感一致性（顏色恒常性）為基礎(chǔ)，通過(guò)增強(qiáng)對(duì)比度改善圖像視覺(jué)效果。不同于傳統(tǒng)方法，Retinex可以兼顧動(dòng)態(tài)范圍壓縮、邊緣增強(qiáng)和顏色恒常三個(gè)方面，因此可以對(duì)各種不同類(lèi)型的圖像進(jìn)行自適應(yīng)的增強(qiáng)。隨著研究的深入，單尺度Retinex 算法改進(jìn)成多尺度加權(quán)平均的Retinex 算法，再發(fā)展成為帶色彩恢復(fù)多尺度Retinex 算法。以上三種算法可以達(dá)到一定的除霧效果，但是處理后圖像的細(xì)節(jié)特征仍然不夠突出，其根本原因在于圖像的最大動(dòng)態(tài)范圍未能被充分利用，對(duì)比度沒(méi)有得到進(jìn)一步的增強(qiáng)。

1.2.2 基于物理模型的去霧算法

基于物理模型的去霧算法常依賴于大氣散射模型，通過(guò)得到其中的映射關(guān)系，根據(jù)有霧圖像的形成過(guò)程來(lái)進(jìn)行逆運(yùn)算，恢復(fù)出清晰圖像。散射模型是后續(xù)眾多去霧算法研究的基石，該類(lèi)算法主要關(guān)注于模型中參數(shù)的求解。眾多的研究者在大氣散射模型的基礎(chǔ)上進(jìn)行廣泛而深入的研究，不斷提高圖像去霧水平。

其中，由He 等提出的基于暗通道先驗(yàn)的去霧算法廣為人知。暗通道先驗(yàn)去霧算法認(rèn)為：在沒(méi)有霧霾的室外圖像中，大多數(shù)局部區(qū)域包含的一些像素至少在一個(gè)顏色通道中具有非常低的強(qiáng)度，基于這個(gè)先驗(yàn)知識(shí)，可以直接評(píng)估出霧霾的厚度，并恢復(fù)出高質(zhì)量的圖像。但是該算法的理論前提存在一定的局限性，當(dāng)處理類(lèi)似大面積雪地或天空的圖像時(shí)效果會(huì)受到一定的影響。

2015年，Zhu 等提出了基于顏色衰減先驗(yàn)的去霧算法。該算法建立在對(duì)大量有霧圖像的統(tǒng)計(jì)分析之上。該算法認(rèn)為，霧的濃度越高，景深越大，圖像的亮度和飽和度相差就越大。利用這一先驗(yàn)及建立模型，得到與有霧圖像及其對(duì)應(yīng)的深度信息之間的聯(lián)系，并利用有霧圖像的深度信息恢復(fù)出無(wú)霧的清晰圖像。

1.2.3 基于深度學(xué)習(xí)的去霧算法

基于物理模型的去霧算法由于存在一定的累積誤差，因而具有先天的局限性。近年來(lái)，卷積神經(jīng)網(wǎng)絡(luò)（CNN）在計(jì)算機(jī)視覺(jué)領(lǐng)域取得了出色表現(xiàn)，基于深度學(xué)習(xí)的圖像去霧算法也應(yīng)運(yùn)而生并不斷推陳出新。

2016年，Cai等提出了一種名為DehazeNet的可訓(xùn)練端到端系統(tǒng)，以單幅有霧圖像為輸入，輸出介質(zhì)傳輸圖，根據(jù)大氣散射模型完成清晰圖像的重構(gòu)DehazeNet 融合了傳統(tǒng)去霧網(wǎng)絡(luò)中的先驗(yàn)知識(shí)，通過(guò)特征提取、多尺度映射、局部極值和非線性回歸，配合引導(dǎo)濾波得到精細(xì)化的透射圖。總體而言，DehazeNet 的整體處理效果較好，但也存在著一定的問(wèn)題，由于真實(shí)的大氣環(huán)境中不同位置對(duì)光的吸收、散射與透射作用程度不盡相同，從而使得環(huán)境光并非均勻分布，而采用假設(shè)先驗(yàn)求得的大氣光在去霧任務(wù)中不能很好地適應(yīng)各種情況，對(duì)景深變化處的處理效果一般。

同年，Ren 等提出基于多尺度卷積神經(jīng)網(wǎng)絡(luò)的單幅圖像去霧網(wǎng)絡(luò)（MSCNN）。該網(wǎng)絡(luò)首先由粗尺度網(wǎng)絡(luò)估計(jì)整體的傳輸透射圖，然后由精細(xì)尺度網(wǎng)絡(luò)對(duì)該傳輸圖進(jìn)行進(jìn)一步優(yōu)化，再分析傳統(tǒng)方法與卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)所獲取的特征之間的差異。

2017 年，Li 等提出了一種基于CNN 的一體化去霧網(wǎng)絡(luò)（AOD-Net），其核心思想是將大氣散射模型中的兩個(gè)參數(shù)通過(guò)轉(zhuǎn)換公式統(tǒng)一為一個(gè)參數(shù)，省去中間步驟從而減小參數(shù)預(yù)估中的累計(jì)誤差。該網(wǎng)絡(luò)包含兩個(gè)子模塊，分別是參數(shù)估計(jì)模塊和清晰無(wú)霧圖像的生成模型，結(jié)構(gòu)簡(jiǎn)單，處理高效。

2018年，Engin等提出了增強(qiáng)循環(huán)生成對(duì)抗網(wǎng)絡(luò)（Cycle-Dehaze），可以直接由輸入的有霧圖像生成無(wú)霧圖像，而無(wú)需估算大氣散射模型的參數(shù)。此外，該網(wǎng)絡(luò)以不成對(duì)的方式提供有霧圖像和Ground Truth 圖像的訓(xùn)練過(guò)程，將之與感知損失相結(jié)合來(lái)改善CycleGAN 架構(gòu)的循環(huán)一致性損失。此外，Cycle-Dehaze 利用拉普拉斯金字塔來(lái)放大低分辨率圖像。實(shí)驗(yàn)結(jié)果表明，該方法有更好的感官效果。

Chen 等于2019 年提出門(mén)控上下文聚合網(wǎng)絡(luò)（GCANet），由三個(gè)卷積塊作為編碼器部分，一個(gè)反卷積塊和兩個(gè)卷積塊作為解碼器部分。使用平滑擴(kuò)張技術(shù)，即在編解碼器之間插入空洞殘差塊來(lái)聚合上下文信息，從而不會(huì)造成網(wǎng)格偽影。該網(wǎng)絡(luò)在圖像去霧及去雨任務(wù)上都取得了不錯(cuò)的效果。

Wu 等于2021 年提出了一種新的基于對(duì)比學(xué)習(xí)的對(duì)比正則化（CR）去霧網(wǎng)絡(luò)AECR-Net，將清晰圖像和有霧圖像的信息分別作為正樣本和負(fù)樣本來(lái)利用，此舉保證了把恢復(fù)后的圖像在表示空間中向清晰圖像拉近，向遠(yuǎn)離模糊圖像的方向推遠(yuǎn)。此外，將可變形卷積引入AECR-Net 中的動(dòng)態(tài)特征增強(qiáng)模塊，使采樣網(wǎng)格可以動(dòng)態(tài)地適應(yīng)形狀擴(kuò)展接收域，提高模型的變換能力，達(dá)到更好的去霧效果。AECR-Net 基于類(lèi)自動(dòng)編碼器框架，減少了層數(shù)和空間的大小而變得更加緊湊。

2022 年，Tran 等提出了一種用于單幅圖像去霧的新型編碼-解碼網(wǎng)絡(luò)（EDN-GTM），用傳統(tǒng)的RGB 有霧圖像和采用暗通道先驗(yàn)估計(jì)的傳輸圖作為該網(wǎng)絡(luò)的輸入，使用U-Net 作為核心網(wǎng)絡(luò)進(jìn)行圖像處理，并在網(wǎng)絡(luò)中使用空間金字塔池化模塊和Swish 激活函數(shù)以實(shí)現(xiàn)較好的去霧目標(biāo)。EDN-GTM 算法在指標(biāo)上優(yōu)于大多數(shù)傳統(tǒng)的和基于深度學(xué)習(xí)的算法。該模型還可以成功地應(yīng)用于目標(biāo)檢測(cè)的預(yù)處理工具。

目前，大多數(shù)單幅圖像去霧網(wǎng)絡(luò)模型無(wú)法在單個(gè)GPU 上實(shí)時(shí)處理超高分辨（UHD）圖像。Xiao 等于2022 年使用拉普拉斯金字塔融合泰勒的無(wú)限逼近原理，構(gòu)建了能夠?qū)崟r(shí)處理4K 有霧圖像的模型。其中，低階多項(xiàng)式重建圖像的低頻信息（顏色、亮度），高階多項(xiàng)式抑制圖像的高頻信息。并且提出了作用于金字塔模型各分支網(wǎng)絡(luò)的Tucker 重建的正則化項(xiàng)，進(jìn)一步限制了特征空間中異常信號(hào)的產(chǎn)生。

2 圖像去霧常用的評(píng)價(jià)指標(biāo)和數(shù)據(jù)集

2.1 評(píng)價(jià)指標(biāo)

評(píng)價(jià)一個(gè)去霧算法的好壞，常常使用主觀評(píng)價(jià)法和客觀評(píng)價(jià)法。前者即通過(guò)肉眼觀察經(jīng)過(guò)去霧處理的圖像，從圖像的紋理特征、對(duì)比度、飽和度及細(xì)節(jié)信息等多方面進(jìn)行感官感受和評(píng)價(jià)。后者即采用指標(biāo)評(píng)價(jià)，從不同的角度衡量處理效果的好壞。在圖像去霧領(lǐng)域經(jīng)常使用的指標(biāo)是峰值信噪比（PSNR）和結(jié)構(gòu)相似性（SSIM）。

峰值信噪比，單位為分貝（db），是信號(hào)的最大功率與可能影響它的表示精度的噪聲功率的比值，數(shù)值越大表明圖像去霧的失真越小。計(jì)算PSNR的公式如下：

式（2）中，表示當(dāng)前圖像和參考圖像的均方誤差，為像素的比特?cái)?shù)，一般取8，即像素的灰階數(shù)為256。和分別表示當(dāng)前圖像的長(zhǎng)度和寬度。

結(jié)構(gòu)相似性（SSIM），單位為分貝（db），該指標(biāo)從亮度、對(duì)比度、結(jié)構(gòu)三個(gè)方面考量圖像相似性，取值范圍是［0,1］，數(shù)值越大表明當(dāng)前圖像與Ground Truth 圖像越相似。相比于，在圖像品質(zhì)的衡量上更能符合肉眼感官對(duì)圖像質(zhì)量的評(píng)價(jià)。計(jì)算的公式如下：

式（3）中，μ、μ是平均值，σ、σ是方差，σ 是協(xié)方差，和是為了使得分母不為0 的常數(shù)。

2.2 數(shù)據(jù)集

本節(jié)對(duì)圖像去霧領(lǐng)域中常用的數(shù)據(jù)集（RESIDE、NYU2、I-HAZE、O-HAZE）做出歸納。

RESIDE 數(shù)據(jù)集包括合成和真實(shí)世界的有霧圖像，分為五個(gè)子集，用于不同場(chǎng)景的訓(xùn)練和評(píng)估任務(wù)，除了廣泛采用的PSNR 和SSIM 作為評(píng)價(jià)指標(biāo)外，RESIDE 還采用無(wú)參考度量和人類(lèi)主觀評(píng)價(jià)來(lái)評(píng)估去霧效果。其訓(xùn)練集包含13,990個(gè)合成模糊圖像，測(cè)試集由綜合目標(biāo)測(cè)試集（SOTS）和混合主觀測(cè)試集（HSTS）組成，旨在表現(xiàn)出多種評(píng)估觀點(diǎn)。

NYU2 數(shù)據(jù)集囊括了1449 張含有深度信息的RGBD 圖像，這些圖像包含464個(gè)不同的室內(nèi)場(chǎng)景。

I-HAZE 包含35 組室內(nèi)有g(shù)round truth 的由霧霾機(jī)產(chǎn)生的霧霾圖。O-HAZE 數(shù)據(jù)集由45 組室外有霧和無(wú)霧的圖像對(duì)組成。

3 結(jié)語(yǔ)

本文主要從基于多幅圖像、圖像增強(qiáng)、物理模型的去霧方法與基于深度學(xué)習(xí)的去霧方法這四個(gè)角度介紹了近20 年來(lái)的自然圖像去霧技術(shù)。與傳統(tǒng)方法相比，基于深度學(xué)習(xí)的方法去霧效果更好。但是基于深度學(xué)習(xí)的去霧方法目前也不可避免地存在一些亟待解決的問(wèn)題：其可解釋性、遷移泛化能力、穩(wěn)定性等目前尚無(wú)理想的解決方案。因此，探尋更具穩(wěn)定性、更準(zhǔn)確的物理模型，與基于深度學(xué)習(xí)的方法相結(jié)合的方法，或是解決包含去霧在內(nèi)的圖像去噪問(wèn)題的一個(gè)突破口。

未來(lái)相關(guān)方面的研究或許艱辛而曲折，但是基于深度學(xué)習(xí)的圖像去霧方法也有其巨大的潛力。隨著研究的進(jìn)一步深入和深度學(xué)習(xí)的發(fā)展，圖像去霧技術(shù)勢(shì)必會(huì)在社會(huì)生活的各個(gè)領(lǐng)域有更大的應(yīng)用價(jià)值和意義。