融合估計(jì)與評(píng)估網(wǎng)絡(luò)的去霧算法研究

蔡夢(mèng)姚，王鵬，李曉艷，吳嬌，呂志剛

摘? 要： 針對(duì)由于霧霾天氣影響造成拍攝的圖像出現(xiàn)模糊不清、低對(duì)比度和色彩暗淡等問題，提出一種融合估計(jì)與評(píng)估網(wǎng)絡(luò)的去霧算法。根據(jù)大氣退化模型將霧霾圖像輸入到兩個(gè)聯(lián)合且獨(dú)立的估計(jì)網(wǎng)絡(luò)模型中，分別得到透射圖與大氣光圖的估計(jì)值;將估計(jì)得到的透射圖與大氣光值輸入到霧圖成像公式中，得到去霧圖像;通過生成式對(duì)抗GAN網(wǎng)絡(luò)中的鑒別器來聯(lián)合鑒別，生成更好的透射圖與大氣光值;最后，通過霧圖成像公式反演恢復(fù)出清晰的無霧圖像。實(shí)驗(yàn)結(jié)果表明，該算法去霧后的圖像變得清晰，對(duì)比度得到提高，且圖像質(zhì)量評(píng)價(jià)指標(biāo)峰值信噪比和結(jié)構(gòu)相似性指數(shù)分別達(dá)到了22.14dB，75.3%。

關(guān)鍵詞： 低對(duì)比度; 估計(jì)與評(píng)估網(wǎng)絡(luò); 大氣退化模型; 透射率; 大氣光值; 生成式對(duì)抗網(wǎng)絡(luò)

中圖分類號(hào)：TP751? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A? ? ?文章編號(hào)：1006-8228（2022）01-22-06

Research on de-haze algorithm with estimation and evaluation network fuse

Cai Mengyao， Wang Peng， Li Xiaoyan， Wu Jiao， Lv Zhigang

（School of Electronics and Information Engineering， Xi'an Technological University， Xi'an， Shaanxi 710021， China）

Abstract： Aiming at the problems of blurred images， low contrast and dim color caused by haze weather， a de-haze algorithm with estimation and evaluation network fuse is proposed. According to the atmospheric degradation model， the hazing image is input into two joint and independent estimation network models to obtain the estimated values of transmission image and atmospheric light image respectively; the estimated transmission image and atmospheric light value are input into the hazing image formula to get the de-haze image; the discriminator in GAN network is used to generate better transmission image and atmospheric light image; Finally， a clear haze free image is recovered by inversion of haze imaging formula. The experiment results show that the image becomes clearer， its contrast is improved and the PSNR and structure similarity index of image quality evaluation index are up to 22.14db and 75.3% respectively.

Key words： low contrast; estimation and evaluation network; atmospheric degradation model; transmission map; atmospheric light value; GAN

0 引言

霧天拍攝的室外圖像質(zhì)量嚴(yán)重下降，很大程度上限制了圖像的使用價(jià)值。為了降低霧霾環(huán)境對(duì)圖像質(zhì)量的影響，增加圖像的可視性，必須對(duì)原始霧霾圖像進(jìn)行去霧處理[1]。

目前提出了一些基于圖像復(fù)原的去霧方法[2]，例如，Tan等人的最大對(duì)比度方法假設(shè)獲得的大氣信息比場(chǎng)景深度更準(zhǔn)確，可以比較容易地進(jìn)行霧圖的恢復(fù)，但在實(shí)際條件下，先驗(yàn)知識(shí)并不是在任何條件下都滿足，這使得霧圖的恢復(fù)由于缺乏已知信息而具有很大的不確定性;Li等人提出直接端到端去霧網(wǎng)絡(luò)模型，通過未知變量K（x）將透射圖t（x）與大氣光值A(chǔ)（x）統(tǒng)一，基于K（x）能夠完成對(duì)清晰圖像的恢復(fù)，但該類方法并沒有進(jìn)行透射圖t（x）和大氣光值A(chǔ)（x）的單獨(dú)估計(jì)，估計(jì)參數(shù)使得誤差相互放大，從而影響最終的去霧效果;Cai[3]等人提出一種名為DehazeNet的間接端到端去霧網(wǎng)絡(luò)系統(tǒng)，該端到端系統(tǒng)對(duì)原始圖像與傳輸圖之間的映射關(guān)系進(jìn)行直接學(xué)習(xí)和估計(jì)，通過其深層架構(gòu)的特殊性設(shè)計(jì)來實(shí)現(xiàn)去霧，該算法數(shù)據(jù)集由室內(nèi)場(chǎng)景圖片進(jìn)行人工加霧處理形成，這與自然霧場(chǎng)景下所拍攝的原始霧圖存在一定誤差，所以該算法在自然場(chǎng)景中的應(yīng)用效果不佳。

為了解決以上存在的問題，本文提出了一種稱為融合估計(jì)與評(píng)估網(wǎng)絡(luò)（Estimation and evaluation of demisting network，EAEDN）的圖像去霧算法。主要貢獻(xiàn)如下。

⑴ 提出了一種端到端聯(lián)合優(yōu)化去霧網(wǎng)絡(luò)。不依賴于大氣散射模型，避免了由于缺乏先驗(yàn)知識(shí)而導(dǎo)致去霧效果不好的問題。

⑵ 提出了聯(lián)合且獨(dú)立的估計(jì)網(wǎng)絡(luò)框架。利用粗估計(jì)與細(xì)優(yōu)化網(wǎng)絡(luò)進(jìn)行透射圖t（x）的估計(jì)，同時(shí)利用卷積-反卷積網(wǎng)絡(luò)精確估計(jì)大氣光值A(chǔ)（x）。

⑶ 采用對(duì)稱的GAN鑒別評(píng)估網(wǎng)絡(luò)模型聯(lián)合判別透射圖t（x）、大氣光值A(chǔ)（x）與去霧后的圖像是否為最優(yōu)估計(jì)，從而得到效果更好的去霧后的圖像。

1 融合估計(jì)與評(píng)估網(wǎng)絡(luò)的端到端去霧算法

1.1 融合估計(jì)與評(píng)估的端到端去霧算法模型

本文提出了一種有效的端到端的融合估計(jì)與評(píng)估網(wǎng)絡(luò)的去霧算法，整體算法模型如圖1所示。

第一階段，將霧霾圖像輸入到兩個(gè)聯(lián)合且獨(dú)立的網(wǎng)絡(luò)估計(jì)模型中。利用粗估計(jì)-細(xì)優(yōu)化網(wǎng)絡(luò)進(jìn)行透射圖t（x）的估計(jì);同時(shí)利用卷積-反卷積網(wǎng)絡(luò)進(jìn)行大氣光值A(chǔ)（x）的估計(jì)。

第二階段，將在網(wǎng)絡(luò)訓(xùn)練階段獲得的透射圖t（x）和大氣光值A(chǔ)（x）代入霧圖成像模型中，結(jié)合深度學(xué)習(xí)框架提供的數(shù)學(xué)運(yùn)算模塊進(jìn)行反演，從而恢復(fù)去霧后的圖像。

第三階段，利用對(duì)稱的GAN鑒別評(píng)估網(wǎng)絡(luò)模型來聯(lián)合鑒別生成更好的透射圖t（x）與大氣光值A(chǔ)（x），從而得到效果更好的去霧后的圖像。

1.2 去霧參數(shù)估計(jì)網(wǎng)絡(luò)模型

McCartney[4]等人在霧散射原理的基礎(chǔ)上提出了大氣散射模型，該模型認(rèn)為到達(dá)圖像采集設(shè)備的光線由兩部分組成。一部分是由于大氣中懸浮微粒的散射作用使得一部分反射光線受到衰減，剩余的部分光線進(jìn)入成像設(shè)備;另一部分是由于場(chǎng)景中的其他光線在大氣粒子的散射作用下被成像設(shè)備接收并附加在目標(biāo)圖像上。一般情況下，最終進(jìn)入成像設(shè)備的光線由這兩部分疊加而成。因此，霧天條件下成像模型的表達(dá)式如下所示：

[I（x）=J（x）t（x）+A（1-t（x））]? ⑴

其中x表示圖像中任意像素的位置，I（x）表示成像設(shè)備采集的霧天圖像;J（x）表示去霧后的圖像;t（x）表示透射圖;A（x）代表大氣光值;J（x）t（x）對(duì)應(yīng)入射光的衰減模型，A（1-t（x））對(duì)應(yīng)混合大氣光圖模型。

從式⑴可以看出，去霧過程中有兩個(gè)重要參數(shù)的估計(jì)：①透射圖t（x）準(zhǔn)確估計(jì);②大氣光值A(chǔ)（x）準(zhǔn)確估計(jì)，一旦估計(jì)得到透射圖和大氣光值，代入式⑵從而生成去霧后的圖像。

[J（x）=I（x）-A（x）（1-t（x）t（x）]? ⑵

⑴ 透射圖估計(jì)網(wǎng)絡(luò)

圖2所示為用于估計(jì)透射圖的端到端回歸網(wǎng)絡(luò)，該網(wǎng)絡(luò)由粗估計(jì)和細(xì)優(yōu)化網(wǎng)絡(luò)兩部分組成。粗估計(jì)網(wǎng)絡(luò)和細(xì)優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)相似，以粗估計(jì)網(wǎng)絡(luò)為例說明，粗估計(jì)網(wǎng)絡(luò)主要由：卷積層、池化層、上采樣層、線性合并層組成，其中上采樣層主要作用是讓輸出的透射圖和輸入的霧圖尺寸一致。

上采樣層的計(jì)算公式為：

[nl+1（2x-1：2x，2y-1：2y）=nl（x，y）]? ⑶

其中[l]表示層的序號(hào)，[（x，y）]表示圖像的二維空間坐標(biāo)。

為了滿足尺度一致性，將粗估計(jì)網(wǎng)絡(luò)的輸出與細(xì)優(yōu)化網(wǎng)絡(luò)第二個(gè)卷積層的輸入相結(jié)合。粗估計(jì)網(wǎng)絡(luò)的底層和中間層通過最大池化層來連接圖像的不同部分，使網(wǎng)絡(luò)能夠整合對(duì)全局場(chǎng)景的理解來預(yù)測(cè)網(wǎng)絡(luò)深度，在獲得全局深度圖后，利用細(xì)優(yōu)化網(wǎng)絡(luò)進(jìn)行局部改進(jìn)。

⑵ 大氣光值估計(jì)網(wǎng)絡(luò)

在大氣光值估計(jì)網(wǎng)絡(luò)中，對(duì)于給定的圖像，預(yù)測(cè)的大氣光值A(chǔ)（x）是均勻的，即其中每個(gè)像素A（z）具有相同的值（例如，A（z）=c，c為常數(shù)）。大氣光值A(chǔ)（x）具有與輸入圖像相同的特征尺寸，為了估算大氣光值，采用如圖3所示的卷積-反卷積網(wǎng)絡(luò)結(jié)構(gòu)。

1.3 GAN鑒別評(píng)估網(wǎng)絡(luò)模型

從式⑵可以看出，透射圖t（x）、大氣光值A(chǔ)（x）與去霧后的圖像[J]密切相關(guān)。因此，令[Gt]和[Gd]分別表示生成的透射圖和去霧后的圖像，為了優(yōu)化輸出并確保估計(jì)的透射圖和去霧后的圖像分別與它們對(duì)應(yīng)的地面真相t和實(shí)際去霧后的圖像[J]為最優(yōu)估計(jì)，使用GAN網(wǎng)絡(luò)中的鑒別器進(jìn)行評(píng)估;對(duì)于給定的圖像，預(yù)測(cè)的大氣光線A是均勻的，同樣進(jìn)行判別優(yōu)化。

將在估計(jì)階段獲取的透射圖t（x）、大氣光值A(chǔ)（x）輸入到GAN網(wǎng)絡(luò)的生成器中，一個(gè)新的數(shù)據(jù)分布G（x）被映射到生成器的多層感知器中。將處理后的圖像以G（x）形式輸入到判別器中，對(duì)輸入的兩個(gè)數(shù)據(jù)分別進(jìn)行判斷。如果判別的輸出與先驗(yàn)假設(shè)方向一致，即真實(shí)數(shù)據(jù)的概率值接近1，生成數(shù)據(jù)值的概率接近0，此時(shí)對(duì)透射圖和大氣光圖進(jìn)行重新估計(jì)，再次代入到式⑵中進(jìn)行反演，得到去霧后的圖像。通過該評(píng)估方法優(yōu)化估計(jì)網(wǎng)絡(luò)的網(wǎng)絡(luò)模型，獲得效果較好的去霧后的圖像。

2 實(shí)驗(yàn)與分析

2.1 實(shí)驗(yàn)數(shù)據(jù)集介紹

實(shí)驗(yàn)數(shù)據(jù)采用包含室內(nèi)帶霧圖片集（ITS）和室外帶霧圖片集（OTS）的RESIDE數(shù)據(jù)集和根據(jù)經(jīng)典大氣光散射模型公式，設(shè)置不同的大氣光強(qiáng)度后得到的人工合成帶霧圖像的NYU2數(shù)據(jù)集[5]。選取室內(nèi)、外混合圖片集（HSTS）中10張人工合成霧圖像和10張真實(shí)生活圖像作為測(cè)試集。在實(shí)驗(yàn)中，將兩部分?jǐn)?shù)據(jù)集對(duì)應(yīng)的訓(xùn)練集和測(cè)試集分別集合在一起，總訓(xùn)練集數(shù)據(jù)近38390張，訓(xùn)練集占70%，測(cè)試集30%，部分?jǐn)?shù)據(jù)集圖片如圖4所示。

2.2 實(shí)驗(yàn)設(shè)置

本文算法采用Ubuntu 16.04操作系統(tǒng)和深度學(xué)習(xí)框架Pytorch，實(shí)現(xiàn)了集估計(jì)階段、模型計(jì)算以及鑒別評(píng)估于一體的霧圖恢復(fù)算法。CPU （Central Processing Unit）為Intel（R） Core（TM） i5-8600，主頻3.10GHz;內(nèi)存：16G;GPU（Graphics Processing Unit）：NVIDIA GTX 1080Ti。

2.3 實(shí)驗(yàn)分析

2.3.1 定量分析

為了驗(yàn)證本文算法的有效性和優(yōu)越性，我們的實(shí)驗(yàn)對(duì)比了直方圖均衡化去霧算法（HE）[6]、單尺度同態(tài)濾波去霧算法（SHF）[7]、多尺度同態(tài)濾波去霧算法（MHF）[8]、卷積神經(jīng)網(wǎng)絡(luò)去霧算法（CNN）[9]、AOD-Net去霧算法（AOD）[10]以及本文算法（EAEDN）等多種算法在測(cè)試集上的去霧效果。其中包括平均PSNR值、平均SSIM值等圖像質(zhì)量評(píng)價(jià)指標(biāo)，如表1所示;處理單張圖片的耗時(shí)結(jié)果如表2所示。

PSNR的計(jì)算定義為給定一個(gè)m×n的干凈圖像I和噪聲圖像K，其均方誤差（MSE）定義為：

[MSE=1mni=0m-1j=0n-1[I（i，j）-K（i，j）]2]? ⑷

則PSNR（dB）定義為：

PSNR=10?[log10（MAX2IMSE）]? ⑸

像素i的SSIM值由定義計(jì)算得出：

[SSIM（i）=2μxμy+C1μ2x+μ2y+C1?2δxy+C2δ2x+δ2y+C2]? ⑹

SSIM值在（0，1）范圍內(nèi)，當(dāng)兩個(gè)圖像完全相同時(shí)，SSIM=1。因此，使用[1-SSIM（i）]來計(jì)算像素的損失，SSIM損失函數(shù)定義如下：

[lssim=1Ni∈I1-SSIM（i）]? ⑺

表1的對(duì)比數(shù)據(jù)說明了本文所提EAEDN去霧模型的平均PSNR、SSIM指標(biāo)相對(duì)其他算法都取得了更好的表現(xiàn)。這是因?yàn)?，一方面EAEDN網(wǎng)絡(luò)在透射圖t（x）與大氣光值A(chǔ)（x）估計(jì)階段分別采用了不同的網(wǎng)絡(luò)模型進(jìn)行圖像去霧特征的提取，這使得EAEDN模型能夠?qū)W習(xí)到相對(duì)更好的圖像去霧特征;另外一方面與GAN鑒別評(píng)估網(wǎng)絡(luò)存在密切關(guān)系。表2中記錄了是否利用GPU處理分辨率1024×768圖片的耗時(shí)對(duì)比。結(jié)果表明，在利用GPU處理的情況下，EAEDN網(wǎng)絡(luò)模型相比于其他算法可以更快速有效地處理帶霧圖片。

2.3.2 定性分析

圖5包括了室內(nèi)和室外場(chǎng)景下的去霧效果對(duì)比圖。從圖像細(xì)節(jié)來看，前四幅圖像是對(duì)真實(shí)生活中拍攝的帶霧圖片進(jìn)行去霧處理并做出相應(yīng)比對(duì);后四幅圖像是將清晰圖像通過大氣散射模型加霧后進(jìn)行處理的效果對(duì)比?？梢杂^察到，即使先前的方法能夠消除輸入圖像中的霧，但它們傾向于使圖像過度模糊或模糊不足，從而使結(jié)果變暗或模糊。

對(duì)比結(jié)果表明，EAEDN對(duì)于諸如包含天空白云、霧霾集中區(qū)域去霧效果較好。從視覺感官上來看，經(jīng)過EAEDN模型去霧后，圖像在清晰度、亮度、色彩飽和度及圖像對(duì)比度上都有了更高的優(yōu)越性。無論是從客觀角度分析還是主觀對(duì)比層次，從最終的結(jié)果可以看出，本文所采用的EAEDN模型保留了更清晰的輪廓，同時(shí)減少了顏色失真，并且在視覺上更接近于真實(shí)環(huán)境，本文所提去霧算法能夠?qū)崿F(xiàn)更好的去霧效果，并具有視覺吸引力。

3 結(jié)束語

本文針對(duì)霧霾天氣下圖像去霧問題，運(yùn)用深度學(xué)習(xí)方法，提出融合估計(jì)與評(píng)估網(wǎng)絡(luò)的去霧算法。通過神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取，獲得參數(shù)估值，結(jié)合霧圖成像模型進(jìn)行反演從而實(shí)現(xiàn)端到端網(wǎng)絡(luò)的圖像去霧，智能化實(shí)現(xiàn)霧霾圖像增強(qiáng)技術(shù)，并運(yùn)用對(duì)稱的GAN網(wǎng)絡(luò)鑒別器進(jìn)行博弈鑒別去霧后的圖像是否為最優(yōu)估計(jì)。仿真結(jié)果表明，該算法在定量、定性的評(píng)價(jià)指標(biāo)上均優(yōu)于傳統(tǒng)算法。后期可以通過優(yōu)化網(wǎng)絡(luò)模型，減少網(wǎng)絡(luò)參數(shù)實(shí)現(xiàn)輕量化網(wǎng)絡(luò)，以便于在嵌入式終端進(jìn)行移植實(shí)現(xiàn)。

參考文獻(xiàn)（References）：

[1] 宋佳怡，謝維信，王鑫.融合暗通道濾波和空間金字塔的圖像去霧算法[J].信號(hào)處理，2019（5）：816-824

[2] 溫立民，巨永鋒，王會(huì)峰，等.基于雙邊濾波暗原色透射率細(xì)化的圖像去霧算法[J].測(cè)控技術(shù)，2020，338（4）：67-70

[3] Cai B， Xu X， Jia K， et al. DehazeNet： An End-to-End System for Single Image Haze Removal[J].IEEE Transactions on Image Processing，2016，25（11）：5187-5198

[4] Zhu H， Xi P， Chandrasekhar V， et al. DehazeGAN： When Image Dehazing Meets Differential Programming[C]// Twenty-Seventh International Joint Conference on Artificial Intelligence IJCAI-18，2018

[5] 賀薪宇，王橙橙，魏強(qiáng)，等.一種基于暗原色先驗(yàn)?zāi)Ｐ偷幕旌蠟V波圖像去霧算法[J].北華大學(xué)學(xué)報(bào)，2020（4）

[6] 李慶玄，王麗豐，靳濟(jì)方.基于巴特沃斯低通濾波的直方圖均衡化去霧算法[J].北京電子科技學(xué)院學(xué)報(bào)，2019，3：7

[7] 郭瑞，黨建武，沈瑜，等.改進(jìn)的單尺度Retinex圖像去霧算法[J].蘭州交通大學(xué)學(xué)報(bào)，2018，37（6）：75-81

[8] 肖勝筆，李燕.具有顏色保真性的快速多尺度Retinex去霧算法[J].計(jì)算機(jī)工程與應(yīng)用，2015，51（6）：176-180

[9] 徐巖，孫美雙.基于多特征融合的卷積神經(jīng)網(wǎng)絡(luò)圖像去霧算法[J].激光與光電子學(xué)進(jìn)展，2018，55（3）：254-263

[10] 陳瓊紅，冀杰，種一帆，等.基于AOD-Net和SSD的霧天車輛和行人檢測(cè)[J].重慶理工大學(xué)學(xué)報(bào)：自然科學(xué)，2021，35（5）：10