結(jié)合FC-DenseNet和WGAN的圖像去霧算法*

孫 斌，雎青青，桑慶兵

江南大學(xué) 物聯(lián)網(wǎng)工程學(xué)院，江蘇 無錫 214122

1 引言

霧霾天氣下，空氣中存在大量諸如水蒸氣、粉塵等懸浮顆粒。它們吸收并散射光線，致使設(shè)備采集的圖片出現(xiàn)嚴(yán)重顏色衰減，清晰度、對(duì)比度下降，視覺效果差，這對(duì)后續(xù)計(jì)算機(jī)視覺任務(wù)造成嚴(yán)重影響。因此，對(duì)霧霾圖像進(jìn)行有效去霧是很有必要的。

近年來，圖像去霧算法研究取得了重大進(jìn)展。現(xiàn)階段，圖像去霧研究主要分成兩種，基于特征和先驗(yàn)的方法以及基于學(xué)習(xí)的方法。基于特征和先驗(yàn)的去霧算法側(cè)重對(duì)透射圖的估計(jì)，其難點(diǎn)在于特征和先驗(yàn)的選擇。常用的特征和先驗(yàn)有如下幾種：（1）對(duì)比度。Tan[1]通過統(tǒng)計(jì)發(fā)現(xiàn)無霧圖像對(duì)比度高，從而通過最大化圖像的局部對(duì)比度進(jìn)行圖像去霧。（2）暗通道先驗(yàn)（dark channel prior，DCP）。He 等[2]發(fā)現(xiàn)在無霧圖像中暗通道的值接近零，進(jìn)而用此來估計(jì)透射圖，并且根據(jù)大氣散射模型計(jì)算出無霧圖像。（3）顏色衰減先驗(yàn)（color attenuation prior，CAP）。Zhu 等[3]通過統(tǒng)計(jì)發(fā)現(xiàn)霧的濃度與亮度和飽和度的差成正比，并創(chuàng)建了場景深度的線性模型求解場景深度，進(jìn)而計(jì)算出無霧圖像。

基于學(xué)習(xí)的去霧算法可以分為兩種，分步學(xué)習(xí)算法和端到端學(xué)習(xí)算法。分步學(xué)習(xí)算法與傳統(tǒng)方法類似，側(cè)重對(duì)中間變量的預(yù)測。例如，Cai等[4]通過分析人工先驗(yàn)特征，設(shè)計(jì)了DehazeNet，以完成對(duì)透射圖的預(yù)測。與之相似，Ren等[5]提出了一種多尺度卷積神經(jīng)網(wǎng)絡(luò)（single image dehazing via multi-scale convolu-tional neural networks，MSCNN），通過兩個(gè)不同尺度的網(wǎng)絡(luò)模型，完成對(duì)透射圖的精準(zhǔn)預(yù)測；端到端學(xué)習(xí)算法，通過設(shè)計(jì)全卷積神經(jīng)網(wǎng)絡(luò)簡單高效地實(shí)現(xiàn)圖像去霧。例如，考慮到上述算法忽略對(duì)大氣光值的合理預(yù)測，Li 等[6]利用線性變化將大氣散射模型[7]中的多個(gè)中間變量整合成為一個(gè)，并提出AOD_Net（all-in-one dehazing network）直接預(yù)測無霧圖像。

基于模型的去霧算法緊扣大氣散射模型，嚴(yán)重依賴對(duì)中間變量的準(zhǔn)確預(yù)測。事實(shí)上，每種算法在中間量的預(yù)測上均存在誤差，在計(jì)算無霧圖像時(shí)會(huì)放大誤差[8]，致使圖片失真。相比之下，目前端到端去霧算法雖然可以避免這些誤差，但依舊存在特征學(xué)習(xí)不充分，圖片細(xì)節(jié)恢復(fù)不夠逼真[9]的問題。

為此，本文提出了一種基于Wasserstein 生成對(duì)抗網(wǎng)絡(luò)（Wasserstein generative adversarial networks，WGAN）[10]的端到端去霧模型。為充分提取和融合霧的特征，本文使用FC-DenseNet[11]在網(wǎng)絡(luò)規(guī)模較小的情況下充分學(xué)習(xí)圖像中霧的特征；考慮到圖像去霧和去噪之間的相似性，本文將大氣散射模型公式重新變形，通過深度殘差學(xué)習(xí)得到清晰圖像特征，并實(shí)現(xiàn)端到端的去霧；同時(shí)，為保護(hù)圖片的結(jié)構(gòu)細(xì)節(jié)信息，在以均方誤差(mean square error，MSE)為損失函數(shù)的基礎(chǔ)上，本文引入了感知結(jié)構(gòu)損失構(gòu)成了復(fù)合損失函數(shù)。為生成更加清晰自然的無霧圖片，本文使用WGAN 對(duì)生成圖片進(jìn)行細(xì)致優(yōu)化，從而生成更加清晰真實(shí)的無霧圖像。

2 相關(guān)工作

2.1 大氣散射模型

在計(jì)算機(jī)視覺領(lǐng)域，為了克服霧霾引起的圖像失真問題，McCartney[7]提出了可以用來描述有霧圖像形成過程的大氣散射模型，其公式如下：

其中，I(x)為有霧圖像，J(x)為無霧圖像。A(x)為大氣光值，代表大氣光強(qiáng)度。t(x)為透射率，表示光線通過大氣媒介傳播到達(dá)成像設(shè)備過程中沒有被散射的部分，x代表像素位置。式中右邊第一項(xiàng)為直接衰減項(xiàng)，代表經(jīng)過大氣衰減后的物體的反射光，而第二項(xiàng)則表示為經(jīng)過大氣散射得到的增強(qiáng)的大氣光。

當(dāng)大氣成分均勻，即A(x)恒定時(shí)，透射率可以表示為：

其中，β表示大氣的衰減系數(shù)，d(x)是指場景深度。從公式中不難發(fā)現(xiàn)，場景深度和大氣光值對(duì)圖像去霧效果有很大的影響。在單幅圖像去霧中，僅有霧圖像已知，大氣光值和場景深度均未知，而且關(guān)于大氣成分均勻的假定并不一定成立。因此，如何對(duì)霧霾圖像有效去霧是極具挑戰(zhàn)性的問題。

2.2 生成對(duì)抗網(wǎng)絡(luò)及其改進(jìn)

生成式對(duì)抗網(wǎng)絡(luò)（generative adversarial networks，GAN）是Goodfellow 等[12]設(shè)計(jì)出的一種深度學(xué)習(xí)模型。GAN由生成器G和判別器D構(gòu)成。受二人零和博弈啟發(fā)，生成器G盡可能生成逼真樣本欺騙判別器D，而判別網(wǎng)絡(luò)D盡量區(qū)分生成樣本和真實(shí)樣本。原始GAN以其具有生成良好感知質(zhì)量的樣本的能力而聞名，然而依舊存在模型崩潰、梯度彌散等缺陷。為了解決GAN 訓(xùn)練不穩(wěn)定，模型容易崩潰的問題，Arjovsky等[10]從理論上分析了JS（Jensen-Shannon）散度不適合衡量分布之間不相交部分的距離，轉(zhuǎn)而使用Wasserstein（Earth-Mover）距離W(q,p)去衡量生成數(shù)據(jù)和真實(shí)數(shù)據(jù)分布之間的距離，進(jìn)而提出了WGAN。WGAN的損失函數(shù)如下：

這里，D 為滿足Lipschitz連續(xù)的非線性函數(shù)集，Pg為生成數(shù)據(jù)分布，Pr為真實(shí)數(shù)據(jù)分布，在使用Wassers-tein 距離優(yōu)化方式訓(xùn)練WGAN 時(shí)，判別網(wǎng)絡(luò)D需要滿足Lipschitz 連續(xù)性，即判別值近似于K×W(Pr,Pg)，其中K作為Lipschitz 常數(shù)，代表判別網(wǎng)絡(luò)梯度值的上界，而W(Pr,Pg)為Wasserstein距離，在網(wǎng)絡(luò)訓(xùn)練時(shí)，通過將判別網(wǎng)絡(luò)權(quán)值限制為[-c,c]的方式，確保權(quán)值參數(shù)的有界性，進(jìn)而間接限制其梯度信息。

3 基于WGAN的圖像去霧算法

本文借鑒生成對(duì)抗網(wǎng)絡(luò)在低級(jí)視覺任務(wù)中的成功應(yīng)用[13-15]，提出了一種基于WGAN 的圖像去霧模型。該模型采用殘差學(xué)習(xí)思想將退化圖像中霧的特征剔除得到清晰圖像的特征，從而實(shí)現(xiàn)端到端去霧操作，并使用WGAN對(duì)生成圖像優(yōu)化，使生成圖像更加清晰逼真。

3.1 生成網(wǎng)絡(luò)框架

本文將大氣散射模型式（1）重新編寫：

其中，e(x)是指有霧圖像中有霧部分信息。這與圖像去噪模型類似，DeblurGan[15]利用深度殘差思想將原始圖像中高斯噪聲的特征剔除，得到清晰圖像的特征，并實(shí)現(xiàn)端到端的去噪。與之相似，本文利用深度殘差學(xué)習(xí)，得到無霧圖片的特征，實(shí)現(xiàn)端到端的去霧。本文生成網(wǎng)絡(luò)模型主要由三部分組成，分別是多尺度特征提取、特征學(xué)習(xí)以及清晰圖像重建，其網(wǎng)絡(luò)結(jié)構(gòu)圖如圖1所示。其中，f表示卷積核的尺寸，c為通道數(shù)，代表卷積核的個(gè)數(shù)，s為卷積步長，若不寫則默認(rèn)為1。

Fig.1 Structure of generator network圖1 生成網(wǎng)絡(luò)結(jié)構(gòu)圖

（1）多尺度特征提取。文獻(xiàn)[4-5]證明多尺度特征可以保留原始圖片更多細(xì)節(jié)信息，提高網(wǎng)絡(luò)在不同尺度下的魯棒性，有利于圖像去霧。本文首先采用64個(gè)卷積核對(duì)有霧圖片進(jìn)行卷積操作得到初始特征圖，然后與Inception_v1[16]類似，分別使用1×1、3×3、5×5 和7×7 四種不同尺度的卷積核對(duì)原始特征圖進(jìn)行特征提取，同時(shí)為控制模型規(guī)模、簡化模型，這里每種卷積核個(gè)數(shù)置為16，并將各尺度特征圖疊加，作為有霧圖像的多尺度特征。

（2）特征學(xué)習(xí)。本文使用全卷積密集塊網(wǎng)絡(luò)（fully convolutional DenseNet，F(xiàn)C-DenseNet）模型從原始圖像特征圖中學(xué)習(xí)霧的特征信息。類似于U-Net[17]，F(xiàn)C-DenseNet 主要分為編碼部分、解碼部分和跳躍連接三部分。在編碼部分，使用5 組稠密塊（dense block，DB）及相應(yīng)的池化模塊（transition down，TD）提取特征；在解碼部分，使用5 組Dense Block 及相應(yīng)的上采樣模塊（transition up，TU）融合特征。在編碼與解碼過程中，由于使用了下采樣操作，對(duì)獲取到的特征信息造成了一定程度的損失，因此在上采樣過程中，將上采樣得到的特征圖與編碼部分下采樣之前的特征圖級(jí)聯(lián)，避免特征信息丟失，并作為下一層DB的輸入；在編碼過程中，每一個(gè)DB的輸入特征和輸出特征又進(jìn)行了級(jí)聯(lián)，但是在解碼過程中，DB的輸入和輸出沒有級(jí)聯(lián)，其原因在于編碼和解碼過程中相同維度的淺層特征與深層特征已經(jīng)存在跳躍連接，如果將其輸入與輸出級(jí)聯(lián)，便會(huì)出現(xiàn)特征冗余的情況；同時(shí)特征數(shù)量的線性增長導(dǎo)致內(nèi)存需求過大，計(jì)算速度降低的情況。

DB 塊結(jié)構(gòu)組成與DenseNet[18]類似，在一個(gè)DB中，每一層的輸入是前面所有層的輸出的總和，每一層的輸出又構(gòu)成了其后每一層的輸入，通過將特征圖重復(fù)疊加，實(shí)現(xiàn)特征的重用。本文采用的DB塊結(jié)構(gòu)，如圖2 所示。其中，C 表示通道級(jí)聯(lián)操作。一個(gè)DB 包含4 層layer 層，每個(gè)layer 層包含批標(biāo)準(zhǔn)化（batch normalization，BN）層、修正線性單元（rectified linear unit，Relu）層、卷積（convolution，Conv）層，通道數(shù)為16；一個(gè)TD 塊包含了BN 層、Relu 層、Conv 層，通道數(shù)為64以及最大池化層；一個(gè)TU塊包含上采樣層操作。

Fig.2 Structure of DB圖2 DB網(wǎng)絡(luò)結(jié)構(gòu)

（3）清晰圖像重建。上述兩部分分別求得原始圖像特征和霧的相關(guān)特征。本文借助殘差學(xué)習(xí)[19]的思想，將原始圖像特征與霧的特征相減，得到清晰圖像的特征，并通過兩層卷積完成清晰圖像的重建。其具體操作如圖1 所示，主要包括一個(gè)Elementwise subtraction 層；一個(gè)特征融合層包含通道數(shù)為64 的Conv層、BN層和Relu層；一個(gè)通道數(shù)為3的Conv層作為輸出層，其激活函數(shù)為雙曲正切（hyperbolic tangent，tanh）函數(shù)。

3.2 判別網(wǎng)絡(luò)框架

判別網(wǎng)絡(luò)的作用是盡可能把真實(shí)圖像和生成網(wǎng)絡(luò)生成的圖像區(qū)分開來。和大多數(shù)GAN網(wǎng)絡(luò)結(jié)構(gòu)一樣，判別網(wǎng)絡(luò)的結(jié)構(gòu)設(shè)計(jì)一般不用太復(fù)雜，本文的判別網(wǎng)絡(luò)如圖3所示。不同于原始GAN的判別器作為一個(gè)真假二分類器，在WGAN 中判別器D(x)的目的是近似擬合真實(shí)樣本與生成樣本之間的Wasserstein距離，屬于回歸任務(wù)，因此網(wǎng)絡(luò)輸出端并沒有使用Sigmoid激活函數(shù)而是直接輸出結(jié)果。

Fig.3 Architecture of discriminator network圖3 判別網(wǎng)絡(luò)結(jié)構(gòu)

3.3 損失函數(shù)

本文的損失函數(shù)由兩部分組成，WGAN 的對(duì)抗損失和生成網(wǎng)絡(luò)的內(nèi)容損失。其公式如下：

其中，因?yàn)榫W(wǎng)絡(luò)更加注重生成圖片的質(zhì)量，為凸顯圖像內(nèi)容損失，本文置λ1=1，λ2=100。LWGAN為對(duì)抗損失，大多數(shù)條件生成對(duì)抗網(wǎng)絡(luò)（conditional generative adversarial networks，CGAN）[20]的論文都使用vanilla GAN objective 作為損失函數(shù)，這種損失函數(shù)在網(wǎng)絡(luò)訓(xùn)練時(shí)會(huì)帶來梯度消失等不穩(wěn)定情況，本文使用WGAN 作為判別函數(shù)，主要原因在于不同于原始GAN，其不需要糾結(jié)如何平衡判別網(wǎng)絡(luò)和生成網(wǎng)絡(luò)的訓(xùn)練程度，大大提高了訓(xùn)練的穩(wěn)定性，同時(shí)也避免了相應(yīng)的生成樣本分布不均[21]的問題。式（3）為WGAN的損失函數(shù)，在優(yōu)化生成網(wǎng)絡(luò)時(shí)，其判別網(wǎng)絡(luò)固定，因此僅需優(yōu)化式（3）中后面部分。其生成網(wǎng)絡(luò)的對(duì)抗損失函數(shù)如下所示：

這里，Pg為生成清晰圖像數(shù)據(jù)分布，D(x)為判別網(wǎng)絡(luò)輸出。

Lcontent為生成網(wǎng)絡(luò)的內(nèi)容損失，其直接影響到生成圖片的質(zhì)量。為確保生成圖像結(jié)構(gòu)和內(nèi)容上的相似性，本文采用復(fù)合損失函數(shù)對(duì)生成圖片進(jìn)行優(yōu)化。其由兩部分組成，其公式如下：

其中，LMSE即MSE 損失，LVGG為感知損失。MSE 損失是一種低級(jí)特征約束，其側(cè)重于像素級(jí)別誤差調(diào)整，表現(xiàn)在生成圖像上，則是更注重圖像顏色內(nèi)容信息。這里將生成偽清晰圖像和真實(shí)標(biāo)簽圖像做均方誤差，其公式如下：

其中，C為圖像高級(jí)語義特征的通道數(shù)，W×H為圖像特征維度大小。F為VGG16網(wǎng)絡(luò)模型特征提取，本文采用第4 層池化層之前的卷積層作為高級(jí)語義特征圖，對(duì)特征圖進(jìn)行MSE 損失計(jì)算從而得到感知損失，網(wǎng)絡(luò)越深，特征越抽象。

本文提出的改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)的圖像去霧模型，其優(yōu)勢(shì)如下：（1）通過簡化大氣散射模型，采用殘差學(xué)習(xí)思想將退化圖像中霧的特征剔除得到清晰圖像的特征，從而避免在預(yù)測中間變量上的損失，相較于其他算法去霧效果更優(yōu)；（2）通過構(gòu)建FC-DenseNet進(jìn)行特征提取，相較于其他方法，該模型能夠在網(wǎng)絡(luò)規(guī)模較小的情況下，充分提取和融合圖像特征；（3）復(fù)合內(nèi)容損失函數(shù)兼顧生成圖像內(nèi)容和結(jié)構(gòu)上的信息，并使用WGAN對(duì)生成結(jié)果細(xì)致優(yōu)化，生成清晰逼真的無霧圖像；（4）該網(wǎng)絡(luò)的輸入是整幅圖像，與其他算法切塊操作[23]相比，一定程度上可以有效防止算法的過擬合，提高算法的泛化能力。

4 實(shí)驗(yàn)結(jié)果

為評(píng)估本文模型性能，本文在合成數(shù)據(jù)集和真實(shí)場景圖像上與幾種先進(jìn)的單幅圖像去霧算法進(jìn)行比較，本文選取的對(duì)比算法主要包括DCP[2]、CAP[3]、DehazeNet[4]、MSCNN[5]、AOD_Net[6]，其 中DCP 和CAP算法為基于先驗(yàn)特征的傳統(tǒng)方法，DehazeNet和MSCNN 為基于多步學(xué)習(xí)的深度學(xué)習(xí)方法，而AOD_Net為端到端圖像去霧算法。此外，為證明本文網(wǎng)絡(luò)模塊設(shè)計(jì)的有效性，本文對(duì)模型進(jìn)行剝離對(duì)比實(shí)驗(yàn)。

4.1 實(shí)驗(yàn)設(shè)置

數(shù)據(jù)集：由于目前的研究中沒有真實(shí)場景的霧霾圖像數(shù)據(jù)集，與已知基于深度學(xué)習(xí)的圖像去霧算法[4-5]類似，本文采用NYU Depth Dataset V2[24]作為基礎(chǔ)數(shù)據(jù)集，該數(shù)據(jù)集包含1 449 張640×480 的室內(nèi)彩色圖像及其場景深度圖。本文選取其中1 200 張圖片作為基礎(chǔ)訓(xùn)練數(shù)據(jù)集，選取其余200張圖片作為基礎(chǔ)測試數(shù)據(jù)集。針對(duì)每一張圖片，隨機(jī)生成4組大氣光值α和大氣衰減系數(shù)β，其中α∈[0.7,1.0]，β∈[0.6,1.6]，然后根據(jù)式（1）計(jì)算出4組透射圖和合成有霧圖像。本文共生成4 800 張有霧圖像及其透射圖作為訓(xùn)練集，生成800 張有霧圖像作為合成圖像測試集。為驗(yàn)證本文模型的泛化能力，本文收集了100張真實(shí)場景圖片作為真實(shí)場景測試集。

參數(shù)設(shè)置：在網(wǎng)絡(luò)訓(xùn)練階段，每層卷積核初始化為高斯分布，偏置初始化為0，學(xué)習(xí)率初始化為0.000 1，模型訓(xùn)練采用小批量訓(xùn)練的方式，batch-size為2。本文模型的訓(xùn)練使用Keras 深度學(xué)習(xí)架構(gòu)，采用RMS-prop算法優(yōu)化模型參數(shù)，訓(xùn)練次數(shù)為100。實(shí)驗(yàn)機(jī)器為帶有Nvidia GTX1080 GPU的計(jì)算機(jī)。

4.2 合成數(shù)據(jù)集上實(shí)驗(yàn)結(jié)果分析

為驗(yàn)證本文算法的去霧效果，本文在合成數(shù)據(jù)測試集上將本文模型與現(xiàn)有經(jīng)典算法進(jìn)行對(duì)比。在合成數(shù)據(jù)集中，有霧圖像對(duì)應(yīng)的清晰圖像已知，因此能夠定性和定量地評(píng)估模型性能。

圖4 所示為測試集中比較典型的兩個(gè)樣本的去霧結(jié)果。其中第一幅圖像背景較為昏暗，圖像細(xì)節(jié)恢復(fù)無疑是個(gè)挑戰(zhàn)。從圖中不難發(fā)現(xiàn)，傳統(tǒng)方法DCP和CAP 去霧結(jié)果相較于基于學(xué)習(xí)的方法，顏色更加鮮艷，但存在過度去霧的情況，圖中主要表現(xiàn)為去霧后整體顏色偏深，在地毯處丟失相關(guān)細(xì)節(jié)特征。而基于學(xué)習(xí)的方法DehazeNet、MSCNN、AOD_Net均存在去霧程度不夠的情況，相比之下本文算法去霧結(jié)果與原圖更相似。第二幅圖圖像背景較為明亮，其難點(diǎn)在于在去除霧的同時(shí)保留遠(yuǎn)景的細(xì)節(jié)信息，從圖中不難發(fā)現(xiàn)DCP、CAP算法過度去霧，造成顏色失真，具體表現(xiàn)為圖中地磚顏色過深；而基于學(xué)習(xí)的算法依舊存在去霧程度不足，圖像細(xì)節(jié)信息丟失的問題，具體表現(xiàn)為圖中墻壁的亮度較為昏暗和窗外樹的細(xì)節(jié)信息缺失。而本文算法去霧效果更貼近原圖。不難發(fā)現(xiàn)，本文所提的算法總體適用性強(qiáng)，去霧結(jié)果與原始無霧圖像也最為接近。

Fig.4 Dehazing results on synthetic images圖4 合成圖像上的去霧結(jié)果

為了從客觀角度評(píng)價(jià)本文算法的優(yōu)劣，本文采用峰值信噪比[25]（peak signal to noise ratio，PSNR）和結(jié)構(gòu)相似度[26]（structural similarity index，SSIM）作為客觀評(píng)價(jià)指標(biāo)。峰值信噪比反映了圖像結(jié)構(gòu)信息的完整性，其值越高，圖像受噪聲的影響越小。結(jié)構(gòu)相似度反映了圖像結(jié)構(gòu)信息的相似性，其值越大，圖像越相近，失真差異越小。六種算法去霧前后的SSIM和PSNR指標(biāo)結(jié)果如表1所示。與其他算法相比，本文算法結(jié)構(gòu)相似度指標(biāo)值更高，說明本文算法在去霧前后圖像的結(jié)構(gòu)更為相似，在圖像邊緣細(xì)節(jié)處復(fù)原效果較好；且本文算法在峰值信噪比指標(biāo)上明顯占有優(yōu)勢(shì)，表明本文算法的去霧圖像與原始清晰圖像像素級(jí)差異小，受噪聲影響更小，圖像更加清晰，去霧質(zhì)量得到顯著提高。

Table 1 SSIM,PSNR values on synthetic dataset表1 合成數(shù)據(jù)集的SSIM、PSNR值

4.3 真實(shí)圖像上的實(shí)驗(yàn)結(jié)果分析

本文模型在合成霧天圖像數(shù)據(jù)集上進(jìn)行訓(xùn)練，并在合成測試集上取得了不錯(cuò)的去霧效果。由于真實(shí)場景與合成霧天圖片在視覺觀感上依舊存在差距，為驗(yàn)證本文算法的泛化能力，在自然場景數(shù)據(jù)集上將本文算法與其他算法進(jìn)行比較，去霧結(jié)果如圖5、圖6所示。

圖5 為一般場景去霧效果圖，其中，第一幅圖為人物場景圖像，傳統(tǒng)算法DCP、CAP在面部和頭發(fā)的處理上出現(xiàn)了色彩失真、去霧過度的現(xiàn)象，基于學(xué)習(xí)的方法DehazeNet、MSCNN、AOD_Net依舊存在去霧不完全的情況，并且在細(xì)節(jié)處理上依舊存在瑕疵，主要表現(xiàn)在頭發(fā)顏色和背景信息的復(fù)原上；第二幅圖為風(fēng)景圖，從圖中不難發(fā)現(xiàn)，傳統(tǒng)方法和基于學(xué)習(xí)的方法會(huì)出現(xiàn)顏色失真、場景恢復(fù)不夠自然的情況，而本文算法可以在保護(hù)圖像顏色與對(duì)比度信息的情況下，生成更為清晰的圖像。

Fig.5 Dehazing results on general images圖5 一般場景去霧效果圖

Fig.6 Dehazing results on complex images圖6 復(fù)雜場景下的去霧效果圖

圖6 為復(fù)雜場景下的實(shí)驗(yàn)效果圖。復(fù)雜場景下的去霧側(cè)重在大氣光值較低、背景較為昏暗的情況下，盡可能恢復(fù)圖像的細(xì)節(jié)信息，這是圖像去霧中一大難點(diǎn)。圖6中第一幅圖為陰雨天氣，第二幅圖為夜間有霧圖像。實(shí)驗(yàn)結(jié)果表明，傳統(tǒng)算法對(duì)此類圖像的處理不太理想，均出現(xiàn)顏色扭曲和色彩失真的現(xiàn)象。本文算法效果相較于深度學(xué)習(xí)的方法（DehazeNet、MSCNN、AOD_Net），去霧圖像細(xì)節(jié)信息保存完整，顏色恢復(fù)比較自然，去霧程度適中。因此可知，本文算法在自然霧天圖像的處理優(yōu)于其他對(duì)比算法，適用性強(qiáng)。

4.4 模型對(duì)比實(shí)驗(yàn)

為驗(yàn)證本文模型設(shè)計(jì)的合理性，本文對(duì)提出的模型進(jìn)行剝離實(shí)驗(yàn)對(duì)比。對(duì)比模型主要包括：（1）僅使用多尺度特征提取模塊和FC-DenseNet 特征學(xué)習(xí)模塊的model_1，其損失函數(shù)為MSE損失；（2）僅使用本文生成網(wǎng)絡(luò)模型的model_2，其損失函數(shù)為MSE損失；（3）使用本文生成網(wǎng)絡(luò)模型，損失函數(shù)為MSE 損失，并使用WGAN 進(jìn)行優(yōu)化的model_3；（4）本文模型，即使用本文生成網(wǎng)絡(luò)模型，損失函數(shù)為MSE損失和感知損失構(gòu)成的復(fù)合損失，使用WGAN 進(jìn)行優(yōu)化。本文在合成測試集上對(duì)幾種模型進(jìn)行定性和定量的評(píng)估。

表2 中所示為各模型在合成數(shù)據(jù)集上各項(xiàng)指標(biāo)的計(jì)算結(jié)果，與model_2相比，model_1未引入殘差學(xué)習(xí)思想，反映在網(wǎng)絡(luò)結(jié)構(gòu)上，則是缺少Elementwise subtraction層，網(wǎng)絡(luò)參數(shù)一樣，實(shí)驗(yàn)數(shù)據(jù)表明這兩種模型相差不大；與model_2 相比，model_3 使用WGAN對(duì)生成結(jié)果進(jìn)行細(xì)致優(yōu)化，從實(shí)驗(yàn)結(jié)果中可以看出，model_3的SSIM和PSNR均比model_2高，這說明生成對(duì)抗網(wǎng)絡(luò)能夠促使網(wǎng)絡(luò)優(yōu)化，對(duì)圖像去霧有利；與其他模型相比，本文模型的SSIM 和PSNR 值均有所降低，原因在于為更好恢復(fù)圖像細(xì)節(jié)，本文模型中加入了感知損失，這樣很好地恢復(fù)圖像高頻細(xì)節(jié)信息，但也會(huì)造成一些像素級(jí)別的信息丟失。

Table 2 SSIM,PSNR values of different models表2 不同模型的SSIM、PSNR值

表2中的數(shù)據(jù)是在合成測試數(shù)據(jù)集中計(jì)算的，合成測試集與訓(xùn)練集相似度很高，致使兩種評(píng)價(jià)指標(biāo)的值都比較高。本文在真實(shí)場景下對(duì)模型的泛化能力進(jìn)行評(píng)估，由于model_1 與model_2 的去霧結(jié)果相差不大，本文只選取model_2 進(jìn)行實(shí)驗(yàn)對(duì)比，實(shí)現(xiàn)結(jié)果如圖7 所示。通過對(duì)比不難發(fā)現(xiàn)，從整體上看，三個(gè)模型均有不錯(cuò)的去霧效果。但是，未使用生成對(duì)抗網(wǎng)絡(luò)的model_2生成的圖像顏色比較深，出現(xiàn)少許顏色失真。而使用WGAN 對(duì)網(wǎng)絡(luò)進(jìn)行優(yōu)化后的model_3生成圖像更為逼真，但出現(xiàn)了一些細(xì)節(jié)信息丟失的情況。而本文模型通過使用感知損失，獲得了細(xì)節(jié)更加豐富的圖像去霧效果?？傮w上說，本文提出的模型泛化能力強(qiáng)，去霧效果更優(yōu)。

Fig.7 Dehazing results of different models圖7 不同模型的去霧效果

5 結(jié)束語

本文提出了一種結(jié)合FC-DenseNet 和WGAN 的端到端圖像去霧算法，通過簡化大氣散射模型，采用殘差學(xué)習(xí)思想將退化圖像中霧的特征剔除得到清晰圖像的特征，從而實(shí)現(xiàn)端到端去霧；在特征提取過程中，本文利用DenseNet網(wǎng)絡(luò)規(guī)模小，可以特征重用的機(jī)制，通過構(gòu)建FC-DenseNet充分學(xué)習(xí)圖像中霧的特征；最后，本文使用復(fù)合內(nèi)容損失函數(shù)兼顧生成圖像內(nèi)容和結(jié)構(gòu)上的信息，并使用WGAN 對(duì)生成結(jié)果細(xì)致優(yōu)化，生成清晰逼真的無霧圖像。實(shí)驗(yàn)結(jié)果表明，與其他對(duì)比算法相比，本文算法去霧能力更優(yōu)，且可以用于其他低級(jí)視覺任務(wù)中。