基于改進(jìn)循環(huán)生成式對(duì)抗網(wǎng)絡(luò)的圖像去霧方法

黃山，賈俊

（四川大學(xué) 電氣工程學(xué)院，成都 610065）

0 概述

受霧霾天氣的影響，電子設(shè)備采集到的圖像往往存在顏色偏移、對(duì)比度低、場(chǎng)景模糊等問(wèn)題［1］，這對(duì)圖像特征相關(guān)的目標(biāo)識(shí)別［2］、視頻監(jiān)控［3］、自動(dòng)駕駛［4］等領(lǐng)域有著重要影響。因此，圖像去霧技術(shù)具有廣泛的研究意義和重要的社會(huì)意義［5］。

近年來(lái)，為提高帶霧圖像的質(zhì)量，眾多學(xué)者對(duì)圖像去霧技術(shù)進(jìn)行了研究與分析，提出了許多去霧方法，這些去霧方法根據(jù)原理的不同主要分為三類：第一類是基于圖像增強(qiáng)的去霧方法，第二類是基于物理模型的去霧方法，第三類是基于深度學(xué)習(xí)的去霧方法［6］。基于圖像增強(qiáng)的去霧方法主要通過(guò)增強(qiáng)圖像中場(chǎng)景的對(duì)比度、亮度以及色彩飽和度，使得圖像更加清晰［7］，此類方法的典型算法有直方圖均衡化［8］、Retinex 算法［9］、同態(tài)濾波［10］和小波變換［11］等。文獻(xiàn)［12］通過(guò)HSV 顏色模型與自適應(yīng)直方圖均衡化算法提高圖像的整體對(duì)比度，重構(gòu)出無(wú)霧圖像。文獻(xiàn)［13］提出一種單幅圖像去霧方法，以色彩恒常理論為基礎(chǔ)，使用增強(qiáng)調(diào)整因子來(lái)增強(qiáng)圖像中的顏色信息。基于物理模型的去霧方法主要通過(guò)數(shù)學(xué)模型來(lái)模擬霧圖降質(zhì)的過(guò)程，再將圖像逐漸清晰化，此類方法包括暗通道先驗(yàn)算法以及基于偏微分方程的算法［14］。文獻(xiàn)［15］提出的暗通道先驗(yàn)理論通過(guò)假設(shè)先驗(yàn)估計(jì)出模型的未知量，再逆向地復(fù)原出無(wú)霧圖像，由于該算法無(wú)須利用輔助設(shè)備或者額外信息對(duì)模型進(jìn)行約束，因此后續(xù)出現(xiàn)了大量文獻(xiàn)［16-18］這類以暗通道先驗(yàn)作為基礎(chǔ)的改進(jìn)算法。文獻(xiàn)［19］通過(guò)變分得到圖像的偏微分方程，結(jié)合大氣散射模型與梯度算子得到圖像之間的關(guān)系，對(duì)圖像進(jìn)行局部修正，還原場(chǎng)景的分辨率與真實(shí)色彩。隨著深度學(xué)習(xí)在計(jì)算機(jī)視覺(jué)研究中取得了較為明顯的進(jìn)展，不少學(xué)者開展了基于深度學(xué)習(xí)的去霧研究。文獻(xiàn)［20］將門控上下文聚合網(wǎng)絡(luò)用于圖像去霧中，在不需要套用先驗(yàn)知識(shí)的情況下建立了GCANet 網(wǎng)絡(luò)獲取無(wú)霧圖像。文獻(xiàn)［21］對(duì)大氣退化模型進(jìn)行了全新的估計(jì)，利用卷積神經(jīng)網(wǎng)絡(luò)深層結(jié)構(gòu)建立了DehazeNet模型用于圖像去霧，取得了較好的效果。文獻(xiàn)［22］設(shè)計(jì)了一種多合一除霧網(wǎng)絡(luò)AOD-Net，通過(guò)卷積神經(jīng)網(wǎng)絡(luò)從單個(gè)帶霧圖像直接獲取到無(wú)霧圖像。文獻(xiàn)［23］在神經(jīng)網(wǎng)絡(luò)中融入了注意力機(jī)制來(lái)提取圖像中的特征信息，從而獲取到擁有更多有用信息的目標(biāo)圖像。

目前的去霧算法雖然取得了一定的去霧效果，但是依然存在一些不足：基于圖像增強(qiáng)的去霧算法能夠?qū)D像中的環(huán)境起到突出的作用，但是去霧時(shí)容易丟失圖像的細(xì)節(jié)信息；基于物理模型的去霧算法考慮了霧化降低圖像質(zhì)量的根本因素，但是這類方法在去霧過(guò)程中加入的先驗(yàn)信息難以獲取，算法復(fù)雜度較高；基于深度學(xué)習(xí)的去霧算法利用神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)能力，能夠?qū)崿F(xiàn)端到端去霧，但是深度學(xué)習(xí)模型大多需要成對(duì)數(shù)據(jù)集進(jìn)行訓(xùn)練［24］，并且算法恢復(fù)出的無(wú)霧圖像存在不同程度的顏色失真與信息丟失。

針對(duì)上述問(wèn)題，本文提出一種基于生成式對(duì)抗網(wǎng)絡(luò)（Generative Adversarial Network，GAN）的去霧方法。首先采用循環(huán)一致性生成式對(duì)抗網(wǎng)絡(luò)作為模型基礎(chǔ)，在不需要成對(duì)數(shù)據(jù)集的情況下產(chǎn)生無(wú)霧圖像；然后使用多尺度鑒別器對(duì)判別網(wǎng)絡(luò)進(jìn)行搭建，提高網(wǎng)絡(luò)的判別能力和圖像生成能力；最后通過(guò)最小二乘和循環(huán)感知損失，加強(qiáng)對(duì)網(wǎng)絡(luò)模型的約束，提高圖像質(zhì)量。

1 基礎(chǔ)知識(shí)

1.1 生成式對(duì)抗網(wǎng)絡(luò)

文獻(xiàn)［25］提出的生成式對(duì)抗網(wǎng)絡(luò)是一種深度生成的神經(jīng)網(wǎng)絡(luò)模型，如圖1 所示，其由生成器和判別器兩個(gè)功能模塊組成。生成器接收隨機(jī)噪聲z，從真實(shí)樣本中獲取數(shù)據(jù)分布映射到新的數(shù)據(jù)空間，嘗試生成能夠欺騙判別器的虛假樣本G（x）［26］。判別器的輸入包括兩個(gè)部分，分別是生成器生成的數(shù)據(jù)G（x）和真實(shí)數(shù)據(jù)x，判別器需要盡可能去判別輸入的樣本是生成器生成的樣本還是真實(shí)樣本，若判別輸入為真實(shí)樣本，則輸出1，反之則為0。生成器和判別器兩者不斷進(jìn)行對(duì)抗和優(yōu)化，直到生成器生成的樣本能夠以假亂真，判別器判別錯(cuò)誤的概率達(dá)到最小。

圖1 生成式對(duì)抗網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Structure of generative adversarial network

GAN 的訓(xùn)練過(guò)程可以視為生成器和判別器互相博弈的過(guò)程，訓(xùn)練時(shí)會(huì)先固定生成器G，更新判別器D的參數(shù)，然后再固定判別器D，更新生成器G的參數(shù)，兩個(gè)模型交替迭代，最終達(dá)到最優(yōu)解。生成器和判別器之間存在的對(duì)抗關(guān)系表示如下：

在訓(xùn)練判別器時(shí)，為了最大程度降低判別模型D判別錯(cuò)誤的概率，需要極大化判別模型：當(dāng)判別器的輸入為真實(shí)樣本x時(shí)，希望D（x）能夠趨近于1；當(dāng)輸入為虛假樣本G（z）時(shí)，希望D（G（z））趨近于0，即1-D（G（z））趨近于1。而對(duì)于生成模型G則需要極小化，生成器的輸入只有隨機(jī)噪聲z，此時(shí)希望D（G（z））能夠趨近于1，即1-D（G（z））趨近于0，生成樣本G（z）被判別器判別為真的概率值為1。只有當(dāng)Pz=Pdata時(shí)，生成器學(xué)會(huì)真實(shí)樣本Pdata的分布，判別器的準(zhǔn)確率穩(wěn)定為1/2，此時(shí)該模型得到全局最優(yōu)解。

1.2 循環(huán)生成式對(duì)抗網(wǎng)絡(luò)

文獻(xiàn)［27］提出的循環(huán)生成式對(duì)抗網(wǎng)絡(luò)（Cycleconsistent Adversarial Network，CycleGAN）是一種在GAN 基礎(chǔ)上提出的無(wú)監(jiān)督生成式對(duì)抗網(wǎng)絡(luò)，通過(guò)對(duì)傳統(tǒng)GAN 的鏡像對(duì)稱得到具有兩個(gè)生成器和兩個(gè)判別器的網(wǎng)絡(luò)結(jié)構(gòu)。得益于這種循環(huán)網(wǎng)絡(luò)結(jié)構(gòu)，CycleGAN 模型可以在不需要成對(duì)圖像數(shù)據(jù)集的情況下，讓兩個(gè)域的圖片相互轉(zhuǎn)換，原理如圖2 所示。其中：X和Y分別為原域X和目標(biāo)域Y；G和F分別為進(jìn)行X→Y映射的生成器與進(jìn)行Y→X映射的生成器；DX和DY為對(duì)應(yīng)的判別器。G將X域的圖像轉(zhuǎn)換為Y域的圖像G（x），再由判別器DY判斷圖像為真或者假。同理，F(xiàn)將X域的圖像轉(zhuǎn)換為Y域的圖像F（y），再由判別器DX判斷圖像為真或者假。

圖2 CycleGAN 網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 Network structure of CycleGAN

生成器G生成圖像G（x），然后由判別器DY來(lái)判斷G（x）是否為真實(shí)圖像，這一過(guò)程就是一個(gè)標(biāo)準(zhǔn)的單向GAN 模型訓(xùn)練過(guò)程，故CycleGAN 的對(duì)抗損失函數(shù)與GAN 一致，G和DY的對(duì)抗損失函數(shù)表示如下：

同理，F(xiàn)和DX的對(duì)抗損失函數(shù)表示如下：

生成器G將圖像x轉(zhuǎn)換為G（x），再由F轉(zhuǎn)換為F（G（x））后，為了盡可能地保證圖像在經(jīng)過(guò)兩次網(wǎng)絡(luò)之后還能保持一致，即試圖使F（G（x））≈x以及G（F（y））≈y，需要計(jì)算原始圖像與F（G（x））之間的損失。循環(huán)一致?lián)p失由原始圖像與映射圖像的L1范數(shù)計(jì)算得到，其函數(shù)表達(dá)式如下：

CycleGAN 的損失函數(shù)由以上三個(gè)部分組成，其總目標(biāo)函數(shù)表示如下：

其中：LGAN為對(duì)抗損失；Lcyc為循環(huán)一致性損失；λ為循環(huán)一致性損失的權(quán)重系數(shù)。

2 本文方法

根據(jù)現(xiàn)有圖像去霧方法和生成式對(duì)抗網(wǎng)絡(luò)原理，結(jié)合CycleGAN 無(wú)需成對(duì)數(shù)據(jù)的特點(diǎn)，本文以CycleGAN 作為基礎(chǔ)網(wǎng)絡(luò)對(duì)模型進(jìn)行改進(jìn)，引入多尺度鑒別器并設(shè)計(jì)新的損失函數(shù)，解決現(xiàn)有圖像去霧方法信息失真和去霧效果不自然等問(wèn)題。

2.1 多尺度鑒別器

在生成式對(duì)抗網(wǎng)絡(luò)中，判別器作為模型的重要網(wǎng)絡(luò)結(jié)構(gòu)，主要目標(biāo)是判別出真實(shí)和虛假樣本并提供反饋機(jī)制，優(yōu)化生成器的性能［28］。在一般情況下，判別器將輸入的圖像進(jìn)行分層卷積，不斷地對(duì)圖像進(jìn)行壓縮，然后獲得與圖像特征相對(duì)應(yīng)的特征矢量，最后以一個(gè)概率值作為輸出來(lái)判斷圖像的來(lái)源。這種傳統(tǒng)單一的判別方法存在缺陷，即只能懲罰一定塊規(guī)模的圖像，然后對(duì)整張圖像進(jìn)行卷積，并且與生成網(wǎng)絡(luò)配合，最后輸出平均化的結(jié)果，無(wú)法反映出圖像的整體結(jié)構(gòu)。為更好地學(xué)習(xí)圖像的局部與全局特征，本文利用多尺度鑒別器對(duì)真實(shí)圖像與生成圖像進(jìn)行下采樣，分別在多個(gè)尺度上對(duì)圖像進(jìn)行區(qū)分。多尺度鑒別器工作原理如圖3 所示。

圖3 多尺度鑒別器工作原理Fig.3 Working principle of multi-scale discriminator

本文所使用的多尺度鑒別器的網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示（彩色效果見《計(jì)算機(jī)工程》官網(wǎng)HTML 版），其由兩個(gè)結(jié)構(gòu)完全相同的判別器組成，判別器D1和判別器D2都包括了7 個(gè)卷積層，每個(gè)卷積層的卷積核尺寸均為3×3，全連接層為1 024，左上方的圖像是由生成器產(chǎn)生的圖像，無(wú)須對(duì)該圖像進(jìn)行任何處理，將其直接輸入到第一個(gè)判別器D1中，隨后再執(zhí)行2 倍下采樣操作，將縮小后的圖像作為判別器D2的輸入。在網(wǎng)絡(luò)模型中引入多尺度鑒別器后，網(wǎng)絡(luò)會(huì)將原來(lái)尺寸的圖像和縮小兩倍尺寸的圖像分別輸入到兩個(gè)判別器中，這兩個(gè)判別器具有不同大小的感受野，當(dāng)輸入的圖像尺寸較小時(shí)，判別器擁有較大的感受野，會(huì)更加關(guān)注圖像的結(jié)構(gòu)，而當(dāng)輸入的圖像尺寸較大時(shí)則會(huì)更加關(guān)注圖像的細(xì)節(jié)信息。通過(guò)這種方式可以提高判別器對(duì)樣本圖像細(xì)節(jié)與整體的鑒別能力，監(jiān)督引導(dǎo)生成器生成更加真實(shí)的圖像。

圖4 多尺度鑒別器網(wǎng)絡(luò)結(jié)構(gòu)Fig.4 Network structure of multi-scale discriminator

2.2 改進(jìn)的復(fù)合損失函數(shù)

2.2.1 對(duì)抗損失

原始CycleGAN 采用Sigmoid 交叉熵?fù)p失函數(shù)作為對(duì)抗損失，這就導(dǎo)致了無(wú)論生成器生成的圖像質(zhì)量如何，判別器對(duì)生成器產(chǎn)生的圖像都只進(jìn)行一次判別，無(wú)法保證除霧后圖像的質(zhì)量。因此，本文將原本的Sigmoid 交叉熵?fù)p失改進(jìn)為最小二乘損失。以最小二乘作為對(duì)抗損失函數(shù)時(shí)，判別器在對(duì)圖像進(jìn)行判別之后，會(huì)將圖像再次放回到?jīng)Q策邊界［29］，從而提高無(wú)霧圖像的質(zhì)量。生成器G與判別器DY的損失函數(shù)如下：

生成器F與判別器DX的損失函數(shù)如下：

2.2.2 循環(huán)感知損失

雖然CycleGAN 在執(zhí)行圖像轉(zhuǎn)換任務(wù)的過(guò)程中，通過(guò)使用循環(huán)一致性損失對(duì)輸入圖像與循環(huán)重建的圖像進(jìn)行約束，除去了圖像的一部分噪聲，但是仍然存在部分殘留，無(wú)法完全還原圖像的細(xì)節(jié)信息，而VGG 網(wǎng)絡(luò)有著較深的網(wǎng)絡(luò)結(jié)構(gòu)，相比一般鑒別器可以提取更加豐富的細(xì)節(jié)與高級(jí)特征，其視覺(jué)表現(xiàn)更好。因此，本文引入循環(huán)感知損失來(lái)確保圖像之間的結(jié)構(gòu)相似性，進(jìn)一步提升生成圖像的質(zhì)量。循環(huán)感知損失函數(shù)表達(dá)式如下：

其中：x和y分別為帶霧圖像和無(wú)霧圖像；φ（）為特征提取器函數(shù)；||||2為L(zhǎng)2范數(shù)。

經(jīng)過(guò)上述改進(jìn)之后，最終的復(fù)合損失函數(shù)如下：

其中：LGAN為改進(jìn)后的對(duì)抗損失；Lcyc為循環(huán)一致性損失；Lperceptual為循環(huán)感知損失；λ1為循環(huán)一致性損失的權(quán)重系數(shù)；λ2為循環(huán)感知損失的權(quán)重系數(shù)。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)數(shù)據(jù)集

本文選用D-HAZY 數(shù)據(jù)集［30］與SOTS 數(shù)據(jù)集［31］作為實(shí)驗(yàn)合成數(shù)據(jù)集，兩者都是常用于圖像去霧領(lǐng)域的公開數(shù)據(jù)集，其中D-HAZY 數(shù)據(jù)集作為訓(xùn)練集，SOTS 數(shù)據(jù)集作為測(cè)試集。為使實(shí)驗(yàn)數(shù)據(jù)符合本文網(wǎng)絡(luò)訓(xùn)練圖像的要求，首先將所有圖像調(diào)整為256×256像素，然后將訓(xùn)練集數(shù)據(jù)分為A組與B 組，A 組中存放有霧圖像，B 組中存放無(wú)霧圖像。

3.2 實(shí)驗(yàn)設(shè)置

實(shí)驗(yàn)環(huán)境配置：CPU 為Intel?Celeron?N2940 @1.83 GHz，內(nèi)存為16 GB，GPU 為Nvidia GeForce RTX 2080 Ti。本文深度學(xué)習(xí)的框架為Pytorch 1.10.0，解釋器為Python 3.8，Cuda 版本為11.3。

實(shí)驗(yàn)流程參數(shù)設(shè)置如下：學(xué)習(xí)速率初始化為2×10-3；采用小批量的方式訓(xùn)練模型batch-size 為1；迭代次數(shù)為200 次；num_workers 為4；不對(duì)原始網(wǎng)絡(luò)權(quán)重系數(shù)λ1進(jìn)行修改，故λ1為10；權(quán)重系數(shù)λ2根據(jù)經(jīng)驗(yàn)設(shè)置為0.5，并且在每個(gè)epoch 開始時(shí)對(duì)數(shù)據(jù)進(jìn)行重新打亂。

3.3 實(shí)驗(yàn)結(jié)果

為驗(yàn)證本文方法的有效性，使用基于圖像增強(qiáng)的Fan 算法、經(jīng)典的DCP 算法，以及基于深度學(xué)習(xí)的GCANet、DehazeNet 與AOD-Net 作為對(duì)比算法，在SOTS 數(shù)據(jù)集上進(jìn)行去霧效果比較，從主觀評(píng)價(jià)和客觀評(píng)價(jià)兩個(gè)角度對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行分析。

3.3.1 主觀評(píng)價(jià)

不同算法的去霧結(jié)果對(duì)比如圖5 所示（彩色效果見《計(jì)算機(jī)工程》官網(wǎng)HTML 版），從中可以看出：經(jīng)Fan算法去霧后的圖像顏色發(fā)生嚴(yán)重偏移，紋理以及邊緣信息存在大量丟失，整體去霧效果最差；基于物理模型去霧的DCP 算法效果優(yōu)于Fan 算法，但是由于該算法過(guò)于依賴顏色信息，容易出現(xiàn)圖像整體清晰度低而局部色彩飽和度偏高的情況；GCANet算法去霧能力不足，去霧后的圖像出現(xiàn)了顏色異常；與DehazeNet算法相比，顯然AOD-Net 算法去霧后的圖像視覺(jué)效果更好，但是也存在部分霧氣殘留以及細(xì)節(jié)丟失等不足；與前面4 種方法相比，本文算法得到的去霧圖像具有更明亮的顏色和更清晰的邊緣與細(xì)節(jié)信息，與原始無(wú)霧圖像最為接近。

圖5 不同算法的去霧結(jié)果Fig.5 Defogging results of different algorithms

3.3.2 客觀評(píng)價(jià)

通常來(lái)說(shuō)，人眼的視覺(jué)特性會(huì)導(dǎo)致人眼對(duì)不同圖像同一區(qū)域的感知結(jié)果易受鄰近圖像的影響，不同個(gè)體評(píng)價(jià)圖像時(shí)也會(huì)受到個(gè)體主觀意識(shí)的影響，因此，評(píng)價(jià)圖像質(zhì)量不能僅靠主觀評(píng)估，對(duì)圖像質(zhì)量進(jìn)行量化尤為重要。本文采用峰值信噪比（Peak Signal to Noise Ratio，PSNR）［32］和結(jié)構(gòu)相似性指數(shù)（Structure Similarity Index，SSIM）［33］作為結(jié)果圖像的評(píng)估指標(biāo)。

PSNR 用于對(duì)圖像像素點(diǎn)間的誤差進(jìn)行衡量，計(jì)算公式如式（10）所示，其中MMSE為圖像之間的均方誤差，MMAX1為圖像最大像素值。PSNR 值越大，圖像受噪聲影響越小，圖像質(zhì)量越好。

SSIM 用于對(duì)圖像之間的相似度進(jìn)行度量，計(jì)算公式如式（11）所示，其中L為圖像的亮度比較，C為圖像的對(duì)比度比較，S為圖像的結(jié)構(gòu)比較。SSIM 值越大，代表圖像保留了越多細(xì)節(jié)信息。

不同算法去霧后的PSNR 與SSIM 平均值如表1所示。從中可以看出：Fan 算法與GCANet 的PSNR和SSIM 值都較低；DCP 算法的PSNR 與SSIM值略高于DehazeNet 算法，具有更好的圖像重建能力；AOD-Net 算法的PSNR 值雖然高于其他算法，但是SSIM 值反而降低了；相比之下，經(jīng)過(guò)本文算法去霧后的圖像SSIM 和PSNR 值都高于對(duì)比算法，其中PSNR 值與對(duì)比算法中的最佳值相比提高了7.1%，SSIM 值提高了4.3%。由此可見，本文算法能夠更好地保留圖像的場(chǎng)景結(jié)構(gòu)和細(xì)節(jié)信息，結(jié)果圖像與原始無(wú)霧圖像的像素級(jí)差異更小，能夠獲得更好的去霧效果。

表1 不同算法的客觀指標(biāo)Table 1 Objective index of different algorithms

3.4 消融實(shí)驗(yàn)

為進(jìn)一步證明本文算法引入的多尺度鑒別器和復(fù)合損失函數(shù)的有效性，本文對(duì)算法進(jìn)行剝離，增加了有無(wú)改進(jìn)部分的對(duì)比實(shí)驗(yàn)。實(shí)驗(yàn)的對(duì)比模型主要包括原始循環(huán)生成式對(duì)抗網(wǎng)絡(luò)模型Model-1、僅增加多尺度鑒別器的網(wǎng)絡(luò)模型Model-2 以及僅采用改進(jìn)復(fù)合損失函數(shù)的網(wǎng)絡(luò)模型Model-3，并分別對(duì)拆解的模型進(jìn)行測(cè)試。

圖6 為消融實(shí)驗(yàn)結(jié)果（彩色效果見《計(jì)算機(jī)工程》官網(wǎng)HTML 版）。從中可以看出：不進(jìn)行任何修改的原始CycleGAN 網(wǎng)絡(luò)能夠在一定程度上去除霧霾，但是將去霧后的圖像與原始無(wú)霧圖像相比較后不難發(fā)現(xiàn)：原始CycleGAN 網(wǎng)絡(luò)處理后的圖像顏色發(fā)生了扭曲，細(xì)節(jié)恢復(fù)能力不足，亮度過(guò)渡區(qū)域也較為生硬，去霧效果不自然；引入多尺度鑒別器的網(wǎng)絡(luò)模型與采用改進(jìn)復(fù)合損失函數(shù)的模型生成的圖像均比原始網(wǎng)絡(luò)更好，生成的圖像更加接近原始無(wú)霧圖像，視覺(jué)上更加自然。

圖6 消融實(shí)驗(yàn)結(jié)果Fig.6 Results of ablation experiment

上述各個(gè)模型去霧后的圖像質(zhì)量指標(biāo)如表2所示，可以直觀地從表中看出，經(jīng)改進(jìn)部分的模型去霧后圖像的PSNR 值和SSIM 值均比未改進(jìn)的原始模型高，其中，Model-2 的PSNR值比Model-1 提高 了18.8%，Model-3 的SSIM值比Model-1 提高了9.1%。

表2 消融實(shí)驗(yàn)結(jié)果的客觀指標(biāo)Table 2 Objective index of ablation experimental results

多尺度鑒別器能夠通過(guò)不同大小的感受野獲取到更多的圖像特征信息，加上判別器和生成器相互配合，在提高判別網(wǎng)絡(luò)能力的同時(shí)也會(huì)優(yōu)化生成網(wǎng)絡(luò)，從圖6 和表2 可以看出，與原始網(wǎng)絡(luò)相比，引入多尺度鑒別器的網(wǎng)絡(luò)模型生成的圖像無(wú)論是視覺(jué)感觀還是客觀指標(biāo)均優(yōu)于原始網(wǎng)絡(luò)，能夠更好地保留圖像的細(xì)節(jié)信息，改善亮度轉(zhuǎn)換區(qū)域過(guò)渡不自然的問(wèn)題，生成的圖像更加貼近原始無(wú)霧圖像。改進(jìn)的復(fù)合損失函數(shù)能夠利用多個(gè)隱藏層作為特征提取器來(lái)提取特征，并且按照樣本和決策邊界的距離對(duì)樣本圖像做出懲罰，從而提高圖像的質(zhì)量，從實(shí)驗(yàn)結(jié)果中可以看出，采用改進(jìn)復(fù)合損失函數(shù)的網(wǎng)絡(luò)恢復(fù)后的圖像信息丟失更少，能夠較好地改善圖像細(xì)節(jié)信息缺失和顏色失真的問(wèn)題，去霧效果比原始網(wǎng)絡(luò)更好。由此可見，本文對(duì)于CycleGAN 的改進(jìn)能夠促進(jìn)網(wǎng)絡(luò)優(yōu)化，對(duì)圖像去霧起到有利的作用。

4 結(jié)束語(yǔ)

本文設(shè)計(jì)一種基于改進(jìn)CycleGAN 的圖像去霧方法。以CycleGAN 作為基礎(chǔ)網(wǎng)絡(luò)模型，采用多尺度鑒別器代替單個(gè)鑒別器提高生成圖像的質(zhì)量，使得生成的圖像更接近真實(shí)無(wú)霧圖像，同時(shí)引入最小二乘和循環(huán)感知損失對(duì)映射空間進(jìn)行約束，改善去霧圖像顏色扭曲和細(xì)節(jié)丟失等問(wèn)題。實(shí)驗(yàn)結(jié)果表明，相比傳統(tǒng)去霧方法，本文方法在圖像去霧方面效果更優(yōu)，并且具有更好的視覺(jué)效果。后續(xù)將對(duì)模型做進(jìn)一步優(yōu)化，提高其在低照度情況下的去霧性能。