融合暗通道先驗損失的生成對抗網(wǎng)絡(luò)用于單幅圖像去霧

程德強，尤楊楊，寇旗旗，徐進洋

1 地下空間智能控制教育部工程研究中心，江蘇 徐州 221000；2 中國礦業(yè)大學(xué)信息與控制工程學(xué)院，江蘇 徐州 221000；3 中國礦業(yè)大學(xué)計算機科學(xué)與技術(shù)學(xué)院，江蘇 徐州 221000

1 引 言

在大氣環(huán)境中，空氣中聚集了許多細小顆粒物，這些細小顆粒物會導(dǎo)致光產(chǎn)生吸收或折射現(xiàn)象，影響光的正常輻射，改變物體呈現(xiàn)的顏色、對比度、飽和度、細節(jié)，導(dǎo)致設(shè)備采集到的圖像受到嚴重影響。然而，基于計算機視覺的目標跟蹤[1]、目標分類[2]、圖像檢索[3]等諸多高級任務(wù)，對圖像質(zhì)量有較高的需求。因此在執(zhí)行高級任務(wù)之前，進行單幅圖像去霧以獲得更高質(zhì)量的圖像具有十分重要的意義。

針對單幅圖像去霧，國內(nèi)外許多學(xué)者做了大量研究。在單幅圖像去霧研究的初級階段，傳統(tǒng)的圖像增強方法被用來實現(xiàn)去霧，例如利用直方圖均衡化去霧[4]、利用Retinex 理論去霧[5]等，但這些方法缺乏物理模型指導(dǎo)，去霧效果往往收效甚微。1999 年，Narasimhan[6]根據(jù)成像規(guī)律提出了清晰圖像退化的物理模型，具體可被描述為

其中：I(x,y),J(x,y),t(x,y),A分別為退化后的存霧圖像、清晰圖像、退化傳輸圖和全局大氣光。在具體的數(shù)學(xué)推導(dǎo)中，退化傳輸圖t(x,y) 被 定義為：t(x,y)=e?βd(x,y)，其中d(x,y)為 場景深度，而 β為介質(zhì)傳輸系數(shù)?？梢宰⒁獾?，在單幅圖像去霧中，上述模型中僅僅已知退化圖像I(x,y)。在這樣的情況下利用該模型去霧是一個多未知量、少約束的病態(tài)問題，需要附加額外的先驗信息來實現(xiàn)。

2011 年，He[7]等人發(fā)現(xiàn)在沒有天空的清晰圖像中總會有一個通道的有些像素值特別低，甚至接近于0?；谶@一發(fā)現(xiàn)，他們提出暗通道先驗(dark channel prior，DCP)并利用大氣散射模型實現(xiàn)了去霧。為了進一步降低算法復(fù)雜度，減少運行時間，He 等人于2013 年設(shè)計了引導(dǎo)濾波器[8]并將其嵌入到之前設(shè)計的算法中，取得了良好的效果。同年，Meng[9]等人探索了退化傳輸圖的固有邊界約束，將其總結(jié)為邊界約束及上下文正則化先驗(boundary constraint and contextual regularization，BCCR)，他們利用這一先驗規(guī)律結(jié)合大氣散射模型實現(xiàn)了去霧。2015 年，Zhu[10]等人發(fā)現(xiàn)在一幅存霧圖像中，霧的濃度與亮度和飽和度之差成正相關(guān)，他們將這一先驗規(guī)律總結(jié)為顏色衰減先驗(color attenuation prior，CAP)，并據(jù)此有監(jiān)督地學(xué)習(xí)了估計透射傳輸率的線性模型，最終實現(xiàn)了去霧。2020 年，Wang[11]等人結(jié)合光場多線索和大氣散射模型實現(xiàn)了圖像去霧。

在上述基于先驗信息的去霧算法中，暗通道先驗算法開創(chuàng)了利用大氣散射模型進行單幅圖像去霧的先河，但這種簡單有效的去霧算法尚且存在一系列問題：第一，退化傳輸圖空間連續(xù)性差導(dǎo)致最終的去霧圖像存在邊緣偽影；第二，圖像存在天空區(qū)域或亮域等不符合暗通道先驗規(guī)律的區(qū)域，最終的去霧圖像色彩失真。為了解決傳輸圖空間連續(xù)性差的問題，Zhao[12]等人于2019 年提出一種多尺度融合最優(yōu)模型來增強退化傳輸圖的空間連續(xù)性；2020 年，Yan[13]等人重寫了最小化濾波器函數(shù)，使得在提取暗通道特征圖的過程中盡可能少地引入邊緣信息跳躍。為了解決天空域或亮域的問題，Wang[14]等人提出計算暗通道置信度來加權(quán)補償退化傳輸圖。總的來說，基于先驗信息的去霧算法經(jīng)過長年的發(fā)展，取得了矚目的成就。但是，這類算法通常存在在特殊場景下不穩(wěn)定的情況，因此具有一定的局限性。

近幾年，深度神經(jīng)網(wǎng)絡(luò)的出現(xiàn)給計算機視覺底層處理任務(wù)提供了強大工具，也促進了單幅圖像去霧算法的快速發(fā)展。Ren[15]等人提出利用兩層(convolutional neural network，CNN)網(wǎng)絡(luò)從存霧圖像中初步估計以及細化傳輸圖。Cai[16]等人設(shè)計了一種新型網(wǎng)絡(luò)用于提取特征來模擬一些先驗信息的實現(xiàn)，同時加入了多尺度映射來估計傳輸圖。Li[17]等人通過重構(gòu)大氣散射模型來聯(lián)合估計傳輸圖與大氣光，實現(xiàn)了“端到端”的去霧。上述的這些去霧算法利用合成數(shù)據(jù)集學(xué)習(xí)存霧圖像與傳輸圖或者聯(lián)合估計圖之間的潛在映射關(guān)系，最終去霧步驟仍然利用大氣散射模型來實現(xiàn)，如果傳輸圖估計不準確則會引入失真與偽影。為了實現(xiàn)真正的端到端的去霧，Ren[18]等人設(shè)計了一種門控網(wǎng)絡(luò)來融合一些相關(guān)的特征圖像，最終實現(xiàn)了去霧。2014年，Goodfellow[19]提出生成對抗網(wǎng)絡(luò)(generative adversarial network，GAN)思想?；谶@一思想，Li[20]等人訓(xùn)練了一種條件GAN 網(wǎng)絡(luò)，引入了對抗損失、L1損失、感知損失[21]來從存霧圖像中恢復(fù)清晰圖像。Deniz[22]等人使用循環(huán)對抗網(wǎng)絡(luò)CycleGAN[23]進行訓(xùn)練，避免對成對數(shù)據(jù)集的依賴。

上述基于生成對抗網(wǎng)絡(luò)的去霧算法依賴于訓(xùn)練數(shù)據(jù)集，非常容易造成模型的預(yù)測結(jié)果對于樣本真值過度擬合?；谶@樣的問題，Li[24]等人引入暗通道先驗損失，訓(xùn)練了一種條件GAN 網(wǎng)絡(luò)，一定程度上解決了過度擬合的問題，但是在設(shè)計暗通道先驗損失的過程中，暗通道特征圖的提取過程仍然是一個包含最小值濾波的非凸函數(shù)，無法充分保證取得最優(yōu)解[24-25]。Alona[26]等人提出了一種無監(jiān)督的去霧方法，根據(jù)軟摳圖的模型設(shè)計了損失函數(shù)，但是需要在適當(dāng)階段停止訓(xùn)練以獲得更好的圖像質(zhì)量。

與上述算法不同，本文首先利用最小值濾波等效像素壓縮理論[8]，將求取暗通道特征圖的最小值濾波步驟等效為對像素強度值進行非線性或線性壓縮。一方面從根本上解決了暗通道求解函數(shù)非凸的問題，使得將暗通道先驗損失嵌入網(wǎng)絡(luò)訓(xùn)練成為可能。另一方面，該方法不需要設(shè)置固定尺度提取暗通道特征圖，提高了算法的尺度魯棒性。其次，本文算法不僅利用對抗損失、L1損失、感知損失組合來指導(dǎo)網(wǎng)絡(luò)模型訓(xùn)練，提高去霧效果，還基于圖像暗通道特征圖的稀疏性以及偏度性質(zhì)，構(gòu)建了一個包含兩個約束項的損失函數(shù)，用于糾正預(yù)測圖像的暗通道特性。這種針對暗通道特性設(shè)計的損失函數(shù)使用暗通道特性監(jiān)督網(wǎng)絡(luò)訓(xùn)練，對預(yù)測結(jié)果產(chǎn)生影響，避免了網(wǎng)絡(luò)模型對樣本真值過度擬合。

總結(jié)來說，本文主要做了以下三方面的工作來提升最終的去霧效果：

1) 引入了最小值濾波等效像素壓縮理論，不僅使得將暗通道先驗損失嵌入網(wǎng)絡(luò)訓(xùn)練成為可能，也提高了算法對不同尺寸圖像的適應(yīng)性。

2) 通過約束暗通道特征圖的稀疏性以及偏度性質(zhì)構(gòu)建了新的暗通道先驗損失函數(shù)。

3) 在傳統(tǒng)的GAN 網(wǎng)絡(luò)去霧框架中嵌入了暗通道先驗損失，避免了模型對樣本真值的過度擬合，同時提升了去霧效果。

2 相關(guān)理論

2.1 生成對抗網(wǎng)絡(luò)

近一段時間，生成對抗網(wǎng)絡(luò)被普遍應(yīng)用于圖像恢復(fù)領(lǐng)域，在圖像去噪、去模糊、高分辨率重建等方面取得了不俗的效果。生成對抗網(wǎng)絡(luò)的框架主要包含一個生成器網(wǎng)絡(luò)G以及一個判別器網(wǎng)絡(luò)D，生成器網(wǎng)絡(luò)盡量學(xué)習(xí)樣本A至 樣本B的映射關(guān)系以最大限度地欺騙判別器網(wǎng)絡(luò)，而判別器網(wǎng)絡(luò)則盡量區(qū)分生成器網(wǎng)絡(luò)預(yù)測的假樣本與真樣本的區(qū)別，從而達到對生成器網(wǎng)絡(luò)的指導(dǎo)作用，其具體的網(wǎng)絡(luò)框架示意圖如圖1所示。

圖1 對抗生成網(wǎng)絡(luò)框架Fig.1 Framework of adversarial generation network

其中的生成器網(wǎng)絡(luò)G在判別器網(wǎng)絡(luò)D的指導(dǎo)下更新其網(wǎng)絡(luò)參數(shù)，使其生成的樣本盡量接近真實樣本的數(shù)據(jù)分布，其目標函數(shù)可以被描述為

其中：G?代表最小化真實數(shù)據(jù)分布pdata與生成的數(shù)據(jù)分布pG之間的距離。為了衡量真實數(shù)據(jù)分布與生成數(shù)據(jù)分布之間的距離，判別器網(wǎng)絡(luò)的目標函數(shù)定義為

其中：D?代表最大化準確判別的概率，E為數(shù)學(xué)期望，Ex～pdata(x)[logD(x)]表示判別為真實數(shù)據(jù)(label=1)的概率，Ex～pG(x)[log(1?D(x))]表示判別為假數(shù)據(jù)(label=0)的概率。于是，生成器網(wǎng)絡(luò)的目標函數(shù)可被重新定義為

最后，根據(jù)上述的目標函數(shù)在訓(xùn)練中交替更新生成器網(wǎng)絡(luò)與判別器網(wǎng)絡(luò)的參數(shù)，使得兩者在博弈中達到動態(tài)平衡。

2.2 暗通道先驗

He[6]等人分析了不含天空的5000 張彩色圖像的潛在特征，提出了意義重大的暗通道先驗規(guī)律：對于沒有天空的清晰圖像，總有一個通道的有些像素強度特別低，甚至接近于0。如果以一個固定尺度將這些像素對應(yīng)的通道強度值提取出來，就可以形成一張暗通道特征圖像：

其中：D?(x,y)為以 ? 為尺度的暗通道特征圖，Ic為圖像的RGB 三個通道強度，x,y是圖像的坐標，圖2 為一組清晰圖像與存霧圖像的暗通道特征圖對照。

圖2 暗通道特征圖對照。(a) 原始圖像；(b) 暗通道特征Fig.2 Dark channel feature comparison.(a) Original images;(b) Dark channel feature

為了進一步驗證暗通道先驗規(guī)律的正確性，分析5000 張清晰圖像的暗通道特征圖，發(fā)現(xiàn)其強度分布有著如下特點：86%的像素點的強度分布在0 附近，90%的像素點的強度低于25；另外，大多數(shù)的暗通道特征圖均有著非常低的平均強度。然而，霧霾圖像的暗通道特征圖強度分布則有不同表現(xiàn)：超過50%的像素點的強度高于50，平均強度也不再趨近于0，具體結(jié)果如圖3 所示，上半部分為清晰圖像的分布結(jié)果，下半部分為存霧圖像的分布結(jié)果。

從圖2，圖3 中可以看出，相較于存霧圖像，清晰圖像的暗通道特征更為稀疏且強度分布有著非常強的右偏特性。因此，本文利用暗通道特征的稀疏特性以及偏度特性構(gòu)建損失函數(shù)，避免訓(xùn)練模型對樣本真值過度擬合，進一步增強去霧效果。

圖3 暗通道特征圖強度分布。(a) 強度分布；(b) 5000 張圖像的平均強度分布Fig.3 Dark channel feature intensity distribution.(a) Intensity distribution;(b) Average intensity distribution of 5000 images

3 本文算法

3.1 網(wǎng)絡(luò)結(jié)構(gòu)

本文依托生成對抗網(wǎng)絡(luò)框架，并利用現(xiàn)有的網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計生成器與判別器來實現(xiàn)單幅圖像去霧，算法框架如圖4 所示，具體網(wǎng)絡(luò)結(jié)構(gòu)將在3.1.1 及3.1.2 章節(jié)中闡述。

3.1.1 生成器網(wǎng)絡(luò)

生成器網(wǎng)絡(luò)G被用于從存霧圖像中恢復(fù)出最終的清晰圖像。由于帶有跳躍連接的“編碼解碼”網(wǎng)絡(luò)結(jié)構(gòu)[27-28]對于處理視覺底層任務(wù)具有良好的效果，本文使用一種類似的網(wǎng)絡(luò)結(jié)構(gòu)來構(gòu)建生成器。在編碼階段，包含了三個尺度的堆疊殘差塊，根據(jù)文獻[29]的推薦，本文在每一個殘差塊內(nèi)不使用歸一化層。在解碼階段，同樣的包含三個尺度的堆疊殘差塊。網(wǎng)絡(luò)通過下采樣卷積層得有效特征并將尺度縮小為原來的1 /2，通過上采樣卷積層將圖像恢復(fù)至原來的解空間內(nèi)，每一層卷積層后跟隨非線性ReLU 層，同時將各跳躍連接特征相加得到最終特征。如圖4 所示，其中綠色模塊代表普通卷積層，紫色模塊代表下采樣卷積層，藍色模塊代表上采樣卷積層，灰藍色模塊代表殘差塊，橙色模塊代表Tanh 函數(shù)層，具體的網(wǎng)絡(luò)參數(shù)以及每一個殘差塊的輸入輸出通道數(shù)如表1 所示。

表1 生成器網(wǎng)絡(luò)參數(shù)Table 1 Parameters of generator network

圖4 本文算法框架Fig.4 Framework of the proposed algorithm

3.1.2 判別器網(wǎng)絡(luò)

PatchGANs[30-32]判別器網(wǎng)絡(luò)相對于傳統(tǒng)的判別器網(wǎng)絡(luò)有著更少的參數(shù)，是一種稍輕量級的判別器網(wǎng)絡(luò)。本文使用類似的PatchGANs 作為判別器網(wǎng)絡(luò)，conv1-conv4 卷積層后均跟隨LeakeyReLU 以及InstanceNorm層，具體的網(wǎng)絡(luò)參數(shù)如表2 所示。

表2 判別器網(wǎng)絡(luò)參數(shù)Table 2 Parameters of the discriminator network

3.2 損失函數(shù)

本文算法的損失函數(shù)涉及兩個部分，一方面是衡量預(yù)測圖像與樣本真值之間距離的L1損失、感知損失Lper、對抗損失Ladv組合；另一方面是根據(jù)清晰圖像暗通道性質(zhì)設(shè)計的暗通道先驗損失Ldark。最終，本文給予所有損失函數(shù)以不同的權(quán)重來對網(wǎng)絡(luò)模型進行聯(lián)合訓(xùn)練。

3.2.1 損失組合

為了使得對抗網(wǎng)絡(luò)的預(yù)測圖像與樣本真值接近，本文使用L1損失約束預(yù)測圖像與樣本真值之間距離：

其中：i表示訓(xùn)練數(shù)據(jù)集的樣本編號，以及J表示預(yù)測圖像以及樣本真值的向量形式。另外，Justin 等人[21]證明了高質(zhì)量圖像可以通過定義感知損失來實現(xiàn)，因此本文基于經(jīng)過預(yù)訓(xùn)練的vgg-16 網(wǎng)絡(luò)生成高層特征并定義了感知損失，用于衡量預(yù)測圖像與樣本真值之間的感知誤差：

其中：Dg為判別器，用于判斷圖像來自于預(yù)測圖像或者樣本真值。

3.2.2 暗通道先驗損失

經(jīng)過He[7]、Li[24]、Pan[25]等人及本文第2.2 章的充分分析，可以得出結(jié)論：清晰圖像的暗通道特征圖相對于存霧圖像的暗通道特征圖更為稀疏且有著更強的右偏特性，因此本文算法試圖將暗通道特征圖的稀疏性以及偏度特性作為約束項加入到最終的損失函數(shù)中，指導(dǎo)網(wǎng)絡(luò)訓(xùn)練，避免模型對樣本真值的過度擬合，提升去霧效果。

但是由于最小值濾波器的存在，直接由式(5)計算預(yù)測圖像的暗通道特征圖并將其嵌入網(wǎng)絡(luò)訓(xùn)練，本質(zhì)上是對一個非凸函數(shù)求極值，可能得不到全局最優(yōu)解。

為了解決上述問題，本文引入了最小值濾波等效像素壓縮理論[13]，將式(5)中的最小值濾波步驟替換為對每一個像素點進行強度值壓縮：

其中：D(x,y)為 此方法得到的新暗通道特征圖，lavr為圖像強度均值，ε為圖像強度標準差，ρ為圖像強度分布的偏度。

在進行上述像素強度值壓縮的過程中，Yan 等人[13]提出以圖像強度均值lavr為閾值，在非亮域內(nèi)(即l∈(0,lavr)) 執(zhí)行冪律壓縮，在亮域內(nèi)(即l∈(lavr,1))執(zhí)行線性壓縮，這樣有效避免了在天空域或亮域內(nèi)對像素強度過度壓縮的問題。

總的來說，通過對圖像的像素強度進行非線性或線性壓縮來求取暗通道特征圖，其實現(xiàn)函數(shù)本身是一個凸函數(shù)，這有利于在神經(jīng)網(wǎng)絡(luò)中求取最優(yōu)解；另外此方法對不同尺寸的圖像均有著較好的適應(yīng)性，不需要如式(5)中一樣設(shè)置固定的最小值濾波尺度 ?。

在有效解決暗通道求解過程存在非凸問題的基礎(chǔ)上，本文以L1正則化約束預(yù)測圖像的暗通道稀疏性：

其中：s為暗通道特征圖的偏度分布，具體可以被表示為

其中：N為預(yù)測圖像暗通道特征圖的總像素數(shù)。,分別為均值以及標準差。根據(jù)本文第2.2 章節(jié)分析可知，清晰圖像的暗通道特征圖強度分布傾向于向右偏移，而霧霾會影響這種右偏特性。在統(tǒng)計學(xué)中，這種分布上的偏移由偏度概念來準確表達，因此采用上述偏度特征來近似霧霾的影響是合理的。

最后，采用同比例加權(quán)的方式，最終的暗通道先驗損失函數(shù)可以被定義為

3.2.3 網(wǎng)絡(luò)總損失函數(shù)

本文算法將3.2.1 章的對抗損失Ladv、L1損失、感知損失Lper以及3.2.2 章的暗通道先驗損失Ldark結(jié)合起來，用于最終的網(wǎng)絡(luò)訓(xùn)練：

其中：λ,γ,μ分別為感知損失、對抗損失以及暗通道先驗損失的加權(quán)權(quán)重。具體來說，L1損失、感知損失Lper、對抗損失Ladv組合可以提供去霧效果的同時，較好地保持圖像的結(jié)構(gòu)、紋理細節(jié)。而暗通道先驗損失Ldark的加入使得網(wǎng)絡(luò)模型不再只依靠樣本真值更新參數(shù)，有利于避免預(yù)測圖像對樣本真值過度擬合。

4 實驗結(jié)果與分析

4.1 數(shù)據(jù)集設(shè)置

為了更好地訓(xùn)練以及評估模型，本文使用了目前規(guī)模較大的單幅圖像去霧數(shù)據(jù)集RESIDE[33]。該數(shù)據(jù)集早期版本中包含了一個用于模型訓(xùn)練的訓(xùn)練子集ITS、一個綜合測試子集SOTS 以及一個混合主觀測試子集HSTS。在后續(xù)版本中，該數(shù)據(jù)集擴展了一個訓(xùn)練子集OTS 以及一個任務(wù)驅(qū)動測試子集RTTS。其中，訓(xùn)練子集ITS 使用了來自于NYU2[34]以及Middlebury Stereo[35]的清晰圖像并依據(jù)其提供的深度真值合成了13990張室內(nèi)存霧圖像。OTS 使用了來自于文獻[36]的真實室外圖像并依據(jù)文獻[37]提供的方法預(yù)測了圖像深度，最終合成了72135張室外存霧圖像。ITS 與OTS 通過隨機選擇介質(zhì)傳輸系數(shù) β與全局大氣光A，并通過式(1)的大氣散射模型來實現(xiàn)最終的合成步驟。綜合測試子集SOTS 包含了室外室內(nèi)測試集SOTS-outdoor 以及SOTS-indoor 兩個部分，每一個測試集各提供了500張測試樣本?；旌现饔^測試子集HSTS 包含了 10張來自于互聯(lián)網(wǎng)的真實存霧圖像以及10張已知樣本真值的合成圖像。為了加強訓(xùn)練數(shù)據(jù)集的魯棒性，本文在OTS 以及ITS 數(shù)據(jù)集中各隨機選擇了3000張樣本。也就是說本文網(wǎng)絡(luò)模型的訓(xùn)練數(shù)據(jù)集包含共計6000張樣本圖像，而且它們來自于室外室內(nèi)不同場景。

4.2 訓(xùn)練細節(jié)與參數(shù)

首先，為了進一步加強訓(xùn)練數(shù)據(jù)集的魯棒性與健壯性，本文對從OTS 與ITS 數(shù)據(jù)集采集來的 6000張樣本圖像進行了以下方式的數(shù)據(jù)擴充：隨機裁剪至256×256或 512×512尺寸；水平翻轉(zhuǎn)或垂直翻轉(zhuǎn)；隨機旋轉(zhuǎn)0，45°，90°，135°。最終將所有的擴充樣本隨機裁剪至256×256尺寸，并將像素強度值歸一化至[?1,1]。最終的訓(xùn)練樣本數(shù)量為：6000×3=18000。

根據(jù)文獻[24]的建議，感知損失Lper、對抗損失Ladv的損失權(quán)重被設(shè)置為λ=10?3，γ=10?5。而暗通道先驗損失的損失權(quán)重被設(shè)置為 μ=5×10?6。與文獻[16]類似，本文算法的生成器與判別器均基于PyTorch 框架實現(xiàn)，輸入網(wǎng)絡(luò)的batch-size 設(shè)置為1，使用Adam 優(yōu)化器，動量參數(shù)設(shè)置為β1=0.9，β2=0.999，初始學(xué)習(xí)率設(shè)置為lr=0.0002。共設(shè)置 200個epochs 來訓(xùn)練網(wǎng)絡(luò)，在前 100個epochs 中保持初始學(xué)習(xí)率，在后 100個 epochs 中學(xué)習(xí)率線性衰減至10?6。在訓(xùn)練過程中，生成器與判別器交替更新參數(shù)，具體設(shè)置為生成器每更新5 次判別器更新1 次。

4.3 定量評價

為了定量評價本文算法模型在去霧方面的性能，將本文算法與現(xiàn)有的一些先進去霧算法進行比較，其中包含基于傳統(tǒng)先驗方法的DCP[7]，BCCR[9]，CAP[10]；基于學(xué)習(xí)退化傳輸圖方法的MSCNN[15]，D-Net[16]，AOD-Net[17]；基于端到端方法的GFN[18]以及基于無監(jiān)督方法的DEnegy[26]。

將上述算法與本文算法在綜合測試集SOTS 以及混合主觀測試集HSTS 的合成圖像上進行對比實驗，使用峰值信噪比(PSNR)與結(jié)構(gòu)相似度(SSIM)作為最終評價指標，具體結(jié)果如表3 所示。從表3 中可以看出，在HSTS 以及SOTS-outdoor 兩個測試集上，本文算法在各項指標上都展現(xiàn)了最好的結(jié)果；在SOTSindoor 測試集上，PSNR 指標展現(xiàn)了最好的結(jié)果。實驗結(jié)果證明，本文算法不論是與基于先驗信息的去霧算法相比，還是與基于深度學(xué)習(xí)的去霧算法相比，都有一定優(yōu)越性。具體的定量結(jié)果分析說明如下：

表3 各算法在SOTS 測試集以及HSTS 測試集合成圖像上的定量結(jié)果Table 3 Quantitative results of each algorithm on SOTS test-set &synthetic images of HSTS test-set

首先，基于先驗信息的去霧算法[7-10]對于特殊場景下的圖像沒有良好的適應(yīng)性，在執(zhí)行去霧時，先驗規(guī)律可能會失效，最終反映為評價指標上的失利。舉例來說，圖像的天空域或亮域不符合暗通道先驗規(guī)律，這會導(dǎo)致DCP[7]算法預(yù)測的退化傳輸圖不準確，直接結(jié)果就是出現(xiàn)失真現(xiàn)象；另外，在濃霧場景下，顏色衰減先驗的敏感性下降，導(dǎo)致CAP[10]算法在濃霧場景下的去霧效果一般。依此類推，除了上述兩種先驗信息外，其它先驗信息也難以保證對所有場景下的圖像都有絕對符合性，所以基于先驗信息的去霧算法在進行大規(guī)模圖像質(zhì)量評價時，定量結(jié)果往往一般。與傳統(tǒng)的基于先驗信息的去霧算法不同，本文算法使用了生成對抗網(wǎng)絡(luò)框架，并設(shè)置了不同的損失函數(shù)用于指導(dǎo)網(wǎng)絡(luò)訓(xùn)練，生成的圖像保留了較好的結(jié)構(gòu)與紋理細節(jié)，因此在評價指標上獲得了較高的得分。

其次，基于學(xué)習(xí)退化傳輸圖的去霧算法[15-17]在預(yù)估退化傳輸圖時有時缺乏準確性，通過大氣散射模型恢復(fù)的圖像會引入失真或偽影。然而，這種準確性取決于多方面因素，其中最為主要的在于傳輸圖真值的可靠性。目前，傳輸圖真值主要依靠場景深度以及t(x,y)=e?βd(x,y)進行合成，而場景深度通常來自相關(guān)數(shù)據(jù)集提供的儀器結(jié)果[34-35]或引入其它深度估計算法[37-38]進行估計。由于儀器始終存在誤差，深度估計算法也存在不穩(wěn)定性，由此得到的傳輸圖真值缺乏準確性，所以該類算法的定量評價結(jié)果仍有局限性。與其不同，本文算法不引入預(yù)估傳輸圖的中間環(huán)節(jié)，而是通過生成對抗網(wǎng)絡(luò)直接從一張存霧圖像中恢復(fù)出清晰圖像，使用端到端的方法提升定量評價指標。

最后，傳統(tǒng)的基于端到端[18]的去霧方法，通常只依靠預(yù)測圖像與樣本真值之間的損失來更新網(wǎng)絡(luò)參數(shù)，其訓(xùn)練結(jié)果本質(zhì)上是樣本真值的一家之言。即網(wǎng)絡(luò)模型只考慮預(yù)測結(jié)果與樣本真值是否相近，而忽略了實際的去霧能力?；跓o監(jiān)督[26]的去霧算法在網(wǎng)絡(luò)訓(xùn)練過程中，需要在合適的階段停止網(wǎng)絡(luò)參數(shù)更新以保證獲得更好的結(jié)構(gòu)與細節(jié)。如果停止訓(xùn)練的時機不當(dāng)，則會造成定量評價結(jié)果的大幅降低。與上述兩種方法不同，本文算法通過L1損失、感知損失和對抗損失保證生成的圖像具有良好的結(jié)構(gòu)與紋理細節(jié)，通過暗通道先驗損失保證生成的圖像在暗通道特征方面更接近清晰圖像，有效避免模型對樣本真值過度擬合，提升定量評價指標。

近年來，基于不同技術(shù)路線的去霧算法不斷發(fā)展，去霧效果不斷提升，為了進一步展現(xiàn)本文算法的優(yōu)越性，實驗對象增加CycleGAN[22]，SM-Net[24]，RefineDNet[39]三種改進模型并在室內(nèi)場景測試集DHAZY[40]、高分辨率測試集HazeRD[41]和真實存霧圖像測試集BeDDE (包含208 個真實存霧圖像和對應(yīng)的清晰圖像)上進行對比實驗，引入VSI[42]、VI[43]及RI[43]衡量算法的有效性，具體結(jié)果如表4 所示。

表4 各算法在D-HAZY、HazeRD 以及BeDDE 測試集上的定量結(jié)果Table 4 Quantitative results of each algorithm on D-HAZY &HazeRD &BeDDE test-set

首先，從室內(nèi)場景測試集D-HAZY 上分析，本文算法的PSNR 及SSIM 指標均顯著高于CycleGAN[22]和SM-Net[24]兩種改進模型，RefineDNet[39]模型取得了更好的PSNR 及SSIM 指標，分別高出本文算法0.05 和0.01。但是這種微弱的差距是符合預(yù)期的，因為RefineDNet[39]模型使用室內(nèi)場景數(shù)據(jù)集ITS 的全部樣本進行訓(xùn)練，一定程度上增強了模型對室內(nèi)場景圖像的有效性。

其次，從高分辨率測試集HazeRD 上分析，本文算法的各項定量評價指標顯著高于DCP[7]等基于先驗信息的去霧算法，高于MSCNN[15]、D-Net[16]以及GFN[18]三種基于深度學(xué)習(xí)的去霧算法。AOD-Net[17]以及CycleGAN[22]在高分辨率圖像去霧方面取得了更好的定量評價指標，但本文算法與他們的差距不大。

最后，從真實存霧圖像測試集BeDDE 上分析，本文算法在各項指標上均取得了突出的結(jié)果，特別是VSI 指標，在全部算法中排名第一，這充分說明本文算法不僅在提升去霧性能方面具有優(yōu)越性，也可以有效避免圖像發(fā)生失真。

4.4 定性評價

為了更直觀地展示本文算法的優(yōu)越性能，圖5 展示了不同去霧算法在SOTS、HSTS、D-HAZY 等合成測試集的定性結(jié)果；圖6 展示了不同去霧算法在真實存霧圖像上的定性結(jié)果，其中的對照組為不加入暗通道先驗損失時，本文算法模型的處理結(jié)果。從中可以看出，DCP[7]與BCCR[9]算法在處理天空區(qū)域時造成了比較嚴重的失真現(xiàn)象；CAP[10]算法較好地處理了天空區(qū)域，但是其去霧性能受到霧氣濃度影響，去霧結(jié)果不徹底。MSCNN[15]，D-Net[16]，AOD-Net[17]等基于學(xué)習(xí)退化傳輸圖的去霧算法在處理結(jié)果上有霧塊殘留。GFN[18]算法的處理結(jié)果對比度更強，但是造成了一定程度上的色彩偏移。CycleGAN[22]算法的處理整體偏暗并且有偽影失真，SM-Net[24]，RefineDNet[39]在圖像陰暗處的處理效果不佳，霧塊殘留較多。對照組模型的恢復(fù)結(jié)果雖然在結(jié)構(gòu)、細節(jié)方面較好，但實際的去霧性能不佳，霧塊殘留較多。相比之下，加入暗通道先驗損失的本文算法模型，其恢復(fù)圖像不僅在結(jié)構(gòu)、細節(jié)方面得到了更好的保證，真實的去霧性能也得到了提高。

圖5 各算法在合成圖像上的定性比較Fig.5 Qualitative comparison on synthetic images

圖6 各算法在真實圖像上的定性比較Fig.6 Qualitative comparison on real hazy images

4.5 消融實驗

為了公平比較本文創(chuàng)新點的有效性，采用了兩個對照模型與本文算法作比較：第一個對照模型為第4.4 章訓(xùn)練的基礎(chǔ)模型；第二個對照模型在訓(xùn)練時采用了與本文算法相同的損失權(quán)重，但在暗通道特征圖的計算上使用了文獻[22]的“查找表”方法。結(jié)果表明，本文算法全面優(yōu)于兩個對照組，具體結(jié)果在4.5.1 和4.5.2 小節(jié)中詳細討論。

4.5.1 暗通道先驗損失

首先，為了充分證明暗通道先驗損失的有效性，將本文算法于其它兩個對照模型在SOTS 測試集以及HSTS 測試集上做定量評價。為了衡量各模型在真實霧霾圖像上的表現(xiàn)，需要采用無參考圖像的評價方法[44-45]等。本文最終的定量結(jié)果通過PSNR、SSIM和無參考評價方法BCEA[44]來反映。無參考評價方法BCEA 有3 個評價指標：e,r,p。其中，e表示恢復(fù)圖像中新出現(xiàn)可見邊緣的比率；r表示對比度恢復(fù)，具體定義為可見邊緣的平均歸一化梯度；p表示圖像恢復(fù)后像素變?yōu)檫^飽和像素的概率。在評價時，越高的e,r指標，越低的p指標，代表更好的恢復(fù)效果。實驗結(jié)果如表5 和圖7 所示。從圖7 中可以看出，本文算法在三個測試集上的PSNR 和SSIM 指標均顯著領(lǐng)先于對照組。從表5 中可以看出，加入暗通道損失的對照組2 以及本文算法在e,r指標上明顯超出對照組1。上述結(jié)果充分說明，暗通道先驗損失可以有效避免過度擬合問題，提高模型的實際去霧能力。不過，值得注意的是，對照組2 以及本文算法在p指標上略高于對照組1。這種結(jié)果是符合預(yù)期的，因為暗通道先驗損失通過約束暗通道特征圖的稀疏性以及偏度性質(zhì)提高去霧能力，不可避免地引入了一定的暗像素偽影，增加了過飽和像素的數(shù)量。但是這種問題可以通過引入其它損失函數(shù)來解決，將暗像素偽影與過飽和被控制在可接受的范圍內(nèi)，圖8 的定性結(jié)果在一定程度上反映了這種情況。

圖7 對照組與本文算法在SOTS 測試集以及HSTS 測試集合成圖像上的定量比較Fig.7 Quantitative comparison with control group on SOTS test-set &synthetic images of HSTS test-set

圖8 對照組與本文算法在HSTS 測試集真實圖像上的定性比較Fig.8 Qualitative comparison with control groups on real images of HSTS test-set

4.5.2 基于像素值壓縮的暗通道特征圖提取策略

本文引入了一種新的策略來提取圖像的暗通道特征，將最小值濾波步驟等效為對像素強度值進行非線性或線性壓縮。為了驗證該策略的優(yōu)越性，將本文算法以及上述兩個對照模型在HSTS 測試集的真實圖像上做了定量評價，結(jié)果如表5 和圖9 所示。

圖9 對照組與本文算法在HSTS 測試集真實圖像上的定量比較Fig.9 Quantitative comparison with control group on real hazy images of HSTS test-set

表5 對照組與本文算法在HSTS 測試集真實圖像上的定量結(jié)果Table 5 Quantitative results of the control groups &proposed algorithm on real images of HSTS test-set

可以看出，本文算法在e,r指標上顯著高于對照組2，而p指標略低于對照組2，這意味著本文算法去除了更多的霧塊而沒有引入更多的過飽和像素。上述結(jié)果充分展示了基于像素值壓縮的暗通道特征圖提取策略在網(wǎng)絡(luò)訓(xùn)練中的優(yōu)越性。

4.6 運行時間

為了公平比較，以處理SOTS 測試集(樣本尺寸大約為500×500左右)的平均運行時間作為標準，將本文算法與目前較為先進的DCP[7]、CAP[10]、MSCNN[15]、D-Net[16]、AOD-Net[17]、GFN[18]算法作了對比，具體結(jié)果如表6 所示。其中，DCP[7]、CAP[10]、D-Net[16]算法在CPU 上完成對SOTS 測試集的處理，而MSCNN[15]、AOD-Net[17]、CycleGAN[22]、GFN[18]以及本文算法在GPU 上完成。硬件具體型號為：

表6 各算法在SOTS 測試集上的運行速度(時間/s)Table 6 Run time of each algorithm on SOTS test-set

1) CPU: Intel(R) Core(TM) i5-8400 CPU@2.80GHz 2.81GHz。

2) GPU:Nvidia GeForce GTX 10606GB CUDA 1280。

CAP[7]得益于算法的低復(fù)雜度、AOD-Net[13]得益于其輕量級的網(wǎng)絡(luò)，在運算速度上取得了較好的結(jié)果，但在去霧性能上仍有待提高。本文算法受益于GPU并行處理能力，在運算速度上基本領(lǐng)先于其它先進算法，也取得了較好的去霧性能。

5 結(jié) 論

本文提出了一種融合暗通道先驗損失的生成對抗網(wǎng)絡(luò)用于單幅圖像去霧。具體來講，本文首先引入新的暗通道特征圖提取策略，通過對像素強度值進行線性或非線性壓縮來代替?zhèn)鹘y(tǒng)的最小值濾波步驟。該提取策略不需要設(shè)置固定尺度，在增強尺度魯棒性的同時，還可以解決非凸函數(shù)難以嵌入網(wǎng)絡(luò)訓(xùn)練的問題。之后，本文通過約束暗通道特征圖的稀疏性以及偏度性質(zhì)設(shè)計一種暗通道先驗損失函數(shù)，并聯(lián)合通用損失函數(shù)共同訓(xùn)練網(wǎng)絡(luò)模型。暗通道先驗損失的加入，一方面可以避免網(wǎng)絡(luò)模型對樣本真值過度擬合，另一方面，可以使得模型預(yù)測結(jié)果的暗通道特征圖更接近清晰圖像的暗通道特征圖，從而在不依靠樣本真值的情況下，提升去霧效果。實驗結(jié)果表明，本文算法有效解決了傳統(tǒng)的GAN 網(wǎng)絡(luò)去霧算法存在的過度擬合問題，相比于其它先進算法，本文算法取得了更佳的數(shù)據(jù)指標，提升了實際的去霧性能。