基于霧濃度分類與暗-亮通道先驗(yàn)的多分支去霧網(wǎng)絡(luò)

張琪東 遲 靜 陳玉妍 張彩明

1 （山東財(cái)經(jīng)大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院 濟(jì)南 250014）

2 （山東省數(shù)字媒體技術(shù)重點(diǎn)實(shí)驗(yàn)室（山東財(cái)經(jīng)大學(xué)） 濟(jì)南 250014）

3 （山東大學(xué)軟件學(xué)院 濟(jì)南 250101）

圖像去霧是圖像處理和計(jì)算機(jī)視覺領(lǐng)域的研究熱點(diǎn)，也是一個(gè)充滿挑戰(zhàn)性的難題.霧是由大氣中懸浮的細(xì)小水滴或冰晶經(jīng)大氣散射后產(chǎn)生的天氣現(xiàn)象，帶霧圖像存在諸多問題，如對(duì)比度低、飽和度低、紋理細(xì)節(jié)丟失、顏色出現(xiàn)偏差等.這類圖像實(shí)際用于視頻監(jiān)控、自動(dòng)駕駛、圖像識(shí)別等領(lǐng)域時(shí)，會(huì)對(duì)現(xiàn)有技術(shù)的處理結(jié)果造成負(fù)面影響.因此，圖像去霧作為一種不可或缺的圖像預(yù)處理技術(shù)，具有十分重要的研究意義.

圖像去霧方法可分為基于圖像增強(qiáng)的方法、基于圖像復(fù)原的方法、基于深度學(xué)習(xí)的方法.基于圖像增強(qiáng)的方法[1-2]主要通過去除圖像噪聲和提高圖像對(duì)比度恢復(fù)無霧圖像.基于圖像復(fù)原的方法[3-7]大多以大氣散射模型為基礎(chǔ)，通過估計(jì)透射率和大氣光實(shí)現(xiàn)去霧，但是容易出現(xiàn)參數(shù)估計(jì)不準(zhǔn)確等問題，影響生成圖像質(zhì)量.基于深度學(xué)習(xí)的方法[8-19]主要通過卷積神經(jīng)網(wǎng)絡(luò)（CNN）實(shí)現(xiàn)端到端去霧，相比基于圖像增強(qiáng)和圖像復(fù)原的方法，其生成圖像的質(zhì)量得到大幅度提升，但同時(shí)伴隨著模型復(fù)雜度的提升和運(yùn)行效率的降低.

在圖像去霧中，根據(jù)霧濃度對(duì)帶霧圖像進(jìn)行分類，有助于在圖像去霧時(shí)選擇合適的網(wǎng)絡(luò)模型，使去霧處理更具有針對(duì)性，從而在一定程度上簡化網(wǎng)絡(luò)結(jié)構(gòu)，減少內(nèi)存占用.但在目前的去霧領(lǐng)域中，對(duì)霧濃度分類的研究較少，多數(shù)現(xiàn)有霧濃度分類算法[20-23]的準(zhǔn)確率有待提升，且沒有固定的分類標(biāo)準(zhǔn).分類網(wǎng)絡(luò)結(jié)構(gòu)的設(shè)計(jì)和帶霧圖像特征的選擇作為2 個(gè)關(guān)鍵因素，共同影響著最終分類的準(zhǔn)確率和識(shí)別度.因此，如何借助霧濃度的分類，更具針對(duì)性地設(shè)計(jì)去霧模型的網(wǎng)絡(luò)結(jié)構(gòu)，使模型能夠?yàn)椴煌F濃度的輸入圖像選擇合適的分支網(wǎng)絡(luò)，以更靈活地處理，這對(duì)于在保證精度的前提下簡化網(wǎng)絡(luò)結(jié)構(gòu)、減少內(nèi)存占用、提高計(jì)算效率具有重要意義.

針對(duì)現(xiàn)有去霧模型對(duì)濃霧圖像去霧效果欠佳、精度和算力難以有效平衡的問題，本文提出一種新的圖像去霧方法，主要貢獻(xiàn)有3 個(gè)方面：

1）提出一個(gè)基于霧濃度分類與暗-亮通道先驗(yàn)的多分支去霧模型，該模型包括輕量級(jí)霧濃度分類器和基于暗-亮通道先驗(yàn)的多分支去霧網(wǎng)絡(luò)2 個(gè)部分.前者對(duì)輸入帶霧圖像進(jìn)行分類，輸出霧濃度標(biāo)簽；后者根據(jù)標(biāo)簽針對(duì)性地選擇相應(yīng)的分支去霧網(wǎng)絡(luò)，恢復(fù)無霧圖像，從而實(shí)現(xiàn)圖像去霧質(zhì)量與網(wǎng)絡(luò)計(jì)算效率的良好平衡.

2）提出新的暗通道先驗(yàn)損失函數(shù)與亮通道先驗(yàn)損失函數(shù)，用于約束分支去霧網(wǎng)絡(luò).該損失函數(shù)可以增強(qiáng)模型去霧性能，提高生成圖像的對(duì)比度，使去霧后的圖像更加清晰.

3）提出一個(gè)新的霧濃度分類方法，并基于該方法提出一個(gè)新的霧濃度分類損失函數(shù).該損失函數(shù)的引入，可使模型依據(jù)帶霧圖像的暗通道特征和恢復(fù)難度，并結(jié)合生成圖像的質(zhì)量與模型的計(jì)算效率，得到對(duì)帶霧圖像更加合理和準(zhǔn)確的分類結(jié)果.繼而依據(jù)分類結(jié)果，由相應(yīng)的分支網(wǎng)絡(luò)處理帶霧圖像，從而在保證精度的前提下，有效提高模型的效率，減少內(nèi)存的占用.

1 相關(guān)工作

1.1 基于圖像增強(qiáng)和復(fù)原的方法

早期的傳統(tǒng)去霧方法多數(shù)是基于圖像增強(qiáng)和圖像復(fù)原的方法.文獻(xiàn)[2] 對(duì)圖像進(jìn)行偏色檢測(cè)校正，通過亮度和對(duì)比度增強(qiáng)以及飽和度補(bǔ)償獲得無霧圖像.文獻(xiàn)[3]通過高階濾波迭代優(yōu)化透射率，利用大氣散射模型復(fù)原無霧圖像.文獻(xiàn)[6]提出暗通道先驗(yàn)(dark channel prior, DCP)，指出室外無霧彩色圖像的大多數(shù)圖像塊中通常存在一個(gè)像素值很低的顏色通道，并基于DCP 和大氣散射模型，通過暗通道圖來估計(jì)透射率和大氣光，從而實(shí)現(xiàn)先驗(yàn)去霧.該方法廣泛應(yīng)用在圖像去霧領(lǐng)域中，但其生成圖像存在整體顏色過暗和局部細(xì)節(jié)模糊等問題.基于暗通道先驗(yàn)，文獻(xiàn)[7]提出了暗通道與亮通道相結(jié)合的去霧算法.亮通道先驗(yàn)理論的基本思想是，在最模糊的圖像塊中通常存在一個(gè)像素值很高的顏色通道.然而，基于先驗(yàn)的去霧算法普遍存在透射率估計(jì)不準(zhǔn)確、天空區(qū)域過曝、圖像顏色過暗等缺點(diǎn).綜上，傳統(tǒng)方法雖然運(yùn)行速度較快、實(shí)現(xiàn)較為簡單，但去霧效果不理想.

1.2 基于深度學(xué)習(xí)的方法

隨著深度學(xué)習(xí)技術(shù)的興起，利用卷積神經(jīng)網(wǎng)絡(luò)恢復(fù)無霧圖像的研究取得較大進(jìn)展.早期的深度學(xué)習(xí)算法大多基于大氣散射模型，利用卷積神經(jīng)網(wǎng)絡(luò)估計(jì)大氣散射模型的參數(shù).文獻(xiàn)[8]利用神經(jīng)網(wǎng)絡(luò)估計(jì)帶霧圖像的透射圖，通過大氣散射模型實(shí)現(xiàn)去霧.文獻(xiàn)[9]提出了基于多尺度卷積神經(jīng)網(wǎng)絡(luò)的去霧模型，通過不同尺度的網(wǎng)絡(luò)估計(jì)并優(yōu)化透射圖，應(yīng)用大氣散射模型輸出無霧圖像.文獻(xiàn)[10]將大氣散射模型直接嵌入到網(wǎng)絡(luò)中，利用聯(lián)合訓(xùn)練實(shí)現(xiàn)端到端去霧.文獻(xiàn)[8–10] 所述的方法雖然在去霧效果上得到了不同程度的提升，但仍然需要估算透射率和大氣光值，因此難以避免參數(shù)估計(jì)不準(zhǔn)確和無法生成高精度圖像等問題.

近年來，基于深度學(xué)習(xí)的很多圖像去霧技術(shù)不再依賴大氣散射模型，無需估計(jì)透射率和大氣光，而是利用輸入的帶霧圖像，通過訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)模型，直接生成無霧圖像.文獻(xiàn)[11]將透射率和大氣光統(tǒng)一為一個(gè)參數(shù)表示，并構(gòu)建輕量級(jí)卷積神經(jīng)網(wǎng)絡(luò)估計(jì)該參數(shù)的值，進(jìn)而生成無霧圖像.文獻(xiàn)[12]將注意力機(jī)制與圖像去霧相結(jié)合，提出了基于特征注意的深度去霧網(wǎng)絡(luò).文獻(xiàn)[13]提出一種基于注意力機(jī)制的多尺度去霧網(wǎng)絡(luò)，通過通道注意力機(jī)制將不同尺度的特征和經(jīng)過殘差塊卷積后的不同分支特征相融合實(shí)現(xiàn)去霧.文獻(xiàn)[14]提出了一種基于U-Net[24]架構(gòu)的具有密集特征融合的多尺度增強(qiáng)去霧網(wǎng)絡(luò)，通過增強(qiáng)解碼器逐步恢復(fù)無霧圖像.文獻(xiàn)[11–14]中的模型有效提升了去霧性能以及生成圖像的精度，但精度的提升往往依賴于網(wǎng)絡(luò)深度與寬度的增加.這會(huì)導(dǎo)致參數(shù)量與算力需求的增加，從而不可避免地出現(xiàn)模型內(nèi)存占用增大和計(jì)算效率降低的問題，而且模型對(duì)于新樣本的適應(yīng)性不強(qiáng)，泛化能力較弱.文獻(xiàn)[15]利用帶霧圖像和清晰圖像的信息分別作為負(fù)樣本和正樣本，設(shè)計(jì)了以自編碼器為核心的輕量級(jí)去霧網(wǎng)絡(luò)，均衡了模型的性能與參數(shù)量.文獻(xiàn)[16]提出無監(jiān)督自增強(qiáng)去霧框架，通過將透射圖分解為密度信息和深度信息實(shí)現(xiàn)去霧，在提高模型去霧性能的同時(shí)增強(qiáng)了泛化能力.

很多研究工作將生成式對(duì)抗網(wǎng)絡(luò)(generative adversarial network, GAN)[25]引入到圖像去霧中.文獻(xiàn)[17]提出了一種基于循環(huán)生成式對(duì)抗網(wǎng)絡(luò)Cycle-GAN[26]模型的去霧方法，訓(xùn)練時(shí)無需使用成對(duì)的帶霧圖像與目標(biāo)無霧圖像，并加入循環(huán)一致性損失和感知一致性損失，提高了圖像紋理細(xì)節(jié)恢復(fù)的質(zhì)量以及視覺上的去霧效果.文獻(xiàn)[18]基于GAN 提出了一個(gè)端到端去霧模型，可在實(shí)現(xiàn)去霧的同時(shí)避免網(wǎng)格偽影的產(chǎn)生.文獻(xiàn)[19]針對(duì)現(xiàn)有模型對(duì)真實(shí)帶霧圖像的泛化能力差的問題，提出了基于GAN 的域自適應(yīng)去霧模型.通過圖像轉(zhuǎn)換模塊實(shí)現(xiàn)合成帶霧圖像與真實(shí)帶霧圖像之間的相互轉(zhuǎn)換，然后使用轉(zhuǎn)換前后的圖像訓(xùn)練2 個(gè)具有一致性約束的去霧網(wǎng)絡(luò)，有效提升了模型的泛化能力.這些基于深度學(xué)習(xí)的去霧模型在訓(xùn)練時(shí)大多采用最常見的L1 損失或L2 損失，而L1 損失和L2 損失在很多情況下會(huì)使得模型對(duì)圖像中紋理細(xì)節(jié)的處理過度平滑，導(dǎo)致生成圖像的部分邊緣區(qū)域出現(xiàn)一定程度的模糊，并且會(huì)存在霧殘留，尤其在處理濃霧圖像時(shí)，部分生成圖像會(huì)有大量的霧殘留，整體質(zhì)量較差.

1.3 霧濃度分類方法

近年來，基于深度學(xué)習(xí)的圖像分類研究取得長足進(jìn)展.文獻(xiàn)[27]針對(duì)樣本收集難度較大、標(biāo)記數(shù)據(jù)較少等問題，利用多尺度生成器生成不同尺度的圖像特征，獲得多尺度信息的相似性得分并進(jìn)行標(biāo)簽傳播，通過計(jì)算傳播結(jié)果實(shí)現(xiàn)分類.文獻(xiàn)[28]提出一種基于余弦相似性的Softmax 損失函數(shù)，計(jì)算嵌入表示與分類全連接層權(quán)重的正負(fù)相似性，有效提升多分類任務(wù)性能.文獻(xiàn)[20–23]把圖像分類引入到圖像去霧工作中，實(shí)現(xiàn)對(duì)帶霧圖像的識(shí)別與分類.文獻(xiàn)[20]通過灰度共生矩陣提取圖像紋理細(xì)節(jié)特征，使用支持向量機(jī)實(shí)現(xiàn)對(duì)有霧圖像與無霧圖像的識(shí)別，但是無法根據(jù)霧濃度實(shí)現(xiàn)對(duì)帶霧圖像的精細(xì)分類.文獻(xiàn)[21]使用高斯混合模型對(duì)無霧、有霧、濃霧3 種霧濃度圖像的概率密度進(jìn)行建模，并通過期望最大化算法學(xué)習(xí)模型參數(shù).文獻(xiàn)[22]提出了基于顏色特征和角偏差特征的霧濃度分類方法，通過訓(xùn)練支持向量機(jī)實(shí)現(xiàn)對(duì)4 種不同霧濃度圖像的分類.文獻(xiàn)[23]利用序數(shù)關(guān)系實(shí)現(xiàn)霧圖像的能見度檢測(cè).文獻(xiàn)[20–23,27–28]所述的方法普遍存在2 個(gè)問題：1）霧濃度分類方法的相關(guān)數(shù)據(jù)集較少，沒有固定的分類標(biāo)準(zhǔn)，并且霧濃度的大小是相對(duì)的，其分類結(jié)果不具備普適性；2）霧濃度分類方法采用的是硬分類，沒有考慮分類結(jié)果對(duì)整個(gè)去霧模型的去霧質(zhì)量和計(jì)算效率之間的平衡所產(chǎn)生的影響，分類方法不具備自適應(yīng)性和靈活性.

2 本文方法

本文提出一個(gè)新的基于霧濃度分類與暗-亮通道先驗(yàn)的多分支去霧模型，模型的結(jié)構(gòu)如圖1 所示.本文模型由2 部分組成，分別是輕量級(jí)霧濃度分類器(light-weight fog image classifier, LFC)和基于暗-亮通道先驗(yàn)的多分支去霧網(wǎng)絡(luò)(multi-branch defogging network based on dark and bright channel priors, MBDN).LFC 由3 個(gè)卷積塊與2 個(gè)全連接層組成，利用本文提出的新的霧濃度分類損失函數(shù)，并結(jié)合生成圖像的質(zhì)量與模型的計(jì)算效率，實(shí)現(xiàn)對(duì)帶霧圖像的分類；MBDN 由3 個(gè)結(jié)構(gòu)相同、寬度不同的分支去霧網(wǎng)絡(luò)組成，分別用于處理輕霧圖像、中霧圖像、濃霧圖像.每個(gè)分支去霧網(wǎng)絡(luò)都由3 個(gè)模塊組成：特征提取模塊(feature extract module, FE)、通道注意力模塊(channel attention module, CA)、空間注意力模塊(space attention module,SA).本文方法的基本流程是：首先將帶霧圖像I輸入至LFC，得到輸入圖像的概率向量p，向量中的元素p1,p2,p3分別表示圖像屬于輕霧、中霧、濃霧3 類圖像的概率值，取最大概率值所對(duì)應(yīng)的霧濃度類別作為輸入圖像的濃度標(biāo)簽；然后將濃度標(biāo)簽輸入至MBDN，MBDN 根據(jù)當(dāng)前輸入圖像的濃度標(biāo)簽將其輸送到相應(yīng)的分支去霧網(wǎng)絡(luò).在分支去霧網(wǎng)絡(luò)中，F(xiàn)E用于提取融合特征，輸出組合特征圖至CA，CA 通過通道注意力機(jī)制在通道方向上獲取特征權(quán)重，再由SA 通過空間注意力機(jī)制在像素維度上進(jìn)一步獲取特征權(quán)重，使模型能夠定位重點(diǎn)信息，提高處理效率.同時(shí)，結(jié)合本文新提出的暗通道先驗(yàn)損失與亮通道先驗(yàn)損失，進(jìn)一步約束分支去霧網(wǎng)絡(luò)，提高分支網(wǎng)絡(luò)的去霧性能，最終生成無霧圖像.

圖1 本文方法框架Fig.1 Framework of our method

2.1 輕量級(jí)霧濃度分類器

本文提出一個(gè)新的LFC，可根據(jù)帶霧圖像的暗通道特征和恢復(fù)難度以及生成圖像的質(zhì)量，將帶霧圖像分為輕霧、中霧、濃霧3 類.LFC 由3 個(gè)卷積塊和2 個(gè)全連接層組成，其中每個(gè)卷積塊由1 個(gè)卷積層、1 個(gè)激活層、1 個(gè)最大池化層組成.LFC 是一個(gè)十分輕量級(jí)的分類網(wǎng)絡(luò)，參數(shù)量僅有0.32 MB，它的引入幾乎不會(huì)對(duì)本文模型的去霧工作帶來計(jì)算成本和內(nèi)存占用量的增加.模型中各模塊的參數(shù)量對(duì)比及說明詳見3.3 節(jié).設(shè)當(dāng)前帶霧圖像為I，將其輸入至LFC，可得到帶霧圖像I的概率向量p(I)=(p1,p2,p3)，p1,p2,p3分別表示I屬于輕霧、中霧、濃霧類別的概率.取其中最大概率值元素所對(duì)應(yīng)的霧濃度類別作為當(dāng)前圖像的分類結(jié)果，該結(jié)果表示為濃度標(biāo)簽L.L將與I共同輸入至后續(xù)的分支去霧網(wǎng)絡(luò)MBDN.設(shè)FLFC(·)為LFC 的函數(shù)表示，則LFC 的處理過程可表示為

2.1.1 霧濃度分類方法

為了提高霧濃度分類的合理性和準(zhǔn)確性，同時(shí)保證整個(gè)網(wǎng)絡(luò)模型在去霧精度和算力消耗上的良好平衡，本文提出一種新的霧濃度分類方法.霧濃度在現(xiàn)實(shí)世界中是指懸浮在空氣中的霧滴數(shù)量的多少，反映在圖像上表現(xiàn)為圖像的不清晰程度.不同霧濃度的圖像具有不同的暗通道特征和恢復(fù)難度，因此，可用暗通道特征和恢復(fù)難度來描述圖像霧濃度.新方法根據(jù)帶霧圖像的暗通道特征和恢復(fù)難度這2 個(gè)因素，實(shí)現(xiàn)對(duì)霧濃度的分類.2 個(gè)因素值的計(jì)算分別為：1）求取帶霧圖像的暗通道圖的平均像素值并歸一化；2）將帶霧圖像通過DCP[6]算法去霧處理后，求取生成圖像的峰值信噪比(peak signal to noise ratio,PSNR)與結(jié)構(gòu)相似性(structural similarity, SSIM)，這二者均為評(píng)價(jià)圖像質(zhì)量的指標(biāo).暗通道圖的平均像素值代表了帶霧圖像的暗通道特征.由暗通道先驗(yàn)理論可得，輸入圖像中存在的霧越濃，其暗通道圖通常會(huì)越亮.而濃霧圖像相對(duì)輕霧圖像而言，恢復(fù)難度自然會(huì)更大，即濃霧圖像經(jīng)同一去霧算法處理后的生成圖像的PSNR 值與SSIM 值往往會(huì)更低.因此，可用PSNR 值與SSIM 值表示帶霧圖像的恢復(fù)難度.這里用于計(jì)算PSNR 值與SSIM 值所采用的去霧處理操作，僅僅是為了得到不同帶霧圖像經(jīng)過同一算法去霧后的客觀量化結(jié)果，以此來反映不同帶霧圖像的恢復(fù)難度，對(duì)去霧處理操作本身的精度沒有特別的要求.因此，本文使用綜合速度最快的DCP 算法來對(duì)圖像進(jìn)行去霧操作.另外，本文也對(duì)去霧后圖像的PSNR 值和SSIM 值與霧濃度的關(guān)系在多個(gè)數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)論證.圖2 展示了在RESIDE[29]數(shù)據(jù)集中的室內(nèi)訓(xùn)練集ITS (indoor trainset)上的驗(yàn)證結(jié)果.這里，采用DCP 算法處理ITS 數(shù)據(jù)集后，對(duì)圖像的霧濃度和去霧后圖像的PSNR 值與SSIM 值的乘積之間的關(guān)系進(jìn)行了直觀的可視化展示.其中，橫軸表示圖像根據(jù)乘積值由小到大重新排列后的序列號(hào)，縱軸表示PSNR 值與SSIM 值的乘積.可見，PSNR 值和SSIM 值的乘積與圖像霧濃度之間的關(guān)系呈現(xiàn)了一種規(guī)律，即：去霧后具有較小乘積值的霧圖像中存在的霧往往較濃，其恢復(fù)難度相對(duì)于乘積值較大的霧圖像而言往往會(huì)更高.圖2 中的曲線表示了這種規(guī)律.基于上述理論，本文綜合考慮帶霧圖像的暗通道特征和恢復(fù)難度，提出了新的霧濃度分類方法.將帶霧圖像的霧濃度系數(shù)定義為去霧后所得圖像的PSNR值和SSIM 值的乘積與帶霧圖像的暗通道圖的平均像素值的歸一化結(jié)果之比.設(shè)霧濃度系數(shù)為K，輸入的帶霧圖像為I，其暗通道圖為Id，由DCP 算法處理后的生成圖像為IDCP，則霧濃度系數(shù)K的具體表示為

圖2 霧濃度與去霧后圖像PSNR 值和SSIM 值乘積的關(guān)系可視化Fig.2 Visualization of the relationship between fog concentration and PSNR-SSIM product of defogged images

其中VPSNR(·)表示求取圖像的PSNR 的數(shù)值，VSSIM(·)表示求取圖像的SSIM 的數(shù)值，VMP(·)表示求取暗通道圖的平均像素值并歸一化.

圖3 展示了本文提出的霧濃度分類方法在ITS數(shù)據(jù)集上的預(yù)分類結(jié)果.利用式（2）計(jì)算帶霧圖像的霧濃度系數(shù)K，同樣，根據(jù)K值對(duì)ITS 數(shù)據(jù)集中的所有帶霧圖像由小到大排序，體現(xiàn)為序列號(hào)的由小到大.我們發(fā)現(xiàn)圖像霧濃度呈現(xiàn)了從濃到輕的趨勢(shì)，這表明具有較高K值的圖像的霧濃度往往較低，而具有較低K值的圖像的霧濃度往往較高.我們從視覺上對(duì)這種趨勢(shì)直觀地進(jìn)行了展示.圖3 表示圖像霧濃度的變化趨勢(shì).同時(shí)，為方便直觀地展示效果，這里按照K值的區(qū)間粗略地將其平均分為輕霧、中霧、濃霧3 個(gè)區(qū)域.可見，本文的分類方法可以有效地對(duì)帶霧圖像的濃度進(jìn)行劃分.關(guān)于本文分類方法的合理性的進(jìn)一步論證，詳見3.3 節(jié).

圖3 新的霧濃度分類方法在ITS 數(shù)據(jù)集上的預(yù)分類結(jié)果Fig.3 Pre-classification result with the new fog concentration classification method on ITS dataset

顯然，僅根據(jù)均分K值范圍的方式將圖像劃分為輕霧、中霧、濃霧3 類是不合理的.我們需要結(jié)合數(shù)據(jù)集的實(shí)際情況，以及整個(gè)網(wǎng)絡(luò)模型的去霧質(zhì)量和計(jì)算效率，對(duì)圖像霧濃度類別進(jìn)行動(dòng)態(tài)和靈活地劃分.因此，基于新的霧濃度分類方法，本文又提出了霧濃度分類損失函數(shù)，用于約束LFC 對(duì)帶霧圖像類別的識(shí)別，以實(shí)現(xiàn)動(dòng)態(tài)分類.該損失函數(shù)的引入，可建立起LFC 和MBDN 之間的聯(lián)動(dòng)優(yōu)化，使整個(gè)網(wǎng)絡(luò)模型可根據(jù)帶霧圖像的暗通道特征和恢復(fù)難度，并結(jié)合生成圖像的質(zhì)量與模型的計(jì)算效率，得到更加合理和準(zhǔn)確的分類結(jié)果.繼而可根據(jù)分類結(jié)果，由相應(yīng)的分支去霧網(wǎng)絡(luò)處理不同類別的帶霧圖像，從而達(dá)到整個(gè)網(wǎng)絡(luò)模型在去霧精度和運(yùn)算效率上的良好平衡.下面詳細(xì)介紹霧濃度分類損失函數(shù).

2.1.2 霧濃度分類損失函數(shù)

本文提出新的霧濃度分類損失函數(shù)，該函數(shù)使得LFC 能夠根據(jù)帶霧圖像的暗通道特征和恢復(fù)難度實(shí)現(xiàn)動(dòng)態(tài)分類.而且，將該損失函數(shù)引入整個(gè)網(wǎng)絡(luò)模型的聯(lián)合訓(xùn)練中，還可以使得分類能夠同時(shí)依據(jù)生成圖像的質(zhì)量與模型的計(jì)算效率，進(jìn)一步提高分類的合理性和準(zhǔn)確性，繼而提升整個(gè)網(wǎng)絡(luò)的性能.

由2.1.1 節(jié)所述可知，在考慮帶霧圖像的暗通道特征和恢復(fù)難度的情況下，圖像中存在的霧越濃，則霧濃度系數(shù)K的值越小.對(duì)所有圖像的K值做歸一化處理，結(jié)果記為k,k∈(0,1).顯然，k值的大小同樣反映了霧的濃度.當(dāng)k值趨近于1 時(shí)，說明圖像中存在的霧很少，我們希望這種情況下，LFC 所得概率向量中代表輕霧圖像的概率p1的值最大；同樣，k值趨近于0.5 時(shí)，說明圖像中存在的霧屬于中等程度，我們希望其概率向量中代表中霧圖像的概率p2的值最大；k值趨近于0 時(shí)，說明圖像中的霧很濃，我們希望其概率向量中代表濃霧圖像的概率p3的值最大.基于此，本文提出新的霧濃度分類損失函數(shù)，公式定義為

其中k為霧濃度系數(shù)K的歸一化值，每張圖像的k值是由式（2）計(jì)算得到的已知量；p1,p2,p3分別表示當(dāng)前帶霧圖像經(jīng)過LFC 計(jì)算得到的概率向量中屬于輕霧、中霧、濃霧類別的概率值，是待優(yōu)化的未知量.通過Lk來約束LFC，使其能夠根據(jù)霧濃度系數(shù)實(shí)現(xiàn)對(duì)霧圖像的分類.如式（3）所示，若當(dāng)前輸入帶霧圖像的k值越接近1，則該圖像屬于輕霧類別的概率應(yīng)該越高，即：LFC 對(duì)該圖像生成的概率向量中，p1的值應(yīng)該越大并且越接近于k.在優(yōu)化LFC 的過程中，式（3）通過縮小k與p1的距離可使p1增大，同時(shí)減小p2,p3.若當(dāng)前輸入圖像的k值越接近0.5，則該圖像屬于中霧類別的概率應(yīng)該越高，即：LFC 對(duì)該圖像生成的概率向量中，p2的值應(yīng)該越大并且越接近于 2k.式（3）在優(yōu)化LFC 的過程中，通過縮小 2k與p2的距離可使p2增大，同時(shí)減小p1,p3.若當(dāng)前輸入圖像的k值越接近0，則該圖像屬于濃霧類別的概率值應(yīng)該越高，即：LFC對(duì)該圖像生成的概率向量中，p3的值應(yīng)該越大.式（3）通過縮小1-k與p3的距離，可使p3增大的同時(shí)減小p1,p2，從而實(shí)現(xiàn)對(duì)LFC 優(yōu)化.

可見，霧濃度分類損失能夠使LFC 根據(jù)帶霧圖像的暗通道特征和恢復(fù)難度，實(shí)現(xiàn)對(duì)帶霧圖像的分類.同時(shí)，本文還將霧濃度分類損失引入到對(duì)整個(gè)模型的聯(lián)合訓(xùn)練中，通過與其他損失函數(shù)相結(jié)合，使模型能夠進(jìn)一步根據(jù)生成圖像的質(zhì)量和計(jì)算效率，得到對(duì)帶霧圖像更加合理和準(zhǔn)確的分類結(jié)果.繼而依據(jù)分類結(jié)果，由相應(yīng)的分支去霧網(wǎng)絡(luò)處理帶霧圖像，從而在保證精度的前提下，有效提高模型的效率，減少內(nèi)存的占用.關(guān)于聯(lián)合訓(xùn)練的方法及總損失函數(shù)，詳見2.3 節(jié).

2.2 基于暗-亮通道先驗(yàn)的多分支去霧網(wǎng)絡(luò)

多分支去霧網(wǎng)絡(luò)MBDN 由3 個(gè)結(jié)構(gòu)相同、寬度不同的分支網(wǎng)絡(luò)組成，分別用于處理濃度標(biāo)簽為輕霧、中霧、濃霧的帶霧圖像，最終將其恢復(fù)為無霧圖像.寬度是神經(jīng)網(wǎng)絡(luò)的基本維度之一，指神經(jīng)網(wǎng)絡(luò)每層的通道數(shù).寬度貢獻(xiàn)了大量計(jì)算量，可以使模型的每一層學(xué)習(xí)到更加豐富的特征.若寬度過小，會(huì)導(dǎo)致模型特征提取不充分，模型性能受限；若寬度過大，會(huì)使模型提取過多重復(fù)特征，加大模型計(jì)算負(fù)擔(dān).同樣，對(duì)于圖像去霧工作而言，為去霧模型設(shè)計(jì)合適的寬度值，并根據(jù)霧圖像的分類結(jié)果，針對(duì)性地處理不同類別的霧圖像，不僅能夠提升模型的去霧性能，而且能夠減少計(jì)算成本.因此，綜合考慮帶霧圖像的恢復(fù)難度，以及網(wǎng)絡(luò)寬度對(duì)模型精度和速度的影響，并經(jīng)過多次實(shí)驗(yàn)，本文將輕霧分支網(wǎng)絡(luò)的寬度設(shè)置為48，中霧分支網(wǎng)絡(luò)的寬度設(shè)置為56，濃霧分支網(wǎng)絡(luò)的寬度設(shè)置為64，以實(shí)現(xiàn)圖像去霧質(zhì)量與網(wǎng)絡(luò)計(jì)算效率的良好平衡.

將當(dāng)前帶霧圖像I以及經(jīng)過LFC 得到的該圖像的濃度標(biāo)簽L，共同輸入至MBDN，MBDN 根據(jù)當(dāng)前輸入圖像的濃度標(biāo)簽，為其選擇合適的分支去霧網(wǎng)絡(luò).這樣，隨著圖像的霧濃度從重、到中、再到輕，其恢復(fù)難度逐漸降低，即使采用結(jié)構(gòu)逐漸簡單的分支網(wǎng)絡(luò)，亦可以達(dá)到理想的去霧效果.因此，分支去霧網(wǎng)絡(luò)結(jié)構(gòu)的設(shè)計(jì)可以在降低網(wǎng)絡(luò)復(fù)雜度和減少內(nèi)存占用量的同時(shí)，保證生成圖像的質(zhì)量.另外，為進(jìn)一步提升去霧精度，本文還提出了新的暗通道先驗(yàn)損失函數(shù)與亮通道先驗(yàn)損失函數(shù)，以進(jìn)一步約束分支網(wǎng)絡(luò)，使其具有更優(yōu)的去霧性能.

2.2.1 多分支去霧網(wǎng)絡(luò)MBDN

多分支去霧網(wǎng)絡(luò)MBDN 由FE、CA 和SA 這3 個(gè)模塊組成.FE 提取帶霧圖像的特征，并將輸出的特征圖在通道方向上相連接，實(shí)現(xiàn)特征融合；CA 在通道方向上獲取特征權(quán)重，使模型識(shí)別并獲取更有價(jià)值的通道信息[30]；SA 在空間方向上獲取特征權(quán)重，使模型定位圖像中重要的空間位置，重點(diǎn)關(guān)注濃霧區(qū)域并進(jìn)行處理.注意力機(jī)制的引入，使模型能夠定位重點(diǎn)信息，并抑制非重點(diǎn)信息，提高了模型的計(jì)算效率.同時(shí)，結(jié)合本文新提出的暗通道先驗(yàn)損失與亮通道先驗(yàn)損失來訓(xùn)練模型，以進(jìn)一步提高模型的去霧性能.下面具體介紹MBDN 的3 個(gè)模塊.

1）特征提取模塊（FE）

將帶霧圖像輸入至特征提取模塊，首先通過卷積層將輸入的RGB 帶霧圖像轉(zhuǎn)換為特征圖，然后通過3 個(gè)帶有殘差連接的特征提取器FE1, FE2, FE3 進(jìn)一步提取特征.每個(gè)特征提取器由20 個(gè)結(jié)構(gòu)完全相同的殘差塊[12]組成，加入殘差連接可以更有效地減少梯度消失，使模型訓(xùn)練簡單化.最后把每個(gè)特征提取器輸出的特征圖在通道方向上連接起來，實(shí)現(xiàn)特征融合，輸出組合特征圖FFE.

2）通道注意力模塊（CA）

CA 基于注意力機(jī)制獲取不同通道的權(quán)重.該部分的輸入是組合特征圖FFE，通過自適應(yīng)全局平均池化(global average pooling, GAP)[31]將FFE的尺寸由H×W×C變?yōu)?×1×C，即將FFE變成一個(gè)維度為C的向量vGAP.為使特征圖的每個(gè)通道具有不同的權(quán)重，以提取通道相關(guān)性，將vGAP進(jìn)行逐點(diǎn)卷積來提取通道特征，并利用修正線性單元(rectified linear unit,ReLU)激活函數(shù)獲取各通道權(quán)重，再卷積恢復(fù)至原維度，通過Sigmoid 激活函數(shù)得到特征向量vCA，vCA中的每個(gè)元素值即為各通道的權(quán)重值.最后將生成的特征向量vCA與FFE逐元素相乘，得到具有通道權(quán)重的組合特征圖FCA.

3）空間注意力模塊（SA）

SA 在提取通道特征的基礎(chǔ)上，進(jìn)一步提取空間特征，即獲取組合特征圖FCA通道方向上的所有通道在同一像素點(diǎn)位置的權(quán)重.SA 模塊的輸入為FCA，F(xiàn)CA經(jīng)卷積、激活后，尺寸變?yōu)镠×W×1，且被賦予空間特征的權(quán)重.換言之，SA 模塊將FCA轉(zhuǎn)換為一個(gè)尺寸為H×W的權(quán)重矩陣MSA，MSA的每個(gè)元素即為FCA相應(yīng)空間位置的特征權(quán)重.然后將權(quán)重矩陣MSA與FCA逐元素相乘，生成特征圖FSA.最后將FSA轉(zhuǎn)換為RGB 圖像，得到輸出圖像Io，即最終的去霧圖像.

2.2.2 暗通道先驗(yàn)損失與亮通道先驗(yàn)損失

本文用于訓(xùn)練分支去霧網(wǎng)絡(luò)的損失函數(shù)由3 個(gè)約束項(xiàng)組成：L1 損失、暗通道先驗(yàn)損失、亮通道先驗(yàn)損失.其中L1 損失是傳統(tǒng)方法中常采用的約束項(xiàng)，暗通道先驗(yàn)損失和亮通道先驗(yàn)損失則是本文提出的2 個(gè)新約束項(xiàng).暗通道先驗(yàn)損失用于增強(qiáng)模型的去霧性能，提高生成圖像的去霧效果.亮通道先驗(yàn)損失在增強(qiáng)去霧效果的同時(shí)，可適當(dāng)提高生成圖像的亮度與對(duì)比度.該損失有效解決因僅使用暗通道先驗(yàn)損失造成的生成圖像過暗問題，以及因使用L1 損失對(duì)紋理細(xì)節(jié)過度平滑導(dǎo)致的邊緣區(qū)域模糊問題，從而使去霧后的圖像更加清晰.下面具體介紹3 個(gè)損失約束項(xiàng)以及相關(guān)理論.

1）暗通道先驗(yàn)與亮通道先驗(yàn)理論

暗通道先驗(yàn)理論的基本思想是，在非天空區(qū)域的彩色無霧圖像中，大多數(shù)局部區(qū)域中都存在一些像素，這些像素在至少1 個(gè)顏色通道中的強(qiáng)度很低.此處，像素強(qiáng)度指該通道中的像素值，取值范圍為0～255.對(duì)任意圖像I，其暗通道Id(x)的表達(dá)式為

其中IC表示彩色圖像I的某一顏色通道，y∈Ω(x)表示以像素點(diǎn)x為中心的局部區(qū)域內(nèi)的像素.暗通道先驗(yàn)理論指出，對(duì)無霧圖像而言，其暗通道Id(x)應(yīng)盡可能的小，并且趨近于0.

亮通道先驗(yàn)理論指出，大多數(shù)模糊圖像的局部區(qū)域中都存在一些像素，這些像素在至少1 個(gè)顏色通道中具有很高的強(qiáng)度.對(duì)任意圖像I，其亮通道Ib(x)的表達(dá)式為

其中IC,y∈Ω(x)的含義與式（4）中相同.由亮通道先驗(yàn)理論可推得，帶霧圖像的亮通道相對(duì)無霧圖像要高.

本文將圖像暗通道圖的2 范數(shù)定義為圖像的暗通道值，將亮通道圖的2 范數(shù)定義為亮通道值.基于暗通道先驗(yàn)理論與亮通道先驗(yàn)理論，本文計(jì)算了ITS數(shù)據(jù)集中的13 990 對(duì)帶霧圖像與清晰圖像的暗通道值與亮通道值，并從中隨機(jī)選取了1 399 對(duì)帶霧圖像與清晰圖像的計(jì)算結(jié)果進(jìn)行可視化.圖4 和圖5 分別展示了這些帶霧圖像與清晰圖像的暗通道值對(duì)比曲線和亮通道值對(duì)比曲線.圖4中，橙色曲線表示帶霧圖像的暗通道值，藍(lán)色曲線表示清晰圖像的暗通道值.圖5中，橙色曲線表示帶霧圖像的亮通道值，藍(lán)色曲線表示清晰圖像的亮通道值.綜合圖4 和圖5 表明，帶霧圖像的暗通道值與亮通道值都相對(duì)較高，而清晰圖像的暗通道值與亮通道值都相對(duì)較低.該結(jié)果與暗通道先驗(yàn)理論和亮通道先驗(yàn)理論也是相吻合的.因此，根據(jù)帶霧圖像與清晰圖像的這一暗通道與亮通道特征，本文提出了暗通道先驗(yàn)損失與亮通道先驗(yàn)損失，這2 項(xiàng)損失能夠有效提升模型的去霧能力，使生成圖像具有更好的去霧效果，同時(shí)提高圖像的亮度與對(duì)比度，使生成圖像更加清晰.

圖4 帶霧圖像與清晰圖像的暗通道值對(duì)比曲線Fig.4 Comparison curves of dark channel values between the foggy and clear images

圖5 帶霧圖像與清晰圖像的亮通道值對(duì)比曲線Fig.5 Comparison curves of bright channel values between the foggy and clear images

2）暗通道先驗(yàn)損失

上述暗通道先驗(yàn)理論和實(shí)驗(yàn)表明，帶霧圖像的暗通道值較高，清晰圖像的暗通道值較低.若模型去霧性能較差，則其生成圖像的部分區(qū)域仍會(huì)存在霧殘留，暗通道值就會(huì)偏高.而且相比于輕霧圖像，濃霧圖像去霧后的霧殘留會(huì)更多，暗通道值會(huì)更高.因此，為增強(qiáng)模型的去霧性能，我們希望生成圖像的霧殘留盡量少，即生成圖像的暗通道值盡可能小.基于此，本文提出暗通道先驗(yàn)損失函數(shù)，用于約束分支去霧網(wǎng)絡(luò)所生成圖像的暗通道值，以提升模型的去霧效果，尤其是對(duì)濃霧圖像的去霧效果.暗通道先驗(yàn)損失函數(shù)表示為

其中xi為第i個(gè)像素點(diǎn)，Id為生成圖像的暗通道圖，Id(xi)為生成圖像的第i個(gè)像素點(diǎn)的暗通道值，H,W為圖像尺寸.該損失函數(shù)值越小，表明生成圖像的暗通道值越小，整體的霧殘留越少.

3）亮通道先驗(yàn)損失

上述亮通道先驗(yàn)理論和實(shí)驗(yàn)表明，帶霧圖像的亮通道值相比清晰圖像要高.因此，適當(dāng)降低生成圖像的亮通道值，可提升生成圖像的清晰度，從而提高模型的去霧效果.基于此，本文提出亮通道先驗(yàn)損失函數(shù)，用于約束分支去霧網(wǎng)絡(luò)所生成圖像的亮通道值，使其盡可能的小.另外，由于暗通道先驗(yàn)損失易使生成圖像亮度過暗，導(dǎo)致生成圖像的對(duì)比度降低.通過引入亮通道先驗(yàn)損失與暗通道先驗(yàn)損失共同約束模型，可很好地保持生成圖像的亮通道值與暗通道值的平衡，從而在提高模型去霧性能的同時(shí)，保證生成圖像的亮度與對(duì)比度，使模型生成的圖像更加清晰.亮通道先驗(yàn)損失函數(shù)表示為

其中xi為第i個(gè)像素點(diǎn)，Ib為生成圖像的亮通道圖，Ib(xi)為生成圖像的第i個(gè)像素點(diǎn)的亮通道值.該損失函數(shù)值越小，表明亮通道值越小，生成圖像越清晰.

4）L1 損失

用于計(jì)算生成圖像與目標(biāo)清晰無霧圖像之間對(duì)應(yīng)像素的誤差，表達(dá)式為

其中IGT為目標(biāo)清晰無霧圖像，Io為模型的生成圖像，即去霧后的圖像.

綜上，多分支去霧網(wǎng)絡(luò)MBDN 的總損失函數(shù)為

其中 ω1, ω2, ω3是損失函數(shù)的權(quán)重.關(guān)于暗、亮通道先驗(yàn)損失的消融實(shí)驗(yàn)，見3.5.1 節(jié).

2.3 聯(lián)合訓(xùn)練策略

在2.1 節(jié)中，本文提出新的霧濃度分類方法，根據(jù)帶霧圖像的暗通道特征和恢復(fù)難度進(jìn)行分類，并由此提出了新的濃度損失函數(shù)，該損失函數(shù)能夠使LFC 得到對(duì)帶霧圖像的更加合理和準(zhǔn)確的分類結(jié)果.然而在實(shí)現(xiàn)分類時(shí)，還要考慮到分類結(jié)果對(duì)整個(gè)網(wǎng)絡(luò)模型最終生成圖像的質(zhì)量以及計(jì)算效率的影響.因此，本文不是根據(jù)預(yù)定的濃度標(biāo)簽來單獨(dú)訓(xùn)練LFC，而是將LFC 和MBDN 聯(lián)合起來進(jìn)行訓(xùn)練，從而使分類既考慮到帶霧圖像的暗通道特征和恢復(fù)難度，又考慮到最終生成圖像的質(zhì)量和網(wǎng)絡(luò)的計(jì)算效率.聯(lián)合訓(xùn)練時(shí)，固定MBDN 中已經(jīng)訓(xùn)練完成的分支去霧網(wǎng)絡(luò)，對(duì)LFC 進(jìn)行訓(xùn)練，使LFC 能夠根據(jù)帶霧圖像的暗通道特征和恢復(fù)難度，并結(jié)合生成圖像質(zhì)量以及模型的計(jì)算效率，實(shí)現(xiàn)對(duì)輸入圖像的分類.聯(lián)合訓(xùn)練中，當(dāng)前輸入的帶霧圖像會(huì)分別經(jīng)過每個(gè)分支去霧網(wǎng)絡(luò)，將LFC 輸出的當(dāng)前圖像的概率向量中每個(gè)元素的概率值與對(duì)應(yīng)類別的分支去霧網(wǎng)絡(luò)所生成圖像的乘積之和，作為聯(lián)合訓(xùn)練的最終結(jié)果.聯(lián)合訓(xùn)練輸出圖像的公式表示為

其中M為帶霧圖像的總類別數(shù)，本文中M=3，I為輸入圖像，pi為當(dāng)前輸入圖像被分至第i類的概率，BNi(I)為第i個(gè)分支去霧網(wǎng)絡(luò)所生成的圖像.IJ為聯(lián)合訓(xùn)練的最終輸出圖像.

在聯(lián)合訓(xùn)練過程中，帶霧圖像的特征以及生成圖像的質(zhì)量均是影響模型性能的關(guān)鍵因素.而本文提出的霧濃度分類損失函數(shù)，可根據(jù)帶霧圖像的暗通道特征和恢復(fù)難度約束模型，將其與L1 損失相結(jié)合，可進(jìn)一步保證生成圖像的質(zhì)量.此外，通過霧濃度分類損失與L1 損失共同約束模型，還可以使模型能夠根據(jù)計(jì)算效率進(jìn)一步優(yōu)化分類結(jié)果.例如，若低寬度分支去霧網(wǎng)絡(luò)足以處理當(dāng)前圖像且能夠保證生成圖像的質(zhì)量時(shí)，則無需使用更高寬度的分支去霧網(wǎng)絡(luò)處理，從而使當(dāng)前圖像霧濃度分類降低1 個(gè)等級(jí)，有效提高了模型的計(jì)算效率.另外，為增加分類結(jié)果的可信度，我們還引入了類間損失[32]，與L1 損失和霧濃度分類損失共同約束整個(gè)模型.因此，本文模型聯(lián)合訓(xùn)練的總損失函數(shù)由3 個(gè)約束項(xiàng)組成：

1）L1 損失

用于計(jì)算生成圖像與清晰圖像之間對(duì)應(yīng)像素的誤差，以保證生成圖像的質(zhì)量，表達(dá)式為

其中IJ為聯(lián)合訓(xùn)練時(shí)模型的生成圖像，IGT為目標(biāo)清晰無霧圖像.

2）類間損失

用于擴(kuò)大概率向量中各元素之間的距離，即增大每個(gè)分類結(jié)果之間的概率差距，使概率向量中最大的元素值趨近于1，從而增加最大概率對(duì)應(yīng)的分類結(jié)果的可信度，避免分類結(jié)果的模糊性.公式為

3）霧濃度分類損失

霧濃度分類損失Lk如式（3）所示，該損失用于約束LFC，使其能夠根據(jù)帶霧圖像的暗通道特征和恢復(fù)難度實(shí)現(xiàn)分類.

綜上，聯(lián)合訓(xùn)練的總損失函數(shù)為

其中 λ1, λ2, λ3是損失約束項(xiàng)的權(quán)重.

3 實(shí) 驗(yàn)

3.1 數(shù)據(jù)集

本文采用RESIDE, RS-HAZE[33], O-HAZE[34]這3個(gè)數(shù)據(jù)集進(jìn)行實(shí)驗(yàn).

3.1.1 RESIDE 數(shù)據(jù)集

RESIDE 包含由NYU Depth Dataset V2[35]和Middlebury Stereo Datasets[36]合成的室內(nèi)圖像與室外圖像.在RESIDE 數(shù)據(jù)集中，本文分別使用ITS 與OTS (outdoor train set)進(jìn)行訓(xùn)練，使用SOTS (synthetic objective testing set)進(jìn)行測(cè)試，使用HSTS (hybrid subjective testing set)測(cè)試模型對(duì)真實(shí)霧圖像的去霧效果.本文在訓(xùn)練分支去霧網(wǎng)絡(luò)時(shí)，在ITS 中，使用13 000 張圖像用于訓(xùn)練，990 張用于驗(yàn)證.在OTS 中，使用130 000張圖像用于訓(xùn)練，990 張用于驗(yàn)證.SOTS 包含500 張室內(nèi)圖像與500 張室外圖像，本文使用SOTS 分別對(duì)ITS 與OTS 進(jìn)行測(cè)試實(shí)驗(yàn).

3.1.2 RS-HAZE 數(shù)據(jù)集

RS-HAZE 是一個(gè)合成的遙感圖像去霧數(shù)據(jù)集，由512×512 的遙感圖像塊組成，包含51 300 張訓(xùn)練集圖像和2 700 張測(cè)試集圖像.我們使用5 130 張圖像進(jìn)行訓(xùn)練，900 張圖像進(jìn)行測(cè)試.

3.1.3 O-HAZE 數(shù)據(jù)集

O-HAZE 包含45 張不同場(chǎng)景中拍攝的室外真實(shí)霧圖像，霧圖像中均為真實(shí)霧霾，由專業(yè)造霧設(shè)備生成.我們?cè)贠-HAZE 中隨機(jī)選取30 張圖像來測(cè)試模型的泛化能力.

3.2 訓(xùn)練策略

本文訓(xùn)練模型的機(jī)器配置與運(yùn)行環(huán)境為：Ubuntu 18.04, GeForce RTX 3 090, CUDA 11.0, PyTorch 1.7.0,Pycharm 2021, Python 3.6.

模型的訓(xùn)練主要分為2 個(gè)步驟：第1 步，使用式（9）定義的損失函數(shù)，即：將新提出的暗通道先驗(yàn)損失和亮通道先驗(yàn)損失，與L1 損失相結(jié)合，分別訓(xùn)練3個(gè)分支去霧網(wǎng)絡(luò)，使其能夠?qū)ъF圖像恢復(fù)至無霧清晰圖像.本文實(shí)驗(yàn)中，將式（9）中的權(quán)值設(shè)置為ω1=1,ω2=10,ω3=10.此外，為了減少訓(xùn)練成本，我們?cè)谟?xùn)練分支去霧網(wǎng)絡(luò)時(shí)，按照數(shù)據(jù)集圖像的霧濃度系數(shù)K值由小到大排列，并按照區(qū)間粗略地將數(shù)據(jù)集分為3 類，以分別訓(xùn)練3 個(gè)分支網(wǎng)絡(luò).其中，輕霧分支網(wǎng)絡(luò)訓(xùn)練集包含k∈(0,0.4)的圖像，中霧分支網(wǎng)絡(luò)訓(xùn)練集包含k∈(0.3,0.7)的圖像，濃霧分支網(wǎng)絡(luò)訓(xùn)練集包含k∈(0.6,1)的圖像，k為霧濃度系數(shù)K的歸一化值，其中，每個(gè)分支網(wǎng)絡(luò)的訓(xùn)練集中存在一定的重合，是為了保證分支網(wǎng)絡(luò)的精度.第2 步，固定訓(xùn)練好的3 個(gè)分支網(wǎng)絡(luò)，使用式（13）定義的損失函數(shù)，即：將新提出的霧濃度分類損失與L1 損失和類間損失相結(jié)合，對(duì)模型進(jìn)行聯(lián)合訓(xùn)練，使LFC 能夠根據(jù)帶霧圖像的暗通道特征和恢復(fù)難度，并結(jié)合生成圖像質(zhì)量與模型計(jì)算效率，實(shí)現(xiàn)對(duì)帶霧圖像的分類.本文實(shí)驗(yàn)中，將式(13) 中的權(quán)值設(shè)置為λ1=1000,λ2=1,λ3=1.其中，訓(xùn)練分支去霧網(wǎng)絡(luò)時(shí)，設(shè)置迭代次數(shù)為8E5，批處理大小為4，學(xué)習(xí)率初始值為1E-4，使用Adam 優(yōu)化器[37]優(yōu)化學(xué)習(xí)率，通過余弦退火衰減函數(shù)將學(xué)習(xí)率從初始值調(diào)整為0，設(shè)置β1=0.99，β2=0.999；聯(lián)合訓(xùn)練時(shí)，設(shè)置批處理大小為64，初始學(xué)習(xí)率為2E-4，訓(xùn)練周期為100.

3.3 霧濃度分類方法的合理性

為證明本文提出的霧濃度分類方法的合理性和有效性，對(duì)本文模型在多個(gè)數(shù)據(jù)集上的分類結(jié)果，以及生成圖像的質(zhì)量和網(wǎng)絡(luò)的計(jì)算性能進(jìn)行了測(cè)試.表1 是對(duì)SOTS 室內(nèi)測(cè)試集的測(cè)試結(jié)果.實(shí)驗(yàn)中，利用訓(xùn)練好的網(wǎng)絡(luò)模型對(duì)500 張室內(nèi)測(cè)試圖像進(jìn)行分類，得到輕霧類圖像69 張、中霧類圖像303 張、濃霧類圖像128 張.為測(cè)試生成圖像的質(zhì)量和計(jì)算性能，將3 類圖像均輸入至MBDN 中的每個(gè)分支去霧網(wǎng)絡(luò)，得到不同分支網(wǎng)絡(luò)下生成圖像的平均PSNR 值，該值可反映圖像的生成質(zhì)量.表1 中第5 列的參數(shù)量表明，LFC 的參數(shù)量相比分支去霧網(wǎng)絡(luò)而言非常小，因此LFC 的引入幾乎不會(huì)對(duì)模型的去霧工作帶來更多的計(jì)算成本和內(nèi)存占用.由第2 列輕霧圖像去霧后的平均PSNR 值對(duì)比可得，輕霧圖像經(jīng)過3 個(gè)不同分支去霧網(wǎng)絡(luò)處理后，所得圖像的平均PSNR 值十分接近，而輕霧分支網(wǎng)絡(luò)的參數(shù)量相對(duì)濃霧分支網(wǎng)絡(luò)減少了40%有余.由此可見，使用低寬度的分支網(wǎng)絡(luò)處理輕霧圖像，即可獲得與高寬度網(wǎng)絡(luò)非常相近的結(jié)果，其精度的損失是可以忽略不計(jì)的，但計(jì)算成本卻大大降低.對(duì)比第3 列中霧圖像去霧后的平均PSNR 值同樣可得，中霧圖像經(jīng)過中霧分支網(wǎng)絡(luò)處理后的圖像精度，相比濃霧分支網(wǎng)絡(luò)略有一點(diǎn)下降，該損失是可接受的，但中霧分支網(wǎng)絡(luò)相比濃霧分支網(wǎng)絡(luò)，參數(shù)量卻減少了30% 有余.因此，通過對(duì)帶霧圖像的分類，以損失極小的精度為代價(jià)，使參數(shù)量大大降低，從而提高了計(jì)算效率，減小了計(jì)算成本，這證明了本文的霧濃度分類方法是合理和有效的.

Table 1 Average PSNR and Parameters Comparison of Our Branch Networks for Three Levels of Images in SOTS (Indoor)表1 本文分支網(wǎng)絡(luò)處理SOTS 室內(nèi)數(shù)據(jù)集中3 類圖像的平均PSNR 以及參數(shù)量對(duì)比

3.4 對(duì)比實(shí)驗(yàn)結(jié)果

為了驗(yàn)證本文方法的有效性，我們分別在RESIDE數(shù)據(jù)集中的SOTS, HSTS 測(cè)試集，和RS-HAZE, O-HAZE測(cè)試集上對(duì)模型進(jìn)行測(cè)試實(shí)驗(yàn).我們對(duì)比了8 種去霧算法，在視覺上展示了本文方法與其他方法在不同數(shù)據(jù)集上的去霧效果的對(duì)比結(jié)果.同時(shí)，為了更直觀地展示模型對(duì)不同霧濃度類別圖像的去霧效果，我們?cè)赟OTS 測(cè)試集中對(duì)輕霧、中霧、濃霧3 類圖像分類展示.

圖6、圖7、圖8 分別展示了輕霧、中霧、濃霧3類圖像經(jīng)本文方法和其他方法處理后在SOTS 數(shù)據(jù)集上的視覺對(duì)比結(jié)果.在圖6～8 中，分圖(a)中的圖像來自SOTS 室內(nèi)測(cè)試集，分圖(b)中的圖像來自SOTS室外測(cè)試集，每圖的第1 列為輸入的帶霧圖像，最后1 列為目標(biāo)清晰無霧圖像.由圖6～8 可見，DCP 算法由于先驗(yàn)假設(shè)的局限性，存在參數(shù)估計(jì)不準(zhǔn)確等問題，導(dǎo)致其生成圖像的顏色失真較為嚴(yán)重，如圖6(a)第2 列第1 行結(jié)果圖的桌面區(qū)域和圖7(b) 第2 列第2 行、第3 行結(jié)果圖的天空區(qū)域顏色失真嚴(yán)重，另外，由圖8 可見，DCP 算法對(duì)濃霧圖像處理效果較差，存在著較多的霧殘留；AOD-Net 算法的去霧效果較差，尤其是在處理濃霧圖像時(shí)，僅去除了小部分霧霾，而且生成圖像色彩比例失衡，如圖8(b)第3 列第2 行結(jié)果圖的對(duì)比度較低，且有明顯的霧殘留，圖7(a)第3列第2 行結(jié)果圖中的桌面區(qū)域顏色出現(xiàn)明顯偏差；DehazeNet 算法生成圖像的亮度過高，其去霧效果雖優(yōu)于AOD-Net 算法，但仍無法達(dá)到滿意的結(jié)果，如圖7(b)第4 列第2 行結(jié)果圖的天空區(qū)域過亮，圖8 中的濃霧圖像在去霧后仍存在較多的霧殘留；GCANet 算法對(duì)紋理邊緣細(xì)節(jié)的處理效果較差，部分圖像出現(xiàn)顏色失真問題，如圖7(b)第5 列第2 行結(jié)果圖的天空區(qū)域出現(xiàn)大范圍的模糊，圖7(b)第5 列第3 行結(jié)果圖的天空區(qū)域過曝；FFA 算法在輕霧、中霧圖像上的表現(xiàn)較好，但在處理濃霧圖像時(shí)，存在局部區(qū)域模糊的問題，如圖8(a)第6 列第3 行結(jié)果圖左側(cè)墻壁區(qū)域和圖8(b)第6 列第2 行結(jié)果圖的路面區(qū)域，均出現(xiàn)一定程度的模糊；MSBDN 算法的生成圖像整體偏亮，且對(duì)濃霧圖像的去霧效果欠佳，如圖8(a)第7 列第3 行、圖8(b)第7 列第1 行結(jié)果圖中仍存在較多的霧霾；AECRNet 算法在室內(nèi)圖像中的表現(xiàn)較好，但在部分室外圖像中的處理效果較差，如圖8(b)第8 列第3 行結(jié)果圖的天空區(qū)域出現(xiàn)模糊；D4 算法的生成圖像整體較亮.相比其他方法，本文模型具有更好的去霧效果，尤其在處理濃霧圖像時(shí)，可有效減少霧殘留，使生成的圖像更加清晰，這也證實(shí)了本文提出的暗通道先驗(yàn)損失函數(shù)與亮通道先驗(yàn)損失函數(shù)的優(yōu)勢(shì).

圖6 不同方法對(duì)SOTS 數(shù)據(jù)集中的輕霧圖像去霧后的視覺對(duì)比結(jié)果Fig.6 Visual comparison of defogged results obtained by different methods on light fog images in SOTS dataset

圖7 不同方法對(duì)SOTS 數(shù)據(jù)集中的中霧圖像去霧后的視覺對(duì)比結(jié)果Fig.7 Visual comparison of defogged results obtained by different methods on medium fog images in SOTS dataset

圖8 不同方法對(duì)SOTS 數(shù)據(jù)集中的濃霧圖像去霧后的視覺對(duì)比結(jié)果Fig.8 Visual comparison of defogged results obtained by different methods on dense fog images in SOTS dataset

我們?cè)赗S-HAZE 數(shù)據(jù)集上對(duì)模型進(jìn)行了實(shí)驗(yàn)，圖9 展示了本文方法與其他部分方法在RS-HAZE 數(shù)據(jù)集上的視覺對(duì)比結(jié)果，同時(shí)對(duì)方框內(nèi)的圖像細(xì)節(jié)區(qū)域進(jìn)行了放大.由圖9 可見，DCP, AOD-Net 的圖像質(zhì)量和去霧效果均較差，在霧濃度較低的圖像中，F(xiàn)FA, AECRNet 的處理效果較好，本文方法在細(xì)節(jié)方面的表現(xiàn)更優(yōu)于FFA, AECRNet.如圖9 第1 行、第2行結(jié)果圖，本文方法能夠更好地保留圖像細(xì)節(jié)信息和整體色彩；對(duì)于霧濃度極大的圖像，如圖9 第3 行結(jié)果圖，在圖像失真較為嚴(yán)重時(shí)，本文方法能夠更大程度地保證生成圖像的質(zhì)量.

圖9 不同方法在RS-HAZE 數(shù)據(jù)集上的去霧效果視覺對(duì)比Fig.9 Visual comparison of defogged results obtained by different methods on RS-HAZE dataset

為了測(cè)試模型的泛化性，我們?cè)贠-HAZE 數(shù)據(jù)集中隨機(jī)選取了30 張圖像，不進(jìn)行模型的訓(xùn)練，通過ITS 數(shù)據(jù)集訓(xùn)練的模型直接輸出結(jié)果，圖10 展示了本文方法與其他方法在O-HAZE 數(shù)據(jù)集上的視覺對(duì)比結(jié)果.由圖10 可見，本文方法具有較優(yōu)的泛化能力.此外，我們?cè)趫D11 中展示了本文模型與其他模型在RESIDE 的子數(shù)據(jù)集HSTS 中真實(shí)霧圖像上的表現(xiàn).

圖10 不同方法在O-HAZE 數(shù)據(jù)集上的去霧效果視覺對(duì)比Fig.10 Visual comparison of defogged results obtained by different methods on O-HAZE dataset

圖11 不同方法在HSTS 數(shù)據(jù)集上的去霧效果視覺對(duì)比Fig.11 Visual comparison of defogged results obtained by different methods on HSTS dataset

在視覺對(duì)比實(shí)驗(yàn)的基礎(chǔ)上，本文使用不同的圖像質(zhì)量評(píng)價(jià)指標(biāo)對(duì)模型進(jìn)行了量化對(duì)比實(shí)驗(yàn).使PSNR 反映圖像的失真情況，以衡量重構(gòu)圖像的質(zhì)量；使用SSIM 衡量生成圖像與真實(shí)圖像的相似程度，通過上述2 個(gè)指標(biāo)進(jìn)一步評(píng)價(jià)和證明本文方法的有效性.表2 展示了本文模型與其他模型分別在SOTS，RS-HAZE，O-HAZE 測(cè)試集上的量化評(píng)估結(jié)果，表2表明，本文方法在SOTS 和RS-HAZE 上均表現(xiàn)最佳.在O-HAZE 上，本文方法的平均PSNR 值優(yōu)于除D4，MSBDN 外的其他方法，SSIM 值優(yōu)于除D4, GCANet外的其他方法，雖然本文方法的平均PSNR 與SSIM不是最優(yōu)，但是由圖10 可見，本文方法在處理輕霧圖像時(shí)可以達(dá)到較好的視覺效果.

Table 2 Average PSNR and SSIM Evaluation for Different Methods on SOTS, RS-HAZE and O-HAZE Datasets表2 不同方法在SOTS, RS-HAZE, O-HAZE 數(shù)據(jù)集上的平均PSNR 與SSIM 評(píng)估結(jié)果

本文對(duì)SOTS 室內(nèi)測(cè)試圖像進(jìn)一步測(cè)試，保存了模型對(duì)SOTS 室內(nèi)測(cè)試圖像分類結(jié)果，使用不同模型對(duì)輕霧、中霧、濃霧圖像分別測(cè)試評(píng)估.表3 展示了SOTS 室內(nèi)測(cè)試集中輕霧、中霧、濃霧3 類圖像分別在不同去霧模型上的量化評(píng)估結(jié)果.除表2 中的2 個(gè)圖像質(zhì)量評(píng)估指標(biāo)外，表3 增加了參數(shù)量評(píng)估指標(biāo)，參數(shù)量為網(wǎng)絡(luò)模型中所需要訓(xùn)練的參數(shù)總量，可用于衡量網(wǎng)絡(luò)的空間復(fù)雜度以及所占內(nèi)存的大小.通過綜合比較各模型的PSNR、SSIM 和參數(shù)量，以證明本文分類方法和分支去霧網(wǎng)絡(luò)的有效性.表3 的評(píng)估結(jié)果表明，在去霧質(zhì)量方面，本文模型處理不同霧濃度圖像的結(jié)果均為最佳.在參數(shù)量方面，相比AODNet, DehazeNet, GCANet, AECRNet 方法，本文模型的參數(shù)量略大，但是對(duì)去霧質(zhì)量的提升卻是極大的；而相比FFA, MSBDN, D4 方法，本文模型均能夠以較小的參數(shù)量，達(dá)到較高的去霧質(zhì)量.另外，本文模型自身還可根據(jù)帶霧圖像的分類結(jié)果在不同去霧分支間靈活調(diào)整，進(jìn)一步平衡了整個(gè)網(wǎng)絡(luò)的去霧質(zhì)量和計(jì)算效率.綜上，本文方法可以靈活處理不同濃度的帶霧圖像，顯著提高了模型的計(jì)算效率，同時(shí)使用新提出的暗通道先驗(yàn)損失函數(shù)與亮通道先驗(yàn)損失函數(shù)，顯著提高了模型的去霧性能，使得方法能夠在達(dá)到較高精度的前提下，有效降低模型的空間復(fù)雜度和內(nèi)存使用量，實(shí)現(xiàn)了去霧精度和速度的良好平衡.

3.5 消融實(shí)驗(yàn)

3.5.1 暗、亮通道先驗(yàn)損失

我們對(duì)新提出的暗通道先驗(yàn)損失Ld和亮通道先驗(yàn)損失Lb進(jìn)行了消融實(shí)驗(yàn)，以證明引入這2 個(gè)先驗(yàn)損失后能夠使模型的去霧性能得到進(jìn)一步提升.圖12 展示了利用不同損失約束項(xiàng)訓(xùn)練的模型在SOTS 室內(nèi)測(cè)試集上得到的直觀視覺結(jié)果，表4 展示了圖12 第2～5 列的每張圖像的PSNR 值對(duì)比結(jié)果.圖12 中，第1 列為帶霧圖像，第2 列為僅使用L1 損失訓(xùn)練的分支去霧網(wǎng)絡(luò)的視覺結(jié)果，第3 列為去掉暗通道先驗(yàn)損失Ld后訓(xùn)練的分支網(wǎng)絡(luò)的視覺結(jié)果，第4 列為去掉亮通道先驗(yàn)損失Lb后訓(xùn)練的分支網(wǎng)絡(luò)的視覺結(jié)果，第5列為使用式（9）即總損失LB訓(xùn)練的分支網(wǎng)絡(luò)的視覺結(jié)果，第6 列為清晰無霧圖像.方框區(qū)域?qū)λ薪Y(jié)果在相同位置的細(xì)節(jié)表現(xiàn)進(jìn)行了放大.對(duì)比第2～5 列的去霧結(jié)果可見，第2, 3 列圖像均存在不同程度的殘留霧；第4 列圖像細(xì)節(jié)處相對(duì)第2, 3 列表現(xiàn)較好，但在PSNR 值上仍遜于第5 列圖像；第5 列結(jié)果圖中的細(xì)節(jié)更加清晰，去霧效果更好.綜合圖12 與表4，可證明本文提出的2 個(gè)先驗(yàn)損失的有效性，它們與L1 損失共同約束分支去霧網(wǎng)絡(luò)，可使模型的生成圖像在視覺上更加清晰，在精度上達(dá)到更高的水平.圖13 中的各曲線展示了在ITS 數(shù)據(jù)集上使用不同損失約束項(xiàng)對(duì)本文模型進(jìn)行訓(xùn)練時(shí)，生成圖像的PSNR 值變化曲線對(duì)比情況.由圖13 可見，加入暗通道先驗(yàn)損失和亮通道先驗(yàn)損失所訓(xùn)練的模型，其生成圖像的PSNR值上升速度更快，且收斂時(shí)可以達(dá)到更高的數(shù)值.

Table 4 PSNR Evaluation Results of Images in Columns 2 to 5 in Fig.12表4 圖12 中第2～5 列圖像的PSNR 評(píng)估結(jié)果

圖12 采用不同損失函數(shù)約束項(xiàng)的模型去霧視覺效果對(duì)比Fig.12 Visual comparison of defogged results obtained by models with different loss function constraints

圖13 采用不同損失函數(shù)約束項(xiàng)訓(xùn)練模型時(shí)的PSNR 曲線Fig.13 PSNR curves of the model under different loss function constraints

3.5.2 霧濃度分類損失

為驗(yàn)證霧濃度分類損失Lk的有效性，我們?cè)谑?13)中固定了 λ1, λ2，取λ3=0,1,4,10分別進(jìn)行了實(shí)驗(yàn)，在SOTS 室內(nèi)測(cè)試集上的實(shí)驗(yàn)結(jié)果如圖14 所示.圓點(diǎn)代表將 λ3=0，即去掉霧濃度分類損失Lk這1 個(gè)約束項(xiàng)，此時(shí)，所有圖像都會(huì)被劃分為濃霧類，雖然PSNR值較λ3=1時(shí)略高，即精度略微上升，但相比之下參數(shù)量增加了近40%，大大增加了計(jì)算成本，這說明霧濃度分類損失能夠使模型達(dá)到去霧精度和計(jì)算效率的良好平衡.可見，雖然平均參數(shù)量有所減小，但PSNR值降幅較大，說明此時(shí)對(duì)Lk的權(quán)重 λ3設(shè)置過大，抑制了L1 損失，從而導(dǎo)致了生成圖像質(zhì)量的下降，這證明了當(dāng) λ3=1 時(shí)，我們能夠以較低的參數(shù)量得到較優(yōu)的結(jié)果.

圖14 不同權(quán)重霧濃度分類損失的PSNR 和參數(shù)量對(duì)比Fig.14 Comparison of PSNR and parameters of different weight of fog concentration classification loss

4 結(jié) 論

本文提出一個(gè)基于霧濃度分類與暗-亮通道先驗(yàn)的多分支圖像去霧模型，可根據(jù)帶霧圖像的暗通道特征和恢復(fù)難度，結(jié)合生成圖像的質(zhì)量與模型的計(jì)算效率，實(shí)現(xiàn)對(duì)帶霧圖像的分類，并根據(jù)分類結(jié)果為當(dāng)前輸入的帶霧圖像選擇合適的分支去霧網(wǎng)絡(luò)，分別實(shí)現(xiàn)輕霧、中霧、濃霧圖像的去霧處理.新的霧濃度分類損失函數(shù)的提出以及在模型聯(lián)合優(yōu)化中的應(yīng)用，可使模型對(duì)帶霧圖像進(jìn)行動(dòng)態(tài)分類，達(dá)到去霧精度和計(jì)算消耗的良好平衡；新的暗通道先驗(yàn)損失和亮通道先驗(yàn)損失的提出以及在分支去霧網(wǎng)絡(luò)中的應(yīng)用，大大提高了生成圖像的質(zhì)量.與當(dāng)前圖像去霧領(lǐng)域中現(xiàn)有的大多數(shù)經(jīng)典去霧模型相比，本文模型具有更高的去霧性能，且能夠在保證生成圖像精度的同時(shí)減少參數(shù)量，降低網(wǎng)絡(luò)的空間復(fù)雜度，提高計(jì)算效率.

作者貢獻(xiàn)聲明：張琪東負(fù)責(zé)設(shè)計(jì)具體算法、實(shí)施實(shí)驗(yàn)、撰寫論文；遲靜提出研究思路和方案框架，指導(dǎo)論文撰寫；陳玉妍負(fù)責(zé)數(shù)據(jù)采集、整理和論文校對(duì)；張彩明提供算法理論指導(dǎo).