基于雙尺度特征融合的單幅圖像去霧網(wǎng)絡(luò)

蘭云偉，崔智高，蘇延召，汪 波，王 念，李艾華

（火箭軍工程大學 研究生院，西安 710025）

0 概述

攝像機在成像過程中，光線會受到空氣中霧霾和水霧粒子散射與吸收作用的影響，導致圖像細節(jié)缺失、色彩暗淡、亮度降低。這些降質(zhì)的圖像嚴重制約了目標檢測、目標跟蹤、自動駕駛等領(lǐng)域的發(fā)展。因此，近年來圖像去霧算法逐漸成為計算機視覺中的熱點研究問題。

目前，通常使用大氣散射模型［1］描述霧天圖像的退化過程，但是大氣散射模型是一個典型的不適定方程，即只有在透射圖和大氣光值先驗信息的基礎(chǔ)上才能夠求解。

為解決這一問題，大量圖像去霧算法被提出，主要包括基于先驗信息的圖像去霧算法和基于深度學習的圖像去霧算法?；谙闰炐畔⒌膱D像去霧算法采用觀察到的統(tǒng)計規(guī)律提取相關(guān)特征，以此來估計大氣光和透射圖，進而通過大氣散射模型反演出清晰圖像。基于深度學習的圖像去霧算法不再估計大氣散射模型的中間參數(shù)，而是通過網(wǎng)絡(luò)學習霧霾相關(guān)特征，直接恢復出最終的無霧圖像。上述兩類圖像去霧算法均有一定的去霧效果，但基于先驗信息的圖像去霧算法需要人為設(shè)定先驗知識來約束模型進行求解，存在一定誤差和局限性?；谏疃葘W習的圖像去霧算法需要成對的有霧圖像和相對應的無霧圖像進行訓練，算法僅在合成有霧圖像時的去霧效果較好［2］。

本文提出一種基于雙尺度特征融合的圖像去霧網(wǎng)絡(luò)，采用堆疊殘差密集塊（Residual Dense Block，RDB）加強圖像局部特征的提取，通過堆疊包含空間注意機制的特征提取塊提取圖像的全局特征，優(yōu)化去霧圖像的細節(jié)。為有效結(jié)合圖像的局部特征和全局特征，采用通道注意力機制對局部特征圖和全局特征圖進行通道加權(quán)，并通過卷積操作進行特征融合。此外，考慮到網(wǎng)絡(luò)深度的增加容易導致淺層信息丟失，本文通過門控網(wǎng)絡(luò)進一步融合3 層不同深度的融合特征圖。

1 相關(guān)工作

基于先驗信息的經(jīng)典圖像去霧算法包括暗通道先驗（Dark Channel Prior，DCP）理論、顏色衰減先驗（Color Attenuation Prior，CAP）理論、非局部去霧（Non-Local Dehaizng，NLD）［3］理論、霧顏色線先驗（haze Color-Line Prior，CLP）理論等，后續(xù)陸續(xù)有研究人員在這些算法的基礎(chǔ)上提出新的改進。文獻［4］提出一種基于逆通道與改進引導濾波的暗通道去霧算法，通過利用藍色光的逆通道得到霧天圖像的暗通道圖，引入自適應引導濾波計算透射率，最后得到無霧圖像。文獻［5］提出一種結(jié)合暗通道和Retinex 理論的圖像去霧算法，該算法采用四分加權(quán)算法準確估計大氣光值，結(jié)合多尺度Retinex 方法進行圖像去霧。文獻［6］提出一種基于光幕約束和分段調(diào)整的去霧算法，從大氣光幕基本條件出發(fā)進行圖像去霧。文獻［7］提出一種結(jié)合暗亮通道先驗的遠近景融合去霧算法。文獻［8］提出一種基于霧濃度分布與自適應衰減的圖像去霧算法。盡管基于先驗信息的圖像去霧算法具有較好的去霧效果，但由于單方面的假設(shè)并不適用于復雜多變的實際場景，因此該類算法容易過度增強圖像，導致圖像出現(xiàn)光暈、色偏等現(xiàn)象。例如，暗通道先驗會過度增強圖像的天空區(qū)域或類似于大氣光的白色物體。

為解決這一問題，REN 等［9］提出基于多尺度卷積神經(jīng)網(wǎng)絡(luò)的圖像去霧算法，該算法將大卷積核估計的粗略透射圖與小卷積核提取的精細透射圖進行通道融合，有效提升透射圖估計的準確度。CAI 等［10］構(gòu)建一種DehazeNet 網(wǎng)絡(luò)，該網(wǎng)絡(luò)采用3×3、5×5、7×7 共3 個卷積核的并行卷積來提取霧霾特征，并利用最大輸出單元（Maxout）和雙邊線性修正單元優(yōu)化透射圖的估計準確度。然而，上述2 種算法仍然采用傳統(tǒng)方法估計大氣光值，導致圖像去霧結(jié)果并不穩(wěn)定。為此，LI等［11］提出AODNet網(wǎng)絡(luò)，通過對大氣散射模型進行線性變換，將大氣光和透射圖2 個參數(shù)變換為1 個中間參數(shù)，從而減小2 次參數(shù)估計的誤差累積。ZHANG 等［12］將大氣散射模型嵌入到網(wǎng)絡(luò)中，通過網(wǎng)絡(luò)學習的方式同時估計透射圖與大氣光，提高估計的準確度。上述圖像去霧網(wǎng)絡(luò)雖然取得了相對較好的去霧效果，但仍依賴于傳統(tǒng)的大氣散射模型，而大氣散射模型只是一個簡化的數(shù)學模型，它假定了光線衰減速率與顏色通道相互獨立，導致網(wǎng)絡(luò)容易陷入局部最優(yōu)解［13］。

文獻［14］提出一種基于條件生成對抗網(wǎng)絡(luò)的圖像去霧方法，該方法通過設(shè)計密集塊結(jié)構(gòu)能夠更加充分地提取圖像特征，減少去霧色差較大的問題。文獻［15］提出一種結(jié)合卷積神經(jīng)網(wǎng)絡(luò)與動態(tài)環(huán)境光的圖像去霧方法，使用動態(tài)環(huán)境光代替全局大氣光，對透射率估計網(wǎng)絡(luò)的透射率進行平滑濾波來進行去霧。文獻［16］提出一種基于內(nèi)容特征和風格特征融合的單幅圖像去霧網(wǎng)絡(luò)，該方法通過對圖像內(nèi)容和圖像風格進行提取并融合，在進行圖像去霧的同時較好地保留了圖像的原始色彩。REN 等［17］提出GFN 網(wǎng)絡(luò)，通過門控網(wǎng)絡(luò)有效結(jié)合白平衡、對比度增強和伽瑪矯正衍生圖像，從而直接得到最終的無霧圖像。QU 等［18］提出EPDN 圖像去霧網(wǎng)絡(luò)，該網(wǎng)絡(luò)通過生成器與多尺度判別器的對抗訓練生成初步的去霧結(jié)果，然后利用增強模塊優(yōu)化去霧圖像的顏色與細節(jié)信息。但這2 種方法容易過度去霧導致色彩過飽和。不同的是，LIU 等［19］通過搭建1 個深度的多尺度去霧網(wǎng)絡(luò)來最大程度地提取霧霾特征，并利用學習到的參數(shù)將不同尺度的特征圖有效融合。該算法的缺陷在于沒有區(qū)別對待局部特征和全局特征，使恢復的圖像容易丟失細節(jié)并存在殘余霧霾。此外，DONG 等［20］提出MSBDN 去霧網(wǎng)絡(luò)，利用反投影的方式加強不相鄰編碼層間的信息流動，在合成數(shù)據(jù)集中取得了較好的結(jié)果。但MSBDN 去霧網(wǎng)絡(luò)泛化能力差，在真實場景中不能有效去霧。因此，SHAO等［21］通過搭建一個循環(huán)的網(wǎng)絡(luò)來彌補合成數(shù)據(jù)和真實霧霾圖像的差別，提高模型在真實場景中的去霧效果，雖然該方法具有較好的泛化能力，但是去霧后的圖像對比度較低。

2 雙尺度特征提取與融合

本文基于CNN 設(shè)計一個基于雙尺度特征融合的單幅圖像去霧網(wǎng)絡(luò)，該網(wǎng)絡(luò)不依賴于大氣散射模型，而是直接從有霧圖像恢復出無霧圖像。本文所提圖像去霧網(wǎng)絡(luò)結(jié)構(gòu)如圖1 所示，主要包括雙尺度特征提取與特征融合2 部分。在特征提取模塊中，通過5 個殘差密集塊（RDB1～RDB5）提取圖像的局部特征，殘差結(jié)構(gòu)加強了局部特征在網(wǎng)絡(luò)深度上的流動，同時在梯度反向傳播時能有效防止梯度爆炸。此外，本文網(wǎng)絡(luò)通過5 個包含空間注意機制的特征提取塊（FEB1～FEB5）提取圖像的全局特征，從而使網(wǎng)絡(luò)能有效去除不均勻的霧霾。在特征融合模塊中，通過2 次下采樣和3 次上采樣操作將圖像局部特征和全局特征統(tǒng)一到一個尺度上進行特征融合，在此基礎(chǔ)上采用門控網(wǎng)絡(luò)自適應地融合3 層不同深度的融合特征圖，并通過1×1 的卷積層實現(xiàn)特征圖到無霧圖像之間的非線性映射。

2.1 雙尺度特征提取

2.1.1 局部特征提取

如圖1 所示，為有效提取圖像的局部特征，本文堆疊了5 個殘差密集塊RDB。殘差密集塊結(jié)合了殘差結(jié)構(gòu)和稠密結(jié)構(gòu)的優(yōu)勢，其中：殘差結(jié)構(gòu)能夠確保反向傳播時梯度的流動，促進網(wǎng)絡(luò)的收斂；而稠密結(jié)構(gòu)將之前每一次的卷積結(jié)果通道疊加到之后的卷積輸入中，能夠有效防止淺層信息在傳播過程中的丟失。先前研究表明，淺層卷積層能有效提取圖像的邊緣和紋理信息，而紋理信息在傳播到深層卷積層時容易丟失，從而造成去霧圖像的對比度不高。為此，本文設(shè)計了如圖2 所示的殘差密集塊結(jié)構(gòu)，以有效結(jié)合淺層和深層的局部特征。本文設(shè)計的殘差密集塊由5 個卷積層組成，其中：前4 個卷積層卷積核大小為3×3，步長為1，激活函數(shù)為ReLU 函數(shù)；最后1 個卷積層卷積核大小為1×1，步長也為1，但無激活函數(shù)。

圖2 殘差密集塊Fig.2 Residual dense block

2.1.2 全局特征提取

圖像的全局特征主要包括顏色特征和亮度特征，顏色特征和亮度特征是基于像素點的屬性，影響最終去霧圖像的視覺效果。此外，霧霾多數(shù)是成片連續(xù)的，也可以近似為全局特征。因此，全局特征對提高最終去霧圖像的質(zhì)量具有至關(guān)重要的作用。

為有效提取圖像的全局特征，本文通過下采樣將輸入圖像的尺寸縮減1/2，即圖像大小從512×512 縮小到256×256，通道數(shù)從16 擴大到32，以增大卷積的感受野。同時，設(shè)計了如圖3 所示的特征提取塊來增強圖像全局特征的表征。該特征提取塊包括2 個殘差結(jié)構(gòu)，能夠有效防止網(wǎng)絡(luò)訓練時發(fā)生梯度爆炸。

圖3 特征提取塊Fig.3 Feature extraction block

在圖3 中，第1 層卷積初步提取圖像的特征，其卷積核大小為3×3，步長為1，激活函數(shù)為ReLU 函數(shù)；第2 層卷積進一步增強這些特征，其卷積核大小和步長與第1 層卷積相同但不用激活函數(shù)。隨后，采用空間注意機制關(guān)注圖像的重要區(qū)域（如濃霧區(qū)域）。空間注意機制通過一層卷積核為1×1、步長為1 的卷積層提取特征信息，該卷積層的激活函數(shù)為ReLU 函數(shù)。接著，利用另一個相同的卷積層增強特征，并通過Sigmoid 激活函數(shù)形成特征圖的權(quán)重圖。最后，該權(quán)重圖與輸入空間注意機制前的特征圖逐點相乘，從而使?jié)忪F區(qū)域獲得更多的權(quán)重。

2.2 特征融合

為實現(xiàn)上述圖像局部特征和全局特征的有效融合，本文令通道注意機制加權(quán)通道疊加后的特征圖?？紤]到網(wǎng)絡(luò)越深感受野越大，容易使網(wǎng)絡(luò)更加關(guān)注全局特征而導致局部信息丟失，本文進一步采用門控網(wǎng)絡(luò)自適應結(jié)合FEB1、RDB3 和RDB5 之后的融合特征圖。這些特征圖包含豐富的顏色、紋理和邊緣信息，可有效避免隨著網(wǎng)絡(luò)深度的增加而出現(xiàn)局部信息丟失問題。

2.2.1 全局特征提取

考慮到不同特征圖之間的重要性差異，本文首先采用通道注意機制融合2.1 節(jié)提取的圖像局部特征和全局特征。特征融合模塊結(jié)構(gòu)如圖4 所示，其中：Fl和Fg分別表示提取的局部特征和全局特征；Ff表示采用通道注意機制融合后的特征圖。

圖4 特征融合模塊Fig.4 Feature fusion module

以圖4（a）所示的上采樣為例，首先通過1×1 的卷積將全局特征圖數(shù)量改變?yōu)?6，然后利用上采樣將全局特征圖大小變?yōu)?12×512，并通過通道疊加形成32張?zhí)卣鲌D（局部特征圖和全局特征圖各16 張）。為區(qū)分這些特征圖的重要程度，首先通過池化層將每一通道上的特征圖尺寸進行歸一化，形成通道向量。然后利用1×1 的卷積層和ReLU 激活函數(shù)進一步增強特征，再通過1×1 的卷積層和Sigmoid 激活函數(shù)生成通道維度的權(quán)重圖，將通道權(quán)重圖與輸入的32 張?zhí)卣鲌D在通道維度上逐點相乘，從而使重要的特征圖獲得更多的權(quán)重。最后，采用一個1×1 的卷積層融合加權(quán)后的特征圖，形成最終的16 張?zhí)卣鲌D。

如圖4（b）所示，在下采樣時，通過1×1 卷積和下采樣將局部特征變換到全局特征的尺度上。此時通道注意機制輸入的通道數(shù)為64（局部特征圖和全局特征圖各32 張），并利用1×1 的卷積層輸出最終的32 張融合特征圖，以確保這一尺度上的通道數(shù)不變。

2.2.2 門控網(wǎng)絡(luò)特征融合

為進一步實現(xiàn)圖像局部特征和全局特征的有效融合，本文采用門控網(wǎng)絡(luò)自適應融合基于通道注意機制獲得多張?zhí)卣鲌D。門控網(wǎng)絡(luò)是通過卷積操作學習特征圖的權(quán)重，能使網(wǎng)絡(luò)自動關(guān)注到重要的特征圖，從而獲得豐富的色彩與結(jié)構(gòu)信息。門控網(wǎng)絡(luò)在相同尺度的特征圖融合過程中表現(xiàn)出良好的性能。例如，GFN 網(wǎng)絡(luò)將有霧圖像預處理為3 張衍生圖像，通過編碼結(jié)構(gòu)進行特征提取，在解碼過程中采用門控網(wǎng)絡(luò)自動得到3 張衍生圖像的權(quán)重，降低了過度增強圖像帶來的負面影響。GCAN 網(wǎng)絡(luò)［22］通過平滑空洞卷積提取自動編碼結(jié)構(gòu)瓶頸層的語義特征，并利用門控網(wǎng)絡(luò)自適應地結(jié)合不同深度的特征圖，提高去霧圖像的清晰度。

不同的是，本文通過門控網(wǎng)絡(luò)結(jié)合通道注意機制生成的特征圖融合了同一網(wǎng)絡(luò)深度上的局部特征和全局特征，因此這些特征已經(jīng)包含了較豐富的色彩與結(jié)構(gòu)信息。但隨著網(wǎng)絡(luò)深度的增加，卷積核的感受野成倍數(shù)增加，網(wǎng)絡(luò)會更加關(guān)注全局特征，導致結(jié)構(gòu)、紋理信息的丟失，進而使去霧圖像對比度下降。具體來說，首先將FEB1 后通道融合的特征圖進行卷積操作，使特征圖的數(shù)量變?yōu)?6，并利用上采樣將特征圖的大小改變?yōu)?12×512，得到特征圖Fl。然后，將Fl與RDB3、RDB5 后通道融合的特征圖Fm、Fh進行通道疊加，并將其輸入門控網(wǎng)絡(luò)。門控網(wǎng)絡(luò)輸出3 個不同的權(quán)重圖αl、αm、αh，分別對應于這3 個不同深度的特征圖。最后，這3 個特征圖與其對應的權(quán)重進行線性組合，如式（1）和式（2）所示：

本文的門控網(wǎng)絡(luò)由一個3×3 的卷積層組成，其輸入是Fl、Fm、Fh，通道數(shù)為48，輸出的通道為3，對應于權(quán)重圖αl、αm、αh。生成的權(quán)重圖αl、αm、αh分別與對應輸入Fl、Fm、Fh逐像素相乘并相加，得到最終的融合特征圖。

最后，通過一層卷積層和ReLU 激活函數(shù)將門控網(wǎng)絡(luò)融合后的特征圖映射為最終的無霧圖像。該卷積層的卷積核大小為3×3，步長為1，輸入和輸出通道數(shù)分別為16 和3。

3 損失函數(shù)

大量實驗表明將感知損失函數(shù)和L1 損失函數(shù)結(jié)合能有效訓練網(wǎng)絡(luò)，得到更加清晰自然的去霧圖像。L1 損失將去霧結(jié)果與清晰圖像逐像素比較，能迅速將去霧結(jié)果的特征映射到清晰圖像的特征分布中，達到初步的去霧效果。感知損失將去霧結(jié)果與清晰圖像進行特征差異的比較，能夠進一步恢復去霧圖像的細節(jié)信息，優(yōu)化最終的去霧結(jié)果。

因此，本文采用平滑L1 損失函數(shù)和感知損失函數(shù)訓練網(wǎng)絡(luò)，總的損失函數(shù)表達式如式（3）所示：

其中：Ls代表平滑L1 損失函數(shù)；Lp代表感知損失函數(shù)；λ為權(quán)重系數(shù)，本文取λ為0.05。

3.1 平滑L1 損失函數(shù)

相比于L2 損失函數(shù)（均方誤差），L1 損失函數(shù)（標準差誤差）訓練更加穩(wěn)定，因此被廣泛應用于超分辨率重建、圖像去霧等圖像恢復任務中。然而，L1損失函數(shù)在誤差較小時梯度仍較大，導致模型的收斂速度受到影響。為實現(xiàn)上述2 種損失函數(shù)的優(yōu)勢互補，本文采用平滑L1 損失函數(shù)，平滑L1 損失函數(shù)在誤差小于1 時采用均方誤差形式，而其余情況均采用標準差誤差形式，從而有效兼顧2 種損失函數(shù)的優(yōu)點，其表達式如式（4）和式（5）所示：

其中：N代表總的像素個數(shù)；x代表像素點的位置；Ji(x)Δ和Ji(x)分別為霧天圖像和無霧圖像在第i通道上的像素強度；ei代表誤差，即Ji(x)Δ和Ji(x)的差值。

3.2 感知損失函數(shù)

不同于L1 和L2 損失函數(shù)，感知損失函數(shù)沒有將去霧結(jié)果與真實無霧圖像進行逐像素比較，而是從預訓練的深層卷積網(wǎng)絡(luò)中提取中間特征圖，進而量化去霧結(jié)果和真實無霧圖像之間的視覺差異。在具體實施過程中，本文使用在ImageNet 上預先訓練的VGG16 作為損失網(wǎng)絡(luò)，并從前3 個階段（Conv1-2、Conv2-2 和Conv3-3）的最后一層中提取特征圖。本文采用的感知損失函數(shù)如式（6）所示：

其中：φj(JΔ)和φj(J)分別代表去霧結(jié)果JΔ和真實無霧圖像J在VGG16 網(wǎng)絡(luò)中的3 張?zhí)卣鲌D；Cj、Hj、Wj分別代表特征圖φj(JΔ)和φj(J)的通道數(shù)、高度和寬度。

4 實驗結(jié)果與分析

本文采用霧天圖像數(shù)據(jù)庫RESIDE［23］中的室內(nèi)訓練集ITS 和室外訓練集OTS 進行網(wǎng)絡(luò)訓練，其中ITS 包含13 990 張霧天圖像與其對應的無霧圖像，OTS 包含313 950 張霧天圖像與其對應的無霧圖像。在測試過程中，本文采用SOTS 測試集（包含室內(nèi)圖像和室外圖像各500 張）和HAZERD 數(shù)據(jù)集［24］驗證網(wǎng)絡(luò)在合成霧霾數(shù)據(jù)集中的去霧效果，并采用近年來圖像去霧領(lǐng)域常用的真實霧霾圖像進一步驗證本文網(wǎng)絡(luò)對真實霧天圖像的去霧能力。本文選擇圖像去霧領(lǐng)域的多個經(jīng)典網(wǎng)絡(luò)進行比較，包括DCP、DCPDN、GFN、GridDehazeNet、EPDN 和MSBDN 網(wǎng)絡(luò)。在比較過程中，采用峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）和結(jié)構(gòu)相似度（Structural Similarity，SSIM）定量評估網(wǎng)絡(luò)在合成霧天圖像上的去霧結(jié)果，該值越高，代表圖像去霧效果越好。由于真實的霧天圖像沒有參考無霧天圖像，本文采用定性的方法進行對比。

4.1 實驗設(shè)置

本文分別利用ITS 和OTS 數(shù)據(jù)集訓練室內(nèi)、室外圖像去霧網(wǎng)絡(luò)模型，在訓練過程中，將所有圖像的尺寸均調(diào)整為512×512。本文方法基于PyTroch 框架實現(xiàn)，GPU 選用NVIDIA GeForce RTX 2080 Ti。在訓練過程中，采用ADAM 優(yōu)化器優(yōu)化網(wǎng)絡(luò)，衰減系數(shù)采用默認值，即β1為0.900、β2為0.999，訓練的批處理大?。╞atch size）設(shè)置為16，初始學習率設(shè)定為0.001。室內(nèi)模型訓練100 輪次，學習率每10 個輪次下降為原來的1/2。室外模型訓練10 個輪次，學習率每2 個輪次下降為原來的1/2。

4.2 合成霧圖對比實驗

圖5 所示為本文網(wǎng)絡(luò)與其他對比網(wǎng)絡(luò)在合成霧天圖像SOTS 上的對比實驗結(jié)果（彩色效果見《計算機工程》官網(wǎng)HTML 版本）。從圖5 中可以看出，DCP 網(wǎng)絡(luò)所得到的去霧結(jié)果過度增強了圖像的顏色，如圖5（b）第1、第2 和第4 幅圖像的紅色框區(qū)域，這是由于在白色物體和天空區(qū)域等沒有暗通道的地方，DCP 網(wǎng)絡(luò)對透射圖的估計不夠精確。DCPDN 網(wǎng)絡(luò)雖能較好地去除霧霾，但是卻過高估計了圖像的亮度，如圖5（c）第1 和第3 幅圖像的紅色框區(qū)域，以及圖5（c）第2 和第4 幅圖像中的綠色框區(qū)域，其原因在于DCPDN 網(wǎng)絡(luò)需要使用合成霧霾圖像來模擬真實場景中的大氣光和透射率，導致估計的參數(shù)不夠準確，進而影響了去霧圖像的視覺效果。相比之下，GFN、GridDehazeNet、EPDN、MSBDN 網(wǎng)絡(luò)以及本文網(wǎng)絡(luò)這5 種不依賴大氣散射模型的網(wǎng)絡(luò)具有更好的去霧效果。其中，EPDN 網(wǎng)絡(luò)雖然能有效去霧，但是過度增強了圖像的顏色，如圖5（f）第1 幅圖像中的天空和第4 幅圖像中紅框內(nèi)的地面。GFN 網(wǎng)絡(luò)雖然能在去霧的同時較好地還原無霧圖像的色彩和亮度，但是會導致圖像部分區(qū)域存在暗影，如圖5（d）第3 幅和第4 幅圖像中的紅色框區(qū)域，而GridDehazeNet 網(wǎng)絡(luò)、MSBDN 網(wǎng)絡(luò)和本文網(wǎng)絡(luò)的去霧結(jié)果與真實無霧圖像最接近，均達到了較好的視覺效果。

圖5 不同網(wǎng)絡(luò)在SOTS 數(shù)據(jù)集下的去霧結(jié)果對比Fig.5 Comparison of dehazing results of different networks on SOTS datasets

圖6 為本文網(wǎng)絡(luò)與其他對比網(wǎng)絡(luò)在合成霧天圖像HAZERD 數(shù)據(jù)集下的對比實驗結(jié)果（彩色效果見《計算機工程》官網(wǎng)HTML版本）。從圖6可以看出，當使用訓練的模型測試另一數(shù)據(jù)集的霧天圖像時，其去霧圖像的視覺效果普遍降低，特別是對天空等區(qū)域，對比網(wǎng)絡(luò)無法恢復出天空的顏色。具體地，DCP網(wǎng)絡(luò)的去霧結(jié)果顏色過度飽和，DCPDN網(wǎng)絡(luò)去霧結(jié)果亮度異常，如圖6（c）第2幅圖像中的房屋顏色所示。GFN網(wǎng)絡(luò)和MSBDN網(wǎng)絡(luò)的去霧結(jié)果有明顯的殘余霧霾，導致2幅圖紅框內(nèi)的建筑模糊不清。相比之下，GridDehazeNet網(wǎng)絡(luò)和EPDN網(wǎng)絡(luò)處理后的圖像與真實無霧圖像更加接近，這是因為這2種方法從多尺度特征中恢復出無霧圖像，能更好地保留原始圖像的細節(jié)信息。但如圖6（e）和圖6（f）所示，GridDehazeNet和EPDN兩種網(wǎng)絡(luò)存在顏色失真的問題，如天空部分偏白（見紅框區(qū)域）和建筑物顏色偏深（見綠色框區(qū)域）。從圖6（h）第1幅圖像紅框內(nèi)的天空區(qū)域和第2幅圖像綠框內(nèi)的房屋顏色可以看出，本文網(wǎng)絡(luò)顏色失真較小。綜上可知，本文通過通道注意機制減小了過度增強特征圖的權(quán)重，且門控網(wǎng)絡(luò)自適應地結(jié)合了3個深度的特征圖，增強了網(wǎng)絡(luò)的泛化能力。

圖6 不同網(wǎng)絡(luò)在HAZERD 數(shù)據(jù)集下的去霧結(jié)果對比Fig.6 Comparison of dehazing results of different networks on HAZERD datasets

為進一步驗證本文網(wǎng)絡(luò)的有效性，選取PSNR、SSIM、模型參數(shù)量和浮點運算數(shù)（Floating Point Operations，F(xiàn)LOPs）4 個指標對本文網(wǎng)絡(luò)和對比網(wǎng)絡(luò)的圖像去霧效果進行量化對比，使用模型參數(shù)量和FLOPs 衡量網(wǎng)絡(luò)的復雜度，其中，DCP 作為一種傳統(tǒng)的圖像去霧網(wǎng)絡(luò)，其模型參數(shù)量和FLOPs 在此不做比較，實驗結(jié)果如表1 所示，表中加粗數(shù)字表示該組數(shù)據(jù)最大值。從表1 可以看出，本文網(wǎng)絡(luò)在SOTS 室內(nèi)、室外數(shù)據(jù)集下的PSNR、SSIM 指標均略高于MSBDN 網(wǎng)絡(luò)，并遠超其他網(wǎng)絡(luò)。其中在室內(nèi)數(shù)據(jù)集的指標更高，峰值信噪比為33.04 dB，結(jié)構(gòu)相似度為0.983。在HAZERD 數(shù)據(jù)集下的對比實驗中，本文網(wǎng)絡(luò)的指標仍是最好，其PSNR、SSIM 比GridDehazeNet網(wǎng)絡(luò)分別高出1.33 dB 和0.041，并且遠高于其余5 種網(wǎng)絡(luò)。在網(wǎng)絡(luò)復雜度方面，本文網(wǎng)絡(luò)的模型參數(shù)量僅為0.34M，浮點運算數(shù)為16.06×109frame/s，除傳統(tǒng)圖像去霧DCP 網(wǎng)絡(luò)外，本文網(wǎng)絡(luò)的復雜度均低于其他網(wǎng)絡(luò)，且在SOTS 數(shù)據(jù)集下的對比實驗中，本文網(wǎng)絡(luò)的復雜度遠低于MSBDN 網(wǎng)絡(luò)。在HARZED 數(shù)據(jù)集下的對比實驗中，本文網(wǎng)絡(luò)的復雜度同樣遠低于GridDehazeNet 網(wǎng)絡(luò)。實驗結(jié)果表明，本文網(wǎng)絡(luò)在進行圖像去霧時不僅能夠有效恢復原始圖像的結(jié)構(gòu)、色彩和亮度，而且具有較低的復雜度和較好的泛化能力。這進一步驗證了本文通過注意機制和門控網(wǎng)絡(luò)融合局部和全局特征圖，能夠有效解決去霧過程中的色彩、亮度失真問題。

表1 合成霧霾圖像去霧指標對比Table 1 Comparison of dehazing indicators for synthetic haze images

4.3 真實霧圖對比實驗

若將基于合成霧霾圖像訓練的網(wǎng)絡(luò)應用于真實霧霾圖像的去霧過程中，容易存在去霧不徹底、顏色失真等問題，因此在真實霧圖上的對比實驗更能驗證不同網(wǎng)絡(luò)的有效性?；诖?，本文選取近年來圖像去霧領(lǐng)域常用的真實霧圖進行對比實驗，結(jié)果如圖7 所示（彩色效果見《計算機工程》官網(wǎng)HTML 版）。

圖7 真實霧天圖像去霧結(jié)果對比Fig.7 Comparison of dehazing results of real haze images

從圖7 可以看出，DCP、DCPDN 和EPDN 網(wǎng)絡(luò)雖能取得較好的圖像去霧效果，但均過度增強了圖像，其中DCP 網(wǎng)絡(luò)的圖像去霧結(jié)果顏色失真嚴重，如圖7（b）第2 幅圖像中的樹林和第3 幅圖像中的天空區(qū)域。DCPDN 網(wǎng)絡(luò)的圖像去霧結(jié)果亮度失真，使得圖7（c）的背景光均明顯過亮。EPDN 網(wǎng)絡(luò)造成了嚴重的色偏，如圖7（f）第1 和第3 幅圖像中的天空呈現(xiàn)異常的藍色，且從圖7（f）第2 幅圖像中可以看出，樹林里依舊存在成片的霧霾。相比于上述2 種網(wǎng)絡(luò)，GFN、GridDehazNet、MSBDN 和本文網(wǎng)絡(luò)的圖像去霧結(jié)果更自然，但GFN網(wǎng)絡(luò)雖具有一定的圖像去霧效果，但仍存在殘余霧霾，如圖7（d）第1幅圖像中草堆上方的天空區(qū)域以及圖7（d）第2幅圖像中的樹林區(qū)域。GridDehazeNet網(wǎng)絡(luò)在圖7（e）第1 幅圖像中的去霧效果較好，但是圖像背景變暗，此外，該網(wǎng)絡(luò)在圖7（e）第1 幅圖像中的去霧結(jié)果中仍存在成片的霧霾。更重要的是，MSBDN網(wǎng)絡(luò)泛化能力差，并不能有效去除真實場景中的霧霾，如圖7（g）第1 幅圖像中的天空和第2 幅圖像中的樹林區(qū)域。相比之下，本文網(wǎng)絡(luò)能夠更好地恢復原始圖像的亮度與色彩（如如圖7（h）第1幅和第3幅圖像中的天空顏色，以及第5幅圖像中的綠色框放大部分），并且能較好地去除濃霧（圖7（h）第2 幅圖像中的樹林）。此外，由于本文網(wǎng)絡(luò)有效結(jié)合了局部特征和全局特征，因此可以提取更多圖像信息，恢復出高對比度的圖像（如圖7（h）第4 幅圖像中的綠色框放大部分）。

4.4 消融實驗

為驗證本文所提網(wǎng)絡(luò)中每個模塊的有效性，設(shè)計以下消融實驗：

1）僅提取有霧圖像的局部特征（Local Feature，LF）；

2）提取有霧圖像的局部特征和全局特征（Local Feature and Global Feature，LF+GF）；

3）提取有霧圖像的局部特征和全局特征，并對提取的2 種特征進行通道注意機制融合（Local Feature and Global Feature with Channel Attettion，LF+GF+CA）；

4）本文網(wǎng)絡(luò)，即使用通道注意機制加權(quán)局部特征和全局特征，并通過門控網(wǎng)絡(luò)融合3 個不同深度的特征圖（Local Feature and Global Feature with Channel Attettion and Gated Network，LF+GF+CA+GN）。

本文在SOTS 室內(nèi)測試集下進行了測試，該測試集包含500 張合成霧天圖像，其圖像去霧對比結(jié)果如圖8所示（彩色效果見《計算工程》官網(wǎng)HTML版），平均PSNR和SSIM 定量評估結(jié)果如表2 所示。從圖8 綠色框內(nèi)的紅墻可以看出，LF 去霧網(wǎng)絡(luò)在圖像去霧時錯誤估計了墻壁的顏色，這表明其缺乏全局特征，去霧結(jié)果的色彩恢復并不穩(wěn)定。LF+GF 去霧網(wǎng)絡(luò)雖然結(jié)合了局部特征和全局特征，提取了更豐富的顏色和亮度信息，但由于沒有采用注意機制有效結(jié)合兩種特征，因此綠色框內(nèi)的紅墻顏色仍偏白。LF+GF+CA 去霧網(wǎng)絡(luò)雖然在圖像去霧時有效避免了顏色失真，但綠色框內(nèi)仍隱約存在白霧。相比之下，本文采用的LF+GF+CA+GN 去霧網(wǎng)絡(luò)得到的無霧圖像效果最佳，墻壁顏色與清晰圖像最為接近。從表2 的客觀指標可以看出，本文采用的LF+GF+CA+GN 去霧網(wǎng)絡(luò)恢復的無霧圖像指標最高。此外，本文方法結(jié)合全局特征和局部特征，以及采用通道注意機制，對圖像去霧效果有較大的促進作用。

圖8 消融實驗結(jié)果Fig.8 Results of ablation experiment

表2 消融實驗結(jié)果對比Table 2 Comparison of results of ablation experiment

5 結(jié)束語

本文提出一種基于雙尺度特征融合的單幅圖像去霧網(wǎng)絡(luò)，通過殘差密集塊和包含空間注意機制的特征提取塊分別提取圖像的局部特征和全局特征。在此基礎(chǔ)上，利用通道注意機制高效融合局部特征圖和全局特征圖，從而獲得豐富的結(jié)構(gòu)和色彩信息。此外，采用門控網(wǎng)絡(luò)自適應結(jié)合不同深度的融合特征圖，并由卷積層映射出最終的無霧圖像。實驗結(jié)果表明，與現(xiàn)有網(wǎng)絡(luò)相比，本文網(wǎng)絡(luò)對合成圖像和真實圖像均可取得理想的去霧效果，且不用依賴于大氣散射模型，有效解決了現(xiàn)有網(wǎng)絡(luò)去霧不徹底、因過度去霧而導致的色彩失真等問題。下一步將進行自適應圖像域研究，將深度信息和先驗信息相結(jié)合，進一步增強去霧網(wǎng)絡(luò)對真實有霧圖像的去霧能力。