MAGNet融合導(dǎo)向?yàn)V波的真實(shí)圖像去霧方法

桑 榆， 申紅倩， 張世輝，2， 路佳琪，左東旭， 牛景春，2

(1.燕山大學(xué) 信息科學(xué)與工程學(xué)院，河北 秦皇島 066004；2.河北省計(jì)算機(jī)虛擬技術(shù)與系統(tǒng)集成重點(diǎn)實(shí)驗(yàn)室，河北 秦皇島 066004)

1 引 言

霧會(huì)導(dǎo)致圖像模糊、能見(jiàn)度降低，更會(huì)阻礙視覺(jué)測(cè)量[1]、光學(xué)檢測(cè)[2]、三維重建[3]等任務(wù)的執(zhí)行效果，將霧從場(chǎng)景中去除更有助于相關(guān)任務(wù)的順利完成。因此，近年來(lái)去霧問(wèn)題受到學(xué)者們的廣泛關(guān)注。

根據(jù)處理對(duì)象的不同，已有的去霧方法可分為基于視頻的去霧方法[4,5]以及基于單幅圖像的去霧方法[6,7]。由于基于視頻的去霧方法的實(shí)質(zhì)也是對(duì)單幅圖像進(jìn)行處理，且基于單幅圖像的去霧方法更具挑戰(zhàn)，因此，相關(guān)學(xué)者們更多地進(jìn)行了單幅圖像去霧方法的研究。已有單幅圖像去霧方法可分為3類(lèi)，即基于圖像增強(qiáng)的去霧方法、基于先驗(yàn)知識(shí)的去霧方法以及基于學(xué)習(xí)思想的去霧方法?；趫D像增強(qiáng)的去霧方法按照霧的視覺(jué)屬性差異可分為直方圖均衡化方法[8,9]、同態(tài)濾波方法[10]、小波變換方法[11]以及Retinex方法[12,13]等。近年，相關(guān)學(xué)者們對(duì)Retinex方法進(jìn)行了較多研究，其思路是將有霧圖像分為自身反射信息部分和亮度信息部分，并基于圖像自身反射信息決定了有霧圖像的固有屬性這一假設(shè)，通過(guò)設(shè)計(jì)模型計(jì)算有霧圖像亮度信息與自身反射信息，從而獲取去霧圖像。雖然，Retinex方法在一定程度上可以提高視覺(jué)效果，但是由于沒(méi)有考慮有霧圖像的退化原因，所以對(duì)于具有復(fù)雜結(jié)構(gòu)的真實(shí)有霧圖像去霧效果一般。

與基于圖像增強(qiáng)的去霧方法思路不同，基于先驗(yàn)知識(shí)的去霧方法通過(guò)分析圖像中霧的形成原因及分布特性，總結(jié)出霧所具有的特征并將特征作為先驗(yàn)知識(shí)從而設(shè)計(jì)具體的去霧方法。Tan R T[14]發(fā)掘有霧圖像的對(duì)比度通常低于無(wú)霧圖像，基于此通過(guò)最大化局部對(duì)比度來(lái)進(jìn)行去霧，但是去霧后圖像通常會(huì)出現(xiàn)顏色失真的現(xiàn)象。He K M等[15]對(duì)大量有霧和無(wú)霧圖像進(jìn)行對(duì)比及分析后，提出無(wú)霧圖像在R、G、B三通道中至少一個(gè)通道數(shù)值接近于零這一假設(shè)，并將該假設(shè)命名為暗通道先驗(yàn)(dark channel prior, DCP)，圍繞暗通道先驗(yàn)以及大氣散射模型設(shè)計(jì)了相應(yīng)的去霧方法。隨后，學(xué)者們基于暗通道先驗(yàn)設(shè)計(jì)了各自的去霧方法[16～18]。Zhu Q S等[19]發(fā)掘圖像中霧的濃度與景深信息密切相關(guān)，由此建立景深模型實(shí)現(xiàn)對(duì)圖像中霧的去除?；谙闰?yàn)知識(shí)的方法需在一定的約束條件下實(shí)現(xiàn)對(duì)圖像中霧的去除，因此這類(lèi)方法具有一定的局限性且去霧后圖像存在偽影。

為了解決上述問(wèn)題，學(xué)者們提出了基于學(xué)習(xí)思想的去霧方法?；趯W(xué)習(xí)思想的方法可分為應(yīng)用大氣散射模型方法以及端到端方法。應(yīng)用大氣散射模型的方法利用深度卷積神經(jīng)網(wǎng)絡(luò)計(jì)算有霧圖像的透射圖，并將計(jì)算出的透射圖輸入至大氣散射模型從而實(shí)現(xiàn)去霧功能。Cai B L等[20]設(shè)計(jì)并構(gòu)造了名為去霧網(wǎng)絡(luò)(dehaze network, DeHazeNet)的卷積神經(jīng)網(wǎng)絡(luò)，DeHazeNet通過(guò)特征提取、多尺度映射、局部極值和非線性回歸獲取有霧圖像對(duì)應(yīng)的透射圖，并應(yīng)用大氣散射模型獲取去霧圖像。Ren W Q等[21]考慮到不同尺度信息對(duì)于去霧問(wèn)題的影響，設(shè)計(jì)多尺度卷積神經(jīng)網(wǎng)絡(luò)(multi-scale convolutional neural network, MSCNN)獲取透射圖進(jìn)而實(shí)現(xiàn)去霧功能。Li B Y等[22]意識(shí)到對(duì)透射圖和大氣光值進(jìn)行估計(jì)會(huì)影響去霧效果，故將透射圖t(x)和大氣光值A(chǔ)合并為新變量K，通過(guò)估計(jì)K去除圖像中的霧。上述應(yīng)用大氣散射模型的去霧方法由于需要先計(jì)算透射圖再實(shí)現(xiàn)去霧，因此這類(lèi)方法去霧結(jié)果過(guò)于依賴(lài)所計(jì)算的透射圖，且去霧后圖像與有霧圖像之間存在較大差異。為了克服上述問(wèn)題，學(xué)者們提出了基于端到端思想的去霧方法。與應(yīng)用大氣散射模型方法相比，基于端到端思想的去霧方法所構(gòu)造卷積神經(jīng)網(wǎng)絡(luò)的輸出不再是有霧圖像對(duì)應(yīng)的透射圖而是有霧圖像對(duì)應(yīng)的去霧結(jié)果。Ren W Q等[23]、Chen D D等[24]、Liu X H等[25]、Dong H等[26]、Qin X等[27]分別構(gòu)造了名為門(mén)控融合網(wǎng)絡(luò)(gated fusion network, GFN)、門(mén)控上下文聚合網(wǎng)絡(luò)(gated context aggregation network, GCANet)、網(wǎng)格去霧網(wǎng)絡(luò)(grid dehaze network, GridDehazeNet)、融合密集特征的多尺度增強(qiáng)去霧網(wǎng)絡(luò)(multi-scale boosted dehazing network with dense feature fusion, MSBDN-DFF)、特征融合注意力網(wǎng)絡(luò)(feature fusion attention network, FFA-Net)等卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)對(duì)有霧圖像中霧的去除。例如，GFN分別對(duì)有霧圖像進(jìn)行白平衡、對(duì)比度增強(qiáng)以及Gamma校正后輸入到卷積神經(jīng)網(wǎng)絡(luò)，然后將網(wǎng)絡(luò)的輸出圖像進(jìn)行融合從而獲得去霧結(jié)果。MSBDN-DFF將U-Net密集特征與多尺度信息進(jìn)行融合，并應(yīng)用boosting和誤差反饋取得了較好的去霧效果。FFA-Net將通道注意力與像素注意力機(jī)制相結(jié)合，構(gòu)造了一種雙注意力特征融合卷積神經(jīng)網(wǎng)絡(luò)，實(shí)現(xiàn)對(duì)有霧圖像中霧的有效去除。上述基于端到端思想的方法可對(duì)合成圖像中的霧進(jìn)行有效去除，但是這類(lèi)方法對(duì)于真實(shí)圖像的去霧效果有待提升且去霧后圖像視覺(jué)效果一般。

綜上所述，針對(duì)已有去霧方法存在的過(guò)于依賴(lài)大氣散射模型、方法存在局限性、對(duì)真實(shí)圖像去霧效果一般等情況，本文研究的面向真實(shí)圖像的去霧方法旨在提高已有去霧方法的普適性，建立可對(duì)真實(shí)圖像和合成圖像去霧的模型，并保證對(duì)真實(shí)圖像中霧有效去除的同時(shí)，提高去霧后圖像的視覺(jué)效果。

2 方法概述

本文提出一種基于學(xué)習(xí)思想的多注意力網(wǎng)格網(wǎng)絡(luò)(multiple attention grid network, MAGNet)融合導(dǎo)向?yàn)V波面向真實(shí)圖像的去霧方法。首先，設(shè)計(jì)并構(gòu)造融合通道注意力、空間注意力、像素注意力及殘差密集塊的MAGNet，并利用已有的合成數(shù)據(jù)訓(xùn)練MAGNet；其次，基于圖像增強(qiáng)理論，引入導(dǎo)向?yàn)V波去除真實(shí)圖像中殘留的霧，并使得去霧后圖像更加平滑且保留更多細(xì)節(jié)信息，從而提高去霧圖像的視覺(jué)效果。本文去霧方法總體流程如圖1所示。

圖1 真實(shí)圖像去霧方法流程

3 MAGNet融合導(dǎo)向?yàn)V波的真實(shí)圖像去霧方法

3.1 構(gòu)造MAGNet網(wǎng)絡(luò)

3.1.1 提出多注意力殘差密集塊

分析暗通道先驗(yàn)可知有霧圖像中各通道特征具有完全不同的權(quán)重信息。通道注意力(channel attention, CA)可減少對(duì)不重要信息的計(jì)算，從而實(shí)現(xiàn)根據(jù)有霧圖像的特點(diǎn)為不同通道的特征圖分配相應(yīng)權(quán)重。分析已有去霧后圖像可知，景深較大處的霧比景深較小處的霧更難去除，因此若對(duì)不同景深的霧分配平均權(quán)重很難達(dá)到較好的去霧效果。空間注意力(spatial attention, SA)可使網(wǎng)絡(luò)更加關(guān)注景深較大的霧并增強(qiáng)去霧效果?？紤]到霧濃度對(duì)于去霧問(wèn)題的影響，引入像素注意力(pixel attention, PA)對(duì)于不同濃度的霧分配相應(yīng)的權(quán)重，進(jìn)一步增強(qiáng)網(wǎng)絡(luò)的去霧效果。

此外，殘差密集塊是將殘差塊的短路連接(shortcut connection)與密集塊的多旁路連接(multiple bypass connection)相結(jié)合的形式。與傳統(tǒng)的殘差塊相比，殘差密集塊可對(duì)特征進(jìn)行重復(fù)使用，并將當(dāng)前特征與前若干層特征在通道上進(jìn)行連接實(shí)現(xiàn)對(duì)相關(guān)特征的高效利用。與傳統(tǒng)的密集塊相比，短路連接不會(huì)產(chǎn)生額外的參數(shù)，也不會(huì)增加計(jì)算復(fù)雜度。同時(shí)，將通道注意力、空間注意力以及像素注意力融入到殘差密集塊構(gòu)造多注意力殘差密集塊，實(shí)現(xiàn)對(duì)特征重復(fù)及高效利用的同時(shí)，更加突出具有不同景深及不同濃度霧的相關(guān)特征圖權(quán)重信息。所構(gòu)造的多注意力殘差密集塊結(jié)構(gòu)如圖2所示。

圖2 多注意力殘差密集塊

3.1.2 MAGNet結(jié)構(gòu)

卷積神經(jīng)網(wǎng)絡(luò)可對(duì)有霧圖像中的特征進(jìn)行有效提取，但是深層的卷積神經(jīng)網(wǎng)絡(luò)也會(huì)有梯度消失的風(fēng)險(xiǎn)。而所構(gòu)造的多注意力殘差密集塊可實(shí)現(xiàn)對(duì)特征的重復(fù)利用降低網(wǎng)絡(luò)參數(shù)規(guī)模，從而降低梯度消失風(fēng)險(xiǎn)。此外，多尺度信息通過(guò)對(duì)不同尺度特征進(jìn)行融合，實(shí)現(xiàn)對(duì)不同尺度下真實(shí)圖像均能取得良好的去霧效果并提升網(wǎng)絡(luò)的泛化能力。因此，基于所構(gòu)造多注意力殘差密集塊及多尺度思想設(shè)計(jì)MAGNet，其結(jié)構(gòu)如圖3所示。分析圖3可知，將長(zhǎng)度W和寬度H以及3通道的有霧圖像輸入至MAGNet，有霧圖像首先經(jīng)過(guò)3×3卷積和1個(gè)多注意力殘差密集塊后獲得16維W×H的特征圖。其次，將16維W×H的特征圖輸入至網(wǎng)格部分，該網(wǎng)格共分為3層，每層均包含5個(gè)多注意力殘差密集塊且各層網(wǎng)格通過(guò)上采樣或下采樣獲得不同維度及尺寸的特征圖。其中，第1層網(wǎng)格的多注意力殘差密集塊輸出均為16維W×H的特征圖，第2層網(wǎng)格的多注意力殘差密集塊輸出為32維(W/2)×(H/2)的特征圖，第3層網(wǎng)格的多注意力殘差密集塊輸出為64維(W/4)×(H/4)的特征圖。最后，將網(wǎng)格部分輸出的16維W×H的特征圖經(jīng)過(guò)1個(gè)多注意力殘差密集塊和1個(gè)3×3卷積操作得到MAGNet的輸出即去霧圖像。

圖3 MAGNet的整體框架

3.1.3 訓(xùn)練MAGNet

為了獲取有霧圖像與對(duì)應(yīng)去霧圖像之間的映射關(guān)系，本文方法需要對(duì)MAGNet進(jìn)行訓(xùn)練。分別設(shè)計(jì)平滑的1損失和感知損失從而構(gòu)造損失函數(shù)Ltotal訓(xùn)練所搭建的MAGNet。所構(gòu)造的損失函數(shù)定義：

Ltotal=Ls+λLp

(1)

式中：Ls是平滑1損失；Lp是感知損失；λ是感知損失權(quán)重系數(shù)。

(2)

式中：W和H分別是有霧圖像的長(zhǎng)度和寬度；x是有霧圖像和去霧圖像中對(duì)應(yīng)的像素點(diǎn)；i是有霧圖像R、G、B三通道的索引；Ji(x)是MAGNet輸出的去霧圖像中像素點(diǎn)x在i通道上的像素值；Di(x)是有霧圖像對(duì)應(yīng)ground truth中像素點(diǎn)x在i通道上的像素值；ζs(·)是1判定函數(shù)；e是MAGNet輸出的去霧圖像和對(duì)應(yīng)ground truth之間的差異值。

(3)

式中：t是VGG16前3層卷積對(duì)應(yīng)的索引；Ct、Ht及Wt分別是VGG16第t層卷積輸出特征圖的維度、寬度和長(zhǎng)度；ψt(J)是VGG16第t層卷積對(duì)去霧圖像輸出的特征圖；ψt(D)是VGG16第t層卷積對(duì)ground truth輸出的特征圖。

3.2 增強(qiáng)去霧圖像視覺(jué)效果

已有的去霧方法可去除真實(shí)圖像中大部分的霧，但去霧圖像存在細(xì)節(jié)信息丟失且視覺(jué)效果降低等問(wèn)題，因此引入導(dǎo)向?yàn)V波保留去霧圖像細(xì)節(jié)信息以及增強(qiáng)圖像視覺(jué)效果。利用MAGNet去霧后的圖像作為待濾波圖像P和引導(dǎo)圖像I，利用導(dǎo)向?yàn)V波對(duì)去霧圖像進(jìn)行視覺(jué)效果增強(qiáng)方法定義：

(4)

式中：ωk是引導(dǎo)圖像中以像素點(diǎn)k為中心的窗口(以下簡(jiǎn)稱(chēng)窗口)；i和j分別是窗口內(nèi)像素點(diǎn)索引；|ωk|是窗口內(nèi)像素點(diǎn)的個(gè)數(shù)；μk是窗口內(nèi)各像素點(diǎn)像素值的均值；Ii和Ij是引導(dǎo)圖像中像素點(diǎn)k相鄰兩像素點(diǎn)i和j的亮度值；σk是窗口內(nèi)像素點(diǎn)對(duì)應(yīng)像素值的方差；ε是調(diào)節(jié)系數(shù)。

按照公式(4)方法遍歷引導(dǎo)圖像和待濾波圖像中各像素點(diǎn)，從而實(shí)現(xiàn)對(duì)于去霧圖像視覺(jué)效果的增強(qiáng)。

4 實(shí)驗(yàn)與分析

4.1 實(shí)驗(yàn)環(huán)境及數(shù)據(jù)集

所提出面向真實(shí)圖像去霧方法的實(shí)驗(yàn)硬件環(huán)境為Intel(R)Xeon(R)CPU E5-2620 v4@ 2.10 GHz、內(nèi)存64 G、顯卡型號(hào)NVINIA TITAN Xp。實(shí)驗(yàn)軟件環(huán)境為Ubuntu14.0、CUDA9.0、Python3.6.7和Pytorch1.0.0。

本文方法中MAGNet利用逼真單幅圖像去霧數(shù)據(jù)集(realistic single image dehazing, RESIDE)[29]進(jìn)行訓(xùn)練。RESIDE中包含296 695幅戶外圖像，這些戶外圖像由8 477幅清晰圖像根據(jù)大氣散射模型中深度β∈[0.04,0.2]以及大氣光值A(chǔ)∈[0.8,1.0]兩個(gè)參數(shù)生成。由于目前不存在對(duì)真實(shí)圖像去霧后進(jìn)行定量分析的指標(biāo)，因此對(duì)真實(shí)圖像去霧效果的對(duì)比將從定性角度進(jìn)行分析。與此同時(shí)，已有的去霧方法大多是針對(duì)合成圖像進(jìn)行測(cè)試，因此在對(duì)合成圖像去霧進(jìn)行測(cè)試后，也將從定性和定量的角度，將本文方法與現(xiàn)有具有代表性的去霧方法在Indoor、Outdoor以及Middlebury數(shù)據(jù)集中進(jìn)行對(duì)比與分析。

4.2 自身實(shí)驗(yàn)效果對(duì)比與分析

4.2.1 真實(shí)圖像的自身對(duì)比實(shí)驗(yàn)結(jié)果與分析

為了充分驗(yàn)證本文方法在真實(shí)圖像去霧方面的可行性和有效性，采用由RESIDE數(shù)據(jù)集中戶外圖像訓(xùn)練的MAGNet作為測(cè)試模型，應(yīng)用互聯(lián)網(wǎng)上搜索的真實(shí)有霧圖像作為測(cè)試數(shù)據(jù)進(jìn)行兩組對(duì)比實(shí)驗(yàn)。驗(yàn)證多注意力殘差密集塊對(duì)于真實(shí)圖像去霧效果影響的第1組實(shí)驗(yàn)以及驗(yàn)證導(dǎo)向?yàn)V波方案對(duì)真實(shí)圖像去霧效果影響的第2組實(shí)驗(yàn)。為了驗(yàn)證所提多注意力殘差密集塊對(duì)于真實(shí)圖像去霧效果的影響，在網(wǎng)絡(luò)中分別使用僅利用殘差密集塊以及利用多注意力殘差密集塊進(jìn)行對(duì)比實(shí)驗(yàn)。為了驗(yàn)證導(dǎo)向?yàn)V波對(duì)真實(shí)圖像的去霧效果，對(duì)比僅利用MAGNet進(jìn)行去霧和在利用MAGNet去霧后疊加導(dǎo)向?yàn)V波的去霧效果，實(shí)驗(yàn)結(jié)果如圖4所示。

對(duì)比圖4(b)和圖4(c)可以看出，圖4(b)的去霧結(jié)果仍有霧殘留，尤其在各圖像的標(biāo)框細(xì)節(jié)區(qū)域最為明顯，其中圖4(b)的第2幅圖像右側(cè)樹(shù)枝部分明顯有大量霧的殘留，第4幅和第5幅圖像的天空區(qū)域存在顏色失真的情況。對(duì)比圖4(c)和圖4(d)，圖4(d)第1幅圖像中的信號(hào)燈和第4幅圖像中間的指示牌以及第5幅圖像左下角的小閣樓明顯有較好的視覺(jué)效果，圖4(d)第5幅圖像的標(biāo)框區(qū)域去霧效果明顯比圖4(c)的去霧效果清晰，因此可驗(yàn)證本文方法基于真實(shí)圖像去霧的有效性。

圖4 真實(shí)圖像自身對(duì)比實(shí)驗(yàn)結(jié)果

4.2.2 基于合成圖像的自身對(duì)比實(shí)驗(yàn)結(jié)果與分析

此外，為了驗(yàn)證本文方法也可對(duì)合成圖像進(jìn)行有效去霧，基于合成圖像并從定量和定性角度進(jìn)行自身實(shí)驗(yàn)驗(yàn)證工作。采用由RESIDE數(shù)據(jù)集中戶外圖像訓(xùn)練的MAGNet作為測(cè)試模型，并將RESIDE數(shù)據(jù)集下的Indoor、Outdoor以及Middlebury數(shù)據(jù)集作為測(cè)試數(shù)據(jù)驗(yàn)證多注意力殘差密集塊對(duì)于合成圖像去霧效果的影響，實(shí)驗(yàn)結(jié)果如圖5所示。

圖5的前兩行是RESIDE數(shù)據(jù)集中Indoor數(shù)據(jù)集的圖像，中間兩行是RESIDE數(shù)據(jù)集中Outdoor數(shù)據(jù)集的圖像，最后兩行是Middlebury數(shù)據(jù)集的圖像。對(duì)比圖5(b)和圖5(c)可知，圖5(c)的去霧結(jié)果仍有少量的霧殘留，這種現(xiàn)象在2幅室內(nèi)圖像和2幅室外圖像的標(biāo)框部分尤為明顯。其中圖5(c)第2幅圖像在花瓶周?chē)黠@殘留大量沒(méi)有去除的霧，圖5(c)第3幅圖像標(biāo)框部分顯示的建筑物視覺(jué)效果模糊。圖5(c)最后2幅Middlebury數(shù)據(jù)集的圖像標(biāo)框部分視覺(jué)效果不好且去霧圖像在整體上殘留大量的霧。對(duì)比圖5(d)與圖5(c)，圖5(d)標(biāo)框顯示的細(xì)節(jié)部分去霧效果明顯強(qiáng)于圖5(c)的去霧效果，且整體上圖5(d)的去霧效果更接近于ground truth，從而驗(yàn)證多注意力殘差密集塊對(duì)于合成圖像去霧的適用性。

圖5 合成圖像自身對(duì)比實(shí)驗(yàn)結(jié)果

與驗(yàn)證本文方法對(duì)真實(shí)圖像去霧效果僅能依賴(lài)定性分析不同，還可基于定量分析對(duì)合成圖像去霧效果進(jìn)行驗(yàn)證。合成圖像的定量分析數(shù)據(jù)是根據(jù)Indoor、Outdoor及Middlebury數(shù)據(jù)集的測(cè)試圖像去霧后結(jié)果取平均值得到的。表1展示了不同網(wǎng)絡(luò)結(jié)構(gòu)在PSNR和SSIM兩個(gè)定量指標(biāo)的評(píng)估結(jié)果，其中加粗字體為最優(yōu)值。

根據(jù)表1結(jié)果可知，基于多注意力殘差密集塊所構(gòu)造的MAGNet對(duì)于Indoor、Outdoor及Middlebury等數(shù)據(jù)進(jìn)行去霧的結(jié)果明顯優(yōu)于僅利用殘差密集塊進(jìn)行去霧的結(jié)果，也進(jìn)一步驗(yàn)證了所構(gòu)造多注意力殘差密集塊對(duì)于合成圖像去霧問(wèn)題的有效性。

表1 不同網(wǎng)絡(luò)結(jié)構(gòu)對(duì)應(yīng)的PSNR和SSIM

4.3 與其它去霧方法對(duì)比與分析

4.3.1 基于真實(shí)圖像與其它去霧方法對(duì)比與分析

為了驗(yàn)證本文方法在真實(shí)圖像去霧方面的有效性，圖6展示了本文方法與已有5種具有代表性方法的實(shí)驗(yàn)結(jié)果。從圖6可以看出，DCP的去霧結(jié)果存在顏色失真的情況，尤其在第1幅圖像的天空和第2幅圖像的河流，在第3幅圖像中人的輪廓出現(xiàn)了明顯的偽影現(xiàn)象。AOD-Net方法的去霧結(jié)果整體呈現(xiàn)出顏色偏暗，對(duì)比度降低的視覺(jué)效果，在第1幅圖像的天空區(qū)域最為明顯，并且在第2幅圖像標(biāo)出的框里放大的細(xì)節(jié)可以看出丟失了球上的紋理信息。DeHazeNet的去霧結(jié)果存在細(xì)節(jié)丟失的問(wèn)題，第1幅圖像的天空區(qū)域過(guò)于明亮導(dǎo)致最右側(cè)的高樓消失，第2幅圖像的天空區(qū)域顏色失真，表現(xiàn)為暗綠色。GridDehazeNet方法的去霧結(jié)果也存在細(xì)節(jié)丟失的問(wèn)題，第3幅圖像中人頭的上部有大量霧的殘留。FFA-Net方法去霧不徹底，第1幅圖像恢復(fù)的去霧圖像中天空區(qū)域過(guò)于明亮，第2幅圖像標(biāo)出的框中球的周?chē)?。本文方法的去霧結(jié)果最為清晰且對(duì)比度高，視覺(jué)效果明顯優(yōu)于其它幾種方法，從而進(jìn)一步驗(yàn)證了本文方法基于真實(shí)圖像去霧的可行性和有效性。

圖6 本文方法與其它方法在真實(shí)圖像上的比較

4.3.2 基于合成圖像與其它去霧方法對(duì)比與分析

針對(duì)已有去霧方法大多基于合成圖像進(jìn)行實(shí)驗(yàn)驗(yàn)證的現(xiàn)狀，將本文所構(gòu)造的MAGNet與上述5種先進(jìn)方法進(jìn)行去霧效果的對(duì)比工作。圖7展示了MAGNet與5種代表性方法的對(duì)比結(jié)果。從圖7的實(shí)驗(yàn)結(jié)果可以看出，DCP方法的去霧結(jié)果存在顏色失真的問(wèn)題，尤其在第2幅圖像的墻面和第5幅圖像的天空區(qū)域最為明顯，第3幅圖像的吊燈周?chē)捎诹炼绕邅G失大量細(xì)節(jié)信息。AOD-Net去霧不徹底，在第1幅圖像桌子上方玻璃門(mén)部分和第2幅圖像左上角的相框部分以及第3幅圖像的吊燈周?chē)鸵巫涌勘持g都存在大量霧的殘留。DeHazeNet的去霧結(jié)果整體呈現(xiàn)顏色偏亮的情況，第1幅圖像的玻璃門(mén)部分和第3幅圖像左上角吊燈部分以及第5幅圖像的天空區(qū)域都有顏色偏亮的問(wèn)題，第4幅圖像天空區(qū)域的右下角出現(xiàn)綠色陰影。GridDehazeNet也存在去霧不徹底的問(wèn)題，第2幅圖像左上角的相框輪廓和第3幅圖像的椅子靠背之間存在霧的殘留。FFA-Net方法的去霧結(jié)果整體比較清晰，但部分區(qū)域較模糊，第1幅圖像桌子上的書(shū)本和第2幅圖像柜子上擺放的物件都丟失了細(xì)節(jié)信息。MAGNet的去霧結(jié)果最為清晰且細(xì)節(jié)信息保留完整，從而驗(yàn)證了本文方法可以對(duì)真實(shí)圖像去霧同時(shí)也可以有效去除合成圖像中的霧。

圖7 MAGNet與其它方法在合成圖像上的比較

表2給出了不同方法在3種數(shù)據(jù)集上的量化評(píng)估結(jié)果，其中加粗字體為最優(yōu)值，加下劃線字體為次優(yōu)值。由表2可以看出，在Outdoor和Middlebury數(shù)據(jù)集上本文所構(gòu)造的MAGNet的PSNR和SSIM明顯優(yōu)于其它5種方法的處理結(jié)果，這也符合上文直觀的評(píng)估結(jié)果。但在Indoor數(shù)據(jù)集上，F(xiàn)FA-Net的PSNR值略高于MAGNet，其原因在于，F(xiàn)FA-Net主要對(duì)合成圖像進(jìn)行研究且具有較深的網(wǎng)絡(luò)結(jié)構(gòu)，因此對(duì)于與訓(xùn)練樣本較相似的合成數(shù)據(jù)效果較好。但是，本文方法主要研究對(duì)象是真實(shí)圖像，過(guò)深的網(wǎng)絡(luò)結(jié)構(gòu)往往會(huì)造成過(guò)擬合現(xiàn)象即對(duì)合成圖像去霧效果較好而對(duì)真實(shí)圖像去霧效果一般，所以所構(gòu)造的MAGNet并未單純追求網(wǎng)絡(luò)結(jié)構(gòu)的深度，而是面向真實(shí)圖像的特點(diǎn)合理設(shè)計(jì)網(wǎng)絡(luò)結(jié)構(gòu)。因此所設(shè)計(jì)去霧方法對(duì)真實(shí)圖像處理效果優(yōu)于FFA-Net，并且對(duì)于除Indoor數(shù)據(jù)集PSNR指標(biāo)外，MAGNet在其它數(shù)據(jù)集上PSNR及SSIM兩定量指標(biāo)也優(yōu)于FFA-Net。

表2 MAGNet與其它方法的PSNR和SSIM評(píng)估

5 結(jié) 論

本文提出一種MAGNet融合導(dǎo)向?yàn)V波的真實(shí)圖像去霧方法。主要貢獻(xiàn)在于：

(1)提出多注意力殘差密集塊，所提出的多注意力殘差密集塊在殘差密集塊基礎(chǔ)上融入通道注意力、空間注意力和像素注意力，可對(duì)不同景深不同濃度的霧分配相應(yīng)的權(quán)重信息，充分發(fā)揮空間注意力、通道注意力和像素注意力在獲取圖像深層細(xì)節(jié)特征上的特點(diǎn)，從而達(dá)到更好的去霧效果。

(2)基于多尺度思想以及所提出的多注意力殘差密集塊，構(gòu)造多注意力網(wǎng)格網(wǎng)絡(luò)MAGNet對(duì)圖像中霧特征進(jìn)行深層次的提取，并保證對(duì)真實(shí)圖像中霧的有效去除。

(3)基于圖像增強(qiáng)思想將導(dǎo)向?yàn)V波引入到去霧問(wèn)題中，并根據(jù)導(dǎo)向?yàn)V波實(shí)現(xiàn)對(duì)去霧圖像中殘留霧地進(jìn)一步去除，同時(shí)保留更多細(xì)節(jié)信息增強(qiáng)去霧圖像視覺(jué)效果，該思路是一種有益的嘗試。與其它代表性的去霧方法相比，本文方法在確保可對(duì)真實(shí)圖像與合成圖像中霧進(jìn)行有效去除的同時(shí)，獲得了更好的去霧效果。