分離特征和協(xié)同網(wǎng)絡(luò)下的端到端圖像去霧

楊 燕，梁小珍，張金龍

（蘭州交通大學(xué) 電子與信息工程學(xué)院，甘肅 蘭州 730070）

1 引 言

視頻監(jiān)控等智能設(shè)備在計(jì)算機(jī)視覺(jué)系統(tǒng)應(yīng)用中起著重要的作用。由于霧、霾天氣的存在，使得成像設(shè)備采集到的圖片降質(zhì)嚴(yán)重，不能很好地監(jiān)測(cè)到目標(biāo)物體，給視覺(jué)系統(tǒng)帶來(lái)極大的不便［1-3］。因此，圖像去霧有著很重要的現(xiàn)實(shí)意義、研究?jī)r(jià)值以及實(shí)用價(jià)值。

目前，圖像去霧方法主要為基于物理模型和基于深度學(xué)習(xí)的方法。基于物理模型的方法從圖像降質(zhì)的本質(zhì)出發(fā)，以大氣散射模型為依據(jù)，通過(guò)估計(jì)大氣光和透射率，逆向推導(dǎo)降質(zhì)公式，從而得到無(wú)霧圖像。He等人［4］對(duì)大量戶外無(wú)霧圖像統(tǒng)計(jì)發(fā)現(xiàn)：在非天空和高亮區(qū)域，其像素點(diǎn)的某一個(gè)顏色通道具有非常低的像素值，提出暗通道先驗(yàn)DCP。Zhu等人［5］通過(guò)統(tǒng)計(jì)有霧圖像的顏色信息，提出顏色衰減先驗(yàn)CAP，估計(jì)出深度信息，從而得到無(wú)霧圖像。Hu等人［6］觀察發(fā)現(xiàn)大氣光照不僅在不同圖像中存在差異，在同幅圖片的不同區(qū)域也存在差異，提出基于局部—全局聯(lián)合光照調(diào)整的去霧算法，用局部光照代替全局大氣光。該算法對(duì)不同霧濃度和光照條件的霧圖均有良好的適應(yīng)性。Yang等人［7］提出用一個(gè)分段函數(shù)來(lái)代替最小濾波器操作，有效避免了暗通道方法在邊緣處透射率估計(jì)不準(zhǔn)確的問(wèn)題?；谖锢砟Ｐ偷娜レF方法發(fā)展迅速，效果顯著。但存在的問(wèn)題是：先驗(yàn)信息具有局限性，不能適用于任意場(chǎng)景；以DCP為例，該先驗(yàn)信息不適用于高亮區(qū)域。同時(shí)，手動(dòng)設(shè)計(jì)特征的過(guò)程較為繁瑣，不具有便利性。

為了改善傳統(tǒng)算法的不足，基于深度學(xué)習(xí)的去霧方法迅速發(fā)展，成為圖像去霧的主流方向。該類(lèi)方法主要借助卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN），通過(guò)構(gòu)建端到端的網(wǎng)絡(luò)架構(gòu)訓(xùn)練所需特征。Cai等人［8］基于深層CNN搭建Dehaze-Net去霧網(wǎng)絡(luò)來(lái)訓(xùn)練透射率，借助大氣散射模型恢復(fù)出無(wú)霧圖像，取得了不錯(cuò)的結(jié)果，尤其天空區(qū)域效果顯著。但該網(wǎng)絡(luò)以傳統(tǒng)方法中的先驗(yàn)或假設(shè)構(gòu)建，具有一定的局限性。Ren等人［9］提出的端到端門(mén)控融合去霧網(wǎng)絡(luò)GFN通過(guò)使用白平衡、對(duì)比度增強(qiáng)和伽馬校正等一系列操作實(shí)現(xiàn)最終的去霧，但網(wǎng)絡(luò)實(shí)現(xiàn)過(guò)程較繁瑣。Li等 人［10］提 出的AOD網(wǎng)絡(luò)，通過(guò)變形大氣散 射模型公式，將透射率和大氣光整合為一個(gè)統(tǒng)一參數(shù)K訓(xùn)練，改變了以往分別訓(xùn)練大氣光和透射率的風(fēng)格，但由于網(wǎng)絡(luò)層數(shù)較少精度有限，并不總能達(dá)到好的去霧效果。Qin等人［11］基于不同的通道特征包含完全不同的加權(quán)信息，且不同圖像像素上的霧濃度分布也不同，提出一種通道注意和像素注意機(jī)制結(jié)合的特征注意網(wǎng)絡(luò)FFA-Net。由于該網(wǎng)絡(luò)只是考慮了有霧圖像與無(wú)霧圖像之間的差值，并未從圖像整體風(fēng)格出發(fā)，盡管對(duì)合成圖像效果良好，但在真實(shí)場(chǎng)景中存在細(xì)節(jié)丟失嚴(yán)重，去霧不徹底的問(wèn)題。Wang等人［12］通過(guò)對(duì)大量有霧圖像的不同顏色通道統(tǒng)計(jì)發(fā)現(xiàn)：有霧區(qū)域主要集中在Ycbcr色彩空間的亮度通道上，提出大氣照明先驗(yàn)，搭建了AIPNet去霧網(wǎng)絡(luò)，在一定程度上提高了圖像質(zhì)量，但仍存在特征提取不全面，部分復(fù)原圖像伴有殘霧。

基于上述傳統(tǒng)方法以及現(xiàn)有網(wǎng)絡(luò)存在的不足，本文提出了一種基于CNN的分離特征和協(xié)同網(wǎng)絡(luò)的端到端去霧架構(gòu)。首先基于大氣散射模型，本文將傳統(tǒng)的去霧模型變形為乘性干擾與加性干擾的形式，簡(jiǎn)化去霧過(guò)程，突出特征重要程度；然后用一個(gè)四層密集級(jí)聯(lián)的深層多尺度網(wǎng)絡(luò)和一個(gè)淺層多尺度網(wǎng)絡(luò)來(lái)分別提取分離出的乘性特征MF和加性特征AF；最后結(jié)合初始輸入信息以及提取到的兩個(gè)特征，通過(guò)復(fù)原模塊得到清晰圖像。各項(xiàng)實(shí)驗(yàn)結(jié)果表明，所提網(wǎng)絡(luò)復(fù)原圖像去霧徹底，顏色保真度高，細(xì)節(jié)保持良好且無(wú)偏色現(xiàn)象。

2 算 法

2.1 復(fù)原模型

在圖像去霧領(lǐng)域中，常用大氣散射模型［13-15］描述霧天條件下的成像過(guò)程，如式（1）所示：

其中，I(x)和J(x)分別代表有霧圖像和無(wú)霧圖像，A表示大氣光，t(x)為透射率，反映了大氣光穿透霧氣的能力。

本文對(duì)大氣散射模型做如下變形：

相比較于式（1）所示模型，本文所建立的乘性干擾加加性偏置的形式不僅可以更加簡(jiǎn)潔地反映圖像退化過(guò)程，而且能夠更加直觀地突出各特征的重要程度，在搭建網(wǎng)絡(luò)時(shí)更具目標(biāo)性，從而保證網(wǎng)絡(luò)訓(xùn)練的穩(wěn)定性。由式（3）可以看出，提取乘性特征MF和加性特征AF是復(fù)原圖像的關(guān)鍵。因此，本文網(wǎng)絡(luò)設(shè)計(jì)的重點(diǎn)就是獲取所需的圖像特征MF和AF。

2.2 特征提取網(wǎng)絡(luò)

與以往大多數(shù)依賴(lài)大氣散射模型，通過(guò)分別訓(xùn)練大氣光、透射率或者將兩者整合在一起訓(xùn)練實(shí)現(xiàn)去霧的操作不同。本文從大氣散射模型變形公式出發(fā)，重點(diǎn)考慮乘性特征和加性特征的提取，設(shè)計(jì)了一個(gè)雙網(wǎng)并行的去霧網(wǎng)絡(luò)，網(wǎng)絡(luò)整體架構(gòu)如圖1所示。

圖1 網(wǎng)絡(luò)整體架構(gòu)Fig.1 Overall network architecture

所提網(wǎng)絡(luò)主要包括：乘性特征提取模塊MFEM（Multiplicative Feature Extraction Mod‐ule）、加性特征提取模塊AFEM（Additive Fea‐ture Extraction Module）以及復(fù)原模塊RM（Res‐toration Module），通過(guò)這些模塊的共同作用，從而實(shí)現(xiàn)從有霧圖像（Hazy Image）到無(wú)霧圖像（Clear Image）的端到端處理。

2.2.1 乘性特征提取模塊MFEM

傳統(tǒng)的網(wǎng)絡(luò)結(jié)構(gòu)提取圖像特征時(shí)通常是從單路徑結(jié)構(gòu)體系出發(fā)的，網(wǎng)絡(luò)各階段間沒(méi)有通信［16-17］，模型如圖2（a）所示。雖然能夠得到所需特征，但隨著網(wǎng)絡(luò)深度的增加，特征精度提升有限，并不能達(dá)到良好的效果。考慮到各層不同階段之間的信息交互，本文通過(guò)將上層各階段網(wǎng)絡(luò)引入下層網(wǎng)絡(luò)，進(jìn)而充分利用各層網(wǎng)絡(luò)不同深度的空間信息以及圖像細(xì)節(jié)特征，獲取到更加全面豐富的特征信息。各層之間的信息交互不僅實(shí)現(xiàn)了特征重用的目的，提升網(wǎng)絡(luò)精度，而且可以有效減小模型部署成本［18-19］，如圖2（b）所示。

圖2 模型對(duì)比Fig.2 Model comparison

基于上述分析，本文MFEM模塊的設(shè)計(jì)充分考慮特征重用的優(yōu)點(diǎn)，搭建了一個(gè)四層密集級(jí)聯(lián)的多尺度網(wǎng)絡(luò)來(lái)提取圖像的乘性特征。具體地，采用不同尺寸的卷積操作來(lái)獲取不同感受野的圖像特征；通過(guò)密集級(jí)聯(lián)充分利用各層信息，補(bǔ)償信息間差異，捕捉更加全面的特征；ReLu函數(shù)不僅可以克服梯度消失而且可以加快網(wǎng)絡(luò)的訓(xùn)練速度，因此MFEM模塊采用ReLu作為激活函數(shù)。本文將輸入圖片尺寸設(shè)為480×640，為保證輸出圖像尺寸的一致性，輸出尺寸，步長(zhǎng)，填充，輸入尺寸遵循式（4）所示的規(guī)則：

其中，m1為輸入圖片尺寸，m1為輸出圖片尺寸；P為填充，f代表卷積核尺寸，S為步長(zhǎng)；為向下取整操作。

深度可分離卷積包括逐通道卷積（Depth‐wise）和逐點(diǎn)卷積（Pointwise）兩個(gè)步驟，是兩種卷積共同作用的結(jié)果。與常規(guī)卷積相比，深度可分離卷積可以在達(dá)到同等效果的同時(shí)有效降低參數(shù)量。因此，為降低網(wǎng)絡(luò)參數(shù)量、提高網(wǎng)絡(luò)訓(xùn)練效率，MFEM網(wǎng)絡(luò)采用深度可分離卷積實(shí)現(xiàn)其功能。

MFEM模塊各階段內(nèi)部參數(shù)如表1所示。ConvY-X中Y代表卷積核尺寸，X代表卷積編號(hào)，例如Conv1-1表示尺寸為1×1，編號(hào)為1的卷積，×N表示上采樣。其次，當(dāng)填充P≠0時(shí)，本文采用大小為3×3，步長(zhǎng)為2，P=1的最大池化層對(duì)圖片進(jìn)行下采樣操作，以減小圖片尺寸。

表1 乘性特征提取模塊MFEM各卷積核參數(shù)Tab.1 MFEM convolution kernel parameters

2.2.2 加性特征提取模塊AFEM

在本文所提的線性復(fù)原模型中，可將加性特征AF視為偏置。與MF相比，AF對(duì)輸出結(jié)果影響較小。因此，本文AFEM模塊使用6個(gè)卷積層融合不同大小的濾波尺寸，捕獲多感受野特征。同時(shí)，引入跳躍連接有效避免梯度消失或梯度爆炸問(wèn)題，顯著增強(qiáng)網(wǎng)絡(luò)性能。網(wǎng)絡(luò)內(nèi)各部分參數(shù)如表2所示。為了進(jìn)一步比較本文所提特征MF和AF的對(duì)復(fù)原結(jié)果的影響，進(jìn)行如下實(shí)驗(yàn)，如圖3所示。從一組有無(wú)加性特征的復(fù)原效果對(duì)比圖可以看出：加性特征主要體現(xiàn)在圖像的細(xì)節(jié)部分及顏色保真度方面，它可以有效增強(qiáng)圖像細(xì)節(jié)信息，使圖像局部特征更加明顯，同時(shí)在視覺(jué)上使圖像更加清晰自然。如圖中紅框部分所示，加性特征AF加入后地面及墻面顏色更加清晰自然且細(xì)節(jié)特征明顯增多。

表2 加性特征提取模塊AFEM各卷積核參數(shù)Tab.2 AFEM convolution kernel parameters

圖3 有無(wú)加性特征復(fù)原效果對(duì)比圖Fig.3 Comparison of restoration effect with or without AF

2.2.3 損失函數(shù)

為保證網(wǎng)絡(luò)的收斂性，本文在訓(xùn)練網(wǎng)絡(luò)時(shí)采用將基于預(yù)訓(xùn)練VGG-19網(wǎng)絡(luò)的感知損失［20］與L2損失相結(jié)合的損失函數(shù)求解方法，通過(guò)最小化重建圖像與真實(shí)圖像之間的誤差獲得無(wú)霧圖像。L2損失與感知損失LP分別如式（5），式（6）所示：

其中，Ji表示真實(shí)無(wú)霧圖像，Ji'表示經(jīng)過(guò)所提網(wǎng)絡(luò)得到的重建圖像，H，W，M分別表示重建圖像的高度、寬度以及數(shù)目。φi表示真實(shí)圖像特征圖，表示重建圖像特征圖。

因此，最終的損失函數(shù)L為：

其中，ε為權(quán)重因子，本文設(shè)置為0.01。

分別利用MFEM模塊和AFEM模塊得到訓(xùn)練好的特征AF和MF后，結(jié)合初始信息，通過(guò)復(fù)原模塊，便可得到無(wú)霧圖像，如圖4所示。

圖4 圖像復(fù)原Fig.4 Image restoration

3 實(shí)驗(yàn)結(jié)果與分析

為驗(yàn)證所提網(wǎng)絡(luò)的有效性及合理性，本文對(duì)其在合成圖像和真實(shí)圖像的去霧效果分別做了定量評(píng)估，并從視覺(jué)效果和客觀數(shù)據(jù)兩方面與目前先進(jìn)的算法作對(duì)比，使結(jié)果更具說(shuō)服力。

3.1 實(shí)驗(yàn)設(shè)置及數(shù)據(jù)集

本文網(wǎng)絡(luò)運(yùn)行是基于Pytorch框架下實(shí)現(xiàn)的，在Ubuntu環(huán)境下使用V100 GPU來(lái)訓(xùn)練去霧網(wǎng)絡(luò)。其中，設(shè)置初始學(xué)習(xí)率為經(jīng)驗(yàn)值0.000 1，batchsize為32。Adam優(yōu)化器的動(dòng)量衰減指數(shù)分別是：β1=0.9，β2=0.999。迭代次數(shù)為30次，訓(xùn)練一次迭代的時(shí)間為28分鐘，最終訓(xùn)練出的網(wǎng)絡(luò)模型大小為1 808 kb。

本文使用合成圖像數(shù)據(jù)集RESIDE（Realis‐tic Single Image Dehazing）［21］訓(xùn) 練 網(wǎng) 絡(luò)。RE‐SIDE從NYU2［22］深度數(shù)據(jù)集中選取圖像，通過(guò)隨機(jī)選擇大氣光A（A∈(0.8，1.0)）和散射設(shè)系數(shù)β（β∈(0.5，1.5)）來(lái)合成不同的有霧圖像。其中包括ITS（Indoor Training Set）室內(nèi)數(shù)據(jù)集、OTS（Outdoor Training Set）室外數(shù)據(jù)集和SOTS（Synthetic Objective Testing Set）數(shù)據(jù)集。本文選擇RESIDE中的ITS數(shù)據(jù)集作為訓(xùn)練集，SOTS作為測(cè)試集。訓(xùn)練集ITS中包括1 399張清晰圖像以及所對(duì)應(yīng)的不同霧濃度的13 990張有霧圖像；測(cè)試集SOTS中包括500張室內(nèi)有霧圖像和500張室外有霧圖像。另外，為更好地驗(yàn)證所提網(wǎng)絡(luò)的有效性和實(shí)用性，本文還選取了真實(shí)環(huán)境中色彩較為豐富的有霧圖像進(jìn)行測(cè)試。

在網(wǎng)絡(luò)性能的定量評(píng)估上，本文選取了一些去霧領(lǐng)域具有代表性的算法作對(duì)比，包括基于物理模型的傳統(tǒng)算法He算法、Zhu算法；基于深度學(xué)習(xí)的Cai算法、Li算法、Ren算法和Qin算法。

3.2 合成圖像數(shù)據(jù)集定量評(píng)估

3.2.1 主觀評(píng)價(jià)

在合成圖像數(shù)據(jù)集SOTS上對(duì)網(wǎng)絡(luò)從主觀和客觀兩方面進(jìn)行評(píng)估，隨機(jī)選取其中的4幅室內(nèi)圖像和4幅室外圖像進(jìn)行效果評(píng)價(jià)，各算法去霧效果如圖5~6所示?？梢钥闯觯号c其他算法相比，本文算法所得結(jié)果圖與原清晰圖像最為相似，具體分析如下：

He方法獲得的圖像去霧較徹底，但較其其他算法效果圖而言圖像整體偏暗，且由于暗通道的局限性，天空區(qū)域嚴(yán)重失真，如圖6（b）所示。另外，邊緣突變處透射率估計(jì)不準(zhǔn)確，導(dǎo)致復(fù)原圖像在邊緣處易出現(xiàn)光暈和塊狀效應(yīng)，如圖6（b）中第一幅圖像樹(shù)葉周?chē)嬖诠鈺瀭斡埃挥蒀ai方法得到的圖像顏色自然，尤其天空區(qū)域更為顯著，但存在去霧不徹底和細(xì)節(jié)損失嚴(yán)重的問(wèn)題。如圖5（c）中第一幅圖像墻面區(qū)域明顯有霧氣殘留，第四幅圖像前景椅子嚴(yán)重偏色以及圖像6（c）中第一幅圖像樹(shù)葉過(guò)暗細(xì)節(jié)模糊；較He算法，Ren算法在天空區(qū)域的偏色問(wèn)題有所改善，但部分圖像存在去霧不徹底及顏色過(guò)飽和問(wèn)題。如圖5（d）中第四幅圖像、圖6（d）中第一幅圖像去霧效果較差，圖6（d）中第三幅圖及第四幅圖像中的石頭護(hù)欄部分顏色過(guò)黃；Li方法得到的圖像顏色保真度較好且去霧也較為徹底，但由于網(wǎng)絡(luò)結(jié)構(gòu)比較淺特征提取不是很豐富，遠(yuǎn)景區(qū)域細(xì)節(jié)恢復(fù)較差，如圖6（e）中第三幅圖像及第四幅圖像后山的樹(shù)林；Qin算法得到的無(wú)霧圖像室內(nèi)圖像去霧效果較好，復(fù)原圖像顏色自然，室外圖像去霧不太徹底，但天空區(qū)域顏色自然，無(wú)明顯的偏色現(xiàn)象，如圖5（f）所示；與前面幾種經(jīng)典算法相比，本文算法去霧效果顯著，細(xì)節(jié)保持良好，且無(wú)明顯的失真、偏色等問(wèn)題，去霧圖像顏色自然，在室內(nèi)及室外圖像上均有不錯(cuò)的表現(xiàn)。

圖5 室內(nèi)合成霧圖各算法去霧效果對(duì)比圖（圖像1-4）Fig.5 Comparison of restoration effects of various algorithms in iutdoor synthetic hazy image（Image1-4）

圖6 室外合成霧圖各算法去霧效果對(duì)比圖（圖像1-4）Fig.6 Comparison of restoration effects of various algorithms in outdoor synthetic hazy image（Image1-4）

3.2.2 客觀評(píng)價(jià)

客觀評(píng)價(jià)指標(biāo)采用深度學(xué)習(xí)中統(tǒng)一使用的結(jié)構(gòu)相似度SSIM（Structural Similarity Index Measurement）指標(biāo)和峰值信噪比PSNR（Peak Signal to Noise Ratio）指標(biāo)。其中，結(jié)構(gòu)相似度SSIM用來(lái)衡量?jī)煞鶊D像的相似程度，取值范圍為［0，1］，峰值信噪比PSNR用來(lái)表示一幅圖像中有用信號(hào)和噪聲的比值，兩者都是越大越好。兩指標(biāo)對(duì)應(yīng)的數(shù)學(xué)表達(dá)式分別如式（8），式（9）所示：

其中，μi和μj分別為圖像i和圖像j的均值，σi和σj為兩幅圖像的標(biāo)準(zhǔn)差，σij為兩幅圖像的協(xié)方差，c0和c1為常數(shù)。

其中，MSE為去霧后的圖像與清晰圖像的最小均方誤差，MAX一般取255。

在SOTS上的客觀指標(biāo)如表3所示（數(shù)據(jù)為均值）。可以看出：經(jīng)本文網(wǎng)絡(luò)處理得到的圖片在SSIM指標(biāo)上領(lǐng)先其他算法，PSNR指標(biāo)也優(yōu)于大部分算法，取得了不錯(cuò)的結(jié)果，輔助驗(yàn)證了所提網(wǎng)絡(luò)的有效性。

表3 SOTS數(shù)據(jù)集評(píng)測(cè)指標(biāo)Tab.3 SOTS evaluation indicators

3.3 真實(shí)圖像數(shù)據(jù)集定量評(píng)估

3.3.1 主觀評(píng)價(jià)

為了進(jìn)一步證實(shí)所提網(wǎng)絡(luò)的實(shí)用價(jià)值，本文對(duì)其在真實(shí)場(chǎng)景下的效果圖像進(jìn)行實(shí)驗(yàn)評(píng)估，各算法去霧效果如圖7所示?？梢园l(fā)現(xiàn)：He算法對(duì)于含豐富近景的圖像去霧效果良好，但由于最小濾波器使用造成透射率誤估，使得復(fù)原圖像在邊緣處容易出現(xiàn)光暈，以及大氣光估計(jì)不準(zhǔn)確，導(dǎo)致去霧圖像在含天空的遠(yuǎn)景區(qū)域嚴(yán)重失真，如圖7（b）所示；與其他算法相比，Zhu算法和Qin算法都存在去霧不徹底，細(xì)節(jié)損失嚴(yán)重等問(wèn)題，尤其Qin算法更加明顯，如圖7（c）中紅框所示部分；Cai算法去霧效果顯著，尤其天空區(qū)域顏色恢復(fù)自然，但部分圖像去霧程度過(guò)大，導(dǎo)致部分像素點(diǎn)丟失圖像變暗，如圖7（d）紅框中樹(shù)葉部分以及船體部分所示；Ren算法效果圖去霧徹底，但有明顯的偏色問(wèn)題特別是包含天空部分的區(qū)域，如圖7（e）中圖像3的樹(shù)葉、圖像5的前景部分以及圖像2和圖像6的天空區(qū)域；Li算法整體去霧效果較好，部分區(qū)域存在顏色失真現(xiàn)象，如圖7（f）中圖像4的草丘；和其它算法相比，本文算法效果圖去霧徹底，細(xì)節(jié)保持良好，復(fù)原場(chǎng)景清晰自然。

圖7 真實(shí)場(chǎng)景各算法去霧效果對(duì)比圖（圖像1-6）Fig.7 Comparison of restoration effects in real scenes（Image1-6）

3.3.2 客觀評(píng)價(jià)

客觀評(píng)價(jià)采用真實(shí)場(chǎng)景去霧領(lǐng)域中經(jīng)常使用的無(wú)參考的圖像質(zhì)量評(píng)估法［23］，其評(píng)價(jià)指標(biāo)包括：飽和像素點(diǎn)個(gè)數(shù)m、可見(jiàn)邊集合數(shù)e、平均梯度r以及運(yùn)行時(shí)間t（單位：秒）；其中飽和像素點(diǎn)個(gè)數(shù)和運(yùn)行時(shí)間數(shù)值越小，算法表現(xiàn)越好；可見(jiàn)邊集合數(shù)e和平均梯度r數(shù)值越大，表明算法效果越好。

各算法中各指標(biāo)如表4所示（表中數(shù)據(jù)為均值）。由表可以看出：所提網(wǎng)絡(luò)在飽和像素點(diǎn)個(gè)數(shù)和運(yùn)行時(shí)間指標(biāo)上有較好的表現(xiàn)，并且在可見(jiàn)邊集合數(shù)和平均梯度兩指標(biāo)上具有領(lǐng)先優(yōu)勢(shì)。與其它各算法相比，所提網(wǎng)絡(luò)在可見(jiàn)邊集合數(shù)e上提高了28.1%，在平均梯度r上提高27.9%。

表4 真實(shí)場(chǎng)景各評(píng)價(jià)指標(biāo)Tab.4 Indicators for real scenes

3.4 消融實(shí)驗(yàn)

為了進(jìn)一步驗(yàn)證所提各模塊對(duì)最終去霧結(jié)果的貢獻(xiàn)，隨機(jī)挑選數(shù)據(jù)集SOTS中的一幅圖像進(jìn)行如下的消融實(shí)驗(yàn)。主要包括：1）僅提取有霧圖像的加性特征AF來(lái)復(fù)原圖像；2）僅提取有霧圖像的乘性特征MF來(lái)復(fù)原圖像；3）加性特征AF和乘性特征MF共同作用（AF+MF）。

由圖8對(duì)比圖可以看出：AF圖像只保留了一些全局特征，細(xì)節(jié)信息大量丟失；MF圖像細(xì)節(jié)信息明顯增多，但存在去霧不徹底和偏色的問(wèn)題。相比之下，由AF和MF兩個(gè)特征共同作用下的圖像不僅保留了原圖像的色彩而且細(xì)節(jié)信息明顯去霧也較徹底，各圖像指標(biāo)如表5所示。從表5可以看出，由AF和MF兩特征共同作用下得到的圖像在指標(biāo)SSIM和PSNR上得到了顯著提升。

表5 在SOTS數(shù)據(jù)集上的評(píng)測(cè)指標(biāo)對(duì)比Tab.5 Comparison of indicators on the SOTS

圖8 消融實(shí)驗(yàn)結(jié)果對(duì)比圖Fig.8 Comparison of ablation experiment

4 結(jié) 論

針對(duì)目前傳統(tǒng)算法以及現(xiàn)有網(wǎng)絡(luò)存在的不足，提出了一種基于CNN的分離特征和協(xié)同網(wǎng)絡(luò)的端到端圖像去霧模型。其設(shè)計(jì)從大氣散射模型變形公式出發(fā)，充分考慮對(duì)圖像乘性特征MF和加性特征AF的提取。通過(guò)密集級(jí)聯(lián)和跨層連接有效提升網(wǎng)絡(luò)精度，減小模型部署成本，提高網(wǎng)絡(luò)運(yùn)行效率。實(shí)驗(yàn)表明：所提網(wǎng)絡(luò)去霧效果良好且圖像保真度高，與其它算法相比優(yōu)勢(shì)明顯，有效解決了當(dāng)前圖像去霧不徹底、顏色偏移及細(xì)節(jié)保持不佳、可見(jiàn)度下降等問(wèn)題。但由于該網(wǎng)絡(luò)的復(fù)原模塊本質(zhì)上還是依靠大氣散射模型，復(fù)原出的部分圖像在細(xì)節(jié)保持及天空區(qū)域的顏色保真度方面仍存在不足，提高去霧模型的準(zhǔn)確性將是今后進(jìn)一步的研究重點(diǎn)。