基于特征差異的多尺度特征融合去霧網(wǎng)絡(luò)研究

劉彥紅,楊秋翔,胡帥

(中北大學(xué)軟件學(xué)院,山西 太原 030051)

0 引言

隨著計(jì)算機(jī)視覺的快速發(fā)展,各種圖像處理技術(shù)不斷改進(jìn)和拓展。在視頻監(jiān)控、自動(dòng)駕駛等戶外視覺系統(tǒng)中,圖像采集常常受到惡劣天氣尤其是霧霾天氣的影響,這種影響會(huì)降低能見度和視覺體驗(yàn),同時(shí)極大程度地降低后續(xù)圖像識(shí)別、分割、分類等效果。霧霾是一種普遍存在的天氣現(xiàn)象,由于空氣中懸浮的微小顆粒散射、吸收或反射光線等行為對(duì)光線傳播造成干擾和阻礙,導(dǎo)致空氣中物體的對(duì)比度、顏色等特征衰減,從而影響人類視覺觀感。因此,需要圖像去霧技術(shù)消除霧霾區(qū)域,提高圖像的質(zhì)量。

近年來,基于深度學(xué)習(xí)的圖像去霧技術(shù)成為去霧領(lǐng)域的主要研究方向[1],該類技術(shù)因其強(qiáng)大的特征學(xué)習(xí)和上下文信息提取能力,可以自動(dòng)學(xué)習(xí)模型參數(shù),得到霧霾圖像與清晰圖像之間的映射關(guān)系。目前,基于深度學(xué)習(xí)的圖像去霧技術(shù)主要分為兩大類:一類是借助物理模型和先驗(yàn)知識(shí)的圖像去霧方式,通過分析圖像中的色彩、亮度、對(duì)比度等特征,估計(jì)霧霾的程度和分布,進(jìn)而采用適當(dāng)?shù)乃惴ㄟM(jìn)行修復(fù)和增強(qiáng),或通過大氣散射模型等圖像處理技術(shù)消除圖像中的噪聲和失真,最終得到清晰自然的圖像;另一類是完全神經(jīng)網(wǎng)絡(luò)的端到端去霧方式[2],該類方法不需要額外的先驗(yàn)知識(shí)就可直接生成清晰的無霧圖像,具有更好的自適應(yīng)性和魯棒性。

目前,端到端的圖像去霧技術(shù)仍然存在很多問題:一是計(jì)算成本高,因其涉及較復(fù)雜的模型架構(gòu)和大規(guī)模的數(shù)據(jù)訓(xùn)練,需要耗費(fèi)大量的計(jì)算資源;二是在真實(shí)場(chǎng)景中,圖像去霧效果往往不理想,面臨著質(zhì)量損失、去霧估計(jì)不準(zhǔn)確、多尺度處理等問題。

為了使圖像去霧網(wǎng)絡(luò)能夠充分捕獲多尺度之間的信息差異,同時(shí)融合坐標(biāo)維度、通道維度等多方面信息,本文在FFA-Net[3]模型的基礎(chǔ)上進(jìn)行改進(jìn),提出一種基于特征差異的多尺度特征融合去霧(FD-CA dehaze)網(wǎng)絡(luò)。引入特征差異(FD)模塊用于捕獲不同階段霧霾的差異信息。設(shè)計(jì)一種有效坐標(biāo)注意力(ECA)模塊,用于減輕特征融合過程中位置信息丟失的問題。提出一種雙注意力(D-CA)模塊,其將通道注意力(CA)[4]和ECA模塊相結(jié)合,CA關(guān)注通道之間的相關(guān)性,與更加關(guān)注位置信息和空間信息的ECA相結(jié)合能夠獲得更加全面和準(zhǔn)確的特征表達(dá),從而提升模型的性能和泛化能力。在此基礎(chǔ)上,修改損失函數(shù),分別采用L1損失函數(shù)和感知損失函數(shù),L1損失函數(shù)用于衡量模型預(yù)測(cè)結(jié)果與真實(shí)標(biāo)簽之間的差異,感知損失函數(shù)可以使模型更好地學(xué)習(xí)圖像的內(nèi)容特征,還原圖像高頻信息。在綜合目標(biāo)測(cè)試集(SOTS)和混合主觀測(cè)試集(HSTS)上進(jìn)行實(shí)驗(yàn),以驗(yàn)證本文所提FD-CA dehaze網(wǎng)絡(luò)的去霧效果。

1 相關(guān)工作

1.1 基于物理模型和先驗(yàn)知識(shí)的圖像去霧

大氣散射模型[5]成像原理如圖1所示(彩色效果見《計(jì)算機(jī)工程》官網(wǎng)HTML版,下同)。空氣中存在很多塵埃、水滴、煙霧、霾、氣溶膠物等顆粒物質(zhì),光線與該類物質(zhì)碰撞之后方向發(fā)生一定的偏移,導(dǎo)致光的散射和衰減,人眼或照相機(jī)接收到的光強(qiáng)度降低,從而影響物體成像。

圖1 大氣散射模型成像原理Fig.1 Imaging principles of atmospheric scattering model

大氣散射模型公式如下:

I(x)=J(x)t(x) +A(1-t(x))

(1)

t(x)= e-βd(x)

(2)

其中:I(x)表示有霧圖像;J(x)表示原始圖像(無霧圖像);A是全局大氣光強(qiáng);t(x)是透射率,可由式(2)進(jìn)行計(jì)算;β是全散射系數(shù);d(x)為場(chǎng)景深度。

在式(1)中,I(x)是已知的,其余變量均為未知參數(shù),不太易于求解,通常通過先驗(yàn)知識(shí)求解透射率t(x),然后根據(jù)模型或其他方法求解全局大氣光強(qiáng)A和無霧圖像J(x)。

基于先驗(yàn)知識(shí)的去霧算法主要包括暗通道先驗(yàn)算法[6]、顏色衰減算法[7]等。隨著深度學(xué)習(xí)的不斷發(fā)展,許多學(xué)者將其與圖像去霧相結(jié)合,提出很多優(yōu)秀的算法。文獻(xiàn)[8]認(rèn)為介質(zhì)傳輸圖估計(jì)的好壞在很大程度上影響了去霧效果,其提出基于神經(jīng)網(wǎng)絡(luò)的端到端學(xué)習(xí)和估計(jì)介質(zhì)傳輸圖系統(tǒng)DehazeNet,從而恢復(fù)無霧圖像。文獻(xiàn)[9]改變了以往從粗到細(xì)實(shí)現(xiàn)去霧的方式,對(duì)不同霧度采用不同級(jí)別的監(jiān)督方式進(jìn)行學(xué)習(xí),提出水平感知漸進(jìn)網(wǎng)絡(luò)LAP-Net。文獻(xiàn)[10]改變以往分別估計(jì)大氣散射模型中透射率和大氣光強(qiáng)2個(gè)參數(shù)的方式,首次提出一體式估計(jì)參數(shù)的端到端圖像去霧網(wǎng)絡(luò)AOD-Net。文獻(xiàn)[11]發(fā)現(xiàn)僅僅使用基于先驗(yàn)的去霧方法會(huì)產(chǎn)生偽影,因此,將基于學(xué)習(xí)的方式與該方法相結(jié)合,提出基于暗通道先驗(yàn)去霧(DCP)網(wǎng)絡(luò)的兩階段去霧框架RefineDNet,使用不成對(duì)的弱監(jiān)督方式訓(xùn)練網(wǎng)絡(luò)。文獻(xiàn)[12]考慮到去霧領(lǐng)域先驗(yàn)知識(shí)等信息的缺乏,預(yù)訓(xùn)練出一個(gè)離散碼本,用于封裝高質(zhì)量先驗(yàn),并通過一對(duì)編解碼器來構(gòu)建去霧網(wǎng)絡(luò)RIDCP。

1.2 完全神經(jīng)網(wǎng)絡(luò)的端到端圖像去霧

由于物理模型的準(zhǔn)確性、先驗(yàn)知識(shí)的表達(dá)能力等存在限制,越來越多的學(xué)者采用完全神經(jīng)網(wǎng)絡(luò)的圖像去霧方式。文獻(xiàn)[13]為減少擴(kuò)張卷積造成的網(wǎng)格偽影,提出門控上下文聚合網(wǎng)絡(luò)GCANet,通過平滑擴(kuò)張殘差模塊聚合上下文信息,利用門控融合子網(wǎng)模塊融合不同級(jí)別的特征,并將霧度殘差加入到網(wǎng)絡(luò)中,得到了較好的復(fù)原效果。文獻(xiàn)[14]通過平滑空洞卷積提出基于殘差注意力的去霧網(wǎng)絡(luò),該網(wǎng)絡(luò)在編碼器-解碼器的基礎(chǔ)上添加多尺度特征提取和特征融合模塊,以多模塊組合形式實(shí)現(xiàn)端到端圖像去霧。文獻(xiàn)[15]在網(wǎng)格網(wǎng)絡(luò)的基礎(chǔ)上提出端到端的去霧卷積神經(jīng)網(wǎng)絡(luò)GridDehazeNet,網(wǎng)絡(luò)由3個(gè)模塊組成,可訓(xùn)練的預(yù)處理模塊提供多樣性的輸入,基于注意力的主干模塊有效地融合不同尺度特征,后處理模塊減少輸出圖像的偽影。文獻(xiàn)[3]提出一種新穎的特征注意力模塊用于去霧網(wǎng)絡(luò)FFA-Net,該網(wǎng)絡(luò)結(jié)合通道注意力和像素注意力,并以自適應(yīng)學(xué)習(xí)的方式賦予特征不同的權(quán)重參數(shù),在特征融合的基礎(chǔ)上讓網(wǎng)絡(luò)更加專注厚霧等重要特征,產(chǎn)生了很好的去霧效果。

生成對(duì)抗網(wǎng)絡(luò)是一種無監(jiān)督的機(jī)器學(xué)習(xí)方法,主要包含生成器和鑒別器兩部分。近些年,很多學(xué)者將生成對(duì)抗網(wǎng)絡(luò)用于圖像去霧領(lǐng)域,取得了很好的效果。文獻(xiàn)[16]在生成器和鑒別器中都使用沙漏形網(wǎng)絡(luò),生成器基于U-Net設(shè)計(jì)含跳層結(jié)構(gòu)的卷積神經(jīng)網(wǎng)絡(luò),并使用絕對(duì)損失函數(shù),所提網(wǎng)絡(luò)能夠有效地應(yīng)用于圖像去霧和加霧任務(wù)。隨著ViT(Vision Transformers)[17]這一神經(jīng)網(wǎng)絡(luò)架構(gòu)的提出,許多學(xué)者將其應(yīng)用于高級(jí)視覺任務(wù)。文獻(xiàn)[18]提出一種改進(jìn)Swin的圖像去霧神經(jīng)網(wǎng)絡(luò)DehazeFormer,通過修改歸一化層、激活函數(shù)、空間信息聚合方案等,在去霧成本和去霧效果方面相對(duì)其他網(wǎng)絡(luò)得到提升。

2 FD-CA dehaze網(wǎng)絡(luò)

本文提出的FD-CA dehaze網(wǎng)絡(luò)如圖2所示,該網(wǎng)絡(luò)劃分為2個(gè)階段,第一階段將有霧圖像作為網(wǎng)絡(luò)的輸入,經(jīng)過一個(gè)用于提取淺層信息的卷積層,將特征圖傳至多尺度特征融合模塊中,多尺度特征融合模塊由殘差卷積注意力(RC)模塊、FD模塊、ECA模塊組成,之后連接每個(gè)模塊產(chǎn)生的特征信息,再經(jīng)過第二階段中的D-CA模塊和2個(gè)卷積模塊的處理,最后通過跳躍連接生成去霧圖像。

圖2 FD-CA dehaze網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 Network structure of FD-CA dehaze

2.1 RC模塊

RC模塊網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示,由n個(gè)3×3卷積、ReLU、3×3卷積和特征注意力模塊組成。其中,特征注意力模塊由CA模塊和像素注意力(PA)模塊[19]兩部分組成,CA可以使網(wǎng)絡(luò)關(guān)注不同通道的特征,PA使模型關(guān)注圖像中的高頻細(xì)節(jié)(如厚霧)等像素特征。具體來說,首先使用3×3的卷積層對(duì)輸入圖像進(jìn)行特征提取;然后通過ReLU函數(shù)進(jìn)行非線性變換,進(jìn)一步提高特征的表達(dá)能力;之后再次使用3×3的卷積層進(jìn)行特征提取,特征注意力模塊對(duì)特征圖中的不同區(qū)域進(jìn)行加權(quán)處理;最后通過跳躍連接將原始數(shù)據(jù)與處理后的數(shù)據(jù)相加,捕獲并保留更多的信息和細(xì)節(jié)。

圖3 RC模塊結(jié)構(gòu)Fig.3 RC module structure

CA通過全局平均池化將全局空間信息轉(zhuǎn)化為信道描述符,然后經(jīng)過卷積、ReLU和Sigmoid操作,將初始輸入與通道CA進(jìn)行元素乘法運(yùn)算。與CA類似,PA的輸入為通道CA的輸出結(jié)果,首先經(jīng)過2個(gè)具有ReLU和Sigmoid激活函數(shù)的卷積層,將其從C×H×W轉(zhuǎn)換為1×H×W,再將輸入與PA輸出結(jié)果進(jìn)行元素相乘,得到特征注意力模塊的輸出結(jié)果。在本文中,n的值設(shè)置為19。

CA實(shí)現(xiàn)過程可由式(3)～式(6)表示:

(3)

y2=Conv(ReLU(Conv(y1)))

(4)

y3=Sigmoid(y2)

(5)

c=y3?x

(6)

PA實(shí)現(xiàn)過程可由式(7)～式(9)表示:

y4=Conv(ReLU(Conv(c)))

(7)

y5=Sigmoid(y4)

(8)

p=c?y5

(9)

其中:Xc(i,j)為坐標(biāo)(i,j)處第c個(gè)通道的值;global_pool為全局池化函數(shù);?為逐像素相乘。

2.2 FD模塊

去霧圖像常常存在邊緣界限模糊、噪聲較多等問題,而文獻(xiàn)[20]研究發(fā)現(xiàn),添加了FD模塊的網(wǎng)絡(luò)在逐像素點(diǎn)相加的過程中可以有效獲取差異信息,減少霧霾的影響,因此,本文將其引入至本網(wǎng)絡(luò)的多尺度特征融合模塊中。FD模塊主要由2個(gè)相鄰的殘差卷積注意力塊差值組成,優(yōu)點(diǎn)是能夠幫助模型學(xué)習(xí)到更精細(xì)的特征表示,從而提高性能。上述過程可由式(10)、式(11)表示:

FFD,1=RRC,2-RRC,1

(10)

FFD,2=RRC,3-RRC,2

(11)

2.3 ECA模塊

已有研究發(fā)現(xiàn)注意力模塊(如SE[21]、CBAM[22]、Coordinate Attention[23]等)能夠有效提升模型性能。本文改進(jìn)了Coordinate Attention注意力,在Coordinate Attention中,全局池化會(huì)造成位置信息丟失,本文提出將通道注意力與位置信息相融合的注意力方式,在捕獲跨通道信息的同時(shí)也能獲取方向感知和位置敏感信息。但是,由于該融合方式采用的全局池化常常會(huì)忽略局部細(xì)節(jié)和多尺度信息,為此,本文提出一種有效坐標(biāo)注意力模塊ECA,將最大池化選擇分支引入到通道注意力中,將全局池化和最大池化并聯(lián),并使用參數(shù)α和β確定其比例,其中,α、β總和為1,本文將α、β的值均設(shè)置為0.5。ECA模塊如圖4所示。

圖4 ECA模塊結(jié)構(gòu)Fig.4 ECA module structure

在ECA注意力模塊中,主要分為ECA坐標(biāo)信息嵌入和ECA注意力生成兩部分:前者將全局池化信息和最大池化信息壓縮在通道描述符中的內(nèi)容分解為水平和垂直2個(gè)方向,形成一對(duì)方向感知特征圖;后者充分利用獲取到的位置信息,準(zhǔn)確突出厚霧或高頻區(qū)域。

2.3.1 ECA坐標(biāo)信息嵌入

全局池化將整個(gè)特征圖內(nèi)的信息壓縮到一個(gè)通道描述符中,常常無法準(zhǔn)確保留不同的位置信息。最大池化能保留部分位置信息,但仍然存在位置信息丟失和不變性的問題。位置信息對(duì)于恢復(fù)清晰圖像和準(zhǔn)確估計(jì)深度圖非常關(guān)鍵,因此,將全局池化、最大池化與位置信息相結(jié)合可以更好地幫助模型理解圖像空間結(jié)構(gòu),保留重要的局部特征以及獲取不同層次的特征表達(dá)。具體而言,為了更好地了解霧的分布情況,本文將全局池化和最大池化分解為一對(duì)一維特征編碼的形式。對(duì)于輸入的特征X,本文采用2個(gè)空間范圍的池核 (H, 1) 和 (1,W),分別在水平和垂直坐標(biāo)上對(duì)每個(gè)通道進(jìn)行編碼,其中,高度為h的第c個(gè)通道的輸出可表示為:

(12)

其中:α和β均為0.5。

同理,寬度為w的第c個(gè)通道的輸出如下:

(13)

2.3.2 ECA注意力生成

通過在x軸和y軸方向上的分解,得到了一個(gè)方向感知特征圖對(duì)。現(xiàn)在需要對(duì)2個(gè)方向上的信息進(jìn)行融合,并忽略一些如薄霧和低頻等不重要的特征,同時(shí)充分考慮通道間的信息。因此,本文使用Concat和1×1卷積方式進(jìn)行連接,首先通過歸一化和非線性激活函數(shù)處理2個(gè)方向融合的特征,歸一化可以避免梯度消失并加快收斂速度,使用Sigmoid激活函數(shù)可以提高網(wǎng)絡(luò)模型的非線性能力;之后,再次將特征圖劃分成X和Y這2個(gè)方向上的一維張量,表示為Ih和Iw;最后,通過卷積和Sigmoid激活函數(shù)分別處理一維張量,并將其融合為二維圖像。

上述過程可由式(14)～式(18)表示:

I=act(BN(Conv(cat(Ac,Bc))))

(14)

Ih,Iw=split(I)

(15)

fh=Sigmoid(Conv(Ih))

(16)

fw=Sigmoid(Conv(Iw))

(17)

y(i,j)=x(i,j)*fh(i)*fw(j)

(18)

其中:I是中間特征圖,I∈C×(H+W),其編碼了水平方向和垂直方向的空間信息;Conv表示1×1卷積;fh∈C×H;fw=C×W;y(i,j)即為最終的ECA注意力。

2.4 D-CA模塊

D-CA模塊結(jié)構(gòu)如圖5所示,由CA模塊、ECA模塊及跳躍連接串聯(lián)而成,該種組合方式可以更好地利用輸入圖像中的空間信息和通道信息,并且獲取有用的位置信息,從而提升模型的性能和泛化能力。

圖5 D-CA模塊結(jié)構(gòu)Fig.5 D-CA module structure

2.5 損失函數(shù)

本文損失函數(shù)由L1損失和感知損失組成,總損失函數(shù)如式(19)所示:

L=L1+λLP

(19)

其中:L1表示L1損失函數(shù);LP表示感知損失函數(shù);λ表示2個(gè)損失函數(shù)之間的相對(duì)權(quán)重,將其設(shè)置為0.04。

2.5.1 L1損失函數(shù)

L1損失函數(shù)是預(yù)測(cè)值FD-CA(Ih)與真實(shí)值Igt之間距離的平均值,如式(20)所示:

(20)

其中:?為FD-CA dehaze網(wǎng)絡(luò)中的參數(shù);Igt代表ground truth;Ih代表有霧圖像。

2.5.2 感知損失函數(shù)

感知損失函數(shù)通過預(yù)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)來計(jì)算真實(shí)圖像與輸出圖像之間的差距,本文使用VGG16[24]的預(yù)訓(xùn)練模型,從前3個(gè)卷積層(Conv1-2、Conv2-2、Conv3)中提取多尺度特征。感知損失函數(shù)定義為:

(21)

3 實(shí)驗(yàn)驗(yàn)證

3.1 實(shí)驗(yàn)環(huán)境與參數(shù)設(shè)置

具體測(cè)試環(huán)境設(shè)置:GPU為GeForce RTX 3090,顯存為24 GB,CUDA版本為11.2,cuDNN版本為8.4.0,PyTorch為1.12.1,編譯語言為Python 3.8,操作系統(tǒng)為Ubuntu 20.04。

在實(shí)驗(yàn)中,設(shè)置輸入圖像大小為240×240×3,整個(gè)網(wǎng)絡(luò)在訓(xùn)練集中訓(xùn)練7×105個(gè)批次。使用Adam優(yōu)化器對(duì)參數(shù)進(jìn)行調(diào)優(yōu),設(shè)置參數(shù)β1和β2分別為0.9和0.999。經(jīng)圖6的實(shí)驗(yàn)對(duì)比,將初始學(xué)習(xí)率設(shè)置為0.000 1,并通過余弦退火策略將學(xué)習(xí)率從初始值調(diào)整到0。

圖6 學(xué)習(xí)率對(duì)比結(jié)果Fig.6 Learning rate comparison results

RC模塊中通道注意力、像素注意力參數(shù)設(shè)置如表1所示。ECA模塊中參數(shù)α、β對(duì)比實(shí)驗(yàn)結(jié)果如表2所示,其中最優(yōu)數(shù)據(jù)加粗標(biāo)注?？梢钥闯?當(dāng)α、β均為0.5時(shí)去霧效果達(dá)到最佳。

表1 CA、PA模塊參數(shù)設(shè)置Table 1 Parameter configuration for CA and PA modules

表2 參數(shù)α、β對(duì)比實(shí)驗(yàn)結(jié)果Table 2 Parameterαandβcomparative experiment results

3.2 數(shù)據(jù)集

RESIDE[25]是一個(gè)大規(guī)模去霧數(shù)據(jù)集,由真實(shí)和合成的有霧圖像組成,包含訓(xùn)練集和測(cè)試集兩部分。在訓(xùn)練集中,本文選擇室內(nèi)訓(xùn)練集(ITS)和戶外訓(xùn)練集(OTS)。ITS訓(xùn)練集包含13 990張有霧的室內(nèi)圖像,由1 399 張清晰圖像生成。OTS訓(xùn)練集包含296 695張有霧的戶外圖像,由8 477張清晰圖像生成。由于室內(nèi)、室外光線以及照片清晰程度等的影響,本文手動(dòng)篩選出8 972張室內(nèi)訓(xùn)練的清晰合成圖和3 564張戶外訓(xùn)練對(duì)。

在測(cè)試集中,選擇RESIDE中的綜合目標(biāo)測(cè)試集(SOTS),該測(cè)試集包括500張室內(nèi)和戶外的有霧圖像,按照與訓(xùn)練集相同的處理方式合成有霧圖像。同樣地,為保證本文模型在真實(shí)世界中的去霧效果,本文還選擇混合主觀測(cè)試集(HSTS),其包含10張真實(shí)的有霧圖像和10張合成的戶外有霧圖像。

3.3 對(duì)比實(shí)驗(yàn)結(jié)果

3.3.1 SOTS測(cè)試集上的結(jié)果

在SOTS合成數(shù)據(jù)集上進(jìn)行測(cè)試,將本文方法與經(jīng)典去霧方法(DCP、AOD-Net、GCANet、DehazeFormer-T、FFA-Net、GridDehazeNet和RefineDNet)進(jìn)行定量和定性比較。其中,選用峰值信噪比(PSNR)和結(jié)構(gòu)相似度(SSIM)評(píng)估去霧效果。PSNR是基于圖像像素灰度值的統(tǒng)計(jì),SSIM代表圖像結(jié)構(gòu)信息的相似程度,這2個(gè)數(shù)值越高,代表去霧效果越好。峰值信噪比和結(jié)構(gòu)相似度對(duì)比結(jié)果如表3所示,去霧效果如圖7所示。

表3 SOTS測(cè)試集上的定量結(jié)果Table 3 Quantitative results on the SOTS test set

圖7 SOTS測(cè)試集上的去霧效果Fig.7 The dehazing effect on the SOTS test set

由表3可以看出:DCP室內(nèi)外的PSNR和SSIM指數(shù)均偏低,與原始無霧圖像有較大差距;AOD-Net的PSNR指標(biāo)基本在20 dB左右,SSIM約為0.85,去霧圖像存在一定的失真和噪聲;與AOD-Net相比,RefineDNet雖然僅在PSNR上提高了3 dB,但在SSIM上有了明顯提升,表明RefineDNet去霧后的圖像與原圖相似度更高;GCANet、FFA-Net、DehazeFormer-T和GridDehazeNet去霧效果明顯優(yōu)于RefineDNet,PSNR提升了近10 dB,SSIM均約為0.98,表明它們?nèi)レF后的圖像質(zhì)量較高并且更加清晰,與原始圖像相比失真較小;本文方法在PSNR指標(biāo)上達(dá)到了37.93 dB,SSIM指標(biāo)達(dá)到0.99,與其他方法相比具有更好的去霧效果和更小的失真。

由圖7可以看出:盡管DCP能夠有效去霧,但是導(dǎo)致圖像顏色加重;AOD-Net在去霧后仍然存在大量薄霧,去霧效果不理想;GCANet的去霧效果較好,但在天空?qǐng)鼍盎虼笃瞻讏?chǎng)景下出現(xiàn)了明顯的色彩加重和加深現(xiàn)象;在復(fù)雜場(chǎng)景或極端天氣條件下,GridDehazeNet的去霧效果不佳;在恢復(fù)圖像細(xì)節(jié)和顏色時(shí),RefineDNet存在不均勻性和模糊問題;與上述方法相比,FFA-Net和DehazeFormer-T的去霧效果得到大幅提升,但是在細(xì)節(jié)還原、亮度恢復(fù)等方面不及本文所提網(wǎng)絡(luò);本文網(wǎng)絡(luò)能夠有效消除濃霧,恢復(fù)清晰的圖像,并保留紋理和顏色信息。

3.3.2 HSTS測(cè)試集上的結(jié)果

為確保本文網(wǎng)絡(luò)同樣適用于實(shí)際場(chǎng)景,采用HSTS數(shù)據(jù)集進(jìn)行對(duì)比實(shí)驗(yàn),將本文方法與經(jīng)典去霧方法(DCP、AOD-Net、GCANet、FFA-Net、GridDehazeNet、RefineDNet和DehazeFormer-T)進(jìn)行對(duì)比,結(jié)果如圖8所示。

圖8 HSTS測(cè)試集上的去霧效果Fig.8 The dehazing effect on the HSTS test set

由圖8可見:在真實(shí)場(chǎng)景中,DCP存在嚴(yán)重的失真問題,特別是在處理大片空白區(qū)域(如天空、湖面等)時(shí)表現(xiàn)不佳,細(xì)節(jié)信息丟失嚴(yán)重;AOD-Net會(huì)加重天空的顏色,同時(shí)部分圖像存在霧氣現(xiàn)象;與AOD-Net相反,GCANet在部分區(qū)域顏色會(huì)變淡或變亮,尤其是在圖像中不同物體的交界處會(huì)出現(xiàn)光暈現(xiàn)象;雖然FFA-Net在合成數(shù)據(jù)集中表現(xiàn)出色,但是對(duì)于真實(shí)場(chǎng)景處理能力較差,存在較多薄霧現(xiàn)象;GridDehazeNet同樣存在大量霧霾現(xiàn)象,并且細(xì)節(jié)恢復(fù)效果較差;RefineDNet存在顏色失真問題,生成的去霧圖像顏色偏深;DehazeFormer-T去霧圖像顏色偏深,且色彩對(duì)比度較弱;本文方法的去霧效果更符合真實(shí)場(chǎng)景,還原度更好。

鑒于篇幅限制,圖9和圖10展示了剩余部分HSTS數(shù)據(jù)集的測(cè)試結(jié)果。從中可以看出:圖9(b)的樹木細(xì)節(jié)信息恢復(fù)完整,圖片邊緣界限清晰且無霧;圖9(d)的云朵紋路明顯,色彩飽滿,立交橋、房屋建筑等細(xì)節(jié)清晰;圖10(b)去霧效果明顯,圖像對(duì)比度增強(qiáng);圖10(d)去霧效果符合人眼觀感,還原了真實(shí)的場(chǎng)景。

圖9 去霧效果1Fig.9 Dehazing effect 1

圖10 去霧效果2Fig.10 Dehazing effect 2

3.3.3 運(yùn)行時(shí)間對(duì)比

將本文方法與其他方法在SOTS測(cè)試集中處理一張圖片的平均時(shí)間進(jìn)行對(duì)比,結(jié)果如表4所示?？梢钥闯?DCP的處理速度最慢,DehazeFormer-T的處理速度最快,本文方法的處理速度雖然次于FFA-Net和DehazeFormer-T,但是去霧效果明顯優(yōu)于其他7種對(duì)比方法。

表4 不同方法處理一張圖片的平均時(shí)間對(duì)比Table 4 Comparison of average time for processing an image using different methods 單位:s

3.4 消融實(shí)驗(yàn)

3.4.1 網(wǎng)絡(luò)結(jié)構(gòu)

為證明FD-CA dehaze網(wǎng)絡(luò)提出的每個(gè)組件和模塊的必要性,在SOTS測(cè)試集中進(jìn)行消融實(shí)驗(yàn)。在消融實(shí)驗(yàn)中,本文網(wǎng)絡(luò)模型的訓(xùn)練設(shè)定為700 000次迭代,在相同實(shí)驗(yàn)條件的情況下,分別添加FD模塊、ECA模塊和D-CA模塊進(jìn)行消融研究,實(shí)驗(yàn)結(jié)果如表5、圖11所示,訓(xùn)練過程中的各項(xiàng)指標(biāo)對(duì)比如圖12～圖14所示。

表5 網(wǎng)絡(luò)結(jié)構(gòu)消融實(shí)驗(yàn)定量結(jié)果Table 5 Quantitative results of network structure ablation experiments

圖11 網(wǎng)絡(luò)結(jié)構(gòu)消融實(shí)驗(yàn)對(duì)比Fig.11 Comparison of network structure ablation experiments

圖12 網(wǎng)絡(luò)結(jié)構(gòu)消融實(shí)驗(yàn)中的PSNR指標(biāo)Fig.12 PSNR index in network structure ablation experiments

圖13 網(wǎng)絡(luò)結(jié)構(gòu)消融實(shí)驗(yàn)中的SSIM指標(biāo)Fig.13 SSIM index in network structure ablation experiments

圖14 網(wǎng)絡(luò)結(jié)構(gòu)消融實(shí)驗(yàn)中的訓(xùn)練loss Fig.14 Training loss in network structure ablation experiments

從表5可以看出:不使用FD模塊、ECA模塊和D-CA模塊的模型去霧效果最差;添加FD模塊的模型PSNR指標(biāo)約提升1 dB,SSIM也有小幅提升;添加ECA模塊的大部分模型在PSNR和SSIM指標(biāo)上有所提升;在添加D-CA模塊的4組對(duì)比實(shí)驗(yàn)中有3組去霧效果得到了提升。綜合來看,雖然實(shí)驗(yàn)5中將第一階段中ECA模塊替換成CA和PA的組合形式獲取了SSIM中的最大值,即0.991 0,但是PSNR明顯低于本文網(wǎng)絡(luò)。

由圖11可以看出,大部分不含F(xiàn)D模塊的圖像顏色恢復(fù)效果偏深,特別是對(duì)于湖面和天空區(qū)域,細(xì)節(jié)處理效果不佳,尤其是在模型4中,即在沒有FD模塊、ECA模塊和D-CA模塊的情況下,網(wǎng)絡(luò)的去霧能力表現(xiàn)最差,顏色嚴(yán)重失真,并伴有大量霧霾現(xiàn)象。在增加ECA模塊和D-CA模塊后,湖面倒影中的樹木細(xì)節(jié)更完善,同時(shí)增強(qiáng)了圖像的對(duì)比度,實(shí)現(xiàn)了真實(shí)自然的還原效果,提高了圖像的清晰度,細(xì)節(jié)更加明顯。

從圖12～圖14可以看出,本文網(wǎng)絡(luò)性能明顯優(yōu)于其余對(duì)比網(wǎng)絡(luò),因此,本文使用的FD模塊、ECA模塊和D-CA模塊均具有實(shí)際作用。

3.4.2 損失函數(shù)

為進(jìn)一步驗(yàn)證本文提出的損失函數(shù)的可行性和有效性,對(duì)其不同組合方案進(jìn)行消融實(shí)驗(yàn),著重研究L1損失和感知損失對(duì)網(wǎng)絡(luò)性能的影響。本實(shí)驗(yàn)在合成數(shù)據(jù)集中進(jìn)行,除損失函數(shù)改變外其余實(shí)驗(yàn)細(xì)節(jié)均不變,最終結(jié)果見表6。由表6可以看出,在分別使用L1損失函數(shù)和感知損失函數(shù)的情況下,網(wǎng)絡(luò)去霧效果相差不大,PSNR和SSIM分別約為35 dB和0.98;在將兩者組合的情況下,即本文提出的L1損失和感知損失共同使用時(shí),PSNR和SSIM分別約提升2 dB和0.01,去霧效果達(dá)到最高,這表明本文所提損失函數(shù)具有有效性。

表6 損失函數(shù)消融實(shí)驗(yàn)結(jié)果Table 6 Results of loss function ablation experiments

3.4.3 注意力機(jī)制

為進(jìn)一步驗(yàn)證本文提出的ECA注意力機(jī)制的有效性,將多種不同的注意力方式放置于網(wǎng)絡(luò)第一階段的ECA位置處,對(duì)比實(shí)驗(yàn)結(jié)果如表7所示。從表7可以看出,與其余注意力對(duì)比,本文提出的ECA注意力模塊去霧效果最佳。

表7 注意力機(jī)制消融實(shí)驗(yàn)結(jié)果Table 7 Results of attention mechanism ablation experiments

4 結(jié)束語

本文提出一種基于特征差異的多尺度特征融合去霧網(wǎng)絡(luò)。設(shè)計(jì)一種ECA模塊,以減輕特征融合時(shí)的位置信息丟失問題,同時(shí)提出D-CA模塊,更好地利用空間和通道信息。在此基礎(chǔ)上,通過引入特征差異模塊FD,實(shí)現(xiàn)霧霾分離同時(shí)恢復(fù)圖像的細(xì)節(jié)和清晰度。在RESIDE數(shù)據(jù)集上進(jìn)行訓(xùn)練和測(cè)試,將所提網(wǎng)絡(luò)與FFA-Net、GridDehazeNet等多種方法進(jìn)行對(duì)比,實(shí)驗(yàn)結(jié)果表明,該網(wǎng)絡(luò)取得了更加出色的去霧效果,在實(shí)際應(yīng)用中也展現(xiàn)出更好的去霧性能。下一步將融入先驗(yàn)知識(shí),或?qū)⑺峋W(wǎng)絡(luò)與大氣散射模型相結(jié)合,進(jìn)一步降低訓(xùn)練成本,使得本文網(wǎng)絡(luò)能夠更好地適應(yīng)真實(shí)去霧場(chǎng)景。