基于感知融合機(jī)制的漸進(jìn)式去霧網(wǎng)絡(luò)

齊城慧, 張登銀

(南京郵電大學(xué)物聯(lián)網(wǎng)學(xué)院, 江蘇 南京 210003)

0 引 言

近年來,在自然因素和人為因素的共同影響下,我國大部分地區(qū)都遭受了霧霾天氣的危害。隨著社會工業(yè)化進(jìn)程的不斷發(fā)展,環(huán)境污染的加劇導(dǎo)致空氣質(zhì)量嚴(yán)重退化,霧霾天氣出現(xiàn)的頻率也越來越高。在霧霾氣象條件下,大氣中大量的懸浮細(xì)微顆粒會在不同程度上散射和吸收物體的反射光線,導(dǎo)致景物反射的光線強(qiáng)度減弱。圖像傳感器所采集到的物體圖像由于反射光的強(qiáng)度不同而產(chǎn)生差異,生成的圖像容易呈現(xiàn)出對比度降低、清晰度下降等退化現(xiàn)象,嚴(yán)重影響了圖像的視覺效果,也為計(jì)算機(jī)成像系統(tǒng)的正常工作帶來了障礙和挑戰(zhàn)。

目前,大多數(shù)計(jì)算機(jī)成像系統(tǒng)都需要依賴圖像去霧技術(shù)對拍攝的降質(zhì)圖像進(jìn)行恢復(fù)。特別是在智能交通輔助駕駛?cè)蝿?wù)中,需要車載監(jiān)控設(shè)備對霧天影響下的戶外路況信息進(jìn)行準(zhǔn)確的感知及快速的判斷。為了最大程度保障道路交通安全,智能交通領(lǐng)域?qū)D像去霧準(zhǔn)確性和實(shí)時性都有著更高的要求。

然而,圖像去霧是一個非常具有挑戰(zhàn)性的問題,很難在質(zhì)量和效率上得到平衡。早期解決方案大部分基于先驗(yàn)知識[1],研究人員提出了各種先驗(yàn)條件作為額外約束,以找到物理模型中未知參數(shù)的合適解,產(chǎn)生高能見度的去霧結(jié)果。盡管這些先驗(yàn)知識在特定情況下表現(xiàn)良好,但它們無法適應(yīng)所有情況,容易產(chǎn)生額外的偽影,例如光暈和色塊等。

與基于先驗(yàn)的去霧方法不同,基于學(xué)習(xí)的方法利用卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks, CNN)估計(jì)大氣光和透射率,或通過監(jiān)督學(xué)習(xí)直接從輸入的朦朧圖像中恢復(fù)無霧圖像?；谏疃葘W(xué)習(xí)的方法相對于其他方法性能的提升主要?dú)w功于其CNN的不同模型設(shè)計(jì)。DehazeNet[2]通過深度CNN先估計(jì)透射率,隨后通過物理模型還原圖像,但訓(xùn)練過程中無法保證參數(shù)的準(zhǔn)確估計(jì),去霧效果不穩(wěn)定。而直接學(xué)習(xí)有霧到無霧圖像映射關(guān)系的算法訓(xùn)練過程大多需要來自同一場景的大量清晰和模糊的圖像,對容易出現(xiàn)過擬合狀態(tài),去除真實(shí)霧霾的能力有限。比如,最新提出的基于特征融合注意力的網(wǎng)絡(luò)[3]雖然在質(zhì)量評價指標(biāo)上取得突破,但無法處理戶外真實(shí)場景。在這種情況下,為了學(xué)習(xí)更多的特征并取得更好的去霧效果,需要不斷增加網(wǎng)絡(luò)參數(shù),加深網(wǎng)絡(luò)層級,這不僅使模型訓(xùn)練困難,也會造成去霧效率低,限制了上述大多數(shù)去霧算法,使其僅停留在理論層面,并不滿足戶外交通系統(tǒng)對去霧算法的要求。

因此,本文針對戶外交通場景下圖像或視頻采集系統(tǒng)對去霧算法實(shí)時性的要求,提出基于感知融合機(jī)制的漸進(jìn)式去霧網(wǎng)絡(luò)(progressive dehaze network,PD-Net)用于快速除霧。網(wǎng)絡(luò)在每個階段采取相同結(jié)構(gòu)的輕量級網(wǎng)絡(luò)對有霧圖像分塊提取特征,以少量的模型參數(shù)完成對背景信息復(fù)雜的降質(zhì)圖像的處理。為使各階段更好地協(xié)同工作,提出跨階段感知融合模塊(perception fusion module,PFM),PFM幫助網(wǎng)絡(luò)各階段上下文的多尺度信息進(jìn)行自適應(yīng)融合并傳遞,保留了圖像邊緣和紋理細(xì)節(jié)結(jié)構(gòu)。整體網(wǎng)絡(luò)基于輕量級結(jié)構(gòu),去霧效果符合人類視覺預(yù)期且能夠?qū)崟r去霧,可被廣泛地應(yīng)用于智能交通輔助駕駛?cè)蝿?wù),具有現(xiàn)實(shí)意義。

1 相關(guān)技術(shù)分析

1.1 圖像去霧算法

在有霧天氣下,空氣中存在大量的水滴、灰塵、煙霧等大量懸浮粒子,這些懸浮粒子會與大氣光相互作用,影響中光的顏色、強(qiáng)度以及傳播路線等性質(zhì),造成成像質(zhì)量低下。通常在理想狀態(tài)下,大氣光照射到物體表面,成像系統(tǒng)依靠物體反射的光呈現(xiàn)圖像。而在霧天環(huán)境下,一方面,大氣光被空氣中的懸浮微粒散射或吸收,光源與物體的距離越大,導(dǎo)致照射到物體表面的白色大氣光越多;另一方面,物體表面的反射光也會在霧天的懸浮粒子作用下被吸收和散射,成像系統(tǒng)依賴的反射光也隨之減少?；谶@種成像過程,智能圖像采集設(shè)備捕捉的圖像結(jié)果往往呈現(xiàn)出低對比度、顏色偏移、細(xì)節(jié)信息模糊等圖像退化特征。大氣散射模型[4]描述了有霧圖像的退化原理,公式如下:

I(x)=J(x)t(x)+A(1-t(x))

(1)

式中:I(x)代表成像設(shè)備拍攝到的有霧圖像;J(x)代表原本真實(shí)無霧圖像;x表示被觀察的像素點(diǎn);A代表全局大氣光值;t(x)表示光線透射率,反映的是空氣反射光線的能力。

近年來,為了解決霧天圖像復(fù)原問題,人們提出了許多方法。這些方法大致可以分為:基于先驗(yàn)的方法和基于學(xué)習(xí)的方法。傳統(tǒng)的基于圖像先驗(yàn)的方法依賴于從圖像中手工制作的統(tǒng)計(jì)數(shù)據(jù),利用額外的數(shù)學(xué)約束補(bǔ)償重建過程中丟失的信息。典型的方法有顏色衰減先驗(yàn)(color attenuation prior,CAP)[5]、暗通道先驗(yàn)(dark channel prior,DCP)[6]等算法以及以此為基礎(chǔ)的一些改進(jìn)算法[7]等。但上述基于先驗(yàn)的去霧算法所依賴的特征比較單一,中間變量估計(jì)存在誤差,還需要進(jìn)一步的探索改善。

與傳統(tǒng)方法不同的是,基于深度學(xué)習(xí)的方法通過利用CNN從大量有霧和無霧圖像數(shù)據(jù)中提取霧霾特征以進(jìn)行去霧。早期,Cai等[2]首次提出將可訓(xùn)練的端到端系統(tǒng)DehazeNet網(wǎng)絡(luò)用于傳輸值估計(jì),隨后通過大氣散射模型恢復(fù)無霧圖像,Li 等[8]將大氣散射模型的物理公式進(jìn)行變形,提出了一體化網(wǎng)絡(luò) (all-in-one network,AOD-Net),該AOD-Net可以直接生成無霧圖像。Zhang等[9]提出了一種具有邊緣保持密集連接的編碼器-解碼器架構(gòu)的稠密連接金字塔去害網(wǎng)絡(luò)(densely connected pyramic dehazing network,DCPDN)。Ren等[10]先使用預(yù)處理模塊對圖像白平衡、對比度進(jìn)行操作,進(jìn)一步提出門控融合網(wǎng)絡(luò),直接從有霧的輸入中恢復(fù)干凈的圖像。另外,生成對抗網(wǎng)絡(luò)[11]也被廣泛用于圖像去霧領(lǐng)域。Qu等[12]在生成對抗網(wǎng)絡(luò)中嵌入了增強(qiáng)網(wǎng)絡(luò)以實(shí)現(xiàn)去霧效果。Shao等[13]在循環(huán)生成對抗網(wǎng)絡(luò)的基礎(chǔ)上提出了一種用于單圖像去霧的域自適應(yīng)框架,減小合成圖像和真實(shí)世界有霧圖像之間的差異。

除上述網(wǎng)絡(luò),多尺度策略[14]、密集網(wǎng)絡(luò)[15]、殘差結(jié)構(gòu)[16]、注意力機(jī)制[17]等也被廣泛用于解決去霧問題。近兩年,Dong等[18]提出了一種基于U-Net[19]架構(gòu)的具有密集特征融合的多尺度增強(qiáng)去霧網(wǎng)絡(luò),通過增強(qiáng)解碼器來恢復(fù)無霧圖像,在現(xiàn)實(shí)霧天場景中表現(xiàn)優(yōu)異。Qin等[3]將通道注意力與像素注意機(jī)制相結(jié)合,提出特征融合注意網(wǎng)絡(luò),可以自適應(yīng)學(xué)習(xí)權(quán)重信息來融合特征,所以該結(jié)構(gòu)可以保留淺層的信息并將其傳遞到深層,很大程度上提高了客觀指標(biāo)。圖像去霧是一個高度不確定且約束不足的問題,對圖像去霧技術(shù)性能提升的不斷探索仍是圖像處理和計(jì)算機(jī)視覺領(lǐng)域研究的重點(diǎn)。

1.2 多階段漸進(jìn)式策略

多階段策略旨在將具有挑戰(zhàn)性的圖像恢復(fù)任務(wù)分解為簡單的子任務(wù)。在姿勢估計(jì)[20]、檢測[21]等高級任務(wù)中取得成功的推動下,多階段漸進(jìn)策略已被用于解決各種圖像復(fù)原任務(wù)。比如,Fu等[22]采用級聯(lián)網(wǎng)絡(luò)階段式逐步恢復(fù)降質(zhì)圖像,解決圖像去雨問題。在圖像去模糊領(lǐng)域,Suin等[23]提出多尺度的CNN模擬模糊圖像從粗糙到細(xì)致的恢復(fù)方式,復(fù)原因各種原因?qū)е碌哪：龍D像。對于本文提出的圖像去霧問題,早期,Ren等[24]提出的多尺度深度神經(jīng)網(wǎng)絡(luò)利用分階段的思想先對透射率進(jìn)行粗糙的估計(jì),隨后細(xì)化透射率。類似地,Zhao等[25]提出弱監(jiān)督的細(xì)化框架,先使用暗通道方法初步恢復(fù)可見度,隨后使用弱監(jiān)督的生成對抗網(wǎng)絡(luò)增強(qiáng)圖像效果。然而,大多數(shù)分階段去霧方法都是逐漸改進(jìn)前一階段的特征結(jié)果。與上述方法不同的是,本文網(wǎng)絡(luò)將多尺度和多階段思想相結(jié)合,在每個階段以相同的編碼-解碼結(jié)構(gòu)分塊學(xué)習(xí)復(fù)雜分布的霧霾圖像不同區(qū)域的特征,隨后將結(jié)果自適應(yīng)融合,實(shí)現(xiàn)現(xiàn)實(shí)場景下的有效去霧。

1.3 注意力機(jī)制

注意力機(jī)制主要包括空間維度和通道維度兩種。前者通過一個空間轉(zhuǎn)換器對圖像中不同區(qū)域之間的信息做對應(yīng)的空間變換,學(xué)習(xí)其中的關(guān)鍵信息。后者針對不同通道計(jì)算毎個通道與關(guān)鍵信息的相關(guān)度,作為它們對于最終結(jié)果的貢獻(xiàn)度或權(quán)重。近年來,注意力模塊已被用于各種計(jì)算機(jī)視覺任務(wù)。其中,高級計(jì)算機(jī)視覺包括圖像分類、對象檢測或分割等,低級視覺領(lǐng)域包括圖像去雨、去模糊、去噪、去霧等,均取得了優(yōu)質(zhì)的效果。卷積塊注意力模塊(convolutional block attention module,CBAM)[26]是一種典型的混合域的注意力機(jī)制。該輕量級的通用模塊,可以無縫地集成到任何卷積網(wǎng)絡(luò)架構(gòu)中,完成與原本的網(wǎng)絡(luò)的協(xié)同訓(xùn)練,有廣泛的實(shí)用意義。網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1 注意力機(jī)制的網(wǎng)絡(luò)結(jié)構(gòu)示意圖

對于輸入的特征圖,首先通過通道注意力模塊了解到什么樣的特征有意義,然后空間注意力模塊來關(guān)注哪里的特征有意義。本文將注意力機(jī)制引用到特征融合模塊,以完成對上下文特征的自適應(yīng)感知級聯(lián)。

2 基于感知融合機(jī)制的漸進(jìn)式去霧網(wǎng)絡(luò)

2.1 算法整體框架

本文提出基于感知融合機(jī)制的漸進(jìn)式去霧網(wǎng)絡(luò),整體網(wǎng)絡(luò)由3個階段組成,每個階段使用相同結(jié)構(gòu)的編碼器-解碼器網(wǎng)絡(luò)結(jié)構(gòu)分塊學(xué)習(xí)輸入圖像的上下文信息,提取有霧圖像不同空間的多尺度特征。對于每個階段來說,由于不同區(qū)域霧分布的情況并不相同,受深度多分片網(wǎng)絡(luò)[27]的啟發(fā),本文在每個階段分別將圖像分割為不同尺寸的補(bǔ)丁塊,自下而上分別分割為4塊、兩塊和原始圖像塊,從局部到整體漸進(jìn)地完成去霧工作。而對于相鄰階段特征之間信息的交互,不是簡單地執(zhí)行相加的操作,而是引入了一個跨通道感知融合模塊級聯(lián)各階段提取的特征,完成每個階段到每個階段之間邊緣結(jié)構(gòu)和細(xì)節(jié)信息流的高效傳遞。整體網(wǎng)絡(luò)框架如圖2所示。

圖2 算法整體架構(gòu)

具體而言,第一階段的編碼器以及解碼器分別稱為Enc-1和Dec-1,第2階段稱為Enc-2和Dec-2,最后階段為Enc-3和Dec-3。在第1階段,將原始圖像沿水平和豎直方向劃分為4個補(bǔ)丁塊,Enc-1進(jìn)行下采樣分塊,提取輸入圖像的多尺度特征,下采樣操作可以增加感受野,充分學(xué)習(xí)上下文信息,將提取的特征送入第2階段并經(jīng)過Dec-1,在上采樣的過程中逐步還原圖像。第2階段將前兩個階段得到的圖像垂直劃分為兩個補(bǔ)丁塊,經(jīng)過Enc-2提取特征結(jié)合Enc-1的輸出,在PFM中生成新的結(jié)果,將結(jié)果作為Dec-2的輸入進(jìn)一步還原出圖像。第3階段直接以原始分辨率運(yùn)行以便于生成空間精確的結(jié)果,Enc-3提取的特征聯(lián)合前兩階段反饋的特征圖解碼生成最終的清晰圖像,整個網(wǎng)絡(luò)以逐步細(xì)化的方式完成端對端的高質(zhì)量去霧。

其中,在特征傳遞過程中,所用到的PFM基于導(dǎo)向?yàn)V波器[28]和注意力塊[29]設(shè)計(jì),可以自適應(yīng)地感知并學(xué)習(xí)每個階段子網(wǎng)提取的特征,同時保留圖像邊緣信息。不同于傳統(tǒng)的相加操作,它可以更充分利用每個子網(wǎng)編碼器所提取的中間特征,完成每個階段到每個階段之間信息流的高效傳遞,為多階段的協(xié)同工作提供了有力支撐。

接下來,對網(wǎng)絡(luò)各部分的具體工作做詳細(xì)的描述。

2.2 編碼器-解碼器網(wǎng)絡(luò)結(jié)構(gòu)

本文網(wǎng)絡(luò)中,編碼器-解碼器的網(wǎng)絡(luò)結(jié)構(gòu)框架如圖3所示,它基于U-Net網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì),包括編碼器以及解碼器兩個部分。

圖3 編碼器-解碼器網(wǎng)絡(luò)結(jié)構(gòu)

首先,編碼器下采樣的過程,使用3組相同的單元模塊進(jìn)行特征提取,每個單元模塊包含了卷積層、實(shí)例歸一化層和ReLU激活層,卷積核大小均為3×3,步長為2。隨后,解碼器采用與編碼器卷積層對稱的網(wǎng)絡(luò)結(jié)構(gòu)還原圖像。

與傳統(tǒng)的U-Net型網(wǎng)絡(luò)不同的是,受注意力機(jī)制的啟發(fā),為了讓網(wǎng)絡(luò)自適應(yīng)地學(xué)習(xí)不均勻、復(fù)雜分布的霧的信息以及不同部分的結(jié)構(gòu)細(xì)節(jié),在上采樣過程中加入了通道注意力塊(channel attention block, CAB)來融合下采樣過程輸出的特征信息,進(jìn)一步加入空間注意力塊(sapatial attention block, SAB)將不同的權(quán)重分配到圖像中的不同區(qū)域。通道和空間注意力是輕量級結(jié)構(gòu),并不會導(dǎo)致所提出算法的計(jì)算復(fù)雜度明顯增加。

在整個網(wǎng)絡(luò)中,本文為每個卷積層之間填充零以保證邊界。另外,每個階段采用跳層連接,以便對各階段的運(yùn)行進(jìn)行深度監(jiān)督,使訓(xùn)練策略穩(wěn)定并快速收斂。

2.3 跨階段感知融合機(jī)制

相比單階段去霧網(wǎng)絡(luò),本文提出的多階段漸進(jìn)式去霧策略通過分塊的方法可以學(xué)習(xí)到不同區(qū)域霧的分布特征,隨后使用相同結(jié)構(gòu)的輕量級網(wǎng)絡(luò)逐步對每階段的圖像進(jìn)行恢復(fù)。因此,每一階段提取的多尺度特征均有助于豐富下一階段的特征,一般多階段網(wǎng)絡(luò)在融合上都采取單純的相加操作,但各階段產(chǎn)生的結(jié)果信息在單純的通過相加進(jìn)行傳遞的過程中會產(chǎn)生圖像結(jié)構(gòu)信息丟失,造成局部去霧不足、圖像模糊或去霧過度場景曝光等現(xiàn)象,同時邊緣和細(xì)節(jié)部分也會產(chǎn)生問題。

為了解決這種問題,本文提出跨階段感知融合機(jī)制來實(shí)現(xiàn)上下文信息的傳遞,所提出的網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。

圖4 跨階段感知融合機(jī)制網(wǎng)絡(luò)結(jié)構(gòu)

如圖4所示,跨階段感知融合模塊將導(dǎo)向?yàn)V波器與注意力塊相結(jié)合。其中,導(dǎo)向?yàn)V波器是一種保留圖像邊緣的濾波器,最初用于圖像層面的結(jié)構(gòu)信息遷移,本文將導(dǎo)向?yàn)V波器嵌入CNN以將前層提取的信息向下一階段進(jìn)行遷移,實(shí)現(xiàn)邊緣結(jié)構(gòu)信息的傳遞。進(jìn)一步地,注意力機(jī)制可以突出各階段細(xì)節(jié)特征,更好地學(xué)習(xí)不同區(qū)域的霧的濃度信息。因此,提出的融合網(wǎng)絡(luò)對提升最終去霧結(jié)果的主觀和客觀效果都有至關(guān)重要的作用。

跨階段感知融合模塊將每相鄰階段的特征圖進(jìn)行有效融合,對于相鄰兩階段得到的特征圖Spre和S,最終融合結(jié)果表示為Sout。與導(dǎo)向?yàn)V波器類似,假設(shè)融合結(jié)果與輸入的特征存在線性關(guān)系。首先,通過注意力機(jī)制分別對Spre和S進(jìn)行卷積操作,卷積核大小為1×1,隨后將結(jié)果級聯(lián)相加再經(jīng)過ReLU函數(shù)激活,進(jìn)一步,再經(jīng)過一次卷積操作和Sigmoid激活提取到注意力圖T,以幫助確定融合系數(shù)。接下來,注意力圖T經(jīng)過均值濾波和一個局部線性模型得到跨階段導(dǎo)向融合系數(shù)A、B。最終融合結(jié)果Sout可通過線性模型表示為

Sout=A×Spre+B

(2)

假設(shè)跨階段感知融合濾波器窗口大小為ωk,每一個位置k都有半徑為r的窗口,i為像素點(diǎn)坐標(biāo),每一個位置對應(yīng)的系數(shù)都不同。因此,需要對不同的窗口系數(shù)求平均值,最終的融合結(jié)果Sout還可表示為:

(3)

式中:Nk表示每一個濾波器窗口內(nèi)所有的像素;Ωi是所有窗口的集合。

隨后,通過最小化Sout和S的重構(gòu)誤差求解每個位置的系數(shù)ak和bk,目標(biāo)函數(shù)定義為

(4)

式中:Ti表示像素點(diǎn)i的注意力權(quán)重;λ為正則化參數(shù)。

式(4)是一個線性回歸模型,使E最小就可以得到ak和bk兩個線性參數(shù)的最優(yōu)解。因此,ak和bk可以分別表示為

(5)

(6)

最終,將ak和bk結(jié)果代入式(3),可以得到最終的融合結(jié)果。

由上述過程可知,導(dǎo)向?yàn)V波器基于線性模型保留邊緣結(jié)構(gòu)信息,且計(jì)算方式簡單,并不會增加網(wǎng)絡(luò)的復(fù)雜性。注意力塊的引入在保留特征圖細(xì)節(jié)信息的同時也對未知參數(shù)的求解做出了很大貢獻(xiàn)。在二者的協(xié)同下,跨階段感知融合模塊優(yōu)化了各階段特征的傳遞過程,不僅簡化了信息流,也使網(wǎng)絡(luò)的優(yōu)化過程更加穩(wěn)定,為提出的多階段漸進(jìn)式網(wǎng)絡(luò)的工作提供了必要支撐。

2.4 損失函數(shù)

多階段漸進(jìn)式導(dǎo)向去霧級聯(lián)每個階段的去霧結(jié)果,最終目的是生成接近原始未降質(zhì)狀態(tài)的清晰無霧圖像?；趫D像的判斷依賴于結(jié)構(gòu)內(nèi)容和色彩,因此,本文損失函數(shù)由重建損失Lrec和感知損失Lper組成。除此之外,引入顏色損失Lcol進(jìn)一步優(yōu)化生成圖像主觀的效果。使用上述損失函數(shù)的線性組合作為優(yōu)化目標(biāo),總損失函數(shù)表示為

Ltol=λrLrec+λpLper+λcLcol

(7)

式中:λr、λp和λc是每個損失函數(shù)分別對應(yīng)的權(quán)重參數(shù)。

(1) 重建損失

重建損失用來表示去霧圖像和圖像像素空間中真實(shí)值之間的保真度。N個樣本上的損失函數(shù)可表示為:

(8)

式中:Jres為多階段漸進(jìn)式網(wǎng)絡(luò)的輸出結(jié)果;Jreal為送入網(wǎng)絡(luò)處理的模糊圖像I對應(yīng)的地面真實(shí)圖像;Lrec為Jreal和Jres之間的距離。

(2) 感知損失

本文采用感知損失來衡量特征空間中的感知相似度,以提升網(wǎng)絡(luò)生成圖像的視覺效果。將感知損失定義為去霧圖像經(jīng)過所提網(wǎng)絡(luò)得到的特征圖像與真實(shí)圖像之間的距離,公式為

(9)

式中:φj(Jres)、φj(Jreal)分別表示Jres和Jreal經(jīng)過VGG16網(wǎng)絡(luò)[30]第j個卷積層提取到的特征;Lper為它們之間的距離。

(3) 顏色損失

采用神經(jīng)網(wǎng)絡(luò)進(jìn)行圖像去霧通常會產(chǎn)生顏色單調(diào)、低對比度等情況。針對這種情況,可以通過高斯模糊圖像內(nèi)容來計(jì)算細(xì)化圖像和目標(biāo)圖像之間的色差,以此生成與原圖像具有相同顏色分布的圖片,顏色損失表示為

(10)

式中:B(Jres)表示輸出結(jié)果Jres對應(yīng)的模糊圖像內(nèi)容;B(Jreal)表示地面真實(shí)圖像模糊處理后的結(jié)果。

3 實(shí)驗(yàn)驗(yàn)證

3.1 數(shù)據(jù)集與實(shí)驗(yàn)環(huán)境

本文實(shí)驗(yàn)的操作系統(tǒng)為Ubuntu平臺,在配備AMD Ryzen 1600X圖形處理單元和NVIDIA GTX 1080圖形處理單元的系統(tǒng)上基于Pytorch[31]深度學(xué)習(xí)框架開發(fā)并訓(xùn)練基于感知融合機(jī)制的漸進(jìn)式去霧網(wǎng)絡(luò)模型。在訓(xùn)練期間,將損失函數(shù)權(quán)重分別設(shè)置為,λr=1,λp=4e-3,λc=3e-8。另外,采取Adam優(yōu)化器來更新網(wǎng)絡(luò)的參數(shù)。本文總共訓(xùn)練了1 000個輪次,批處理大小設(shè)置為32。

對于訓(xùn)練數(shù)據(jù),在實(shí)驗(yàn)中采用真實(shí)單圖像去霧(realistic single image dehazing, RESIDE)[32]大型數(shù)據(jù)集對網(wǎng)絡(luò)進(jìn)行訓(xùn)練,RESIDE數(shù)據(jù)集包含大量室內(nèi)外場景的有霧和無霧圖像對,且每張無霧圖像還對應(yīng)不同濃度的有霧圖像。分別從室外訓(xùn)練集(outdoor testing set, OTS)和室內(nèi)訓(xùn)練集(indoor testing set, ITS)中隨機(jī)選取2 000張不同濃度的成對圖像送入網(wǎng)絡(luò)進(jìn)行訓(xùn)練,以充分學(xué)習(xí)霧的特征。另外,由于本網(wǎng)絡(luò)在不同階段需要將輸入圖像劃分為不同大小的圖像塊,劃分結(jié)果應(yīng)為整數(shù),所以將訓(xùn)練的數(shù)據(jù)統(tǒng)一調(diào)整至大小為(512×520×3)。

3.2 合成數(shù)據(jù)集上的實(shí)驗(yàn)分析

本文在RESIDE 數(shù)據(jù)集的室外測試子集OTS上完成合成數(shù)據(jù)集上的實(shí)驗(yàn)評估。本文定性和定量地將提出的模型分別與基于先驗(yàn)和學(xué)習(xí)的方法進(jìn)行對比分析。另外,本文也對相關(guān)參數(shù)進(jìn)行了消融分析,以證明其有效性。

(1) 主觀視覺分析

為了直觀展示不同算法的主觀去霧效果,選取不同霧天場景下的圖像進(jìn)行比較。選取對比算法包括DCP[6]、基于物理模型參數(shù)估計(jì)的深度學(xué)習(xí)方法,包括端到端去霧網(wǎng)絡(luò)DehazeNet[2]、AOD-Net[8],以及基于復(fù)雜結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)來學(xué)習(xí)有霧與無霧圖像之間映射關(guān)系的多尺度增強(qiáng)去霧網(wǎng)絡(luò)(multi-scale boosted dehazing network,MSBDN)[18]。測試圖像分別選取了幾個有代表性的戶外場景,例如公路、湖邊、街道以及高架等。合成數(shù)據(jù)集上的主觀結(jié)果如圖5所示。

圖5 合成數(shù)據(jù)集上的實(shí)驗(yàn)評估

從圖5的對比結(jié)果可以看出,對于輸入的不同有霧圖像,即圖5(a),選取的對比算法都可以在一定程度上完成去霧任務(wù)。但采用傳統(tǒng)的基于暗通道先驗(yàn)方法DCP進(jìn)行去霧后,圖像效果變暗,且明顯不適用于大面積天空區(qū)域,如圖5(b)所示。而最早基于深度學(xué)習(xí)的DehazeNet去霧算法由于對透射率的估值在不同情況下會存在誤差,因此,針對較大景深場景結(jié)果出現(xiàn)偽影以及色彩失真現(xiàn)象,且伴隨局部光暈,不符合人眼視覺預(yù)期,如圖5(c)所示。如圖5(d)所示,AOD-Net存在去霧不完全的情況。而MSBDN在合成測試集上表現(xiàn)相對較好,去霧結(jié)果接近地面圖像,但仍忽略了部分細(xì)節(jié)的恢復(fù),沒有充分考慮邊緣部分,特別是針對選取的具有復(fù)雜背景信息的圖像。綜合來看,本文算法能夠在合成的測試數(shù)據(jù)上取得良好的去霧效果,無論是在色彩、亮度還是圖片細(xì)節(jié)上均很好地達(dá)到了與地面圖片一致的主觀視覺預(yù)期效果,具有明顯的視覺優(yōu)勢。

(2) 客觀量化分析

為了進(jìn)一步衡量本文所提出的基于感知融合機(jī)制的漸進(jìn)式去霧網(wǎng)絡(luò)的有效性,本文將對比結(jié)果進(jìn)行了客觀的量化評價。首先,選取客觀指標(biāo)評估去霧后的圖像質(zhì)量;其次,對所提網(wǎng)絡(luò)中的參數(shù)進(jìn)行消融研究;最后,從算法效率進(jìn)行分析,證明網(wǎng)絡(luò)的實(shí)時性。

首先,客觀評價指標(biāo)分別選取峰值信噪比(peak signal to noise ratio, PSNR)來檢驗(yàn)圖像細(xì)節(jié)信息的完整度,以及選取結(jié)構(gòu)相似性(structural similarity, SSIM)來反映圖像結(jié)構(gòu)完整性,對比算法包括基于先驗(yàn)的算法DCP[6]、CAP[5],基于物理模型參數(shù)估計(jì)的深度學(xué)習(xí)方法(DehazeNet[2]、AOD-Net[8])以及最新端到端基于不同結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)來學(xué)習(xí)有霧無霧之間映射關(guān)系的算法GridDehazeNet[14]、MSBDN[18]。表1顯示了上述算法在OTS數(shù)據(jù)上的客觀指標(biāo)比對結(jié)果。

表1 不同去霧方法客觀比較結(jié)果

實(shí)驗(yàn)證明,本文算法在OTS室外測試集上,與最新的算法的客觀指標(biāo)結(jié)果相比,PSNR和SSIM平均值都有了很大的提升,PSNR從目前最佳的32.09提升至33.02,SSIM相比表現(xiàn)最好的GridDehazeNet的0.981 9提升至0.986 5。

本文進(jìn)一步通過消融實(shí)驗(yàn)證明損失函數(shù)中所引入的參數(shù)對算法魯棒性的提升作用。主觀視覺效果難以輕易分辨,因此通過客觀指標(biāo)PSNR以及SSIM進(jìn)行進(jìn)一步分析。相關(guān)對比結(jié)果如表2所示。

表2 損失函數(shù)對比

從表2可以看出,引入損失函數(shù)權(quán)重參數(shù)λr、λc能夠提升圖像去霧的結(jié)果,進(jìn)一步增強(qiáng)算法的性能。

另外,為了滿足真實(shí)去霧任務(wù)中的實(shí)時性要求,分別計(jì)算不同算法處理單幅圖像所需的平均運(yùn)行時間。對于運(yùn)行效率的評估,DCP、CAP算法在Matlab上運(yùn)行,其余算法均在Pytorch上實(shí)現(xiàn)。運(yùn)行時間對比數(shù)據(jù)如表3所示。

表3 運(yùn)行時間對比

從表3中的對比結(jié)果可以看出,本文所提算法處理單幅圖像所需要的時間更短,去霧效率更高,約為目前高效算法MSBDN的50%,即僅需要0.072 s,可以滿足實(shí)時去霧需求。

3.3 真實(shí)場景下的實(shí)驗(yàn)分析

真實(shí)場景下的霧具有強(qiáng)復(fù)雜性和不定性,因此為了進(jìn)一步證明網(wǎng)絡(luò)的普適性,需要在自然拍攝的有霧圖像上進(jìn)行評估。本文選取了真實(shí)霧天場景下所拍攝的含有復(fù)雜霧特征分布的圖像來證明所提算法可用于智能交通領(lǐng)域,對比算法包括DCP[6]、CAP[5]、基于物理模型參數(shù)估計(jì)的深度學(xué)習(xí)方法,包括DehazeNet[2]、AOD-Net[8],以及端到端基于不同結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)來學(xué)習(xí)有霧與無霧圖像映射關(guān)系的算法,包括GridDehazeNet[14]、MSBDN[18]。視覺對比結(jié)果如圖6、圖7所示。

圖6 不同算法在真實(shí)室外數(shù)據(jù)集上的圖像去霧結(jié)果1

圖7 不同算法在真實(shí)室外數(shù)據(jù)集上的圖像去霧結(jié)果2

由圖6、圖7可以看出,面對真實(shí)的室外場景,傳統(tǒng)方法DCP和CAP能夠有效消除圖片中的霧,但均存在問題。DCP在沒有大面積亮度的區(qū)域去霧效果不錯,但難以擺脫無法處理天空區(qū)域的問題;CAP方法去霧畫面偏暗;DehazeNet產(chǎn)生偽影和光暈;AOD-Net去霧不完全;Grid-DNet和MSBDN雖然能夠去霧,但畫面清晰度不夠,許多細(xì)節(jié)丟失,難以辨別遠(yuǎn)處的路況狀態(tài)。相比其他神經(jīng)網(wǎng)絡(luò)去霧方法,本文算法不僅可以很好地還原圖像清晰度,還可以有效地恢復(fù)圖像中復(fù)雜的背景信息。因此,本文算法在智能交通領(lǐng)域,能夠幫助車載輔助駕駛終端對路況信息進(jìn)行準(zhǔn)確判斷。

4 結(jié) 論

在霧霾天氣下,戶外圖像或視頻采集系統(tǒng)對去霧算法的實(shí)時性要求很高。因此,本文提出基于感知融合機(jī)制的漸進(jìn)式圖像去霧算法。將降質(zhì)圖像恢復(fù)的任務(wù)分解為漸進(jìn)式的子任務(wù),在每個階段使用相同結(jié)構(gòu)的輕量級的網(wǎng)絡(luò)分塊學(xué)習(xí)多尺度特征。這種基于漸進(jìn)式的去霧策略賦予了網(wǎng)絡(luò)處理具有復(fù)雜背景的有霧圖像的能力,也進(jìn)一步提高了網(wǎng)絡(luò)的效率。在此基礎(chǔ)上,為了有效地整合多個去霧階段的中間輸出,更好地實(shí)現(xiàn)上下文特征信息的有效融合,引入跨階段感知融合機(jī)制為相鄰階段多尺度特征分配權(quán)重,級聯(lián)多個去霧模塊完成特征的傳遞。該機(jī)制不僅可以自適應(yīng)融合淺層和深層信息,同時也保留了圖像邊緣和結(jié)構(gòu)細(xì)節(jié)信息,為多階段網(wǎng)絡(luò)的有效工作提供了必要支撐。實(shí)驗(yàn)證明,與現(xiàn)有主流去霧算法相比,本文提出的網(wǎng)絡(luò)模型具有很高的魯棒性,且能夠?qū)崟r去霧,有望被應(yīng)用于智能交通等現(xiàn)實(shí)領(lǐng)域。