基于注意力與多尺度分組并聯(lián)網(wǎng)絡(luò)的去霧算法*

張浩文，楊 燕，張金龍，王志偉

（1.蘭州交通大學(xué) 電子與信息工程學(xué)院，甘肅 蘭州 730070；2.國(guó)網(wǎng)甘肅省電力公司蘭州供電公司，甘肅 蘭州 730050）

0 引 言

在霧天條件下，成像設(shè)備采集圖片時(shí)會(huì)受到大氣中懸浮粒子等雜質(zhì)的影響，通常表現(xiàn)為采集到的圖片對(duì)比度下降、顏色模糊等?；趶?fù)原的去霧方法依據(jù)大氣散射模型，引入一系列先驗(yàn)信息等條件，進(jìn)而估計(jì)大氣光與透射率。He K 等人［1］提出基于暗通道先驗(yàn)（dark channel prior，DCP）的圖像去霧算法，對(duì)于大多數(shù)有霧圖像都能取得較好的處理效果；但對(duì)含有大片天空或白色區(qū)域的圖像則失效。Yang Y等人［2］提出基于邊緣保持函數(shù)代替最小濾波擬合暗通道的去霧算法，利用冪律壓縮和線性衰減克服最小濾波的局限性，得到較為準(zhǔn)確的透射率；但對(duì)于一些含有超遠(yuǎn)景區(qū)域的圖像會(huì)產(chǎn)生失真現(xiàn)象。Xu Y 等人［3］提出結(jié)合暗通道和亮通道先驗(yàn)理論的去霧算法，取得了不錯(cuò)的復(fù)原結(jié)果；但由于透射率估計(jì)不準(zhǔn)，復(fù)原結(jié)果局部區(qū)域仍存在失真現(xiàn)象。基于復(fù)原的去霧算法［1～14］大多需借助先驗(yàn)信息，導(dǎo)致復(fù)原結(jié)果并不總是很準(zhǔn)確。

近些年隨著人工智能與深度學(xué)習(xí)的迅速發(fā)展，一些研究人員將神經(jīng)網(wǎng)絡(luò)應(yīng)用于圖像去霧。Cai B等人［15］提出端到端的去霧網(wǎng)絡(luò)（DehazeNet）結(jié)構(gòu)，通過提取特征，結(jié)合多尺度映射與最大池化等操作得到霧氣特征，訓(xùn)練出有霧圖像的透射率，進(jìn)而得到清晰圖像。Ren W Q等人［16］提出多尺度卷積神經(jīng)網(wǎng)絡(luò)（multi-scale CNN，MSCNN）結(jié)構(gòu)，結(jié)合細(xì)尺度網(wǎng)絡(luò)優(yōu)化得到透射率，進(jìn)而得到復(fù)原結(jié)果。Li B 等人［17］將透射率與大氣光合并為一個(gè)變量，提出新型網(wǎng)絡(luò)結(jié)構(gòu)（all-in-one dehazing，AOD-Net）估計(jì)此變量，消除了大氣光與透射率分別訓(xùn)練的誤差，取得較好的復(fù)原效果，但復(fù)原結(jié)果整體偏暗。Liu 等人［18］提出殘差網(wǎng)絡(luò)結(jié)構(gòu)，結(jié)合有霧圖像及其假設(shè)或者先驗(yàn)信息估計(jì)透射率，進(jìn)而得到復(fù)原結(jié)果。Qian W 等人［19］提出一種新型去霧卷積神經(jīng)網(wǎng)絡(luò)（CNN）——CIASM-Net，該網(wǎng)絡(luò)模型包括顏色特征提取子網(wǎng)絡(luò)和深度去霧子網(wǎng)絡(luò)，并使用多尺度卷積估計(jì)透射率，進(jìn)而得到復(fù)原結(jié)果。目前這類方法［6，7，15～20］得到了快速發(fā)展，并取得較為理想的效果。

本文提出了一種用以去除霧霾的注意力機(jī)制與分組多尺度并聯(lián)CNN模型。主要包含深層常規(guī)卷積模塊、淺層分組卷積模塊、殘差塊與注意力機(jī)制結(jié)構(gòu)。深層卷積主要提取RGB 通道與霧氣相關(guān)特征，淺層卷積主要克服RGB 通道的互相影響與色彩渲染造成的結(jié)果失真問題。為了克服反向傳播梯度消失與深層網(wǎng)絡(luò)特征信息丟失問題，引入殘差處理，并以通道注意力的方式合理分配特征資源，進(jìn)而得到訓(xùn)練結(jié)果。

1 大氣散射模型

用大氣散射模型描述霧天條件下圖像的降質(zhì)過程為

式中 I（x）為成像設(shè)備采集到的有霧圖像，J（x）為復(fù)原的清晰圖像，t（x）為介質(zhì)透射率，A 為大氣光值。大多數(shù)研究人員借助一些先驗(yàn)信息或者假設(shè)條件估計(jì)透射率與大氣光，但由于假設(shè)條件和先驗(yàn)信息的引入，導(dǎo)致一定程度的主觀干擾，復(fù)原結(jié)果產(chǎn)生偏色和失真等現(xiàn)象。為此，Li 等人［17］將透射率與大氣光進(jìn)行集中學(xué)習(xí)，將大氣散射模型處理如下

進(jìn)一步可得

式中 f（x）＝［（I（x）-A）／t（x）＋（A -Δ）］／（I（x）-1），Δ為偏差，取值為1。

2 注意力與多尺度分組并聯(lián)網(wǎng)絡(luò)模型

網(wǎng)絡(luò)結(jié)構(gòu)主要包含深層常規(guī)卷積模塊，淺層分組卷積模塊，上、下2 個(gè)注意力模塊，5 個(gè)殘差處理模塊（RB1—RB5），整體網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1 本文網(wǎng)絡(luò)結(jié)構(gòu)

2.1 網(wǎng)絡(luò)結(jié)構(gòu)模型

本文采用多尺度卷積核構(gòu)成的并聯(lián)卷積結(jié)構(gòu)，學(xué)習(xí)有霧圖像與f（x）的映射關(guān)系。彩色圖像一般處理其RGB 3個(gè)顏色通道，以圖2（a）的2 個(gè)圖為例，其RGB 通道分布曲線如圖2（b）所示。

圖2 彩色圖像及其RGB分布

為消除三通道互相作用的問題，引入分組卷積與常規(guī)卷積的并聯(lián)結(jié)構(gòu)。常規(guī)卷積模塊參數(shù)如表1 所示，分組卷積模塊參數(shù)如表2所示。

表1 常規(guī)卷積模塊參數(shù)

表2 分組卷積模塊參數(shù)

深層常規(guī)卷積模塊包含8 層不同尺度卷積，主要用來提取有霧圖像RGB通道和f（x）之間的相關(guān)性特征。利用多尺度提取策略可以獲得更豐富的霧濃度相關(guān)特征，提取更全面的圖像細(xì)節(jié)信息。分組卷積模塊包含4 層卷積，前3層將有霧圖像RGB通道分組學(xué)習(xí)，克服三通道互相作用與提取的特征間互相渲染的問題。在深層卷積模塊中，隨著網(wǎng)絡(luò)層次的加深，可能出現(xiàn)梯度消失等問題。He K等人提出的殘差網(wǎng)絡(luò)結(jié)構(gòu)很好地解決了梯度消失與信息丟失問題，因此，本文對(duì)深層卷積的特征圖進(jìn)行殘差處理。

在并聯(lián)結(jié)構(gòu)深層卷積模塊中，每隔兩層卷積得到一個(gè)殘差塊，即第1層和第2 層卷積的輸出特征進(jìn)行殘差處理得到第一個(gè)殘差塊RB1。將RB1 作為第3 層卷積的輸入，第3層和第4層卷積的輸出特征進(jìn)行殘差處理得到殘差塊RB2，以此類推。并聯(lián)結(jié)構(gòu)最后一層的輸出與原始圖像也做一次殘差，以避免特征圖信息丟失的問題，殘差處理結(jié)構(gòu)如圖3所示。

圖3 殘差處理結(jié)構(gòu)

本文對(duì)并聯(lián)結(jié)構(gòu)中深層常規(guī)卷積塊和淺層分組卷積塊的最后一層輸出特征分別進(jìn)行通道注意力加權(quán)操作。通道注意力加權(quán)時(shí)，將待處理的特征圖記為Ri，i∈｛1，2｝，通道注意力權(quán)重為mi∈R1×1×C，C為特征圖通道數(shù)，則加權(quán)后的特征可表示為

在深層卷積模塊中，分別將第1，3 層和第5，7 層的輸出特征進(jìn)行通道合并，并對(duì)合并后的特征進(jìn)行平均池化和1 ×1卷積處理，1 ×1卷積是為了保證注意力權(quán)重個(gè)數(shù)與處理的特征通道數(shù)保持一致。淺層分組卷積模塊中，將第3層的輸出特征進(jìn)行同樣的處理得到注意力權(quán)重值。通道注意力處理結(jié)構(gòu)如圖4所示，其中，Conv8 out表示深層卷積第8層的輸出特征。

圖4 通道注意力加權(quán)處理結(jié)構(gòu)

2.2 損失函數(shù)

圖像復(fù)原采用L2損失函數(shù)即均方誤差（MSE）函數(shù)作為損失函數(shù)，表達(dá)式為

式中 m為訓(xùn)練樣本數(shù)目，fi為網(wǎng)絡(luò)結(jié)構(gòu)第i 組的輸出結(jié)果，gi為第i組輸出結(jié)果對(duì)應(yīng)的標(biāo)簽。

2.3 訓(xùn)練細(xì)節(jié)

本文選擇RESIDE 數(shù)據(jù)集中的1 390 張清晰圖像作為標(biāo)簽，每個(gè)標(biāo)簽以不同的參數(shù)合成10 張不同霧濃度的有霧圖像，即將1390張標(biāo)簽對(duì)應(yīng)的13 900 張有霧圖像作為訓(xùn)練集。選擇RESIDE為測(cè)試集，包含500 張室內(nèi)合成圖，500 張室外圖。整個(gè)訓(xùn)練過程的學(xué)習(xí)率為0.000 1，訓(xùn)練集圖像大小均設(shè)為480 ×640像素，網(wǎng)絡(luò)訓(xùn)練時(shí)參數(shù)優(yōu)化方法選擇隨機(jī)梯度下降法，所有卷積步長(zhǎng)為1。訓(xùn)練環(huán)境為NVIDIA RTX 1050Ti GPU，編程采用Pytorch深度學(xué)習(xí)框架。根據(jù)實(shí)驗(yàn)，迭代次數(shù)為20 左右時(shí)，整個(gè)訓(xùn)練過程達(dá)到收斂，本文模型訓(xùn)練損失曲線如圖5所示。

圖5 本文訓(xùn)練損失曲線

2.4 圖像復(fù)原

最后根據(jù)式（4）恢復(fù)清晰圖像，本文復(fù)原模型結(jié)構(gòu)如圖6所示。本文復(fù)原公式與文獻(xiàn)［17］一致，但本文復(fù)原結(jié)果無論在亮度方面，還是去霧程度均優(yōu)于文獻(xiàn)［17］結(jié)果。圖7為本文結(jié)果與文獻(xiàn)［17］結(jié)果的局部對(duì)比，由白色框部分可以看出本文網(wǎng)絡(luò)對(duì)于顏色保真度較好。根據(jù)大氣成像理論，薄霧區(qū)域容易去霧過徹底導(dǎo)致顏色失真。由黑色框部分可以看出，本文在近景地面區(qū)域去霧的同時(shí)保留了更加符合視覺效果的色彩和亮度特點(diǎn)。

圖7 本文結(jié)果與文獻(xiàn)［17］結(jié)果局部對(duì)比

3 實(shí)驗(yàn)結(jié)果與分析

本文選擇真實(shí)環(huán)境下的有霧圖像與合成數(shù)據(jù)集中的合成霧圖分別進(jìn)行主客觀評(píng)價(jià)。在主客觀評(píng)價(jià)時(shí)，選擇了一些在圖像復(fù)原領(lǐng)域比較經(jīng)典的算法進(jìn)行對(duì)比，分別為He K等人的DCP算法［1］，Cai B等人的Dehaze-Net 算法［15］，Ren W Q 等 人 的MSCCN 算 法［16］，Li B等 人 的AOD-Net 算法［17］，Yang Y等人的Haze Removal算法［2］。

3.1 主觀評(píng)價(jià)

真實(shí)環(huán)境下的實(shí)驗(yàn)結(jié)果對(duì)比如圖8 所示，合成數(shù)據(jù)集中室內(nèi)與室外實(shí)驗(yàn)結(jié)果對(duì)比如圖9 和圖10 所示。經(jīng)對(duì)比可以看出，相比其他算法，本文算法整體復(fù)原效果較好，去霧徹底，亮度適宜。

圖8 真實(shí)環(huán)境下霧圖及其復(fù)原結(jié)果對(duì)比（圖像1—圖像3）

圖9 測(cè)試集室外圖復(fù)原結(jié)果對(duì)比

圖10 測(cè)試集室內(nèi)圖復(fù)原結(jié)果對(duì)比

3.2 客觀評(píng)價(jià)

對(duì)于圖7所示真實(shí)霧圖復(fù)原結(jié)果采用可見邊數(shù)e與平均梯度r進(jìn)行客觀指標(biāo)對(duì)比分析。在RESIDE 數(shù)據(jù)集隨機(jī)選擇1 000幅合成霧圖進(jìn)行峰值信噪比（peak signal to noise ratio，PSNR）與結(jié)構(gòu)相似性（structural similarity，SSIM）的定量分析，上述指標(biāo)的數(shù)學(xué)計(jì)算式如下

式中 nr，n0分別為有霧圖像和無霧圖像的可見邊，Ω為無霧圖像可見邊集合，μi，μo為輸入與輸出的平均值，σ為輸入輸出的協(xié)方差，為輸入與輸出的方差，ω1，ω2為避免分母為0的常數(shù)，fi，fo為清晰圖像標(biāo)簽和去霧圖像。上述4個(gè)指標(biāo)越大，說明算法有效性越高。

由圖11可以看出，本文所提模型對(duì)真實(shí)霧圖的處理在客觀指標(biāo)上取得了理想的評(píng)分。Haze Removal算法從大氣散射模型出發(fā)，以傳統(tǒng)的方法估計(jì)了透射率和大氣光，對(duì)于真實(shí)環(huán)境下的有霧圖像復(fù)原結(jié)果較為理想，因此其客觀指標(biāo)較為理想，與本文算法相差不大。DCP 算法、Dehaze-Net算法、MSCNN算法、AOD-Net 算法在處理自然霧圖時(shí)其客觀指標(biāo)均落后于本文算法。

圖11 自然霧圖客觀指標(biāo)對(duì)比

由表3可以看出，本文所提模型相對(duì)其他算法在PSNR和SSIM上均取得了良好的評(píng)分，進(jìn)一步表明本文算法的有效性和適用性。

表3 各算法測(cè)試集客觀指標(biāo)對(duì)比

4 結(jié) 論

本文將大氣光與透射率聯(lián)合訓(xùn)練的方式極大地降低了二者分別學(xué)習(xí)引起的誤差放大問題，使訓(xùn)練過程取得較好的擬合性。利用深層常規(guī)卷積與淺層分組卷積的并聯(lián)結(jié)構(gòu)，有效解決了彩色圖像RGB 通道密切相關(guān)和互相影響，其中常規(guī)卷積用來提取其相關(guān)特征信息，分組卷積對(duì)RGB通道分組學(xué)習(xí)，進(jìn)而將常規(guī)層與分組層的輸出特征融合處理，以達(dá)到互相補(bǔ)償與抑制的作用。最后利用改進(jìn)的大氣散射模型獲得清晰圖像。實(shí)驗(yàn)表明，所提模型在主觀評(píng)價(jià)與定量分析中均表現(xiàn)優(yōu)異。