基于循環(huán)生成對抗網(wǎng)絡(luò)的圖像去霧算法

郭夢琰，張 娟，劉巧紅，蔡立志

（1.上海工程技術(shù)大學(xué) 電子電氣工程學(xué)院，上海 201620；2.上海健康醫(yī)學(xué)院 醫(yī)療器械學(xué)院，上海 201318；3.上海計(jì)算機(jī)軟件技術(shù)開發(fā)中心，上海 200235）

0 概述

北方城市在秋冬季多會(huì)出現(xiàn)霧霾、沙塵等視覺障礙現(xiàn)象，這是由大氣中懸浮的細(xì)微水滴、灰塵、硫酸、煙霧等粒子急劇增加所造成。由于介質(zhì)粒子吸收物體光照，散射大氣光，使得攝像系統(tǒng)拍攝到的圖像多呈現(xiàn)灰白色，飽和度和對比度均有所損失，難以分辨圖像中的物體。圖像去霧能夠?yàn)楹罄m(xù)高級計(jì)算機(jī)視覺任務(wù)如語義分割［1］、目標(biāo)追蹤和識(shí)別［2］、智能交通監(jiān)控等帶來更加理想的結(jié)果。

隨著計(jì)算機(jī)硬件快速發(fā)展，基于神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方法被廣泛應(yīng)用于圖像處理領(lǐng)域。研究人員采用深度學(xué)習(xí)方法獲得端到端的圖像映射模型，其均為難以用數(shù)學(xué)公式精確表達(dá)的物理模型。計(jì)算機(jī)視覺高級任務(wù)對圖像去霧后圖像的視覺感知和細(xì)節(jié)紋理要求極高，深度學(xué)習(xí)的應(yīng)用緩解了量化指標(biāo)無法大幅提升的瓶頸。生成對抗網(wǎng)絡(luò)［3］具有強(qiáng)大的圖像重建能力，在無監(jiān)督學(xué)習(xí)上的表現(xiàn)優(yōu)異，一經(jīng)提出就受到國內(nèi)外研究人員的廣泛關(guān)注。

本文將生成對抗網(wǎng)絡(luò)引入到循環(huán)卷積神經(jīng)網(wǎng)絡(luò)中，迭代重建出清晰圖像。利用生成網(wǎng)絡(luò)中密集反饋模塊的反饋連接實(shí)現(xiàn)反饋機(jī)制，引導(dǎo)整個(gè)網(wǎng)絡(luò)有導(dǎo)向地學(xué)習(xí)成霧原理，逐步提高網(wǎng)絡(luò)的重建能力。通過解碼模塊融合編碼模塊的特征，快速準(zhǔn)確地恢復(fù)出紋理精細(xì)的殘差特征圖。此外，在判別網(wǎng)絡(luò)中根據(jù)Wasserstein 距離確定最后的去霧圖像。

1 相關(guān)工作

經(jīng)過多年的研究，研究人員提出了許多圖像去霧方法。傳統(tǒng)的圖像去霧方法主要從以下2 個(gè)處理方向著手：

1）直接通過增強(qiáng)圖像的飽和度、對比度、清晰度等來增加霧圖中物體的視覺效果；

2）運(yùn)用大氣散射模型原理，通過優(yōu)化估計(jì)的透射率或大氣光，提高圖像去霧性能。圖像增強(qiáng)是從圖像本身特性出發(fā)，突出其中的景物來達(dá)到圖像去霧的目 的，主要有直方圖均衡化［4］、同態(tài)濾波［5］、Retinex 理論［6］、小波變換［7-8］等方法。但這些方法并不是針對霧的形成原理所提出的方法，沒有明確的去霧目的。圖像去霧后效果參差不一，對濃霧圖像復(fù)原效果差，且易出現(xiàn)噪聲。

針對霧的形成原因，許多研究人員利用先驗(yàn)知識(shí)對大氣散射［9］模型重新反向推演，求得清晰的去霧圖像，大氣散射模型可表示為：

其中：x表示圖像中的像素；I(x)表示攝像系統(tǒng)采集到的有霧圖像；J(x)表示待恢復(fù)的清晰去霧圖像；t(x)表示透射率；A表示大氣光強(qiáng)度。但t(x)與A的值存在不確定性，其測量準(zhǔn)確度會(huì)直接影響圖像去霧效果。由此，多數(shù)算法把估計(jì)精準(zhǔn)的透射率圖和大氣光強(qiáng)度作為算法的評估指標(biāo)，HE 等［10］基于統(tǒng)計(jì)的方法提出暗通道先驗(yàn)理論（DCP），并優(yōu)化了透射率。BERMAN 等［11］發(fā)現(xiàn)顏色信息可以在空間坐標(biāo)中呈現(xiàn)規(guī)律分布的先驗(yàn)。但這些先驗(yàn)［12-13］方法多有條件約束，借助現(xiàn)有的先驗(yàn)估計(jì)出的透射率往往不夠準(zhǔn)確，圖像去霧的結(jié)果很容易產(chǎn)生色塊不均和光暈現(xiàn)象，且魯棒性和泛化性均比較差。

隨著深度學(xué)習(xí)在計(jì)算機(jī)視覺上的廣泛運(yùn)用，CAI 等［14］采用學(xué)習(xí)的方法，利用卷積神經(jīng)網(wǎng)絡(luò)計(jì)算透射率圖。ZHANG 等［15］采用雙分支網(wǎng)絡(luò)分別學(xué)習(xí)透射率圖和大氣光強(qiáng)度，并在網(wǎng)絡(luò)中嵌入大氣散射模型。此類方法的求解原理仍然是從大氣散射模型出發(fā)，但有霧圖像與清晰圖像之間的映射關(guān)系并非與大氣散射模型完全適配。顯然，深度學(xué)習(xí)可以更加準(zhǔn)確地學(xué)習(xí)有霧圖像與清晰圖像之間的統(tǒng)計(jì)關(guān)系。CHEN 等［16］提出一種端到端的平滑擴(kuò)張卷積的全局跳躍殘差網(wǎng)絡(luò)，可以恢復(fù)出較為清晰的圖像。LIU 等［17］借助語義分割的方法，提出擁有注意力機(jī)制的GridDehazeNet，解決了跨尺度信息交換的問題，緩解了信息交互的瓶頸。DENG 等［18］提出可將霧圖分為無霧層和有霧層，利用多個(gè)模型融合方法，提高去霧性能。

循環(huán)神經(jīng)網(wǎng)絡(luò)RNN 已成功用于計(jì)算機(jī)視覺［19］，受到上述方法的啟發(fā)，本文提出一種針對圖像去霧的端到端循環(huán)生成對抗網(wǎng)絡(luò)算法。借助對抗生成網(wǎng)絡(luò)，在循環(huán)神經(jīng)網(wǎng)絡(luò)RNN 的框架下實(shí)現(xiàn)迭代過程，并在RNN 的隱藏狀態(tài)下實(shí)現(xiàn)信息的反饋。在此基礎(chǔ)上，損失綁定會(huì)使網(wǎng)絡(luò)在每次迭代時(shí)重建清晰圖像，且判別網(wǎng)絡(luò)能夠確定是否恢復(fù)出高質(zhì)的圖像。

2 循環(huán)生成對抗網(wǎng)絡(luò)

生成對抗網(wǎng)絡(luò)由GOODFELLOW 等［3］提出后，被引入圖像處理方向［20-21］。其基本結(jié)構(gòu)包含一個(gè)生成器G和一個(gè)判別器D，在訓(xùn)練過程中均處于博弈狀態(tài)。在圖像任務(wù)中，G接收輸入噪聲，通過向目標(biāo)圖像學(xué)習(xí)，輸出生成圖像，D試圖將生成圖像和目標(biāo)圖像區(qū)分開。在訓(xùn)練過程中，G的生成性能和D的判別性能將隨著學(xué)習(xí)不斷提高，G最終生成令D信服的圖像，整個(gè)網(wǎng)絡(luò)至此優(yōu)化完整。G和D之間的博弈目標(biāo)函數(shù)為：

其中：x～Pr(x)表示服從真實(shí)無霧清晰圖像的數(shù)據(jù)分布；z是一個(gè)輸入的噪聲；z～Pg(z)表示服從模糊有霧圖像的數(shù)據(jù)分布；(·)表示期望。

本文算法宏觀整體結(jié)構(gòu)如圖1 所示，輸入霧圖首先進(jìn)入生成網(wǎng)絡(luò)，生成階性去霧圖像，隨后和真實(shí)清晰圖像一起進(jìn)入判別網(wǎng)絡(luò)，得到它們之間的差異。網(wǎng)絡(luò)可以展開為t次迭代的結(jié)構(gòu)，其中生成網(wǎng)絡(luò)之間采用反饋連接，如迭代網(wǎng)絡(luò)間的箭頭所示。I表示的輸入霧圖，J表示的真實(shí)清晰圖像，網(wǎng)絡(luò)迭代J被多次送入網(wǎng)絡(luò)，是第t次迭代估計(jì)的去霧圖像。以第t次迭代為例，本文網(wǎng)絡(luò)可分為生成網(wǎng)絡(luò)GθG和判別網(wǎng)絡(luò)DθD2個(gè)部分，如圖2 所示。第1 個(gè)部分為生成網(wǎng)絡(luò)GθG，生成階段性去霧圖像；第2個(gè)部分為判別網(wǎng)絡(luò)DθD，判斷階段性去霧圖像與真實(shí)清晰圖像J間的差異。迭代循環(huán)的終止條件是DθD判定恢復(fù)出的去霧圖像接近于清晰圖像，網(wǎng)絡(luò)根據(jù)輸出的Wasserstein距離不斷優(yōu)化GθG和DθD學(xué)習(xí)能力，迭代結(jié)構(gòu)會(huì)實(shí)現(xiàn)網(wǎng)絡(luò)參數(shù)共享，大大減少參數(shù)量。網(wǎng)絡(luò)最大的特點(diǎn)是具有密集反饋信息hi（i=1，2，…，t），GθG不再是簡單的重復(fù)優(yōu)化，而是攜帶著指導(dǎo)信息hi有根據(jù)地向目標(biāo)結(jié)果優(yōu)化，DθD輸出的Wasserstein 距離決定網(wǎng)絡(luò)是否將繼續(xù)優(yōu)化，是影響圖像去霧結(jié)果的關(guān)鍵因素。

圖1 循環(huán)生成對抗網(wǎng)絡(luò)的整體結(jié)構(gòu)Fig.1 Overall structure of recurrent generative adversarial network

圖2 循環(huán)生成對抗網(wǎng)第t 次迭代后的結(jié)構(gòu)Fig.2 The t-th iteration structure of recurrent generative adversarial network

2.1 生成網(wǎng)絡(luò)

生成網(wǎng)絡(luò)GθG的結(jié)構(gòu)為基本的編解碼模式，首先，編碼模塊將有霧圖像的特征尺寸逐漸縮小，增加通道數(shù)，并提取低維特模糊特征。在之后的解碼模塊將特征圖逐漸重建為與原始圖像大小相同的殘差特征圖。GθG分為3 個(gè)子模塊，包括編碼模塊、密集反饋模塊和解碼模塊，其中密集反饋模塊是嵌入編碼模塊和解碼模塊之間的。如圖3 所示，相鄰2 次的密集反饋模塊的反饋連接，保證了之后高維度信息可以被應(yīng)用在低維度特征信息中，指導(dǎo)低維度特征信息生成更豐富的高維度表達(dá)，從而使去霧圖像得到恢復(fù)。

圖3 相鄰2 次迭代后生成的網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 Network structure generated after two adjacent iterations

編碼模塊由3 個(gè)卷積單元組成，每個(gè)卷積單元分別包含一個(gè)3×3 卷積操作、一個(gè)歸一化層和一個(gè)ReLU 激活函數(shù)層，由卷積單元提取出淺層的低維霧圖特征信息。密集反饋模塊首先經(jīng)過1 個(gè)卷積核大小為1×1 的卷積層，將參數(shù)信息整合后繼續(xù)向后傳輸。接著有6 個(gè)卷積單元，每個(gè)卷積單元間以密集連接的方式連接，卷積單元包含1 個(gè)1×1 的卷積操作，1 個(gè)3×3 的卷積操作以及1 個(gè)歸一化操作。卷積單元中的1×1 卷積是為了獲得參數(shù)并提高計(jì)算效率，減少信息的冗余度。之后將各個(gè)卷積單元的信息拼接進(jìn)行特征融合，并通過1×1 卷積操作加深高維特征融合的程度。

在解碼模塊中，利用所獲得的高維度特征信息階段性地恢復(fù)有霧圖像與清晰圖像間的殘差圖。解碼模塊由3 個(gè)反卷單元塊組成，反卷積單元中包含1 個(gè)3×3 的反卷積操作，1 個(gè)歸一化層和1 個(gè)激活層，反卷積單元與編碼模塊中的卷積單元相互對應(yīng)。最后2 個(gè)反卷積單元前增加逐個(gè)元素點(diǎn)乘操作，將編碼模塊得到的淺層特征信息s2、s1通過跳躍連接送入解碼模塊，引導(dǎo)重建。I通過全局跳躍連接傳輸?shù)浇獯a模塊后，與學(xué)習(xí)到的殘差特征圖融合，生成階段性的。

以相鄰的第t-1 次和第t次迭代為例，介紹網(wǎng)絡(luò)的特征操作步驟。輸入原始有霧圖像I，在編碼模塊經(jīng)過低維特征提取后，可獲得霧的淺層特征信息s1：

其中：WE1、BE1分別表示編碼模塊第1 個(gè)卷積單元的權(quán)重項(xiàng)和偏置項(xiàng)；BBN為歸一化操作；f為激活函數(shù)，可以表示為：

本文將1 次卷積單元操作抽象為編碼模塊操作Fecoder(·)，即有：

其中：第t次迭代的淺層特征信息shaze被第t-1 次迭代傳輸?shù)姆答佇畔t-1指導(dǎo)，經(jīng)過密集反饋模塊處理后，可以得到更細(xì)化的高維度霧的特征信息ht，作為下一次迭代的指導(dǎo)信息，密集反饋模塊輸出可表示為：

其中：FDFB(·)表示密集反饋模塊對secoder和ht-1的操作。解碼模塊逐步放大深層特征，生成估計(jì)殘差特征圖，解碼模塊的第1 個(gè)反卷積單元操作可得到第1 個(gè)深層特征：

其中：FD(·)表示反卷積單元的重建操作；WDi和BDi表示第i個(gè)反卷積塊的權(quán)重項(xiàng)和偏置項(xiàng)。將和尺寸相應(yīng)的淺層特征s2融合，經(jīng)過第2 個(gè)反卷積單元，得到第2 個(gè)深層特征：

其中：⊙是圖像像素的點(diǎn)乘操作。將融合淺層特征s1再經(jīng)過第3 個(gè)卷積單元操作，可得到殘差特征：

2.2 判別網(wǎng)絡(luò)

判別網(wǎng)絡(luò)DθD結(jié)構(gòu)如圖4 所示，其包含了2 個(gè)1×1卷積單元，3 個(gè)3×3 卷積單元，卷積操作后將特征圖轉(zhuǎn)變?yōu)橐痪S特征，再由全連接層處理，最后由Tanh 激活函數(shù)輸出Wasserstein 距離。

圖4 判別網(wǎng)絡(luò)結(jié)構(gòu)Fig.4 Discriminant network structure

激活函數(shù)的表達(dá)式為：

原始GAN 的結(jié)果是針對二分類的非真即假，而WGAN［22］輸出的則是Wasserstein 距離，用于回歸任務(wù)，表示生成分布與真實(shí)分布間的距離，當(dāng)生成去霧圖像越接近真實(shí)清晰圖像時(shí)，Wasserstein 距離會(huì)越小。Wasserstein 距離是人為定義的針對數(shù)據(jù)分布Pr與模型分布Pg間差異的測量，可表示為：

其中：Π(Pr，Pg)代表對于的邊緣分布為數(shù)據(jù)分布Pr和模型分布Pg的聯(lián)合分布的集合。當(dāng)服從γ分布時(shí)，兩者對于期望的最小值即為Wasserstein 距離。

2.3 損失函數(shù)

本文使用聯(lián)合損失函數(shù)優(yōu)化整個(gè)網(wǎng)絡(luò)，相對于L2損失函數(shù)能縮小最大誤差和最小誤差間的距離，加大對較大誤差的懲罰，L1損失函數(shù)對異常值的敏感度非常低，較小的梯度變化可以防止梯度爆炸的發(fā)生。本文使用平滑的損失函數(shù)LS代替L1，避免L1函數(shù)帶來的不穩(wěn)定，獲得更優(yōu)的魯棒性。LS函數(shù)表達(dá)式如式（15）所示：

其中：

本文使用WGAN 損失作為對抗損失，可表示為：

網(wǎng)絡(luò)總的損失函數(shù)由LS損失和LGAN組成：

將參數(shù)λ設(shè)為100，初始時(shí)不需要懲罰輸入圖像間的誤差，故沒有設(shè)定判別網(wǎng)絡(luò)的限制條件。

3 實(shí)驗(yàn)與分析

3.1 實(shí)驗(yàn)數(shù)據(jù)集

為客觀公正地與對比算法做性能比較，本文使用公共的RESIDE［23］數(shù)據(jù)集來訓(xùn)練網(wǎng)絡(luò)。另外，使用了在真實(shí)世界中有霧圖像的數(shù)據(jù)集［24］驗(yàn)證幾種對比方法的視覺效果。RESIDE 數(shù)據(jù)集包含成對的有霧圖像和相應(yīng)的清晰圖像，由3 部分組成：室內(nèi)訓(xùn)練集（ITS），綜合客觀測試集（SOTS）和混合主觀測試集（HSTS）。這些數(shù)據(jù)集均借助大氣散射模型所生成。NYU2［25］和Middlebury Stereo［26］是包含室內(nèi)深度信息的數(shù)據(jù)集，從中選出1 399 個(gè)圖像，搭配不同的大氣光A和散射系數(shù)β，生成ITS 的13 990 張有霧圖像，A和β分別在區(qū)間［0.7，1.0］和［0.6，1.8］2 個(gè)區(qū)間里均勻隨機(jī)地選取。1 張清晰的圖像搭配使用不同的參數(shù)A和β，生成10 個(gè)相應(yīng)的有霧圖像。測試數(shù)據(jù)集STOS 選擇了來自NYU2的50 張清晰圖像（未與訓(xùn)練集中的清晰圖像重復(fù)），以相同的方式生成500 張有霧圖像。HSTS 包含10 個(gè)合成的室外有霧圖像和10 個(gè)真實(shí)世界的有霧圖像。RESIDE室外補(bǔ)充訓(xùn)練數(shù)據(jù)集RESIDE-β包含296 695個(gè)有霧圖像也是按照相同的方法生成的。本文僅使用SOTS 作為測試數(shù)據(jù)集。

3.2 實(shí)驗(yàn)參數(shù)設(shè)置

為充分使用有霧圖像的上下文信息并加快訓(xùn)練速度，本文首先將有霧圖像劃分為60×60 大小相等的的圖像塊，然后將分割后的有霧圖像塊輸入網(wǎng)絡(luò)進(jìn)行訓(xùn)練，最后將經(jīng)過處理的圖像塊重新組合在一起，并輸出去霧清晰圖像。每次迭代（最后一次迭代除外）的輸出視為階段性結(jié)果，最后一次網(wǎng)絡(luò)迭代的輸出是最終的去霧結(jié)果。網(wǎng)絡(luò)訓(xùn)練的Batch Size 設(shè)置為16，使用與文獻(xiàn)［29］相同的方式初始化網(wǎng)絡(luò)參數(shù)，總共訓(xùn)練500 個(gè)迭代周期，本文使用初始學(xué)習(xí)率為0.000 2 的ADAM 優(yōu)化器優(yōu)化網(wǎng)絡(luò)，網(wǎng)絡(luò)每經(jīng)過100 個(gè)迭代周期后，學(xué)習(xí)率將降低為上一次學(xué)習(xí)率的1/2。實(shí)驗(yàn)使用Linix 系統(tǒng)下NVIDIA 1080 Ti 型號(hào)的GPU，并基于Pytorch1.0 框架的環(huán)境進(jìn)行。

3.3 實(shí)驗(yàn)結(jié)果分析

盡管文獻(xiàn)［23］提出多種方法來評估圖像的去霧效果，但平均峰值信噪比（PSNR）和結(jié)構(gòu)相似性（SSIM）仍是最廣泛使用的圖像去霧效果評估指標(biāo)。本文采用主流的平均PSNR 和SSIM 值用作為定量評估，PSNR 和SSIM 的值越高，表示圖像的去霧效果越優(yōu)秀。表1 中給出了6 種不同去霧算法的實(shí)驗(yàn)結(jié)果。DCP［10］是基于暗通道先驗(yàn)的傳統(tǒng)物理模型去霧算法。AOD-Net［27］、DehazeNet［14］、GFN［28］、GCANet［16］網(wǎng)絡(luò)是數(shù)據(jù)驅(qū)動(dòng)的學(xué)習(xí)算法，均使用到神經(jīng)網(wǎng)絡(luò)。其中，DehazeNet 仍基于大氣散射模型原理得到去霧圖像，而獲得透射率圖和大氣光強(qiáng)度是必要條件。由表1 可知，本文算法的室內(nèi)和室外PSNR 和SSIM指標(biāo)均高于其他5 種算法，且本文算法相較于GCANet，在SOTS 室內(nèi)的PSNR 值提高 了3.41%，SSIM 值提高了0.57%，室外的PSNR 值提高了3.48%，SSIM 值提高了1.39%，本文提出的網(wǎng)絡(luò)算法的性能優(yōu)于其他5 種圖像去霧算法的性能。

表1 不同算法的實(shí)驗(yàn)結(jié)果對比Table 1 Comparison of experimental results of different algorithms

圖5 展示了在SOTS 數(shù)據(jù)集中2 組室內(nèi)圖像和2 組室外圖像的去霧結(jié)果。在視覺上，可以清楚地觀察到DCP 算法處理后的圖像亮度變暗，且經(jīng)過去霧處理后圖像的顏色與真實(shí)圖像的顏色相差太大，出現(xiàn)嚴(yán)重失真現(xiàn)象。使用AOD-Net 算法去霧過后的圖像，仍有少量的霧氣殘留，導(dǎo)致圖像的整體亮度略有下降。與DCP 算法的處理結(jié)果相反，DehazeNet 算法使得經(jīng)過去霧處理后圖像的亮度高于真實(shí)清晰圖像的亮度。GFN 算法可以有效去霧并減少偽影，但當(dāng)去除較濃的霧時(shí)，圖像上仍有少量余霧。盡管GCANet 算法可以很好地消除圖像中的霧氣，但在細(xì)節(jié)處理上并不完美。如圖6 所示，在處理真實(shí)世界的數(shù)據(jù)上，本文算法處理后的圖像色彩飽和、紋理清晰，圖像上沒有余霧的殘留，有很好的泛化性，與GCANet 算法相比，能更好地處理圖像細(xì)節(jié)和紋理，且去霧圖像的亮度更接近于真實(shí)圖像。

圖5 不同算法在SOTS 數(shù)據(jù)集上的去霧效果對比Fig.5 Comparison of defogging effects of different algorithms on SOTS data set

圖6 不同算法在真實(shí)世界數(shù)據(jù)集上的去霧效果對比Fig.6 Comparison of defogging effects of different algorithms on real-word date set

3.4 本文算法應(yīng)用

選取2 幅有霧圖像，本文算法去霧后，用YOLOv3對4 張圖像進(jìn)行目標(biāo)檢測。檢測結(jié)果如圖7 所示。

圖7 有霧圖像和去霧圖像的目標(biāo)檢測對比結(jié)果Fig.7 Comparison results of object detection between hazy images and dehazed images

將識(shí)別物體的準(zhǔn)確率和正確識(shí)別物體的數(shù)目作為目標(biāo)檢測結(jié)果有效性的衡量。在誤差允許范圍±0.002內(nèi)，認(rèn)為檢測結(jié)果一致。在場景1 中，在圖7（a）中檢測出5 個(gè)物體，圖7（b）中檢測出6 個(gè)物體，其中手提包被準(zhǔn)確檢測到，較遠(yuǎn)處的貨車識(shí)別準(zhǔn)確度較有霧時(shí)提高11.08%。在場景2 中，近處的交通燈和車輛檢測結(jié)果基本一致，但遠(yuǎn)處的面包車，圖7（d）的檢測精度較圖7（c）高出24.24%?？梢缘贸霰疚乃惴▽τ谟徐F場景下的目標(biāo)檢測任務(wù)，能夠提高遠(yuǎn)處目標(biāo)的檢測精度和較小目標(biāo)的識(shí)別準(zhǔn)確度。

4 消融實(shí)驗(yàn)

本文驗(yàn)證了生成網(wǎng)絡(luò)中密集反饋模塊的卷積單元個(gè)數(shù)N是否為影響網(wǎng)絡(luò)表達(dá)性能的因素。在實(shí)驗(yàn)中設(shè)置不同數(shù)目的卷積單元，保持同樣的密集連接，并將網(wǎng)絡(luò)的其他參數(shù)均保持一致，以最后網(wǎng)絡(luò)迭代的次數(shù)T作為衡量結(jié)果。實(shí)驗(yàn)結(jié)果如表2 所示，當(dāng)卷積單元個(gè)數(shù)為2～6 時(shí)，網(wǎng)絡(luò)迭代次數(shù)隨著卷積單元數(shù)目的增加不斷減少；當(dāng)卷積單元個(gè)數(shù)大于6 個(gè)卷積塊時(shí)，網(wǎng)絡(luò)的迭代次數(shù)保持4 次不變。迭代次數(shù)少，表示網(wǎng)絡(luò)的表達(dá)能力強(qiáng)，可以快速地學(xué)習(xí)到特征信息；迭代次數(shù)多，表示網(wǎng)絡(luò)的表達(dá)能力較弱，需經(jīng)過多次學(xué)習(xí)才能學(xué)到等量的特征信息。

表2 密集反饋模塊卷積單元與迭代次數(shù)關(guān)系表Table 2 The relationship between the number of convolution units of the dense feedback module and iterations

將表2 繪制為圖8，可以清晰地觀察到，密集反饋模塊中卷積單元個(gè)數(shù)為6 時(shí)，折線已達(dá)到最低值，網(wǎng)絡(luò)性能最優(yōu)，之后再增加卷積單元數(shù)目，網(wǎng)絡(luò)性能并不會(huì)提升。

圖8 密集反饋模塊卷積單元個(gè)數(shù)與迭代次數(shù)的關(guān)系Fig.8 Relationship between the number of convolution units of the dense feedback module and iterations

為進(jìn)一步檢測算法反饋連接的作用，本文進(jìn)行了有反饋連接和無反饋連接的網(wǎng)絡(luò)對比實(shí)驗(yàn)，無反饋連接的網(wǎng)絡(luò)由有反饋的網(wǎng)絡(luò)退化形成，各次迭代間沒有相互聯(lián)系。為公正地比較去霧結(jié)果，設(shè)置無反饋網(wǎng)絡(luò)迭代次數(shù)與有反饋網(wǎng)絡(luò)的迭代次數(shù)相等，在室內(nèi)和室外數(shù)據(jù)集上測試了PSNR 和SSIM 值。如表3 所示，具有反饋機(jī)制的網(wǎng)絡(luò)無論是在室內(nèi)還是室外測試得到的PSNR 和SSIM 的平均值均高于沒有反饋機(jī)制的網(wǎng)絡(luò)，可以得出網(wǎng)絡(luò)中的反饋機(jī)制可以提高圖像去霧的效果。網(wǎng)絡(luò)的迭代循環(huán)機(jī)制，實(shí)現(xiàn)了參數(shù)共享，且網(wǎng)絡(luò)參數(shù)量減少到約為3 847K，平均單幅圖像的計(jì)算時(shí)間僅為0.18 s。

表3 網(wǎng)絡(luò)在數(shù)據(jù)集上的有/無反饋連接實(shí)驗(yàn)結(jié)果對比Table 3 Comparison of experimental results of the network with/without feedback connection on SOTS date set

5 結(jié)束語

本文提出一種將循環(huán)神經(jīng)網(wǎng)絡(luò)與對抗生成網(wǎng)絡(luò)相融合的單幅圖像去霧算法。通過反饋信息引導(dǎo)生成網(wǎng)絡(luò)中的淺層特征信息，從而豐富深層特征信息。利用全局跳躍連接學(xué)習(xí)殘差特征圖，并使用迭代循環(huán)結(jié)構(gòu)減少誤差累積效應(yīng)，增強(qiáng)圖像去霧效果。實(shí)驗(yàn)結(jié)果表明，本文算法所得到的去霧圖像的色彩接近于真實(shí)圖像，且紋理更精細(xì)，在PSNR 和SSIM 指標(biāo)上優(yōu)于其他去霧算法。由于真實(shí)世界中的霧圖沒有對應(yīng)的清晰圖像，因此，下一步將繼續(xù)基于GAN網(wǎng)絡(luò)向無監(jiān)督學(xué)習(xí)方向擴(kuò)展，提出無配對清晰圖像的去霧學(xué)習(xí)算法，實(shí)現(xiàn)無標(biāo)簽的去霧圖像重建，從而減少運(yùn)算時(shí)間。