雙視覺注意網(wǎng)絡(luò)的聯(lián)合圖像去霧和透射率估計(jì)

馮燕茹

（防災(zāi)科技學(xué)院 信息工程學(xué)院，河北 三河065201）

1 引言

受空氣中懸浮顆粒（如霧，霾）的影響，捕獲的戶外圖像會出現(xiàn)對比度低，色彩飽和度差，顏色偏移等圖像退化問題，嚴(yán)重了影響了戶外計(jì)算機(jī)視覺技術(shù)，如目標(biāo)檢測、目標(biāo)識別、目標(biāo)跟蹤的發(fā)揮，進(jìn)而增大了戶外機(jī)器視覺任務(wù)的難度。因此，對霧天場景下獲取的退化圖像實(shí)施去霧處理具有重要的現(xiàn)實(shí)意義和應(yīng)用場景［1-2］。

目前常用的圖像去霧方法主要分為兩類：一類為基于先驗(yàn)的去霧算法，一類為基于神經(jīng)網(wǎng)絡(luò)的去霧算法。基于先驗(yàn)的去霧算法利用先驗(yàn)信息估計(jì)大氣散射物理模型中的透射率和大氣光，從而求得清晰的去霧圖像［3-4］。如He及韓昊男等人利用暗通道先驗(yàn)（Dark Channel Prior，DCP）在局部區(qū)域內(nèi)計(jì)算透射率值［1，5］。Berman等人發(fā)現(xiàn)圖像中的像素點(diǎn)在RGB空間中可聚集成數(shù)百個(gè)顏色線，利用此非局部先驗(yàn)（Non Local Prior，NLP）估計(jì)透射率［6］。Meng等人利用邊緣及紋理的約束先驗(yàn)（Boundary Constraint and Contex?tual Regularization，BCCR）來計(jì)算透射率［7］。然而統(tǒng)計(jì)獲取的先驗(yàn)信息無法適用于所有的霧天場景，導(dǎo)致算法魯棒性差，透射率估計(jì)存在誤差。

隨著深度學(xué)習(xí)的快速發(fā)展，基于神經(jīng)網(wǎng)絡(luò)的圖像去霧算法廣受關(guān)注［8］。如Cai等人提出了Dehazenet網(wǎng)絡(luò)模型，學(xué)習(xí)霧圖與透射率之間的映射關(guān)系［9］。Li等人提出了端到端的All-in-One Dehazing Network（AODN）網(wǎng)絡(luò)模型直接從霧圖中估計(jì)清晰圖［10］。Qu等人提出了Enhanced Pix2pix Dehazing Network（EPDN）網(wǎng)絡(luò)模型，利用生成器估計(jì)去霧結(jié)果，使用辨別器監(jiān)督EPDN模型的中間過程［11］。Liu等人提出了GridDeha?zeNet（Grid DN），它模仿傳統(tǒng)圖像處理算法，在網(wǎng)絡(luò)模型中加入預(yù)處理模塊及后期處理模塊來實(shí)施圖像去霧［12］。雖然上述網(wǎng)絡(luò)模型較基于先驗(yàn)的去霧算法具有更好的魯棒性，但網(wǎng)絡(luò)的構(gòu)建缺乏物理約束，未將大氣散射物理模型融入到網(wǎng)絡(luò)的構(gòu)建中，限制了網(wǎng)絡(luò)的性能。Zhang等人提出了Densely Connected Pyramid Dehazing Net?work（DCPDN）模型，它利用生成器生成透射率和大氣光，再利用辨別器細(xì)化大氣散射模型估計(jì)的去霧結(jié)果［13］。隨后，Zhang等人提出的Joint Transmission Map Estimation and Dehazing Net?work（JTED）聯(lián)合網(wǎng)絡(luò)模型，將U型網(wǎng)絡(luò)估計(jì)的透射率視為霧濃度先驗(yàn)，以引導(dǎo)后續(xù)網(wǎng)絡(luò)注意濃霧區(qū)域，有效實(shí)施去霧［14］。

雖然上述網(wǎng)絡(luò)模型的構(gòu)建嵌入了大氣散射物理模型，但透射率估計(jì)與圖像去霧的相互關(guān)系并未深入探索。實(shí)際上，透射率的估計(jì)過程和圖像的去霧過程相互依賴，從透射率估計(jì)過程中獲得的霧濃度信息可用于圖像去霧。反之，去霧過程中獲得的無霧場景信息又可以進(jìn)一步指導(dǎo)與場景深度相關(guān)的透射率估計(jì)。受注意機(jī)制的啟發(fā)，本文提出了雙視覺注意網(wǎng)絡(luò)模型，它包含兩個(gè)結(jié)構(gòu)相同的單循環(huán)注意網(wǎng)絡(luò)層，分別為圖像去霧層及透射率估計(jì)層。對于每個(gè)單循環(huán)注意網(wǎng)絡(luò)又包含循環(huán)注意網(wǎng)絡(luò)和編碼解碼網(wǎng)絡(luò)?？紤]到霧氣可以看成不同深度的霧層累積而成，對于圖像去霧層，可在真實(shí)透射率圖的監(jiān)督下，利用循環(huán)注意網(wǎng)絡(luò)估計(jì)霧濃度注意圖，將其注入到后續(xù)的編碼解碼網(wǎng)絡(luò)以引導(dǎo)網(wǎng)絡(luò)感知霧的信息，準(zhǔn)確實(shí)施去霧。同樣，對于透射率估計(jì)層，在真實(shí)無霧圖像的監(jiān)督下，可利用循環(huán)注意網(wǎng)絡(luò)估計(jì)場景注意圖，注入到編碼解碼網(wǎng)絡(luò)，以引導(dǎo)網(wǎng)絡(luò)感知場景信息，準(zhǔn)確估計(jì)透射率。其中，為了更深入地探索和挖掘透射率估計(jì)與圖像去霧過程中捕獲信息的相關(guān)性，在圖像去霧層及透射率估計(jì)層的循環(huán)注意網(wǎng)絡(luò)間實(shí)施信息交互，使得霧濃度注意圖和場景注意圖在信息互補(bǔ)的方式下生成。

綜上，本文的主要貢獻(xiàn)如下：（1）提出了雙視覺注意網(wǎng)絡(luò)模型，它包含圖像去霧層及透射率估計(jì)層。（2）在圖像去霧層中，循環(huán)注意網(wǎng)絡(luò)生成的霧濃度注意圖被注入到編碼解碼網(wǎng)絡(luò)中，引導(dǎo)該網(wǎng)絡(luò)感知霧濃度，實(shí)現(xiàn)去霧。在透射率估計(jì)層中，循環(huán)注意網(wǎng)絡(luò)生成的場景注意圖被注入到編碼解碼網(wǎng)絡(luò)中，引導(dǎo)該網(wǎng)絡(luò)感知場景，更好地估計(jì)透射率。（3）圖像去霧層的循環(huán)注意網(wǎng)絡(luò)及透射率估計(jì)層的循環(huán)注意網(wǎng)絡(luò)通過循環(huán)單元實(shí)現(xiàn)信息交互，在信息互補(bǔ)的方式下生成霧濃度注意圖和場景注意圖。實(shí)驗(yàn)結(jié)果表明，本文算法較已有去霧算法具有更高的效率和精度。

2 雙視覺注意網(wǎng)絡(luò)的聯(lián)合圖像去霧和透射率估計(jì)

如圖1所示，雙視覺注意網(wǎng)絡(luò)包含兩層：用于估計(jì)透射率的lt層和用于預(yù)測去霧結(jié)果的ld層。lt層和ld層具有相同的網(wǎng)絡(luò)結(jié)構(gòu)，即均包含循環(huán)注意網(wǎng)絡(luò)和編碼解碼網(wǎng)絡(luò)。其中，紅色和黑色的虛線均為省略循環(huán)操作中的連接（彩圖見期刊電子版）。循環(huán)注意網(wǎng)絡(luò)用于生成視覺注意圖，以引導(dǎo)后續(xù)的編碼解碼網(wǎng)絡(luò)預(yù)測相應(yīng)的結(jié)果。這里，為了讓ld層能感知霧的濃度，采用透射率來監(jiān)督ld層的循環(huán)注意網(wǎng)絡(luò)生成霧濃度注意圖，并引導(dǎo)后續(xù)的編碼解碼網(wǎng)絡(luò)實(shí)現(xiàn)去霧。相關(guān)操作如下：

圖1 雙視覺注意網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Architecture of dual vision attention network

其中：H d和Ed分別為ld層的循環(huán)注意網(wǎng)絡(luò)函數(shù)和編碼解碼網(wǎng)絡(luò)函數(shù)；［］為級聯(lián)操作；I為初始霧圖；I′為去霧結(jié)果；t n與t n-1為第n及第n-1次循環(huán)時(shí)H d輸出；t為H d最終輸出的霧濃度注意圖。

另一方面，考慮到透射率與場景的深度相關(guān)，清晰的場景能為透射率的估計(jì)提供更準(zhǔn)確的深度信息，利用清晰無霧圖像監(jiān)督lt層的循環(huán)注意網(wǎng)絡(luò)產(chǎn)生場景注意圖，并將其注入后續(xù)的編碼解碼網(wǎng)絡(luò)，使其感知場景信息，估計(jì)透射率。操作如下：

其中：H t和Et分別為lt層的循環(huán)注意網(wǎng)絡(luò)函數(shù)和編碼解碼網(wǎng)絡(luò)函數(shù)；T′為透射率估計(jì)結(jié)果；b n與b n-1為第n次及第n-1次循環(huán)時(shí)H t的輸出；b為H t最終輸出的場景注意圖。

值得一提的是，公式（3）不同于公式（1），H t不但輸入了上次循環(huán)輸出的b n-1及初始霧圖I，還輸入了H d在第n次循環(huán)時(shí)輸出的t n。此設(shè)計(jì)充分挖掘了t n與b n的關(guān)聯(lián)性，利用霧濃度注意圖t n引導(dǎo)H t感知霧層的濃度，以有效估計(jì)背景注意圖b n。此外，更利用lt層及l(fā)d層中LSTM循環(huán)單元實(shí)現(xiàn)H t及H d的信息交互（見圖1中紅線），使得在估計(jì)場景注意圖的過程中能利用到霧濃度信息，在預(yù)測霧濃度注意圖的過程中能學(xué)習(xí)場景信息，從而形成高效的雙循環(huán)注意網(wǎng)絡(luò)。

2.1 雙循環(huán)注意網(wǎng)絡(luò)

霧氣可以看成不同深度的霧層累積而成，因此采用循環(huán)網(wǎng)絡(luò)結(jié)構(gòu)逐層提取霧的信息生產(chǎn)霧濃度注意圖及場景注意圖，不但符合物理假設(shè)，還能不斷校正上次循環(huán)時(shí)的估計(jì)誤差。

如圖2所示，lt和ld層中的H t和H d均有相同的網(wǎng)絡(luò)結(jié)構(gòu)，并由以下模塊組成：2個(gè)稠密殘差模塊Resblock［15］，1個(gè)LSTM循環(huán)單元［16］及1個(gè)映射層Map，每個(gè)Resblock包含2個(gè)核為3×3的卷積層。為了使H t和H d能利用彼此捕獲的信息幫助對方的循環(huán)網(wǎng)絡(luò)生成準(zhǔn)確的注意圖，這里采用LSTM循環(huán)單元來實(shí)現(xiàn)雙循環(huán)注意網(wǎng)絡(luò)的隱藏信息交互。故公式（3）lt層中的循環(huán)注意網(wǎng)絡(luò)H t可進(jìn)一步表示為：

圖2 雙循環(huán)注意網(wǎng)絡(luò)結(jié)構(gòu)示意圖Fig.2 Architecture of dual recurrent attentive network

其中：Frest，F(xiàn)lstmt和Fmapt分別為H t中稠密殘差模塊函數(shù)，LSTM函數(shù)及映射層函數(shù)；s nt為第n次循環(huán)時(shí)，F(xiàn)rest函數(shù)的輸出；h nt和c nt為第n次循環(huán)時(shí)，H t中LSTM的隱藏狀態(tài)及記憶單元信息；t n第n次循環(huán)時(shí)Fmapt的輸出。從公式（6）可見，第n次循環(huán)時(shí)H d的隱藏狀態(tài)h hd與H t產(chǎn)生的h n-1t，s nt級聯(lián)，共同作為Flstmt的輸入。

與此類似，公式（1）ld層中的循環(huán)注意網(wǎng)絡(luò)H d可進(jìn)一步表示為：

其中：Fresd，F(xiàn)lstmd和Fmapt分別為H d中稠密殘差模塊函數(shù)，LSTM函數(shù)及映射層函數(shù)；s nd為第n次循環(huán)時(shí)，F(xiàn)resd函數(shù)的輸出；h nd和c nd為第n次循環(huán)時(shí)，H d中LSTM的隱藏狀態(tài)及記憶單元信息；b n第n次循環(huán)時(shí)Fmapd的輸出。同樣，采用第n次循環(huán)時(shí)H t的隱藏狀態(tài)h nt與H d產(chǎn)生的h n-1d，s nd級聯(lián)，共同作為Flstmd的輸入。

由此，H t和H d進(jìn)行了信息交互，H t通過LSTM引入h d來補(bǔ)充學(xué)習(xí)估計(jì)背景注意圖b時(shí)所需的霧濃度信息，而H d通過LSTM引入h t來補(bǔ)充學(xué)習(xí)估計(jì)霧濃度注意圖t時(shí)所需的場景信息，從而形成信息充分挖掘和利用的雙循環(huán)注意網(wǎng)絡(luò)。

這里選用卷積LSTM循環(huán)單元來實(shí)現(xiàn)Flstmt及Flstmd。以Flstmt為例，其卷積LSTM如圖3所示，包含輸入門P，輸入門控制單元G，遺忘門控制單元R，輸出門控制單元O和記憶單元C，且P，O，G，R均利用3個(gè)卷積層來處理接收的特征。其中，輸入門P和輸入門控制單元G共同控制進(jìn)入記憶單元的信息C；遺忘門控制單元R控制著記憶單元C中的信息被保留或被刪除；輸出門控制單元O控制從卷積LSTM中輸出信息。Flstmt可進(jìn)一步表示為：

圖3 LSTM循環(huán)單元結(jié)構(gòu)示意圖Fig.3 Architecture of LSTM recurrent unit.

與此類似，F(xiàn)lstmd可進(jìn)一步表示為：

在訓(xùn)練的過程中，使用真實(shí)無霧圖監(jiān)督H t產(chǎn)生場景注意圖b，使用真實(shí)透射率監(jiān)督H d產(chǎn)生霧濃度注意圖t。H t和H d均使用標(biāo)準(zhǔn)的L2損失函數(shù)，故雙循環(huán)網(wǎng)絡(luò)的損失函數(shù)L r定義如下：

其中：t n及b n為第n次循環(huán)時(shí)雙循環(huán)網(wǎng)絡(luò)輸出的霧濃度注意圖和場景注意圖；J為對應(yīng)的真實(shí)無霧圖；T為真實(shí)透射率。如公式（23），實(shí)驗(yàn)中設(shè)置雙循環(huán)注意網(wǎng)絡(luò)循環(huán)次數(shù)n為3。

2.2 編碼解碼網(wǎng)絡(luò)

由雙循環(huán)注意網(wǎng)絡(luò)生成的霧濃度注意圖t及場景注意圖b被視為視覺注意先驗(yàn)，分別注入后續(xù)的編碼解碼網(wǎng)絡(luò)，以便網(wǎng)絡(luò)感知霧的濃度及場景信息，更準(zhǔn)確地預(yù)測去霧圖像及透射率。如圖1所示，ld層的編碼解碼網(wǎng)絡(luò)Ed及l(fā)t層的編碼解碼網(wǎng)絡(luò)E t具有相同的網(wǎng)絡(luò)結(jié)構(gòu)，即編碼器包含4個(gè)核為3×3，步長分別為5，2，2，2的卷積層Conv，解碼器包含3個(gè)核為1×1，步長為2的反卷積層Deconv，以及1個(gè)核為3×3，步長為1的卷積層。故公式（2）中Ed函數(shù)可進(jìn)一步表示為：

式 中：Fconvdx，x=1，2，...，4分 別 為ld層 編 碼 器 中4個(gè) 卷積函數(shù)；Fconvd5代表ld層解碼器中最后的卷積函數(shù)；Fconvdx，x=1，2，3代 表ld層 解 碼 器 中3個(gè) 反 卷 積 層函數(shù)；e d為ld層編碼器的輸出；I′為最終的去霧結(jié)果。

同理，公式（4）中Et函數(shù)可進(jìn)一步表示為：

其 中：Fconvdx，x=1，2，...，4分 別 為lt層 編 碼 器 中4個(gè) 卷積函數(shù)；Fconvd5代表lt層解碼器中最后的卷積函數(shù)；Fconvdx，x=1，2，3代 表lt層 解 碼 器 中3個(gè) 反 卷 積 層函數(shù)；e t為lt層編碼器的輸出；T′為透射率估計(jì)結(jié)果。

3 損失函數(shù)

模型的訓(xùn)練通過最小化L2函數(shù)來計(jì)算網(wǎng)絡(luò)估計(jì)結(jié)果與真實(shí)結(jié)果間的差異。假設(shè)I′i和J i，i=1，2，...，m為一組合成霧圖和真實(shí)無霧圖。T′i和T i，i=1，2，...，m為一組合成圖像的透射率和真實(shí)透射率，則對應(yīng)的損失函數(shù)為L e可表示為：

結(jié)合雙循環(huán)注意網(wǎng)絡(luò)的損失函數(shù)L r，雙視覺注意網(wǎng)絡(luò)的總損失函數(shù)L定義如下：

其中：a和b為L r和L e兩項(xiàng)的平衡系數(shù)，默認(rèn)設(shè)置a=1，b=1。

4 實(shí)驗(yàn)結(jié)果與分析

本文算法在NVIDIA RTX 2080 Ti GPU的硬件環(huán)境下，應(yīng)用Pytorch深度學(xué)習(xí)框架搭建網(wǎng)絡(luò)實(shí)現(xiàn)。優(yōu)化算法選用β1=0.999，ε=10-8的隨機(jī)梯度下降算法。為驗(yàn)證本文算法的有效性，在合成霧圖及真實(shí)霧圖上對算法的性能進(jìn)行驗(yàn)證，并將本文算法與基于先驗(yàn)的去霧算法和基于神經(jīng)網(wǎng)絡(luò)的去霧算法相對比。

4.1 數(shù)據(jù)集

不同于已有的去霧網(wǎng)絡(luò)［17］，本網(wǎng)絡(luò)模型的訓(xùn)練集需要包含霧圖，清晰圖及透射率，故利用RESIDE數(shù)據(jù)集［18］和NYU-depth2數(shù)據(jù)集［19］創(chuàng)建包含室內(nèi)和室外圖像的數(shù)據(jù)集。對于室內(nèi)霧圖，從NYU-depth2中選取5000張圖，并在大氣光A∈［0.5，1］，散射系數(shù)β=｛0.4，1.6｝的范圍內(nèi)合成數(shù)據(jù)集。對于室外圖像，從RESIDE數(shù)據(jù)集中選取5000張圖，并在A∈［0.8，1.0］，β∈｛0.04，0.06，0.08，0.1，0.12，0.16，0.2｝范圍內(nèi)合成相應(yīng)的霧圖及透射率。其中，5000張室內(nèi)圖像對和5000張室外圖像對構(gòu)成訓(xùn)練集。1000張室內(nèi)圖像對和1000張室外圖像對構(gòu)成測試集A。另一方面，包含500張室內(nèi)圖像及500張室外圖像的公共測試集SOTS［17］也用來測試算法魯棒性。

4.2 模型參數(shù)分析

模型中雙循環(huán)注意網(wǎng)絡(luò)的循環(huán)次數(shù)n，總損失函數(shù)中平衡系數(shù)a和b的選取尤為重要，它將直接影響模型去霧的精度及收斂效率。此小節(jié)將討論n，a和b取值的合理性。首先，在保持a和b值為1的基礎(chǔ)上，設(shè)置循環(huán)次數(shù)n分別為2，3，4，5，對應(yīng)模型在SOTS測試集上測得去霧結(jié)果的SSIM值如表1所示。從中可見，隨著n的增長，SSIM值逐漸提高，但在n為3時(shí)，模型的性能趨于穩(wěn)定。為了平衡模型的去霧精度及計(jì)算成本，本文中循環(huán)次數(shù)n設(shè)置為3。在此基礎(chǔ)上，進(jìn)一步分別設(shè)置a和b值為0.5，1和1，0.5，從表3可見，這兩種參數(shù)設(shè)置下的SSIM值均小于n為3，a和b均為1時(shí)模型的SSIM值0.974。圖4為a和b不同設(shè)置下對應(yīng)的模型，在訓(xùn)練0到180時(shí)期時(shí)，SOTS測試集上測得的SSIM曲線，從中可見當(dāng)a=1，b=1，網(wǎng)絡(luò)模型在40時(shí)期時(shí)開始收斂，而當(dāng)a=0.5，b=1和a=1，b=0.5時(shí)，模型分別在75時(shí)期和94時(shí)期開始收斂，故a=1，b=1時(shí)模型收斂更快。因此本文設(shè)置n為3，a和b均為1。

表1 不同參數(shù)設(shè)置的SSIM值對比Tab.1 Comparison of parameters setting with different values in terms of SSIM

圖4 不同參數(shù)設(shè)置時(shí)SSIM值對比Fig.4 Comparison of SSIM values with different settings of parameters.

4.3 透射率結(jié)果對比

為驗(yàn)證雙視覺注意網(wǎng)絡(luò)估計(jì)透射率的有效性，本文不但選用了DCP［5］，BCCR［7］，JTED［14］，DCPDN［13］算法進(jìn)行結(jié)果對比，還將雙視覺注意網(wǎng)絡(luò)的ld層去除，獲得僅有l(wèi)t層的單視覺注意網(wǎng)絡(luò)模型進(jìn)行性能對比。不同算法在測試集A的室內(nèi)和室外圖像上估計(jì)透射率的平均SSIM值如表2所示，從中可見本文算法無論在室內(nèi)圖像還是室外圖像上均具有最高的SSIM值，透射率估計(jì)的準(zhǔn)確度較高。

表2 不同算法的透射率SSIM值對比Tab.2 Comparison of transmission map by different al?gorithms in terms of SSIM

4.4 合成圖像去霧結(jié)果對比

為驗(yàn)證本文算法去霧的有效性，選用JT?ED［14］，EPDN［11］，GridDN［12］，DCPDN［13］算法及l(fā)d層的單視覺注意網(wǎng)絡(luò)模型進(jìn)行對比。視覺結(jié)果如圖5所示，從中可見，JTED的結(jié)果仍存在霧殘余，如圖5（b）的第2行中，桌椅區(qū)域仍存在去霧不徹底的現(xiàn)象。EPDN及Grid DN算法雖能有效去除霧氣，但部分區(qū)域存在顏色失真，如圖5（c）第2行的墻面及圖5（d）第1行的天空區(qū)域均出現(xiàn)了顏色較深的色塊。DCPDN算法的去霧結(jié)果亮度較高，導(dǎo)致圖5（e）第1行的天空區(qū)域顏色過白，與真實(shí)結(jié)果（圖5（h））的色調(diào)差異明顯。本文算法與ld層的單視覺注意網(wǎng)絡(luò)較其他去霧算法具有更好的去霧效果，但仔細(xì)觀察仍可發(fā)現(xiàn)，本文算法的去霧結(jié)果圖5（g）較ld層的單視覺注意網(wǎng)絡(luò)（圖5（f））更接近真實(shí)圖像（圖5（h）），例如圖5（f）第2行的椅背顏色略黑，而圖5（g）第2行的椅背顏色更接近真實(shí)圖像。表3進(jìn)一步展示了各算法在不同測試集上的量化結(jié)果。從中可見，本文算法除在室外圖像測試集A及測試集SOTS上的平均SSIM值略低于Grid DN以外，其余情況均優(yōu)于對比算法，由此證明，本文算法借助于信息交互的雙視覺注意網(wǎng)絡(luò)能有效實(shí)現(xiàn)去霧。

表3 不同算法去霧結(jié)果的SSIM值和PSNR值對比Tab.3 Comparison of dehazing methods by different al?gorithms in terms of SSIM and PSNR

圖5 合成圖去霧結(jié)果對比Fig.5 Comparison of dehazing results on synthetic images

4.5 真實(shí)圖像去霧結(jié)果對比

圖6給出了不同算法的真實(shí)圖像去霧結(jié)果。為更好地觀察色調(diào)及細(xì)節(jié)信息，圖6的第2行和第4行放大了圖6第1行和第3行的局部區(qū)域。從中可以看出，JTED［14］及EPDN［110］算法的去霧結(jié)果偏暗，如圖6（b）（c）的第2行細(xì)節(jié)放大圖的色調(diào)明顯暗于初始霧圖（圖6（a））的色調(diào)。Grid?DN［11］算法的去霧結(jié)果在部分區(qū)域出現(xiàn)了明顯的色彩失真，如圖6（d）第4行圖像中深色的水面和陸面。DCPDN算法［13］結(jié)果（圖6（e））存在亮度過大的問題，如圖6（e）第3行圖像的天空區(qū)域因亮度過大而轉(zhuǎn)變?yōu)榘咨?。相比而言，ld層網(wǎng)絡(luò)和本文算法的去霧結(jié)果均能較好地去除真實(shí)圖像中的霧氣，但仔細(xì)觀察發(fā)現(xiàn)，ld層網(wǎng)絡(luò)的去霧結(jié)果（圖6（f））仍有霧殘余，如圖6（f）的第4行圖像，而本文算法的去霧結(jié)果（圖6（g））不但無霧殘余，還能最大程度上保留圖像原有的色調(diào)及細(xì)節(jié)信息。

4.6 用戶視覺評價(jià)

本節(jié)進(jìn)一步采用用戶視覺信息作為評價(jià)指標(biāo)對各算法的去霧結(jié)果進(jìn)行判斷。選取不同年齡，不同性別，不同領(lǐng)域的用戶100人，對100張圖像的去霧結(jié)果進(jìn)行評分，其中包含50張合成霧圖，50張真實(shí)霧圖。評價(jià)采用5分制，5分為去霧質(zhì)量優(yōu)，無失真；4分為去霧質(zhì)量良好，有些許失真；3分為去霧質(zhì)量一般，失真明顯；2分為去霧質(zhì)量差，失真嚴(yán)重；1分為去霧質(zhì)量很差，無法接受。

表4為用戶對各算法評價(jià)分?jǐn)?shù)的平均值。從中可見，本文算法分值最高為4.4分，而在合成霧圖的去霧結(jié)果量化評價(jià)表3中，不占優(yōu)勢的EP?DN算法，分值位于第二，4.3分。Grid DN，DCP?DN和JTED算法則位于第三，第四和第五。這主要是由于EPDN算法結(jié)果雖有失真，但具有較強(qiáng)的對比度，用戶視覺感受下霧殘余較少，主觀判斷失真不明顯，去霧質(zhì)量好。而本文算法結(jié)果雖失真少，但去霧結(jié)果的色彩對比度不強(qiáng)，部分用戶給予的評分較EPDN算法低，因此綜合評分與EPDN算法結(jié)果差距不大。為此，在未來的研究中，可在本文算法中添加后期處理模塊，以進(jìn)一步提高去霧結(jié)果的色彩對比度。

表4 用戶視覺評分Tab.4 User visual evaluation

4.7 運(yùn)行時(shí)間對比

本節(jié)在SOTS數(shù)據(jù)集上比較本文算法與基于 深 度 學(xué) 習(xí) 去 霧 算 法JTED［14］，EPDN［11］，Grid?DN［12］，DCPDN［13］和基于先驗(yàn)去霧算法DCP［5］的平均運(yùn)行時(shí)間。從表5可見，本文算法對單張霧天的平均處理時(shí)間僅為0.043 s，不但明顯優(yōu)于DCP算法，還優(yōu)于其他深度學(xué)習(xí)的算法，具有較高的運(yùn)行效率。

表5 不同算法的平均運(yùn)行時(shí)間對比Tab.5 Average running time of different methods（s）

5 結(jié)論

為充分探索和挖掘透射率的估計(jì)過程和圖像的去霧過程中捕獲信息的相關(guān)性，提高網(wǎng)絡(luò)的性能。本文提出了雙視覺注意網(wǎng)絡(luò)的聯(lián)合圖像去霧和透射率估計(jì)模型。模型包含圖像去霧層和透射率估計(jì)層，且每層網(wǎng)絡(luò)均包含注意循環(huán)網(wǎng)絡(luò)和編碼解碼網(wǎng)絡(luò)。在圖像去霧層，循環(huán)注意網(wǎng)絡(luò)在透射率的監(jiān)督下生成霧濃度注意圖，以引導(dǎo)后續(xù)的編碼解碼網(wǎng)絡(luò)感知霧的濃度，實(shí)現(xiàn)圖像去霧。同樣，在透射率估計(jì)層，循環(huán)注意網(wǎng)絡(luò)在真實(shí)無霧圖的引導(dǎo)下生成場景注意圖，以引導(dǎo)編碼解碼網(wǎng)絡(luò)感知場景信息，生成透射率。值得一提的是，為了更準(zhǔn)確，高效地生成霧濃度注意圖和場景注意圖，圖像去霧層及透射率估計(jì)層更利用其循環(huán)注意網(wǎng)絡(luò)的循環(huán)單元實(shí)現(xiàn)信息交互，從而形成相互協(xié)作的雙循環(huán)注意網(wǎng)絡(luò)，在信息互補(bǔ)的方式下生成注意圖。在合成圖及真實(shí)圖上的測試表明，本文算法采用的圖像去霧層與透射率估計(jì)層的信息交互方式能有效地提高網(wǎng)絡(luò)性能，在公共合成數(shù)據(jù)集上測得的算法精度及運(yùn)行效率明顯優(yōu)于已有算法，單張霧圖的平均處理時(shí)間僅為0.043 s，可用于圖像去霧的工程實(shí)踐中。