圖像融合的循環(huán)神經(jīng)網(wǎng)絡(luò)去霧算法

任 敏 敏

(武警工程大學(xué) 信息工程學(xué)院，西安 710086)

1 引 言

對(duì)于戶外機(jī)器視覺(jué)系統(tǒng)而言，霧是影響成像質(zhì)量的重要因素.受大氣中懸浮顆粒對(duì)光線散射作用的影響，霧天條件下拍攝的戶外圖像往往會(huì)出現(xiàn)遠(yuǎn)景目標(biāo)能見度差、對(duì)比度低、顏色失真等質(zhì)量退化問(wèn)題，為后續(xù)的機(jī)器視覺(jué)任務(wù)，如目標(biāo)的識(shí)別和跟蹤、交通監(jiān)控、智能導(dǎo)航等，帶來(lái)障礙和挑戰(zhàn).因此，有效地對(duì)霧天圖像實(shí)施去霧，是確保戶外機(jī)器視覺(jué)系統(tǒng)克服霧天成像影響，穩(wěn)定工作的重要前提.

傳統(tǒng)的圖像去霧算法主要分為兩類：一類是圖像增強(qiáng)處理，另一類是基于大氣散射成像模型的去霧算法.圖像增強(qiáng)處理主要是通過(guò)增強(qiáng)圖像對(duì)比度，突出景物特征來(lái)實(shí)現(xiàn)去霧，如直方圖均衡化[1]、伽馬校正[2]、Retinex算法[3]、小波變換[4]等等.這類算法不研究霧天圖像成像的機(jī)理，僅利用增強(qiáng)算法進(jìn)行圖像清晰化處理，對(duì)圖像中的濃霧區(qū)域，復(fù)原效果較差，細(xì)節(jié)信息易丟失.

而大氣散射成像模型的去霧算法多利用統(tǒng)計(jì)的先驗(yàn)知識(shí)，估計(jì)模型中的物理量，如透射率，來(lái)實(shí)施去霧.如He等人[5]提出的暗通道先驗(yàn)去霧算法.它發(fā)現(xiàn)清晰無(wú)霧的戶外圖像中，一個(gè)局部區(qū)域內(nèi)總有像素在一個(gè)顏色通道中的灰度值趨近于零.利用此暗通道先驗(yàn)可有效計(jì)算透射率.Fattal等人[6]利用圖像中局部鄰域內(nèi)的像素值在RGB顏色空間呈一維線性分布特性來(lái)估計(jì)透射率.Berman等人[7]提出了非局部先驗(yàn)去霧算法，它利用無(wú)霧圖像中顏色信息在空間坐標(biāo)系下呈線性分布的霧線來(lái)預(yù)測(cè)透射率.雖然算法具有簡(jiǎn)單高效的優(yōu)勢(shì)，但當(dāng)已有先驗(yàn)無(wú)法準(zhǔn)確描述復(fù)雜霧天場(chǎng)景圖像的透射率時(shí)，去霧結(jié)果會(huì)出現(xiàn)光暈，顏色失真等問(wèn)題.為此，更多基于特征融合和結(jié)果優(yōu)化的去霧算法相繼提出.如Li等人[8]通過(guò)融合暗通道，照明，色度，清晰度，顯著性等霧氣相關(guān)的特征實(shí)現(xiàn)去霧.Galdran等人[9]通過(guò)融合多個(gè)人工曝光的霧天圖像實(shí)施去霧.Zhao等人[10]融合基于像素和基于鄰域計(jì)算的透射率實(shí)現(xiàn)去霧.此外，多尺度優(yōu)化策略也被采用來(lái)優(yōu)化去霧結(jié)果.這類算法雖有效地提高了去霧性能，但融合策略中的權(quán)重是通過(guò)對(duì)大量圖像特征進(jìn)行人工統(tǒng)計(jì)和評(píng)估獲取的，不僅耗時(shí)費(fèi)力，還易出現(xiàn)誤差，若能采用機(jī)器學(xué)習(xí)的策略計(jì)算融合權(quán)重，將進(jìn)一步提高算法的去霧性能.

目前，基于機(jī)器學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)去霧算法被廣泛采用，它通過(guò)構(gòu)建霧天圖像與清晰圖像之間的非線性模型，有效實(shí)現(xiàn)端到端的去霧[11].如Li等人[12]將透射率和大氣光強(qiáng)的關(guān)聯(lián)參數(shù)整合到神經(jīng)網(wǎng)絡(luò)去霧模型中，構(gòu)建一體化的去霧網(wǎng)絡(luò)All in One Dehazing Network(AOD-Net).陳永等人[13]利用多尺度卷積核并行提取霧天圖像的不同特征，構(gòu)建了多尺度卷積神經(jīng)網(wǎng)絡(luò)去霧模型Multi Scale Dehaze Network(MSDN).Zhang 等人[14]利用編碼解碼網(wǎng)絡(luò)，U 型網(wǎng)絡(luò)和生成對(duì)抗網(wǎng)絡(luò)聯(lián)合學(xué)習(xí)大氣散射物理成像模型中的透射率，大氣光強(qiáng)和清晰圖像，構(gòu)建了稠密金字塔去霧模型Densely Connected Pyramid Network(DCPN).黃靖等人[15]將自編碼網(wǎng)絡(luò)與回歸模型相結(jié)合，提出了端到端的自編碼去霧網(wǎng)絡(luò).然而，這類神經(jīng)網(wǎng)絡(luò)的去霧算法仍存在以下兩點(diǎn)問(wèn)題：其一，網(wǎng)絡(luò)多為黑盒模型，并未將傳統(tǒng)方法中行之有效的特征融合策略融入其中；其二，因受參數(shù)，網(wǎng)絡(luò)層數(shù)及內(nèi)存空間的限制，網(wǎng)絡(luò)模型不能有效實(shí)施去霧結(jié)果由粗到細(xì)的優(yōu)化.為此，本文將傳統(tǒng)去霧算法中的信息融合和結(jié)果優(yōu)化策略與神經(jīng)網(wǎng)絡(luò)算法相結(jié)合，提出了圖像融合的循環(huán)神經(jīng)網(wǎng)絡(luò)去霧算法.該算法首先由初始霧天圖像衍生出白平衡圖像、對(duì)比度增強(qiáng)圖像、伽馬校正圖像作為融合算法所需的融合圖像；隨后，利用編碼解碼的神經(jīng)網(wǎng)絡(luò)自動(dòng)地學(xué)習(xí)和生成圖像融合時(shí)所需的融合權(quán)重，解決了傳統(tǒng)圖像融合去霧算法中融合權(quán)重估計(jì)耗時(shí)費(fèi)力，存在偏差的問(wèn)題；最后，在此網(wǎng)絡(luò)模型上進(jìn)一步添加循環(huán)網(wǎng)絡(luò)結(jié)構(gòu)，以便在不增加網(wǎng)絡(luò)層數(shù)和參數(shù)的前提下，有效地優(yōu)化去霧結(jié)果.實(shí)驗(yàn)結(jié)果表明，本文算法較已有算法的去霧精度提高了19%.

2 多圖像融合的循環(huán)神經(jīng)網(wǎng)絡(luò)去霧算法

2.1 算法綜述

多圖像融合的循環(huán)神經(jīng)網(wǎng)絡(luò)去霧算法流程圖見圖1.

圖1 網(wǎng)絡(luò)算法流程圖

Fig.1 Flow chart of network algorithm

各步驟的簡(jiǎn)要說(shuō)明如下：

2.1.1 融合圖像獲取

霧天圖像的降質(zhì)主要體現(xiàn)在兩個(gè)方面：一是因大氣光所導(dǎo)致的色偏，二是因光線衰減而產(chǎn)生的低能見度.如果能從初始的霧圖中衍生出多張去除色偏，恢復(fù)能見度的圖像，則可利用圖像融合策略融合各圖像的去霧信息，高效地實(shí)現(xiàn)去霧.為此，我們采用白平衡算法去除色偏，利用圖像增強(qiáng)算法加強(qiáng)圖像整體的對(duì)比度.考慮到圖像增強(qiáng)的結(jié)果中仍會(huì)存在偏暗的區(qū)域，進(jìn)一步采用伽馬校正來(lái)獲取增亮后的圖像，以彌補(bǔ)增強(qiáng)圖像的缺陷.隨后，將此三類衍生圖像聯(lián)合霧天圖像共同作為神經(jīng)網(wǎng)絡(luò)模型的輸入，以便自動(dòng)學(xué)習(xí)圖像融合的權(quán)重.

2.1.2 多圖像融合的循環(huán)網(wǎng)絡(luò)構(gòu)建

已有文獻(xiàn)[14]表明，編碼解碼網(wǎng)絡(luò)能利用自底向上和自頂向下的路徑提取不同尺度下的層次化信息，有效地實(shí)現(xiàn)圖像去霧.為此，我們采用編碼解碼網(wǎng)絡(luò)作為多圖像融合去霧的框架.然而，此類前向傳遞的網(wǎng)絡(luò)結(jié)構(gòu)難以在不添加網(wǎng)絡(luò)深度和網(wǎng)絡(luò)參數(shù)的前提下，實(shí)現(xiàn)去霧結(jié)果的優(yōu)化.這里，我們不但將網(wǎng)絡(luò)的輸出作為網(wǎng)絡(luò)的輸入，更將LSTM循環(huán)單元嵌入編碼解碼網(wǎng)絡(luò)中，構(gòu)建有效的循環(huán)神經(jīng)網(wǎng)絡(luò)，使得去霧結(jié)果在循環(huán)優(yōu)化過(guò)程中，共享網(wǎng)絡(luò)參數(shù)，節(jié)省網(wǎng)絡(luò)內(nèi)存.

2.2 融合圖像獲取

本文采用初始霧天圖像衍生出的白平衡圖像Iw，對(duì)比度增強(qiáng)圖像Ie，伽馬校正圖像Ig作為融合圖像.以霧天圖像圖2(a)為例，三幅衍生圖如圖2(b)-圖2(d)所示.

圖2 初始霧圖，白平衡圖，對(duì)比度增強(qiáng)圖和伽馬校正圖

2.2.1 白平衡圖像

白平衡圖像能恢復(fù)出有霧場(chǎng)景中潛在的色彩信息，消除大氣光引起的顏色偏移.這里采用灰度世界假設(shè)理論來(lái)獲取白平衡圖像[16].該假設(shè)認(rèn)為自然界景物對(duì)于光線的平均反射均值在總體上是個(gè)“灰色”定值，即彩色圖像中RGB三個(gè)通道的平均值趨于灰色值K.當(dāng)霧天圖像中投射的大氣光擾亂了原始圖像的灰色世界假設(shè)后，可利用灰度世界假設(shè)來(lái)修正霧圖，使其重新滿足此統(tǒng)計(jì)規(guī)律，消除色偏.具體來(lái)說(shuō)，可利用可公式(1)來(lái)計(jì)算K值：

(1)

得到K值后，即可對(duì)霧圖I的像素進(jìn)行校正：

(2)

雖然白平衡圖像去除大氣光所引起的色偏，但處理后的結(jié)果仍存在對(duì)比度低的問(wèn)題，如圖2(b)所示.為此，引入了對(duì)比度增強(qiáng)圖像.

2.2.2 對(duì)比度增強(qiáng)圖像

(3)

2.2.3 伽馬校正圖像

伽馬校正圖像是利用非線性色調(diào)操作，對(duì)圖像中的亮度或三色激勵(lì)值進(jìn)行編碼或解碼而得到的一種對(duì)比度增強(qiáng)圖像.計(jì)算方法如下：

Ig=αIγ

(4)

式中：α為常系數(shù)，γ為伽馬校正系數(shù)，本文分別設(shè)置為1和2.5.實(shí)驗(yàn)表明，Ig能有效提高初始霧圖I的能見度，彌補(bǔ)增強(qiáng)圖像Ie易產(chǎn)生黑暗區(qū)域的缺陷，如圖2(c)中黑暗的地面區(qū)域在圖2(d)中得到了亮度的增強(qiáng).隨后，將初始霧圖I與3幅衍生圖像串聯(lián)，共同作為網(wǎng)絡(luò)模型的輸入.

2.3 圖像融合的循環(huán)網(wǎng)絡(luò)構(gòu)建

最近，編碼解碼的神經(jīng)網(wǎng)絡(luò)已被證明能成功地應(yīng)用于圖像去霧，它在編碼階段將初始霧圖轉(zhuǎn)換為空間尺寸逐漸減小，通道數(shù)逐漸增多的特征圖，而在隨后的解碼階段將特征圖逐步映射為與輸入圖像大小相同的清晰圖.模型雖能提取不同尺度下的層次化特征，但這種前向傳遞的網(wǎng)絡(luò)結(jié)構(gòu)難以在不增加網(wǎng)絡(luò)參數(shù)和深度的前提下，實(shí)現(xiàn)去霧結(jié)果由粗到細(xì)的優(yōu)化.為此，本文提出了循環(huán)編碼解碼的去霧網(wǎng)絡(luò)來(lái)解決此問(wèn)題.

2.3.1 編碼解碼的去霧網(wǎng)絡(luò)構(gòu)建

首先，我們構(gòu)建一個(gè)基本的編碼解碼去霧網(wǎng)絡(luò).選用1個(gè)卷積層(Conv及激活函數(shù)Relu)和文獻(xiàn)[17]中除去批歸一化處理的3個(gè)殘差模塊(Resblock)共同構(gòu)成編碼模塊.從圖3中可見，編碼器選用了3個(gè)編碼模塊，.同時(shí)，解碼器對(duì)稱的選用了3個(gè)解碼模塊，每個(gè)解碼模塊包含3個(gè)殘差模塊(Resblock)和1個(gè)反卷積層(DeConv及激活函數(shù)Relu).由此，輸入圖像在經(jīng)過(guò)每個(gè)編碼模塊時(shí)，特征空間大小縮小一半，通道數(shù)加倍，而在經(jīng)過(guò)解碼模塊時(shí)，特征空間尺寸加倍，通道數(shù)目減半.此外，網(wǎng)絡(luò)還使用了跳躍連接，使編碼階段的特征能直接連接到解碼階段，加快網(wǎng)絡(luò)收斂.

圖3 基于編碼解碼的去霧網(wǎng)絡(luò)結(jié)構(gòu)

網(wǎng)絡(luò)模型構(gòu)建好后，在網(wǎng)絡(luò)的輸入端，可實(shí)施一個(gè)早期的融合，即將原始霧圖I與其衍生圖像(白平衡圖像Ib，對(duì)比度增強(qiáng)圖像Ie，伽馬校正圖像Ig)相串聯(lián)，共同構(gòu)成網(wǎng)絡(luò)的輸入.因此，編碼器函數(shù)可表示如下：

m=Nete(I,Ib,Ie,Ig;θe)

(5)

式中：I,Ib,Ie,Ig為網(wǎng)絡(luò)的輸入；Nete是參數(shù)為θe的編碼器函數(shù)；m為編碼器輸出.

而解碼器輸出了三種衍生圖像對(duì)應(yīng)的融合權(quán)重圖即白平衡權(quán)重圖wb，對(duì)比度增強(qiáng)權(quán)重圖we及伽馬校正權(quán)重圖wg，以便利用權(quán)重圖將Ib，Ie，Ig進(jìn)一步融合，得到去霧圖像.故解碼器的函數(shù)可表示為：

wb,we,wg=Netd(m;θd)

(6)

式中：Netd是參數(shù)為θd的編碼器函數(shù).

圖像融合后估計(jì)的無(wú)霧圖像J可由式(7)得到：

J=wb⊙Ib+we⊙Ie+wg⊙Ig

(7)

式中：⊙為元素的點(diǎn)乘操作，J為估計(jì)的清晰圖像.

2.3.2 循環(huán)編碼解碼的去霧網(wǎng)絡(luò)構(gòu)建

為了使編碼解碼的去霧網(wǎng)絡(luò)在不加深網(wǎng)絡(luò)深度和參數(shù)的前提下，實(shí)現(xiàn)去霧結(jié)果由粗到細(xì)的優(yōu)化，本文不但將上次循環(huán)時(shí)網(wǎng)絡(luò)的輸出作為下次循環(huán)時(shí)網(wǎng)絡(luò)的輸入，還創(chuàng)新性地在編碼解碼網(wǎng)絡(luò)中添加LSTM循環(huán)單元，使得上次循環(huán)時(shí)，LSTM提取的隱藏狀態(tài)能有效地傳遞到下次循環(huán)時(shí)LSTM單元中，從而充分利用中間層包含的豐富信息.這里將LSTM模塊插入到編碼器和解碼器中間的瓶頸處，以兩次網(wǎng)絡(luò)循環(huán)為例，改進(jìn)后網(wǎng)絡(luò)模型如圖4.網(wǎng)絡(luò)的函數(shù)更新為：

mt=Nete(Jt-1,Ib,Ie,Ig;θe)

(8)

ht=RLSTM(ht-1,mt,θLSTM)

(9)

wbt,wet,wgt=Netd(ht;θd)

(10)

(11)

式中：RLSTM為參數(shù)θLSTM的LSTM函數(shù).t為循環(huán)次數(shù).從公式(8)可見，在t次循環(huán)時(shí)，t-1次循環(huán)時(shí)網(wǎng)絡(luò)的輸出Jt-1串聯(lián)衍生圖像Ib，Ie，Ig作為編碼器的輸入，輸出特征mt；隨后在公式(9)，mt串聯(lián)t-1次循環(huán)時(shí)LSTM模塊輸出的隱藏狀態(tài)ht-1作為此次循環(huán)LSTM模塊的輸入，輸出ht；在公式(10)，ht輸入解碼器，輸出此次循環(huán)時(shí)的權(quán)重圖wbt,wet,wgt；最后，公式(11)利用權(quán)重融合三幅衍生圖像，得到t次循環(huán)時(shí)網(wǎng)絡(luò)輸出Jt.重復(fù)公式(9)-公式(11)，形成循環(huán)網(wǎng)絡(luò).本文設(shè)置t=2，且當(dāng)t=1時(shí)，J0為初始霧圖I.

值得一提的是LSTM模塊有多種實(shí)現(xiàn)方法，為方便實(shí)施，本文采用卷積LSTM來(lái)實(shí)現(xiàn)上述操作，即采用卷積操作(Conv)來(lái)設(shè)置LSTM模塊中的輸入門i，輸入門控制單元g，遺忘門控制單元f，輸出門控制單元o和記憶單元c詳見圖5所示.這里，輸入門i和輸入門控制單元g共同控制進(jìn)入記憶單元c的信息；遺忘門控制單元f控制著記憶單元c中的信息被保留或被刪除；輸出門控制單元o控制從LSTM中輸出信息.

圖4 兩次循環(huán)的編碼解碼去霧網(wǎng)絡(luò)結(jié)構(gòu)

圖5 LSTM模型內(nèi)部結(jié)構(gòu)圖

當(dāng)編碼器的輸出m′進(jìn)入LSTM模塊時(shí)，它將作為i，g，f和c的輸入，并由卷積操作得到對(duì)應(yīng)的輸出：

(12)

式中：it為t次循環(huán)時(shí)，進(jìn)入輸入門的信息，它由卷積操作自動(dòng)學(xué)習(xí)，故*為卷積操作，wmi為卷積權(quán)重，bi為偏移.同理，gt為t次循環(huán)時(shí)，輸入門控制單元g的控制信息，也由wmg權(quán)重和bg偏移的卷積獲取.ft和ot為t次循環(huán)時(shí)，遺忘門的控制信息和輸出門的控制信息，wmf，wmo和bf，bo分別為各自卷積的權(quán)重和偏移.

由此，t次循環(huán)時(shí)，記憶單元中的信息ct，可由輸入門控制單元控制的信息it⊙gt和遺忘門控制單元更新的記憶信息ft⊙ct-1共同決定：

ct=ft⊙ct-1+it⊙gt

(13)

式中：ct為t次循環(huán)時(shí)記憶單元中的信息，ct-1為t-1次循環(huán)時(shí)記憶單元中的信息.

最后，利用t次循環(huán)時(shí)輸出門控制單元的信息ot，得到LSTM模塊的輸出信息：

ht=ot⊙tanh(ct)

(14)

式中：tanh為激勵(lì)函數(shù).ht為t次循環(huán)時(shí)LSTM的輸出.

2.3.3 損失函數(shù)

對(duì)循環(huán)網(wǎng)絡(luò)的每次輸出均使用標(biāo)準(zhǔn)的L2損失函數(shù)，故網(wǎng)絡(luò)總損失函數(shù)為：

(15)

式中：Jt為第t次循環(huán)時(shí)網(wǎng)絡(luò)輸出，J*為真實(shí)去霧結(jié)果.

3 實(shí)驗(yàn)驗(yàn)證

3.1 實(shí)驗(yàn)數(shù)據(jù)

為了有效地訓(xùn)練和測(cè)試網(wǎng)絡(luò)模型，本文選用NYU2數(shù)據(jù)集[18]中1100張清晰圖像J及其深度圖d，合成訓(xùn)練和測(cè)試所需的霧圖I.具體來(lái)說(shuō)，對(duì)已知1000張清晰圖像J和d，隨機(jī)選取(0.5,1.0)內(nèi)的一個(gè)值作為光強(qiáng)A，隨機(jī)選取(0.5,1.5)內(nèi)的7個(gè)值作為散射系數(shù)β，即可由大氣散射物理成像模型I=Je-βd+(1-e-βd)A可合成7000張不同霧氣濃度的圖像，由此構(gòu)成訓(xùn)練集.同理，對(duì)于剩余的100張霧圖，我們?cè)?0.5,1.0)范圍內(nèi)選定一個(gè)A值，在(0.5,1.0)，(1.0,1.5)和(0.5,1.5)三個(gè)范圍內(nèi)，每個(gè)范圍各選取三個(gè)β值，以合成300張薄霧圖，300張濃霧圖和300張混合霧圖，作為測(cè)試集.此外，我們還選取了SOTS公共測(cè)試集[19]用于性能測(cè)試，該數(shù)據(jù)集中含有不同霧氣濃度的圖像1000張，包含500張室內(nèi)圖像和500張室外圖像.

表1 網(wǎng)絡(luò)參數(shù)設(shè)置

Table 1 Network parameters setting

網(wǎng)絡(luò)組件網(wǎng)絡(luò)層核步長(zhǎng)通道特征大小Conv(編碼模塊1)3×3232256×256編碼器Conv(編碼模塊2)3×326464×64Conv(編碼模塊3)3×3212832×32LSTM(iConv,gConv,fConv,oConv)3×3(1,1,1,1)12832×32Deconv(解碼模塊1)3×326464×64解碼器Deconv(解碼模塊2)3×3232256×256Deconv(解碼模塊3)3×323512×512

3.2 網(wǎng)絡(luò)參數(shù)設(shè)置

網(wǎng)絡(luò)的結(jié)構(gòu)參數(shù)如表1所示，由于殘差模塊(Resblock)選用了文獻(xiàn)[17]的默認(rèn)設(shè)置，且并不改變通道數(shù)及特征空間大小，因此表1中僅列出編碼模塊、解碼模塊和LSTM模塊中的卷積和反卷積設(shè)置.網(wǎng)絡(luò)訓(xùn)練，選用了初始學(xué)習(xí)率為0.0001的隨機(jī)梯度下降算法，且在每10000次迭代后學(xué)習(xí)率下降75%.所有輸入圖像大小均設(shè)置為512×512.模型在訓(xùn)練400，000次迭代后獲取最優(yōu)結(jié)果.

3.3 合成圖像測(cè)試結(jié)果對(duì)比

為測(cè)試算法的性能，本文將所提算法與目前幾種主流的去霧算法相對(duì)比，包括基于先驗(yàn)的算法，如暗通道先驗(yàn)算法[5]，非局部先驗(yàn)算法[7]，以及基于深度學(xué)習(xí)的算法，如AOD-Net算法[12]，MSDN算法[13].量化指標(biāo)選用SSIM(Structure Similarity)和PSNR(Peak Signal to Noise Ratio).測(cè)試圖像包括本文合成的900張不同濃度的霧圖以及SOTS 公共測(cè)試集中1000張室內(nèi)及室外霧圖.圖6(a)是從兩個(gè)數(shù)據(jù)集中選取2幅霧天圖像，圖6(b)～圖6(f)為各算法對(duì)應(yīng)的去霧結(jié)果，圖6(g)為真實(shí)結(jié)果.從圖6可見，基于先驗(yàn)的算法大多過(guò)分估計(jì)了霧的濃度，去霧結(jié)果偏暗，如圖6(b)及圖6(c)第一行中墻面區(qū)域的顏色較深，且出現(xiàn)不同程度的光暈現(xiàn)象.圖6(b)及圖6(c)第二行中天空和公路區(qū)域顏色偏暗，與真實(shí)圖6(g)相差較遠(yuǎn).此外，AOD-Net的去霧算法圖6(d)和MSDN法的去霧算法圖6(e)，雖較圖6(b)及圖6(c)更接近真實(shí)結(jié)果，但在局部區(qū)域也存在霧殘余及過(guò)亮的問(wèn)題，如圖6(d)存在明顯的霧殘余，去霧結(jié)果清晰度不高，圖6(e)整體偏亮，其中圖6(e)第二行天空區(qū)域最為明顯.相比而言，本算法的去霧結(jié)果圖6(f)最接近真實(shí)結(jié)果圖6(g)，且失真最小.此外，圖6中各圖像下方所標(biāo)的量化指標(biāo)值(PSNR/SSIM)，進(jìn)一步證明本算法性能的優(yōu)越性.

圖6 不同算法的合成圖像去霧結(jié)果對(duì)比

表2和表3給出了不同算法在兩個(gè)數(shù)據(jù)集下的平均量化結(jié)果，從中可見無(wú)論在濃霧，薄霧和混合霧濃度的合成圖像測(cè)試集上，還是在室內(nèi)及室外的公共圖像測(cè)試集SOTS上，本算法始終具有最高的去霧精度.以PSNR指標(biāo)為例，在SOTS的1000張室內(nèi)和室外圖像上測(cè)試的結(jié)果表明，本文算法較存在算法的去霧精度至少提高19%.

表2 合成測(cè)試集下不同算法去霧結(jié)果的PSNR/SSIM對(duì)比

Table 2 Comparison of different algorithms based on synthetic testing data set in terms of PSNR/SSIM

暗通道先驗(yàn)非局部先驗(yàn)AOD-NetMSDN本文算法300張薄霧圖像0.8440/17.270.8725/17.710.9214/21.430.9289/23.790.9689/28.50300張濃霧圖像0.8419/17.110.8697/17.420.9185/20.660.9224/23.170.9654/28.44300張混合霧濃度圖像0.8415/17.080.8688/17.360.9016/19.570.9187/22.480.9624/28.27

表3 SOTS測(cè)試集下不同算法去霧結(jié)果的PSNR/SSIM對(duì)比

Table 3 Comparison of different algorithms based on SOTS testing data set in terms of PSNR/SSIM

暗通道先驗(yàn)非局部先驗(yàn)AOD-NetMSDN本文算法500張室內(nèi)圖像0.8277/17.010.7649/17.320.8924/20.020.9026/21.810.9608/26.98500張室外圖像0.8057/16.910.7519/17.220.8718/18.120.8968/20.090.9428/26.221000張室內(nèi)和室外圖像0.8167/16.960.7584/17.270.8821/19.070.8997/21.450.9518/26.60

3.4 真實(shí)圖像測(cè)試結(jié)果對(duì)比

為進(jìn)一步測(cè)試算法的有效性，我們選取了多數(shù)去霧算法常用的2張真實(shí)霧圖實(shí)施去霧.各算法的去霧結(jié)果如圖7所示.從中可見，基于先驗(yàn)的去霧算法去除了圖像中大部分霧氣，場(chǎng)景和目標(biāo)的細(xì)節(jié)也能大體復(fù)原，但去霧結(jié)果存在明顯顏色失真，例如暗通道先驗(yàn)的去霧結(jié)果圖7(b)顏色過(guò)暗，如圖7(b)第一行女孩的皮膚過(guò)暗.非局部先驗(yàn)的去霧結(jié)果圖7(c)仍有霧殘余，其中圖7(c)第二行的遠(yuǎn)景區(qū)域霧氣尤為明顯.基于深度學(xué)習(xí)的去霧算法如AOD-Net的結(jié)果圖7(d)的清晰度不高，存在明顯的霧殘余，MSDN算法的結(jié)果圖7(e)第一行的圖像周邊出現(xiàn)明顯的暗影，而女孩頭發(fā)區(qū)域較亮，過(guò)增強(qiáng)現(xiàn)象明顯.相比而言，本文算法的去霧結(jié)果圖7(f)能最大程度的去除霧效應(yīng)，場(chǎng)景細(xì)節(jié)也得到了適度增強(qiáng)，具有最佳的視覺(jué)效果，如圖7(f)的第二行中遠(yuǎn)處的草垛能較好的復(fù)原.究其原因主要是由于傳統(tǒng)去霧算法過(guò)度依賴已知的先驗(yàn)知識(shí)，對(duì)于復(fù)雜的霧天圖像，存在透射率估計(jì)不準(zhǔn)確，算法魯棒性差的問(wèn)題.而基于深度學(xué)習(xí)的算法雖能緩解此問(wèn)題，但因輸入圖像僅為初始霧圖，未能融合多種去霧信息，且去霧結(jié)果未實(shí)施從粗到細(xì)優(yōu)化策略，導(dǎo)致復(fù)原結(jié)果存在霧殘余或顏色失真問(wèn)題.本文利用神經(jīng)網(wǎng)絡(luò)有效估計(jì)白平衡圖像，對(duì)比度增強(qiáng)圖像，伽馬校正圖像的融合權(quán)重，合成清晰圖像，還利用循環(huán)網(wǎng)絡(luò)優(yōu)化去霧結(jié)果，具有較高的去霧精度.

圖7 不同算法的真實(shí)圖像去霧結(jié)果對(duì)比

4 結(jié) 論

本文提出了多圖像融合的循環(huán)神經(jīng)網(wǎng)絡(luò)去霧算法.算法利用編碼解碼網(wǎng)絡(luò)有效估計(jì)白平衡圖像、對(duì)比度增強(qiáng)圖像、伽馬校正圖像的融合權(quán)重，合成清晰無(wú)霧圖像，解決了傳統(tǒng)融合去霧算法中融合權(quán)重估計(jì)耗時(shí)費(fèi)力，易出現(xiàn)誤差的問(wèn)題.此外，還在編碼解碼網(wǎng)絡(luò)中嵌入LSTM循環(huán)單元，并將網(wǎng)絡(luò)的輸出作為網(wǎng)絡(luò)的輸入，由粗到細(xì)的優(yōu)化去霧結(jié)果，具有較好的去霧精度.在合成圖像測(cè)試集及真實(shí)圖像上測(cè)試表明，本文算法具有較高的去霧精度，較常用算法的去霧精度至少提高了約19%，可用于不同場(chǎng)景下的去霧應(yīng)用中.