霧氣和降雨復(fù)雜圖像聯(lián)合恢復(fù)卷積網(wǎng)絡(luò)

余卓權(quán)，范俊宇，彭紹湖，劉長紅

(廣州大學(xué) a.電子與通信工程學(xué)院; b.機(jī)械與電氣工程學(xué)院, 廣東 廣州 510006)

戶外攝像頭常遭受環(huán)境影響，降雨天氣會顯著降低圖像質(zhì)量，從而影響戶外視覺系統(tǒng)的識別與檢測性能，因此,恢復(fù)遭受雨滴污染的圖像對于計算機(jī)而言相當(dāng)重要.由于雨滴的產(chǎn)生是大量且隨機(jī)的，難以建立準(zhǔn)確的統(tǒng)計模型，雨滴去除是一個相當(dāng)有挑戰(zhàn)性的問題.在降雨圖像恢復(fù)領(lǐng)域中，過去一段時間內(nèi)有許多相關(guān)的方法被提出.圖像中的雨滴去除通常分為在視頻序列中去除雨水[1-6]，以及在單幀雨滴圖像中去除雨滴條紋[7-12]，其中有關(guān)注雨滴的整體方向性，也有考慮雨滴的時域特性，以及雨滴條紋的頻域特性[13-14].在傳統(tǒng)方法中，通常將視頻序列中多幀圖像作為處理對象，利用雨滴的時域與色域特征，但由于雨滴降落過程中的隨機(jī)性與不確定性，難以建立準(zhǔn)確的統(tǒng)計模型，常常具有較大的局限性，去雨效果較差.在使用深度神經(jīng)網(wǎng)絡(luò)的方法中通常關(guān)注單幀圖像的去雨[15-16]，例如，有文獻(xiàn)使用了生成對抗式網(wǎng)絡(luò)(GAN)[17]，以圖像恢復(fù)的方式訓(xùn)練神經(jīng)網(wǎng)絡(luò).

在早期的工作中，Garg等[1]提出在一個大的時間段內(nèi)考慮正波動像素的空間相關(guān)性，Tripathi等[2]集中于雨滴在時域上的亮度波動特性，Barnum等[3]建立復(fù)雜雨線模型，來檢測視頻序列中的雨滴像素，Zhang等[4]對時間軸上的像素亮度進(jìn)行K聚類來區(qū)分雨滴與非雨滴像素，根據(jù)降雨圖像中的像素在幀與幀之間的波動對稱性來區(qū)分雨滴與非雨滴像素，但建立的概率統(tǒng)計模型不足以準(zhǔn)確地描述雨滴特征.Chen等[5]通過視頻間超像素對齊并使用CNN框架進(jìn)行去雨，Jiang等[6]通過考慮雨滴方向梯度進(jìn)行收縮來恢復(fù)圖像，Huang等[7]集中于圖像上下文內(nèi)容，通過字典學(xué)習(xí)與SVM分類的方式對雨滴圖像進(jìn)行去雨，以上方式比之前的研究都取得了更好的效果，但計算復(fù)雜度較高.

Zhang等[8]的DID-MDN能夠估計降雨密度自適應(yīng)調(diào)整去雨效果，F(xiàn)u等[9]所提出的DDN通過關(guān)注圖像的細(xì)節(jié)信息進(jìn)行去雨，Yang等[10]通過聯(lián)合多尺度檢測的方式進(jìn)行降雨檢測與去除.同時，國內(nèi)的研究也進(jìn)一步深入，如文獻(xiàn)[15]提出的基于深度學(xué)習(xí)的雨滴圖像修復(fù)只對亮度分量進(jìn)行處理，從而避免了顏色信息的損失，文獻(xiàn)[16]提出將注意力模塊與深度殘差網(wǎng)絡(luò)相結(jié)合能自適應(yīng)調(diào)整通道上特征的權(quán)重并捕獲空間維度上雨條紋像素之間的相關(guān)性，從而更有利于從有雨的圖像中得到干凈的背景圖，文獻(xiàn)[17]則采用條件生成網(wǎng)絡(luò)來實(shí)現(xiàn)去雨.

以上的方法在他們自己的合成測試數(shù)據(jù)集上均取得了比傳統(tǒng)方法更好的效果，但存在一個問題：這些方法在實(shí)際中通常只考慮明顯的雨滴條紋或者是單純的霧化場景，但真實(shí)雨滴場景存在的深度信息，將會導(dǎo)致雨滴在圖像上是以明顯清晰的雨滴條紋顯示以及霧化的形式疊加，霧化部分將對圖像清晰度的恢復(fù)產(chǎn)生巨大影響.這些方法在去雨網(wǎng)絡(luò)中試圖僅僅用添加雨滴條紋合成圖像訓(xùn)練的網(wǎng)絡(luò)來恢復(fù)真實(shí)圖像中的雨滴條紋污染部分以及霧化污染部分，雖然能夠同時去除部分真實(shí)雨滴場景的雨滴條紋以及霧化部分，但更多的是僅僅去除了雨滴條紋部分，而對霧化部分的去除沒有泛化效果.這對于網(wǎng)絡(luò)視覺效果的恢復(fù)以及后續(xù)網(wǎng)絡(luò)處理性能有著較大不利的影響.

針對這個問題，本文提出一種新穎的深度神經(jīng)網(wǎng)絡(luò)，在原有的合成降雨圖像上加入了合成霧進(jìn)行訓(xùn)練，雖然增加了圖像恢復(fù)的難度，但是更貼近于真實(shí)雨滴場景.另外，本文基于多階段、多任務(wù)設(shè)計的網(wǎng)絡(luò)與直接的端到端網(wǎng)絡(luò)相比能夠降低訓(xùn)練難度，同時引入反饋連接，能增加網(wǎng)絡(luò)的誤差積累，提高網(wǎng)絡(luò)獨(dú)立性，提升網(wǎng)絡(luò)泛化能力.本文的網(wǎng)絡(luò)選擇先去除輸入圖像中的霧氣，增加圖像對比度以突出雨滴條紋，再進(jìn)行雨滴去除.由于去雨更多關(guān)注于局部特征而不是整體特征，并且使用池化層將會破壞圖像紋理，降雨圖像恢復(fù)很大程度上依賴于輸入圖像的紋理以及色彩特征，本文在網(wǎng)絡(luò)中加入大小尺度的融合殘差結(jié)構(gòu)，多尺度的卷積融合有利于整合較大感受野的信息，在大小感受野融合的殘差結(jié)構(gòu)中將使用大卷積核配合空洞卷積，盡可能擴(kuò)大感受野去代替池化層.如圖1所示.

圖1 對真實(shí)圖像的去霧去雨效果

本文的主要貢獻(xiàn)如下：

(1)提出了一種用于單幀雨霧圖像恢復(fù)的多任務(wù)去除霧氣和雨滴條紋的深度網(wǎng)絡(luò)，加入了大小感受野融合的殘差結(jié)構(gòu)來更好地提取局部特征，可以分階段輸出去霧圖像與去雨圖像，讓網(wǎng)絡(luò)的恢復(fù)效果更為可控，提升網(wǎng)絡(luò)泛化能力.

(2)提出了一種基于誤差累積的反饋連接方法用于降雨圖像恢復(fù)網(wǎng)絡(luò)的訓(xùn)練，通過多次進(jìn)行相同權(quán)重的網(wǎng)絡(luò)處理再計算損失函數(shù)，能夠有效擴(kuò)大網(wǎng)絡(luò)對圖像錯誤處理的部分，從而增加損失函數(shù)值，驅(qū)動網(wǎng)絡(luò)進(jìn)一步收斂，從而達(dá)到精準(zhǔn)修復(fù)的目的.

(3)實(shí)驗(yàn)證明，相較于其他網(wǎng)絡(luò)，本文所提出的網(wǎng)絡(luò)對在由于進(jìn)一步添加了霧氣而相比于其他去雨網(wǎng)絡(luò)更加困難的合成測試數(shù)據(jù)集，以及真實(shí)圖像數(shù)據(jù)集上都有著更好的恢復(fù)效果.

1 霧氣和降雨復(fù)雜圖像聯(lián)合恢復(fù)卷積網(wǎng)絡(luò)

1.1 降雨模型

許多應(yīng)用深度神經(jīng)網(wǎng)絡(luò)進(jìn)行降雨圖像恢復(fù)任務(wù)時，通常將降雨圖像的數(shù)學(xué)模型簡單考慮為降雨條紋層覆蓋在無雨的清晰圖像上[18-20]：

O=B+R

(1)

其中，O為網(wǎng)絡(luò)輸入的降雨圖像，B為清晰的背景圖像，而R為附加在背景圖像B上的降雨紋路，即將降雨圖像考慮為原圖與降雨條紋的線性組合，設(shè)計的網(wǎng)絡(luò)目的也通常是在輸入的O上將R去除，從而獲得干凈的背景圖像B，這樣的模型能夠讓設(shè)計出的神經(jīng)網(wǎng)絡(luò)趨向于學(xué)習(xí)降雨條紋層R的特征，簡單且直觀地對圖像進(jìn)行恢復(fù).

但實(shí)際上，真實(shí)降雨圖像的數(shù)學(xué)模型應(yīng)該進(jìn)一步考慮降雨圖像中原圖與降雨上的覆蓋關(guān)系，而不是簡單的亮度疊加，由于降雨天氣中因遠(yuǎn)處的降雨以及水汽使所在圖像產(chǎn)生霧氣效果，這將直接影響圖像的質(zhì)量，簡單去除降雨場景中的雨滴條紋在很多情況下并不能更真實(shí)地恢復(fù)降雨圖像.更加合理的做法是將降雨圖像考慮為清晰圖像與降雨效果的組合，其中，降雨效果是圖像中深度的函數(shù)：

O=B+R(d)

(2)

與真實(shí)的降雨圖像所反映的視覺效果對應(yīng)，將在原圖上的降雨效果R(d)考慮為前景的雨滴條紋與后景的雨滴條紋以及水汽霧化效果的疊加，可以將上式簡化為

O=B+R+H

(3)

其中，H為霧化效果，R為雨滴條紋，以上描述的圖像均為三通道位圖.因此，最后將降雨圖像考慮為背景圖像清晰的B與前景降雨條紋R以及后景霧化效果H的組合.但由于組合后的O可能會超出位圖范圍的最大值255，故本文會將所有超過255的值均設(shè)定為255.大氣散射模型是分析霧天由于懸浮粒子對光的折射與散射而對視覺系統(tǒng)觀測到的圖像出現(xiàn)對比度下降的物理模型，參考文獻(xiàn)[20]的方法，本文將對降雨天氣中的霧氣部分在圖像所產(chǎn)生上的效果的估計模型考慮為大氣散射模型，如下式：

J=KO-K+b

(4)

其中，J為去霧后的圖像，K為統(tǒng)一參數(shù)t和A的變量，b為默認(rèn)值為1的恒定偏差，K的計算公式如下：

(5)

其中，A代表全球大氣光，t是介質(zhì)透視圖，t的定義如下式：

t(x)=exp(-βd(x))

(6)

其中，β是大氣的散射系數(shù)，d(x)是物體和相機(jī)之間的距離(景深).本文所提出的網(wǎng)絡(luò)將分別通過2個網(wǎng)絡(luò)估計R與K來逐步恢復(fù)背景圖像B.首先估計K從而在輸入的降雨圖像中恢復(fù)出無霧氣有雨圖像，由于基于物理模型去霧方法能夠降低對原圖結(jié)構(gòu)的影響，先進(jìn)行去霧還能突出圖像中的降雨條紋，使得降雨恢復(fù)網(wǎng)絡(luò)對下一階段對降雨條紋處理得更加容易，因此將先估計K,再估計R，來對輸入降雨天氣圖像進(jìn)行端到端的恢復(fù)，具體計算如下式：

B=KO-K+b-R

(7)

1.2 大小感受野融合殘差結(jié)構(gòu)層

本文提出了大小感受野融合殘差結(jié)構(gòu)層(Fusion Residual Structure of large and small receptive fields, FRS)來細(xì)化高感受野特征fh∈O和低感受野特征fl∈O.神經(jīng)元感受野的值越大表示其能接觸到的原始圖像范圍就越大，這也意味著大尺度感受野下的特征fh蘊(yùn)含更為全局、語義信息更高的特征；相反，小尺度感受野下的特征fl則表示其所包含的特征越趨向局部和更多的信息量.這兩種特征在統(tǒng)計上存在較大差異，在降雨圖像的雨滴條紋去除過程中，由于雨滴經(jīng)常以條紋的形式出現(xiàn)，而在圖像上呈現(xiàn)紋理上的改變，在神經(jīng)網(wǎng)絡(luò)的前端擴(kuò)大感受野能夠有效提取降雨條紋的特征，但在神經(jīng)網(wǎng)絡(luò)中通常用于擴(kuò)大感受野的池化層會因過度破壞圖像的紋理以及細(xì)節(jié)特征，從而導(dǎo)致網(wǎng)絡(luò)性能下降.根據(jù)實(shí)驗(yàn)結(jié)果，通過合適地選取殘差結(jié)構(gòu)層中卷積層的感受野大小能夠有效地避免這樣的情況出現(xiàn).圖2展現(xiàn)一些示例，盲目擴(kuò)大感受野將導(dǎo)致卷積核中心點(diǎn)過多受鄰域影響，尤其在帶有霧氣的降雨圖像恢復(fù)后出現(xiàn)前后景分離的邊緣區(qū)域上出現(xiàn)較大的光暈效應(yīng)，嚴(yán)重影響視覺效果.

圖2 不同感受野對比圖

FRS執(zhí)行大小感受野融合以減少特征之間的差異.本文將網(wǎng)絡(luò)中的部分卷積層采用大感受野的卷積核，同時，在另一支路使用3×3的卷積來進(jìn)行大尺度和小尺度感受野的融合，并于該結(jié)構(gòu)的輸入層相加，構(gòu)成大小感受野融合殘差結(jié)構(gòu)層.與已有的方法相比，F(xiàn)RS避免了破壞fl和fh的特征信息，這可能會破壞待恢復(fù)的原始圖像，給恢復(fù)圖像的生成帶來不利影響.通過大小感受野融合殘差結(jié)構(gòu)層，fl和fh將相互提取有用的信息以補(bǔ)充自身，即fl的圖像紋理以及細(xì)節(jié)特征、fh的降雨條紋特征將被保留.

具體地說，F(xiàn)RS包含兩個分支，一個用于fl，另一個用于fh，如圖3所示.首先，將一個3×3卷積層分別應(yīng)用于fl和fh，以適應(yīng)后續(xù)處理.然后，對這些特征進(jìn)行融合，融合后的特征具有fl和fh的特點(diǎn).最后，融合的特征將被添加到原始輸入中，以細(xì)化表示.

詳細(xì)過程如下所示：

finput=finput+C(Cl(fl)+Ch(fh))

(8)

其中，每一個C(·)，Cl(·)，Ch(·)都是卷積和LeakyReLU的組合.

1.3 網(wǎng)絡(luò)結(jié)構(gòu)

在降雨圖像恢復(fù)的任務(wù)中，由于訓(xùn)練與測試網(wǎng)絡(luò)的數(shù)據(jù)集是合成圖像，而合成圖像的降雨模式通常與真實(shí)圖像的降雨模式有著很大的區(qū)別，經(jīng)常會出現(xiàn)去雨網(wǎng)絡(luò)對合成數(shù)據(jù)擬合較好，在訓(xùn)練數(shù)據(jù)集以及測試數(shù)據(jù)集上都有著較高的峰值信噪比PSNR(Peak Signal Noise Ratio, PSNR)與結(jié)構(gòu)相似度SSIM(Structural Similarity,SSIM)，但對真實(shí)降雨場景進(jìn)行去雨時，卻經(jīng)常無法進(jìn)行準(zhǔn)確的去雨，甚至沒有去雨效果，并對其他非降雨覆蓋的像素進(jìn)行錯誤處理.故本文提出一種基于多層相同網(wǎng)絡(luò)進(jìn)行處理而進(jìn)行誤差累積的方法來提高網(wǎng)絡(luò)泛化能力和去雨效果，筆者將整個網(wǎng)絡(luò)分為去除霧網(wǎng)絡(luò)、去除大雨滴條紋網(wǎng)絡(luò)，以及去除小雨滴條紋網(wǎng)絡(luò).

在本文的去霧網(wǎng)絡(luò)中全部采用3×3的卷積，在網(wǎng)絡(luò)中加入歸一化層以及長短跳層連接估計K值.去雨網(wǎng)絡(luò)將會先使用3個大小尺度融合的大小感受野融合的殘差結(jié)構(gòu)進(jìn)行卷積，3個大小感受野融合的殘差結(jié)構(gòu)分別使用3×3，5×5以及7×7的卷積核大小，然后將3個結(jié)構(gòu)塊進(jìn)行相加，進(jìn)行兩次3×3卷積后再進(jìn)行批歸一化，最后卷積輸出.如圖3所示.

圖3 整體聯(lián)合去雨去霧網(wǎng)絡(luò)結(jié)構(gòu)

由于神經(jīng)網(wǎng)絡(luò)有著較強(qiáng)的數(shù)據(jù)擬合能力，在面對合成降雨圖像數(shù)據(jù)集時，通常能夠取得較高的PSNR與SSIM 值，但由于合成數(shù)據(jù)集與真實(shí)圖像的降雨模式以及顏色表現(xiàn)有著相當(dāng)大的差距，這導(dǎo)致一些網(wǎng)絡(luò)即使取得了較高的評測數(shù)據(jù)，但面對真實(shí)圖像降雨時的去雨性能較差，甚至于沒有效果.為了提升網(wǎng)絡(luò)的泛化能力與去雨效果，本文提出一種方法：基于誤差累積的反饋連接方法.由于合成數(shù)據(jù)集的降雨模式并不復(fù)雜，許多去雨網(wǎng)絡(luò)在對合成圖像進(jìn)行去雨時，重點(diǎn)關(guān)注在去雨的能力上，而忽視了非降雨覆蓋像素的保留能力，并只使用均方誤差作為損失函數(shù)，導(dǎo)致出現(xiàn)無法將網(wǎng)絡(luò)收斂至面對真實(shí)雨滴時，仍具有較好效果的情況.面對這種情況，本文選擇將相同權(quán)重的網(wǎng)絡(luò)對圖像進(jìn)行多次處理再輸出圖像的方法：

Lmse=mean(x-f(f…f(y)))2

(9)

本文采用均方誤差作為網(wǎng)絡(luò)的損失函數(shù)Lmse，有利于直接提高恢復(fù)圖像的PSNR，f代表處理網(wǎng)絡(luò)函數(shù)，則f(y)即網(wǎng)絡(luò)處理后的輸出.對相同權(quán)重的網(wǎng)絡(luò)對圖像進(jìn)行多次處理再輸出圖像，若去雨網(wǎng)絡(luò)對降雨圖像某一部分非降雨像素進(jìn)行錯誤處理，在多次處理后將會進(jìn)一步放大錯誤處理的部分，從而增加了網(wǎng)絡(luò)的損失值.為了驅(qū)使網(wǎng)絡(luò)進(jìn)行精確的降雨修復(fù)以及增加保留原有非降雨像素的概率，即增強(qiáng)網(wǎng)絡(luò)對降雨像素判斷的能力，本文的去雨網(wǎng)絡(luò)對降雨圖像錯誤處理的部分進(jìn)行了改善.因此，本文在去雨與去霧網(wǎng)絡(luò)中都加入了反饋連接.值得一提的是，多次處理同樣會造成網(wǎng)絡(luò)非線性能力的約束，因此，本文只采用了一次反饋，實(shí)際上，進(jìn)行反饋后的網(wǎng)絡(luò)更趨向于表現(xiàn)為一個獨(dú)立處理模塊而可以多次使用.

2 訓(xùn)練設(shè)置以及測試指標(biāo)

2.1 訓(xùn)練設(shè)置

為了保證網(wǎng)絡(luò)收斂效果，本文在一開始將不加入反饋而進(jìn)行多任務(wù)訓(xùn)練，訓(xùn)練標(biāo)簽是去霧后但包含降雨條紋的圖像與純凈圖像，待網(wǎng)絡(luò)收斂后，加入反饋連接進(jìn)一步提升網(wǎng)絡(luò)效果.雨滴條紋去除網(wǎng)絡(luò)將使用這一訓(xùn)練方法進(jìn)行預(yù)訓(xùn)練，最后再根據(jù)真實(shí)圖像進(jìn)行進(jìn)一步微調(diào).本文將使用DID-MDN網(wǎng)絡(luò)提供的合成訓(xùn)練和測試數(shù)據(jù)集，并在數(shù)據(jù)集上進(jìn)一步加上了霧氣[8]，將原數(shù)據(jù)集作為去霧后的輸出，數(shù)據(jù)集約包含12 000張圖像，測試數(shù)據(jù)集約包含1 200張圖像，數(shù)據(jù)集圖像是512×512的彩色圖像，筆者采用隨機(jī)圖像中隨機(jī)裁剪出64×64的圖像方式進(jìn)行訓(xùn)練，在訓(xùn)練時將隨機(jī)裁剪出較大的圖像再縮小為64×64的圖像用于產(chǎn)生顆粒狀降雨效果圖像進(jìn)行訓(xùn)練.

其中，在現(xiàn)有數(shù)據(jù)集上的合成雨圖像上進(jìn)一步加入霧氣的算法如下：

(1)在圖形上每隔一個像素均勻地添加相同值的白噪聲；

(2)對整個圖形運(yùn)行兩次高斯濾波，核大小為3×3，無填充.

2.2 測試指標(biāo)

對于合成圖像，本文將采用PSNR峰值信噪比與SSIM結(jié)構(gòu)相似度作為本文的測試指標(biāo).對于無法計算PSNR與SSIM的真實(shí)降雨圖像，則以直觀感受的方法進(jìn)行評估.本文的方法將與目前最先進(jìn)的方法進(jìn)行比較，包括文獻(xiàn)[19]：基于高斯混合模型的層先驗(yàn)去雨方法(LP)，文獻(xiàn)[10]：多任務(wù)全卷積從單張圖片中去除雨跡(JORDER)，文獻(xiàn)[9]：通過深層細(xì)節(jié)網(wǎng)絡(luò)去除單個圖像上的雨水(DDN)，文獻(xiàn)[8]：基于多流密集網(wǎng)絡(luò)的密度感知單圖像去雨算法(DID-MDN).以下的數(shù)據(jù)對比中均使用這些方法的英文簡稱.

3 實(shí)驗(yàn)結(jié)果

3.1 合成數(shù)據(jù)對比

表1是各個對比網(wǎng)絡(luò)的測試數(shù)據(jù)，本文采用峰值信噪比(PSNR)與結(jié)構(gòu)相似度(SSIM)兩個測試指標(biāo)在客觀數(shù)值上對各種方法的效果進(jìn)行對比，分別以降雨密度作為大雨、中雨和小雨的判斷標(biāo)準(zhǔn).由于對數(shù)據(jù)進(jìn)行加霧處理，進(jìn)一步加大了圖像恢復(fù)的難度，導(dǎo)致整體的測試指標(biāo)均有下降.可以看到，許多網(wǎng)絡(luò)對雨霧化后的處理并不敏感，如圖4所示.本文的方法對復(fù)雜降雨圖像的處理表現(xiàn)優(yōu)于其他結(jié)果.

表1 各個網(wǎng)絡(luò)測試數(shù)據(jù)的平均PSNR與SSIM對比

圖4 對于合成圖像的去雨結(jié)果(PSNR/SSIM)

3.2 真實(shí)降雨圖像對比

真實(shí)降雨圖像由于不像合成圖像那樣存在無雨圖像進(jìn)行PSNR和SSIM計算，但可以通過主觀評估的方式感受本文的網(wǎng)絡(luò)處理效果，如圖5所示.圖5可見，其他方法要么傾向于對圖像的去雨有所欠缺，要么對圖像進(jìn)行過度去雨處理.相比之下，本文提出的方法在保持圖像細(xì)節(jié)的同時，有效地去除了雨霧，取得了較好的效果，如圖5第二行所示的雨霧天氣中，在第一行的局部放大圖中顯示，相較于其他方法，本文提出的方法在此圖像中能保留燈柱的細(xì)節(jié)的同時，將雨滴條紋、霧氣很好地進(jìn)行去除.此外，可以觀察到，所提出的方法能夠處理不同類型的降雨條件，例如，圖5第二行所示的雨霧、圖5第四行所示的大雨和圖5第六行所示的中雨.總的來說，相對于其他方法，對不同降雨條件下拍攝的真實(shí)圖像的處理效果表明了該方法的有效性和魯棒性，即使面對復(fù)雜大雨，此方法仍然可以取得較好的效果.圖5展示了本文的網(wǎng)絡(luò)分階段處理的輸出效果.

圖5 各種方法對于真實(shí)的降雨圖像的去雨處理

3.3 運(yùn)行時間對比

表2顯示了處理1 200張測試圖像的平均運(yùn)行時間，測試圖像均為512×512的彩色圖像.可以看出，本文所提出方法的測試時間與DDN方法[9]相當(dāng), 可以非常有效地處理圖像.方法LP根據(jù)提供的源代碼使用CPU實(shí)現(xiàn)[18]，而其他方法均在GPU上進(jìn)行了測試.由于LP基于高斯混合模型學(xué)習(xí)，因此測試圖像的去雨仍需要復(fù)雜的優(yōu)化，這導(dǎo)致計算速度較慢.本文的方法在網(wǎng)絡(luò)訓(xùn)練后是完全前饋的，因此，對于新圖像的運(yùn)行時間明顯更快.此外，從平均運(yùn)行時間的大小比較來看，本文所提出的算法更有優(yōu)勢，平均一幅512×512大小的圖像需要大約0.37 s來進(jìn)行恢復(fù).

表2 不同方法在1 200張大小為512×512的圖像上的平均運(yùn)行時間

4 結(jié) 論

過去的降雨去除模型通常只考慮去除圖像上的降雨條紋，而不考慮隨之產(chǎn)生的霧氣影響，雖然能夠在合成的降雨數(shù)據(jù)集上得到較好的性能指標(biāo)，但這也容易導(dǎo)致由于伴隨霧氣較大的真實(shí)降雨圖像恢復(fù)后產(chǎn)生塊狀的模糊，使得降雨圖像恢復(fù)的質(zhì)量嚴(yán)重下降.本文將降雨圖像考慮為淺層的降雨條紋產(chǎn)生的淺白紋理效果，深層的降雨條紋堆疊與自然水汽形成的霧氣效果與原圖的疊加降雨模型.所提出的降雨去除網(wǎng)絡(luò)通過統(tǒng)一去霧領(lǐng)域的大氣散射通道模型與去雨領(lǐng)域的疊加模型，并通過降雨像素在圖像上的紋理分布特征，有意識地將網(wǎng)絡(luò)設(shè)計為多尺度融合卷積的結(jié)構(gòu)，包括空洞卷積、大小尺度卷積融合殘差層等.

訓(xùn)練兩個網(wǎng)絡(luò)分階段地估計無霧有雨圖像與無霧無雨圖像來恢復(fù)受到降雨污染的清晰圖像，提升了網(wǎng)絡(luò)的泛化性與去雨效果.通過分階段處理霧氣，以及降雨條紋來明確網(wǎng)絡(luò)學(xué)習(xí)目標(biāo).加入了大小尺度融合的殘差層擴(kuò)大網(wǎng)絡(luò)感受野，最終能夠通過端到端的網(wǎng)絡(luò)直接恢復(fù)降雨圖像.本文提出的網(wǎng)絡(luò)在合成圖像數(shù)據(jù)集與真實(shí)降雨圖像數(shù)據(jù)集上與其他先進(jìn)的降雨去除模型都進(jìn)行了對比.實(shí)驗(yàn)結(jié)果證明，本文的網(wǎng)絡(luò)在合成圖像數(shù)據(jù)集與真實(shí)降雨圖像數(shù)據(jù)集上的測試都取得了較好的效果，尤其對霧氣效果較重的圖像，本文提出的網(wǎng)絡(luò)與其他方法相比效果更加突出.