基于聯(lián)結(jié)殘差網(wǎng)絡(luò)的單幅圖像去雨

陳清江， 吳田田

(西安建筑科技大學(xué) 理學(xué)院， 陜西 西安710055)

1 引 言

圖像去雨與圖像去霧、圖像去噪、圖像去模糊等都屬于圖像恢復(fù)問題。在雨天環(huán)境中，雨水會(huì)使圖像發(fā)生形變、模糊、目標(biāo)遮擋、可視性差等問題，嚴(yán)重影響了戶外計(jì)算機(jī)視覺系統(tǒng)的正常應(yīng)用。因此，圖像去雨算法是一個(gè)重要而有應(yīng)用價(jià)值的研究課題，它包括視頻去雨[1-5]和單幅圖像去雨[5-22]。視頻去雨算法直接利用圖像幀間像素信息識(shí)別與去雨，而單幅圖像去雨算法的研究更具挑戰(zhàn)。

目前，單幅圖像去雨算法主要是基于濾波器[6]、字典學(xué)習(xí)[7,12]、稀疏編碼[9-10]、高斯混合模型[8]以及深度學(xué)習(xí)網(wǎng)絡(luò)[13-14]。2013，Zheng等人[6]提出了一種多引導(dǎo)濾波的單幅圖像雨雪去除方法，通過引導(dǎo)濾波器對(duì)雨天圖像的高頻部分和低頻部分進(jìn)行恢復(fù)；2015年，Luo等人[7]提出了一種判別字典學(xué)習(xí)與稀疏編碼的方法，將雨條紋與圖像背景分開后去除雨條紋，但是去雨后的圖像上仍有雨條紋殘留；2016年，Li等人[8]提出一種基于高斯混合模型的去雨方法，但是存在雨殘留和難以準(zhǔn)確估計(jì)高斯混合模型的問題。自2017年以來，單幅圖像去雨進(jìn)入了一個(gè)深度學(xué)習(xí)時(shí)代。Fu等人[13]提出了DerainNet網(wǎng)絡(luò)，只對(duì)圖像的高頻部分進(jìn)行網(wǎng)絡(luò)訓(xùn)練，造成圖像色澤上的損失，且在背景區(qū)域仍然存在雨條紋的殘留痕跡，從而導(dǎo)致去雨效果不理想。隨后，F(xiàn)u等人[14]基于圖像領(lǐng)域知識(shí)和ResNet網(wǎng)絡(luò)結(jié)構(gòu)，提出DDN網(wǎng)絡(luò)對(duì)高頻部分實(shí)行去雨操作，實(shí)驗(yàn)效果顯著優(yōu)于不做這一操作的結(jié)果。Yang等人[15]提出基于區(qū)域的雨水模型，利用擴(kuò)張卷積和級(jí)聯(lián)學(xué)習(xí)，將去雨任務(wù)分解為多階段任務(wù)。對(duì)于雨滴去除的算法。2018年，Qian等人[16]提出一種基于 GAN 的去雨方法，建立生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)，有效地去除圖像中玻璃上的雨滴。Zhang等人[17]提出了一種密度感知多路密集網(wǎng)絡(luò)DID-MDN，完成雨滴密度估計(jì)和雨滴去除。2019年，Chen等人[21]提出了一種端到端的去霧和去雨網(wǎng)絡(luò)GCANet，利用平滑的擴(kuò)張卷積避免網(wǎng)格偽像，并且應(yīng)用門控子網(wǎng)絡(luò)來融合不同級(jí)別的特征，實(shí)現(xiàn)霧天圖像和雨天圖像的恢復(fù)。而上述去雨算法多數(shù)是對(duì)雨天圖像分解后再進(jìn)行去雨，存在去雨圖像細(xì)節(jié)或紋理信息丟失及雨紋殘留的問題。

為克服去雨圖像細(xì)節(jié)模糊或紋理信息丟失問題，本文提出一種基于聯(lián)結(jié)殘差網(wǎng)絡(luò)的單幅圖像去雨算法，未對(duì)雨天圖像進(jìn)行雨紋層和背景層分解，使得圖像信息得到較好的保存。首先，利用改進(jìn)的殘差塊進(jìn)行殘差學(xué)習(xí)，提取雨天圖像的特征信息；其次，設(shè)計(jì)聯(lián)結(jié)結(jié)構(gòu)，實(shí)現(xiàn)多特征提取雨紋信息，提高去雨算法的性能；最后，通過一個(gè)單尺度卷積重建圖像，進(jìn)一步提升去雨圖像的視覺效果。

2 雨天圖像模型

在圖像去雨算法中，一般的雨模型[7-8]表示為：

X=B+R，

(1)

式中，X表示有雨源圖像，B表示無雨背景，R表示雨條紋層。由此，存在雨模型將有雨圖像X和無雨圖像Y看作是低頻部分(基礎(chǔ)層)和高頻部分(雨紋細(xì)節(jié)層)的疊加，并通過濾波器分解，其模型[13-14]可表示為：

(2)

AA 中，base表示基礎(chǔ)層，detail表示細(xì)節(jié)層。此模型只在細(xì)節(jié)層上進(jìn)行去雨操作，沒有檢測(cè)和去除基礎(chǔ)層上的雨紋，并且在圖像分解過程中容易造成信息丟失。

為此本文采用式(1)直接利用聯(lián)結(jié)殘差網(wǎng)絡(luò)學(xué)習(xí)有雨圖像和無雨圖像的映射關(guān)系f(X)，檢測(cè)有雨圖像中的雨紋特征，并使用最小化均方誤差損失函數(shù)(MSE)作為目標(biāo)函數(shù)，計(jì)算無雨圖像與去雨估計(jì)圖的期望值，即

(3)

式中，N表示訓(xùn)練樣本數(shù)，w表示網(wǎng)絡(luò)參數(shù)，f(Xi)表示網(wǎng)絡(luò)結(jié)構(gòu)第i個(gè)樣本的去雨估計(jì)值，Yi表示第i個(gè)樣本的無雨圖像。

3 基于聯(lián)結(jié)殘差卷積神經(jīng)網(wǎng)絡(luò)圖像去雨算法

現(xiàn)有的基于深度學(xué)習(xí)的圖像去雨算法大多都是對(duì)圖像先分解后去雨，且分解的方式不同，較多是高低頻分解、RGB轉(zhuǎn)YUV通道分解，而在使用分解算法時(shí)容易造成圖像信息丟失、色差等問題。因此，本文在不分解圖像的基礎(chǔ)上，直接通過端到端訓(xùn)練聯(lián)結(jié)殘差網(wǎng)絡(luò)，提出了一個(gè)14層的去雨網(wǎng)絡(luò)。由于網(wǎng)絡(luò)深度較淺，收斂速度快，能較好地保留圖像細(xì)節(jié)信息，具有良好的去雨效果。

3.1 網(wǎng)絡(luò)結(jié)構(gòu)

聯(lián)結(jié)殘差網(wǎng)絡(luò)是對(duì)殘差網(wǎng)絡(luò)的殘差塊進(jìn)行改進(jìn)，并利用Concat函數(shù)跳躍連接殘差塊與卷積神經(jīng)網(wǎng)絡(luò)，建立聯(lián)結(jié)結(jié)構(gòu)，提高模型性能。其網(wǎng)絡(luò)結(jié)構(gòu)主要是由3個(gè)殘差塊、2個(gè)聯(lián)結(jié)結(jié)構(gòu)和1個(gè)單尺度卷積組成，如圖1所示。

圖1 聯(lián)結(jié)殘差網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Structure diagram of the concatenation residual network

3.2 改進(jìn)的殘差塊

ResNet網(wǎng)絡(luò)是由殘差塊(Residual block)構(gòu)建的，殘差塊是一個(gè)兩層神經(jīng)網(wǎng)絡(luò)，常見網(wǎng)絡(luò)結(jié)構(gòu)為圖2(a)。本文對(duì)圖2(a)的殘差塊進(jìn)行改進(jìn)，將殘差塊每個(gè)卷積層的批量正則化BN(Batch Normlization)去掉，激活函數(shù)ReLU換成PReLU，如圖2(b)所示，并滿足以下公式:

(4)

其中，*表示卷積操作，W表示卷積權(quán)重，b是偏置值，P(X)代表PReLU激活函數(shù)。PReLU是增加了參數(shù)修正的ReLU，表達(dá)式為：

PReLU(xi)=max(xi,0)+aimin(0,xi)，

(5)

式中，xi為第i層的正區(qū)間輸入信號(hào)，ai為第i層的負(fù)區(qū)間的權(quán)系數(shù)，如果ai=0，那么PReLU退化為ReLU；當(dāng)輸入為負(fù)時(shí)，梯度為0，會(huì)產(chǎn)生梯度消失問題。因此本文給定ai初始值為0.25，并在反向傳播過程中采用帶動(dòng)量方式更新，防止梯度消失，即：

(6)

式中，系數(shù)μ和ε分別是動(dòng)量和學(xué)習(xí)率。

運(yùn)用改進(jìn)的殘差塊可以簡(jiǎn)化網(wǎng)絡(luò)模塊，并減少了網(wǎng)絡(luò)參數(shù)，大大提升了網(wǎng)絡(luò)訓(xùn)練速度，而且激活函數(shù)的參數(shù)變化是靈活的，不是固定參數(shù)，避免神經(jīng)元單側(cè)抑制。聯(lián)結(jié)殘差網(wǎng)絡(luò)使用了3個(gè)改進(jìn)的殘差塊，其卷積核大小都為3×3，但每個(gè)殘差塊的通道數(shù)因受聯(lián)結(jié)結(jié)構(gòu)的影響而不同，分別為16，48，80，實(shí)現(xiàn)不同通道數(shù)特征圖的殘差學(xué)習(xí)，提高訓(xùn)練精度。

圖2 (a)殘差塊結(jié)構(gòu)；(b)改進(jìn)的殘差塊結(jié)構(gòu)；(c)聯(lián)結(jié)結(jié)構(gòu)。Fig.2 (a) Structure of the residual block； (b) Improved residual block structure； (c) Concatenation structure.

3.3 聯(lián)結(jié)結(jié)構(gòu)

本文提出的聯(lián)結(jié)結(jié)構(gòu)是利用卷積神經(jīng)網(wǎng)絡(luò)的Concat函數(shù)跳躍連接構(gòu)建的，Concat函數(shù)可以使網(wǎng)絡(luò)模型變寬，并把多個(gè)分支聯(lián)結(jié)起來作為后續(xù)層的輸入，以提高模型性能，其合并方式主要在channel或num維度上。在Caffe中數(shù)據(jù)通常為4個(gè)維度，即num×channel×height×width。本文是在channel維度上建立的聯(lián)結(jié)結(jié)構(gòu)，在操作過程中需要滿足除channel維度外其余維度必須一致的條件，結(jié)合殘差網(wǎng)絡(luò)將其3層聯(lián)結(jié)的結(jié)構(gòu)稱為聯(lián)結(jié)結(jié)構(gòu)，如圖2(c)所示。若有3個(gè)卷積層聯(lián)結(jié)，則表示為

輸入Xl：N*k1*H*W，

Conv1：N*k2*H*W，

Conv2：N*k3*H*W；

輸出：N*(k1+k2+k3)*H*W，

(7)

式中，N表示批處理數(shù)，ki表示通道數(shù)，H表示特征圖的高，W表示特征圖的寬。其將網(wǎng)絡(luò)通道拓寬為k1+k2+k3，并把N*(k1+k2+k3)*H*W作為下一層的輸入，增加網(wǎng)絡(luò)特征圖的輸出。

本文的聯(lián)結(jié)殘差網(wǎng)絡(luò)在第一個(gè)殘差塊回歸學(xué)習(xí)雨特征后，與Conv4、Conv5合并構(gòu)建第一個(gè)聯(lián)結(jié)結(jié)構(gòu)Concat1，其卷積核參數(shù)必須滿足式(7)，如表1所示。故Concat1的卷積核為48×3×3，網(wǎng)絡(luò)寬度從16變?yōu)?8，較之前提取更多的特征圖。然后，將Concat1作為下一個(gè)殘差塊的輸入，使之卷積核大小設(shè)為48×3×3，殘差學(xué)習(xí)后與Conv8、Conv9合并再次構(gòu)建第3個(gè)聯(lián)結(jié)結(jié)構(gòu)Concat2，卷積核為80×3×3，進(jìn)一步擴(kuò)寬網(wǎng)絡(luò)為80。隨之第3個(gè)殘差塊的卷積核大小依據(jù)Concat2的參數(shù)也變?yōu)?0×3×3，最后通過一個(gè)單尺度卷積實(shí)現(xiàn)圖像重構(gòu)。而兩個(gè)聯(lián)結(jié)結(jié)構(gòu)的使用不僅擴(kuò)寬了網(wǎng)絡(luò)，有效減少了網(wǎng)絡(luò)參數(shù)，增加特征圖的輸出，實(shí)現(xiàn)多特征提取，更有利于保留圖像細(xì)節(jié)信息，提高網(wǎng)絡(luò)性能。

根據(jù)聯(lián)結(jié)殘差網(wǎng)絡(luò)結(jié)構(gòu)的設(shè)計(jì)，可將本文算法具體分為5步，如表2所示。

表1 兩個(gè)聯(lián)結(jié)結(jié)構(gòu)的卷積核設(shè)置Tab.1 Convolution kernels setting of two concatenation structures

表2 算法步驟Tab.2 Algorithm steps

續(xù) 表

其中，N表示訓(xùn)練樣本數(shù)，l表示卷積層數(shù)，W表示卷積權(quán)重矩陣，b是偏置矩陣，P(·)代表PReLU激活函數(shù)；C(·)表示Concat函數(shù)聯(lián)結(jié)操作，k表示聯(lián)結(jié)層數(shù)，θ設(shè)置Concat函數(shù)參數(shù)。

4 實(shí)驗(yàn)與結(jié)果分析

聯(lián)結(jié)殘差網(wǎng)絡(luò)的目標(biāo)是使LMSE值最小，并利用隨機(jī)梯度下降法(SGD)按照負(fù)梯度方向來更新網(wǎng)絡(luò)訓(xùn)練參數(shù)，其中采用固定的學(xué)習(xí)率，設(shè)置為0.000 1，支持動(dòng)量參數(shù)為0.9，權(quán)值衰減值為0，而整個(gè)訓(xùn)練過程在GPU模式、Caffe框架下經(jīng)過25萬次迭代終止，最終訓(xùn)練網(wǎng)絡(luò)收斂到0.500 5±0.062 4。

實(shí)驗(yàn)采用合成雨天圖像數(shù)據(jù)集test12[13,15]，Rain100L和Rain100H[15]，選取102幅合成雨圖及所對(duì)應(yīng)的無雨圖像作為訓(xùn)練網(wǎng)絡(luò)的數(shù)據(jù)集，其中61幅作為訓(xùn)練集，41幅作為測(cè)試集。真實(shí)雨天圖像實(shí)驗(yàn)數(shù)據(jù)集是從Practical[14]和real[15]選取的。為了驗(yàn)證本文算法對(duì)雨天 圖像的去雨效果，將其與傳統(tǒng)的去雨算法Zheng等人[6]算法以及基于深度學(xué)習(xí)的DerainNet算法[13]、DDN算法[14]和GCANet算法[21]，分別對(duì)合成雨天圖像數(shù)據(jù)集和真實(shí)雨天圖像數(shù)據(jù)集進(jìn)行對(duì)比實(shí)驗(yàn)，并從主觀和客觀方面對(duì)去雨結(jié)果分析。

4.1 合成雨天圖像的去雨結(jié)果與分析

為了驗(yàn)證本文去雨算法對(duì)合成雨天圖像的去雨效果，選取了4幅合成雨天圖像進(jìn)行實(shí)驗(yàn)，并將本文算法與其他算法進(jìn)行比較，如圖3～6所示。

圖3 不同算法對(duì)合成雨天圖像Opera House的去雨結(jié)果Fig.3 De-rained results of different algorithms on synthetic rainy image “Opera House”

圖4 不同算法對(duì)合成雨天圖像Spinal Building的去雨結(jié)果Fig.4 De-rained results of different algorithms on synthetic rainy image “Spinal Building”

圖5 不同算法對(duì)合成雨天圖像Horses的去雨結(jié)果Fig.5 De-rained results of different algorithms on synthetic rainy image “Horses”

圖6 不同算法對(duì)合成雨天圖像Kids的去雨結(jié)果Fig.6 De-rained results of different algorithms on synthetic rainy image “Kids”

根據(jù)圖3～6給出4幅合成雨天圖像及其部分放大圖在幾種算法上的去雨結(jié)果，從主觀上觀察，Zheng等人[6]算法的去雨圖像不僅殘留雨紋，還使物體的紋理過平滑，圖像變模糊，出現(xiàn)了虛影；DerainNet算法[13]去雨后仍有較多的雨紋，其在馬身、衣服及天空附近尤為明顯；DDN算法[14]有明顯的去雨效果，但是也存在少量的雨紋；對(duì)于GCANet算法[21]的去雨結(jié)果，從部分放大圖像上可以觀察出，去雨圖像產(chǎn)生了色彩失真的現(xiàn)象，且去雨效果不明顯。而本文算法在合成雨天圖像上具有更加明顯的去雨效果，幾乎沒有雨紋殘留，細(xì)節(jié)和紋理信息也保留完整。

表3 合成雨天圖像去雨結(jié)果的SSIM和PSNR評(píng)估Tab.3 SSIM and PSNR evaluation of the de-rained results on synthetic rainy images

本文也從客觀方面定量評(píng)估幾種算法的去雨效果，主要使用結(jié)構(gòu)相似度(SSIM)和峰值信噪比(PSNR)作為評(píng)價(jià)指標(biāo)，對(duì)4幅圖像進(jìn)行對(duì)比，如表3所示。傳統(tǒng)的Zheng等人[6]算法和DerainNet算法的評(píng)價(jià)指標(biāo)較低，DDN算法和GCANet算法的評(píng)價(jià)指標(biāo)相對(duì)較高，而本文算法的結(jié)構(gòu)相似度(SSIM)和峰值信噪比(PSNR)的平均值在0.95與33 dB以上，計(jì)算結(jié)果都高于其他算法，說明了本文去雨算法的有效性。從而在定量和定性評(píng)價(jià)中，說明了本文基于聯(lián)結(jié)殘差網(wǎng)絡(luò)的去雨算法的去雨結(jié)果優(yōu)于其他算法。

4.2 真實(shí)雨天圖像的去雨結(jié)果與分析

針對(duì)真實(shí)雨天圖像，將本文算法與其他算法在3幅真實(shí)雨天圖像上進(jìn)行對(duì)比實(shí)驗(yàn)，如圖7所示。

圖7 不同算法對(duì)真實(shí)雨天圖像的去雨結(jié)果Fig.7 De-rained results of different algorithms on real-word rainy images

圖7為3幅不同時(shí)間段、不同場(chǎng)景的真實(shí)雨天圖像的去雨結(jié)果。觀察Zheng等人[6]算法的去雨結(jié)果，算法在去雨的同時(shí)也使圖像細(xì)節(jié)變得模糊，且有很明顯的雨紋殘留；DerainNet算法的去雨圖像仍有雨紋沒有去除干凈；DDN算法也存在較少的雨紋，在“Couple”的衣服和車窗上尤為明顯。同時(shí)，Zheng等人[6]算法和DerainNet算法在夜晚大雨環(huán)境下的去雨效果不佳，而DDN算法和本文算法對(duì)夜晚雨天圖像的去雨效果明顯，但是都有雨霧存在。相對(duì)而言，GCANet算法去除雨霧的效果較好，但是對(duì)于雨紋的去除效果不明顯，而本文算法去除雨紋的效果明顯，去雨圖像也具有較好的視覺效果。

由于真實(shí)雨天圖像沒有無雨圖像作對(duì)比，所以不能使用SSIM和PSNR定量評(píng)估。本文采用圖像清晰度(Q)和平均梯度(Average Gradient，AG)，以及無參考圖像評(píng)價(jià)指標(biāo)-自然圖像質(zhì)量評(píng)估(NIQE)[26]和盲圖像質(zhì)量評(píng)估方法(NBIQA)[27]對(duì)真實(shí)雨天圖像去雨結(jié)果進(jìn)行對(duì)比。平均梯度反映了圖像的清晰程度及圖像中微小細(xì)節(jié)反差和紋理變換特征，值越大說明圖像越清晰。而無參考圖像評(píng)價(jià)指標(biāo)NIQE和NBIQA的值通常在0和100之間，值越小表示圖像質(zhì)量越好。表4是圖7在這幾種評(píng)價(jià)指標(biāo)下的對(duì)比結(jié)果。

表4 真實(shí)雨天圖像去雨結(jié)果的定量評(píng)估Tab.4 Quantitative evaluation of the de-rained results on real-world rainy images

續(xù) 表

從表4可以明顯看出，基于深度學(xué)習(xí)的去雨算法較傳統(tǒng)算法的去雨效果更優(yōu)。對(duì)于“A Rainy Night”的去雨結(jié)果，GCANet算法的去雨圖像清晰度(Q)較高(Q=0.028 5)，說明其有去雨霧的作用。計(jì)算去雨圖像的平均梯度(AG)、NIQE和NBIQA三個(gè)評(píng)價(jià)指標(biāo)，本文算法的評(píng)估值都優(yōu)于對(duì)比算法的值。分析“Road”和“Couple”的去雨圖像評(píng)估值，本文算法的圖像清晰度和平均梯度都相對(duì)較高，表明了圖像更清晰。同時(shí)，NIQE和NBIQA兩個(gè)指標(biāo)值較低，更說明了本文去雨算法對(duì)真實(shí)雨天圖像有較好的去雨效果，圖像質(zhì)量?jī)?yōu)于其他算法，能更好地應(yīng)用于真實(shí)世界。

5 結(jié) 論

本文提出了一種基于聯(lián)結(jié)殘差網(wǎng)絡(luò)的單幅圖像去雨算法，該方法不分解雨天圖像的雨紋層和背景層，直接對(duì)殘差塊進(jìn)行改進(jìn)，構(gòu)建聯(lián)結(jié)結(jié)構(gòu)，建立了一個(gè)淺層網(wǎng)絡(luò)，減少了網(wǎng)絡(luò)參數(shù)，實(shí)現(xiàn)了不同通道的殘差學(xué)習(xí)，多特征提取雨紋信息，并通過單尺度卷積來實(shí)現(xiàn)圖像重建，進(jìn)一步提升了去雨圖像的質(zhì)量。實(shí)驗(yàn)結(jié)果表明，本文算法不僅對(duì)合成雨天圖像具有良好的去雨效果，結(jié)構(gòu)相似度的平均值高于0.95，峰值信噪比的平均值大于33 dB，也能更好地應(yīng)用于真實(shí)雨天圖像，其盲圖像質(zhì)量評(píng)價(jià)值相對(duì)較低，且圖像的邊緣細(xì)節(jié)和紋理信息保留完整。