基于多通道分離整合的多尺度單幅圖像去雨算法

汪 帆，魏 憲，郭杰龍，梁培棟

(1.福州大學(xué)電氣工程與自動(dòng)化學(xué)院,福建 福州 350108； 2.中國(guó)科學(xué)院海西研究院泉州裝備制造研究所,福建 泉州 362216； 3.福建(泉州)哈工大工程技術(shù)研究院,福建 泉州 362000)

0 引 言

雨天是一種常見的天氣狀況。雨痕的加入會(huì)讓圖像模糊失真，特別是大雨產(chǎn)生的雨痕疊加效果會(huì)對(duì)圖像背景造成嚴(yán)重遮擋，導(dǎo)致得到的圖像清晰度和能見度降低，造成計(jì)算機(jī)視覺任務(wù)性能下降。故研究圖像去雨任務(wù)，可以提升圖像的質(zhì)量，能對(duì)自動(dòng)駕駛和道路監(jiān)控等領(lǐng)域有著很大的幫助，具有較好的應(yīng)用前景。

雨圖可以看成是由雨的條紋和雨滴覆蓋在真實(shí)圖像形成的。對(duì)于大雨，由于光線的散射存在，會(huì)出現(xiàn)夾雜在雨中的霧霾現(xiàn)象，從而把圖像模糊化。因此，普遍的去雨思路[1]是將雨紋和雨滴形成的遮罩從雨圖中分離出來(lái)。圖像去雨任務(wù)模型可以理解為：

X=G+R

(1)

其中,X表示帶雨的圖，可以分解為真實(shí)圖像背景G和雨痕遮罩R。

多尺度特征包含著重要的信息，然而，普通的卷積只能獲得局部的空間信息。為了獲得更大的感受野，卷積神經(jīng)網(wǎng)絡(luò)一般采用不同卷積層的堆疊構(gòu)成深層網(wǎng)絡(luò)或者利用不同分辨率的特征圖來(lái)提升多尺度的表達(dá)能力，這無(wú)疑會(huì)帶來(lái)冗余的計(jì)算，為網(wǎng)絡(luò)帶來(lái)負(fù)擔(dān)。本文提出的方法，可以利用通道間的細(xì)化，依賴相鄰空間的位置信息提取結(jié)構(gòu)，最終對(duì)輸出特征進(jìn)行整合，從而獲得大幅度感受野的提升。利用通道分離后再對(duì)特征圖的復(fù)用，可以更好地提取多尺度信息。在圖像去雨任務(wù)中，不同的尺度，可以更好地捕捉到雨圖中不同雨線的信息，更為高效且有用地提升了網(wǎng)絡(luò)多尺度表達(dá)能力，從而提高圖像去雨效果。

本文提出一種基于多通道分離整合的多尺度單幅圖像去雨方法，首先將一個(gè)較大輸入輸出通道的3×3卷積分離為多個(gè)小輸入輸出通道的卷積，再通過卷積層之間的層內(nèi)連接，產(chǎn)生多尺度級(jí)聯(lián)架構(gòu)，然后進(jìn)行通道整合，這能大幅度增加感受野，從而增強(qiáng)模塊的特征提取能力，可以更好提取雨圖紋理的局部信息。同時(shí)利用漸進(jìn)網(wǎng)絡(luò)來(lái)多次計(jì)算探索全局信息，再通過特征在不同階段存在的連續(xù)性，探尋空間維度的雨紋，通過協(xié)同訓(xùn)練，構(gòu)成多尺度漸進(jìn)循環(huán)網(wǎng)絡(luò)。本文模型在常用雨天數(shù)據(jù)集和自動(dòng)駕駛雨天數(shù)據(jù)集上進(jìn)行定性和定量的評(píng)估，實(shí)驗(yàn)表明，算法性能均優(yōu)于現(xiàn)有的方法。

1 研究現(xiàn)狀

1.1 單幅圖像去雨方法

單幅圖像去雨方法分為2類：一是以模型驅(qū)動(dòng)的傳統(tǒng)方法；二是以數(shù)據(jù)驅(qū)動(dòng)的深度學(xué)習(xí)方法。模型驅(qū)動(dòng)的方法主要有物理模型和數(shù)學(xué)推導(dǎo)方式、基于先驗(yàn)知識(shí)的去雨方法和基于稀疏表示的方法。Chen等人[2]提出從矩陣到張量結(jié)構(gòu)的低秩模型用于發(fā)現(xiàn)雨條紋。Luo等人[3]通過判別稀疏編碼的方法來(lái)分辨雨點(diǎn)和非雨點(diǎn)。Li等人[4]利用高斯混合模型的先驗(yàn)信息來(lái)去除雨條紋。Gu等人[5]利用卷積分析和合成稀疏表示提取雨紋。然而，傳統(tǒng)去雨方法運(yùn)算量復(fù)雜，去雨效果也沒有基于深度學(xué)習(xí)的去雨方法好?，F(xiàn)今階段，深度卷積神經(jīng)網(wǎng)絡(luò)已經(jīng)成為單幅圖像去雨領(lǐng)域的主流。Fu等人[6]基于ResNet[7]結(jié)構(gòu)建立一個(gè)全局連接映射關(guān)系，偏向于設(shè)計(jì)網(wǎng)絡(luò)去雨結(jié)構(gòu)來(lái)提升性能。Zhang等人[8]提出一種基于密度感知的稠密連接卷積神經(jīng)網(wǎng)絡(luò)用于處理不同雨水條紋的堆疊。Li等人[9]采用遞歸神經(jīng)網(wǎng)絡(luò)架構(gòu)將去雨任務(wù)分為多階段以提升效果。Ren等人[10]通過反復(fù)展開淺層的ResNet結(jié)構(gòu)，用漸進(jìn)循環(huán)結(jié)構(gòu)達(dá)到簡(jiǎn)單有效的效果。Wang等人[11]通過跨尺度方式將不同子網(wǎng)結(jié)構(gòu)融合一起增強(qiáng)了網(wǎng)絡(luò)去雨能力。

1.2 多尺度模型

多尺度特征包含大量信息，能夠提高神經(jīng)網(wǎng)絡(luò)信息提取能力，從而提升網(wǎng)絡(luò)性能。為了增強(qiáng)網(wǎng)絡(luò)的特征抽象判別能力，Lin等人[12]采用多層感知器卷積代替原始的卷積層。此外，Szegedy等人[13]利用一個(gè)Inception模塊來(lái)提取多尺度特征。Huang等人[14]設(shè)計(jì)與所有網(wǎng)絡(luò)層互相緊密連接的結(jié)構(gòu)，從而更有效地利用特征并加強(qiáng)了信息傳遞。Huang等人[15]集成了具有密集連接的多尺度網(wǎng)絡(luò)結(jié)構(gòu)以進(jìn)行圖像分類。Sun等人[16]在保留不同深度的多尺度特征的同時(shí)，也通過上采樣機(jī)制對(duì)彼此進(jìn)行改進(jìn)以增加特征多樣性，這已被證明可以有效地進(jìn)行目標(biāo)檢測(cè)。隨著卷積神經(jīng)網(wǎng)絡(luò)層數(shù)的增加，Yu等人[17]開發(fā)了迭代深度聚合模塊來(lái)聚合和細(xì)化不同的比例尺和分辨率，從而增強(qiáng)了多尺度的表示能力。Sun等人[18]提出了交換單元來(lái)集成不同的子網(wǎng)絡(luò)，可以從具有并行多尺度的其他子網(wǎng)絡(luò)中獲取特征信息。Liao等人[19]在多尺度圖卷積網(wǎng)絡(luò)中采用Lanczos算法，有利于矩陣冪的有效計(jì)算，從而有利于多尺度信息的收集。此外，Gao等人[20]在更細(xì)粒度的層面上利用多尺度來(lái)提取特征并拓寬了感受野。

2 基于多通道分離整合的多尺度圖像去雨算法

2.1 多通道分離整合的多尺度模塊

分組卷積[21]和深度可分離卷積[22]已經(jīng)證明了將特征圖分組，能帶來(lái)網(wǎng)絡(luò)效率的提升。然而分組卷積，并沒有不同組之間特征圖的交互，會(huì)損失特征間的空間信息。深度可分離卷積將分組數(shù)等于通道數(shù)，借此減少計(jì)算量，再試圖通過逐點(diǎn)卷積，通過1×1卷積運(yùn)算，將上一步的特征圖重新加權(quán)組合生成新的特征圖。這種做法雖然提高了計(jì)算效率，卻沒有解決不同通道間聯(lián)合特征信息丟失的問題，這會(huì)造成模型性能的減弱。考慮到通道間空間信息交互的重要性，本文提出一種多通道分離整合的多尺度模塊，這既能保證高效的特征提取能力，也能提升模型的性能。

模型結(jié)構(gòu)示意圖如圖1所示。具體來(lái)說，對(duì)于一個(gè)給定的圖像，本文的方法首先把特征圖集X平均分為4份，分別是X1、X2、X3、X4。然后依次把特征圖子集送入相應(yīng)的3×3卷積的卷積層中，每個(gè)卷積的輸入輸出通道數(shù)均為原先卷積的1/4。每個(gè)特征圖子集Xi對(duì)應(yīng)的卷積計(jì)算定義為Fi(X)，其輸出為Yi：

圖1 本文多尺度殘差結(jié)構(gòu)與殘差結(jié)構(gòu)對(duì)比

(2)

首先，每一個(gè)特征圖子集X1通過一個(gè)3×3卷積后得到Y(jié)1，隨后得到的每一個(gè)Yi，都是由每一個(gè)子特征圖Xi和上一個(gè)特征圖子集的輸出Yi-1相疊加，再通過一個(gè)3×3卷積后得到的。這種多重組合提取特征，上一個(gè)特征圖子集會(huì)被多次提取特征，最終可以得到比原來(lái)更大的感受野，從而使得模塊的輸出也包含了各種大小和尺度的感受野，這樣能夠獲得更多的信息。

本文的多尺度殘差模塊首先通過通道分離的方法將特征圖分塊，為了獲得更多的局部和全局信息，將分離的特征圖以一種多重組合特征復(fù)用的形式通過4個(gè)3×3卷積，最后把得到的輸出拼接起來(lái)得到Y(jié)，為了使拼接后輸出效果更好，再通過一個(gè)1×1卷積來(lái)整合信息，從而達(dá)到比原先卷積更好的效果。最后通過殘差學(xué)習(xí)提升模塊效率。

2.2 漸進(jìn)循環(huán)網(wǎng)絡(luò)

一個(gè)網(wǎng)絡(luò)如果將多個(gè)子模塊直接堆疊起來(lái)，勢(shì)必會(huì)導(dǎo)致網(wǎng)絡(luò)參數(shù)量的增大，甚至?xí)羞^擬合的風(fēng)險(xiǎn)。本文設(shè)計(jì)的多階段的漸進(jìn)循環(huán)網(wǎng)絡(luò)結(jié)構(gòu)，可以在減少參數(shù)量的情況下，逐步捕捉全局信息，在最后一個(gè)階段盡可能輸出接近真實(shí)背景的圖像。

漸進(jìn)網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示，其中分為3個(gè)部分：1)一個(gè)用于接收網(wǎng)絡(luò)輸入的卷積層；2)5個(gè)用于提取特征的多尺度殘差結(jié)構(gòu)fmtscale；3)一個(gè)用于接收網(wǎng)絡(luò)輸入的卷積層。并且本文引入一個(gè)循環(huán)狀態(tài)St，以及一個(gè)循環(huán)操作，那么循環(huán)結(jié)構(gòu)的操作第t階段可以表示為：

圖2 漸進(jìn)循環(huán)網(wǎng)絡(luò)結(jié)構(gòu)

(3)

其中，Xrain表示最開始的輸入的雨圖，Yt-1表示t-1的輸出，Xt表示t中間狀態(tài)的輸入，St-1表示t-1的循環(huán)狀態(tài)，Yt表示t狀態(tài)的輸出。fin、fmtscale、fout和fre在每個(gè)階段操作都是相同的，參數(shù)設(shè)置一樣。

單純以t-1的輸出Yt-1作為t狀態(tài)的輸入，效果和不分階段的網(wǎng)絡(luò)一樣，讓Yt-1和原始雨圖Xrain通過fin拼接操作得到中間狀態(tài)的輸入Xt，會(huì)得到更好的去雨結(jié)果。然后讓Xt和St-1聯(lián)合起來(lái)通過循環(huán)層fre，和門控循環(huán)單元(Gated Recurrent Unit, GRU)[23]相比，循環(huán)層采用長(zhǎng)短時(shí)記憶(Long Short-Term Memory, LSTM)[24]的效果更好。以St作為t狀態(tài)的輸入，通過多尺度模塊fmtscale，接著通過輸出得到最終的結(jié)果，形成漸進(jìn)循環(huán)網(wǎng)絡(luò)。

2.3 多通道分離整合的多尺度漸進(jìn)循環(huán)網(wǎng)絡(luò)

將本文提出的多尺度模塊插入漸進(jìn)循環(huán)網(wǎng)絡(luò)中，構(gòu)建多通道分離整合的多尺度漸進(jìn)循環(huán)網(wǎng)絡(luò)，如圖3所示。具體來(lái)說，首先通過通道分離部署多尺度模塊，能夠更好地提取多尺度局部空間特征。接下來(lái)，為了獲得與局部信息互補(bǔ)的全局上下文信息，使用漸進(jìn)循環(huán)網(wǎng)絡(luò)來(lái)關(guān)聯(lián)去雨任務(wù)中多階段的局部與全局空間的特征表示。整體網(wǎng)絡(luò)利用5個(gè)多尺度殘差結(jié)構(gòu)，將去雨任務(wù)分成T=6階段任務(wù)來(lái)構(gòu)建去雨網(wǎng)絡(luò)。

圖3 多通道分離整合的多尺度單幅圖像去雨網(wǎng)絡(luò)結(jié)構(gòu)

2.4 損失函數(shù)

訓(xùn)練去雨網(wǎng)絡(luò)最廣泛使用的損失函數(shù)是均方誤差(MSE)，然而有時(shí)候MSE損失函數(shù)會(huì)得到過于平滑的結(jié)果，于是本文采用更有效的負(fù)SSIM損失函數(shù)來(lái)訓(xùn)練網(wǎng)絡(luò)。對(duì)于漸進(jìn)結(jié)構(gòu)有T個(gè)階段，有對(duì)應(yīng)的T個(gè)輸出，用X1,X2,…,XT來(lái)表示，Xgt表示沒有雨的原始圖，對(duì)最終輸出XT進(jìn)行監(jiān)督，那么負(fù)SSIM損失函數(shù)可以表示為：

L=-SSIM(XT,Xgt)

(4)

3 實(shí)驗(yàn)及結(jié)果分析

為了驗(yàn)證本文方法在單幅圖像去雨任務(wù)上的有效性，將本文方法與現(xiàn)有方法進(jìn)行對(duì)比，其中包括一個(gè)基于傳統(tǒng)優(yōu)化的方法GMM[4]和4個(gè)基于深度卷積神經(jīng)網(wǎng)絡(luò)的方法DDN[6]、RESCAN[9]、PReNet[10]和DCSFN[11]。充分的實(shí)驗(yàn)證明了本文方法的有效性。

3.1 實(shí)驗(yàn)數(shù)據(jù)

因?yàn)楝F(xiàn)實(shí)場(chǎng)景中很難得到對(duì)應(yīng)的原圖和雨圖，故采用合成的雨圖數(shù)據(jù)集是現(xiàn)在的主流做法。本文選用3個(gè)廣泛使用的合成的數(shù)據(jù)集Rain100H[25]、Rain100L[25]和Rain800[26]。Rain100H是難度很大的大雨數(shù)據(jù)集，在該數(shù)據(jù)集上訓(xùn)練具有說服力。Rain100H和Rain100L均由1800張圖片構(gòu)成訓(xùn)練集以及200張圖片構(gòu)成測(cè)試集。Rain800由700張圖片構(gòu)成訓(xùn)練集以及100張圖片構(gòu)成測(cè)試集。

目前沒有用于自動(dòng)駕駛圖像去雨任務(wù)的數(shù)據(jù)集。本文利用人工合成手段生成一個(gè)自動(dòng)駕駛雨天數(shù)據(jù)集，這對(duì)雨天自動(dòng)駕駛圖像的恢復(fù)有著重要的意義。本文采用的數(shù)據(jù)基于BDD100K[27]數(shù)據(jù)集，這是目前規(guī)模最大的交通數(shù)據(jù)集，通過隨機(jī)挑選該數(shù)據(jù)集的1000張圖片作為真實(shí)圖片，圖片的分辨率為1280×720，人工合成不同雨天效果的圖像。本數(shù)據(jù)集將900張圖片用作訓(xùn)練集，100張圖片用作測(cè)試集，并將其取名為BDD1000。

3.2 訓(xùn)練配置和評(píng)價(jià)指標(biāo)

實(shí)驗(yàn)的硬件環(huán)境為：Intel(R) Xeon(R) Gold 5220 CPU @ 2.20 GHz處理器，256 GB內(nèi)存以及4個(gè)NVIDIA GTX 2080Ti GPU。軟件環(huán)境為Python3.6和深度學(xué)習(xí)框架Pytorch,開發(fā)工具為PyCharm 2020。本文使用適應(yīng)性矩估計(jì)算法(Adaptive moment estimation, Adam)在100個(gè)周期內(nèi)以12個(gè)批次大小訓(xùn)練模型。每個(gè)圖像隨機(jī)裁剪為100×100的補(bǔ)丁。初始學(xué)習(xí)率設(shè)置為0.001，在30、50和80個(gè)周期將其除以5進(jìn)行衰減。為了實(shí)驗(yàn)的公平性，所有網(wǎng)絡(luò)均以相同的訓(xùn)練參數(shù)實(shí)施。

為了定量評(píng)估本文算法的性能，本文采用常用的峰值信噪比(Peak Signal-to-Noise Ratio, PSNR)和結(jié)構(gòu)相似性(Structural SIMilarity, SSIM)作為度量標(biāo)準(zhǔn)，用于去雨圖像與原圖進(jìn)行比較。通常情況下，2個(gè)測(cè)量指標(biāo)的數(shù)值越高，表示圖像去除雨線的效果越好。

3.3 常用數(shù)據(jù)集實(shí)驗(yàn)評(píng)估

本文用3個(gè)廣泛使用的數(shù)據(jù)集訓(xùn)練本文的模型，分別在相應(yīng)數(shù)據(jù)集下與去雨方法進(jìn)行對(duì)比。定量比較結(jié)果如表1所示，本文方法均取得最好的性能。比如在Rain100H數(shù)據(jù)集中，本文方法的PSNR比GMM、DDN、RESCAN、PReNet和DCSFN分別高出15.76 dB、7.76 dB、3.42 dB、0.57 dB和2.49 dB；在Rain800數(shù)據(jù)集中，本文方法的PSNR比GMM、DDN、RESCAN、PReNet和DCSFN分別高出5.89 dB、3.12 dB、3.07 dB、0.71 dB和1.08 dB。

表1 不同算法在常用數(shù)據(jù)集上定量比較

本文算法在Rain100H上的可視化對(duì)比結(jié)果如圖4所示。可以明顯看到單幅圖片的PSNR，本文算法也是高出其他算法的?；趥鹘y(tǒng)優(yōu)化思想的GMM，對(duì)于大雨圖片，幾乎無(wú)能為力。基于深度學(xué)習(xí)的DDN恢復(fù)的圖像相比GMM圖像質(zhì)量好了很多，但仍然有很多雨痕殘留。RESCAN去除雨痕的同時(shí)，有很多有色噪聲出現(xiàn)。DCSFN和PReNet會(huì)降低圖片的對(duì)比度，同時(shí)DCSFN生成的圖像并不平滑，有很多噪點(diǎn)，PReNet生成的圖像細(xì)節(jié)不夠清晰且伴隨著額外的光暈噪聲出現(xiàn)。由于本文方法對(duì)多尺度特征的充分提取，并且把握全局和局部信息，能在保留原有圖像細(xì)節(jié)的基礎(chǔ)上，降低噪聲出現(xiàn)的可能性。

(a) 雨圖 (b) GMM

3.4 自動(dòng)駕駛雨天數(shù)據(jù)集實(shí)驗(yàn)評(píng)估

為了探索本文去雨算法對(duì)自動(dòng)駕駛領(lǐng)域的幫助，本文自建了一個(gè)自動(dòng)駕駛雨天數(shù)據(jù)集(BDD1000)。在該數(shù)據(jù)集訓(xùn)練所提模型，實(shí)驗(yàn)定量比較結(jié)果如表2所示，本文方法均取得最好的性能。本文方法的PSNR比GMM、RESCAN、PReNet和DCSFN分別高出12.25 dB、5.9 dB、1.51 dB和5.14 dB。

表2 不同算法在自動(dòng)駕駛雨天數(shù)據(jù)集上定量比較

本文算法在BDD1000數(shù)據(jù)集上的可視化對(duì)比結(jié)果如圖5所示?？梢郧宄吹?，本文算法在評(píng)價(jià)指標(biāo)上取得了明顯的優(yōu)勢(shì)。GMM算法處理這種雨圖，比較困難，圖像恢復(fù)效果不好。RESCAN恢復(fù)后的圖像，殘留著很多肉眼可見的雨痕。DCSFN生成的圖像有多余噪聲線條出現(xiàn)。PReNet產(chǎn)生的圖像，有加重顏色深度的傾向，比如出現(xiàn)黑斑。本文算法因?yàn)殛P(guān)注多尺度信息，恢復(fù)圖像時(shí)候會(huì)更注重細(xì)節(jié)，再加上漸進(jìn)循環(huán)網(wǎng)絡(luò)，提取全局信息，最終獲得既保留原有圖像細(xì)節(jié)，又注重整體表現(xiàn)的圖像。

(a) 雨圖 (b) GMM

3.5 分離實(shí)驗(yàn)探究

為了探究多通道分離整合的多尺度網(wǎng)絡(luò)模塊中，卷積核的個(gè)數(shù)對(duì)效果的影響以及模塊的收斂性。本文將包含4個(gè)卷積核的多尺度結(jié)構(gòu)命名為多尺度殘差結(jié)構(gòu)A，將包含3個(gè)卷積核的多尺度結(jié)構(gòu)命名為多尺度殘差結(jié)構(gòu)B。和結(jié)構(gòu)A相比，結(jié)構(gòu)B中去掉了第1個(gè)子通道對(duì)X1的特征提取，在第2個(gè)子通道的輸出是X1和X2的疊加，實(shí)際上沒有放棄對(duì)X1的特征提取，減少一個(gè)卷積核意圖降低特征重復(fù)用的頻率，避免冗余計(jì)算。本部分試圖探究減少一個(gè)卷積核，能否避免網(wǎng)絡(luò)產(chǎn)生過擬合。2個(gè)多尺度殘差結(jié)構(gòu)對(duì)比如圖6所示。

圖6 多尺度殘差結(jié)構(gòu)對(duì)比

將不同結(jié)構(gòu)在Rain100H、Rain100L和Rain800數(shù)據(jù)集上訓(xùn)練，和基準(zhǔn)方法定量比較如表3所示。從結(jié)果上看，本文提出的2種多尺度殘差結(jié)構(gòu)和基準(zhǔn)方法相比，在不同數(shù)據(jù)集上的PSNR都有提升。多尺度結(jié)構(gòu)A的PSNR都是高于多尺度結(jié)構(gòu)B的PSNR。實(shí)驗(yàn)結(jié)果說明減少一個(gè)卷積核，會(huì)對(duì)多尺度結(jié)構(gòu)提取特征造成影響，造成網(wǎng)絡(luò)提取多尺度信息的能力變差。

表3 不同結(jié)構(gòu)在3個(gè)數(shù)據(jù)集上和基準(zhǔn)方法定量比較

圖7展示不同結(jié)構(gòu)在Rain100L數(shù)據(jù)集訓(xùn)練過程中的PSNR曲線，用來(lái)探討模塊的收斂性。可以發(fā)現(xiàn)多尺度模塊A的訓(xùn)練曲線，全程都是優(yōu)于基準(zhǔn)網(wǎng)絡(luò)和多尺度模塊B的，這說明多尺度模塊帶來(lái)極強(qiáng)大的特征提取能力，為網(wǎng)絡(luò)收斂帶來(lái)了很大的幫助。多尺度模塊B從第40次訓(xùn)練開始超過基準(zhǔn)網(wǎng)絡(luò)但最終沒有達(dá)到多尺度模塊A的水平，這說明多尺度模塊B因?yàn)樯倭艘粋€(gè)卷積核，造成其多尺度信息特征提取能力沒有多尺度模塊A強(qiáng)大。綜上所述，引入多尺度模塊A的網(wǎng)絡(luò)，模型性能更優(yōu)越，去雨效果更好。

圖7 多尺度模塊訓(xùn)練PSNR曲線對(duì)比

4 結(jié)束語(yǔ)

本文提出了一種多通道分離整合的多尺度網(wǎng)絡(luò)模型，在圖像去雨任務(wù)上取得了很好的效果。所提模型通過通道分離的形式，利用卷積層之間的相鄰連接，極大地豐富了感受野，充分捕捉空間信息，多次提取特征。然后將通道間的輸出進(jìn)行整合，從而達(dá)到更好的效果。同時(shí)使用漸進(jìn)循環(huán)網(wǎng)絡(luò)，分階段獲取全局信息和上下文信息，逐步使得雨圖恢復(fù)效果變得最好。實(shí)驗(yàn)結(jié)果表明本文算法相對(duì)于現(xiàn)有的算法，在常見的去雨數(shù)據(jù)集和自建的自動(dòng)駕駛雨天數(shù)據(jù)集進(jìn)行訓(xùn)練，人眼主觀判斷和圖像客觀指標(biāo)都有明顯的優(yōu)勢(shì)。并且，自建的自動(dòng)駕駛雨天數(shù)據(jù)集也能讓圖像去雨算法對(duì)自動(dòng)駕駛領(lǐng)域產(chǎn)生積極影響。