基于完全殘差的雙分支去雨網(wǎng)絡(luò)

宋 浩,張 鴻

(1.武漢科技大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,湖北 武漢 430065;2.智能信息處理與實(shí)時(shí)工業(yè)系統(tǒng)湖北省重點(diǎn)實(shí)驗(yàn)室(武漢科技大學(xué)),湖北 武漢 430065)

0 引 言

計(jì)算機(jī)視覺技術(shù)已經(jīng)滲透到了人類的日常生活和工業(yè)生產(chǎn)中,以戶外圖像為基礎(chǔ)的視覺系統(tǒng)已經(jīng)在無人機(jī)勘察、無人汽車自動駕駛、智能安防目標(biāo)檢測等諸多領(lǐng)域得到了實(shí)際的應(yīng)用,而現(xiàn)有的視覺處理算法都是建立在輸入圖像是清晰可靠的基礎(chǔ)上的,如果圖片的分辨率或者可見度較低,對后續(xù)目標(biāo)檢測[1]、語義分割[2]和圖像分類[3]任務(wù)的判定結(jié)果和準(zhǔn)確度會產(chǎn)生較大影響。雨天圖像會導(dǎo)致圖像內(nèi)容模糊不清,因此,去雨常被一些后續(xù)的視覺處理任務(wù)[1-3]當(dāng)作必要的預(yù)處理步驟。去雨任務(wù)的對象有視頻和圖像兩種類型。對于視頻去雨,利用視頻的時(shí)序特性,使用幀間冗余信息能較為容易地識別和去除雨紋[4-5],故而該文的重點(diǎn)是對更具有挑戰(zhàn)性的單幅圖像進(jìn)行雨紋移除。

單幅圖像去雨方法分為傳統(tǒng)的基于先驗(yàn)信息的去雨方法和近來的基于深度學(xué)習(xí)思想的去雨方法。由于缺乏序列信息,在早期單幅圖像。通常使用一些先驗(yàn)因素通過建模和分解來去除雨水。Li等人[6]提出了層間先驗(yàn)(LP),利用雨紋的低秩屬性將雨圖分為降雨層和背景層,并通過高斯混合模型對兩層建模,該先驗(yàn)對于去除多方向多尺度的雨紋有很好的效果。Luo等人[7]為了不混淆雨線層和背景層,提出了一個(gè)可以分離兩者的判別稀疏編碼框架(DSC),最終得到的去雨圖像保留了清晰的紋理細(xì)節(jié)。Kang等人[8]提出一個(gè)圖像的分解方法,采用雙向?yàn)V波器將降雨圖像分解為高頻層和低頻層,利用字典學(xué)習(xí)去除高頻層中的雨條紋。肖進(jìn)勝等人[9]提出了基于景深和稀疏編碼的圖像去雨算法來解決圖像分解算法中低頻部分存在的雨痕殘留和邊緣丟失,以及高頻部分的背景誤判問題。

基于先驗(yàn)知識的去雨方法雖然在一定程度上提升了戶外圖像去雨方法的效果,但針對大而密集的雨圖往往表現(xiàn)的不盡人意,且測試的時(shí)間較長,無法滿足實(shí)時(shí)檢測任務(wù)的需求。最近使用深度學(xué)習(xí)的圖像去雨方法取得了階段性的進(jìn)步。Fu等人[10]首先將深度學(xué)習(xí)用于圖像去雨領(lǐng)域,把降雨圖像分解為高頻和低頻部分來提取出雨條紋。Yang等人[11]提出了一個(gè)遞歸的雨痕檢測和清除網(wǎng)絡(luò)用于聯(lián)合檢測和去除雨條紋。Li等人[12]設(shè)計(jì)了一種上下文聚合網(wǎng)絡(luò)來多階段地去除雨水。Zhang等人[13]構(gòu)建了一個(gè)基于條件生成對抗網(wǎng)絡(luò)的去雨方法,通過在生成器和鑒別器中引入一個(gè)新的精煉損失函數(shù)和改進(jìn)架構(gòu)來得到更高的視覺質(zhì)量。張焱等人[14]提出了一種基于通道注意力和門控循環(huán)單元的圖像去雨算法(RMUN)來去除雨線。Wang等人[15]提出將循環(huán)尺度引導(dǎo)網(wǎng)絡(luò)用于單幅圖像去雨,為了探索不同尺度之間的相關(guān)性,開發(fā)了兩種類型的尺度引導(dǎo)塊來實(shí)現(xiàn)大小尺度之間的相互轉(zhuǎn)換。楊浩等人[16]提出了一個(gè)基于多階段雙殘差網(wǎng)絡(luò)的圖像去雨模型,使用多階段網(wǎng)絡(luò)逐步去除雨線。劉文進(jìn)等人[17]提出了一個(gè)端到端的融合殘差與注意力機(jī)制的去雨網(wǎng)絡(luò),將通道注意力與像素注意力串聯(lián)后再與多尺度融合的空間注意力并行,構(gòu)成了多注意力模塊,然后將多注意力模塊以殘差塊[18]的方式聯(lián)合卷積層構(gòu)成注意力殘差塊。

基于CNN的去雨方法主要是設(shè)計(jì)各類深度網(wǎng)絡(luò)將輸入的雨圖轉(zhuǎn)換為雨痕圖,然后在原始雨圖中抽離出雨痕就可以得到去雨圖像,但由于原始雨圖中背景圖層的細(xì)節(jié)與雨痕的紋理、方向和大小存在不少相似之處,去雨過程中容易將背景識別為雨痕去除而導(dǎo)致圖像的退化,如圖像細(xì)節(jié)損失、光暈偽影、顏色失真等。因此,該文提出了一種基于完全殘差的雙分支去雨網(wǎng)絡(luò)來解決該難題。該網(wǎng)絡(luò)有兩條分支分別用于生成雨痕和恢復(fù)細(xì)節(jié),雨痕提取分支采用了完全殘差多尺度聚合塊聯(lián)合可變形卷積塊[19]生成雨痕。細(xì)節(jié)恢復(fù)分支間使用了完全殘差塊生成細(xì)節(jié)特征圖,然后用特征圖結(jié)合初步去雨圖以生成最終的去雨圖像。

概括地來說,主要工作包括3個(gè)方面:

(1)提出了一個(gè)雙分支去雨網(wǎng)絡(luò)模型,相比于大部分去雨模型僅關(guān)注雨痕信息的提取,該文添加了一條細(xì)節(jié)恢復(fù)分支用于恢復(fù)去雨后的圖像細(xì)節(jié)信息,彌補(bǔ)由于雨痕提取帶來的細(xì)節(jié)丟失。

(2)提出了一種殘差塊的改進(jìn)結(jié)構(gòu)完全殘差塊來用于兩條分支,通過執(zhí)行更多路徑的特征映射來加強(qiáng)特征的重用,在雨痕提取分支中,完全殘差塊以特征金字塔的方式引入組合成完全殘差多尺度聚合塊,重點(diǎn)關(guān)注深度網(wǎng)絡(luò)中不同尺寸下對雨紋的語義特征提取和特征重用。

(3)針對使用固定卷積核會限制感受野大小的問題,在雨痕提取分支中引入了可變形卷積塊使網(wǎng)絡(luò)動態(tài)地?cái)U(kuò)充感受野,以融合更多的空間結(jié)構(gòu)化信息。

1 基于完全殘差的雙分支去雨網(wǎng)絡(luò)

本節(jié)首先引入完全殘差塊的結(jié)構(gòu),然后詳細(xì)介紹雙分支去雨網(wǎng)絡(luò)的整體框架及各模塊的構(gòu)成。雙分支去雨網(wǎng)絡(luò)的整體框架結(jié)構(gòu)如圖1所示。

圖1 雙分支去雨網(wǎng)絡(luò)整體框架結(jié)構(gòu)

1.1 完全殘差塊

近年來學(xué)者們提出了不同形式的網(wǎng)絡(luò)來對卷積進(jìn)行優(yōu)化,相比于圖2(a)的直接網(wǎng)絡(luò),圖2(b)的殘差塊[18]通過執(zhí)行身份映射來重新利用特征,解決了隨深度的增加產(chǎn)生的網(wǎng)格退化問題和梯度消失問題,并成功應(yīng)用在了圖像恢復(fù)領(lǐng)域[20]。為了進(jìn)一步減少去雨過程中特征信息在傳遞過程中造成的損失,該文嘗試通過執(zhí)行更多路徑的特征映射來加強(qiáng)特征的重用,如圖2(c)所示,相比于殘差塊在兩個(gè)或者三個(gè)卷積塊間使用一條直接映射進(jìn)行信息傳遞,該文在每個(gè)卷積間都執(zhí)行特征映射,在延續(xù)殘差塊優(yōu)點(diǎn)的基礎(chǔ)上,進(jìn)一步加強(qiáng)了特征的重用。

圖2 完全殘差與其他卷積方式的比較

1.2 雨痕提取分支

由于雨痕比背景簡單,通常用提取雨痕的方式來對圖像去雨。雨痕提取分支可以根據(jù)輸入的雨圖提取出相應(yīng)的雨痕信息,由提取出的雨痕信息結(jié)合原始雨圖便能得到背景圖像,這一過程可公式化為:

B=O-R

(1)

其中,O為輸入的雨天圖像,R為雨痕圖像,B為去雨后的背景圖像。為了充分利用不同層次的特征,該文采用密集連接[21]來連接由完全殘差多尺度聚合塊和可變形卷積塊組合成的單元塊,以級聯(lián)的方法組合單元塊,這樣做可以加強(qiáng)單元塊之間特征的傳遞,同時(shí)減少了參數(shù)量,使網(wǎng)絡(luò)易于訓(xùn)練。

1.2.1 完全殘差多尺度聚合塊

多尺度信息有利于提升圖像去雨能力[22],通過自頂向下的路徑將神經(jīng)網(wǎng)絡(luò)的低分辨率和高分辨率分別構(gòu)建成特征金字塔是利用多尺度信息的一個(gè)重要手段。Fu等[23]采用一組并行子網(wǎng)絡(luò)分別估計(jì)特定金字塔尺度空間中的雨信息,但是它忽略了金字塔層間的相關(guān)信息。Zheng等[24]使用高層特征來幫助表示相鄰的金字塔層,通過迭代去除雨紋,然而,這也丟失了一部分有用的底層信息和尺度特征。與上述兩種方法不同,如圖3所示,該文提出的完全殘差多尺度聚合塊使用完全殘差塊充分學(xué)習(xí)每個(gè)尺度的特征,最后將不同的特征融合后輸出,形成了連續(xù)多尺度的深度學(xué)習(xí)網(wǎng)絡(luò)。

首先,使用不同卷積核和步長的池化操作來對輸入特征進(jìn)行下采樣:

Dk=Poolingk(F)

(2)

其中,k=1,2,…,K,F為完全殘差多尺度聚合塊的輸入特征,Poolingk表示卷積核為2k-1×2k-1、步長為2k-1×2k-1的最大池化操作,Dk表示在特征金字塔第k層中經(jīng)下采樣后的尺度特征圖。經(jīng)過池化后的特征圖隨后輸入到完全殘差塊中來充分學(xué)習(xí)雨痕信息,由圖2(c)中完全殘差塊的結(jié)構(gòu)可得:

FRk=Dk+LR(Conv1(Dk))+

LR(Conv2(Dk+LR(Conv1(Dk))))

(3)

其中,FRk為特征金字塔第k層中完全殘差塊的輸出,LR為非線性激活函數(shù)LeakyRelu,Conv1和Conv2為具有C通道的3×3卷積。完全殘差多尺度聚合塊的最終輸出為各層的輸出經(jīng)上采樣后合并然后通過一個(gè)1×1卷積將通道數(shù)置為C:

FRMA=Conv1×1(Concat[U1(FR1),

U2(FR2),…,Uk(FRk)])

(4)

其中,FRMA為完全殘差多尺度聚合塊的輸出特征,Uk表示用雙線性插值法對FRk實(shí)施2k-1×的上采樣操作,Concat指的是對上采樣后的特征進(jìn)行串聯(lián)。

1.2.2 可變形卷積塊

卷積神經(jīng)網(wǎng)絡(luò)由于其結(jié)構(gòu)固定,對幾何變換進(jìn)行建模時(shí)會受到一些限制,如卷積核只能以固定順序?qū)μ卣鲌D采樣、池化層只能按固定比率降低分辨率,這些限制會導(dǎo)致感受野大小固定、池化后信息丟失等問題[25],雖然可以引入擴(kuò)張卷積(dilated convolution)來擴(kuò)大感受野,但這可能會導(dǎo)致網(wǎng)絡(luò)偽影破壞圖像的紋理。動態(tài)地?cái)U(kuò)大感受野能充分利用特征空間的結(jié)構(gòu)化信息,由此引入了可變形卷積來擴(kuò)展具有自適應(yīng)形狀的感受野,并提高了模型的轉(zhuǎn)換能力,以便更好地進(jìn)行圖像去雨。

在普通卷積過程中,卷積核在輸入特征圖x上采樣,將采樣值和對應(yīng)權(quán)重w相乘再求和。對輸出特征圖y上的每個(gè)位置p0有:

(5)

其中,R={(-1,-1),(-1,0),…,(0,1),(1,1)}表示一個(gè)卷積核為3×3,擴(kuò)張(dilation)為1的網(wǎng)格的感受野,pn列舉了在網(wǎng)格R中的位置。在可變形卷積過程中,網(wǎng)格R增加了偏移量{Δpn|n=1,2,…,N},N=|R|,即在卷積的基礎(chǔ)上對每一個(gè)采樣點(diǎn)增加一個(gè)偏移量,公式(5)變?yōu)?

(6)

圖4給出了可變形卷積塊的原理示意圖?？梢钥吹?可變形卷積塊會對卷積前的圖片像素重新整合,變相地實(shí)現(xiàn)了卷積核的擴(kuò)張,使卷積位置聚集在雨痕的周圍。其中偏移量感受野是通過一個(gè)額外卷積層學(xué)習(xí)到的,對于一張輸入特征圖,每個(gè)點(diǎn)都需要一個(gè)偏移量(可分為x軸和y軸上的偏移量),所以偏移量感受野的長寬與輸入的特征圖的長寬相同,但通道數(shù)是輸入特征圖的兩倍(存在x,y兩個(gè)方向的偏置量)。

圖4 可變形卷積原理

1.3 細(xì)節(jié)恢復(fù)分支

雨紋和圖像細(xì)節(jié)有著相似的結(jié)構(gòu),且缺乏一個(gè)語義信息來區(qū)別二者,這導(dǎo)致使用深度模型去雨時(shí)會因?yàn)閷D像細(xì)節(jié)識別為雨紋去除而造成細(xì)節(jié)的丟失,恢復(fù)圖像的細(xì)節(jié)對于提升去雨的質(zhì)量至關(guān)重要,細(xì)節(jié)恢復(fù)分支旨在通過一個(gè)附加的網(wǎng)絡(luò)將去雨后丟失的細(xì)節(jié)返回到圖像當(dāng)中。對細(xì)節(jié)的提取重點(diǎn)是要求網(wǎng)絡(luò)對輸入特征充分的利用和參數(shù)是輕量級的,完全殘差塊在延續(xù)殘差塊優(yōu)點(diǎn)的基礎(chǔ)上加強(qiáng)了對特征的重用,且其花費(fèi)的參數(shù)代價(jià)極少,十分適用于細(xì)節(jié)恢復(fù)。

由雨痕提取分支提取出的雨痕圖像R根據(jù)公式(1)得到初步去雨圖像B,將原始雨圖O聯(lián)合初步去雨圖像B輸入到細(xì)節(jié)恢復(fù)分支中,通過一個(gè)3×3卷積將輸入圖像轉(zhuǎn)化為特征圖,經(jīng)過L個(gè)完全殘差塊提取特征后,用兩個(gè)3×3卷積從特征圖中恢復(fù)RGB通道,中間使用跳躍連接(skip connection)來提供長距離的信息補(bǔ)償并實(shí)現(xiàn)完全殘差學(xué)習(xí)[24],最后將細(xì)節(jié)特征圖聯(lián)合初步去雨圖像生成最終去雨圖像。

1.4 損失函數(shù)

在圖像去雨中,損失函數(shù)的選擇十分重要,損失函數(shù)選取的標(biāo)準(zhǔn)一般是收斂速度快和損失值小?；旌蠐p失中的(MSE+SSIM)[26]或(MAE+SSIM)[23]被廣泛用于訓(xùn)練網(wǎng)絡(luò),但是相對于使用單獨(dú)的MSE損失或負(fù)SSIM損失,混合損失函數(shù)的參數(shù)量過于龐大,不利于有時(shí)間要求的去雨任務(wù)[27-30]。該文采用MSE損失作為損失函數(shù),其相對于負(fù)SSIM損失函數(shù)能在相近參數(shù)量的情況下更快收斂。

對于雨痕提取分支,損失函數(shù)為:

(7)

對于細(xì)節(jié)恢復(fù)分支,損失函數(shù)為:

(8)

由此,該文提出的雙分支去雨網(wǎng)絡(luò)的損失函數(shù)可表示為兩條分支損失函數(shù)的帶權(quán)和:

(9)

其中,λ1、λ2是用來平衡兩條分支損失函數(shù)的參數(shù),在實(shí)驗(yàn)中分別設(shè)置為0.1和1。

2 實(shí)驗(yàn)與分析

2.1 實(shí)驗(yàn)設(shè)置

2.1.1 數(shù)據(jù)集

該文在三個(gè)公開的合成數(shù)據(jù)集Rain800[13]、Rain100L[11]和Rain100H[11]中對文中方法進(jìn)行訓(xùn)練和測試。Zhang等人使用Photoshop合成了一個(gè)含有800對圖像的室外數(shù)據(jù)集Rain800,將其中700對圖像用于訓(xùn)練,100對圖像用于測試。Yang等人收集并合成了重雨數(shù)據(jù)集Rain100H和輕雨數(shù)據(jù)集Rain100L,都包含有1 800對訓(xùn)練集和200對測試集,其中Rain100H由五個(gè)方向的雨紋合成,去除雨水有一定的難度,更加考驗(yàn)?zāi)Ｐ偷娜ビ昴芰Α?/p>

為了驗(yàn)證文中方法對復(fù)雜的真實(shí)雨天圖像的適用性,在公開真實(shí)數(shù)據(jù)集Real-world[11,13]對文中方法進(jìn)行視覺效果分析。其中Real-world數(shù)據(jù)集中共有784張真實(shí)雨天圖像,這些圖像在雨痕的強(qiáng)度和方向上具有多樣性,挑選其中的100張圖像來做測試數(shù)據(jù)集?？紤]到從真實(shí)世界中獲得大量的有雨/無雨圖像對相對困難,真實(shí)數(shù)據(jù)集都是在Rain100H的訓(xùn)練模型中進(jìn)行測試的。

2.1.2 評估指標(biāo)

峰值信噪比(Peak Signal to Noise Ratio,PSNR)[29]和結(jié)構(gòu)相似度(Structure Similarity Index,SSIM)[30]被廣泛用于圖像恢復(fù)后的質(zhì)量評估,二者的值越高表示去雨后的圖像越接近地面真實(shí)圖像,模型的去雨效果越好,其中SSIM的峰值為1。由于真實(shí)世界的雨天圖像沒有對應(yīng)的無雨圖像,無法用以上兩個(gè)指標(biāo)來評估去雨效果,所以對真實(shí)世界數(shù)據(jù)集只進(jìn)行視覺評估。

2.1.3 訓(xùn)練細(xì)節(jié)

該文采用Pytorch框架來訓(xùn)練和測試雙分支去雨網(wǎng)絡(luò)。合成數(shù)據(jù)集中訓(xùn)練和測試的輸入圖像是有雨圖像和無雨圖像聯(lián)合的成對圖像,真實(shí)數(shù)據(jù)集中測試的輸入圖像是單幅雨天圖像。每張輸入樣本被隨機(jī)裁剪為64×64像素,然后通過對圖像隨機(jī)旋轉(zhuǎn)和隨機(jī)水平翻轉(zhuǎn)進(jìn)行圖像增強(qiáng)。在訓(xùn)練過程中,采用Adam優(yōu)化器[29]進(jìn)行梯度下降,epoch設(shè)置為200,初始學(xué)習(xí)率設(shè)置為5e-4,在訓(xùn)練到第120個(gè)epoch和第160個(gè)epoch時(shí)學(xué)習(xí)率以0.1倍率遞減,batchsize設(shè)置為5,共訓(xùn)練72 000步。整個(gè)網(wǎng)絡(luò)的通道數(shù)均為32,實(shí)驗(yàn)在一臺NVIDIA GeForce GTX 1080的主機(jī)上完成。

2.2 測試結(jié)果與分析

表1列出了所提方法與基于先驗(yàn)的經(jīng)典方法(DSC[7])和目前主流的深度學(xué)習(xí)方法(RESCAN[12]、SPANet[27]、JDNet[28])在三個(gè)廣泛使用的數(shù)據(jù)集上的PSNR和SSIM指標(biāo)值比較,并標(biāo)記出了各數(shù)據(jù)集中最優(yōu)指標(biāo)。將合成數(shù)據(jù)集Rain100H和Rain100L的200對測試圖像對和Rain800的100對測試圖像對輸入到訓(xùn)練好的網(wǎng)絡(luò)做測試,記錄平均的PSNR和SSIM指標(biāo)值。

結(jié)果表明,基于先驗(yàn)方法的方法表現(xiàn)相對較差,且在重雨數(shù)據(jù)集中更顯劣勢,而基于深度學(xué)習(xí)的方法取得了不錯(cuò)的結(jié)果。對于最具難度的重雨數(shù)據(jù)集Rain100H,文中方法在PSNR上相對于RESCAN、SPANet和JDNet分別提高了3.18 dB、2.44 dB和0.09 dB,在SSIM上分別提高了0.08、0.05和0.02,在比較的各方法中取得了最優(yōu)結(jié)果。在圖5和圖6中分別給出了各比較方法在Rain100H數(shù)據(jù)集和Real-world數(shù)據(jù)集的可視化分析,可以看到,文中方法相對于其他方法在去除雨紋的同時(shí)對圖像細(xì)節(jié)的保留程度最高。

表1 不同方法的PSNR和SSIM對比結(jié)果

圖5 Rain100H數(shù)據(jù)集中去雨效果對比

2.3 消融學(xué)習(xí)

為了驗(yàn)證在模塊中添加的每個(gè)組件的有效性,在Rain100H測試集上針對每個(gè)組件的不同組合進(jìn)行了結(jié)構(gòu)分析,并標(biāo)記出取得了最優(yōu)指標(biāo)的模塊結(jié)構(gòu),如表2所示。M1為基礎(chǔ)模塊,在完全殘差多尺度聚合塊中用殘差塊替代完全殘差,且不含可變形卷積塊和細(xì)節(jié)恢復(fù)分支;M2僅使用完全殘差多尺度聚合塊作單元塊且不含細(xì)節(jié)恢復(fù)分支;M3使用了完全殘差多尺度聚合塊聯(lián)合經(jīng)典卷積作為單元塊且不包含細(xì)節(jié)恢復(fù)分支;M4在文中方法的結(jié)構(gòu)中去掉了可變形卷積塊。結(jié)果表明網(wǎng)絡(luò)中的每個(gè)組件都在一定程度上改善了最終結(jié)果,通過消融實(shí)驗(yàn),驗(yàn)證了所提方法中各個(gè)組件的有效性。

圖6 Real-world數(shù)據(jù)集中去雨效果對比

驗(yàn)證了各組件的有效性后,需要探究尺度層數(shù)K、單元塊數(shù)量L對去雨結(jié)果的影響,其中K為完全殘差多尺度聚合塊中的下采樣的次數(shù),L為雨痕提取分支中通過密集連接的單元塊的數(shù)量。表3給出了對尺度層數(shù)K和單元塊數(shù)量L的消融分析結(jié)果,通過固定L為32改變K值和固定K為4改變L值,在Rain100H測試集上通過指標(biāo)PSNR和SSIM分析得知K= 4、L=32時(shí),文中方法的去雨效果最好。

表2 消融實(shí)驗(yàn)結(jié)果展示

表3 尺度層數(shù)和單元塊數(shù)量分析

3 結(jié)束語

該文提出了一種基于完全殘差的雙分支去雨網(wǎng)絡(luò)。在雨痕提取分支中通過在特征金字塔中使用完全殘差,專注于各層特征的深度提取,并引入可變形卷積動態(tài)擴(kuò)大感受野來避免產(chǎn)生網(wǎng)格偽影。在細(xì)節(jié)恢復(fù)分支中利用完全殘差的輕量性和對特征的重利用,以較少參數(shù)的代價(jià)恢復(fù)出了圖像的細(xì)節(jié)特征圖。在合成/真實(shí)數(shù)據(jù)集進(jìn)行訓(xùn)練和測試,跟比較方法相比該方法在指標(biāo)值和視覺效果上都取得領(lǐng)先地位。對模塊的結(jié)構(gòu)、數(shù)量取值做了對比分析,驗(yàn)證了該方法的有效性。

該網(wǎng)絡(luò)還存在幾點(diǎn)局限性,一是真實(shí)世界的雨紋因?yàn)榇髿夤庹諘a(chǎn)生類似于霧的“面紗”效應(yīng),而該文所使用的訓(xùn)練集中的雨圖是由不同方向和大小的雨條紋疊加組成,不能充分模擬真實(shí)雨圖,這使該方法對真實(shí)圖像的去雨不夠徹底,如何制作一個(gè)能模擬真實(shí)雨圖的數(shù)據(jù)集是未來需要探究的問題;二是考慮到該方法的實(shí)際應(yīng)用價(jià)值,例如將該方法用于自動駕駛,這需要系統(tǒng)在極短的時(shí)間去除雨痕,因此在未來需要對網(wǎng)絡(luò)進(jìn)行輕量化研究。