基于編碼—解碼結(jié)構(gòu)的多階段圖像去雨滴方法

谷坤源 賈宗璞 趙珊 龐曉艷 張鵬

摘 要：針對附著鏡頭或玻璃表面的雨滴會造成圖像退化的問題，提出了一種多階段漸進式圖像去雨滴方法。整個去雨滴過程被分解為多個更易于實現(xiàn)的階段。首先在每個階段設(shè)計多尺度融合的編碼—解碼網(wǎng)絡(luò)以學(xué)習(xí)雨滴特征，通過構(gòu)建帶有門控循環(huán)單元的多尺度擴張卷積來細化內(nèi)部傳遞的空間特征。然后引入無降維的通道注意力機制對特定空間特征下的通道信息進行提取。最后為加強每個階段各部分之間的信息交換，采用跨階段特征融合機制，在每個階段的編碼—解碼網(wǎng)絡(luò)之間加入橫向連接，以實現(xiàn)特征信息的橫向傳遞。在每個階段之間加入監(jiān)督注意模塊，以增強不同階段之間的信息傳遞，最終漸進地實現(xiàn)雨滴的去除。實驗表明該方法能夠有效地去除雨滴。

關(guān)鍵詞：圖像去雨滴；深度學(xué)習(xí)；編碼—解碼結(jié)構(gòu)；多尺度擴張卷積；通道注意力機制

中圖分類號：TP391?? 文獻標(biāo)志碼：A

文章編號：1001-3695（2023）09-050-2875-06

doi：10.19734/j.issn.1001-3695.2022.11.0808

Multi-stage image raindrop removal via encoder-decoder network

Gu Kunyuan，Jia Zongpu，Zhao Shan，Pang Xiaoyan，Zhang Peng

（School of Computer Science & Technology，Henan Polytechnic University，Jiaozuo Henan 454000，China）

Abstract：For the problem of image degradation caused by raindrops attached to the lens or glass surface，this paper proposed a multi-stage progressive image raindrop removal method which divides the raindrop removal process into multiple stages to easily implement.Firstly，

it designed

the multi-scale fused encoder-decoder network at each stage to learn raindrop features，and constructed multi-scale dilated convolutions with gated recurrent units to refine the internally transferred spatial features.In addition，it introduced the no dimensionality reduction channel attention module to extract channel information under specific spatial features.Finally，this paper adopted cross-stage feature fusion mechanism to strengthen the information exchange between the parts of each stage，and added horizontal connections between the encoder-decoder networks in each stage to realize the horizontal transfer of feature information.And it added a supervised attention module to enhance the information transmission between different stages，

and progressively achieved the raindrop removal.Experiments show that the proposed method can effectively remove raindrops.

Key words：image raindrop removal；deep learning； encoder-decoder network；multi-scale dilated convolutions；channel attention module0 引言

雨滴會使拍攝的圖像退化，進而對高級別的戶外視覺任務(wù)造成影響。因此，如何在去除圖像中雨滴的同時保留完整的圖像背景信息，一直是計算機視覺研究的重點之一［1］。單幅圖像去雨的難點主要在于沒有時空的特征信息，被雨滴覆蓋的區(qū)域未知，且封閉未知區(qū)域的信息丟失。其基于數(shù)據(jù)驅(qū)動的方法主要以深度學(xué)習(xí)為代表，通過所構(gòu)建的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)有雨圖像與無雨圖像之間的映射關(guān)系。近年來，計算機算力的不斷提升助力了深度學(xué)習(xí)的發(fā)展，基于深度學(xué)習(xí)的圖像去雨方法的性能也得到顯著提升。最初，Eigen等人［2］構(gòu)建了一個較為簡單的三層神經(jīng)網(wǎng)絡(luò)，以學(xué)習(xí)成對的雨滴退化圖像和無雨圖像。由于網(wǎng)絡(luò)容量有限，其只能處理相對稀疏和較小的雨滴以及污垢。Qian等人首先嘗試采用Pix2Pix［3］的網(wǎng)絡(luò)架構(gòu)去除圖像中的雨滴。由于該方法是一個通用映射，并不是專門針對圖像中雨滴的去除工作，實驗結(jié)果并不能令人滿意。之后，Qian等人［4］第一次將生成對抗網(wǎng)絡(luò)應(yīng)用于雨滴的去除上，提出了AttentionGAN。雖然在修復(fù)的雨滴區(qū)域上，生成的去雨圖像在紋理上看上去更加真實，但是在其他區(qū)域并不能很好地保留圖像原有的真實信息。

隨著深度學(xué)習(xí)技術(shù)的進步，許多應(yīng)用于圖像的網(wǎng)絡(luò)模塊和功能模塊被開發(fā)出來，包括遞歸殘差學(xué)習(xí)［5］、擴展卷積［6］、注意力機制［7，8］、編碼器—解碼器模塊［9，10］等。結(jié)合這些模塊的優(yōu)點，Chen等人［11］采用擴展卷積和門控網(wǎng)絡(luò)的方法建立了門控上下文聚合網(wǎng)絡(luò)，提升了對模糊圖像的恢復(fù)能力。Liu等人［8］

提出基于成操作的雙殘差網(wǎng)絡(luò)，通過組合不同的雙殘差模塊，重復(fù)執(zhí)行具有大尺寸和小尺寸內(nèi)核的成對卷積，以實現(xiàn)圖像修復(fù)。Chen等人［12］在深度學(xué)習(xí)網(wǎng)絡(luò)中引入反饋機制，并將低質(zhì)量的圖像特征替換為高質(zhì)量的圖像特征。與傳統(tǒng)的方法［13］相比，基于卷積神經(jīng)網(wǎng)絡(luò)的方法取得了更好的去雨效果，性能上的增益主要歸因于其模型設(shè)計［14］，但是容易出現(xiàn)雨滴未去除干凈或背景紋理信息丟失的情況。相比之下，多階段的網(wǎng)絡(luò)在去除圖片上復(fù)雜雨滴的任務(wù)中比單階段的網(wǎng)絡(luò)更加有效?，F(xiàn)有的多階段網(wǎng)絡(luò)有的采用編碼—解碼的網(wǎng)絡(luò)模塊，Zamir等人［15］以此為基礎(chǔ)構(gòu)建了多階段漸進式圖像恢復(fù)網(wǎng)絡(luò)，雖然在圖像去噪的其他方面較為優(yōu)秀，但是并不能有效地去除圖像中的雨滴。說明該模塊雖然在編碼多尺度的上下文信息方面有效，但在保存空間圖像細節(jié)方面的能力較弱，因此改進其通道注意力機制具有必要性［16，17］。有的網(wǎng)絡(luò)采用單尺度的模塊，Jiang等人［18］提出多尺度漸進融合的多階段網(wǎng)絡(luò)，每個階段獲得此尺度下較為準(zhǔn)確的空間信息。首先在單一尺度下去除雨滴，然后將去雨后的結(jié)果進行融合。由于雨滴的特征復(fù)雜，僅在三個尺度下無法對所有雨滴的特征信息進行學(xué)習(xí)，其去雨后的背景信息較為模糊。

針對上述問題，本文在多階段的網(wǎng)絡(luò)中結(jié)合這兩種設(shè)計，逐階段漸進地去除圖像中的雨滴。在多個尺度中嵌入所構(gòu)建的通道注意力模塊，提升網(wǎng)絡(luò)對于雨滴特征的關(guān)注。加強不同階段網(wǎng)絡(luò)之間的信息傳遞，既建立了從前期到后期傳遞中間特征的機制，又在每個階段的末端增強學(xué)習(xí)到的雨滴特征。前者可以保留編碼—解碼模塊所學(xué)習(xí)到的上下文特征，后者可以將關(guān)于雨滴的特征信息提供給下一階段。

1 本文方法

1.1 網(wǎng)絡(luò)總體結(jié)構(gòu)

針對復(fù)雜場景下的雨滴，本文提出了由三個階段構(gòu)成的多階段漸進式圖像去雨滴網(wǎng)絡(luò)（multi-stage progressive image raindrop removal net，MSRRNet），分階段漸進地去除圖像中的雨滴。如圖1所示，每個階段均以多尺度融合的編碼—解碼網(wǎng)絡(luò)（multi-scale fused encoder-decoder network，MF-UNet）為核心，圖像經(jīng)初步特征細化后進入編碼—解碼結(jié)構(gòu)，在編碼—解碼網(wǎng)絡(luò)的U形連接結(jié)構(gòu)中，設(shè)計了帶有門控循環(huán)單元的多尺度擴張卷積作為特征細化模塊（feature refinement module，F(xiàn)RM），通過學(xué)習(xí)圖像中雨滴的空間細節(jié)，生成雨滴特征圖。在多階段網(wǎng)絡(luò)中，雨圖的每個尺度下均級聯(lián)無降維的通道注意力模塊（nodimensionality reduction channel attention module，NRCA），以學(xué)習(xí)該尺度對應(yīng)的高等級上下文信息。在每兩個階段之間加入監(jiān)督注意模塊（supervised attention module，SAM）［15］，在真實圖像的監(jiān)督下，網(wǎng)絡(luò)將前一階段的特征圖傳遞到下一階段之前，會重新縮放前一階段的特征圖。此外，在編碼—解碼結(jié)構(gòu)網(wǎng)絡(luò)之間還引入了特征傳遞模塊（feature transfer module，F(xiàn)TM），用前一階段編碼—解碼結(jié)構(gòu)學(xué)習(xí)的多尺度上下文特征鞏固后一階段網(wǎng)絡(luò)學(xué)習(xí)到的特征。

網(wǎng)絡(luò)的三個階段均由含雨滴圖片作為輸入，不同的是，采用了多尺度層次結(jié)構(gòu)。輸入圖片前將圖片分割為不重疊的多個尺度，將等分為四部分的圖片作為第一階段的輸入，將等分為兩部分的圖片作為第二階段的輸入，原始圖像則應(yīng)用于第三階段。在前兩個階段中，多尺度的圖片經(jīng)卷積初步細化特征后傳入MF-UNet結(jié)構(gòu)，在多尺度融合的編碼—解碼網(wǎng)絡(luò)中學(xué)習(xí)雨滴特征，并將圖片在空間維度上兩兩拼接。經(jīng)過監(jiān)督注意模塊后與下一個階段的輸入圖片聚合，以增強其雨滴特征，便于下一階段網(wǎng)絡(luò)的學(xué)習(xí)。此外，在MF-UNet結(jié)構(gòu)學(xué)習(xí)雨滴的特征后，利用特征傳遞模塊將參數(shù)與下一階段共享，以加強網(wǎng)絡(luò)的信息交流。在第三階段，本文通過級聯(lián)多個無降維的通道注意力模塊NRCA的方式，引入跳躍連接，如圖2所示，構(gòu)成了特征重建模塊（feature reconstruction module，RM），對整個多階段漸進網(wǎng)絡(luò)學(xué)習(xí)的特征進行重組，以輸出最終的清晰圖片。

1.2 多尺度融合的編碼—解碼網(wǎng)絡(luò)（MF-UNet）

為了充分提取不同形狀雨滴的特征，本文設(shè)計了多尺度融合的編碼—解碼網(wǎng)絡(luò)。網(wǎng)絡(luò)基于標(biāo)準(zhǔn)的U-Net結(jié)構(gòu)，分為編碼部分和解碼部分，編碼部分采用下采樣的操作獲取多尺度的圖像信息，解碼部分對多尺度的圖像采用上采樣的操作以恢復(fù)圖像原有的分辨率。為了進一步提高網(wǎng)絡(luò)學(xué)習(xí)多尺度特征的能力，本文通過融合多尺度擴張卷積、無降維的通道注意力機制和門控循環(huán)單元，構(gòu)建了特征細化模塊。在編碼—解碼網(wǎng)絡(luò)跳躍連接中的特征細化模塊能夠有效減少特征傳遞過程中的損失。圖片在每次下采樣操作之后，會經(jīng)過特征細化模塊再與上采樣部分融合，雨滴的特征信息在此過程中被充分學(xué)習(xí)。

具體的過程如圖3所示。網(wǎng)絡(luò)首先在編碼階段利用無降維的通道注意力模塊粗提取每個尺度雨滴的通道特征；然后在每個下采樣層分別通過特征細化模塊對此尺度下的特征信息進行進一步的細化提取，提取的雨滴特征經(jīng)U-Net的跳躍連接匯入對應(yīng)的解碼階段；最后將編碼部分下采樣后得到的特征圖再逐步上采樣，并與上一個階段的特征圖聚合得到去雨后的圖像。采用不同分辨率的特征提取網(wǎng)絡(luò)能更好地提取雨滴特征。編碼部分通過對圖片的兩次下采樣改變圖片尺度，在每個下采樣層，都級聯(lián)使用了擴張率分別為1、2、4、8的擴張卷積以獲取不同尺度的信息，這些信息在解碼部分與雙線性上采樣后的特征圖聚合，實現(xiàn)了編碼—解碼網(wǎng)絡(luò)的多尺度融合。此外，相較于普通上采樣，使用雙線性上采樣可以提高解碼部分雨滴特征圖的空間分辨率。

特征細化模塊的設(shè)計以多尺度擴張卷積為核心。由于空間上下文信息對于雨水去除非常重要，而雨滴的形狀、大小和密度可變，相同尺度的卷積核無法提取整個區(qū)域的雨滴特征，多尺度擴張卷積有助于學(xué)習(xí)不同大小雨滴的特征，以及雨滴中暗含的背景信息，以生成特征圖。因此本文重新設(shè)計了多尺度擴張卷積，在保持較低網(wǎng)絡(luò)深度的情況下以指數(shù)方式擴展感受野，在不降低分辨率的情況下獲取更多的上下文信息。從第一層到第四層，擴張率從1增大到8，卷積核大小為3×3，以提取不同尺度的雨滴細節(jié)特征。在每個擴張卷積的后面使用隨機糾正線性單元（leaky ReLU）學(xué)習(xí)圖像中的非線性關(guān)系。特征細化模塊不同層的各項參數(shù)如表1所示。

2 實驗結(jié)果與分析

2.1 實驗配置

本文所提出的去雨滴網(wǎng)絡(luò)模型基于PyTorch深度學(xué)習(xí)框架，訓(xùn)練和測試的硬件環(huán)境為NVIDIA Tesla V100-SXM2。由于不同階段數(shù)和通道數(shù)對去雨效果的影響不同，所以本文對這兩個關(guān)鍵超參數(shù)進行了討論。對于階段數(shù)，由圖7可知，當(dāng)階段數(shù)為3時，網(wǎng)絡(luò)可以在較低的復(fù)雜度下得到理想的去雨結(jié)果。對于通道數(shù)，由圖8可知，隨著通道數(shù)的增加，網(wǎng)絡(luò)的去雨能力不斷增強，在通道數(shù)為80時達到最佳。網(wǎng)絡(luò)中編碼—解碼結(jié)構(gòu)在編碼部分的每一層上使用2個NRCA模塊，下采樣采用步長為2的大小為2×2的最大池化操作，在網(wǎng)絡(luò)的最后部分使用了級聯(lián)的8個NRCA模塊作為重建模塊。訓(xùn)練時，batchsize設(shè)置為8，在256×256大小的圖像塊上訓(xùn)練，為了增加訓(xùn)練數(shù)據(jù)，對圖片隨機應(yīng)用水平翻轉(zhuǎn)和垂直翻轉(zhuǎn)來進行數(shù)據(jù)增強。此外，本文使用初始學(xué)習(xí)率為2×10-4的Adam優(yōu)化器，使用Cosine annealing策略［22］，將學(xué)習(xí)率的大小緩慢下降至1×10-6。

本文采用峰值信噪比（peak signal to noise ratio，PSNR）［23］和結(jié)構(gòu)相似性（structural similarity index，SSIM）［24］作為客觀評價圖像質(zhì)量的方法，通過數(shù)值來直觀地比較去雨方法的性能。在去雨的實驗過程中，有雨圖像和無雨清晰圖像必須在同一個背景下，雨滴區(qū)域所對應(yīng)的背景需完全一致。訓(xùn)練集和測試集選用公開的數(shù)據(jù)集，關(guān)于雨滴的數(shù)據(jù)集選用了Qian等人［4］公開的數(shù)據(jù)集，其通過在鏡頭上灑水的方式，創(chuàng)建了真實的附著雨滴圖像的數(shù)據(jù)集，包含861對訓(xùn)練圖像以及58對測試圖像。關(guān)于雨線的數(shù)據(jù)集選用了Zhang等人［25］提出的Rain800，其通過向圖片中添加不同強度和方向的雨條紋的方式人工合成數(shù)據(jù)集，包含700對訓(xùn)練圖像和100對測試圖像。

2.2 消融實驗

為了分析網(wǎng)絡(luò)的各個組成部分對去雨結(jié)果的影響，本文將網(wǎng)絡(luò)劃分為不同階段和不同模塊，分別設(shè)計消融實驗。根據(jù)實驗結(jié)果的定量評估和定性評估可以證明，一方面，隨著階段數(shù)量的增加，網(wǎng)絡(luò)的去雨效果不斷提升，驗證了本文多階段設(shè)計的有效性；另一方面，本文構(gòu)建的U-Net本身具有良好的去雨能力，通過融入無降維的通道注意力模塊，有助于提升背景可見度，減輕雨滴對圖像造成的模糊效果。而特征細化模塊則有效增強了編碼—解碼網(wǎng)絡(luò)對退化圖像在多個尺度上的恢復(fù)能力，在去除圖像雨滴的工作上貢獻更大。

本文分析了網(wǎng)絡(luò)在不同階段下的去雨效果。定量結(jié)果如表2所示。其中，對于本文所提出的三階段漸進去雨網(wǎng)絡(luò)，stage1代表單獨使用第一階段網(wǎng)絡(luò)的情況，stage2+3代表同時使用第一階段和第二階段網(wǎng)絡(luò)的情況，stage1+2+3代表三個階段網(wǎng)絡(luò)聯(lián)合使用的情況。訓(xùn)練和測試的數(shù)據(jù)為Qian等人［4］提出的雨滴數(shù)據(jù)集。stage1+2在stage1的基礎(chǔ)上提升較大，尤其是在PSNR指標(biāo)上提升了0.63 dB。結(jié)合圖9分析可知，stage1能去除大多數(shù)細小雨滴，但無法去除較大雨滴在圖像上形成的光斑，這些光斑區(qū)域給背景圖像造成了遮擋，而stage1+2有針對性地去除了光斑的影響，根據(jù)該遮擋區(qū)域的周圍背景修復(fù)圖片。表2中stage1+2與stage1+2+3在SSIM數(shù)值上非常接近，說明兩者的去雨結(jié)果在亮度和對比度上極為接近，但是stage1+2+3處理的結(jié)果在圖9中更為清晰，PSNR也有一定提高，說明第三階段網(wǎng)絡(luò)可以在理解圖片所有背景信息的基礎(chǔ)上，豐富圖片的細節(jié)，通過在整體上進行重建的方式去除雨滴給背景造成的與整體不協(xié)調(diào)的部分，使不同部分之間呈現(xiàn)統(tǒng)一的風(fēng)格。

此外，本文分析了網(wǎng)絡(luò)各模塊對去雨結(jié)果的影響。定量結(jié)果如表3所示。其中，U-Net為帶有通道注意力機制的編碼—解碼網(wǎng)絡(luò)；NRCA代表無降維的通道注意力模塊；U-Net+NRCA代表經(jīng)NRCA改進的U-Net；FRM代表特征細化模塊，其設(shè)計融合了多尺度擴張卷積、無降維的通道注意力機制和門控循環(huán)單元；U-Net+NRCA+FRM代表經(jīng)FRM增強了的編碼—解碼網(wǎng)絡(luò)，即本文提出的多尺度融合編碼—解碼網(wǎng)絡(luò)。單獨的U-Net即可很好地去除圖像中的雨滴，其在表3中定量評估指標(biāo)PSNR為31.75 dB，SSIM數(shù)值為0.931 6。但是結(jié)合圖10分析可知，其無法處理大而密的雨滴對背景圖像造成的扭曲和遮擋，去雨結(jié)果總體清晰，背景的紋理細節(jié)卻比較模糊。U-Net+NRCA雖然在定量評估指標(biāo)上較U-Net提升不大，但是結(jié)合圖10可以發(fā)現(xiàn)，NRCA可以有效提升背景圖像局部色彩的一致性，從色彩的對比度和飽和度方面減弱背景的模糊程度。由于NRCA只作用于通道維度，其對于背景紋理的恢復(fù)能力較弱，F(xiàn)RM的引入可以很好地修復(fù)雨滴對背景圖像紋理的破壞，提升局部細節(jié)的清晰度，最終實現(xiàn)整張圖片觀感上的提升。表3中U-Net+NRCA+FRM的PSNR為32.20 dB，SSIM數(shù)值為0.938 6，其在定量評估指標(biāo)上具有顯著提高，從另一方面佐證了FRM優(yōu)異的細節(jié)修復(fù)能力。

2.3 與其他方法的對比實驗

將本文提出的方法與Pix2Pix［3］、AttentionGAN［4］、DuRN［8］、MSPFN［18］、RLNet［12］、MPRNet［15］在Qian等人［4］提出的雨滴數(shù)據(jù)集以及Zhang等人［25］提出的雨線數(shù)據(jù)集（Rain800）上進行比較。在雨滴數(shù)據(jù)集中，本文方法在PSNR和SSIM這兩個指標(biāo)上均取得了很好的結(jié)果，其中PSNR達到了32.20 dB，SSIM為0.938 6，去雨結(jié)果的視覺觀感也達到最佳，優(yōu)于以上六種方法。

定量評估結(jié)果如表4所示。其中，raindrop列代表雨滴數(shù)據(jù)集的評估結(jié)果，rain line列代表雨線數(shù)據(jù)集的評估結(jié)果，Pix2Pix、AttentionGAN、DuRN、MSPFN、RLNet、MPRNet行代表對比實驗的定量評估結(jié)果。在雨滴數(shù)據(jù)集中，Pix2Pix的定量評估結(jié)果明顯低于其他三種方法和本文方法，結(jié)合圖11分析可知，Pix2Pix去除了少量雨滴，并在恢復(fù)的圖像上產(chǎn)生了許多偽影，其去雨效果并不理想。AttentionGAN在PSNR指標(biāo)上高于其他五種方法，得益于生成對抗網(wǎng)絡(luò)的優(yōu)勢，其可以在被遮擋區(qū)域恢復(fù)出原有的紋理結(jié)構(gòu)，但是其生成的圖像局部色彩存在失真，這一點也可以從其偏低的SSIM數(shù)值來驗證。DuRN的PSNR為31.24 dB，SSIM數(shù)值為0.925 9，僅相當(dāng)于本文去雨網(wǎng)絡(luò)在表2消融實驗中第一階段的定量評估結(jié)果。盡管RLNet考慮了在多個尺度下對雨滴進行處理，但是由于單一階段網(wǎng)絡(luò)的局限性，其對于背景中復(fù)雜的雨滴所造成的嚴重遮擋依然力不從心，去雨結(jié)果依然殘留有個別偽影。與DuRN、RLNet相比，多階段網(wǎng)絡(luò)MSPFN可以逐階段漸進地對雨滴圖像進行處理，但是該網(wǎng)絡(luò)尺度固定，對于復(fù)雜的雨滴特征的處理能力不強。得益于多階段網(wǎng)絡(luò)在去雨方面的優(yōu)勢，無論是表4中的定量評估結(jié)果，還是圖11中的去雨結(jié)果對比圖，MPRNet的綜合性能為六個對比方法中最好的。但是就其定量評估結(jié)果而言，僅與本文去雨網(wǎng)絡(luò)在表3消融實驗中多階段U-Net的性能相當(dāng)，其背景的邊緣信息和紋理細節(jié)存在明顯丟失，還有進一步提升的空間。

在多階段U-Net的基礎(chǔ)上，本文構(gòu)建了多尺度融合的編碼—解碼網(wǎng)絡(luò)，通過融入特征細化模塊，提升了網(wǎng)絡(luò)對雨滴的去除能力，以及背景圖像的修復(fù)能力。如圖11所示，得到的圖像結(jié)構(gòu)更為清晰，顏色純凈自然，在所對比的方法中獲得了最佳的視覺質(zhì)量，圖像整體也更接近真實圖像。此外，由圖12中可知，本文方法能很好地去除圖像中的雨條紋，并且在表4雨線數(shù)據(jù)集（Rain800）的定量評估結(jié)果中，本文方法的PSNR指標(biāo)為29.78 dB，SSIM數(shù)值為0.890 9，達到最優(yōu)。為了進一步驗證了本文方法的泛化能力，利用本文所提出的去雨網(wǎng)絡(luò)對在雨天拍攝的真實降雨圖像進行了測試，真實場景的去雨結(jié)果如圖13所示。從視覺上可以看出，本文所提出的去雨網(wǎng)絡(luò)可以有效地提升圖像的對比度，去除雨水對圖像背景造成的遮擋，去雨的整體效果也更符合人的視覺觀感。

3 結(jié)束語

本文提出了多階段漸進式圖像去雨滴網(wǎng)絡(luò)（MSRRNet），將圖像的恢復(fù)過程分為三個更易于管理和實現(xiàn)的階段，逐步實現(xiàn)雨滴的去除。每個階段均以增強的編碼—解碼網(wǎng)絡(luò)為核心，其中編碼—解碼網(wǎng)絡(luò)通過下采樣和上采樣實現(xiàn)對雨滴特征的粗提取，之后，利用特征細化模塊實現(xiàn)對雨滴特征的細提取，并加入無降維的通道注意力模塊加強對通道特征的處理。在不同階段之間引入監(jiān)督注意模塊，在數(shù)據(jù)層加強不同階段所處理數(shù)據(jù)的關(guān)聯(lián)；在每個階段的編碼—解碼網(wǎng)絡(luò)之間引入特征傳遞模塊，在網(wǎng)絡(luò)層實現(xiàn)不同階段網(wǎng)絡(luò)學(xué)習(xí)能力的交流。實驗結(jié)果表明，本文所提出的網(wǎng)絡(luò)能夠有效地去除雨滴，降低雨滴對圖像質(zhì)量的影響，得到清晰的無雨圖像。

參考文獻：

［1］陳舒曼，陳瑋，尹鐘.單幅圖像去雨算法研究現(xiàn)狀及展望［J］.計算機應(yīng)用研究，2022，39（1）：9-17.（Chen Shuman，Chen Wei，Yin Zhong.Research status and prospect of single image ram removal algorithm［J］.Application Research of Computers，2022，39（1）：9-17.）

［2］Eigen D，Krishnan D，F(xiàn)ergus R.Restoring an image taken through a window covered with dirt or rain［C］//Proc of IEEE International Conference on Computer Vision.Piscataway，NJ：IEEE Press，2013：633-640.

［3］Isola P，Zhu Junyan，Zhou Tinghui，et al.Image-to-image translation with conditional adversarial networks［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2017：1125-1134.

［4］Qian Rui，Tan R T，Yang Wenhan，et al.Attentive generative adversa-rial network for raindrop removal from a single image［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition.2018：2482-2491.

［5］Zhang Yulun，Li Kunpeng，Li Kai，et al.Image super-resolution using very deep residual channel attention networks［C］//Proc of European Conference on Computer Vision.2018：286-301.

［6］Yu F，Koltun V.Multi-scale context aggregation by dilated convolutions［EB/OL］.（2015）.https：//arxiv.org/abs/1511.07122.

［7］Zamir S W，Arora A，Khan S，et al.CycleISP：real image restoration via improved data synthesis［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.2020：2696-2705.

［8］Liu Xing，Suganuma M，Sun Zhun，et al.Dual residual networks leve-raging the potential of paired operations for image restoration［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Re-cognition.2019：7007-7016.

［9］Kupyn O，Martyniuk T，Wu Junru，et al.DeblurGAN-v2：deblurring （orders-of-magnitude） faster and better［C］//Proc of IEEE/CVF International Conference on Computer Vision.2019：8878-8887.

［10］Ronneberger O，F(xiàn)ischer P，Brox T.U-Net：convolutional networks for biomedical image segmentation［C］//Proc of International Conference on Medical Image Computing and Computer-assisted Intervention.Cham：Springer，2015：234-241.

［11］Chen Dongdong，He Mingming，F(xiàn)an Qingnan，et al.Gated context aggregation network for image dehazing and deraining［C］//Proc of IEEE Winter Conference on Applications of Computer Vision.Piscataway，NJ：IEEE Press，2019：1375-1383.

［12］Chen Chenghao，Li Hao.Robust representation learning with feedback for single image deraining［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.2021：7742-7751.

［13］唐慧，任杰文，鮑旭東.減少色彩失真的自適應(yīng)單幅圖像去霧算法［J］.計算機應(yīng)用研究，2020，37 （5）：1553-1556.（Tang Hui，Ren Jiewen，Bao Xudong.Color preserved self-adaptive single image defogging method［J］.Application Research of Computers，2020，37（5）：1553-1556.）

［14］譚富祥，錢育蓉，孔鈺婷，等.基于Transformer的多分支單圖像去雨方法［J］.計算機應(yīng)用研究，2022，39（8）：2500-2505，2519.（Tan Fuxiang，Qian Yurong，Kong Yuting，et al.Multi-branch single image deraining network based on Transformer［J］.Application Research of Computers，2022，39（8）：2500-2505，2519.）

［15］Zamir S W，Arora A，Khan S，et al.Multi-stage progressive image restoration［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.2021：14821-14831.

［16］曹承瑞，劉微容，史長宏，等.多級注意力傳播驅(qū)動的生成式圖像修復(fù)方法［J］.自動化學(xué)報，2022，48（5）：1343-1352.（Cao Cheng-rui，Liu Weirong，Shi Changhong，et al.A generative image restoration method driven by multi-level attention propagation［J］.Acta Automatica Sinica，2022，48（5）：1343-1352.）

［17］張焱，張娟，方志軍.基于通道注意力和門控循環(huán)單元的圖像去雨算法［J］.計算機應(yīng)用研究，2021，38（8）：2505-2509.（Zhang Yan，Zhang Juan，F(xiàn)ang Zhijun.Image rain removal algorithm based on channel attention and gated recurrent unit［J］.Application Research of Computers，2021，38（8）：2505-2509.）

［18］Jiang Kui，Wang Zhongyuan，Yi Peng，et al.Multi-scale progressive fusion network for single image deraining［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.2020：8346-8355.

［19］Wang Qiong，Wu Banggu，Zhu Pengfei，et al.ECA-Net：efficient channel attention for deep convolutional neural networks［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2020：11534-11542.

［20］Cho S J，Ji S W，Hong J P，et al.Rethinking coarse-to-fine approach in single image deblurring［C］//Proc of IEEE/CVF International Conference on Computer Vision.2021：4641-4650.

［21］Jiang Liming，Dai Bo，Wu W，et al.Focal frequency loss for image reconstruction and synthesis［C］//Proc of IEEE/CVF International Conference on Computer Vision.2021：13919-13929.

［22］Loshchilov I，Hutter F.SGDR：stochastic gradient descent with warm restarts［EB/OL］.（2016）.https：//arxiv.org/abs/1608.03983.

［23］Hore A，Ziou D.Image quality metrics：PSNR vs.SSIM［C］//Proc of the 20th International Conference on Pattern Recognition.Piscataway，NJ：IEEE Press，2010：2366-2369.

［24］Wang Zhou，Bovik A C，Sheikh H R，et al.Image quality assessment：from error visibility to structural similarity［J］.IEEE Trans on Image Processing，2004，13（4）：600-612.

［25］Zhang He，Sindagi V，Patel V M.Image de-raining using a conditional generative adversarial network［J］.IEEE Trans on Circuits and Systems for Video Technology，2019，30（11）：3943-3956.

作者簡介：谷坤源（1996-），男，河南漯河人，碩士，主要研究方向為圖像處理；賈宗璞（1963-），男，河南南陽人，教授，博導(dǎo)，博士，主要研究方向為物聯(lián)網(wǎng)技術(shù)與應(yīng)用、計算機網(wǎng)絡(luò)技術(shù)；趙珊（1975-），女（通信作者），河南濟源人，教授，碩導(dǎo)，博士，主要研究方向為模式識別、圖像處理（zhao-shan@hpu.edu.cn）；龐曉艷（1986-），女，河南濮陽人，碩士，主要研究方向為物聯(lián)網(wǎng)技術(shù)與研究；張鵬（1998-），男，河南許昌人，碩士，主要研究方向為圖像處理、計算機圖形學(xué).