基于半監(jiān)督學(xué)習(xí)的單幅圖像去雨算法

邱永茹，姚光樂，馮杰，崔昊宇

（成都理工大學(xué) 計算機與網(wǎng)絡(luò)安全學(xué)院（牛津布魯克斯學(xué)院），成都 610059）（?通信作者電子郵箱yaoguangle19@cdut.edu.cn）

基于半監(jiān)督學(xué)習(xí)的單幅圖像去雨算法

邱永茹，姚光樂*，馮杰，崔昊宇

（成都理工大學(xué) 計算機與網(wǎng)絡(luò)安全學(xué)院（牛津布魯克斯學(xué)院），成都 610059）（?通信作者電子郵箱yaoguangle19@cdut.edu.cn）

在雨天采集的圖像通常存在背景物體被雨紋遮擋、圖像變形等影響圖像質(zhì)量的現(xiàn)象，對后續(xù)圖像分析及應(yīng)用造成嚴重影響。近年來，已經(jīng)提出了許多基于深度學(xué)習(xí)的去雨算法并獲得了較好的效果。由于真實雨圖的無雨紋干凈背景圖采集非常困難，大多數(shù)算法都采用監(jiān)督學(xué)習(xí)即在含有配對標(biāo)簽的合成雨圖數(shù)據(jù)集上進行模型訓(xùn)練。由于合成雨圖和真實雨圖中雨紋的亮度、透明度、形狀等存在巨大差異，基于監(jiān)督學(xué)習(xí)的去雨算法對真實雨圖的泛化能力普遍較差。為提高去雨模型對真實雨圖的去雨效果，提出了一種基于半監(jiān)督學(xué)習(xí)的單幅圖像去雨算法。該算法在模型訓(xùn)練過程中加入合成雨圖和真實雨圖并最小化兩個輸入圖像轉(zhuǎn)換成的特征向量的一階信息和二階統(tǒng)計信息差異，使兩者特征分布一致。同時，針對雨紋復(fù)雜多樣的特點，引入多尺度網(wǎng)絡(luò)以獲取更豐富的圖像特征，并提高模型性能。實驗結(jié)果表明，所提算法在Rain100H合成雨圖測試集上相較JDNet、Syn2Real等算法在峰值信噪比（PSNR）和結(jié)構(gòu)相似度（SSIM）上分別至少提升了0.66 dB、0.01，在去除雨紋的同時能最大限度保留圖像細節(jié)和顏色信息；并且由于減少了分布差異，該算法在真實雨圖測試集上的去雨效果明顯優(yōu)于現(xiàn)有的JDNet、Syn2Real等去雨算法，具有較強的泛化能力。所提算法可以應(yīng)用于現(xiàn)有的基于監(jiān)督學(xué)習(xí)的去雨算法并顯著提高其去雨效果，擁有較高的獨立性。

單幅圖像去雨；半監(jiān)督學(xué)習(xí)；多尺度網(wǎng)絡(luò)；深度學(xué)習(xí)；密集殘差連接

0 引言

雨天是自然界常見天氣之一，該天氣下在戶外采集的圖像時常受到雨水折射和背景圖像被遮擋的影響，造成圖像模糊、形變、細節(jié)丟失等質(zhì)量問題。這將導(dǎo)致后續(xù)對圖像進行處理和分析的計算機視覺系統(tǒng)如無人駕駛、道路監(jiān)控等實際應(yīng)用系統(tǒng)，性能下降。因此，圖像去雨算法的研究受到了國內(nèi)外科研工作者的重視［1-4］。

近年來，單幅圖像的去雨算法大致可分為基于模型驅(qū)動和基于數(shù)據(jù)驅(qū)動兩類。在2017年以前，典型的圖像去雨算法是受圖像分解、稀疏編碼和基于先驗的高斯混合模型影響的基于模型驅(qū)動的算法（非深度學(xué)習(xí)算法）。自2017以后，受深度卷積網(wǎng)絡(luò)、生成對抗網(wǎng)絡(luò)和半/無監(jiān)督算法的影響，圖像去雨算法進入了數(shù)據(jù)驅(qū)動算法（深度學(xué)習(xí)算法）時期。

典型的基于模型驅(qū)動的去雨算法中，Kang等［1］通過雙邊濾波器將雨圖分解為高頻圖和低頻圖后使用字典學(xué)習(xí)和稀疏編碼去除高頻圖中的雨紋，最后與低頻信息結(jié)合得到去雨圖像，但其過于依賴雙邊過濾器的預(yù)處理，因此會產(chǎn)生模糊的背景細節(jié)。Li等［2］利用高斯混合模型（Gaussian Mixed Model， GMM）通過計算不同角度和形狀的雨紋分布對雨水層和背景層建模，進而實現(xiàn)去雨，但該算法只能有效去除小雨的雨紋，難以處理大雨或驟雨的雨紋?；跀?shù)據(jù)驅(qū)動的去雨算法中，F(xiàn)u等［5-6］提出了基于卷積神經(jīng)網(wǎng)絡(luò)的DerainNet來提取特征實現(xiàn)去雨，并參考殘差網(wǎng)絡(luò)（Residual Network， ResNet）［7］進一步提出深度細節(jié)網(wǎng)絡(luò)（Deep Detail Network， DDN），以減小從輸入到輸出的映射范圍使學(xué)習(xí)過程變得更加容易。Li等［8］通過遞歸上下文擴張網(wǎng)絡(luò)利用不同階段之間的去雨相關(guān)性逐階段去除雨紋得到干凈背景圖。Zhang等［9-10］將條件生成對抗網(wǎng)絡(luò)（Generative Adversarial Network， GAN）［11-12］應(yīng)用于圖像去雨，為更好地學(xué)習(xí)訓(xùn)練樣本的所有模式，使用集成殘差感知分類器自適應(yīng)地適應(yīng)雨水密度信息（重/中/輕）。然而，盡管以上基于數(shù)據(jù)驅(qū)動的去雨算法因采用了更先進的網(wǎng)絡(luò)架構(gòu)從而取得了更好的結(jié)果，但由于它們都是只在合成雨圖數(shù)據(jù)集上訓(xùn)練學(xué)習(xí)的完全監(jiān)督算法，這些去雨算法應(yīng)用于真實雨圖去雨時會出現(xiàn)一定的性能偏差。為解決以上問題，Wei等［13］提出了一種基于半監(jiān)督的去雨算法，以DDN作為網(wǎng)絡(luò)主干將雨水層和背景層分離后，使用GMM對合成雨圖和真實雨圖雨水層進行建模并最小化K-L（Kullback-Leibl）散度以讓去雨模型更適用于處理真實雨圖。但該算法并沒有對真實雨圖顯示出有效的去雨結(jié)果，這可能是因為其在去雨后再進行合成雨紋和真實雨紋差異的最小化，使模型在學(xué)習(xí)過程中偏離了目標(biāo)。Yasarla等［14］提出了基于半監(jiān)督學(xué)習(xí)的去雨算法利用高斯過程對未標(biāo)記的數(shù)據(jù)生成偽GT（Ground-Truth），再用偽GT對標(biāo)記數(shù)據(jù)進行監(jiān)督學(xué)習(xí)，但由于該算法在建模過程中沒有考慮各特征圖彼此獨立，使用了相同權(quán)重對未標(biāo)記和標(biāo)記的數(shù)據(jù)進行加權(quán)組合時，使模型在真實雨圖的去雨效果并沒有改善。

針對上述單幅圖像去雨算法存在的問題，本文提出了一種新的基于半監(jiān)督學(xué)習(xí)的單幅圖像去雨算法，在進行去除雨紋操作前，將標(biāo)記的合成雨圖與未標(biāo)記的真實雨圖輸入網(wǎng)絡(luò)，對二者特征圖的一階和二階統(tǒng)計信息精確建模，通過最小化二者的均值向量和協(xié)方差矩陣的歐幾里得距離，使合成雨圖和真實雨圖的特征分布一致，以提升去雨模型在真實雨天圖像的去雨性能。

1 基于半監(jiān)督學(xué)習(xí)的多尺度去雨網(wǎng)絡(luò)

如圖1所示，基于半監(jiān)督學(xué)習(xí)的單幅圖像去雨算法相應(yīng)操作如下：1）在特征轉(zhuǎn)換空間，將輸入雨天圖像轉(zhuǎn)換為特征向量；2）在半監(jiān)督匹配網(wǎng)絡(luò)，最小化合成雨圖和真實雨圖特征向量的一階和二階統(tǒng)計信息差異，使兩者分布一致；3）在多尺度去雨網(wǎng)絡(luò)，通過多個多尺度去雨單元實現(xiàn)去除雨紋得到干凈背景特征圖；4）在圖像轉(zhuǎn)換空間，將去雨后的干凈背景特征向量轉(zhuǎn)換為圖像表示。

圖1 基于半監(jiān)督學(xué)習(xí)的多尺度網(wǎng)絡(luò)結(jié)構(gòu)Fig. 1 Multi-scale network structure based on semi-supervised learning

1.1 半監(jiān)督匹配網(wǎng)絡(luò)

為解決純監(jiān)督學(xué)習(xí)去雨模型在真實世界雨天圖像泛化性較差的問題，Wei等［13］提出了一種基于半監(jiān)督的去雨算法，但實際上該去雨算法并沒有改善在真實雨圖的去雨效果，原因可能是該算法是在去雨后再對合成雨圖雨紋和真實雨圖雨紋進行差異最小化，這就使模型在學(xué)習(xí)過程中偏離了目標(biāo)。因此，本文提出了基于半監(jiān)督的學(xué)習(xí)算法，將在去雨步驟前于半監(jiān)督匹配網(wǎng)絡(luò)中最小化合成雨圖和真實雨圖的一階和二階統(tǒng)計信息差異，使合成雨圖雨紋特征分布與真實雨紋一致，提高模型對真實世界雨天圖像的去雨能力。

由圖2可觀察到，合成雨紋與真實雨紋在顏色、亮度、形狀等都存在著巨大差異。為最小化合成雨圖和真實雨圖的差別，本文設(shè)計了圖3的半監(jiān)督匹配網(wǎng)絡(luò)結(jié)構(gòu)，并從數(shù)據(jù)分布和特征對齊兩個角度出發(fā)，根據(jù)合成雨圖和真實雨圖的概率分布距離以及二階統(tǒng)計特征距離信息提出損失值函數(shù)為：

圖2 合成雨圖和真實雨圖的差異Fig. 2 Difference between synthetic and real-world rainy images

圖3 半監(jiān)督匹配網(wǎng)絡(luò)的詳細結(jié)構(gòu)Fig. 3 Detailed structure of semi-supervised matching network

根據(jù)最大均值差異（Maximum Mean Discrepancy， MMD）理論，兩個樣本均值差異等于零則兩個樣本分布相同，本文提出損失函數(shù)用于最小化合成雨圖和真實雨圖的一階信息均值向量的距離：

圖4 半監(jiān)督匹配網(wǎng)絡(luò)中的特征分布對齊Fig. 4 Feature distribution alignment in semi-supervised matching network

1.2 多尺度去雨網(wǎng)絡(luò)

不同尺度的網(wǎng)絡(luò)訓(xùn)練過程中可以獲得相互補充的信息，其中低分辨率網(wǎng)絡(luò)可以捕獲給定雨天圖像的外觀細節(jié)，高分辨率網(wǎng)絡(luò)可以保留給定雨天圖像的語義信息，因此本文引入了多尺度去雨網(wǎng)絡(luò)，網(wǎng)絡(luò)結(jié)構(gòu)如圖5所示。

圖5 多尺度去雨網(wǎng)絡(luò)的詳細結(jié)構(gòu)Fig. 5 Detailed structure of multi-scale de-raining network

多尺度去雨網(wǎng)絡(luò)包含多個多尺度去雨單元，每個多尺度去雨單元之間使用殘差連接［7］和密集連接［15］，其中殘差連接能更有效地將特征信息傳遞給更深網(wǎng)絡(luò)信息，而密集連接則可以把網(wǎng)絡(luò)中任意兩層連接，使網(wǎng)絡(luò)中每一層都能接收到前面所有層的特征輸入，最大化網(wǎng)絡(luò)信息接收的同時有效抑制訓(xùn)練過程會出現(xiàn)的梯度消散問題。

在多尺度去雨單元中，首先使用具有不同內(nèi)核和步長的池化操下采樣獲得多尺度特征：

隨后在每個尺度上使用卷積級聯(lián)模塊對每個尺度進行特征提取并實現(xiàn)去雨：

1.3 損失函數(shù)

為實現(xiàn)多尺度去雨網(wǎng)絡(luò)的去雨功能，本文先計算去雨后圖像和真實對照圖像的結(jié)構(gòu)相似性，然后對取負值作為去雨網(wǎng)絡(luò)的損失函數(shù)值，最后通過反向傳播調(diào)整網(wǎng)絡(luò)參數(shù)優(yōu)化去雨網(wǎng)絡(luò)。的計算式為：

2 實驗與結(jié)果分析

2.1 實驗配置及數(shù)據(jù)集

本文提出的完整網(wǎng)絡(luò)結(jié)構(gòu)運行在GeForce RTX 3090顯卡，Ubuntu 18.04.5 LTS系統(tǒng)的Pytorch框架下。訓(xùn)練過程中，從訓(xùn)練數(shù)據(jù)集中隨機裁剪100個大小為的圖像對作為輸入，采用ADAM優(yōu)化，初始學(xué)習(xí)率為，匹配損失函數(shù)權(quán)重為1，Batch size為16，尺度數(shù)為3，特征向量通道數(shù)為32。

本文采用經(jīng)典的2個合成數(shù)據(jù)集Rain100L［16］、Rain100H［16］和收集的一個真實雨圖數(shù)據(jù)集進行模型訓(xùn)練。最后，在上述2個經(jīng)典合成數(shù)據(jù)集、泛化測試數(shù)據(jù)集Rain12［2］以及Yang等［16］、Zhang等［11］和Wang等［17］提出的3個真實雨圖數(shù)據(jù)集進行模型測試。

2.2 合成雨圖去雨實驗與分析

為客觀評估本文提出的基于半監(jiān)督學(xué)習(xí)的去雨算法，選用結(jié)構(gòu)相似度（Structural SIMilarity， SSIM）［18］和峰值信噪比（Peak Signal-to-Noise Ratio， PSNR）［11］作為評價指標(biāo)，與當(dāng)前的先進算法RESCAN（REcurrent Squeeze-and-excitation Context Aggregation Net）［8］、PreNet（Progressive image deraining Network）［19］、SSIR（Semi-Supervised transfer learning for Image Rain Removal）［13］以及JDNet（Joint Deraining Network）［20］在2個經(jīng)典合成數(shù)據(jù)集Rain100H、Rain100L和泛化測試數(shù)據(jù)集Rain12上進行測試，結(jié)果如表1所示，本文算法的結(jié)果做了加粗顯示。

表1 不同去雨算法在測試數(shù)據(jù)集上的圖像質(zhì)量評估指標(biāo)（PSNR/SSIM）對比Tab. 1 Comparison of image quality evaluation indicators （PSNR/SSIM） among different de-raining algorithms on test datasets

通過分析表1可知：本文算法的峰值信噪比（PSNR）和結(jié)構(gòu)相似度（SSIM）在數(shù)據(jù)集Rain100H、Rain100L上都優(yōu)于其他算法；在數(shù)據(jù)集Rain100H上，本文算法在PSNR值上相較RESCAN算法、PreNet算法、SSIR算法、JDNet算法分別提高了4.76 dB、2.79 dB、8.21 dB、0.66 dB；本文算法在SSIM值上相較RESCAN算法、PreNet算法、SSIR算法、JDNet算法分別提高了0.09、0.04、0.22、0.01。綜上得出，本文算法在去除雨線和還原細節(jié)特征方面的性能都有很大的提高。雖然本文算法在合成數(shù)據(jù)集Rain12上的PSNR評價指標(biāo)略低于JDNet，但是后續(xù)的實驗結(jié)果表明本文提出的半監(jiān)督去雨算法在真實雨圖上的去雨效果明顯優(yōu)于JDNet。

2.3 真實雨圖去雨實驗與分析

為了驗證本文提出的基于半監(jiān)督的去雨算法在真實雨圖上的泛化能力，在Yang等［16］、Zhang等［11］和Wang等［17］提出的真實雨圖數(shù)據(jù)集進行測試，并且與RESCAN、JDNet兩個基于監(jiān)督學(xué)習(xí)去雨算法以及SIRR和Syn2Real（Synthetic-to-Real transfer learning）兩個基于半監(jiān)督學(xué)習(xí)去雨算法的去雨結(jié)果進行對比。由于真實雨圖沒有標(biāo)簽圖像，只能通過視覺觀察圖像結(jié)果來評估性能，本文挑選了部分的測試結(jié)果，如圖6所示。

從去雨結(jié)果可觀察到，相較圖6（b）、（c）中的兩個基于監(jiān)督學(xué)習(xí)的算法，本文提出的基于半監(jiān)督學(xué)習(xí)的去雨算法能夠更好地去除真實雨天圖像中大部分雨線，同時擁有較少的細節(jié)丟失和顏色失真；而且相較圖6（d）、（e）中的兩個基于半監(jiān)督學(xué)習(xí)的去雨算法，本文提出的基于半監(jiān)督學(xué)習(xí)的算法在真實雨圖上的去雨效果有著較大的提升，并在雨線去除和背景保留上都表現(xiàn)出明顯優(yōu)勢。

盡管本文提出的半監(jiān)督去雨算法在上述真實雨圖數(shù)據(jù)集上取得了突出的去雨效果，但因為雨天圖像背景構(gòu)成非常復(fù)雜，不同場景下的雨天圖像差別往往很大，如在鄉(xiāng)村田野與城市街道拍攝的雨天圖像在背景和雨紋的構(gòu)成上都有著巨大的差異，這將導(dǎo)致真實雨圖訓(xùn)練集的選擇會影響最終模型在不同場景下的去雨性能。但是，由于半監(jiān)督真實雨圖訓(xùn)練集的采集成本較低，無需相應(yīng)的標(biāo)簽背景圖，因此可在模型訓(xùn)練時針對不同場景改變半監(jiān)督真實雨圖訓(xùn)練集的類型以提高不同場景下的去雨性能。

2.4 半監(jiān)督匹配網(wǎng)絡(luò)應(yīng)用實驗與分析

上述實驗結(jié)果表明本文提出的半監(jiān)督算法在真實雨圖上的去雨效果都優(yōu)于對比算法。為驗證本文提出的半監(jiān)督算法中的核心半監(jiān)督匹配網(wǎng)絡(luò)擁有較高的獨立性并同樣適用于其他去雨算法，且可以改善其他去雨算法在真實雨圖上泛化性差的問題，本文選取了2個基于監(jiān)督學(xué)習(xí)的去雨算法RESCAN、JDNet，在其原有網(wǎng)絡(luò)基礎(chǔ)上加上本文提出的半監(jiān)督匹配網(wǎng)絡(luò)，并在合成數(shù)據(jù)集Rain100H和本文收集的真實雨圖訓(xùn)練集上進行訓(xùn)練，最后在上述3個真實雨圖測試集上進行測試，測試結(jié)果如圖7所示。

從圖7結(jié)果可以看出，純監(jiān)督學(xué)習(xí)的RESCAN和純監(jiān)督學(xué)習(xí)的JDNet都存在著大量雨線殘留、部分區(qū)域紋理失真和圖像模糊等影響圖像質(zhì)量的問題。在兩個網(wǎng)絡(luò)中分別添加半監(jiān)督匹配網(wǎng)絡(luò)后，可以觀察到，基于半監(jiān)督學(xué)習(xí)的RESCAN和JDNet可以更有效地去除雨痕并且保留背景圖像的細節(jié)信息，得到了更好的視覺性能。上述結(jié)果表明，本文提出的半監(jiān)督算法的核心半監(jiān)督匹配網(wǎng)絡(luò)擁有較高的獨立性，可以提升現(xiàn)有基于監(jiān)督學(xué)習(xí)的去雨模型在真實雨天圖像上的去雨性能，使真實雨天圖像去雨后更接近真實的背景圖像。

圖6 不同算法在真實雨圖上的視覺比較Fig. 6 Visual comparison of different algorithms on real-world rainy images

圖7 RESCAN和JDNet應(yīng)用半監(jiān)督匹配網(wǎng)絡(luò)的去雨實驗結(jié)果Fig. 7 Experimental results of de-raining by RESCAN and JDNet using semi-supervised matching network

3 結(jié)語

本文針對單幅圖像去雨任務(wù)建立了一個基于半監(jiān)督學(xué)習(xí)的端到端神經(jīng)網(wǎng)絡(luò)。在實現(xiàn)去雨前，通過半監(jiān)督匹配網(wǎng)絡(luò)利用合成雨圖和真實雨圖的一階均值向量信息以及二階協(xié)方差統(tǒng)計信息，最小化合成雨圖和真實雨圖的特征分布差異，提高去雨模型在真實世界雨圖上的泛化性。同時，本文提出了一個多尺度去雨網(wǎng)絡(luò)，通過殘差密集連接把多個去雨單元連接起來，充分提取多個尺度中的有效互補特征，實現(xiàn)了高效去雨。通過在數(shù)據(jù)集上的訓(xùn)練與測試結(jié)果分析可得，本文算法不僅在合成數(shù)據(jù)集的PSNR和SSIM兩個評價指標(biāo)上獲得了較高分值，而且對真實雨圖的去雨視覺效果相較其他算法得到了較大的提升。實驗也驗證了本文提出的半監(jiān)督網(wǎng)絡(luò)具有較高的獨立性，可應(yīng)用于現(xiàn)有其他監(jiān)督去雨網(wǎng)絡(luò)，并能較大幅度改善該網(wǎng)絡(luò)在真實雨圖數(shù)據(jù)集上的去雨效果。

[1] KANG L W， LIN C W， FU Y H. Automatic single-image-based rain streaks removal via image decomposition ［J］. IEEE Transactions on Image Processing， 2012， 21（4）： 1742-1755.

[2] LI Y， TAN R T， GUO X J， et al. Rain streak removal using layer priors ［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2016： 2736-2744.

[3] 黃靖，姜文，肖長詩，等.一種深度學(xué)習(xí)的單幅圖像去霧方法［J］.小型微型計算機系統(tǒng)，2018，39（8）：1882-1888.（HUANG J， JIANG W，XIAO C S， et al. Single image haze removal algorithm based on deep learning ［J］. Journal of Chinese Computer Systems， 2018， 39（8）： 1882-1888.）

[4] 徐愛生，唐麗娟，陳冠楠.注意力殘差網(wǎng)絡(luò)的單圖像去雨方法研究［J］.小型微型計算機系統(tǒng)，2020，41（6）：1281-1285.（XU A S， TANG L J，CHEN G N. Single image rain removal method based on attention mechanism ［J］. Journal of Chinese Computer Systems， 2020， 41（6）： 1281-1285.）

[5] FU X Y， HUANG J B， DING X H， et al. Clearing the skies： a deep network architecture for single-image rain removal ［J］. IEEE Transactions on Image Processing， 2017， 26（6）： 2944-2956.

[6] FU X Y， HUANG J B， ZENG D L， et al. Removing rain from single images via a deep detail network ［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 1715-1723.

[7] HE K M， ZHANG X Y， REN S Q， et al. Deep residual learning for image recognition ［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE，2016： 770-778.

[8] LI X， WU J L， LIN Z C， et al. Recurrent squeeze-and-excitation context aggregation net for single image deraining ［C］// Proceedings of the 2018 European Conference on Computer Vision， LNCS 11211. Cham： Springer， 2018： 262-277.

[9] ZHANG H， PATEL V M. Convolutional sparse and low-rank coding-based rain streak removal ［C］// Proceedings of the 2017 IEEE Winter Conference on Applications of Computer Vision. Piscataway： IEEE， 2017：1259-1267.

[10] ZHANG H， PATEL V M. Density-aware single image de-raining using a multi-stream dense network ［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018：695-704.

[11] ZHANG H， SINDAGI V A， PATEL V M. Image de-raining using a conditional generative adversarial network ［J］. IEEE Transactions on Circuits and Systems for Video Technology， 2020， 30（11）： 3943-3956.

[12] 李燁，許乾坤，李克東.面向圖像復(fù)原的殘差密集生成對抗網(wǎng)絡(luò)新方法［J］.小型微型計算機系統(tǒng)，2020，41（4）：830-836.（LI Y， XU Q K， LI K D. New method of residual dense generative adversarial networks for image restoration ［J］. Journal of Chinese Computer Systems， 2020，41（4）： 830-836.）

[13] WEI W， MENG D Y， ZHAO Q， et al. Semi-supervised transfer learning for image rain removal ［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2019： 3872-3881.

[14] YASARLA R， SINDAGI V A， PATEL V M. Syn2Real transfer learning for image deraining using Gaussian processes ［C］// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE，2020： 2723-2733.

[15] HUANG G， LIU Z， MAATEN L van der， et al. Densely connected convolutional networks ［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE，2017： 2261-2269.

[16] YANG W H， TAN R T， FENG J S， et al. Deep joint rain detection and removal from a single image ［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 1685-1694.

[17] WANG T Y， YANG X， XU K， et al. Spatial attentive single-image deraining with a high quality real rain dataset ［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2019： 12262-12271.

[18] WANG Z， BOVIK A C， SHEIKH H R， et al. Image quality assessment： from error visibility to structural similarity ［J］. IEEE Transactions on Image Processing， 2004， 13（4）： 600-612.

[19] REN D W， ZUO W M， HU Q H， et al. Progressive image deraining networks： a better and simpler baseline ［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2019：3937-3946.

[20] WANG C， WU Y T， SU Z X， et al. Joint self-attention and scale-aggregation for self-calibrated deraining network ［C］// Proceedings of the 2020 28th ACM International Conference on Multimedia. New York： ACM， 2020： 2517-2525.

Single image de-raining algorithm based on semi-supervised learning

QIU Yongru， YAO Guangle*， FENG Jie， CUI Haoyu

（College of Computer Science and Cyber Security（Oxford Brookes College），Chengdu University of Technology，Chengdu Sichuan610059，China）

The images collected in rainy days usually have some phenomena that affect the image quality， such as the background object blocked by rain streaks and the image deformation， which have serious impact on the subsequent image analysis and application. Recently，numerous de-raining algorithms based on deep learning have been proposed and achieve good results. Most algorithms adopt supervised learning， that is， training the model on the synthetic rainy image dataset with paired labels due to the difficulty in acquiring clean background images without rain streaks from real-world rainy images. However， there are differences between synthetic and real-world rainy images on brightness， transparency， and shape of rain streaks. Thus， most de-raining algorithms based on supervised learning have poor generalization ability to real-world rainy images. Therefore， in order to improve the rain removal effect of de-raining models on the real-world rainy images， a single image de-raining algorithm based on semi-supervised learning was proposed. In the model training process of the proposed algorithm， the synthetic and real-world rainy images were added， and the difference of the first-order and second-order statistic information of feature vectors converted from the both input images were minimized to make the features of the both have same distribution. Meanwhile， in view of the complex and diverse characteristics of rain streaks， a multi-scale network was introduced to obtain richer image features and improve the performance of model. Experimental results show that， on the Rain100H dataset of synthetic rainy images， compared with Joint Deraining Network （JDNet）， Synthetic-to-Real transfer learning （Syn2Real）， the proposed algorithm improves the Peak Signal-to-Noise Ratio （PSNR） and Structural SIMilarity （SSIM） by at least 0.66 dB and 0.01 respectively. While removing rain streaks， the proposed algorithm can retain image details and color information to the greatest extent. At the same time， with the reduction of distribution discrepancy， the proposed algorithm achieves better performance on the real-world rainy images with strong generalization ability， compared with the de-raining algorithms such as JDNet and Syn2Real. The proposed algorithm is highly independent， can be applied to the existing de-raining algorithms based on supervised learning and significantly improve their de-raining effects.

single image de-raining; semi-supervised learning; multi-scale network; deep learning; dense residual connection

TP391.41

A

1001-9081（2022）05-1577-06

10.11772/j.issn.1001-9081.2021030492

2021?04?02；

2021?06?08；

2021?06?08。

四川省重點研發(fā)計劃項目（2020YFG0169）。

邱永茹（1998—），女，廣東湛江人，主要研究方向：圖像復(fù)原、深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)； 姚光樂（1985—），男，河南三門峽人，副教授，博士，主要研究方向：人工智能，計算機視覺； 馮杰（1995—），男，四川南充人，碩士研究生，主要研究方向：圖像去雨、遙感圖像處理、半監(jiān)督學(xué)習(xí)； 崔昊宇（2000—），男，吉林伊通人，主要研究方向：計算機視覺、人工智能。

This work is partially supported by Key Science and Technology Program of Sichuan Province （2020YFG0169）.

QIU Yongru， born in 1998. Her research interests include image restoration， deep learning network structure.

YAO Guangle， born in 1985， Ph. D.， associate professor. His research interests include artificial intelligence， computer vision.

FENG Jie， born in 1995， M. S. candidate. His research interests include image de-raining， remote sensing image processing， semi-supervised learning.

CUI Haoyu， born in 2000. His research interests include computer vision， artificial intelligence.