基于多尺度和循環(huán)生成對抗的連接式去雨網(wǎng)絡(luò)

郎曉奇，張娟

上海工程技術(shù)大學(xué)，電子電氣工程學(xué)院，上海 201620

引 言

眾所周知，惡劣天氣對于采集的圖像和視頻質(zhì)量有一定程度的影響，相較于正常天氣而言，其會導(dǎo)致圖像和視頻質(zhì)量的下降。主要原因在于惡劣的天氣條件易對傳感器造成干擾，如遮擋攝像頭和折射光線等，進(jìn)而導(dǎo)致采集到的圖像和視頻質(zhì)量下降。對于降雨天氣來說，雨水會對圖像和視頻中信息的獲取造成干擾。在使用這種情況下獲得的圖像和視頻進(jìn)行一系列的計算機視覺任務(wù)時，由于雨水條紋信息的存在，會導(dǎo)致所需要進(jìn)行任務(wù)最終結(jié)果的精度降低甚至失敗，例如目標(biāo)檢測[1]、圖像識別[2]、顯著性監(jiān)測[3]和自動駕駛等。因此，如何有效地去除圖像和視頻中的雨水作為一個重要的研究課題，已經(jīng)成為其他相關(guān)應(yīng)用和算法中必不可少的步驟，在計算機視覺和模式識別領(lǐng)域得到越來越多的關(guān)注。

從數(shù)據(jù)格式的角度劃分，去除雨水的方法可分為兩類，基于視頻的去雨方法[4-7]和單幅圖像去雨方法[8-13]。基于視頻的去雨方法當(dāng)中，可以利用雨水的時間冗余和動態(tài)等信息達(dá)到清除雨水條紋的目的。與基于視頻的方法相比，單幅圖像去雨方法缺少參考信息，導(dǎo)致任務(wù)難度提升。由于現(xiàn)實中雨水條紋的不規(guī)則性和不確定性，單幅圖像去雨仍然具有一定程度的挑戰(zhàn)性。具體來說，單幅圖像去雨的主要任務(wù)可以由以下物理模型[9]進(jìn)行解釋，通過去除雨天圖像中的雨水條紋，得到清晰的背景圖像，公式如下：

為解決這一問題，人們提出了許多不同的方法。早期的單幅圖像去雨方法大多基于模型驅(qū)動，通過對雨水條紋或背景信息的統(tǒng)計分析進(jìn)行去雨?；谀Ｐ万?qū)動的單幅圖像去雨方法包括字典學(xué)習(xí)[8]、高斯混合模型（Gaussian Mixture Model）[14]和低秩模型（low rank model）[15]。然而，在真實場景當(dāng)中，雨水條紋的存在會對背景產(chǎn)生一定程度的覆蓋并且會對光的折射產(chǎn)生影響。也就是說，雨水條紋信息和背景信息是一個復(fù)雜的物理模型，而不僅僅是簡單的線性疊加。因此，模型驅(qū)動的方法對單幅圖像去雨的效果并不理想。

近幾年來，深度學(xué)習(xí)方法在計算機視覺各項任務(wù)中的表現(xiàn)優(yōu)異，發(fā)展迅速，與傳統(tǒng)方法相比具有顯著優(yōu)勢。由于神經(jīng)網(wǎng)絡(luò)模型展現(xiàn)出優(yōu)越的提取特征和重建能力，基于深度學(xué)習(xí)的圖像去雨方法取得了顯著進(jìn)展，逐漸成為了目前用于解決單幅圖像去雨任務(wù)的主流方法。Yang 等[16]提出了一種聯(lián)合雨水檢測去雨模型。Zhang等[17]使用條件GAN（Generative Adverarial Network）增強無雨圖像的色彩和對比度分析，以此恢復(fù)清晰的圖像。許多不同的方法都通過估計雨水條紋恢復(fù)無雨圖像，但這些方法[16-20]忽略了物理模型可以用于去雨任務(wù)的先驗指導(dǎo)。由于雨滴在不同的尺度和位置具有不同的特征，多尺度方法可以被用于更好地提取雨水條紋特征。DCSFN（Deep Cross-scale Fusion Network）[21]和MSPFN（Multi-scale Progressive Fusion Network）[22]使用多尺度信息對結(jié)果進(jìn)行改善，這些方法通過改變感受野（Receptive Field），將不同尺度間的信息有效交換，進(jìn)而捕捉雨水條紋的不同狀態(tài)。

本文提出了一種基于雨水條紋檢測和圖像修復(fù)的連接式圖像去雨方法。具體來說，本文中的方法通過多個多尺度信息交換模塊的疊加有效地傳播和交換多尺度信息，從而預(yù)測雨水條紋信息。此外，使用門循環(huán)單元（Gate Recurrent Unit,GRU）連接這些多尺度模塊，GRU能夠保留并且利用前面階段提取出的特征。實驗表明，多尺度信息交換模塊能夠有效地估計雨水條紋。然而，通過多尺度信息交換模塊得到的初步去雨后圖像與真實圖像相比在色彩和一些細(xì)節(jié)方面仍然存在一定程度的差異。因此，本文在圖像修復(fù)部分使用循環(huán)生成對抗網(wǎng)絡(luò)，對之前階段獲得的圖像進(jìn)行進(jìn)一步處理。實驗表明，循環(huán)生成對抗網(wǎng)絡(luò)能夠提高最終的去雨效果，使最終的圖片質(zhì)量提高。本文所提出的主要貢獻(xiàn)如下：

（1）通過多尺度信息交換模塊，能夠更好地檢測雨水條紋信息，使初去雨的圖像所含的雨水信息盡可能地減少，便于后續(xù)生成對抗網(wǎng)絡(luò)進(jìn)行處理。

（2）將循環(huán)生成對抗網(wǎng)絡(luò)與多尺度信息模塊連接，通過增加色彩損失，對初去雨圖像的色彩信息和細(xì)節(jié)進(jìn)行修復(fù)，進(jìn)一步提高去雨性能。

（3）通過在合成數(shù)據(jù)集和真實圖像數(shù)據(jù)集上進(jìn)行的大量實驗表明，本文方法在單幅圖像去雨任務(wù)上效果較好。

1 相關(guān)工作

1.1 圖像去雨

基于視頻的降雨方法能夠在連續(xù)幀之間使用時間信息，與之不同的是單幅圖像去雨方法是一個高度不適定問題。無參考的圖像去雨只能利用先驗知識分析降雨圖像，通過建立物理模型獲得去雨圖像。Kang 等[8]作為單幅圖像去雨的先驅(qū)，設(shè)計了一種基于模型的方法從降雨圖像當(dāng)中提取高頻層，并使用字典學(xué)習(xí)稀疏表示描述雨水條紋的特征。從此出現(xiàn)了許多基于模型的圖像去雨算法[8,10,14,23]。在基于模型驅(qū)動的圖像去雨方法中，認(rèn)為圖像中的雨水噪聲主要存在于圖像的高頻分量當(dāng)中，低頻分量中也存在少量的雨水噪聲。Kang 等[8]使用雙邊濾波器對降雨圖像進(jìn)行分解，將其分解為高頻部分和低頻部分，高頻部分中的“無雨分量”由稀疏編碼和學(xué)習(xí)字典表示，該方法可以有效地去除雨水條紋，但同時會使圖像模糊。Luo等[9]對稀疏編碼方法進(jìn)行了改進(jìn)，將互斥引入?yún)^(qū)分性稀疏編碼當(dāng)中，使雨水條紋層和背景層的分離得到進(jìn)一步優(yōu)化，更好地保留了明顯的紋理特征，然而在雨水分布密集的去雨仍然存在雨滴。Zhu 等[10]在背景層提出了兩個新的先驗，一個基于集中備件表示（centralized spares representation, CSR），另一個基于估計的降雨方向。這些先驗知識可以提高去除雨紋的性能，同時保留背景細(xì)節(jié)；然而，由于算法的局限性，需要手動調(diào)整過多的參數(shù)才能得到滿意的結(jié)果。Li 等[24]提出了一種自適應(yīng)高斯混合模型（GMM）[14]模擬雨水條紋層和背景層，背景層的高斯混合模型是從不同場景的真實圖像和清晰圖像中推導(dǎo)出來的，選擇無背景紋理信息的雨水條紋對高斯混合模型進(jìn)行訓(xùn)練，該方法可以根據(jù)雨的方向和大小檢測雨水條紋。總的來說，這些方法可以消除中小型雨水條紋，但不能處理大而尖銳的雨水條紋。

近幾年來，隨著深度學(xué)習(xí)廣泛應(yīng)用于計算機視覺任務(wù)中，并在圖像識別、目標(biāo)檢測和視頻處理方面取得了優(yōu)異的效果，基于神經(jīng)網(wǎng)絡(luò)的圖像去雨模型發(fā)展迅速，許多方法[16,21,25-29]達(dá)到了較好的去雨效果。Fu 等[25]提出了用于單幅圖像去雨的DetailNet，在DetailNet 中，使用低通濾波器將雨天圖像分解為高頻和低頻圖像層，然后在細(xì)節(jié)（高通內(nèi)容）中對其進(jìn)行訓(xùn)練，DetailNet可以直接學(xué)習(xí)雨水條紋層和背景層之間的映射關(guān)系，該方法在實驗中取得了很好的效果，但恢復(fù)的背景圖像并不完美。Yang 等[16]提出聯(lián)合雨水檢測和清除網(wǎng)絡(luò)，其中雨水檢測網(wǎng)絡(luò)經(jīng)過訓(xùn)練，通過檢測雨水條紋的位置來捕獲二元遮罩，而遞歸神經(jīng)網(wǎng)絡(luò)經(jīng)過訓(xùn)練以清除降雨圖案和雨水積累，它在大雨中工作得很好，但它可能會錯誤地刪除垂直紋理信息，并產(chǎn)生令人不快的照明效果。Ren等[30]基于ResNet 開發(fā)了一個簡單有效的基線。為了從不同尺度提取雨水條紋特征，許多研究者[21,26-28]還開發(fā)了一些基于多尺度的去雨方法。多尺度網(wǎng)絡(luò)可以有效地降低網(wǎng)絡(luò)在推理和訓(xùn)練過程中的復(fù)雜度，并在保持網(wǎng)絡(luò)深度不變的情況下對結(jié)果進(jìn)行改進(jìn)。Guo 等[31]將反饋機制與密集跳躍連接相結(jié)合，以融合不同級別的特征，獲得去霧圖像。Jiang等[22]提出了一個多尺度去雨網(wǎng)絡(luò)，該網(wǎng)絡(luò)將高尺度信息持續(xù)傳輸?shù)降统叨?，并可以在預(yù)測雨水條紋時結(jié)合不同尺度的特征。

1.2 生成對抗網(wǎng)絡(luò)

生成對抗網(wǎng)絡(luò)[32]是目前一種較為流行且使用廣泛的深度網(wǎng)絡(luò)結(jié)構(gòu)體系，它由兩個相互對抗的子網(wǎng)絡(luò)組成，通過GAN 能夠有效地生成更加真實的圖像。目前，大多數(shù)現(xiàn)有的基于GAN 的模型都需要成對的訓(xùn)練數(shù)據(jù)，獲取成對的信息這一需求導(dǎo)致在實踐過程中所需要的代價較高。為了解決這一問題，Zhu 等[33]提出了無監(jiān)督的CycleGAN，CycleGAN使用未成對的圖像進(jìn)行訓(xùn)練，將圖像從原域轉(zhuǎn)換到目標(biāo)域?；贕AN 的方法在各種視覺任務(wù)當(dāng)中取得了較為廣泛的應(yīng)用，例如圖像去模糊[34]、圖像去霧[35]和圖像超分辨率[36]等。

針對圖像去雨任務(wù)，一些基于GAN 的研究方法也獲得了較好的效果。Zhu等[18]提出了一種基于GAN 的無監(jiān)督端到端對抗性去雨網(wǎng)絡(luò)，稱為Rain Removement GAN（RR-GAN），它僅使用未配對的圖像生成逼真的無雨圖像。RR-GAN主要包含一個多尺度注意記憶發(fā)生器以及多尺度監(jiān)督鑒別器，因此其結(jié)構(gòu)類似于基于監(jiān)督的GAN方法。Pu等[37]提出了CycleGAN去雨方法，該方法通過添加反向映射，干凈圖像生成器能夠在保留背景的情況下去除雨水條紋，并添加了通道注意力模塊（squeeze-and-excitation module,SE）[38]以過濾出更有效的特征。Qian等[39]提出了一個專注生成對抗網(wǎng)絡(luò)，通過在生成和判別網(wǎng)絡(luò)中引入視覺注意力，達(dá)到單幅圖像去雨的目的。

2 多尺度和循環(huán)生成對抗的連接式圖像去雨方法

本文提出了一種連接式圖像去雨方法將降雨圖像轉(zhuǎn)換為相應(yīng)的無雨圖像，通過將多尺度信息交換模塊來估計雨水條紋，然后使用循環(huán)生成對抗網(wǎng)絡(luò)對去雨結(jié)果進(jìn)行優(yōu)化。圖1 展示了本文提出方法的整體框架，在生成對抗網(wǎng)絡(luò)部分當(dāng)中，G 為初去雨圖像轉(zhuǎn)換為清晰圖像的生成器，Dy為對應(yīng)的判別器，F(xiàn)為清晰圖像轉(zhuǎn)換為初去雨圖像的生成器，Dx為對應(yīng)的判別器。下面將介紹本文提出的模型結(jié)構(gòu)以及相應(yīng)的損失函數(shù)。

圖1 連接式去雨網(wǎng)絡(luò)網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Structure of connected derain network

2.1 多尺度和循環(huán)生成對抗的連接式去雨網(wǎng)絡(luò)

本文將循環(huán)生成對抗網(wǎng)絡(luò)與多尺度融合模塊相結(jié)合，提出了一種連接式圖像去雨方法。本文先使用多尺度信息交換模塊，通過添加跨尺度信息通信通道，允許信息在不同尺度上流動，從而更有效地融合多尺度信息；然后，初步的去雨圖片進(jìn)入了一個色彩增強的循環(huán)生成對抗網(wǎng)絡(luò)。

為了提高圖像恢復(fù)效果，在多尺度信息交換模塊的特征傳播過程中，本文將每個尺度的信息共享到所有其他尺度。為了獲得更高效的多尺度共享結(jié)構(gòu)，多尺度共享降低了網(wǎng)絡(luò)參數(shù)的數(shù)量和計算復(fù)雜度。在這項工作中，任何中間尺度都可以接收相鄰尺度學(xué)習(xí)到的特征。多尺度卷積函數(shù)公式如下所示：

其中，F(xiàn)i,Yi表示不同尺度的輸入和輸出，U和P分別代表上采樣（up-sampling）和池化（pooling）操作，以便在特定尺度中保持連接。

多尺度共享結(jié)構(gòu)可以使信息在不同尺度間的交換更為流暢，使得每一層的感受野相對更大，能夠捕捉更多的信息，并通過增加少量內(nèi)存和計算復(fù)雜性提升相鄰尺度之間進(jìn)行特征共享的性能。隨著網(wǎng)絡(luò)深度的增加，在交換不同尺度的特征時，會導(dǎo)致中間層內(nèi)部的協(xié)變量發(fā)生偏移，本文采用了批量歸一化層來解決權(quán)重分布變化的問題，使得網(wǎng)絡(luò)更加穩(wěn)定并且易于收斂。在多尺度信息交換模塊之后，通過分析雨紋在不同尺度上存在分布差異，雨紋特征注意融合模塊使用雨水空間注意力模塊和雨水通道注意力模塊，進(jìn)一步優(yōu)化不同尺度特征，進(jìn)而得到初步去雨后的圖像。

由于雨水條紋在不同尺度上分布存在一定程度的差異，雨水空間注意力模塊通過合并時調(diào)整不同尺度上特征的位置，從而使雨條紋的空間信息更加準(zhǔn)確，進(jìn)一步提高了不同尺度之間的特征融合能力。雨水通道注意力模塊在特征融合過程中通過從高頻通道提取雨水條紋信息，更好地檢測高頻細(xì)節(jié)和雨水條紋。

對于經(jīng)過多尺度信息交換模塊初步去雨后的圖像，色彩效果以及細(xì)節(jié)部分相比于真實標(biāo)簽存在一些差異，因此將得到的圖像送入后續(xù)的循環(huán)生成對抗網(wǎng)絡(luò)中進(jìn)行進(jìn)一步地增強。循環(huán)生成對抗網(wǎng)絡(luò)由以下部分組成：（1）兩個U-net構(gòu)成的生成器（兩個生成器共享權(quán)重）；（2）兩個由ls-GAN構(gòu)成的判別器（兩個判別器共享權(quán)重）。通過循環(huán)生成對抗網(wǎng)絡(luò)將初去雨圖像X轉(zhuǎn)換為最終的去雨圖像Y。

2.2 損失函數(shù)

本網(wǎng)絡(luò)中損失函數(shù)分為兩個部分：多尺度信息交換模塊部分和循環(huán)生成對抗網(wǎng)絡(luò)部分。在多尺度信息交換部分當(dāng)中，使用均方誤差（MSE loss）作為雨水條紋的主要損失函數(shù)，能夠獲取到粗略的無雨結(jié)果和相應(yīng)的雨水條紋遮蓋圖像。對于雨水條紋檢測：

其中，為估計的雨水條紋遮蓋；X,T分別表示輸入的有雨圖像以及與其相對應(yīng)的無雨圖像真實標(biāo)簽。

均方誤差在單幅圖像去雨網(wǎng)絡(luò)中經(jīng)常使用。然而，由于平方懲罰[40]，通常會導(dǎo)致產(chǎn)生過度平滑的視覺效果，因此導(dǎo)致生成模糊的圖像。由于真實標(biāo)簽中部分無雨圖像塊與雨水條的紋理或顏色存在一定程度的相似性，導(dǎo)致相應(yīng)的平方誤差很小，因此很難從這些區(qū)域中去除雨殘留物。為了有效地降低這種影響，本文添加了新的結(jié)構(gòu)相似性指數(shù)（SSIM）損失函數(shù)。首先使用與之前相同的均方誤差；其次，通過使用SSIM損失促進(jìn)對于圖像當(dāng)中的高頻特征和紋理信息的恢復(fù)效果。SSIM損失的計算是通過比較兩幅圖像之間的結(jié)構(gòu)相似性，而不是通過逐像素計算評判兩幅圖像之間的差異，并且SSIM 損失對于圖像中的高頻細(xì)節(jié)和圖像邊緣信息更加敏感。損失函數(shù)分別表示為：

其中，T,Y分別表示無雨的真實標(biāo)簽和初步去雨后的無雨圖像；μT,μY分別表示T,Y的平均值；σT,σY分別表示T,Y的方差；σTY表示T,Y的協(xié)方差。c1和c2是SSIM 計算中用于維持穩(wěn)定的常數(shù)。當(dāng)兩張圖片完全一樣時，SSIM 的值為1，因此LSSIM的值隨著相似度的降低而增加。

此部分的總體損失函數(shù)為：

在循環(huán)生成對抗網(wǎng)絡(luò)中，損失函數(shù)包括對抗損失（adversarial loss）和循環(huán)一致性損失（cycle consistency loss）。對抗損失主要應(yīng)用于兩個映射函數(shù)當(dāng)中，以其中一個映射函數(shù)G:X→Y及其相對應(yīng)的判別器DY為例，對應(yīng)的公式如下：

映射函數(shù)G試圖生成與目標(biāo)域Y中的真實樣本類似的圖像G(X)，而判別器DY的目的是區(qū)分生成的樣本G(X)以及原有的真實樣本Y。映射函數(shù)G希望通過優(yōu)化減小的項目與映射函數(shù)F希望優(yōu)化增大的項目相對抗，用公式化的形式可以表現(xiàn)為minGmaxDYLGAN(G,DY,X,Y)，對于另一個映射函數(shù)G類似表示為minFmaxDXLGAN(F,DX,Y,X)。

通過對抗訓(xùn)練可以學(xué)習(xí)到映射函數(shù)G和映射函數(shù)F，使其生成與目標(biāo)域Y和目標(biāo)域X相似的樣本。然而，當(dāng)一個網(wǎng)絡(luò)擁有足夠大的容量時，此時輸入任何隨機排列的圖片，它都可以映射到與目標(biāo)圖片相匹配的輸出分布。因此說明單獨依靠對抗損失得到的映射函數(shù)不能使每個單獨的輸入xi映射到期望得到的輸出yi。為了使訓(xùn)練得到的函數(shù)映射空間減小，通過訓(xùn)練得到的函數(shù)應(yīng)該具有循環(huán)一致性，即數(shù)據(jù)域X中的每一個樣本x在循環(huán)周期中能夠恢復(fù)至原始圖像，公式表達(dá)為x→G(x)→F(G(x))≈x，對于數(shù)據(jù)域Y亦是如此。循環(huán)對抗損失公式表示為：

循環(huán)對抗生成網(wǎng)絡(luò)部分總體損失為：

其中，σ為確定的數(shù)值。

為了使圖像的色彩和細(xì)節(jié)部分恢復(fù)的效果得到增強，在對抗損失中增加色彩損失函數(shù)（color loss）[41]替代其中原本的單一的均方誤差損失函數(shù)。色彩損失函數(shù)公式如下：

其中，Xb和Yb分別表示X和Y的模糊圖像，計算方式為：

二維高斯模糊算子由下式可得：

其中，A=0.053，μx,y=0，σx,y=3。

新的對抗損失函數(shù)如下：

3 實驗與分析

3.1 訓(xùn)練環(huán)境和參數(shù)設(shè)置

在本文實驗中，將提出的方法與一些相關(guān)方法進(jìn)行比較。網(wǎng)絡(luò)在pytorch 框架下搭建，在NVIDIA GeForce 2080顯卡上進(jìn)行訓(xùn)練。多尺度信息交換模塊部分多尺度水平設(shè)置為4，通過下采樣到1/2、1/4，1/8，初始學(xué)習(xí)率為0.0005，在第900 和第1,200 個epochs 時以1/5 速率更新兩次?？偣灿?,500 個epochs。超參數(shù)設(shè)置為：λ1=2,λ2=1,λ3=0.1。循環(huán)生成對抗網(wǎng)絡(luò)部分初始學(xué)習(xí)率設(shè)置為0.0002。超參數(shù)設(shè)置為：σ=10,μ1=0.2,μ2=1。

3.2 數(shù)據(jù)集和評價指標(biāo)

本文實驗主要使用合成數(shù)據(jù)集和真實數(shù)據(jù)對提出的方法進(jìn)行評估。合成圖像數(shù)據(jù)集包括：（1）Rain100L[16]，包含1,800 對用于訓(xùn)練的小雨圖像，200 對用于測試的小雨圖像；（2）Rain100H[16]，包含相同數(shù)量的暴雨圖像，用于訓(xùn)練和測試；（3）Rain800[17]，包含700 對訓(xùn)練圖像，100 對測試圖像；（4）Rain12000[42]，數(shù)據(jù)集中包含12,000 張訓(xùn)練圖像和1,200 張測試圖像。Rain12000 中的有雨圖像類型包括大雨、中雨和小雨。為了進(jìn)一步評估本文方法在真實世界的有雨圖像上的性能，本文還收集了一些真實世界的有雨圖像進(jìn)行進(jìn)一步的實驗以評估所提出方法的性能。

對于有真實標(biāo)簽的合成數(shù)據(jù)集，在對每個圖像結(jié)果進(jìn)行評估時采用兩種常用的定量指標(biāo)，即峰值信噪比（PSNR）和結(jié)構(gòu)相似性系數(shù)（SSIM）。對于沒有真實標(biāo)簽的真實世界有雨圖像，只提供視覺效果體現(xiàn)本文方法的性能。

3.3 消融實驗

為了驗證所提出方法的效率以及對于單幅圖像去雨的有效性，本文中設(shè)置了幾組實驗驗證本文方法的有效性，所有消融實驗均基于Rain100H數(shù)據(jù)集。

在對雨天圖像進(jìn)行雨水條紋特征提取時，隨著網(wǎng)絡(luò)深度不斷加深，單獨使用卷積模塊可能會導(dǎo)致雨水條紋特征的丟失，因此使用了剩余密集殘差塊（Residual Dense Block,RDB）加深網(wǎng)絡(luò)深度，密集連接能夠有效地使梯度消失問題得到緩解，還能夠增強特征傳播，鼓勵特征重用，同時能夠有效地減少參數(shù)量。為了驗證有效性，將卷積、剩余殘差與多尺度信息交換分別結(jié)合用于消融實驗，實驗結(jié)果如表1所示。通過實驗結(jié)果不難看出，使用RDB進(jìn)行特征提取時效果最好。

表1 不同特征提取模塊組合的消融實驗結(jié)果Table 1 Ablation experimental results of different feature extraction module combinations

在循環(huán)生成對抗網(wǎng)絡(luò)部分，實驗使用色彩損失和均方誤差損失進(jìn)行對抗損失和循環(huán)一致性損失函數(shù)的計算，因此對于損失函數(shù)的消融實驗集中在連接式網(wǎng)絡(luò)的第二部分，本文使用Color loss、MSE loss以及其組合進(jìn)行了消融實驗，最終結(jié)果如表2所示。通過對實驗結(jié)果進(jìn)行對比，當(dāng)MSE loss 與Color loss 組合使用時的去雨結(jié)果更好。

表2 不同損失函數(shù)組合的消融實驗Table 2 Ablation experiments with different loss function combinations

本文還設(shè)置了關(guān)于多尺度信息交換模塊和循環(huán)對抗生成網(wǎng)絡(luò)模塊的消融實驗。實驗通過使用單一模塊和兩個模塊連接使用進(jìn)行實驗對比。M1為多尺度信息交換模塊，M2為循環(huán)對抗生成網(wǎng)絡(luò)模塊。實驗結(jié)果如表3 所示。通過實驗結(jié)果可以看出，當(dāng)多尺度信息交換模塊與循環(huán)生成對抗網(wǎng)絡(luò)模塊連接使用時去雨結(jié)果更佳。

表3 不同模塊的消融實驗Table 3 Ablation experiments of different modules

3.4 實驗結(jié)果與分析

本實驗對11 種方法進(jìn)行了對比，其中DerainNet[25](2017)、DetailNet[43](2017)、JORDER[16](2017)、RESCAN[38](2018)、PReNet[30](2019)、SIRR[44](2019)是近幾年來具有代表性的效果較好的去雨方法，MSPFN[22](2020)、CycleGAN[39](2017)、RR-GAN[18](2019)是本文提出方法的靈感來源，HINet[45](2021)是最新的在去雨方面取得了良好效果的方法，最后是本文中提出的方法。表4給出了本文所提出的方法與其他方法在4 個數(shù)據(jù)集上SSIM和PSNR的結(jié)果。表中加粗字體表示所有結(jié)果中的最優(yōu)異的數(shù)據(jù)結(jié)果。相比于其他的圖像去雨方法，本文的方法在各個數(shù)據(jù)集上的SSIM 和PSNR 結(jié)果均優(yōu)于其他方法。通過表中的數(shù)據(jù)能夠說明通過本文方法去雨后的圖像更加清晰，圖像的細(xì)節(jié)部分更加精細(xì)。

表4 不同方法在4個數(shù)據(jù)集上的SSIM和PSNR平均結(jié)果Table 4 The average SSIM&PSNR in four datasets of different methods

如圖2所示，展示了不同方法在合成的去雨數(shù)據(jù)集上的結(jié)果。從左到右的圖像包括輸入圖像、真實標(biāo)簽、JORDER、RESCAN、PReNet、MSPFN和本文中所提出的連接式去雨網(wǎng)絡(luò)的實驗結(jié)果。結(jié)果中對細(xì)節(jié)部分進(jìn)行了放大處理以便于觀察。通過對不同結(jié)果的觀察，從去雨效果來看，JORDER 和RESCAN 的去雨效果較差，結(jié)果中仍然存在部分雨水條紋，PReNet、MSPFN和本文的方法能夠較好地去除圖像中的雨水條紋。通過對細(xì)節(jié)部分的放大觀察，不難看出，JORDER、RESCAN、PReNet和MSPFN在圖像的細(xì)節(jié)部分都存在不同程度的缺失，而通過本文方法進(jìn)行去雨的結(jié)果圖像在細(xì)節(jié)部分與清晰圖像更為接近。也就是說，本文的方法能夠在最大程度去除雨水條紋的情況下對圖像信息較好地保留，所獲得的圖像視覺效果更佳。

圖2 不同方法在合成數(shù)據(jù)集上的去雨結(jié)果Fig.2 Rain-sterak removal results on synthetic images

為了證明本文方法的可行性，還對真實世界中獲取的雨天圖像進(jìn)行了實驗，并取得了良好的效果。圖3 展示了本文方法在真實世界雨水圖像中的去雨效果和其他方法的去雨結(jié)果的對比，從左到右依次是輸入圖像、RESCAN、PReNet、MSPFN和本文的結(jié)果。

圖3 真實世界降雨圖像的去雨結(jié)果Fig.3 Results on real-world rainy images

4 結(jié)論

本文提出了用于單幅圖像去雨的連接式去雨網(wǎng)絡(luò)，網(wǎng)絡(luò)中將多尺度融合網(wǎng)絡(luò)作為網(wǎng)絡(luò)的首個模塊，通過多尺度信息交換模塊提取雨天圖像中的雨水條紋信息，通過不同尺度上信息的共享，高效地提取了雨水條紋信息。由于部分圖像中雨水條紋對背景信息存在遮擋問題，因此由雨水條紋信息恢復(fù)出的圖像會導(dǎo)致部分細(xì)節(jié)信息丟失和色彩信息變化。為了進(jìn)一步減小初去雨圖像與真實圖像之間的細(xì)節(jié)和色彩差距，網(wǎng)絡(luò)的第二部分使用了循環(huán)生成對抗網(wǎng)絡(luò)，通過循環(huán)生成對抗網(wǎng)絡(luò)模塊可以有效地恢復(fù)圖像紋理部分的丟失以及糾正圖像色彩信息的變化。通過連接后的網(wǎng)絡(luò)在圖像恢復(fù)細(xì)節(jié)上更加精細(xì)和完善。在合成數(shù)據(jù)集和真實世界圖像上的實驗結(jié)果表明，本文方法具有較優(yōu)越的性能。

利益沖突聲明

所有作者聲明不存在利益沖突關(guān)系。