基于自適應(yīng)感知金字塔網(wǎng)絡(luò)的圖像去雨

楊愛萍, 王朝臣, 王 建, 張騰飛

(天津大學(xué) 電氣自動化與信息工程學(xué)院, 天津 300072)

在降雨天氣采集到的圖像質(zhì)量下降嚴重,存在紋理遮擋、對比度下降及細節(jié)丟失等問題,嚴重影響視覺效果,不利于圖像特征提取及辨識,導(dǎo)致戶外計算機視覺系統(tǒng)難以發(fā)揮效用.因此,圖像去雨具有重要的研究意義及應(yīng)用價值[1].

單幅圖像去雨可分為傳統(tǒng)方法和基于深度學(xué)習(xí)的方法.早期工作大多基于核回歸[2-3]、低秩估計[4-5]、表示學(xué)習(xí)[6]以及字典學(xué)習(xí)[7-8]等方法實現(xiàn)單幅圖像去雨.該類方法通常將去雨看作圖像分解問題,去雨后的圖像往往存在背景模糊和雨紋殘留現(xiàn)象.為解決這些問題,后續(xù)提出了基于判別稀疏編碼(discriminative sparse coding, DSC)[9]、混合高斯模型(Gaussian mixture model, GMM)[10]和全局稀疏模型[11]等去雨方法,可在一定程度上改善去雨圖像視覺質(zhì)量.但是,傳統(tǒng)方法提取雨紋特征信息不足,無法有效去除雨紋且去雨后圖像視覺效果較差.

近年來,卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network, CNN)憑借其出色的特征提取能力和強大的辨識能力被廣泛用于圖像去雨,基于深度學(xué)習(xí)的圖像去雨方法取得了較大進展.Eigen 等[12]首次將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于單幅圖像去雨, 其構(gòu)造了一個三層卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)有雨和無雨圖像間的非線性映射.Fu 等[13]提出一種深度細節(jié)網(wǎng)絡(luò)(deep detail network, DDN),使用引導(dǎo)濾波從雨圖分離出高頻特征,但去雨后的圖像易丟失細節(jié)信息.Zhang 等[14]提出了一種基于條件生成對抗網(wǎng)絡(luò)的去雨方法(ID-CGAN),但去雨后的圖像不夠自然.Li 等[15]提出了一種分解-合成網(wǎng)絡(luò)結(jié)構(gòu),利用合成結(jié)果指導(dǎo)分解過程,但難以處理暴雨圖像.Pan 等[16]提出了一種雙重卷積神經(jīng)網(wǎng)絡(luò),分別學(xué)習(xí)背景圖像的結(jié)構(gòu)和細節(jié),再進行合成得到去雨圖像.還有一些結(jié)合物理信息構(gòu)建的去雨網(wǎng)絡(luò),包括結(jié)合雨紋密度信息的DID-MDN[17]、結(jié)合運動模糊信息的KGCNN[18]、結(jié)合深度信息的DAF-Net[19].以上這些方法都把去雨任務(wù)看作是一個簡單的分層問題,在單階段或單尺度下完成.

然而,有雨圖像包含復(fù)雜的雨紋特征,如雨紋形狀、方向和密度信息等,單階段或單尺度網(wǎng)絡(luò)無法徹底去除復(fù)雜雨紋.為了解決雨紋殘留等問題,很多學(xué)者從多尺度或多階段角度設(shè)計網(wǎng)絡(luò)結(jié)構(gòu)用于圖像去雨.Yang 等[20]構(gòu)建一種新的雨圖成像模型,并結(jié)合擴張卷積提出一種聯(lián)合雨水檢測和去除的網(wǎng)絡(luò)(joint rain detection and removal, JRDR),該網(wǎng)絡(luò)對暴雨情況下雨水堆積有較好的去除效果,但部分圖像易出現(xiàn)細節(jié)模糊.Fu 等[21]提出一種拉普拉斯金字塔網(wǎng)絡(luò)捕捉多個尺度下雨紋特征并逐步完成去雨.Li 等[22]構(gòu)建一種基于尺度感知的多階段遞歸網(wǎng)絡(luò),將去雨過程分為多個階段逐步完成去雨.Li 等[23]結(jié)合SE模塊提出一種循環(huán)結(jié)構(gòu)(recurrent squeeze-and-excitation context aggregation network, RESCAN)來獲取雨紋的多尺度信息,并逐步去除雨紋.Ren 等[24]基于殘差網(wǎng)絡(luò)設(shè)計了一種由簡單網(wǎng)絡(luò)模型組成的多階段去雨網(wǎng)絡(luò)PReNet.Deng 等[25]從細節(jié)修復(fù)角度設(shè)計了一種雙路并行網(wǎng)絡(luò)(DRD-Net),分別用于去除雨紋和細節(jié)修復(fù).Jiang 等[26]對不同尺度的雨紋進行漸進式融合處理,提出一種多尺度漸進式融合網(wǎng)絡(luò)(multi-scale progressive fusion network, MSPFN).但是,以上這些方法忽略了相鄰階段信息的密切相關(guān)性,直接進行跨階段或跨模塊的信息流通,導(dǎo)致背景細節(jié)信息丟失.Zhao等[27]基于小波變換構(gòu)建金字塔網(wǎng)絡(luò)(PDR-Net),但其各尺度子網(wǎng)絡(luò)只使用普通殘差塊進行級聯(lián),無法提取深層雨紋特征,同時去雨過程中沒有進行信息補償,因此存在雨紋去除不徹底、背景信息損失等問題.

綜上,本文提出一種基于自適應(yīng)感知金字塔網(wǎng)絡(luò)的單幅圖像去雨方法.首先,基于小波變換構(gòu)建多尺度特征金字塔網(wǎng)絡(luò),相鄰尺度之間進行遞進式雨紋去除,每個尺度上設(shè)計了一種自適應(yīng)感知子網(wǎng)絡(luò)進行雨紋特征提取和細節(jié)修復(fù).各尺度子網(wǎng)絡(luò)內(nèi)部通過對稱跳躍連接將提取到的淺層特征傳遞至深層,實現(xiàn)淺層特征的有效復(fù)用,同時對丟失的細節(jié)進行補償.設(shè)計的自適應(yīng)雨紋感知模塊利用圖像的非局部信息,在擴大感受野的同時感知雨紋所在區(qū)域,并通過共享擴張卷積和注意力機制提取雨紋特征并進行自適應(yīng)融合.

1 本文方法

1.1 小波金字塔網(wǎng)絡(luò)

雨紋通常分布在高頻區(qū)域,使用離散小波變換完成下采樣可以同時去除部分雨紋信息.本文設(shè)計了一種小波金字塔網(wǎng)絡(luò),通過小波變換及其逆變換完成上下采樣,并通過各尺度逐級迭代完成去雨.現(xiàn)有研究結(jié)果表明,三層金字塔網(wǎng)絡(luò)設(shè)計可以在保持輕量化的同時,有效實現(xiàn)深層雨紋特征提取,提出的整體網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示.其中,DWT和IDWT表示離散小波變換及其逆變換,ARP-SubNet(adaptive rain streak perceptual sub-network)表示各尺度下(這里0,1,2分別表示從大到小3個尺度)的自適應(yīng)雨紋感知子網(wǎng)絡(luò).不同于已有的小波金字塔網(wǎng)絡(luò)[27],本文各尺度子網(wǎng)絡(luò)直接對原始有雨圖像進行殘差學(xué)習(xí),整體網(wǎng)絡(luò)從低分辨率至高分辨率進行遞進式連接.同時,所設(shè)計的子網(wǎng)絡(luò)能自適應(yīng)學(xué)習(xí)原始圖像雨紋特征,并對不同尺度下的去雨結(jié)果進行信息補償,實現(xiàn)不同尺度雨紋特征的有效復(fù)用.

圖1 小波金字塔網(wǎng)絡(luò)結(jié)構(gòu)

設(shè){X0,Y0}為輸入的有雨-無雨圖像對,首先對有雨圖像X0進行兩次小波變換,得到2個不同尺度下的子圖像:

(1)

(2)

(3)

(4)

(5)

其中:fIDWT(·)表示離散小波逆變換;fARP-SubNet1(·)表示子網(wǎng)絡(luò)ARP-SubNet1處理運算;fCat(·,·)則表示特征圖的堆疊運算.

(6)

(7)

其中,fARP-SubNet0(·)表示子網(wǎng)絡(luò)ARP-SubNet0處理運算.網(wǎng)絡(luò)從低分辨率至高分辨率進行遞進式去雨,將小尺度的去雨結(jié)果融合到相鄰尺度,并指導(dǎo)上一尺度的雨紋去除,網(wǎng)絡(luò)整體和局部殘差學(xué)習(xí)可使網(wǎng)絡(luò)充分利用上下文信息并快速收斂.

1.2 自適應(yīng)雨紋感知子網(wǎng)絡(luò)(ARP-SubNet)

1.2.1 子網(wǎng)絡(luò)結(jié)構(gòu)

為了更有效地進行深層雨紋特征的提取,并解決去雨過程中背景信息損失等問題,本文設(shè)計了一種自適應(yīng)雨紋感知子網(wǎng)絡(luò),提取深層雨紋特征并逐尺度進行細節(jié)補償,網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示.各子網(wǎng)絡(luò)以自適應(yīng)雨紋感知模塊(adaptive rain streak perceptual block, ARPB)為核心,結(jié)合跳躍連接和SE(squeeze-and-excitation)模塊完成網(wǎng)絡(luò)搭建.不同于現(xiàn)有的編解碼結(jié)構(gòu),這里使用了若干由前到后的對稱跳躍連接對淺層和深層進行關(guān)聯(lián),對場景結(jié)構(gòu)信息和細節(jié)信息進行補償.這種連接方式可以充分利用淺層特征及上下文信息,并對提取到的雨紋特征偏差進行及時修正.同時,結(jié)合通道注意力機制,從通道維度自適應(yīng)地選擇特征圖中更重要的通道,降低多通道下噪聲對雨紋特征的干擾,減少傳遞過程中的信息丟失.

為了減少信息干擾,子網(wǎng)絡(luò)首先采用卷積核尺寸為3×3的卷積層和兩個殘差模塊用于提取輸入圖像X的淺層特征:

X1=f3×3(X) ;

(8)

X2=fResBlock(fResBlock(X1)) .

(9)

其中:f3×3(·)表示卷積核為3×3的卷積層;fResBlock(·)表示殘差模塊(residual block).由于批歸一化(batch normalization, BN)層不利于復(fù)雜雨紋特征的提取,本文殘差模塊中去除了BN層,故只包含兩個卷積層并進行了殘差連接,具體網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示.

為了保留足夠的空間信息進行重構(gòu),子網(wǎng)絡(luò)在編碼階段只進行兩次下采樣,下采樣操作通過步長為2的殘差模塊完成.為了增強通道間特征相關(guān)性,在上下采樣部分的殘差模塊中增加了SE模塊.

X3=fSE(fDownSample(X2)) ,

(10)

X4=fSE(fDownSample(X3)) .

(11)

其中:fDownSample(·)表示下采樣;fSE(·)表示SE模塊運算.下采樣后,級聯(lián)4個自適應(yīng)雨紋感知模塊,進一步提取深層雨紋特征并將網(wǎng)絡(luò)捕捉到的不同尺度大小的雨紋進行融合:

X5=fARPBs(X4) .

(12)

其中，fARPBs(·)表示自適應(yīng)雨紋感知模塊運算.對稱地,兩個反卷積層堆疊在解碼器相應(yīng)部分,對跳躍連接融合得到的特征進行激活并進行上采樣:

X6=fSE(fUpSample(fPReLU(X4+X5))) ,

(13)

X7=fSE(fUpSample(fPReLU(X3+X6))) .

(14)

其中:fUpSample(·)表示上采樣;fPReLU(·)表示PReLU激活函數(shù).然后,使用連續(xù)的1×1卷積和3×3卷積進行特征融合,得到雨紋特征圖;最后,使用核大小為3×3的卷積層進行融合,得到的雨紋輸出為

X8=f3×3(f1×1(fPReLU(X2+X7))) ,

(15)

O=f3×3(fPReLU(X1+X8)) .

(16)

式中:f1×1(·)表示卷積核為1×1大小的普通卷積層;O為最終的輸出圖像.子網(wǎng)絡(luò)中默認使用核大小為3×3的卷積層,可以在有效提取圖像特征的同時保持較小的參數(shù)量.子網(wǎng)絡(luò)中通道數(shù)設(shè)置為64,卷積層之后的激活函數(shù)均使用PReLU函數(shù).

圖2 自適應(yīng)雨紋感知子網(wǎng)絡(luò)結(jié)構(gòu)

圖3 殘差模塊網(wǎng)絡(luò)結(jié)構(gòu)

1.2.2 自適應(yīng)雨紋感知模塊(ARPB)

為了感知雨紋區(qū)域并提取深層雨紋特征,本文基于非局部思想和共享擴張卷積設(shè)計了一種自適應(yīng)雨紋感知模塊,并結(jié)合注意力機制對不同尺度的雨紋特征進行融合.ARPB包括非局部感知單元(non-local perceptual unit)和特征融合單元(feature-fusion unit),同時采用全局殘差連接,網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示.非局部感知單元通過計算每個位置在特征圖中的響應(yīng),給所有位置分配不同的權(quán)重,能夠?qū)⒏惺芤皵U大到整個圖像,有效感知雨紋所在區(qū)域.同時,特征融合單元通過不同擴張因子的共享擴張卷積對不同尺度的雨紋進行捕捉,并將3條不同擴張因子的支路提取到的雨紋特征通過注意力模塊進行融合,實現(xiàn)不同尺度的雨紋特征自適應(yīng)融合.

在非局部感知單元運算時,對于給定的輸入x,其維度為H×W×C,位置i處的響應(yīng)可通過特征圖中其他位置的特征加權(quán)計算得到:

(17)

f(xi,xj)=eθ(xi)Tφ(xj).

(18)

其中：θ(xi)=Wθxi,φ(xj)=Wφxj.g(xj)用于計算位置j處的輸入信號表征,可以表示為g(xj)=Wgxj,Wθ,Wφ及Wg為權(quán)值矩陣.

為了實現(xiàn)跨通道交互和信息融合,將非局部增強特征激活輸入到兩層1×1卷積層:

zi=f1×1(f1×1(y)) .

(19)

反復(fù)實驗可知,使用3條不同擴張因子的并行支路能在保持較小的參數(shù)量和計算量的情況下有效擴大感受野.3條支路分別使用擴張因子為1,2,3的共享擴張卷積完成不同尺度感受野下的特征感知,以捕捉不同尺度大小的雨紋:

(20)

其中,fdc,DF=n(·)表示擴張因子為n的共享擴張卷積.基于此,提取到多種感受野下特征圖的全局信息zcon:

(21)

其中:fGAP(·)表示全局平均池化;fFC(·)表示全連接層.

圖4 自適應(yīng)雨紋感知模塊結(jié)構(gòu)

然后,通過線性操作和softmax函數(shù)選擇多種感受野下的最優(yōu)特征權(quán)重,基于注意力模塊實現(xiàn)特征圖的自適應(yīng)加權(quán);最后,將加權(quán)后的結(jié)果輸入到一層1×1的卷積層進行通道壓縮.該過程可以表示為

{wi,1,wi,3,wi,5}=fsoftmax(fLinear(zcon)) ,

(22)

(23)

其中:fsoftmax(·)表示softmax激活函數(shù);fLinear(·)表示線性操作;{wi,1,wi,3,wi,5}表示每條支路所對應(yīng)的權(quán)重.

1.3 損失函數(shù)

對于本文提出的單幅圖像去雨網(wǎng)絡(luò),采用了平滑L1損失、SSIM損失和感知損失[28]來約束網(wǎng)絡(luò)訓(xùn)練.為了使網(wǎng)絡(luò)由粗及細分層指導(dǎo)圖像去雨過程,本文設(shè)計了一種多尺度損失函數(shù)對網(wǎng)絡(luò)進行訓(xùn)練,可有效提升去雨圖像視覺質(zhì)量并防止偽影現(xiàn)象.平滑L1損失Ls1可表示為

(24)

(25)

此外,多尺度SSIM損失可表示為

(26)

同時,為了消除圖像復(fù)原過程中可能引入的偽影現(xiàn)象,還使用感知損失約束網(wǎng)絡(luò)訓(xùn)練.感知損失可衡量去雨圖像和對應(yīng)的清晰圖像之間語義特征差異,采用預(yù)訓(xùn)練在ImageNet上的VGG-16網(wǎng)絡(luò)輸出的特征圖φj(·)來計算,可表示為

(27)

因此,總的損失函數(shù)可以表示為

L=Ls1+LSSIM+λpLP.

(28)

其中,λp為感知損失的權(quán)重因子,本文中設(shè)置為0.005.

2 實驗與結(jié)果分析

2.1 實驗設(shè)置及數(shù)據(jù)集

本文方法基于Pytorch框架實現(xiàn),在Ubuntu環(huán)境下使用NVIDIA 1080Ti GPU訓(xùn)練網(wǎng)絡(luò).Batchsize設(shè)置為48,patchsize設(shè)置為112,采用動量衰減指數(shù)β1=0.9,β2=0.999的Adam優(yōu)化器進行優(yōu)化,迭代次數(shù)為700次,初始學(xué)習(xí)率設(shè)置為0.001,分別在第250,400,500,600個epoch時進行學(xué)習(xí)率衰減，每次衰減一半.

針對有雨-無雨圖像對難以獲取問題,本文采用Rain200L[20]、Rain200H[20]、Rain800[14]及Rain1400[13]四個合成數(shù)據(jù)集進行訓(xùn)練.Rain200H和Rain200L分別由1 800張訓(xùn)練圖像和200張測試圖像組成;Rain1400合成數(shù)據(jù)集包含14種雨紋,由12 600張訓(xùn)練圖像和1 400張測試圖像組成; Rain800合成數(shù)據(jù)集由700張訓(xùn)練圖像和100張測試圖像組成.文獻[17]和[20]還提供了一些真實的雨天圖像用于驗證方法的魯棒性.本文用這些圖像作為真實數(shù)據(jù)集,對提出的網(wǎng)絡(luò)進行客觀評價.

在合成數(shù)據(jù)集和真實數(shù)據(jù)集上進行實驗,并與目前的優(yōu)勢主流去雨方法進行對比.包括2個傳統(tǒng)方法 DSC[9]、GMM[10]以及8個基于深度學(xué)習(xí)的方法:DDN[13]、DID-MDN[17]、JORDER[20]、RESCAN[23]、DAF-Net[19]、PReNet[24]、DRD-Net[25]、MSPFN[26].

2.2 在合成數(shù)據(jù)集上實驗

首先在合成數(shù)據(jù)集上進行實驗,采用了Rain200L、Rain200H、Rain800以及Rain1400四個合成數(shù)據(jù)集進行實驗.利用峰值信噪比(peak signal-to-noise ratio, PSNR)和結(jié)構(gòu)相似性(structural similarity, SSIM)兩個客觀評價指標對恢復(fù)的圖像質(zhì)量進行評價,各方法實驗結(jié)果如表1所示.可以看出相較于現(xiàn)階段優(yōu)勢的去雨算法,本文方法在Rain200L和Rain1400數(shù)據(jù)集上取得了最優(yōu)結(jié)果,在Rain200H和Rain800數(shù)據(jù)集上也取得了最高的PSNR值和次高的SSIM值.而獲得最高SSIM值的DRD-Net[25],在網(wǎng)絡(luò)中級聯(lián)更多的子模塊、通過更深的網(wǎng)絡(luò)層來提取雨紋特征,存在參數(shù)量大、計算速度慢等問題.在計算復(fù)雜度方面,統(tǒng)計了各算法在數(shù)據(jù)集Rain200H上的測試平均用時,結(jié)果如表2所示.可以看出,本文方法在用時較少的情況下可取得最優(yōu)去雨結(jié)果.

表1 在合成數(shù)據(jù)集上PSNR和SSIM結(jié)果

表2 在Rain200H上平均運行時間對比

Rain200H數(shù)據(jù)集是Yang等[20]提出的一個合成數(shù)據(jù)集,圖像中的雨紋較為密集,具有更大的挑戰(zhàn)性.實驗中,從Rain200H數(shù)據(jù)集中選取了3張人物圖和3張自然景觀圖進行去雨主觀效果評價.為了使主觀效果的對比更有說服力,選取雨紋和背景細節(jié)重合較多的圖片進行實驗.所對比的方法有DDN[13]、RESCAN[23]、PReNet[24]、DRD-Net[25]、MSPFN[26].由圖5可以看出,DDN[13]方法雖然可以去除大部分雨紋,但仍存在去雨不徹底的問題(如圖5 b中最后小男孩的面部),并且整體場景會因為過度平滑而模糊(如圖5 b 中建筑物、風(fēng)車、毛絨帽子等).RESCAN[23]能去除絕大部分雨紋,但是部分區(qū)域存在偽影(如建筑物及天空部分),同時仍有雨紋殘留現(xiàn)象.PReNet[24]結(jié)果中沒有雨紋殘留現(xiàn)象,但仍然有一些偽影存在,并且有背景細節(jié)丟失現(xiàn)象(如建筑外墻的反射以及毛絨帽子部分).DRD-Net[25]雖然視覺效果良好,但整體網(wǎng)絡(luò)參數(shù)量偏大,同時對部分細節(jié)恢復(fù)不理想(如飛機機身文字以及土坯外墻部分).MSPFN[26]將多個數(shù)據(jù)集合為一體進行訓(xùn)練,導(dǎo)致對特定程度的雨紋去除效果不理想,并存在過度去雨現(xiàn)象,且對面部細節(jié)恢復(fù)較差.由圖5可以明顯看出,本文方法去雨較為徹底,基本沒有出現(xiàn)偽影現(xiàn)象,整體圖像色彩保持度較好,且對細節(jié)恢復(fù)效果顯著.

為了增強方法的魯棒性,本文還選取了Rain200L數(shù)據(jù)集中的5張圖像進行了主觀對比.由圖 6 可以看出,RESCAN[23]和MSPFN[26]方法存在部分雨紋殘留,DDN[13]方法存在過度平滑問題,本文方法對于雨紋的去除及背景細節(jié)保持效果良好.

圖5 在合成數(shù)據(jù)集Rain200H上的實驗結(jié)果

2.3 在真實數(shù)據(jù)集上實驗

為了進一步驗證所提方法的有效性,本節(jié)選取了5張經(jīng)典的真實雨天圖像進行實驗,并與目前的優(yōu)勢算法進行比較,去雨后的圖像如圖7所示.由圖7 可以看出,這幾種方法都能去除大部分的雨水遮擋,但對于密集雨紋形成的霧紗層去除效果一般,同時也存在較大雨滴去除不徹底的問題.由圖7b可以看出,DDN[13]方法對于真實雨紋的去除能力較弱,如第2張圖和第5張圖中都存在明顯的雨紋殘留.由圖7c可以看出,JORDER[20]方法存在過度去雨現(xiàn)象,第1張圖、第2張圖和第5張圖中的葉子都存在模糊現(xiàn)象.由圖7d 和7f 第5張圖可以看出,RESCAN[23]方法和MSPFN[26]方法雖然可以去除部分雨紋,但對于密集雨紋去除不徹底.由圖7e可以看出,PReNet[24]雖然可以去除大部分雨紋,但存在一定的顏色失真現(xiàn)象.由圖7g 可以看出,本文方法可以在去除大部分雨紋的同時保持較好的色彩和細節(jié).

2.4 消融實驗

為了驗證提出的去雨網(wǎng)絡(luò)每個模塊的有效性,本文還進行了消融實驗,實驗方案如下:方案1在子網(wǎng)絡(luò)中不使用跳躍連接(skip connection, SC);方案2在子網(wǎng)絡(luò)中不使用自適應(yīng)雨紋感知模塊(ARPB),而是用普通的殘差模塊代替自適應(yīng)雨紋感知模塊;方案3不使用離散小波變換(DWT),而是使用普通步長為2的卷積和反卷積代替小波變換和小波逆變換構(gòu)建特征金字塔結(jié)構(gòu);方案4在子網(wǎng)絡(luò)中不使用SE模塊;方案5的損失函數(shù)不使用有預(yù)訓(xùn)練網(wǎng)絡(luò)參與的感知損失函數(shù)(perceptual loss),只使用Ls1和SSIM損失函數(shù);方案6不使用多尺度金字塔(multi-scale pyramid, MSP)的網(wǎng)絡(luò)結(jié)構(gòu),而是在單一尺度上進行處理;方案7使用小波變換構(gòu)建金字塔網(wǎng)絡(luò),同時子網(wǎng)絡(luò)使用跳躍連接、SE模塊及自適應(yīng)雨紋感知模塊,即本文方法.

圖6 在合成數(shù)據(jù)集Rain200L上的實驗結(jié)果

本文在Rain200H數(shù)據(jù)集上對上述實驗方案進行質(zhì)量評價,各種方案下得到的PSNR和SSIM如表3所示,去雨結(jié)果如圖8所示.從表3可以看出,本文方法具有更高的PSNR和SSIM值.同時由圖8可以看出,方案1由于缺少跳躍連接模塊,沒有進行信息補償,去雨后圖像有模糊現(xiàn)象,并且背景恢復(fù)效果較差;方案2沒有使用自適應(yīng)雨紋感知模塊,部分區(qū)域去雨不徹底且信息損失嚴重;方案3在不使用小波變換的去雨結(jié)果圖中,中間小孩臉上有亮斑,同時衣領(lǐng)區(qū)域存在過度平滑現(xiàn)象;方案4在不使用SE模塊的實驗結(jié)果中,衣服區(qū)域和中間小孩臉上有雨紋殘留;方案5沒有使用感知損失約束訓(xùn)練,去雨結(jié)果圖中小孩臉上存在明顯亮斑;方案6沒有采用多尺度金字塔網(wǎng)絡(luò)結(jié)構(gòu)的結(jié)果圖中存在一些殘留的雨紋.可以看出,本文方法(方案7)去雨徹底,且可較好地保留圖像細節(jié).

表3 在Rain200H數(shù)據(jù)集上PSNR和SSIM結(jié)果對比

圖7 在真實數(shù)據(jù)集上的實驗結(jié)果

圖8 消融實驗結(jié)果比較

3 結(jié) 語

本文提出了一種基于自適應(yīng)感知金字塔網(wǎng)絡(luò)的單幅圖像去雨方法,網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計充分考慮了對不同尺度雨紋特征的提取及融合,可有效提高網(wǎng)絡(luò)模型的精度,能在有效去除雨紋的同時較好地保持圖像的細節(jié)信息.本文方法使用自適應(yīng)雨紋感知模塊對深層雨紋特征進行提取,同時子網(wǎng)絡(luò)在去雨過程中注重對細節(jié)信息的補償,有效解決了現(xiàn)有去雨方法密集雨紋去除不徹底或因過度去雨導(dǎo)致的細節(jié)丟失等問題.