基于注意力生成對(duì)抗網(wǎng)絡(luò)的單幅圖像去雨方法

朱德利，熊 昌，胡雪奎，李 煒，王 青

1.重慶師范大學(xué) 計(jì)算機(jī)與信息科學(xué)學(xué)院，重慶 401331

2.重慶市數(shù)字農(nóng)業(yè)服務(wù)工程技術(shù)研究中心，重慶 401331

下雨是一種常見(jiàn)的天氣現(xiàn)象，當(dāng)在雨天進(jìn)行拍攝任務(wù)時(shí)，雨條紋會(huì)對(duì)場(chǎng)景中的內(nèi)容進(jìn)行遮擋和干擾，從而使拍攝到的圖像質(zhì)量下降，直接導(dǎo)致主觀視覺(jué)效果變差，并降低后續(xù)計(jì)算機(jī)視覺(jué)系統(tǒng)的性能，對(duì)無(wú)人駕駛、道路監(jiān)控等實(shí)際應(yīng)用產(chǎn)生極大的影響。因此，如何改善有雨圖像的清晰化問(wèn)題受到國(guó)內(nèi)外科研工作者的廣泛關(guān)注。然而，單幅圖像中并不具有視頻信號(hào)中豐富的時(shí)空相關(guān)性，不能利用這些時(shí)空特征，這進(jìn)一步增加了單幅有雨圖像清晰化的難度。因而，對(duì)單幅圖像去雨問(wèn)題進(jìn)行研究具備極大的意義。

目前，單幅圖像去雨的方法可大致分為兩類，基于模型驅(qū)動(dòng)和基于數(shù)據(jù)驅(qū)動(dòng)。其中，基于模型驅(qū)動(dòng)的方法側(cè)重于挖掘和利用圖像的先驗(yàn)知識(shí)，并將其用到解決反問(wèn)題時(shí)的約束和建模中去，再通過(guò)設(shè)計(jì)優(yōu)化算法求解模型，獲得無(wú)雨圖像；而基于數(shù)據(jù)驅(qū)動(dòng)的方法，主要是以深度學(xué)習(xí)為代表，通過(guò)構(gòu)建神經(jīng)網(wǎng)絡(luò)，并采用仿真數(shù)據(jù)和反向傳播算法對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行監(jiān)督訓(xùn)練，讓網(wǎng)絡(luò)從數(shù)據(jù)中自行學(xué)習(xí)有雨圖像到無(wú)雨圖像的映射關(guān)系。

Kim 等[1]通過(guò)非均值濾波器將雨條紋移除，但是該方法的缺點(diǎn)是物理模型限制了其性能。Kurihata等人[2]使用PCA 來(lái)學(xué)習(xí)雨的形狀，并試著將測(cè)試圖像中的一個(gè)區(qū)域與所學(xué)雨的區(qū)域相匹配。然而，由于雨是透明的，形狀各異，尚不清楚需要了解的雨數(shù)量有多大，如何保證PCA 能夠模擬雨的各種外觀，以及如何防止局部類似雨的區(qū)域被檢測(cè)為雨。Luo等[3]提出了一種判別性稀疏編碼，用于將雨條紋與圖像背景分開(kāi)，不足的地方是該方法去完雨后的圖像上仍有雨條紋殘留。當(dāng)圖像中的物體結(jié)構(gòu)和方向與雨條紋相似時(shí)，便很難在去除雨條紋的同時(shí)又有效地保存物體的結(jié)構(gòu)信息。在2017年之后單幅圖像去雨主要采用基于深度學(xué)習(xí)的方法，F(xiàn)u等[4]提出了一種名為DerainNet的去雨方法，將圖像的高頻部分輸入到卷積神經(jīng)網(wǎng)絡(luò)中進(jìn)行訓(xùn)練學(xué)習(xí)，但是該方法會(huì)造成圖像色澤上的損失，在背景區(qū)域仍然存在雨條紋的殘留痕跡，從而導(dǎo)致去雨效果不理想。Zhang 等[5]將條件生成對(duì)抗網(wǎng)絡(luò)應(yīng)用于單圖像除雨任務(wù)。該方法能夠捕捉信號(hào)保真度以外的視覺(jué)特性，并以更好的光照、顏色和對(duì)比度分布呈現(xiàn)結(jié)果。然而，當(dāng)測(cè)試雨圖的背景與訓(xùn)練集的背景不同時(shí)，有時(shí)會(huì)產(chǎn)生視覺(jué)偽影。Wei 等[6]提出一種半監(jiān)督學(xué)習(xí)方法，以利用合成配對(duì)數(shù)據(jù)和未配對(duì)真實(shí)數(shù)據(jù)中的先驗(yàn)。在該方法中，殘差被表示為輸入雨圖與其期望網(wǎng)絡(luò)輸出之間的特定參數(shù)化雨帶分布。在雨帶分布模型的指導(dǎo)下，基于合成的成對(duì)降雨圖像訓(xùn)練的模型適用于處理真實(shí)場(chǎng)景中的各種降雨。然而，該方法并沒(méi)有顯示出有效的去雨效果，特別是對(duì)于真實(shí)的去雨圖像。Qian等[7]提出了一種基于生成對(duì)抗網(wǎng)絡(luò)[8]的去雨方法，可以有效地去除玻璃上的雨但對(duì)雨線移除處理效果不好。Jin 等[9]通過(guò)引入自監(jiān)督約束和從未配對(duì)的雨和干凈圖像中提取內(nèi)在先驗(yàn)，提出了一種無(wú)監(jiān)督的去監(jiān)督產(chǎn)生式對(duì)抗網(wǎng)絡(luò)（UD-GAN）。設(shè)計(jì)了兩個(gè)協(xié)同模塊：一個(gè)模塊用于檢測(cè)真實(shí)去雨圖像與生成的去雨圖像之間的差異；另一個(gè)模塊用于調(diào)整生成結(jié)果的亮度，使生成的結(jié)果更加直觀。這種方法能夠從雨圖像中去除真實(shí)的雨，但不可避免地會(huì)丟失一些細(xì)節(jié)，特別是在雨帶密集的情況下。

為了解決雨條紋對(duì)圖像背景遮擋問(wèn)題，本文提出基于注意力生成對(duì)抗網(wǎng)絡(luò)的圖像去雨方法。在生成網(wǎng)絡(luò)部分，利用雨線提取模塊來(lái)提取雨條紋特征，然后通過(guò)空間關(guān)注模塊生成雨線注意力圖，最后結(jié)合雨線注意力圖和有雨圖像通過(guò)上下文自動(dòng)編碼器生成清晰無(wú)雨圖像。

1 基于注意力生成對(duì)抗網(wǎng)絡(luò)的單幅圖像去雨方法

因?yàn)楫?dāng)前基于深度學(xué)習(xí)的單幅圖像去雨方法都是通過(guò)設(shè)計(jì)不同的網(wǎng)絡(luò)結(jié)構(gòu)，然后采用監(jiān)督學(xué)習(xí)的方式，將有雨圖像和對(duì)應(yīng)無(wú)雨圖像作為訓(xùn)練數(shù)據(jù)，利用反向傳播算法更新網(wǎng)絡(luò)參數(shù)，使網(wǎng)絡(luò)可以學(xué)習(xí)出從有雨圖像到無(wú)雨圖像（如圖1）?？梢灾?，解決此類問(wèn)題的關(guān)鍵在于如何設(shè)計(jì)深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，以獲取更加有效的特征表示。

圖1 網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.1 Structure of network

1.1 生成網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)

生成網(wǎng)絡(luò)由三個(gè)模塊組成：雨線提取模塊、空間關(guān)注模塊、上下文自動(dòng)編碼器。首先，雨線提取模塊的目的是為后續(xù)模塊提取有效的雨線二值圖，然后利用空間關(guān)注模塊準(zhǔn)確地定位降雨條紋的位置，以增強(qiáng)泛化能力。最后，使用注意力圖來(lái)指導(dǎo)上下文自動(dòng)編碼器執(zhí)行去雨操作。

1.1.1 雨線提取模塊

本文使用快速導(dǎo)向?yàn)V波器[10]和Haar 小波變換[11]進(jìn)行檢測(cè)雨線。雨線提取模塊處理流程如圖2所示。

圖2 雨線提取模塊流程圖Fig.2 Flow chart of rainline extraction module

導(dǎo)向?yàn)V波是一種保邊濾波。它在計(jì)算上的時(shí)間復(fù)雜度是O(N)，即與當(dāng)前圖像像素點(diǎn)個(gè)數(shù)N成線性關(guān)系，與濾波器大小無(wú)關(guān)。導(dǎo)向?yàn)V波還能夠有效地抑制梯度翻轉(zhuǎn)的現(xiàn)象。而快速導(dǎo)向?yàn)V波在導(dǎo)向?yàn)V波的基礎(chǔ)上，進(jìn)一步簡(jiǎn)化計(jì)算，通過(guò)下采樣，將時(shí)間復(fù)雜度降低為O(N/s2)，其中s為采樣率。該濾波能夠通過(guò)引導(dǎo)圖像保留邊緣信息，磨平區(qū)域信息中的噪點(diǎn)。因此能有效地將高頻雨條紋細(xì)節(jié)信息分離出來(lái)，如圖3。它的輸入是要處理的圖像和引導(dǎo)圖像，將雨圖作為要處理的圖像，選擇雨圖對(duì)應(yīng)的無(wú)雨圖像作為引導(dǎo)圖像。經(jīng)快速導(dǎo)向?yàn)V波器處理后雨線細(xì)節(jié)如圖3（c）所示。

圖3 快速導(dǎo)向?yàn)V波器圖像Fig.3 Fast steering filter image

再通過(guò)使用Haar 小波變換[12-13]對(duì)雨線細(xì)節(jié)圖進(jìn)行水平和豎直兩個(gè)方向進(jìn)行低通和高通濾波。小波分解示意圖如圖4所示，首先將一幅N×N的圖像先進(jìn)行濾波，再作1/2的抽取，把得到的水平方向的低頻子帶放在左邊，高頻子帶放在右邊；然后再進(jìn)行列濾波，垂直方向的低頻子帶放上邊，高頻子帶放下邊。這樣得到的小波變換是由4 個(gè)的子圖構(gòu)成，圖像小波分解的正變換可以根據(jù)變換方式進(jìn)行擴(kuò)展。

圖4 小波分解示意圖Fig.4 Wavelet decomposition schematic

通過(guò)Haar 小波對(duì)雨線細(xì)節(jié)圖分解后，能夠突出高頻域中的雨條紋，有助于后續(xù)的特征提取，進(jìn)而消除雨條紋噪聲。如圖5 所示，近似子圖表示圖像的低頻信息，水平細(xì)節(jié)圖圖像的水平方向紋理邊緣信息，垂直細(xì)節(jié)圖圖像垂直方向的紋理邊緣信息，對(duì)角線細(xì)節(jié)圖圖像對(duì)角方向的紋理邊緣信息。

圖5 雨線細(xì)節(jié)圖小波分解示例圖Fig.5 Wavelet decomposition schematic of rainline detail

由于雨噪聲的方向性，垂直細(xì)節(jié)圖包含更多的雨條紋信息。在獲得雨線區(qū)域及邊緣細(xì)節(jié)信息后，使用一個(gè)閾值來(lái)確定是否屬于雨線區(qū)域及邊緣結(jié)構(gòu)，在實(shí)踐中，經(jīng)過(guò)測(cè)試，將閾值設(shè)置為25，其余小于25的像素值為0，大于等于25 的像素值為1，得到二進(jìn)制矩陣MR，再用MR引導(dǎo)生成雨線注意圖。

1.1.2 空間關(guān)注模塊

視覺(jué)注意力機(jī)制模型已被應(yīng)用于定位圖像中的目標(biāo)區(qū)域，以捕捉區(qū)域的特征。這一思想已被用于視覺(jué)識(shí)別和分類。因此，視覺(jué)關(guān)注對(duì)于生成無(wú)雨背景圖像是非常重要的，因?yàn)樗试S網(wǎng)絡(luò)知道去除雨應(yīng)該集中在哪個(gè)區(qū)域。通常，神經(jīng)網(wǎng)絡(luò)通過(guò)大量數(shù)據(jù)識(shí)別對(duì)象，以訓(xùn)練網(wǎng)絡(luò)識(shí)別對(duì)象的能力，但是訓(xùn)練后的網(wǎng)絡(luò)中圖片的整體價(jià)值是相等的，也就是說(shuō)，這些特征在神經(jīng)網(wǎng)絡(luò)的眼中并沒(méi)有什么不同，并且網(wǎng)絡(luò)不會(huì)在某個(gè)區(qū)域上過(guò)多關(guān)注，因此計(jì)算機(jī)視覺(jué)中的關(guān)注機(jī)制的基本思想是使網(wǎng)絡(luò)具有忽略無(wú)關(guān)信息并專注于關(guān)鍵信息的能力。

空間關(guān)注模塊結(jié)構(gòu)如圖6 所示是一個(gè)三層的循環(huán)視覺(jué)注意網(wǎng)絡(luò)。每層循環(huán)視覺(jué)注意網(wǎng)絡(luò)由深度殘留網(wǎng)絡(luò)（ResNet）[14]，卷積長(zhǎng)短記憶網(wǎng)絡(luò)單元（ConvLSTM）單元[15]和標(biāo)準(zhǔn)卷積層組成。ResNet 主要用于從輸入圖像和上一個(gè)塊的蒙版中提取特征。每個(gè)殘差塊包括一個(gè)具有LrReLU非線性激活函數(shù)的具有3×3卷積的兩層卷積核；它被用于圖像特征提取。提取的特征圖和初始化的注意圖被拼接并轉(zhuǎn)移到ConvLSTM單元中進(jìn)行學(xué)習(xí)。

圖6 空間關(guān)注模塊結(jié)構(gòu)圖Fig.6 Structure of space concerned module

ConvLSTM 單元包括一個(gè)輸入it、一個(gè)忘記門(mén)ft、一個(gè)輸出門(mén)ot以及一個(gè)單元狀態(tài)Ct。

其中，Xt是由ResNet 生成的特征；Ct對(duì)將要轉(zhuǎn)遞到下一個(gè)LSTM 的狀態(tài)進(jìn)行編碼；Ht代表LSTM 單元的輸出特性；運(yùn)算符?表示卷積運(yùn)算。LSTM的輸出特征隨后被輸入到卷積層，這將產(chǎn)生一個(gè)2D的注意圖。

1.1.3 上下文自動(dòng)編碼器

本文使用上下文自動(dòng)編碼器作為無(wú)雨圖像生成部分。上下文自動(dòng)結(jié)構(gòu)示意圖如圖7所示，與傳統(tǒng)的U-net結(jié)構(gòu)類似，有16 個(gè)conv-LrRelu 塊可對(duì)輸入執(zhí)行兩次下采樣操作和兩次上采樣操作，并添加了跳過(guò)連接以防止在下采樣期間丟失高分辨率功能。不同地，在上下文自動(dòng)中間編碼器，使用具有不同擴(kuò)張因子的四個(gè)連續(xù)擴(kuò)張卷積層，以在不增加參數(shù)的情況下將接收?qǐng)鲈黾拥讲煌潭?。這樣，不僅可以從雨線位置的像素中去除雨條紋，還可以通過(guò)利用雨線位置和背景圖像之間的相關(guān)性更準(zhǔn)確地填充遮擋的部分。同時(shí)，連接不同大小的接收?qǐng)鲆馕吨梢栽诿繉又g獲得不同大小的信息，從而解決了網(wǎng)格偽影的問(wèn)題。

圖7 上下文自動(dòng)編碼結(jié)構(gòu)圖Fig.7 Structure of context automatic encoder

1.2 判別網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)

為了區(qū)分假圖片與真實(shí)圖片，一些基于GAN 的方法在區(qū)分部分采用了全局和局部的圖片內(nèi)容一致性。就像在圖像修補(bǔ)中給出要恢復(fù)區(qū)域的情況一樣，用于直接區(qū)分的局部區(qū)分策略也很有用。因此，使用注意力判別器直接確定所生成圖像的雨線區(qū)域是否正確是最有效的方法。判別網(wǎng)絡(luò)的功能等效于二分類器。判別網(wǎng)絡(luò)由9 個(gè)卷積層組成。每個(gè)層都連接到LrRelu 激活函數(shù)。5×5卷積核用于提取和融合紋理特征。6個(gè)輸出通道分別為8、16、32、64、128 和128。從鑒別器的第六層提取特征，通過(guò)卷積層輸出注意掩碼，然后將鑒別網(wǎng)絡(luò)的第六卷乘以注意掩碼，然后再輸入下一層，這是因?yàn)殍b別器將注意力集中在注意力圖上。后面的三層卷積使用（跨步4）卷積層，并且缺少池化層主要是借鑒了深度卷積生成對(duì)抗網(wǎng)絡(luò)（DCGAN）中提到的技術(shù)，它不僅可以提取高維紋理特征，還可以使輸入特征更小并且更可控。最后，通過(guò)兩層全連接層，對(duì)圖像特征進(jìn)行降維后進(jìn)行加權(quán)，然后輸出一個(gè)特定值來(lái)表示輸入圖像是去雨圖像可能性，將其激活，將輸出值限制為[0，1]。判別網(wǎng)絡(luò)結(jié)構(gòu)如圖8所示。

圖8 判別網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.8 Structure of identifying network

1.3 網(wǎng)絡(luò)損失函數(shù)定義

為了優(yōu)化上述所提改進(jìn)生成對(duì)抗網(wǎng)絡(luò)以獲得較好的去雨效果，本文通過(guò)最小化重建生成圖像與真實(shí)圖像之間的差異來(lái)調(diào)整網(wǎng)絡(luò)參數(shù)。

采用以下?lián)p失函數(shù)訓(xùn)練生成網(wǎng)絡(luò)：

其中，LA表示雨線注意力圖和雨線二值掩碼圖之間的MSE 距離，并通過(guò)計(jì)算用于約束關(guān)注圖生成的降雨圖像和原始清潔圖像之間的差異來(lái)獲得二元蒙版圖。使用Lpixel損耗來(lái)測(cè)量每像素的重建精度以捕獲低頻信息，并且Lpixel損耗可以防止梯度爆炸。Lfeature用于約束圖像特征空間的損失，利用訓(xùn)練好的VGG16 網(wǎng)絡(luò)對(duì)生成圖像與真實(shí)圖像的進(jìn)行特征圖提取，計(jì)算兩張?zhí)卣鲌D之間的MSE距離，作為特征空間上的誤差。Lcolor表示去雨圖像和真實(shí)圖像色差的損失，其中N是像素?cái)?shù)的總和，為了使去雨后的圖像在顏色上更接近地面真實(shí)，引入了CIEDE2000 色差作為損失函數(shù)的一項(xiàng)。為了計(jì)算去雨圖像和真實(shí)圖像之間的色差，需要將RGB圖像轉(zhuǎn)換到Lab顏色空間。

在公式（11）中E00表示Lab顏色空間中兩個(gè)圖像之間每個(gè)像素的色差，JLab(i)和GLab(i)是真實(shí)無(wú)雨圖像和生成去雨圖像對(duì)應(yīng)的Lab顏色空間。

判別網(wǎng)絡(luò)的目的就是區(qū)分生成圖像和真實(shí)圖像，采用以下?lián)p失函數(shù)訓(xùn)練對(duì)判別網(wǎng)絡(luò)進(jìn)行訓(xùn)練：

2 實(shí)驗(yàn)

本文實(shí)驗(yàn)環(huán)境為Intel?Xeon?Silver 4114 CPU，64位的Windows10，使用NVIDIA TITAN V 型號(hào)的GPU對(duì)網(wǎng)絡(luò)訓(xùn)練并行加速，所使用的編程語(yǔ)言為Python，并采用谷歌公司開(kāi)發(fā)的TensorFlow 深度學(xué)習(xí)工具箱進(jìn)行網(wǎng)絡(luò)的搭建。訓(xùn)練網(wǎng)絡(luò)時(shí)，隨機(jī)選取輸入圖像（有雨和無(wú)雨圖像對(duì)）上256×256像素大小的圖像塊作為一對(duì)樣本輸入到卷積神經(jīng)網(wǎng)絡(luò)中。網(wǎng)絡(luò)模型訓(xùn)練采用Adam算法下降策略，初始學(xué)習(xí)率大小設(shè)定為0.000 2，小批量數(shù)據(jù)大小為1個(gè)樣本，最大迭代次數(shù)為80 000。

2.1 實(shí)驗(yàn)數(shù)據(jù)集及評(píng)價(jià)指標(biāo)

由于從現(xiàn)實(shí)世界中難以獲取有雨圖和對(duì)應(yīng)無(wú)雨圖的圖像對(duì)，訓(xùn)練和測(cè)試選用公開(kāi)數(shù)據(jù)集，選取了Fu 等提出的Rainy image dataset 和Rain800。Rainy image dataset數(shù)據(jù)集中有1 000張真實(shí)無(wú)雨圖像以及對(duì)應(yīng)1 000張合成有雨圖像。Rain800的訓(xùn)練集總共由700個(gè)圖像組成，其中500 個(gè)圖像是從UCID 數(shù)據(jù)集的前800 個(gè)圖像中隨機(jī)選擇的，200 個(gè)圖像是從BSD500 的訓(xùn)練集中隨機(jī)選擇的。測(cè)試集由總共100 個(gè)圖像組成，其中從UCID 數(shù)據(jù)集中的最后500 個(gè)圖像中隨機(jī)選擇50 個(gè)圖像，并從BSD-500 數(shù)據(jù)集的測(cè)試集中隨機(jī)選擇50 個(gè)圖像。此外還選取了Rain12、Rain100L 以及Rain100H 數(shù)據(jù)集測(cè)試本文所提方法的性能。Rain12 包括12 幅合成的雨圖，Rain100L 有100 張低雨量的合成雨圖，Rain100H有100張高雨量的合成雨圖。

鑒于本文所用測(cè)試集有可供參考的真實(shí)圖像，因此，選擇峰值信噪比（PSNR）[16]和結(jié)構(gòu)相似度（SSIM）[17]來(lái)作為算法評(píng)價(jià)指標(biāo)，其中PSNR 常用于測(cè)量圖片的重建質(zhì)量，PSNR 值越高說(shuō)明圖片的重建質(zhì)量越好；SSIM 是一種考慮人眼視覺(jué)感知的圖像質(zhì)量評(píng)價(jià)方法，常用來(lái)衡量?jī)煞鶊D像的相似度，該值越大表示兩幅圖像之間越相似，算法性能越好。值得一提的是，本文旨在于無(wú)需圖像增強(qiáng)作為后處理即可有效去除單幅圖像上的雨條信息。為了進(jìn)行公平比較，本文實(shí)驗(yàn)對(duì)比是在不同去雨方法未采用圖像增強(qiáng)作為后處理的設(shè)定下進(jìn)行的。

2.2 實(shí)驗(yàn)結(jié)果與分析

表1 列出了本文所提方法與目前主流單幅圖像去雨方法在上Rain12、Rain100L、Rain100H以及Ran800數(shù)據(jù)集上的SSIM與PSNR比較?？梢钥闯霰疚乃岢龅姆椒ㄔ趦煞N評(píng)價(jià)指標(biāo)上對(duì)比各種方法中具有一定的優(yōu)越性。

表1 不同方法的PSNR和SSIM對(duì)比結(jié)果Table 1 Result of different methods in PSNR and SSIM

本文所提方法與主流去雨方法在四幅不同圖像去雨效果對(duì)比結(jié)果如圖9所示，局部細(xì)節(jié)放大信息如圖10所示。從視覺(jué)效果上可以看出，文獻(xiàn)[7]方法的方法得到的去雨圖有顯著的雨水殘留，文獻(xiàn)[4]方法、文獻(xiàn)[5]方法、文獻(xiàn)[9]方法在去雨圖像有明顯的去雨痕跡而本文所提方法能夠有效地去除有雨圖像上的雨條，并且去完雨條后的圖像背景上幾乎沒(méi)有雨條痕跡殘留。表明本文所提方法所得到的去雨圖像具有更好的視覺(jué)效果，該結(jié)果進(jìn)一步驗(yàn)證了本文所提方法的優(yōu)越性。

圖9 合成圖像去雨效果對(duì)比圖Fig.9 De-raining effect of synthetic image comparison

圖10 合成圖像細(xì)節(jié)放大圖Fig.10 Enlarged detail of composite image

為了驗(yàn)證本文提出的單圖像雨模型也可以應(yīng)用于現(xiàn)實(shí)生活中的雨圖像，并強(qiáng)調(diào)該模型的實(shí)際應(yīng)用價(jià)值，測(cè)試在雨天拍攝的真實(shí)降雨圖像。真實(shí)雨景圖像的測(cè)試結(jié)果如圖11所示，從視覺(jué)上可以看出，盡管本文所提方法對(duì)真實(shí)雨景下的圖像仍然具有良好的去雨效果。

圖11 真實(shí)圖像去雨效果Fig.11 De-raining effect of real image

為了驗(yàn)證結(jié)構(gòu)中添加的每個(gè)組件的有效性，在測(cè)試集上針對(duì)每個(gè)組件的不同組合進(jìn)行了結(jié)構(gòu)分析。如表2所示，上下文自動(dòng)編碼器是基準(zhǔn)模塊，第二列是雨線提取模塊，第三列是空間關(guān)注模塊，第四列PSNR 指標(biāo)。結(jié)果表明網(wǎng)絡(luò)中的每個(gè)組件都在一定程度上改善了最終結(jié)果。通過(guò)消融實(shí)驗(yàn)，驗(yàn)證了所提出方法中各個(gè)模塊的有效性。

表2 生成網(wǎng)絡(luò)結(jié)構(gòu)分析Table 2 Analysis of generate network structure

表3 給出了本文方法與其他主流方法在圖像尺寸大小為（3×320×240）上同時(shí)采用相同的GPU 硬件環(huán)境的去雨運(yùn)算時(shí)間上的對(duì)比結(jié)果。本文所提方法在去雨運(yùn)算速度上具有一定的優(yōu)越性。

表3 圖像去雨速度測(cè)試Table 3 Test of image de-raining

3 結(jié)束語(yǔ)

本文提出了一種基于注意力生成對(duì)抗網(wǎng)絡(luò)單幅圖像去雨方法。生成網(wǎng)絡(luò)使用雨線提取模塊生成雨線二值圖，以為后續(xù)的空間關(guān)注模塊提供有價(jià)值的降雨條紋特征，然后空間關(guān)注模塊生成雨線注意力圖，以指導(dǎo)上下文自動(dòng)編碼器生成清晰無(wú)雨圖像。在綜合測(cè)試數(shù)據(jù)集和真實(shí)圖像上進(jìn)行實(shí)驗(yàn)，對(duì)比幾種深度網(wǎng)絡(luò)去雨方法，無(wú)論是在去雨圖像的視覺(jué)感觀上，還是在PSNR 和SSIM數(shù)據(jù)量化上，都處于領(lǐng)先的地位。但是，本文的網(wǎng)絡(luò)有局限性。例如，雨天經(jīng)常伴隨著霧。對(duì)于真實(shí)世界的多雨圖像，只能去除雨水條紋，但是如果沒(méi)有霧，將無(wú)法恢復(fù)清晰的背景圖像。因?yàn)椴豢赡塬@得真實(shí)世界的無(wú)雨無(wú)影圖像對(duì)，并且在合成圖像中，僅合成了雨條紋，而沒(méi)有模擬霧。在進(jìn)一步的研究中，可以改善合成圖像對(duì)，以訓(xùn)練網(wǎng)絡(luò)在去除霧氣并消除雨水條紋后恢復(fù)清晰圖像。