雙LSTM的光場(chǎng)圖像去雨算法研究

丁宇陽，李明悅，謝檸宇，劉 淵，晏 濤

江南大學(xué) 人工智能與計(jì)算機(jī)學(xué)院，江蘇 無錫214122

雨天能見度降低，高密度的雨水還會(huì)使光線發(fā)生漫反射，在遠(yuǎn)處呈現(xiàn)霧狀，給自動(dòng)駕駛、交通監(jiān)控等基于目標(biāo)識(shí)別的實(shí)際應(yīng)用產(chǎn)生了極大的影響，降低了目標(biāo)檢測(cè)的準(zhǔn)確性。

圖像去雨一直是計(jì)算機(jī)視覺領(lǐng)域的熱門研究課題[1]，伴隨著全天候自動(dòng)駕駛等人工智能技術(shù)的發(fā)展顯得愈發(fā)重要。在相機(jī)鏡頭中，近處的雨滴通常會(huì)發(fā)生光的折射而使場(chǎng)景變形，遠(yuǎn)處的雨條紋看起來像薄霧，會(huì)導(dǎo)致場(chǎng)景模糊和泛白[2-4]。單張圖像去雨算法只能通過背景的顏色信息來修復(fù)被遮擋區(qū)域，在存在大面積雨條紋遮擋時(shí)，無法有效地修復(fù)圖像細(xì)節(jié)。同時(shí)，由于單張圖像很難獲取準(zhǔn)確的深度信息，在修復(fù)帶有霧氣的遠(yuǎn)景時(shí)，不能準(zhǔn)確分離出前景與背景，從而導(dǎo)致顏色的錯(cuò)誤修復(fù)。

光場(chǎng)相機(jī)作為一種新興的成像傳感器，能夠記錄三維場(chǎng)景豐富的結(jié)構(gòu)和紋理信息，使光場(chǎng)圖像在去雨工作中有以下優(yōu)勢(shì)：（1）在3D EPI（Epipolar Plane Image）中，近景雨條紋的斜率與遠(yuǎn)景雨條紋的斜率有很大差異，相比于傳統(tǒng)2D圖像更能更加準(zhǔn)確地提取出雨條紋。（2）在面臨大面積雨條紋遮擋時(shí)，可以利用相鄰子視點(diǎn)未被遮擋的部分來有效地修復(fù)圖像。（3）相比于單張圖，可以更正確地提取深度信息，有助于去除遠(yuǎn)景的雨霧。

本文提出了一種基于雙LSTM神經(jīng)網(wǎng)絡(luò)的光場(chǎng)去雨算法，包含三個(gè)步驟，如圖1所示。第一步，使用匹配成本量方法計(jì)算場(chǎng)景深度圖；將深度圖與輸入雨圖連接，作為后續(xù)網(wǎng)絡(luò)的輸入。第二步，使用RSDNet提取雨條紋，再將雨水蒙版連接到雨圖，輸入BRNet。第三步，使用BRNet來修復(fù)背景得到無雨圖。其中應(yīng)用的LSTM結(jié)構(gòu)將RSDNet中間有用的特征傳遞給BRNet。

圖1 本文算法總覽Fig.1 Overview of proposed method

本文使用Blender來渲染近景的雨條紋和遠(yuǎn)景的霧氣，并利用斯坦福的真實(shí)光場(chǎng)數(shù)據(jù)集來合成真實(shí)世界的光場(chǎng)有雨圖像，用于訓(xùn)練和評(píng)估提出的網(wǎng)絡(luò)架構(gòu)。

本文的貢獻(xiàn)歸納為以下幾個(gè)方面：

（1）針對(duì)光場(chǎng)圖像，提出了一種基于深度學(xué)習(xí)的光場(chǎng)圖像去雨算法，該算法可以提取雨條紋并修復(fù)光場(chǎng)圖像得到無雨圖。

（2）提出了一種雙LSTM結(jié)構(gòu)，將RSDNet丟失的部分中間信息傳遞到BRNet，保留雨條紋的高頻信息。

（3）構(gòu)建了一個(gè)使用真實(shí)場(chǎng)景光場(chǎng)圖像合成的光場(chǎng)有雨圖像數(shù)據(jù)集，有利于后續(xù)研究人員對(duì)光場(chǎng)圖像去雨的研究。

1 去雨算法研究現(xiàn)狀

1.1 基于經(jīng)典優(yōu)化的方法

傳統(tǒng)算法通常利用優(yōu)化模型或機(jī)器學(xué)習(xí)方法來探索雨紋的物理特征。利用雨條紋圖像特征等先驗(yàn)信息，對(duì)單張圖像中的雨和背景進(jìn)行信號(hào)分離。但是，當(dāng)圖像包含大量雨條紋時(shí)，這些方法無法獲得高質(zhì)量的無雨圖像。

Garg和Nayar[2-3]提出了一個(gè)雨的視覺綜合模型，該模型可以捕獲雨的動(dòng)力學(xué)特性，并且構(gòu)建了基于物理學(xué)的運(yùn)動(dòng)模糊模型來解釋雨的光學(xué)特性，最終提出了一種視頻雨水檢測(cè)與去除算法。但是，該方法并不能穩(wěn)定地清除雨條紋。Yu等人[5]將去雨問題公式化為圖像分層問題，即雨條紋層疊加在背景層上。他們使用基于兩個(gè)高斯混合模型（GMM）的分段平滑先驗(yàn)算法，用于對(duì)背景和雨條紋圖層進(jìn)行建模。使用半二次方分裂[6]技術(shù)來解決非凸問題，以產(chǎn)生無雨圖像和雨條紋圖像。Luo等人[7]提出了一種非線性復(fù)合模型來模擬雨天圖像。他們使用一種基于字典學(xué)習(xí)的稀疏編碼算法，以準(zhǔn)確分離雨條紋和無雨層。Kang等人[8]使用基于形態(tài)成分的分析方法，將除雨公式化為圖像分解問題。該方法首先使用雙邊濾波器[9]將雨圖像分解為低頻和高頻部分，然后利用字典學(xué)習(xí)和稀疏編碼，根據(jù)雨條紋的特點(diǎn)，只針對(duì)高頻部分來處理，將高頻部分分解為雨條紋部分和背景部分，最后與低頻部分相加得到無雨圖。Chen等人[10]提出了一種低秩的降雨模型，并將其從矩陣推廣到張量，以捕獲降雨條紋之間的時(shí)空相關(guān)性。該方法將輸入分解為雨條紋部分，無雨背景部分和成像噪聲部分。Li等人[11]把雨圖像進(jìn)行分層，并分別對(duì)兩層梯度進(jìn)行正則化，使其中一層具有長尾分布，而另一層具有短尾分布，通過迭代來解決正則化問題。

1.2 基于深度學(xué)習(xí)的方法

隨著深度學(xué)習(xí)算法和相關(guān)硬件技術(shù)的發(fā)展，基于深度學(xué)習(xí)的除雨方法在過去幾年中取得了重大進(jìn)展，已成為當(dāng)今研究的主流趨勢(shì)。

Fu等人[12]提出了DerainNet的神經(jīng)網(wǎng)絡(luò)來完成除雨。該方法首先通過濾波器將輸入的雨圖像分為低頻的基礎(chǔ)圖和高頻的細(xì)節(jié)圖，根據(jù)雨條紋主要在高頻的特點(diǎn)，只訓(xùn)練高頻圖來得到無雨的高頻細(xì)節(jié)圖，最后和基礎(chǔ)層相加得到最終的無雨圖像。但是，該方法很難完全去除雨條紋。Qian等人[13]提出了一種從單張圖像去除雨滴的注意力機(jī)制生成對(duì)抗網(wǎng)絡(luò)。生成器網(wǎng)絡(luò)借助注意力機(jī)制來更多的關(guān)注雨滴區(qū)域及其周圍環(huán)境，判別網(wǎng)絡(luò)則用于判別恢復(fù)的無雨區(qū)域的局部一致性。Hu等人[4]分析了景深對(duì)降雨圖像的影響，建立了一個(gè)帶有雨條紋和霧的成像模型。他們提出了一個(gè)深度引導(dǎo)的注意力機(jī)制的神經(jīng)網(wǎng)絡(luò)，來生成預(yù)測(cè)的無雨圖像。然而，從單張雨圖像中估計(jì)出的深度圖是往往是不準(zhǔn)確，嚴(yán)重影響了隨后除雨算法的效果。Li等人[14]提出了一種NL（Non-Local[15]）增強(qiáng)的網(wǎng)絡(luò)[16]框架。其網(wǎng)絡(luò)由殘差模塊和NL模塊組成，殘差模塊用來獲取局部信息，NL模塊用來獲得全局信息。

Ren等人[17]提出了一個(gè)遞歸網(wǎng)絡(luò)來解決多階段的除雨問題。他們?cè)诿恳粚泳渴鹆薘esNet，利用跨階段深層特征的相關(guān)性，形成漸進(jìn)式遞歸網(wǎng)絡(luò)（PReNet）。Yang等人[18]提出了一種新的降雨圖像模型，包括一個(gè)降雨條紋累積層和多個(gè)降雨條紋層。基于該模型，他們提出了一種迭代的雨水檢測(cè)和清除網(wǎng)絡(luò)來逐步清除積累的雨條紋。在每次迭代中，使用多流擴(kuò)張卷積模型，以不同的感受野來獲得二元雨條紋圖、雨條紋外觀圖和無雨圖。Zhang等人[19]提出了一種密度感知的多流網(wǎng)絡(luò)，該方法不僅可以除雨，還可以估計(jì)雨水的密度，從而根據(jù)不同密度來更好地完成除雨任務(wù)。他們所提出的體系結(jié)構(gòu)包括兩個(gè)部分，一是雨密度分類網(wǎng)絡(luò)，用于確定給定雨圖像的密度水平，二個(gè)是多流密集卷積的除雨網(wǎng)絡(luò)，用于利用估計(jì)的雨量密度信息來完成除雨工作。

Wang等人[20]提出了一種結(jié)合了時(shí)間先驗(yàn)和人工監(jiān)督的半監(jiān)督方法。為了更好地模擬實(shí)際雨條紋的隨機(jī)分布，他們提出了一種空間關(guān)注網(wǎng)絡(luò)（SPANet），該網(wǎng)絡(luò)以局部到全局的方式消除雨條紋。Jiang等人[21]提出了一種多尺度漸進(jìn)融合網(wǎng)絡(luò)（MSPFN），利用多尺度降雨信息來協(xié)同模擬降雨條紋。Ren等人[22]提出了一種單遞歸網(wǎng)絡(luò)（SRN）進(jìn)行圖像去雨，兩次遞歸網(wǎng)絡(luò)可以通過LSTM進(jìn)行多階段傳播。另外，該方法還提出了雙遞歸網(wǎng)絡(luò)（BRN）來傳遞雨條紋和背景圖像之間的信息。

1.3 視頻除雨的方法

視頻除雨方法也有大量的研究成果，Garg和Nayar[2-3]提出了視頻雨水建模的開創(chuàng)性工作。最近有研究人員利用視頻幀序列中的空間和時(shí)間冗余信息來進(jìn)行除雨[23-26]。

Li等人[23]提出了一種多尺度卷積稀疏編碼（MS-CSC）模型來去除視頻中的雨條紋。該方法使用卷積操作在稀疏特征圖上提取視頻中雨條紋的特征，然后利用多尺度濾波器來去除不同位置的雨條紋。Liu等人[24]提出了一個(gè)循環(huán)除雨和背景重建的神經(jīng)網(wǎng)絡(luò)，它結(jié)合了基于空間紋理特征的除雨和基于時(shí)間相干性的背景細(xì)節(jié)重建。Yang等人[25]提出了一個(gè)兩級(jí)遞歸網(wǎng)絡(luò)，該網(wǎng)絡(luò)逆向恢復(fù)了視頻雨水合成的過程。Yang等人[26]提出了一種基于時(shí)間相關(guān)性和一致性的兩階段自學(xué)習(xí)網(wǎng)絡(luò)來去除雨條紋。

視頻中不同幀之間的雨條紋位置不相關(guān)，相比之下，光場(chǎng)圖像的不同子視點(diǎn)圖中的雨條紋位置具有高度相關(guān)性。同時(shí)，光場(chǎng)圖像中也不能利用時(shí)間信息。因此，光場(chǎng)圖像去雨與視頻去雨有很大不同。

綜上，單張圖像和視頻的除雨算法均有很多的研究成果，然而在光場(chǎng)圖像中的去雨算法卻鮮有研究。當(dāng)單張圖像包含大量雨條紋時(shí)，這些方法均無法獲得高質(zhì)量的無雨圖像，也難以正確處理遠(yuǎn)景的顏色和紋理恢復(fù)問題。因?yàn)楣鈭?chǎng)圖像記錄了三維場(chǎng)景豐富的顏色、紋理和結(jié)構(gòu)信息，所以不論在雨條紋檢測(cè)和無雨圖修復(fù)中，均可以展現(xiàn)出更好的性能。

2 算法原理

本文算法主要包含以下三個(gè)步驟：

（1）使用基于匹配成本量的方法計(jì)算輸入光場(chǎng)圖像的深度圖。

（2）把帶雨的光場(chǎng)圖結(jié)合上一步得到的深度圖作為輸入，使用3D殘差雨條紋檢測(cè)網(wǎng)絡(luò)RSDNet來提取雨條紋圖。

（3）把帶雨的光場(chǎng)圖結(jié)合上一步得到的雨條紋圖和第一步得到的深度圖作為輸入，使用3D U型背景修復(fù)網(wǎng)絡(luò)BRNet進(jìn)行無雨光場(chǎng)圖像恢復(fù)。

2.1 深度圖計(jì)算

采用匹配成本量最小化的方法[27]計(jì)算輸入光場(chǎng)圖像的子視點(diǎn)視差圖。該方法將光場(chǎng)單一子視點(diǎn)作為目標(biāo)視點(diǎn)，目標(biāo)視點(diǎn)的視差值可由匹配成本量計(jì)算得出。使用該方法來分別迭代計(jì)算作為本文所提算法輸入數(shù)據(jù)的3D EPI中每個(gè)子視點(diǎn)的視差圖。

匹配成本量是待計(jì)算視差的圖像對(duì)的差分的集合。匹配成本量一共有dn層，每層對(duì)應(yīng)一個(gè)視差。每一層的成本，是按該層對(duì)應(yīng)視差d整體平移后的圖像Id與原圖像I的差異。因此，固定像素(x,y)，可在成本量C中得到C(x,y)是一個(gè)向量，代表該像素的視差取值取[d0,dn]范圍內(nèi)的某個(gè)離散值的成本，更低的成本值對(duì)應(yīng)的視差更接近正確結(jié)果。

匹配成本根據(jù)相位平移定理計(jì)算得到。根據(jù)圖像傅里葉變換的平移性質(zhì)，圖像I與平移后圖像Iω存在如下關(guān)系：

其中，F(xiàn)是傅里葉變換算子。位于(s0,t0)視點(diǎn)I按一系列視差標(biāo)簽d平移至目標(biāo)視點(diǎn)(s,t)：

平移后圖像與原圖像的差異定義為匹配成本量C，具體描述如下：

其中，(s,t)代表光場(chǎng)視點(diǎn)坐標(biāo)。該方法更多細(xì)節(jié)可參考文獻(xiàn)[27]。

2.2 雙LSTM結(jié)構(gòu)（Dual LSTM）

本文的雙LSTM結(jié)構(gòu)如圖2所示，標(biāo)準(zhǔn)LSTM[28]由遺忘門f、輸入門i、輸出門ο和隱藏狀態(tài)h組成。在算法[29]中提出了Bilateral LSTMs結(jié)構(gòu)，通過循環(huán)網(wǎng)絡(luò)，使其雨條紋信息與背景信息相互作用，從而達(dá)到更好的背景層恢復(fù)效果。由于光場(chǎng)圖像相比于單張圖像參數(shù)量劇增，為防止內(nèi)存占用過高，本文所提算法中將該結(jié)構(gòu)改為單向作用，實(shí)現(xiàn)隱藏層的跨階段傳播。

圖2 雙LSTM結(jié)構(gòu)Fig.2 Dual LSTM structure

雨條紋提取網(wǎng)絡(luò)中LSTM結(jié)構(gòu)可以表示為：

其中，?表示3D卷積，σ表示Sigmoid激活函數(shù)，f(?)表示輸入卷積層，x為輸入，d為深度圖，W和b是對(duì)應(yīng)的卷積矩陣和偏置向量。

雨條紋恢復(fù)網(wǎng)絡(luò)中LSTM結(jié)構(gòu)可以表示為：

其中，r和h分別為雨條紋提取網(wǎng)絡(luò)的生成雨條紋蒙版及隱藏層。

2.3 雨條紋提取網(wǎng)絡(luò)（RSDNet）

本文提出的RSDNet結(jié)構(gòu)如圖3所示，在得到了每個(gè)光場(chǎng)圖像的深度圖之后，把得到的深度圖分別串聯(lián)在有雨水光場(chǎng)3D EPI之后，作為雨條紋提取網(wǎng)絡(luò)的輸入。本文提出的雨條紋提取網(wǎng)絡(luò)總共使用12個(gè)3D卷積殘差塊，每一層由兩個(gè)卷積核為3×3×3大小的3D卷積層組成，每個(gè)卷積層后接一個(gè)ReLU激活函數(shù)，再接一個(gè)BN（Batch Normalization）層組成，BN層的結(jié)果作為下一層殘差塊的輸入。最后一層使用Sigmoid為激活函數(shù)，來提取出雨條紋蒙版。生成的雨條紋蒙版是一個(gè)0到1的單通道3D數(shù)據(jù)，越接近1代表雨條紋越明顯，越接近0代表雨條紋越淡，越趨向于背景。

圖3 本文的網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.3 Proposed network structure

在網(wǎng)絡(luò)第二層使用LSTM結(jié)構(gòu)來傳遞部分雨條紋信息給BRNet，本文提出的LSTM結(jié)構(gòu)如圖3。由于隨著網(wǎng)絡(luò)的加深，雨條紋的部分特征會(huì)丟失，這樣會(huì)導(dǎo)致部分高頻信息的缺失，最后導(dǎo)致雨條紋難以完全去除。而使用LSTM結(jié)構(gòu)可以把第一個(gè)3D殘差網(wǎng)絡(luò)提取的部分雨條紋信息通過篩選給予第二個(gè)網(wǎng)絡(luò)，彌補(bǔ)了雨條紋提取網(wǎng)絡(luò)的不足。本文提出的RSDNet的損失，定義如下：

其中，Lossr表示雨條紋損失，Rgt表示雨條紋的真值，Rgen表示生成的雨條紋。

2.4 雨條紋恢復(fù)網(wǎng)絡(luò)（BRNet）

本文的BRNet網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示，以多雨的3D EPI，結(jié)合第一步生成的深度圖和第二部分生成的雨條紋圖作為輸入，給予網(wǎng)絡(luò)場(chǎng)景深度和雨條紋位置及大小的先驗(yàn)信息，以便網(wǎng)絡(luò)可以同時(shí)處理近景的雨條紋和遠(yuǎn)景的霧氣效果。每個(gè)卷積層的卷積核大小為3×3×3，選擇ReLU作為激活函數(shù)。每個(gè)卷積層之后添加BN層，以避免梯度消失。編碼器通道的數(shù)量設(shè)置為64到1 024。解碼器部分與編碼器部分對(duì)稱，并且相應(yīng)的層通過跳級(jí)連接進(jìn)行連接，以減少高頻信息的缺失。最后一層使用Sigmoid為激活函數(shù)，輸出無雨的3D EPI。

在網(wǎng)絡(luò)第二層使用LSTM結(jié)構(gòu)來接收RSDNet提取出來的部分雨條紋信息，這部分信息將會(huì)用于增強(qiáng)編碼層的信息傳遞，同時(shí)傳遞到解碼層來增強(qiáng)細(xì)節(jié)區(qū)域雨條紋的去除。這對(duì)于恢復(fù)無雨圖有著重要意義。

本文提出的BRNet的損失Lossb被定義為：

其中，Lossb表示為總的無雨圖損失LossL2表示L2損失，Lossper表示感知損失，Lossstyle表示風(fēng)格損失，參數(shù)λ1,λ2和λ3依照經(jīng)驗(yàn)被設(shè)置為0.1、10和10。

LossL2被定義為：

其中，Bgen表示生成的無雨圖結(jié)果，Bgt表示無雨圖像的真值。本文使用預(yù)訓(xùn)練的VGG-16網(wǎng)絡(luò)對(duì)生成的結(jié)果和真值進(jìn)行特征提取。并選擇pool1、pool2和pool3網(wǎng)絡(luò)層來計(jì)算特征圖的損失。

感知損失Lossper定義如下：

其中，ψgen和ψgt分別表示生成結(jié)果和圖像真值對(duì)應(yīng)的VGG網(wǎng)絡(luò)所提取的第P層特征圖，N表示特征圖的總層數(shù)，在本次實(shí)驗(yàn)中為3。

風(fēng)格損失Lossstyle定義如下：

其中，G代表Gram矩陣，用來計(jì)算特征圖的自相關(guān)性。

3 實(shí)驗(yàn)結(jié)果

3.1 光場(chǎng)仿真數(shù)據(jù)集制作

因?yàn)槟壳安淮嬖诠_的帶雨的光場(chǎng)圖像數(shù)據(jù)集，也為了在復(fù)雜場(chǎng)景上驗(yàn)證本文所提算法的有效性，專門制作了一個(gè)帶雨的光場(chǎng)圖像數(shù)據(jù)集。將雨條紋疊加到現(xiàn)實(shí)世界的光場(chǎng)圖像上，以生成更有真實(shí)感的帶雨光場(chǎng)圖。具體而言，首先從斯坦福大學(xué)的公共數(shù)據(jù)集中獲取真實(shí)場(chǎng)景的數(shù)據(jù)，使用基于匹配成本量的方法獲得光場(chǎng)數(shù)據(jù)的深度圖。然后使用Blender軟件渲染了多個(gè)具有不同方向的9×9光場(chǎng)雨條紋數(shù)據(jù)集。最后，將虛擬雨條紋數(shù)據(jù)和視差圖按比例合成的數(shù)據(jù)添加到原始光場(chǎng)數(shù)據(jù)中，如圖4所示。

圖4 本文模擬現(xiàn)實(shí)世界的有雨LFI的生成過程Fig.4 Proposed real-world-like rainy LFI generation procedure

該方法具有兩個(gè)優(yōu)點(diǎn)。第一，真實(shí)場(chǎng)景光場(chǎng)圖像比建模的光場(chǎng)圖像更接近真實(shí)場(chǎng)景。第二，合成雨帶也具有豐富的三維信息，更有利于網(wǎng)絡(luò)的訓(xùn)練。本文使用了120組光場(chǎng)數(shù)據(jù)，其中80組光場(chǎng)圖像用來訓(xùn)練，30組光場(chǎng)圖像用來評(píng)估模型，10組光場(chǎng)圖像用來測(cè)試。合成低頻雨圖像的公式如下：

其中，F(xiàn)是霧的圖像，D是深度圖，其已標(biāo)準(zhǔn)化為[0，1]，R是雨條紋的圖像，R?是帶有霧的合成雨條紋圖像，B是無雨圖，即背景圖，α和β是常數(shù)參數(shù)，分別設(shè)置為0.3和0.6。本文在Titan X GPU上進(jìn)行網(wǎng)絡(luò)的訓(xùn)練，訓(xùn)練次數(shù)為500，初始學(xué)習(xí)率設(shè)為0.000 2。

3.2 圖像除雨結(jié)果定量分析

將本文的方法與基于經(jīng)典優(yōu)化算法的除雨方法[11]和基于深度學(xué)習(xí)的方法[12-13，20-21]在單張2D圖像進(jìn)行了定量比較。為了實(shí)驗(yàn)更加合理公正，使用制作的光場(chǎng)數(shù)據(jù)集的單張子視點(diǎn)圖像作為基于深度學(xué)習(xí)方法[11-12，20-21]的訓(xùn)練集，按照各個(gè)文獻(xiàn)原來既定的參數(shù)進(jìn)行訓(xùn)練，均在評(píng)估數(shù)據(jù)的平均指標(biāo)達(dá)到最優(yōu)時(shí)保存模型。同時(shí)，還添加了兩組基于視頻的除雨算法[23-24]的對(duì)比實(shí)驗(yàn)，由于本文的訓(xùn)練數(shù)據(jù)和視頻不同，所以使用其訓(xùn)練好的模型進(jìn)行測(cè)試。在光場(chǎng)圖像9×9的中心子視點(diǎn)上，采用了兩個(gè)典型的度量標(biāo)準(zhǔn)，即峰值信噪比（PSNR）和結(jié)構(gòu)相似性（SSIM），以比較本文的方法與其他方法的性能。如圖5~10所示，（a）~（h）分別是輸入圖像、Li[11]、Fu[12]、Qian[13]、Wang[20]、Jiang[21]、本文算法的實(shí)驗(yàn)結(jié)果，以及真值圖像，同時(shí)分別標(biāo)注了PSNR/SSIM指標(biāo)。實(shí)驗(yàn)結(jié)果表明，基于深度學(xué)習(xí)的除雨方法[12-13，20-21]在大多數(shù)場(chǎng)景中優(yōu)于基于傳統(tǒng)優(yōu)化算法方法，而基于視頻的除雨算法[23-24]在評(píng)測(cè)指標(biāo)上的表現(xiàn)并不理想。本文實(shí)驗(yàn)結(jié)果的PSNR和SSIM值均高于其他方法，特別是在具有復(fù)雜結(jié)構(gòu)的小場(chǎng)景中，如圖9和10所示，本文的算法可以和其他算法拉開較大的差距。對(duì)于霧氣效果明顯的大型場(chǎng)景，如圖6、7和8所示，本文也具備一定優(yōu)勢(shì)。而對(duì)于一些結(jié)構(gòu)簡單，景深較淺，霧氣效果不是很明顯的場(chǎng)景，如圖5所示，Wang[20]和Jiang[21]等人的算法也有良好的表現(xiàn)，本文算法無法與他們的算法拉開較大差距，但數(shù)值仍然是最優(yōu)的。

圖5 場(chǎng)景1圖像去雨效果實(shí)驗(yàn)對(duì)比（PSNR/SSIM）Fig.5 Rain streaks removal in Scene 1

圖6 場(chǎng)景2圖像去雨效果實(shí)驗(yàn)對(duì)比（PSNR/SSIM）Fig.6 Rain streaks removal in Scene 2

3.3 圖像除雨結(jié)果定性分析

定性分析表明。Li的方法[11]可以很好地去除一些細(xì)雨條紋，但是它既不能成功去除近景較大的雨條紋，也不能除去遠(yuǎn)景的霧氣效果，并且在圖像的細(xì)節(jié)中引入了模糊，如圖7~10所示。基于深度學(xué)習(xí)的方法[12-13，20-21]在大多數(shù)情況下效果良好，但它們?nèi)匀淮嬖谝恍┤毕?。Fu的方法[12]在可以處理掉大多數(shù)細(xì)雨條紋，但是面對(duì)近景比較大的雨條紋，仍然會(huì)留下明顯的痕跡，如圖5~7所示。同時(shí)，如圖9和圖10所示，它無法去除圖像中遠(yuǎn)景的霧氣效果。其原因可能是該方法采用了濾波器將輸入圖像分為高頻層和低頻層，而只把高頻層通過神經(jīng)網(wǎng)絡(luò)進(jìn)行了處理，沒有處理包含大的雨條紋和霧氣的低頻層。

圖7 場(chǎng)景3圖像去雨效果實(shí)驗(yàn)對(duì)比（PSNR/SSIM）Fig.7 Rain streaks removal in Scene 3

圖8 場(chǎng)景4圖像去雨效果實(shí)驗(yàn)對(duì)比（PSNR/SSIM）Fig.8 Rain streaks removal in Scene 4

圖9 場(chǎng)景5圖像去雨效果實(shí)驗(yàn)對(duì)比（PSNR/SSIM）Fig.9 Rain streaks removal in Scene 5

圖10 場(chǎng)景6圖像去雨效果實(shí)驗(yàn)對(duì)比（PSNR/SSIM）Fig.10 Rain streaks removal in Scene 6

Qian的方法[13]可以除去大部分雨條紋。然而，它仍然不能非常有效地消除大的雨條紋，如圖9和10所示。原因可能是該方法專門設(shè)計(jì)用于去除雨滴，因此對(duì)于去除雨水條紋效果不佳。同時(shí)該方法可以去除部分遠(yuǎn)景的霧氣效果，但是會(huì)給圖片整體引入模糊和黑影，這可能是因?yàn)槠涞谝粚泳W(wǎng)絡(luò)結(jié)構(gòu)中感知圖預(yù)測(cè)不是很準(zhǔn)確導(dǎo)致的。

Wang[20]和Jiang方法[21]的結(jié)果也有著類似的問題，即只能處理細(xì)小的雨條紋，而面對(duì)近景大的雨條紋卻表現(xiàn)不佳，如圖7~9。這可能是因?yàn)槊鎸?duì)大面積遮擋時(shí)，單張圖只能借助周圍像素的信息來修復(fù)被遮擋區(qū)域，這會(huì)導(dǎo)致修復(fù)錯(cuò)誤或者難以修復(fù)。同時(shí)未能合理利用深度信息，導(dǎo)致遠(yuǎn)處的雨霧也并不能很好地去除。

視頻除雨算法也存在類似問題，如圖11所示。Li的方法[23]只能去除少量雨條紋，而Liu的方法[24]可以去除掉大部分雨條紋，但是在面對(duì)遠(yuǎn)景雨霧基本沒有效果，可能是該方法并沒有把遠(yuǎn)處雨水的特點(diǎn)做充分考慮。

圖11 與視頻去雨效果實(shí)驗(yàn)對(duì)比（PSNR/SSIM）Fig.11 Comparison with rain removal on video sequence

圖13 真實(shí)場(chǎng)景2圖像去雨效果實(shí)驗(yàn)對(duì)比Fig.13 Rain streaks removal in real Scene 2

圖14 真實(shí)場(chǎng)景2圖像去雨效果實(shí)驗(yàn)對(duì)比Fig.14 Rain streaks removal in real Scene 3

本文提出的方法采用3D EPI作為輸入，以檢測(cè)雨條紋并恢復(fù)被雨條紋覆蓋的遮擋區(qū)域。通過利用3D EPI中的大量紋理和結(jié)構(gòu)信息，可以更準(zhǔn)確檢測(cè)雨條紋并更好地恢復(fù)背景。實(shí)驗(yàn)表明，本文方法可以比任何其他方法更正確地保留和恢復(fù)LFI的紋理細(xì)節(jié)，也可以有效去除遠(yuǎn)景霧氣效果，如圖10中紅色/綠色框中突出顯示的區(qū)域所示。因此，本文算法的性能總是比其他方法[11-13，20-21]更好。本文在真實(shí)多雨光場(chǎng)數(shù)據(jù)集上進(jìn)行了測(cè)試，如圖12~14所示，本文的結(jié)果均好于其他方法，證明了本文算法的實(shí)用性。本文得到的深度圖和雨條紋圖部分結(jié)果如圖15，表明提出的方法可以準(zhǔn)確且有效地提取雨條紋。另外，由于輸入的3D EPI維度高于普通2D圖像，本文方法的內(nèi)存成本和計(jì)算成本高于其他所有方法。

圖12 真實(shí)場(chǎng)景1圖像去雨效果實(shí)驗(yàn)對(duì)比Fig.12 Rain streaks removal in real Scene 1

圖15 本文得到的深度圖和雨條紋圖部分結(jié)果Fig.15 Depth maps and rain streak images for proposed method

4 結(jié)論

提出一種基于結(jié)合深度信息的神經(jīng)網(wǎng)絡(luò)的光場(chǎng)圖像去雨算法，利用光場(chǎng)圖像豐富的三維信息來有效去除雨條紋，得到高質(zhì)量的無雨圖。并且使用真實(shí)光場(chǎng)圖像構(gòu)建了一個(gè)帶雨光場(chǎng)圖像數(shù)據(jù)集，用于訓(xùn)練和評(píng)估提出的算法。算法首先使用匹配成本量方法計(jì)算光場(chǎng)圖像的深度圖，之后結(jié)合3D EPI輸入到RSDNet，利用3D殘差網(wǎng)絡(luò)提取每個(gè)子視點(diǎn)的雨條紋蒙版，最后把雨條紋蒙版與3D EPI連接后傳入BRNet，利用3DU型網(wǎng)絡(luò)進(jìn)行背景修復(fù)。本文的算法充分利用3D EPI的紋理和結(jié)構(gòu)信息來檢測(cè)和消除圖像中的雨條紋，并提出了一種有效的雙LSTM結(jié)構(gòu)，保留網(wǎng)絡(luò)中有用的中間信息，避免了雨條紋高頻信息的丟失。實(shí)驗(yàn)結(jié)果表明，本文的方法能夠更準(zhǔn)確地提取近景的雨條紋，對(duì)于遠(yuǎn)景霧氣的去除也有良好的表現(xiàn)，優(yōu)于最新的2D圖像去雨方法和視頻去雨方法。