多尺度沙漏結(jié)構(gòu)的單幅圖像去雨算法研究

馬婧婧,黃煜峰,陳 翔

(沈陽航空航天大學(xué) 電子信息工程學(xué)院,沈陽 110136)

1 引 言

雨天環(huán)境下采集的圖像容易受到雨水折射和遮擋影響,造成圖像的模糊、顏色畸變和細節(jié)丟失等質(zhì)量問題,嚴(yán)重影響圖像檢測、目標(biāo)跟蹤等后續(xù)處理.單幅圖像去雨作為圖像預(yù)處理的重要過程,得到廣泛關(guān)注,具有迫切的應(yīng)用需求.

近些年來,有很多學(xué)者對于單幅圖像去雨進行深入研究,主流的研究方法有基于模型的去雨方法和基于深度學(xué)習(xí)相關(guān)數(shù)據(jù)驅(qū)動的去雨方法兩類.基于模型的去雨方法是構(gòu)建模型來模擬雨和背景間的關(guān)系,進而優(yōu)化模型來實現(xiàn)去雨.基于模型的方法:Chen[1]采用低秩模型對雨進行建模,同時利用相關(guān)模型來約束背景圖像信息.Li[2]等人利用高斯混合模型建立多個方向、尺寸的雨滴和背景模型關(guān)系實現(xiàn)去雨.有研究利用圖像分解方法[3],把雨天圖像分離為無雨和有雨圖像,再利用粗糙和無雨圖像擬合得到清晰圖像.基于模型的方法,需要較多的先驗知識,去雨效果容易受到模型的影響,建模不合適情況則對去雨效果影響較大,同時模型的泛化能力較弱,也是其制約因素.

深度學(xué)習(xí)方法[4]主要是利用數(shù)據(jù)驅(qū)動的方法構(gòu)建網(wǎng)絡(luò)框架來解決單幅圖像去雨問題.Chen等[5]提出了一種多尺度殘差網(wǎng)絡(luò)實現(xiàn)去雨,Fu等[6]提出深度學(xué)習(xí)DerainNet來提取雨特征實現(xiàn)去雨,通過進一步研究提出Deep Detail Network(DDN)通過減小拓?fù)浞秶鷮崿F(xiàn)去雨.條件生成對抗網(wǎng)絡(luò)[7,8]通過博弈的思想實現(xiàn)雨天圖像的復(fù)原工作,Qian[9]在此基礎(chǔ)上提取采用注意力機制優(yōu)化條件生成對抗網(wǎng)絡(luò)來優(yōu)化去雨的效果.有學(xué)者采用門控上下文聚合方法Gated Context Aggregation Network(GCANet)[10]構(gòu)建端對端網(wǎng)絡(luò),通過平滑擴張的方法從網(wǎng)絡(luò)中提取雨滴信息.Li[11]等利用遞歸上下文擴張網(wǎng)絡(luò)提取雨的信息,應(yīng)用于去雨處理,取得較好效果.有學(xué)者[12]采用輕量化的金字塔網(wǎng)絡(luò)Light weight Pyramid Networks(LPNet)來提取多尺度的雨特征,實現(xiàn)快速去雨.有研究構(gòu)建PReNet[13]網(wǎng)絡(luò),利用殘差網(wǎng)絡(luò)[14]執(zhí)行多級運算,同時利用長短期記憶網(wǎng)絡(luò)層獲取去雨圖像.然而現(xiàn)有去雨算法較少利用多尺度的特征,對于特征的利用率較低,對于空間和分布復(fù)雜的雨圖像處理效果較差.

通過上述分析,現(xiàn)有去雨算法存在雨線殘留、細節(jié)紋理和信息復(fù)原能力差等問題,這大大的影響了單幅圖像去雨算法的實際應(yīng)用.為此,本文提出了基于多尺度沙漏結(jié)構(gòu)的單幅圖像去雨算法,通過多層不同尺度的沙漏結(jié)構(gòu)提取雨線特征信息;其次,在沙漏網(wǎng)絡(luò)內(nèi)部引入殘差密集注意模塊,在較小的網(wǎng)絡(luò)層數(shù)上傳遞和融合盡量多的特征信息,保證快速提取更多圖像的細節(jié)和關(guān)鍵信息.實現(xiàn)復(fù)雜雨環(huán)境下的去雨處理,并盡量復(fù)原圖像的細節(jié)和空間信息,減小色彩失真.

2 多尺度沙漏結(jié)構(gòu)去雨網(wǎng)絡(luò)

為提升雨天圖像的雨線噪聲去除效果,同時避免過分去雨導(dǎo)致的紋理細節(jié)損失和色彩失真.我們提出了基于多尺度沙漏結(jié)構(gòu)的網(wǎng)絡(luò)結(jié)構(gòu)(見圖1).下面我們將具體介紹本文提出的多尺度沙漏網(wǎng)絡(luò)結(jié)構(gòu),殘差密集網(wǎng)絡(luò)及注意力機制.

圖1 多尺度沙漏去雨網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Overall architecture of our proposed multi-scale hourglass network for single image deraining

2.1 多尺度沙漏網(wǎng)絡(luò)結(jié)構(gòu)

沙漏結(jié)構(gòu) 是Newell[15]提出用于人體姿態(tài)檢測和估計,因其結(jié)構(gòu)中編碼和解碼的結(jié)構(gòu)與沙漏相似,所以稱為沙漏結(jié)構(gòu)(見圖2).沙漏結(jié)構(gòu)是一個近似對稱的結(jié)構(gòu),主要由下采樣,上采樣,池化層,卷積層和反卷積層組成.沙漏結(jié)構(gòu)網(wǎng)絡(luò)H可以定義為:

(1)

其中X為輸入數(shù)據(jù),Fd(X;θd)是對輸入數(shù)據(jù)進行下采樣過程,Fu(X;θu)是對數(shù)據(jù)進行上采樣過程.i,j表示上下采樣的層數(shù).沙漏結(jié)構(gòu)輸出是上下采樣處理得到特征和殘差網(wǎng)絡(luò)得到特征的融合.下采樣層可以提高網(wǎng)絡(luò)的關(guān)注區(qū)域,獲取更高維度信息,有利于網(wǎng)絡(luò)更好的區(qū)分不同景深和尺度的信息.上采樣通過反卷積對于圖像特征進行放大,形成跨層結(jié)構(gòu),能夠較好的保留圖像的細節(jié)和邊緣信息.可以根據(jù)數(shù)據(jù)處理的需要,調(diào)整上下采樣層的數(shù)目.引入殘差網(wǎng)絡(luò),能夠融合局部細節(jié)和高維深度信息,有利于圖像的恢復(fù).

圖2 沙漏網(wǎng)絡(luò)框架圖Fig.2 Structure of hourglass network

多尺度沙漏網(wǎng)絡(luò)結(jié)構(gòu) 主要由3層平行沙漏網(wǎng)絡(luò)結(jié)構(gòu)組成(圖1),輸入圖像通過第1級別(1×)的沙漏網(wǎng)絡(luò)提取特征,通過第2級別(2×)下采樣得到尺度為1/2的特征圖,進一步通過第3級別(4×)下采樣得到尺度為1/4的特征圖.輸入特征分別進行單級沙漏網(wǎng)絡(luò)結(jié)構(gòu)處理,提取不同尺度的特征.對于不同尺度的低維和高維信息,進行有效提取,低維信息保證了特征信息的準(zhǔn)確性,高維信息能夠更好的處理全局和景深信息.為了更好的利用多尺度的特征信息,我們采用卷積層對于不同尺度的特征進行融合,提高多尺度特征的利用率[16].

2.2 殘差密集注意模塊

特征提取過程是對于圖像去噪復(fù)原等有非常重要的意義,是去雨算法研究的重點.為了更好的對于圖像中雨線成分進行特征提取,復(fù)原出清晰的背景圖像,我們引入了殘差密集注意模塊,主要包括殘差密集模塊和注意模塊兩個部分,其中注意力模塊包含通道注意和空間注意,如圖3所示.

圖3 殘差密集注意模塊Fig.3 Detail structure of our proposed residual dense module

殘差密集模塊 是殘差網(wǎng)絡(luò)和密集連接網(wǎng)絡(luò)構(gòu)成,殘差網(wǎng)絡(luò)[17]能夠有效的幫助特征信息傳遞給更深的網(wǎng)絡(luò)信息,密集網(wǎng)絡(luò)[18]從特征層的角度出發(fā),把網(wǎng)絡(luò)中任意兩層進行連接,最大化網(wǎng)絡(luò)中所有層的信息連接,使網(wǎng)絡(luò)的每一層都能接收來自于其前面所有層的特征輸入,能有效抑制訓(xùn)練過程中梯度消散的問題.因為密集網(wǎng)絡(luò)實現(xiàn)了特征復(fù)用和傳遞,所以較少的特征也得到充分利用,模型尺寸也較小.結(jié)合以上兩個網(wǎng)絡(luò)的特點,殘差密集網(wǎng)絡(luò)可以定義為:

xl+1=xl+F(Gd([x0,…,xd]),[W0,…,Wd])

(2)

其中,xl和xl+1是殘差密集網(wǎng)絡(luò)的第l和l+1層,[x0,…,xd]和[W0,…,Wd]是殘差密集網(wǎng)絡(luò)中對應(yīng)所有卷積層的參數(shù)和特征信息.F是殘差網(wǎng)絡(luò)特征提取處理,G表示密集網(wǎng)絡(luò).

注意力機制 有選擇性的關(guān)注一些顯著性的特征,可以更好的捕捉顯著性差異,對于目標(biāo)特征進行提取和表達,在圖像處理領(lǐng)域有非常重要的應(yīng)用,常用的注意力機制:通道注意和空間注意.

通道注意力機制通過對于深度特征圖的通道進行提取和處理,得到不同類型特征的響應(yīng)和相互關(guān)聯(lián)信息.BCP[19]先驗知識能夠有效的處理不同通道的權(quán)重信息,提高圖像的去模糊能力,在去雨研究[20]中發(fā)現(xiàn)基于通道注意的算法能夠更好的保留像素特征.基于通道注意的特征圖計算可表示為:

(3)

空間注意關(guān)注的是圖像空間信息分布,圖像場景中存在景深信息復(fù)雜,雨水位置和形狀隨機分別以及噪聲等情況存在,添加空間注意能夠?qū)τ诳臻g維度上的特征進行加大權(quán)重,過濾掉不重要的信息,空間注意的計算可以表達為:

(4)

其中F∈R1×H×W是空間特征分別,F(i)是對應(yīng)點的特征,C為所對應(yīng)的通道.

2.3 損失函數(shù)

為了實現(xiàn)多尺度沙漏網(wǎng)絡(luò)去雨,我們采用損失函數(shù)來評估去雨后圖像和真實對照圖像的差異,通過調(diào)整網(wǎng)絡(luò)參數(shù)來優(yōu)化去雨網(wǎng)絡(luò).

損失函數(shù)可以表示為:

L=LMSE+λLSSIM

(5)

其中LMSE表示均方誤差(MSE:Mean squared error)LSSIM表示結(jié)構(gòu)相似性(SSIM:Structural SIMilarity),λ是平衡兩個損失函數(shù)的常數(shù)項取值為0.2.

(6)

對于均方誤差損失函數(shù)LMSE,Ii是輸入的雨圖像,G(Ii)是輸出的去雨后的圖像,Ji是對比的清晰圖像,H,W代表圖像的長寬尺寸,C為通道的個數(shù).

(7)

3 實驗結(jié)果和分析

為了客觀的評估多尺度沙漏網(wǎng)絡(luò)結(jié)構(gòu)的去雨性能,我們與當(dāng)前一些先進的去雨算法進行比較:GCANet[10],RESCAN[11],LPNet[12],和PReNet[13].評價指標(biāo)選用峰值信噪比(PSNR[21])和結(jié)構(gòu)相似度(SSIM[22])的數(shù)據(jù)量化體現(xiàn)出來.采用的代碼均來自于官方代碼,在相同的數(shù)據(jù)集和實驗環(huán)境上進行訓(xùn)練和測試.

數(shù)據(jù)集:實驗采用經(jīng)典的3個合成數(shù)據(jù)集:Rain100L[23],Rain100H[23],Rain800[7]和Rain12[24],Rain100L有200張雨圖像,其中100張用于測試,Rain100H有5種不同雨條紋圖像,其中1800用于訓(xùn)練,100張用于測試.Zhang等提供的Rain800,其中700張用于訓(xùn)練,100張用于測試,其中Rain12不用于訓(xùn)練,僅用于泛化能力驗證測試.真實雨圖像來自于網(wǎng)絡(luò)和已有數(shù)據(jù)集[25],數(shù)量為200.

3.1 訓(xùn)練配置和參數(shù)細節(jié)

本文提出的網(wǎng)絡(luò)結(jié)構(gòu)在方法部分已提到(見圖1),整個網(wǎng)絡(luò)運行在Pytorch框架下,Ubuntu系統(tǒng)18.04,顯卡為NVIDIA Tesla V100 GPU(16 G).從訓(xùn)練圖像數(shù)據(jù)集中隨機裁剪大小為64×64像素的圖像小塊作為輸入,采用Adam優(yōu)化,初始學(xué)習(xí)率為1×10-3,Batch size為32,訓(xùn)練過程一共有100個周期,每25個周期學(xué)習(xí)率降低一半.對于損失函數(shù),結(jié)構(gòu)相似性損失函數(shù)的權(quán)重λ為0.2.

3.2 合成數(shù)據(jù)的測試結(jié)果

為了證明本文方法的有效性,在經(jīng)典合成雨數(shù)據(jù)集上進行對比實驗.我們可以看到在3個經(jīng)典的雨圖像合成數(shù)據(jù)集(Rain100L/H,Rain800)以及泛化測試數(shù)據(jù)集Rain12,測試結(jié)果與真實圖像的PSNR和SSIM的結(jié)果,本文的方法結(jié)果加粗顯示,如表1所示.

表1 不同去雨算法在測試數(shù)據(jù)集上圖像質(zhì)量 評估指標(biāo)(PSNR/SSIM)對比表Table 1 Quantitative deraining results of average PSNR and SSIM on the synthesized datasets

可以看出對比去雨前的數(shù)據(jù),5種方法在PSNR和SSIM結(jié)果上都有顯著提高,說明算法在去除雨線和還原細節(jié)特征方面都有很大的提高.在Rain100L和Rain12上PSNR結(jié)果都超過30dB,說明在數(shù)據(jù)較少,雨類型比較單一的情況下,算法具有較好的去雨效果.當(dāng)雨圖像數(shù)目和類型增加,Rain100H可以看出,算法的評估指標(biāo)都有所下降,只有我們的結(jié)果超過PSNR超過30dB,SSIM超過0.9.選取Rain12數(shù)據(jù)集驗證本文模型在合成數(shù)據(jù)集上的泛化能力,測試結(jié)果表明本文的方法均取得優(yōu)于其它算法的定量分析結(jié)果.一定程度上說明,在復(fù)雜的雨數(shù)據(jù)集上,本文的方法在去除雨線和保留細節(jié)方面有較好的處理能力,在更為復(fù)雜的Rain800數(shù)據(jù)集上對比更加明顯.

除定量分析外,實驗隨機選取若干測試結(jié)果,從視覺層面對比不同方法的去雨效能,見圖4.為了更好地呈現(xiàn)細節(jié)對比結(jié)果,通過對圖像的局部區(qū)域進行放大處理,來對算法的細節(jié)處理進行比對.如圖4所示,GCANet算法處理圖像中對于雨天圖像中雨線較為粗重、密集的位置的處理效果較差,處理結(jié)果圖中殘留大量雨線(Rain100L/H,Rain800,Rain12),難以用于去雨處理.RESCAN圖像中也有部分雨線殘留,同時有顏色失真及模糊現(xiàn)象,如Rain800中存在大量斑點、Rain100L和Rain12中存在紋理失真.LPNet算法在處理多種雨線條件下效果不佳,并且引入不必要的模糊,在Rain100L/H、Rain800和Rain12中均有明顯紋理失真導(dǎo)致的模糊.PReNet在多種雨線情況下,能夠較好的去掉大部分雨線,但是存在細節(jié)丟失和色彩退化,如Rain800中墻磚部分存在局部色彩失真退化、Rain12 中電線桿存在紋理扭曲失真、Rain100L中存在紋理丟失(黑框).在Rain12數(shù)據(jù)集上,PReNet存在雨線殘留及物體扭曲的情況,LPNet存在大量模糊,RESCAN存在圖像細節(jié)失真及雨線殘留,GCANet中雨線大量殘留,去雨效果較差.總體上來講,本文提出的基于多尺度沙漏結(jié)構(gòu)的去雨算法,能夠在多種復(fù)雜雨天圖像上去掉絕大部分的雨線,尤其在大雨情況下也能取得較好的去雨效果,同時算法的另一個優(yōu)勢是能夠較好的保留細節(jié)和顏色信息.與標(biāo)定的真實無雨圖像比較,能夠發(fā)現(xiàn)我們的結(jié)果有效的去除了雨線,并且在細節(jié)和顏色上都與真實圖像更接近.

圖4 合成數(shù)據(jù)去雨效果圖和局部區(qū)域放大圖Fig.4 Visual quality comparisons of the deraining method on the synthetic datasets and zooming part of the Figure can provide a betterlook at the restoration quality

3.3 真實數(shù)據(jù)的測試結(jié)果

為了進一步測試去雨方法的實際應(yīng)用效果,本文從網(wǎng)絡(luò)和數(shù)據(jù)集中隨機抽取部分雨天圖像,用以測試真實雨圖像的去雨結(jié)果.如圖5所示,我們選取兩張有代表性的真實雨場景圖片,第1幅是具有一定近景和遠景景深信息的大雨自然場景圖像,第2幅是具有豐富細節(jié)的人像雨天圖像.從去雨結(jié)果能夠看出,類似于合成圖像處理結(jié)果,GCANet具有大量雨線殘留, 難以去除雨線; RESCAN算法中也存在雨線殘留并對部分區(qū)域特征處理不好,導(dǎo)致部分區(qū)域紋理失真、圖像模糊;LPNet算法中存在模糊和色彩失真,在人像雨天圖像中存在大量絮狀斑點;PReNet存局部雨線殘留,對比方法在合成雨天圖像中取得較好的去雨效果,但是在真實雨天圖像中存在一定程度的雨線殘留,尤其在景深圖像中例如白色轎車輪上方區(qū)域明顯具有雨線殘留.在實際雨圖像中,近景和遠景的雨差異較大,這可能是造成對比方法結(jié)果較差的原因.同時由于過分平滑或者雨線遮擋,造成對比方法的去雨后圖像存在紋理失真及圖像模糊,嚴(yán)重降低圖像的細節(jié)的保持效果.本文的方法能夠比較好的去除大部分雨線,對于近景和遠景的雨線都有較好的處理效果,同時有較少的細節(jié)丟失和顏色失真.

圖5 真實數(shù)據(jù)去雨效果圖和局部區(qū)域放大圖Fig.5 Visual quality comparisons of the deraining method on the real word datasets and zooming part of the Figure can provide a better look at the restoration quality

4 結(jié) 論

本文提出了一種多尺度沙漏結(jié)構(gòu)來實現(xiàn)單幅圖像去雨的算法.針對現(xiàn)在去雨算法中存在的不同景深的雨線殘留,細節(jié)丟失以及顏色失真的問題,首先采用多尺度的沙漏網(wǎng)絡(luò)提取不同尺度的雨線特征信息,并且對這些特征進行融合.其次在特征提取模塊中,利用殘差密集網(wǎng)絡(luò)實現(xiàn)了特征在層間的傳遞,在較小的網(wǎng)絡(luò)規(guī)模下實現(xiàn)特征的綜合利用和傳遞.同時把基于通道和空間信息的注意力機制加入殘差密集模塊中,針對雨線在空間和顏色上的不規(guī)則分布調(diào)節(jié)參數(shù)和特征權(quán)重,為了實際中處理更加復(fù)雜的雨分布圖像提供了新的思路.實驗結(jié)果表明,在合成和真實雨圖都取得了較好的處理效果,定量分析結(jié)果表明在去雨和結(jié)構(gòu)相似性上都取得較好的效果,并且模型具有較好的泛化能力.定性結(jié)果進一步佐證了模型能夠有效去除雨線,并同時較好恢復(fù)圖像的細節(jié)信息和顏色信息.