單張圖像去雨的多流細(xì)節(jié)加強(qiáng)網(wǎng)絡(luò)①

安鶴男，涂志偉，張昌林，李 蔚，劉 佳

(深圳大學(xué) 電子科學(xué)與技術(shù)學(xué)院，深圳 518061)

雨作為一種常見的氣象現(xiàn)象，不僅影響人類的視覺感知，并且嚴(yán)重干擾計算機(jī)視覺系統(tǒng).在諸多經(jīng)典和當(dāng)代流行的視覺算法中，需要高質(zhì)量清晰的圖像作為輸入才能正常工作.例如物體檢測與跟蹤，當(dāng)輸入的圖像帶有雨線、雪和霧等，那么物體檢測與跟蹤算法很可能達(dá)不到預(yù)期的效果，如果是無人駕駛汽車場景，很可能導(dǎo)致事故的發(fā)生.隨著雨勢增大，雨線密度也急劇增大，因此，設(shè)計出能夠有效去除圖像中雨線的算法意義重大，十分必需.

多篇文獻(xiàn)提出的去除雨線的方法，大致可以分為兩類：一類是以傳統(tǒng)的模型為主的去雨思路，另一類是運用深度學(xué)習(xí)的思想進(jìn)行去雨.傳統(tǒng)方法致力于用模型來區(qū)分雨線層和背景層.Kang 等人[1]把有雨圖像分解為高頻部分和低頻部分，通過稀疏字典學(xué)習(xí)的方法對高頻部分進(jìn)行處理，提取出高頻中的雨線并去除.Huang 等人[2]提出一種自我學(xué)習(xí)的方法去自動區(qū)分高頻部分中的雨線部分.Luo 等人[3]提出一種判別稀疏編碼方法，通過使雨層的系數(shù)向量變得稀疏，從而達(dá)到區(qū)分背景和雨線的效果.

而近年來，有許多作者采用深度學(xué)習(xí)的方法去雨.Shen 等人[4]設(shè)計了一個基于小波變換[5]和暗通道原理[6]的卷積神經(jīng)網(wǎng)絡(luò)來提升去雨效果.Li 等人[7]采用循環(huán)神經(jīng)網(wǎng)絡(luò)算法來進(jìn)行去雨操作.Yang 等人[8]提出了一種檢測雨線并去雨的聯(lián)合網(wǎng)絡(luò)，他們使用多種不同尺度的網(wǎng)絡(luò)去捕抓雨圖中的雨線信息，再經(jīng)過卷積神經(jīng)網(wǎng)絡(luò)，能夠有效的檢測到雨線并去除雨線.

綜合分析以上的算法，不難發(fā)現(xiàn)，整體思路都是盡可能的檢測到雨圖中的雨線，并提取出雨線，然后和雨圖做差得出去雨圖，然而去雨圖的一些細(xì)節(jié)不可避免的會丟失，造成圖像使用效能降低，對此，本文提出一種多流細(xì)節(jié)加強(qiáng)網(wǎng)絡(luò)，通過多條不同尺度和結(jié)構(gòu)的網(wǎng)絡(luò)來提取雨線特征，然后融合得到的特征塊傳入到去雨網(wǎng)絡(luò)中，得出的初步去雨圖經(jīng)過隨后的細(xì)節(jié)加強(qiáng)網(wǎng)絡(luò)來提高圖片的質(zhì)量.

1 圖像去雨方法介紹

本文所提出的去雨網(wǎng)絡(luò)如圖1所示，為了更好的細(xì)化分析去雨算法，本節(jié)主要介紹網(wǎng)絡(luò)的基本理論模型，介紹不同尺度和結(jié)構(gòu)的特征提取網(wǎng)絡(luò)以及細(xì)節(jié)加強(qiáng)網(wǎng)絡(luò).

圖1 多流細(xì)節(jié)加強(qiáng)網(wǎng)絡(luò)

1.1 基本理論

傳統(tǒng)的有雨圖的模型[9]主要包含背景層和雨線層兩部分，可以用以下公式表示：

其中，O為輸入的有雨原圖像，B為背景層，R為雨線層.不難發(fā)現(xiàn)，大量的方法都是基于這個模型，通過移除有雨圖像中的雨線來獲得純凈的無雨圖.式(1)簡單的把雨線層作為單一層，往往認(rèn)為雨線只有一種，但在實際生活中，雨線方向是變換多樣的，并且由于雨線在成像鏡頭的焦平面不同，遠(yuǎn)處的雨往往比較模糊，所以考慮到雨線的多樣性，Yang 等人[8]提出一種新的擴(kuò)展雨線模型：

其中，Rt表示不同的雨線層，t表示雨線層索引，S表示雨線層數(shù)的最大值，A為全局環(huán)境光線，λ為大氣傳播系數(shù)，此模型能夠更好地表示真實的雨線特點.

1.2 多流特征提取網(wǎng)絡(luò)

采用不同的網(wǎng)絡(luò)規(guī)模對圖片進(jìn)行特征提取，并進(jìn)行特征融合[10]，往往能夠更好的表示圖像中的目標(biāo)及背景.特征融合的方式有多種，特征圖逐點相加，逐點相乘或者在深度上級聯(lián)拼接等.考慮到雨線特征的多樣性，例如，有的雨圖雨點小，有的雨圖會形成明顯的雨線，所以針對小的雨線，采用小的卷積核尺寸(小的感受野)，對于明顯地更長的雨線采用更大的卷積核尺寸(更大的感受野).綜合考慮，本文使用3 條不同尺度與規(guī)模的特征提取網(wǎng)絡(luò)來提取雨線的特征.

深度卷積編解碼網(wǎng)絡(luò)[11]能夠非常有效地處理圖片的噪聲問題，基于此，本文設(shè)計的特征提取網(wǎng)絡(luò)中，兩條支路采用編解碼方式，并且考慮到深層特征具有較大的感受野，能夠提供上下文信息，所以在單條網(wǎng)絡(luò)內(nèi)部把深層特征與淺層特征相融合，使得網(wǎng)絡(luò)能夠更好的區(qū)分雨線及背景，達(dá)到更加準(zhǔn)確地表示雨線特征的效果.

本文設(shè)計的特征提取網(wǎng)絡(luò)細(xì)節(jié)如下：(1)第一條支路(圖1左下角)使用尺寸大小為7×7 的卷積核，起始的兩個卷積層并不改變形狀，接下來的兩個卷積層使用平均池化層進(jìn)行下采樣操作，最后兩個卷積層使用近領(lǐng)域填充方式進(jìn)行上采樣操作，并且將深層特征與淺層特征相融和.在文章模型的調(diào)試過程中，受到Desnet[12](密集神經(jīng)網(wǎng)絡(luò))的啟發(fā)，以及與同樣加入了密集網(wǎng)絡(luò)思路的Shen 等人[4]和Zhang 等人[10]去雨效果的對比，發(fā)現(xiàn)在上采樣的過程中加入密集網(wǎng)絡(luò)思路效果更佳.(2)第二條支路依舊采用編解碼方式進(jìn)行特征提取，與第一條支路不同的是，使用的卷積核尺寸為5×5.(3)第三條支路并不采用編解碼方式，僅僅使用6 個不改變特征圖尺寸的卷積層，且卷積核的尺寸大小為3×3.具體構(gòu)造如圖1所示.

1.3 細(xì)節(jié)加強(qiáng)網(wǎng)絡(luò)

對于圖像去雨任務(wù)，分析發(fā)現(xiàn)，圖像的背景細(xì)節(jié)在小密度雨線的影響下保留的細(xì)節(jié)較多，所以大部分的去雨方法都能夠很好的處理此類問題，但對于在大密度的雨線影響下，由于背景細(xì)節(jié)遮蔽太嚴(yán)重，許多去雨方法處理出來的背景圖，細(xì)節(jié)丟失太嚴(yán)重，所以考慮在去雨網(wǎng)絡(luò)后面加上一個細(xì)節(jié)加強(qiáng)的網(wǎng)絡(luò)來保證圖片的質(zhì)量.Pan 等人[13]提出一個對于低層次的計算機(jī)視覺任務(wù)的基本處理框架思路.圖像可以分為兩部分，整體的圖像結(jié)構(gòu)和細(xì)節(jié).原圖經(jīng)過去雨網(wǎng)絡(luò)處理后的去雨圖，可以作為圖像的整體結(jié)構(gòu)估計.

通過卷積操作提取的特征信息一直在局部感受野中，而最近有一些方法通過加強(qiáng)空間編碼的方式提高了網(wǎng)絡(luò)的感受能力，例如Squeeze-and-Excitation[7，14，15](壓縮-激勵)網(wǎng)絡(luò)層，通過精確的建模通道之間的卷積特征的相互依賴性來提高網(wǎng)絡(luò)的表達(dá)能力.SE 網(wǎng)絡(luò)層能夠讓網(wǎng)絡(luò)模型對特征進(jìn)行校準(zhǔn)，使網(wǎng)絡(luò)從全局信息出發(fā)來選擇性的放大有價值的特征通道并抑制無用的通道特征.SE 網(wǎng)絡(luò)層構(gòu)造如圖2所示.

圖2 SE 層結(jié)構(gòu)

輸入的圖像經(jīng)過第一個卷積層得到特征圖，傳入SE 層中先進(jìn)行壓縮操作將特征圖聚合獲得通道描述器，這個通道描述器嵌入了對通道層次的特征表述的全局分布.然后經(jīng)過激勵操作，通過基于通道依賴性的自選門機(jī)制對每個通道進(jìn)行權(quán)值的評比，放大有價值的特征通道信息并抑制無用的特征通道.

本文提出一種新穎的思路，將SE 網(wǎng)絡(luò)層嵌入到ResNet[16]網(wǎng)絡(luò)中，并替換掉批量歸一化層(BN).在卷積網(wǎng)絡(luò)中，BN 層使得每一個特征層能夠歸一化并使得它們具有相同的分布.但由于去雨網(wǎng)絡(luò)在不同雨線的形狀和方向上進(jìn)行去雨操作，希望在不同的通道上保持分布的不同，所以替換BN 層，并且通過加入SE 網(wǎng)絡(luò)層的改進(jìn)型ResNet 網(wǎng)絡(luò)能夠放大有用的背景細(xì)節(jié)信息并抑制去雨痕跡信息，從而達(dá)到加強(qiáng)整體的細(xì)節(jié)信息的效果.細(xì)節(jié)網(wǎng)絡(luò)如圖1右下角所示.

1.4 損失函數(shù)

如圖1所示，本文的多流支路細(xì)節(jié)加強(qiáng)網(wǎng)絡(luò)主要由兩部分組成：特征提取網(wǎng)絡(luò)和細(xì)節(jié)加強(qiáng)網(wǎng)絡(luò).為了更好的訓(xùn)練每個網(wǎng)絡(luò)，所采用的網(wǎng)絡(luò)模型需要分開計算每個網(wǎng)絡(luò)的損失函數(shù).特征提取網(wǎng)絡(luò)及細(xì)節(jié)加強(qiáng)網(wǎng)絡(luò)的損失函數(shù)如下：

其中，N為一次程序處理圖片的數(shù)量，||?||F為弗羅貝尼烏斯范數(shù)(Frobenius norm)，Xi表示第i次輸入的有雨圖像，Yi為其對應(yīng)的標(biāo)簽(無雨圖)，fs代表特征提取網(wǎng)絡(luò)，fd表示細(xì)節(jié)加強(qiáng)網(wǎng)絡(luò)，Si為經(jīng)過雨線特征提取網(wǎng)絡(luò)后得出的初步去雨圖.故整體的損失函數(shù)為：

其中，α，β為各個損失函數(shù)權(quán)重比例.

2 實驗分析與結(jié)果

為了更好得評估所提出的多流細(xì)節(jié)加強(qiáng)網(wǎng)絡(luò)的去雨性能，在本節(jié)會介紹網(wǎng)絡(luò)模型的細(xì)節(jié)參數(shù)部分，并且和當(dāng)前一些流行的去雨方法進(jìn)行了比較，例如DJRHRNet[4]，JORDER[8]，RESCAN[7]，使用的測試集包含合成的圖片以及真實雨圖.去雨的性能還可以從峰值信噪比(PSNR[17])和結(jié)構(gòu)相似度(SSIM[18])的數(shù)據(jù)量化體現(xiàn)出來.PSNR 是最普遍和使用最為廣泛的一種圖像客觀評價指標(biāo)，衡量圖像失真或是噪聲水品的客觀標(biāo)準(zhǔn)，數(shù)值越大表示失真越小.SSIM 是衡量兩幅圖像相似度的指標(biāo)，是一種全參考的圖像質(zhì)量評價指標(biāo)，分別從亮度、對比度、結(jié)構(gòu)3 方面度量圖像相似性，數(shù)值越大表示失真越小.

2.1 數(shù)據(jù)集

圖3 不同方法在相同的合成測試集上的去雨效果對比

由于從現(xiàn)實世界中獲取比較好的有雨圖，無雨圖相對應(yīng)的數(shù)據(jù)是非常難的，所以訓(xùn)練所使用的數(shù)據(jù)集都是來自合成的.Li 等人[7]和Zhang 等人[10]提供了大量的合成數(shù)據(jù)集，并且雨線密度覆蓋非常廣，所以本文采用他們的數(shù)據(jù)集.由于本文側(cè)重體現(xiàn)在高密度雨線圖的細(xì)節(jié)加強(qiáng)，所以訓(xùn)練時所使用的圖片為Zhang 等人[10]數(shù)據(jù)集中大雨部分的4000 張圖片作為訓(xùn)練集.200 張左右的圖片作為本文的測試集.Li 等人[7]和Zhang 等人[10]也提供了真實雨圖集，并且這些雨圖包含復(fù)雜的雨線，故采用他們提供的真實雨圖集進(jìn)行測試.

2.2 訓(xùn)練配置

本文使用4000 張配好對的512×512 的圖片進(jìn)行訓(xùn)練，使用的服務(wù)器配置含有4 張1080Ti 顯卡，采用Pytorch 框架.設(shè)置的最大迭代次數(shù)為400 000，特征提取網(wǎng)絡(luò)的卷積核數(shù)量由64-32-64 個數(shù)變換，細(xì)節(jié)加強(qiáng)網(wǎng)絡(luò)的卷積核數(shù)量固定為64 個，梯度下降的優(yōu)化算法使用ADAM[19]，其中基礎(chǔ)學(xué)習(xí)率設(shè)置為0.001，且每經(jīng)過40 000 次迭代，學(xué)習(xí)率降為原來的0.1 倍.

2.3 合成數(shù)據(jù)集上的測試結(jié)果

如圖3所示為本文在合成測試集上的去雨效果圖，并與當(dāng)前一流的去雨方法進(jìn)行了比較，并且為了量化去雨的性能，還進(jìn)行了結(jié)構(gòu)相似度(SSIM)與峰值信噪比(PSNR)的數(shù)據(jù)比較，如表1所示.從表1中的數(shù)據(jù)可以看出，本文的方法基本上處于領(lǐng)先的位置.從圖3中可以看出，這些目前一流的去雨方法不能完全的去除雨線甚至還會模糊圖片，而本文提出的方法能夠在幾乎去除雨線的情況下還能保證一定的圖像細(xì)節(jié).

表1 不同去雨算法在測試集上的PSNR 與SSIM 平均值比較

2.4 真實雨圖的測試結(jié)果

為了測試這些去雨方法的實用性，本文也測試了真實雨圖集，如圖4所示為真實雨圖的測試結(jié)果.從中可以看出，DJRHR-Net[4]沒有很好的去除雨線，JORDER[8]似乎過處理了雨圖，而本文提出的方法做到去除大部分的雨線并且盡可能的保留了細(xì)節(jié).

3 結(jié)論

本文提出的多流細(xì)節(jié)加強(qiáng)網(wǎng)絡(luò)，對于單張的雨圖有很好的去雨效果.多流的特征提取網(wǎng)絡(luò)，每條支路使用不同的規(guī)模尺寸，能夠很好的提取出復(fù)雜多向的雨線特征并進(jìn)行特征融合.而對于高密度雨線的雨圖，由于細(xì)節(jié)遮蔽太多，經(jīng)過去雨網(wǎng)絡(luò)后往往會損失很多細(xì)節(jié)，基于此，提出的細(xì)節(jié)加強(qiáng)網(wǎng)絡(luò)是一個很好的補(bǔ)償措施.加入壓縮激勵[15](SE)的思路，采用SE 層替換批量歸一化(BN)層的改進(jìn)型ResNet[16]網(wǎng)絡(luò)，能夠得出更高質(zhì)量的去雨圖.在與當(dāng)前流行的去雨方法進(jìn)行比較的過程中，發(fā)現(xiàn)本文的方法，無論是在去雨圖像的視覺感觀上，還是在PSNR 和SSIM 數(shù)據(jù)量化上，都處于領(lǐng)先的地位.本文主要針對的是大密度的雨線圖，所以設(shè)計的分支網(wǎng)絡(luò)較多，導(dǎo)致訓(xùn)練參數(shù)的上升，這需要有較強(qiáng)計算性能的計算機(jī)進(jìn)行處理.進(jìn)一步改進(jìn)網(wǎng)絡(luò)，簡化網(wǎng)絡(luò)，并且使得模型泛化能力更強(qiáng)，是今后的主要研究方向.

圖4 不同去雨算法在真實雨集上的去雨效果圖