張勇, 郭杰龍, 汪帆, 蘭海, 俞輝, 魏憲
(1.福州大學(xué) 電氣工程與自動(dòng)化學(xué)院, 福建 福州 350108;2.中國(guó)科學(xué)院 福建物質(zhì)結(jié)構(gòu)研究所, 福建 福州 350108)
隨著人工智能與深度學(xué)習(xí)的研究與發(fā)展,計(jì)算機(jī)視覺(jué)技術(shù)[1]已被廣泛應(yīng)用于自動(dòng)駕駛、全息投影[2]、計(jì)算光學(xué)成像[3]等各個(gè)領(lǐng)域,對(duì)于圖像的處理技術(shù)也提出了更高的要求。室外采集的雨天圖像會(huì)對(duì)計(jì)算機(jī)視覺(jué)任務(wù)造成不可控的惡劣影響,如準(zhǔn)確率降低、精度下降、網(wǎng)絡(luò)無(wú)法收斂等。因此,將采集到的雨天圖像進(jìn)行恢復(fù),去除雨痕得到干凈的無(wú)雨圖像是相當(dāng)有意義的。
現(xiàn)有的去雨方法往往只考慮到淺層單一尺度的雨圖特征,并未深入挖掘全局特征圖所包含的多尺度與精細(xì)化特征。本文提出了一種多級(jí)聯(lián)遞進(jìn)卷積結(jié)構(gòu),可以將原有卷積核提取到的特征圖進(jìn)行多層次分塊特征提取后聯(lián)合重組,分階段多次地提取特征信息,將原有特征進(jìn)行深層分離再提取后送入激活層。相比于普通卷積,該卷積結(jié)構(gòu)能夠在少量增加參數(shù)量的情況下有效地?cái)U(kuò)大卷積層的感受野,提升對(duì)圖像細(xì)節(jié)特征提取能力與全局特征分析能力。具體體現(xiàn)在雨圖中,則能夠更細(xì)致地捕捉到不同大小形狀的雨痕或雨紋,對(duì)其進(jìn)行剔除且能有效地保留原無(wú)雨圖片的背景細(xì)節(jié)。
此外,該結(jié)構(gòu)可以通過(guò)合理地調(diào)整通道數(shù)達(dá)到降低網(wǎng)絡(luò)參數(shù)量的目的,縮短了學(xué)習(xí)時(shí)間與學(xué)習(xí)成本,使網(wǎng)絡(luò)更加輕量化,可以便攜搭載到各種車(chē)載圖像處理設(shè)備中,有廣泛的應(yīng)用前景。本文構(gòu)建的去雨網(wǎng)絡(luò)模型在常用的主流雨天數(shù)據(jù)集與實(shí)驗(yàn)室自建的自動(dòng)駕駛雨天數(shù)據(jù)集中進(jìn)行定量和定性的評(píng)估,實(shí)驗(yàn)結(jié)果表明,本文算法的性能均優(yōu)于現(xiàn)有方法。
在2017年以前,去雨網(wǎng)絡(luò)的研究主要集中在基于模型分析的方法[4],這些方法主要是在雨圖模型上進(jìn)行的數(shù)學(xué)解析與重構(gòu),區(qū)分出雨紋圖和無(wú)雨背景,達(dá)到去雨目的。在該領(lǐng)域研究中,最早由Kang等人[5]提出了一種圖像分解的方法,通過(guò)對(duì)雨圖低頻/高頻分量的分解來(lái)去除雨痕。隨后,文獻(xiàn)[6]構(gòu)造了基于稀疏編碼的方法,通過(guò)用稀疏編碼判別式將雨層和無(wú)雨層分離。Li等人[7]提出了基于先驗(yàn)的高斯混合模型,通過(guò)結(jié)合先驗(yàn)知識(shí)更加有效地去除雨條紋。但基于模型分析的傳統(tǒng)去雨方法取得的去雨效果普遍較差,因此在2017年后,基于數(shù)據(jù)驅(qū)動(dòng)(深度學(xué)習(xí))的單幅圖像去雨的研究[4]受到了更多的關(guān)注。典型的方法包括深度卷積網(wǎng)絡(luò)、生成對(duì)抗網(wǎng)絡(luò)及半監(jiān)督/無(wú)監(jiān)督的方法。在深度卷積網(wǎng)絡(luò)方法中,文獻(xiàn)[8]搭建了一種多任務(wù)卷積網(wǎng)絡(luò)架構(gòu)學(xué)習(xí)得到二進(jìn)制的雨圖和干凈的背景來(lái)去除雨紋。Li等人[9]提出了一種采用擴(kuò)張卷積神經(jīng)的循環(huán)神經(jīng)網(wǎng)絡(luò),將去雨分為多個(gè)階段達(dá)到逐漸去除雨痕的效果。Ren等人[10]采用反復(fù)循環(huán)展開(kāi)淺層Resnet網(wǎng)絡(luò)及階段性逐步處理輸入和輸出結(jié)果來(lái)取得良好的去雨效果。Wang等人[11]提出了一種內(nèi)建多尺度連接塊,將其跳躍連接,以此增強(qiáng)網(wǎng)絡(luò)的特征提取能力來(lái)增強(qiáng)去雨能力。在生成對(duì)抗網(wǎng)絡(luò)的方法中,文獻(xiàn)[12]提出了通過(guò)多尺度的鑒別器應(yīng)用于對(duì)抗生成網(wǎng)絡(luò)來(lái)降低去雨天圖像與真實(shí)無(wú)雨圖像間的差異。在自監(jiān)督/無(wú)監(jiān)督的去雨方法中,Wei等人[13]最早用半監(jiān)督學(xué)習(xí)范式將輸入雨天圖像與預(yù)期無(wú)雨圖像之間的差異轉(zhuǎn)化為特定的參數(shù)化雨條紋,再將其去除達(dá)到去雨目的。Jin等人[14]率先提出了一種無(wú)監(jiān)督去雨網(wǎng)絡(luò),從未配對(duì)的雨天和干凈圖像中引入自監(jiān)督約束項(xiàng)來(lái)取得去雨效果。
雨圖的解構(gòu)方法主要包括線(xiàn)性疊加模型[7]與復(fù)合雨圖模型兩大類(lèi)。復(fù)合雨圖模型包括非線(xiàn)性復(fù)合雨紋模型[6]、大雨天氣模型[8]、周遭環(huán)境融合雨圖模型[15]、景深雨圖模型[16]等。復(fù)合雨圖模型雖可以對(duì)復(fù)雜情境下的雨圖進(jìn)行建模,但存在分析困難、參數(shù)復(fù)雜的缺點(diǎn),故不常運(yùn)用在去雨任務(wù)中。本文采用簡(jiǎn)單有效的線(xiàn)性疊加模型,該模型可以表示為:
其中:O為雨圖,B為干凈的無(wú)雨背景圖,S為雨痕圖。該建模假設(shè)圖像的雨痕條紋只是簡(jiǎn)單疊加于干凈的無(wú)雨背景圖上,忽略較大的雨痕、雨滴在背景圖上形成的雨霧積累效應(yīng)。
同一圖像不同的分辨率大小、不同的圖像細(xì)節(jié)層次、不同的尺度縮放、不同卷積層級(jí)下的特征圖都屬于多尺度空間的范疇。在多尺度空間下提取的特征包含更加豐富的視覺(jué)信息,所能獲取到的信息量更多?,F(xiàn)今,多尺度特征提取研究方法包含3類(lèi),一種是基于網(wǎng)絡(luò)整體結(jié)構(gòu)的層間特征信息整合方法,相關(guān)的研究文獻(xiàn)[17-20]基于此方法,通過(guò)不同類(lèi)型的卷積層間連接方式來(lái)增加網(wǎng)絡(luò)特征提取層的多尺度信息提取與整合能力。另一種是基于卷積結(jié)構(gòu)上的創(chuàng)新與改進(jìn)方法,文獻(xiàn)[21-25]通過(guò)構(gòu)建出一個(gè)新穎的卷積核模塊,擴(kuò)展原本普通特征提取層的卷積感受野,來(lái)取得一定的多尺度信息提取效果。文獻(xiàn)[26-27]則是綜合了上述兩種方法,同時(shí)對(duì)提取層結(jié)構(gòu)與網(wǎng)絡(luò)層間連接方式進(jìn)行改進(jìn),取得了一定的效果。
為了有效提取并利用特征圖中的多尺度信息,本文提出了一種多級(jí)聯(lián)遞進(jìn)卷積結(jié)構(gòu),即通過(guò)一種將通道分離后再進(jìn)行階梯化卷積并拼接的操作,利用該操作來(lái)優(yōu)化原本的全通道卷積運(yùn)算,挖掘出特征圖的深層次特征信息并在不同的通道中構(gòu)筑信息聯(lián)系。相比于普通的單層卷積方式,該結(jié)構(gòu)有效地?cái)U(kuò)大了感受野范圍,增加了多尺度特征信息的提取能力。另外,我們還進(jìn)一步提出了模型的輕量化改進(jìn)方法,可以在保證去雨能力的同時(shí),有效解決多尺度研究中存在的參數(shù)冗余與模型過(guò)大的缺點(diǎn)。
針對(duì)具體去雨任務(wù),雨點(diǎn)、雨線(xiàn)所體現(xiàn)出的形態(tài)特征通常是離散分布于圖片的多個(gè)區(qū)域且形狀大小均不一致的狀態(tài),此類(lèi)分布狀態(tài)就是一種多尺度的特征分布場(chǎng)景。普通的卷積層對(duì)于此種特征的捕捉能力相當(dāng)有限,一般的去雨網(wǎng)絡(luò)對(duì)該雨紋、雨痕的特征學(xué)習(xí)能力較差。因此,本文在去雨網(wǎng)絡(luò)中引入多級(jí)聯(lián)遞進(jìn)卷積結(jié)構(gòu),如圖1所示。它可以深入挖掘特征圖的細(xì)節(jié)信息,將多尺度空間所包含的特征信息通過(guò)多分支結(jié)構(gòu)分離提取再重組,從而細(xì)化每一分支提取細(xì)節(jié)特征的能力并加強(qiáng)通道間的特征信息融合能力,最后輸出完備的多尺度全局特征。正是通過(guò)多層次多尺度的細(xì)粒度特征提取,使我們能更為有效地捕捉到復(fù)雜雨痕特征,再將不同尺度下的雨紋特征融合提取,送入網(wǎng)絡(luò)中學(xué)習(xí)訓(xùn)練,最終訓(xùn)練得到了強(qiáng)泛化能力的去雨網(wǎng)絡(luò)。
圖1 多級(jí)聯(lián)遞進(jìn)卷積結(jié)構(gòu)Fig.1 Multi-cascade progressive convolution structure
在實(shí)際的特征提取過(guò)程中,定義輸入的圖片為X,首層升維卷積計(jì)算操作記為fupgrad。先通過(guò)一層1×1卷積將通道數(shù)由C擴(kuò)張成2C,進(jìn)行特征圖的維度增廣。該過(guò)程不改變?cè)刑卣鲌D的寬與高,僅對(duì)特征圖進(jìn)行升維操作。通過(guò)升維計(jì)算可以得到升維后的全局特征圖X1。
之后通過(guò)四層階梯型卷積結(jié)構(gòu),每層大小均為3×3的卷積核,通道數(shù)依次減半,逐層遞減,由上至下卷積計(jì)算記為fi,(i=1,2,3,4),輸入為Xi,輸出為Yi,可以得到Y(jié)i=fi(Xi)。隨后將得到的Yi進(jìn)行concat拼接操作,再通過(guò)一層1×1卷積進(jìn)行特征信息整合,輸出深層次細(xì)粒度特征提取后的特征圖Y,最終得到這一次特征提取的綜合結(jié)果。公式如式(2)所示:
在去雨網(wǎng)絡(luò)中,僅使用單個(gè)多級(jí)聯(lián)遞進(jìn)卷積結(jié)構(gòu)算子的特征分析能力較為有限,需要多層級(jí)串聯(lián)后,嵌入去雨骨干網(wǎng)絡(luò)當(dāng)中,達(dá)到提升去雨效果的目的,同時(shí)為了減輕網(wǎng)絡(luò)加深帶來(lái)的網(wǎng)絡(luò)退化效果,該算子在實(shí)際應(yīng)用時(shí),需要引入殘差連接來(lái)減輕網(wǎng)絡(luò)退化帶來(lái)的性能減弱。
此外,該算子的第一層1×1卷積核為通道數(shù)升維操作,是為了擴(kuò)大基礎(chǔ)特征圖所包含的可學(xué)習(xí)特征信息,以便能更好地進(jìn)行特征融合提取。若不進(jìn)行升維操作,會(huì)略微降低原有網(wǎng)絡(luò)效果,但卻能大幅減少原網(wǎng)絡(luò)中可學(xué)習(xí)的參數(shù)量,實(shí)現(xiàn)網(wǎng)絡(luò)輕量化的目的,方便搭載于各種簡(jiǎn)易智能平臺(tái)。輕量化結(jié)構(gòu)改進(jìn)示意圖如圖2所示。
圖2 參數(shù)輕量化的多級(jí)聯(lián)遞進(jìn)卷積結(jié)構(gòu)Fig.2 Multi-cascade progressive convolution structure with lightweight parameters
一般的網(wǎng)絡(luò)結(jié)構(gòu)的搭建常采用多模塊堆疊構(gòu)成。本文采用的網(wǎng)絡(luò)結(jié)構(gòu)不同于普通堆疊,而是一個(gè)主體多次循環(huán)的層次化遞進(jìn)循環(huán)網(wǎng)絡(luò)結(jié)構(gòu)。該網(wǎng)絡(luò)結(jié)構(gòu)由4部分構(gòu)成:首先該網(wǎng)絡(luò)的輸入由雨圖X與階段性去雨結(jié)果Y的張量化拼接構(gòu)成,第一層網(wǎng)絡(luò)為輸入層fin,包含一層卷積核大小為3×3的卷積層與一層ReLU激活層;第二層網(wǎng)絡(luò)為長(zhǎng)短期記憶(Long short-term memory,LSTM)[28]網(wǎng)絡(luò)層fre,該層用于解決網(wǎng)絡(luò)多次循環(huán)帶來(lái)的長(zhǎng)時(shí)依賴(lài)問(wèn)題,能夠有效地記憶輸入層fin獲取到的特征圖信息;第三層網(wǎng)絡(luò)為多級(jí)聯(lián)遞進(jìn)卷積結(jié)構(gòu)模塊fm,該模塊包括5個(gè)串行連接的多級(jí)聯(lián)遞進(jìn)卷積結(jié)構(gòu)算子,結(jié)構(gòu)內(nèi)通過(guò)殘差跳躍連接的方式來(lái)減少網(wǎng)絡(luò)加深帶來(lái)的退化效果;最后一層為輸出層fout,包含一層卷積核大小為3×3的卷積層,用于最后的圖片還原輸出,得到去雨后的圖像。我們將第t次循環(huán)階段記為St,則第t次循環(huán)可以表示為:
該網(wǎng)絡(luò)由如圖3所示的主體網(wǎng)絡(luò)結(jié)構(gòu)共循環(huán)6次得到,循環(huán)次數(shù)可以適當(dāng)增加或減少。本文將在5.4節(jié)中給出相應(yīng)的實(shí)驗(yàn)與測(cè)試,以此證明在循環(huán)次數(shù)達(dá)到6次時(shí),去雨網(wǎng)絡(luò)性能最優(yōu)。基于多級(jí)聯(lián)遞進(jìn)卷積結(jié)構(gòu)的去雨網(wǎng)絡(luò)最終全局示意圖如圖4所示。
圖3 漸進(jìn)循環(huán)圖像去雨網(wǎng)絡(luò)結(jié)構(gòu)示意圖Fig.3 Schematic diagram of progressive cycle image deraining network structure
圖4 基于多級(jí)聯(lián)遞進(jìn)卷積結(jié)構(gòu)的去雨網(wǎng)絡(luò)Fig.4 Rain removal network based on multi-cascade progressive convolution structure
為保證實(shí)驗(yàn)效果,所進(jìn)行的實(shí)驗(yàn)均為統(tǒng)一的實(shí)驗(yàn)環(huán)境,實(shí)驗(yàn)硬件環(huán)境與軟件環(huán)境如表1與表2所示。實(shí)驗(yàn)的網(wǎng)絡(luò)參數(shù)配置為:學(xué)習(xí)率初始預(yù)置為0.000 5;訓(xùn)練迭代次數(shù)為100;學(xué)習(xí)率分別在30、50、80次迭代時(shí)衰減學(xué)習(xí)率,衰減率γ=0.2。網(wǎng)絡(luò)優(yōu)化工具為適應(yīng)性矩陣估計(jì)算法(Adaptive moment estimation, Adam)。在數(shù)據(jù)處理方法上,我們將完整圖片裁剪為若干個(gè)100×100的補(bǔ)丁塊再送入網(wǎng)絡(luò)中進(jìn)行運(yùn)算,以提高網(wǎng)絡(luò)訓(xùn)練效率。
表1 實(shí)驗(yàn)硬件環(huán)境Tab.1 Experimental hardware environment
表2 實(shí)驗(yàn)軟件環(huán)境Tab.2 Experimental software environment
本文評(píng)價(jià)指標(biāo)是圖像去噪領(lǐng)域常采用的結(jié)構(gòu)相似度(Structural similarity, SSIM)[29]與峰值信噪比(Peak signal-to-noise ratio, PSNR)兩個(gè)指標(biāo),通過(guò)這兩項(xiàng)評(píng)價(jià)指標(biāo)可以有效地比較去雨圖像與真實(shí)圖像之間的差異大小并量化表示出來(lái)。
訓(xùn)練網(wǎng)絡(luò)所使用的損失函數(shù)為負(fù)結(jié)構(gòu)相似度(-SSIM),通過(guò)最小化損失函數(shù)來(lái)優(yōu)化網(wǎng)絡(luò)參數(shù),使去雨網(wǎng)絡(luò)的泛化能力達(dá)到最優(yōu)。損失函數(shù)可以表示為:
其中:Ig代表去雨圖像,Igt表示真實(shí)無(wú)雨圖像,μ為均值,σ為方差,c為常量。
受限于雨天數(shù)據(jù)集的獲取較為困難,目前廣泛采用人工合成的雨天圖像數(shù)據(jù)集。為了測(cè)試所提出方法的有效性,我們?cè)谌斯ず铣捎陥D數(shù)據(jù)集上進(jìn)行了廣泛的訓(xùn)練與測(cè)試,并與其他算法的去雨效果進(jìn)行評(píng)價(jià)指標(biāo)與可視化結(jié)果的直觀(guān)對(duì)比。實(shí)驗(yàn)所采用的數(shù)據(jù)集是Rain100H[8]、Rain100L[8]、Rain800[12]、BDD1000[30]數(shù)據(jù)集。其中Rain100H為人工合成大雨天氣數(shù)據(jù)集,采用了5種不同方向的復(fù)雜雨紋進(jìn)行合成,包括1 800張訓(xùn)練數(shù)據(jù)集與100張測(cè)試集。Rain100L為人工合成小雨天氣數(shù)據(jù)集,雨紋圖樣較為簡(jiǎn)單,僅包含單一方向的雨紋圖樣,包括200張訓(xùn)練集與100張測(cè)試集。Rain800數(shù)據(jù)集包含了大雨與小雨兩種天氣狀況,雨痕樣式較為復(fù)雜多樣,該數(shù)據(jù)集包含700張訓(xùn)練集與100張測(cè)試集。BDD1000為實(shí)驗(yàn)室自建自動(dòng)駕駛領(lǐng)域合成雨圖數(shù)據(jù)集,從BDD100K自動(dòng)駕駛數(shù)據(jù)集中選取了1 000張圖片合成而成,其中包含900張訓(xùn)練集與100張測(cè)試集。BDD1000數(shù)據(jù)集主要用于驗(yàn)證本文算法在自動(dòng)駕駛等實(shí)際應(yīng)用場(chǎng)景下的雨天圖像恢復(fù)能力,不同于前述3個(gè)數(shù)據(jù)集,該數(shù)據(jù)集有著更強(qiáng)的應(yīng)用指向性和探索性,對(duì)于今后的圖像去雨任務(wù)應(yīng)用研究有一定的開(kāi)創(chuàng)性與啟發(fā)性。
對(duì)比實(shí)驗(yàn)選取了以下6種先進(jìn)去雨方法:
(1) GMM[7]:基于傳統(tǒng)模型分析的方法提出的一種包含背景層與無(wú)雨層先驗(yàn)信息的高斯混合模型以適應(yīng)不同尺度的雨痕,更好地分離出雨紋遮擋與背景圖像。
(2) DDN[31]:基于殘差網(wǎng)絡(luò)提出的一種深度細(xì)節(jié)網(wǎng)絡(luò),通過(guò)聚焦高頻細(xì)節(jié)來(lái)使用先驗(yàn)圖像知識(shí),從而消除背景的干擾,更好地去除圖像中的雨點(diǎn)雨線(xiàn)。
(3) RESCAN[9]:采用擴(kuò)張卷積獲取更大的感受野,并將去雨任務(wù)劃分為多階段來(lái)去除。
(4) DCSFN[11]:提出了一種內(nèi)建多尺度連接塊,將其跳躍連接以增強(qiáng)不同尺度間的內(nèi)部特征聯(lián)系,提高去雨效果。
(5) PreNet[10]:提出了一個(gè)多階段的基線(xiàn)去雨模型,通過(guò)將每一階段的去雨輸出圖像與原始圖像拼接作為輸入,經(jīng)過(guò)多次循環(huán)階段性去雨。
(6) AID-DWT[32]:通過(guò)在小波空間中施加對(duì)抗損失來(lái)探索雨圖與真實(shí)圖像相關(guān)性的半監(jiān)督去雨方法。
方法1是基于傳統(tǒng)模型分析方法,其余均為基于深度卷積神經(jīng)網(wǎng)絡(luò)方法,用于對(duì)兩類(lèi)去雨方法取得的整體效果進(jìn)行直觀(guān)對(duì)比,最終實(shí)驗(yàn)結(jié)果如表3所示??梢暬Y(jié)果如圖5所示。
表3 人工合成雨天圖像數(shù)據(jù)集實(shí)驗(yàn)結(jié)果Tab.3 Experimental results of artificially synthesized rainy image dataset
圖5 人工合成雨天圖像數(shù)據(jù)集去雨實(shí)驗(yàn)可視化結(jié)果Fig.5 Visualization results of artificially synthesized rainy day image dataset for rain removal experiment
從表3實(shí)驗(yàn)結(jié)果可以看出,本文采用的方法僅在Rain100L數(shù)據(jù)集的SSIM指標(biāo)上略低于RESCAN,其他均取得最優(yōu)性能。在僅包含單一雨紋圖樣、去雨難度較低的Rain100L數(shù)據(jù)集上,PSNR達(dá)到了37.91 dB;在包含5種雨紋圖樣、去雨難度較高的Rain100H數(shù)據(jù)集上,PSNR達(dá)到了30.70 dB;在雨紋特征較為復(fù)雜的Rain800數(shù)據(jù)集上,PSNR仍能達(dá)到27.63 dB。總體來(lái)看,本文算法在Rain100H數(shù)據(jù)集上的優(yōu)勢(shì)最為明顯,相比于GMM方法,PSNR與SSIM指標(biāo)提升了16.44 dB與0.373,表明采用基于傳統(tǒng)模型分析方法的GMM方法已經(jīng)無(wú)法處理包含多種雨紋的復(fù)雜雨圖。而相比于采用基于深度卷積網(wǎng)絡(luò)的DDN、RESCAN、DCSFN、PreNet、AID-DWT方法,本文方法的PSNR分別提升了8.44,4.1,3.17,1.25,0.85 dB。實(shí)驗(yàn)結(jié)果表明,本文的去雨算法在深度卷積神經(jīng)網(wǎng)絡(luò)方法中表現(xiàn)優(yōu)異,在3個(gè)數(shù)據(jù)集上均有較好的完成度和精確度,去雨性能優(yōu)越。
從圖5的可視化結(jié)果來(lái)看,基于傳統(tǒng)圖像處理方式的去雨方法GMM并不能有效地去除較為復(fù)雜的雨紋,尤其是包含不同方向的大雨條紋圖樣,基本沒(méi)有完成去雨任務(wù)。而基于深度卷積神經(jīng)網(wǎng)絡(luò)的方法都能較好地完成去雨任務(wù)。DDN方法雖然去除了雨紋圖樣,但還原出來(lái)的無(wú)雨圖像較為模糊,有多處不清晰的斑塊。RESCAN方法還原的去雨圖像仍有較大的模糊化斑塊,未能很好地保留住真實(shí)圖像的原有細(xì)節(jié)。DCSFN方法的去雨效果尚可,去雨圖像已經(jīng)能夠還原出接近原始圖像的無(wú)雨圖效果,但是從圖片的局部放大展示上可以看到,該方法對(duì)于細(xì)節(jié)的還原上欠佳,會(huì)將原本圖像中的部分偏白色類(lèi)雨細(xì)節(jié)當(dāng)作實(shí)際雨紋進(jìn)行去除,造成細(xì)節(jié)失真。PreNet方法也能取得不錯(cuò)的去雨效果,但存在細(xì)節(jié)還原不夠到位的缺陷,會(huì)產(chǎn)生小范圍的圖像噪斑。AIDDWT方法存在的問(wèn)題則是在還原圖像時(shí),細(xì)節(jié)過(guò)平滑,導(dǎo)致圖像局部模糊化。本文方法注重于考慮雨天圖像多尺度下的細(xì)粒度特征信息,深入學(xué)習(xí)與整合不同尺度的雨紋特征,不僅很好地分離并去除了雨紋,還能夠有效地保留原始圖片中的絕大部分細(xì)節(jié),使之足夠逼近于真實(shí)的原始圖像,進(jìn)一步證明了本文方法的優(yōu)越性與可靠性。
除了人工合成雨天圖像數(shù)據(jù)集之外,為了驗(yàn)證在自動(dòng)駕駛領(lǐng)域?qū)嶋H應(yīng)用場(chǎng)景下的圖像去雨能力,我們?cè)贐DD1000數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)。
從表4的實(shí)驗(yàn)結(jié)果可以看到,本文方法在該數(shù)據(jù)集上仍能取得很好的效果。本文方法的PSNR分別比GMM、RESCAN、DCSFN、AID-DWT、PreNet的PSNR高出11.41,5.06,4.3,2.66,0.67 dB。在SSIM指標(biāo)上,除了基于傳統(tǒng)的GMM以外,其他4種基于神經(jīng)網(wǎng)絡(luò)的去雨方法的性能指標(biāo)均較為接近,但本文方法的SSIM值仍為最大值。
表4 自動(dòng)駕駛領(lǐng)域合成雨天圖像數(shù)據(jù)集實(shí)驗(yàn)結(jié)果Tab.4 Experimental results of synthetic rainy image datasets in the field of autonomous driving
從圖6的自動(dòng)駕駛方向合成雨圖數(shù)據(jù)集的可視化結(jié)果可以較為明顯地看出,GMM方法僅減弱了雨痕圖樣,但并未對(duì)其進(jìn)行有效去除,未達(dá)到去除雨痕的目的。RESCAN方法可以去除較大范圍的雨紋圖樣但恢復(fù)出的去雨圖像含有大范圍模糊化團(tuán)塊,且仍會(huì)留下雨痕,去雨精度不高。DCSFN與AID-DWT方法性能接近,都可以達(dá)到一定的去除雨紋的效果,但無(wú)法細(xì)致地去除微小雨痕,呈現(xiàn)在圖像上的仍然是大小不一致的淺白色雨霧塊。PreNet方法取得了良好的效果,但在還原后的圖片上會(huì)存在小部分細(xì)節(jié)失真的情況,且圖片部分明暗程度還原效果不佳。本文方法取得的最終效果相比前述方法,由于運(yùn)用了多級(jí)聯(lián)遞進(jìn)卷積結(jié)構(gòu),可以更加精準(zhǔn)地識(shí)別不同大小的雨紋、雨痕、雨霧,使得還原出的無(wú)雨圖像更加真實(shí)。尤其在自動(dòng)駕駛圖像這類(lèi)對(duì)采集圖片準(zhǔn)確性與圖片真實(shí)性要求較為嚴(yán)苛的場(chǎng)景,本文方法仍有顯著的效果。
圖6 自動(dòng)駕駛領(lǐng)域合成雨天圖像數(shù)據(jù)集去雨實(shí)驗(yàn)可視化結(jié)果Fig.6 Visualization results of rain removal experiments on synthetic rainy image datasets in the field of autonomous driving
除了上述展示的合成雨圖可視化結(jié)果,為了驗(yàn)證在真實(shí)雨天圖像中的去雨效果,我們將本文方法在Rain100H數(shù)據(jù)集上進(jìn)行訓(xùn)練并保存參數(shù),隨后在部分真實(shí)雨天圖像中進(jìn)行去雨的實(shí)際性能測(cè)試,最終得到了如圖7所示的真實(shí)雨天圖像去雨可視化結(jié)果。但由于真實(shí)雨天圖像不存在標(biāo)簽圖像的對(duì)照,我們采用無(wú)參考圖像評(píng)價(jià)指標(biāo)——自然圖像質(zhì)量評(píng)估[33](Natural Image Quality Evaluator,NIQE)對(duì)真實(shí)雨圖的去雨效果做出評(píng)分,該值大小為0~100,數(shù)值越小代表圖像質(zhì)量越好。
圖7 真實(shí)雨天圖像去雨可視化結(jié)果Fig.7 Real rainy image derained visualization results
從圖7的可視化結(jié)果可以看出,本文方法在真實(shí)雨圖數(shù)據(jù)上能夠有效地完成去雨任務(wù),并在很大程度上保證了圖像細(xì)節(jié)紋理不存在失真的情況。而其他去雨方法或多或少地存在去雨任務(wù)完成度欠佳、圖像細(xì)節(jié)失真、去雨圖像紋理過(guò)平滑、圖像成像模糊等缺陷。而從表5的真實(shí)圖像的NIQE評(píng)分結(jié)果可以看出,本文方法在3種真實(shí)雨圖下的評(píng)分值均為最小,表明圖像質(zhì)量最好,優(yōu)于其他去雨方法,也印證了本文算法去雨性能的有效性與優(yōu)越性。
表5 真實(shí)雨天圖像的NIQE評(píng)估Tab.5 NIQE evaluation on real rainy images
在如圖4所示的網(wǎng)絡(luò)結(jié)構(gòu)當(dāng)中,可以看到存在一個(gè)循環(huán)結(jié)構(gòu),該結(jié)構(gòu)用于實(shí)現(xiàn)階段性去雨效果。為了驗(yàn)證多次循環(huán)對(duì)網(wǎng)絡(luò)泛化能力的實(shí)際影響,令網(wǎng)絡(luò)循環(huán)次數(shù)為t,分別選取t值為1~8時(shí),在Rain100H、Rain100L、Rain800數(shù)據(jù)集上訓(xùn)練并測(cè)試,最終得到了多組PSNR指標(biāo)與SSIM指標(biāo)數(shù)據(jù),并繪制出了相應(yīng)的折線(xiàn)圖,如圖8和圖9所示。由折線(xiàn)圖可知,當(dāng)t≤5時(shí),本文算法在PSNR指標(biāo)與SSIM指標(biāo)呈上升趨勢(shì),但并未達(dá)到最優(yōu)性能,仍有性能提升空間。當(dāng)t=6時(shí),兩項(xiàng)指標(biāo)達(dá)到最大值,且在后續(xù)繼續(xù)增大t值時(shí),兩項(xiàng)指標(biāo)并無(wú)明顯提升。循環(huán)次數(shù)的增加相當(dāng)于增大了網(wǎng)絡(luò)模型的復(fù)雜度,導(dǎo)致網(wǎng)絡(luò)加深,而訓(xùn)練集中的樣本數(shù)恒定,這會(huì)使網(wǎng)絡(luò)訓(xùn)練過(guò)程中產(chǎn)生過(guò)擬合現(xiàn)象,出現(xiàn)網(wǎng)絡(luò)退化,進(jìn)而造成測(cè)試集上的數(shù)據(jù)指標(biāo)偏低。因此,為了保證實(shí)際去雨任務(wù)的效果,綜合實(shí)驗(yàn)結(jié)果,選取網(wǎng)絡(luò)循環(huán)次數(shù)t=6時(shí)最為妥當(dāng)。
圖8 網(wǎng)絡(luò)不同循環(huán)次數(shù)實(shí)驗(yàn)結(jié)果(PSNR指標(biāo))折線(xiàn)圖Fig.8 Line chart of the experimental results (PSNR index)of different cycle times of the network
圖9 網(wǎng)絡(luò)不同循環(huán)次數(shù)實(shí)驗(yàn)結(jié)果(SSIM指標(biāo))折線(xiàn)圖Fig.9 Line chart of the experimental results (SSIM index)of different cycle times of the network
為了探究采用不同多級(jí)聯(lián)遞進(jìn)卷積結(jié)構(gòu)的串聯(lián)層數(shù)對(duì)網(wǎng)絡(luò)實(shí)際效果產(chǎn)生的影響,我們構(gòu)造了不同串聯(lián)層級(jí)數(shù)量的算子,在同等環(huán)境下進(jìn)行實(shí)驗(yàn)并與只采用普通卷積結(jié)構(gòu)的基準(zhǔn)方法對(duì)比。結(jié)構(gòu)改變示意如圖10所示,其中結(jié)構(gòu)A為本文默認(rèn)的四層級(jí)結(jié)構(gòu),結(jié)構(gòu)B為減少2層串聯(lián)層數(shù)的二層級(jí)結(jié)構(gòu),結(jié)構(gòu)C為三層級(jí)結(jié)構(gòu),結(jié)構(gòu)D為增加一級(jí)串聯(lián)層數(shù)的五層級(jí)結(jié)構(gòu)。消融實(shí)驗(yàn)結(jié)果如表6所示。
表6 不同結(jié)構(gòu)分支數(shù)的消融實(shí)驗(yàn)結(jié)果Tab.6 Ablation experiment results of different number of structural branches
圖10 消融實(shí)驗(yàn)結(jié)構(gòu)示意圖Fig.10 Schematic diagram of ablation experiment structures
從算子串聯(lián)層級(jí)數(shù)量的消融實(shí)驗(yàn)結(jié)果可以看出,4種結(jié)構(gòu)的實(shí)驗(yàn)效果均優(yōu)于基準(zhǔn)方法,證明了本文算子對(duì)于去雨任務(wù)的有效提升,但不同的串聯(lián)層數(shù)對(duì)算子的實(shí)際效果會(huì)產(chǎn)生一定的影響。采用結(jié)構(gòu)B與結(jié)構(gòu)C的相關(guān)實(shí)驗(yàn)數(shù)據(jù)表明,較少的串聯(lián)層數(shù)會(huì)影響算子的多尺度特征捕捉能力,進(jìn)而影響網(wǎng)絡(luò)的泛化能力。在算子結(jié)構(gòu)當(dāng)中,每一層的串聯(lián)卷積都作用于不同的通道數(shù)下,因此卷積核在不同層級(jí)所學(xué)習(xí)到的雨紋特征是存在差異的,深層次卷積學(xué)習(xí)到的雨紋特征是細(xì)粒度的,淺層次卷積則無(wú)法學(xué)習(xí)到此種特征。因此減少層數(shù)會(huì)降低算子的深層雨紋特征提取能力,體現(xiàn)在實(shí)驗(yàn)數(shù)據(jù)上就是相較于結(jié)構(gòu)A的PSNR和SSIM兩項(xiàng)指標(biāo)都較低,去雨任務(wù)完成度欠佳。但過(guò)多的層數(shù)也并不會(huì)為算子帶來(lái)巨量的性能提升,結(jié)構(gòu)D的相關(guān)實(shí)驗(yàn)數(shù)據(jù)也說(shuō)明了此點(diǎn)。在增加一層卷積串聯(lián)層數(shù)后,雖然理論上會(huì)進(jìn)一步提升算子的深層特征捕捉能力,但在實(shí)際的去雨任務(wù)當(dāng)中,這種操作會(huì)增加算法的復(fù)雜程度,且由于訓(xùn)練集樣本數(shù)量較少,會(huì)使得網(wǎng)絡(luò)訓(xùn)練過(guò)擬合,從而造成測(cè)試集的指標(biāo)下降。同時(shí),由于串聯(lián)層數(shù)的增加,深層卷積核特征通道數(shù)存在逐級(jí)遞減的特性,層數(shù)越多則卷積核輸入通道數(shù)就越少,深層卷積核所接收學(xué)習(xí)到的雨紋特征也就較為有限,會(huì)產(chǎn)生卷積核冗余,不會(huì)為算子帶來(lái)更好的雨紋特征捕捉能力。
綜上所述,若采用二層級(jí)與三層級(jí)結(jié)構(gòu),算子的多尺度特征捕捉能力未被完全發(fā)掘,仍有些許提升空間。而進(jìn)一步增加串聯(lián)層數(shù),會(huì)使得深層卷積核冗余,在實(shí)際訓(xùn)練中的學(xué)習(xí)能力較為有限,且多層級(jí)結(jié)構(gòu)也會(huì)導(dǎo)致算法過(guò)于復(fù)雜,存在訓(xùn)練過(guò)擬合風(fēng)險(xiǎn),造成性能下降。因此,采用四層級(jí)結(jié)構(gòu)不僅可以完全發(fā)揮出算子的多尺度雨紋特征捕捉能力,還可以保證算法復(fù)雜度適中,不存在過(guò)擬合風(fēng)險(xiǎn),能夠最大程度地保證去雨效果,使恢復(fù)出的無(wú)雨圖像更加清晰真實(shí)。
將圖4中的多級(jí)聯(lián)遞進(jìn)卷積結(jié)構(gòu)替換為普通卷積稱(chēng)為基準(zhǔn)方法,替換為如圖2所示的參數(shù)輕量化的多級(jí)聯(lián)遞進(jìn)卷積結(jié)構(gòu)稱(chēng)為輕量化改進(jìn)的方法,在常用人工合成雨圖數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)并對(duì)比,實(shí)驗(yàn)結(jié)果數(shù)據(jù)如表7所示。在進(jìn)行了參數(shù)輕量化的結(jié)構(gòu)改進(jìn)后,相比于采用圖1所示的原結(jié)構(gòu)方法,在3個(gè)數(shù)據(jù)集上取得的PSNR和SSIM兩項(xiàng)指標(biāo)結(jié)果有所下降,但相比于基準(zhǔn)方法,在Rain100H、Rain100L、Rain800數(shù)據(jù)集的PSNR指標(biāo)仍保持了0.45,0.38,0.45 dB的提升。這證明改進(jìn)后的輕量化結(jié)構(gòu)對(duì)于基準(zhǔn)方法來(lái)說(shuō)會(huì)有小幅度提升,仍能保證網(wǎng)絡(luò)的泛化能力及雨圖恢復(fù)效果。在如表8所示的參數(shù)量與算法復(fù)雜度數(shù)據(jù)對(duì)比中,輕量化改進(jìn)的方法相比于原基準(zhǔn)方法,網(wǎng)絡(luò)參數(shù)量降低了17.9%。在算法復(fù)雜度上,我們通過(guò)浮點(diǎn)運(yùn)算數(shù)(Floating point operations, FLOPs)來(lái)衡量效果,改進(jìn)后的方法相較于基準(zhǔn)方法,浮點(diǎn)運(yùn)算數(shù)下降了0.3 GFLOPs,降幅為17.75%。綜上所述,輕量化改進(jìn)后的模型有效壓縮了網(wǎng)絡(luò)參數(shù),不僅保證了去雨效果,還擁有更少的參數(shù)與更低的算法復(fù)雜度,這也意味著模型更小、計(jì)算量更少,在實(shí)際的網(wǎng)絡(luò)部署中,網(wǎng)絡(luò)模型的空間需求就更少,有著更好的可應(yīng)用前景。
表7 輕量化結(jié)構(gòu)模型實(shí)驗(yàn)效果Tab.7 Lightweight structure model experimental results
表8 輕量化結(jié)構(gòu)模型參數(shù)量與算法復(fù)雜度Tab.8 Lightweight structure model parameter quantity and algorithm complexity
針對(duì)雨天圖像中雨紋多尺度場(chǎng)景下去雨效果欠佳的情況,本文提出了一種多級(jí)聯(lián)遞進(jìn)卷積結(jié)構(gòu),將其構(gòu)建成一個(gè)整體的模塊化算子,通過(guò)該算子強(qiáng)化對(duì)圖像中來(lái)自不同方向、不同大小的雨紋細(xì)節(jié)捕捉能力,加強(qiáng)特征通道信息間的聯(lián)系,最終構(gòu)筑出完備的全局特征信息圖,以此有效擴(kuò)大網(wǎng)絡(luò)特征提取層的感受野的范圍。將該算子殘差化連接后內(nèi)嵌到漸進(jìn)循環(huán)去雨網(wǎng)絡(luò)結(jié)構(gòu)中,通過(guò)多次循環(huán),分階段層次化地提取雨紋特征并對(duì)其進(jìn)行去除,逐步達(dá)到恢復(fù)出真實(shí)無(wú)雨圖像的目的。本文提出的多級(jí)聯(lián)遞進(jìn)卷積結(jié)構(gòu)與輕量化改進(jìn)結(jié)構(gòu)分別在常用雨天數(shù)據(jù)集與自動(dòng)駕駛方向雨天數(shù)據(jù)集進(jìn)行訓(xùn)練與測(cè)試,并通過(guò)量化指標(biāo)與可視化結(jié)果的觀(guān)察與評(píng)判。本文算法的測(cè)試集PSNR值分別達(dá)到了30.70,37.91,27.63,35.74 dB,SSIM值分別達(dá)到了0.914,0.980,0.894,0.977,綜合指標(biāo)結(jié)果均優(yōu)于現(xiàn)有方法。同時(shí),在可視化結(jié)果與真實(shí)去雨效果展示中,人體視覺(jué)感受與NIQE的評(píng)估結(jié)果也證明了本文結(jié)構(gòu)改進(jìn)對(duì)圖像去雨任務(wù)的有效性。但本文針對(duì)輕量化改進(jìn)結(jié)構(gòu)的實(shí)驗(yàn)與研究以及自動(dòng)駕駛領(lǐng)域數(shù)據(jù)集的擴(kuò)展性探索還需要完善,因此在后續(xù)的工作中,可將輕量化去雨算法在實(shí)際場(chǎng)景中的應(yīng)用及部署可行性探究作為本文未來(lái)的研究方向。