跨尺度注意力融合的單幅圖像去雨

葉宇超，陳 瑩

江南大學(xué)，輕工過程先進控制教育部重點實驗室，江蘇 無錫 214222

1 引言

降雨天氣獲取到的圖片存在著細節(jié)丟失、紋理模糊、對比度下降等問題，不利于圖像特征提取和辨識，影響了后續(xù)戶外計算機視覺系統(tǒng)的可靠性和準(zhǔn)確性。因此，圖像去雨算法具有重要的研究意義和廣泛的應(yīng)用前景。現(xiàn)有的圖像去雨算法主要分為基于視頻的去雨算法和單幅圖像去雨算法。單幅圖像去雨算法由于缺少時序信息，相比基于視頻的算法去雨難度更大。

一些早期的工作大多是基于圖像先驗的方法實現(xiàn)單幅圖像去雨。Kang[1]等人通過字典學(xué)習(xí)和稀疏編碼的方法將高頻部分中雨紋和非雨成分分離進行去雨。Kim 等人[2]使用自適應(yīng)的非均值濾波器來獲取無雨圖像。Li[3]等人運用高斯混合模型構(gòu)建先驗信息，將背景層和雨紋層通過預(yù)先設(shè)定的約束進行分離。以上的傳統(tǒng)方法受到雨紋復(fù)雜性和背景圖層多樣性的影響，無法徹底去除雨紋并且生成的圖片質(zhì)量較差。

近年來，隨著深度學(xué)習(xí)在計算機視覺領(lǐng)域的發(fā)展和應(yīng)用，基于卷積神經(jīng)網(wǎng)絡(luò)的單幅圖像去雨算法取得了較大的進展。Eigen 等人[4]的工作首次將卷積神經(jīng)網(wǎng)絡(luò)運用到單幅圖像去雨中去。Fu 等人[5]提出了一種深度細節(jié)網(wǎng)絡(luò)，圖片的高頻細節(jié)被引導(dǎo)濾波分離，然后利用深度殘差網(wǎng)絡(luò)將其映射到雨紋層，在高層的細節(jié)中去除雨紋。Zhang 等人[6]通過設(shè)計雨量密度信息獲取網(wǎng)絡(luò)，將雨量密度標(biāo)簽作為指導(dǎo)更加有效地去除圖像雨紋。Ren 等人[7]基于殘差網(wǎng)絡(luò)設(shè)計了由簡單的網(wǎng)絡(luò)結(jié)構(gòu)組成的漸進循環(huán)網(wǎng)絡(luò)。Qian 等人[8]設(shè)計了生成對抗網(wǎng)絡(luò)，并且在生成器中結(jié)合注意力機制，將注意力圖和輸入圖像一起應(yīng)用生成無雨圖像。Wei 等人[9]將CycleGAN 的循環(huán)一致性運用到圖像去雨領(lǐng)域，通過互補的轉(zhuǎn)換過程增強了模型的一致性和穩(wěn)定性，并首次實現(xiàn)了無監(jiān)督去雨任務(wù)。Huang 等人[10]提出了一種有效的半監(jiān)督圖像去雨方法，將有監(jiān)督與無監(jiān)督數(shù)據(jù)進行記憶存儲，并將其用于遷移學(xué)習(xí)的過程中，取得了較好的去雨性能。

以上這些方法都將去雨任務(wù)放在單尺度的網(wǎng)絡(luò)中實現(xiàn)。然而，有雨圖像的雨紋復(fù)雜性和背景多樣性導(dǎo)致單尺度網(wǎng)絡(luò)很難兼顧清雨的徹底性和圖片的高質(zhì)量，因此很多研究者設(shè)計了多尺度的網(wǎng)絡(luò)結(jié)構(gòu)用于圖像去雨。Yang 等人[11]運用空洞卷積獲取不同尺度的感受野，構(gòu)造了多通道單幅圖像去雨網(wǎng)絡(luò)，通過閉環(huán)反饋的方式多階段去除雨紋。但該方法使用了固定的權(quán)重和簡單的融合策略，未考慮不同尺度特征下在不同場景的重要性和貢獻度，影響了去雨效果的平衡性和穩(wěn)定性。Fu 等人[12]利用輕量級拉普拉斯金字塔網(wǎng)絡(luò)獲取不同尺度中的特征信息，構(gòu)建遞歸的殘差網(wǎng)絡(luò)快速去除雨紋。該模型雖然在參數(shù)量和計算復(fù)雜度上具有優(yōu)勢，但是去雨性能一般，無法徹底地去除圖像中的雨線。Jiang 等人[13]提出一種多尺度漸進融合網(wǎng)絡(luò)，通過高斯核進行下采樣構(gòu)建高斯金字塔結(jié)構(gòu)，然后進行特征提取和融合，實現(xiàn)去雨任務(wù)。然而該方法并未充分考慮不同尺度之間的信息關(guān)聯(lián)性，導(dǎo)致了特征的重復(fù)和冗余，影響了去雨效果的提升。Wang 等人[14]通過將U-Net 中的卷積層用Transformer 代替，提出了Uformer 結(jié)構(gòu)，提升了模型捕獲全局依賴關(guān)系的能力，首次將Transformer 引入圖像去雨領(lǐng)域，展現(xiàn)了其在該任務(wù)上的潛力。但由于Transformer 通?；诓樵?密匙(query-key)獲取標(biāo)記信息(tokens)來對注意力關(guān)系來聚合特征，標(biāo)記信息不匹配將會干擾后續(xù)的圖像恢復(fù)清晰度[15]。盡管多數(shù)多尺度去雨算法都取得了優(yōu)秀的去雨效果，但是仍存在許多問題：1)直接進行跨尺度之間的信息融合，忽略不同尺度信息之間的聯(lián)系，會導(dǎo)致背景細節(jié)丟失；2)低尺度信息在上采樣過程易導(dǎo)致混疊效應(yīng)[16]，圖像會發(fā)生失真；3)每個尺度特征的重要性不盡相同，如何將其進行融合，保證信息的利用率的同時防止多余信息冗余，也是研究者們需要關(guān)注的問題。

綜上，本文提出了一種基于跨尺度注意力融合的單幅圖像去雨算法 (multi-scale attention fusion network，MSAFNet)，針對圖像中在空中的動態(tài)雨線以及附著在物體表面上的雨滴及雨紋有著顯著的去除效果。為了獲取不同尺度信息，整個去雨網(wǎng)絡(luò)由多個子網(wǎng)構(gòu)成。子去雨網(wǎng)絡(luò)由跨尺度特征提取模塊通過稠密連接方式構(gòu)成，將提取到的淺層特征傳遞至深層，實現(xiàn)特征的高效利用，防止淺層特征在網(wǎng)絡(luò)加深的過程中被遺忘?？绯叨忍卣魈崛∧K利用跨尺度融合注意力，加強了相鄰尺度信息之間的聯(lián)系，并對不同尺度的特征進行權(quán)重融合。

2 本文方法

本節(jié)主要介紹去雨網(wǎng)絡(luò)及特征提取子網(wǎng)的結(jié)構(gòu)?？绯叨热诤献⒁饬ψ鳛椴煌叨戎g的信息聯(lián)結(jié)模塊，其工作原理和結(jié)構(gòu)也會被著重介紹。

2.1 網(wǎng)絡(luò)結(jié)構(gòu)

本文提出的基于跨尺度注意力融合的單幅圖像去雨算法采用并行式的特征提取、融合結(jié)構(gòu)，能夠最大程度提取不同尺度上的雨紋信息，保留圖片細節(jié)的同時對不同程度的雨紋進行去除。該網(wǎng)絡(luò)基于跨尺度特征提取模塊，可以有效地提取三個尺度上的特征信息。針對已有的多尺度去雨網(wǎng)絡(luò)的不足，進行了如下設(shè)計：為了解決忽略尺度相關(guān)性而導(dǎo)致的圖像退化問題，該模塊中用于提取不同分辨率信息的卷積以跨尺度方式連接，增強了在不同分辨率下信息的關(guān)聯(lián)?？绯叨冗B接中添加的注意力模塊用于增強相鄰尺度之間的特征傳播，通過權(quán)重融合的方式實現(xiàn)了跨不同分辨率級別的信息互補，減少冗余信息對去雨結(jié)果的影響。為了解決上采樣操作所產(chǎn)生的圖像退化問題，跨尺度融合注意力以高分辨率信息為主導(dǎo)生成融合特征，防止混疊效應(yīng)的產(chǎn)生影響圖片質(zhì)量。

所提出的整體網(wǎng)絡(luò)結(jié)構(gòu)圖如圖1 所示。以池化層將輸入圖片進行下采樣能夠迅速擴大感受野，相較于其他下采樣方式網(wǎng)絡(luò)參數(shù)更少。不同分辨率的池化特征送入并行式特征提取子網(wǎng)絡(luò)，該子網(wǎng)獲取不同分辨率下的雨紋以及背景信息。每個相鄰子網(wǎng)輸出的特征將進入跨尺度融合注意力模塊，低分辨率的特征將對高分辨率特征進行細節(jié)補償，將權(quán)重系數(shù)賦予高分辨率特征，避免了特征之間直接跨尺度融合導(dǎo)致的混疊效應(yīng)。同時，跨尺度融合注意力模塊降低了冗余信息對去雨效果的影響，提高了網(wǎng)絡(luò)信息流通效率。相鄰子網(wǎng)之間的輸出將由跨尺度融合注意力模塊(multiscale fusion attention，MFA)進行細節(jié)補償，由于跨尺度融合注意力模塊輸出的信息尺度不一，需要通過上采樣將特征統(tǒng)一至統(tǒng)一分辨率，上采樣操作采用最近鄰插值模式，相比其他上采樣模式速度更快，在輸入圖像中找到最近的像素值并將其作為輸出的像素值?？绯叨热诤献⒁饬敵龅亩嗤ǖ捞卣鲗⑼ㄟ^矩陣拼接、融合的方式供后續(xù)經(jīng)過卷積層降維成三通道的特征圖，獲取最終的雨紋圖像D，如式(1)所示：

圖1 網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Network structure

其中：C表示將不同尺度的特征圖在通道維度上拼接，F(xiàn)表示將拼接后的特征基于通道維度融合并降維，U2代表系數(shù)為2 的上采樣，代表在尺度大小上MFA 的輸出。

最后的清晰無雨圖O由輸入的帶雨圖像X與特征圖D通過元素相減的方式獲取。操作減去相同分辨率上兩個圖像對應(yīng)像素之間的值，O圖中原本雨線位置依然存在圖像像素值，避免了圖像引入額外空洞。

2.2 跨尺度融合注意力(MFA)

通過池化操作擴大感受野可以顯著減輕網(wǎng)絡(luò)負(fù)擔(dān)，降低輸入圖片的特征尺寸，但是會導(dǎo)致圖片信息丟失，提取的特征表征能力變差[17]。為了提升模型對圖像信息的理解和利用率以及所提取特征的質(zhì)量，許多圖像處理任務(wù)引入了注意力機制[18-19]。在本文所提出的去雨網(wǎng)絡(luò)中，由相鄰的特征提取子網(wǎng)(subnet)輸出的特征將通過跨尺度融合注意力模塊相連。具有更豐富信息的特征將會被給予更大的權(quán)重系數(shù)α，可以有效地對不同尺度下的去雨結(jié)果進行信息補償。MFA 的結(jié)構(gòu)如圖2 所示。g由 1/(2×k)尺度特征提取子網(wǎng)絡(luò)輸出的特征經(jīng)過上采樣所得到，x代表在 1/k尺度上特征提取子網(wǎng)絡(luò)輸出的特征，k為子網(wǎng)尺度縮放系數(shù)，K為網(wǎng)絡(luò)中子網(wǎng)的數(shù)量，k=1,2,4,...,2K-1，以本文的去雨網(wǎng)絡(luò)為例，三個子網(wǎng)提取的分別為1，1/2 和 1/4尺度上的信息。g與x通過元素相加再線性激活的方式，可以強化特征圖對雨紋的檢索能力，去除低分辨率通道中的冗余信息，如公式(3)所示：

圖2 MFA 結(jié)構(gòu)Fig.2 Structure of MFA

其中：σ1是ReLU 函數(shù)，W代表卷積和歸一化操作，其卷積核大小由輸入MFA 的特征維度決定。bθ為對應(yīng)卷積Wθ的偏置項，以增強其特征表達能力。Wg和Wx的作用是將輸入的特征圖g,x進行卷積操作并通過批歸一化層進行歸一化處理，以增加模型的穩(wěn)定性和收斂速度。由于經(jīng)過歸一化處理后的特征不需要額外的偏置項，且為保證模型輕量化，Wg和Wx在此處不引用偏置項。Wθ層主要將相加后的特征進行通道降維，將通道數(shù)減少為1 之后獲取與輸入特征圖相同尺寸的權(quán)重矩陣，并經(jīng)過Sigmoid 函數(shù)將權(quán)重值的范圍限制在0 到1 之間，這樣可以得到一個像素級別的權(quán)重矩陣，用于控制不同位置的特征在加權(quán)融合中的貢獻程度。

經(jīng)過注意力模塊融合了 1/k與 1/(2×k)尺度信息的特征用表示，通過Sigmoid 激活獲取權(quán)重系數(shù)通過與相乘可以得到來自低分辨率特征的信息補償，優(yōu)化高分辨率通道上的特征，用公式表示如下：

式中：σ2為 Sigmoid 函數(shù)，x為 1/k尺度上特征提取子網(wǎng)絡(luò)的輸出，代表在 1/k尺度上經(jīng)過了跨尺度融合注意力之后輸出的特征，MFA 的偽代碼如下。

為了體現(xiàn)多尺度特征融合的必要性，將跨尺度融合注意力中的輸入與輸出特征進行可視化分析。從圖3 中可以看出，輸入至MFA 中的高分辨率特征x更關(guān)注圖片中的雨線部分，注重圖片的全局信息；經(jīng)過上采樣后的低分辨率特征g關(guān)注圖片中物體的輪廓信息，注意圖片中的細節(jié)表達。不同尺度的信息幫助MFA 強化對圖片的上下文理解，更好地構(gòu)建圖像中不同物體與結(jié)構(gòu)之間的關(guān)系，提取圖片中的語義信息，從而解耦雨紋層與背景層。MFA 中所獲取的權(quán)重系數(shù)作為尺度融合的依據(jù)，優(yōu)化高分辨率特征x進一步提取圖片中的雨紋信息，輸出最終融合特征。

圖3 特征可視化Fig.3 Visualization of features

2.3 特征提取子網(wǎng)絡(luò)

并行結(jié)構(gòu)子網(wǎng)用于提取不同分辨率下的雨紋信息，子網(wǎng)所提取特征的質(zhì)量決定了生成圖片的去雨效果。本節(jié)主要介紹圖1 中的特征提取子網(wǎng)絡(luò)的結(jié)構(gòu)以及其內(nèi)部組成模塊。

2.3.1 網(wǎng)絡(luò)結(jié)構(gòu)

特征提取子網(wǎng)絡(luò)以跨尺度特征提取模塊(multiscale feature extraction block，MFEB)為核心，以稠密連接方式[20]構(gòu)成了對稱式的編碼器-解碼器結(jié)構(gòu)，編碼器和解碼器之間通過跳躍連接完成子網(wǎng)搭建。網(wǎng)絡(luò)的結(jié)構(gòu)圖如圖4 所示。

圖4 特征提取子網(wǎng)網(wǎng)絡(luò)結(jié)構(gòu)Fig.4 Feature extraction subnet network structure

稠密連接網(wǎng)絡(luò)通過將每一層與之前所有層在特征維度上連接，使得特征的復(fù)用率最大化，因此不管是在前向傳播或者是后向傳播，都可以使信息和梯度在整個網(wǎng)絡(luò)中保持更好的流動性，編碼器的數(shù)學(xué)公式可以表示為

其中：F 和 C的操作含義和上一節(jié)中的保持一致，L代表特征提取子網(wǎng)中MFEB 的數(shù)量，T代表MFEB中進行的操作，代表在第l層編碼器中MFEB 的輸出。解碼器的結(jié)構(gòu)和編碼器完全對稱，為的是讓它們之間進行一次跳躍連接。編碼器和解碼器之間采用跳躍連接的方式來融合兩個過程中對應(yīng)的特征圖，可以充分利用淺層特征及上下文信息，并對雨紋特征的偏移量進行修正，提升模型的去雨效果。解碼器的數(shù)學(xué)公式可以表示為：

2.3.2 跨尺度特征提取模塊(MFEB)

盡管多尺度特征提取的方法被廣泛地運用在一系列圖像處理問題中[21]，但是大多數(shù)方法都忽略了不同尺度特征之間的信息差異，直接進行多尺度的信息融合可能會導(dǎo)致去雨結(jié)果存在一系列問題：不同尺度的信息具有不同的重要性和貢獻度，忽視差異可能導(dǎo)致部分重要信息被忽略和丟失，影響最終結(jié)果的準(zhǔn)確性和完整性；不同尺度的信息存在著細節(jié)差異或者噪聲，直接融合易導(dǎo)致圖片質(zhì)量下降；低分辨率的信息通過上采樣與高分辨率信息融合易導(dǎo)致混疊效應(yīng)的產(chǎn)生，致使圖片發(fā)生模糊和失真；不平衡的權(quán)重分配導(dǎo)致某些尺度的信息被過分強調(diào)，而其他尺度的信息卻被忽略，最終影響去雨結(jié)果。為解決上述問題，本文設(shè)計了跨尺度特征提取模塊（圖5），該模塊為上節(jié)中特征提取子網(wǎng)的基礎(chǔ)組成模塊，可更有效地利用深層雨紋特征信息，對特征進行逐尺度的細節(jié)補償，上采樣后的特征引導(dǎo)網(wǎng)絡(luò)獲取高分辨率信息，降低混疊效應(yīng)對圖像質(zhì)量的影響。

圖5 跨尺度特征提取模塊結(jié)構(gòu)Fig.5 Multi-scale feature extraction block structure

如圖5 所示，輸入的特征圖x分別經(jīng)過不同尺寸的池化操作，完成了特征在對應(yīng)尺度上的下采樣。

其中：x是輸入特征，N表示的是跨尺度特征提取模塊中尺度的數(shù)量。Pn(·)表示大小為n×n的池化層操作，是指經(jīng)過了池化層后初始輸出的下采樣系數(shù)為1/n的特征。不同于子網(wǎng)之間將輸出端通過MFA相連的方式，不同分辨率通道之間通過MFA 采取遞進式連接，加深不同尺度之間關(guān)聯(lián)。

通過從低到高的遞進式連接重視了不同尺度特征之間的相互影響，能夠引導(dǎo)網(wǎng)絡(luò)在高分辨率通道提取雨紋特征，對細節(jié)信息進行補償?shù)头直媛实奶卣鲿嬖谠肼?，MFA 可以抑制無關(guān)區(qū)域中的激活，降低噪聲對雨紋特征的干擾，減少網(wǎng)絡(luò)傳遞過程中信息丟失。低分辨率特征將通過MFA 分配給高分辨率的初始特征權(quán)重，和權(quán)重系數(shù)相乘后的初始特征將會更加具有表征能力，提升特征質(zhì)量，式(9)所示：

卷積通道中輸出的特征將會與初始特征通過殘差連接的方式融合在一起，如式(10)所示，Z表示經(jīng)過跨尺度特征提取模塊(MFEB)后最終輸出的特征：

2.4 損失函數(shù)

混合損失函數(shù)常被運用在各類圖像去雨任務(wù)中，如：MSE+SSIM[22-24]，L1+SSIM[25-26]，L1+L2[27]，然而混合的損失函數(shù)提升了網(wǎng)絡(luò)的參數(shù)負(fù)擔(dān)，因此本文采用單一的損失函數(shù)訓(xùn)練網(wǎng)絡(luò)。結(jié)構(gòu)相似度 (structural similarity,SSIM)[28]是用于衡量兩張圖片相似度的圖片衡量指標(biāo)，兩張圖片越相似，該值則越接近1。其負(fù)值常被作為損失函數(shù)被運用在去雨任務(wù)中，Ren 等人[7]證明了其有效性。損失函數(shù)如式(11)，其中：Xout代表去雨網(wǎng)絡(luò)最終輸出的圖像，Xgt代表相對應(yīng)的真實無雨圖像。

3 實驗與結(jié)果分析

將本文提出的方法MSAFNet 在合成數(shù)據(jù)集Rain200H[11]，Rain200L[11]，Rain800[29]，DID-MDN[6]以及真實數(shù)據(jù)集SPA-DATA[25]上進行實驗，并與主流方法進行對比驗證其有效性。實驗對比的去雨方法如基于多尺度特征提取的去雨方法：JORDER[11]，LPNet[12]，MSPFN[13]；遞歸式去雨網(wǎng)絡(luò)：BRN[30]，RSGN[31]；多階段漸進式去雨網(wǎng)絡(luò)：PReNet[7]，RCDNet[32]，MPRNet[33]；輕量級高效去雨網(wǎng)絡(luò)EfDeRain[26]。

3.1 實驗設(shè)置及數(shù)據(jù)集

本文方法在PyTorch 深度學(xué)習(xí)框架下使用編程語言Python 實現(xiàn)。實驗環(huán)境為Ubuntu20.04，CUDA 版本11.4，使用雙卡NVIDIA 2080Ti GPU 訓(xùn)練網(wǎng)絡(luò)。Batchsize 設(shè)置為24，訓(xùn)練過程中將輸入隨機裁剪成64×64 的圖像補丁。本文的實驗迭代輪數(shù)為800，初始學(xué)習(xí)率為5×10-4，在總迭代次數(shù)的3/5 和4/5 時學(xué)習(xí)率乘以1/10 進行衰減。

本文采用結(jié)構(gòu)相似性(structural similarity,SSIM)和峰值信噪比(peak signal-to-noise ratio,PSNR)作為客觀評價指標(biāo)。PSNR 和SSIM 分別用于計算兩張圖片之間的像素級誤差和內(nèi)容、紋理相似度，值越大代表兩張圖片之間越相似，客觀去雨效果越好。

現(xiàn)實世界中較難獲取干凈無雨圖像和有雨圖像的成對樣本對，本文采用Rain200L，Rain200H，Rain800，DID-MDN 四個合成數(shù)據(jù)集進行訓(xùn)練，測試網(wǎng)絡(luò)對不同類型及大小雨紋的去除效果。前兩個數(shù)據(jù)集都包含了1800 張訓(xùn)練圖像和200 張測試圖像。Rain800 包含了700 張訓(xùn)練圖像和100 張測試圖像。DID-MDN 包含了12000 張訓(xùn)練圖像及1200 張測試圖像。其中Rain200H 數(shù)據(jù)集最具挑戰(zhàn)，施加的雨水強度最大，且包含了五種不同的方向。圖片的紋理背景復(fù)雜，難以與雨線徹底分離。圖片包含的語義信息多樣化，還原成清晰的原始圖像較難。具體圖例如圖6 所示，真實世界數(shù)據(jù)集SPA-DATA 進行的實驗用于驗證本文方法對真實雨圖去雨效果的魯棒性。

圖6 Rain200H 典型圖例Fig.6 Rain200H typical picture examples

3.2 合成數(shù)據(jù)集實驗結(jié)果分析

為驗證MSAFNet 的去雨效果，本文在Rain200L，Rain200H 和Rain800 三個數(shù)據(jù)集上對MSAFNet 及其它去雨算法進行實驗，實驗均在同一環(huán)境下進行以確保公平性，采用PSNR 和SSIM 兩個客觀評價指標(biāo)評估去雨圖像的質(zhì)量。與其他方法對比的實驗結(jié)果如表1 所示。最好結(jié)果用粗體表示，次優(yōu)結(jié)果用下劃線表示。從表1 中可以看出，得益于多尺度特征信息的利用和注意力融合模塊，MSAFNet 在不同數(shù)據(jù)集上的所獲取的評價指標(biāo)基本優(yōu)于其他方法。其中MSAFNet 在Rain200L 數(shù)據(jù)集上的優(yōu)勢更明顯，與2020 年的BRN 以及2021 年的MPRNet 對比，PSNR分別提升了1.52 dB 和1.88 dB，與同樣采樣多尺度特征提取方法的去雨網(wǎng)絡(luò)MSPFN 進行橫向?qū)Ρ?，平均每個數(shù)據(jù)集的PSNR 提升了4.1%，SSIM 提升了2.6%。從參數(shù)量對比中也可以發(fā)現(xiàn)，MSAFNet 以不顯著增加模型參數(shù)量為前提，極大地提升了模型的性能。

表1 在合成數(shù)據(jù)集上與其他方法的對比Table 1 Comparison with other methods on synthetic datasets

為驗證MSAFNet 的去雨效果與對圖像細節(jié)的補充，與其他方法結(jié)果通過細節(jié)放大方式可視化對比。如圖7 所示，其中圖7(d)至圖7(f)展示不同多尺度去雨網(wǎng)絡(luò)的結(jié)果。MSAFNet 在細節(jié)復(fù)原和清晰度優(yōu)于其它多尺度去雨網(wǎng)絡(luò)，其中JORDER 清晰度不夠，與原圖存在色差；LPNet 作為輕量級網(wǎng)絡(luò)存在明顯的顏色暈染；MSPFN 號碼牌數(shù)字較為模糊。圖7(g)至圖7(i)展示不同多階段漸進式去雨網(wǎng)絡(luò)的結(jié)果，圖中可以看出RCDNet 和MPRNet 在評價指標(biāo)中取得了不錯的成績，但是圖片細節(jié)的復(fù)原程度不如MSAFNet。圖7(j)和圖7(k)展示了不同遞歸式去雨網(wǎng)絡(luò)的結(jié)果。BRN 的色彩復(fù)原程度較差，對比度偏高；RSGN 存在著暈染問題。圖7(l)展示的是輕量級的去雨網(wǎng)絡(luò)EfDeRain，其模型注重處理圖片的效率，但圖片質(zhì)量與評價指標(biāo)偏低。由圖7 可見，與不同類別的去雨網(wǎng)絡(luò)進行分類對比，MSAFNet生成的圖片中保留了很多真實圖像的細節(jié)。圖片的紋理以及色彩相較于其它工作更加真實自然，觀感和真實圖像接近。

圖7 不同算法在數(shù)據(jù)集Rain200H 上的結(jié)果Fig.7 Results of different algorithms on Rain200H dataset

帶雨圖像形式往往比較復(fù)雜，為了驗證模型可以同時處理不同大小與方向上的雨滴，將其在人工合成數(shù)據(jù)集DID-MDN 上進行實驗。DID-MDN 數(shù)據(jù)集可根據(jù)圖片中的雨線密集程度將其分成大雨、中雨、小雨三組，每一組圖片中存在著多種方向的雨線。

從圖8 中可以看出，同組圖像獲得的去雨結(jié)果雖然在細節(jié)上有著細微的差異：如圖8(h)襯衫條紋被抹去，圖8(j)中男子頭發(fā)上殘存白色雨線，但模型最大程度上復(fù)原了圖片信息與細節(jié)，可見MSAFNet 對于處理不同密度，不同方向的雨線有著較強的穩(wěn)定性和可靠性。

圖8 MSAFNet 在DID-MDN 數(shù)據(jù)集上的不同結(jié)果Fig.8 Different results of MSAFNet on DID-MDN dataset

圖9 顯示了MSAFNet 與另外六個先進的去雨模型在數(shù)據(jù)集Rain200L 和Rain200H 上處理有雨圖像時所花費的平均時間與評價指標(biāo)的對比。為確保實驗的公平性，所有實驗數(shù)據(jù)均來自于同一硬件平臺。

圖9 各模型在Rain200L 和Rain200H 數(shù)據(jù)集上的評價指標(biāo)與時間效率對比Fig.9 Comparison of PSNR/SSIM and time efficiency of each model in Rain200L and Rain200H datasets

從圖9(a)和9(b)中可以看出，MSAFNet 和RCDNet 在Rain200L 數(shù)據(jù)集上在評價指標(biāo)上的表現(xiàn)優(yōu)于剩余的模型。EfDerain 處理速度大幅領(lǐng)先剩余模型，但是去雨效果不佳。Rain200H 數(shù)據(jù)集中MSAFNet 與MPRNet 獲得了較高的評價指標(biāo)，優(yōu)于剩余模型。結(jié)合兩個數(shù)據(jù)集以及兩個評價指標(biāo)分析，MSAFNet 相比于剩余的去雨模型在評價指標(biāo)結(jié)果上具有更強的穩(wěn)定性：MPRNet 在Rain200H 上的表現(xiàn)為次優(yōu)，但是在Rain200L 數(shù)據(jù)集上的評價指標(biāo)低于剩余較多的去雨模型；RCDNet 在Rain200H 數(shù)據(jù)集中的SSIM 評價指標(biāo)低于剩余較多去雨模型。

綜合來看，MSAFNet 在不顯著增加模型處理有雨圖像時間的情況下，獲得了更為穩(wěn)定且優(yōu)秀的去雨結(jié)果。

3.3 真實數(shù)據(jù)集上的實驗

為了進一步驗證MSAFNet 去雨的魯棒性以及對自然雨圖的泛化性能，將Rain200L 數(shù)據(jù)集上訓(xùn)練的模型在SPA-DATA 數(shù)據(jù)集上進行測試，采用自然圖像質(zhì)量評估方法 (natural image quality evaluator,NIQE)[34]和空間-光譜熵質(zhì)量(spatial-spectral entropybased quality,SSEQ)[35]兩項評價指標(biāo)對本模型以及其他四個優(yōu)秀去雨模型的輸出進行評估，其值越小代表去雨圖像的質(zhì)量越高。不同算法之間的定量分析結(jié)果見表2。

表2 在真實數(shù)據(jù)集上與其它方法的對比Table 2 Comparison with other methods on real dataset

從表2 中可以看到，相比于同樣采用多尺度特征提取方法的MSPFN，本文方法在NIQE 以及SSEQ的數(shù)值上下降了2.1%和4.3%，存在著較大的提升，并且結(jié)果優(yōu)于近兩年先進的去雨方法RCDNet 及MPRNet。

不同算法的自然去雨圖可視化分析見圖10。圖10(d)至圖10(f)展示了不同基于多尺度特征提取的去雨網(wǎng)絡(luò)結(jié)果，其中JORDER 及LPNet 的去雨效果較差，存在明顯雨滴痕跡殘留，MSPFN 存在微量殘存雨線。圖10(g)至圖10(i)展示了不同多階段式去雨網(wǎng)絡(luò)的結(jié)果，RCDNet 及MPRNet 獲得了良好的視覺效果，但是評價指標(biāo)低于MSAFNet，PReNet 存在明顯的雨滴殘留。圖10(j)至圖10(k)為不同遞歸式去雨網(wǎng)絡(luò)的結(jié)果，BRN 存在透明綠色空洞，RSGN 去雨不徹底。圖10(l)為輕量級去雨網(wǎng)絡(luò)EfDeRain 的結(jié)果圖，能夠看出明顯的雨線殘留。

圖10 不同算法在真實數(shù)據(jù)集SPA-DATA 上的實驗結(jié)果Fig.10 Experimental results of different algorithms on real-world dataset SPA-DATA

通過與不同類別的去雨網(wǎng)絡(luò)進行對比，MSAFNet 憑借其深度多尺度特征提取的優(yōu)勢，對于圖像細節(jié)的保留和細微雨滴的清除有著較為明顯的優(yōu)勢，圖片真實度高，對自然圖像的泛化性好。

3.4 消融實驗

為了證明MFA 對于圖像細節(jié)的補充效果，以及多尺度特征提取子網(wǎng)在MSAFNet 中的有效性，本文在Rain200H 數(shù)據(jù)集上進行了消融實驗?？绯叨忍卣魈崛∧K中尺度的數(shù)量以及模型中子網(wǎng)的數(shù)量對去雨效果有著較大的影響，本文進行了多組實驗探究子網(wǎng)數(shù)量以及MFEB 中尺度數(shù)量對評價指標(biāo)的影響。

3.4.1 多尺度子網(wǎng)及MFA 對去雨效果的影響

如表3 所示，與單一子網(wǎng)相比，多個子網(wǎng)構(gòu)成的去雨網(wǎng)絡(luò)可以有效提取多尺度特征，增強網(wǎng)絡(luò)的去雨能力。由于子網(wǎng)由多個MFEB 構(gòu)成，在MFEB 中經(jīng)由MFA 融合的特征更具有表達能力，可以有效提升網(wǎng)絡(luò)的評價指標(biāo)。子網(wǎng)間的MFA 由于數(shù)目較少，可以在不顯著增加網(wǎng)絡(luò)負(fù)擔(dān)的前提下，對低分辨率冗余信息進行剔除，優(yōu)化網(wǎng)絡(luò)性能。

表3 在Rain200H 數(shù)據(jù)集上消融實驗結(jié)果Table 3 Results of ablation experiments on the Rain200H dataset

3.4.2 子網(wǎng)數(shù)量及MFEB 中尺度數(shù)量的研究

表4 中的K代表子網(wǎng)數(shù)量，S代表MFEB 中尺度的數(shù)量。為保證公平表中實驗都在同一環(huán)境使用同一訓(xùn)練參數(shù)進行。從表中可以看出，當(dāng)K=1 和S=1 時，由于失去MFA 對尺度信息的補充，PSNR 值略低。當(dāng)K、S=2 時，相較K、S=1 時，指標(biāo)提升量較大。網(wǎng)絡(luò)在K、S=3 時到達飽和效果，再對其進行尺度上的擴充對網(wǎng)絡(luò)提升效果不大，再次增加尺度數(shù)量甚至出現(xiàn)了負(fù)優(yōu)化。圖11 以折線圖的形式直觀展現(xiàn)了K和S對PSNR 指標(biāo)的影響。

表4 子網(wǎng)及MFEB 中尺度數(shù)量對PSNR 的影響Table 4 The effect of subnet and MFEB scale number on PSNR

圖11 尺度數(shù)量及子網(wǎng)數(shù)量折線圖Fig.11 Curve graph about the number of scales and subnets

4 結(jié)論

針對多尺度圖像去雨網(wǎng)絡(luò)中存在的混疊效應(yīng)以及細節(jié)丟失等問題，本文提出了一種基于跨尺度注意力融合的圖像去雨算法。網(wǎng)絡(luò)通過多個子網(wǎng)強化對不同尺度信息的提取能力，利用跨尺度融合注意力模塊解決細節(jié)丟失等問題，根據(jù)不同尺度信息之間重要性的不同，利用低分辨率信息提升高分辨率信息的質(zhì)量，顯著提升網(wǎng)絡(luò)性能。本文在多個數(shù)據(jù)集上進行了實驗，結(jié)果表明本文算法能夠在去除雨紋的同時保證生成圖片的高質(zhì)量，保留了圖片中的細節(jié)信息，并在客觀指標(biāo)和視覺觀感上優(yōu)于其他去雨算法。