基于雙閾值引導(dǎo)濾波的單幅圖像去雨算法

劉亞楠，曹風(fēng)云，王 璐

(1.合肥師范學(xué)院 計(jì)算機(jī)學(xué)院，安徽 合肥 230601; 2.多模態(tài)認(rèn)知計(jì)算安徽省重點(diǎn)實(shí)驗(yàn)室(安徽大學(xué))，安徽 合肥 230601;3.合肥工業(yè)大學(xué) 計(jì)算機(jī)與信息學(xué)院，安徽 合肥 230009)

戶外計(jì)算機(jī)視覺系統(tǒng)所采集到的圖像易受到雨水的影響，存在模糊和細(xì)節(jié)丟失等問(wèn)題.雨滴、雨紋一般會(huì)阻礙或扭曲圖像背景內(nèi)容或產(chǎn)生大氣遮蔽效果，因此通過(guò)去雨操作增強(qiáng)各種圖像算法的有效性非常重要.雨線的去除具有極大的研究意義，是近年來(lái)計(jì)算機(jī)視覺領(lǐng)域的一個(gè)重要研究課題.

目前，圖像去雨主要分為兩類：視頻圖像去雨[1-3]和單幅圖像去雨[4].由于單幅圖像去雨較視頻圖像去雨而言沒有時(shí)間信息(先驗(yàn)知識(shí))可用[5-6]，使得單幅圖像去雨更具挑戰(zhàn)性.

Kang等[7]利用形態(tài)成分分析(Morphological Component，Analysis，MCA)將去雨問(wèn)題看作一個(gè)圖像分解問(wèn)題.利用雙邊濾波(Bilateral Filering，BF)將雨圖分解為低頻和高頻圖像，對(duì)高頻圖像執(zhí)行字典學(xué)習(xí)和稀疏編碼得到高頻無(wú)雨圖像，最后將低頻圖像與高頻無(wú)雨圖像進(jìn)行融合得到去雨圖像，但背景易模糊，在圖像恢復(fù)過(guò)程中存在紋理丟失的問(wèn)題.Luo等[8]在一個(gè)具有強(qiáng)互斥性的學(xué)習(xí)字典上使用辨別性稀疏編碼消除單幅圖像中的雨痕，但去雨圖像有一定的色彩失真，且殘留雨痕.Li等[9]引入了基于高斯混合模型的補(bǔ)丁，提出一種基于高斯混合模型的層分離算法去除雨滴，該方法可以適應(yīng)多個(gè)方向和尺度的雨滴.Wang等[10]利用雨雪檢測(cè)與引導(dǎo)濾波(Guided Image Filtering，GIF)[11]相結(jié)合的方式將圖像分為高頻部分與低頻部分，為了從高頻部分提取細(xì)節(jié)，設(shè)計(jì)了一個(gè)3層的分層方案實(shí)現(xiàn)去雨.Gu等[12]提出了一種聯(lián)合卷積分析與綜合稀疏表示模型，能夠有效地提取圖像紋理層，而不需要過(guò)度平滑背景層.Mu等[13]引入了一種展開策略，將依賴于數(shù)據(jù)的網(wǎng)絡(luò)體系結(jié)構(gòu)納入到建立的迭代中，是集成模型驅(qū)動(dòng)和數(shù)據(jù)驅(qū)動(dòng)方法來(lái)完成解除任務(wù)的有益嘗試.

針對(duì)基于圖像分解的單幅圖像去雨算法，容易存在圖像細(xì)節(jié)丟失、雨痕殘留等問(wèn)題，本文提出一種改進(jìn)的引導(dǎo)濾波算法，代替雙邊濾波得到有雨圖像的低頻部分，進(jìn)而改進(jìn)基于圖像分解的去雨算法，在去雨的同時(shí)，保留背景的紋理細(xì)節(jié)信息.

1 基于圖像分解的去雨算法

1.1 基于形態(tài)成分分析的圖像分解

形態(tài)成分分析的主要思想是利用數(shù)據(jù)中包含不同特征的形態(tài)多樣性進(jìn)行分解，并將每個(gè)形態(tài)成分關(guān)聯(lián)到一個(gè)原子詞典中.

(1)

其中:θk∈RMk表示對(duì)應(yīng)于Ik關(guān)于字典Dk的稀疏系數(shù)；τ是正則化系數(shù)，Ek是由Dk的類型定義的能量.

Ek(Ik,θk)=

(2)

通過(guò)對(duì)Ik迭代求解式(2)：

①更新稀疏系數(shù)，固定Ik，執(zhí)行稀疏編碼求解θk，使Ek(Ik,θk)最小；

②更新Ik，固定θk.

1.2 稀疏編碼與字典學(xué)習(xí)

在一些情況下，可以采用一組可用的訓(xùn)練樣本(類似于從需要分解的成分中提取塊)ys∈Rn(s=1,2,...,P)，通過(guò)下列優(yōu)化問(wèn)題學(xué)習(xí)字典Dk稀疏化ys：

(3)

最后，通過(guò)迭代執(zhí)行MCA算法解決Ik(固定Dk)，字典學(xué)習(xí)算法學(xué)習(xí)Dk(固定Ik)直到收斂，完成圖像分解.

1.3 去雨算法流程

圖1 基于圖像分解的去雨算法流程

2 引導(dǎo)濾波

雖然引導(dǎo)濾波與雙邊濾波一樣具有邊緣保持特性，但引導(dǎo)濾波作為一個(gè)局部線性模型，在邊緣附近具有更好的性能，可普遍應(yīng)用于去噪、去霧、圖像壓縮等各種計(jì)算機(jī)視覺和計(jì)算機(jī)圖形學(xué)應(yīng)用中.

引導(dǎo)濾波的算法原理是假設(shè)濾波器的輸出q與引導(dǎo)圖像p之間是局部線性模型，且q是p的線性變換(在以像素k為中心的窗口ωk中)，則

qi=akpi+bk,?i∈ωk，

(4)

其中:ak、bk為ωk中的線性系數(shù).

由于

?q=a?p.

(5)

這個(gè)局部線性模型確保p有邊緣時(shí)，q存在邊緣.

通過(guò)最小化輸出圖像q與濾波輸入圖像I間的差異來(lái)求解線性系數(shù)ak、bk，具體目標(biāo)函數(shù)為：

(6)

其中:ε為正則化參數(shù)，以防止ak過(guò)大，在文獻(xiàn)[11]中取為固定值.

但該模型不能很好地表現(xiàn)圖像的某些邊緣，圖像中可能會(huì)出現(xiàn)一些光暈，降低了最終圖像的視覺質(zhì)量.由于目標(biāo)函數(shù)中的正則化系數(shù)是固定的，不會(huì)隨圖像空間位置發(fā)生變化，這可能是導(dǎo)致光暈的關(guān)鍵因素.在各種改進(jìn)的引導(dǎo)濾波算法[14]中，對(duì)正則化參數(shù)增加邊權(quán)重因子，減少光暈，更好地保留邊緣.

3 雙閾值引導(dǎo)濾波的單幅圖像去雨算法

3.1 雙閾值引導(dǎo)濾波

本文引導(dǎo)圖像設(shè)置為輸入的有雨圖像，即p=I.濾波的輸出q作為低頻部分ILF，而高頻部分IHF由I-ILF得到，于是在式(6)增加不等約束，確保得到的q(ILF)是非負(fù)的(負(fù)值對(duì)圖像毫無(wú)意義)，且Ii-(akpi+bk)(IHF)是非負(fù)的.于是，式(6)更新為：

(7)

構(gòu)造式(7)的拉格朗日函數(shù)：

(8)

對(duì)式(8)求偏導(dǎo)可得：

(9)

(10)

由公式(9)和(10)可得：

(11)

(12)

(13)

根據(jù)閾值得到不同的ξ作為權(quán)重因子，權(quán)重值不再是一個(gè)固定的數(shù)值，如式(14)：

(14)

方差較大的窗口，存在邊的可能性較大，故設(shè)置ξ1<ξ2<1，確保ak值不要過(guò)小.于是，式(11)更新為：

(15)

由于引導(dǎo)濾波可能在某些邊緣附近出現(xiàn)光暈效應(yīng)，圖2通過(guò)灰度條圖像及其對(duì)應(yīng)的直方圖測(cè)試該雙閾值引導(dǎo)濾波對(duì)光暈效應(yīng)的消除效果.其中，圖(a)為灰度條測(cè)試圖像，圖(f)為對(duì)應(yīng)的直方圖.圖(b)-(e)依次為BF、GIF、梯度域引導(dǎo)濾波(Gradient Domain Guided Image Filtering，GGIF)、雙閾值引導(dǎo)濾波(本文算法)測(cè)試結(jié)果，圖(g)-(j)為4種算法對(duì)應(yīng)的直方圖.從圖(e)、(j)中可以看出本文所提算法雖仍存在光暈，但較之其他算法光暈現(xiàn)象有明顯改善，且灰度值分布緊湊.

圖2 光暈效應(yīng)

3.2 算法步驟

綜上所述，將雙閾值引導(dǎo)濾波算法與基于圖像分解的去雨算法相結(jié)合，得到改進(jìn)的單幅圖像去雨算法，具體算法思路如下.

輸入：雨圖I；輸出：去雨圖像INon-rain.

(1)對(duì)雨圖I利用雙閾值引導(dǎo)濾波，得到低頻部分ILF，進(jìn)而利用I-ILF得到高頻部分IHF(I=IHF+ILF)；

(2)從IHF中提取圖像塊ys∈Rn(s=1,2,...,P)，應(yīng)用字典學(xué)習(xí)算法(K-SVD)解決式(3)，得到字典DHF；

(3)對(duì)DHF的每個(gè)原子提取HOG特征，應(yīng)用K均值算法對(duì)字典分類，將字典分為兩類：雨子字典和幾何子字典；

(4)通過(guò)執(zhí)行OMP算法應(yīng)用MCA算法解決式(2)，得到稀疏系數(shù)；

4 實(shí)驗(yàn)結(jié)果與分析

為證明本文所提算法的有效性，選取6幅有雨圖像進(jìn)行實(shí)驗(yàn)驗(yàn)證，其中3幅為合成雨圖，如圖3(b)所示，其對(duì)應(yīng)原圖如圖3(a)所示.另外3幅為真實(shí)雨圖，如圖4(a)所示.在圖3和圖4中選取第1行中的圖像展示局部細(xì)節(jié)，利用邊框標(biāo)記局部區(qū)域，并在第2行顯示該局部區(qū)域的細(xì)節(jié)信息.圖3(b)中3幅合成雨圖從上到下依次標(biāo)記為雨圖1、雨圖2和雨圖3.

雨圖的大小為256×256，圖像塊大小為16×16，字典原子數(shù)為1 024.對(duì)比算法選擇經(jīng)典的圖像分解算法(文獻(xiàn)[7]即BF+MCA算法)，GIF+MCA，GGIF+MCA, 去雨后的結(jié)果如圖3和圖4所示.從圖3、圖4可以看出，本文算法優(yōu)于其他濾波算法與MCA結(jié)合的去雨算法，在去雨后可以保留更多的細(xì)節(jié)信息，且雨痕殘留較少.

圖3 合成雨圖去雨結(jié)果

由于合成雨圖有對(duì)應(yīng)的不含雨原圖，可以選擇評(píng)價(jià)指標(biāo)峰值信噪比(Peak Signal to Noise Ratio，PSNR)與結(jié)構(gòu)相似性(Structrual Similarity Index Metric，SSIM)對(duì)去雨結(jié)果進(jìn)行客觀評(píng)價(jià)，PSNR與SSIM的結(jié)果如表1和表2所列.從表1和表2中可以看出，本文算法的PSNR與SSIM指標(biāo)均高于其他算法，能夠較好的維持圖像自身的紋理信息.

表2 SSIM對(duì)比結(jié)果

5 結(jié)語(yǔ)

本文提出的雙閾值引導(dǎo)濾波算法，改進(jìn)了傳統(tǒng)的基于圖像分解的單幅圖像去雨算法，改善了雨痕殘留和背景紋理丟失等問(wèn)題，在去雨的同時(shí)，較好地保留了圖像的邊緣細(xì)節(jié)信息.本文僅對(duì)低頻部分提出改進(jìn)算法，后續(xù)工作將進(jìn)一步優(yōu)化閾值的選取，并從高頻部分改進(jìn)基于圖像分解的單幅圖像去雨算法.