一種單幅圖像雨滴去除的方法

周 遠(yuǎn)， 韓裕生， 周浦城

（1. 偏振光成像探測技術(shù)安徽省重點(diǎn)實驗室，安徽 合肥 230031；2. 陸軍軍官學(xué)院軍用光電技術(shù)與系統(tǒng)實驗室，安徽 合肥 230031）

一種單幅圖像雨滴去除的方法

周 遠(yuǎn)1,2， 韓裕生1,2， 周浦城1,2

（1. 偏振光成像探測技術(shù)安徽省重點(diǎn)實驗室，安徽 合肥 230031；2. 陸軍軍官學(xué)院軍用光電技術(shù)與系統(tǒng)實驗室，安徽 合肥 230031）

在雨天條件下，由于雨滴對成像系統(tǒng)的不良影響，將會導(dǎo)致獲取的圖像質(zhì)量下降，不利于對圖像信息進(jìn)一步處理。針對該問題，首先根據(jù)內(nèi)部生成機(jī)制有關(guān)理論將雨天圖像分解為粗糙子圖與細(xì)節(jié)子圖；然后，采用基于形態(tài)學(xué)分量分析的稀疏分解方法將細(xì)節(jié)子圖劃分為有雨部分和無雨部分；最后，利用粗糙子圖與無雨部分進(jìn)行重構(gòu)得到去雨后的圖像。實驗結(jié)果表明，該方法能夠有效去除圖像中的雨線，并較好地保留場景的細(xì)節(jié)信息。

圖像處理；雨滴；稀疏分解；形態(tài)學(xué)分量；方向梯度

在雨天，環(huán)境中隨機(jī)分布了大量快速運(yùn)動的雨滴，造成目標(biāo)物體與背景光線的反射和折射，從而導(dǎo)致圖像對比度降低、成像模糊，細(xì)節(jié)信息丟失，給交通運(yùn)輸、戶外視頻監(jiān)控、軍事偵察等領(lǐng)域帶來巨大困難。因此，對雨天圖像進(jìn)行清晰化處理具有重要的現(xiàn)實意義和廣泛地應(yīng)用價值。

目前，絕大多數(shù)的去雨技術(shù)研究工作都是建立在視頻的基礎(chǔ)上。例如，Garg和Nayar[1]通過雨滴光學(xué)特性和時空相關(guān)特性檢測視頻中受雨影響的像素，但該方法在大雨情況下檢測效果較差；張穎翔等[2]在Nayar方法的基礎(chǔ)上，將檢測幀數(shù)擴(kuò)展為5幀，在雨量較大情況下取得了較好的效果；Zhang等[3]利用視頻序列中像素強(qiáng)度直方圖的峰值進(jìn)行K-means聚類，并通過雨滴色彩約束條件區(qū)分雨滴和背景；Brewer和Liu[4]利用雨線長寬比和方向角等形狀特性來檢測雨滴，但是大雨和噪聲往往會使雨線重合，從而導(dǎo)致雨線的誤檢測和漏檢測；劉鵬等[5]提出了基于色彩特性的雨滴檢測方法；董蓉等[6]構(gòu)建對數(shù)圖像處理框架下灰色調(diào)約束的雨滴檢測模型，提高了檢測的準(zhǔn)確性；Barnum等[7]利用雨線分布的統(tǒng)計學(xué)特性，在傅立葉頻域中對視頻中的雨線進(jìn)行檢測和去除，但該方法只適用于雨線明顯的場合。

由于單幅雨天圖像缺失雨滴分布的時空相關(guān)特性，可用的雨滴特征描述符較少，使得單幅圖像去雨問題成為當(dāng)前研究的難點(diǎn)。Chen和 Shen[8]采用了小波分解的方法來檢測和去除雨滴，但在檢測的準(zhǔn)確性上有所不足。Kang等[9]提出利用雙邊濾波器分解圖像來檢測并去除雨滴，但在某些情況下，雙邊濾波器不能將雨線從低頻部分完全分離出來，而且在邊緣區(qū)域易出現(xiàn)過增強(qiáng)現(xiàn)象，從而導(dǎo)致去雨效果不理想。針對 Kang等[9]提出的去雨方法存在的不足，本文采用符合人腦感知與理解信息的內(nèi)部生成機(jī)制(internal generative mechanism, IGM)有關(guān)理論，結(jié)合基于形態(tài)學(xué)分量分析(morphological component analysis, MCA)的稀疏分解方法，較好地實現(xiàn)了單幅圖像的雨滴檢測與去除。

1 基于大腦內(nèi)部生成機(jī)制的雨天圖像分解

根據(jù)大腦 IGM理論，大腦受到事物相關(guān)性的刺激分析場景，結(jié)合固有的先驗知識，將場景優(yōu)化為預(yù)測的基本信息和殘留的不確定信息兩個部分[10]。其中，預(yù)測的基本信息可以轉(zhuǎn)化為更高層次的人類視覺系統(tǒng)來進(jìn)行理解和識別，而不確定信息則被忽略。根據(jù)該理論可以將圖像分解為粗糙子圖（預(yù)測的基本信息）和細(xì)節(jié)子圖（不確定信息）。

在實際分解過程中，IGM可以通過自動回歸(auto regressive, AR)貝葉斯預(yù)測模型來實現(xiàn)。該模型的重點(diǎn)在于建立一個概率模型使得圖像預(yù)測誤差達(dá)到最小。如果用X表示任意一幅圖像，xij∈X為圖像中像素(i, j)處的灰度值，Wij表示xij的相鄰像素的集合，那么P(xij, Wij)為條件概率，P(xij, Wij)越大則圖像預(yù)測誤差越小。因此，可以把中心像素xij與其周圍像素xmn的互信息I(xij; xmn)作為AR系數(shù)，AR模型xij的預(yù)測值如式(1)：

其中，ε為高斯白噪聲，Cmn為xij的權(quán)重，即：

由IGM理論可知，預(yù)測值x'ij代表了圖像的基本視覺信息，這里用粗糙子圖CoX表示，其不確定信息用細(xì)節(jié)子圖PreX表示，即：

綜合式(1)、(3)可知，粗糙子圖中保留了原始圖像中的基本視覺信息，細(xì)節(jié)子圖中剩余了原圖的一些不確定信息。因此，根據(jù)大腦 IGM對待去雨圖像進(jìn)行初步分解，從而得到包含了雨線、紋理等信息的細(xì)節(jié)子圖。

圖1為基于IGM理論與雙邊濾波器待去雨圖像分解的實例。圖1(a)是原始圖像，包含大量雨線；圖1(b)、1(c)是利用IGM分解得到的細(xì)節(jié)子圖與粗糙子圖，其中，圖1(c)中沒有明顯雨線，而圖1(b)中包含了原圖雨線及紋理部分；圖1(e)、1(f)為經(jīng)過雙邊濾波得到的高頻部分和低頻部分，其中圖1(f)包含少量雨線和噪聲，而圖1(e)與圖1(b)相比，雨線并不明顯；圖1(d)、1(g)分別為圖1(c)、1(f)放大的效果圖，可以看出，經(jīng)過雙邊濾波后的低頻部分保留了過多的高頻信息，車頭處有明顯的雨線痕跡，而利用 IGM分解得到的粗糙子圖有效地去除了雨線部分。

圖1 不同方法雨天分解實例

2 雨滴檢測與去除

為了從細(xì)節(jié)子圖中去除雨線，本文采用基于MCA的稀疏分解方法[11]，利用雨線的形態(tài)學(xué)差異性將細(xì)節(jié)子圖字典分為有雨字典和無雨字典，將單幅圖像去雨問題轉(zhuǎn)化為基于稀疏編碼的圖像分解問題。

2.1 字典學(xué)習(xí)

在字典學(xué)習(xí)階段，首先將細(xì)節(jié)子圖中的圖像塊作為訓(xùn)練模型來訓(xùn)練字典Dprex，從而構(gòu)建字典學(xué)習(xí)問題[12]為：

由于l0最小化問題很難求解，在大多數(shù)情況下將其轉(zhuǎn)化為 l1最小化問題來獲得近似結(jié)果[13]。因此，上述l0最小化問題可以轉(zhuǎn)化為：其中，λ為調(diào)整參數(shù)。本文采用在線字典學(xué)習(xí)方法求解式(4)獲得字典 Dprex，并利用正交匹配追蹤(orthogonal matching pursuit, OMP)算法求解式(5)獲得相應(yīng)的稀疏系數(shù)。

2.2 字典分類

由于細(xì)節(jié)子圖中包含有雨部分和無雨部分，本文通過利用HOG特征[14]來描述雨線與紋理之間的形態(tài)學(xué)差異性，從而將字典Dprex進(jìn)一步分解為有雨字典和無雨字典。若b(x, y)表示字典原子b在像素點(diǎn)(x, y)處的灰度值，則該像素點(diǎn)的梯度幅度和梯度方向可以定義為：

通過統(tǒng)計字典Dprex中原子的梯度方向直方圖，形成字典原子的 HOG特征描述符，然后利用K-means聚類分析將其初步分割為兩個子字典。由于雨線的方向在圖像中基本一致[9]，因此通過比較平均梯度方向方差值就可以將兩個子字典確定為有雨字典和無雨字典

根據(jù)雨滴形狀特征先驗可知，圖像中雨線的長寬比μ只與相機(jī)曝光時間e和雨滴的直徑d有關(guān)[4]：

一般認(rèn)為雨滴直徑范圍為0.1～3.0 mm，相機(jī)曝光時間為1～40 ms，由此可知，雨線長寬比范圍為3.9～95.0。因此，可以用雨線長寬比 μ范圍實現(xiàn)對有雨字典和無雨字典的精確分類。

圖2(a)、2(b)是Kang方法[9]字典分類后得到的無雨字典和有雨字典，圖2(c)是Kang方法的去雨效果，此圖右側(cè)的窗戶模糊不清，是因為Kang方法將背景中的窗框誤認(rèn)為是雨線，因而在圖像重建時導(dǎo)致紋理細(xì)節(jié)的丟失；圖 2(d)、2(e)為本文方法得到的無雨字典和有雨字典，圖2(f)是利用本文方法得到的去雨效果，與圖2(c)相比，窗框紋理清晰且雨線去除更加徹底。

圖2 不同字典分類方法去雨效果對比

2.3 圖像重構(gòu)

為了從細(xì)節(jié)子圖中獲得雨線部分與紋理部分，對每一個圖像塊采用OMP算法來得到相應(yīng)字典的稀疏系數(shù)。因此，細(xì)節(jié)子圖中的無雨圖像可以通過將有雨字典對應(yīng)的稀疏系數(shù)置為0之后，再與字典Dprex進(jìn)行重構(gòu)來獲得，即：

再根據(jù)大腦 IGM理論，采用將粗糙子圖與去雨后的細(xì)節(jié)子圖相加來重構(gòu)圖像，即：

其中，X′是重構(gòu)圖像，Cox為根據(jù)大腦IGM有雨圖像分解獲得的粗糙子圖，最終獲得去雨圖像。

2.4 算法描述

本文提出的單幅圖像雨滴去除算法如下：

(1) 圖像分解。對待去雨的圖像按照式(1)～(3)聯(lián)立方程組進(jìn)行分解，獲得其粗糙子圖和細(xì)節(jié)子圖；

(2) 字典學(xué)習(xí)。根據(jù)式(4)提取細(xì)節(jié)子圖中的圖像塊進(jìn)行字典學(xué)習(xí)，形成字典Dprex；

(3) 字典分類。通過式(6)計算字典原子的HOG特征描述符，并利用K-means聚類初步將字典 Dprex分割為有雨字典和無雨字典，再根據(jù)式(7)通過雨線長寬比對子字典進(jìn)行二次判別，最終形成有雨字典和無雨字典；

(4) 稀疏編碼。根據(jù) OMP利用有雨字典和無雨字典分別對提取的細(xì)節(jié)子圖圖像塊進(jìn)行稀疏編碼，獲得其相應(yīng)的稀疏系數(shù)；

(5) 圖像重構(gòu)。根據(jù)式(8)、(9)對細(xì)節(jié)子圖圖像塊進(jìn)行重建，得到去雨后細(xì)節(jié)子圖，最后將粗糙子圖與去雨后的細(xì)節(jié)子圖相加，獲得最終的去雨圖像結(jié)果。

3 實驗結(jié)果與分析

為了驗證本文算法的可行性，首先通過Adobe Photoshop軟件對無雨圖像人工添加雨線，定量對比本文方法與Kang提出的去雨算法之間的效果。在實驗中，字典大小設(shè)為1 024，圖像塊采用16×16像素，實驗結(jié)果如圖3所示。

圖3 去雨效果對比

可以看出，與Kang算法相比，本文算法在去除雨滴的同時很好保持了圖像的紋理和細(xì)節(jié)信息，取得了良好的視覺效果。為了定量評估不同算法的去雨效果，采用3種客觀評價圖像質(zhì)量方法，分別為峰值信噪比(peak signal to noise ratio, PSNR)、視覺信息保真度(visual information fidelity, VIF)[15]以及圖像結(jié)構(gòu)相似質(zhì)量指數(shù)(structural similarity index metric, SSIM)[16]。表1給出了本文算法與Kang提出的算法的評價指數(shù)，在PSNR、VIF及SSIM上也優(yōu)于Kang的算法，并且也符合人眼視覺上對兩者的評價結(jié)果。

圖4給出了本文算法在不同場景下的2組去雨效果。其中，圖4(a)是城市場景，局部有明顯的雨線；圖4(b)是Kang去雨結(jié)果，不難發(fā)現(xiàn)，在去除雨滴的同時也使墻體上的字母變得模糊；圖4(c)為本文算法的去雨結(jié)果，去雨效果明顯；圖4(d)是自然場景，圖中只有少量的雨線；圖4(e)是Kang算法的去雨效果，在圖像中有個別雨線沒有去除；圖4(f)為本文算法去雨效果，在去除雨線的同時很好地保留了葉片的細(xì)節(jié)信息。

表1 不同去雨算法比較

圖4 不同場景去雨效果對比

4 結(jié) 束 語

本文利用大腦IGM理論對雨天圖像進(jìn)行分解，得到粗糙子圖和細(xì)節(jié)子圖，然后采用基于MCA的稀疏分解方法對細(xì)節(jié)子圖中有雨部分和無雨部分進(jìn)行分解，并利用HOG特征和雨線長寬比特征對有雨字典和無雨字典進(jìn)行分類，最后通過粗糙子圖與無雨部分進(jìn)行重構(gòu)得到去雨后的結(jié)果。實驗結(jié)果表明，該算法能夠獲得更好的去雨效果。由于單幅圖像中雨滴特征描述符較少，如何找到一種更為有效的雨滴分類方法以進(jìn)一步提高圖像去雨的質(zhì)量是今后需要研究的一個方向。

[1] Garg K, Nayar S K. Detection and removal of rain from videos [C]//Proceedings of the 2004 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, Columbia, New York, USA, 2004: 528-535.

[2] 張穎翔, 陳 強(qiáng), 劉允才. 視頻圖像中雨滴檢測與去除方法研究[J]. 微型電腦應(yīng)用, 2007, 23(12): 16-20.

[3] Zhang Xiaopeng, Li Hao, Qi Yingyi, et al. Rain removal in video by combining temporal and chromatic properties [C]// Proc of IEEE International Conference on Multimedia and Expo, Toronto, Canada, 2006: 461-464.

[4] Brewer N, Liu Nianjun. Using the shape characteristics of rain to identify and remove rain from video [J]. Lecture Notes in Computer Science, 2008, (5342): 451-458.

[5] 劉 鵬, 徐 晶, 劉家鋒, 等. 一種受雨滴污染視頻的快速分析方法[J]. 自動化學(xué)報, 2010, 36(10): 1371-1378.

[6] 董 蓉, 李 勃, 陳啟美. 一種視頻雨滴檢測與消除的方法[J]. 自動化學(xué)報, 2013, 39(7): 1093-1099.

[7] Barnum P, Narasimhan S G, Kanade T. Analysis of rain and snow in frequency space [J]. International Journal of Computer Vision, 2010, 86(2-3): 256-274.

[8] Chen Zhen, Shen Jihong. A new algorithm of rain (snow) removal in video [J]. Journal of Multimedia, 2013, 8(2): 168-174.

[9] Kang Liwei, Lin C W, Fu Y H. Automatic single-image-based rain streaks removal via image decomposition [J]. IEEE Transactions on Image Processing, 2012, 21(4): 1742-1755.

[10] Wu Jinjian, Lin Weisi, Shi Guangming, et al. Perceptual quality metric with internal generative mechanism [J]. IEEE Transactions on Image Processing, 2013, 22(1): 43-54.

[11] Starck J L, Elad M, Donoho D L. Image decomposition via the combination of sparse representations and a variational approach [J]. IEEE Transactions on Image Processing, 2005, 14(10): 1570-1582.

[12] Aharon M, Elad M, Bruckstein A M. The K-SVD: an algorithm for designing of overcomplete dictionaries for sparse representation [J]. IEEE Transactions on Signal Processing, 2006, 54(11): 4311-4322.

[13] Mairal J, Bach F, Ponce J, et al. Online learning for matrix factorization and sparse coding [J]. Journal of Machine Learning Research, 2010, 11: 19-60.

[14] Dalal N, Triggs B. Histograms of oriented gradients for human detection [C]//2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, SanDiego, CA, USA, 2005: 886-893.

[15] Sheikh H R, Bovik A C. Image information and visual quality [J]. IEEE Transactions on Image Processing, 2006, 15(2): 430-444.

[16] Wang Zhou, Bovik A, Sheikh H, et al. Image quality assessment: from error visibility to structural similarity [J]. IEEE Transactions on Image Processing, 2004, 13(4): 600-612.

A Method for Removal of Rain in Single Image

Zhou Yuan1,2, Han Yusheng1,2, Zhou Pucheng1,2

(1. Anhui Province Key Laboratory of Polarization Imaging Detection Technology, Hefei Anhui 230031, China; 2. Military Electric-Optical Technology & System Laboratory, Army Officer Academy of PLA, Hefei Anhui 230031, China)

Under the condition of rainy day, because of the rain has the bad influence on imaging system, it will lead the decrease of the quality of the image, and does not help to further processing image information. To deal with this problem, a kind of automatic image rain removal approach is proposed. Firstly, the rainy image is decomposed into rough sub-graph and detail sub-graph based on internal generative mechanism theory. And then, the sparse decomposition based on morphological component analysis method was used to divide the detail sub-graph into rainy component and non-rain component. Finally, the rough sub-graph was combined with non-rain component so as to reconstruct the rain-free image. The experimental results show that the proposed method can effectively remove the rain streaks in image and keep the state-of-the-art detail information of the scene.

image processing; raindrop; sparse decomposition; morphological component; oriented gradients

TP 391

A

2095-302X(2015)03-0438-06

2014-07-20；定稿日期：2014-12-04

中國博士后科學(xué)基金資助項目(2013M532208)；安徽省自然科學(xué)基金資助項目(12080850F115)

周 遠(yuǎn)(1990-)，男，浙江平湖人，碩士研究生。主要研究方向為圖像處理。E-mail：el0109@126.com

韓裕生(1972-)，男，安徽六安人，教授，博士。主要研究方向為圖像處理。E-mail：zhoupc2004@163.com