基于小波分解與融合的視頻去雨技術(shù)研究

陳強(qiáng)

（安康學(xué)院科研處，陜西安康 725000）

近年來(lái)，計(jì)算機(jī)視覺(jué)在智慧交通、遙感探測(cè)、醫(yī)學(xué)儀器等領(lǐng)域都得到了廣泛應(yīng)用。其中機(jī)器視覺(jué)技術(shù)用于交通監(jiān)管，例如在路口對(duì)車輛速度和駕駛行為進(jìn)行監(jiān)控，對(duì)違規(guī)車輛實(shí)現(xiàn)自動(dòng)識(shí)別，節(jié)省了人力資源。但在雨雪天氣下，采集到的圖像不夠清晰、對(duì)比度下降、細(xì)節(jié)丟失，在處理過(guò)程中容易出現(xiàn)誤判或者延時(shí)過(guò)大的情況[1-3]。去雨技術(shù)可以清晰化被雨噪聲污染的退化圖像，有利于圖像后續(xù)處理，提高相關(guān)技術(shù)的性能指標(biāo)[4-6]。

雨滴在空間中的分布是隨機(jī)的，且處于高速自由下落的運(yùn)動(dòng)狀態(tài)，在圖像中的檢測(cè)和去除比較困難，圖像去雨技術(shù)也成為當(dāng)前的研究熱點(diǎn)。Liu比較相鄰各幀的RGB 顏色分量，得到差值圖像，檢測(cè)結(jié)果的準(zhǔn)確率較高，但需要增加數(shù)據(jù)量，犧牲了實(shí)時(shí)性[7]。Santhaseelan 設(shè)計(jì)的視頻去雨算法使用局部相位信息完成，去雨效果好，但同樣實(shí)時(shí)性不強(qiáng)[8]。

視頻去雨算法要想提高某一特性就要以犧牲其他性能為代價(jià)，存在計(jì)算量大、造成延時(shí)等問(wèn)題[9]。該文根據(jù)雨線在頻率域呈現(xiàn)高頻的亮度特性，采用小波分解和融合的方法，從頻域角度對(duì)視頻各幀進(jìn)行小波多層分解并計(jì)算出污染度，再根據(jù)污染度加權(quán)的重構(gòu)規(guī)則對(duì)各幀進(jìn)行小波重構(gòu)，最后將各幀進(jìn)行融合從而削弱圖像中的大部分雨噪聲。

1 雨滴特性

雨是日常生活中常遇到的天氣現(xiàn)象，在雨天拍攝圖片、視頻時(shí)，由于雨滴在空間中的分布是隨機(jī)的，且雨滴處于高速自由下落的運(yùn)動(dòng)狀態(tài)，雨滴在視頻成像時(shí)，會(huì)形成雨線，影響視頻的質(zhì)量。雨滴為半徑0.05～1.75 mm 的近似球體，當(dāng)雨滴較大時(shí)，近似為橢球體。在無(wú)風(fēng)的情況下，雨滴降落受多個(gè)力學(xué)因素的共同影響，最終達(dá)到穩(wěn)定速度，該速度與雨滴直徑有關(guān)。雨滴的降落方向受風(fēng)向影響，在同一圖像中方向基本一致[10]。由于雨滴對(duì)光線的折射和反射，所以在圖像中，雨滴對(duì)應(yīng)的像素亮度明顯高于背景像素。

另外，由于雨滴的下降速度影響，圖像上會(huì)產(chǎn)生模糊的雨線，降低了圖像的質(zhì)量。雨滴的對(duì)應(yīng)像素亮度同時(shí)受到雨滴和背景亮度的雙重影響。其亮度變化具有時(shí)間上的對(duì)稱性，并且雨滴像素的亮度值隨時(shí)間的波動(dòng)很小[11]。

RGB 3 個(gè)原色通道的視角范圍遠(yuǎn)小于雨滴視角范圍，所以通道值變化量可近似看成相等[12]。雨滴分布隨機(jī)，近地面速度較快，同一雨滴不可能出現(xiàn)在相鄰幀，任一像素也不會(huì)始終被雨滴遮擋。

2 圖像的小波分解與融合

圖像融合是將兩幅或多幅圖像的信息融合到一起，以獲得對(duì)同一畫面更為準(zhǔn)確全面的圖像描述。小波分解有明顯的方向性和塔狀結(jié)構(gòu)，對(duì)不同頻率的分量、方向、分解層，要用不同規(guī)則進(jìn)行處理，利用冗余和互補(bǔ)信息來(lái)提高效果[13]。

對(duì)一幅圖像進(jìn)行N層小波分解，然后進(jìn)行融合，步驟如下：

1）對(duì)原始圖像（如圖1（a））進(jìn)行小波分解，分解為4 個(gè)圖（圖1（b）、（c）、（d）、（e）），分別對(duì)應(yīng)低頻近似系數(shù)、水平細(xì)節(jié)分量、垂直細(xì)節(jié)分量、對(duì)角細(xì)節(jié)分量?？筛鶕?jù)實(shí)際需要，對(duì)低頻近似系數(shù)分量重復(fù)上述過(guò)程，建立小波塔形分解，分解的層數(shù)越高，數(shù)據(jù)的尺寸越小，包含的細(xì)節(jié)信息越少。

圖1 有雨圖像的小波分解

2）融合各分解層，使各層的低頻近似系數(shù)、高頻水平細(xì)節(jié)分量、高頻垂直細(xì)節(jié)分量、高頻對(duì)角細(xì)節(jié)分量等可以根據(jù)不同的要求，采用不同規(guī)則進(jìn)行融合。

3）對(duì)金字塔進(jìn)行圖像重構(gòu)，得到融合結(jié)果。圖像融合過(guò)程如圖2 所示。

圖2 圖像融合過(guò)程

3 去雨算法

雨噪聲的頻率與景物信息有較為明顯的區(qū)別，紋理細(xì)節(jié)頻率最高，雨噪聲的頻率次之，顏色信息頻率最低。經(jīng)小波分解，雨噪聲主要在低層高頻系數(shù)中，因此應(yīng)盡量提高分解層數(shù)；然后再確定細(xì)節(jié)信息、雨噪聲等所在層[14]。

對(duì)退化圖像進(jìn)行小波融合，根據(jù)頻率結(jié)構(gòu)分別對(duì)背景與顏色、雨噪聲、紋理邊緣的細(xì)節(jié)三部分信息進(jìn)行融合，并根據(jù)小波分解后的特點(diǎn)制定融合規(guī)則[15]。

融合雨噪聲就是融合高頻系數(shù)，融合規(guī)則的合理性是決定退化圖像中雨噪聲去除效果的關(guān)鍵。在視頻中觀察雨滴，其因移動(dòng)而表現(xiàn)為明亮細(xì)線。雨滴呈透明液態(tài)，雨滴亮度均在200 尼特附近，比較一致[15]。

對(duì)含有雨噪聲的圖像進(jìn)行小波處理時(shí)，鑒于雨的亮度比背景高得多，因此雨覆蓋的部分與背景部分的灰度相差較大，可以用局部梯度來(lái)表示灰度變化的大小，局部梯度如式（1）所示:

其中，Δxf(i,j)和Δyf(i,j)分別表示點(diǎn)(i,j)在水平和垂直方向上的梯度；M、N表示局部區(qū)域邊長(zhǎng)。

雨的亮度一致，雨覆蓋部分與背景能量值高且穩(wěn)定，局部能量如式（2）所示：

其中，f(i,j)表示像素灰度值。

局部梯度G和局部能量E兩個(gè)參數(shù)能表征出雨噪聲具有高且一致的亮度。

雨噪聲污染度S=G×E，表示圖像被雨噪聲污染的程度。

基于污染度的小波融合步驟如下：

1）小波分解：進(jìn)行10 層小波分解，得到第2-4 層的高頻系數(shù)（含大部分雨噪聲）。

2）融合含噪高頻系數(shù)：求解2-4 層高頻系數(shù)矩陣及污染度S矩陣，對(duì)S矩陣歸一化處理，然后和系數(shù)矩陣逆加權(quán)，得到大幅減噪的新系數(shù)矩陣。

3）融合不含噪系數(shù)：融合5-10 層系數(shù)及第1 層高頻系數(shù)，其中包含了圖像主要細(xì)節(jié)信息，進(jìn)行均值處理后，可突出圖像的顏色域和細(xì)節(jié)。

4）小波重構(gòu)：重構(gòu)融合后的系數(shù)，得到去雨圖像。融合流程如圖3 所示。

圖3 融合流程

4 實(shí)驗(yàn)與驗(yàn)證

為了驗(yàn)證該文方法，使用Matlab 進(jìn)行仿真試驗(yàn)，步驟如下：

第一步，將一段有雨視頻分解成幀圖像，在利用多幅退化幀圖像進(jìn)行融合的過(guò)程中，細(xì)節(jié)受損的多幅退化圖像間可以相互彌補(bǔ)，突出細(xì)節(jié)信息。

第二步，對(duì)每個(gè)幀畫面進(jìn)行多層小波分解，隨分解層數(shù)的提高，其中的細(xì)節(jié)信息降低，呈現(xiàn)塔狀結(jié)構(gòu)。圖4 為多層小波分解的低頻系數(shù)和分量，從上到下隨分解層數(shù)的提高，圖像中的像素塊增大，整幅圖像包含的細(xì)節(jié)信息減少，這一過(guò)程中雨噪聲在層數(shù)較低時(shí)含量較多，尤其雨噪聲在小波分解的第2-4層的含量最大，其他層多為背景信息，可以利用這個(gè)特性，制定融合規(guī)則，針對(duì)第2-4 層進(jìn)行去除雨噪聲處理，將其他層進(jìn)行融合，突出背景信息。

圖4 多層小波分解的低頻系數(shù)和分量

第三步，通過(guò)各幀根據(jù)污染度反向加權(quán)削減雨噪聲后進(jìn)行小波融合。

第一步將視頻分解得到6 幀圖像，第二步將每一幀進(jìn)行10 層小波分解，雨噪聲明顯比周圍像素亮度大，對(duì)其中第2-4 層以局部梯度來(lái)度量灰度變化，以確定雨噪聲的量，從而確定每一層的污染度。在進(jìn)行融合時(shí)，根據(jù)污染度的大小反向加權(quán)，即污染度越大，權(quán)重越小，從而削弱第2-4 層的雨噪聲。由于物體邊緣或背景中的一些亮白像素容易誤判為雨噪聲，第2-4 層同樣會(huì)被削弱，所以該文對(duì)第1、5-10 層（主要含背景信息）加的權(quán)值大于1，進(jìn)行補(bǔ)充。最后將融合好的6 幀圖像再次進(jìn)行圖像融合，最終得到圖5（a）的融合結(jié)果。通過(guò)對(duì)比，融合后的圖像背景和輪廓更加清晰，雨線明顯減少，雨噪聲得到了極大抑制。

圖5 融合結(jié)果和原圖像的對(duì)比

5 結(jié)論

該文采用小波多層分解[16]和融合的方法，將圖像多層分解，確定含雨噪聲比較集中的層，并制定了基于污染度的反向加權(quán)融合規(guī)則（即污染度越大，權(quán)值越?。璐藖?lái)削弱雨噪聲，并對(duì)視頻中圖像的特定層進(jìn)行小波融合以去除雨線。實(shí)驗(yàn)證明，該方法去雨效果明顯，具有一定的應(yīng)用價(jià)值。