動(dòng)態(tài)不良天氣圖像去雨雪增強(qiáng)方法研究

楊柯 李強(qiáng) 張長(zhǎng)江 周軍華

（1.海裝武漢局駐鄭州地區(qū)軍事代表室 河南省鄭州市 450000 2.北京航空航天大學(xué)儀器科學(xué)與光電工程學(xué)院 北京市 100083）（3.中國(guó)電子科技集團(tuán)公司第二十七研究所 河南省鄭州市 450047）

1 概述

在多種軍民用場(chǎng)景中，基于視覺(jué)的成像、監(jiān)視跟蹤效果與視頻質(zhì)量密切相關(guān)，然而外場(chǎng)視頻往往面臨了諸多由復(fù)雜氣象變化造成的視覺(jué)干擾問(wèn)題，如雨雪、風(fēng)沙、霧霾等。在監(jiān)控視頻處理中，受到的視覺(jué)干擾根據(jù)顆粒的類型和大小進(jìn)行劃分主要分為：

（1）靜態(tài)天氣：霧、霧霾等；

（2）動(dòng)態(tài)天氣：雨、雪、冰雹等。

在進(jìn)行監(jiān)控視頻處理前進(jìn)行圖像增強(qiáng)，去除雨雪等氣象變化造成的視覺(jué)干擾，能夠有效提高后續(xù)目標(biāo)檢測(cè)、跟蹤、識(shí)別的準(zhǔn)確度，本文主要對(duì)不良天氣條件下圖像去雨雪方法進(jìn)行研究，并給出算法測(cè)試試驗(yàn)效果。

2 圖像去雨雪原理

2.1 基于時(shí)空頻率分析的圖像去雨雪方法

Barnum 等（2007）提出基于時(shí)空頻率分析的圖像去雨雪，引入雨雪的全局特性，分析雨雪在頻率域的特征以及物理模型，通過(guò)改進(jìn)高斯模糊建立雨雪在頻率域的模型，并通過(guò)抑制原始數(shù)據(jù)中雨雪的頻率，實(shí)現(xiàn)雨雪的去除。

雨線、雪線與高斯模糊形成的線狀模糊進(jìn)行對(duì)比，發(fā)現(xiàn)高斯模糊對(duì)雨雪形成的線狀模糊具有較好的擬合效果。如圖1所示。1(a)～(b)分別表示相同直徑雨滴、雪花下落形的線狀模糊，1(c)表示高斯模糊形成的線狀模糊。

圖1：雨線、雪線與高斯模糊形成的線狀模糊對(duì)比圖

基于高斯模糊結(jié)合雨雪的物理模型對(duì)雨線、雪線進(jìn)行建模，同時(shí)考慮雨雪在降落時(shí)存在一定方向，所建模型如式（1）、（2）、（3）所示。

其中，R(u,v;α,θ)表示所建雨雪模型，z 表示雨滴或雪花距離鏡頭的距離，a 表示雨滴或雪花的直徑，G(u,v,a,z,θ)表示高斯模糊，α表示對(duì)降雨（雪）強(qiáng)度的估計(jì)。m(x,y,t)表示在原始數(shù)據(jù)中第t 幀(x,y)處的像素值，M(u,v,w)表示對(duì)原始數(shù)據(jù)進(jìn)行傅里葉變換。表示連續(xù)幀頻率的標(biāo)準(zhǔn)差。

去除雨雪的過(guò)程基于陷波濾波器的思想，并通過(guò)兩步實(shí)現(xiàn)雨雪的去除：

（1）對(duì)每一幀進(jìn)行雨雪頻率的抑制；

（2）利用時(shí)間信息，對(duì)連續(xù)幾幀內(nèi)的雨雪頻率進(jìn)行抑制。

共同實(shí)現(xiàn)雨雪的去除。如公式（4）、（5）所示。

其中，c(x,y,t)表示去除雨雪后的清晰背景，p(rain|x,y)表示對(duì)雨雪像素的擬合。

2.2 基于時(shí)間屬性和顏色屬性相結(jié)合的圖像去雨方法

Zhang 等（2006）提出將時(shí)間屬性和顏色屬性相結(jié)合實(shí)現(xiàn)圖像去雨。時(shí)間屬性表明，有雨圖像中確定位置的像素不會(huì)永遠(yuǎn)被雨滴覆蓋。顏色屬性表明：在雨線位置，雨線像素的R、G、B 值變化波動(dòng)不大。通過(guò)使用雨線的這兩個(gè)屬性，可以檢測(cè)并消除固定攝像機(jī)拍攝下靜止場(chǎng)景中的雨線。

在有雨監(jiān)控視頻中，任意位置的像素值由無(wú)雨背景和雨滴組成，同時(shí)根據(jù)觀察任意有雨位置的像素值發(fā)現(xiàn)，隨著時(shí)間變化，確定位置的像素值會(huì)出現(xiàn)兩個(gè)尖峰，其中一個(gè)由背景像素造成，另一個(gè)由雨滴的分布造成?；谶@個(gè)特性，通過(guò)K-means 聚類，將原始數(shù)據(jù)中的像素值分為兩類：背景像素Cb、雨像素Cr。為了減少運(yùn)動(dòng)目標(biāo)對(duì)圖像去雨的影響，對(duì)顏色屬性進(jìn)行分析發(fā)現(xiàn)，在無(wú)運(yùn)動(dòng)目標(biāo)的有雨位置R、G、B 三通道的像素值隨時(shí)間變化波動(dòng)不大，但對(duì)于有運(yùn)動(dòng)目標(biāo)的像素R、G、B 三通道的像素值隨時(shí)間變化波動(dòng)劇烈。由此添加顏色約束，減少運(yùn)動(dòng)目標(biāo)對(duì)視頻序列除雨的影響。最后利用圖像融合實(shí)現(xiàn)視頻序列除雨。如公式（6）所示。

其中，Cb表示背景像素，Cr表示雨像素，C 表示除雨后的清晰背景，α 表示融合系數(shù)。

2.3 基于背景建模的視頻序列去雨雪方法

自適應(yīng)背景學(xué)習(xí)最早應(yīng)用于無(wú)監(jiān)督車輛檢測(cè)和跟蹤，算法的原理基于幀差法以及圖像融合的思想。背景的學(xué)習(xí)階段，利用連續(xù)幀間信息進(jìn)行背景的學(xué)習(xí)，見式（7）。對(duì)輸入視頻幀和初始背景進(jìn)行融合，得到背景。

其中，α 表示學(xué)習(xí)率，background 表示背景，input 表示輸入視頻幀。

前景目標(biāo)的提取階段，采用背景減除法，提取運(yùn)動(dòng)目標(biāo)，見式（8）。

其中，foreground 表示前景目標(biāo)，background 表示背景，input表示輸入視頻幀。

在基于背景建模的視頻序列去雨雪算法中，自適應(yīng)背景學(xué)習(xí)算法由于其對(duì)背景擬合效果好的優(yōu)勢(shì)，在基于背景建模的去雨雪實(shí)現(xiàn)過(guò)程中，用于實(shí)現(xiàn)無(wú)雨雪背景的提取。但由于在對(duì)運(yùn)動(dòng)目標(biāo)提取中，會(huì)出現(xiàn)鬼影以及目標(biāo)不完整的現(xiàn)象，由此在運(yùn)動(dòng)目標(biāo)的提取階段選擇MultiCueBGS 背景建模方法。

MultiCueBGS 背景建模算法系統(tǒng)的使用三種不同類型的線索：

（1）像素的紋理信息，用于初始前景檢測(cè)；

（2）像素的顏色信息，彌補(bǔ)測(cè)試幀與訓(xùn)練幀間紋理信息不足的情況，對(duì)初始前景進(jìn)行修正；

（3）區(qū)域的外觀信息，用于有效去除非前景區(qū)域。

算法流程如圖2所示。

圖2：MultiCueBGS 背景建模算法流程

通過(guò)背景建模提取到無(wú)雨雪背景和運(yùn)動(dòng)前景后，為了彌補(bǔ)背景建模獲取的無(wú)雨雪背景中運(yùn)動(dòng)目標(biāo)所在位置出現(xiàn)模糊、鬼影等的現(xiàn)象，通過(guò)將無(wú)雨雪背景和運(yùn)動(dòng)前景融合實(shí)現(xiàn)雨雪圖像增強(qiáng)，如圖3所示。

圖3：圖像融合原理示意圖

Tomasi 等（1998）提出雙邊濾波，一種非線性濾波方法?？梢栽谟行Ы档驮肼暋⑵交瑘D像的同時(shí)，保留圖像邊緣信息。雙邊濾波是高斯濾波的一種改進(jìn)濾波。雙邊濾波利用鄰域內(nèi)像素灰度值的加權(quán)平均表示某個(gè)位置的像素灰度。不同于高斯濾波權(quán)重只與像素間距離有關(guān)，雙邊濾波不僅考慮鄰域內(nèi)像素位置，也考慮像素間的輻射相似性。根據(jù)像素間的輻射相似性，可以有效解決邊界模糊問(wèn)題。

基于背景建模的視頻序列去雨雪算法的技術(shù)路線如圖4所示。

圖4：基于背景建模的視頻序列去雨雪算法技術(shù)路線

3 仿真、測(cè)試及結(jié)果分析

測(cè)試平臺(tái)如表1所示。

表1：仿真測(cè)試平臺(tái)

測(cè)試環(huán)境選取靜止背景下三組有雨視頻：視頻1、視頻2、視頻3 進(jìn)行測(cè)試，測(cè)試視頻均來(lái)自哥倫比亞大學(xué)計(jì)算機(jī)視覺(jué)實(shí)驗(yàn)室提供的公開數(shù)據(jù)集。算法具有較好的除雨效果，效果圖如5所示，其中圖5(a)～(c)表示三組不同的有雨場(chǎng)景，5(d)～(f)為5(a)～(c)相對(duì)應(yīng)的除雨結(jié)果。在5(d)～(f)中可以發(fā)現(xiàn)由雨滴產(chǎn)生的線狀模糊一定程度上得到了去除。

圖5：靜止場(chǎng)景無(wú)運(yùn)動(dòng)目標(biāo)除雨效果示意圖。(a)-(c)分別表示三個(gè)不同的有雨場(chǎng)景；(d)-(f)分別表示(a)-(c)對(duì)應(yīng)的除雨結(jié)果

選取靜止場(chǎng)景下，包含運(yùn)動(dòng)行人和車輛的有雪視頻(視頻4)進(jìn)行測(cè)試，測(cè)試視頻來(lái)自哥倫比亞大學(xué)計(jì)算機(jī)視覺(jué)實(shí)驗(yàn)室提供的公開數(shù)據(jù)集。測(cè)試效果如圖6所示，其中圖6(a)～(c)分別表示測(cè)試視頻的第23、71、83 幀，6(d)～(f)為相對(duì)應(yīng)的去雪效果。在包含運(yùn)動(dòng)目標(biāo)的測(cè)試場(chǎng)景中，測(cè)試效果會(huì)因?yàn)檫\(yùn)動(dòng)目標(biāo)產(chǎn)生模糊，同時(shí)由于圖像融合階段，將原始輸入數(shù)據(jù)與無(wú)雨雪背景融合，造成了在最終的結(jié)果中運(yùn)動(dòng)目標(biāo)位置會(huì)出現(xiàn)少量的雨/雪線。

圖6：靜止場(chǎng)景下包含運(yùn)動(dòng)目標(biāo)的除雪效果示意圖。(a)-(c)分別表示測(cè)試視頻的第23、71、83 幀；(d)-(f)分別表示測(cè)試視頻第23、71、83 幀對(duì)應(yīng)的除雪結(jié)果

在基于背景建模的除雨雪算法評(píng)價(jià)階段，本文主要通過(guò)Tenengrad 梯度函數(shù)、信息熵、方差對(duì)測(cè)試結(jié)果的結(jié)果進(jìn)行評(píng)價(jià)。

在三種評(píng)價(jià)指標(biāo)中，Tenengrad 梯度函數(shù)采用Sobel 算子分別提取水平和垂直方向的梯度值，對(duì)圖像的邊緣信息進(jìn)行描述。在雨雪圖像中，由于包含雨/雪線具有更多的邊緣信息，由此雨雪圖像的Tenengrad 梯度會(huì)高于除雨雪圖像。方差，描述場(chǎng)景灰度分布的二階矩，對(duì)于有雨雪圖像，雨雪像素值高于周圍像素值，因此雨雪圖像整體像素值的波動(dòng)程度會(huì)高于除雨雪圖像。信息熵，描述圖像信息的豐富程度，同樣的，在雨雪圖像中由于具有更多的邊緣信息，信息熵會(huì)高于除雨雪圖像。

Tenengrad 梯度函數(shù)計(jì)算公式如式（9）所示。

其中，w,h 表示圖像的大小，S(i,j)表示采用Sobel 算子計(jì)算的梯度值，I(i,j)表示圖像在(i,j)處的像素值，Gx、Gy分別表示Sobel水平梯度算子、Sobel 垂直梯度算子。

方差計(jì)算公式如式（11）所示。

其中，μ 表示圖像平均灰度值。

信息熵計(jì)算公式如式（12）所示。

其中，pi表示圖像中灰度值為i 的像素出現(xiàn)的概率，L 表示灰度總級(jí)數(shù)。

對(duì)除雨雪前后測(cè)試視頻的Tenengrad 梯度、信息熵、方差進(jìn)行計(jì)算如表2、表3所示。除雨雪前后的三種評(píng)價(jià)指標(biāo)對(duì)比后發(fā)現(xiàn)，除雨雪后圖像的Tenengrad 梯度值、信息熵、方差都小于除雨雪前相應(yīng)的值，說(shuō)明基于背景建模的圖像去雨雪算法對(duì)靜止場(chǎng)景具有較好的效果。在單幀處理時(shí)間上，視頻2、視頻3、視頻4 的單幀處理時(shí)間由于鏡頭運(yùn)動(dòng)、出現(xiàn)運(yùn)動(dòng)目標(biāo)時(shí)會(huì)出現(xiàn)較大波動(dòng)，所以整體算法的單幀處理時(shí)間偏高。

表2：未除雨雪前三種評(píng)價(jià)指標(biāo)計(jì)算結(jié)果

表3：除雨雪后三種評(píng)價(jià)指標(biāo)計(jì)算結(jié)果

基于背景建模的圖像去雨雪算法適用于靜止場(chǎng)景去雨雪，對(duì)靜止場(chǎng)景下雨雪圖像增強(qiáng)具有較好的效果，但存在運(yùn)動(dòng)目標(biāo)時(shí)會(huì)出現(xiàn)一定的模糊。同時(shí)，在運(yùn)動(dòng)目標(biāo)位置會(huì)出現(xiàn)少量雨/雪線，以及在運(yùn)動(dòng)目標(biāo)所在位置會(huì)出現(xiàn)與無(wú)雨雪背景明顯的邊界，算法的效果有待改進(jìn)。

4 總結(jié)

本文主要對(duì)圖像去雨雪進(jìn)行研究，提出了基于背景建模的圖像去雨雪方法，通過(guò)實(shí)驗(yàn)驗(yàn)證，該算法對(duì)靜止場(chǎng)景下的測(cè)試視頻進(jìn)行去雨雪具有較好的效果。