基于多特征融合的運(yùn)動(dòng)陰影去除算法

趙林林， 陳一民， 鄒一波

(上海大學(xué) 計(jì)算機(jī)工程與科學(xué)學(xué)院,上海 200444)

基于多特征融合的運(yùn)動(dòng)陰影去除算法

趙林林， 陳一民， 鄒一波

(上海大學(xué) 計(jì)算機(jī)工程與科學(xué)學(xué)院,上海 200444)

在運(yùn)動(dòng)目標(biāo)檢測(cè)中，由于運(yùn)動(dòng)陰影與前景物體具有相似的運(yùn)動(dòng)特征，傳統(tǒng)的方法很難區(qū)分運(yùn)動(dòng)對(duì)象及其陰影。為了解決這一問(wèn)題，提出了一種基于多特征融合的陰影去除算法。在HSV顏色空間下利用陰影所具有的色度不變性特征對(duì)前景圖像進(jìn)行預(yù)處理并得到陰影的候選區(qū)域；利用小波變換分析候選區(qū)域和與之對(duì)應(yīng)背景區(qū)域紋理特征的相似程度，去除其中的相似成分得到最終的檢測(cè)結(jié)果。實(shí)驗(yàn)結(jié)果表明，提出的方法在不同場(chǎng)景下能夠有效地去除運(yùn)動(dòng)陰影區(qū)域。

運(yùn)動(dòng)陰影去除； 色度不變性； 紋理相似性； 小波變換

0 引言

運(yùn)動(dòng)目標(biāo)檢測(cè)是計(jì)算機(jī)視覺(jué)研究領(lǐng)域的熱點(diǎn)和難點(diǎn)問(wèn)題之一，而存在于檢測(cè)結(jié)果中的運(yùn)動(dòng)陰影給后續(xù)相關(guān)處理與分析帶來(lái)諸多不利影響。因此，目標(biāo)檢測(cè)中的陰影去除具有重要的研究?jī)r(jià)值。陰影是不透明或半透明物體全部或部分遮擋了來(lái)自光源的光線而在地面上投射出的比較黑暗的區(qū)域。近來(lái)，隨著對(duì)陰影性質(zhì)研究的不斷深入，國(guó)內(nèi)外學(xué)者提出了許多不同類型的陰影去除方法。根據(jù)所利用信息不同，可以分為兩類：基于顏色的方法和基于紋理的方法。

基于顏色信息的方法是利用陰影具有色度不變性的特征來(lái)去除目標(biāo)檢測(cè)結(jié)果中的陰影區(qū)域。Cucchiara等人[1]提出了一種確定性非模型方法(Deterministic non-model based approach)，并指出由于陰影區(qū)域具有亮度和飽和度降低，但是色調(diào)基本保持不變的特點(diǎn)，所以可通過(guò)分離圖像中的亮度和色度分量來(lái)去除陰影。Sun和Li提出了一種結(jié)合HSI和c1c2c3兩種色彩模型的陰影檢測(cè)方法[2]，通過(guò)將HSI顏色空間中色度與亮度的比值以及c1c2c3顏色空間下對(duì)光照不變性的特征相結(jié)合的方式來(lái)實(shí)現(xiàn)對(duì)運(yùn)動(dòng)車輛陰影的檢測(cè)和去除。然而，基于顏色信息的方法在處理目標(biāo)與背景顏色相近的問(wèn)題上存在較高的陰影誤檢率。

基于紋理的方法是利用陰影具有紋理相似性的特征來(lái)去除陰影區(qū)域。Leone等人在文獻(xiàn)[3]中提出使用Gabor函數(shù)提取和匹配圖像的紋理特征來(lái)判斷陰影；文獻(xiàn)[4]使用結(jié)合顏色空間與LBP紋理特征的方式來(lái)檢測(cè)陰影區(qū)域；上述方法取得了一定效果，但是在處理平坦區(qū)域以及前景與背景紋理相似的問(wèn)題上存在一定的缺陷。

由于，依靠單一的顏色或紋理特征均不能很好的解決運(yùn)動(dòng)陰影問(wèn)題，本文提出了一種基于多特征融合的運(yùn)動(dòng)陰影去除方法。針對(duì)DNM算法在判別陰影的過(guò)程中只考慮單個(gè)像素點(diǎn)在HSV顏色空間下的色度差異，缺少像素的空間位置信息，會(huì)導(dǎo)致該方法容易受到噪聲等因素的干擾。通過(guò)加入背景隨機(jī)樣本模型和基于滑動(dòng)窗口的陰影判別方式，提高算法的抗噪性；同時(shí)，通過(guò)加入陰影的紋理信息，彌補(bǔ)算法在處理顏色相似性問(wèn)題上的不足。

1 基于多特征融合的陰影去除算法

陰影可以從顏色層面或紋理層面分別進(jìn)行處理，本文采用兩者相結(jié)合的方式去除目標(biāo)檢測(cè)中的陰影區(qū)域。首先，在HSV顏色空間下，對(duì)DNM算法進(jìn)行改進(jìn)；然后，用改進(jìn)后的DNM方法對(duì)前景圖像進(jìn)行預(yù)處理，得到感興趣的陰影候選區(qū)域。接著，通過(guò)小波變換對(duì)候選圖像與背景圖像的紋理特征進(jìn)行相似性分析，實(shí)現(xiàn)對(duì)候選區(qū)域中陰影成分的去除。

1.1 基于改進(jìn)DNM算法的陰影去除算法

DNM算法是一種快速且有效的基于顏色空間的陰影去除方法，其陰影判別,如式(1)。

SHt(x,y)=

(1)

本文對(duì)DNM做出如下改進(jìn)：建立背景隨機(jī)樣本模型和采用基于滑動(dòng)窗口的陰影特征判別方式。首先分別對(duì)背景的H通道、S通道和V通道圖像中的每個(gè)像素點(diǎn)建立其對(duì)應(yīng)的樣本空間，使用周圍鄰域的樣本像素值來(lái)描述該像素點(diǎn)所對(duì)應(yīng)的顏色特征；然后，采用窗口鄰域替代單像素點(diǎn)的顏色特征判斷方式。

假設(shè)t時(shí)刻位置為(x,y)上的前景像素點(diǎn)為It(x,y)，背景像素點(diǎn)為Bt(x,y)；當(dāng)前的背景圖像為BGImg。

(2)

(3)

(4)

(5)

圖1 隨機(jī)樣本選取圖

背景隨機(jī)模型的核心思想是通過(guò)隨機(jī)算子來(lái)構(gòu)建模型的樣本空間，即從當(dāng)前子通道圖像中以(x,y)為中心，3×3為半徑的鄰域內(nèi)，隨機(jī)選取像素點(diǎn)作為樣本空間中的樣本。

在陰影分類階段，采用滑動(dòng)窗口的方式進(jìn)行陰影判別。構(gòu)建以(x,y)為中心，大小為(2M+1)(2N+1)的顏色檢測(cè)窗口。對(duì)公式(1)進(jìn)行改進(jìn)，得到檢測(cè)窗口中任一像素點(diǎn)It(x+i,y+j)(-M≤i≤M,-N≤j≤N)在HSV顏色空間下的隨機(jī)模型匹配,如式(6)-(8)。

(6)

(7)

(8)

其中，sh(i,j)表示窗口中的像素點(diǎn)It(x+i,y+j)與背景模型的匹配結(jié)果；若sh(i,j)=1表示模型匹配成功，否則為匹配失??；εS和εH含義與式(7)相似；φS(k)和φH(k)含義與公式(8)相似。α、β、τS和τH為相應(yīng)的閾值，在本文中，取值與DNM算法相同。

基于式(6)，遍歷檢測(cè)窗口中所有像素點(diǎn)，并統(tǒng)計(jì)該窗口下總匹配數(shù)，然后利用式(9)將總匹配數(shù)與門限閾值?th進(jìn)行比較，最后得到It(x,y)在HSV顏色空間下的陰影判別結(jié)果HSVt(x,y)。其中，?th表示檢測(cè)窗口的像素點(diǎn)匹配門限閾值,如式(9)。

(9)

式(9)中，參數(shù)M=1,N=1；當(dāng)HSVt(x,y)=1表示像素點(diǎn)It(x,y)為陰影點(diǎn)，否則作為候選前景點(diǎn)，需要利用紋理信息進(jìn)行進(jìn)一步判斷。

1.2 基于小波變換的陰影去除算法

近年來(lái)，基于多通道(multi-channel)分析的離散小波變換方法[5、6]引起了研究人員的廣泛關(guān)注。小波變換為分析圖像紋理信息提供了新的方式和手段。小波變換既能精確定位信號(hào)的突發(fā)跳變，又能把握信號(hào)的整體變化，是一種較為理想的圖像處理工具。

首先，對(duì)上一節(jié)得到的陰影候選區(qū)域使用離散小波變換分析其與背景區(qū)域的紋理相似程度，并剔除其中紋理相似的成分，然后將處理后的前景小波圖像進(jìn)行逆變換得到最終的目標(biāo)圖像。假設(shè)在t時(shí)刻當(dāng)前候選圖像區(qū)域?yàn)镕t(x,y)，對(duì)Ft(x,y)使用一層離散小波變換后產(chǎn)生的子頻帶圖像分別記為L(zhǎng)L1,HL1,LH1,HH1。然后，繼續(xù)對(duì)LL1進(jìn)行離散小波變換，產(chǎn)生的子頻帶圖像分別記為L(zhǎng)L2、HL2、LH2和HH2，如圖2所示。

其中，LL為圖像數(shù)據(jù)能量集中的頻帶，其內(nèi)容可視為原始圖像的縮略圖。HL為原始圖像水平方向的高頻信息存放頻帶，主要反映圖像水平方向上的變化信息和邊緣信息；LH為原始圖像豎直方向的高頻信息存放頻帶，主要反映圖像在豎直方向上的灰度變化信息和邊緣信息；HH為原始圖像在對(duì)角線方向的高頻信息存放頻帶，主要反映圖像在水平方向和豎直方向上灰度的綜合變化信息，以及少量邊緣信息。

(a) 原始圖像

(b) 小波圖像

從小波多分辨率的角度對(duì)前景和背景圖像進(jìn)行不同尺度空間下的紋理相似性分析，步驟如下：

步驟一：對(duì)1.1節(jié)中得到的陰影候選區(qū)域Ft(x,y)與背景圖像BGImg分別使用兩層離散小波變換，則陰影候選圖像可以分解為7個(gè)前景小波子圖，分別記為FLL1、FHL1、FLH1、FHH1、FHL2、FLH2、FHH2,如圖3所示。

(a)候選前景(b)FLL1子帶(c)FHL1子帶(d)FLH1子帶(e)FHH1子帶

(f)FHL2子帶(g)FLH2子帶(h)FHH2子帶

圖3 陰影候選區(qū)域及小波變換分解圖

BGImg可以分解為7個(gè)背景小波子圖，分別記為BLL1、BHL1、BLH1、BHH1、BHL2、BLH2、BHH2；

步驟二：為了去除存在于前景高頻圖像中的噪聲信息，采用子頻帶窗口均值去除高頻噪聲。假設(shè)當(dāng)前處理的高頻子帶為FHL1，該子帶圖像的(x,y)上小波系數(shù)為fHL1(x,y)。首先，利用式(10)求解該子頻帶上所有小波系數(shù)的均值meanHL1,如式(10)。

(10)

然后，計(jì)算以(x,y)為中心大小為(2M+1)(2N+1)的窗口鄰域的小波系數(shù)均值mean(x,y)，如式(11)：

(11)

若mean(x,y)

采用上述方式對(duì)前景圖像中的FLH1、FHH1、FHL2、FLH2和FHH2高頻子帶上的小波系數(shù)進(jìn)行處理，實(shí)現(xiàn)對(duì)前景高頻子圖像噪聲去除。

步驟三：采用統(tǒng)計(jì)學(xué)中的均值、標(biāo)準(zhǔn)差以及平滑度描述窗口紋理特征。建立以(x,y)為中心，大小為(2M+1)(2N+1)的矩形特征檢測(cè)窗口，則該窗口下的均值μt(x,y)、標(biāo)準(zhǔn)差σt(x,y)、以及平滑度Rt(x,y)的計(jì)算式,為式(12)-(14)。

(12)

(13)

(14)

這里，取參數(shù)M=1,N=1。則像素點(diǎn)It(x,y)在HL1頻帶圖像上所對(duì)應(yīng)的紋理特征TexFt(x,y)可以描述,為式(15)。

(15)

同理，背景像素點(diǎn)Bt(x,y)的紋理特征TexBt(x,y)可以描述,為式(16)。

(16)

對(duì)陰影區(qū)域的紋理特征的分析可知，相同位置上的紋理特征檢測(cè)窗口，目標(biāo)區(qū)域與背景區(qū)域特征向量的相似性程度較低，而真實(shí)陰影區(qū)域與背景區(qū)域特征向量的相似性程度較高。同時(shí)，陰影區(qū)域的小波系數(shù)集中在幅值較小的范圍，而非陰影區(qū)域的小波系數(shù)集中在幅值較大的范圍?；谏鲜隼碚?，本文通過(guò)計(jì)算陰影候選區(qū)域與背景區(qū)域的紋理特征向量相關(guān)比例系數(shù)和小波系數(shù)的幅值范圍來(lái)判斷兩者的相似性程度，以當(dāng)前的子頻帶圖像為例，其判斷式如(17)-(20)。

(17)

(18)

(19)

(20)

(21)

步驟四：基于式(17)和(21)，依次對(duì)前景候選圖像在不同分辨率下的子頻帶圖像(FLL1、FHL1、FLH1、FHH1、FHL2、FLH2、FHH2)進(jìn)行小波系數(shù)篩選處理。

步驟五：對(duì)處理之后的小波子頻帶圖像進(jìn)行小波圖像逆變換，得到最終結(jié)果。

算法的流程圖,如圖4所示。

圖4 陰影去除算法流程圖

2 實(shí)驗(yàn)結(jié)果

為了驗(yàn)證本文算法的有效性，我們選取了3個(gè)具有代表性的視頻監(jiān)控場(chǎng)景進(jìn)行試驗(yàn)，包括：Highway，Bungalows以及PETS2006。

實(shí)驗(yàn)的軟硬件環(huán)境為：Visual C++ 2010和 OpenCV輔助視覺(jué)庫(kù)，Intel CPU酷睿5處理器，主頻2.1GHz，內(nèi)存4GB。

采用Visual Background Extractor (ViBe)[7]作為目標(biāo)檢測(cè)算法,如圖5所示。

圖5 陰影去除效果圖

圖5(a)中的第一行、第二行和第三行的測(cè)試場(chǎng)景分別為Highway、Bungalows和PETS2006，圖5(b)為使用ViBe算法進(jìn)行目標(biāo)檢測(cè)后得到的二值化前景圖像，圖5(c)為應(yīng)用本文提出的基于多特征融合的陰影去除方法之后得到的前景圖。

從圖5(b)中可以看出結(jié)果中含有大量的運(yùn)動(dòng)陰影區(qū)域，并且這些區(qū)域與前景目標(biāo)相連，導(dǎo)致目標(biāo)形狀的變形和扭曲。由圖5(c)可以看出與目標(biāo)相連的陰影區(qū)域得到了較好的去除，大部分運(yùn)動(dòng)陰影都被剔除出前景檢測(cè)結(jié)果中。

本文采用前景檢測(cè)正確率ρf來(lái)評(píng)判目標(biāo)檢測(cè)算法在加入陰影去除后性能的改進(jìn)情況,如式(22)。

(22)

其中，TP表示正確分類的前景像素點(diǎn)數(shù)；FN表示錯(cuò)誤分類的背景像素點(diǎn)數(shù)。

ViBe目標(biāo)檢測(cè)算法和加入陰影去除之后的ViBe算法在不同測(cè)試場(chǎng)景下的前景檢測(cè)正確率對(duì)比圖,如圖6所示。

圖6 前景檢測(cè)正確率圖

結(jié)合圖5和圖6可知，由于監(jiān)控場(chǎng)景中存在大塊運(yùn)動(dòng)陰影區(qū)域，若僅僅采用ViBe算法進(jìn)行目標(biāo)檢測(cè)，由于大塊陰影的存在其結(jié)果的正確率較低；而在ViBe算法的基礎(chǔ)上加入了本文提出的陰影去除過(guò)程后，算法對(duì)運(yùn)動(dòng)陰影區(qū)域能達(dá)到較好的抑制效果，從而提高了前景檢測(cè)的正確率。

3 結(jié)論

本文利用陰影不會(huì)改變背景區(qū)域的色度和紋理這一特性來(lái)去除存在于目標(biāo)檢測(cè)結(jié)果中的運(yùn)動(dòng)陰影區(qū)域。在陰影去除模塊中，提出了基于隨機(jī)背景模型與滑動(dòng)窗口相結(jié)合的陰影判別方法；同時(shí)，利用小波變換分析陰影候選區(qū)域和背景區(qū)域的紋理特征相似度，然后對(duì)相似度較高的小波系數(shù)進(jìn)行篩選，以實(shí)現(xiàn)對(duì)運(yùn)動(dòng)陰影的去除。實(shí)驗(yàn)證明，本文的算法在不同的陰影監(jiān)控環(huán)境下可達(dá)到比較理想的陰影去除效果。然而，該算法在陰影邊緣處理方面仍存在不足，在后續(xù)的研究過(guò)程中，我們將對(duì)陰影邊緣處理問(wèn)題進(jìn)行深入研究。

[1] Cucchiara R, Grana C, Piccardi M, et al. Improving shadow suppression in moving object detection with HSV color information[C]∥Proceedings of 2001 IEEE Intelligent Transportation Systems. IEEE, 2001: 334-339.

[2] Sun B, Li S. Moving cast shadow detection of vehicle using combined color models[C]∥2010 Chinese Conference on Pattern Recognition (CCPR). IEEE, 2010: 1-5.

[3] Leone A, Distante C, Buccolieri F. Shadow Detection for moving objects based on texture analysis[J]∥Pattern Recognition, IEEE, 2007:1222-1233.

[4] 曹健，陳紅倩，張凱. 結(jié)合區(qū)域顏色與紋理的運(yùn)動(dòng)陰影檢測(cè)方法[J]. 機(jī)器人，2011，33(5)：628-633.

[5] Mallat S. A Theory for Multi-resolution Signal Decomposition: The Wavelet Representation[C]∥Transctions on Partern Analysis and Machine Intelligence. 1989: 674-693.

[6] William R Zetrier, John Huffman and David C P Linden. Application of Compactly Supported Wavelets to Image Compression[C]∥SPIE Image Processing Algorithms and Techniques. 1990:150-161.

[7] Olivier Barnich and M Van Droogenbroeck. ViBe: A universal background subtraction algorithm for video sequences[C]∥Transactions on Image Processing. IEEE, 2011,20(6): 1709-1724.

Moving Shadow Removal Algorithm Based on Multi-feature Fusion

Zhao Linlin,Chen Yimin,Zou Yibo

(School of Computer Engineering and Science,Shanghai University,Shanghai 200444,China)

In the field of motion detection, the traditional method is difficult to distinguish the moving object and its shadow due to the similar motion features between the moving shadow and the foreground object. In order to solve this problem, a novel shadow removal algorithm based on multi-feature fusion is proposed in this paper. Firstly, in the HSV color space, we use chromaticity invariance feature of shadow to obtain the candidate region of shadow. Then, we use the wavelet transform to analyze the texture similarity between the candidate region and background region, and remove the similar wavelet components to obtain the final detection result. The experimental results show that our method can effectively remove moving shadow in different scenes.

Moving shadow removal; Chromaticity invariance; Texture similarity; Wavelet transform

趙林林(1992-),男，碩士研究生，研究方向:視頻監(jiān)控 陳一民(1961-)，男,教授，研究方向:圖像處理和增強(qiáng)現(xiàn)實(shí)技術(shù) 鄒一波(1983-)，男,博士研究生，研究方向:視頻監(jiān)控和圖像處理

1007-757X(2017)03-0071-04

TP311

A

2017.01.10)