基于GMM和MRF的自適應(yīng)陰影檢測(cè)*

閔華清 呂居美 羅榮華 陳聰

(華南理工大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院，廣東廣州510006)

視頻序列中運(yùn)動(dòng)目標(biāo)的準(zhǔn)確檢測(cè)對(duì)智能監(jiān)控、基于內(nèi)容的視頻編碼以及人機(jī)交互等應(yīng)用非常重要.然而，潛在的因素如由運(yùn)動(dòng)目標(biāo)投射形成的移動(dòng)陰影、光照變化以及深色目標(biāo)誤分類為陰影都將會(huì)影響目標(biāo)提取的準(zhǔn)確性.因此目標(biāo)提取算法［1］必須具有足夠的健壯性以應(yīng)對(duì)移動(dòng)陰影、光照變化和偽陰影等問題.

混合高斯模型(GMM)是當(dāng)前最為流行的目標(biāo)提取方法，對(duì)于攝像頭固定、目標(biāo)相對(duì)于背景比較突出的情況具有較好的分割效果.Stauffer等［2］提出了一種更一般的混合高斯背景建模方法，在學(xué)習(xí)模型參數(shù)過程中，用在線K均值近似的方法代替了嚴(yán)格的期望最大化(EM)算法，提高了混合高斯模型的學(xué)習(xí)效率.Martel-Brisson等［3］利用混合高斯聚類思想進(jìn)行陰影抑制，調(diào)節(jié)參數(shù)學(xué)習(xí)率，試圖使陰影收斂于某一個(gè)高斯分布.但這些模型均基于單獨(dú)的像素點(diǎn)建模，沒有包含空間的鄰域信息.

充分利用像素的鄰域信息對(duì)提高陰影檢測(cè)的準(zhǔn)確性與效率具有十分重要的意義.文獻(xiàn)［4］中將顏色信息和邊緣信息結(jié)合起來，在HSV(Hue，Saturation，Value)顏色空間根據(jù)物體的對(duì)稱信息進(jìn)行陰影檢測(cè)，但該方法只適用于形狀對(duì)稱的物體，且在復(fù)雜背景中效果不理想.Kato等［5］針對(duì)汽車跟蹤問題提出了基于隱馬爾科夫模型/馬爾科夫隨機(jī)場(chǎng)(HMM/MRF)的運(yùn)動(dòng)分割方法，該方法利用HMM模型建立各圖像區(qū)域在時(shí)間上的相互關(guān)系，并將HMM模型的輸出作為MRF的輸入，通過最大化后驗(yàn)概率(MAP)來實(shí)現(xiàn)優(yōu)化估計(jì)，但該方法參數(shù)較多，且訓(xùn)練過程復(fù)雜.

針對(duì)以上問題，文中提出了基于GMM和MRF的自適應(yīng)陰影檢測(cè)方法.首先，對(duì)GMM進(jìn)行改進(jìn)，使其可以自適應(yīng)調(diào)整參數(shù)學(xué)習(xí)率，從而消除淺陰影，分離出背景以及包含部分陰影的前景;然后，對(duì)已經(jīng)提取出來的包含陰影的前景，根據(jù)信息容量來選擇顏色分量，并利用最大類間方差自適應(yīng)確定陰影檢測(cè)閾值;最后，利用陰影檢測(cè)閾值自適應(yīng)標(biāo)記初始陰影和目標(biāo)，將其作為MRF的初始標(biāo)記，并根據(jù)像素間的空間依賴關(guān)系，通過MAP和條件迭代模式(ICM)［6］精確分離出目標(biāo)及陰影.

1 基于GMM的前景分割

1.1 GMM介紹

混合高斯模型的基本思想是:對(duì)每個(gè)像素點(diǎn)，定義K個(gè)狀態(tài)來表示其呈現(xiàn)的顏色，K值一般取3～5之間［2，7］.如果t時(shí)刻每個(gè)像素點(diǎn)的顏色取值用變量Xt表示，則其概率密度函數(shù)可用K個(gè)高斯函數(shù)來表示:

其中:x為像素的顏色取值;η(x，μi，t，∑i，t)為t時(shí)刻的第i個(gè)高斯分布，其均值為μi，t;協(xié)方差矩陣為單位矩陣為方差;wi，t為權(quán)重.建立混合高斯模型的一般過程如下:

1)初始化.通常在圖像序列中，第一幀為場(chǎng)景背景的可能性較大，因此可利用第一幀的像素值來初始化其中一個(gè)高斯分布的均值，并給該高斯分布分配較大權(quán)值1，而其它高斯分布的初始權(quán)值為0，同時(shí)所有高斯分布的初始方差均取較大值，即

其中σmax可設(shè)為30.這樣，在GMM的更新過程中，該高斯分布為背景分布的可能性較大，因而可提高EM算法的收斂速度.

2)模型參數(shù)更新.得到新的視頻幀后，將當(dāng)前像素值Xt與K個(gè)高斯分布逐一比較，若(δ通常設(shè)為2.5～3.5)，則更新第i個(gè)高斯分布，其它高斯分布保持不變，更新方程為

式中:α為模型的學(xué)習(xí)率;Ai，t用來表示t時(shí)刻第i個(gè)高斯分布與Xt是否匹配，若匹配則Ai，t為1，否則為0.如果沒有一個(gè)高斯分布和Xt匹配，則該像素的最后一個(gè)高斯分布被新高斯分布取代，新高斯分布的均值為Xt，初始標(biāo)準(zhǔn)差取較大值而權(quán)值取較小值.在更新完成后，各高斯分布的權(quán)值被歸一化，以使

3)背景分割.根據(jù)wi，t/σi，t(i=1，2，…，K)對(duì)各高斯分布從大到小排序.符合式(3)的前B個(gè)分布被認(rèn)為是背景分布，則匹配前B個(gè)分布的像素點(diǎn)被認(rèn)為是構(gòu)成背景的像素點(diǎn).

式中，T為背景分割閾值，wj為排序后第j個(gè)高斯分布的權(quán)重，b為滿足條件的高斯分布個(gè)數(shù).

1.2 GMM的改進(jìn)

文中通過添加幀差測(cè)量值ΔD來對(duì)GMM進(jìn)行改進(jìn)，使得學(xué)習(xí)率α可以自適應(yīng)地調(diào)整.

學(xué)習(xí)率α影響參數(shù)學(xué)習(xí)率，即背景更新的速度.α越大更新速度越快，α越小則更新速度越慢.過快的更新速度可能將速度慢的運(yùn)動(dòng)目標(biāo)更新為背景，從而出現(xiàn)空洞;過慢的更新速度則會(huì)使背景模型跟不上背景更新速度，從而出現(xiàn)虛影.為此，文中使用幀差測(cè)量值ΔD來衡量目標(biāo)的運(yùn)動(dòng)速度，以使α能自適應(yīng)地調(diào)整.

定義1幀差測(cè)量值ΔD表示一段時(shí)間內(nèi)運(yùn)動(dòng)目標(biāo)質(zhì)心的平均移動(dòng)速度，即

式中:di為當(dāng)前幀與前一幀的運(yùn)動(dòng)目標(biāo)相對(duì)質(zhì)心差;f為要統(tǒng)計(jì)的幀數(shù)，可根據(jù)視頻中目標(biāo)的特征調(diào)整f的取值;τ為設(shè)定的閾值，根據(jù)當(dāng)前實(shí)際應(yīng)用場(chǎng)合給出.若ΔD＜τ，則表明當(dāng)前目標(biāo)運(yùn)動(dòng)速度偏慢，給予一個(gè)較小的學(xué)習(xí)率αl，以延長緩慢移動(dòng)物體融入到背景中參與前景檢測(cè)的時(shí)間，從而減少前景檢測(cè)時(shí)運(yùn)動(dòng)區(qū)域內(nèi)部產(chǎn)生的空洞;若ΔD＞τ，則表明當(dāng)前目標(biāo)運(yùn)動(dòng)速度過快，給予一個(gè)較大的學(xué)習(xí)率αu，以消除虛影，從而得到更好的前景分割結(jié)果.

通過以上改進(jìn)后，在以色列Weizmann科學(xué)院的人體運(yùn)動(dòng)數(shù)據(jù)庫上進(jìn)行測(cè)試.實(shí)驗(yàn)中參數(shù)取為:αl=0.0025，αm=0.005 0，αu=0.007 5，f=10，τ=10.GMM改進(jìn)前后對(duì)提取運(yùn)動(dòng)目標(biāo)的影響如圖1所示，其中圖1(b)、1(c)所示的前景圖像沒有經(jīng)過加工處理.由圖1可見，利用改進(jìn)的GMM分割前景和背景，可消除運(yùn)動(dòng)目標(biāo)的淺陰影和虛影，運(yùn)動(dòng)目標(biāo)的輪廓更加清晰.

圖1 GMM改進(jìn)前后對(duì)運(yùn)動(dòng)目標(biāo)的影響Fig.1 Effect of improvement of GMM on moving object

2 基于MRF的陰影檢測(cè)

2.1 MRF介紹

設(shè)Q={1，2，…，N;N=n×n}，表示大小為n×n的二維圖像的像素集合，表示二維圖像的鄰域系統(tǒng)，ms為像素點(diǎn)s的鄰域，即圖2中所標(biāo)注s的鄰居為Q中的勢(shì)團(tuán)，c中的像素點(diǎn)互為鄰居;，表示(Q，M)上所有勢(shì)團(tuán)的集合.圖2顯示了平面上的二階鄰域系統(tǒng)和勢(shì)團(tuán).

圖2 平面上的二階鄰域系統(tǒng)和勢(shì)團(tuán)Fig.2 The second-order neighborhood system and cliques on the plane

定義2設(shè)存在(F，M)，M為隨機(jī)場(chǎng)F上的鄰域系統(tǒng)，若對(duì)一切s∈Q有則稱F是關(guān)于鄰域系統(tǒng)M的二維馬爾科夫隨機(jī)場(chǎng)(MRF)［8］.

Besag［9］提出了關(guān)于方形網(wǎng)格上數(shù)據(jù)的統(tǒng)計(jì)學(xué)模型，把MRF和Gibbs分布聯(lián)系起來.如果F是一個(gè)MRF，則F的取值x(x=(x1，x2，…，xN))的概率可表示為

其中U(x)為能量函數(shù)為勢(shì)團(tuán)上的勢(shì)函數(shù);歸一化常數(shù)

2.2 陰影檢測(cè)的MRF模型

文中將GMM分割出的前景像素作為MRF，鄰域系統(tǒng)M只包括圖2(b)所示的前5種鄰域.設(shè)d={d1，d2，…，dN}，表示前景像素的取值;ω={ω1，ω2，…，ωN}，表示像素的標(biāo)記集合，標(biāo)記集L={G，O}，O表示目標(biāo)，G表示陰影，則陰影檢測(cè)的問題轉(zhuǎn)化為求取使聯(lián)合概率P(d，ω)最大的標(biāo)記根據(jù)MAP準(zhǔn)則有，其中?表示所有可能的標(biāo)記的集合.根據(jù)MRF的性質(zhì)，P(ω)可表示為

λ為大于1的參數(shù)，文中λ的取值為2.0.

根據(jù)式(5)與(6)可知:

所以，

2.3 MRF模型的參數(shù)初始化

在MRF模型中，令θt，l={μt，l，σt，l}(l∈L)，θt，l的初始值會(huì)影響陰影檢測(cè)的正確性和收斂速度.文中根據(jù)顏色信息對(duì)陰影進(jìn)行初步檢測(cè)，為θt，l選擇合理的初始值.實(shí)驗(yàn)研究表明，當(dāng)像素點(diǎn)被陰影覆蓋時(shí)，其亮度會(huì)變暗，飽和度通常會(huì)變小，而色度變化不大［10］.為減少計(jì)算量，文中僅在HSV顏色空間中選取一個(gè)顏色特征進(jìn)行陰影檢測(cè).由于文獻(xiàn)［11］中定義的信息容量可以表征圖像有意義的灰度層次的豐富程度，因此文中利用信息容量來評(píng)價(jià)HSV中各分量對(duì)陰影檢測(cè)的效果.對(duì)于同一幅圖像，分別計(jì)算HSV中各分量的信息容量，得到的信息容量直方圖如圖3所示.

圖3 HSV顏色空間中各分量的信息容量直方圖Fig.3 Histogram of information capacity of components in HSV color space

從圖3可知，V分量具有較高的信息容量，所以文中選用V分量進(jìn)行陰影檢測(cè).

首先，利用文獻(xiàn)［12］中的最大類間方差自適應(yīng)確定分割閾值，然后使用式(9)標(biāo)記目標(biāo)和陰影，得到t時(shí)刻的初始標(biāo)記

式中:V(x，y)為V分量的陰影特征量為像素點(diǎn)(x，y)處的標(biāo)記值;z、g分別用來控制陰影的亮度和噪聲點(diǎn);ΓV為初步分割目標(biāo)和陰影的閾值.為1則該像素點(diǎn)標(biāo)記為陰影，否則標(biāo)記為目標(biāo)，分割效果如圖4所示.

圖4 V分量檢測(cè)到的陰影Fig.4 Shadow detected by using V component

2.4 基于MRF的陰影檢測(cè)方法

基于MRF的陰影檢測(cè)方法步驟如下:

1)參數(shù)初始化

利用最大類間方差自適應(yīng)確定分割閾值;

根據(jù)V分量進(jìn)行初始分割

k=0;

根據(jù)式(10)計(jì)算θt，l={μt，l，σt，l}(l∈L)的初始值

2)更新標(biāo)記

對(duì)于每個(gè)像素點(diǎn)p，計(jì)算能量如果

3 實(shí)驗(yàn)結(jié)果與分析

為驗(yàn)證文中所提方法的有效性，在AMD Athlon 64 X2 4000+、2.11GHz計(jì)算機(jī)上進(jìn)行測(cè)試，算法基于Opencv，開發(fā)工具為Visual Studio 2005.測(cè)試序列為以色列Weizmann、KTH行為庫和CVRR公共視頻庫中的視頻序列，其中包括室內(nèi)和室外環(huán)境、光照變化、靜態(tài)背景和動(dòng)態(tài)背景.實(shí)驗(yàn)比較了在HSV空間下利用顏色信息進(jìn)行判定的方法［10］、將GMM和MRF相結(jié)合且隨機(jī)初始化MRF的GMM-MRF方法、文中方法的陰影檢測(cè)效果和性能.

GMM中K=3，初始方差為30，T=0.5，ΓV、z和g的經(jīng)驗(yàn)值如表1所示.利用3種方法進(jìn)行陰影檢測(cè)的效果如圖5所示.從圖5(b)中可以看出，單純利用HSV顏色信息進(jìn)行陰影檢測(cè)時(shí)，容易把部分目標(biāo)視為陰影或者檢測(cè)不出陰影;從圖5(c)可以看出，在室外強(qiáng)光下，GMM-MRF方法的陰影檢測(cè)結(jié)果不準(zhǔn)確，誤將部分目標(biāo)檢測(cè)為陰影;從圖5(d)中可以看出，無論是室內(nèi)還是室外，文中方法的檢測(cè)效果均較好，可以準(zhǔn)確地分割出細(xì)節(jié)部分.與隨機(jī)初始化初始標(biāo)記的GMM-MRF方法相比，文中提出的方法迭代速度更快，在CVRR公共視頻中測(cè)試Laboratory視頻段，平均每幀節(jié)約156ms.

表1 ΓV、z和g的經(jīng)驗(yàn)值Table 1 Empirical values ofΓV，z and g

圖5 3種方法的陰影檢測(cè)效果比較Fig.5 Comparison of shadow detection results among three methods

為評(píng)價(jià)陰影檢測(cè)算法的性能，文中引入了陰影識(shí)別率Ψ和陰影辨別率ξ［1］:

式中:TPG表示正確劃分為陰影的像素個(gè)數(shù);FNG表示陰影被誤識(shí)別為前景或背景的像素個(gè)數(shù);表示真正前景減去誤識(shí)別為陰影的前景像素個(gè)數(shù);TPO表示正確檢測(cè)為前景的像素個(gè)數(shù);FNO表示前景被誤識(shí)別為陰影或背景的像素個(gè)數(shù).

3種方法的陰影檢測(cè)性能比較如圖6所示，從圖6中可以看出，文中方法的檢測(cè)性能明顯優(yōu)于其它兩種方法.

圖6 3種方法的陰影檢測(cè)性能比較Fig.6 Comparison of shadow detection performance among threemethods

4 結(jié)語

在分析陰影特點(diǎn)以及現(xiàn)有陰影檢測(cè)算法不足的基礎(chǔ)上，文中首先對(duì)GMM進(jìn)行改進(jìn)，使其可自適應(yīng)地調(diào)整參數(shù)學(xué)習(xí)率，從而可以很好地從圖像中消除淺陰影，并分割出前景;接著，利用信息容量在HSV顏色空間選擇顏色特征，自適應(yīng)選擇閾值對(duì)包含陰影的前景圖像進(jìn)行初始分割;然后，根據(jù)初始分割設(shè)定MRF模型參數(shù)初始值，利用MAP-MRF進(jìn)行精確陰影檢測(cè).實(shí)驗(yàn)結(jié)果表明，文中提出的陰影檢測(cè)方法解決了單純利用顏色信息易將深色目標(biāo)檢測(cè)為陰影的缺陷，但若想完全準(zhǔn)確地檢測(cè)出所有陰影，仍需進(jìn)一步研究.

［1］Prati A，Mikic I，Trivedi M M，et al.Detecting moving shadows:algorithms and evaluation［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2003，25(7):918-923.

［2］Stauffer C，Grimson W E L.Learning patterns of activity using real-time tracking［J］.IEEE Transactions on Pattern Analysis＆Machine Intelligence，2000，22(8):747-757.

［3］Martel-Brisson N，Zaccarin A.Moving cast shadow detection from a Gaussian mixture shadow model［C］∥Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition.San Diego:IEEE，2005:643-648.

［4］Liu Hui，Yang Chenhui，Shu Xiao，et al.A new method of shadow detection based on edge information and HSV color information［C］∥Proceedings of the 2nd International Conference on Power Electronics and Intelligent Transportation System.Xiamen:IEEE，2009:286-289.

［5］Kato Jien，Watanabe T，Joga S，et al.An HMM/MRF based stochastic framework for robust vehicle tracking［J］.IEEE Transactions on Intelligent Transportation Systems，2004，5(3):142-154.

［6］Few J，Djuric P.Unsupervised vector image segmentation by a tree structure-ICM algorithm［J］.IEEE Transactions on Medical Imaging，1996，15(6):871-881.

［7］KaewTraKulPong P，Bowden R.An improved adaptive background mixture model for real-time tracking with shadow detection［C］∥Proceedings of the 2nd European Workshop on Advanced Video Based Surveillance Systems:Computer Vision and Distributed Processing.Kingston:Kluwer Academic Publishers，2001:1-5.

［8］Li SZ.Markov random field models in computer vision［C］∥Proceedings of the Third European Conference on Computer Vision Stockholm.Berlin/Heidelberg:Spinger-Verlag，1994:361-370.

［9］Besag J.Spatial interaction and the statistical analysis of lattice systems［J］.Journal of the Royal Statistical Society Series B:Mechodological，1974，36(2):192-236.

［10］Cucchiara R，Grana C，Piccardi M，et al.Detecting moving objects，ghosts，and shadows in video streams［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2003，25(10):1337-1342.

［11］殷德奎，俞卞章，佟明安.基于多維直方圖的灰度圖像質(zhì)量評(píng)價(jià)［J］.模式識(shí)別與人工智能，1996，9(3):265-270.Yin De-kui，Yu Bian-zhang，Tong Ming-an.Image quality metrics based on multi-dimensional histogram［J］.Pattern Recognition and Artificial Intelligence，1996，9(3):265-270.

［12］Ostu N.A threshold selection method from gray-level histogram［J］.IEEE Transaction on System Man and Cybernetic，1979，9(1):62-66.