張明杰,康寶生
(1.西北大學(xué)信息科學(xué)與技術(shù)學(xué)院,西安 710127;2.西安郵電大學(xué)經(jīng)濟(jì)與管理學(xué)院,西安710061)
一種兩步高斯混合模型的運(yùn)動(dòng)目標(biāo)檢測方法
張明杰1,2,康寶生1
(1.西北大學(xué)信息科學(xué)與技術(shù)學(xué)院,西安 710127;2.西安郵電大學(xué)經(jīng)濟(jì)與管理學(xué)院,西安710061)
針對傳統(tǒng)的高斯混合模型存在背景建模速度慢、計(jì)算復(fù)雜度高等問題,提出一種運(yùn)動(dòng)目標(biāo)檢測方法。改進(jìn)傳統(tǒng)高斯混合模型的更新過程,實(shí)現(xiàn)自適應(yīng)調(diào)整高斯分布個(gè)數(shù)。引入光照變化參數(shù),根據(jù)光照的變化動(dòng)態(tài)更新學(xué)習(xí)率。利用上述方法得到圖像的背景與前景分割,通過像素點(diǎn)的計(jì)算來優(yōu)化高斯混合模型檢測結(jié)果。實(shí)驗(yàn)結(jié)果顯示,該方法能有效可靠地分離目標(biāo),并獲得較好的檢測效果。
高斯混合模型;目標(biāo)檢測;背景建模;高斯分布;背景差
DO I:10.3969/j.issn.1000-3428.2015.10.046
運(yùn)動(dòng)目標(biāo)檢測[1-3]是在圖像序列中對運(yùn)動(dòng)目標(biāo)進(jìn)行判斷,并準(zhǔn)確分割出運(yùn)動(dòng)目標(biāo)。常用的運(yùn)動(dòng)目標(biāo)檢測方法[4-5]有:背景差法,檢測線法,光流法,幀差法。背景差法[6]是將當(dāng)前幀與背景模板相減實(shí)現(xiàn)對運(yùn)動(dòng)目標(biāo)的檢測。該方法是經(jīng)常使用的一種方法,其關(guān)鍵是建立背景模型和為了適應(yīng)背景變化實(shí)時(shí)更新模型參數(shù)。學(xué)者對背景模型的實(shí)時(shí)構(gòu)建展開研究[7-8]。利用時(shí)間平均法[9]進(jìn)行背景初始化是較常用的一種背景建模方法,但當(dāng)運(yùn)動(dòng)目標(biāo)移動(dòng)距離非常小時(shí),提取的目標(biāo)可能不準(zhǔn)確,并且對景的變化不能自適應(yīng)調(diào)節(jié)。文獻(xiàn)[10]使用中值濾波法構(gòu)建背景模型,該方法能夠很好地濾除噪聲,但占用很大的存儲(chǔ)空間。為了克服光照變化、風(fēng)、水流、往復(fù)運(yùn)動(dòng)的物體等影響,文獻(xiàn)[11]提出使用高斯混合模型擬合每個(gè)像素的概率分布。該方法能夠在線更新模型參數(shù)和權(quán)重,魯棒性地克服光照變化、風(fēng)、水流、樹枝晃動(dòng)、往復(fù)運(yùn)動(dòng)的物體等因素造成的影響,但對運(yùn)動(dòng)物體長期靜止的情況會(huì)產(chǎn)生失效狀況。文獻(xiàn)[12]改進(jìn)了高斯混合模型方法,通過改進(jìn)的方法進(jìn)行運(yùn)動(dòng)目標(biāo)檢測。
鑒于傳統(tǒng)的高斯混合模型存在背景建模速度慢、計(jì)算復(fù)雜度高等問題,本文對其進(jìn)行改進(jìn),提出
一種兩步高斯混合模型的運(yùn)動(dòng)目標(biāo)檢測方法。
高斯混合模型的基本思想就是使用K(3~5)個(gè)高斯分布來擬合圖像序列中各個(gè)像素點(diǎn)的概率分布。在獲得新一幀圖像后,對高斯混合模型進(jìn)行更新,然后進(jìn)行背景估計(jì),最后判斷每個(gè)像素點(diǎn)是背景點(diǎn)還是前景點(diǎn)。
2.1 高斯混合模型的數(shù)學(xué)描述
假設(shè)任意時(shí)刻t的像素值為Xt,可以使用高斯混合模型來描述,當(dāng)前像素的概率可以表示為:
其中,K表示高斯混合模型中高斯分布的個(gè)數(shù);ωi,t表示t時(shí)刻第i個(gè)高斯分布的權(quán)重;μi,t和Σi,t分別表示t時(shí)刻第i個(gè)高斯分布的均值和協(xié)方差矩陣;η表示高斯概率密度函數(shù),如式(2)所示:
其中,K一般取值為3~5;協(xié)方差矩陣表示為:
2.2 參數(shù)初始化
參數(shù)的初始化就是完成對均值 μ0和方差 σ20賦值,可以通過前 N個(gè)圖像序列計(jì)算實(shí)現(xiàn),按照式(4)、式(5)計(jì)算:
其中,N為視頻圖像數(shù)目;Xt為t時(shí)刻像素值。
2.3 參數(shù)更新
初始化完成后,獲得每個(gè)新觀測幀,需要判斷輸入的像素值與K個(gè)高斯分布的匹配情況。如果當(dāng)前的像素值與第i個(gè)高斯分布滿足式(6),說明兩者匹配。如果當(dāng)前的像素值和任何一個(gè)高斯分布都不滿足式(6),則說明不存在匹配的高斯分布:
其中,Xt為t時(shí)刻像素值;μi,t-1為t-1時(shí)刻第i個(gè)高斯分布的均值;σi,t-1為t-1時(shí)刻第i個(gè)高斯分布的標(biāo)準(zhǔn)方差;D表示置信度參數(shù),一般取2.5~3.0。
根據(jù)上述匹配的結(jié)果更新參數(shù),更新的方法如下:
(1)不存在高斯分布匹配的情況,即當(dāng)前像素值找不到任何一個(gè)高斯分布相匹配,則對權(quán)值最小的高斯分布重新賦值。均值取當(dāng)前像素值,權(quán)重為預(yù)先定義的較小值,方差為σ20。
(2)存在高斯分布匹配的情況。
與像素值匹配的高斯分布的參數(shù)按照式(7)更新:
其中:
其中,α表示學(xué)習(xí)率,取值為0<α<1,取值決定背景更新的速度;ρ為參數(shù)學(xué)習(xí)率,ρ≈α/ωi,t。
對于與像素值不匹配的高斯分布的參數(shù)(均值與方差)保持原值不變。
K個(gè)高斯分布的權(quán)重系數(shù) ωi,t按照式(9)進(jìn)行更新:
權(quán)值歸一化為:
當(dāng)像素值和高斯分布匹配時(shí),Mi,t=1;否則Mi,t=0。
2.4 背景估計(jì)與前景分割
模型參數(shù)更新后,需要判斷哪些高斯分布能夠最佳描述背景過程。使用ωi,t/σi,t作為評測的依據(jù),比值較大的高斯分布有可能成為背景。將各個(gè)高斯分布按照比值的大小依次排列,按照式(11)選取前B個(gè)高斯分布作為背景模型。
其中,T為閾值。
按照排序好的高斯分布,將當(dāng)前該像素點(diǎn)特征值Xt依次與前B個(gè)高斯分布進(jìn)行匹配。如果該像素點(diǎn)有匹配的高斯分布,則該像素點(diǎn)為背景點(diǎn),否則為前景點(diǎn)。
傳統(tǒng)的高斯混合模型存在背景建模速度低、計(jì)算復(fù)雜度高等問題,因此,本文對其進(jìn)行改進(jìn),提出一種兩步高斯混合模型的運(yùn)動(dòng)目標(biāo)檢測方法。第一步,為了提高背景建模的速度和降低計(jì)算復(fù)雜度,提出一種自適應(yīng)調(diào)整高斯分布個(gè)數(shù)和更新率的方案;第二步,為了克服場景中光照的變化和目標(biāo)陰影的影響,提出一種優(yōu)化高斯混合模型檢測結(jié)果的解決方案。
3.1 高斯分布個(gè)數(shù)K的自適應(yīng)調(diào)整
傳統(tǒng)的高斯混合模型背景建模時(shí)使用了固定的高斯分布數(shù)目,但這種方法常常造成系統(tǒng)資源的浪費(fèi),以及建模速度的降低。因此,需要每個(gè)像素值根據(jù)時(shí)間變化來改變對應(yīng)的高斯分布的數(shù)目。為了提高背景建模的速度,降低計(jì)算復(fù)雜度,提出一種自適
應(yīng)調(diào)整高斯分布個(gè)數(shù)的方案。
改進(jìn)傳統(tǒng)的高斯混合模型的更新過程如下:
(1)初始化階段:對每一個(gè)像素分配一個(gè)高斯分布。
(2)新增高斯分布:若像素值與任何高斯分布都不匹配,并且高斯分布的數(shù)目沒有達(dá)到最大值,則新增一個(gè)高斯分布。初始化該高斯分布的參數(shù),均值取當(dāng)前像素值,權(quán)重為預(yù)先定義的較小值,方差為如果達(dá)到最大值,則按照傳統(tǒng)方法替換權(quán)值最小的高斯分布。
(3)合并高斯分布:計(jì)算相鄰2個(gè)高斯分布的均值差。當(dāng)滿足條件:時(shí),更新權(quán)值大的高斯分布的參數(shù)(權(quán)值、方差 σ2和均值μ),并刪除權(quán)值小的高斯分布。更新的高斯分布參數(shù)如下式所示:
其中,φ,γ分別為調(diào)整系數(shù),取值為0<φ,γ<1,這里取φ=0.7,γ=0.6。
(4)刪除高斯分布:如果某一高斯分布滿足條件:
則刪除該高斯分布。
3.2 更新率α的自適應(yīng)調(diào)整
由上文介紹的傳統(tǒng)高斯混合模型方法可知,高斯分布的更新率α越大,背景更新的速度也就越快,但對噪聲的抑制小。相反,更新率α越小,背景的更新速度就慢。所以,更新率 α影響高斯模型的建模速度。傳統(tǒng)方法采用更新率固定不變的方法,不適合實(shí)際的應(yīng)用,應(yīng)自適應(yīng)調(diào)整更新率。
根據(jù)研究可知[13],光照的變化影響圖像直方圖的變化。光照變化緩慢時(shí),圖像的直方圖變化很小;光照變化突然時(shí),圖像的直方圖變化劇烈。因?yàn)榇嬖谶@樣的聯(lián)系,可以使用圖像的灰度直方圖變化作為光照變化的判定依據(jù)。
為了判斷光照的變化,引入光照變化參數(shù) φt,按照下式計(jì)算:
其中,N表示圖像的像素個(gè)數(shù);Et為圖像灰度直方圖的熵,計(jì)算方法如下:其中,Ht為灰度直方圖。
其中,α0為初始學(xué)習(xí)率。通過這種方法可以根據(jù)光照的變化動(dòng)態(tài)更新學(xué)習(xí)率。
通過自適應(yīng)調(diào)整高斯分布個(gè)數(shù)和更新率的改進(jìn)方案,可以獲得背景估計(jì)與前景分割。
3.3 高斯混合模型檢測結(jié)果的優(yōu)化
利用上述方法得到圖像的背景與前景分割,接下來通過像素點(diǎn)的計(jì)算來優(yōu)化檢測結(jié)果。假設(shè)背景圖像和當(dāng)前圖像中的點(diǎn)是由R,G,B 3個(gè)分量構(gòu)成,背景圖像中的點(diǎn)記作矩陣I=[IR,IG,IB],當(dāng)前圖像中的點(diǎn)記作矩陣B=[BR,BG,BB]。令d為顏色差異,λ為亮度的差異,計(jì)算方法[14]為:整相應(yīng)的學(xué)習(xí)率,即變化較快時(shí),學(xué)習(xí)率變大。學(xué)習(xí)率的變化如下式所示:
一旦計(jì)算出 d,λ,根據(jù)式(19)進(jìn)行像素點(diǎn)屬于前景點(diǎn)或背景點(diǎn)的判斷。如果檢測點(diǎn)滿足式(19)條件,則該像素點(diǎn)是前景像素點(diǎn),否則是背景像素點(diǎn)。
其中,Tλl表示亮度差異的高閾值;Tλh表示亮度差異的低閾值;Td表示顏色差異閾值。
理論上看,Tλl越大,Tλh越小,Td越大,對光照變化和陰影帶來的噪聲處理效果越明顯,但會(huì)使真實(shí)的目標(biāo)區(qū)域丟失。因此,需要選擇合適的閾值,才能達(dá)到理想的效果。本文取 Tλl=1.15,Tλh=0.45,Td=9。
3.4 形態(tài)學(xué)濾波方法
通過上述兩步高斯混合模型運(yùn)動(dòng)目標(biāo)檢測方法進(jìn)行運(yùn)動(dòng)目標(biāo)檢測,獲得二值前景圖像后,使用形態(tài)學(xué)方法消除噪聲,并修復(fù)破碎的輪廓區(qū)域。
假設(shè)矩陣A為原圖像,矩陣B為結(jié)構(gòu)元素,數(shù)學(xué)形態(tài)學(xué)的腐蝕運(yùn)算、膨脹運(yùn)算、開運(yùn)算和閉運(yùn)算如下:
本文選擇八鄰域結(jié)構(gòu)元素,利用數(shù)學(xué)形態(tài)學(xué)的腐蝕、膨脹、開運(yùn)算和閉運(yùn)算的濾波性質(zhì),選擇先閉后開的形態(tài)學(xué)濾波方法。通過這種方法能夠較好地消除噪聲,修復(fù)破碎的輪廓區(qū)域。
使用公共測試數(shù)據(jù)集中的3段視頻序列對本文提出的方法進(jìn)行驗(yàn)證,其中2個(gè)序列是火車站臺視頻序列,來源于pets2006數(shù)據(jù)集[15]。另一個(gè)是商場走廊視頻序列,來源于CAVIAR數(shù)據(jù)集[16],這2段視頻分別選取200幀。算法在Matlab2009下編寫,實(shí)驗(yàn)的硬件平臺為Pentium Dual-Core,2.6 GHz,內(nèi)存為2 GB。圖1~圖3分別顯示本文方法在3個(gè)視頻序列中的目標(biāo)分割結(jié)果,可見,兩步高斯混合模型的運(yùn)動(dòng)目標(biāo)檢測方法能有效可靠地分離目標(biāo),并獲得較好的分離效果。
圖1 視頻序列1的目標(biāo)分割結(jié)果
圖2 視頻序列2的目標(biāo)分割結(jié)果
圖3 視頻序列3的目標(biāo)分割結(jié)果
定量分析采用檢出率(DR)與誤檢率(FAR)指標(biāo)評價(jià):
其中,TP為檢測結(jié)果中屬于運(yùn)動(dòng)目標(biāo)區(qū)域的像素?cái)?shù);FP為檢測結(jié)果中不屬于運(yùn)動(dòng)區(qū)域的像素?cái)?shù);FN為沒有被檢測出來的運(yùn)動(dòng)區(qū)域的像素?cái)?shù)。計(jì)算3段視頻相應(yīng)幀的檢出率與誤檢率,如表1所示。
表1 算法檢測率
由表1的對比數(shù)據(jù)可以看出,本文方法的檢出率都超過了85%。在誤檢率方面,本文方法能夠獲得更低的誤檢率。表中列出了不同測試視頻得出的數(shù)據(jù),表明本文方法在運(yùn)動(dòng)目標(biāo)檢測上具有較高的可靠性和準(zhǔn)確性。
另外計(jì)算本文方法和自適應(yīng)背景混合模型方法[11]消耗的時(shí)間,如表 2所示,圖像幀數(shù)為 200。3個(gè)視頻序列中,與自適應(yīng)背景混合模型方法相比,本文方法的運(yùn)行時(shí)間少,效率高。
表2 3個(gè)視頻序列所用時(shí)間 s
針對傳統(tǒng)的高斯混合模型存在背景建模速度低、計(jì)算復(fù)雜度高等問題,本文提出一種兩步高斯混合模型的運(yùn)動(dòng)目標(biāo)檢測方法。首先,傳統(tǒng)的高斯混合模型背景建模時(shí)使用固定的高斯分布數(shù)目,通常造成系統(tǒng)資源的浪費(fèi),以及建模速度的降低。本文對傳統(tǒng)的高斯混合模型的更新過程進(jìn)行改進(jìn),實(shí)現(xiàn)高斯分布個(gè)數(shù)的自適應(yīng)調(diào)整。然后,為了判斷光照的變化,引入光照變化參數(shù),根據(jù)光照變化參數(shù)判斷光照變化的快慢程度,調(diào)整相應(yīng)的學(xué)習(xí)率。最后,使用上述方法得到背景與前景的分割結(jié)果后,通過像素點(diǎn)的計(jì)算來優(yōu)化檢測結(jié)果。實(shí)驗(yàn)結(jié)果顯示,該方法能有效、穩(wěn)定地檢測運(yùn)動(dòng)目標(biāo),得到較好的分割效果,并且檢出率都超過了 85%。然而,在動(dòng)態(tài)環(huán)境下,目標(biāo)檢測的結(jié)果通常受到許多因素的影響,如光照、天氣、遮擋、陰影、背景混亂等,易造成檢測的不準(zhǔn)確。因此,下一步研究的重點(diǎn)是消除復(fù)雜動(dòng)態(tài)背景帶來的影響。
[1] Gangodkar D,Kumar P,Mittal A.Robust Segmentation of Moving Vehicles Under Complex Outdoor Conditions[J].IEEE Transactions on Intelligent Transportation System s,2012,13(4):1738-1752.
[2] Kalal Z,Mikolajczyk K,Matas J.Tracking Learning Detection[J].Pattern Analysis and Machine Intelligence,2010,34(7):1409-1422.
[3] Tuzel O,Porikli F,Meer P.Pedestrian Detection via Classification on Riemannian Manifolds[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2008,30(10):1713-1727.
[4] 葉吉祥,白一哲,田莎莎.基于直方圖比較的高斯混合模型更新算法[J].計(jì)算機(jī)工程,2012,38(3):255-257.
[5] 王思明,趙 偉.亮度特征自相關(guān)和GMM相結(jié)合的目標(biāo)檢測[J].計(jì)算機(jī)工程,2014,40(5):219-223.
[6] Lee D S.Effective Gaussian Mixture Learning for Video Background Subtraction[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2005,27(5):827-832.
[7] Heikkila M,Pietikainen M.A Texture-based Method for Modeling the Background and Detecting Moving Objects[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2006,28(3):657-662.
[8] 高凱亮,覃團(tuán)發(fā),陳躍波,等.一種混合高斯背景模型下的像素分類運(yùn)動(dòng)目標(biāo)檢測方法[J].南京大學(xué)學(xué)報(bào):自然科學(xué)版,2011,47(2):195-200.
[9] 張 博.一種基于目標(biāo)定位的背景建模與視覺跟蹤方法[J].吉林大學(xué)學(xué)報(bào):理學(xué)版,2010,48(4):617-623.
[10] Lo B,Velastin A.Automatic Congestion Detection System for Underground Platforms[C]//Proceedings of International Symposium on Intelligent Multimedia Video and Speech Processing.Washington D.C.,USA:IEEE Press,2001:158-161.
[11] Stauffer C.Adaptive Background Mixture Models for Real-time Tracking[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. Washington D.C.,USA:IEEE Press,1999:246-252.
[12] 馬義德.改進(jìn)的基于高斯混合模型的運(yùn)動(dòng)目標(biāo)檢測方法[J].計(jì)算機(jī)應(yīng)用,2007,27(10):2544-2546.
[13] 賓志燕.視頻監(jiān)控系統(tǒng)中的運(yùn)動(dòng)目標(biāo)檢測算法研究[D].南寧:廣西大學(xué),2011.
[14] 屠禮芬,仲思東.自然場景下運(yùn)動(dòng)目標(biāo)檢測與陰影剔除方法[J].西安交通大學(xué)學(xué)報(bào),2013,47(12):26-31.
[15] Ferryman J.Performance Evaluation of Tracking and Surveillance[EB/OL].(2012-12-16).http://www. cvg.rdg.ac.uk/PETS2006/data.html.
[16] Caviar.Context Aware Vision Using Image-based Active Recognition[EB/OL].(2013-03-25).http://home pages.inf.ed.ac.uk/rbf/CAVIARDATA.
編輯顧逸斐
A Moving Target Detection Method of Two-step Gaussian Mixture Model
ZHANG Mingjie1,2,KANG Baosheng1
(1.School of Information Science and Technology,Northwest University,Xi’an 710127,China;2.School of Economics and Management,Xi’an University of Posts and Telecommunications,Xi’an 710061,China)
In order to solve the traditional Gaussian mixture model’s problem which has the low speed of background modeling and high computational complexity,this paper puts forward a moving target detection method.This method can be divided into two steps.Improve the update’s process of the traditional Gaussian mixture model to realize the adaptive ad justing the number of Gaussian distribution,and introduce the illumination change parameters to update the learning-rate according to the variation of the illumination.Image’s background and foreground are segmented by the above method,optimizing the detection results of Gaussian mixture model through the calculation of pixel.Experimental results show that the new method not only can separate the goals effectively and reliably,but also can get better detection effect.
Gaussian mixture model;target detection;background modeling;Gaussian distribution;background subtraction
張明杰,康寶生.一種兩步高斯混合模型的運(yùn)動(dòng)目標(biāo)檢測方法[J].計(jì)算機(jī)工程,2015,41(10):245-249.
英文引用格式:Zhang Mingjie,Kang Baosheng.A Moving Target Detection Method of Two-step Gaussian Mixture Model[J].Computer Engineering,2015,41(10):245-249.
1000-3428(2015)10-0245-05
A
TP391
教育部人文社會(huì)科學(xué)研究青年基金資助項(xiàng)目(13YJCZH251);陜西省自然科學(xué)基礎(chǔ)研究計(jì)劃基金資助項(xiàng)目(2014JM 8346)。
張明杰(1977-),男,講師、博士研究生,主研方向:計(jì)算機(jī)視覺,圖像處理;康寶生,教授、博士后。
2015-06-10
2015-07-06E-m ail:75711650@qq.com