一種多特征聯(lián)合的運(yùn)動(dòng)目標(biāo)檢測(cè)算法*

張明軍　黃志金　孫澤能

(廣州大學(xué)華軟軟件學(xué)院網(wǎng)絡(luò)技術(shù)系　廣州　510990)

?

一種多特征聯(lián)合的運(yùn)動(dòng)目標(biāo)檢測(cè)算法*

張明軍黃志金孫澤能

(廣州大學(xué)華軟軟件學(xué)院網(wǎng)絡(luò)技術(shù)系廣州510990)

摘要高斯混合模型已經(jīng)成為對(duì)視頻利用背景減除法進(jìn)行運(yùn)動(dòng)目標(biāo)檢測(cè)的最多的一種背景建模模型,也成為一種標(biāo)準(zhǔn)模型。首先對(duì)高斯混合模型的理論框架及其性能進(jìn)行了分析,分析了高斯混合模型仍需要解決的問題,并提出一種高斯混合模型聯(lián)合多特征的運(yùn)動(dòng)目標(biāo)檢測(cè)算法,實(shí)驗(yàn)表明該算法具有較好的目標(biāo)檢測(cè)效果以及環(huán)境自適應(yīng)性。

關(guān)鍵詞高斯混合; 目標(biāo)檢測(cè); 多特征聯(lián)合

Class NumberTP391.4

1　引言

智能視頻監(jiān)控具有巨大的應(yīng)用價(jià)值,但其穩(wěn)定、高效的運(yùn)動(dòng)目標(biāo)檢測(cè)是需要首先解決的重要問題[1]。這個(gè)問題近年來越來越引起關(guān)注,成為當(dāng)前計(jì)算機(jī)視覺的研究熱點(diǎn)。運(yùn)動(dòng)目標(biāo)檢測(cè)的目的就是將視頻中的運(yùn)動(dòng)目標(biāo)從背景中提取出來。目前主要的檢測(cè)方法有時(shí)間差分法(temporal difference)、光流法(optical flow)和背景減除法(background subtraction)等。時(shí)間差分法[2～3]通過比較兩個(gè)或三個(gè)相鄰幀間的差異實(shí)現(xiàn)運(yùn)動(dòng)目標(biāo)檢測(cè),對(duì)動(dòng)態(tài)環(huán)境有較強(qiáng)適應(yīng)性,但檢測(cè)精度不高,難以獲得具有完整形狀的目標(biāo)。光流法[4]主要是通過計(jì)算出每個(gè)像素點(diǎn)的運(yùn)動(dòng)矢量,從而發(fā)現(xiàn)運(yùn)動(dòng)的像素點(diǎn)。在攝像機(jī)運(yùn)動(dòng)或背景變化時(shí),光流法也能檢測(cè)出運(yùn)動(dòng)目標(biāo),但計(jì)算復(fù)雜度高,在沒有專用硬件支持的情況下很難做到實(shí)時(shí)檢測(cè),同時(shí),抗噪和抗光照變化的性能較差。背景減除法[5]的基本思想是將視頻圖像看成是由前景與背景構(gòu)成的,然后利用當(dāng)前視頻幀減除背景圖像就能得到完整的運(yùn)動(dòng)目標(biāo)。背景減除法的關(guān)鍵步驟是背景建模,典型算法有中值濾波、碼書、高斯模型、多模態(tài)均值等[6]。其中高斯混合模型是背景減除法中使用最多的一種模型,已成為一種標(biāo)準(zhǔn)模型,同時(shí)也是很多其它算法的基礎(chǔ)[7]。本文以高斯混合模型進(jìn)行背景建模和運(yùn)動(dòng)目標(biāo)檢測(cè)作為基礎(chǔ),聯(lián)合多特征對(duì)高斯混合模型的目標(biāo)檢測(cè)進(jìn)行優(yōu)化。

2　高斯混合模型

2.1基本思想

高斯混合模型(Gaussian mixture model,GMM)[8～9]認(rèn)為背景圖像中各像素的顏色值變化符合高斯分布,可以用多個(gè)不同權(quán)重的高斯分布來模擬某一像素點(diǎn)的顏色變化。因此,GMM根據(jù)像素的顏色值與模型中各個(gè)分布成功匹配的不同頻率,來不斷更新模型中所有高斯分布的參數(shù),即對(duì)各個(gè)高斯分布的權(quán)重、均值和協(xié)方差等參數(shù)進(jìn)行訓(xùn)練,使背景像素值分布收斂于一個(gè)或某幾個(gè)高斯分布,實(shí)現(xiàn)背景像素值的聚類,從而實(shí)現(xiàn)對(duì)背景的建模。

2.2模型定義

將視頻幀I中的某個(gè)像素點(diǎn)(x,y)時(shí)間t的觀測(cè)值記為Xt,對(duì)于給定點(diǎn)在不同時(shí)刻的一系列觀測(cè)值{X1,X2,…,Xt},可以看作是一個(gè)與其它點(diǎn)獨(dú)立的統(tǒng)計(jì)隨機(jī)過程,用包括K個(gè)高斯分布的GMM去描述,則t時(shí)刻點(diǎn)(x,y)的概率分布為

(1)

其中,ωi,t為t時(shí)刻第i個(gè)高斯分布的權(quán)值,它反映該高斯分布出現(xiàn)的比例;K通常為3～5;η(Xt,μi,t,Σi,t)是t時(shí)刻第i個(gè)均值為μi,t、協(xié)方差為Σi,t的概率密度函數(shù):

(2)

2.3模型更新

GMM首先將當(dāng)前像素Xt與模型中K個(gè)高斯分布進(jìn)行匹配,如果像素值在某個(gè)高斯分布均值的范圍內(nèi),則匹配成功,同時(shí)更新該分布的均值和方差,增大分布的權(quán)值。如果匹配不成功,則一個(gè)新的高斯分布會(huì)取代權(quán)重值最小的分布,且其均值為當(dāng)前的像素值。匹配成功時(shí),調(diào)整各個(gè)分布的權(quán)重值:

ωi,t=(1-α)ωi,t-1+αMi,t

(3)

其中α為學(xué)習(xí)率,其值在(0,1)之間,α越大,權(quán)值更新得越快,否則反之;對(duì)于匹配的分布k,Mi,t為1,其余不匹配的分布為0,這樣可以導(dǎo)致匹配的分布權(quán)重值增加,減少不匹配分布權(quán)重值。

對(duì)于匹配分布,將其參數(shù)做如下調(diào)整:

μt=(1-ρ)μt-1+ρXt

(4)

其中ρ為另一個(gè)學(xué)習(xí)率,其值為ρ=αη(Xt|μk,σk),而對(duì)于沒有匹配的分布,其參數(shù)保持不變。

2.4前景檢測(cè)

根據(jù)ωi,t/σi,t值按由大到小對(duì)K個(gè)高斯分布進(jìn)行排序,排序越前的高斯分布,越適合描述背景。一般選取滿足式(5)的前M(1≤M≤K)個(gè)高斯分布被當(dāng)成是對(duì)背景的描述:

(5)

其中,T是背景模型比例閾值,如果T設(shè)置較小,GMM將退化為單高斯分布模型;如果T值較大,則可以為動(dòng)態(tài)背景建立多個(gè)高斯分布的混合模型來模擬。T的經(jīng)驗(yàn)值可取0.6。

3　GMM性能分析

為了測(cè)試和分析GMM的有效性及性能,本文以VC++2010為編譯環(huán)境,對(duì)多個(gè)不同情況的視頻文件進(jìn)行試驗(yàn)。

3.1公路監(jiān)控檢測(cè)性能分析

選取的公路監(jiān)控視頻背景相對(duì)比較穩(wěn)定,除了日照等條件能劇烈變化外,像素一般不會(huì)發(fā)生很大的變化,所以公路監(jiān)控視頻背景的獲取相對(duì)容易,如圖1所示。由圖1(b)和圖1(c)可知,使用GMM進(jìn)行背景建模在公路監(jiān)控中具有較好效果,其目標(biāo)檢測(cè)也有不錯(cuò)的效果,但GMM對(duì)目標(biāo)的分割不夠完整,存在“空洞”現(xiàn)象。

圖1　公路監(jiān)控檢測(cè)結(jié)果

3.2遠(yuǎn)景目標(biāo)檢測(cè)性能分析

選取的視頻背景靜止,在不受光照變化等其它干擾的情況下,對(duì)遠(yuǎn)景較小的目標(biāo)的檢測(cè)效果較好,如圖2(a)中上方的人被檢測(cè),如圖2(c)所示。但如果背景受其它干擾,則可能產(chǎn)生很多噪聲分布,這將影響對(duì)遠(yuǎn)景目標(biāo)檢測(cè)的判斷。

圖2　遠(yuǎn)景目標(biāo)檢測(cè)結(jié)果

3.3動(dòng)態(tài)場(chǎng)景檢測(cè)性能分析

選取的本視頻的特點(diǎn)是運(yùn)動(dòng)目標(biāo)進(jìn)入視頻畫面后靜止,在不同的時(shí)間點(diǎn)獲取的檢測(cè)結(jié)果如圖3～圖5所示。由圖3(c)可知,能檢測(cè)到較完整的運(yùn)動(dòng)目標(biāo);由圖4(c)可知,則目標(biāo)部分被背景包容;而在圖5(c)中目標(biāo)則完全被隱藏。這里有兩個(gè)問題值得注意,第一,如果運(yùn)動(dòng)目標(biāo)本就是動(dòng)態(tài)背景,那由此可以看出,GMM對(duì)動(dòng)態(tài)背景的收斂較慢,可能引起誤檢;第二,如果運(yùn)動(dòng)目標(biāo)是前景目標(biāo),但運(yùn)動(dòng)緩慢時(shí),被背景包容,則無(wú)法檢測(cè)到目標(biāo)。

圖3　時(shí)間點(diǎn)1所檢測(cè)的結(jié)果

圖4　時(shí)間點(diǎn)2所檢測(cè)的結(jié)果

圖5　時(shí)間點(diǎn)3所檢測(cè)的結(jié)果

3.4目標(biāo)陰影檢測(cè)性能分析

選取本視頻的特點(diǎn)是運(yùn)動(dòng)目標(biāo)受光照的影響而存在陰影,如圖6、7所示,其中圖6中受室內(nèi)光照而目標(biāo)存在弱陰影,圖7中受室外光照而目標(biāo)存在強(qiáng)陰影。但不管陰影強(qiáng)弱,如圖6(a)所示,陰影并不明顯,GMM都能將陰影當(dāng)成運(yùn)動(dòng)目標(biāo)而進(jìn)行檢測(cè),如圖6(c)、7(c)所示,這將嚴(yán)重影響到目標(biāo)檢測(cè)后的運(yùn)動(dòng)目標(biāo)分割、提取及其識(shí)別等。

圖6　弱陰影的檢測(cè)結(jié)果

圖7　強(qiáng)陰影的檢測(cè)結(jié)果

3.5室內(nèi)場(chǎng)景檢測(cè)性能分析

選取的本視頻為室內(nèi)場(chǎng)景,光照條件一般,如圖8所示。但由圖8(c)可知,檢測(cè)運(yùn)動(dòng)目標(biāo)的同時(shí),也產(chǎn)生了大量的高斯白噪聲,這也說明GMM對(duì)光照等條件的影響比較敏銳,這也將影響到檢測(cè)效果。

圖8　室內(nèi)場(chǎng)景檢測(cè)結(jié)果

3.6性能分析總結(jié)

由上述結(jié)果可知:GMM背景建模過程中允許運(yùn)動(dòng)目標(biāo)的存在,適合室外背景變化不大且運(yùn)動(dòng)速度相對(duì)較快的運(yùn)動(dòng)目標(biāo)的檢測(cè)。但GMM也存在不足: 1) 對(duì)運(yùn)動(dòng)目標(biāo)形狀的提取不夠完整,存在“空洞”現(xiàn)象; 2) 對(duì)于背景的突發(fā)性變化收斂較慢,存在誤檢現(xiàn)象; 3) 對(duì)于目標(biāo)的輕微變化或者停止運(yùn)動(dòng),存在漏檢現(xiàn)象; 4) 能夠檢測(cè)到目標(biāo)陰影; 5) 受光照變化或者背景輕微擾動(dòng),導(dǎo)致存在較多噪聲分布。目前,已有學(xué)者針對(duì)上述問題對(duì)GMM進(jìn)行了一些優(yōu)化研究[10～13],雖未完全解決這些問題,但提供了很多思路。

4　多特征聯(lián)合的運(yùn)動(dòng)目標(biāo)檢測(cè)算法

4.1顏色特征處理

(6)

式中:Mi(x,y)為像素點(diǎn)的值,T1為閾值。根據(jù)統(tǒng)計(jì)和經(jīng)驗(yàn),T1取值為100時(shí)效果較好。

4.2邊緣特征處理

邊緣是圖像底層特征之一,對(duì)圖像的幾何變化,灰度變化及光照變化不敏感,可以很好地處理因光照突然變化引起的目標(biāo)誤判等情況。但圖像的邊緣是高頻的,只要物體稍微的變化,都會(huì)被檢測(cè)出來,故極易受噪聲的干擾。為了減少噪聲的干擾和邊緣的間斷現(xiàn)象,JF Canny[14]提出了Canny邊緣檢測(cè)算法,使用了兩種不同閾值來區(qū)別弱邊緣和強(qiáng)邊緣,只有當(dāng)弱邊緣和強(qiáng)邊緣連為一體時(shí),才會(huì)被輸出為目標(biāo)邊緣,否則不輸出弱邊緣。

4.3多特征聯(lián)合

(7)

式中α,β,γ為三個(gè)目標(biāo)圖像的自適應(yīng)歸一化權(quán)值,滿足α+β+γ=1,三個(gè)權(quán)值會(huì)在目標(biāo)檢測(cè)過程中進(jìn)行自適應(yīng)的調(diào)整,受干擾影響越小,則賦予的權(quán)值也應(yīng)越大。

(8)

則α和β可表示為

(9)

為減小當(dāng)環(huán)境突變導(dǎo)致某一特征突然變化帶來的檢測(cè)偏差,可設(shè)定一個(gè)閾值消除這種影響,即相似度達(dá)到閾值時(shí)特征才能響應(yīng),設(shè)定響應(yīng)閾值T2,設(shè)置響應(yīng)規(guī)則如下:

(10)

本文選擇感知哈希算法[15]計(jì)算目標(biāo)圖像的hash值,以漢明距離作為相似度,漢明距離越小則表明目標(biāo)圖像越相似。

5　實(shí)驗(yàn)結(jié)果

為了測(cè)試和分析多特征聯(lián)合的目標(biāo)檢測(cè)算法,本文以VC++2010為編譯環(huán)境進(jìn)行測(cè)試。

由圖9可知,由于基于背景差的目標(biāo)跟蹤算法對(duì)光線比較敏感,由圖10(b)可知,從左上角往右下角行駛的汽車,容易發(fā)現(xiàn)車輛行駛的陰影都被檢測(cè)出來。由圖10(c)可知,有效降低了因光照造成對(duì)目標(biāo)檢測(cè)的影響。圖10(b)描述了因光照及灰度的影響,汽車行駛過后的部分路面連通車輛一起被檢測(cè)為了目標(biāo),造成了對(duì)目標(biāo)范圍定位的擴(kuò)大化,若以矩形框來顯示目標(biāo),顯示目標(biāo)比實(shí)際目標(biāo)擴(kuò)大了多倍,將為后續(xù)的目標(biāo)跟蹤帶來困難。圖10(c)可知效果明顯好于圖10(b)。圖11描述了光照突然變化的畫面,因?yàn)榛陬伾卣鞯谋尘安顚?duì)光照的突然變化比較敏感,故在圖11(b)中,將整個(gè)畫面誤判為了目標(biāo)。圖11(c)可知避免了突然光照的影響,顯示了真實(shí)目標(biāo)。

圖9　檢測(cè)結(jié)果1

圖10　檢測(cè)結(jié)果2

圖11　突然光照檢測(cè)效果

6　結(jié)語(yǔ)

分析了GMM存在的性能問題,包括光照影響等問題,提出了一種多特征聯(lián)合的目標(biāo)檢測(cè)算法,在GMM的基礎(chǔ)上對(duì)目標(biāo)圖像進(jìn)行優(yōu)化。實(shí)驗(yàn)表明:在光照影響比較復(fù)雜的情況下,該算法能有效地改進(jìn)GMM對(duì)陰影誤檢、光照突變等問題,具有較高的魯棒性。

參 考 文 獻(xiàn)

[1] 王亮,胡衛(wèi)明,譚鐵牛.人運(yùn)動(dòng)的視覺分析綜述[J].計(jì)算機(jī)學(xué)報(bào),2002,25(3):225-237.

WANG Liang, HU Weiming, TAN Tieniu. A Survey of Visual Analysis of Human Motion[J]. Chinese Journal of Computers,2002,25(3):225-237.

[2] Lipton A, Fujiyoshi H, Patil R. Moving target classification and tracking from real-time video[C]//Proc. IEEE Workshop on Applications of Computer Vision, Princeton, NJ,1998:8-14.

[3] Anderson C, Bert P, Vander W G. Change detection and tracking using pyramids transformation techniques[C]//Proc. SPIE Conference on Intelligent Robots and Computer Vision, Cambridge, MA,1985,579:72- 78.

[4] Meyer D, Denzler J, Niemann H. Model based extract ion of articulated objects in image sequences for gait analysis[C]//Proc. IEEE International Conference on Image Processing, Santa Barbara, California,1997:78- 81.

[5] 代科學(xué),李國(guó)輝,涂丹,等.監(jiān)控視頻運(yùn)動(dòng)目標(biāo)檢測(cè)減背景技術(shù)的研究現(xiàn)狀和展望[J].中國(guó)圖象圖形學(xué)報(bào),2006,11(7):919-927.

DAI Kexue, LI Guohui, TU Dan, et al. Prospects and Current Studies on Background Subtraction Techniques for Moving Objects Detection from Surveillance Video[J]. Journal of Image and Graphics,2006,11(7):919-927.

[6] Piccardi M. Background subtraction techniques: a review[C]//Proc. IEEE International Conference on Systems, Man and Cybernetics,2004:3099-3104.

[7] 白向峰,李艾華,李喜來,等.新型背景混合高斯模型[J].中國(guó)圖象圖形學(xué)報(bào),2011,16(6):983-988.

BAI Xiangfeng, LI Aihua, LI Xilai, et al. A novel background Gaussian mixture mode[J]. Journal of Image and Graphics,2011,16(6):983-988.

[8] Stauffer C, Grimson W. E L. Learning patterns of activity using real-time tracking[J]. IEEE Transactions on Pattern Recognition Machine Intelligence,2000,22(8):747-757.

[9] 梁華.多攝像機(jī)視頻監(jiān)控中運(yùn)動(dòng)目標(biāo)檢測(cè)與跟蹤[D].長(zhǎng)沙:國(guó)防科學(xué)技術(shù)大學(xué),2009:20-25.

LIANG Hua. Moving Object Detection and Tracking for Multi-Camera Video Surveillance[D]. Changsha: National University of Defense Technology,2009:20-25.

[10] 張恒,胡文龍,丁赤飚.一種自適應(yīng)學(xué)習(xí)的混合高斯模型視頻目標(biāo)檢測(cè)算法[J].中國(guó)圖象圖形學(xué)報(bào),2010,15(4):631-636.

ZHANG Heng, HU Wenlong, DING Chibia. Adaptive Learning Gaussian Mixture Models for Video Target Detection[J]. Journal of Image and Graphics,2010,15(4):631-636.

[11] 孟益方,歐陽(yáng)寧,莫建文,等.基于高斯混合模型的陰影消除算法[J].計(jì)算機(jī)仿真,2010,27(1):210-213,260.

MENG Yifang, OUYANG Ning, MO Jianwen, et al. A Shadow Removal Algorithm with Gaussian Mixture Mode[J]. Computer Simulation,2010,27(1):210-213,260.

[12] 姜柯,李艾華,蘇延召.結(jié)合邊緣紋理和抽樣推斷的自適應(yīng)陰影檢測(cè)算法[J].西安交通大學(xué)學(xué)報(bào),2013,47(2):39-46.

JIANG Ke, LI Aihua, SU Yanzhao. An Adaptive Shadow Detection Algorithm Using Edge Texture and Sampling Deduciton[J]. Journal of Xi’an Jiaotong University,2013,47(2):39-46.

[13] 劉李漫,陶文兵,田金文.融合多高斯混合模型與Graph Cuts優(yōu)化技術(shù)的目標(biāo)自動(dòng)檢測(cè)方法[J].中國(guó)體視學(xué)與圖像分析,2011,16(1):11-17.

LIU Liman, TAO Wenbing, TIAN Jinwen. An object detection method based on adaptive background mixture models and Graph Cuts[J]. Chinese Journal of Stereology and Image Analysis,2011,16(1):11-17.

[14] Canny J F. Finding edges and lines in images[J]. Massachusetts Inst. of Tech. Report,1983,1.

[15] 牛夏牧,焦玉華.感知哈希綜述[J].電子學(xué)報(bào),2008,36(7):1405-1411.

NIU Xiamu, JIAO Yuhua. An Overview of Perceptual Hashing[J]. Acta Electronica Sinica,2008,36(7):1405-1411.

收稿日期:2015年10月6日,修回日期:2015年12月21日

基金項(xiàng)目:廣東高校優(yōu)秀青年創(chuàng)新人才培養(yǎng)計(jì)劃項(xiàng)目(編號(hào):2013LYM_0114);廣州大學(xué)華軟軟件學(xué)院重大科研培育項(xiàng)目;廣東大學(xué)生科技創(chuàng)新培育專項(xiàng)資金項(xiàng)目資助。

作者簡(jiǎn)介:張明軍,男,碩士,講師,研究方向:圖像處理、計(jì)算機(jī)網(wǎng)絡(luò)。

中圖分類號(hào)TP391.4

DOI:10.3969/j.issn.1672-9722.2016.04.017

Moving Object Detection Algorithm on Multi-feature Combination

ZHANG MingjunHUANG ZhijinSUN Zeneng

(Faculty of Network Technology, South China Institute of Software Engineering, Guangzhou University, Guangzhou510990)

AbstractGaussian mixture modeling is the most used method for background modeling of the implementation of background subtraction in video sequences, and has become the standard method. The theory framework and function of Gauss mixture model are analyzed. The problems of Gauss mixture model which still need to be solved are analyzed, and a Gauss mixture model combined with multiple features is proposed, the experiments show that the algorithm has better effect of object detection and environmental adaptability.

Key WordsGauss mixture model, objects detection, multi-feature combination