運(yùn)動(dòng)目標(biāo)檢測(cè)與識(shí)別研究

蘭勝坤，余景華

(福建工程學(xué)院國(guó)脈信息學(xué)院，福建 福州 350102)

運(yùn)動(dòng)目標(biāo)檢測(cè)與識(shí)別研究

蘭勝坤，余景華

(福建工程學(xué)院國(guó)脈信息學(xué)院，福建 福州 350102)

運(yùn)動(dòng)目標(biāo)檢測(cè)與識(shí)別研究是計(jì)算機(jī)視覺(jué)中最重要的研究領(lǐng)域之一。在目標(biāo)檢測(cè)中存在場(chǎng)景動(dòng)態(tài)變化、光照變化等問(wèn)題，在目標(biāo)跟蹤中則存在目標(biāo)的遮擋、重疊及目標(biāo)關(guān)聯(lián)等問(wèn)題。提出一種有效的運(yùn)動(dòng)目標(biāo)檢測(cè)方法，較好地解決以上問(wèn)題。首先利用背景差分方法建立背景模型，再對(duì)背景模型進(jìn)行實(shí)時(shí)更新，以適應(yīng)視頻本身和光線的變化，最后使用形態(tài)學(xué)方法消除噪聲和運(yùn)動(dòng)陰影帶來(lái)的影響。并對(duì)檢測(cè)到的目標(biāo)應(yīng)用區(qū)域跟蹤技術(shù)，引入2個(gè)參數(shù)，實(shí)現(xiàn)跟蹤匹配，很好地處理了目標(biāo)之間的相互遮擋問(wèn)題。實(shí)驗(yàn)結(jié)果表明，該方法快速有效，能夠滿(mǎn)足實(shí)時(shí)的需要。

視頻信息處理；背景差分；目標(biāo)跟蹤；目標(biāo)檢測(cè)

0 引 言

運(yùn)動(dòng)目標(biāo)的檢測(cè)與識(shí)別在計(jì)算機(jī)視覺(jué)研究領(lǐng)域起著舉足輕重的作用，它不僅有著重要的實(shí)際應(yīng)用價(jià)值，也對(duì)計(jì)算機(jī)視覺(jué)的其他研究方向有著重要的促進(jìn)作用。運(yùn)動(dòng)目標(biāo)檢測(cè)與識(shí)別近年來(lái)一直是很多學(xué)者所研究的重點(diǎn)課題，主要在于其實(shí)際應(yīng)用價(jià)值較大[1]，被廣泛應(yīng)用于交通管制、安防、圖像壓縮等領(lǐng)域。

運(yùn)動(dòng)目標(biāo)檢測(cè)就是在一段序列圖像去除靜止不動(dòng)的區(qū)域即背景區(qū)域，檢測(cè)出運(yùn)動(dòng)的區(qū)域，并盡量減少噪聲的影響，以精確得到運(yùn)動(dòng)目標(biāo)[2，3]。運(yùn)動(dòng)目標(biāo)檢測(cè)的研究?jī)?nèi)容是指從視頻流中按照一定采樣速率采取出一系列靜態(tài)序列，就時(shí)間而言這些圖像具有一定的時(shí)間連續(xù)性。運(yùn)動(dòng)目標(biāo)檢測(cè)的最終目的是從采集到的靜態(tài)序列中利用檢測(cè)算法檢測(cè)有沒(méi)有變化的區(qū)域，如果有，則認(rèn)為變化的區(qū)域就是運(yùn)動(dòng)前景區(qū)域，并將運(yùn)動(dòng)目標(biāo)從中提取出來(lái)。運(yùn)動(dòng)目標(biāo)的識(shí)別與跟蹤是指從檢測(cè)到的目標(biāo)中提取它的圖像特征，可提取的特征有圖像的直方圖、目標(biāo)的顏色等，并且對(duì)提取出來(lái)的特征進(jìn)行匹配識(shí)別，最后利用算法對(duì)運(yùn)動(dòng)目標(biāo)進(jìn)行定位。這一過(guò)程中處理是分成兩個(gè)層次的，其中對(duì)運(yùn)動(dòng)目標(biāo)的提取是低層次的處理，是圖像處理的內(nèi)容，而對(duì)檢測(cè)到的目標(biāo)進(jìn)行識(shí)別與跟蹤，屬于高層次的處理，是人工智能領(lǐng)域的內(nèi)容[4]。對(duì)運(yùn)動(dòng)目標(biāo)的檢測(cè)是對(duì)運(yùn)動(dòng)目標(biāo)識(shí)別的基礎(chǔ)，也是運(yùn)動(dòng)目標(biāo)跟蹤的前提，所以對(duì)運(yùn)動(dòng)目標(biāo)的檢測(cè)結(jié)果將對(duì)識(shí)別和跟蹤產(chǎn)生重要的影響。

1 運(yùn)動(dòng)目標(biāo)檢測(cè)與跟蹤算法

在對(duì)運(yùn)動(dòng)目標(biāo)檢測(cè)與跟蹤的研究當(dāng)中，國(guó)內(nèi)外學(xué)者提出了很多實(shí)用并且有效的檢測(cè)算法，然而許多方法都是在以下的3種常用的方法中改進(jìn)而來(lái)。運(yùn)動(dòng)目標(biāo)檢測(cè)算法概括起來(lái)主要分為3大類(lèi)，即光流法、背景差分法和幀間差分法。

1)光流法[5，6]。由于視頻中圖像是時(shí)變的，從視頻中提取到的目標(biāo)是運(yùn)動(dòng)的，導(dǎo)致它的圖像所對(duì)應(yīng)的亮度模式不停地在變化，這種由于圖像亮度模式表現(xiàn)出的表觀運(yùn)動(dòng)，就是光流。如果說(shuō)光流表示了圖像的運(yùn)動(dòng)，它里面應(yīng)該有人們感興趣的目標(biāo)的運(yùn)動(dòng)信息，所以可以用光流來(lái)確定目標(biāo)的運(yùn)動(dòng)特征。光流中既含有目標(biāo)物體的運(yùn)動(dòng)信息，還包括相關(guān)的結(jié)構(gòu)信息。由于光流場(chǎng)具有不連續(xù)性，因此可以用來(lái)把將要研究的圖像分割成對(duì)應(yīng)不同的運(yùn)動(dòng)物體的區(qū)域。用光流的方法檢測(cè)運(yùn)動(dòng)目標(biāo)時(shí)，由于運(yùn)動(dòng)目標(biāo)的位置是隨時(shí)間變化的，所以光流也隨時(shí)間變化，但是在實(shí)際應(yīng)用中，由于物體在運(yùn)動(dòng)中會(huì)遇到陰影、或者障礙物的遮擋和噪聲，造成光流方程條件不滿(mǎn)足，從而不能得到正解。此外，大部分光流方法的計(jì)算復(fù)雜度大，計(jì)算量大，并且只能得到稀疏的光流場(chǎng)，實(shí)時(shí)處理時(shí)會(huì)造成大的延遲。因此，如果系統(tǒng)對(duì)于實(shí)時(shí)性和精確性要求高的話(huà)，一般不建議采用該方法。

2)背景差分法[7]。背景差分法在運(yùn)動(dòng)目標(biāo)檢測(cè)技術(shù)中是一種最常用的、行之有效的方法。它一般是預(yù)先選定一幀圖像作為背景圖像，然后將當(dāng)前圖像與所選擇的背景圖像對(duì)應(yīng)位置的像素亮度相減，以實(shí)現(xiàn)差分運(yùn)算，這樣檢測(cè)出來(lái)的就是運(yùn)動(dòng)區(qū)域。由于該方法不受運(yùn)動(dòng)目標(biāo)速度的限制，因此能夠較完整地提取出運(yùn)動(dòng)目標(biāo)，但是其檢測(cè)性能與背景圖像提取的好壞有很大的關(guān)聯(lián)，并且對(duì)光照條件和外部條件造成的場(chǎng)景變化過(guò)于敏感，如果在非受控環(huán)境下，該算法還需要加入對(duì)背景圖像的更新機(jī)制，并且該方法不適用于背景灰度有很大變化的情況。

3)幀間差分法[8，9]。幀間差分法是目前最常用到的目標(biāo)檢測(cè)方法之一，尤其是在背景不變的情況下。它是對(duì)視頻中相鄰兩幀圖像進(jìn)行比較，將提取到的相鄰兩幀圖像的灰度值的對(duì)應(yīng)位置相減，得到相鄰兩幀圖像灰度差的絕對(duì)值，并且看它是否大于設(shè)定的閾值，根據(jù)這個(gè)判斷條件，我們可以得出圖像的二值化圖像，并以此來(lái)分析視頻或圖像序列的運(yùn)動(dòng)特性，確定圖像序列中是否有物體運(yùn)動(dòng)[10]。這種方法監(jiān)控的場(chǎng)景中背景是不動(dòng)的，如果有物體運(yùn)動(dòng)時(shí)，所提取出來(lái)的相鄰兩幀之間的亮度值就會(huì)明顯的不同。該方法對(duì)動(dòng)態(tài)環(huán)境有較好的適應(yīng)性，如光照或外部條件變化引起的場(chǎng)景不同的情況下，幀間差分法具有良好的適應(yīng)能力。幀間差分算法中不需要像背景差分法一樣提取背景區(qū)域，并且差分圖像受光線變化影響小，檢測(cè)的結(jié)果有效而穩(wěn)定，但是運(yùn)動(dòng)目標(biāo)與背景區(qū)域圖像的灰度值相差不大時(shí)，這種方法只能得到運(yùn)動(dòng)目標(biāo)的大概輪廓，并且當(dāng)運(yùn)動(dòng)目標(biāo)速度快時(shí)，會(huì)使得運(yùn)動(dòng)目標(biāo)在速度方向上進(jìn)行拉伸，導(dǎo)致對(duì)運(yùn)動(dòng)目標(biāo)特征參數(shù)的提取變得非常困難，因此這種方法也有一定的局限性。

2 基于背景差分算法的運(yùn)動(dòng)目標(biāo)檢測(cè)與跟蹤

本文主要分析了背景差分方法在運(yùn)動(dòng)目標(biāo)檢測(cè)與跟蹤中的應(yīng)用。論文算法的主要流程圖如圖1所示。

1)視頻處理

由于有些視頻并不能直接用來(lái)輸入OpenCV所編程序處理，需要將其轉(zhuǎn)化為無(wú)壓縮的avi格式。利用軟件WinAVI Video Converter，轉(zhuǎn)換為ZJMedia uncompressed RGB24格式。

2)背景建模

利用背景差分方法來(lái)求取背景，并實(shí)時(shí)對(duì)背景進(jìn)行更新。由于考慮到ExhibitionHall.avi視頻中運(yùn)動(dòng)物體所占場(chǎng)景比例少，運(yùn)動(dòng)軌跡為直線，為了處理更簡(jiǎn)單，這里不刻意區(qū)分物體和背景像素點(diǎn)。

3)前景提取

灰度圖像的處理比彩色圖像的處理過(guò)程簡(jiǎn)單。本研究小組將讀入的彩色圖像變成灰度圖像，并二值化；同樣，背景也進(jìn)行二值化。兩者做差值，得到一些離散的黑白點(diǎn)塊，也就是要識(shí)別的目標(biāo)。但是，這樣得到的塊是分散開(kāi)的，程序并不能完整的把它們識(shí)別成一個(gè)人形，而是一個(gè)本來(lái)很完整的人形被分塊識(shí)別成多個(gè)目標(biāo)。為此，實(shí)驗(yàn)組做了一些簡(jiǎn)單的后處理。先腐蝕元素，去除不必要的雜點(diǎn)，然后進(jìn)行膨脹塊處理，自定義塊的大小，使其膨脹成能被識(shí)別成一個(gè)人形的目標(biāo)。另外還做了簡(jiǎn)單的高斯低通濾波，使得到的結(jié)果光滑些。其流程圖如圖2所示。

4)目標(biāo)檢測(cè)

根據(jù)前景處理的結(jié)果，得到一些連續(xù)的塊目標(biāo)。利用幀間差，可以提取出目標(biāo)的輪廓。根據(jù)輪廓的位置分布，計(jì)算出檢測(cè)目標(biāo)的形心和大小，并予以標(biāo)記。目標(biāo)檢測(cè)的流程圖如圖3所示。

5)目標(biāo)跟蹤

用目標(biāo)幀間的位移差值計(jì)算出運(yùn)動(dòng)目標(biāo)在x、y方向上的運(yùn)動(dòng)速度，這個(gè)關(guān)系可以判斷下一幀目標(biāo)的位置。設(shè)置一個(gè)合適的閾值，就可以實(shí)現(xiàn)目標(biāo)的跟蹤。在此，還引入了重疊判斷機(jī)制。如果目標(biāo)重疊，即通過(guò)遍歷，發(fā)現(xiàn)塊重疊大于一定閾值后，根據(jù)前面得到的位置預(yù)測(cè)判斷當(dāng)前物塊位置；如果不重疊，則遍歷這幅圖像中的所有物塊，尋找臨近最優(yōu)物塊，以保持編號(hào)連續(xù)性。并且在目標(biāo)跟蹤過(guò)程中，還進(jìn)行了Kalman濾波，對(duì)目標(biāo)軌跡進(jìn)行濾波處理，以消除部分噪聲的影響。目標(biāo)跟蹤流程圖如圖4所示。

3 實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)是在IntelCore(TM)2硬件平臺(tái)、以及VS2005下結(jié)合opencv1.0庫(kù)下進(jìn)行的。

實(shí)驗(yàn)結(jié)果表明，在背景相對(duì)比較固定條件下，背景差分法能夠比較準(zhǔn)確地從背景區(qū)域中將運(yùn)動(dòng)目標(biāo)提取出來(lái)，并且對(duì)復(fù)雜環(huán)境有一定的適用能力，該方法對(duì)光照的變化也有一定的魯棒性。同時(shí)，也可以看出背景差分法雖然能夠從背景中提取出前景運(yùn)動(dòng)物體，但如果前景區(qū)域的亮度值與背景區(qū)域的亮度值比較接近的話(huà)，會(huì)造成提取的部分像素點(diǎn)丟失。

[1]侯志強(qiáng),韓崇昭.視覺(jué)跟蹤技術(shù)綜述[J].自動(dòng)化學(xué)報(bào),2006,32(04):603-617.

[2]王歡.運(yùn)動(dòng)目標(biāo)檢測(cè)與跟蹤研究[D].南京：南京理工大學(xué),2009.

[3]王孝艷,張艷林,董慧穎,等.運(yùn)動(dòng)目標(biāo)檢測(cè)的三幀差分算法研究[J].沈陽(yáng)理工大學(xué)學(xué)報(bào),2011，30(06):83-85.

[4]王亮,胡衛(wèi)明,譚鐵牛.人運(yùn)動(dòng)的視覺(jué)分析綜述[J].計(jì)算機(jī)學(xué)報(bào)，2002,(03):1-16.

[5]Kaew T P,Bowden R.An improved adaptive background mixture model for real-time tracking with shadow detection[A].Proc of 2nd European Workshop on Advanced Video-Based Surveillance System:Computer Vision and Distributed Processing[C].US:Springer,2001:1-5.

[6]Talukder A,Matthies L.Real-time detection of moving object from moving vehicles using dense stereo and optical flow[A].IEEE Conference on Intelligent Robots and Systems[C].US:Springer,2004,4:3718-3725.

[7]Sass G,Loncaric S.Spatio-temporal image segmentation using optical flow and clustering algorithm[A].First Intl Work-shop on Image and Signal Processing and Analysis Croatia[C].IWISPA:2000:63-68.

[8]Doucet A,Gurdon N,Krishnamurthy V.Particle filter for state estimation of jump Morkov linear systems[J].IEEE Trans Signal Process,2001,24:613-624.

[9]Kim J B,Kim H J.Efficient region-based motion segmentation for a video monitoring system[J].Pattern Recogn Lett,2003,24:113-128.

[10]Oliver N M,Rosario B,Pentland A P.A Bayesian computer vision system for modeling human interactions[J].IEEE Transact Pattern Analysis Mmach Intell,2000,22(08):831-843.

[責(zé)任編輯：劉守義 英文編輯：劉彥哲]

Detection and Recognition of Moving Objects

LAN Sheng-kun,YU Jing-hua

(Guomai Information College,Fujian University of Technology,Fuzhou,Fujian 350012,China)

Detection and tracking of moving objects is one the most important parts of computer vision and video processing.The difficulties,such as how to deal with dynamic changing scenes,moving objects’overlap and occlusion on detection and recognition effectively are perplexing people.An effective method was proposed to solve these problems.First,an effective detection model of moving object was built,which addressed the problems aforementioned.And then,the background model was updated real-timely in order to accommodate the changes of illumination and others.After that,morphological operation was used to reduce the negative impact of disturbance and noise.Regional tracking technology was applied to detected targets and two parameters were introduced to process the overlapping between many objects.Experimental results showed that the model has a better performance in effectiveness and real-time aspects.

video information processing;background modeling;object tracking;object detection

蘭勝坤(1977-)，女，河北定州人，助教，碩士，主要從事通信理論、模式識(shí)別方面的研究。

TP 391.41

A

10.3969/j.issn.1673-1492.2015.06.004

來(lái)稿日期：2015-09-22