一種自適應(yīng)碼書模型背景更新算法

趙 謙，周 勇，侯媛彬，劉樹林

(西安科技大學(xué)a.通信與信息工程學(xué)院;b.電氣與控制工程學(xué)院，陜西 西安 710054)

責(zé)任編輯:任健男

1 現(xiàn)有檢測算法簡介

在智能視頻監(jiān)控領(lǐng)域，運(yùn)動(dòng)目標(biāo)的檢測是信息提取的一個(gè)關(guān)鍵步驟，也是更高層次分析如目標(biāo)跟蹤、目標(biāo)分類和行為理解的重要基礎(chǔ)［1］。因此，如何從視頻序列中快速準(zhǔn)確地提取運(yùn)動(dòng)目標(biāo)，是許多研究者所關(guān)注的一個(gè)問題。經(jīng)過多年的發(fā)展，提出了一些有效的算法［2－5］，解決了智能監(jiān)控中一些難題，能適應(yīng)比較復(fù)雜的環(huán)境。其中，碼書模型［4］就是一種常見的背景建模方法，眾多研究者提出了改進(jìn)的碼書模型［6－7］。這些改進(jìn)的算法有效地解決了碼書模型中的一些不足，提高了碼書模型的有效性和魯棒性，然而對于碼書模型的自適應(yīng)更新卻很少論述，但是背景建立之后，如何保持背景的穩(wěn)定性，讓背景長時(shí)間可靠工作也是一件及其重要的事情，在實(shí)際應(yīng)用中這可能比建立一個(gè)完美的背景更值得關(guān)注。

無論是傳統(tǒng)的碼書模型背景更新方法，還是后來的一些改進(jìn)算法，它們都是基于單個(gè)像素在時(shí)域上考慮。這種基于像素時(shí)域分布的模型更新方式?jīng)]能充分利用空域信息，不能區(qū)分出真正的背景變化。在任何應(yīng)用場景中，背景與前景目標(biāo)是兩個(gè)相對的概念，背景模型的更新應(yīng)與前景目標(biāo)的定義相關(guān)。在文獻(xiàn)［8］中曾提到運(yùn)動(dòng)稀疏的概念，現(xiàn)有的目標(biāo)檢測算法大多是基于物體的運(yùn)動(dòng)性，如何處理運(yùn)動(dòng)信息不足的目標(biāo)值得研究。現(xiàn)有的大部分算法在背景更新的過程中也存在有運(yùn)動(dòng)信息不足和物體只有局部運(yùn)動(dòng)的問題。如圖1所示，一個(gè)孩子坐在地板上，身體有微小變化或只是移動(dòng)了身體的部分，一段足夠長時(shí)間后會有部分融入到背景中，現(xiàn)有的方法只能檢測到運(yùn)動(dòng)的部分，對于檢測到的部分已經(jīng)失去整體性，不僅沒有太大意義，而且會影響后面對圖像的高層次理解。

上述情況的出現(xiàn)是由于背景更新過程中對背景的判斷與背景定義的偏差，忽略了前景物體的整體性。本文針對此類問題對現(xiàn)有算法進(jìn)行改進(jìn)，一方面分析像素的時(shí)域信息，同時(shí)也在分析像素空間聯(lián)系的基礎(chǔ)上考慮物體的整體性，而且該算法能更好地實(shí)現(xiàn)背景模型的自適應(yīng)更新，在背景更新過程中輔助前景的檢測。

圖1 運(yùn)動(dòng)目標(biāo)局部運(yùn)動(dòng)的檢測

2 傳統(tǒng)碼書模型背景更新和圖像分割

2.1 傳統(tǒng)碼書模型的更新原理

針對復(fù)雜多變的背景，Kim等人［4］提出了碼書模型，為每個(gè)像素建立一本碼書，每本碼書又包含多個(gè)碼字ci(i=1，2，…，l)來描述背景，是一種無參數(shù)的背景建模方法。其中每個(gè)碼字由以下參數(shù)組成:νi=(Ri，Gi，Bi)和aux=i;含 3 個(gè)分量的 νi表示碼字的RGB顏色值 和 是碼字對應(yīng)像素的最小和最大亮度值;fi是碼字出現(xiàn)的頻率;λi表示碼字相鄰2次出現(xiàn)的最長時(shí)間間隔;pi和qi分別表示碼字第一次和最后一次出現(xiàn)的時(shí)間。由于監(jiān)控場景的復(fù)雜多變，模型需要不斷更新來適應(yīng)場景的變化，例如物體的移入移出、物體的周期性運(yùn)動(dòng)等。這時(shí)就需要一種能夠自適應(yīng)地更新背景模型的算法，防止出現(xiàn)運(yùn)動(dòng)目標(biāo)的虛檢和漏檢。

傳統(tǒng)碼書模型背景更新是建立在對背景和前景區(qū)分的基礎(chǔ)上，把整個(gè)過程分為背景和前景分別處理，背景部分會按照背景訓(xùn)練時(shí)的方式更新，對于前景部分則建立一個(gè)前景碼書模型，不斷地檢測前景碼書中碼字的變化，將依據(jù)一定的條件來添加或剔除背景碼書中的碼字，使其適應(yīng)不斷變化的監(jiān)控場景。通過時(shí)間閾值來判斷物體的融入和移出，如果停留時(shí)間超過門限，相應(yīng)的碼字頻率增加，目標(biāo)就會融入背景;如果超過一定的時(shí)間沒有訪問背景碼書中的碼字，就將該碼字刪除。傳統(tǒng)的背景更新算法可以很好地處理一些簡單場景的變化，對于一些復(fù)雜的變化顯得不足，例如，一輛汽車走了一段時(shí)間后停下來，然后慢慢調(diào)轉(zhuǎn)方向朝另一個(gè)方向駛?cè)?。由于汽車本身的面積較大，而且車身顏色相近，所以對每個(gè)像素根據(jù)一段時(shí)間內(nèi)出現(xiàn)的次數(shù)來判斷是否為背景很容易出現(xiàn)誤判，需要聯(lián)合空間信息來判斷。

2.2 傳統(tǒng)碼書模型背景更新存在的問題

傳統(tǒng)碼書模型背景更新是以像素為單位，孤立地分析像素點(diǎn)在時(shí)間域上的統(tǒng)計(jì)信息，只能處理一些簡單的情況，存在以下的不足:

1)更新時(shí)需要遍歷每一個(gè)前景碼書，而大部分的前景碼字都不是潛在的背景，浪費(fèi)大量時(shí)間用于查找，影響檢測實(shí)時(shí)性。

2)監(jiān)控場景是復(fù)雜多變的，背景的更新僅用一個(gè)時(shí)間閾值來決定，不能很好地適應(yīng)背景的變化，而且一個(gè)統(tǒng)一的時(shí)間閾值很難確定。

3)孤立地考慮每個(gè)像素，忽略彼此聯(lián)系和像素的空間信息，沒有考慮物體完整性。

第1點(diǎn)中的不足表現(xiàn)在沒能區(qū)分真正的前景和可能成為背景的前景，能成為背景的前景占的比例很少，現(xiàn)有的算法要訪問所有的前景碼字，這樣不但沒有必要還浪費(fèi)了大量的時(shí)間，有必要利用物體的空間信息將潛在的背景分開，只處理前景中這部分碼字。第2點(diǎn)和第3點(diǎn)中，如果時(shí)間閾值過大，則更新速度過慢，模型不能及時(shí)反映出背景的變化而導(dǎo)致誤檢;如果過小，更新速度過快，會使運(yùn)動(dòng)較慢、面積較大或紋理較均勻的目標(biāo)部分融入背景，造成目標(biāo)檢測不完整。對于上文中提到的由于局部運(yùn)動(dòng)造成將目標(biāo)分成背景和前景兩部分的現(xiàn)象，現(xiàn)有算法也無法處理。由以上分析可知，傳統(tǒng)碼書模型對背景的更新方式不能有效地自適應(yīng)背景變化，為了更好地解決上面的問題，引入像素的空間信息，通過對前景的分割獲得目標(biāo)的整體信息。

2.3 脈沖耦合神經(jīng)網(wǎng)絡(luò)的圖像分割

提取出目標(biāo)整體信息的方法有多種，經(jīng)過實(shí)驗(yàn)對比我們選用基于貓視覺皮層模型的脈沖耦合神經(jīng)網(wǎng)絡(luò)(Pulse Coupled Neural Net，PCNN)來進(jìn)行圖像的分割［9］?；赑CNN的圖像分割是一種基于圖像像素相似強(qiáng)度臨近相似性的圖像分割方法，并有自適應(yīng)圖像分割的特點(diǎn)。然而其對圖像的二值分割又極大地削弱了圖像的層次性，視頻中目標(biāo)的分割不同于單幅圖像的分割，視頻幀中常會有噪聲的干擾和光線的變化。為此，本文對PCNN方法進(jìn)行了改進(jìn)，提出了基于PCNN的多值分割方法，既保留PCNN對圖像分割的優(yōu)良特性，又有效保留圖像本身的層次性，使其更適合視頻圖像的分割。圖2是圖像分割的效果圖。從圖中可以看到，該方法可以很好地對視頻圖像進(jìn)行分割，效果滿足本文的要求。

圖2 PCNN圖像分割效果

3 改進(jìn)的碼書模型背景自適應(yīng)更新

本文的背景更新方法是在傳統(tǒng)碼書模型的基礎(chǔ)上加入了空間信息，即考慮運(yùn)動(dòng)目標(biāo)的整體性，通過對視頻圖像的分割，提取出運(yùn)動(dòng)目標(biāo)空間信息。目標(biāo)空間輪廓信息的提取是在前景檢測完成后進(jìn)行的。首先，對前景目標(biāo)進(jìn)行標(biāo)記，找到每個(gè)運(yùn)動(dòng)目標(biāo)的形心，用矩形框?qū)⒛繕?biāo)框起來。然后，返回當(dāng)前幀中矩形框的位置，對矩形框中的目標(biāo)利用PCNN算法進(jìn)行圖像分割，提取出目標(biāo)的空間輪廓信息Li(t)。根據(jù)運(yùn)動(dòng)目標(biāo)的空間信息是不斷變化的，而背景的空間信息卻很少變化，可以將目標(biāo)分為真正的前景和潛在的背景。將所獲得的輪廓信息與前一幀圖像中相應(yīng)目標(biāo)的輪廓信息Li(t－1)對比，如果輪廓信息有較大差別，說明目標(biāo)是前景，則不將該目標(biāo)歸入到潛在的背景中;如果輪廓的變化不大，目標(biāo)有可能是潛在的背景或是受到噪聲的干擾，需要繼續(xù)檢測該目標(biāo)的空間輪廓信息，幾幀之后再進(jìn)行檢測，這樣既減少了噪聲的影響，也有效地避免了運(yùn)動(dòng)緩慢物體的誤檢。經(jīng)過上述判斷后，目標(biāo)的空間輪廓信息變化仍不大，此時(shí)對目標(biāo)范圍內(nèi)的前景像素進(jìn)行計(jì)時(shí)。對于是否融入背景不是單一考慮時(shí)間閾值還要聯(lián)合像素的空間整體性，快速地將整個(gè)目標(biāo)融入背景。只有局部運(yùn)動(dòng)的物體，雖然有一部分由于長時(shí)間的靜止會融入到背景中，但從整體考慮來看還是屬于運(yùn)動(dòng)目標(biāo)，所以在空間輪廓變化判斷時(shí)，不再將這部分融入到背景，而是把該部分和運(yùn)動(dòng)的部分看作一個(gè)整體，當(dāng)作前景來處理，從而可以有效地避免把目標(biāo)分割成一部分是前景、一部分是背景?；诳臻g信息的碼書模型背景更新步驟如下:

1)訓(xùn)練得到的背景模型M，新建立一個(gè)前景碼書模型H。

5)將前景H中停留時(shí)間足夠長的碼字移入到背景M中。M←M∪{hi|hi∈H，fi≥Tadd}。

6)刪除背景M和前景H中長時(shí)間沒有訪問的碼字。

7)從步驟2)重復(fù)進(jìn)行。

經(jīng)過上述的步驟就可以在快速前景檢測的同時(shí)，自適應(yīng)地進(jìn)行背景的實(shí)時(shí)更新。其中α表示兩幀之間同一個(gè)像素的空間信息之差絕對值門限，它有助于消除噪聲和光照的影響，更準(zhǔn)確地反映空間信息的變化，一般取值為10～15。空間相似度閾值β，描述整個(gè)物體的變化程度，一般取值0.85～0.95。Tadd表示目標(biāo)融入背景的時(shí)間，Tdel表示背景移除目標(biāo)的時(shí)間，兩個(gè)值都可以根據(jù)具體的情況和場景來選擇。

4 實(shí)驗(yàn)結(jié)果與分析

為了測試算法的性能，本文選擇了復(fù)雜的室外環(huán)境為場景來進(jìn)行實(shí)驗(yàn)，并重點(diǎn)針對條件多變的情況下和目標(biāo)運(yùn)動(dòng)信息不足時(shí)背景的自適應(yīng)更新。本文采用的第1段視頻序列來自PETS(IEEE International Workshop on Performance Evaluation of Tracking and Surveillance)2001 Dataset 1 Camera 1 Image。實(shí)驗(yàn)測試平臺為:CPU酷睿雙核1.73 GHz，2 Gbyte內(nèi)存，Windows7操作系統(tǒng)。測試代碼在MATLAB7.6上編譯運(yùn)行，其中參數(shù)設(shè)置為α=10，β =0.9 。

1)室外復(fù)雜條件下背景更新

物體進(jìn)入背景后靜止，如果一段時(shí)間后仍然不變需要將其融入到場景中，而要完全融入到背景中需要1.5～2倍的Tadd時(shí)間，如圖3所示。對于比較復(fù)雜的運(yùn)動(dòng)，單靠時(shí)間閾值去判斷就會出現(xiàn)錯(cuò)判，如圖4所示，一輛車緩慢的移入到背景中然后慢慢地掉轉(zhuǎn)方向朝另一個(gè)方向行駛。由于車輛緩慢運(yùn)動(dòng)而且車身紋理相似，圖4d中可以看到車輛區(qū)域內(nèi)有部分融入到背景中，可以用增大Tadd的方法來解決這部分問題，但是對于要融入背景的物體將要增加更多的時(shí)間才能融入，造成大量的虛檢目標(biāo)，影響真正前景目標(biāo)的檢測。本文中在考慮目標(biāo)整體性的基礎(chǔ)進(jìn)行背景的更新，從圖4e中可以看到在不改變Tadd的前提條件下，很好地解決了該問題，而且通過對比圖4b和圖4c可以發(fā)現(xiàn)融入的速度更快。

圖3 目標(biāo)融入背景(Tadd=50)

2)運(yùn)動(dòng)信息不足條件下背景更新

下面一段測試視頻2中，兩個(gè)人進(jìn)入場景后停下來，只有身體的部分在運(yùn)動(dòng)，而且運(yùn)動(dòng)信息不是連續(xù)的，然后在一個(gè)小范圍內(nèi)活動(dòng)。在文獻(xiàn)［11］中也提到過該類問題，在前景檢測時(shí)沒能很好地處理該類問題，應(yīng)用本文提到的算法可以在背景更新時(shí)解決這類問題。下面針對這一問題用本文的算法和文獻(xiàn)［4］進(jìn)行對比，如圖5所示。從對比測試的結(jié)果來看，本文的算法能更好地處理這一類問題。

3)時(shí)間耗費(fèi)分析

下面主要對本文算法的時(shí)間耗費(fèi)進(jìn)行分析。與傳統(tǒng)碼書模型相比，增加的時(shí)間耗費(fèi)主要在目標(biāo)的空間信息提取部分，但是這里僅僅提取了視頻圖像中運(yùn)動(dòng)目標(biāo)的空間信息，而且本文算法與傳統(tǒng)算法相比不再更新處理非潛在的背景碼字，在一般情況下大部分時(shí)間和大部分前景都不需要處理，只在很少的時(shí)間才考慮場景的更新，這樣就減少了前景碼字每次更新這部分時(shí)間。通過與傳統(tǒng)算法對比，用視頻2進(jìn)行測試，背景平均碼字為1.146個(gè)，背景更新完成后本文平均碼字為1.267個(gè)，傳統(tǒng)平均碼字為2.573個(gè)，減少了背景的平均碼字?jǐn)?shù)，提高了系統(tǒng)效率。

圖4 復(fù)雜條件下背景更新(Tadd=300，背景訓(xùn)練200#)

5 總結(jié)

本文提出了一種自適應(yīng)的碼書模型背景更新算法，主要致力于快速準(zhǔn)確地更新背景模型，以及在目標(biāo)運(yùn)動(dòng)信息不足時(shí)有效處理背景，同時(shí)輔助前景目標(biāo)的檢測。通過引入空間信息來聯(lián)合控制模型更新，不僅提高了信息利用率，更重要的是顯著改善了檢測效果，提高模型對背景變化的適應(yīng)能力。在背景穩(wěn)定更新的條件下，減少了背景更新的時(shí)間，提高了模型對背景變化的響應(yīng)速度，保證目標(biāo)檢測的完整性。其背景更新效果的魯棒性和準(zhǔn)確性已經(jīng)在實(shí)驗(yàn)中得到證實(shí)。

圖5 運(yùn)動(dòng)信息不足條件下的實(shí)驗(yàn)效果(Tadd=500，圖5c中沒有去除陰影，圖5b中陰影慢慢融入背景)

本文算法的有效性和準(zhǔn)確度有賴于運(yùn)動(dòng)目標(biāo)空間信息的正確提取。研究中只利用了空間位置信息，且沒有做陰影去除處理，這在一定程度上影響了算法效果。如果能結(jié)合目標(biāo)紋理特征將更準(zhǔn)確地提取空間信息，效果可能會更好。

［1］代科學(xué)，李國輝，涂丹，等.監(jiān)控視頻運(yùn)動(dòng)目標(biāo)檢測減背景技術(shù)的研究現(xiàn)狀和展望［J］.中國圖象圖形學(xué)報(bào)，2006，11(7):919－927.

［2］STAUFFER C，GRIMSON W.Learning patterns of activity using real time tracking［J］.IEEE Trans.Pattern Analysis and Machine Intelligence，2000，22(8):747－767.

［3］ELGAMMAL A，HARWOOD D，DAVIS L.Non－parametric model for background subtraction［C］//Proc.the 6th European Conference on Computer Vision，Part II.London:Springer－Verlag，2000:751－767.

［4］KIM K，CHALIDABHONGSE T H，HARWOOD D，et al.Real－time foreground－background segmentation using codebook model［J］.Real－Time Imaging，2005，11(3):167－256.

［5］HEIKKILA M，PIETIKAINEN M.A texture－based method for modeling the background detecting moving objects［J］.IEEE Trans.Pattern Analysis and Machine Intelligence，2006，28(4):656－662.

［6］徐成，田睜，李仁發(fā).一種基于改進(jìn)碼本模型的快速運(yùn)動(dòng)檢測算法［J］.計(jì)算機(jī)研究與發(fā)展，2010，47(12):2149－2156.

［7］李波，袁保宗.基于碼書和紋理特征的運(yùn)動(dòng)目標(biāo)檢測［J］.信號處理，2011，27(6):912－917.

［8］LIU Feng，GLEICHER M.Learning color and locality cues for moving object detection and segmentation［C］//Proc.CVPR.Miami.［S.l.］:IEEE Press，2009:320－327.

［9］KUNTIMAD G，RANGANATH H S.Perfect image segmentation using pulse coupled neural networks［J］.IEEE Trans.Neural Networks，1999，10(3):591－598.

［10］徐正光，鮑東來，張利欣.基于遞歸的二值圖像連通域像素標(biāo)記算法［J］.計(jì)算機(jī)工程，2006，32(24):186－188.

［11］LIU Yazhou，YAO Hongxun，GAO Wen.Nonparametric background generation［J］.Journal of Visual Communication and Image Representation，2007，18(3):253－263.