一種基于背景剪除的視頻檢測(cè)方法

蘇錫杰鄒星星

（1.廣西福利彩票發(fā)行中心，廣西 南寧 530022；2.廣西大學(xué)計(jì)算機(jī)與電子信息學(xué)院，廣西 南寧530004）

一種基于背景剪除的視頻檢測(cè)方法

蘇錫杰1鄒星星2

（1.廣西福利彩票發(fā)行中心，廣西 南寧 530022；2.廣西大學(xué)計(jì)算機(jī)與電子信息學(xué)院，廣西 南寧530004）

文章主要針對(duì)視頻監(jiān)控系統(tǒng)中滯留物體和遺失物體的偵測(cè)問(wèn)題，提出了一種實(shí)時(shí)的監(jiān)測(cè)方法。該方法主要包括以下步驟：首先，利用背景剪除算法進(jìn)行目標(biāo)物體的分割；然后，將提取目標(biāo)劃分為動(dòng)態(tài)或靜態(tài)物體；最后，采用一種決策模型計(jì)算所發(fā)生事件的置信度，并且在置信度偏離設(shè)定閾值時(shí)自動(dòng)觸發(fā)警報(bào)。實(shí)驗(yàn)結(jié)果驗(yàn)證文章算法有效性。

視頻監(jiān)控；雙重背景剪除；目標(biāo)分類(lèi)；決策模型

1 引言

近年來(lái)，隨著人們對(duì)公共場(chǎng)合安全防護(hù)需求的不斷提高，如何使視頻監(jiān)控系統(tǒng)在無(wú)人為干預(yù)的條件下實(shí)現(xiàn)對(duì)動(dòng)態(tài)場(chǎng)景中目標(biāo)的定位、識(shí)別和跟蹤，并在此基礎(chǔ)上分析和判斷目標(biāo)的行為，從而主動(dòng)及時(shí)地向監(jiān)控人員發(fā)出異常報(bào)警信息，已經(jīng)成為視頻監(jiān)控系統(tǒng)主要的研究目標(biāo)。作為視頻監(jiān)控的重要任務(wù)之一，物品安全檢測(cè)也在很多領(lǐng)域存在著應(yīng)用空間。該領(lǐng)域在以往的研究中已經(jīng)提出了很多方法，主要集中在兩個(gè)方面的研究：運(yùn)動(dòng)區(qū)域監(jiān)測(cè)和跟蹤信息分析方法。

現(xiàn)有的很多物品安全檢測(cè)方法中都包含了目標(biāo)跟蹤算法[1-2]。原則上，這些方法需要解決的共同難題是對(duì)象初始化問(wèn)題以及前景區(qū)域內(nèi)所有偵測(cè)目標(biāo)的跟蹤。為了獲得前景區(qū)域通常假設(shè)背景場(chǎng)景是幾乎靜止或周期性變化的，這樣同背景存在很大差異的像素點(diǎn)將組成前景區(qū)域?？墒?，現(xiàn)實(shí)場(chǎng)景中的某些因素是不可控的例如：物體部分遮擋、物體的陰影和固定的攝像機(jī)角度等，它們的存在常常會(huì)使跟蹤方法獲得無(wú)法預(yù)料的結(jié)果。

除了上述研究方法外，還有諸如文獻(xiàn)[3]采用時(shí)序邏輯的方法，利用視頻序列的多時(shí)空和上下文線索去檢查遺留物體，但其魯棒性有待提高。文獻(xiàn)[4]中則提出一種基于雙重背景檢測(cè)靜止目標(biāo)的方法，該方法對(duì)輸入視頻采取不同的采樣幀速率從而構(gòu)造出兩個(gè)背景。但是，這種技術(shù)對(duì)不同應(yīng)用的樣本視頻很難設(shè)定統(tǒng)一的參數(shù)值，并且缺少判斷靜態(tài)前景目標(biāo)所屬的事件類(lèi)型的相關(guān)機(jī)制。在許多監(jiān)控場(chǎng)景中，相對(duì)于初始背景會(huì)產(chǎn)生許多進(jìn)入場(chǎng)景或離開(kāi)場(chǎng)景的前景目標(biāo)，如何正確劃分前景區(qū)域是否對(duì)應(yīng)于滯留物或者遺失物是物品安全檢測(cè)中的基本問(wèn)題，但大多數(shù)現(xiàn)有的系統(tǒng)都忽略了這一點(diǎn)。

2 檢測(cè)視頻前景區(qū)域分析

2.1運(yùn)動(dòng)狀態(tài)下目標(biāo)檢測(cè)

目標(biāo)檢測(cè)作為視頻監(jiān)控系統(tǒng)中的一個(gè)重要環(huán)節(jié)，其目的是從視頻圖像序列中將變化區(qū)域從背景中分割出來(lái)。對(duì)于物品安全檢測(cè)所關(guān)心的主要是場(chǎng)景中相對(duì)靜止的像素點(diǎn)，事實(shí)上，所謂滯留物是指不屬于原始場(chǎng)景的物體，剛剛被放入場(chǎng)景中，并將保持靜止?fàn)顟B(tài)。這意味著通過(guò)比較背景與運(yùn)動(dòng)前景區(qū)域，能夠判斷像素點(diǎn)是否對(duì)應(yīng)于遺留物體。相反，遺失物就是指原本屬于場(chǎng)景的物體，被移除出場(chǎng)景，運(yùn)用相同原理同樣可以確定像素點(diǎn)是否對(duì)應(yīng)于遺失物。這就需要去除場(chǎng)景中的運(yùn)動(dòng)目標(biāo)、光照變化以及運(yùn)動(dòng)目標(biāo)陰影等因素的影響。可是，無(wú)論采用哪種背景模型方法進(jìn)行目標(biāo)檢測(cè)，為了滿足系統(tǒng)實(shí)時(shí)處理的需求，背景圖像是需要隨著環(huán)境的變化不斷更新，但受制于背景更新率，屬于靜態(tài)運(yùn)動(dòng)目標(biāo)區(qū)域的像素點(diǎn)都有可能被誤認(rèn)為是背景像素點(diǎn)或是運(yùn)動(dòng)區(qū)域像素點(diǎn)，從而造成目標(biāo)丟失。

為了解決上述問(wèn)題，本文提出一種利用時(shí)間差分法結(jié)合背景減除法的雙重背景模型：即當(dāng)前背景模型（BC）和初始背景模型（BO）。使用雙重背景模型的好處是用戶可以根據(jù)不同需要和環(huán)境調(diào)整背景模型更新的時(shí)間間隔（其中當(dāng)前背景模型的更新率較快），并且兩個(gè)背景在自動(dòng)更新的同時(shí)，通過(guò)相互作用可以有效的減少目標(biāo)丟失情況的發(fā)生。

首先，輸入視頻的前幾幀圖像用來(lái)完成兩個(gè)背景模型的初始化，接下來(lái)通過(guò)時(shí)間差分法得到二值圖像找到大致運(yùn)動(dòng)區(qū)域，然后分別采用改進(jìn)的自適應(yīng)背景更新方法，如下所示：

其中It（x,y）為t時(shí)刻輸入圖像在點(diǎn)（x,y）的像素值，MCt（x,y）和MOt（x,y）分別表示像素點(diǎn)相對(duì)于背景是否發(fā)生變化，α、β則是背景模型的更新速率，StayCount（x,y）用來(lái)描述像素點(diǎn)發(fā)生變化所持續(xù)的時(shí)間，也就是連續(xù)被監(jiān)測(cè)為前景的時(shí)間，T0和T1用來(lái)記錄持續(xù)的幀數(shù)（T0

依據(jù)背景更新規(guī)則，可知當(dāng)前背景主要用于運(yùn)動(dòng)前景的檢測(cè)，它可以抑制場(chǎng)景突變對(duì)背景模型造成的污染，并在滿足條件時(shí)將靜態(tài)運(yùn)動(dòng)目標(biāo)融入當(dāng)前背景；同時(shí)，初始背景中保持的背景信息較當(dāng)前背景更加穩(wěn)定，從而有利于靜止運(yùn)動(dòng)目標(biāo)的檢測(cè)。而且兩個(gè)背景模型的更新與相應(yīng)的前景圖像有著緊密聯(lián)系。

2.2圖像的陰影去除

運(yùn)動(dòng)目標(biāo)檢測(cè)在檢測(cè)出運(yùn)動(dòng)目標(biāo)的同時(shí)，由于陰影顯著地區(qū)別于背景并與運(yùn)動(dòng)目標(biāo)具有相同的運(yùn)動(dòng)屬性，從而陰影會(huì)連同運(yùn)動(dòng)目標(biāo)一起作為前景被檢測(cè)出來(lái)，從而系統(tǒng)錯(cuò)誤率較高，使系統(tǒng)的整體性能下降。因此要正確地分析運(yùn)動(dòng)目標(biāo)物，則必須解決陰影的影響。

本文運(yùn)用基于陰影和背景區(qū)域彩色一致性的檢測(cè)算法，按照陰影區(qū)域的亮度與背景亮度相比變暗，以及其色度與背景色度的差別較小來(lái)檢測(cè)陰影。假定YUV顏色空間建立背景模型的背景中三顏色通道的方差分別為Yσ、Uσ、Vσ，可按如下規(guī)則進(jìn)行判斷：

其中,xyM的值為 1，標(biāo)識(shí)該像素為前景運(yùn)動(dòng)區(qū)域，為 0時(shí)屬于背景區(qū)域。 ()d Y為當(dāng)前像素與背景中亮度信號(hào)的差值，和分別為兩個(gè)色差通道的差值。為設(shè)定的三個(gè)常數(shù)，可通道設(shè)定這三個(gè)參數(shù)來(lái)減少噪音對(duì)運(yùn)動(dòng)物體分割的影響。

2.3靜態(tài)的運(yùn)動(dòng)物體檢測(cè)

綜上所述可知，當(dāng)FCt（x,y）=0，F(xiàn)Ot（x,y）=1時(shí)，靜態(tài)運(yùn)動(dòng)目標(biāo)可以通過(guò)比較FCt（x,y）和 FOt（x,y）的差異來(lái)獲取。設(shè) SOt（x,y）為描述靜態(tài)運(yùn)動(dòng)目標(biāo)的圖像，其計(jì)算過(guò)程如下：

SOt（x, y）不僅能夠較好的降低環(huán)境變化對(duì)目標(biāo)檢測(cè)的影響，還能有效解決物體遮擋問(wèn)題。T被定義為像素被標(biāo)記為靜態(tài)運(yùn)動(dòng)目標(biāo)的最小幀數(shù)。采用近似 StayCount（x, y）的計(jì)數(shù)法，對(duì)SOt（x, y）的每個(gè)像素點(diǎn)進(jìn)行統(tǒng)計(jì)累加，當(dāng)其值大于T時(shí)，像素點(diǎn)被確定為靜態(tài)運(yùn)動(dòng)目標(biāo)，并且為了避免丟失目標(biāo)，其值的選取應(yīng)小于T1。圖1為靜態(tài)運(yùn)動(dòng)目標(biāo)檢測(cè)的實(shí)例，圖（a）為當(dāng)前背景，其更新率為 200幀；圖（b）是初始背景，其更新率為2000幀，且該圖中并不包含遺留的手提箱；圖（c）為當(dāng)前圖像；每個(gè)背景所對(duì)應(yīng)的前景圖像分別表示在圖（d）和圖（e）顯示；圖（f）顯示SOt（x, y）的計(jì)算結(jié)果，候選檢測(cè)目標(biāo)在前景中停留的時(shí)間越長(zhǎng)，該圖中的結(jié)果就越好。此外，圖（a）和圖（b）差異可以確定靜態(tài)運(yùn)動(dòng)目標(biāo)的位置。

圖1　靜態(tài)運(yùn)動(dòng)目標(biāo)檢測(cè)結(jié)果

3 滯留和偷竊物檢測(cè)

在檢測(cè)可疑事件是偷竊還是遺棄物體前，首先需要判別靜態(tài)運(yùn)動(dòng)目標(biāo)是否為“物體”，然后再進(jìn)行偷竊與遺棄物體的判別。眾所周知，Hu不變矩[5]是圖像的一種區(qū)域描述，也是圖像特征描述的常用方法。由于它具有旋轉(zhuǎn)、平移、尺度等特性的不變性，因此采用加權(quán)Hu不變距的方法來(lái)區(qū)分目標(biāo)是人還是物體。

本文利用圖像相似性對(duì)目標(biāo)進(jìn)行分類(lèi)。然后計(jì)算視頻流的每一幀圖像與標(biāo)準(zhǔn)庫(kù)圖像的歐氏距離，求出標(biāo)準(zhǔn)庫(kù)所有模板圖像中與該圖像的最小歐氏距離者（即最匹配圖像）用于判定。設(shè)m代表當(dāng)前視頻幀圖像，計(jì)算其與標(biāo)準(zhǔn)庫(kù)S中各模板s之間的歐氏距離，其計(jì)算公式如下：

由式（4）可求出最小距離 ，當(dāng)最小距離小于所設(shè)閾值，則認(rèn)為當(dāng)前幀圖像中的目標(biāo)為“行人”。否則當(dāng)人體行為庫(kù)中沒(méi)有與當(dāng)前圖像匹配的圖像，即判定幀圖像中的目標(biāo)為“物體”。

在顏色特征進(jìn)行匹配時(shí)，可以通過(guò)巴特查理亞（Bhattacharyya）距離來(lái)計(jì)算顏色直方圖相似性度量。計(jì)算SR、CR和OR所對(duì)應(yīng)的顏色直方圖、和，并且計(jì)算它們之間的巴氏系數(shù) （Bhattacharya coefficient）：

其中m是直方圖的分布級(jí)總數(shù)，uq、up 和是第u級(jí)所占直方圖的權(quán)重。由此可得到相應(yīng)的巴氏距離[6]：和。其中d為兩個(gè)顏色直方圖之間的距離，其值越小則兩個(gè)目標(biāo)的顏色直方圖越相似。令是判斷目標(biāo)為滯留和偷竊的閾值，如果區(qū)域SR和區(qū)域CR的顏色直方圖相似度大于區(qū)域SR和區(qū)域OR的顏色直方圖相似度即th<0，則說(shuō)明目標(biāo)物體為滯留物；反之，區(qū)域SR和區(qū)域CR的顏色直方圖差別較大，而區(qū)域SR和區(qū)域OR的顏色直方圖差別較小即th>0，則說(shuō)明目標(biāo)物體為偷竊物。

4 實(shí)驗(yàn)結(jié)果

為了檢驗(yàn)方法的有效性，實(shí)驗(yàn)分別在四個(gè)場(chǎng)景下進(jìn)行，并且還將本文提出的基于背景的判定方法與文獻(xiàn)[7]所提出的基于邊緣匹配判定方法進(jìn)行了比較，結(jié)果如表1所示：

表1　靜態(tài)運(yùn)動(dòng)目標(biāo)檢測(cè)結(jié)果

在所有實(shí)驗(yàn)中當(dāng)前背景的更新率T0為300幀，初始背景的更新率T1為3000幀，閾值T為400幀。首先采用的場(chǎng)景是地鐵站中遺留的手提箱。為了驗(yàn)證方法的有效性，全部圖像區(qū)域都被用來(lái)實(shí)施檢測(cè)。實(shí)驗(yàn)結(jié)果如圖2所示：

圖2　遺留手提箱檢測(cè)圖

另外還選取了實(shí)時(shí)視頻監(jiān)控系統(tǒng)中的場(chǎng)景，實(shí)驗(yàn)結(jié)果如圖3。圖中可見(jiàn)，在進(jìn)行檢測(cè)之前，先手動(dòng)設(shè)定了警戒區(qū)域，目的是盡量減小系統(tǒng)的運(yùn)算負(fù)擔(dān)提高檢測(cè)效果。同時(shí)為了滿足實(shí)際需要，當(dāng)觸發(fā)報(bào)警時(shí)系統(tǒng)會(huì)自動(dòng)進(jìn)行錄像記錄非法行為，并在報(bào)警解除后停止錄像。

圖3　物品滯留檢測(cè)

雖然在實(shí)驗(yàn)中本文提出的方法能高效，準(zhǔn)確的檢測(cè)出可疑事件的發(fā)生，依然存在一些問(wèn)題有待進(jìn)一步解決。例如：靜止不動(dòng)的行人有時(shí)會(huì)被檢測(cè)為滯留目標(biāo)。盡管在系統(tǒng)中加入了人和物體的識(shí)別功能，但受制于特征值的提取困難，效果并不理想。

5 總結(jié)與展望

本文提出了一種能在實(shí)時(shí)視頻監(jiān)控系統(tǒng)中有效檢測(cè)滯留和偷竊物的方法，它不使用任何跟蹤和運(yùn)動(dòng)信息，依靠背景剪除模型進(jìn)行靜態(tài)或者動(dòng)態(tài)目標(biāo)檢測(cè)，并利用相應(yīng)模型判定發(fā)生事件的類(lèi)型。測(cè)試結(jié)果展示出該方法在處理復(fù)雜背景環(huán)境下的優(yōu)勢(shì)，并證實(shí)了其在實(shí)際應(yīng)用中的有效性。

致謝

本文參考了ISTP論文格式要求，同時(shí)參考了本文作者出席的各種會(huì)議所提供的素材，由于文章篇幅，不一一列出，在此感謝所有與之相關(guān)的單位及個(gè)人。

[1] H.-H. Liao, J.-Y.Chang,and L.-G.Chen,A Localized Approach to Abandoned Luggage Detection with Foreground-Mask Sampling[C].IEEE International Conference on Advanced Video and Signal Based Surveillance, pp. 132-139, New Mexico,USA,Sept.2008.

[2] K. Smith,P.Quelhas,and D.Gatica-Perez,Detecting abandoned luggage items in a public space[C].in Proceedings of the9th IEEE International Workshop on Performance Evaluation inTracking and Surveillance (PETS ’06),pp.75–82,New York, NY, USA, June 2006.

[3] Medha Bhargava,Chia-Chih Chen, M. S. Ryoo and J. K. Aggarwal. Detection of object abandonment using temporal logic[J].Machine Vision and Applications,2009,20(5):271-281.

[4] Fatih Porikli, Yuri Ivanov,Tetsuji Haga. Robust Abandoned Object Detection Using Dual Foregrounds[J].Eurasip Journal on Advances in Signal Processing, vo. l 2008,2008, (30):1-10 .

[5] Hu MK.Visual pattern recognition by moment invariants[J]. Transactions on Information Theory,1962,8(1):179-187.

[6] T. Kailath. The Divergence and Bhattacharyya Distance Measures in Signal Selection[J].Transactions On Communications Technology,1967,15(1):52-60,1967.

[7] Spagnolo,P.;Caroppo, A.;Leo,M.;Martiriggiano,T.;D’Orazio,T;An Abandoned/Removed Objects Detection Algorithm and Its Evaluation on PETS Datasets[C]. in Proc. of IEEE AVSS, pp. 17-21, Nov. 2006.

Detection of object security in crowed environment

This paper aimed at automatic identifies events of abandoned and stolen objects detection in video surveillance system, a new method was proposed. The method mainly include following steps: the first processing phrase is object extraction, involving a background subtraction algorithm which dynamically updates background. Extracted objects are classified as static or dynamic objects. Last, a decision-making model is employed to calculate a confidence score for the classification about event, and an alarm will be automatically triggered if the score of corresponding action is higher than a pre-defined threshold. Also, the robustness and efficiency of the method was tested.

Video surveillance; background subtraction; object classification; decision-making model

TP391

A

1008-1151(2015)12-0003-03

2015-11-10

蘇錫杰（1966-），男，廣西容縣人，廣西福利彩票發(fā)行中心工程師，研究方向?yàn)橛?jì)算機(jī)應(yīng)用；鄒星星（1993-），女（侗族），湖南衡陽(yáng)人，廣西大學(xué)計(jì)算機(jī)與電子信息學(xué)院碩士研究生。