基于DM8168的遺留物體檢測算法設(shè)計(jì)

李新文+張璐

摘 要： 針對智能監(jiān)控中遺留物體檢測算法存在物體之間的遮擋和將靜止的人檢測為遺留物造成的虛警問題，為了達(dá)到實(shí)際應(yīng)用中低功耗、實(shí)時和系統(tǒng)穩(wěn)定性的要求，設(shè)計(jì)了一種基于達(dá)芬奇DM8168平臺的遺留物檢測方案。該方案使用雙重背景方法檢測出由運(yùn)動變成靜止的目標(biāo)，同時結(jié)合證據(jù)累加的方式解決了運(yùn)動目標(biāo)遮擋靜止目標(biāo)造成的虛警問題，并采用支持向量機(jī)分類器對靜止的目標(biāo)分為人和遺留物體，避免了將靜止的人檢測為遺留物的問題。實(shí)驗(yàn)結(jié)果驗(yàn)證了該算法可以達(dá)到預(yù)期的效果。

關(guān)鍵詞： DM8168； 遺留物體檢測； 雙背景； 支持向量機(jī)

中圖分類號： TN911.7?34 文獻(xiàn)標(biāo)識碼： A 文章編號： 1004?373X（2014）15?0113?04

Design of abandoned object detection algorithm based on DM8168

LI Xin?Wen1， ZHANG Lu2

（1. North China University of Technology， Beijing 100041， China； 2. Hebei University of Science Technology， Shijiazhuang 050018， China）

Abstract： To solve the problems of blocking and false alarm caused by regarding the still people as remnants during abandoned objects detection， and satisfy the requirements of low power consumption， real time and stability in practical application， an abandoned object detection scheme based on DM8168 was designed. In the approach， dual?background is used to detect the still objects coming from moving objects. It also solve the false alarm problem caused by the phenomenon that the moving objects block out the still objects in combination with evidence accumulating mode. Moreover， the SVM classifier is used to distinguish between people and abandoned objects to avoid the problem that the still people are regarded as abandoned objects. The experimental results show that the algorithm can achieve the desired effect.

Keywords： DM8168； abandoned object detection； dual background； SVM

0 引 言

近年來隨著國際沖突的不斷升級，針對飛機(jī)場，火車站，地鐵等人流量較多的交通樞紐的恐怖襲擊越來越多。這些恐怖襲擊多以異常物體如遺留物的形式出現(xiàn)，越來越多的監(jiān)控設(shè)備被用來維護(hù)安全，防止恐怖活動的發(fā)生。一些針對包裹行李等遺留物的檢測算法[1?5]開始出現(xiàn)，智能視頻監(jiān)控系統(tǒng)的需求也越來越強(qiáng)烈。

傳統(tǒng)的以PC機(jī)為平臺的視頻圖像處理算法，無法滿足惡劣天氣、無人值守環(huán)境下的實(shí)時系統(tǒng)要求。高速數(shù)字信號處理器[6?7]的出現(xiàn)立刻以其體積小、功耗低、運(yùn)行穩(wěn)定、便于擴(kuò)展等優(yōu)點(diǎn)被廣泛應(yīng)用。TI公司的DM8168芯片集成了ARM、DSP和視頻協(xié)處理器多核系統(tǒng)，保持低功耗性的同時提升了系統(tǒng)的實(shí)時運(yùn)算能力，滿足各類智能視頻處理算法的需求。因此以TI的DM8168嵌入式平臺，設(shè)計(jì)了一款具有遺留體檢測功能的嵌入式系統(tǒng)。該系統(tǒng)具有檢測速度快，誤檢漏檢率低，便于擴(kuò)展等優(yōu)點(diǎn)。

1 系統(tǒng)的框架

本系統(tǒng)主要由高清相機(jī)、遠(yuǎn)端控制平臺、達(dá)芬奇開發(fā)板，交換機(jī)、外部存儲設(shè)備等組成。系統(tǒng)的核心處理器選擇TMS320DM8168。TMS320DM8168為TI公司的高性能DMSoC，其中包含1個DSP，1個Cotex?A8，3個HDVICP。CPU具有強(qiáng)大的數(shù)據(jù)處理能力并包含大量的外設(shè)資源。HDVICP這個硬件可以加速對圖像、視頻的編碼和解碼。系統(tǒng)框架設(shè)計(jì)如圖1所示。其中：A8處理器作為主控制器，負(fù)責(zé)各個處理器的調(diào)度和處理外部設(shè)備；DSP處理器用來做視頻處理和視頻分析；Video M3可以用作H264，MPEG?4，MJPEG編碼/解碼；VPSS M3可以用來處理視頻捕獲、顯示、縮放等功能。

通過Socket獲取圖像數(shù)據(jù)后，A8通過用SysLink組件中的ListMP， Notify和共享寄存器模塊實(shí)現(xiàn)將圖像數(shù)據(jù)傳遞給M3Video處理器進(jìn)行解壓，解壓完成后M3內(nèi)部則通過帶有Notify（通信）機(jī)制的IPC，ListMP和FVID2_Frame來實(shí)現(xiàn)幀交換。將幀數(shù)據(jù)傳遞給M3VPSS復(fù)制成兩路數(shù)據(jù)：一路視頻直接給DSP進(jìn)行算法處理，處理后的結(jié)果返回給A8。另一路視頻經(jīng)過兩級縮放、壓縮等處理后存入外設(shè)如硬盤等。最后將視頻數(shù)據(jù)和對應(yīng)該幀數(shù)據(jù)的處理結(jié)果通過TCP發(fā)送到客戶端顯示。

圖1 系統(tǒng)的框架設(shè)計(jì)

2 系統(tǒng)的算法設(shè)計(jì)及實(shí)現(xiàn)

遺留物檢測可以分為背景更新和前景提前模塊，目標(biāo)檢測模塊和分類模塊三部分：

2.1 背景更新和前景提取

為了獲得較為理想的背景以檢測靜止的前景，本文采用像素級背景更新方法[8]，引入動態(tài)矩陣以決定某像素何時應(yīng)該被更新入背景[9]，其流程圖如圖2所示。

圖2 背景檢測算法流程

引入動態(tài)矩陣的目的是為了確定是否有新的靜止目標(biāo)進(jìn)入場景中，判斷方法如下：

（1）[It（x，y）]-[BCt（x，y）>T]（表示有物體出現(xiàn)）&&[It（x，y）]-[BOt（x，y）]（表示有物體出現(xiàn)）>T&&[Dt（x，y）]=0（表示該物體已處于穩(wěn)定），表示有新的靜止目標(biāo)出現(xiàn)。

（2）[It（x，y）]-[BCt（x，y）]>T（有）&& [It（x，y）]-[BOt（x，y）]

（3） 都小于T&&[Dt（x，y）]=0，表示為純凈的背景。

其中：[It（x，y）]表示當(dāng)前幀某像素處的值；[BCt（x，y）]表當(dāng)前背景；[BOt（x，y）]表示原始背景；[Dt（x，y）]代表動態(tài)矩陣在該像素處的值；[T]代表閾值。

此時當(dāng)前背景BC和原始背景BO雙背景的更新規(guī)則如下：

（1） 當(dāng)有新的靜止目標(biāo)出現(xiàn)時，更新當(dāng)前背景并將相應(yīng)的當(dāng)前背景存入原始背景，即：

[BOt（x，y）=BCt（x，y）] （1）

[BCt（x，y）=It（x，y）] （2）

（2） 舊目標(biāo)離開時，如原來有遮擋，遮擋物消失后，將保存在原始背景中的信息存入當(dāng)前背景，即：

[BCt（x，y）=BOt（x，y）] （3）

（3） 當(dāng)為純凈背景時，直接更新雙背景，即：

[BCt（x，y）=a*It（x，y）+（1-a）*BCt（x，y）] （4）

[BOt（x，y）=a*It（x，y）+（1-a）*BOt（x，y）] （5）

式中：[a]為學(xué)習(xí)速率。使用雙背景的原因是對于遺留物體，無論[a]如何選取該靜止的目標(biāo)都最終將會被更新入背景中，從而造成無法檢測的問題。使用雙背景，遺留物體進(jìn)入視場變?yōu)殪o止之后，它將被更新入當(dāng)前背景，但原始背景中保存了先前的背景信息，因此，當(dāng)前前景中不能檢測出遺留物體，而原始前景恰好相反，同時結(jié)合動態(tài)矩陣中的狀態(tài)信息便可檢測出這一靜止的前景，可以達(dá)到對遺留物體檢測的目的。

2.2 遺留物體的檢測

將新出現(xiàn)的靜止物體更新入差分圖像，二值化、形態(tài)學(xué)處理之后，對差分圖像進(jìn)行輪廓查找。找到后通過進(jìn)一步判斷以確定該輪廓是否為異常物體，判斷方法如圖3所示。

圖3 異常物體判斷方法

遺留物體進(jìn)入視場變?yōu)殪o止之后，它將被更新入當(dāng)前背景，但原始背景中保存了先前的背景信息，因此，當(dāng)前前景中不能檢測出遺留物體，而原始前景恰好相反，同時結(jié)合動態(tài)矩陣中的狀態(tài)信息便可檢測出這一靜止的前景，然而假如直接依賴于這一規(guī)律進(jìn)行決策，將檢測出過多虛假的靜止前景。在此，通過累加證據(jù)去除虛警并證實(shí)最終的遺留物體。其思想如圖4所示。

圖4 靜止物體檢測算法

在實(shí)際的監(jiān)控場景中，遮擋問題是難以避免的，而證據(jù)圖像為處理這類問題提供了有效的手段。當(dāng)遺留物體被其他運(yùn)動目標(biāo)遮擋時，按照該思想，證據(jù)圖像中對應(yīng)被遮擋的部分將逐步減少。隨著遮擋的結(jié)束，對應(yīng)遺留物體的那部分證據(jù)將不斷增加，直到該目標(biāo)再次被檢測出來。

2.3 目標(biāo)分類

實(shí)際檢測中，人進(jìn)入場景靜止一定時間后也會同包裹行李等物體一樣被判斷成遺留物，從而造成虛警。為了區(qū)分人和物，本文采用HOG特征+SVM分類器方法。

方向梯度直方圖（Histogram of Oriented Gradient， HOG）特征是一種在計(jì)算機(jī)視覺和圖像處理中用來進(jìn)行物體檢測的特征描述子。它通過計(jì)算和統(tǒng)計(jì)圖像局部區(qū)域的梯度方向直方圖來構(gòu)成特征。

支撐向量機(jī)（Support Vector Machine，SVM）[10]是根據(jù)統(tǒng)計(jì)學(xué)習(xí)理論中結(jié)構(gòu)風(fēng)險最小化原則提出的。利用支持向量機(jī)基于形狀特征的運(yùn)動目標(biāo)分類方法，通過對一組己知類別的樣本數(shù)據(jù)的學(xué)習(xí)（訓(xùn)練）來確定某個判決界限，使得按這種判決規(guī)則對待識別對象進(jìn)行分類所造成的錯誤識別率最小，該方法可以避免人為去指定判斷目標(biāo)需要的閾值。

分類算法流程如圖5所示。

3 實(shí)驗(yàn)結(jié)果

為了驗(yàn)證本算法的有效性，采用地鐵站內(nèi)大小為320×240的視頻對本系統(tǒng)進(jìn)行實(shí)驗(yàn)驗(yàn)證。系統(tǒng)運(yùn)行在DM8168平臺下，C674x DSP主頻為1 GHz，Cotex?A8主頻為1 GHz，HDVICP頻率為600 MHz。Linux內(nèi)核版本為2.6.37，根文件系統(tǒng)為ubi文件系統(tǒng)。實(shí)驗(yàn)的視頻中有行人將行李包遺留在站臺后離開的行為，也有行人遮擋行李的行為，站臺上也有等待列車的行人，也有經(jīng)過站臺的行人，遺留物檢測算法將遺留的行李檢測為遺留物，將靜止的行檢測為非遺留物，運(yùn)動的行人將行李遮擋時還能檢測到遺留的行李，行李被拉走后，取消遺留物檢測報警。具體的實(shí)驗(yàn)結(jié)果如圖6所示，其中黑白圖中白色表示檢測的靜止像素。

圖5 基于HOG特征的SVM分類器

圖6 遺留物檢測算法結(jié)果

圖6（a）表示有拉行李的行人出現(xiàn)。圖6（b）表示檢測到靜止的行人，靜止的行行李但主人還沒有離開，采用SVM分類器后沒有將靜止人檢測為遺留物，也沒有主人的行李檢測為遺留特。圖6（c）表示行李的主人離開了。圖6（d）表示行李主人離開后將行標(biāo)識為遺留物，靜止的行人沒有標(biāo)識為遺留物。圖6（e）和圖6（f）表示行李被運(yùn)動的行人遮擋的檢測情況。圖6（g）～（i）表示行李被拉走后取消警告標(biāo)記的情況。

從實(shí)驗(yàn)結(jié)果可以看出本算法可以較好地處理遮擋、靜止行人和靜止物體的區(qū)分問題，驗(yàn)證了本文算法的有效性。

4 結(jié) 論

本文針對傳統(tǒng)監(jiān)控系統(tǒng)的不足，將遺留物體檢測算法嵌入到DM8168平臺，設(shè)計(jì)了一種具有遺留物智能檢測功能的嵌入式系統(tǒng)。實(shí)驗(yàn)結(jié)果表明：采用雙背景算法可有效地區(qū)別靜止目標(biāo)和運(yùn)動目標(biāo)，采用基于HOG特征的SVM分類器可以有效地將靜止行人和靜止的物體分開，采用證據(jù)累加算法可以很好地處理運(yùn)動物體遮擋遺留物的問題，提高了遺留物檢測算法效用。利用DM8168的多核系統(tǒng)很好地平衡了系統(tǒng)的低功耗和高速實(shí)時處理性能之間的矛盾，滿足了實(shí)際應(yīng)用的需求。本系統(tǒng)運(yùn)算性能可以滿足實(shí)時應(yīng)用，且較好的處理了遮擋和虛警造成的影響，具有良好的穩(wěn)定性和穩(wěn)健性，可應(yīng)用于飛機(jī)場、地鐵站等交通樞紐。

參考文獻(xiàn)

[1] AUVINET E， GROSSMANN E， ROUGIER C， et al. Left?luggage detection using homographies and simple heuristics [C]// Proceedings of IEEE International Workshop on Performance Evaluation in Tracking and Surveillance. New York， USA： IEEE Press， 2006： 51?58.

[2] MIEZIANKO R， POKRAJAC D. Detecting and recognizing abandoned objects in crowded environments [J]. Computer Vision Systems （S0302?9743）， 2008， 5008： 241?250.

[3] LI X L， ZHANG C， ZHANG D. Abandoned objects detection using double illumination invariant foreground masks [C]// Proceedings of 20th International Conference on Pattern Recognition. Istanbul： ICPR， 2010： 436?439.

[4] KIM K， CHALIDABHONGSE T H， HARWOOD D， et al. Real?time foreground?background segmentation using codebook model [J]. Real?Time Imaging， 2005， 11（3）： 172?185.

[5] 方瑜，滕奇志，李科偉，等.復(fù)雜場景下遺留物體的檢測[J].計(jì)算機(jī)仿真，2011，28（1）：281?284.

[6] 劉德方，王戴木，鄧明，等.基于Davinci?DM6467的高斯混合模型算法的實(shí)現(xiàn)[J].阜陽師范學(xué)院學(xué)報：自然科學(xué)版，2012（2）：69?76.

[7] 趙攀，盧彬.基于FPGA+DM6467智能監(jiān)控系統(tǒng)設(shè)計(jì)[J].電視技術(shù)，2012（7）：137?139.

[8] YANG Tao， LI Stan?zi， PAN Quan， et al. Real?time and accurate segmentation of moving objects in dynamic scene [C]// Proceedings of ACM Multimedia?2nd International Workshop on Video Surveillance and Sensor Networks. New York， USA： ACM Press， 2004： 136?143.

[9] 吳明軍，彭先蓉.遺失目標(biāo)的實(shí)時檢測算法[J].光電工程，2009，36（7）：36?40.

[10] 程和生，胡幸福.基于HOG和SVM的人體檢測技術(shù)在靜態(tài)圖像中研究[J].儀器儀表用戶，2012，19（5）：20?23.

圖5 基于HOG特征的SVM分類器

圖6 遺留物檢測算法結(jié)果

圖6（a）表示有拉行李的行人出現(xiàn)。圖6（b）表示檢測到靜止的行人，靜止的行行李但主人還沒有離開，采用SVM分類器后沒有將靜止人檢測為遺留物，也沒有主人的行李檢測為遺留特。圖6（c）表示行李的主人離開了。圖6（d）表示行李主人離開后將行標(biāo)識為遺留物，靜止的行人沒有標(biāo)識為遺留物。圖6（e）和圖6（f）表示行李被運(yùn)動的行人遮擋的檢測情況。圖6（g）～（i）表示行李被拉走后取消警告標(biāo)記的情況。

從實(shí)驗(yàn)結(jié)果可以看出本算法可以較好地處理遮擋、靜止行人和靜止物體的區(qū)分問題，驗(yàn)證了本文算法的有效性。

4 結(jié) 論

本文針對傳統(tǒng)監(jiān)控系統(tǒng)的不足，將遺留物體檢測算法嵌入到DM8168平臺，設(shè)計(jì)了一種具有遺留物智能檢測功能的嵌入式系統(tǒng)。實(shí)驗(yàn)結(jié)果表明：采用雙背景算法可有效地區(qū)別靜止目標(biāo)和運(yùn)動目標(biāo)，采用基于HOG特征的SVM分類器可以有效地將靜止行人和靜止的物體分開，采用證據(jù)累加算法可以很好地處理運(yùn)動物體遮擋遺留物的問題，提高了遺留物檢測算法效用。利用DM8168的多核系統(tǒng)很好地平衡了系統(tǒng)的低功耗和高速實(shí)時處理性能之間的矛盾，滿足了實(shí)際應(yīng)用的需求。本系統(tǒng)運(yùn)算性能可以滿足實(shí)時應(yīng)用，且較好的處理了遮擋和虛警造成的影響，具有良好的穩(wěn)定性和穩(wěn)健性，可應(yīng)用于飛機(jī)場、地鐵站等交通樞紐。

參考文獻(xiàn)

[1] AUVINET E， GROSSMANN E， ROUGIER C， et al. Left?luggage detection using homographies and simple heuristics [C]// Proceedings of IEEE International Workshop on Performance Evaluation in Tracking and Surveillance. New York， USA： IEEE Press， 2006： 51?58.

[2] MIEZIANKO R， POKRAJAC D. Detecting and recognizing abandoned objects in crowded environments [J]. Computer Vision Systems （S0302?9743）， 2008， 5008： 241?250.

[3] LI X L， ZHANG C， ZHANG D. Abandoned objects detection using double illumination invariant foreground masks [C]// Proceedings of 20th International Conference on Pattern Recognition. Istanbul： ICPR， 2010： 436?439.

[4] KIM K， CHALIDABHONGSE T H， HARWOOD D， et al. Real?time foreground?background segmentation using codebook model [J]. Real?Time Imaging， 2005， 11（3）： 172?185.

[5] 方瑜，滕奇志，李科偉，等.復(fù)雜場景下遺留物體的檢測[J].計(jì)算機(jī)仿真，2011，28（1）：281?284.

[6] 劉德方，王戴木，鄧明，等.基于Davinci?DM6467的高斯混合模型算法的實(shí)現(xiàn)[J].阜陽師范學(xué)院學(xué)報：自然科學(xué)版，2012（2）：69?76.

[7] 趙攀，盧彬.基于FPGA+DM6467智能監(jiān)控系統(tǒng)設(shè)計(jì)[J].電視技術(shù)，2012（7）：137?139.

[8] YANG Tao， LI Stan?zi， PAN Quan， et al. Real?time and accurate segmentation of moving objects in dynamic scene [C]// Proceedings of ACM Multimedia?2nd International Workshop on Video Surveillance and Sensor Networks. New York， USA： ACM Press， 2004： 136?143.

[9] 吳明軍，彭先蓉.遺失目標(biāo)的實(shí)時檢測算法[J].光電工程，2009，36（7）：36?40.

[10] 程和生，胡幸福.基于HOG和SVM的人體檢測技術(shù)在靜態(tài)圖像中研究[J].儀器儀表用戶，2012，19（5）：20?23.

圖5 基于HOG特征的SVM分類器

圖6 遺留物檢測算法結(jié)果

圖6（a）表示有拉行李的行人出現(xiàn)。圖6（b）表示檢測到靜止的行人，靜止的行行李但主人還沒有離開，采用SVM分類器后沒有將靜止人檢測為遺留物，也沒有主人的行李檢測為遺留特。圖6（c）表示行李的主人離開了。圖6（d）表示行李主人離開后將行標(biāo)識為遺留物，靜止的行人沒有標(biāo)識為遺留物。圖6（e）和圖6（f）表示行李被運(yùn)動的行人遮擋的檢測情況。圖6（g）～（i）表示行李被拉走后取消警告標(biāo)記的情況。

從實(shí)驗(yàn)結(jié)果可以看出本算法可以較好地處理遮擋、靜止行人和靜止物體的區(qū)分問題，驗(yàn)證了本文算法的有效性。

4 結(jié) 論

本文針對傳統(tǒng)監(jiān)控系統(tǒng)的不足，將遺留物體檢測算法嵌入到DM8168平臺，設(shè)計(jì)了一種具有遺留物智能檢測功能的嵌入式系統(tǒng)。實(shí)驗(yàn)結(jié)果表明：采用雙背景算法可有效地區(qū)別靜止目標(biāo)和運(yùn)動目標(biāo)，采用基于HOG特征的SVM分類器可以有效地將靜止行人和靜止的物體分開，采用證據(jù)累加算法可以很好地處理運(yùn)動物體遮擋遺留物的問題，提高了遺留物檢測算法效用。利用DM8168的多核系統(tǒng)很好地平衡了系統(tǒng)的低功耗和高速實(shí)時處理性能之間的矛盾，滿足了實(shí)際應(yīng)用的需求。本系統(tǒng)運(yùn)算性能可以滿足實(shí)時應(yīng)用，且較好的處理了遮擋和虛警造成的影響，具有良好的穩(wěn)定性和穩(wěn)健性，可應(yīng)用于飛機(jī)場、地鐵站等交通樞紐。

參考文獻(xiàn)

[1] AUVINET E， GROSSMANN E， ROUGIER C， et al. Left?luggage detection using homographies and simple heuristics [C]// Proceedings of IEEE International Workshop on Performance Evaluation in Tracking and Surveillance. New York， USA： IEEE Press， 2006： 51?58.

[2] MIEZIANKO R， POKRAJAC D. Detecting and recognizing abandoned objects in crowded environments [J]. Computer Vision Systems （S0302?9743）， 2008， 5008： 241?250.

[3] LI X L， ZHANG C， ZHANG D. Abandoned objects detection using double illumination invariant foreground masks [C]// Proceedings of 20th International Conference on Pattern Recognition. Istanbul： ICPR， 2010： 436?439.

[4] KIM K， CHALIDABHONGSE T H， HARWOOD D， et al. Real?time foreground?background segmentation using codebook model [J]. Real?Time Imaging， 2005， 11（3）： 172?185.

[5] 方瑜，滕奇志，李科偉，等.復(fù)雜場景下遺留物體的檢測[J].計(jì)算機(jī)仿真，2011，28（1）：281?284.

[6] 劉德方，王戴木，鄧明，等.基于Davinci?DM6467的高斯混合模型算法的實(shí)現(xiàn)[J].阜陽師范學(xué)院學(xué)報：自然科學(xué)版，2012（2）：69?76.

[7] 趙攀，盧彬.基于FPGA+DM6467智能監(jiān)控系統(tǒng)設(shè)計(jì)[J].電視技術(shù)，2012（7）：137?139.

[8] YANG Tao， LI Stan?zi， PAN Quan， et al. Real?time and accurate segmentation of moving objects in dynamic scene [C]// Proceedings of ACM Multimedia?2nd International Workshop on Video Surveillance and Sensor Networks. New York， USA： ACM Press， 2004： 136?143.

[9] 吳明軍，彭先蓉.遺失目標(biāo)的實(shí)時檢測算法[J].光電工程，2009，36（7）：36?40.

[10] 程和生，胡幸福.基于HOG和SVM的人體檢測技術(shù)在靜態(tài)圖像中研究[J].儀器儀表用戶，2012，19（5）：20?23.