基于人頭目標(biāo)檢測的商場人流量自動統(tǒng)計

賈世杰,吳化斌,張源源

(大連交通大學(xué) 電氣信息學(xué)院，遼寧 大連 116028)

?

基于人頭目標(biāo)檢測的商場人流量自動統(tǒng)計

賈世杰,吳化斌,張源源

(大連交通大學(xué) 電氣信息學(xué)院，遼寧 大連 116028)

針對商場人流量自動統(tǒng)計中行人遮擋情況下計數(shù)的困難，提出基于人頭目標(biāo)檢測的商場人流量自動統(tǒng)計算法.首先提取Haar特征訓(xùn)練Adaboost人頭目標(biāo)分類器，再利用Camshift算法對目標(biāo)進行跟蹤，使用Kalman縮小跟蹤目標(biāo)的搜索范圍，最后利用人頭模板匹配方法，判斷目標(biāo)是否屬于同一行人.實驗結(jié)果表明，此方法平均正確率達到98.2%，且統(tǒng)計每個行人目標(biāo)只需19 ms.

商場人流量統(tǒng)計；人頭模板匹配，Adaboost；Camshift

0 引言

一個實時、準(zhǔn)確的人流量統(tǒng)計系統(tǒng)可以給商場的管理帶來巨大的便利[1].用人工的方法對監(jiān)控視頻中行人進行統(tǒng)計，費力費時費財.特別是在多人密集的情況下，更是困難重重.近年來利用模式識別，圖像處理技術(shù)解決行人流量自動統(tǒng)計問題已成為一個十分活躍的領(lǐng)域.文獻[2]對視頻人數(shù)識別近年來的發(fā)展作了比較詳細(xì)的論述,從基于特征點跟蹤、基于區(qū)域的跟蹤和基于模板匹配的跟蹤三個方面分析近些年人數(shù)識別進展情況；文嘉俊[1]提取目標(biāo)的Haar特征，采用Adaboost 算法獲得一個人頭檢測分類器，得到95%以上的正確率；文獻[3]建立了一種基于人體頭部特征的行人計數(shù)系統(tǒng)，系統(tǒng)采用輪廓、顏色信息建立用于目標(biāo)檢測的人頭模型，通過對目標(biāo)運動軌跡的分析實現(xiàn)行人計數(shù)，正確率達95%以上；Kulrapat[4]等利用建立的人體頭肩模型來檢測場景中存在的人頭目標(biāo)，并通過snake模型跟蹤目標(biāo)；Lu[5]等利用顏色密度和LBP建立了四維直方圖用以表示待測目標(biāo)的顏色信息和紋理信息，并將卡爾曼濾波和MeanShift 搜索算法結(jié)合應(yīng)用于目標(biāo)的跟蹤.基于模板匹配的方法對監(jiān)控場景的環(huán)境變化敏感，如光照的變化、復(fù)雜的背景往往會影響檢測的精度.本文采用基于統(tǒng)計分類的方法，首先需要通過對大量頭部樣本和非頭部樣本的離線訓(xùn)練獲得一個人頭目標(biāo)分類器，通過該分類器對場景中的目標(biāo)進行檢測，在此基礎(chǔ)上實現(xiàn)人流量自動統(tǒng)計.

1 本文方法

針對在行人遮擋，重疊密集情況下存在的誤

圖1 行人統(tǒng)計流程圖

檢和漏檢的問題，本文使用基于統(tǒng)計分類的方法，首先提取Haar特征訓(xùn)練Adaboost人頭目標(biāo)分類器，再利用Camshift算法對目標(biāo)進行跟蹤，使用Kalman算法縮小跟蹤目標(biāo)的搜索范圍；最后通過人頭模板匹配方法，判斷幀間目標(biāo)是否屬于同一行人.具體流程如圖1所示.

1.1 人頭目標(biāo)分類器

1.1.1 讀入樣本圖像

樣本圖像包括人頭和非人頭圖像，是將商場門口以45°俯視角拍攝的視頻圖像，通過截圖得到.

1.1.2 灰度化處理

利用公式gray=red*0.3+green*0.59+blue*0.11進行灰度化處理，并將樣本圖像歸一化成20*20的大小.

1.1.3 Haar特征提取

Haar特征[13]分為三類：邊緣特征、線性特征、中心特征和對角線特征，如圖2(a)，(b)，(c)所示.每個特征由2～3個矩形組成，分別檢測邊界、細(xì)線、中心特征.特征模板由白色和黑色兩種矩形組成，模板的特征值定義為白色矩形像素總數(shù)與黑色矩形像素總數(shù)之差，反映了圖像的灰度變化情況.

圖2 Haar特征

1.1.4 訓(xùn)練Adaboost人頭分類器

Adaboost是一種迭代的方法，它的核心思想是針對不同的訓(xùn)練集訓(xùn)練多個弱分類器，然后把這些在不同訓(xùn)練集上訓(xùn)練得到的弱分類器集合起來，構(gòu)成一個強分類器[14].本文基于樣本圖像Haar特征，使用Opencv自帶的Adaboost分類程序訓(xùn)練人頭分類器.

1.2 行人計數(shù)

1.2.1 讀入視頻

導(dǎo)入商場行人監(jiān)控的視頻，視頻拍攝的環(huán)境和角度都是和訓(xùn)練人頭目標(biāo)分類器一致的.

1.2.2 圖像預(yù)處理

對圖像目標(biāo)進行檢測之前，還需對目標(biāo)圖像進行適當(dāng)?shù)念A(yù)處理，可以減少計算量.本文對原始圖像進行以下兩步處理：

(1) 使用1.1.2描述的方法將彩色圖像轉(zhuǎn)化為灰度圖像，即圖像灰度化；

(2) 設(shè)置感興趣區(qū)域.本文把圖像中縱坐標(biāo)100～140之間的區(qū)域作為感興趣區(qū)域，以提高檢測速度.

1.2.3 檢測人頭目標(biāo)

使用人頭目標(biāo)分類器對圖像感興趣區(qū)域進行目標(biāo)檢測，再根據(jù)人頭目標(biāo)在二值圖中長度、所占據(jù)的像素數(shù)量將非人頭目標(biāo)排除.

1.2.4 行人目標(biāo)保存至鏈表

在目標(biāo)檢測、跟蹤之后，把目標(biāo)保存至動態(tài)鏈表中.鏈表儲存了目標(biāo)的坐標(biāo)，序列等信息，鏈表保存的目標(biāo)信息隨圖像序列的更新而更新.

1.2.5 人頭目標(biāo)跟蹤、人頭模板匹配及計數(shù)

本文采用Kalman+Camshift的算法實現(xiàn)人頭目標(biāo)的跟蹤.運用Kalman算法來預(yù)測目標(biāo)可能出現(xiàn)的區(qū)域，可減少搜尋范圍.Kalman濾波器是一種遞推估計器，采用的遞歸技術(shù)是其最有意義的特點之一，無需考慮多個過去的輸入信號，而且在每次遞歸運算時，只需要前一個輸入信號就可以，即認(rèn)為信號現(xiàn)在的狀態(tài)只依賴前一個，而不依賴以前所有信號的狀態(tài)[15].這樣就無需將過去的測量值都存起來，實時性較高.Camshift即“Continuously Apative Mean-Shift”算法，是一種運動跟蹤算法.它主要通過視頻圖像中運動物體的顏色信息達到跟蹤的目的，Camshift跟蹤目標(biāo)可以減少大量的搜尋時間，具有良好的實時性.由于運動物體在前后幀運動的空間不會很大，因此和Kalman結(jié)合使用，就可以進一步減少搜尋的區(qū)域，從而更快速，準(zhǔn)確的跟蹤運動物體.當(dāng)視頻序列逐幀變化時，Camshift算法逐幀進行處理，這樣就能達到連續(xù)對視頻序列中運動目標(biāo)進行跟蹤.

為區(qū)分目標(biāo)是否是同一個行人，本文采用人頭模板匹配的算法.通過連續(xù)兩幀間目標(biāo)的Hu不變矩特征和目標(biāo)質(zhì)心的歐氏距離相結(jié)合來判斷目標(biāo)是否匹配.判斷出目標(biāo)之后，根據(jù)目標(biāo)是否經(jīng)過感興趣區(qū)域中設(shè)置的計數(shù)線來計數(shù).

2 實驗結(jié)果及分析

為了驗證本文提出的方法，本文使用商場實時視頻進行了測試，分行人密集(視頻一)和行人不密集(視頻二)兩種情形，使用Vs 2008+Opencv 2.4.3進行實驗仿真.測試平臺采用CPU主頻2.5 GHz、4 G內(nèi)存的PC機，視頻每幀圖像分辨率為400*304，幀速為25 幀/秒.

采集2 000 張人頭正樣本和5 000 張人頭負(fù)樣本，圖3(a)、(b)為部分樣本示例.

(a) 部分正樣本

(b) 部分負(fù)樣本

圖4為圖像灰度化效果圖，圖5為感興趣區(qū)域設(shè)置，將第一根線和第三根線之間的區(qū)域設(shè)置為感興趣區(qū)域，中間是計數(shù)線.

圖4 圖像灰度化

圖5 感興趣區(qū)域設(shè)置

人頭目標(biāo)及非人頭目標(biāo)的示例圖像如圖6所示.

(a)人頭目標(biāo) (b)非人頭目標(biāo)

圖6 目標(biāo)檢測示例

通過分析人頭目標(biāo)特點，本文根據(jù)目標(biāo)在二值圖中長度、所占據(jù)的像素數(shù)量來剔除人頭目標(biāo)，人頭目標(biāo)判斷條件為：目標(biāo)的長度在5和32個像素之間，像素總數(shù)低于270，如式(1)、(2)所示：

剔除了非人頭目標(biāo)之后，人頭目標(biāo)檢測效果如圖7所示.

圖7 人頭檢測效果

圖8給出了本文方法和背景差法檢測效果圖對比，表1為兩種方法實驗結(jié)果對比.

(a) 行人密集情況(本文方法)

(b) 行人不密集情況(本文方法)

(c) 行人密集情況(背景差法)

表1 本文方法和背景差法實驗結(jié)果對比

視頻編號人工統(tǒng)計/人本文方法統(tǒng)計/人本文方法統(tǒng)計正確率/%背景差法統(tǒng)計/人背景差法統(tǒng)計正確率/%本文方法統(tǒng)計時間(人/ms)背景差法統(tǒng)計時間(人/ms)1(行人不密集)80801008010018302(行人密集)11211098．29685．71935

由表1所示，在行人密集的情況下，本文方法比背景差法的正確率高了12%；原因主要是在行人遮擋的情況下多個行人在二值圖中形成連通域，背景差法沒法將其準(zhǔn)確分離出來，但是本文方法利用人頭分類器完全避免了這個問題.

3 結(jié)論

針對行人遮擋情況下計數(shù)的困難，本文提出基于人頭目標(biāo)檢測的商場人流量自動統(tǒng)計算法.實驗結(jié)果表明，本文方法平均正確率達到98.2%，比文獻[1]提升了3%；且統(tǒng)計每個行人目標(biāo)只需19 ms，達到了實時性的要求.為進一步減少商場行人統(tǒng)計的漏檢和誤檢，以后將通過優(yōu)化人頭分類器以進一步提高檢測效果.

[1]文嘉俊,徐 勇,戰(zhàn)蔭偉.基于Adaboost和幀間特征的人數(shù)統(tǒng)計[J].中國圖象圖形學(xué)報,2011,16(9):1729-1735.

[2]趙明瀚,王晨升.基于視頻的人數(shù)識別方法綜述[J].軟件，2013,34(3):10-12.

[3]田煜衡,肖志濤,耿 磊,等.基于頭部特征的行人計數(shù)系統(tǒng)[J].天津工業(yè)大學(xué)學(xué)報,2013(3):66-71.

[4]KULRAPAT J,PAKORN K,SUPAKORN S.Object detection and modeling algorithm for automatic visual people counting system[C].Proceedings of 6th International Conference on Electrical Engineering/Electronices,Computer,Telecommunications and Information Technology，2009:1062-1065.

[5]LU H.Head detection and tracking by mean-shift and kalman filter[C]//Proceedings of 3rd International Conference on Innovative Computing Information and Control，2008:357.

[6]SALAKHUTDINOV R, TORRALBA A, TENENBAUM J. Learningto share visual appearance for multiclass object detection[C]. In CVPR, 2011.

[7]ZHENG L, WANG S. Visual phraselet: Refining spatialconstraints for large scale image search.Signal Processing Letters[J]. IEEE, 2013,20(4):391-394.

[8]ZHOU W, LU Y, LI H, et al. Scalar quantization for large scale image search[C]. In ACM MM, 2012.

[9]宋濤,馬宇峰,藺海峰.OpenCV在目標(biāo)跟蹤中的應(yīng)用及實現(xiàn)[J].計算機與網(wǎng)絡(luò),2009,24:38-41.

[10]覃劍.視頻序列中的運動目標(biāo)檢測與跟蹤研究[D].重慶: 重慶大學(xué),2008.

[11]LIN S F,CHEN J Y,CHAO H X.Estimation of number of people in crowed scences using perspective transformation[J].Systems,Man and Cybernetics,Part A:Systems and Humans,IEEE Transactions on,2001,31(6):645-654.

[12]XIAOWEI XU,ZHIYUAN WANG,YINGHONG LIANG,et al.A rapid method for passing people counting in monocular video sequences [C] //Proceedings of the Sixth International Conference on Machine Learning and Cybernetics,Hong Kong, 2007:19-22.

[13]文學(xué)志,方巍,鄭鈺輝.一種基于類Haar特征和改進AdaBoost分類器的車輛識別算法[J].電子學(xué)報,2011(5):1121-1126.

[14]PAUL V,MICHAEL JONES.Rapid object detection using a boosted cascade of simple features [C]//Proceedings of the IEEE Computer Vision and Pattern Recognition.Piscataway,NJ,USA:IEEE Press,2001:151-155.

[15]趙其杰,屠大維,高健,等.基于 Kalman 濾波的視覺預(yù)測目標(biāo)跟蹤及其應(yīng)用[J].光學(xué)精密工程,2008,16(5):937-942.

Automatic Mall Traffic Statistics Based on Head Target Detection

JIA Shijie,WU Huabin,ZHANG Yuanyuan

(School of Electronic and Information Engineering, Dalian Jiaotong University, Dalian 116028, China)

Mall traffic automatic statistics has great significance in security management, staff scheduling and commodity procurement. For the counting difficulty in the case of overlapping, automatic mall traffic statistical algorithms is put forward based on the human head target detection. Firstly, Haar features are extracted to train Adaboost head target classifier. Secondly, Camshift algorithm is employed to track the target, and Kalman algorithm is used to narrow the search scope. Finally, head template is used to match the pedestrian target. Experiment results show that the average accuracy of the proposed method is 98.2%, and the counting time of each pedestrian target is only 19 ms.

mall traffic statistics; head template matching; Adaboost; Camshift

1673-9590(2015)03-0082-05

2014-09-01

國家自然科學(xué)基金資助項目(61471080)；遼寧省教育廳高等學(xué)校科研計劃資助項目(L2014174)

賈世杰(1969-)，男，教授，博士，主要從事圖像處理與模式識別技術(shù)的研究E-mail:jsj@djtu.edu.cn.

A