采用STLK算法的高密度人群行人計數

陳涵奇，陳浩，胡濤，吳召選，劉金鵬，尹偉石

（長春理工大學 理學院，長春 130022）

采用STLK算法的高密度人群行人計數

陳涵奇，陳浩，胡濤，吳召選，劉金鵬，尹偉石

（長春理工大學 理學院，長春 130022）

傳統(tǒng)的行人計數方法對人群密度較高的場景適應性較差，而高密度下的人群行人計數有其重要的社會意義和市場價值，行人計數的結果對社會治安問題能起到很好的預警效果。為了提高對高密度人流的計數精確度，首先采用了Shi-Tomasi角點檢測法來識別出視頻中的特征點，然后借由Lucas-Kanade光流法以目標區(qū)域的光流方向作為角點的運動方向，再通過多個特征點的運動狀態(tài)在短時間內相似的特性消除趨同的角點，從而獲得人數。最后通過Python平臺和opencv庫設計一個演示環(huán)境，實現對高密度人流的識別，算法的計數精確度達到89.77%，具有較好的識別效果.

行人計數；角點檢測；光流跟蹤；STLK算法

1 視頻人數統(tǒng)計背景

近年來，隨著大規(guī)模群眾性活動的不斷增加，使得公共場所的人流密度增大，導致公共場所踩踏事件發(fā)生的概率增加，對于視頻中高密度人群的計數已經成為一個熱點問題。

H Foroughi［1］等人基于回歸的行人計數的方法來處理擁擠的場景的能力，對于高密度人群數據，過高的時間復雜度和過長的訓練時間使得計數變得非常困難。K Seetharaman［2］基于卡爾曼濾波對攝像頭中的低密度行人進行跟蹤，但出現的人群不可過于密集。吳坤［3］等人驗證了Shi-Tomasi角點檢測能有效地抵抗包括裁剪、翻轉、旋轉等的幾何攻擊。王彬［4］等人采用Lucas-Kanade光流法能夠保證快速及大尺度運動時的系統(tǒng)魯棒性。劉榮［5］等人驗證了背景差分與光流法結合的可行性。閆鈞華［6］等人通過CAMShift算法準確地跟蹤了被遮擋目標。

采用了Shi-Tomasi角點檢測法來識別出視頻中的特征點，然后借由Lucas-Kanade光流法以目標區(qū)域的光流方向作為角點的運動方向，再通過多個特征點的運動狀態(tài)在短時間內相似的特性消除趨同的角點，實現對高密度人群的計數。

2STLK算法

采用Shi-Tomasi角點檢測法進行角點檢測，并基于Lucas-Kanade光流法對角點進行跟蹤，最后消除趨同的角點達到人數統(tǒng)計的目的，記該方法為STLK算法。

2.1 Shi-Tomasi角點檢測

Shi-Tomasi角點檢測［3］的算法如下：

首先將窗口向各個方向移動(u,v)，然后計算所有差異的總和。即計算圖像像素的灰度變化：

其中，I(x,y)與I(x+u,y+v)分別表示像素坐標(x,y)與(x+u,y+v)處的灰度值。

為了找到使E值盡量大的點，對式（1）右邊進行泰勒展開得的：

其中，Ix和Iy表示圖像在x和y方向的導數。再進行進一步整理后得：

設窗口函數M為：

其中，w(x,y)表示的是高斯窗口中的權重。

將窗口函數M考慮進去后得：

其中，M可以是正常的矩形窗口也可以是對每一個像素給予不同權重的高斯窗口。

最后，打分公式為：

其中，λ1和λ2是矩陣M的特征值。

如果打分超過給定的某個閾值，就認為它是一個角點。所以角點檢測的結果是一個由角點分數構成的灰度圖像。選取適當的閾值對結果圖像進行二值化就可以測到圖像中的角點。

2.2 光流法

（1）光流約束方程

設I(x,y,t)是t時刻圖像上某點在該時刻的亮度值，該點的光流在x,y方向上的分量設為m(x,y)，n(x,y)，在t+dt時刻移動到 (x+mdt,y+ndt)。

令x,y,t連續(xù)可導，將上式等號左邊按照泰勒級數展開，化簡得：

即為光流約束條件方程［5］。

（2）光流計算

若某一個區(qū)域的像素點運動是一致的，就可以建立一個區(qū)域像素的系統(tǒng)方程來求解中心像素的運動，由光流約束條件方程可得：

假設在(m,n)的一個小的局部鄰域內，高度是恒定的，那么：

即Am→=b，由最小二乘法可得，當ATA可逆時，方程的解如下：

2.3STLK算法

高密度人流的運動情況具有復雜性、無規(guī)則性，用傳統(tǒng)的背景差分來發(fā)現運動對象，再用CAMShift來跟蹤人群難以達到精確的結果。考慮到Shi-To?masi角點檢測法能有效識別出圖片中的各種物體的特征點，且高密度人流視頻中的每幀圖片中的物體大部分都為人體，故如圖1（a）所示采用Shi-Tomasi角點檢測法來識別視頻中的人流，然后如圖1（b）所示借由Lucas-Kanade光流法來跟蹤這些特征點，從而獲得每個特征點在每一時刻的運動位置和它們接下來的運動方向，最終達到識別密集人群視頻中人的運動軌跡的目的。

由于人群的稠密性，單個人身上的多個特征點的運動狀態(tài)在短時間內相似，那么可以假設同一個人身上的特征點的運動向量之間的余弦值近似于1，而不同人身上的特征點的運動向量之間的余弦值與1相差較大。設在第一幀中檢測到特征點a1,a2,…,an，個體P上有特征點a1和a2，個體Q上有特征點a3，在第二幀中用光流法跟蹤這些角點得到它們新的坐標…,，相減得到光流向量=，從而有：

由于光流法的局限性，視頻中的一些特征點因為遮擋、幀間亮度變化過大等原因丟失后，光流法還會返回一個預期接近的點，從而影響計數的精確性，故需對這些點做反向檢測，即用LK光流法反向跟蹤得到在第一幀中的坐標，若的值小于一定誤差，這些點才可做為計數的參考?？紤]到密集人流中的人群的進出情況，每隔一定的幀數就要對角點重新進行一次檢測。由此可以去除同一個人身上的多余角點，從而如圖2所示，實現對高密度人群在視頻中人的計數操作。

圖2 視頻計數

STLK算法步驟如下：

第一步：設置計數器count=0，people為人群集合，最初為空集；

第二步：檢測得出幀i中的角點集合K；

第三步：在第i+1幀中用光流法跟蹤K，得到K′；

第四步：在第i幀中用光流法反向跟蹤K′，得到K″；

第五步：對于K′中的每一個角點若＞ε，則從中移去

第六步：循環(huán)操作：對于K′中的每一個角點，若與people中的每個角點都不符合公式（12），則count+=1，并把儲存于people中；

第七步：最后得出第i+1幀中的人數count。

3 數值實驗

對拍攝所得的視頻，運用STLK算法得到其中隨機幾幀中的人數，再與實際人數比較，得到如表1所示數據。

其中幀數為i，總幀數為n，實際人數為xi，檢測結果為，則相對誤差Δ為

利用角點檢測法計算出角點數，通過光流法跟蹤得到行人數后，STLK法的誤差為10.23%；可以看出，STLK法具有較好的計數精確度，計數效果良好。

表1 STLK算法檢測效果

4 結論

采用Shi-Tomasi角點檢測法與Lucas-Kanade光流法對高密度人群進行行人計數，在很大程度上改進了高密度人群行人計數的計數效果，但在具體應用中仍然存在許多不足。例如在識別行人的過程中，很難兼顧算法的自適應性、實時性、圖像的細節(jié)信息等。高密度的行人計數算法在未來的研究與發(fā)展中，不僅要考慮到人群的嚴重遮擋問題，還要注重算法的自適應性和實時性，以使得算法能得到廣泛的應用。

［1］ Foroughi H，Ray N，Zhang H.Robust people counting using sparse repregcisentation and random projection［J］. Pattern Recognition，2015，48（10）：3038-3052.

［2］ Seetharaman K.An efficient real time people counting system based on identification and tracking using surveil?lance camera［J］.International Journal of Advanced Re?search in Computer Science Engineering and Informa?tion Technology，2016，4（3）：495-501.

［3］ 吳坤，王小華，姚金良.Shi-Tomasi角點區(qū)域的拷貝圖像檢測［J］.中國計量學院學報，2014，25（3）：263-267.

［4］ 王彬，翁政魁，王坤，等.基于Lucas-Kanada光流法的人眼特征點實時跟蹤方法［J］.計算機工程，2015，41（7）：244-249.

［5］ 劉榮，金國偉.基于背景差分和光流法的運動目標檢測與跟蹤［J］.現代制造技術與裝備，2015（2）：8-11.

［6］ 閆鈞華，陳少華，艾淑芳，等.基于Kalman預測器的改進的CAMShift目標跟蹤［J］.中國慣性技術學報，2014，22（4）：536-542.

［7］ 廉綠松，蔣漢元，曹穎.卡爾曼濾波方法在經緯儀圖像數字傳感系統(tǒng)中的應用［J］.長春理工大學學報：自然科學版，2013，36（5）：120-122+126.

［8］ 谷欣超，劉俊杰，才華，等.基于Kalman濾波器的運動目標跟蹤算法［J］.長春理工大學學報：自然科學版，2015，38（5）：136-139.

Counting Pedestrians in High-density Crowd Seens Using STLK Algorithm

CHEN Hanqi，CHEN Hao，HU Tao，WU Zhaoxuan，LIU Jinpeng，YIN Weishi
（School of Science，Changchun University Of Science and Technology，Changchun 130022）

The traditional pedestrian counting method is less adaptable to the crowd with high density，but the pedestrian count?ing at high density has its important social significance and market value.The result of pedestrian count can play a good warning to the social security problem.In order to improve the accuracy of counting the high density of people，the Shi-Tomasi corner detec?tion method is used to identify the feature points in the video.By using Lucas-Kanade optical flow method，the direction of the light flow in the target area is defined as the direction of motion of the corner.Then the convergent corners is eliminated by the simi?larity of the motion states of several feature points in a short time to get the number of people.Finally，through the Python plat?form and the opencv library to design a demo environment and achieve the identification of high density flow.The counting accura?cy of the algorithm is up to 89.77%.It has a good recognition effect.

people counting；corner detection；optical flow tracking；STLK algorithm

TP391.41

A

1672-9870（2017）03-0122-03

2017-03-21

國家自然科學基金（51378076，51278221）；大學生創(chuàng)新創(chuàng)業(yè)計劃（2016S001）

陳涵奇（1996-），男，本科，E-mail：chen429561213@foxmail.com

尹偉石（1980-），男，博士，講師，E-mail：yinweishi@foxmail.com