一種基于歸一化分割方法的集體行為識(shí)別算法研究

一種基于歸一化分割方法的集體行為識(shí)別算法研究

靳炳輝， 吳云鵬， 葉陽東

(鄭州大學(xué) 信息工程學(xué)院, 鄭州 450052)

摘要：提出了一種基于歸一化分割方法的集體行為識(shí)別算法，該算法通過運(yùn)動(dòng)個(gè)體的復(fù)雜特征定義個(gè)體間的相似性度量，得到集體行為聚類。實(shí)驗(yàn)結(jié)果表明，在多種視頻場(chǎng)景中，該算法均能有效地識(shí)別集體行為模式;以真實(shí)聚類個(gè)數(shù)的差異作為評(píng)價(jià)指標(biāo)，本方法具有更高的準(zhǔn)確性。

關(guān)鍵詞：集體行為；相似性度量；歸一化分割方法

收稿日期：2015-05-05

基金項(xiàng)目：國(guó)家自然科學(xué)基金項(xiàng)目(61202207)

作者簡(jiǎn)介：靳炳輝(1988- )，男，河南三門峽人，碩士生，主要研究方向?yàn)槿斯ぶ悄堋?/p>

文章編號(hào)：1671-6906(2015)04-0047-03

中圖分類號(hào)：TH124

文獻(xiàn)標(biāo)志碼：A

DOI:10.3969/j.issn.1671-6906.2015.04.012

Abstract:In this paper, a collective motion recognition algorithm based on Normalized Cut is proposed to identify the collective behavior, research the collective behavior clustering through defining the similarity measure between the complex characteristics in individuals. The experimental results show that, the algorithm can identify the collective behavior patterns effectively in a variety of video scene, and comparing with existed methods shows that this method has higher accuracy with true clustering number difference as evaluation index.

集體行為是指在運(yùn)動(dòng)場(chǎng)景中具有相似或一致性行為模式的運(yùn)動(dòng)個(gè)體集合。隨著社會(huì)人口密集程度的提升，集體行為在日?；顒?dòng)中發(fā)生的頻率進(jìn)一步增加。近年來，集體行為的識(shí)別一直是研究的熱點(diǎn)問題，它可以應(yīng)用到異常檢測(cè)[1-2]、行為識(shí)別[3]、個(gè)體計(jì)數(shù)[4]和人群追蹤[5]等新領(lǐng)域中。

在對(duì)集體行為識(shí)別的研究中，很多學(xué)者對(duì)現(xiàn)實(shí)生活中存在的集體行為進(jìn)行了有效的分析與討論。為了探究運(yùn)動(dòng)場(chǎng)景中集體行為模式的識(shí)別方法，Zhou B等提出了一種基于K近鄰的方法檢測(cè)集體行為模式，通過跟蹤場(chǎng)景內(nèi)個(gè)體的運(yùn)動(dòng)軌跡識(shí)別集體行為[6-7]。然而，現(xiàn)如今集體行為的種類越來越多，運(yùn)動(dòng)場(chǎng)景和個(gè)體之間的交互關(guān)系也越來越復(fù)雜。如何有效地捕捉運(yùn)動(dòng)數(shù)據(jù)與行為特征，準(zhǔn)確地對(duì)個(gè)體進(jìn)行相似性度量，是集體行為識(shí)別研究所面臨的關(guān)鍵問題。

針對(duì)上述問題，本文提出了一種基于歸一化分割方法的集體行為識(shí)別算法。該算法通過運(yùn)動(dòng)個(gè)體的復(fù)雜特征定義個(gè)體間的相似性度量，基于歸一化分割方法對(duì)運(yùn)動(dòng)場(chǎng)景內(nèi)的個(gè)體進(jìn)行聚類分析。對(duì)得到的集體行為聚類再基于全局進(jìn)行優(yōu)化，促使子類之間相似性最小，子類內(nèi)部相似性最大。

1歸一化分割

歸一化分割方法是由Shi J等提出的一種聚類分析方法，用聚類的方法從全局角度提取圖像的特征，在聚類劃分過程中，以保持不同子類間的相似性最小，同一子類內(nèi)的相似性最大為目標(biāo)[8-9]。

歸一化分割方法的基本思想是：在二維空間中，將空間無向圖G=(P,E)劃分為n個(gè)不相交的子類C1，C2，…，Cn，滿足每個(gè)子類Ci內(nèi)的相似程度較高，不同子類Ci與Cj之間的相似程度較低。

假定將圖G(P,E)中節(jié)點(diǎn)集合P劃分為兩個(gè)非連接性點(diǎn)集S與T(S∪T=P，S∩T=?)，那么這兩個(gè)點(diǎn)集之間的不相似程度可以定義為：若存在連接兩個(gè)集合的邊，而后在劃分過程中被刪掉，則所有被刪掉的邊的權(quán)值總和在圖論中被稱為割。描述如下：

(1)

其中，ω(i,j)代表頂點(diǎn)i與頂點(diǎn)j之間連接的邊的權(quán)值，表示頂點(diǎn)之間的相似程度。

針對(duì)圖的最小割并非最優(yōu)割的缺點(diǎn)，Shi J等提出了一種不同類之間的不相似性度量，用來描述兩個(gè)子類之間的分離度，這就是歸一化分割，用公式表示為：

(2)

2基于歸一化分割方法的集體行為識(shí)別算法

本文提出一種基于歸一化分割方法的集體行為識(shí)別算法，該算法針對(duì)運(yùn)動(dòng)場(chǎng)景的某個(gè)局部空間內(nèi)一部分所處位置相對(duì)靠近，運(yùn)動(dòng)方向相對(duì)一致的個(gè)體，進(jìn)行聚類分析并得到集體行為聚類，并且每個(gè)集體行為簇具有區(qū)別于其他簇的運(yùn)動(dòng)特征。

在二維空間R2中，對(duì)于跟蹤點(diǎn)Vi與Vj，根據(jù)運(yùn)動(dòng)個(gè)體的復(fù)雜特征定義個(gè)體間的相似性度量，可表示為：

sim(Vi,Vj)=

(3)

由式(3)可知，當(dāng)兩點(diǎn)朝向信息的約束小于設(shè)定的閾值時(shí)，個(gè)體間的相似性度量選取兩點(diǎn)間的歐氏距離進(jìn)行計(jì)算；當(dāng)兩點(diǎn)朝向信息的約束大于或等于設(shè)定的閾值時(shí)，個(gè)體間的相似性度量將會(huì)被設(shè)置為無窮大，即兩點(diǎn)間的相似性極小，體現(xiàn)出極低的集體行為模式。

本文提出的算法描述見表1。

3實(shí)驗(yàn)

3.1實(shí)驗(yàn)設(shè)計(jì)與結(jié)果

本實(shí)驗(yàn)在數(shù)據(jù)集Collective Motion Database[7]中進(jìn)行。數(shù)據(jù)集中包含413組視頻片段，每組視頻包含100幀圖像，其中包括廣場(chǎng)、街道、車流、體育運(yùn)動(dòng)等多種運(yùn)動(dòng)場(chǎng)景，展現(xiàn)了多種運(yùn)動(dòng)模式。

在數(shù)據(jù)準(zhǔn)備階段，首先對(duì)場(chǎng)景中的運(yùn)動(dòng)個(gè)體進(jìn)行掃描跟蹤，使用gKLT目標(biāo)跟蹤方法[7]得到運(yùn)動(dòng)個(gè)體在當(dāng)前幀與下一幀所處的坐標(biāo)與角度信息，從而得到此時(shí)運(yùn)動(dòng)個(gè)體在場(chǎng)景中的位置信息和朝向信息。本文所提出的基于歸一化分割方法的集體行為識(shí)別算法在數(shù)據(jù)集Collective Motion Database上的實(shí)驗(yàn)結(jié)果如圖1所示。其中(a)表示在正常通行的生活街道中，行人與車輛按照既定的軌跡運(yùn)動(dòng)，表現(xiàn)出高度明顯的集體行為模式；(b)表示在十字路口的人行橫道上的兩列相向而行，方向相同的行人具有較為一致的集體行為模式；(c)表示街道上的車流在相向車道上按照既定軌跡行駛，每一幀圖像中的運(yùn)動(dòng)個(gè)體的運(yùn)動(dòng)模式都較為相似，整體表現(xiàn)出較強(qiáng)的集體行為特征；(d)表示廣場(chǎng)中的行人在視頻內(nèi)運(yùn)動(dòng)位置較為分散，運(yùn)動(dòng)方向雜亂無章，沒有明顯的集體行為模式出現(xiàn)。

表1　基于歸一化分割方法的集體行為識(shí)別算法

3.2實(shí)驗(yàn)方法對(duì)比分析

為了驗(yàn)證本文所提方法在識(shí)別集體行為模式中的有效性，以文獻(xiàn)[6]中所述算法作為對(duì)比算法。文獻(xiàn)[6]采用K近鄰的方法計(jì)算每個(gè)個(gè)體與周圍近鄰個(gè)體的權(quán)值，得到每個(gè)個(gè)體對(duì)周圍個(gè)體的影響程度，識(shí)別出場(chǎng)景中的集體行為模式。

本文以真實(shí)聚類個(gè)數(shù)的差異作為評(píng)價(jià)指標(biāo),采用實(shí)驗(yàn)所得聚類個(gè)數(shù)與真實(shí)聚類個(gè)數(shù)的平均差(Average Difference，本文簡(jiǎn)稱AD)和方差(Variance，本文簡(jiǎn)稱VAR)作為量化評(píng)估標(biāo)準(zhǔn)。其定義如下：

(4)

(5)

圖1　基于歸一化分割方法的集體行為識(shí)別算法實(shí)驗(yàn)結(jié)果

其中:i表示第i幀圖像；Num(i)表示在數(shù)據(jù)集運(yùn)動(dòng)場(chǎng)景中實(shí)驗(yàn)所得的聚類個(gè)數(shù)；Numgt(i)表示數(shù)據(jù)集的運(yùn)動(dòng)場(chǎng)景中真實(shí)的聚類個(gè)數(shù)。本文從413組場(chǎng)景中(每個(gè)場(chǎng)景100幀)中選取了2 000幀圖像進(jìn)行對(duì)比實(shí)驗(yàn)，其中真實(shí)聚類個(gè)數(shù)由人工標(biāo)注而得。由式(4)、式(5)可知，AD數(shù)值越低，實(shí)驗(yàn)所得的聚類個(gè)數(shù)就越接近真實(shí)聚類個(gè)數(shù)；VAR數(shù)值越低，實(shí)驗(yàn)所得聚類個(gè)數(shù)的穩(wěn)定性越好。實(shí)驗(yàn)對(duì)比評(píng)估指標(biāo)見表2。

表2　實(shí)驗(yàn)方法對(duì)比評(píng)估

由表2可知，本文所提方法能更準(zhǔn)確地識(shí)別場(chǎng)景中運(yùn)動(dòng)個(gè)體的集體行為模式，且穩(wěn)定性較好。

4結(jié)語

本文提出了一種基于歸一化分割方法的集體行為識(shí)別算法，可在多種復(fù)雜場(chǎng)景或不規(guī)則運(yùn)動(dòng)中有效地識(shí)別集體行為模式。在多種場(chǎng)景下，該算法的準(zhǔn)確性和穩(wěn)定性都比現(xiàn)有研究方法有所提升。

參考文獻(xiàn):

[1]Mehran R, Oyama A, Shah M. Abnormal Crowd Behavior Detection Using Social Force Model[C]//Conference on Computer Vision and Pattern Recognition. USA: IEEE, 2009：935-942.

[2]Mahadevan V, Li W, Bhalodia V, et al. Anomaly Detection in Crowded Scenes[C]//Conference on Computer Vision and Pattern Recognition. USA: IEEE, 2010：1975-1981.

[3]Choi W, Savarese S. Understanding Collective Activities of People from Videos[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2014, 36(6): 242-1257.

[4]Rabaud V, Belongie S. Counting Crowded Moving Objects[C]//Computer Society Conference on Computer Vision and Pattern Recognition. USA: IEEE, 2006: 705-711.

[5]Kratz L, Nishino K. Tracking Pedestrians Using Local Spatio-temporal Motion Patterns in Extremely Crowded Scenes[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 34(5): 987-1002.

[6]Zhou B, Tang X, Wang X. Coherent Filtering: Detecting Coherent Motions from Crowd Clutters[C]// European Conference on Computer Vision. Italy: Springer Berlin Heidelberg, 2012：857-871.

[7]Zhou B, Tang X, Zhang H, et al. Measuring Crowd Collectiveness[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2014, 36(8): 1586-1599.

[8]ShiJ,MalikJ.MotionSegmentationandTrackingUsingNormalizedCuts[C]//SixthInternationalConferenceonComputerVision.India:IEEE, 1998：1154-1160.

[9]ShiJ,MalikJ.NormalizedCutsandImageSegmentation[J].IEEETransactionsonPatternAnalysisandMachineIntelligence, 2000, 22(8): 888-905.

(責(zé)任編輯：姜海芹)

ResearchonACollectiveMotionRecognitionAlgorithm

BasedonNormalizedCut

JINBing-hui,WUYun-peng,YEYang-dong

(ZhengzhouUniversity,Zhengzhou450052,China)

Keywords:collectivemotion;similaritymeasure;normalizedcut