基于區(qū)域光流法的人體異常行為檢測(cè)

何 鵬，安井然，楊 曼

(齊齊哈爾大學(xué) 通信與電子工程學(xué)院，黑龍江 齊齊哈爾 161006)

?

基于區(qū)域光流法的人體異常行為檢測(cè)

何 鵬，安井然，楊 曼

(齊齊哈爾大學(xué) 通信與電子工程學(xué)院，黑龍江 齊齊哈爾 161006)

為了提升智能視頻監(jiān)控系統(tǒng)在保障公共安全方面的能力，提出基于區(qū)域光流法對(duì)人體異常進(jìn)行檢測(cè)的方法。采用改進(jìn)的背景差分法來(lái)準(zhǔn)確提取前景目標(biāo)，然后對(duì)提取出的前景目標(biāo)進(jìn)行光流特征計(jì)算，有效濾除環(huán)境噪聲的影響。采用方向-幅值直方圖來(lái)描述行為，通過(guò)計(jì)算直方圖的速度判斷是否發(fā)生搶劫、追逐行為，計(jì)算直方圖的方向和幅值的熵以及速度的方差來(lái)判斷是否發(fā)生打斗行為。實(shí)驗(yàn)結(jié)果表明，該方法在不同視角下均能取得良好效果。

區(qū)域光流；異常行為；背景差分

近年來(lái)，由于暴恐事件頻繁發(fā)生，視頻監(jiān)控系統(tǒng)越來(lái)越受到人們重視。傳統(tǒng)的視頻監(jiān)控系統(tǒng)只能進(jìn)行簡(jiǎn)單的監(jiān)控，當(dāng)發(fā)生搶劫、打架、斗毆事件時(shí)，不具備提供報(bào)警的能力，需要監(jiān)控人員進(jìn)行24小時(shí)實(shí)時(shí)監(jiān)控，不僅浪費(fèi)了人力，同時(shí)也降低的監(jiān)控效率。目前出現(xiàn)智能監(jiān)控系統(tǒng)是將計(jì)算機(jī)視覺(jué)技術(shù)引用到傳統(tǒng)的視頻監(jiān)控系統(tǒng)中，自動(dòng)分析視頻場(chǎng)景的行為，并作出警示處理，而對(duì)人體異常行為檢測(cè)則是智能監(jiān)控系統(tǒng)中一項(xiàng)重要的研究?jī)?nèi)容[1-2]。人體異常行為通常具有動(dòng)作無(wú)周期性，持續(xù)時(shí)間較短，不可預(yù)判的特點(diǎn)，因此，對(duì)人體異常行為檢測(cè)的算法要求較高。在分析人體異常行為上，國(guó)內(nèi)外主要有兩種方法：1)基于跟蹤的方法[3-4]，通過(guò)分析人體運(yùn)動(dòng)軌跡來(lái)判斷是否發(fā)生異常行為，但在發(fā)生遮擋時(shí)會(huì)影響檢測(cè)準(zhǔn)確率。2)基于非跟蹤方法[5-6]：該方法主要根據(jù)提取出的人體特征或建立模型進(jìn)行異常行為判別。但存在容易受噪聲影響，特征不易提取缺點(diǎn)。

本文提出采用改進(jìn)背景差分法來(lái)提取運(yùn)動(dòng)前景目標(biāo)，然后運(yùn)用金字塔L-K光流法對(duì)提取到的前景目標(biāo)進(jìn)行特征分析，采用方向-幅值直方圖描述光流特征，計(jì)算直方圖速度最大值和運(yùn)動(dòng)物體方向和幅值的熵以及速度的方差來(lái)判斷行為的異常。最后測(cè)試了不同視角視頻序列，均能取得良好效果。

1 區(qū)域光流算法

1.1 前景目標(biāo)提取

區(qū)域光流算法是由改進(jìn)的背景差分法和金字塔L-K光流法結(jié)合組成的，背景差分法主要用于對(duì)前景目標(biāo)提取。背景差分法[7]是采用視頻序列中的當(dāng)前幀和背景幀進(jìn)行差分運(yùn)算來(lái)檢測(cè)運(yùn)動(dòng)物體，具有易于實(shí)現(xiàn)，能夠較好地提取出運(yùn)動(dòng)物體特征。定義如下：

(1)

式中：dk(i,j)表示差分結(jié)果圖像；fk(i,j)表示第k幀圖像；background為背景圖像。

acc(x,y)=(1-α)×acc(x,y)+α×f(x,y)

(2)

改進(jìn)的背景差分法能夠準(zhǔn)確提取運(yùn)動(dòng)物體特征，并提高了對(duì)噪聲的抗干擾能力，并能夠隨著場(chǎng)景的變化對(duì)背景模型進(jìn)行更新，具有較強(qiáng)的魯棒性，如圖1所示。

圖1 改進(jìn)背景差分法示意圖

1.2 光流信息計(jì)算

L-K算法[8-9]最早屬于稠密光流，是對(duì)圖像上的每個(gè)像素點(diǎn)做運(yùn)算，計(jì)算量非常大。后來(lái)算法改進(jìn)后計(jì)算的光流應(yīng)用在輸入圖像的一組點(diǎn)上，本文中算法設(shè)定窗口尺寸為5×5，光流速度的y分量為v，x分量為u，滿足約束條件：Ixu+Iyv+It=0，可得

(3)

式中：Ix，Iy為圖像空間梯度，It為圖像時(shí)間梯度，求解后得

(4)

當(dāng)式(4)左側(cè)的2×2矩陣滿秩時(shí)，這時(shí)有兩個(gè)較大的特征向量，在這種情況下，跟蹤窗口的中心在圖像的角點(diǎn)區(qū)域，這些角點(diǎn)為可用于跟蹤的特征點(diǎn)。

L-K光流算法只需要每個(gè)感興趣的點(diǎn)周圍的小窗口的局部信息，但較大的運(yùn)動(dòng)會(huì)移出這個(gè)小窗口，在實(shí)際應(yīng)用中跟蹤效果并不好。金字塔L-K光流算法可以很好地解決這個(gè)問(wèn)題，金字塔光L-K流算法的跟蹤過(guò)程是從最高層計(jì)算光流，得到的結(jié)果用一種對(duì)像素位移的初始化猜測(cè)傳遞給下一層，作為下一層金字塔的起始點(diǎn)，迭代這個(gè)過(guò)程直到金字塔的最底端，也就是原始圖像。這樣就能把不滿足運(yùn)動(dòng)假設(shè)的可能性降到最小，從而實(shí)現(xiàn)快速長(zhǎng)久有效地跟蹤。

與傳統(tǒng)的金字塔L-K光流算法不同，本文將視頻序列中連續(xù)兩幀圖像通過(guò)改進(jìn)的背景差分法計(jì)算求差值圖像，然后對(duì)圖像進(jìn)行二值化處理，得到的兩幅二值化圖像作為金字塔L-K光流法的輸入，運(yùn)用金字塔L-K光流法計(jì)算光流信息。這樣能夠避免環(huán)境噪聲的干擾，準(zhǔn)確檢測(cè)出運(yùn)動(dòng)物體。

為了驗(yàn)證算法的有效性和魯棒性，分別在不同視角下與傳統(tǒng)L-K金字塔光流算法的對(duì)比，如圖2所示。

圖2 傳統(tǒng)光流法與區(qū)域光流法比較

從圖2中可以看出，分別從3種視角下進(jìn)行算法對(duì)比驗(yàn)證，在檢測(cè)運(yùn)動(dòng)物體時(shí)傳統(tǒng)光流法均受噪聲干擾很明顯，而本文提出的區(qū)域光流法能夠排除環(huán)境噪聲干擾，準(zhǔn)確檢測(cè)出運(yùn)動(dòng)物體，并標(biāo)出運(yùn)動(dòng)物體的運(yùn)動(dòng)方向和幅值，具有很強(qiáng)的魯棒性。

2 異常行為分析

2.1 方向-幅值直方圖

本文提出的算法主要是用于檢測(cè)如搶劫，打架這類行為具有運(yùn)動(dòng)速度快，運(yùn)動(dòng)方向不一致特征的異常行為，傳統(tǒng)的方向直方圖是一種非參數(shù)估計(jì)的方法，雖然能夠表述運(yùn)動(dòng)物體光流特征，但是卻忽略光流信息中的方向上的幅值變化，因此在分析這類行為時(shí)，采用方向-幅值直方圖來(lái)描述運(yùn)動(dòng)物體的光流特征，加入了幅值方面的變化，能夠更準(zhǔn)確描述行為，進(jìn)而分析是否有異常行為發(fā)生。

(5)

θi=atan2(nyi-myi,nxi-mxi)

(6)

當(dāng)計(jì)算得到感興趣點(diǎn)之間的幅值和方向后，采用方向-幅值直方圖來(lái)描述人體運(yùn)動(dòng)的行為。橫坐標(biāo)設(shè)置12個(gè)方向區(qū)間，區(qū)間大小為30°，縱坐標(biāo)為各區(qū)間幅值的統(tǒng)計(jì)值，如圖3b所示。

圖3 人行走時(shí)分析示意圖

從圖3可以看出，當(dāng)人行走時(shí)，方向單一，只有在行走所對(duì)應(yīng)的方向區(qū)間會(huì)有幅值，其他區(qū)間幅值為零。方向-幅值直方圖反映了行人的光流特征，可以用來(lái)描述人的行為。下面通過(guò)方向-幅值直方圖來(lái)分別分析搶劫、追逐和打斗兩種異常行為。

2.2 搶劫、追逐類異常行為分析

隨著當(dāng)前利率化市場(chǎng)改革的不斷深入，很多商業(yè)銀行獲取低成本的負(fù)債難度在逐漸增加。很多銀行為了能夠獲得更多的存款，不斷地將存款制度進(jìn)行改革和創(chuàng)新，例如大額存單、高利率等，使用這些手段來(lái)增加客戶的數(shù)量，實(shí)現(xiàn)增加存款數(shù)量的目的，但是在滿足競(jìng)爭(zhēng)的同時(shí)也增加了吸納存款的成本。此外，還有一些相關(guān)的金融機(jī)構(gòu)推出信托、保險(xiǎn)等產(chǎn)品，為客戶增加了投資的渠道和方法。這些工作方案不僅讓銀行原有的存款結(jié)構(gòu)發(fā)生了巨大的變化，而且使得商業(yè)銀行的資金的流動(dòng)性日趨緊張起來(lái)，存款的平均年速呈現(xiàn)出大幅度下降的趨勢(shì)，最后銀行之間陷入存款爭(zhēng)奪的戰(zhàn)爭(zhēng)當(dāng)中。而且有關(guān)數(shù)據(jù)顯示，我國(guó)的四大銀行個(gè)人定期的存款占比下降。

圖4 搶劫行為分析示意圖

同樣的方法測(cè)試了3種視角下，兩人前后行走時(shí)最大速度值范圍，測(cè)得數(shù)據(jù)見(jiàn)表1。

表1 行走與搶劫幅值最大值范圍對(duì)比

從3種視角下觀測(cè)，與人行走相比，發(fā)生諸如搶劫的異常行為時(shí)，由方向-幅值直方圖顯示的速度最大值明顯高于人在行走時(shí)對(duì)應(yīng)的速度最大值，因此，當(dāng)前幀速度的最大值可作為判斷是否發(fā)生搶劫、追逐類異常行為的依據(jù)。

2.3 打斗類異常行為分析

打斗行為通常具有各方向幅值強(qiáng)度大，運(yùn)動(dòng)方向不一致的特征，為了能有效地準(zhǔn)確發(fā)現(xiàn)諸如打斗這種異常行為，提出采用熵和方差的概念去辨別。熵是描述體系的混亂程度，而方差是度量隨機(jī)變量與均值的偏離程度，所以當(dāng)出現(xiàn)打斗這種方向混亂的行為時(shí)，采用計(jì)算方向和幅值的熵以及速度的方差的方法來(lái)判斷。方向和幅值的熵越大，速度的方差越小，則表明運(yùn)動(dòng)越混亂，有多個(gè)主要運(yùn)動(dòng)趨勢(shì)，從而可以判斷去當(dāng)前幀的運(yùn)動(dòng)混亂，有異常行為發(fā)生。

計(jì)算方向和幅值的熵之前，首先算出各區(qū)間的方向和幅值的概率，計(jì)算表達(dá)式如下

(7)

(8)

式中：Sdirection為方向-幅值直方圖方向次數(shù)總和；Shypotenuse為方向-幅值直方圖幅值總和。方向和幅值熵為

(9)

(10)

(11)

方向熵，幅值熵和速度方差均為判斷打斗行為的重要因素之一，所以將三者整合為一個(gè)式子，表示為

(12)

W越大，則說(shuō)明當(dāng)前運(yùn)動(dòng)越混亂，發(fā)生異常行為的可能性大，分別對(duì)3種視角下的打斗視頻進(jìn)行測(cè)試，如圖5所示。

從上述3種視角計(jì)算分析，與正常行為相比，出現(xiàn)打斗行為時(shí)，由于運(yùn)動(dòng)方向混亂，在圖5b上表示為幅值和方向上的混亂，圖5c為3種視角下的檢測(cè)結(jié)果，當(dāng)出現(xiàn)打斗異常行為時(shí)，由于運(yùn)動(dòng)方向混亂，動(dòng)作激烈，W值會(huì)變大，W值能夠很好地反映光流特征變化，對(duì)于正常行走和打斗行為有較好的區(qū)分度，打斗行為設(shè)置閾值由于拍攝角度不同而不同，經(jīng)測(cè)試計(jì)算，設(shè)定閾值標(biāo)準(zhǔn)范圍在9±1。

圖5 打斗行為分析示意圖

3 算法驗(yàn)證

為了測(cè)試算法的魯棒性，實(shí)驗(yàn)采用中科院自動(dòng)化所的行為分析數(shù)據(jù)庫(kù)(CASIA)，該數(shù)據(jù)庫(kù)是從室外分布在3個(gè)視角下的攝像機(jī)拍攝而成，視頻分辨率為320×240，實(shí)驗(yàn)場(chǎng)景包含了光照變化，樹(shù)葉的抖動(dòng)等。本文算法主要驗(yàn)證多人交互行為：會(huì)合，搶劫，打斗等，測(cè)試行為分析數(shù)據(jù)庫(kù)中視頻序列共11 017幀，其中水平方向3 203幀，斜上方3 524幀，頂部拍攝4 290幀。測(cè)試之前人工對(duì)視頻中異常行為幀數(shù)進(jìn)行標(biāo)記，利用本文提出的算法分別對(duì)3個(gè)視角的正確率、誤報(bào)率進(jìn)行統(tǒng)計(jì)，異常行為檢測(cè)結(jié)果見(jiàn)表2。

表2 異常行為檢測(cè)結(jié)果

綜合對(duì)比，在準(zhǔn)確率和誤報(bào)率上，對(duì)3種拍攝角度的檢測(cè)結(jié)果都得到了較高的準(zhǔn)確率和較小的誤報(bào)率，與人為標(biāo)定的異常幀基本一致。

4 結(jié)論

本文針對(duì)搶劫、追逐和打斗異常行為，提出了改進(jìn)的背景差分法和金字塔L-K算法結(jié)合的區(qū)域光流法來(lái)提取運(yùn)動(dòng)區(qū)域，并采用速度最大值來(lái)判別搶劫、追逐行為。采用方向熵、幅值熵和速度的方差的方法來(lái)判斷打斗行為。分別對(duì)3種拍攝視角的視頻進(jìn)行算法驗(yàn)證，結(jié)果表明，該算法有一定的魯棒性，對(duì)正常行為和異常行為有較好的區(qū)分度，可以用于實(shí)際環(huán)境實(shí)時(shí)監(jiān)控。

[1]周宜波，何小海，張生軍，等.一種新的異常行為檢測(cè)算法[J].計(jì)算機(jī)工程與應(yīng)用，2012，48(3)：192-194.

[2]杜鑒豪，許力.基于區(qū)域光流特征的異常行為檢測(cè)[J].浙江大學(xué)學(xué)報(bào)：工學(xué)版，2011，45(7)：1161-1166.

[3]劉越，王銳，郭吉平，等.基于灰色關(guān)聯(lián)事件融合的入侵檢測(cè)模型[J].計(jì)算機(jī)工程與應(yīng)用，2013，49(12)：86-89.

[4]張起貴，張妮.基于地鐵復(fù)雜場(chǎng)景下異常行為的視頻分析研究[J].電視技術(shù)，2014，38(3)：163-166.

[5]林國(guó)余，柏云，張為公，等.基于耦合隱馬爾可夫模型的異常交互行為識(shí)別[J].東南大學(xué)學(xué)報(bào)：自然科學(xué)版，2013 (6)：1217-1221.

[6]FATHI A，MORI G.Action recognition by learning mid-level motion features[C] ∥Proc.IEEE Conference on Computer Vision and Pattern Recognition.Anchorage：IEEE Press，2008：1-8.

[7]孫濤，陳瑞平.視頻監(jiān)控系統(tǒng)中一種運(yùn)動(dòng)目標(biāo)的檢測(cè)方法[J].電視技術(shù)，2012，36(7)：127-129.

[8]劉恒建，任侃，顧國(guó)華，等.基于KLT特征點(diǎn)的LK光流金字塔FPGA實(shí)現(xiàn)[J].電視技術(shù)，2014，38(15)：92-97.

[9]聶小燕.基于分層光流場(chǎng)的運(yùn)動(dòng)車輛檢測(cè)與跟蹤[J].實(shí)驗(yàn)技術(shù)與管理，2012，29(11)：50-53.

何 鵬(1970— )，博士，教授，主研數(shù)字圖像處理、生物信息檢測(cè)；

安井然(1988— )，碩士研究生，主研生物信息檢測(cè)；

楊 曼(1988— )，女，碩士研究生，主研圖像處理與視頻監(jiān)控技術(shù)。

責(zé)任編輯：閆雯雯

Human Abnormal Behavior Detection Based on Regional Optical Flow

HE Peng, AN Jingran, YANG Man

(CollegeofCommunicationandElectronicEngineering,QiqiharUniversity,HeilongjiangQiqihar161006，China)

In order to enhance the capability of intelligent video surveillance system in the protection of public safety, the region of optical flow method used to detect the human abnormal behavior is put forward.Using the improved background difference method to accurately extract foreground objects, and calculate optical flow feature of foreground object , the method can filter environmental noise effectively.Using the direction-amplitude histogram to describe behavior, by calculating the speed of direction-amplitude histogram to determine whether occurred rob or chasing behavior, calculated entropy of direction and amplitude histogram and variance of speed to determined whether occurred fight behavior.Experimental results show that the method can achieve good effect in different visual angle.

regional flow; abnormal behavior; background difference

科技部科技恵民工程項(xiàng)目(2013GS230301)

TN911.73

A

10.16280/j.videoe.2015.07.023

2014-10-08

【本文獻(xiàn)信息】何鵬，安井然，楊曼.基于區(qū)域光流法的人體異常行為檢測(cè)[J].電視技術(shù),2015，39(7).