視頻監(jiān)控環(huán)境下行人異常識(shí)別方法研究

摘 要：針對(duì)智能監(jiān)控中行人異常行為檢測(cè)難的問(wèn)題，研究反映行人的局部、全局特征的特征信息和探討異常行為檢測(cè)的方法。首先，通過(guò)設(shè)計(jì)和利用輪廓特征、局部檢測(cè)頻率、運(yùn)動(dòng)速度特征量與輪廓變化曲線模型，獲得行為檢測(cè)的特征模型，進(jìn)而借助特征信息融合和利用模板庫(kù)獲得異常行為檢測(cè)算法。比較性的實(shí)驗(yàn)結(jié)果顯示，該算法能有效識(shí)別行人的異常行為。

關(guān)鍵詞：行人；行為檢測(cè)；特征提??；異常識(shí)別；智能監(jiān)控

中圖分類號(hào)：TP391.413

文獻(xiàn)標(biāo)識(shí)碼： A

隨著公共安全保障措施力度的加大，智能監(jiān)控將成為監(jiān)測(cè)區(qū)域安全狀況的重要手段，也將成為計(jì)算機(jī)視覺(jué)領(lǐng)域的研究熱點(diǎn)。行人異常識(shí)別作為智能監(jiān)控的核心內(nèi)容之一，旨在通過(guò)視頻序列中人體行為特征識(shí)別可疑事件、不規(guī)則與不常見(jiàn)行為

[1-3]?，F(xiàn)有研究集中在探討單一行人或人群的監(jiān)測(cè)模型、運(yùn)動(dòng)軌跡和特征量，并據(jù)此判別行人是否存在異常。已有方法大致包括兩種類型，即模型法[4-7]和特征向量法[8-11]。模型法是一種基于視頻序列中行人的運(yùn)行信息建立數(shù)學(xué)模型來(lái)反映行人的行為特性。特征向量法是通過(guò)設(shè)計(jì)反映行人在行走過(guò)程人體動(dòng)作變化的特征向量，并借此檢測(cè)行人的異常狀況。

這兩種類型的異常檢測(cè)方法在特定條件下有一定的價(jià)值，但它們涉及的人體行為特征信息較少，且極少利用圖像的全局信息、圖像序列之間的相關(guān)性和人體動(dòng)作的連貫性，導(dǎo)致在復(fù)雜場(chǎng)景下的異常檢測(cè)效果不理想?；诖耍疚脑O(shè)計(jì)刻畫人體形狀、分類像素子、質(zhì)心位置、體型等變化的特征模型，并結(jié)合Hu矩特征模型建立特征向量模型，進(jìn)而基于此模型設(shè)計(jì)分類算法，獲得行人異常檢測(cè)算法。

1 特征向量模型

人體行為通常涉及走、跑、跳、蹲下、揮手、邊揮手邊跳、單腳跳、側(cè)走這八種行為，圖1僅給出走、跑、跳、蹲下四種動(dòng)作行為； 圖中每幅子圖代表相應(yīng)動(dòng)作視頻序列。本文力求設(shè)計(jì)較為準(zhǔn)確刻畫這些行為特征的特征向量模型，其包含Hu矩、輪廓、質(zhì)心、速度、體形這五種類別特征。

由表1可知，走和跳兩種行為對(duì)應(yīng)的7 個(gè)Hu矩特征量構(gòu)成的向量存在較大差異。但當(dāng)行人的動(dòng)作行為較相似時(shí)，比如跑、跳和單腳跳，對(duì)應(yīng)的特征向量較相似，表明單純以Hu矩特征向量識(shí)別行人的動(dòng)作行為會(huì)導(dǎo)致不同程度的誤判現(xiàn)象。為此，需引入其它特征量進(jìn)一步刻畫行人動(dòng)作的細(xì)節(jié)行為。

2）輪廓特征模型

當(dāng)行人的運(yùn)動(dòng)行為發(fā)生變化時(shí)，如從跑動(dòng)轉(zhuǎn)變?yōu)樾凶撸瑒t人體輪廓將發(fā)生根本性變化，如圖2所示。

輪廓特征是識(shí)別人體行為的重要標(biāo)志，可通過(guò)輪廓的質(zhì)心到輪廓線上各點(diǎn)的距離刻畫，即

在此，N表示輪廓線上像素點(diǎn)個(gè)數(shù)，（xi，yi）表示該輪廓線上第i個(gè)點(diǎn)的坐標(biāo)，（xc，yc）表示輪廓線的質(zhì)心。以上文中8種人體運(yùn)動(dòng)行為為例，每種情形取4幀非連續(xù)圖，并利用上式計(jì)算Sd值，如表2所示。

由表2可知，對(duì)于同一種行為的不同視頻幀，如跑、側(cè)走等行為的輪廓特征變化微小，此與相應(yīng)行為相吻合，但對(duì)于蹲下、邊揮邊跳等行為，輪廓特征量變化較為明顯。由此可知，輪廓特征量可用于反映人體輪廓變化狀況。

3） 局部檢測(cè)頻率模型

形狀和輪廓特征尚未考慮人體的局部特征信息，因而不能刻畫不同行為在輪廓存在相似情形下的差異性，如圖3所示。該圖中行人涉及兩種形狀且輪廓較為相似（跑、單腳跳）。因此，此兩動(dòng)作的形狀和輪廓特征量偏差較小，但行為差異較大。通過(guò)仔細(xì)分析，獲知跑和單腳跳使得人體在最小內(nèi)接矩形中像素點(diǎn)的分布有較大差異，為此，引入概率分布模型呈現(xiàn)行人的體型變化，即假定行人的內(nèi)接矩形P的大小為M×N，將其等分為四等分，得到的區(qū)域?yàn)锳1，…， A4。用Pi表示第i個(gè)區(qū)域內(nèi)像素不為0的像素點(diǎn)數(shù)在矩形P中所占比例， 于是行人的人體局部頻率模型為（P1，…，P4）。

以圖3為例， 人體的局部頻率分布如表3所示。經(jīng)由該表，盡管跑和單腳跳在形狀和輪廓方面存在相似性，但它們產(chǎn)生的局部頻率分布存在明顯差異，因此可用（P1，…，P4）度量人體形態(tài)的局部特征。

4）速度與輪廓變化曲線

行走速度是刻畫行人行走快慢的重要標(biāo)志。當(dāng)行人在某區(qū)域徘徊時(shí)，其速度變化較小，反之則偏大。在此，用v表示行人運(yùn)動(dòng)的速度特征量，

式中，（xc，yc）表示當(dāng)前幀行人輪廓的質(zhì)心坐標(biāo)，（xl，yl）表示當(dāng)前幀之前第l幀輪廓的質(zhì)心坐標(biāo)，Δt是間隔時(shí)間。另外，人體輪廓變化量C可用輪廓的內(nèi)接矩形的高與寬的比值進(jìn)行刻畫，以圖1中各類型行為的視頻序列為例，獲得C的變化曲線，如圖4所示。

由圖4可知，行人行走正常情形下，人體輪廓變化量C呈現(xiàn)周期性的變化，而行走異常時(shí)，C的變化不具周期性。圖4（a）、（b）、（f）、（h）表明，盡管相應(yīng)的動(dòng)作行為使C呈現(xiàn)周期性變化， 但幅值的差異較大， 此與實(shí)際情況相吻合。其它情形不使C的變化曲線具有周期性。由此，人體輪廓變化量C可用于檢測(cè)行人的異常行為。

綜上，本文在Hu矩特征量基礎(chǔ)上，獲得反映行人行為特征的特征向量模型：

2 行人異常行為檢測(cè)算法

行人異常行為檢測(cè)算法是依據(jù)以上行人行為特征向量模型、行人運(yùn)動(dòng)標(biāo)準(zhǔn)圖像庫(kù)、歐式距離、閾值判斷進(jìn)行設(shè)計(jì)的。在此，需通過(guò)圖像預(yù)處理將標(biāo)準(zhǔn)圖像庫(kù)中每幅圖包含的目標(biāo)進(jìn)行提取，建立模板庫(kù)，并給每種模板賦予正?；虍惓?biāo)簽。異常行為檢測(cè)算法描述如下：

該算法與一般基于行人特征的異常行為檢測(cè)算法相比，從多個(gè)方面考慮異常情形出現(xiàn)的可能性，利用行人運(yùn)動(dòng)是否具有周期性、速度變化直接進(jìn)行異常判斷。當(dāng)行人的運(yùn)動(dòng)不具有周期性時(shí)，利用行人的運(yùn)動(dòng)速度、速度增量、特征向量和特征向量庫(kù)進(jìn)一步判定是否異常，此有助于提高異常行為檢測(cè)的準(zhǔn)確率。

3 實(shí)驗(yàn)與分析

本實(shí)驗(yàn)在配置為CPU / 3.3 GHz、RAM / 2.98GB的WindowXP上Visual C++ 6.0環(huán)境下進(jìn)行。選取Hu矩法[12]、文獻(xiàn)[10]、[11]中算法參與本文算法比較。樣本集為10人完成的90段視頻序列構(gòu)成的標(biāo)準(zhǔn)Weizman公共數(shù)據(jù)庫(kù)，其中訓(xùn)練集為此10人中隨機(jī)選取7人完成的9種行為產(chǎn)生的視頻序列集，包括彎腰、邊揮手邊跳、跳、揮手、走、跑、側(cè)走、單腳跳及原地跳，樣本集中其它樣本構(gòu)成測(cè)試集。本文設(shè)定走和跑為正常行為，其它情形均為異常行為。實(shí)驗(yàn)結(jié)果如表4所示。

經(jīng)由表4獲知，與其它算法相比，本文算法在行人的行為準(zhǔn)確識(shí)別率方面有明顯優(yōu)勢(shì)，它獲得正常、異常情形下的準(zhǔn)確識(shí)別率依次為91.7%和93.5%，而其它算法的正常、異常識(shí)別準(zhǔn)確率均低于90%。Hu矩法雖然能夠刻畫行人的形狀變化，但對(duì)于相似行為不能很好分辨，故單純利用Hu矩將導(dǎo)致異常識(shí)別效果較差；文獻(xiàn)[10]和[11]將Hu矩和行人紋理、輪廓特征結(jié)合，能夠刻畫人體的變化細(xì)節(jié)，獲得的識(shí)別效果比Hu矩法的效果要好；本文方法將反映全局、局部特征的多種特征量有效融合，獲得的算法的誤判率較低，此有助于異常行為的檢測(cè)。

4 結(jié)論

針對(duì)智能監(jiān)控中行人異常識(shí)別的準(zhǔn)確率低、魯棒性差的問(wèn)題，在Hu矩特征模型基礎(chǔ)上，綜合考慮運(yùn)動(dòng)目標(biāo)的局部和全局信息，設(shè)計(jì)輪廓特征、局部檢測(cè)頻率、速度與輪廓變化曲線模型，并基于此，獲得行人運(yùn)動(dòng)異常行為檢測(cè)算法。比較性的實(shí)驗(yàn)結(jié)果顯示，本文的方法將多種特征信息融合，可有效進(jìn)行異常行為檢測(cè)，而其它參與比較的方法因考慮的特征信息過(guò)少，導(dǎo)致異常行為的誤判率過(guò)高。

參考文獻(xiàn)：

[1]Lavee G， Khan L， Thuraisingham B. A Framework for a Video Analysis Tool for Suspicious Event Detection[J]. Multimedia Tools Applications， 2007， 35（1）：109-123.

[2]Zhang Y， Zhang X J， Liu Z J. Irregularbehavior recognition based on two types of treading tracks under particular scenes [C]//International Conference on Knowledge Science， Engineering and Management. Berlin： Springer-Verlag， 2007：508-513.

[3]Wiliem A， Madasu V， Boles W， et al. Detectinguncommon trajectories [C]//Digital Image Computing： Techniques and Applications. IEEE Computer Society， 2008： 398-404.

[4]Kwak S. Detection of dominant flow and abnormal events in surveillance video [J]. Optical Engineering， 2011， 50（31）：27202-27202.

[5]Kim J， Grauman K. Observe locally， infer globally： A space-time MRF for detecting abnormal activities with incremental updates [C]//Computer sion and Pattern Recognition， 2009. CVPR 2009. IEEE Conference on. IEEE， 2009： 2921-2928.

[6]Thida M， Eng H L， Dorothy M， et al. Learning video manifold for segmenting crowd events and abnormality detection [C]//Asian Conference on Computer Vision. Berlin： Springer-Verlag， 2010： 439-449.

[7]Zhou Y， Yan S， Huang T S. Detecting anomaly in videos from trajectory similarity analysis [C]//IEEE International Conference on Multimedia and Expo. IEEE， 2007： 1087-1090.

[8]Chen C， Shao Y， Bi X. Detection ofanomalous crowd behavior based on the acceleration feature [J]. IEEE Sensors Journal， 2015， 15（12）： 7252- 7261.

[9]李俊峰， 張飛燕. 基于局部時(shí)空特征方向加權(quán)的人體行為識(shí)別[J]. 中國(guó)圖象圖形學(xué)報(bào)， 2015， 20（3）：320-331.

[10]王向東， 張麗紅. 基于Hu矩和紋理特征結(jié)合的人體異常行為識(shí)別[J]. 計(jì)算機(jī)測(cè)量與控制， 2017， 25（4）：179-181.

[11]趙海勇， 賈保先. 基于輪廓特征的人體行為識(shí)別[J]. 計(jì)算機(jī)科學(xué)， 2013， 40（2）：1547-1551.

[12]Hu， M.K. Visualpattern recognition by moment invariants. IRE Transaction of Information Theory IT-8 [J]. Information Theory Ire Transactions on， 1962， 8（2）：179-187.

（責(zé)任編輯：曾 晶）