基于凸型模板的目標(biāo)行為識別算法

張 瑞，王 爍

(中國電子科技集團(tuán)公司第五十四研究所,河北 石家莊 050081)

基于凸型模板的目標(biāo)行為識別算法

張 瑞，王 爍

(中國電子科技集團(tuán)公司第五十四研究所,河北 石家莊 050081)

為了解決智能視頻監(jiān)控領(lǐng)域中針對人體翻越警戒線等異常行為的監(jiān)測識別問題，提出了一種基于凸型模板算法對人體軀干目標(biāo)檢測、姿態(tài)跟蹤的方法。分析了凸型模板跟蹤人體軀干的原理和改進(jìn)算法的實(shí)現(xiàn)步驟。通過引入人體軀干傾斜角度來分析目標(biāo)與警戒線的位置關(guān)系，構(gòu)建了翻越警戒線判決規(guī)則。實(shí)驗(yàn)證明所提的方法運(yùn)算復(fù)雜度較低，可靠性較好，具有較強(qiáng)的工程實(shí)用性和操作性。

運(yùn)動目標(biāo)跟蹤；凸型模板；異常行為識別

0 引言

隨著我國社會經(jīng)濟(jì)的迅猛發(fā)展，道路交通日益完善，但是仍有很多人對已制定的交通規(guī)則視而不見，交通事故屢有發(fā)生，這就對監(jiān)控系統(tǒng)提出了更高的要求。傳統(tǒng)的視頻監(jiān)控系統(tǒng)基本只能依賴監(jiān)控人員盯著屏幕看來對異常行為進(jìn)行監(jiān)視、報(bào)警，對采集的視頻無法進(jìn)行有效的分析處理等工作[1-5]。而智能監(jiān)控系統(tǒng)采用計(jì)算機(jī)視覺處理分析技術(shù)，可以對監(jiān)控場景中的運(yùn)動目標(biāo)進(jìn)行檢測與理解[6-7]，當(dāng)目標(biāo)發(fā)生異常行為時(shí)，系統(tǒng)可以實(shí)現(xiàn)自動報(bào)警，無需安防人員長期監(jiān)視屏幕，既提高了視頻監(jiān)控效率又大大節(jié)省了人力、物力和財(cái)力。

在智能視頻監(jiān)控領(lǐng)域，針對人體異常行為的檢測迄今為止都是一項(xiàng)極具挑戰(zhàn)且應(yīng)用前景非常廣闊的技術(shù)之一[8-11]。它通過計(jì)算機(jī)對視頻數(shù)據(jù)進(jìn)行智能分析處理，提取影像中的人體目標(biāo)，并與預(yù)先設(shè)定的警戒規(guī)則相比較，從而判斷是否有人體異常行為發(fā)生。而人體頭部，軀干的位置和姿態(tài)可以為行為檢測提供大量關(guān)鍵信息。相關(guān)學(xué)者已經(jīng)提出許多定位人體的有效方法[12-13]，文獻(xiàn)[8]提出了一種用于人體目標(biāo)檢測分析的凸型模板，通過利用人體的頭部和軀干形成一種“凸”形結(jié)構(gòu)的特點(diǎn)來定位頭部和軀干的位置關(guān)系。但該文的凸型模板方法只針對直立的靜止人體目標(biāo)，為了能有效檢測出人體運(yùn)動姿態(tài)，引入了運(yùn)動軸心傾斜角度因子，構(gòu)建了改進(jìn)的人體凸型模板。實(shí)驗(yàn)結(jié)果表明，此方法可以較好地解決視頻影像中人體目標(biāo)檢測和姿態(tài)識別問題。

1 基于凸型模板的人體軀干定位

凸形模板算法是從相對大小和位置關(guān)系的角度將人體目標(biāo)的主體部分近似為一種“凸”形結(jié)構(gòu)，如圖1所示。該“凸”形結(jié)構(gòu)由人體頭部區(qū)域(Head)、軀干區(qū)域(Torso)和外接區(qū)域所構(gòu)成。其中人體頭部區(qū)域和軀干區(qū)域記為區(qū)域A，外接區(qū)域記為區(qū)域B。區(qū)域B的幾何面積與區(qū)域A的相同，即area(A)=area(B)。

圖1 凸型結(jié)構(gòu)示意圖

“凸”形結(jié)構(gòu)能夠?qū)θ梭w目標(biāo)的軀干和頭部進(jìn)行定位的主要工作原理就是通過改變“凸”形結(jié)構(gòu)的面積大小以及其與人體目標(biāo)的位置關(guān)系，不斷根據(jù)評價(jià)函數(shù)(如式(1)所示)逐幀計(jì)算評價(jià)系數(shù)S。該系數(shù)表示了凸型結(jié)構(gòu)與人體主體區(qū)域的匹配程度。區(qū)域A經(jīng)過二值化后，其區(qū)域內(nèi)像素總數(shù)用∑A表示，區(qū)域B用∑B表示：

(1)

若要使得凸型結(jié)構(gòu)與人體主體區(qū)域匹配程度最高，則需要滿足∑A≈area(A)且∑B趨近于0的條件。最終通過選擇匹配度的極大值所對應(yīng)凸型結(jié)構(gòu)的位置，從而最終確定人體目標(biāo)頭部和軀干的近似位置。

圖2表示了當(dāng)凸型結(jié)構(gòu)作為一種確定目標(biāo)區(qū)域的模板時(shí)，當(dāng)其面積和位置發(fā)生了變化，評價(jià)函數(shù)也會隨之進(jìn)行改變，這里分成3種情況考慮。情況1：當(dāng)整個(gè)凸型結(jié)構(gòu)在目標(biāo)人體的內(nèi)部時(shí)，如圖2(a)所示，此時(shí)∑A≈∑B，根據(jù)評價(jià)函數(shù)可知匹配度S≈0。情況2：當(dāng)凸型結(jié)構(gòu)的區(qū)域A遠(yuǎn)大于目標(biāo)面積時(shí)，如圖2(c)所示，由于區(qū)域A的歸一化作用，∑A‐∑B增大的程度小于區(qū)域A面積增大的程度，所以其匹配度小于1。情況3：如果當(dāng)凸型結(jié)構(gòu)的大小位置合適，區(qū)域A包含了較多目標(biāo)像素，區(qū)域B目標(biāo)像素較少，如圖2(b)所示，根據(jù)評價(jià)函數(shù)可知，凸型結(jié)構(gòu)所構(gòu)成的模板與人體目標(biāo)匹配程度趨近于1，從而定位出人體目標(biāo)的頭部和軀干大小以及位置關(guān)系。

圖2 凸型模板匹配示意圖

2 凸型模板改進(jìn)算法

采用凸型模板方法進(jìn)行人體頭部、軀干的定位匹配目前僅適用于在人體目標(biāo)直立的情況[14-16]。由于人體在運(yùn)動過程中經(jīng)常會出現(xiàn)俯仰、轉(zhuǎn)身等各種行為姿態(tài)，而且受到人體肢體的干擾，傳統(tǒng)的凸型模板方法就很難實(shí)現(xiàn)準(zhǔn)確定位，如圖3所示。

圖3 凸形模板算法軀干定位失敗

其原因在于：傳統(tǒng)的凸型模板的目標(biāo)定位檢測算法是缺少必要的自由度[17-19]，沒有考慮多樣化的人體姿態(tài)以及四肢的影響。本文在基礎(chǔ)的凸型模板算法之上，引入了一個(gè)新的參數(shù)：人體軀干傾斜角度因子a，以適應(yīng)人體目標(biāo)產(chǎn)生傾斜的情形，約定a向左偏離垂直線為正，向右偏離垂直線為負(fù)，如圖4所示。

圖4 引入傾斜角度參數(shù)的凸形模板

本文中角度a是依據(jù)人體軀干中線來確定。同時(shí)，為了盡可能去除視頻中手臂對軀干中線造成的影響，本文假設(shè)手臂長度小于人體軀干和頭部的長度。具體實(shí)現(xiàn)分為以下幾個(gè)步驟：

① 首先確定凸形模板的位置，設(shè)人體軀干中線為凸型結(jié)構(gòu)的中垂線，這里假定人體軀干處于直立狀態(tài)；

② 通過聯(lián)通域和形態(tài)學(xué)濾波方法對獲取視頻序列的當(dāng)前幀(記為第k幀)進(jìn)行處理得到前景圖像，再去除前景圖像的空洞和孤立點(diǎn)，得到完整的人體目標(biāo)二值化圖像；

③ 以k-1幀凸型結(jié)構(gòu)的中線的法線方向，逐行計(jì)算二值化像素所構(gòu)成線段的長度以及個(gè)數(shù)，線段總個(gè)數(shù)記為N，線段長度總和記為LineLengthall，得到線段長度的平均值為LineLengthaverage=LineLengthall/N；

④ 設(shè)定閾值T=LineLengthaverage/2。沿著圖像序列k-1幀軀干中線方向及其法線方向，去除線段長度小于閾值T的線段。從而在軀干中線方向和法線方向上降低了手臂所造成的影響；

元代豐富的文化底蘊(yùn)給手工藝品帶來的深刻影響，促進(jìn)了元代手工業(yè)的發(fā)展。同時(shí)期的景德鎮(zhèn)窯和龍泉窯生產(chǎn)著不同形式的蓋罐，景德鎮(zhèn)窯的明朗清秀、龍泉窯的端莊敦厚?！霸刑煜?，薄海內(nèi)外，人跡所及，皆置驛傳，使驛往來，如行國中”。“絲綢之路”使得水陸交通的便利和對外貿(mào)易的發(fā)展，陶瓷產(chǎn)品遠(yuǎn)銷海外，蓋罐在元代以得到了很大的發(fā)展，產(chǎn)量多，種類豐富，促進(jìn)了龍泉窯和景德鎮(zhèn)窯的發(fā)展。京杭大運(yùn)河的開發(fā)與運(yùn)用，龍泉窯在浙江的各個(gè)地區(qū)建立了窯場，也以此奠定的了龍泉青瓷的歷史上的地位。元代以贛江、珠江兩大水系為基礎(chǔ)，江西行省成為快捷便利的交通運(yùn)輸網(wǎng)，成為南下景德鎮(zhèn)窯瓷器外銷的主要途徑。

⑤ 逐行計(jì)算前景像素所組成的線段的中點(diǎn)，之后采用矩陣奇異值分解(Singular Value Decomposition，SVD)[20]擬合像素點(diǎn)，獲得當(dāng)前幀近似的軀干中線，最終根據(jù)軀干中線的斜率計(jì)算得到人體的傾斜角度，記為a。

按照步驟①～⑤逐幀計(jì)算每幅圖像的軀干傾斜角度a。計(jì)算的結(jié)果是否準(zhǔn)確，與當(dāng)前人體行為姿態(tài)有關(guān)，人體目標(biāo)劇烈運(yùn)動時(shí)，會對計(jì)算結(jié)果造成較大誤差。圖5和圖6表明當(dāng)存在手臂干擾時(shí)以及當(dāng)人體傾斜時(shí)，采用本文當(dāng)算法可以正確獲得人體軀干的中線。

圖5 手臂干擾時(shí)擬合的軀干中線圖

圖6 人體傾斜時(shí)擬合的軀干中線圖

3 翻越警戒線行為檢測

針對翻越警戒線這種異常行為的檢測，傳統(tǒng)的算法主要是采用基于運(yùn)動目標(biāo)的質(zhì)心軌跡來判斷是否發(fā)生穿越警戒線的行為。它沒有考慮人體的細(xì)節(jié)動作，對于在警戒線周圍行走或跨在警戒線上卻沒有翻過去的行為往往會發(fā)生誤報(bào)的情況。為此，該文提出利用上文所討論的凸形模板技術(shù)來識別翻越警戒線這種異常行為，如圖7所示。

圖7 翻越警戒線示意圖

當(dāng)人翻越警戒線時(shí)，人體軀干傾斜角度a會在一定時(shí)間段內(nèi)有明顯的變化，如圖8所示。在檢測翻越警戒線這種異常行為時(shí)可依照檢測到的a變化來判斷人體是否發(fā)生翻越動作。

圖8 身體傾斜角度a的示意圖

此外為了防止將人體在警戒線附近的彎腰動作以及跨在警戒線上而實(shí)際未穿越的情況錯(cuò)誤檢測，對警戒線兩邊分別設(shè)置了一條緩沖區(qū)，如圖7虛線所示。設(shè)警戒線L上的兩端的坐標(biāo)分別為(x1,y1)和(x2,y2)，則警戒線可用式(2)表示：

(y2-y1)·(x-x1)-(y-y1)·(x2-x1)=0 。

(2)

當(dāng)行人處在第k幀監(jiān)視畫面的某一位置(xk,yk)時(shí)，可以結(jié)合式(3)判斷行人與警戒線的位置關(guān)系PosInfok。

(3)

式中，δ為緩沖區(qū)門限值。當(dāng)PosInfok等于-1時(shí)，表示行人在警戒線的左側(cè)；PosInfok等于1時(shí)，表示在右側(cè)；當(dāng)PosInfok等于0時(shí)，表示行人在警戒線緩沖區(qū)內(nèi)。當(dāng)穿越警戒線動作和姿態(tài)角度Δαmax超過設(shè)定閾值同時(shí)發(fā)生時(shí)，則可判斷發(fā)生了翻越警戒線的行為。可用式(4)表示為：

(4)

當(dāng)CrossFence等于1時(shí)，表示行人翻越了警戒線；當(dāng)CrossFence等于0時(shí)，表示行人未翻越警戒線。

4 實(shí)驗(yàn)結(jié)果分析

該文算法開發(fā)環(huán)境為 VC++2010,為了驗(yàn)證算法的有效性，對翻越警戒線視頻序列進(jìn)行測試，視頻分辨率為 384×288,幀率為 25 幀/s。

人體目標(biāo)的軀干定位和翻越行為的實(shí)驗(yàn)結(jié)果如圖9所示。馬路護(hù)欄上方的直線是人為設(shè)置的警戒線，當(dāng)人體接近警戒線的時(shí)候，凸形模板開始持續(xù)跟蹤監(jiān)控畫面中的行人，并實(shí)時(shí)計(jì)算人身體傾斜角度。當(dāng)CrossFence等于1時(shí)，說明發(fā)生翻越警戒線的情況，此時(shí)凸形模板顏色發(fā)生變化，提醒安保人員注意該可疑目標(biāo)。

(a)25幀

(b)33幀

(c)40幀

(d)46幀

(e)49幀

(f)56幀

為了測試本文算法的行為檢測識別效果，在實(shí)際場景中以同一分辨率采集了8段近似場景視頻，考慮到光線環(huán)境、天氣影響、目標(biāo)遮擋、動目標(biāo)干擾等影響因素，通過該算法對人體目標(biāo)進(jìn)行行為檢測識別。采集的監(jiān)控視頻幀率為25/s，監(jiān)控場景的測試記錄如表1所示。

表1 監(jiān)控場景測試記錄

序號時(shí)長/s漏檢/次虛警/次場景特點(diǎn)134000晴天236202晴天,汽車323013陰天,汽車428312光線變化521223光線變化,汽車637000晴天,噪聲高729901陰天,噪聲高830222雨天,汽車

根據(jù)表1 的數(shù)據(jù)，可以分析得出以下結(jié)論： 該系統(tǒng)在光照條件比較穩(wěn)定的情況下，且場景中運(yùn)動物體較少時(shí)，系統(tǒng)的目標(biāo)檢測效果較好;當(dāng)發(fā)生光照快速變化的情況時(shí)，系統(tǒng)會產(chǎn)生幾次虛警，之后系統(tǒng)能夠及時(shí)進(jìn)行修正，漏檢情況較少;對于背景存在噪聲時(shí)，虛警很少，系統(tǒng)能夠較好消除噪聲帶來的影響;在場景中運(yùn)動目標(biāo)較多，發(fā)生遮擋或重疊情況時(shí)，系統(tǒng)的漏檢率和虛警率都比較高。

5 結(jié)束語

以人體翻越警戒線為例，針對非直立人體目標(biāo)在肢體運(yùn)動的情況下，采用基于改進(jìn)的凸型模板算法來解決獲取人體目標(biāo)位置和軀體姿態(tài)的問題。之后通過目標(biāo)與警戒線的位置關(guān)系來構(gòu)建翻越警戒線判決規(guī)則，實(shí)現(xiàn)對該異常行為的顯式描述，解決了目標(biāo)翻越行為的識別問題。實(shí)驗(yàn)表明所提方法可靠性好，運(yùn)算復(fù)雜度較低、具有較強(qiáng)的工程實(shí)用性。

[1] 徐楊，吳成東,陳東岳.基于視頻圖像的交通事件自動檢測算法綜述[J].計(jì)算機(jī)應(yīng)用研究,2011,28(4):1207-1210.

[2] 杜友田,陳峰.基于視覺的人的運(yùn)動識別綜述[J].電子學(xué)報(bào),2007,35(1):84-90.

[3] 胡韶山.人體異常行為識別在智能監(jiān)控系統(tǒng)中的研究與實(shí)現(xiàn)[D].西安:西安電子科技大學(xué),2012.

[4] 呂溫,徐貴力,程月華,等.基于局部時(shí)空特征的人體行為軟分類識別[J].計(jì)算機(jī)與現(xiàn)代化,2014(3):94-98.

[5] 范彩霞,朱虹,藺廣逢,等.多特征融合的人體目標(biāo)再識別[J].中國圖象圖形學(xué)報(bào),2013,18 (6):711-717.

[6] Ronald P. A Survey on Vision-based Human Action Recognition Image and Vision Computing[J].Computer Engineering and Design,2010,28(6):976-990.

[7] Wren C R,Azarbayejani A,Darrel T. Pfinder:Real-time Tracking of the Human Body[C]∥International Conference on Automatic Face and Gesture Recognition. IEEE Xplore,1996:51-56.

[8] Micilotta A,Bowden R. View-based Location and Tracking of Body Parts for Visual Interaction [C]∥ BMVC, 2004:849-858.

[9] Zhao L. Dressed Human Modeling,Detection,and Parts Localization[D]∥USA:Carnegie Mellon University,2004.

[10]湯金寬,曹丹華,吳裕斌,等.基于組合模板的人體頭部精確定位算法[J].中國圖像圖形學(xué)報(bào),2007,12(8):1389-1394.

[11]蔡建平,范廣偉,王飛,等.基于瞬時(shí)參數(shù)提取的干擾類型識別方法[J].無線電工程,2014,44(10):69-72.

[12]齊永鋒,楊宏偉.一種基于稀疏隨機(jī)投影的人臉識別方法[J].無線電工程,2015,45(3):19-21.

[13]陳勇.一種目標(biāo)航跡數(shù)據(jù)聚類挖掘分析方法[J].無線電工程,2015,45(3):22-24.

[14]高朝暉,張琦,陳金勇,等.支持插件擴(kuò)展的衛(wèi)星任務(wù)管控平臺研究[J].無線電工程,2015,45(3):41-44.

[15]孫婧,劉瑩,孟景濤,等.基于XML的軟件通用程序框架[J].無線電工程,2015,45(6):25-27.

[16]帥通,師本慧,陳金勇,等.多源遙感圖像艦船目標(biāo)SIFT匹配的性能分析[J].無線電工程,2015,45(10):48-51.

[17]付偉,王金橋,滕可振.基于深度學(xué)習(xí)的監(jiān)控視頻目標(biāo)檢索[J].無線電工程,2015,45(11):16-20.

[18]蘇志,李經(jīng)安.一種自適應(yīng)傳輸策略的選取方法[J].無線電工程,2015,45(11):74-76.

[19]張巖,李建增,李德良,等. 基于特征的遙感圖像匹配技術(shù)研究[J].無線電工程,2016,46(2):61-64.

[20]梁毅雄,龔衛(wèi)國,潘英俊,等.基于奇異值分解的人臉識別方法[J].光學(xué)精密工程,2004,12(5):543-549.

Cross-line Behavior Recognition Method Based on Torso Mask

ZHANG Rui，WANG Shuo

(The 54th Research Institute of CETC,Shijiazhuang Hebei 050081,China)

The paper introduces a fast human tracking and behavior recognition technology applicable for cross-line behavior detection and recognition in intelligent video surveillance system. It analyzes the principle of torso mask as well as the implementation steps of the improved methods,and establishes the cross-line decision rules based on torso tilt angle and the relationship between the object and warning line. The experiment results show that the new method achieves lower complexity and better performance.

object tracking;torso mask;abnormal behavior recognition

10. 3969/j.issn. 1003-3114. 2017.04.18

張瑞，王爍. 基于凸型模板的目標(biāo)行為識別算法[J].無線電通信技術(shù),2017,43(4):75-79.

[ZHANG Rui，WANG Shuo. Cross-line Behavior Recognition Method Based on Torso Mask [J].Radio Communications Technology,2017,43(4):75-79. ]

2017-04-27

河北省博士后科學(xué)基金重點(diǎn)資助項(xiàng)目(B2015005003)

張 瑞(1983—)，男，工程師，主要研究方向：信息處理和航天地面應(yīng)用。王 爍(1985—)，男，工程碩士，主要研究方向：計(jì)算機(jī)應(yīng)用。

TP391

A

1003-3114(2017) 04-75-5