監(jiān)控視頻中異常行為自動檢測系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)

許 鋒黃馬慶單大國

（1 中國刑警學(xué)院 遼寧 沈陽 110035；2 常州市公安局刑警大隊(duì) 江蘇 常州 213000）

監(jiān)控視頻中異常行為自動檢測系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)

許 鋒1黃馬慶2單大國1

（1 中國刑警學(xué)院 遼寧 沈陽 110035；2 常州市公安局刑警大隊(duì) 江蘇 常州 213000）

異常行為分析是智能視頻監(jiān)控技術(shù)領(lǐng)域中關(guān)注的重點(diǎn)，將計(jì)算機(jī)視覺和人工智能技術(shù)相結(jié)合，通過發(fā)現(xiàn)監(jiān)控中的異常行為實(shí)時(shí)報(bào)警并記錄，達(dá)到將有價(jià)值的信息應(yīng)用到刑事案件的偵查中，在公安工作中具有廣泛的應(yīng)用前景。在分析智能視頻監(jiān)控系統(tǒng)研究現(xiàn)狀的基礎(chǔ)上，闡述了異常行為檢測的相關(guān)范疇，針對刑事案件中監(jiān)控使用的現(xiàn)狀及存在問題，設(shè)計(jì)了異常行為檢測系統(tǒng)的功能模塊并對運(yùn)動目標(biāo)檢測、目標(biāo)跟蹤和異常判別等關(guān)鍵技術(shù)進(jìn)行深入探討。

智能視頻 異常行為 目標(biāo)檢測 目標(biāo)跟蹤

隨著公安部“天網(wǎng)”、“天眼”工程的深入開展，監(jiān)控探頭已經(jīng)遍布主要路口、重點(diǎn)要害部門、案件多發(fā)地帶、公共復(fù)雜場所和人員流動密集區(qū)，但是面對海量的視頻資料，并且基于目前審看手段效率低、耗時(shí)耗力的現(xiàn)狀，如何科學(xué)有效地提高監(jiān)控視頻資料利用效率和范圍是目前刑事科學(xué)技術(shù)工作亟待解決的問題。

截至目前為止，視頻監(jiān)控系統(tǒng)的發(fā)展經(jīng)歷了三代，但這些監(jiān)控系統(tǒng)，都需要人工實(shí)時(shí)監(jiān)視視頻圖像以捕捉異常事件和突發(fā)事件的發(fā)生，這在“及時(shí)地對發(fā)生的異常事件和突發(fā)事件做出適當(dāng)有效的反應(yīng)”方面存在嚴(yán)重缺陷，不能滿足安全防范的要求。本文以警用網(wǎng)絡(luò)化視頻監(jiān)控系統(tǒng)為基礎(chǔ)，針對目前監(jiān)控視頻采集質(zhì)量較低、數(shù)量繁多、包含信息內(nèi)容復(fù)雜、難于為破案直接提供線索等實(shí)際問題，融合圖像處理、計(jì)算機(jī)視覺及人工智能的研究成果，利用計(jì)算機(jī)實(shí)現(xiàn)對監(jiān)控場景中異常和突發(fā)事件的自動分析、自動捕獲、自動跟蹤和自動報(bào)警，最終實(shí)現(xiàn)為刑事案件偵破提供線索和證據(jù)。

1 智能視頻監(jiān)控系統(tǒng)概況

智能視頻監(jiān)控系統(tǒng)（Intelligent Video Surveillance，IVS）是采用圖像處理、模式識別和計(jì)算機(jī)視覺技術(shù)，通過在監(jiān)控系統(tǒng)中增加智能視頻分析模塊，借助計(jì)算機(jī)強(qiáng)大的數(shù)據(jù)處理能力過濾掉視頻畫面無用的或干擾信息、自動識別不同物體，分析抽取視頻源中關(guān)鍵有用信息，快速準(zhǔn)確地定位案件現(xiàn)場，判斷監(jiān)控畫面中的異常情況，并以最快和最佳的方式發(fā)出警報(bào)或觸發(fā)其他動作，從而有效進(jìn)行事前預(yù)警，事中處理，事后及時(shí)取證的全自動、全天候、實(shí)時(shí)監(jiān)控的智能系統(tǒng)，和傳統(tǒng)的視頻監(jiān)控系統(tǒng)相比，其具有如下的突出優(yōu)勢。

（1）全天候可靠監(jiān)控。通過計(jì)算機(jī)和攝像頭對監(jiān)控畫面進(jìn)行自動分析，一旦發(fā)現(xiàn)可疑事件就立即報(bào)警，其徹底拋棄了傳統(tǒng)的完全由人工操作的監(jiān)控模式，從而更加智能化。

（2）實(shí)時(shí)響應(yīng)。系統(tǒng)具有更強(qiáng)大的計(jì)算能力，能夠在異常事件發(fā)生時(shí)實(shí)時(shí)做出反應(yīng)。智能算法能分析當(dāng)前目標(biāo)的行為模式，對潛在的異常行為做出判斷并在異常事件發(fā)生之前做出預(yù)警，使得相關(guān)部門有足夠的時(shí)間處理潛在的異常事件，甚至阻止異常事件的發(fā)生，將損失降為最小。

（3）報(bào)警精確度高。隨著計(jì)算機(jī)軟硬件技術(shù)的發(fā)展，使視頻處理分析模塊具有更強(qiáng)大的數(shù)據(jù)處理分析能力。系統(tǒng)的分析算法也越來越智能化，報(bào)警精度也得到顯著的提高，用戶可以更加精確地定義事件的特征，并對特征進(jìn)行智能分析與處理，從而大大降低誤報(bào)和漏報(bào)概率。

由于視頻監(jiān)控廣泛的應(yīng)用前景和潛在的經(jīng)濟(jì)價(jià)值，已經(jīng)引起了國內(nèi)外研究者的極大關(guān)注。1997年美國DARPA設(shè)立了以卡內(nèi)基梅隆大學(xué)(CMU)、麻省理工學(xué)院(MIT)等高校參與的視覺監(jiān)控項(xiàng)目VSAM (Visual Surveillance and Monitoring)，主要用于軍事以及民用的監(jiān)控視頻自動理解技術(shù)。2000年IBM的Haritaoglu等人提出的W4室外監(jiān)控系統(tǒng)不僅能夠做到定位和分割人的身體部分，實(shí)時(shí)地對多人進(jìn)行跟蹤，而且可以檢測人體是否攜帶物品并將物品與人體分割出來。歐盟資助的ADVISOR(Annotated Digital Video for Intelligent Surveillance and Optimized Retrieval)系統(tǒng)可以在存儲視頻監(jiān)控錄像的同時(shí)對視頻中的危險(xiǎn)或者關(guān)鍵事件進(jìn)行自動的分析理解，并生成對應(yīng)的警報(bào)。北京清大維森科技有限公司推出的安易檢人臉檢測視頻盒，通過分析視頻信息把視頻畫面中的人臉特征單獨(dú)提取出來疊加在視頻畫面中，并以人臉特征為索引，快速搜索視頻數(shù)據(jù)中某人曾經(jīng)出現(xiàn)過的所有視頻錄像。但這些研究主要集中在安全、銀行等特殊部門，很難及時(shí)發(fā)現(xiàn)和提供公安實(shí)際工作中對案件偵破有價(jià)值的線索和證據(jù)。

2 異常行為檢測系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)

2.1 異常行為檢測系統(tǒng)的功能

一般意義上的異常行為指違反社會文明準(zhǔn)則或成群行為習(xí)慣和標(biāo)準(zhǔn)的“反?！毙袨?。在刑事科學(xué)技術(shù)領(lǐng)域?qū)ζ涞亩x是以語言、文字或圖像等為載體，對嫌疑人的活動軌跡、行為習(xí)慣、作案過程等與犯罪行為相關(guān)的反常行為動作。對其及時(shí)檢測可極大地提升預(yù)警犯罪行為能力并擴(kuò)展偵查方向。目前在刑事案件中對異常行為的研究主要集中在人體異常行為，特別是ATM機(jī)、群體性事件上，本文將研究對象進(jìn)一步擴(kuò)展，對案件偵破中可能采用的信息進(jìn)行整合，構(gòu)建了如下四個(gè)異常行為檢測功能模塊。

2.1.1 人體異常檢測

人體異常檢測主要包括對遮擋或隱藏面部、可疑人員攀越重點(diǎn)防范場所的圍墻或柵欄、打架斗毆事件或突然倒下、可疑人員在指定區(qū)域內(nèi)突然快速運(yùn)動、群體突然聚集以及可疑人員在監(jiān)控區(qū)域多次徘徊等情況實(shí)時(shí)檢測、報(bào)警并記錄。

2.1.2 車輛異常檢測

隨著交通工具的快速發(fā)展，嫌疑人在案件前期、實(shí)施犯罪過程及逃離現(xiàn)場的時(shí)候越來越多的使用車輛，因此車輛的異常檢測也越來越重要。對于車輛異常行為進(jìn)行了定義，主要包括車輛駛?cè)刖G化草地、人行道、禁停區(qū)、逆行、超速、故意慢速行駛、突然調(diào)頭、徘徊行駛、橫檔后車輛以及危險(xiǎn)駕駛等情況，出現(xiàn)上述行為系統(tǒng)將自動識別并實(shí)時(shí)報(bào)警。

2.1.3 設(shè)備異常檢測

目前嫌疑人為了逃脫法律的制裁，其反偵查意識逐漸增強(qiáng)，會在作案前或過程中對監(jiān)控設(shè)備進(jìn)行蓄意破壞，針對此情況和設(shè)備長時(shí)間使用的損耗，設(shè)定設(shè)備的異常檢測，重點(diǎn)關(guān)注視頻圖像的巨大變化，如攝像頭被遮擋、大幅度移動等，可對采取電子干擾、破壞攝像機(jī)、遮擋攝像機(jī)鏡頭的行為自動識別并實(shí)時(shí)報(bào)警。

2.1.4 其他異常檢測

主要功能是在監(jiān)控中對案件中出現(xiàn)頻率較高的爆炸物或可疑物品遺留，行駛車輛拋灑物品，刀具、槍支等有危害性的作案工具的實(shí)時(shí)檢測和報(bào)警。

2.2 異常行為檢測系統(tǒng)工作流程

一套完整的異常行為分析處理流程需要融合圖像處理技術(shù)、模式識別技術(shù)等多種技術(shù)手段才能達(dá)到較好的實(shí)戰(zhàn)效果。其工作過程主要包括視頻的預(yù)處理、圖像分割、特征提取和行為分類。針對上面建立的各種異常行為特點(diǎn)，建立相應(yīng)的檢測和判別規(guī)則，通過如圖1的檢測流程，最終完成對異常行為的自動實(shí)時(shí)檢測。

圖1 異常行為檢測工作流程圖

3 異常行為檢測系統(tǒng)的關(guān)鍵技術(shù)

異常行為檢測系統(tǒng)中的關(guān)鍵技術(shù)主要包括視頻序列中運(yùn)動目標(biāo)檢測、目標(biāo)跟蹤和對目標(biāo)行為進(jìn)行分析。運(yùn)動目標(biāo)檢測屬于計(jì)算機(jī)視覺技術(shù)中的底層視覺模塊，檢測的結(jié)果對于后面目標(biāo)跟蹤和行為分析等后期處理至關(guān)重要，目標(biāo)跟蹤和行為分析分別屬于中層視覺模塊和高層視覺模塊。各個(gè)模塊之間相互依賴，共同組成整個(gè)檢測系統(tǒng)。

3.1 運(yùn)動目標(biāo)檢測

運(yùn)動目標(biāo)檢測是在視頻序列中將運(yùn)動目標(biāo)從背景中精確的提取出來，得到目標(biāo)的整體區(qū)域或者輪廓，是目標(biāo)跟蹤和行為分析的基礎(chǔ)。目前，運(yùn)動目標(biāo)的檢測方法主要有四種：幀間差分法、背景差分法、光流法和基于特征的方法。

3.1.1 幀間差分法

幀間差分法是通過對視頻序列中的連續(xù)兩幀圖像進(jìn)行相減以獲取目標(biāo)圖像的方法。當(dāng)有異常移動物體在監(jiān)控區(qū)域內(nèi)出現(xiàn)時(shí)，連續(xù)兩幀圖像間會有很大的差異，將兩幀圖像進(jìn)行減法運(yùn)算，得出對應(yīng)像素點(diǎn)的灰度差絕對值，通過比較閾值，判斷是否有目標(biāo)在背景中出現(xiàn)，最后根據(jù)判斷結(jié)果將目標(biāo)進(jìn)行分離。幀間差分法受場景變化的影響較小，能夠快速的從背景中分離出運(yùn)動目標(biāo)區(qū)域，并且對各種復(fù)雜環(huán)境的適應(yīng)性較好，具有較高的魯棒性。但幀間差分法不能夠完整的提取所有相關(guān)的特征點(diǎn)，不能將運(yùn)動目標(biāo)區(qū)域完整的提取出來，只能對邊界進(jìn)行提??；容易受到運(yùn)動目標(biāo)運(yùn)動速度的影響，容易產(chǎn)生空洞現(xiàn)象。

3.1.2 背景差分法

綜合本組病例，我們認(rèn)為晚期甲狀腺癌需盡量保留1～2枚甲狀旁腺，以保證術(shù)后甲狀旁腺功能正常。目前還可以使用納米碳負(fù)顯影，或者術(shù)中甲狀旁腺檢測，但是對于累及喉氣管和食管的晚期腫瘤，實(shí)現(xiàn)的可能性不大，此種情況下以保護(hù)對側(cè)遠(yuǎn)離腫瘤的甲狀旁腺為首要任務(wù)。

背景差分法是利用當(dāng)前連續(xù)的圖像與背景圖像進(jìn)行相減來識別運(yùn)動目標(biāo)的方法。利用已構(gòu)建的背景模型，不斷與當(dāng)前處理的視頻幀作比對，差異超過閾值范圍的即為目標(biāo)，小于閾值的為背景。背景差分法能夠?qū)⑦\(yùn)動目標(biāo)區(qū)域快速完整的提取出來。在背景已知、攝像頭靜止的情況下有較好的檢測效果，但會受到背景光照條件的變化、環(huán)境干擾的影響。

3.1.3 光流法

光流場是將圖像的明暗變化看作一種矢量場，并對其分析來確定目標(biāo)運(yùn)動的方法。光流場包含了物體動態(tài)行為和表面結(jié)構(gòu)等信息，空間運(yùn)動物體的像素點(diǎn)在觀測面上的運(yùn)動會產(chǎn)生瞬時(shí)速度場，光流法計(jì)算每一幀圖像的光流場，通過結(jié)合運(yùn)動目標(biāo)的運(yùn)動特征進(jìn)行運(yùn)動目標(biāo)檢測。光流法目前缺點(diǎn)是計(jì)算量較大，對硬件要求比較高，不適于實(shí)時(shí)處理，而且對噪聲比較敏感，抗噪性差。

3.1.4 基于特征的方法

基于特征的方法有很多，根據(jù)不同場合不同監(jiān)控對象都會有不同的算法。具體可以根據(jù)形狀，顏色甚至生物特征等方法對監(jiān)控目標(biāo)在圖像中的位置進(jìn)行識別與檢測?；谔卣鞯姆椒`活性很大，識別率也普遍較高，但在不同場合的識別方法不同，所以其普遍適應(yīng)性不大。

3.2 目標(biāo)跟蹤

目標(biāo)跟蹤是確定目標(biāo)在每幀圖像的出現(xiàn)位置，從而得到運(yùn)動目標(biāo)的時(shí)序運(yùn)動軌跡。依據(jù)運(yùn)動目標(biāo)的表達(dá)和相似性度量，運(yùn)動目標(biāo)跟蹤算法可以分為如下四類。

3.2.1 基于主動輪廓的跟蹤

由Kass等人提出的主動輪廓模型，即Snake模型，是在圖像域內(nèi)定義可變形曲線，通過對其能量函數(shù)的最小化，動態(tài)輪廓逐步調(diào)整自身形狀與目標(biāo)輪廓相一致。此方法不僅考慮來自圖像的灰度信息，而且考慮整體輪廓的幾何信息，增強(qiáng)了跟蹤的可靠性。但缺點(diǎn)是計(jì)算量較大，且對于運(yùn)動速度快的目標(biāo)效果較差。

3.2.2 基于特征的跟蹤

基于特征匹配的跟蹤方法不考慮運(yùn)動目標(biāo)的整體特征，只通過目標(biāo)圖像的一些顯著特征來進(jìn)行跟蹤。其優(yōu)點(diǎn)在于對運(yùn)動目標(biāo)的尺度、形變和亮度等變化不敏感，即使目標(biāo)的某一部分被遮擋，只要還有一部分特征可以被看到，就可以完成跟蹤任務(wù)；另外，這種方法與Kalman濾波器聯(lián)合使用，具有很好的跟蹤效果。但對于圖像模糊、噪聲等比較敏感，連續(xù)幀間的特征對應(yīng)關(guān)系較難確定，存在漏檢、特征增加或減少等情況。

3.2.3 基于區(qū)域的跟蹤

該算法的基本思想是先得到包含目標(biāo)的模板，再在序列圖像中運(yùn)用相關(guān)算法跟蹤目標(biāo)。此方法的優(yōu)點(diǎn)在于當(dāng)目標(biāo)未被遮擋時(shí)，跟蹤精度非常高、跟蹤非常穩(wěn)定。但缺點(diǎn)首先是費(fèi)時(shí)，當(dāng)搜索區(qū)域較大時(shí)情況尤其嚴(yán)重；其次，算法要求目標(biāo)變形不大，且不能有太大遮擋，否則相關(guān)精度下降會造成目標(biāo)的丟失。

3.2.4 基于模型的跟蹤

基于模型的跟蹤是通過一定的先驗(yàn)知識對所跟蹤目標(biāo)建立模型，然后通過匹配跟蹤目標(biāo)進(jìn)行模型的實(shí)時(shí)更新。對于剛體目標(biāo)來說，其運(yùn)動狀態(tài)變換主要是平移、旋轉(zhuǎn)等，可以利用該方法實(shí)現(xiàn)目標(biāo)跟蹤。這種方法不易受觀測視角的影響，具有較強(qiáng)的魯棒性，模型匹配跟蹤精度高，適合于機(jī)動目標(biāo)的各種運(yùn)動變化，抗干擾能力強(qiáng)，但計(jì)算分析復(fù)雜、運(yùn)算速度慢，模型的更新較為復(fù)雜，實(shí)時(shí)性較差。

3.3 行為分析

行為分析即行為識別與理解，是在運(yùn)動目標(biāo)檢測和跟蹤的基礎(chǔ)上，使用有效的算法對動作行為模式進(jìn)行分析、識別，并用自然語言等方式加以描述，從而提高視頻監(jiān)控系統(tǒng)的智能化程度。其中，異常行為識別是行為分析的核心問題之一，最主要的是如何定義異常行為和提出判斷異常行為的依據(jù)。目前，國內(nèi)外許多學(xué)者在視頻監(jiān)控中異常行為分析和識別的研究中做了大量的工作。常用的方法大致可以分為兩類，即基于模型的行為分析方法和基于相似度量的行為分析方法。

3.3.1 基于模型的行為分析方法

基于模型的行為分析方法，首先事先確定某種異常行為的判定準(zhǔn)則，然后根據(jù)準(zhǔn)則條件從視頻序列中提取運(yùn)動目標(biāo)的外形、運(yùn)動等特征信息，利用獲得的特征信息使用半監(jiān)督或者人工的方法建立正常行為的模型，通常使用隱馬爾可夫模型（Hidden Markov Models，HMM）及其改進(jìn)方法對由圖像序列中特征信息所表示的狀態(tài)進(jìn)行建模，對于那些不匹配正常行為模型的觀測，系統(tǒng)將認(rèn)為是異常行為。

3.3.2 基于相似度量的行為分析方法

基于相似度量的行為分析方法，利用異常行為難定義、易發(fā)現(xiàn)的特點(diǎn)，不需要預(yù)先定義人體行為模型，而通過自動的從圖像序列中學(xué)習(xí)正常行為的模式，實(shí)現(xiàn)異常行為檢測。該方法的檢測流程：首先對視頻按照某種規(guī)則進(jìn)行分段處理，并從分段的視頻序列中抽取特征組成該段的矢量特征，然后利用聚類和相似度量的方法進(jìn)行行為分析，最后將類別較少的視頻認(rèn)為是異常。

3.4 系統(tǒng)實(shí)現(xiàn)

根據(jù)公安工作的實(shí)際情況，本文利用Matlab GUI設(shè)計(jì)并開發(fā)了視頻影像智能偵測系統(tǒng)，主要功能包括了視頻播放、視頻實(shí)時(shí)增強(qiáng)、運(yùn)動檢測、目標(biāo)跟蹤、異常分析及系統(tǒng)參數(shù)設(shè)置，系統(tǒng)主界面如圖2；視頻播放界面如圖3，可以實(shí)時(shí)播放視頻或連接監(jiān)控探頭，對視頻進(jìn)行單幀操作；視頻實(shí)時(shí)增強(qiáng)界面如圖4，支持對視頻采用直方圖均衡、雙向直方圖均衡、直方圖規(guī)范和模糊處理的方法實(shí)現(xiàn)對比度實(shí)時(shí)增強(qiáng)，利用頻域法或時(shí)域法實(shí)現(xiàn)平滑和銳化等實(shí)時(shí)增強(qiáng)及降噪工作；本文經(jīng)過比較最終采用混合高斯模型的背景差分法與Kalman濾波器相結(jié)合的方法實(shí)現(xiàn)運(yùn)動檢測及目標(biāo)跟蹤，檢查及跟蹤結(jié)果如圖5；最終的異常檢測采用性能可靠、運(yùn)算快速的隱馬爾可夫模型（Hidden Markov Models，HMM）。通過實(shí)驗(yàn)表明，本系統(tǒng)可簡單、快速、準(zhǔn)確有效的檢測到異常行為并進(jìn)行報(bào)警提示。

圖2 系統(tǒng)主界面

圖3 視頻播放界面

圖4 視頻實(shí)時(shí)增強(qiáng)界面

圖5 運(yùn)動檢測及跟蹤結(jié)果

4 結(jié)論

數(shù)字化、網(wǎng)絡(luò)化、智能化是視頻監(jiān)控領(lǐng)域發(fā)展的必然趨勢。智能視頻監(jiān)控的出現(xiàn)恰恰體現(xiàn)了這一必然趨勢，它與普通的視頻監(jiān)控系統(tǒng)相比，具有更加強(qiáng)大的圖像處理能力和智能分析能力的特點(diǎn)。本文針對智能監(jiān)控的研究現(xiàn)狀，從公安工作的實(shí)際情況著手，設(shè)計(jì)了異常行為檢測系統(tǒng)各功能模塊并對其中的關(guān)鍵技術(shù)進(jìn)行了深入研究，提高了視頻監(jiān)控系統(tǒng)的能力，使視頻資源發(fā)揮出更大的作用，最終為刑事案件偵破提供線索和證據(jù)。

[1]R obert T．Collins，Alan J．Lipton，Takeo Kanade．A system for video surveillance and monitoring [R]．Technicalreport，2000．

[2]I．Haritaoglu，D．Harwood，L．S．Davis．Real-time surveillance of people and their activities[J]．IEEE Transactions on Pattern Analysis and Machine Intelligence，2000，22(8)．

[3]CALDERARA S,CUCCHIARA R，PRATI A.Detection ofabnormalbehaviorsusingamixture ofVon Mises distributions[A].IEEE Conference on Advanced Video and Signal Based Surveillance[C].London：IEEE，2007．

[4]北京清大維森科技．安易檢人臉檢測視頻盒[EB/OL]．Http：//tsingdavision.com/html/cn/product/ show/2010/0709/58．html．2014-1-10．

（責(zé)任編輯：孟凡騫）

TP391.4

A

2014-5-29

遼寧省科技廳自然科學(xué)基金項(xiàng)目（編號：2013020008）。

許鋒（1977-），男，山東萊州人，中國刑警學(xué)院聲像資料檢驗(yàn)技術(shù)系副教授，博士，主要從事聲像資料檢驗(yàn)鑒定研究。