面向刑偵視頻的異常行為檢測系統(tǒng)的設(shè)計與實現(xiàn)

吳松偉 劉軍 范長軍 陳久紅 程球 柳明

摘要：在刑偵過程中通過基于視覺的行為分析與理解技術(shù)，及時地發(fā)現(xiàn)和識別潛在作案者的異常行為，對犯罪預(yù)警具有極為重要的現(xiàn)實意義。文章分析了視頻監(jiān)控系統(tǒng)在異常行為檢測方面存在的問題，對異常行為檢測系統(tǒng)的實現(xiàn)形式、系統(tǒng)架構(gòu)以及異常行為檢測方法進行研究。設(shè)計了視頻監(jiān)控異常行為檢測系統(tǒng)的軟硬件系統(tǒng)框架;研究了基于視頻的行人檢測方法與異常行為檢測識別方法;完成了相關(guān)算法在上述系統(tǒng)上的實現(xiàn)與開發(fā).系統(tǒng)測試表明，該系統(tǒng)可以準確、高效地檢測異常行為，能夠滿足當前刑偵中視頻監(jiān)控產(chǎn)品的需要。

關(guān)鍵詞：視頻監(jiān)控;異常行為檢測;行人檢測;刑偵

中圖分類號：TP391.4

文獻標識碼：A

文章編號：1006-8228（2020）09-67-05

Design and implementation of video-based abnormal behavior detection system for criminal investigation

Wu Songwei'， Liu Jun2. Fan Changjun3， Chen Jiuhong3， Cheng Qiu3， Liu Ming3

（I. Investigation Technology Division of Air Force Political Worle Department， Beijing 100843， China： 2. Chine.se People's Liberation Army /Vo.63650; 3. No. 52 Re.search Institute of China Electronic Technology Corporation）

Abstract： In the process of criminal investigation， it has great practical significance to detect and identify abnormal behaviors ofpotential perpetrators by visual-based behavior analysis and recognition technology. In this paper， the problems of abnormal behaviordetection in current video surveillance systems are analyzed. and implementation forms， system architectures and related methods ofabnormal behavior detection system are studied. After designing the overall hardware and software framework of the system.studying the methods of pedestrian detection and abnormal behavior detection， and realizing the related algorithms for the system， avideo-based abnormal behavior detection system is implemented. The experimental results show that the system can detect abnormalbehavior accurately and efficiently， and can meet the needs of current video monitoring products in criminal investigation.

Key words： video monitoring; abnormal behavior detection; pedestrian detection; criminal investigation

0引言

安防監(jiān)控產(chǎn)品日益普及，覆蓋銀行、地鐵、停車場、超市、學校、主干道等公共場所，在刑偵、安保等領(lǐng)域發(fā)揮了重要作用?，F(xiàn)有的視頻監(jiān)控數(shù)據(jù)量龐大，依賴人力已無法及時有效地處理，而大多數(shù)監(jiān)測系統(tǒng)只是對監(jiān)控范圍內(nèi)發(fā)生的情況進行簡單記錄和存儲，并不進行檢測處理。即使有人值守，由于各種復(fù)雜場景等原因，監(jiān)控的實時性也不高[1]。為了解決上述問題，出現(xiàn)了無人值守的智能視頻監(jiān)控系統(tǒng)。

目前，一些最新的智能視頻監(jiān)控產(chǎn)品開始具備視頻分析的功能，能對簡單的人體行為進行檢測并報警，可以輔助刑偵人員提高工作效率。國內(nèi)的部分智能監(jiān)控產(chǎn)品實現(xiàn)了對預(yù)先定義的簡單異常事件進行檢測，包括入侵檢測，移動物體檢測，移走物體檢測等[2]。比如，華為公司研發(fā)出了eSpace IVT智能監(jiān)控平臺，利用網(wǎng)絡(luò)攝像機實現(xiàn)多點部署，提供物體移走檢測，突然出現(xiàn)檢測，周界入侵檢測、速度檢測等簡單功能[3]。對行人行為的理解與異常行為的檢測是刑偵、安保領(lǐng)域研究的重點和難點之一，也是智能視頻監(jiān)控系統(tǒng)的一個重要組成部分。可以看到當前智能視頻監(jiān)控系統(tǒng)人體行為檢測部分的功能依舊很弱，在智能化、模塊化的方向上仍有很大改進空間，目前還缺少一套完善的方法和系統(tǒng)框架能夠?qū)ΡO(jiān)控視頻中行人的異常行為進行有效檢測和識別。

針對上述現(xiàn)象，本文設(shè)計并開發(fā)了一套行人異常行為檢測與安全預(yù)警系統(tǒng)，對該領(lǐng)域的技術(shù)發(fā)展與進步進行積極的探索。首先，設(shè)計了異常行為檢測系統(tǒng)軟、硬件系統(tǒng)框架，通過分層的方法，支持硬件設(shè)備的自由拓展，比如：增加監(jiān)控點、增加處理器，以支撐多種算法的高效調(diào)度和運行;其次，研究了現(xiàn)有的行人檢測算法與人體行為動作識別算法，選擇穩(wěn)定高效的對應(yīng)算法進行組合研發(fā)，以實現(xiàn)所需的功能;最后，在上述框架和算法的基礎(chǔ)上，實現(xiàn)了一套行人異常行為檢測系統(tǒng)，完成算法在平臺框架上的調(diào)試，并實際運行和測試。

1系統(tǒng)功能分析與總體設(shè)計

1.1系統(tǒng)功能分析

針對銀行、醫(yī)院、廣場、主干道等公共場所，為異常行為檢測視頻監(jiān)控與預(yù)警安全系統(tǒng)設(shè)計了以下主要功能，如圖1所示。

（1）提供視頻圖像分析引擎功能，支持普通單路視頻單人、多人行為動作識別，支持多路視頻并行處理。其中，單人異常行為主要包括攀爬、發(fā)狂、打砸物品等;多人異常行為主要包括搶奪財物、襲擊他人等;

（2）行人主動求助。行人在面對危急情況時可以通過面向攝像頭做特定動作（比如，雙臂交叉揮舞）啟動求助功能。在這樣的情況下，攝像頭能夠識別求救信號，啟動救助程序;

（3）遠程查看。刑偵人員可以在網(wǎng)上遠程查看攝像頭的實時錄像。

1.2系統(tǒng)總體架構(gòu)設(shè)計

本系統(tǒng)由多路行人卡口IPC網(wǎng)絡(luò)攝像機、前端Web服務(wù)器、后端算法服務(wù)器、大數(shù)據(jù)服務(wù)器等硬件以及運行在這些服務(wù)器平臺上的算法及軟件組成?？傮w的系統(tǒng)架構(gòu)如圖2所示。

異常行為識別系統(tǒng)總體采用層次化、模塊化設(shè)計，不同類型的服務(wù)器上部署有不同功能的軟件服務(wù)。后臺算法服務(wù)器提供可供調(diào)用的智能算法庫，包括對異常行為進行檢測的神經(jīng)網(wǎng)絡(luò)的訓練和推理算法等，并保證算法運行的實時穩(wěn)定;算法調(diào)度模塊通過下層算法庫提供的接口調(diào)用算法，并保證調(diào)度的效率和有序性;拉推流模塊負責拉取邊緣節(jié)點IPC的視頻流，以及將處理完成的視頻流推送至中心調(diào)度模塊;中心調(diào)度模塊負責數(shù)據(jù)的傳輸與調(diào)度工作，Web頁面模塊負責產(chǎn)品前端展示部分，此兩者均可運行在Web服務(wù)器上。同時，在大數(shù)據(jù)服務(wù)器上加入分布式計算與分布式存儲的內(nèi)容.分布式計算模塊負責對歷史視頻數(shù)據(jù)和檢測結(jié)果做進一步的分析與挖掘，分布式存儲模塊負責行人視頻數(shù)據(jù)庫與歷史信息數(shù)據(jù)庫的維護。

在以上的系統(tǒng)框架下，數(shù)據(jù)在各模塊之間流動，實現(xiàn)了整個異常行為檢測系統(tǒng)的功能?？傮w的數(shù)據(jù)流向如下：多路邊緣感知節(jié)點IPC采集各路視頻流，智能算法服務(wù)器拉取視頻流并進行行人檢測算法和異常行為檢測算法處理，算法處理后原始視頻流加處理結(jié)果傳送至Web及調(diào)度服務(wù)器中的中心調(diào)度模塊進行調(diào)度;最后，中心調(diào)度模塊對Web展示和大數(shù)據(jù)計算及存儲進行調(diào)度，完成算法處理結(jié)果的存儲、展示，或者進一步的挖掘。

1.3管理配置流程設(shè)計

對多路視頻的支持要求異常行為檢測系統(tǒng)有強大的計算能力以及良好的可擴展性，設(shè)計的原則是盡量保證各模塊的低耦合。為此，該系統(tǒng)的計算服務(wù)器均以集群的形式來提供，在此基礎(chǔ)上本文設(shè)計了對應(yīng)的集群配置管理體系及流程。具體如圖3所示。

總的配置管理流程分為五個步驟：

Step1用戶通過Web可視化管理平臺發(fā)起服務(wù)管理配置請求，如所需的智能處理服務(wù)選?。ㄐ腥藱z測、異常行為檢測），視頻/圖像選取，服務(wù)參數(shù)設(shè)定（類別、閾值）等，或者通過業(yè)務(wù)系統(tǒng)發(fā)起服務(wù)管理配置請求，并發(fā)給視頻圖像分析引擎;

Step2視頻圖像分析引擎通過解析服務(wù)管理配置，對集群管理提出資源請求;

Step3集群管理根據(jù)獲得的服務(wù)請求進行資源配置，并返回請求結(jié)果給視頻圖像分析引擎;

Step4視頻圖像分析引擎根據(jù)服務(wù)配置解析得到的結(jié)果以及分配到的資源，調(diào)度圖像視頻智能處理服務(wù);

Step5視頻圖像智能處理服務(wù)反饋服務(wù)啟用情況給Web可視化管理平臺。

1.4算法總體流程設(shè)計

異常行為檢測與其他生物特征識別技術(shù)相似，應(yīng)用過程的基本流程包括先對要識別的行人目標進行檢測和分割，然后針對這些行人目標，開展人體行為動作的分析和異常與否的判定。

總得來說，系統(tǒng)開始運行時，管理員首先需要接入實時視頻流，同時設(shè)置異常行為事件上報接口。然后啟動人員分析服務(wù)，對實時流中的行人進行檢測，進而針對行人進行行為動作的識別和分析，如果分析結(jié)果中包含攀爬、發(fā)狂、打砸物品等異常行為和搶奪財物、襲擊他人等危險行為，則將異常的行為動作上報給用戶。具體如圖4所示。

本系統(tǒng)算法總體流程如圖5所示，異常行為檢測的流程主要包括了行人檢測以及人體行為動作識別兩個部分。異常行為檢測服務(wù)在收到視頻圖像時，首先進行多目標行人檢測。其中，行人檢測分為三個步驟：①通過運動建模來區(qū)分背景和運動的物體;②通過人體檢測從前景中篩選出圖像中的所有行人;③針對檢測出的行人做優(yōu)化篩選處理。其次，在這些多人檢測結(jié)果的基礎(chǔ)上，結(jié)合3D CNN（3-Dimension ConvolutionalNeural Networks）與LSTM（Long Short-Term Memory）深度神經(jīng)網(wǎng)絡(luò)來進行人體行為動作的識別。最終，根據(jù)閾值將算法的輸出結(jié)果進行篩選，判定是否為異常動作或者危險動作，通過上報接口對動作進行上報。

其中，人體行為動作識別由三維卷積神經(jīng)網(wǎng)絡(luò)3DCNN與循環(huán)神經(jīng)網(wǎng)絡(luò)LSTM相配合來實現(xiàn)，神經(jīng)網(wǎng)絡(luò)的實現(xiàn)總體包括兩個步驟，分別是離線模型訓練與在線實時推理。由于基于神經(jīng)網(wǎng)絡(luò)的方法需要大量的數(shù)據(jù)，并且訓練過程需要耗費大量的算力和很長的時間，因此，需要在系統(tǒng)搭建之初即完成數(shù)據(jù)收集以及模型訓練的工作，在系統(tǒng)的實施階段將模型導入服務(wù)器以作為后續(xù)在線實時推理的基礎(chǔ)組件。

算法總體的業(yè)務(wù)邏輯如下：當程序啟動后，根據(jù)相機ID創(chuàng)建進程，然后初始化四個主要功能模塊：視頻拉推流功能模塊，行人檢測模塊，人體行為動作識別模塊，邏輯判定模塊。算法框架中這四個模塊可并發(fā)執(zhí)行，初始化完成后，根據(jù)到來的實時視頻流依次執(zhí)行上述功能。

2異常行為檢測算法原理與設(shè)計

在現(xiàn)實環(huán)境中，可疑目標行為在不同場景下存在著背景雜亂、視線阻擋和視角變化等情況。過去大量人體行為識別方法的應(yīng)用場景苛刻，例如目標小尺度變化和小視覺改變等，但現(xiàn)實中難以滿足。而且傳統(tǒng)的檢測方法因判別因素單一，且缺乏多因素之間的關(guān)聯(lián)性分析，而難以取得令人滿意的檢測效果。本文針對上述的缺點與不足，分兩個階段進行異常行為的檢測：①對運動視頻采用基于混合高斯模型的方法進行背景建模以得到運動前景，對這些運動前景提取HOG特征并采用支持向量機進行行人檢測與識別以得到每幀圖像中的行人前景;②弱化視頻中每幀圖像背景區(qū)域的影響，將處理后的視頻通過結(jié)合3D CNN及LSTM深度神經(jīng)網(wǎng)絡(luò)的方法來進行行人人體行為動作的識別。將識別出的行為類別及其置信度與預(yù)設(shè)的閾值做比較，最后得到異常行為檢測的結(jié)果。

下面針對異常行為檢測系統(tǒng)中最重要的兩個算法，行人檢測與人體行為動作識別，分別進行分析與闡述，并針對本文系統(tǒng)進行了針對性的設(shè)計。

2.1行人檢測算法

行人檢測采用混合高期模型（Gaussian Mixed Model，GMM）加支持向量機（Support Vector Machine，SVM）的方式來實現(xiàn)。主要有兩個步驟：①使用混合高斯模型對視頻中的每幀圖像進行背景建模，提取出運動前景圖像區(qū)域;②對前景圖像區(qū)域進行行人檢測，判斷前景圖像中是否含有行人以及行人的位置。

具體地，先利用混合高斯模型[4]建立視頻中每幀圖像的背景模型，從而實現(xiàn)視頻圖像前景目標的發(fā)現(xiàn)，算法代碼如下：

輸入：高斯模型的數(shù)量K

輸出：前景目標外接矩形集合SF

for 在視頻中的每一幀圖像/

P←圖像/標準化

If P為第一幀圖像then

GMM←初始化K個高斯模型

Pb←初始化背景

else

GMM←更新高斯模型

Pb←更新背景

PJ←P←Pb

BRs←對PJ進行二值化

BR←縮放BRs至視頻大小

Pf'←對BR進行形態(tài)學處理

Pf''←計算p'的輪廓

SR←計算Pf''中各個目標的外界矩形

SF←精簡輪廓

end if end for

基于方向梯度直方圖與支持向量機[5]的行人檢測算法如下：

Step1創(chuàng)建SVM行人檢測分類器，分類器類型為epsilon類支持向量回歸機，使用徑向基核函數(shù);

Step2將SR設(shè)置為當前幀Pcur的感興趣區(qū)域，并裁剪得到Pdst;

Step3將感興趣區(qū)域提取出來保存至新的圖像中，并放縮至固定大小，比如64×128，以提高算法運行速度，并防止輸入圖像過小以至小于檢測窗口的最小限制;

Step4使用直方圖均衡化增強Pdst的亮度和對比度，并對其進行多維度檢測，并將結(jié)果保存到集合SPR中;

Step5遍歷集合SPR，處理得到的行人矩形框，將不嵌套的矩形框加入新集合SPF中，而嵌套的矩形框則取大的矩形框加入SPF;

Step6求出矩形框在原圖像Pcur中的坐標，得到行人檢測結(jié)果;

Step7重置Pcur的感興趣局域，重復(fù)步驟2-7，知道SR遍歷完成。

2.2人體行為動作識別算法

通過行人檢測過程，獲得了視頻中每幀圖像中的行人前景圖像區(qū)域和環(huán)境背景圖像區(qū)域;隨后將背景圖像區(qū)域的RGB值進行減半處理，以弱化背景部分，來突出運動行人前景部分，我們把經(jīng)過上述處理的視頻序列記為V。

假設(shè)視頻序列V有N幀圖像，可表示為V=（v1，v2，…，vN）。首先，將V分割成T個短視頻序列（或稱視頻剪輯），則V= （v1s，v2s，…，vts，…，VTs），其中vts表示第t個視頻剪輯，其中T= N/K，其中K是每個視頻剪輯的長度;接著，通過3D CNN網(wǎng)絡(luò)編碼每一個視頻剪輯，生成X=（x1，x2，…，xT）;最后，將上述數(shù)據(jù)輸入時序模型LSTM來進行分類和識別。

首先，進行3D信號編碼。采用C3D對視頻V進行編碼，提取時空特征X=（x1，x2，…，xT）。針對V中的每個視頻剪輯，采用3D CNN對其進行卷積操作，以構(gòu)建每個視頻剪輯的動作特征的表征[6]。具體的卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)如圖6所示。

其次，生成序列轉(zhuǎn)換模型。對于包含多個視頻剪輯的單個視頻V，使用LSTM提取多個視頻剪輯之間的時序關(guān)系[7]。本文中單個視頻V包含10個剪輯視頻，每個視頻剪輯包含16幀，即T=10，K=16。LSTM模型使用序列轉(zhuǎn)換模型，輸入序列為經(jīng)過3D CNN編碼后的X=（x1，x2，…，Xt，…，xT），輸出序列為最后的隱藏層的值（h1，h2，…，hL）。在LSTM網(wǎng)絡(luò)層的后面加上基于時間序列的池化層，輸出記為Z。

最后一層為Softmax層，用來輸出該視頻中對應(yīng)各異常行為類別的概率分布Pu，w（y），以進行人體行為動作的識別與分類，最終即可預(yù)測出該人體行為動作的類別以及對應(yīng)的置信度。具體如下面的公式所示。其中，U為3D CNN網(wǎng)絡(luò)的參數(shù)，c為備選的行為類別集合。最后，將置信度與預(yù)設(shè)的閾值進行比較，即可判定得到該檢測到的行為是否為異常行為。

其中，Szc，Szc、，bc，bc、都是Softmax層的參數(shù)。

3實驗與分析

為方便對本文方法進行評估，收集并標注了大量的視頻數(shù)據(jù)集。重點收集的行為類型包括：攀爬、發(fā)狂、打砸物品、搶奪財物、襲擊他人等，并擴充了包括走路、上樓、下樓、跑步、騎自行車、開車等20多種日常活動類別。

在此數(shù)據(jù)集的基礎(chǔ)上。進行模型的訓練，驗證與測試。將訓練集、驗證集與測試集的比例劃分為8：1：1，每次測試通過隨機抽取其中的80%數(shù)據(jù)進行訓練，在剩余的數(shù)據(jù)中，隨機抽取50%作為驗證集，另外50%作為測試集，然后循環(huán)往復(fù)測試10次，取其準確率（Accuracy）的平均值為最終結(jié)果，如表1所示。本文方法可以達到平均84.0%的準確率。從D.Tran等人的工作[8]可知，當前較好的深度3D CNN方法在UCF101數(shù)據(jù)集上的平均準確率為82.3%，與之相比，本文方法達到了較好準確率。

4結(jié)束語

本文設(shè)計并實現(xiàn)了一整套面向刑偵視頻的異常行為檢測系統(tǒng)，應(yīng)用于刑偵、安保等領(lǐng)域。首先，設(shè)計了異常行為檢測系統(tǒng)的總體框架和算法流程，主要由運行在三類服務(wù)器上的六個功能模塊實現(xiàn);然后，分析了系統(tǒng)核心算法——行人檢測和人體行為動作識別，設(shè)計了由混合高斯與支持向量機實現(xiàn)的行人檢測算法，以及由3D CNN與LSTM構(gòu)成的人體行為動作識別神經(jīng)網(wǎng)絡(luò)，并基于Softmax層來進行人體行為動作的分類;最后，根據(jù)分類的結(jié)果及其置信度與對應(yīng)的閾值相比較，實現(xiàn)了對異常行為的準確檢測?；谏鲜鲈O(shè)計進行了廣泛的實驗，實驗結(jié)果表明了本文系統(tǒng)的有效性。

參考文獻（References）：

[1]王娟.基于視頻的異常行為檢測系統(tǒng)的設(shè)計與實現(xiàn)[D].西南交通大學碩士學位論文，2015.

[2]雷玉堂，安防&智能化視頻監(jiān)控系統(tǒng)智能化實現(xiàn)方案[M].電子工業(yè)出版社，2013.

[3]尚進.監(jiān)控視頻中行人異常行為檢測系統(tǒng)的設(shè)計與實現(xiàn)[D].東南大學碩士學位論文，2015.

[4]徐志通，駱炎民，柳培忠，歐陽怡，趙亮.一種基于時空HOG與級聯(lián)SVM的行人檢測算法[J].海峽科學，2016.7.

[5]黃鑫娟，周潔敏，劉伯揚，自適應(yīng)混合高斯背景模型的運動目標檢測方法[J].計算機應(yīng)用，2010.30（1）：71-74

[6]劉嘉瑩，張孫杰.融合視頻時空域運動信息的3D CNN人體行為識別[J].電子測量技術(shù)，2018.7.

[7]劉景巍，基于擴展數(shù)據(jù)集的LSTM行為識別方法研究[D].遼寧大學碩士學位論文，2018.

[8] D. Tran，L Bourdev， R. Fergus， L. Torresani， and M.Paluri. Learning spatiotemporal features with 3dconvolutional networks. Proc. 2015 IEEE Int. Conf.Comput. Vis.， Dec，2015：4489-4497

收稿日期：2020-04-02

作者簡介：吳松偉（1982-），男，山東濰坊人，碩士，工程師，主要研究方向：偵查工程，智能安防。

通訊作者：劉軍（1974-），男，河南洛陽人，碩士，高級工程師，主要研究方向：計算機網(wǎng)絡(luò)技術(shù)，大數(shù)據(jù)技術(shù)。