嵌入式下公共場所暴力行為視覺檢測方法研究

伍馮潔，吳川平，黃文愷，郭中華

(1.廣州大學(xué)　a.實(shí)驗(yàn)中心;b.數(shù)學(xué)與信息科學(xué)學(xué)院，廣東　廣州　510006；2.中山大學(xué)　南方學(xué)院，廣東　廣州　510655)

?

嵌入式下公共場所暴力行為視覺檢測方法研究

伍馮潔1a，吳川平1b，黃文愷1a，郭中華2

(1.廣州大學(xué)a.實(shí)驗(yàn)中心;b.數(shù)學(xué)與信息科學(xué)學(xué)院，廣東廣州510006；2.中山大學(xué)南方學(xué)院，廣東廣州510655)

摘要:根據(jù)暴力行為發(fā)生時(shí)往往存在肢體沖突，并伴隨著身體全身或局部部位出現(xiàn)較劇烈運(yùn)動(dòng)的特點(diǎn)，提出了一種基于運(yùn)動(dòng)圖像的公共場所暴力行為自動(dòng)識(shí)別方法，并能夠移植到嵌入式設(shè)備中以便于分布式智能監(jiān)控。首先，采用Lucas-Kanade(LK)光流法獲得相鄰兩幀監(jiān)控圖像間的光流場，通過光流分析法確定各個(gè)運(yùn)動(dòng)目標(biāo)的運(yùn)動(dòng)狀態(tài)，并提取它們的光流特征值、光流速度和方向；其次，對(duì)各個(gè)運(yùn)動(dòng)目標(biāo)的光流特征值、光流速度與方向進(jìn)行統(tǒng)計(jì)分析，以掌握各個(gè)運(yùn)動(dòng)目標(biāo)的運(yùn)動(dòng)趨勢；最后，結(jié)合光流場變化情況及運(yùn)動(dòng)目標(biāo)聚集狀態(tài)判斷是否存在暴力行為。實(shí)驗(yàn)結(jié)果表明，該嵌入式系統(tǒng)識(shí)別準(zhǔn)確性好、實(shí)時(shí)性強(qiáng)、可靠性高。

關(guān)鍵詞:暴力行為；光流算法；嵌入式；系統(tǒng)移植

隨著計(jì)算機(jī)技術(shù)、通信技術(shù)與圖像處理技術(shù)的發(fā)展，視頻監(jiān)控已經(jīng)在各種公共場合得到廣泛應(yīng)用。但是目前的監(jiān)控系統(tǒng)往往只是對(duì)視頻信號(hào)進(jìn)行簡單的錄制與網(wǎng)絡(luò)傳輸，尚停留在監(jiān)控人員對(duì)視頻信號(hào)的人工監(jiān)視和事后錄像分析上，并沒有充分利用計(jì)算機(jī)巨大的計(jì)算能力，存在工作量巨大、暴力事件響應(yīng)速度慢、暴力事件存在漏檢漏報(bào)等不足之處[1]。并且由于公共場合屬于多攝像頭、多角度的監(jiān)控模式，每個(gè)監(jiān)控場景的視頻需要通過網(wǎng)絡(luò)實(shí)時(shí)傳輸給監(jiān)控中心集中處理，較容易發(fā)生視頻傳輸擁塞與丟包現(xiàn)象，同時(shí)帶來海量視頻數(shù)據(jù)存儲(chǔ)與檢索、服務(wù)器易超負(fù)荷運(yùn)行、暴力事件檢測速度與精度較差等系列問題。

計(jì)算機(jī)視覺與嵌入式微控制器技術(shù)的引入有效解決了以上問題。本文利用計(jì)算機(jī)代替人腦來分析、理解監(jiān)控視頻圖像的內(nèi)容，自動(dòng)查找、跟蹤和識(shí)別目標(biāo)，從而實(shí)現(xiàn)暴力事件的自動(dòng)分析與警報(bào)，同時(shí)，將嵌入式技術(shù)應(yīng)用在圖像處理領(lǐng)域，提出了一種以嵌入式系統(tǒng)為核心的公共場所暴力行為視覺檢測方法，將圖像采集、圖像分析與處理、暴力行為檢測等功能集成在該嵌入式系統(tǒng)中，僅把暴力事件等異常情況的圖像序列、檢測結(jié)果及其他相關(guān)信息傳送回監(jiān)控中心，以提高公共場所暴力行為監(jiān)控效率及暴力事件應(yīng)急反應(yīng)速度，增強(qiáng)了通信系統(tǒng)安全性、數(shù)據(jù)傳輸可靠性及抗干擾能力。

1基于運(yùn)動(dòng)圖像的嵌入式系統(tǒng)原理

嵌入式微控制器主要由視頻獲取、光流分析、特征提取和行為識(shí)別四個(gè)部分組成[2]，如圖1所示。對(duì)于視頻監(jiān)控場景實(shí)時(shí)采集的圖像，首先，通過光流法構(gòu)建各個(gè)運(yùn)動(dòng)目標(biāo)的光流場，并提取它們的光流特征值、光流速度和方向；然后，對(duì)各個(gè)運(yùn)動(dòng)目標(biāo)的光流特征進(jìn)行統(tǒng)計(jì)分析，根據(jù)光流變化速度及方向信息來實(shí)現(xiàn)公共場所暴力行為的目標(biāo)跟蹤及識(shí)別。

如圖1所示，若干個(gè)視頻監(jiān)控場景的嵌入式微控制器和系統(tǒng)監(jiān)控中心通過網(wǎng)絡(luò)組成了一個(gè)龐大的公共場所智能監(jiān)控系統(tǒng)。每個(gè)嵌入式微控制器均集成了圖像采集、圖像分析與處理、暴力行為檢測等功能，僅僅將檢測結(jié)果送至中控計(jì)算機(jī)進(jìn)行數(shù)據(jù)分析及數(shù)據(jù)庫管理，同時(shí)也可根據(jù)監(jiān)控要求，由計(jì)算機(jī)發(fā)出相關(guān)指令對(duì)各嵌入式監(jiān)控設(shè)備進(jìn)行控制，以完成整個(gè)公共場所智能監(jiān)控系統(tǒng)的實(shí)時(shí)監(jiān)測控制、狀態(tài)顯示、參數(shù)設(shè)置。

2運(yùn)動(dòng)圖像的光流分析及特征提取

光流法是目前運(yùn)動(dòng)圖像分析的重要方法，它描述了瞬時(shí)運(yùn)動(dòng)形狀，包括運(yùn)動(dòng)物體的形狀(空間)和運(yùn)動(dòng)的形狀(時(shí)間)，可以從運(yùn)動(dòng)形狀的差異得到圖像中目標(biāo)物體的結(jié)構(gòu)與其運(yùn)動(dòng)的關(guān)系[3]。目前，對(duì)光流的計(jì)算比較典型的方法有Horn-Schunck方法和Lucas-Kanade方法等?？紤]到公共場所監(jiān)控場景數(shù)量大，對(duì)檢測效率及應(yīng)急速度要求高的特點(diǎn)，本文采用金字塔Lucas-Kanade光流算法實(shí)現(xiàn)光流計(jì)算及目標(biāo)跟蹤，充分利用該算法的光流計(jì)算窗口可變、計(jì)算量較小、應(yīng)用靈活及光流估計(jì)值較準(zhǔn)確的優(yōu)勢，從而顯著提高系統(tǒng)檢測速度與檢測精度。

根據(jù)光流法在較短時(shí)間內(nèi)同一像素點(diǎn)在不同時(shí)間的灰度相同這一特性，利用Lucas-Kanade光流法，通過檢測相鄰兩幀圖像的特征點(diǎn)的運(yùn)動(dòng)狀態(tài)來構(gòu)建公共場所目標(biāo)人群的光流場及進(jìn)行運(yùn)動(dòng)特征提取[4]，具體步驟如下：

1)找到第k幀圖像特征點(diǎn)并儲(chǔ)存：利用shi-Tomasi算法找出每一張圖中需要跟蹤的點(diǎn)(即特征點(diǎn))，并用函數(shù)feature1及frame1保存如式(1)所示，以供后面計(jì)算光流及暴力行為識(shí)別時(shí)使用

(1)

式中：features(i)表示特征點(diǎn)的特征值；(xi,yi)表示特征點(diǎn)的位置；n表示所找到的特征點(diǎn)的數(shù)量。

2)找到第k幀所有特征點(diǎn)在第k+1幀圖像的位置，并用函數(shù)frame2保存如式(2)所示

(xj,yj)∈frame2j=1,2,…,m

(2)

式中：(xj,yj)表示特征點(diǎn)的位置，m表示所找到的特征點(diǎn)的數(shù)量。

在查找特征點(diǎn)過程中，為了減少運(yùn)算量，提高檢測速度，當(dāng)滿足式(3)時(shí)，算法迭代終止

(3)

式中：epsilon是兩幀中對(duì)應(yīng)特征窗口的光度之差的平方，該值的大小需要通過實(shí)驗(yàn)來確定。fw2，fw1是相鄰兩幀圖像，w1是特征窗口。

3)比較第k幀、k+1幀圖像的特征值，結(jié)合式(1)與式(2)，可得到相鄰兩幀圖像的運(yùn)動(dòng)變化特征如式(4)～(5)所示

(4)

(5)

4)依據(jù)相鄰兩幀對(duì)應(yīng)的特征值來構(gòu)建光流場：首先通過遍歷特征點(diǎn)統(tǒng)計(jì)出光流方向數(shù)N、判斷及統(tǒng)計(jì)不同的光流方向數(shù)M，并保存這兩個(gè)數(shù)值；然后定義點(diǎn)、方向、箭頭等對(duì)象；最后根據(jù)特征點(diǎn)的位置及變化方向，再通過對(duì)線的開始點(diǎn)和終止點(diǎn)的適當(dāng)放縮，即可畫出可視的光流場圖像。

采用Lucas-Kanade光流算法處理的公共場所監(jiān)控圖片如圖2所示，圖中的箭頭表示像素點(diǎn)上的運(yùn)動(dòng)方向及速度大小。

3嵌入式暴力行為視覺檢測的實(shí)現(xiàn)

3.1暴力行為的識(shí)別

公共場所暴力行為主要是運(yùn)動(dòng)速度及運(yùn)動(dòng)方向發(fā)生突變而導(dǎo)致的不規(guī)則行為，一般表現(xiàn)為目標(biāo)人群在較短時(shí)間內(nèi)運(yùn)動(dòng)速度突增，同時(shí)伴隨著運(yùn)動(dòng)狀態(tài)由分散逐漸聚合。采用光流法提取的行為特征其實(shí)就是像素點(diǎn)的運(yùn)動(dòng)矢量，其包含了運(yùn)動(dòng)方向及幅度大小，因此本文將選取運(yùn)動(dòng)速度及方向信息來實(shí)現(xiàn)公共場所暴力行為的目標(biāo)跟蹤及檢測[5]，具體識(shí)別過程如下：

(6)

3.2算法在嵌入式環(huán)境下的具體實(shí)現(xiàn)

3.2.1嵌入式系統(tǒng)結(jié)構(gòu)設(shè)計(jì)

為了將運(yùn)動(dòng)圖像檢測算法移植到嵌入式設(shè)備中，本文在嵌入式Linux中基于OpenCV、Qt及pcDuino平臺(tái)構(gòu)建了一個(gè)公共場所暴力行為自動(dòng)檢測系統(tǒng)[6]，其中采用Qt做前臺(tái)操作界面，OpenCV做后臺(tái)視覺檢測程序及pcDuino做嵌入式硬件開發(fā)平臺(tái)，該系統(tǒng)簡易框架圖如圖3所示。

采用Qt平臺(tái)、OpenCV庫與pcDuino構(gòu)建系統(tǒng)主要基于以下4點(diǎn)考慮：1)都是針對(duì)嵌入式技術(shù)開發(fā)的平臺(tái)，消耗資源較少，安裝攜帶方便；2)都是開源的免費(fèi)軟件，可節(jié)約開發(fā)成本；3)都是基于跨平臺(tái)思想開發(fā)的類庫和平臺(tái)，可降低開發(fā)難度；4)pcDuino是一款高性能、高性價(jià)比的迷你PC平臺(tái)，只需連接顯示器、鍵盤、鼠標(biāo)即可使用，可縮短開發(fā)周期。

本文結(jié)合OpenCV、Qt及pcDuino共同構(gòu)建平臺(tái)的優(yōu)點(diǎn)，很好地解決了程序開發(fā)的難題，使構(gòu)建視覺檢測系統(tǒng)更簡單方便，符合現(xiàn)代軟件工程的要求，同時(shí)也解決了移植到嵌入式設(shè)備中資源緊張、配置繁瑣及缺乏類庫支持的問題，簡化了移植過程，降低了移植難度。

3.2.2平臺(tái)搭建及系統(tǒng)移植的流程

為了實(shí)現(xiàn)嵌入式下公共場所暴力行為視覺檢測功能，需構(gòu)建嵌入式Linux環(huán)境下基于OpenCV與Qt的平臺(tái)，并將兩者移植到pcDuino嵌入式設(shè)備中[7]，具體流程如下：

1)在PC機(jī)上建立Linux開發(fā)環(huán)境，本系統(tǒng)使用linux2.6版本，在Linux系統(tǒng)下安裝交叉編譯器arm-linux-gcc，以編譯可以移植到pcDuino開發(fā)板上運(yùn)行的程序。2)移植u-boot、Linux內(nèi)核到pcDuino開發(fā)板，本系統(tǒng)使用u-boot1.2版本，并構(gòu)建文件系統(tǒng)。3)利用交叉工具鏈在虛擬機(jī)中編譯配置OpenCV-2.3.1的PC版本與arm版本兩個(gè)類庫，并將arm版本的類庫移植到pcDuino開發(fā)板中。4)編譯設(shè)置Qt-Opensource4.7.4的PC版本與embedded版本，并將embedded版本移植到pcDuino開發(fā)板的文件系統(tǒng)中。5)完成參數(shù)配置后，在Qt的開發(fā)環(huán)境QtSDK中對(duì)工程文件進(jìn)行編譯，調(diào)用OpenCV圖像庫以實(shí)現(xiàn)公共場所暴力行為的視覺檢測。

4實(shí)驗(yàn)結(jié)果及分析

由于光流算法計(jì)算量較大，考慮到暴力行為發(fā)生時(shí)是一個(gè)連續(xù)動(dòng)作變化的過程，為了減輕嵌入式系統(tǒng)工作負(fù)荷，提高暴力事件檢測速度及效率，本文采用每隔1 s，即對(duì)采樣率為25 f/s(幀/秒)的圖像序列，每隔25幀抽取一張圖像進(jìn)行暴力行為檢測，而不需要對(duì)每幀圖像都進(jìn)行處理。

為了檢驗(yàn)所提出方法的有效性，本文在嵌入式設(shè)備上對(duì)一段圖像分辨率為640×480存在暴力行為的視頻進(jìn)行了實(shí)驗(yàn)，對(duì)主要影響識(shí)別質(zhì)量的3個(gè)參數(shù)，即光流的金字塔分解層數(shù)K、光流運(yùn)算窗口W、最大光流方向數(shù)N，分別選取不同的數(shù)值進(jìn)行試驗(yàn)。在光流分析過程中，光流金字塔分解層數(shù)K較小時(shí)，迭代次數(shù)少，隨著K層數(shù)的增加，迭代次數(shù)增多，運(yùn)算量增大，但光流處理的效果較好。光流運(yùn)算窗口W取值較小時(shí)，處理速度較快，但效果一般，僅適用于簡單工程，隨著W窗口增大，運(yùn)算量也增加，但對(duì)環(huán)境與目標(biāo)的區(qū)分更準(zhǔn)確，效果更好。最大光流方向數(shù)N，當(dāng)N太小或太大時(shí)，會(huì)出現(xiàn)特征點(diǎn)太少或太多的問題，均會(huì)影響識(shí)別效果，因此，需要通過大量的實(shí)驗(yàn)來確定N的取值。經(jīng)過實(shí)驗(yàn)測試表明，當(dāng)K=5，W=5×5，N=400時(shí)，運(yùn)算量適中，識(shí)別速度較快及識(shí)別效果最好，實(shí)驗(yàn)效果如圖4、5所示。其中，圖4是光流分析結(jié)果圖，圖5是本嵌入式系統(tǒng)識(shí)別效果圖。當(dāng)系統(tǒng)檢測到有暴力行為發(fā)生時(shí)，將及時(shí)在監(jiān)控界面顯示“危險(xiǎn)”的警示信息，同時(shí)在監(jiān)控現(xiàn)場及中控中心拉響警報(bào)。

5結(jié)語

本嵌入式視覺檢測系統(tǒng)很好地解決了公共場所視頻監(jiān)控中存在暴力行為的問題，可快速、準(zhǔn)確地檢測出公共場所的多種暴力行為，并將檢測結(jié)果及時(shí)傳回監(jiān)控中心同時(shí)在現(xiàn)場拉響警報(bào)，從而顯著提高相關(guān)管理部門及執(zhí)法部門對(duì)暴力事件的響應(yīng)效率，有效防止公共場所的暴力事件危害或進(jìn)一步危害公共安全。此外，本方法是基于嵌入式技術(shù)開發(fā)，已移植到嵌入式設(shè)備中，具有體積小、功耗低、成本低及便攜性好等優(yōu)點(diǎn)，同時(shí)系統(tǒng)實(shí)時(shí)性強(qiáng)、可靠性高，能較好地滿足公共場所智能監(jiān)控的要求，應(yīng)用前景廣闊。

參考文獻(xiàn)：

[1]鄭世寶.智能視頻監(jiān)控技術(shù)與應(yīng)用[J].電視技術(shù)，2009，33(1)：94-96.

[2]陳琳英，凡德剛.嵌入式微處理器環(huán)境下視頻流的采集與傳輸[J].實(shí)驗(yàn)科學(xué)與技術(shù)，2014，12(5)：20-22，35.

[3]DONG G H，AN X J，F(xiàn)ANG Y Q，et al.Contributions to horn-schunck optical flowequations-part：stability and rate of convergence of classical algorithm[J].Journal of central south university，2013，20(7)：1909-1918.

[4]高林，王璐，閆磊，等.基于關(guān)鍵幀提取技術(shù)的花開過程視頻監(jiān)測系統(tǒng)開發(fā)及試驗(yàn)[J].農(nóng)業(yè)工程學(xué)報(bào)，2014，30(1)：121-128.

[5]LIQ，SHAO C F，ZHAO Y.Arobust system for real-time pedestrian detection and tracking[J].Journal of central south university，2014(4)：1643-1653.

[6]文成維，陳文建，詹泳.嵌入式雙目立體視覺測距系[J].計(jì)算機(jī)系統(tǒng)應(yīng)用，2012，21(10)：143-147.

[7]HOUJB.ARM core unit design of aremote video monitoring system[J].Research journal of applied sciences，engineering and technology，2013，5(18)：4493-4498.

責(zé)任編輯：閆雯雯

Research of embedded visual detection methods about violence in public places

WU Fengjie1a,WU Chuanping1b,HUANG Wenkai1a,GUO Zhonghua2

(1a.LaboratoryCenter；1b.SchoolofMathematicsandInformationScience,GuangzhouUniversity,Guangzhou510006,China;2.NanFangCollegeofSUNYAT-SENUniversity,Guangzhou510655,China)

Key words:violence;optical flow;embedded;system transplant

Abstract:According that when the violence happen, there is a physical conflict and often accompanied by systemic or local-body strenuous exercise, an automatic identification method for violence in public places is proposed. The method is based on the motion image technology, and can be transplanted to embedded devices to facilitate distributed intelligent monitoring. Firstly, use Lucas-Kanade (LK) to obtain the optical flow field of two adjacent frame images, specify the state of each moving object by analyzing optical flow, and extract their optical flow characteristic values, optical flow velocity and direction. Next, the optical flow characteristic values, optical flow velocity and direction of each moving object are counted and analyzed, in order to grasp the movement trend of each moving object. Finally, according to the changes in the optical flow field and the aggregated state of moving objects to judge if there is violence. The experimental results show that the embedded system has good accuracy, real-time and high reliability for recognition.

中圖分類號(hào)：TP391.7

文獻(xiàn)標(biāo)志碼：A

DOI：10.16280/j.videoe.2016.01.025

基金項(xiàng)目：廣州市屬高?？蒲杏?jì)劃項(xiàng)目(2012A025)；廣東省科技計(jì)劃項(xiàng)目(2013B090500067)

收稿日期：2015-06-04

文獻(xiàn)引用格式：伍馮潔，吳川平，黃文愷，等.嵌入式下公共場所暴力行為視覺檢測方法研究[J].電視技術(shù)，2016,40(1)：127-130.

WU F G,WU C P,HUANG W K,et al.Research of embedded visual detection methods abou tviolence in public places[J].Video engineering,2016,40(1)：127-130.