基于物聯(lián)網(wǎng)和視頻分析技術的監(jiān)獄智能監(jiān)控系統(tǒng)*

奚 吉,蔣銀忠

(1.常州工學院計算機信息工程學院,江蘇 常州 213002;2.江蘇省投資管理有限責任公司,南京 210005)

?

基于物聯(lián)網(wǎng)和視頻分析技術的監(jiān)獄智能監(jiān)控系統(tǒng)*

奚 吉1,蔣銀忠2*

(1.常州工學院計算機信息工程學院,江蘇 常州 213002;2.江蘇省投資管理有限責任公司,南京 210005)

提出了一種基于物聯(lián)網(wǎng)和視頻分析技術的監(jiān)獄智能監(jiān)控系統(tǒng)。該系統(tǒng)主要由監(jiān)控終端子系統(tǒng)以及犯人活動網(wǎng)絡定位監(jiān)測子系統(tǒng)組成,并利用視頻分析技術對囚犯進行智能行為監(jiān)控。實驗結(jié)果表明:所提出的的透視變換及SVM的行為識別及目標分類方法可以有效監(jiān)控罪犯行為,將監(jiān)控人員從“緊盯屏幕”的低級監(jiān)控模式中解放出來,能夠很好地提高監(jiān)控有效性,實現(xiàn)“人防、技防、物防”三位一體的最佳結(jié)合。

物聯(lián)網(wǎng);視頻分析;識別;運動檢測;RFID;Zigbee

監(jiān)獄是關押、改造犯人的場所,是重要的國家機器之一。監(jiān)獄的安全防范,是社會穩(wěn)定、國家安寧的重要保證。鑒于本身的功能要求,監(jiān)獄對于安防系統(tǒng)在安全可靠性方面的要求要明顯高于其他行業(yè)。然而傳統(tǒng)的監(jiān)獄安防存在兩個主要方面的缺陷,主要表現(xiàn)在[1]:①信息孤島。監(jiān)獄安防由于系統(tǒng)涉及的領域很廣,包括網(wǎng)絡通信技術,信息技術,電子傳感入侵檢測,視等多個子系統(tǒng)。但系統(tǒng)與系統(tǒng)之間的運行都相對獨立,信息無法共享,相互之間沒有關聯(lián),形成信息孤島。一旦出現(xiàn)緊急事件,各系統(tǒng)之間無法及時關聯(lián)聯(lián)動,監(jiān)控圖像和其他安防資源不能共享,造成管理方不能直觀對應,浪費人力、物力,造成管理效率低下。②被動監(jiān)視。國內(nèi)監(jiān)獄廣泛使用的閉路監(jiān)控系統(tǒng)采用矩陣主機控制,通過電視墻監(jiān)視前端監(jiān)控畫面,采用長延時模擬錄像機進行錄像和回放。此類傳統(tǒng)的視頻監(jiān)控模式屬人為操控,工作人員需要監(jiān)視的視頻畫面數(shù)量,已經(jīng)遠遠超出人的接受能力,導致實際監(jiān)控效果低下[2]。

因此,針對傳統(tǒng)的監(jiān)獄安防系統(tǒng)的缺陷,本文提出了一套基于物聯(lián)網(wǎng)和視頻分析技術的罪犯監(jiān)控系統(tǒng)。該系統(tǒng)利用物聯(lián)網(wǎng)技術將各個子系統(tǒng)有機地形成一個網(wǎng)絡整體,確保信息的有效暢通,避免信息孤島的出現(xiàn)。另外通過智能視頻分析技術的應用解決了傳統(tǒng)視頻監(jiān)控系統(tǒng)所一些固有的缺陷,實現(xiàn)了監(jiān)控方式由被動到主動的轉(zhuǎn)變,從而更好地能夠滿足監(jiān)獄安防系統(tǒng)對于安全的要求[3-4]。

1 系統(tǒng)總體方案

針對監(jiān)獄犯人行為識別與健康狀況信息采集的實際應用,我們采用了如圖1所示的組網(wǎng)結(jié)構。整個系統(tǒng)分4個層次:信息采集層,信息處理層,服務器層,管理和決策層。其中信息采集層如圖2,是整個系統(tǒng)的最底層,主要功能是實現(xiàn)數(shù)據(jù)的采集,將數(shù)據(jù)傳輸?shù)缴弦粚舆M行處理。此層獲取的信息暫有:犯人健康狀況、犯人行為狀況以及犯人所在區(qū)域;信息處理層主要以Intel提供的EPCM-505C-ESDC嵌入式主板為核心,充分利用該板的資源,設計出一款多功能的犯人監(jiān)控終端。該層利用視頻分析、支持向量機等技術對從信息采集層采集得到的基礎進行分析、處理,然后將獲取的數(shù)據(jù)根據(jù)自定義規(guī)范統(tǒng)一的數(shù)據(jù)包格式,提交給服務器層;最后兩層主要是方便PC端用戶之間的溝通、交流,實時了解發(fā)生異常的區(qū)域,查看行為異常犯人的圖片,使獄警做好應對突發(fā)情況的緊急措施。

圖1 系統(tǒng)總體框架圖

圖2 基于嵌入式系統(tǒng)的犯人信息采集終端

2 系統(tǒng)設計

2.1 硬件設計

2.1.1 主電路設計

本系統(tǒng)的硬件部分主要集中在犯人監(jiān)測終端,監(jiān)測終端以EPCM-505C-ESDC嵌入式主板為核心,擴展了系統(tǒng)所需的各種外圍設備,包括:電源模塊、攝像頭、Zigbee模塊、閱讀器模塊、移動硬盤存儲模塊、鍵盤以及顯示器模塊等。總體接口框圖如圖1所示。

2.1.2 zigbee模塊硬件電路設計

圖3 總體接口框圖

本系統(tǒng)利用Zigbee構建起一個無線傳感器網(wǎng)絡,Zigbee模塊類似于移動網(wǎng)絡基站。在整個網(wǎng)絡范圍內(nèi),每一個Zigbee網(wǎng)絡數(shù)據(jù)模塊之間可以相互通信,每個網(wǎng)絡節(jié)點間的距離可以從標準的75 m無限擴展?；赯igbee技術的無線傳感器網(wǎng)絡可最多容納65 000個設備[5],且網(wǎng)絡的自組織、自愈能力強,通信可靠,每個Zigbee網(wǎng)絡節(jié)點不僅本身可以作為監(jiān)控對象,其所連接的傳感器直接進行數(shù)據(jù)采集和監(jiān)控,還可以自動中轉(zhuǎn)別的網(wǎng)絡節(jié)點傳過來的數(shù)據(jù)資料。在Zigbee網(wǎng)絡中,包含3種節(jié)點類型:網(wǎng)關節(jié)點、網(wǎng)絡協(xié)調(diào)節(jié)點、終端節(jié)點[6-7]。

Zigbee模塊硬件電路包含Zigbee終端節(jié)點模塊和Zigbee網(wǎng)關節(jié)點模塊。Zigbee終端節(jié)點模塊采集犯人健康信息,通過無線傳感器網(wǎng)絡將信息傳給Zigbee網(wǎng)關節(jié)點模塊,最后通過串口將信息傳給終端。整個模塊包含傳感器模塊、電源模塊、Atmega16最小系統(tǒng)模塊和Zigbee節(jié)點。各部分原理圖如下圖4和圖5所示。

圖4 Zigbee終端節(jié)點模塊原理圖

圖5 Zigbee網(wǎng)關節(jié)點模塊原理圖

2.2 軟件設計

2.2.1 軟件整體結(jié)構

系統(tǒng)軟件設計思想為模塊化設計思想,采用Microsoft公司的Visual Studio2008調(diào)用底層API函數(shù)開發(fā)系統(tǒng)所需底層軟件模塊,主要以DLL和OCX為封裝形式。應用軟件主要采用C#編程和Microsoft公司的SQL Sever2008數(shù)據(jù)庫等開發(fā)工具實現(xiàn)了系統(tǒng)的各項功能。其軟件架構圖如圖6所示。

圖6 系統(tǒng)軟件架構圖

2.2.2 終端軟件設計

終端軟件主要功能主要有兩個:顯示和控制。

控制界面(圖7)被分成了3部分:視頻控制區(qū)、RFID及無線傳感網(wǎng)控制區(qū)、服務器連接控制區(qū),這3個控制區(qū)域功能相互獨立。界面簡單操作方便,可以通過LCD觸控完成所有操作。

視頻控制區(qū)能夠打開關閉任意一路攝像頭,可以對攝像頭的參數(shù)進行簡單的設置,可以選擇圖像的來源。

RFID及無線傳感網(wǎng)控制區(qū)的主要功能是設置波特率,端口等基本的串口通信信息。

服務器連接控制區(qū)主要是負責連接服務器的,設置端口號以后選擇連接就能夠使終端連接到服務器。在終端的運行過程中,參數(shù)以及圖像等信息就能夠通過網(wǎng)絡傳送至服務器。

圖7 終端控制界面

2.2.3 客戶端軟件設計

主操作界面主要組成有整體區(qū)域地圖、警報顏色提示、警燈提示、警報聲提示、系統(tǒng)時間、快捷工具欄、工作人員身份信息顯示、監(jiān)控實時信息顯示等幾個部分。其中主要部分為整體區(qū)域地圖、警報顏色提醒兩個部分。整體區(qū)域地圖是導入某大學的地圖用來模擬監(jiān)獄地圖,并預先設定幾個區(qū)域,同時將幾個區(qū)域的邊界的坐標獲取存儲。在系統(tǒng)工作時,如遇到異常警報,客戶端根據(jù)終端發(fā)送的警報信息,獲取警報區(qū)域,根據(jù)該區(qū)域的坐標采用C#語言中的GDI繪圖和Timer控件對區(qū)域進行周期為2 s的顏色填充、清除。并將服務器發(fā)送過來的異常信息在監(jiān)控信息發(fā)布平臺窗口顯示。同時根據(jù)接收到的異常情況自動彈出異常信息窗體,顯示對應的異常信息,并更新服務器發(fā)送過來的異常信息。

3 圖像處理關鍵技術

3.1 透視變換

現(xiàn)實生活中的景物,由于觀察距離及方位不同在視覺上會引起不同的反映,這種現(xiàn)象就是透視現(xiàn)象。透視變換為三維空間中的物體到像平面的投影關系,是圖像上點的位置與空間物體表面對應點的幾何投影關系,是由成像系統(tǒng)的幾何投影模型所決定[7-8]。

圖8 客戶端軟件主操作界面

圖9 重投影示意圖

透視變換采用中心投影法,投影中心稱為視點,投影面置于視點與立體之間,將立體上與視點相連接所得的投影線與投影面的交點即為三維立體上相應點的透視變換結(jié)果,透視變換常用于圖像的校正,可以反映成像時場景平面與成像平面不平行帶來的梯形失真和線性調(diào)頻現(xiàn)象[8-9]。

攝像機拍攝立體圖像時,由于攝像機的俯仰旋轉(zhuǎn),攝像機的成像面與理想攝像機的成像面存在重投影關系,所以可以使用重投影變換將實際成像面變換為攝像機理想成像面。在透視投影中,將原圖像重新投影到另一個成像面上,稱為重投影變換,并將映射后得到的圖像稱為重投影圖像。

3.2 基于支持向量機的行為識別及目標分類

人的行為識別和理解是計算機視覺研究領域一個備受關注的前沿方向,由于其在智能監(jiān)控、人機交互、運動員輔助訓練、病人監(jiān)護、虛擬現(xiàn)實等方面有著廣泛的應用前景而成為研究熱點。通常涉及到運動檢測、目標分類、人的跟蹤及行為理解等幾個過程。目前行為識別與目標分類的方法很多,有基于神經(jīng)網(wǎng)絡方法,基于動態(tài)時間調(diào)整DTW方法,基于隱含馬爾可夫模型HMMs方法,基于句法技術方法,基于非確定論有限自動機NFA方法,基于狀態(tài)空間方法等等[10]。

在基于神經(jīng)網(wǎng)絡的方法中,支持向量機SVM由于具有較好的性能在人的行為識別與分類得到了廣泛的研究和應用。支持向量機是一種前饋網(wǎng)絡的線性機,主要思想是建立一個超平面作為決策曲面,使得兩類模式向量分開的間隔最大,支持向量機是結(jié)構風險最小化方法的近似實現(xiàn),在模式分類問題上提供較好的泛化性能。

圖10 支持向量機的體系結(jié)構

4 系統(tǒng)測試

4.1 行為識別測試

測試目的:測試算法對人行為的類型判斷的準確性。

測試內(nèi)容:對人的不同的行為的類型判斷的準確率。

測試次數(shù):每個的7種不同行為各20次,共4人。

測試方法:不同的人員的進行不同的行為演示進行多次測量,對于每一個人,演示7種不同的行為,其中包括多人同時演示。

測試環(huán)境:實驗室模擬環(huán)境、光線柔和、背景穩(wěn)定。

測試結(jié)果:如表1所示。

測試結(jié)果分析:通過本項測試發(fā)現(xiàn),在正常情況下程序算法對于走路、坐或蹲著、倒地、攀爬等行為異常能夠進行準確的判斷,在握手、打架斗毆、人群等行為異常的測試過程中判斷準確性相對比較低。

表1 行為識別測試結(jié)果

4.2 進出邊界事件測試

測試目的:測試人員邊界進出異常的捕獲的準確性。

測試內(nèi)容:區(qū)域內(nèi)外進出邊界的捕獲的準確率。

測試次數(shù):演示人員進出模擬區(qū)域邊界各50次。

測試方法:演示人員自區(qū)域中間走出去與邊界直到監(jiān)控敏感區(qū)外,再走進區(qū)域,進行多次測量。

測試環(huán)境:室外模擬環(huán)境、晴朗、環(huán)境穩(wěn)定。

測試結(jié)果:如下表2所示。

表2 進出邊界事件監(jiān)測結(jié)果

測試結(jié)果分析:通過本項測試發(fā)現(xiàn),在正常穩(wěn)定環(huán)境背景下程序算法對于邊界進出異常的捕獲基本準確。

5 總結(jié)

本文提出了一套基于物聯(lián)網(wǎng)和視頻分析技術的罪犯監(jiān)控系統(tǒng)。該系統(tǒng)綜合利用物聯(lián)網(wǎng)技術將各個子系統(tǒng)有機地形成一個網(wǎng)絡整體,避免信息孤島的出現(xiàn)。

另外通過智能視頻分析技術的應用解決了傳統(tǒng)視頻監(jiān)控系統(tǒng)所一些固有的缺陷,通過實驗驗證了所提出的的透視變換及SVM的行為識別及目標分類方法的有效性和可靠性,通過上述方法的應用,可以有效監(jiān)控罪犯行為,將監(jiān)控人員從“緊盯屏幕”的低級監(jiān)控模式中解放出來,提高監(jiān)控有效性,有助于進一步加強監(jiān)獄內(nèi)部正規(guī)管理、保障監(jiān)獄持續(xù)安全穩(wěn)定,應對各類突發(fā)事件。因此本系統(tǒng)對維護社會和諧穩(wěn)定、促進經(jīng)濟平穩(wěn)較快發(fā)展有著非常重要的社會意義和應用價值[11]。

[1]王玉夫. 監(jiān)獄數(shù)字視頻監(jiān)控報警系統(tǒng)概述[J]. 中國公共安全,2009(8):52-58.

[2]張伯虎,楊金柱,陳建莉. 智能視頻監(jiān)控系統(tǒng)分析與應用[J]. 安防科技,2006(11):68-73.

[3]李鑫. 監(jiān)獄的智能化安防系統(tǒng)[J]. 智能建筑與城市信息,2008(4):34-38.

[4]張華林,黃以平. 基于嵌入式的Internet遠程監(jiān)控系統(tǒng)[J]. 計算機系統(tǒng)應用,2009(8):49-52.

[5]楊君,詹林. 基于ZigBee無線傳感網(wǎng)絡的井下定位系統(tǒng)[J]. 計算機與現(xiàn)代化,2013(9):132-136.

[6]王志偉,錢承山,李俊,等. 基于無線傳感網(wǎng)絡的智能移動監(jiān)控系統(tǒng)設計[J]. 電子器件,2013(6):25-29.

[7]宋利利. 基于嵌入式系統(tǒng)的圖像采集和預處理裝置設計[J]. 哈爾濱理工大學學報,2010(3):42-47.

[8]王彪,王成儒,王芬芬. 固定場景下的多目標運動檢測與跟蹤[J]. 計算機工程與設計,2008,10(8):178-182.

[9]牛彥. 關于透視變換的研究[J]. 計算機輔助設計與圖像學報,2001,8(6):550-552.

[10]葉世偉,史忠植. 神經(jīng)網(wǎng)絡原理[M]. 北京:機械工業(yè)出版社,2004:199-242.

[11]張俊芳. 智能視頻監(jiān)控技術在監(jiān)獄中的應用[J]. 價值工程,2010,35:97-103.

奚吉(1977-),男,漢族,江蘇常州人,東南大學博士,河海大學講師,主要研究方向為智能信號處理等,xijie952611@gmail.com;

蔣銀忠(1969-),男,工學碩士,東南大學動力工程及工程熱物理專業(yè)畢業(yè),研究方向為熱能動力工程及物聯(lián)網(wǎng)技術等,jiangyinzhong@jsgx.net。

ASmartMonitoringSystemBasedonInternetofThingsandVideoAnalysisTechnologyforPrison*

XIJi1,JIANGYinzhong2*

(1.School of Computer Information and Engineering,Changzhou Institute of Technology,Changzhou Jiangsu 213002,China;2.Jiangsu Provincial Investment and Management Corp.,Nanjing 210005,China)

An intelligent monitoring system is presented based on the prison IOT and video analysis technology. The system mainly consists of the monitoring terminal subsystem based on embedded platform,positioning monitoring subsystem which is based on the activities of prisoners networking technology. Video analysis technology is used for intelligent behavior monitoring of prisoners. Experimental results show that,the proposed perspective transformation and SVM classification method can effectively monitor the behavior of the prisoners,which free the monitors from the low-level monitoring mode and can improve the efficiency of monitoring to achieve the best combination of "air defense,anti-technology,anti-matter".

internet of things;video analysis;recognition;motion detection;RFID;ZIGBEE

項目來源:國家自然科學基金項目(61273266)

2014-04-08修改日期:2014-05-02

TP273

:A

:1005-9490(2014)06-1183-06

10.3969/j.issn.1005-9490.2014.06.035