基于OpenCV的視頻監(jiān)控追蹤系統(tǒng)的設(shè)計與實現(xiàn)

劉京城，劉少華

(長江大學(xué) 地球科學(xué)學(xué)院，湖北 武漢 430100)

1 引 言

2007年10月，吉林省長春市開始打造城市安全網(wǎng)，最先將視頻監(jiān)控系統(tǒng)建設(shè)立項為“天網(wǎng)工程”。這一套系統(tǒng)是利用設(shè)置在城市及農(nóng)村的大量攝像頭，組成監(jiān)控網(wǎng)絡(luò)，以便于維護(hù)城市治安，打擊街面犯罪，是城市治安的堅強后盾。目前，市面上大部分監(jiān)控系統(tǒng)和公安“天網(wǎng)監(jiān)控系統(tǒng)”一樣，都是利用人工查看視頻，效率低，浪費人力物力，給預(yù)防犯罪和執(zhí)法工作帶來了嚴(yán)峻的挑戰(zhàn)[1]。

本文針對上述問題，設(shè)計開發(fā)了一套基于OpenCV技術(shù)為依托的人臉識別與基于神經(jīng)網(wǎng)絡(luò)路線預(yù)測模型的視頻監(jiān)控追蹤系統(tǒng)。系統(tǒng)通過監(jiān)控區(qū)域的監(jiān)控設(shè)備獲取監(jiān)控圖像，進(jìn)行實時監(jiān)控，并對目標(biāo)人物進(jìn)行識別追蹤，取得目標(biāo)人物連續(xù)的行為路線，利用神經(jīng)網(wǎng)絡(luò)預(yù)測模型，對目標(biāo)人物的目的地進(jìn)行預(yù)測，并輔助生成圍堵方案，最后基于GIS空間位置信息，在地圖模塊上顯示。從而提高對監(jiān)控區(qū)域的管控能力，提高指揮準(zhǔn)確性、科學(xué)性以及多單位協(xié)調(diào)能力，提高科技和信息化的應(yīng)用水平，保證對緊急情況快速合理的處理[2，3]。

2 系統(tǒng)服務(wù)內(nèi)容

為解決人工查看視頻的問題，本系統(tǒng)根據(jù)需求調(diào)研和分析，提出如下幾個方面的服務(wù)內(nèi)容：①建立一個基于OpenCV的視頻監(jiān)控平臺。將區(qū)域內(nèi)監(jiān)控設(shè)備取得的視頻流，在監(jiān)控界面顯示。②利用GIS空間信息管理方式，利用OpenGL將空間信息直觀地顯示在系統(tǒng)內(nèi)，如道路信息、設(shè)備位置信息以及目標(biāo)任務(wù)位置信息等。③利用神經(jīng)網(wǎng)絡(luò)預(yù)測模型，基于目標(biāo)人物的蹤跡，對目標(biāo)人物的目的地進(jìn)行預(yù)測，并輔助生成圍堵方案。

3 系統(tǒng)總體結(jié)構(gòu)

系統(tǒng)總體結(jié)構(gòu)為C/S(client/server)結(jié)構(gòu)，如圖1所示。

圖1 總體結(jié)構(gòu)圖

3.1 系統(tǒng)功能設(shè)計

系統(tǒng)主要包括5個子功能系統(tǒng)，每個子系統(tǒng)實現(xiàn)了相應(yīng)的功能，如圖2所示。

圖2 功能結(jié)構(gòu)圖

(1)視頻監(jiān)控模塊。實現(xiàn)用戶監(jiān)控區(qū)域內(nèi)監(jiān)控畫面的實時傳輸顯示，用戶打開系統(tǒng)后，查看監(jiān)控區(qū)域的圖像，可回放、暫停、提取目標(biāo)人物等。

(2)地圖顯示模塊。獲取用戶當(dāng)前所在的位置，并默認(rèn)讀取本地文件，在地圖模塊顯示道路、監(jiān)控設(shè)備等信息。獲取道路、監(jiān)控設(shè)備位置信息后，系統(tǒng)會顯示此信息，用戶即可搜索或點擊地物，察看地物的詳細(xì)信息。

(3)人臉識別模塊。用戶通過系統(tǒng)添加目標(biāo)人物的信息后，人臉識別模塊啟動，通過設(shè)置采集數(shù)據(jù)的時間間隔(0.5S)，從監(jiān)控視頻流中讀取當(dāng)前的幀信息，利用系統(tǒng)已訓(xùn)練和學(xué)習(xí)的分類，當(dāng)作查詢輸入系統(tǒng)進(jìn)行檢索，查看是否有匹配項，從而確定目標(biāo)人物的位置信息。

(4)行動預(yù)測模塊。根據(jù)識別到的一系列目標(biāo)的行走路線，利用神經(jīng)網(wǎng)絡(luò)預(yù)測模型對目標(biāo)的目的地進(jìn)行預(yù)測，最后系統(tǒng)返回較準(zhǔn)確的檢索結(jié)果。根據(jù)系統(tǒng)檢索結(jié)果，系統(tǒng)會自動將結(jié)果顯示在地圖界面，并閃爍顯示。

(5)輔助圍堵決策模塊。利用目標(biāo)的預(yù)測目的地，在一定緩沖區(qū)內(nèi)，建立圍堵模型，得到需要圍堵的道路，生成輔助決策方案。

3.2 OpenCV中面部特征提取分類器

在OpenCV中，CascadelClassifier是一個做面部特征檢測時關(guān)鍵的分類器，OpenCV低版本只支持Haar特征提取，但是新版本的分類器增加了LBP特征，既Haar特征與LBP特征。

本文中使用的OpenCV是2.4.6版本，使用Haar的特征。當(dāng)Haar特征被用于識別對象時，需要計算積分圖像以便于計算Haar特征。即選取訓(xùn)練時相同尺寸的窗口遍歷圖像，然后逐步擴大窗口，重復(fù)利用該方法對搜索目標(biāo)進(jìn)行臉部特征提取，然后移動搜索窗口位置，再次計算該區(qū)域內(nèi)的Haar，并與Haar的特征分類閾值的加權(quán)比較，得到分支值，并累加一個級的分支值和相應(yīng)級的閾值進(jìn)行比較，當(dāng)該值大于閾值時，則通過，進(jìn)入下一輪計算比較。當(dāng)該窗口通過分類器所有級時，說明目標(biāo)很有可能被識別。也就是說，這個方法需要計算機對大量臉部輪廓樣本進(jìn)行訓(xùn)練和學(xué)習(xí)，從而進(jìn)行臉部特征提取。本文主要使用DeTectFaces模型進(jìn)行面部特征提取，效率比較高[4]。

3.3 OpenCV中人臉識別模型

人臉識別主要使用的是FaceRecognizor類，是一個基于Algorithm的常見類。其中方便用戶使用FaceRecognizor類，F(xiàn)aceRecognizor類中定義了Ptr智能指針，我們不用考慮內(nèi)存的申請與釋放。目前，F(xiàn)aceRecognizor類有3種人臉識別模型，分別是EigenFace特征臉、Fisher臉以及LBPHFace局部二元模式直方圖，三個模型分別通過調(diào)用createEigenFaceRecognizor()等相關(guān)函數(shù)建立模型。

本文主要采用OpenCV庫中人臉識別類(FaceRecognizor)中的LBPH模型(即局部二進(jìn)制模式直方圖)。FaceRecognizor在建立數(shù)學(xué)模型時，需要準(zhǔn)備一個向量vector，是一個用于存放樣本的容器。此后，使用FaceRecognizor的createLBPHFaceRecognizor()方法建立LBPH模型，再使用train(vector，vector)方法進(jìn)行樣本訓(xùn)練，最終得到一個用來識別目標(biāo)人臉的LBHP模型[4，5]。

3.4 神經(jīng)網(wǎng)絡(luò)預(yù)測模型

理論上，BP模型能夠無限向任意非線性函數(shù)逼近的優(yōu)勢。在已知模式下，通過模式訓(xùn)練以及學(xué)習(xí)，模型就能夠進(jìn)行預(yù)測。其中，輸入層中的神經(jīng)元數(shù)量和歸一化位置信息特征向量的數(shù)量相同。在神經(jīng)網(wǎng)絡(luò)的實際應(yīng)用中，樣本數(shù)據(jù)用于訓(xùn)練和學(xué)習(xí)，在不斷地測試中，尋找誤差最小的神經(jīng)元個數(shù)，80%-90%的模型采用BP網(wǎng)絡(luò)或其變化形式。本文也是采用此模型[6，7]。

3.5 與GIS相結(jié)合的OpenGL底層圖形庫

通過OpenGl，將GIS技術(shù)引入，建立GIS空間數(shù)據(jù)庫，將其具有空間位置信息的特點融入視頻監(jiān)控追蹤工作中，連接數(shù)據(jù)庫和地理信息系統(tǒng)，實現(xiàn)實體屬性和圖像數(shù)據(jù)的關(guān)聯(lián)，存儲匯總道路、監(jiān)控設(shè)備等數(shù)據(jù)，對數(shù)據(jù)、表格、圖像進(jìn)行一體化管理，將數(shù)據(jù)以圖的形式展示，從而進(jìn)行區(qū)域分析和模型分析，使得圖數(shù)并茂，為空間分析與輔助決策提供便利[8，9]。

4 平臺實現(xiàn)與實例檢測

選用Qt作為系統(tǒng)開發(fā)框架，使用MVC三層架構(gòu)的設(shè)計思想，其中表現(xiàn)層以對PC客戶端的接口形式存在。系統(tǒng)采用OpenCV中庫函數(shù)cvCreateCameraCapture()實時的采集攝像頭數(shù)據(jù)。系統(tǒng)采用性能高、穩(wěn)定、安全的SQL Sever數(shù)據(jù)庫，并采用JDBC技術(shù)訪問數(shù)據(jù)庫。客戶端的開發(fā)工具選用Qt Creator(community)。此外，還需要在Qt中配置OpenGL環(huán)境。圖3為系統(tǒng)界面，為了更好地與用戶交互，左側(cè)主要顯示攝像頭設(shè)備信息與查找對象的信息，用戶可以對此類信息進(jìn)行基本操作(增刪改查)，中間主要顯示視頻監(jiān)控畫面，右側(cè)與GIS相結(jié)合，顯示地圖信息和通過人臉識別查找到的對象蹤跡的詳細(xì)信息?！氨O(jiān)控設(shè)備”功能主要對設(shè)備的讀取進(jìn)行管理，在地圖窗口中可以顯示設(shè)備位置。“查找對象”功能主要可以查找對象的詳細(xì)信息，在地圖窗口中可以顯示查找對象被識別出來的一系列位置[10]。

圖3 系統(tǒng)主界面

為了驗證本系統(tǒng)的性能，我們在系統(tǒng)開發(fā)平臺的支持下，利用現(xiàn)有的硬件設(shè)備，選取長江大學(xué)武漢校區(qū)較均勻分布的16個監(jiān)控攝像頭的視頻進(jìn)行20組實驗，其中理想情況中一組實驗如圖4所示，實驗?zāi)繕?biāo)實際路徑由A點到B點再到C點，即黃色路段，系統(tǒng)識別成功，并通過神經(jīng)網(wǎng)絡(luò)預(yù)測模型，預(yù)測目標(biāo)將到達(dá)D點，并做出了詳細(xì)的圍堵方案，即紅色路段。實際情況如圖5所示，實驗表明利用該系統(tǒng)能夠快速高效地進(jìn)行目標(biāo)追蹤和預(yù)測以及輔助生成圍堵方案。

圖4 某組實驗結(jié)果圖

數(shù)目百分比/%理想1470較理想315一般15失敗210總計20100

圖5實驗驗證情況

5 總 結(jié)

本系統(tǒng)結(jié)合GIS思想構(gòu)建視頻監(jiān)控追蹤平臺，為用戶提供基于地理位置的視頻監(jiān)控追蹤服務(wù)，將監(jiān)控和追蹤置于同一平臺，有效地解決了人工查看視頻的難題，提高了效率。目前，GIS行業(yè)正蓬勃發(fā)展，80%信息數(shù)據(jù)都與地理空間信息有關(guān)，視頻監(jiān)控安保與GIS將結(jié)合還處于探索階段，本文針對視頻監(jiān)控追蹤的問題，提出了相應(yīng)的解決思路并加以實現(xiàn)，具有一定的推廣價值。

[1] 毋立芳，侯亞希，許曉等. 基于緊致全姿態(tài)二值SIFT的人臉識別[J]. 儀器儀表學(xué)報，2015，36(4)：736～742.

[2] 嚴(yán)嚴(yán)，章毓晉. 基于視頻的人臉識別研究進(jìn)展[J]. 計算機學(xué)報，2009，32(5)：878～886.

[3] 吳健新，李翠華，吳曉昶等. 數(shù)字視頻監(jiān)控系統(tǒng)開發(fā)平臺的設(shè)計與實現(xiàn)[J]. 廈門大學(xué)學(xué)報·自然科學(xué)版，2006(3)：352～354.

[4] 呂世良，王曉茜，劉金國. 數(shù)字視頻監(jiān)控系統(tǒng)設(shè)計與實現(xiàn)[J]. 測控技術(shù)，2014，33(2)：80～82+86.

[5] 楊元挺. 快速反應(yīng)智能安全監(jiān)控系統(tǒng)的設(shè)計與實現(xiàn)[J]. 電子技術(shù)應(yīng)用，2009(11)：18～21.

[6] 范哲意，曾亞軍，蔣姣等. 視頻人臉識別實驗平臺的設(shè)計與實現(xiàn)[J]. 實驗技術(shù)與管理，2016(3)：159～161+165.

[7] 李海朋，李晶皎，閆愛云等. 人臉識別中的遺傳神經(jīng)網(wǎng)絡(luò)并行實現(xiàn)[J]. 計算機科學(xué)，2015(S1)：168～170+174.

[8] 呂世良，王曉茜，劉金國. 數(shù)字視頻監(jiān)控系統(tǒng)設(shè)計與實現(xiàn)[J]. 測控技術(shù)，2014，33(2)：80～82+86.

[9] 朱慶，李德仁，龔健雅等. 數(shù)碼城市GIS的設(shè)計與實現(xiàn)[J]. 武漢大學(xué)學(xué)報·信息科學(xué)版，2001(1)：8～11+17.

[10] 顧志松，沈春鋒，姚文韜等. 高清人像抓拍檢索系統(tǒng)的設(shè)計與實現(xiàn)[J]. 控制工程，2015(S1)：68～71.