數(shù)據(jù)挖掘技術(shù)在網(wǎng)絡(luò)視頻監(jiān)控中的應(yīng)用

0 引言

近年來，隨著視頻監(jiān)控網(wǎng)絡(luò)化、高清化的逐步實(shí)現(xiàn)，視頻監(jiān)控系統(tǒng)的大量普及安裝，監(jiān)控系統(tǒng)所獲取并存儲(chǔ)的視頻數(shù)據(jù)信號(hào)的容量正以很快的速度增長(zhǎng)。從理想角度看，在這些視頻信號(hào)中，包括了現(xiàn)實(shí)世界中的大量的信息，應(yīng)該可以為我們的管理及安保工作帶來巨大的價(jià)值。但是從現(xiàn)實(shí)的角度來看，在大型的監(jiān)控系統(tǒng)中，依靠人工處理包含數(shù)以萬計(jì)的視頻數(shù)據(jù)集，并從中獲取信息，是非常困難、甚至是不可能的。也因此，絕大部分監(jiān)控系統(tǒng)所獲取并存儲(chǔ)的視頻數(shù)據(jù)，成了存儲(chǔ)在硬盤中無人使用的數(shù)據(jù)。

由于計(jì)算機(jī)和人兩者之間存在著比較深的“語義鴻溝”，計(jì)算機(jī)所理解的低層次圖像特征，與人類所理解的高層次語義信息，它們之間存在差異，視頻監(jiān)控?cái)?shù)據(jù)也無法成為我們能夠直接使用的信息。舉例來說，我們?cè)谟^看一段監(jiān)控視頻時(shí)，可以結(jié)合先驗(yàn)知識(shí)，判斷出視頻中奔跑的行人、交談的人群、甚至行人之間的相互關(guān)系，以及情緒等更加細(xì)節(jié)的信息，計(jì)算機(jī)卻不能這樣，它只能獲取圖像色塊、區(qū)域紋理或者運(yùn)動(dòng)方向等圖像特征。

1 數(shù)據(jù)挖掘技術(shù)給人機(jī)交流架起了溝通的橋梁

數(shù)據(jù)挖掘技術(shù)可以使我們能夠從無法直接理解的圖像特征信息中，獲取到能夠應(yīng)用的語義信息，是一座架在“語義鴻溝”之上的橋梁，但是現(xiàn)階段，在數(shù)據(jù)挖掘技術(shù)領(lǐng)域，視頻數(shù)據(jù)的挖掘還是一個(gè)難題，視頻數(shù)據(jù)是非規(guī)則的，且信息量非常龐大的一種數(shù)據(jù)格式，與文本數(shù)據(jù)不同，它并不具備文本數(shù)據(jù)那樣的語法及段落等規(guī)則；總體來看，視頻數(shù)據(jù)挖掘技術(shù)目前還處于初級(jí)階段，但是有部分技術(shù)，例如車牌識(shí)別技術(shù)、視頻入侵檢測(cè)技術(shù)等已經(jīng)到了較成熟的規(guī)模化應(yīng)用階段。另外，由于視頻信號(hào)中包含的信息量很大，對(duì)于視頻數(shù)據(jù)特征的融合和信息的提取都具有很高的難度。

2 用視頻數(shù)據(jù)挖掘技術(shù)解決用戶額需求方案

在監(jiān)控系統(tǒng)各個(gè)行業(yè)用戶，迫切需要解決的問題是如何在海量視頻數(shù)據(jù)中，提取出我們所能夠應(yīng)用到的信息，甚至是經(jīng)過歸納總結(jié)的知識(shí)。但是由于視頻監(jiān)控中包含的信息量非常的龐大，不同行業(yè)客戶，對(duì)于視頻信息的提取的信息，及使用方式有存在著很大的差異。這樣，要求針對(duì)不同行業(yè)客戶的需求，監(jiān)控技術(shù)的供應(yīng)商能夠提供不同的視頻數(shù)據(jù)挖掘的解決方案。例如公安行業(yè)用戶，在進(jìn)行刑偵工作時(shí)要對(duì)大量視頻進(jìn)行目標(biāo)查找，需要從視頻中獲取目標(biāo)的身份信息，例如人員身份信息及車輛牌照信息等，它們?cè)谌粘Ｖ伟补芾砉ぷ髦?，需要及時(shí)獲取治安異常事件的信息，例如斗毆事件或者群聚性事件，及時(shí)從視頻監(jiān)控中獲取這些信息，從而可以及時(shí)的處理；而高速公路行業(yè)用戶，需要在收費(fèi)處獲取車輛的牌照信息，在道路監(jiān)控視頻中獲取異常事件信息，例如擁堵事件、停車等，還需要提取例如車流量、平均車速等統(tǒng)計(jì)類信息以實(shí)現(xiàn)管理優(yōu)化。視頻質(zhì)量信息，這些視頻信息是各行業(yè)用戶都需要的，例如，從視頻數(shù)據(jù)中，獲取的當(dāng)前視頻設(shè)備運(yùn)行狀態(tài)是否正常，對(duì)于各行業(yè)監(jiān)控系統(tǒng)的運(yùn)行維護(hù)，這些都有著很重要的作用。

在視頻中挖掘的信息分為五類，分別是：目標(biāo)身份信息、事件語義信息、視頻統(tǒng)計(jì)信息及視頻質(zhì)量信息，目標(biāo)圖像特征信息、這是根據(jù)實(shí)際應(yīng)用需求及應(yīng)用方式的不同來分的。從視頻中獲取的可用語言描述的事件信息是事件語義信息，如有人奔跑、闖入?yún)^(qū)域、發(fā)生群聚性事件等，這類信息主要需要以報(bào)警的方式實(shí)時(shí)傳遞給用戶，用戶可以根據(jù)這類信息，實(shí)時(shí)對(duì)異常事件進(jìn)行判斷，并進(jìn)行及時(shí)的處理?？擅枋龅哪繕?biāo)圖像特征是目標(biāo)圖像特征信息，例如紅色轎車、穿黑白條紋衣服的人員等，用戶以報(bào)警的方式或者檢索的方式使用這類信息稱為目標(biāo)身份信息，人員身份及車輛牌照信息，例如車輛黑名單報(bào)警或者嫌疑人照片檢索。為了對(duì)目標(biāo)進(jìn)行快速定位用戶，在刑偵工作中，可以利用這類信息在海量視頻數(shù)據(jù)中進(jìn)行檢索。對(duì)視頻質(zhì)量進(jìn)行診斷獲取的對(duì)視頻質(zhì)量異常進(jìn)行描述的信息稱為視頻質(zhì)量信息，例如視頻被遮擋、視頻失焦、視頻偏色等，用戶可以利用這類信息進(jìn)行監(jiān)控系統(tǒng)的運(yùn)行維護(hù)。從視頻中獲取的長(zhǎng)時(shí)間統(tǒng)計(jì)數(shù)據(jù)稱為視頻統(tǒng)計(jì)信息，例如商場(chǎng)的客流量、交通要道的車流量等，用戶可以利用這類信息進(jìn)行管理工作的優(yōu)化。

3 視頻數(shù)據(jù)挖掘技術(shù)的實(shí)現(xiàn)方式

視頻數(shù)據(jù)挖掘技術(shù)的實(shí)現(xiàn)方式可分為前端設(shè)備實(shí)現(xiàn)方式和后端設(shè)備實(shí)現(xiàn)方式兩種。前端設(shè)備實(shí)現(xiàn)方式是指在各種前端監(jiān)控設(shè)備中集成智能視頻分析技術(shù)，以實(shí)現(xiàn)視頻信息的實(shí)時(shí)挖掘；后端設(shè)備實(shí)現(xiàn)方式是指利用后端服務(wù)器集群，對(duì)前端監(jiān)控設(shè)備采集的視頻信息進(jìn)行數(shù)據(jù)挖掘。一般而言，前端設(shè)備實(shí)現(xiàn)方式的優(yōu)點(diǎn)是可以對(duì)視頻數(shù)據(jù)進(jìn)行實(shí)時(shí)分析，并具有根據(jù)視頻分析算法的需要對(duì)前端設(shè)備進(jìn)行成像控制的能力，對(duì)于信息實(shí)時(shí)性或者視頻成像特性有特定要求的數(shù)據(jù)挖掘技術(shù)更適合用前端設(shè)備實(shí)現(xiàn)方式。視頻數(shù)據(jù)挖掘技術(shù)可以根據(jù)需要，在IP攝像機(jī)、NVS、NVR和網(wǎng)絡(luò)球機(jī)等多種前端設(shè)備中集成。

在后端，視頻數(shù)據(jù)挖掘技術(shù)的實(shí)現(xiàn)在于可以利用服務(wù)器集群提供更強(qiáng)大的處理能力，并可實(shí)現(xiàn)多路視頻數(shù)據(jù)之間的信息融合，同時(shí)對(duì)多路視頻數(shù)據(jù)進(jìn)行處理。視頻數(shù)據(jù)挖掘技術(shù)在后端服務(wù)器集群中實(shí)現(xiàn)，由于具有高度的靈活性及擴(kuò)展性的云計(jì)算平臺(tái)，后端實(shí)現(xiàn)方式優(yōu)秀的承載平臺(tái)，隨著云計(jì)算技術(shù)的發(fā)展及成熟，或許在不遠(yuǎn)的將來云計(jì)算平臺(tái)將在視頻數(shù)據(jù)挖掘技術(shù)中發(fā)揮著很重要的作用。

根據(jù)其應(yīng)用及技術(shù)特點(diǎn)，不同的視頻數(shù)據(jù)挖掘技術(shù)需要采用不同的實(shí)現(xiàn)方式。有些信息在數(shù)據(jù)挖掘的過程中需要對(duì)成像設(shè)備進(jìn)行控制，或者信息的應(yīng)用對(duì)于實(shí)時(shí)性有較高的要求，這類數(shù)據(jù)挖掘技術(shù)就適用于前端設(shè)備來實(shí)現(xiàn)，例如，事件語義信息的提取，用戶需要及時(shí)的獲取這類信息以做出應(yīng)對(duì)，這類信息一般以報(bào)警的方式呈現(xiàn)給用戶的挖掘技術(shù)就適合用前端設(shè)備實(shí)現(xiàn)。又例如，有些數(shù)據(jù)挖掘技術(shù)在前端攝像機(jī)中實(shí)現(xiàn)具有較大的優(yōu)勢(shì)，如車牌信息的提取及人臉圖像的檢測(cè)，為了獲取高清晰度的圖像，一般需要對(duì)成像設(shè)備進(jìn)行實(shí)時(shí)的控制，例如攝像機(jī)的曝光時(shí)間、攝像機(jī)增益值等，以并保證所獲取信息的精確度。而對(duì)于視頻質(zhì)量信息和統(tǒng)計(jì)類的信息，這些信息對(duì)于實(shí)時(shí)性和處理能力的要求并不高，用兩種前端和后端兩種方式都可以實(shí)現(xiàn)。

有時(shí)，在一些數(shù)據(jù)的挖掘的過程中，需要對(duì)多路視頻數(shù)據(jù)進(jìn)行信息融合，這需要提供很強(qiáng)的計(jì)算能力支撐系統(tǒng)，這類數(shù)據(jù)挖掘技術(shù)就適用于后端實(shí)現(xiàn)方式。例如公安部門在刑偵工作中，需要完成對(duì)海量視頻數(shù)據(jù)中，具有一定特征的目標(biāo)進(jìn)行檢索，并且需要在較短的時(shí)間內(nèi)完成，而利用服務(wù)器集群的后端實(shí)現(xiàn)方式，就可以提供高密度計(jì)算能力的支撐。

4 數(shù)據(jù)挖掘流程

視頻數(shù)據(jù)挖掘的目的是建立底層視頻數(shù)據(jù)到高層語義信息之間的映射關(guān)系，由于這種映射關(guān)系比較復(fù)雜，一般采用多層次的信息提取及映射技術(shù)來最終實(shí)現(xiàn)數(shù)據(jù)挖掘過程。在視頻數(shù)據(jù)挖掘過程中，從底層的視頻數(shù)據(jù)中首先提取低層圖像特征信息，包括圖像紋理、圖像色塊、運(yùn)動(dòng)矢量、圖像邊緣、灰度直方圖等信息，這類信息無法為我們所直接理解，它們是提取元語義信息的基礎(chǔ)。然后利用目標(biāo)檢測(cè)、目標(biāo)跟蹤、特征比對(duì)等手段從圖像特征中提取元語義信息，包括運(yùn)動(dòng)目標(biāo)、運(yùn)動(dòng)目標(biāo)軌跡、車牌圖片、人臉圖片等，這類信息已經(jīng)可以為我們所理解，但是離最終應(yīng)用還有距離。最后將元語義信息融合為高層的語義級(jí)描述信息，例如融合運(yùn)動(dòng)目標(biāo)軌跡信息及用戶設(shè)計(jì)的禁區(qū)信息所生成的描述內(nèi)容為“發(fā)現(xiàn)有人闖入禁區(qū)”的語義級(jí)報(bào)警信息，再例如融合目標(biāo)行人目標(biāo)檢測(cè)信息及運(yùn)動(dòng)軌跡信息可以生成客流量統(tǒng)計(jì)報(bào)表等，隨著提取信息的層次越高，其包含的信息量逐步減少，其信息的抽象程度越高，也更接近我們所能應(yīng)用及理解的范疇。

5 行業(yè)應(yīng)用分析

不同行業(yè)對(duì)于視頻信息的需求及應(yīng)用方式是截然不同的，因此很難開發(fā)出一套通用的視頻數(shù)據(jù)挖掘技術(shù)去適用于各個(gè)行業(yè)。因此，在現(xiàn)有的技術(shù)發(fā)展水平下，根據(jù)各行業(yè)的需求，開發(fā)專用的視頻數(shù)據(jù)挖掘系統(tǒng)是比較合理的做法。視頻數(shù)據(jù)挖掘技術(shù)可以從視頻中獲取描述運(yùn)動(dòng)目標(biāo)的各種元語義信息，并結(jié)合用戶事先設(shè)定的規(guī)則生成報(bào)警事件描述性語義信息，并及時(shí)通知用戶，使用戶能夠及時(shí)對(duì)這類事件做出反應(yīng)。這類視頻數(shù)據(jù)挖掘技術(shù)已經(jīng)發(fā)展到一定的成熟度，并在機(jī)場(chǎng)、鐵路、監(jiān)獄、油田、住宅小區(qū)等監(jiān)控領(lǐng)域有了較多的應(yīng)用，但是這類技術(shù)具有比較強(qiáng)的場(chǎng)景依賴性，在比較復(fù)雜多變的場(chǎng)景下其應(yīng)用效果還需要進(jìn)一步提升。目前，由于技術(shù)上的限制，從視頻中挖掘的統(tǒng)計(jì)信息雖無法保證百分之百精確，它的優(yōu)勢(shì)在于成本低廉且獲取的數(shù)據(jù)量龐大。監(jiān)控視頻中包含了大量統(tǒng)計(jì)類信息，這類信息對(duì)管理優(yōu)化及決策輔助有寶貴的應(yīng)用價(jià)值，例如對(duì)于連鎖行業(yè)客戶，連鎖店的客流量、保有量及客戶購(gòu)買率等信息非常重要，而現(xiàn)階段，要獲取這一類的信息，一般只能靠成本非常昂貴的人工方式來統(tǒng)計(jì)，利用視頻數(shù)據(jù)挖掘技術(shù)，我們可以通過安裝在連鎖店門口的攝像機(jī)，來獲取進(jìn)出店門的人員視頻，并從視頻中獲取進(jìn)出人員，人員運(yùn)動(dòng)軌跡等信息，并最終根據(jù)用戶設(shè)定的需求來生成各類統(tǒng)計(jì)報(bào)表。