視頻智能監(jiān)控技術(shù)

陳楠 洪峰 鄒煥新 葛鯤鵬 侯夢(mèng)琳

摘要：近年來，隨著經(jīng)濟(jì)迅猛發(fā)展，社會(huì)治安問題日益凸顯，各種場(chǎng)合對(duì)安全防范的需求不斷增加，傳統(tǒng)的監(jiān)控模式已經(jīng)遠(yuǎn)遠(yuǎn)不能滿足現(xiàn)有需求，結(jié)合各監(jiān)控場(chǎng)景特點(diǎn)的視頻智能監(jiān)控系統(tǒng)是熱門發(fā)展趨勢(shì)。本文在查閱大量參考文獻(xiàn)的基礎(chǔ)上，首先對(duì)視頻智能監(jiān)控系統(tǒng)的一般流程進(jìn)行了概述，然后對(duì)智能視頻監(jiān)控系統(tǒng)相應(yīng)常用技術(shù)進(jìn)行了梳理歸類，最后指出了視頻智能監(jiān)控系統(tǒng)存在的一些實(shí)際問題和困難，并對(duì)將來視頻智能監(jiān)控系統(tǒng)的發(fā)展趨勢(shì)進(jìn)行了展望。

關(guān)鍵詞：智能監(jiān)控系統(tǒng) 背景分析 目標(biāo)跟蹤 特征提取 特征分析

中圖分類號(hào)：TN948.6 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1007-9416（2016）07-0012-02

1 引言

隨著社會(huì)高速發(fā)展，突發(fā)事件也日益增多，因此人們對(duì)安防的要求也越來越高。傳統(tǒng)的監(jiān)控系統(tǒng)通常只具有視頻錄制功能，大部分監(jiān)控任務(wù)還是由人工操作來完成，這樣不僅僅費(fèi)時(shí)費(fèi)力同時(shí)漏報(bào)、錯(cuò)報(bào)現(xiàn)象還經(jīng)常發(fā)生，這樣給警察及相關(guān)安防人員帶來了極大的不便。因此，視頻智能監(jiān)控系統(tǒng)具有廣闊的應(yīng)用前景，他已成為當(dāng)今社會(huì)迫切需求的一種安放手段。視頻智能監(jiān)控系統(tǒng)是指在幾乎不需人工干預(yù)的前提下，運(yùn)用數(shù)字圖像處理、機(jī)器視覺和模式識(shí)別等相關(guān)技術(shù)對(duì)監(jiān)控探頭拍攝下的視頻序列進(jìn)行自動(dòng)處理分析，進(jìn)而提取所需信息的一門綜合性技術(shù)。

目前，國內(nèi)外許多機(jī)構(gòu)和科研工作者對(duì)智能視頻監(jiān)控技術(shù)有著很濃厚的興趣，并進(jìn)行了廣泛研究。在航天工程、軍事國防、司法領(lǐng)域、公共區(qū)域安防和公路交通安全等領(lǐng)域發(fā)揮了明顯的作用。本文在參考大量文獻(xiàn)的基礎(chǔ)上，對(duì)智能視頻監(jiān)控系統(tǒng)進(jìn)行了綜述，文章的具體結(jié)構(gòu)如下：第一部分為引言部分；第二部分給出了智能視頻監(jiān)控系統(tǒng)的主要流程；第三部分結(jié)合智能視頻監(jiān)控技術(shù)研究發(fā)展現(xiàn)狀，對(duì)比較常用的系統(tǒng)相關(guān)算法進(jìn)行了分析；第四部分探討了智能視頻監(jiān)控技術(shù)存在的問題同時(shí)對(duì)下一步的發(fā)展方向進(jìn)行了展望。

2 視頻智能監(jiān)控系統(tǒng)的一般流程

目前，智能視頻監(jiān)控系統(tǒng)的流程主要包括背景分析、目標(biāo)跟蹤、特征提取、行為分析四個(gè)主要步驟（圖1所示）。

視頻監(jiān)控場(chǎng)景中的異常行為可以歸納為很少發(fā)生的事件，或者是以前未發(fā)生的行為。有許多不同類型的事件可以被描述為異常的，但常見的描述是這些行為偏離場(chǎng)景中出現(xiàn)的大多數(shù)行為。

為了能夠建模異常行為，我們通過對(duì)視頻訓(xùn)練集進(jìn)行視覺主觀分析開始。我們必須了解發(fā)生異常事件之前、期間及之后視頻序列中發(fā)生了什么。通過測(cè)試一些相同類型的事件視頻，我們發(fā)現(xiàn)可以為事件定義一套標(biāo)準(zhǔn)，標(biāo)準(zhǔn)作為閾值。如果符合所有預(yù)定義值，則判定相應(yīng)異常事件發(fā)生。

系統(tǒng)提取場(chǎng)景中相關(guān)目標(biāo)的外觀特征。這些特征的融合包含了足夠的信息可以描述目標(biāo)進(jìn)行相應(yīng)異常事件的特性。

因?yàn)槟軌蝾A(yù)定義一個(gè)目標(biāo)的行為，因此能夠構(gòu)建一個(gè)系統(tǒng)，該系統(tǒng)用于提取和分析特征，提取的特征與預(yù)定義的標(biāo)準(zhǔn)做比較。每個(gè)特征通過閾值與每個(gè)準(zhǔn)則做比較。對(duì)于每個(gè)特征，系統(tǒng)返回假定目標(biāo)發(fā)生異常的幀數(shù)。如果每個(gè)特征比較返回相同的幀數(shù)，那么特征分析得出相同的結(jié)果。在這種情況下，說明每次比較對(duì)于目標(biāo)異常行為的發(fā)生有相同的結(jié)果。

在目標(biāo)異常行為發(fā)生之前、期間及之后，通過描述上述事件含有什么，我們就能夠獲得一套預(yù)定義準(zhǔn)則。如果特征分析達(dá)到這些標(biāo)，則能夠確定目標(biāo)異常行為已經(jīng)發(fā)生，并且能夠判定具體是哪一種異常行為。

3 智能視頻監(jiān)控系統(tǒng)相關(guān)技術(shù)

伴隨著越來越多的智能視頻監(jiān)控系統(tǒng)陸續(xù)投入使用，視頻序列智能化分析進(jìn)入一個(gè)全新時(shí)代，計(jì)算機(jī)技術(shù)的發(fā)展使智能檢測(cè)技術(shù)從傳統(tǒng)的人工判讀邁入了人工智能時(shí)代，很多學(xué)者投入大量精力研究視頻序列異常行為檢測(cè)技術(shù)當(dāng)中，各種檢測(cè)方法層出不窮，各有所長。目前，異常行為檢測(cè)方法尚無嚴(yán)格的區(qū)分，拋開硬件因素和假想的算法，智能視頻監(jiān)控系統(tǒng)的核心技術(shù)一般來有背景提取、目標(biāo)跟蹤、特征提取及特征分析。

3.1 背景提取算法

背景差分法，可說是有效的低水平視覺處理，進(jìn)而執(zhí)行像運(yùn)動(dòng)分析、運(yùn)動(dòng)估計(jì)和目標(biāo)跟蹤等高級(jí)任務(wù)。為此就必須獲得背景信息并隨著時(shí)間推移更新的表示，然后與實(shí)際輸入進(jìn)行比較進(jìn)而確定差異區(qū)域，這種方法必須是自適應(yīng)的，并且能夠處理光照條件的變化。當(dāng)場(chǎng)景中存在運(yùn)動(dòng)目標(biāo)時(shí)，圖像在某些時(shí)間窗口平均是描述靜態(tài)場(chǎng)景的有效途徑，然后進(jìn)一步描述連續(xù)函數(shù)，來更好地表現(xiàn)這種場(chǎng)面的光照。在有限和平穩(wěn)變化的假設(shè)下，Christof Ridder等提出卡爾曼濾波器來獲得背景特征，而C.R.Wren考慮了單邊高斯分布的使用。

Jia等提出了新的基于顏色空間模型的閾值法，并將其應(yīng)用到背景差法中，此模型使用每個(gè)像素的顏色失真和亮度失真來檢測(cè)變化。顏色失真反應(yīng)顏色空間中的向量位置，因此它可以有效地處理顏色特征。此外，此閾值法還某種程度地移除了運(yùn)動(dòng)的影子，將它應(yīng)用于背景差法將獲得一個(gè)比較完整的前景目標(biāo)。對(duì)于相對(duì)復(fù)雜的背景，借鑒Canny邊緣檢測(cè)算法中滯后閾值的影響并將雙閾值引入背景差法中，它實(shí)現(xiàn)了含有復(fù)雜背景的視頻的魯棒性檢測(cè)，此法和其他多模型的方法相比，測(cè)試結(jié)果表明了該算法的可行性。

Friedman等的思想是，從時(shí)間平均背景圖像中減去當(dāng)前圖像，只剩下非穩(wěn)定的對(duì)象。然而，這只是當(dāng)前圖像分類的錯(cuò)誤結(jié)果，它不適用于緩慢移動(dòng)的目標(biāo)，不能區(qū)分陰影和移動(dòng)目標(biāo)。對(duì)于緩慢目標(biāo)，使用一個(gè)模型將每個(gè)像素分類，該模型是當(dāng)一個(gè)像素屬于不同類別時(shí)，通過使用無監(jiān)督技術(shù)學(xué)習(xí)每個(gè)像素的混合高斯分類模型，這是EM的改進(jìn)模板。不同于標(biāo)準(zhǔn)圖像平均方法，這會(huì)根據(jù)目標(biāo)間的可能性自動(dòng)更新每個(gè)類的混合成分，因此能夠完美地解決緩慢移動(dòng)的物體，這種方法也比閾值法等其他方法更有效地標(biāo)識(shí)和消除陰影。

3.2 目標(biāo)跟蹤算法

S.Calderara等提出動(dòng)態(tài)編程技術(shù)有效地比較人軌跡的編碼方案，此方案同時(shí)考慮了運(yùn)動(dòng)的方向和速度。其創(chuàng)新點(diǎn)在于采用動(dòng)態(tài)編程技術(shù)有效地比較軌跡。此技術(shù)借用了生物信息學(xué)，將軌跡的編碼作為一系列的方向和速度，并以有效的方式成對(duì)比較它們。然后，利用動(dòng)態(tài)編程技術(shù)計(jì)算訓(xùn)練階段軌跡對(duì)時(shí)間的總得分，而后通過k中心聚類算法將最終得分聚類。聚類后，每個(gè)類成員可以用于距類中心距離的一維高斯分布建模。最后，使用最大后驗(yàn)概率準(zhǔn)則為具有最大后驗(yàn)概率的軌跡類分配了新的軌跡。

是一個(gè)檢測(cè)跟蹤多目標(biāo)以及監(jiān)測(cè)室外活動(dòng)的實(shí)時(shí)視覺監(jiān)控系統(tǒng)。它適用于單視灰度視頻圖像或紅外視頻圖像。對(duì)人及其部位（頭、手、腳、 軀干）進(jìn)行形狀分析和跟蹤定位并創(chuàng)建人的外觀模型，以便其可以通過如遮擋等障礙跟蹤到目標(biāo)，它可以判定前景區(qū)域是否包含多人，還可以將區(qū)域分割成數(shù)個(gè)人并跟蹤他們，還可以判定行人是否攜帶物體，從其輪廓分割出物體，并為他們構(gòu)建外觀模型，以便可以在后續(xù)幀中標(biāo)識(shí)它們。還可以識(shí)別人和物體間的行為，如存放物體、交換背包，或移除物體等。

跟蹤圖像序列中的多個(gè)運(yùn)動(dòng)目標(biāo)包括運(yùn)動(dòng)檢測(cè)和分割是一項(xiàng)復(fù)雜的任務(wù)。圖像運(yùn)動(dòng)可能在幀間變化極大，如隨著監(jiān)控探頭振動(dòng)圖像運(yùn)動(dòng)變化較大，由于不能假設(shè)時(shí)間運(yùn)動(dòng)恒常性，這種變化在跟蹤長時(shí)間序列的時(shí)候非常困難。Michal Irani等提出了使用時(shí)空一體化而不用假設(shè)運(yùn)動(dòng)恒常性的檢測(cè)跟蹤方法，將序列中的每一幀與跟蹤目標(biāo)的動(dòng)態(tài)內(nèi)部表示圖相比，在基于運(yùn)動(dòng)計(jì)算之后，通過瞬時(shí)整合幀構(gòu)建此圖像。瞬時(shí)整合幀適用于增強(qiáng)某些區(qū)域，在這些區(qū)域中運(yùn)動(dòng)被跟蹤，這些效果有助于后續(xù)幀的運(yùn)動(dòng)分析，便于繼續(xù)跟蹤相同目標(biāo)和分割相同跟蹤區(qū)域。

3.3 特征提取方法

特征提取在模式識(shí)別、模式分類、數(shù)據(jù)挖掘、 機(jī)器學(xué)習(xí)上一直是一個(gè)重要的研究課題，已被許多研究者廣泛研究。大多通用的特征提取方法是使用類間的標(biāo)準(zhǔn)函數(shù)或全局函數(shù)。雖然這些方法在大多數(shù)情況下相對(duì)適用，但在多分類問題上卻不是最佳方案。為了解決這一問題，Choi等提出一種優(yōu)化多類別分類問題的特征提取方法，該文章中第一次研究特征空間中多分類問題的分類精度分布，發(fā)現(xiàn)存在很多更好的特征集，這些特征集是傳統(tǒng)的特征提取算法所不能找到的，該文章提出了發(fā)現(xiàn)這種特征的算法。遙感數(shù)據(jù)的實(shí)驗(yàn)結(jié)果表明，相比于傳統(tǒng)特征提取算法，該算法有更好的性能。

3.4 特征分析方法

Li等[使用多模特征分析提出了異常行為檢測(cè)框架。在這一框架中，先從視頻數(shù)據(jù)中提取多模特征，然后分析這些特征形成多個(gè)中級(jí)概念，如視頻鏡頭，人臉外觀等。然后采用邏輯回歸分析和貝葉斯置信網(wǎng)絡(luò)這兩個(gè)方案，將多模特征分析和感興趣視頻行為檢測(cè)中提取的信息相融合。作者旨在將這個(gè)框架作為一個(gè)通用模板用于不同視頻域中的行為檢測(cè)。在不同視頻域中的不同測(cè)試視頻上進(jìn)行實(shí)驗(yàn)，結(jié)果表明此種方案是可行的。

4 智能視頻監(jiān)控系統(tǒng)發(fā)展前景展望

由于智能視頻監(jiān)控系統(tǒng)的現(xiàn)實(shí)需求，異常行為檢測(cè)的研究也越來越深入，許多機(jī)構(gòu)和學(xué)者等都做了大量的工作。從現(xiàn)有的智能視頻監(jiān)控系統(tǒng)中我們不難看出，在實(shí)際應(yīng)用上還存在一些問題，具體有以下幾個(gè)方面：

（1）背景分析作為監(jiān)控系統(tǒng)運(yùn)行過程中一個(gè)非常重要的步驟，他為目標(biāo)前景提取奠定了基礎(chǔ)，背景分割不好將會(huì)導(dǎo)致后續(xù)階段的數(shù)據(jù)特征生成不足。改進(jìn)現(xiàn)有方法和算法來進(jìn)行背景差分法為將來繼續(xù)研究更高的相關(guān)課題提供技術(shù)支持。

（2）加強(qiáng)標(biāo)記過程來改進(jìn)目標(biāo)的跟蹤。就這點(diǎn)來說，想要改善系統(tǒng)必須改善標(biāo)記過程，使系統(tǒng)能夠在同一時(shí)間跟蹤同一場(chǎng)景中的幾個(gè)運(yùn)動(dòng)目標(biāo)。此外為了能夠處理場(chǎng)景中的幾個(gè)物體，只要目標(biāo)存在于場(chǎng)景中，每個(gè)目標(biāo)應(yīng)該給一個(gè)靜態(tài)的標(biāo)記。

（3）系統(tǒng)應(yīng)能夠處理其他類型的異常行為。這將包括為每個(gè)新的事件制定新的標(biāo)準(zhǔn)，并在已存在的系統(tǒng)中完成這些功能。

5 結(jié)語

本文從視頻監(jiān)控系統(tǒng)的發(fā)展史入手，而后對(duì)智能視頻監(jiān)控系統(tǒng)的一般流程和方法及現(xiàn)有的方法進(jìn)行了分類總結(jié)，對(duì)一些常用的、有代表性的方法進(jìn)行了梳理分類，并對(duì)異常行為檢測(cè)技術(shù)的發(fā)展前景進(jìn)行了展望，分析了現(xiàn)有檢測(cè)方法上存在的問題和困難，同時(shí)對(duì)下一步的發(fā)展趨勢(shì)進(jìn)行了大膽預(yù)測(cè)。相信隨著更高智能化分析系統(tǒng)的出現(xiàn)，應(yīng)用需求的不斷增加，技術(shù)手段的持續(xù)發(fā)展，智能視頻監(jiān)控系統(tǒng)將會(huì)得到更廣泛的應(yīng)用。