智能視頻監(jiān)控背景建模及算法分析

智能視頻監(jiān)控在不需要人為干預(yù)的情況下，利用計(jì)算機(jī)視覺和視頻分析的方法對(duì)攝像機(jī)拍錄的圖像序列進(jìn)行自動(dòng)分析，實(shí)現(xiàn)動(dòng)態(tài)場景中的目標(biāo)的檢測、識(shí)別和跟蹤，并在此基礎(chǔ)上分析和判斷目標(biāo)的行為。

概論

智能視頻監(jiān)控技術(shù)能夠可靠地、有效地完成對(duì)重要場所的監(jiān)視保護(hù)任務(wù)，從而備受人們的關(guān)注。智能視頻監(jiān)控系統(tǒng)在銀行、交通、軍事、商業(yè)等部門都得到了非常廣泛的應(yīng)用。隨著計(jì)算機(jī)技術(shù)、硬件技術(shù)與通信技術(shù)的飛速發(fā)展，視頻監(jiān)控技術(shù)也得到了不斷地發(fā)展。智能視頻監(jiān)控系統(tǒng)中的運(yùn)動(dòng)目標(biāo)檢測與跟蹤為智能監(jiān)控的進(jìn)一步的分析工作提供了數(shù)據(jù)支撐。人類獲取的各種信息中有大約80%是來自于視覺的。在視覺和人腦的配合下，人類可以實(shí)現(xiàn)對(duì)極為復(fù)雜的運(yùn)動(dòng)目標(biāo)的識(shí)別、精確定位與跟蹤。計(jì)算機(jī)視覺就是用各種成像系統(tǒng)代替視覺器官作為輸入敏感手段，由計(jì)算機(jī)完成人類大腦所完成的處理和解釋任務(wù)，它的最終研究目標(biāo)就是使計(jì)算機(jī)能像人一樣通過視覺觀察和理解世界，具有自主適應(yīng)環(huán)境的能力。

作為計(jì)算機(jī)視覺研究的一個(gè)重要方面，智能視頻監(jiān)控以及運(yùn)動(dòng)目標(biāo)檢測與跟蹤已經(jīng)成為模式識(shí)別、圖像處理、計(jì)算機(jī)視覺等領(lǐng)域的重要課題。智能視頻監(jiān)控在不需要人為干預(yù)的情況下，利用計(jì)算機(jī)視覺和視頻分析的方法對(duì)攝像機(jī)拍錄的圖像序列進(jìn)行自動(dòng)分析，實(shí)現(xiàn)動(dòng)態(tài)場景中的目標(biāo)的檢測、識(shí)別和跟蹤，并在此基礎(chǔ)上分析和判斷目標(biāo)的行為。傳統(tǒng)的視頻監(jiān)控系統(tǒng)由連接到一套電視監(jiān)視器上的一個(gè)或多個(gè)攝像機(jī)組成，分布在場景中的攝像頭采集到的圖像數(shù)據(jù)送入監(jiān)控室，再通過人工參與監(jiān)控的方式來進(jìn)行監(jiān)控，在有異常情況發(fā)生的時(shí)候人工報(bào)警。這種方法利用了人眼強(qiáng)大的視覺能力和人腦強(qiáng)大的行為識(shí)別和分析能力，能夠?qū)鼍袄锂惓Ｇ闆r的發(fā)生做出精確的判斷。但是這種人工監(jiān)控的方式也存在著明顯的缺陷。它需要全天二十四小時(shí)的人工監(jiān)控，這不僅需要投入大量的人力和財(cái)力，對(duì)于監(jiān)控人員也是一個(gè)很大地挑戰(zhàn)。由于工作的單調(diào)枯燥，監(jiān)控人員很難避免由于疲勞引起的“漏警”現(xiàn)象的發(fā)生。而當(dāng)今社會(huì)日益流行的智能視頻監(jiān)控系統(tǒng)能夠彌補(bǔ)傳統(tǒng)視頻監(jiān)控的這一缺陷。它利用計(jì)算機(jī)來分析采集到的視頻數(shù)據(jù)，監(jiān)視場景里是否存在異常情況，核心就是利用運(yùn)動(dòng)目標(biāo)的檢測與跟蹤技術(shù)提取出運(yùn)動(dòng)目標(biāo)并跟蹤其軌跡，再根據(jù)具體的場合應(yīng)用人工設(shè)置的一些場景規(guī)則，對(duì)目標(biāo)進(jìn)行相關(guān)的行為分析，達(dá)到無人值守智能監(jiān)控的目的，可以減少人員參與，提高工作效率。智能視頻監(jiān)控技術(shù)通常包括運(yùn)動(dòng)檢測、目標(biāo)分類和識(shí)別、目標(biāo)跟蹤以及行為理解與描述幾個(gè)部分。其中運(yùn)動(dòng)檢測和目標(biāo)分類識(shí)別屬于低級(jí)處理部分，目標(biāo)跟蹤屬于中級(jí)處理部分，而行為理解和描述則屬于高級(jí)處理部分。在智能視頻監(jiān)控系統(tǒng)中，運(yùn)動(dòng)目標(biāo)的檢測和跟蹤是目標(biāo)行為理解的前提，其性能直接影響監(jiān)控系統(tǒng)的有效性，是智能視頻監(jiān)控系統(tǒng)的關(guān)鍵組成部分。

我公司實(shí)現(xiàn)靜止平臺(tái)下智能視頻監(jiān)控，有以下幾個(gè)步驟：背景建模與運(yùn)動(dòng)目標(biāo)檢測；運(yùn)動(dòng)目標(biāo)分類與跟蹤。

監(jiān)控場景背景建模

背景建模算法

從圖像序列中分割出運(yùn)動(dòng)區(qū)域是許多計(jì)算機(jī)視覺系統(tǒng)的關(guān)鍵的第一步，運(yùn)動(dòng)區(qū)域能否準(zhǔn)確地分割出來決定了運(yùn)動(dòng)檢測結(jié)果的好壞，直接關(guān)系到后續(xù)的運(yùn)動(dòng)目標(biāo)識(shí)別及跟蹤，并影響系統(tǒng)的性能和實(shí)用性。在許多場合下，采集圖像數(shù)據(jù)的監(jiān)控?cái)z像機(jī)一般固定某處不動(dòng)，針對(duì)這種靜止成像平臺(tái)下的應(yīng)用場景，目前主要有三類運(yùn)動(dòng)檢測的方法：時(shí)間差分法（又稱序列幀間差分）、背景建模法（又稱背景相減）和光流法。光流法由于算法復(fù)雜度高，實(shí)現(xiàn)難度大，若沒有專門的硬件輔助實(shí)現(xiàn)，難以應(yīng)用于實(shí)時(shí)應(yīng)用場合。這里主要介紹時(shí)間差分法和背景相減法。

目前常用的運(yùn)動(dòng)目標(biāo)檢測技術(shù)分為以下三類：

1、幀間差分法：利用視頻序列中相鄰的幀的圖像具有連續(xù)性的特性，通過計(jì)算連續(xù)圖像序列中的兩個(gè)或三個(gè)相鄰幀間的基于像素的時(shí)間差分，并且閾值化來提取運(yùn)動(dòng)區(qū)域的一種方法。

2、背景差分法：用當(dāng)前的幀和背景圖像做差分來檢測場景中的運(yùn)動(dòng)目標(biāo)的。背景圖像是預(yù)存的，它可以根據(jù)場景的變化不斷地進(jìn)行更新，也是背景差分法的主要影響因素。

3、光流法：利用運(yùn)動(dòng)目標(biāo)隨著時(shí)間變化的光流特征，通過計(jì)算光流來檢測運(yùn)動(dòng)。

這三類運(yùn)動(dòng)目標(biāo)檢測技術(shù)都存在著各自的優(yōu)缺點(diǎn)。幀間差分法的算法復(fù)雜度較低，易于實(shí)現(xiàn)，而且運(yùn)算量小。但是它一般不能完全提取出所有相關(guān)的特征像素點(diǎn)，在運(yùn)動(dòng)實(shí)體內(nèi)部容易產(chǎn)生空洞現(xiàn)象。這會(huì)影響到后續(xù)的跟蹤以及行為分析等的有效性和正確性。

背景差分法能夠提取出比較完整的運(yùn)動(dòng)目標(biāo)的區(qū)域信息。對(duì)于室內(nèi)的場景檢測，檢測算法相對(duì)戶外來說容易設(shè)計(jì)。對(duì)于戶外的場景，受影響因素較多，如天氣變化，太陽光照變化及場景中某些背景的干擾（搖曳的樹，池塘表面的水波紋，飄揚(yáng)的旗幟），要排除這些背景干擾準(zhǔn)確檢測出場景中的有效運(yùn)動(dòng)還是比較復(fù)雜的。背景差分中背景模型的建立和更新影響著算法的準(zhǔn)確性。

光流法能夠檢測出獨(dú)立運(yùn)動(dòng)的對(duì)象，不需要預(yù)先知道場景的任何信息，而且在攝像機(jī)運(yùn)動(dòng)的情況下也可以檢測出運(yùn)動(dòng)目標(biāo)。但是大多數(shù)的光流法計(jì)算過程相當(dāng)復(fù)雜，抗噪性能差。如果沒有特別的硬件支持是不能被應(yīng)用到實(shí)時(shí)處理中的。

場景中目標(biāo)的運(yùn)動(dòng)勢必會(huì)在時(shí)間軸上使圖像數(shù)據(jù)發(fā)生變化，顯然我們可以通過檢測這種時(shí)間上的變化來分析出場景中的運(yùn)動(dòng)。雖然時(shí)間差分算法簡單，也有一些監(jiān)控場合使用多幀時(shí)間差分方法做運(yùn)動(dòng)檢測。

時(shí)間差分法只需要兩幅不同時(shí)刻的圖像在每個(gè)像素點(diǎn)進(jìn)行簡單的像素值相減和判決操作，其復(fù)雜度是很低的，而且易于實(shí)現(xiàn)，運(yùn)算量小，速度快，在性能較差的硬件平臺(tái)也能達(dá)到較高的處理效率。此外由于時(shí)間差分法做差分的兩幅圖像時(shí)間間隔很短，差分圖像受光照條件的影響小，也能夠在一定程度上適應(yīng)動(dòng)態(tài)變化的場景。時(shí)間差分法缺點(diǎn)也很明顯，它無法完整提取出運(yùn)動(dòng)區(qū)域，只能檢測出運(yùn)動(dòng)區(qū)域周圍的輪廓，當(dāng)目標(biāo)運(yùn)動(dòng)速度較慢時(shí)，如果選取間隔幀數(shù)太小，甚至有可能無法檢測出目標(biāo)運(yùn)動(dòng)。

背景建模法又稱背景相減法，即利用當(dāng)前收到的幀圖像與預(yù)存的一副背景參考圖像做差分來檢測場景中運(yùn)動(dòng)目標(biāo)的技術(shù)。這類方法的核心是如何建立背景模型以及選擇背景模型的隨著時(shí)間變化的更新策略。背景建模法能夠提取出比較完整的運(yùn)動(dòng)目標(biāo)的區(qū)域信息，對(duì)于復(fù)雜的戶外場景，由于存在光照等各種外部條件的變化，構(gòu)造出好的自適應(yīng)場景變化的背景模型對(duì)運(yùn)動(dòng)目標(biāo)的精確提取至關(guān)重要。

對(duì)于室內(nèi)的運(yùn)動(dòng)目標(biāo)檢測，因?yàn)閳鼍暗沫h(huán)境變化較小，影響因素少，檢測算法相對(duì)戶外來說易于設(shè)計(jì)一些。對(duì)于戶外的場景，受影響因素較多，如一年四季天氣變化，一天中太陽光照變化及場景中某些多模態(tài)背景的干擾（搖曳的樹，池塘表面的水波紋，飄揚(yáng)的旗幟），要排除這些干擾背景準(zhǔn)確檢測出場景中的有效運(yùn)動(dòng)還是比較復(fù)雜的。目前大部分實(shí)現(xiàn)的監(jiān)控系統(tǒng)都使用了背景建模的算法來分割運(yùn)動(dòng)區(qū)域，并通過一些圖像處理的技術(shù)對(duì)后期的檢測結(jié)果圖像進(jìn)行處理，提取出場景中我們感興趣的目標(biāo)。目前常用的背景建模算法有高斯混合模型（Gaussian Mixture Model）和碼書模型（CodeBook Model）等。

混合高斯背景建模

在靜止成像平臺(tái)下，背景建模（背景相減）是運(yùn)動(dòng)目標(biāo)檢測最常用的方法。背景相減法的核心在于生成一副場景的參考圖像，并能自動(dòng)更新。

Stauffer等提出的混合高斯模型作為一種像素級(jí)建模的算法，能夠適應(yīng)背景重復(fù)性運(yùn)動(dòng)和照明緩慢變化，取得了較大的成功?；旌细咚鼓Ｐ退惴▽?duì)場景中每個(gè)像素點(diǎn)值的分布維護(hù)了一個(gè)概率密度函數(shù)，將場景中每個(gè)特定的像素點(diǎn)的值用若干個(gè)（一般取3～5個(gè)）高斯分布去擬合，每個(gè)高斯分布具有自己的權(quán)重，因此它能處理多模態(tài)背景分布的情況。另一方面，混合高斯模型是參數(shù)化的，模型的參數(shù)會(huì)自適應(yīng)更新，而且不用緩存過去的視頻幀。在算法處理的過程中，隨著新圖像的到來，我們?nèi)ジ旅總€(gè)像素點(diǎn)各個(gè)高斯分布的權(quán)重、均值和方差。

目標(biāo)前景二值圖像形態(tài)學(xué)處理

經(jīng)過運(yùn)動(dòng)檢測與陰影抑制，我們可以得到一副前景二值圖像。因?yàn)橐曨l圖像的噪聲和輕微抖動(dòng)無法避免，而且混合高斯背景建模算法作為一種像素級(jí)的算法，目標(biāo)與背景之間顏色和灰度相似的情況也時(shí)有發(fā)生，最后得到的二值圖像里前景區(qū)域不一定是完整的運(yùn)動(dòng)對(duì)象，往往有許多孤立的噪聲白點(diǎn)、孤立的小區(qū)域和小間隙。因此必須對(duì)前景圖像進(jìn)行后處理，消除噪聲并連接空洞，便于后期通過標(biāo)記統(tǒng)計(jì)目標(biāo)參數(shù)。

目前一般使用數(shù)學(xué)形態(tài)學(xué)的方法來處理前景圖像。數(shù)學(xué)形態(tài)學(xué)有膨脹、腐蝕、開/閉運(yùn)算四個(gè)基本操作。

運(yùn)動(dòng)目標(biāo)跟蹤

圖1：背景訓(xùn)練過程（混合高斯算法）

通過目標(biāo)檢測在序列圖像中分割出屬于運(yùn)動(dòng)目標(biāo)的圖像區(qū)域，接下來需要對(duì)運(yùn)動(dòng)目標(biāo)進(jìn)行跟蹤。目標(biāo)跟蹤就是在序列圖像不同時(shí)刻檢測到的目標(biāo)之間根據(jù)目標(biāo)的某些特征在時(shí)間上建立起聯(lián)系，通俗一點(diǎn)說，就是跟蹤上的目標(biāo)在圖像序列的不同幀里，始終賦予穩(wěn)定一致的編號(hào)。目標(biāo)跟蹤在計(jì)算機(jī)視覺領(lǐng)域里是一個(gè)充滿挑戰(zhàn)的問題。在視頻分析領(lǐng)域，對(duì)多個(gè)目標(biāo)跟蹤的主要困難是在相鄰兩幀間建立起目標(biāo)正確的關(guān)聯(lián)關(guān)系，尤其是在復(fù)雜場景里多個(gè)相似目標(biāo)之間存在遮擋、合并分離等情況時(shí)，確定目標(biāo)之間的正確對(duì)應(yīng)關(guān)系變得很困難。

多目標(biāo)跟蹤關(guān)聯(lián)

1、特征代價(jià)函數(shù)

為了降低系統(tǒng)的復(fù)雜度，使系統(tǒng)具備實(shí)時(shí)處理性能。運(yùn)動(dòng)檢測階段得到的目標(biāo)我們使用它們的外接矩形來表征。在跟蹤階段，相鄰兩幀的目標(biāo)鏈間進(jìn)行匹配關(guān)聯(lián)，建立匹配矩陣。這里我們采取了一種簡單的特征融合代價(jià)函數(shù)來度量兩個(gè)目標(biāo)的相似性。經(jīng)過運(yùn)動(dòng)檢測、分割、形態(tài)學(xué)濾波去噪、標(biāo)記等過程后，我們統(tǒng)計(jì)各個(gè)檢測到的團(tuán)塊的信息，可以得到團(tuán)塊的形心坐標(biāo)，外接矩形區(qū)域。利用這些信息我們計(jì)算代價(jià)函數(shù)。

2、跟蹤流程

（1）跟蹤啟動(dòng)并整理已捕獲目標(biāo)鏈。

如果當(dāng)前幀號(hào)是第一幀，所有檢測到的目標(biāo)都被認(rèn)為是新目標(biāo)，設(shè)置一個(gè)初始的置信度。

如果不是第一幀，檢查已捕獲目標(biāo)列表。對(duì)目標(biāo)做線性濾波，預(yù)測其在當(dāng)前幀的位置。目標(biāo)的位置用其連通區(qū)域外接矩形中心表示，令為第i個(gè)目標(biāo)在第K幀里的位置。

圖2：綠茵場上對(duì)球員跟蹤

（2）目標(biāo)關(guān)聯(lián)：這部分也是多目標(biāo)跟蹤的核心，可建立了一個(gè)代價(jià)函數(shù)矩陣記錄已捕獲鏈中各個(gè)目標(biāo)和當(dāng)前幀檢測目標(biāo)鏈中各個(gè)目標(biāo)的代價(jià)函數(shù)值，同時(shí)建立一個(gè)關(guān)聯(lián)矩陣確定目標(biāo)最優(yōu)的對(duì)應(yīng)關(guān)系。對(duì)于捕獲鏈中的第i個(gè)目標(biāo)，我們能夠在當(dāng)前檢測鏈中找到使得代價(jià)函數(shù)E(i,j)最小的檢測目標(biāo)j，同時(shí)進(jìn)一步比較形心距離d(i,j)和一個(gè)距離門限dT。

如果d(i,j) ＜dT，當(dāng)前檢測到的第j個(gè)目標(biāo)是已捕獲鏈中第i個(gè)目標(biāo)時(shí)間上的后續(xù)對(duì)應(yīng)。增加第i個(gè)已捕獲目標(biāo)的置信度并更新它的特性參數(shù)。

如果d(i,j) ＞dT，第i個(gè)已捕獲目標(biāo)沒有在當(dāng)前幀里找到時(shí)間上的后續(xù)對(duì)應(yīng)。它的置信度會(huì)降低，如果它的位置已經(jīng)接近了場景的邊緣，認(rèn)為它已經(jīng)走出了場景，將其從已捕獲鏈表中移除。如果它置信度降低了后仍然較高，且它的位置在場景觀測區(qū)中，仍然使用（1）中的線性濾波去預(yù)測它的下一幀位置。

當(dāng)前檢測到的目標(biāo)，若在已捕獲目標(biāo)鏈里未找到合適的關(guān)聯(lián)目標(biāo)，將其作為新目標(biāo)添加進(jìn)已捕獲目標(biāo)鏈表，并賦予一個(gè)初始的置信度。

（3）按照（1）和（2）的過程處理下一幀視頻直到圖像序列結(jié)束。

基于卡爾曼濾波的運(yùn)動(dòng)目標(biāo)跟蹤

卡爾曼濾波是以最小均方誤差作為估計(jì)的最佳準(zhǔn)則，來尋找一套遞推估計(jì)的算法，其基本實(shí)現(xiàn)是：采用信號(hào)與噪聲的狀態(tài)空間模型，利用前一時(shí)刻的估計(jì)值和當(dāng)前時(shí)刻的觀測值來更新對(duì)狀態(tài)變量的估計(jì)，求出當(dāng)前時(shí)刻的估計(jì)值?？柭鼮V波方法流程分為預(yù)測和更新兩個(gè)部分。

在運(yùn)動(dòng)目標(biāo)跟蹤中采用卡爾曼濾波的方法，就是要合適地運(yùn)用卡爾曼濾波的預(yù)測和更新方程。在本系統(tǒng)中的卡爾曼濾波跟蹤中，將目標(biāo)塊的狀態(tài)用兩個(gè)位置變量X和Y，以及兩個(gè)速度變量Vx和Vy表示。這四個(gè)變量組成狀態(tài)向量Xk的元素。認(rèn)為目標(biāo)塊的運(yùn)動(dòng)為線性的，則傳遞矩陣和狀態(tài)向量表示為：

目標(biāo)塊測量向量只包括測量到的目標(biāo)塊的位置信息，也就是：

得到了運(yùn)動(dòng)目標(biāo)塊以后，為運(yùn)動(dòng)目標(biāo)塊的狀態(tài)向量、過程噪聲、測量值和最重要的傳遞矩陣進(jìn)行初始化，然后就可以按照卡爾曼濾波的預(yù)測和更新兩個(gè)過程對(duì)運(yùn)動(dòng)目標(biāo)塊的運(yùn)動(dòng)進(jìn)行跟蹤了。

在本算法中采用最近鄰匹配法和卡爾曼濾波法相融合的方法來進(jìn)行運(yùn)動(dòng)目標(biāo)跟蹤。由于最近鄰匹配法依靠與前景檢測的結(jié)果，在前景中存在噪聲或者是前景檢測結(jié)果不佳的情況下無法對(duì)運(yùn)動(dòng)目標(biāo)塊進(jìn)行準(zhǔn)確的跟蹤，可能會(huì)造成目標(biāo)塊丟失等情況的發(fā)生。在這種情況下可以采用基于卡爾曼濾波的方法，根據(jù)目標(biāo)塊的歷史記錄信息來預(yù)測運(yùn)動(dòng)目標(biāo)塊可能存在的位置，從而進(jìn)行跟蹤。

本算法的流程如下：

1、對(duì)目標(biāo)鏈中的目標(biāo)塊與候選鏈進(jìn)行最近鄰匹配法。若通過最近鄰法，在候選鏈中找到了與此目標(biāo)塊相匹配的目標(biāo)塊，則進(jìn)行2。否則，執(zhí)行第3步。

2、將相匹配的候選鏈中的塊的位置信息當(dāng)作目標(biāo)鏈中此目標(biāo)塊在當(dāng)前時(shí)刻的位置。若此目標(biāo)塊之前進(jìn)行過卡爾曼濾波，則刪除該目標(biāo)塊的卡爾曼濾波相關(guān)結(jié)構(gòu)。

3、對(duì)未找到匹配的運(yùn)動(dòng)目標(biāo)塊進(jìn)行卡爾曼濾波。若此運(yùn)動(dòng)目標(biāo)塊之前進(jìn)行了卡爾曼濾波沒有超過閾值，則繼續(xù)進(jìn)行卡爾曼濾波。若此運(yùn)動(dòng)目標(biāo)塊之前沒有進(jìn)行過卡爾曼濾波則初始化該塊的卡爾曼濾波參數(shù)，進(jìn)行卡爾曼濾波。除此以外，執(zhí)行第4步。

4、若此運(yùn)動(dòng)目標(biāo)塊進(jìn)行卡爾曼濾波次數(shù)超過了預(yù)設(shè)的閾值，還未通過最近鄰法找到匹配塊，則認(rèn)為此塊丟失。