基于分區(qū)灰度投影穩(wěn)像的運(yùn)動(dòng)目標(biāo)檢測(cè)算法

肖進(jìn)勝 單姍姍等

摘要：針對(duì)視頻監(jiān)控系統(tǒng)中，復(fù)雜環(huán)境引起攝像機(jī)抖動(dòng)，造成運(yùn)動(dòng)目標(biāo)檢測(cè)不準(zhǔn)確的問(wèn)題，提出了一種基于分區(qū)灰度投影穩(wěn)像的運(yùn)動(dòng)目標(biāo)檢測(cè)算法.首先對(duì)每幀圖像進(jìn)行分區(qū)，利用分區(qū)灰度投影算法對(duì)圖像各分區(qū)的運(yùn)動(dòng)矢量進(jìn)行準(zhǔn)確提取和相關(guān)性分析，進(jìn)行抖動(dòng)判斷，并對(duì)抖動(dòng)幀進(jìn)行運(yùn)動(dòng)補(bǔ)償.然后利用高斯混合背景建模算法進(jìn)行運(yùn)動(dòng)目標(biāo)提取.最后對(duì)目標(biāo)提取結(jié)果進(jìn)行形態(tài)學(xué)處理，以進(jìn)一步提高目標(biāo)提取的精度.實(shí)驗(yàn)結(jié)果表明，本文算法較好地消除了場(chǎng)景中運(yùn)動(dòng)目標(biāo)對(duì)運(yùn)動(dòng)矢量計(jì)算的干擾，實(shí)現(xiàn)了在攝像機(jī)抖動(dòng)視頻場(chǎng)景中的運(yùn)動(dòng)目標(biāo)的準(zhǔn)確檢測(cè)和提取，大大降低了抖動(dòng)視頻目標(biāo)檢測(cè)的虛警率.

關(guān)鍵詞：高斯混合模型；灰度投影；視頻抖動(dòng)；目標(biāo)檢測(cè)

中圖分類號(hào)：TP391 文獻(xiàn)標(biāo)識(shí)碼：A

基于序列圖像的運(yùn)動(dòng)目標(biāo)檢測(cè)是智能視頻監(jiān)控等領(lǐng)域的重要研究?jī)?nèi)容.背景減除法是最常用的一種運(yùn)動(dòng)目標(biāo)檢測(cè)方法.參數(shù)化的背景建模方法通常假設(shè)單個(gè)像素的潛在概率密度函數(shù)是高斯或者高斯混合函數(shù)[1-3].Stauffer等[4]提出了一種自適應(yīng)的背景減除方法，用于解決運(yùn)動(dòng)分割問(wèn)題，此方法可以達(dá)到可靠實(shí)時(shí)的戶外跟蹤效果.Zivkovic等[5]對(duì)混合高斯模型進(jìn)行了較大改進(jìn).文獻(xiàn)[6]聯(lián)合使用局部二元組特征（LBP）和色彩在RGB空間的光學(xué)不變特性下，提出了一種魯棒的多層背景減除方法，對(duì)有偽隨機(jī)閃爍的背景像素等場(chǎng)景很有效.文獻(xiàn)[7]引入特征子空間學(xué)習(xí)和多特征子空間的方法，對(duì)高斯混合模型進(jìn)行了一些改進(jìn).文獻(xiàn)[8]針對(duì)彩色視頻序列給出一種基于混合高斯模型的背景減除算法，該算法效率和資源都達(dá)到了較好的效果.

本文針對(duì)復(fù)雜環(huán)境引起攝像機(jī)抖動(dòng)，造成運(yùn)動(dòng)目標(biāo)檢測(cè)不準(zhǔn)確的問(wèn)題，提出將視頻穩(wěn)像和高斯背景建模相結(jié)合來(lái)解決該問(wèn)題.同時(shí)考慮到全局抖動(dòng)和對(duì)象局部運(yùn)動(dòng)的差異性，提出基于分區(qū)灰度圖像穩(wěn)像的高斯背景建模算法.算法在運(yùn)動(dòng)檢測(cè)之前對(duì)視頻根據(jù)分區(qū)運(yùn)動(dòng)矢量統(tǒng)計(jì)情況進(jìn)行抖動(dòng)預(yù)判斷，給出分區(qū)抖動(dòng)判斷機(jī)制.對(duì)判斷為抖動(dòng)的幀進(jìn)行穩(wěn)像處理，提高運(yùn)動(dòng)目標(biāo)檢測(cè)準(zhǔn)確性.同時(shí)加入形態(tài)學(xué)后處理，改善目標(biāo)完整性，通過(guò)與其他算法對(duì)比，表明本文算法背景建模效果明顯得到改善.

湖南大學(xué)學(xué)報(bào)（自然科學(xué)版）2013年

第6期肖進(jìn)勝等：基于分區(qū)灰度投影穩(wěn)像的運(yùn)動(dòng)目標(biāo)檢測(cè)算法

1背景建模和視頻穩(wěn)像方法

背景建模主要目的是把視頻圖像中所有像素歸為背景或者運(yùn)動(dòng)前景兩類，然后對(duì)分類結(jié)果進(jìn)行后處理，得到最終的檢測(cè)結(jié)果.視頻穩(wěn)像中的運(yùn)動(dòng)估計(jì)算法有灰度投影法、塊匹配算法、代表點(diǎn)匹配算法和特征匹配算法等[9]，每種算法都是根據(jù)具體的應(yīng)用場(chǎng)合所提出的，有不同的應(yīng)用條件.考慮到攝像機(jī)的抖動(dòng)是一種全局運(yùn)動(dòng)，塊匹配和點(diǎn)匹配等算法計(jì)算量大，而采用灰度投影法，其計(jì)算量小.本文在灰度投影法基礎(chǔ)上提出基于分區(qū)灰度投影算法，提高穩(wěn)像精度.

1.1高斯混合背景建模算法流程

由Stauffer等[4]提出的高斯混合模型 （Gaussian Mixture Model，GMM）是目前最常用的背景建模方法之一，能夠很好地適應(yīng)場(chǎng)景的緩慢變化，因此受到國(guó)內(nèi)外的廣泛關(guān)注.由K個(gè)高斯成分組成的高斯混合模型表示像素在時(shí)間域上的概率分布模型，即圖像中像素j的高斯混合模型描述了其特征值xj在時(shí)間域上的概率分布.根據(jù)每個(gè)高斯成分的權(quán)重與其標(biāo)準(zhǔn)差之比排序后，取前Bj個(gè)高斯成分作為背景的分布，Bj根據(jù)下式計(jì)算：

閾值T度量了背景高斯成分在像素的整個(gè)概率分布中所占的最小比例.

混合高斯模型具有較好的背景建模處理能力，可以較好地提取快速移動(dòng)的物體并能很好的去除隨機(jī)噪聲.但是對(duì)于視頻中有光照突變現(xiàn)象，室外的陰影檢測(cè)，以及本文重點(diǎn)介紹的攝像頭抖動(dòng)問(wèn)題的處理效果不夠理想.

1.2灰度投影算法

投影法是利用圖像灰度變化規(guī)律來(lái)確定圖像的運(yùn)動(dòng)矢量，計(jì)算圖像的灰度投影曲線做一次相關(guān)運(yùn)算，不必對(duì)圖像上的每一點(diǎn)做相關(guān)運(yùn)算，因此計(jì)算量小.投影法通常分為灰度映射、投影濾波和矢量提取3個(gè)步驟.

灰度映射：當(dāng)前幀圖像經(jīng)過(guò)預(yù)處理以后，投影成為2個(gè)獨(dú)立的一維波形，其投影公式為：

，粗體虛線方框的尺寸和當(dāng)前幀的投影區(qū)域相同，當(dāng)計(jì)算垂直投影相關(guān)曲線時(shí)，沿著圖1（a）中填充為左斜線區(qū)域，從左（xv， y）所對(duì)應(yīng)的列的位置）至右移動(dòng)粗體虛線方框至粗體方框的右端與參考幀的右端重合；當(dāng)計(jì)算水平投影相關(guān)曲線時(shí)，沿著圖中填充為右斜線區(qū)域，從上至下移動(dòng)粗體方框至粗體方框的下端和參考幀下端重合.利用公式（6）分別計(jì)算行和列相關(guān)曲線的谷值，確定當(dāng)前幀相對(duì)于參考幀的運(yùn)動(dòng)矢量.

2分區(qū)灰度投影穩(wěn)像的高斯背景建模

考慮攝像頭抖動(dòng)的高斯混合背景建模方法是基于像素模型建立的，在建模之前需要對(duì)視頻進(jìn)行穩(wěn)像，減小前景誤檢的概率.本文采用分區(qū)灰度投影算法進(jìn)行穩(wěn)像.

2.1背景建模

由于視頻抖動(dòng)的隨機(jī)性，高斯混合模型無(wú)法很好地處理抖動(dòng)的視頻，因此，在高斯建模之前對(duì)抖動(dòng)視頻進(jìn)行穩(wěn)像處理很有必要.具體背景建模流程如圖2所示，其中加粗框代表本文算法提出的分區(qū)灰度投影算法涉及的位置.

首先讀取起始幀并初始化參考幀灰度投影值和模型參數(shù)，如模型個(gè)數(shù)、新模型的初始化/最大/最小方差、陰影檢測(cè)標(biāo)志、初始學(xué)習(xí)率α、背景門限和幀計(jì)數(shù)器等.其次讀入下一幀作為初始狀態(tài)，計(jì)算當(dāng)前幀的灰度投影值和當(dāng)前幀與參考幀投影的相關(guān)曲線，并進(jìn)行抖動(dòng)預(yù)判斷和相應(yīng)的穩(wěn)像處理.然后根據(jù)需要更新參考幀，將穩(wěn)像處理后的圖像作為高斯模型匹配更新輸入，為每個(gè)像素添加一個(gè)新模型，權(quán)重為1，均值為當(dāng)前像素值，方差為初始方差.第2幀之后，先進(jìn)行抖動(dòng)預(yù)判斷和相應(yīng)的穩(wěn)像處理，根據(jù)需要更新參考幀，將穩(wěn)像處理后的圖像作為輸入圖像，更新每一個(gè)點(diǎn)的模型權(quán)重、方差和均值.之后進(jìn)行前景和背景像素的判定，進(jìn)行形態(tài)學(xué)處理來(lái)消除噪點(diǎn)并使目標(biāo)更完整.

本文的算法改進(jìn)主要體現(xiàn)在2個(gè)部分：第1部分為圖2粗體黑框突出的幾個(gè)模塊，計(jì)算抖動(dòng)參考幀投影值、抖動(dòng)預(yù)判斷及穩(wěn)像處理和更新參考幀等模塊；第2部分為模型匹配更新的形態(tài)后處理部分.

2.2穩(wěn)像處理

針對(duì)在1.2節(jié)中提到的灰度投影算法無(wú)法處理含有較大運(yùn)動(dòng)目標(biāo)的場(chǎng)景，本文提出分區(qū)灰度投影算法，加入抖動(dòng)預(yù)判斷，只對(duì)需要的視頻進(jìn)行穩(wěn)像處理.具體過(guò)程如下：

首先判斷當(dāng)前幀是否為起始幀，如果是，則根據(jù)分區(qū)情況利用公式（4）和（5）分別計(jì)算該幀的水平和垂直灰度投影值，作為參考幀的灰度投影.

投影區(qū)域大小和分區(qū)數(shù)的選取是投影擬合算法的關(guān)鍵之一.區(qū)域太大或者分區(qū)數(shù)過(guò)少，不能保證區(qū)域內(nèi)圖像點(diǎn)的運(yùn)動(dòng)具有一致性（這里不考慮圖像旋轉(zhuǎn)等造成對(duì)運(yùn)動(dòng)計(jì)算的影響）.區(qū)域太小或者分區(qū)數(shù)過(guò)多，區(qū)域內(nèi)圖像灰度變化等級(jí)減小，相關(guān)運(yùn)算時(shí)得到的相關(guān)量不足以反映實(shí)際圖像的相關(guān)程度.在實(shí)際實(shí)現(xiàn)時(shí)，可以兼顧穩(wěn)像的速度和精度，根據(jù)圖像大小和目標(biāo)在場(chǎng)景中的分布情況進(jìn)行選擇.本文算法采用圖像大小為384×288，算法中參考幀去掉圖像左右或上下邊緣的32像素值分別作為水平和垂直投影區(qū)域；當(dāng)前幀去掉四周邊緣的32像素值后平均分成N個(gè)子投影區(qū)域；如果圖像有明顯的孤立目標(biāo)或者灰度變化較大的區(qū)域，在選取投影區(qū)域時(shí)，應(yīng)盡量包含這些目標(biāo)和區(qū)域.本文算法分4個(gè)區(qū)，參考幀投影區(qū)域如圖3所示.

由于參考幀灰度投影值的計(jì)算次數(shù)要少于當(dāng)前幀，為了減少計(jì)算量，在計(jì)算相關(guān)曲線時(shí)，用上下或者左右移動(dòng)當(dāng)前幀各子區(qū)的灰度投影曲線來(lái)計(jì)算相關(guān)值.

從第2幀開(kāi)始，利用公式（4）和（5）分別計(jì)算每個(gè)分區(qū)的投影曲線；利用公式（6）計(jì)算當(dāng)前幀每個(gè)分區(qū)行列與參考幀相應(yīng)的相關(guān)曲線，得到每個(gè)分區(qū)的區(qū)運(yùn)動(dòng)矢量，分別記為Vi（i=1，2，3，4）.當(dāng)前幀的投影區(qū)域如圖4所示.

根據(jù)每個(gè)分區(qū)運(yùn)動(dòng)矢量統(tǒng)計(jì)情況進(jìn)行抖動(dòng)預(yù)判斷.記n為4個(gè)區(qū)塊運(yùn)動(dòng)矢量為0的個(gè)數(shù)，當(dāng)滿足以下3個(gè)條件中的任何一個(gè)時(shí)，認(rèn)為當(dāng)前幀是非抖動(dòng)幀.

X代表閾值，即當(dāng)任意2個(gè)分區(qū)的運(yùn)動(dòng)矢量差別均大于某個(gè)閾值時(shí)，則認(rèn)為場(chǎng)景中有運(yùn)動(dòng)目標(biāo)而不是抖動(dòng)幀.若當(dāng)前幀為抖動(dòng)幀，則需要判定當(dāng)前幀的運(yùn)動(dòng)矢量，并對(duì)當(dāng)前幀進(jìn)行運(yùn)動(dòng)補(bǔ)償；否則不對(duì)輸入幀做處理.

本文將投影區(qū)域分成4個(gè)區(qū)進(jìn)行投影計(jì)算，得到4個(gè)水平偏移量和4個(gè)垂直偏移量，若存在運(yùn)動(dòng)目標(biāo)，則會(huì)影響背景偏移量的計(jì)算.這里設(shè)置一個(gè)合理的閾值，取閾值范圍內(nèi)的偏移量進(jìn)行平均作為最終的偏移量.當(dāng)塊偏移量大于8個(gè)像素值時(shí)，認(rèn)為存在前景運(yùn)動(dòng)目標(biāo)，在計(jì)算幀偏移量時(shí)舍棄該塊偏移量.具體判定當(dāng)前幀的幀運(yùn)動(dòng)矢量步驟如下：

3）根據(jù)行、列的運(yùn)動(dòng)矢量，確定當(dāng)前幀的偏移量，進(jìn)行運(yùn)動(dòng)補(bǔ)償.

在穩(wěn)像過(guò)程中，參考幀的選擇也很重要.若均以起始幀作為參考幀，則當(dāng)攝像機(jī)偏離了原來(lái)的位置振動(dòng)時(shí)，就會(huì)導(dǎo)致當(dāng)前幀和參考幀的運(yùn)動(dòng)矢量很大，穩(wěn)像準(zhǔn)確度降低.若所有幀均以前一幀作為參考幀，則會(huì)得到抖動(dòng)的背景，沒(méi)有達(dá)到穩(wěn)像的效果.本算法采用每隔一定幀數(shù)（比如可以選為10）更新參考幀，但如果這一幀判決時(shí)得到的運(yùn)動(dòng)矢量太大，則取下一幀做參考幀.這樣的選擇兼顧穩(wěn)像的速度和準(zhǔn)確度.

2.3形態(tài)學(xué)后處理

經(jīng)過(guò)以上工作，提取的運(yùn)動(dòng)目標(biāo)中仍存在噪點(diǎn)及部分空洞現(xiàn)象，為了提高目標(biāo)完整性，在高斯模型匹配更新后，本文加入了形態(tài)學(xué)后處理部分.

3實(shí)驗(yàn)結(jié)果與結(jié)論

為驗(yàn)證本文算法穩(wěn)像效果的有效性，將本文算法與現(xiàn)有的3種算法進(jìn)行比較.實(shí)驗(yàn)環(huán)境：硬件平臺(tái)為intel CoreTM i3 CPU@2.93 GHz，2.93 GHz，4 GB內(nèi)存的PC機(jī)，軟件平臺(tái)為VS2005，操作系統(tǒng)為Windows XP，OpenCV2.3.1.

圖6為本文對(duì)改進(jìn)的高斯混合模型[5]加入形態(tài)學(xué)處理后的算法與原算法效果的比較.由圖6可知，高斯混合模型仍存在部分空洞及噪點(diǎn)現(xiàn)象，本文算法加上形態(tài)學(xué)處理后，可以很好地消除噪點(diǎn)，改善了目標(biāo)完整性.

圖7（a），（d）分別為靜止場(chǎng)景中運(yùn)動(dòng)目標(biāo)徘徊的原圖和攝像頭抖動(dòng)的監(jiān)控場(chǎng)景某1幀的原圖；圖7（b），（e）和7（c），（f）分別為2個(gè)序列中不加入抖動(dòng)

判斷與加入抖動(dòng)判斷的處理效果.從圖7中可以看出，對(duì)于對(duì)象徘徊和背景抖動(dòng)的視頻，進(jìn)行了抖動(dòng)預(yù)判斷和穩(wěn)像處理后，誤判率大大降低，效果明顯好于沒(méi)有抖動(dòng)預(yù)判斷和穩(wěn)像處理的高斯背景模型效果.

接下來(lái)的4組實(shí)驗(yàn)數(shù)據(jù)來(lái)源于IEEE Workshop on Change Detection in conjunction with CVPR 2012的網(wǎng)站上的數(shù)據(jù)集中的camera jitter.該數(shù)據(jù)集伴隨有大幅度的攝像頭抖動(dòng).圖8（a）為原圖，其中sidewalk是人行道的一段序列，badminton是羽毛球場(chǎng)的一段序列，traffic是高速公路上的一段序列，內(nèi)有大目標(biāo)的快速移動(dòng)，boulevard是林蔭道上的一段視頻序列.圖8（b），（c），（d）和（e）分別代表對(duì)不同序列采用改進(jìn)的MOG算法[5]、基于LBP的運(yùn)動(dòng)目標(biāo)檢測(cè)算法[6]、普通灰度投影算法和本文提出的算法的實(shí)驗(yàn)結(jié)果.

從圖8中可以看出，改進(jìn)的MOG算法的誤檢率稍低，但是在目標(biāo)檢測(cè)完整性方面最差；基于LBP的運(yùn)動(dòng)目標(biāo)檢測(cè)算法由于使用了互雙邊濾波器來(lái)對(duì)檢測(cè)出的前景進(jìn)行平滑，因此目標(biāo)完整性很好，但是其誤檢率水平不穩(wěn)定；普通的灰度投影算法在MOG算法和LBP算法中取折衷；本文算法在目標(biāo)完整性和降低誤檢率方面表現(xiàn)得很好.本文提出分區(qū)投影判決的思想，通過(guò)對(duì)多個(gè)子塊的綜合分析，剔除含有前景運(yùn)動(dòng)目標(biāo)的子塊，消除由于運(yùn)動(dòng)目標(biāo)而引起的運(yùn)動(dòng)矢量誤檢的影響，從而提高穩(wěn)像精度，并對(duì)高斯混合模型加入了形態(tài)學(xué)后處理，進(jìn)一步提高了目標(biāo)檢測(cè)完整性.

由表1可知，本文算法的F值均高于普通的灰度投影算法，本文算法的正檢率高于文中對(duì)比的3種算法.由于MOG算法沒(méi)有進(jìn)行穩(wěn)像、后處理等步驟，速度較本文速度快，但效果也較差.本文算法速度高于其他2種算法，效果也是4種算法中最好的.

4結(jié)語(yǔ)

針對(duì)現(xiàn)有混合高斯模型不能很好地處理抖動(dòng)視頻的問(wèn)題，提出了一種分區(qū)灰度投影算法，該算法在普通灰度投影算法基礎(chǔ)上進(jìn)行改進(jìn)，提出抖動(dòng)預(yù)判斷機(jī)制，克服了普通灰度投影算法只能得到全局運(yùn)動(dòng)矢量的缺陷，在建模進(jìn)行形態(tài)學(xué)處理后，提高了目標(biāo)檢測(cè)完整性.實(shí)驗(yàn)證明，本文算法在速度和正檢率上均優(yōu)于對(duì)比算法.此外，利用分區(qū)投影算法，通過(guò)比較連續(xù)兩幀的亮度變化情況，還可以很好地解決背景建模中光照突變場(chǎng)景的問(wèn)題.

參考文獻(xiàn)

[1]PICCARDI M. Background subtraction techniques： a review [C]//IEEE International Conference on Systems， Man and Cybernetics. Netherlands，2004，4： 3099 -3104.

[2]ROWE S，BLAKE A，HERRERO S，et al. Background subtraction techniques： systematic evaluation and comparative analysis [J]. Advanced Concepts for Intelligent Vision Systems， 2009， 5807： 33-42.

[3]BRUTZER S，HOFERLIN B，HEIDEMANN G.Evaluation of background subtraction techniques for video surveillance [C]//IEEE Conference on Computer Vision and Pattern Recognition，2011：1937-1944.

[4]STAUFFER C，GRIMSON W E L.Learning patterns of activity using realtime tracking[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2000， 22 （8）： 747-757.

[5]ZIVKOVIC Z， VAN DE HEIIDEN F.Efficient adaptive density estimation per image pixel for the task of background subtraction[J].Pattern Recognition Letters， 2006， 27：773-780.

[6]YAO J，ODOBEZ J M.Fast human detection from video using covariance features[C]// The Eighth International Workshop on Visual Surveillance， Marseille，2008.

[7]DONG Y，DESOUZA G N.Adaptive learning of multisubspace for foreground detection under illumination changes[J].Computer Vision and Image Understanding， 2011， 115（1）：31-49.

[8]SUHR J K， JUNG H G， LI G，et al. Mixture of gaussiansbased background subtraction for bayerpattern image sequences[J].IEEE Transactions on Circuits and Systems for Video Technology， 2011， 21（3）：365-370.

[9]汪小勇，李奇，徐之海，等. 用于實(shí)時(shí)數(shù)字穩(wěn)像的灰度投影算法研究[J].光子學(xué)報(bào)， 2006，35（8）： 1268-1269.

WANG Xiaoyong， LI Qi， XU Zhihai，et al.Realtime digital image stabilization system based on gray projection algorithm[J]. Acta Photonica Sinica，2006， 35（8）： 1268-1269.（In Chinese）