隨機圖像選取與自適應(yīng)背景更新的運動物體檢測

李新縣，余 燁

(合肥工業(yè)大學(xué)計算機與信息學(xué)院VCC研究室，安徽 合肥 230009)

Li Xinxian, Yu Ye

(VCC Division, School of Computer & Information, Hefei University of Technology, Hefei Anhui, 230009, China)

由于復(fù)雜背景、光照變化、目標(biāo)相互遮擋等因素的存在，運動目標(biāo)檢測一直是計算機視覺領(lǐng)域的研究熱點和難點。主流的運動目標(biāo)檢測方法有幀差法、光流法和背景差分法。幀差法對光線變化有一定的容忍性、背景更新快、自適應(yīng)能力強，但其無法檢測尺寸較大、內(nèi)部顏色一致及運動速度快的物體。光流法由于其計算復(fù)雜、抗噪能力差，因而難以應(yīng)用于實時系統(tǒng)中[1]。背景差分法的核心思想是通過當(dāng)前圖像與背景圖像的比較來檢測運動物體，其效果取決于以下3個因素：背景模型的表示方法、背景的初始化方法及更新方法。從實際應(yīng)用角度來看，背景差分法是使用較多的一種方法。

如何構(gòu)造一幅好的背景是背景差分法的難點，最簡單的背景構(gòu)造方法是預(yù)先采集一幀沒有前景目標(biāo)的圖像作為背景，由于攝像機監(jiān)視的動態(tài)場景往往會受到外界因素干擾(如天氣變化、光照變化、背景騷動以及運動物體產(chǎn)生的陰影等)，這就要求背景能夠自適應(yīng)的更新。針對這一問題，一種經(jīng)典的方法，時間平均法(time-averaged background image,TABI)被提出來，即讀取一段時間內(nèi)的視頻幀求和再平均，即可獲得一個近似的背景圖像，但此方法最致命的缺點是容易造成前景目標(biāo)與背景的混合現(xiàn)象如圖5(b1)所示，從而導(dǎo)致檢測出虛假的目標(biāo)物體。

有的學(xué)者采用統(tǒng)計平均法，即通過對連續(xù)圖像序列進行統(tǒng)計平均來獲得背景圖像。例如Sapiro[2]假設(shè)背景在圖像序列中總是經(jīng)常被觀測到，提出了一種基于偏微分方程的背景重構(gòu)和運動目標(biāo)檢測算法；Tavakkoli和Lee等[3-4]利用高斯內(nèi)核非參數(shù)估計法來計算像素點的概率密度，提出一種無參數(shù)的內(nèi)核密度估計法；齊美彬等[5]提出一種新的基于“背景點像素值出現(xiàn)頻次最高假設(shè)的背景重構(gòu)算法”，在前景點灰度值出現(xiàn)的概率大于背景點灰度值出現(xiàn)概率的情況下，仍然能夠正確的重構(gòu)背景；Long和Yang[6]提出一種自適應(yīng)平滑算法，認(rèn)為在一段圖像序列中，像素點處于穩(wěn)定狀態(tài)最長的灰度值可能是前景目標(biāo)，此時就會產(chǎn)生錯誤的結(jié)果；Gutchess等[7]對此進行了改進，在算法中引入了光流場計算，把運動目標(biāo)產(chǎn)生的穩(wěn)定狀態(tài)最長的灰度值去掉，從而得到了正確的結(jié)果，但是光流場的加入增加了計算的復(fù)雜性；Gloyer等[8]假設(shè)在訓(xùn)練階段背景至少在50%的時間內(nèi)可以被觀測到，從而提出了中值法(median)，即將圖像序列中處于某個像素點中間的灰度值認(rèn)為是該點的背景像素灰度值，W4系統(tǒng)[9]在背景圖像訓(xùn)練階段使用了該方法；但是，如果背景圖像在少于50%的時間內(nèi)被觀測到，中值法就會得到錯誤的結(jié)果。

有的學(xué)者采用基于建模的方法來提取背景，如Stauffer和Grimson[10]提出用K個高斯分布的混合模型表示背景像素的分布規(guī)律來提高背景的精確度；白向峰等[11]對混合高斯模型進行空間鄰域拓展，在空間鄰域中利用背景與前景隸屬度之間的競爭確定像素的歸屬，提高了檢測精度。Magee等[12]在背景建立混合模型的基礎(chǔ)上又建立了多個前景模型，實現(xiàn)了更為有效的檢測；Wren等[13]對背景模型中每個像素建立一個高斯分布，在不含有前景的室內(nèi)環(huán)境中進行初始化后，實現(xiàn)了在室內(nèi)環(huán)境中對人的檢測和跟蹤；Toyama等[14]從圖像的像素級和區(qū)域級對背景進行重構(gòu)，并且采用了Wiener濾波實現(xiàn)了背景的自適應(yīng)更新；Zivkovic等[15]采用了像素分析方法，對每一個像素都建立一個先驗概率密度函數(shù)來更新像素值，但是這種方法的計算量大，難以滿足實時性要求；Suo和Wang[16]對Zivkovic等[15]提出的方法進行了改進，提出了一種改進的自適應(yīng)混合模型的方法，降低了運算量，實現(xiàn)了物體的實時檢測，但是，當(dāng)場景出現(xiàn)擾動時此方法失效。Barnich和Van Droogenbroeck等[17]利用采樣一致性以及隨機更新策略實現(xiàn)了輕微擾動場景運動目標(biāo)快速檢測。Godbehere等[18]將統(tǒng)計的方法和貝葉斯估計法結(jié)合在一起，提出了一種啟發(fā)式信心模型的方法對物體進行檢測，在光照發(fā)生快速變化時此方法仍然能夠檢測出運動物體，但是此方法無法消除陰影的影響(圖4(e2)和圖4(e3))。最近，王斌等[1]提出采用時空條件信息的運動物體檢測算法，以像素鄰域加權(quán)條件信息作為分類特征，增強目標(biāo)與背景的線性可分性，提高運動目標(biāo)檢測精度，取得了很好的效果。

通過以上分析可以看出時間平均法構(gòu)造出的背景容易出現(xiàn)混合現(xiàn)象，從而導(dǎo)致檢測出虛假的目標(biāo)物體；統(tǒng)計平均法有一定的假設(shè)限制(例如，假設(shè)背景圖像總是在序列中被經(jīng)常觀測到)，雖然Gutchess等[7]通過引入光流計算對此問題進行改進，但是光流計算降低了算法的效率；基于建模的方法，檢測結(jié)果基本令人滿意，但是算法的計算量很大，難以滿足實時的應(yīng)用需求。

針對上述方法的不足，本文提出了隨機圖像選取與自適應(yīng)背景更新的運動物體檢測方法。該方法首先從視頻序列中隨機選擇一幀圖像對背景進行初始化，然后構(gòu)建變化標(biāo)記矩陣，基于變化標(biāo)記矩陣不斷迭代更新背景，最后基于背景差分的方法進行運動目標(biāo)的檢測。實驗結(jié)果表明，該方法具有一定的魯棒性，在光照變化、運動物體間存在遮擋的情況下能夠訓(xùn)練合適的背景，檢測出目標(biāo)物體。

1 隨機圖像選取與自適應(yīng)背景更新算法

由于受光照變化、天氣等因素的影響，不同時刻圖像的差異很大，此時進行運動目標(biāo)檢測，構(gòu)建能自適應(yīng)更新的背景至關(guān)重要。本文算法屬于背景差分法，其主要思想(如圖1所示)為：基于隨機圖像選取方式進行背景的初始化，采用變化標(biāo)記矩陣記錄相鄰兩幀圖像之間像素值的變化，依據(jù)此變化進行背景的迭代更新。在此基礎(chǔ)上，實現(xiàn)運動物體的實時檢測。算法的詳細(xì)思路將在后續(xù)小節(jié)中進行描述。

圖1 算法主要思想描述

1.1 變化標(biāo)記矩陣

變化標(biāo)記矩陣即與原圖像大小相同的一個二維矩陣，用于記錄相鄰兩幀圖像之間像素值的變化。在進行背景更新時，依據(jù)變化標(biāo)記矩陣的值自適應(yīng)迭代更新背景。

已知圖像序列，則變化標(biāo)記矩陣可通過式(1)計算獲得。

其中，i,j分別表示視頻序列的第i幀和通過相鄰視頻序列所求得的變化標(biāo)記矩陣的下標(biāo)(j=i–1)；flagi(x,y)表示變化標(biāo)記矩陣在(x,y)處的值，T為設(shè)定的閾值(本文中T的取值為60)。當(dāng)變化標(biāo)記矩陣的值為1時，表示相鄰幀間變化較大；當(dāng)變化標(biāo)記矩陣值為0時，表示可能是微弱的光照變化或陰影而引起的像素值變化，此時不需要更新背景。

1.2 背景構(gòu)造與自適應(yīng)更新

本文算法能夠從視頻序列中隨機選擇一幀圖像作為初始背景，然后根據(jù)變化標(biāo)記矩陣自適應(yīng)迭代更新背景，即可獲得一幅清晰的背景圖像。隨機數(shù)的選取對背景的提取至關(guān)重要，如果選取的隨機數(shù)集中在某一固定范圍內(nèi)，那么以此作為背景的初始幀構(gòu)造出的背景可能會偏離真實的背景(例如，視頻共500幀，如果生成的隨機數(shù)總是在[450,480]內(nèi)，那么在這一范圍內(nèi)最多對初始背景迭代更新30次，結(jié)果會有失真實性)，因此，本文選取文獻[19]中的隨機數(shù)生成方法，使生成的隨機數(shù)服從均勻分布，因而避免了初始幀的選取會集中在某一固定范圍內(nèi)。背景初始化之后，即依據(jù)變化標(biāo)記矩陣來進行背景的迭代更新。背景初始化及背景迭代更新的算法描述如下：

步驟1.采用隨機數(shù)生成器，產(chǎn)生一個隨機數(shù)r，并設(shè)置計數(shù)器cnt=1。

步驟2.將第r幀圖像framer作為初始背景圖像B1和第一幀圖像I1的值，即

步驟3.讀取下一幀圖像Ij，并與前一幀圖像Ij-1相減，根據(jù)式(1)計算出變化標(biāo)記矩陣flagj，j∈[1,n]。

步驟4.根據(jù)變化標(biāo)記矩陣flagj的值迭代更新背景，背景更新的公式如下：

步驟5.讀取下一幀圖像，即Ij+1(j+1≤n)，并為下一幀圖像背景的獲取做準(zhǔn)備，即：

步驟6.如果計數(shù)cnt

其中，Ij(x,y),Bj(x,y),flagj(x,y)分別表示視頻序列中的第j幀圖像在(x,y)的值，第j幀的背景圖像在(x,y)的值以及第j個變化標(biāo)記矩陣在(x,y)處的值；T為固定閾值，α為加權(quán)系數(shù)，N為迭代更新的次數(shù)。參數(shù)的取值對于算法的結(jié)果有著至關(guān)重要的影響，如何選取有效的參數(shù)，Scotti等[20]對各種情況進行了詳細(xì)地討論，但是這些選取方法會增加算法的時間復(fù)雜度；為了降低計算成本，本文算法取經(jīng)驗值，T的取值為60，α的取值為0.3。

以某卡口處的交通視頻為例，分別選取視頻第11幀和第76幀作為初始背景，經(jīng)過100次迭代更新后生成的背景圖像分別如圖2中(b)和(d)所示。

圖2 初始幀迭代提取背景

1.3 運動物體檢測與分割

采用本文算法提取的背景Bj，根據(jù)式(5)即可計算出差分圖像Diffj。

然后根據(jù)式(6)即可獲得前景圖像，即目標(biāo)物體：

其中，T為二值化閾值，此處取值為60。

由于光照變化的影響，當(dāng)Forej(x,y)=1時，可能是由前景圖像和光照變化引起的一部分噪聲所組成，因此本文通過圖像的后處理階段來盡可能地消除噪聲。如圖3所示，圖3(a)為當(dāng)前幀，圖3(b)為采用1.2節(jié)中背景更新算法所獲取的背景，圖3(c)為運動物體檢測的結(jié)果，由于光線照射在道路的柵欄上，導(dǎo)致檢測出由一些小斑點構(gòu)成的柵欄形狀的虛假目標(biāo)物體。采用圖像形態(tài)學(xué)中的開運算，即通過式(8)和(9)去除小的斑點和虛假的目標(biāo)物體，最后的檢測結(jié)果如圖3(d)所示。

其中，kernel為3×3的矩形，核的錨點為核的中心。

圖3 結(jié)果的后處理

2 實驗結(jié)果與分析

將本文算法應(yīng)用于背景提取和運動目標(biāo)檢測中，選取3組測試數(shù)據(jù)進行說明，分別為Pets2009行人序列、車輛序列和跳動的小球序列。將本文算法和時間平均法(TABI)、高斯建模法(MOG)[17]、VIBE方法[18]和GMG方法[21]的檢測結(jié)果進行比較，實驗結(jié)果如圖4~6所示。詳細(xì)分析如下：

(1) Pets2009行人序列檢測結(jié)果：使用Pets2009行人序列對TABI、MOG、VIBE、GMG和本文的方法進行測試，結(jié)果如圖4所示，其中圖4(a1)和圖4(a2)分別是第159幀和第498幀圖像。圖4(b1)是通過時間平均法構(gòu)造的背景，由于運動目標(biāo)的影響，構(gòu)造出的背景圖像中出現(xiàn)了前景與背景混合的現(xiàn)象。圖4(b2)和圖4(b3)為TABI算法檢測的結(jié)果，由于前景與背景混合的影響，圖4(b2)和圖4(b3) 中出現(xiàn)了虛假目標(biāo)，檢測出的目標(biāo)物體也很不清晰，并且在圖4(a1)中，兩個人之間存在遮擋時，無法檢測出被遮擋的行人；圖4(c1)是通過高斯背景建模方法構(gòu)造出的背景，由于高斯背景建模方法對光照的影響非常敏感，當(dāng)強光照射在人的身體上產(chǎn)生陰影時，就會誤判是運動物體，因此對背景的更新就會導(dǎo)致前景與背景的混合，混合程度取決于光照強度，故圖4中可以看出圖4(c1)的混合程度明顯大于圖4(b1)；圖4(c2)和圖4(c3)為MOG算法檢測的結(jié)果，由于混合現(xiàn)象的影響，檢測出虛假的目標(biāo)物體，受光照的影響，行人側(cè)面的陰影也被當(dāng)作目標(biāo)物體；圖4(d1)是VIBE算法提取的背景圖像，從圖中可以看出存在混合現(xiàn)象。圖4(d2)和圖4(d3)是VIBE算法檢測的結(jié)果，從圖中可以看出檢測結(jié)果較清晰，但是在圖4(d2)中出現(xiàn)了虛假目標(biāo)；圖4(e1)是GMG算法提取的背景圖像，可以看出背景不存在混合現(xiàn)象。圖4(e2)和圖4(e3)為GMG算法檢測結(jié)果，由于受光照的影響，將陰影當(dāng)作目標(biāo)物體檢測出來；圖4(f1)是使用本文算法構(gòu)造出的背景，從圖中可以看出本文算法構(gòu)造出的背景不存在前景與背景的混合現(xiàn)象，圖4(f2)和圖4(f3)為本文算法檢測的結(jié)果，從圖中可以看出本文算法檢測的目標(biāo)物體清晰，并且在第159幀中出現(xiàn)遮擋時，檢測出的目標(biāo)輪廓清晰可見。

圖4 Pets2009行人序列檢測結(jié)果

(2) 車輛序列檢測結(jié)果：使用車輛序列對TABI、MOG、VIBE、GMG和本文方法進行了測試，從圖5中可以看出，5種方法提取出的背景都沒有明顯的混合現(xiàn)象，但是受光照的影響，5種算法構(gòu)造出的背景的亮度卻有所不同，MOG算法構(gòu)造出的背景偏亮，TABI算法次之，VIBE和GMG算法提取的背景比較接近，本文算法構(gòu)造出的背景亮度最接近真實背景；圖5(b2)和圖5(b3)為TABI算法檢測的結(jié)果，可以看出車輛的輪廓暗淡，不清晰；圖5(c2)和圖5(c3)為MOG算法檢測的結(jié)果，由于受光照的影響，檢測出一些小的斑點和陰影，車輛的輪廓相對清晰；圖5(d2)和圖5(d3)為VIBE算法檢測結(jié)果，圖5(d2)中車的右前方存在缺損，圖5(d3)中車的左側(cè)檢測出了陰影；圖5(e2)和圖5(e3)為GMG算法檢測結(jié)果，由于受光照的影響，檢測結(jié)果只能看見白色的團塊。圖5(f2)和圖5(f3)為本文算法檢測的結(jié)果，車輛的輪廓清晰可見，并且沒有小的斑點，可以看出本文算法對光照變化魯棒性強。

(3) 跳動的小球序列檢測結(jié)果：采用跳動的小球序列對TABI、MOG，VIBE、GMG和本文算法進行比較(圖6)，在測試序列中小球始終處于彈跳狀態(tài)且光線也隨之變化。5種方法提取的背景都沒有出現(xiàn)混合現(xiàn)象，但是光線有所不同，TABI和MOG算法最暗淡，VIBE和GMG算法次之，本文算法最接近真實的光線；圖6(b2)和圖6(b3)是采用時間平均法檢測結(jié)果，出現(xiàn)了虛假的目標(biāo)物體；圖6(c2)和圖6(c3)為MOG算法檢測結(jié)果，結(jié)果中存在陰影；圖6(d2)和圖6(d3)為VIBE算法檢測結(jié)果，可以看出在圖6(d3)中右側(cè)的陰影被檢測出；圖6(e2)和圖6(e3)為GMG算法檢測結(jié)果，圖6(f2)和圖6(f3)為本文方法檢測結(jié)果，可以看出2種方法都取得了很好的效果，但是在圖6(e3)中第一的小球的陰影比圖6(f3)中稍大一些。

圖5 車輛序列檢測結(jié)果

圖6 跳動的小球序列檢測結(jié)果

為了評價本文的目標(biāo)檢測算法的性能，采用文獻[22]中的評價標(biāo)準(zhǔn)：準(zhǔn)確率(precision, P)和識別率(recall, R)，P和R定義為：

其中，TP(true positives)表示被正確檢測的前景像素數(shù)量，F(xiàn)P(false positives)表示背景誤判為前景的像素數(shù)量，F(xiàn)N(false negatives)表示前景誤判為背景的像素數(shù)量。算法性能的評價結(jié)果如表1所示(實驗結(jié)果是通過對每個序列進行測試后得出的平局值)，從表1中可以看出本文方法在檢測率和識別率上高于其他算法。

表1 算法性能的評價結(jié)果

3 結(jié) 論

由于光照變化、遮擋現(xiàn)象、復(fù)雜背景等，視頻背景的提取與實時更新一直是眾多研究者努力的方向。本文提出了一種隨機圖像選取與自適應(yīng)背景更新的運動物體檢測方法，該方法的特點有：①通過從視頻序列中隨機選取一幅圖像作為初始幀，以對背景進行初始化；②通過記錄相鄰兩幀圖像之間像素值的變化，構(gòu)建變化標(biāo)記矩陣，以自適應(yīng)地迭代更新背景。通過實際的測試序列結(jié)果表明，本文算法有效地避免了前景目標(biāo)與背景的混合現(xiàn)象，且對光照具有一定的魯棒性。

由于本文算法中使用的參數(shù)是經(jīng)驗值，當(dāng)采用Scotti等[20]提出的根據(jù)每幀圖像實時求取參數(shù)的方法時，算法的檢測率會有所提高，但同時，算法復(fù)雜度增加，實時檢測困難，因此，如何在參數(shù)求取方法和復(fù)雜度之間取得平衡，提高算法的檢測效率，是我們進一步的工作。

[1]王 斌, 肖文華, 張茂軍, 熊志輝, 劉 煜.采用時空條件信息的動態(tài)場景運動目標(biāo)檢測[J].計算機輔助設(shè)計與圖形學(xué)報, 2012, 24(12): 1576-1584.

[2]Sapiro G.Geometric partial differential equations and image analysis [M].Cambridge: Cambridge University Press, 2006:150-158.

[3]Tavakkoli A, Nicolescu M, Bebis G, Nicolescu M.Non-parametric statistical background modeling for efficient foreground region detection [J].Machine Vision and Applications, 2009, 20(6): 395-409.

[4]Lee C S, Elgammal A.Modeling view and posture manifolds for tracking [C]//Computer Vision, 2007.ICCV 2007.IEEE 11th International Conference on,2007: 1-8.

[5]齊美彬, 王 倩, 蔣建國, 安寶磊.基于背景像素值頻次最高假設(shè)的背景重構(gòu)算法[J].中國圖象圖形學(xué)報,2008, 13(4): 723-728.

[6]Long W, Yang Y H.Stationary background generation:An alternative to the difference of two images [J].Pattern Recognition, 1990, 23(12): 1351-1359.

[7]Gutchess D, Trajkonic M, Cohen-Solal E, Lyons D,Jain AK.A background model initialization algorithm for video surveillance.Proc [C]//of the 8th IEEE Int’l Conf.on Computer Vision.Vancouver, 2001: 733-740.

[8]Gloyer B, Aghajan H K, Siu K Y, Kailath T.Video-based freeway-monitoring system using recursive vehicle tracking [C]//IS&T/SPIE's Symposium on Electronic Imaging: Science & Technology.International Society for Optics and Photonics, 1995: 173-180.

[9]Haritaoglu I, Harwood D, Davis L S.W4: real-time surveillance of People and their activities [J].Pattern Analysis and Machine Intelligence, IEEE Transactions on,2000, 22(8): 809-830.

[10]Stauffer C, Grimson W.Adaptive background mixture models for real-time tracking.Proc [C]//of the IEEE Computer Society Conf.on Computer Vision and Pattern Recognition, Vol 2.1999: 246-252.

[11]白向峰, 李艾華, 蔡艷平, 李喜來, 李仁兵.復(fù)雜場景實時目標(biāo)檢測方法[J].計算機輔助設(shè)計與圖形學(xué)學(xué)報,2012, 24(1): 104-111.

[12]Magee D R.Tracking multiple vehicles using foreground,background and motion models [J].Image and Vision Computing, 2004, 22(2): 143-155.

[13]Wren C R, Azarbayejani A, Trevor D, Pentland A P.Pfinder: Real-time tracking of the human body [J].Pattern Analysis and Machine Intelligence, IEEE Transactions on, 1997, 19(7): 780-785.

[14]Toyama K, Krumm J, Brumitt B, Meyers B.Wallflower:principles and practice of background maintenance [C]//Computer Vision, 1999.The Proceedings of the Seventh IEEE International Conference on, 1999: 255-261.

[15]Zivkovic Z, van der Heijden F.Efficient adaptive density estimation per image pixel for the task of background subtraction [J].Pattern Recognition Letters, 2006, 27(7):773-780.

[16]Suo P, Wang Yanjiang.An improved adaptive background modeling algorithm based on Gaussian mixture model [C]//Signal Processing, 2008.ICSP 2008.9th International Conference on.IEEE, 2008: 1436-1439.

[17]Barnich O, Van Droogenbroeck M.ViBe: A universal background subtraction algorithm for video sequences [J].Image Processing, IEEE Transactions on, 2011, 20(6):1709-1724.

[18]Godbehere A B, Akihiro M, Ken G.Visual tracking of human visitors under variable-lighting conditions for a responsive audio art installation [C]//American Control Conference (ACC), 2012.IEEE, 2012: 4305-4312.

[19]Multiply-with-carry [G/OL].wikipedia, (2013-4-11)[2013-5-2].http://en.wikipedia.org/wiki/Multiply-with-carry.

[20]Scotti G, Marcenaro L, Regazzoni C S.SOM based algorithm for video surveillance system parameter optimal selection [C]//Proceedings.IEEE Conference on Advanced Video and Signal Based Surveillance, 2003.IEEE, 2003: 370-375.

[21]Elhabian S Y, El-Sayed K M, Ahmed S H.Moving object detection in spatial domain using background removal techniques-state-of-art [J].Recent Patents on Computer Science, 2008, 1(1): 32-54.

[22]Ko T, Soatto S, Estrin D.Background subtraction on distributions [C]//Computer Vision-ECCV 2008.Springer Berlin Heidelberg, 2008: 276-289.