融合五幀差分和codebook模型的運動目標(biāo)檢測

李春敏，鄔春學(xué)，熊乃學(xué)

(上海理工大學(xué) 光電信息與計算機(jī)工程學(xué)院，上海 210000)

運動目標(biāo)檢測是當(dāng)前圖像技術(shù)等研究的焦點和熱點，廣泛應(yīng)用于多個領(lǐng)域[1]，如行人檢測、智能監(jiān)控、智能機(jī)器人等。運動目標(biāo)檢測是一個通過使用特定算法把與背景存在相對運動的前景目標(biāo)從圖像序列中分離出來的過程。

本文主要對隨時間變化不大的靜態(tài)場景下的運動目標(biāo)進(jìn)行檢測分析，旨在獲取一種高效率、高質(zhì)量的檢測方法。目前常用的運動目標(biāo)檢測方法包括：光流場法[2]、幀差法[3]和背景差法[4]。光流場法計算復(fù)雜度高、實時性差、硬件要求也非常高，難以滿足運動目標(biāo)檢測的實時檢測的要求。幀差法[5]運算量小且易于實現(xiàn)，雖然能較好地適用于光照變化和對實時性要求相對較高的場合，但不能完全提取出所有相關(guān)的特征像素點。幀差法閾值的選取對檢測效果影響很大，可通過融合其他方法以提高整體性能。背景差法[6]運算復(fù)雜度小、耗費時間短、易實現(xiàn)，可以獲得期望的效果，因此在實時監(jiān)控中，背景差法是最常用的方法。背景差法[7]的關(guān)鍵是建立一個良好的背景模型。目前，根據(jù)不同的應(yīng)用場景有很多不同的背景建模方式：Wren等[8]提出了單高斯背景模型，該模式無法應(yīng)對復(fù)雜背景，如波動的水和擺動的樹葉[9]；Stauffer和Grimson[10]在單高斯模型基礎(chǔ)上，提出了混合高斯分布模型，能較好的克服背景中物體的小幅度運動、光照的緩慢變化，但該方法的檢測效率低，不利于對運動目標(biāo)的實時監(jiān)控[11]。為了克服這些問題，研究人員又提出了非參數(shù)方法[12]。該方法可以快速的檢測出前景，但對背景變化很敏感?；谏鲜龃嬖诘膯栴}，Kim等人[13]提出了codebook模型算法，該算法運算量小、檢測精度高、實時性較好，但不能適應(yīng)光照的突變且對陰影的去除效果不佳。文獻(xiàn)[14]提出了基于YUV空間的碼本模型算法，相比傳統(tǒng)的RGB空間模型，其碼字描述更加簡單，對移動目標(biāo)檢測的處理效率更高。本文結(jié)合幀差法和codebook模型的優(yōu)缺點，采用YUV空間下的codebook模型，融合五幀差法進(jìn)行運動目標(biāo)檢測，并進(jìn)行相應(yīng)改進(jìn)，最后采用自適應(yīng)閾值方法反復(fù)優(yōu)化來提高檢測的準(zhǔn)確性。

1 運動目標(biāo)融合算法

幀差法可以較好地應(yīng)對光照變化，但目標(biāo)提取存在空洞現(xiàn)象。背景差法可以較完整地提取目標(biāo)，但不能很好地應(yīng)對光照的變化。本文將兩種方法融合，可以彌補(bǔ)各自的缺點，并有效去除噪聲和陰影，以獲得更好的檢測效果。

1.1 基于YUV顏色空間的codebook背景模型

YUV顏色空間具有亮度分量Y和色度分量U、V相互獨立的優(yōu)點，它可以由RGB顏色空間直接經(jīng)線性運算轉(zhuǎn)化而來，又可以避免使用RGB顏色空間而帶來的復(fù)雜乘法與開平方運算。為了提高運動目標(biāo)檢測速度，本文將彩色圖像轉(zhuǎn)為灰度圖，將灰度值作為YUV空間的Y分量進(jìn)行處理。

該算法假設(shè)X={x1,x2,…,xN}是某像素X的序列采樣值，長度為N，其中,xi表示YUV空間下像素的Y分量，定義C={c1,c2,…,cL}為該像素的碼本，ci(1≤i≤L)表示碼字，每個碼本的碼字不一定相同，每個碼字定義為ci={Ymax,Ymin,fi,λi,pi,qi}，碼字各元素的含義如表1所示，codebook基本算法包括背景建模和前景檢測。

表1 碼字各元素的含義

1.1.1 基于YUV顏色空間的codebook背景模型

(1)碼本模型的訓(xùn)練。

步驟1碼本的初始化，將每個像素的碼本置空，即L=0,C=?；

步驟2對于訓(xùn)練圖像序列的任意像素X的序列，采樣值X={x1,x2,…,xN}，按時間序列，t=1,2,…,N執(zhí)行以下步驟

1) 若碼本為空(C=?)或不存在匹配的碼字，則創(chuàng)建一個新碼字CL

L=L+1;
cL={Yt,Yt,1,t-1,t,t}

(1)

2)若碼本不為空，且存在匹配的碼字ci，同時Yt∈則按下式更新碼字

ci={max(Ymax,Yt),min(Ymin,Yt),fi+
1,max(λi,t-qi+pi+1),pi,t}

(2)

(2)非背景碼字的刪除。

訓(xùn)練結(jié)束后，計算該像素每個碼字沒有再次出現(xiàn)的最大時間間隔

λi=max{λi(N-qi+pi-1)}
M={cm|cm∈C∩λm≤TM}

(3)

消除冗余碼字以得到純凈的背景碼本M，M為描述背景的碼字集合，即刪減非背景碼字以后的碼本，C表示訓(xùn)練得到的初始碼本，TM表示碼字相鄰兩次出現(xiàn)時間間隔的閾值，通常取訓(xùn)練幀數(shù)的一半，即N/2。

1.1.2 前景檢測

采用與訓(xùn)練碼本相同的方法進(jìn)行新像素與碼字的匹配，若匹配，更新碼字并且判斷為背景點，按照1.1.1節(jié)(1)中的步驟2的2)更新碼字；若與碼本中的所有碼字均不匹配，判斷為前景點，并以此獲得前景圖像Zk(x,y)。

1.2 融合五幀差法的運動目標(biāo)檢測

文獻(xiàn)[15]提出了三幀差法，這是對傳統(tǒng)幀差法的改進(jìn)，它雖然能快速地檢測出運動目標(biāo)的輪廓，相比傳統(tǒng)幀差法有較好的檢測效果，但仍然存在空洞現(xiàn)象。文獻(xiàn)[16]在三幀差法的基礎(chǔ)上，提出了五幀差法，可以在一定程度上有效地克服三幀差法的不足。該算法的基本原理是：

(1)選取視頻圖像序列中連續(xù)五幀圖像fk-2(x,y),fk-1(x,y),fk(x,y),fk+1(x,y)和fk+2(x,y)，其中fk(x,y)為中間幀，分別將其轉(zhuǎn)為相應(yīng)的灰度圖像，得到相應(yīng)的五幀圖像Ik-2(x,y),Ik-1(x,y),Ik(x,y),Ik+1(x,y)和Ik+2(x,y)。

(2)對第k-2、k幀圖像，第k-1、k幀圖像，第k、k+1幀圖像和第k、k+2幀圖像分別做差分運算，得到的差分結(jié)果為

d1(x,y)=|Ik(x,y)-Ik-2(x,y)|
d2(x,y)=|Ik(x,y)-Ik-1(x,y)|
d3(x,y)=|Ik(x,y)-Ik+1(x,y)|
d4(x,y)=|Ik(x,y)-Ik+2(x,y)|

(4)

對差分結(jié)果di(x,y)(i=1,2,3,4)分別進(jìn)行二值化

(5)

由于傳統(tǒng)的閾值T是固定值，適應(yīng)性較差，本文在文獻(xiàn)[16]的基礎(chǔ)上，采用了OTSU法[17]來確定最佳閾值，以便較好地適應(yīng)光照的變化。其基本思想是根據(jù)圖像的灰度值將圖像分為兩類：c0和c1。當(dāng)兩類類間方差最大時所對應(yīng)的閾值即為最佳閾值。視頻中圖像的灰度范圍為[0，255]，c0對應(yīng)灰度值范圍為[0，T]的像素，c1對應(yīng)于灰度值范圍為[T+1，255]的像素。設(shè)圖像像素總數(shù)為N，灰度值為k的像素的個數(shù)為nk，則k的概率取值如下

(6)

c0出現(xiàn)的概率為

(7)

c1出現(xiàn)的概率為

(8)

整幅圖像的均值為

(9)

ω0和ω1的均值分別為

(10)

(11)

類間方差定義為

σ2=ω0(μ0-μT)2+ω1(μ1+μT)2
=ω0ω1(μ0-μ1)

(12)

由灰度最小值到灰度最大值遍歷T，當(dāng)T=argmaxσ2時，方差取最大值，即此時的閾值T為最佳閾值。

接著將得到的二值圖像分兩組進(jìn)行取“與”操作和取“異或”操作。首先取“與”操作，將同時存在的運動目標(biāo)都取出

H14(x,y)=g1(x,y)?g4(x,y)
H23(x,y)=g2(x,y)?g3(x,y)

(13)

其中“?”代表與運算。再進(jìn)行異或操作，以此來獲得兩幅圖像的差異區(qū)域：將g1(x,y)和g4(x,y)進(jìn)行異或運算得到L14(x,y)；將g2(x,y)和g3(x,y)進(jìn)行異或運算得到L23(x,y)。由于在這個操作中會比原來存在較多的噪聲，接著取“或”操作將相同的以及各自的運動像素合在一起

Ak(x,y)=H14(x,y)⊕H23(x,y)
Bk(x,y)=L14(x,y)⊕L23(x,y)

(14)

其中，“⊕”代表或運算。這時存在的前景運動目標(biāo)像素是最多的，但是重影現(xiàn)象和噪聲也增多，最后一步將生成的兩幀取“與”操作，很好地克制“或”運算導(dǎo)致的目標(biāo)重疊現(xiàn)象，改善了目標(biāo)的檢測效果。

Rk(x,y)=Ak(x,y)?Bk(x,y)

(15)

(3)由于五幀差法也繼承了幀差法的缺點，使得獲取的前景目標(biāo)圖像存在“空洞”現(xiàn)象。對得到的目標(biāo)進(jìn)行膨脹、腐蝕等形態(tài)學(xué)后處理，以剔除噪聲，減少空洞現(xiàn)象，使邊緣輪廓更連續(xù)，目標(biāo)區(qū)域更加顯著。

1.3 融合的運動目標(biāo)提取

通過codebook模型和五幀差法獲得了可能的運動目標(biāo)的像素，若只使用其中一種方法來確定運動目標(biāo)，則檢測結(jié)果將會不理想。因此，將改進(jìn)后的五幀差法和codebook模型法所得到的運動區(qū)域作“或”運算，便可以得到精確的運動區(qū)域。在得到codebook模型法前景圖像下的Zk(x,y)和五幀差法下的前景圖像Rk(x,y)后，按下式進(jìn)行運動目標(biāo)提取

Fk(x,y)=Zk(x,y)⊕Rk(x,y)

(16)

1.4 形態(tài)學(xué)處理

融合五幀差法和codebook模型法后得到的前景圖像往往存在中間有空洞、周圍有毛刺等不平滑的情況，為了提高準(zhǔn)確性，對最終得到的前景圖像進(jìn)行膨脹和腐蝕以及兩者組合的開運算和閉運算的形態(tài)學(xué)處理。

1.5 融合模型實現(xiàn)方法

本文提出的改進(jìn)的運動目標(biāo)檢測方法主要包括4個步驟：(1)采用codebook模型進(jìn)行背景建模和前景檢測，并獲得前景圖像；(2)通過改進(jìn)的五幀差法獲得前景圖像；(3)對步驟(1)和步驟(2)中獲得的兩幅前景圖像進(jìn)行或運算，得到精確的前景圖像；(4)為了去除背景噪聲和相機(jī)抖動的影響，進(jìn)行形態(tài)學(xué)處理，以獲得更精確的運動目標(biāo)。

2 實驗結(jié)果及分析

本實驗平臺采用Intel Core(i5-4590M)3.30 GHz雙核處理器、4 GB內(nèi)存、Windows 7操作系統(tǒng)。文中以Visual Studio 2013為軟件平臺，借助OpenCV3.2庫函數(shù)對算法進(jìn)行優(yōu)化和改進(jìn)。采用兩段視頻作為實驗數(shù)據(jù)，進(jìn)行了實驗，分別對五幀差法、高斯混合模型算法、原始codebook方法、YUV顏色空間下codebook算法以及本文改進(jìn)算法的實驗效果進(jìn)行對比。本文對兩個視頻在320×240、640×480、1024×768三種不同分辨下進(jìn)行了實驗。視頻1為道路視頻，拍攝于上海市區(qū)某段道路，場景中存在光線的局部變化，采用的大小是640×480。視頻2拍攝于上海理工大學(xué)校園內(nèi)某處，場景中存在上方草坪和樹葉的晃動，采用的大小是640×480(本文實驗視頻素材為攝像頭靜止?fàn)顟B(tài)所拍)。實驗結(jié)果中(a)為原圖，(b)為五幀差法下檢測的結(jié)果，(c)為混合高斯模型法下的檢測結(jié)果，(d)為原codebook法下的檢測結(jié)果，(e)為YUV顏色空間codebook法下的檢測結(jié)果，(f)為本文改進(jìn)算法下的檢測結(jié)果。

圖1 視頻1目標(biāo)檢測結(jié)果

圖1的測試幀是視頻1中的第625幀，該時刻道路兩邊行人和左邊3排車輛融為背景，右邊兩排車輛緩慢移動。實驗結(jié)果表明，五幀差法能檢測出汽車的大致輪廓，但提取出的運動目標(biāo)不完整；高斯混合模型法目標(biāo)提取比較完整；原始codebook算法檢測的結(jié)果形狀較飽滿，但包含很多噪聲，對一些高亮度噪聲干擾產(chǎn)生了誤檢，比如圖中下方地面上的虛線被誤判為前景；YUV顏色空間下codebook方法雖減少了噪聲，但仍將地面上的虛線判為了前景；相比之下，本文改進(jìn)后的方法能抑制噪聲的影響，且很好的適應(yīng)局部光照變化，避免了融入背景的誤判，目標(biāo)分割結(jié)果更加準(zhǔn)確、完整。

圖2 視頻2目標(biāo)檢測結(jié)果

圖2為視頻2的第330幀，從檢測結(jié)果可以看出，五幀差法獲取的前景圖像目標(biāo)提取不完整，且提取出的運動目標(biāo)存在明顯空洞現(xiàn)象；高斯混合模型法目標(biāo)提取比較精確，但存在噪聲，沒有克服樹枝晃動干擾；原始codebook算法結(jié)果相對較好一點，但檢測出的運動目標(biāo)有大面積陰影，同時左側(cè)的井蓋部位出現(xiàn)了誤檢，且噪點較多；YUV顏色空間下codebook算法檢測出的運動目標(biāo)比較完整，去除了陰影，減少了噪點，但左側(cè)的井蓋部位仍然出現(xiàn)了誤檢；本文算法檢測出的運動目標(biāo)完整且無陰影、背景噪點少、對樹枝晃動干擾敏感度低且基本去除了誤檢。

最后給出了這兩個視頻在不同分辨率及不同方法下處理速度的比較，單位為幀·s-1。方法(I)、(II)、(III)、(IV)、(V)分別為五幀差法、高斯混合模型法、原始codebook方法、YUV顏色空間下codebook方法和本文改進(jìn)算法。

表2 視頻1處理速度比較 /幀·s-1

表3 視頻2處理速度比較 /幀·s-1

由表2和表3可以看出，五幀差法處理速度最快；高斯混合模型的實時性最差，為該算法需要計算復(fù)雜的概率分布模型；YUV顏色空間下的codebook算法比RGB顏色空間下的codebook算法處理速度快。

3 結(jié)束語

本文將光流場法、幀差法、背景差法這3種常用的運動目標(biāo)檢測方法進(jìn)行比較后，確定采用對不同場景適應(yīng)性更強(qiáng)的基于codebook模型的背景差法作為本文運動目標(biāo)檢測的方法。針對在RGB顏色空間下復(fù)雜的乘方與開平方運算，選擇YUV作為顏色空間模型，同時融合改進(jìn)的五幀差法，采用自適應(yīng)閾值，以適應(yīng)光照變化的場景。實驗表明該算法在正常情況下能夠較好地提取出不同環(huán)境下的運動目標(biāo)區(qū)域，檢測準(zhǔn)確率較高、易于實現(xiàn)，在一定程度上提高了實時性，節(jié)省了內(nèi)存，對復(fù)雜環(huán)境下的運動目標(biāo)檢測適應(yīng)性更強(qiáng)。該算法既提高了背景差法目標(biāo)提取的準(zhǔn)確性，又減少了五幀差法的運動目標(biāo)空洞現(xiàn)象，能夠有效地去除噪聲和陰影，具有良好的檢測效果和抗干擾能力。但是本文算法也有不足之處，其在計算速度上慢于碼本模型算法和五幀差法，仍需要進(jìn)一步改進(jìn)。