基于像素的背景建模方法綜述

薛 茹，宋煥生，張 環(huán)

(1.西藏民族學(xué)院信息工程學(xué)院，陜西 咸陽712082;2.長安大學(xué)信息工程學(xué)院，陜西 西安710064;3.陜西省道路交通智能檢測與裝備工程技術(shù)研究中心，陜西 西安710064)

運(yùn)動目標(biāo)檢測是視頻處理技術(shù)的重要問題之一，是解決計算機(jī)視覺問題的基礎(chǔ)。因此剔除時間和空間上冗余信息，對背景和目標(biāo)進(jìn)行有效地分割是運(yùn)動目標(biāo)檢測研究的重點(diǎn)。學(xué)者們根據(jù)應(yīng)用場合、方法、技術(shù)路線等方面提出了不同的運(yùn)動目標(biāo)檢測方法，主要有背景減法、幀差法、光流法、均值漂移法、最小化能量法、結(jié)合濾波技術(shù)的方法、基于學(xué)習(xí)的方法、小波變化法、分形編碼法等。這些方法中背景減法、時間差、光流法能夠在固定攝像機(jī)情況下自動提取背景目標(biāo)［1］，因而應(yīng)用比較廣泛。幀差法適應(yīng)環(huán)境變化的能力較強(qiáng)，但在運(yùn)動目標(biāo)紋理均勻或緩慢運(yùn)動時，很難提取所有運(yùn)動目標(biāo)像素點(diǎn)，容易造成運(yùn)動物體透明現(xiàn)象;光流法計算復(fù)雜，抗噪性能差;背景減法計算量小、抗噪能力強(qiáng)、精度高，所以是目前使用較普遍的方法。

在實(shí)際場景中情況比較復(fù)雜，外界天氣、光線、道路背景運(yùn)動物體、影子樹枝等變化無常，給運(yùn)動目標(biāo)的檢測帶來極大困難。為了提高背景減法提取運(yùn)動目標(biāo)的準(zhǔn)確性，背景模型成為影響目標(biāo)監(jiān)測和跟蹤性能的關(guān)鍵問題。在近些年的研究中，學(xué)者們研究了許多背景建模方法，這些方法主要是從像素和像素區(qū)域兩個方面對背景建模:基于像素的背景模型中每個像素是獨(dú)立的，這種方法的優(yōu)點(diǎn)是能提取運(yùn)動目標(biāo)的外形，缺點(diǎn)是分割結(jié)果與背景和場景相關(guān);像素區(qū)域建模的優(yōu)點(diǎn)是圖像的局部變化和動態(tài)背景的影響較小，不能得到精確的目標(biāo)形狀。

本文從是否需要為背景評估保留緩存，是否需要用每一個輸入的幀來更新背景模型兩個方面，將現(xiàn)有的基于像素背景建模方法分為遞歸和非遞歸［2-3］兩類，并逐一對它們的算法進(jìn)行分析。

1 背景建模方法

1.1 非遞歸背景建模方法

非遞歸建模方法通過開辟內(nèi)存來存儲大量過去時刻的圖像序列，并根據(jù)這些連續(xù)圖像對應(yīng)像素的變化預(yù)計背景模型。這種方法能防止單幀圖像的干擾，但占內(nèi)存較大。

1.1.1 中值、均值模型

中值［4］、均值濾波法是背景建模方法中較簡單的建模方法。它們的基本思想是將連續(xù)采集到的L幀序列圖像存儲到緩沖區(qū)中，對這L幀圖像中對應(yīng)像素求均值或中值，用其均值或中值圖像作為下一幀圖像的背景模型。

上式分別是像素中值和均值的建模方法。It(x，y)表示t時刻點(diǎn)(x，y)處像素灰度值，Bt(x，y)表示均值法和中值法在該點(diǎn)的背景建模值，median為取中值函數(shù)。相比均值法計算簡單的特點(diǎn)，中值法能更好地保持圖像邊緣的平滑。但由于中值法注重濾波窗口數(shù)據(jù)的次序而忽略了輸入數(shù)據(jù)的時間，因此會產(chǎn)生邊緣抖動，并濾掉部分重要細(xì)節(jié)。為了解決這些問題，提出了多級中值濾波算法和自適應(yīng)中值濾波算法等改進(jìn)方法。

1.1.2 幀間差分模型

幀間差分法能彌補(bǔ)均值法中動態(tài)前景對背景模型的影響。它將圖像序列中相鄰兩幀進(jìn)行相減，對得到的差進(jìn)行閾值化來提取動態(tài)前景，在此基礎(chǔ)上出現(xiàn)如三幀差分法［5］等多種改進(jìn)方法?；趲g差分思想的算法計算簡單、計算量小、對光線變化不敏感，且容易造成實(shí)體內(nèi)部空洞。另外差分間隔根據(jù)運(yùn)動目標(biāo)的速度選擇，如果選擇不當(dāng)會影響背景提取精確度。

1.1.3 W4模型

W4［6］構(gòu)建了人們運(yùn)動的動態(tài)模型來表示他們在哪里(Where)，在什么時間(When)做什么(What)，并且對追蹤對象外形建模，通過視頻圖像中的偶然事件識別追蹤對象身份，也就是明確了誰(Who)的問題，這就是W4名字的來源。W4建模的基本思想是:背景場景通過訓(xùn)練圖像序列中同一像素的最大值、最小值，和相鄰連續(xù)幀中同一像素的差分來判斷前景像素。具體算法如下。

{x1，x2，…，xL}是L幀圖像序列中某像素的集合;σ(x)和λ(x)為像素x在訓(xùn)練序列中的標(biāo)準(zhǔn)差和中值;像素x的初始背景模型為［m(x)，n(x)，d(x)］，m(x)，n(x)，d(x)表示像素的最小值、最大值和像素差的最大值。

dμ為d(x)的中值，k為閾值常數(shù)。如果＞kdμ，則xt為前景像素，反之為背景像素。

W4主要應(yīng)用在單色視頻，特別是應(yīng)用在夜間或其他低亮度水平的情況，這些情況下能有效檢測前景區(qū)域，但是計算量比較大。后來研究者對背景像素的分割和更新方法進(jìn)行了改進(jìn)［7］，使得在相同條件獲得了更好的效果。

1.1.4 線性預(yù)測模型

線性預(yù)測濾波是在美國科學(xué)家Wiener和前蘇聯(lián)科學(xué)家等人的研究基礎(chǔ)上提出的。它的基本思想是根據(jù)圖像序列中以前幀中的像素值預(yù)測下一幀圖像中像素值，通過對像素預(yù)測值和真實(shí)值的偏差來判斷該點(diǎn)為背景還是前景，如果當(dāng)前像素明顯偏離預(yù)計值，則認(rèn)為該當(dāng)前像素是前景，否則為背景。在這里用維納濾波［8］來進(jìn)行說明。給定一個像素，它下一時刻的值通過下式預(yù)測

式中:It為t幀時某像素的預(yù)測值;It-i為t幀之前各幀的像素值;ai為預(yù)測系數(shù)。通過L幀對當(dāng)前幀進(jìn)行預(yù)測，其均方誤差為

式中，ai由In樣本方差計算。根據(jù)均方誤差E的大小判斷像素為前景或背景。維納濾波對圖像周期性變化能很好的判斷，并實(shí)時對背景更新，對突然變化不能精確檢測。從理論上說，維納濾波的最大缺點(diǎn)是必須用到無限過去的數(shù)據(jù)，不適用于實(shí)時處理。

1.1.5 非參數(shù)核密度估計

核密度估計［9-10］(KDE)方法是基于像素顏色空間的非參數(shù)背景建模方法。它的基本思想是由序列圖像像素的采樣樣本估計背景像素的概率密度函數(shù)，從判斷當(dāng)前像素概率值是否屬于背景的概率，來判斷屬于前景還是背景。

具體算法如下:{x1，x2，…，xL}是L幀圖像序列中某像素的集合，根據(jù)該像素集合提出像素強(qiáng)度估計的概率密度函數(shù)P(x)，xt為在t時刻強(qiáng)度的估計值為

式中，K是服從正態(tài)分布N(0，σ2)的函數(shù)，σ為該核函數(shù)的帶寬。所以就有

如果假設(shè)在不同的顏色通道有不同的核帶寬，密度估計變?yōu)?/p>

核密度估計雖然能有效地抑制動態(tài)陰影，但是需要存儲大量背景樣本，且計算時間復(fù)雜度相當(dāng)高。另外，選擇合適的核帶寬比較難。

在該方法的基礎(chǔ)上，學(xué)者們提出了具有數(shù)據(jù)依賴性帶寬的密度估計方法，通過核對動態(tài)場景進(jìn)行背景建模，并提出一種基于前景背景差分的自適應(yīng)核估計方法，在前景背景顏色相同情況下能有效進(jìn)行區(qū)分。另外基于動態(tài)圖像梯度特點(diǎn)的核密度估計模型除了能抑制視頻彩色圖像的陰影外，還能有效地抑制反射圖像擴(kuò)散。

1.1.6 統(tǒng)計直方圖

統(tǒng)計直方圖是通過統(tǒng)計像素灰度變化的方法來檢測背景?；舅枷胧窍冉y(tǒng)計一段時間內(nèi)L幀圖像中每個像素在不同灰度出現(xiàn)的次數(shù)，像素在某灰度值出現(xiàn)次數(shù)最多的，判斷為背景本身的灰度值。

L幀的統(tǒng)計直方圖算法:k為像素x在第i幀的灰度值，pk(x)表示像素x在連續(xù)的L幀中灰度值為k的次數(shù)(k=0，1，…，255;i=1，2，…，L)。像素x的背景值為max(pk(x))。

該算法抗干擾性好，通常情況下提取的背景較好，但運(yùn)算量大、提取背景速度慢。隨著統(tǒng)計的圖像序列增加，提取背景的效果越來越不明顯。文獻(xiàn)［11］通過對圖像像素的統(tǒng)計直方圖劃分區(qū)域，根據(jù)當(dāng)前像素值所在的直方圖區(qū)域判定前景和背景，該方法提取的背景較穩(wěn)定，提取的背景接近真實(shí)的背景。

1.2 遞歸背景建模方法

和非遞歸相反，遞歸需要的存儲空間相對少很多。根據(jù)當(dāng)前幀中的像素遞歸地更新背景模型，這樣就導(dǎo)致建模過程中很久以前幀的錯誤對背景模型造成長時間的影響。因此，大部分遞歸背景建模方法中都使用權(quán)重去除以前的幀造成的錯誤反饋。

1.2.1 近似中值濾波

中值濾波方法在背景建模中應(yīng)用成功之后，McFarlane和Schofield［12］提出一種簡單的遞歸技術(shù)來估計中值。該方法的基本思想是:如果輸入像素值大于估計值則中值估計會逐次遞增，反之則會逐次減小。這種估計一般會收斂到一個值，一半的輸入像素值大于或小于這個值，也就是中值。近似中值濾波只需要存儲一個參考圖像，計算簡單。但是它逐漸適應(yīng)背景變化，需要采集大量連續(xù)幀才能適應(yīng)變化的背景區(qū)域。

1.2.2 單高斯模型

單高斯模型適用于圖像背景比較單一、直方圖顯示出單峰的情況。單高斯模型的思想是把圖像的像素值看成是前景高斯分布和背景高斯分布的混合。當(dāng)某點(diǎn)像素的分布與前景高斯分布匹配，那么該像素就屬于前景，否則屬于背景。

具體算法如下［13］:假設(shè)圖像中每個像素的顏色都是獨(dú)立的，對于圖像中任意像素點(diǎn)(x，y)，設(shè)它在L幀的像素值分別為I0，I1，I2，…，IL-1，且服從一維正態(tài)分布N(μ，σ2)，μ為L幀圖像訓(xùn)練樣本在像素點(diǎn)(x，y)的均值，σ2為其方差。

P(I)是像素點(diǎn)(x，y)顏色的概率。如果P(I)≤Threshold(Threshold為概率閾值)，(x，y)為前景像素，否則(x，y)為背景像素。閾值可以根據(jù)經(jīng)驗(yàn)或通過實(shí)驗(yàn)確定。單高斯模型計算速度快、準(zhǔn)確度較高，能較好地處理背景干擾。但是對于突變的背景和前景不能進(jìn)行有效的處理。還有作者［14］針對紅外圖像的特點(diǎn)對單高斯分布背景提取方法進(jìn)行改進(jìn)，該算法中由于綜合考慮像素的灰度值，有效地提高了背景建模精確度。

1.2.3 混合高斯模型

為了克服單高斯模型對復(fù)雜場景背景更新的滯后性，混合高斯模型對其進(jìn)行延伸，用多個高斯分布平滑地模擬像素的變化情況，目前在語音、圖像等方面都應(yīng)用比較普及。

混合高斯模型基本思想是使用多個高斯分布表示序列圖像中每個像素點(diǎn)的特征，如果當(dāng)前幀中的某像素的特征與高斯分布相匹配，則被判定為背景像素，否則為前景像素。

任意像素點(diǎn)(x，y)的像素值在時間上的變化用k(一般是3～5)個高斯分布進(jìn)行建模，該像素的概率分布為

式中:ωt，i為第i個高斯分布的權(quán)重，并且有η為其概率密度函數(shù);Ii為像素值;μt，i為其均值;Σt，i為其協(xié)方差。其中

為了減少計算量，提高算法的實(shí)時性，一般假設(shè)每幀視頻圖像中像素色彩通道相互獨(dú)立，那么上式中協(xié)方差矩陣估計為:

在混合高斯分布中，各高斯分布根據(jù)權(quán)重的差異具有不同的優(yōu)先級，并按照優(yōu)先級的降序排列。根據(jù)檢測像素是否屬于閾值范圍內(nèi)的分布來判定該像素是背景還是前景。如果像素的分布不符合任何高斯分布，那么重新設(shè)計一個權(quán)重較小和方差較大的高斯分布，代替優(yōu)先級最小的高斯分布，并重新對所有高斯分布進(jìn)行權(quán)重歸一化處理。

混合高斯分布對于處理復(fù)雜、緩慢變化的背景有較好效果，但是對處理變化劇烈的場景時效果不理想，并且計算復(fù)雜度較大。為了提高混合高斯分布在背景提取的有效性，研究者們也根據(jù)各自的應(yīng)用不斷進(jìn)行改進(jìn)，如將顏色、邊緣和紋理等視覺特征集合起來進(jìn)行背景建模的混合高斯背景模型。為每個像素建立多個高斯分布［15］，每個高斯模型按權(quán)重排序，通過學(xué)習(xí)背景環(huán)境實(shí)時更新的模型等。

1.2.4 卡爾曼模型

卡爾曼濾波是線性預(yù)測背景建模中較典型的方法，在實(shí)際應(yīng)用中已有多種不同版本。但基本思想是一致的:將背景圖像序列中像素點(diǎn)變化用信號處理系統(tǒng)描述，根據(jù)時變隨機(jī)信號的統(tǒng)計特性，采用線性最小均方誤差作為最優(yōu)化準(zhǔn)則，對隨機(jī)信號的過去、當(dāng)前或未來值作盡可能接近真值的估計，估計值為

設(shè)It為當(dāng)前時刻某像素的值，I∧t為其估計值，I't為其時間導(dǎo)數(shù)，I∧'t為其時間導(dǎo)數(shù)的估計值，則t時刻的估計值為

當(dāng)運(yùn)動目標(biāo)速度較慢時，卡爾曼濾波檢測出的運(yùn)動目標(biāo)有拖影現(xiàn)象，但是能適應(yīng)光照等動態(tài)背景變化較快的情況。鑒于這種情況學(xué)者們對卡爾曼模型不斷進(jìn)行改進(jìn)，用像素一維Kalman濾波跟蹤的攝像機(jī)中每個像素的強(qiáng)度，并提出自適應(yīng)Kalman濾波背景減法。

1.2.5 碼本模型

碼本是基于像素顏色的背景建模法，它的建模思想是:根據(jù)圖像序列中的每個像素的顏色距離和亮度，用量化技術(shù)建立一個碼本，這個碼本可以是不同長度碼元。在檢測時，用當(dāng)前像素的碼本與建立的碼本進(jìn)行比較，如果當(dāng)前像素碼本落在任何原來的某個碼本范圍內(nèi)，則為背景。否則為前景。

在下面的算法［17］中以彩色圖像建模，在灰度圖象中應(yīng)用只需要對顏色值做簡單的改動。

X={x1，x2，x3，…，xL}為L個序列圖像中某個像素點(diǎn)的集合，C={c1，c2，…，ci}為由i個碼元組成的像素碼本，每個碼本的碼長不一定相同。每個碼元ci(i=1，2，…，N)由一個RGB向量)和一個6元組auxi=組成，其中:I^，Iˇ分別表示所有采樣像素亮度的最大和最小值;f為碼元出現(xiàn)的頻率;λ為訓(xùn)練期間碼元沒有出現(xiàn)的最大時間間隔;p，q分別表示碼元建立時間和最后一次被訪問的時間。采樣初期使碼元長度為0，碼本為空。在訓(xùn)練時間內(nèi)對一個像素進(jìn)行采樣:如果碼本中沒有碼元，當(dāng)前像素就被確認(rèn)為碼元，該像素的亮度為碼元的亮度;如果碼本中存在碼元，就用新樣本像素與碼本中每個碼元的參數(shù)進(jìn)行比較，如果匹配，就用當(dāng)前像素參數(shù)更新該碼元值，否則將當(dāng)前像素添加到碼本中。

碼本方法適用于有移動背景、光線變化等的復(fù)雜場景中。和其他建模算法比較，碼本建模有相對較好的特性。并且提出從多層codebook建模、像素塊建模、根據(jù)顏色紋理等背景建模方法。

2 背景建模方法比較

以上的背景建模方法是在攝像頭固定的情況下，通過對單個像素建模來提取背景的。這些方法對于有噪聲、光照、天氣等因素影響的復(fù)雜背景情況下敏感度不同，在處理過程中的計算速度、需要的存儲容量和最終提取背景的精確度都不盡相同。一般情況下，精確度表示有效提取背景的程度;存儲容量直接影響到計算速度，而計算速度關(guān)系到背景提取的實(shí)時性，也就是對背景變化的敏感性的要求。所以內(nèi)存、速度、精確度直接關(guān)系到背景建模方法性能的好壞。因此本文從背景建模方法的空間復(fù)雜度(內(nèi)存)、時間復(fù)雜度(速度)和精確度3個指標(biāo)對基于像素級的背景建模方法進(jìn)行比較［18］，最終比較結(jié)果如表1所示。

表1 建模方法比較

由表1可以看出，這些方法雖然都有缺點(diǎn)，但是在不同應(yīng)用場景可以選擇不同的方法。比如幀差法，雖然精度不高，但是如果能得到背景的圖像，并且背景受外界影響較小，這種方法就簡單實(shí)用。

3 總結(jié)與展望

基于背景減法的背景模型只是視頻圖像處理的一個預(yù)處理，而不是最終目標(biāo)。一個好的目標(biāo)檢測系統(tǒng)應(yīng)該解決許多問題，如運(yùn)動物體、陰影、逐漸或突然改變光線、樹枝的擺動、遮擋等。但這些問題不可能同時得到解決，因?yàn)樗鼈兊牟顒e在于處理過程中對運(yùn)動的前景和背景理解，如果不知道處理的目的和最終要求，解決這樣的問題幾乎是不可能的。另外，在某一特定過程中，并不一定會遇到所有上面提到的問題。沒有一個背景建模方法是絕對完美的，但一個好的思路將會給背景建模提供很多的幫助。當(dāng)在特定的應(yīng)用場合對前景像素進(jìn)行提前分析，明確要檢測前景的哪部分、檢測的目的是什么，那么算法的設(shè)計者就應(yīng)該把所有注意力放在已經(jīng)分析好的、需要檢測識別的部分，而不應(yīng)該是對每個像素都做統(tǒng)一處理。

從近幾年提出的背景模型建模方法可以看出，背景建模方法是沿著以下3方面發(fā)展:1)在原有典型方法的基礎(chǔ)上，結(jié)合多種方法，互相彌補(bǔ)其在背景提取過程中的不足;2)沖破典型方法局限于計算機(jī)視覺的某一方面的禁錮，向多視覺特點(diǎn)的背景模型發(fā)展;3)在背景模型中將時間和空間綜合考慮，從時間、梯度、多層等多方面改進(jìn)。

［1］郭永濤，宋煥生，賀昱曜.視頻交通監(jiān)控系統(tǒng)中背景提取算法［J］.電視技術(shù)，2006，30(5):91-93.

［2］CHEUNG S C S，KAMATH C.Robust techniques for background subtraction in urban traffic Video［C］//Proc.IS＆T/SPIE Electronic Imaging.San Jose，United States:IEEE Press，2004:881-892.

［3］ELHABIAN S Y，EL-SAYED K M，AHMED S H.Moving object detection in spatial domain using background removal techniques-state-of-art［J］.Recent Patents on Computer Science，2008，1(1):32-54.

［4］CUCCHIARA R，GRANA C，PICCARDI M，et al.Detecting moving objects，ghosts and shadows in video streams［J］.Pattern Analysis and Machine Intelligence，2003，25(10):1337-1342.

［5］羅笑南，陸晴.一種背景模型與三幀差分相結(jié)合進(jìn)行視頻背景檢測的方法:中國，CN101883209A［P］.2010-11-10.

［6］HARITAOGLU I，HARWOOD D，DAVIS L S.W4:real-time surveillance of people and their activities［J］.Pattern Analysis and Machine Intelligence，2000，22(8):809-830.

［7］ZHAO Lixing，TONG Qikai，WANG Hongrui.Study on moving-objectdetection arithmetic based on W4 theory［C］//Proc.2011 2nd International Conference on AIMSEC.［S.l.］:IEEE Press，2011:4387-4390.

［8］TOYAMA K，KRUMM J，BRUMITT B，et al.Wallflower:principles and practice of background maintenance［C］//Proc.Internal Conference of Computer Vision(ICCV).Kerkyra，Greece:IEEE Press，1999:255-261.

［9］ELGAMMAL A，HARWOOD D，DAVIS L.Non-parametric model for background subtraction［C］//Proc.the 6th European Conference on Computer Vision.Dublin，Ireland:［s.n.］，2000:751-767.

［10］LAMBERT C G，HARRINGTON S E，HARVEY C R，et al.Efficient on-line nonparametric kernel density estimation［J］.Algorithmica，1999，25(1):37-57.

［11］李曉飛，梅中輝.一種基于直方圖統(tǒng)計與多幀平均混合的背景提取算法［J］.南京郵電大學(xué)學(xué)報:自然科學(xué)版，2008，28(6):74-77.

［12］MCFARLANE N J B，SCHOELD C P.Segmentation and tracking of piglets in image［J］.Machine Vision and Applications，1995，8(3):187-193.

［13］WREN C R，AZARBAYEJANI A，DARRELL T，et al.Pfinder:real-Time Tracking of the Human Body［J］.IEEE Trans.Pattern Analysis and Machine Intelligence，1997，19(7):780-785.

［14］TAN Jianhui.A new algorithm of infrared gait detection based on immune ant colony［C］//Proc.2011 International Conference on EMEIT.Harbin，China:IEEE Press，2011，9:4875-4878.

［15］常曉夫，張文生，董維山.基于多種類視覺特征的混合高斯背景模型［J］.中國圖象圖形學(xué)報，2011，16(5):829-834.

［16］WAN Qin，WANG Yaonan.Background subtraction based on adaptive non-parametric model［C］//Proc.7th World Congress on Intelligent Control and Automation.Chongqing，China:IEEE Press，2008:5960-5965.

［17］KIM K，CHALIDABHONGSE T H，HARWOOD D，et al.Real-time foreground–background segmentation using codebook model［J］.Special Issue on Video Object Processing，2005，11(3):172-185.

［18］羅萬福，艾斯卡爾.視頻監(jiān)控系統(tǒng)中的背景提取算法［J］.電視技術(shù)，2006，30(12):79-91.