復(fù)雜背景下基于貝葉斯-全概率聯(lián)合估計的前景檢測

李擁軍 曾 標 徐克付 李 陽

①(華南理工大學(xué)計算機科學(xué)與工程學(xué)院 廣州 510006)

②(華南理工大學(xué)理學(xué)院 廣州 510640)

③(中國科學(xué)院計算技術(shù)研究所信息內(nèi)容安全技術(shù)國家工程實驗室 北京 100190)

1 引言

目前，從圖像序列中提取背景物體常用的方法主要是幀差與背景相結(jié)合的方法[1]。文獻[2]提出了一種基于行掃描點線目標聚類合并的快速實時多目標檢測算法，該方法在一定程度上避免了幀差法、投影法等傳統(tǒng)檢測算法帶來的漏檢；基于背景Codebook模型[3]的前景檢測算法也是當前比較常用的目標檢測算法，它比傳統(tǒng)的目標檢測算法具有更高的精確度和魯棒性；另外，混合高斯模型(MOG)方法[4]在現(xiàn)實生活中得到大量應(yīng)用；密度估計運動檢測方法[5]也是當前研究的熱點之一；文獻[6]總結(jié)了一些經(jīng)典背景建模方法的基本原理和優(yōu)缺點。貝葉斯模型是一種不確定性知識的推理和描述，在圖像分割中發(fā)揮著重要的作用[7,8]。貝葉斯采用“逆概率”思想，推算出該特征向量屬于背景或前景的概率；全概率則是計算在某一像素點，出現(xiàn)某一特征的概率。由于以上文獻所提出的模型對背景建模不具有一般性，只能對特定類型視頻場景進行建模或者只能針對特定運動目標才具有較好的檢測效果。因此，為了建立一個能夠適應(yīng)大部分視頻場景的前景檢測模型，本文提出了貝葉斯-全概率聯(lián)合估計模型。通過對貝葉斯準則和全概率公式的結(jié)合，能夠很好地檢測處于復(fù)雜背景中的運動物體。

本文其它章節(jié)安排如下：第2節(jié)介紹貝葉斯-全概率的聯(lián)合估計模型對背景和前景進行分類；第3節(jié)主要描述了基于貝葉斯-全概率的聯(lián)合估計模型的算法流程；第4節(jié)對本文算法與其它兩種算法的實驗效果進行了比較，并對實驗結(jié)果進行誤差分析；第5節(jié)為結(jié)束語。

2 貝葉斯-全概率估計聯(lián)合估計模型

2.1 問題說明

在視頻處理中，背景一般由靜止和周期性運動的對象組成。但是，隨著時間的變化，背景可能經(jīng)歷兩種不同類型的變化，一是由自然光線引起的變化；二是一些突發(fā)的環(huán)境變化。突發(fā)變化又分為全局突發(fā)變化和局部突發(fā)變化，全局突發(fā)變化可能由開關(guān)燈等引起的；局部突變化則可能是移除了某些背景物體。因此，背景的不同部分應(yīng)該由不同類型的特征描述。

2.2 背景和前景特征信息的獲取

對于某一種特定類型的背景對象，存在一些重要的特征，這些特征能夠有效地分離背景和前景，利用貝葉斯估計法則，特征向量ξt來自背景b和前景f的后驗概率滿足[9,10]

如果特征向量滿足：

則把這個像素歸為背景，其中ψ為像素點。然而當背景中出現(xiàn)大量的前景物體時，背景將長時間被前景物體覆蓋，導(dǎo)致式(2)中的兩個條件并不能得到滿足，為了能夠在擁堵背景環(huán)境下更好地分離前景和背景，本文提出了背景誤差控制的方法，即將式(2)變?yōu)?/p>

其中εi,i= 1,2，這里稱之為背景誤差控制變量。當前景物體運動緩慢或者視頻場景中的前景物體較多時，通過選擇恰當?shù)摩舏，可以獲得更多的前景點，減少前景點被誤判的概率。把式(1)和全概率公式代入式(3)可以得到如下基于貝葉斯-全概率的聯(lián)合估計模型：

對于L位n維的特征向量，P(ξt|ψ)或P(ξt|b,ψ)的聯(lián)合直方圖包含Ln個bins(bins為頻數(shù)分布直方圖中的小矩形)，如果L或n的值很大，對于相關(guān)的計算或存儲的代價將是巨大的，例如當L=32,n= 1 0時，Ln= 3210≈1015。可見，一個好的近似顯得十分必要。背景被認為是穩(wěn)定的對象，如果有一個好的特征選擇，就可以用直方圖中小部分的bins涵蓋大部分與背景有關(guān)的特征向量。令為特征直方圖中的前N個bins并按降序排列，對于給定的比例值M1,M2=1-M1，存在比較小的正整數(shù)N1，滿足

自然地，N的值依賴于所選取的特征向量和位數(shù)L，對于每一種特征向量(來自前景或者背景)，用(其中i= 1,2,…,N(N＞N))表示特征統(tǒng)計221表，它記錄了在像素ψ(x,y)，時刻t處N2個最重要的值，表中的每一個元素由3個部分組成，即

當一個像素與穩(wěn)定的背景相關(guān)時，選取顏色作為特征向量，本文采用HSV顏色空間對圖像進行處理，即ξt用ωt=[ht,st,vt]T代替；當像素與運動背景相關(guān)時，顏色共生特性被選為特征向量，ξt用ωωt=[ht-1,st-1,vt-1,ht,st,vt]T代替。

3 貝葉斯-全概率聯(lián)合估計前景檢測算法

3.1 算法過程

本文的算法包含3部分：像素變化檢測，背景和前景像素點的分類，前景物體的提取和參考背景的更新。算法結(jié)構(gòu)如圖1。

圖1 本文算法對前景提取的算法流程圖

3.1.1 像素變化檢測根據(jù)不同場景，選擇適當?shù)目刂谱兞繀?shù)εi,i= 1,2，將視頻圖像轉(zhuǎn)換為HSV圖像空間。令I(lǐng)(ψ,t)={Iω(ψ,t)}為輸入圖像,B(ψ,t)={Bω(ψ,t)}為系統(tǒng)在時刻t保存的參考背景圖像，其中，ω∈ {h,s,v}表示顏色組成成分。將3個組成部分的結(jié)果相結(jié)合，產(chǎn)生背景差分Fbd(ψ,t)和時間差分Ftd(ψ,t)。

3.1.2 背景和前景像素點的分類時間差分將變化的像素分為兩種類型，如果Ftd(ψ,t)=1，這個像素被認為是運動的像素，且屬于運動的物體，否則它是一個與靜止物體有關(guān)的像素。它們進一步單獨劃分為背景或前景。對于靜止的像素或運動的像素，特征向量的選擇是依據(jù) 2.4節(jié)中提出的方法。將這種特征向量ξt與前N1個從對應(yīng)背景的特征統(tǒng)計表格中獲取的特征向量做比較，重新獲取相似特征。令條件概率從式(7)獲得。

其中δ為控制變量，這樣相似的特征向量可以量化到鄰域向量，統(tǒng)計仍然能夠重新獲得。經(jīng)過大量視頻的測試，當δ∈ [ 1.5,2.5]時，匹配效果最好。

3.1.3 前景物體的提取和參考背景的更新利用形態(tài)學(xué)運算(開運算或者閉運算)去除離散的點，輸出圖像O(ψ,t)，提取前景物體。用特征向量ξt將像素分類前景或背景，對應(yīng)特征統(tǒng)計用式(9)更新[11]。

其中i=1,2,…,N2,α2稱之為學(xué)習速率，它用來控制特征學(xué)習的速度。當在t時刻，從最后分離反饋為ψ(x,y)為背景，則否則；當式(7)中的相匹配時，，否則。如果沒有中的元素和ξ匹配時，則t表中的第N2個元素變?yōu)?/p>

當背景突然變化時，新的背景特征隨即出現(xiàn)，則特征統(tǒng)計用以下式子進行更新：

3.2 更新參考背景圖像

如果ψ為無關(guān)緊要變化的像素點，則Bω(ψ,t+ 1 )=( 1 -α1)Bω(ψ,t)+α1Iω(ψ,t)被用來對背景進行更新，其中ω∈ (h,s,v),α1為無限脈沖反應(yīng)濾波參數(shù)；如果O(ψ,t)=0,Ftd(ψ,t)=1 或者Fbd(ψ,t)=1,Bω(ψ,t+ 1 )=Iω(ψ,t),ω∈ (h,s,v)則被用來對參考背景進行更新，這樣參考圖像就能夠適應(yīng)背景的突然變化。

4 實驗結(jié)果與誤差分析

4.1 實驗結(jié)果

實驗演示了許多復(fù)雜的室內(nèi)室外視頻場景，包括擺動的樹枝，下雪環(huán)境，擁擠的路面和光照條件的變化等。為了驗證本文算法在復(fù)雜背景環(huán)境下對前景的檢測是否更具有適應(yīng)性，本文選擇了兩種目前比較流行的算法與之對比：一是具有魯棒性的背景相減法(RBS)[12]；二是改進的混合高斯模型算法(MOG)[13]。這兩種模型對光照變化都具有一定的魯棒性。為了進行合理的對比，采取同樣的形態(tài)學(xué)開運算或者閉運算對小區(qū)域消除。圖2是本文算法實現(xiàn)與RBS和MOG法對比的效果圖。其中(a)來自視頻的一幀；(b)RBS算法處理的結(jié)果；(c)MOG算法處理的結(jié)果；(d)本文算法處理的結(jié)果；(e)人工素描，趨近真實的前景圖。

4.2 實驗誤差及原因分析

下面的一些概念是常用于對前景或背景檢測效果進行評估的指標[14,15]：

4.2.1 實驗誤差圖形描述

The Actual Number of Foreground (AF)：當前幀實際前景點的數(shù)量；

The Actual Number of Background (AB)：當前幀實際背景點的數(shù)量；

The True Positive Outcome (TP)：已檢測到并且為正常前景點的數(shù)量；

The True Negative Outcome (TN)：已檢測到并且為正常背景點的數(shù)量；

The False Positive Errors (FP)：背景點被誤檢為前景點的數(shù)量；

The False Negative Errors (FN)：前景點被誤檢為背景點的數(shù)量；

False Positive Rate (FPR)：FPR=FP/(FP+TN)：背景誤判率；

圖2 各種算法實驗效果對比圖

False Negative Rate (FNR): FNR = FN/(TP+ FN)：前景誤判率；

False Rate (FR): FR=(FP+FN)/(AF+AB):總體誤判率。

表1為不同類型的前景像素點和背景像素點的數(shù)量統(tǒng)計表。表2為在不同檢測方法下，不同錯誤率的信息統(tǒng)計表。

圖3至圖5根據(jù)表2繪制出來的，圖中橫坐標代表場景，縱坐標表示錯誤率(%)。

4.2.2 實驗誤差原因分析圖3至圖5中顯示了在不同算法和不同實驗背景環(huán)境下，不同類型誤差對比的折線圖，下面對 RBS, MOG以及本文算法這 3種算法進行誤差分析：

(1)RBS算法：從圖3中可以清晰地看到FPR的數(shù)值大小總體上是可以接受的，但是當視頻中含有大量前景物體時(圖2(C)和圖2(D))，F(xiàn)PR偏大。從圖4可以看出，F(xiàn)NR總體也偏大。出現(xiàn)這種問題是因為當前景比較密集且分布不均勻時，造成背景無法得到及時更新，最終導(dǎo)致了像素點的誤判。然而當背景像素點變化比較均勻且前景運動物體比較少時，RBS方法對前景的檢測性能是比較好的(例如，圖2(B)(b))。

(2)MOG算法：通過觀察圖3，圖4和圖5中MOG模型誤差曲線，不難發(fā)現(xiàn)FPR, FNR和FR值都相對較大。不過MOG模型一般能夠檢測出大部分前景像素點。但是由于存在大量像素點的誤判，因而在總體上，MOG模型在處理復(fù)雜背景環(huán)境時，并不是一種理想的方法。導(dǎo)致MOG模型對前景物體檢測失敗的原因是：當背景中出現(xiàn)大量劇烈運動的背景像素點或者背景環(huán)境突然變化時，像素點不符合高斯分布，最終導(dǎo)致高斯建模失敗。

(3)本文算法：相對RBS和MOG算法，從圖3至圖5中本文算法的FPR, FNR和FR曲線可以清晰地看出本文的算法對復(fù)雜背景條件下前景檢測具有更明顯的優(yōu)勢。但是也丟失了一些前景點，主要有兩個原因：一是當場景中的前景和背景的H,S,V 3個分量之間的數(shù)值非常接近時(例如，圖2B(b)中人的衣服和樹木都為黑色)，前景點會被誤判為背景；二是在前景出現(xiàn)之前，視頻預(yù)處理的幀數(shù)較少在一定程度上也會使模型的建立存在誤差。但是，經(jīng)過大量復(fù)雜背景場景的反復(fù)測試，本算法具有更高的準確性和可靠性。

表1 不同類型的前景像素點和背景像素點的數(shù)量統(tǒng)計表

表2 在不同檢測方法下，不同錯誤率的信息統(tǒng)計表(%)

圖3 FPR曲線圖

圖4 FNR曲線圖

圖5 FR曲線圖

5 結(jié)束語

本文提出了一種基于貝葉斯-全概率的聯(lián)合估計模型，并結(jié)合誤差控制變量來從視頻流中檢測和分離前景物體。大量實驗表明，本文的算法對前景物體的提取效果是比較理想的。本文算法的主要不足之處是，當前景像素和背景像素H, S, V分量較為接近時，部分前景像素點會被誤認為是背景。另外，當某個前景物體移動很緩慢，則會導(dǎo)致這個前景物體的一些像素點會被誤判為背景像素點，拓展顏色共生向量可以在一定程度上減少前景像素誤判的問題，結(jié)合光流法確定光流場[16]也是一種可以參照的方法，但都會在一定程度上增加算法復(fù)雜度，影響前景的實時檢測，這也是需要進一步研究的內(nèi)容。

[1]Tsai Tsung-han, Lin Chung-yuan, Peng De-zhang,et al..Design and integration for background subtraction and foreground tracking algorithm[C]. Fifth International Conference on Information Assurance and Security, Xi’an,Aug. 18-20, 2009, 2: 181-184.

[2]葉有時, 唐林波, 趙保軍. 一種基于聚類的深空紅外多目標快速檢測算法[J]. 電子與信息學(xué)報, 2011, 31(1): 77-84.Ye You-shi, Tang Lin-bo, Zhao Bao-jun. A fast deep-space infrared multi-target detection algorithm based on clustering[J].Journal of Electronics&Information Technology, 2011, 31(1): 77-84.

[3]熊亮, 劉偉銘. 基于背景Codebook模型的前景檢測算法[J].科學(xué)技術(shù)與工程, 2010, 10(9): 2118-2121.Xiong Liang and Liu Wei-ming. Foreground detection algorithm based on background codebook model[J].Science Technology and Engineering, 2010, 10(9): 2118-2121.

[4]Zeng H C and Lai S H. Adaptive foreground object extraction for real-time video surveillance with lighting variations[C].IEEE International Conference on Acoustics, Speech, and Signal Processing, Honolulu, HI, USA, April 15-20, 2007,I-1201-I-1204.

[5]周恩策, 劉純平, 張玲燕, 等. 基于時間窗的自適應(yīng)核密度估計運動檢測方法[J]. 通信學(xué)報, 2011, 32(3): 106-114.Zhou En-ce, Liu Chun-ping, Zhang Ling-yan,et al..Foreground object detection based on time information window adaptive kernel density estimation[J].Journal on Communications, 2011, 32(3): 106-114.

[6]代科學(xué), 李國輝, 涂丹, 等. 監(jiān)控視頻運動目標檢測減背景技術(shù)的研究現(xiàn)狀和展望[J]. 中國圖像圖形學(xué)報, 2006, 11(7):920-927.Dai Ke-xue, Li Guo-hui, Tu Dan,et al.. Prospects and current studies on background subtraction techniques for moving objects detection from surveillance video [J].Journal of Image and Graphics, 2006, 11(7): 920-927.

[7]Rahimizadeh H, Marhaban M H, Kamil R M,et al.. Color image segmentation based on Bayesian theorem and kernel density estimation[J].European Journal of Scientific Research, 2009, 26(3): 430-436.

[8]Zribi M. Unsupervised Bayesian image segmentation using orthogonal series[J].Journal of Visual Communication and Image Representation, 2007, 18(6): 496-503.

[9]Bhaskar H, Mihaylova L, and Achim A. Video foreground detection based on symmetric alpha-stable mixture models[J].IEEE Transactions on Circuits and Systems for Video Technology, 2010, 20(8): 1133-1138.

[10]Kim K and Davis L S. Object detection and tracking for intelligent video surveillance[J].Multimedia Analysis,Processing and Communications, 2011, 346(2): 265-288.

[11]Yu Sheng-yang, Wang Fang-lin, Xue Yun-feng,et al..Bayesian moving object detection in dynamic scenes using an adaptive foreground model[J].Journal of Zhejiang University Science A(An International Applied Physics&Engineering Journal), 2009, 10(12): 1750-1758.

[12]Li L and Leung M K H. Integrating intensity and texture differences for robust change detection[J].IEEE Transactions on Image Processing, 2002, 11(2): 105-112.

[13]Huang Xin-juan, Zhou Jie-min, and Liu Bo-yang. Moving objects detection approach based on adaptive mixture Gaussian background mode[J].Journal of Computer Application, 2010, 30(1): 71-74.

[14]Wikipedia. Sensitivity and specificity. http://en.wikipedia.org/wiki/Sensitivity_and_specificity, 2011.

[15]Wikipedia. Confusion matrix. http://en.wikipedia.org/wiki/Confusion_matrix, 2011.

[16]Li Wei, Wu Xiao-juan, and Zhao Hua-an. New techniques of foreground detection, segmentation and density estimation for crowded objects motion analysis[J].Journal of Information Processing, 2011, 19(4): 190-200.