基于改進(jìn)高斯混合模型的自適應(yīng)前景提取

趙亞欣 蔡華杰 趙懷勛 謝躍輝

(武警工程大學(xué)信息工程系 陜西 西安 710086)

?

基于改進(jìn)高斯混合模型的自適應(yīng)前景提取

趙亞欣 蔡華杰 趙懷勛 謝躍輝

(武警工程大學(xué)信息工程系 陜西 西安 710086)

在復(fù)雜場景下的運(yùn)動前景提取是智能視頻監(jiān)控的基礎(chǔ)部分。高斯混合模型是常用的背景建模方法，針對高斯混合模型中模型個數(shù)固化導(dǎo)致的無謂的系統(tǒng)開銷，提出基于單高斯模型成長的動態(tài)個數(shù)調(diào)整形成的高斯混合模型。對模型的更新率根據(jù)場景變化的劇烈程度進(jìn)行實時改變，能較好適應(yīng)突發(fā)場景、光照的變化。對提取的運(yùn)動前景進(jìn)行形態(tài)學(xué)處理，得到最后的提取目標(biāo)。實驗結(jié)果表明，該方法背景建模適應(yīng)性強(qiáng)，提取前景精度有所提升。

高斯混合模型 自適應(yīng)背景更新 更新率

0 引 言

視頻監(jiān)控已滲透到當(dāng)今社會的方方面面，對個人與公眾安全產(chǎn)生了深刻影響。隨著計算機(jī)視覺及圖像處理技術(shù)的進(jìn)步，視頻監(jiān)控正逐步向智能化發(fā)展。運(yùn)動目標(biāo)檢測是智能視頻監(jiān)控的基礎(chǔ)部分，對提高監(jiān)控系統(tǒng)的準(zhǔn)確性有著重要影響。

主流的運(yùn)動前景提取算法有：背景減除法、幀間差分法、光流法。背景減除法是通過視頻幀與背景模型作差分提取出運(yùn)動的前景目標(biāo)。該方法原理簡單，計算量小，適用范圍廣。但在現(xiàn)實環(huán)境中，監(jiān)控場景雖然固定，但非絕對不變，比如光照的變化，背景的干擾(搖晃的樹葉、粼粼的水波)。因此，如何建立一個動態(tài)更新的背景，以適應(yīng)各種因素的干擾，是研究的重點。

高斯混合模型[1]的實質(zhì)是對每一像素點設(shè)立多個高斯分布，聯(lián)合多個分布進(jìn)行背景建模。但基于高斯混合模型的目標(biāo)檢測算法復(fù)雜度較高，分布個數(shù)的選擇對前景提取效果影響明顯。此外，采集視頻圖像中存在的噪聲也易對前景的提取造成干擾[2]。針對混合高斯模型存在的不足，許多研究者提出了改進(jìn)算法。王永忠等[3]利用GMM學(xué)習(xí)每個像素的時間域與非參數(shù)密度估計構(gòu)造的空間域融合，改進(jìn)了檢測效果。Zhao等[4]將高斯混合模型擴(kuò)展到了鄰域，并用馬爾可夫隨機(jī)場分割前景，同時算法的復(fù)雜度也急劇增加。文獻(xiàn)[5,6]通過幀間差分與高斯背景相結(jié)合分割前景目標(biāo)，同時也增加了時間開銷；Fradi[7]將選擇流融入混合高斯模型提高了前景分割的精確性；范文超等[8]對視頻圖像進(jìn)行分塊以實現(xiàn)濾波效果，采取自適應(yīng)的高斯分布個數(shù)提高了檢測速度。Zhang等[9]用統(tǒng)計學(xué)方法建立自適應(yīng)的2-D學(xué)習(xí)率查找表，針對每個像素設(shè)定不同學(xué)習(xí)率，較好地進(jìn)行了GMM的更新。劉萬軍等[10]在此基礎(chǔ)上融合了圖像熵與更新率查找表，對光照突變時的背景更新調(diào)節(jié)有較好效果。

本文利用單高斯模型進(jìn)行初始化的背景建模，根據(jù)背景的復(fù)雜度動態(tài)增減高斯模型個數(shù)，同時對參數(shù)更新策略加以調(diào)整，在監(jiān)控場景變化或受到擾動時的前景提取效果有所提升。最后，對提取出的前景目標(biāo)進(jìn)行形態(tài)學(xué)處理，以較小的開銷優(yōu)化檢測結(jié)果。實驗表明，本文的算法較傳統(tǒng)的高斯建模方法檢測算法效果更好，能實時提取運(yùn)動目標(biāo)。

1 混合高斯模型

1.1 混合高斯模型介紹

混合高斯模型由Stauffer等[1]等提出,核心思想是對背景圖像中的每一像素點用K個高斯分布來表示。一般來說K取3～5之間。K太小不足以充分表示背景的變化；K增大時，背景模型的抗干擾能力會增強(qiáng)，同時運(yùn)算開銷也相應(yīng)增加。對某一個像素點{x,y},其時間序列{X1,X2,…,Xt}可以用K個高斯分布疊加表示，Xt為t時刻點{x,y}的觀察值。Xt的概率密度函數(shù)可表示為：

(1)

(2)

式中，K為高斯分布的個數(shù)；ωi,t為在t時刻第i個高斯分布的權(quán)值；μi,t為在t時刻第i個高斯分布的均值；∑i,t為在t時刻第i個高斯分布的協(xié)方差矩陣。Xt為n維的向量，n=1時Xt代表像素點的灰度值，n=3時Xt代表像素點的RGB數(shù)值。

1.2 運(yùn)動目標(biāo)提取

傳統(tǒng)高斯混合模型設(shè)定固定的高斯模型個數(shù)，將像素點的觀察值Xt與K個分布中的前M個一一對比，直至與某分布相匹配。匹配規(guī)則為：|Xt-μi,t-1|<2.5δi,t-1。若能匹配，則需對各高斯分布的權(quán)值、均值及方差進(jìn)行更新；若不匹配，則該像素點此時被判定為前景點，提取出運(yùn)動目標(biāo)。

1.3 模型參數(shù)更新

在進(jìn)行像素點的匹配后，需根據(jù)匹配情況調(diào)整各分布的權(quán)重，均值及方差，構(gòu)建新的背景模型，以適應(yīng)新一幀的前景目標(biāo)提取。當(dāng)像素點觀察值與某一高斯分布相匹配時，對參數(shù)進(jìn)行更新：

ωi,t=(1-α)ωi,t-1+α(Ti,t)

(3)

μi,t=(1-ρ)μi,t-1+ρXt

(4)

(5)

ρ=αη(Xt,μi,t,∑i,t)

(6)

其中，α為權(quán)值更新率；ρ是參數(shù)更新率。匹配時Ti,t為1，否則為0。由式(3)可知，匹配的模型權(quán)重會增加，反之，則會下降。均值和方差也會隨像素點的當(dāng)前值而更新。在高斯模型的參數(shù)調(diào)整后需歸一化各分布的權(quán)重。

在權(quán)值歸一化后，對像素點的高斯模型按ωi,t/δi,t從小到大的順序進(jìn)行排序。若排序的前M個模型的權(quán)重之和滿足式(7)，則認(rèn)為這前M個高斯模型描述背景，其余的高斯模型描述運(yùn)動物體。

(7)

式中，T為權(quán)值閾值，T∈(0.5,1)。

2 改進(jìn)的混合高斯模型

2.1 初始高斯模型設(shè)定

混合高斯模型設(shè)定一個固定的模型個數(shù)后便不再改變，本文起初用單高斯模型來進(jìn)行背景建模，即取K為1，μ取像素點的初始值μ0，其權(quán)重為1。

2.2 高斯模型動態(tài)調(diào)整

單個高斯模型并不能滿足場景的動態(tài)變化，容易引起誤檢。對高斯模型的個數(shù)進(jìn)行動態(tài)的增減，以適應(yīng)監(jiān)控場景的變化。當(dāng)然，為避免運(yùn)算量過大，不能滿足實時檢測，對高斯模型個數(shù)設(shè)定最大值，本文取K最大為4。具體流程如下：

將像素點數(shù)值與當(dāng)前分布匹配，若能匹配，則判定為背景點，同時更新權(quán)值、參數(shù)。若未能匹配，則增加一個新的高斯模型，μk,t=Xt(像素點的當(dāng)前數(shù)值即為新增加的第K個高斯模型均值)，δi,t=36，ωk取一個較小值。如此，直至模型個數(shù)達(dá)到上限。在背景趨于平靜時，無需維持較高的模型數(shù)目，可對模型進(jìn)行刪除或合并，剔除無效分布、合并冗余分布[11]。以下是精簡高斯模型個數(shù)的兩種策略：

1) 分布刪除 對像素點的每個高斯分布的連續(xù)未匹配次數(shù)進(jìn)行統(tǒng)計，記為Fk，并設(shè)定一個閾值Fmax,Fk=Fmax時，表示此模型長時間未被匹配，將其刪除。另外，若某一高斯模型的分布權(quán)值不斷降低，則說明其不適應(yīng)背景的變化，不能很好的描述，同時，還會繼續(xù)學(xué)習(xí)更新，影響模型的收斂速度，需將其刪除。

2) 分布合并 當(dāng)某一像素點的兩個高斯分布a、b均值比較接近時，合并這兩個分布，合并后高斯分布為c,參數(shù)轉(zhuǎn)換為：

ωi,t=ωa,t+ωb,t

(8)

μc,t=(ωa,t×μa,t+ωb,t×μb,t)/ωc,t

(9)

(10)

2.3 高斯模型動態(tài)更新

在混合高斯模型進(jìn)行建模時，不僅要考慮高斯模型的個數(shù)，適應(yīng)背景復(fù)雜度的變化，而且要根據(jù)背景變化的快慢，調(diào)整背景模型的更新速率。若背景變換太快，或有突然的光照變化，更新率過小時檢測效果不理想。在上文進(jìn)行目標(biāo)檢測時進(jìn)行了圖像序列的灰度化，在監(jiān)控場景發(fā)生轉(zhuǎn)換或光照突變時，一般灰度值都會有明顯的改變。利用此原理，將背景的更新率與灰度值的變化率相匹配，實現(xiàn)更新率的動態(tài)改變。

首先，對圖像進(jìn)行灰度化變換，即Xt→ht,(ht,代表當(dāng)前幀所有像素點灰度值的平均值)，再根據(jù)灰度值ht的變化調(diào)整式(3)-式(6)中的更新率α。定義場景變化率γ，反應(yīng)場景變化的速率。設(shè)定一個固定閾值γ0，如果參數(shù)γ過大，即γ>γ0，則證明場景變化劇烈，沒有在原有背景基礎(chǔ)上進(jìn)行更新的必要，選擇新的幀作為背景進(jìn)行建模。若γ≤γ0，對更新率進(jìn)行調(diào)整：

γ=(ht-ht-1)/ht-1

(11)

α=αγ

(12)

實現(xiàn)更新率隨灰度值變化的動態(tài)改變。

2.4 形態(tài)學(xué)處理

在改進(jìn)高斯混合模型提取到運(yùn)動前景后，不可避免會存在一些噪聲點、檢測目標(biāo)內(nèi)部有空洞等現(xiàn)象。為此，通過簡單的形態(tài)學(xué)處理可有所改觀。

改進(jìn)后的高斯混合模型的流程如圖1所示。

圖1 改進(jìn)高斯混合模型流程圖

3 實驗結(jié)果及分析

為驗證本文算法對前景提取的有效性，對其進(jìn)行實驗驗證，并與傳統(tǒng)單高斯及高斯混合模型的檢測效果進(jìn)行對比。本次實驗是基于個人計算機(jī)實現(xiàn)的，配置為：CPU為Intel(R)Core(TM)i5-3210M 2.5 GHz,內(nèi)存4 GB，仿真軟件為Matlab2014a。在具體實驗時，本文先將輸入的彩色圖像進(jìn)行灰度化的處理，減少了計算量。

本文采用Wallflower視頻集中的五個視頻作為測試集，分別為WavingTrees(WT),LightSwitch(LS),TimeOfDay(TD),Camouflage(CF),Foregrou-ndAperture(FA)。為對本文提出算法的前景提取效果客觀衡量，分別用單高斯模型(方法1)、高斯混合模型(方法2)、基于Parzen窗的非參數(shù)概率密度估計的混合高斯背景建模[11](方法3)、基于EM的自適應(yīng)混合高斯模型[12](方法4)與本文提出的改進(jìn)高斯混合模型進(jìn)行對比。對五種方法的運(yùn)行時間及檢測效果進(jìn)行比較。表1給出了這5種算法對以上5個視頻段平均每秒鐘處理的幀數(shù)。

表1 各模型處理速度(fps/s)

從實驗效果來看，本文的改進(jìn)算法相比高斯混合模型及基于Parzen窗的非參數(shù)概率密度估計的混合高斯背景建模處理速度有所提升，主要得益于實時調(diào)整模型的個數(shù)，在背景穩(wěn)定的情況下，以較少的模型對背景建模，總體減少了程序的開銷。但與單高斯模型相比，處理速度處于劣勢，原因是單高斯模型以固定單一高斯模型背景建模，處理速度快，但其檢測效果不及本文提出的改進(jìn)算法。本文與基于EM的自適應(yīng)混合高斯模型的處理速度相比略有下降，主要是因為引入了背景重建策略，監(jiān)控場景突變時進(jìn)行了背景重建，增加了運(yùn)算開銷。可以說，改進(jìn)后的高斯模型用處理速度上的損耗獲得了更好的前景提取效果。

圖2從上至下分別為原圖像、理想前景、單高斯模型、高斯混合模型、基于Parzen窗的非參數(shù)概率密度估計的混合高斯背景建模、基于EM的自適應(yīng)混合高斯模型、本文改進(jìn)高斯混合模型。

圖2 前景提取比較圖

引入以下參數(shù)對本文算法性能定量評價：查全率(Recall) Recall=tp/(tp+fn)；查準(zhǔn)率(Precision) Precision=tp/(tp+fp) tp：判斷正確的前景點，fp：判斷錯誤的前景點，fn：判斷錯誤的背景點。

表2 各模型查全率與查準(zhǔn)率比較(%)

從圖2和表2可以看出，本文方法在查準(zhǔn)率上有所提高，主要得益于自適應(yīng)的動態(tài)背景建模，根據(jù)監(jiān)控場景變化的快慢實時調(diào)整模型個數(shù)及更新率，此外加入形態(tài)學(xué)處理，濾除了部分噪聲點。

本文方法相比傳統(tǒng)單高斯和高斯混合模型在查準(zhǔn)率和查全率上皆有較大提高，得益于改進(jìn)的模型個數(shù)動態(tài)調(diào)整，與更新率的實時變化。與方法3(非參數(shù)密度估計法)相比在查全率上處于劣勢，源于本文方法提取前景內(nèi)部存在空洞。與方法4相比本文效果也更好，查全、查準(zhǔn)率都有提升，在LightSwitch場景中都能適應(yīng)光照的突變，相較方法3，在查準(zhǔn)率上更勝一籌。在WavingTrees場景中，方法1、方法3在人的周圍由于樹葉的晃動，有諸多干擾點，拉低了檢測的查準(zhǔn)率，而本文的背景建模策略有效地減少了此類干擾。

本文方法在查全率及查準(zhǔn)率上總體效果有所提升，提取出良好的前景目標(biāo)。同時也需認(rèn)識到，提出的背景建模策略雖能更好地適應(yīng)各種監(jiān)控場景的變化，但也使處理速度有所降低。

4 結(jié) 語

本文針對高斯混合模型耗時長，前景提取精確度不高等問題，提出了模型個數(shù)動態(tài)調(diào)整的高斯模型，開始用單個高斯模型背景建模，根據(jù)背景的復(fù)雜程度動態(tài)增減模型個數(shù)，并設(shè)定模型個數(shù)上限以控制目標(biāo)檢測的時間。其次，根據(jù)場景中背景變化引起的灰度變化來控制背景模型的更新速率，對光照的變化表現(xiàn)出良好的適應(yīng)效果。實驗證明，本文算法實時性適中，查全率和查準(zhǔn)率都有所提升，總體檢測效果良好。下一步需著重提高前景提取的實時性。

[1] Stauffer C,Grimson W E L.Adaptive background mixture models for real-time tracking[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.Fort Collins:IEEE,1999:2246-2252.

[2] Blanding W R,Willett P K,Bar-Shalom Y.Multiple targets tracking using maximum likelihood probabilistic data association[C]//2007 IEEE Aerospace Conference.IEEE,2007:1-12.

[3] 王永忠,梁彥,潘泉,等.基于自適應(yīng)混合高斯模型的時空背景建模[J].自動化學(xué)報,2009,35(4):371-378.

[4] Zhao Z,Bouwmans T,Zhang X,et al.A fuzzy background modeling approach for motion detection in dynamic backgrounds[C]//Proceedings of the Second Conference on Multimedia and Signal Processing.Springer,2012:177-185.

[5] 於正強(qiáng),潘赟,宦若虹.一種結(jié)合幀差法和混合高斯的運(yùn)動檢測方法[J].計算機(jī)應(yīng)用與軟件,2015,32(4):129-132,270.

[6] 連曉峰,張弢,劉載文,等.一種改進(jìn)的運(yùn)動人體目標(biāo)檢測方法研究[J].計算機(jī)仿真,2011,28(2):308-311.

[7] Fradi H,Dugelay J L.Robust Foreground Segmentation Using improved Gaussion Mixture Model and Optical Flow[C]//2012 International Conference on Informatics,Electronics & Vision (ICIEV),2012:248-253.

[8] 范文超,李曉宇,魏凱,等.基于改進(jìn)的高斯混合模型的運(yùn)動目標(biāo)檢測[J].計算機(jī)科學(xué),2015,42(5):286-288,319.

[9] Zhang R,Gong W,Grzeda V,et al.An adaptive learning rate method for improving adaptability of background models[J].IEEE Signal Processing Letters,2013,20(12):1266-1269.

[10] 劉萬軍,李琳.基于熵理論改進(jìn)混合高斯模型的運(yùn)動目標(biāo)檢測算法[J].計算機(jī)應(yīng)用研究,2015,32(7):2226-2229,2233.

[11] Tanaka T,Shimada A,Arita D,et al.Non-parametric background and shadow modeling for object detection[C]//Proceedings of the 8th Asian Conference on Computer Vision,Tokyo,2007:159-168.

[12] 李百惠,楊庚.混合高斯模型的自適應(yīng)前景提取[J].中國圖象圖形學(xué)報,2013,18(12):1620-1627.

SELF-ADAPTIVE FOREGROUND EXTRACTION BASED ON IMPROVED GAUSSIAN MIXTURE MODEL

Zhao Yaxin Cai Huajie Zhao Huaixun Xie Yuehui

(DepartmentofInformationEngineering,UniversityofCAPF,Xi’an710086,Shaanxi,China)

Motion foreground extraction under complicated scene is the basic part of intelligent video surveillance. Gaussian mixture, as a common background modeling method, in view of the unnecessary overhead caused by fixed number of Gaussian mixture model, a method based on the single Gaussian model as well as dynamic adjustment of Gaussian mixture model is proposed. The update rate is in real-time change according to how strongly the scene changes, which adapts well to the mutation scenario and the change of illumination. Then, the extraction of motion foreground is processed by morphological processing and the final goal is got. The experimental results show that the method is highly adaptive to background modeling, and the extracting prospects precision is improved.

Gaussian mixture model Self-adaptive background update Replacement rate

2016-03-24。趙亞欣，碩士生，主研領(lǐng)域：人體行為識別。蔡華杰，碩士生。趙懷勛，教授。謝躍輝，碩士生。

TP391

A

10.3969/j.issn.1000-386x.2016.11.038