一種基于歷史背景的混合高斯背景建模算法＊

肖進(jìn)勝，劉婷婷，張亞琪，彭 紅，鄢煜塵

（1．武漢大學(xué) 電子信息學(xué)院，湖北 武漢 430072；2．思杰系統(tǒng)信息技術(shù)（北京）有限公司南京分公司，江蘇 南京 210008）

背景減除是自動(dòng)視頻對(duì)象分析的一項(xiàng)關(guān)鍵技術(shù)，他在智能視頻監(jiān)控等領(lǐng)域中有著非常廣泛的應(yīng)用．對(duì)視頻場(chǎng)景進(jìn)行背景建模，將存儲(chǔ)好的背景模型和新觀察到的圖片進(jìn)行背景減除來(lái)提取運(yùn)動(dòng)目標(biāo)是較為常用的方法［1］．原理雖然簡(jiǎn)單，但是真實(shí)世界中像素在時(shí)域和空域中的復(fù)雜變化，使得背景建模變得很困難．比如陰影檢測(cè)、亮度的緩慢或劇烈改變等都是現(xiàn)在背景建模的難點(diǎn)［2－3］．近年來(lái)，國(guó)內(nèi)外學(xué)者提出了許多建立背景模型的方法，包括針對(duì)含有紋理的動(dòng)態(tài)場(chǎng)景，采用一種新的模糊色彩直方圖特征來(lái)減弱運(yùn)動(dòng)背景造成的色彩改變［4］；為每一個(gè)像素點(diǎn)建立一個(gè)由4 層前饋神經(jīng)網(wǎng)絡(luò)組成的背景模型［5］；結(jié)合顏色、梯度、不同特征來(lái)構(gòu)建背景模型，采用支持向量機(jī)來(lái)進(jìn)行背景分類［6－7］等．

高斯模型是近年發(fā)展起來(lái)并得到廣泛應(yīng)用的一種技術(shù)．Stauffer等［2］提出利用混合高斯模型來(lái)建立背景模型，在每幀中對(duì)各個(gè)像素點(diǎn)建立由多個(gè)高斯分布組成的背景模型．自此以后，該方法以其能較為魯棒地描述多峰分布的背景而被廣泛應(yīng)用，但其仍然具有處理速度較慢、無(wú)法應(yīng)對(duì)突變背景等缺點(diǎn)［8］．此后的研究者對(duì)混合高斯背景建模方法做了各種改進(jìn)．Zivkovic Z［9］針對(duì)自適應(yīng)高斯混合模型的個(gè)數(shù)和參數(shù)問(wèn)題進(jìn)行了改進(jìn)，利用最大似然估計(jì)進(jìn)行高斯模型個(gè)數(shù)的選擇．文獻(xiàn)［10］考慮到全局抖動(dòng)造成的運(yùn)動(dòng)目標(biāo)檢測(cè)不準(zhǔn)確的問(wèn)題，提出基于分區(qū)灰度投影穩(wěn)像的高斯背景建模算法．文獻(xiàn)［11］針對(duì)亮度場(chǎng)景的變化，建立亮和暗不同的模型進(jìn)行亮度場(chǎng)景變化的檢測(cè)和估計(jì)．文獻(xiàn)［12］為了解決場(chǎng)景中存在的突變，提出基于記憶的混合高斯模型（Memory－based GMM，MGMM）的前景檢測(cè)算法，取得了很好的檢測(cè)效果，但是該算法中每個(gè)像素都要經(jīng)過(guò)瞬時(shí)記憶、短時(shí)記憶和長(zhǎng)時(shí)記憶3個(gè)空間的傳輸和處理，影響了算法效率和實(shí)用性．上述方法對(duì)混合高斯模型的修改多數(shù)集中在提高模型的處理效率與收斂速度方面．當(dāng)現(xiàn)有的混合高斯建模算法應(yīng)用到實(shí)際場(chǎng)景中時(shí)，若背景場(chǎng)景重復(fù)性出現(xiàn)時(shí)，如被重復(fù)性的遮擋與顯露，受模型學(xué)習(xí)速度的影響，重新顯露出的背景場(chǎng)景的變化不能被立即學(xué)入背景模型中，依然會(huì)被檢測(cè)為前景，從而產(chǎn)生大量誤判．

本文針對(duì)視頻中背景經(jīng)常重復(fù)性地被遮擋與顯現(xiàn)的場(chǎng)景（如智能視頻監(jiān)控場(chǎng)景中），提出了一種基于歷史背景的混合高斯模型（History Background－based GMM，HBGMM）．經(jīng)過(guò)模型學(xué)習(xí)，基于歷史背景的混合高斯模型對(duì)重復(fù)出現(xiàn)過(guò)的背景具有記憶功能；當(dāng)重復(fù)性背景再次出現(xiàn)時(shí)，能及時(shí)判決出背景與前景，從而使被誤判成為前景的背景快速消融至背景中．

1 混合高斯模型原理分析

經(jīng)典的混合高斯模型［2］對(duì)視頻圖像中的每一個(gè)像素點(diǎn)定義K個(gè)狀態(tài)，其值一般取3～5．若每個(gè)像素點(diǎn)的像素值用Xt表示，則對(duì)應(yīng)的概率密度函數(shù)可用K個(gè)高斯函數(shù)來(lái)表示：

式中：η（Xt，μi，t，Σi，t）為t時(shí)刻的第i個(gè)高斯模型；ωi，t為時(shí)刻t第i個(gè)高斯模型的權(quán)重，且有K個(gè)權(quán)重的和為1．這里假定視頻各幀圖像中各點(diǎn)的像素值在R，G，B3個(gè)顏色通道［13］是相互獨(dú)立的，并且具有相同的方差，σi，t為標(biāo)準(zhǔn)差，那么協(xié)方差矩陣可以取值為：

其中I為單位陣．所有K個(gè)高斯模型首先按照ωi，t由大到小排序，然后從首端選取B個(gè)高斯模型作為背景模型．其中B滿足：

式中：Thershold為預(yù)先給定的權(quán)重閾值，是用于選擇模型個(gè)數(shù)的閾值，一般取值為0．7～0．9．對(duì)于新的一幀圖片，若當(dāng)前圖片中點(diǎn)的像素值與其中某個(gè)高斯模型的均值和標(biāo)準(zhǔn)差滿足：

則認(rèn)為該像素值與高斯模型匹配（通常δ設(shè)為2～4）．高斯分布的參數(shù)采用在線K均值近似算法進(jìn)行更新［9］，對(duì)于第1 個(gè)匹配上的高斯模型，更新其所有參數(shù)，而對(duì)于其他K－1 個(gè)高斯模型，僅更新權(quán)重，權(quán)重更新公式為：

對(duì)于首次匹配的模型，Oi，t＋1取1，對(duì)于其他模型，Oi，t＋1取0．ωi，t和ωi，t＋1分別為更新前和更新后的權(quán)重．均值與方差更新的公式為：

式中：μi，t和μi，t＋1分別為更新前后的均值；σ2i，t和σ2i，t＋1分別為更新前后的方差；α為學(xué)習(xí)率，取值為0．002～0．005．如果當(dāng)前像素點(diǎn)無(wú)法與所有模型匹配，就用一個(gè)新的均值為Xt＋1、高方差和低權(quán)重的高斯分布取代尾端的高斯分布．

傳統(tǒng)高斯模型應(yīng)用于復(fù)雜的現(xiàn)實(shí)環(huán)境中時(shí)計(jì)算復(fù)雜，其計(jì)算量與所用的高斯模型的個(gè)數(shù)成正比，而且模型參數(shù)難以調(diào)整［14］．同時(shí)在有重復(fù)性的背景場(chǎng)景出現(xiàn)時(shí)，背景點(diǎn)則會(huì)因?yàn)橄袼刂档耐蝗蛔兓?，而被誤檢為前景點(diǎn)，造成誤判．一個(gè)理想的背景減除系統(tǒng)應(yīng)具有一定的自適應(yīng)能力，其背景模型應(yīng)可以根據(jù)場(chǎng)景的變化自適應(yīng)地保持與更新背景模型．

2 基于歷史背景的混合高斯模型

針對(duì)經(jīng)典混合高斯模型的問(wèn)題，如果在使用混合高斯模型對(duì)背景進(jìn)行建模實(shí)現(xiàn)背景減除的過(guò)程中，對(duì)曾經(jīng)判斷成為背景的模型進(jìn)行標(biāo)記，標(biāo)記其為歷史模型．在之后的更新與匹配過(guò)程中，對(duì)歷史模型記錄其匹配次數(shù)，在一個(gè)周期內(nèi)，若匹配次數(shù)超過(guò)用戶設(shè)定門限，則在下次匹配成功之后，額外為該模型增加T倍的α，通過(guò)模型的權(quán)重降序排列，使其迅速增長(zhǎng)至模型隊(duì)列前端，落入背景模型的背景權(quán)重范圍內(nèi)，從而被判決為背景而不是前景．就能夠在一定程度上解決前面提到的問(wèn)題．

本算法對(duì)經(jīng)典的高斯模型改進(jìn)有以下2點(diǎn)：

1）對(duì)歷史背景進(jìn)行標(biāo)記，以P幀為周期，記錄該周期內(nèi)歷史背景的匹配次數(shù)，若匹配次數(shù)超過(guò)用戶設(shè)定門限N，則在下次匹配成功之后，額外為該模型增加T倍的α．權(quán)重更新公式（5）更改為如下所示．

式中：α，ωi，t和ωi，t＋1與式（5）含義相同．對(duì)于滿足歷史背景更新條件的模型，ci，t＋1取值為T，對(duì)于其他模型，ci，t＋1取0．這里歷史背景更新條件是指：若當(dāng)前模型被匹配上，且該模型權(quán)重處于前景范圍，在周期P內(nèi)匹配次數(shù)超過(guò)N次．P與N若取值過(guò)小，會(huì)對(duì)圖像中的噪聲較為敏感；若取值過(guò)大，建模算法又無(wú)法及時(shí)適應(yīng)視頻圖像中前景對(duì)象與背景的變化，因此，本文中取P為10，N為5．符合該條件的模型，會(huì)在原始權(quán)重更新的基礎(chǔ)上，再加上Tα的新權(quán)重．實(shí)驗(yàn)表明，當(dāng)T≥3時(shí)，前景過(guò)快消融，而當(dāng)T＜2時(shí)，對(duì)重復(fù)背景的處理效果不明顯，因此將T設(shè)為2．

2）當(dāng)模型權(quán)重小于某一門限時(shí)，對(duì)于歷史模型和非歷史模型進(jìn)行區(qū)別處理．非歷史模型將會(huì)被刪除；而歷史模型僅將其權(quán)重置為0，并不刪除．

算法的具體描述如下：

步驟1 第1幀時(shí)初始化記憶空間，用當(dāng)前幀的圖像像素（Ri，Gi，Bi）創(chuàng)建每像素點(diǎn)的第1個(gè)高斯模型，將其權(quán)重賦為1，并分配初始方差．

步驟2 對(duì)每一幀新的圖像，將每個(gè)像素點(diǎn)的K個(gè)模型按權(quán)值從大到小排序．根據(jù)式（3）從首端選取B個(gè)高斯分布作為候選背景模型，Thershold為用戶自定義的閾值．

步驟3 將新的采樣值Xt＋1（R，G，B）依次與原有K個(gè)高斯模型進(jìn)行匹配，若δ＝3時(shí)，式（5）成立，則認(rèn)為該點(diǎn)匹配當(dāng)前模型，若匹配上的模型落在步驟2中的B個(gè)模型內(nèi)，則判斷該像素點(diǎn)為背景，同時(shí)將當(dāng)前模型標(biāo)記為歷史模型，否則，該像素點(diǎn)為前景點(diǎn)．找到匹配模型后不再尋找其他匹配模型，執(zhí)行步驟4；若當(dāng)前點(diǎn)未匹配上任何模型，轉(zhuǎn)步驟5．

步驟4 如果找到匹配模型，按照式（8），（5），（6），（7）更新匹配模型的權(quán)重、均值和方差，若該模型為歷史模型，則記憶其匹配次數(shù)．在固定周期內(nèi)（如10幀），匹配次數(shù)超過(guò)N次，則權(quán)重額外增加T倍的α．其他未匹配模型只更新權(quán)重，同時(shí)對(duì)所有模型按權(quán)重進(jìn)行降序排列．在模型的權(quán)重更新完成后，若該模型的權(quán)重小于某給定值αCT，當(dāng)其未被標(biāo)記為歷史模型時(shí)，刪除當(dāng)前模型；否則，只將當(dāng)前模型權(quán)重置為0，不刪除該模型．

步驟5 如果當(dāng)前點(diǎn)未匹配上任何模型，按照式（8）更新所有模型的權(quán)重．在模型個(gè)數(shù)未達(dá)到用戶設(shè)定上限時(shí)，生成一個(gè)新的模型加入模型隊(duì)列；否則，用這個(gè)新模型取代權(quán)重最小的模型．同樣，最后對(duì)所有模型按權(quán)重進(jìn)行降序排列并歸一化．

根據(jù)上面的模型分析，基于歷史背景的混合高斯背景建模算法流程如圖1所示．

在傳統(tǒng)混合高斯模型更新過(guò)程中，引入曾經(jīng)是背景模型的標(biāo)記，并根據(jù)這一標(biāo)記，對(duì)歷史背景模型進(jìn)行不同的更新處理，則有可能實(shí)現(xiàn)記憶背景的作用，在背景重復(fù)出現(xiàn)時(shí)，避免將其誤檢為前景．

3 實(shí)驗(yàn)結(jié)果及討論

為驗(yàn)證本文所提歷史模型算法的有效性，在2．4GHz酷睿i3 雙核處理器上，VS2005 編程環(huán)境下，用序列進(jìn)行了測(cè)試，并與傳統(tǒng)GMM 方法［2］以及文獻(xiàn)［12］的MGMM 方法進(jìn)行了對(duì)比．為保證方法比較的有效性，3種方法基本參數(shù)取值相同，分別為Thershold＝0．75，ω＝α，其中GMM 和本文算法K＝5，σ＝20；MGMM 算法中K＝4，N＝1，σ＝25．

學(xué)習(xí)率計(jì)算方法為：

式中：frame為幀數(shù)．

圖1 像素級(jí)算法流程圖Fig．1 Flow chart of the pixel－wise algorithm

為了更好地測(cè)試重復(fù)性背景問(wèn)題，在序列“fast move”中疊加一個(gè)每隔400幀出現(xiàn)的色塊，用該色塊來(lái)模擬重復(fù)出現(xiàn)的運(yùn)動(dòng)目標(biāo)，初始50幀用于模型學(xué)習(xí)，不疊加色塊．色塊消失后，由原位置被誤檢為前景的部分消失所需的幀數(shù)來(lái)定量判決不同背景建模算法處理重復(fù)背景的能力．

圖2（a）顯示了用于測(cè)試的視頻原始圖像，圖2（b）為原始視頻疊加色塊的效果．圖3從左到右依次給出序列分別為608，612 原始幀，采用經(jīng)典GMM方法、文獻(xiàn)［12］的MGMM 方法以及本文提出的HBGMM 方法的前景檢測(cè)結(jié)果．表1為3種方法在測(cè)試幀中重復(fù)出現(xiàn)的色塊檢測(cè)為前景的幀數(shù)．

由表1可見(jiàn)，有色方塊在視頻的51～200幀與601～999幀出現(xiàn)，當(dāng)其第2 次在600幀出現(xiàn)時(shí)，由于之前出現(xiàn)過(guò)，該像素值曾被學(xué)習(xí)入背景模型中，此時(shí)重新出現(xiàn)的色塊應(yīng)該快速地被吸收入背景，而不應(yīng)被檢測(cè)為前景目標(biāo)．但傳統(tǒng)的混合高斯模型經(jīng)過(guò)了12幀才將其吸收成背景，而本文所用方法僅用了8幀．由圖3可知，本文算法的檢測(cè)結(jié)果被誤檢為前景的目標(biāo)更少，消失速度更快．由此可見(jiàn)，在重復(fù)性背景出現(xiàn)時(shí)，本文方法能夠更快地將其吸引消融成背景，而不會(huì)長(zhǎng)時(shí)間內(nèi)仍被檢測(cè)為前景．

圖2 “Fast move”序列背景變化Fig．2 Background changes in“Fast move”

表1 3種背景建模方法檢測(cè)效果對(duì)比Tab．1 Comparison of the three background modeling methods

為了更精確地測(cè)試建模算法的效果，本文選用了兩段帶有真實(shí)前景（Ground truth）的視頻序列，并采用F1得分來(lái)評(píng)估檢測(cè)出的前景與真實(shí)前景的相似程度．F1得分的計(jì)算方法為：

式中：F1為得分值；t，f，n分別為正確檢測(cè)、錯(cuò)誤檢測(cè)和未檢測(cè)出的前景點(diǎn)個(gè)數(shù)．檢測(cè)出的前景點(diǎn)是否正確，可以通過(guò)與Ground truth對(duì)比得知．F1得分的最高分為1，最低分為0，分值越高表明檢測(cè)出的前景越準(zhǔn)確，建模效果越好［12］．

“Office”序列中，當(dāng)人物離開(kāi)站立位置，其身后的墻壁再次顯露出來(lái)，根據(jù)Ground truth，此時(shí)該處墻壁應(yīng)被檢測(cè)為背景．因此，對(duì)此時(shí)視頻序列的前景檢測(cè)結(jié)果計(jì)算F1得分．圖4分別給出了第2 002（上圖）和第2 006幀（下圖）的前景檢測(cè)結(jié)果．

圖3 “Fast move”序列前景檢測(cè)結(jié)果Fig．3 The segmentation results of“Fast move”

圖4 “Office”序列前景檢測(cè)結(jié)果Fig．4 The segmentation results of“Office”

由圖4可見(jiàn)，本文提出的HBGMM 建模算法比GMM 算法和MGMM 算法能夠更快地將重復(fù)出現(xiàn)的墻壁吸收為背景．3種建模算法檢測(cè)結(jié)果的F1得分如表2所示．由表2可知，HBGMM 算法的F1得分均高于GMM 算法與MGMM 算法，可見(jiàn)，當(dāng)重復(fù)背景出現(xiàn)時(shí)，HBGMM 算法檢測(cè)出的前景更為準(zhǔn)確．

表2 對(duì)“Office”序列3種方法檢測(cè)結(jié)果的得分對(duì)比Tab．2 Comparison of score for“Office”sequence with three methods

為了進(jìn)一步測(cè)試HBGMM 算法的效果，本文選用了另一段室內(nèi)監(jiān)控視頻“Sofa”，當(dāng)人物將原本置于沙發(fā)上的行李移走時(shí)，原被行李遮蓋后顯露的沙發(fā)應(yīng)被檢測(cè)為背景．圖5顯示了在該場(chǎng)景中的兩幀畫面（第2 471，2 486幀）及相應(yīng)建模算法的檢測(cè)結(jié)果．表3為該3幀前景檢測(cè)結(jié)果的F1得分．

表3 對(duì)“Sofa”序列3種方法檢測(cè)結(jié)果的得分對(duì)比Tab．3 Comparison of score for“Sofa”sequence with three methods

由表3可知，相較于GMM 和MGMM 建模算法，HBGMM 算法的F1得分最高．同時(shí)，由圖5 可知，HBGMM 算法在處理重復(fù)背景問(wèn)題時(shí)，能夠更快地將誤檢為前景（見(jiàn)重新顯露出的沙發(fā)部分）的像素點(diǎn)吸收為背景．

圖5 “Sofa”序列前景檢測(cè)結(jié)果Fig．5 The segmentation results of“Sofa”

4 結(jié) 論

本文在傳統(tǒng)混合高斯模型更新過(guò)程中，引入曾經(jīng)是背景模型的標(biāo)記，并根據(jù)這一標(biāo)記，對(duì)歷史背景模型進(jìn)行不同的更新處理．同時(shí)，與傳統(tǒng)的GMM方法及MGMM 方法進(jìn)行重復(fù)性背景的對(duì)比實(shí)驗(yàn)．結(jié)果顯示，本文所提出的方法實(shí)現(xiàn)了記憶重復(fù)背景的功能，從而更快地適應(yīng)場(chǎng)景的變化，減少前景誤判，適用于存在重復(fù)性運(yùn)動(dòng)場(chǎng)景的建模．

［1］BRUTZER S，HOFERLIN B，HEIDEMANN G．Evaluation of background subtraction techniques for video surveillance［C］／／IEEE Conference on Computer Vision and Pattern Recognition．Providence，RI，2011：1937－1944．

［2］STAUFFER C，GRIMSON W E L．Adaptive background mixture models for real－time tracking［C］／／IEEE Conference on Computer Vision and Pattern Recognition．Fort Collins，1999．［3］WU Chuan，WANG Yuan－yuan，KARIMI H R．A robust aerial image registration method using Gaussian mixture models［J］．Neurocomputing，2014，144：546－552．

［4］WONJUN Kim，CHANGICK Kim．Background subtraction for dynamic texture scenes using fuzzy color histograms［J］．IEEE Signal Processing Letters，2012，19（3）：127－130．

［5］王志明，張麗，包宏．基于混合結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)的自適應(yīng)背景模型［J］．電子學(xué)報(bào)，2011，39（5）：1053－1058．

WANG Zhi－ming，ZHANG Li，BAO Hong．Adaptive background model based on hybrid structure neural network［J］．Acta Electronica Sinica，2011，39（5）：1053－1058．（In Chinese）［6］HAN B，DAVIS L S．Density－based multifeature background

subtraction with support vector machine［J］．IEEE Transac－tions on Pattern Analysis and Machine Intelligence，2012，34（5）：1017－1023．

［7］YAO J，ODOBEZ J M．Fast human detection from video using covariance features［C］／／The Eighth International Workshop on Visual Surveillance．Marseille，2008．

［8］LIN Horng－h(huán)orng，CHUANG Jen－h(huán)ui，LIU Tyng－luh．Regularized background adaptation：A novel learning rate control scheme for gaussian mixture modeling［J］．IEEE Transactions on Image Processing，2011，20（3）：822－836．

［9］ZIVKOVIC Z．Improved adaptive Gaussian mixture model for background subtraction［C］／／IEEE International Conference on Pattern Recognition．IEEE，2004：28－31．

［10］肖進(jìn)勝，單姍姍，易本順，等．基于區(qū)分灰度投影穩(wěn)像的運(yùn)動(dòng)目標(biāo)檢測(cè)算法［J］．湖南大學(xué)學(xué)報(bào)：自然科學(xué)版，2013，40（6）：96－102．

XIAO Jin－sheng，SHAN Shan－shan，YI Ben－shun，etal．Moving targets detection based on subzone gray projection video stabilization［J］．Journal of Hunan University：Natural Sciences，2013，40（6）：96－102．（In Chinese）

［11］CHENG Fan－chieh，HUANG Shih－chia，RUAN Shanq－jang．Illumination－sensitive background modeling approach for accurate moving object detection［J］．IEEE Transactions on Broadcasting，2011，57（4）：794－801．

［12］齊玉娟，王延江，李永平．基于記憶的混合高斯背景建模［J］．自動(dòng)化學(xué)報(bào)，2010，36（11）：1520－1526．

QI Yu－juan，WANG Yan－jiang，LI Yong－ping．Memory based Gaussian mixture background modeling［J］．Acta Automatica Sinica，2010，36（11）：1520－1526．（In Chinese）

［13］XIAO Jin－sheng，LI Wen－h(huán)ao，LIU Guo－xiong，etal．Hierarchical tone mapping based on image color appearance model［J］．IET Computer Vision，2014，8（4）：358－364．

［14］LEE D S．Effective Gaussian mixture learning for video background subtraction［J］．IEEE Transactions on Pattern Analysis and Machine Intelligence，2005，27（5）：827－832．