雙背景模型的快速魯棒前景檢測算法

謝維波， 劉文， 夏遠祥， 李雪芬

(1. 華僑大學 計算機科學與技術(shù)學院， 福建 廈門 361021;2. 華僑大學 科學技術(shù)研究處， 福建 廈門 361021)

雙背景模型的快速魯棒前景檢測算法

謝維波1， 劉文1， 夏遠祥1， 李雪芬2

(1. 華僑大學 計算機科學與技術(shù)學院， 福建 廈門 361021;2. 華僑大學 科學技術(shù)研究處， 福建 廈門 361021)

針對前景檢測中的光照變化問題，提出一種基于雙背景模型的快速魯棒前景檢測算法.通過建立簡單的快慢雙背景模型，提高前景檢測的效率.結(jié)合視頻時間感知信息和光照補償措施，增強算法對光照變化的魯棒性，提高前景檢測精度.在具有光照變化的公開數(shù)據(jù)集上進行測試，實驗結(jié)果表明:所提出的算法不僅對光照變化有較強的魯棒性，同時,具有極快的處理速度. 關(guān)鍵詞： 光照魯棒； 前景檢測； 雙背景模型； 視頻信息； 時間感知信息

前景檢測是計算機視覺中一個重要分支，其性能高度依賴于有效背景模型的建立；而背景模型受多種因素的影響，包括光照、時間、遮擋、抖動和突然靜止的前景等因素[1].為了解決這些問題，研究者們近年來提出了大量的背景建模方法[2].文獻[3-6]提出的混合高斯模型(GMM)、核密度估計模型、碼本模型和VIBE等經(jīng)典背景模型，雖然大都能夠應對緩慢的光照變化，但是無法處理如開關(guān)燈、百葉窗的打開和關(guān)閉等帶來的光照突變問題.文獻[7-8]提出的ESI模型和MB2S模型雖然可以在一定程度上處理光照突變的影響，但是復雜度太高，需要較大的硬件資源才能達到實時應用的可能.背景模型涵蓋了視頻序列中很長一段時間的狀態(tài)，通過一定的更新率去適應一個新的環(huán)境.快慢雙背景模型是利用更新率的一快一慢兩種模型建立穩(wěn)定背景的方法[9]，既可以利用慢速背景模型應付臨時的變化和噪音，又可以利用快速背景模型快速發(fā)現(xiàn)最新變化.文獻[10-11]證實了雙背景模型可以有效提高前景目標的檢測精度.為了解決光照突變的影響達到實時應用的要求，本文建立一種簡單的快慢雙背景模型，并使用一定的光照補償措施，提出一種新的前景檢測算法.

1 基于雙背景模型的前景檢測算法

1.1 雙背景模型的建立

(1)

快速背景模型采用相同的更新策略，但是控制更新率αf=kαs，其中，k為常數(shù)，取經(jīng)驗值10.背景模型的更新率由當前幀的視頻時間感知信息決定.

(2)

1.2 視頻時間感知信息

時間感知信息(timeperceptioninformation,TI)表征視頻序列在時域上的復雜度，是表示視頻片段時間變化次數(shù)的測量法[12].它通常高于高速運動的片段,視頻序列變化越劇烈,TI值越高.視頻序列中某一幀的TI值表達式為

(3)

式(3)中:Ft(x，y)表示時間上第t幀中第x行第y列的像素；STDspace表示兩幀在空間上的標準差.

由于TI值能夠很好地描述視頻信息的變化，而背景的更新率也只有和視頻信息的變化一致趨勢時才能更好地描述背景.因此，取慢速背景模型的更新率αs由式(4)決定，即

(4)

式(4)中:TImax表示TI可能出現(xiàn)的最大值，由TI的定義式可知，對于8bit像素的圖像，TImax為255.

1.3 光照補償模型

光照突變將導致前景檢測算法不同程度地把背景誤測為前景或者前景誤判為背景.因此，針對光照突變，需要一個合適光照補償模型對背景進行補償，從而讓背景盡快適應當前的光照條件，減少誤檢.假設只考慮視頻場景中光照突變的影響，不考慮相機抖動、偽裝、圖像丟失等情況，為了應對光照變化帶來的影響，需要采用不同的背景模型更新策略.

1.3.1 光照突變的判定 快速前景可以最快反映當前幀中出現(xiàn)的變化，即通過快速前景中前景點與背景點的比例r判定是否發(fā)生光照突變.當r>Tr時，可以認定發(fā)生光照突變，Tr為光照突變的閾值，建議取Tr≥0.3.

當前幀與快速背景的平均亮度差定義為

當前幀與慢速背景的平均亮度差定義為

1.3.3 光照補償策略 1) 當|It(i)-BGt-1(i)|

圖1 補償系數(shù)δ的變化曲線示例Fig.1 Example of change curve about compensation factor δ

(5)

2) 當|It(i)-BGt-1(i)|>SAIC時，可以認定為發(fā)生了較大的光照突變，此時,需要對該像素進行較大值的補償.可以采用下式的補償方案，即

(6)

式(6)中:DTIt表示為

(7)

式(7)中:maxt表示在發(fā)生光照突變時間序列上的最大值函數(shù);ξ為常系數(shù)，取經(jīng)驗值0.4.

1.4 穩(wěn)定前景提取

經(jīng)過上述算法流程之后，穩(wěn)定的前景圖像就可以經(jīng)過下式運算，獲得通過快速前景圖像和慢速前景圖像.即

(8)

整個過程當中，用戶可以不設定任何參數(shù)，全部采用提供的經(jīng)驗值即可，也可對極少數(shù)參數(shù)進行自定義設置，如前景閾值Ts和光照突變閾值Tr.

2 實驗結(jié)果與分析

2.1 評價指標

前景檢測算法的評價指標多樣化，常用的指標有精確度(RP)、查全率(R)、F1評價值(F1)和幀率(SFP).SFP為算法每秒能夠處理的幀數(shù)，用于評價算法的處理速度和復雜度,其他指標分別定義為

(9)

式(9)中:TP表示檢測正確的前景點數(shù)；FP表示背景被誤檢為前景的點數(shù)；FN表示前景被誤檢成背景的像素點數(shù)；F1綜合了精確度和查全率兩種指標，具有較為全面的評價[13].

2.2 數(shù)據(jù)集與對比算法

為證明算法的有效性，將文中提出的算法分別在公開的標準前景檢測數(shù)據(jù)集Wallflower和實際的監(jiān)控視頻數(shù)據(jù)上進行測試，并選取當前應用較為廣泛和效果較好的混合高斯模型(GMM)[3]，通用視頻背景提取算法(VIBE)[6]、多層背景模型(MLBGS)[14]、自適應自組織網(wǎng)絡(LBASOM)[15]進行對比.文中算法是基于VS2013+Opencv2.4.10實現(xiàn)的，對比算法采用文獻[2]中提供的算法庫或原文作者提供的算法庫實現(xiàn).硬件配置為Intel i5-4590處理器，主頻3.3 GHz，8 GB內(nèi)存.

2.3 5種前景檢測算法的對比分析

文中算法與其他4種算法在標準數(shù)據(jù)集Wallflower(分辨率為160 px×120 px)上的前景檢測結(jié)果，如表1所示.表1中的視頻序列可以分為4類：Bootstrap代表前景駐留的場景；Camouflag，F(xiàn)oregroundAperture代表存在偽裝情況的視頻場景；LightSwitch和TimeOfDay代表存在光照突變的場景，其中,LightSwitch是燈光突然打開的場景;TimeOfDay是一天中光照均勻變化；WavingTrees代表存在抖動背景的場景.

由表1可知：文中提出的算法在所有的視頻序列上都有較好的表現(xiàn)，特別是在發(fā)生較大光照突變的LightSwitch序列上，其余方法模型基本失效，而文中方法仍能較好地還原前景.在TimeOfDay序列上，GMM和VIBE模型存在空洞較為嚴重的情況，而LBASOM則將背景中的光源檢測為前景，文中算法僅次于MLBGS模型，在引入少量前景的情況下，較好地還原了前景.從這兩個視頻序列可以看出文中算法對光照突變有一定的抑制能力.從WavingTrees序列可以看出，文中算法只將極少的抖動背景檢測成前景，說明文中算法有一定處理背景抖動的能力；不過，從Camouflag序列上看到文中算法還存在一定的不足，不能很好地處理偽裝，導致前景檢測的空洞.

表1 不同算法在標準數(shù)據(jù)集Wallflower上的前景檢測結(jié)果Tab.1 Foreground detection results of different algorithms on Wallflower dataset

為了更好地量化文中算法的檢測性能，分別給出5種算法在Wallflower數(shù)據(jù)集上的精確度RP、查全率(R)和F1評價值的對比結(jié)果，如表2所示.由于該數(shù)據(jù)集的分辨率較低，處理速度SFP對算法實際應用不具有參考價值，所以表2未給出5種算法在該數(shù)據(jù)集上的SFP值.此外，5種算法在真實視頻數(shù)據(jù)的效果圖和用SFP表示的處理速度結(jié)果，如表3所示.表2，3中：針對各項指標，獲得最大值的用粗體表示，次大值用斜體表示.

由表2,3可知：MLBGS算法在所有算法中綜合各項指標取得最好的結(jié)果.文中算法在性能指標不占很大優(yōu)勢，但是可以看到算法在所有序列上都有較高的精度值，說明算法誤檢率較低.

結(jié)合表3的數(shù)據(jù)可知：MLBGS算法和LBASOM算法的復雜度都較高，特別是MLBGS算法無法達到實時應用的條件；文中所提出的算法在分辨率為352 px×288 px的視頻上處理速度(SFP)達到510.558，僅次于VIBE算法的590.303，這樣的處理速度足夠應對實時應用.

相對VIBE算法，文中算法在多個視頻序列上取得更高的精度值.在LightSwitch序列上，結(jié)合表1的檢測效果和表2的各項指標，文中算法都取得較優(yōu)的表現(xiàn)，可以說明文中算法可以有效地處理光照突變場景.綜合所有情況考慮，所提出的算法不僅可以實現(xiàn)快速處理，同時還能夠針對各種情況特別是在光照突變情況下達到魯棒的效果，具有一定的優(yōu)勢.

表2 不同算法在標準數(shù)據(jù)集Wallflower上的檢測性能評價值Tab.2 Evaluation performance of different algorithms on Wallflower dataset

表3 不同算法的真實監(jiān)控視頻測試結(jié)果Tab.3 Test results of different algorithms on real surveillance videos

3 結(jié)束語

基于雙背景模型的思想，采用簡單的雙背景模型建立方法，結(jié)合視頻時間感知信息(TI)對視頻變化有較好描述的特點，實現(xiàn)了背景更新率自動更新的特點.通過隨機采樣像素點和平均亮度差的方式，建立針對局部光照突變和全局光照突變的光照補償模型，對發(fā)生光照突變的視頻序列有較好的檢測效率.由于對前景提取采用簡單的閾值化導致存在無法應對前景偽裝的情況，使得前景容易出現(xiàn)空洞和低召回率的情形，因此，解決前景偽裝將是下一步需要研究的主要問題.

[1] BOUWMANS T，PORIKLI F,HOFERLIN B,etal.Background modeling and foreground detection for video surveillance[M].Boca Raton:CRC Press，2014:3-8.

[2] SOBRAL A，VACAVANT A.A comprehensive review of background subtraction algorithms evaluated with synthetic and real videos[J].Computer Vision and Image Understanding，2014，122:4-21.

[3] STAUFFER C，GRIMSON W E L.Adaptive background mixture models for real-time tracking[C]∥IEEE Computer Society Conference on Computer Vision and Pattern Recognition.Fort Collins:IEEE Press,1999:246-252.

[4] ELGAMMAL A，HARWOOD D，DAVIS L.Non-parametric model for background subtraction[C]∥European Conference on Computer Vision.Dublin:Springer Berlin Heidelberg，2000:751-767.

[5] KIM K，CHALIDABHONGSE T H，HARWOOD D，etal.Real-time foreground-background segmentation using codebook model[J].Real-Time Imaging，2005，11(3):172-185.

[6] BARNICH O，VAN DROOGENBROECK M.ViBe: A universal background subtraction algorithm for video sequences[J].IEEE Transactions on Image Processing，2011，20(6):1709-1724.

[7] VOSTERS L，SHAN Caifeng，GRITTI T.Real-time robust background subtraction under rapidly changing illumination conditions[J].Image and Vision Computing，2012，30(12):1004-1015.

[8] SAJID H，CHEUNG S C S.Background subtraction under sudden illumination change[C]∥2014 IEEE 16th International Workshop on Multimedia Signal Processing.Jakarta:IEEE Press,2014:1-6.

[9] LI Xuli，ZHANG Chao，ZHANG Duo.Abandoned objects detection using double illumination invariant foreground masks[J].IEEE Journal of Selected Topics in Signal Processing,2010,2(4):582-596.

[10] GRUENWEDEL S，PETROVIC N I，JOVANOV L，etal.Efficient foreground detection for real-time surveillance applications[J].Electronics Letters，2013，49(18):1143-1145.

[11] MAHMOUDPOUR S，KIM M.Robust foreground detection in sudden illumination change[J].Electronics Letters，2016，52(6):441-443.

[12] 國際電聯(lián)無線電通信全會.ITU-R BT.1788 建議書: 對多媒體應用中視頻質(zhì)量的主觀評估方法[S].ITU:ITU-R 102/6 號研究課題，2007:1-13.

[13] 楊濤，李靜，潘泉，等.一種基于多層背景模型的前景檢測算法[J].中國圖象圖形學報，2008，13(7):1303-1308.

[14] YAO Jian，ODOBEZ J M.Multi-layer background subtraction based on color and texture[C]∥IEEE Conference on Computer Vision and Pattern Recognition.Minneapolis:IEEE Press，2007:1-8.

[15] MADDALENA L，PETROSINO A.A self-organizing approach to background subtraction for visual surveillance applications[J].IEEE Transactions on Image Processing，2008，17(7):1168-1177.

(責任編輯： 黃曉楠 英文審校： 吳逢鐵)

Fast and Robust Foreground Detection Algorithm Based on Double Background Model

XIE Weibo1， LIU Wen1， XIA Yuanxiang1， LI Xuefen2

(1. College of Computer Science and Technology， Huaqiao University， Xiamen 361021， China；2. Science and Technology Research Department， Huaqiao University， Xiamen 361021， China)

In order to solve the problem of illumination changes in foreground detection， a fast and robust foreground detection algorithm based on double background model was proposed in this paper. The efficiency can be improved by establishing a simple double background model with fast and slow update rate； the robustness with illumination variations can be enhanced by combining with video time perception information and illumination compensation measures， and hence improving the precision of the foreground detection. Experiments were performed on several challenging sequences with illumination variations in the benchmark evaluation， and the results show that the proposed algorithm not only owns good robustness with changing of illumination， but also has very fast process speed.

illumination robust； foreground detection； double background model； video information; time perception information

10.11830/ISSN.1000-5013.201704020

2016-05-26

謝維波(1964-)，男，教授，博士，主要從事信號處理、視頻分析和嵌入式系統(tǒng)的研究.E-mail:xwblxf@hqu.edu.cn.

國家自然科學基金資助項目(61271383)； 華僑大學研究生科研創(chuàng)新能力培育計劃項目(1400214010)

TP 391

A

1000-5013(2017)04-0550-06