基于一維最大熵的視頻圖像運(yùn)動(dòng)背景減除

李 亞,王 穎

(北京化工大學(xué)信息科學(xué)與技術(shù)學(xué)院,北京 100029)

0 引 言

基于視頻圖像的智能監(jiān)控已經(jīng)應(yīng)用到城市交通、機(jī)場(chǎng)、人體動(dòng)作分析等多個(gè)領(lǐng)域，通過(guò)減除視頻圖像的背景，實(shí)現(xiàn)運(yùn)動(dòng)目標(biāo)跟蹤、監(jiān)控、報(bào)警以及行為分析等[1]。視頻圖像背景減除分為恒定背景和運(yùn)動(dòng)背景這2類(lèi)，主要方法有光流法、幀差法、背景建模法等[2]。光流法計(jì)算圖像中每個(gè)像素點(diǎn)對(duì)應(yīng)速度變化的光流矢量，利用運(yùn)動(dòng)目標(biāo)與背景光流矢量的差異實(shí)現(xiàn)背景減除[1,3]，運(yùn)算量大，很難實(shí)現(xiàn)運(yùn)動(dòng)目標(biāo)的實(shí)時(shí)檢測(cè)。幀差法利用運(yùn)動(dòng)目標(biāo)相對(duì)于背景的變化，基于OTSU法確定相鄰幀的差分圖像中運(yùn)動(dòng)目標(biāo)和背景的分割閾值實(shí)現(xiàn)背景減除[4-5]。當(dāng)運(yùn)動(dòng)目標(biāo)灰度分布均勻時(shí)，相鄰圖像同一位置的目標(biāo)灰度值接近，導(dǎo)致運(yùn)動(dòng)目標(biāo)易被誤檢為背景使得目標(biāo)出現(xiàn)空洞，連通性降低。背景減除法基于視頻圖像與建立的背景模型的差異實(shí)現(xiàn)目標(biāo)檢測(cè)。常用的背景建模用多個(gè)高斯模型描述視頻圖像每個(gè)像素點(diǎn)時(shí)域的灰度分布建立背景模型，對(duì)于運(yùn)動(dòng)背景，通過(guò)實(shí)時(shí)更新背景模型實(shí)現(xiàn)目標(biāo)的檢測(cè)[6-7]，但是后續(xù)幀的背景被誤判為運(yùn)動(dòng)目標(biāo)，形成虛假運(yùn)動(dòng)目標(biāo)即“鬼影”[8]，為了消除鬼影，文獻(xiàn)[9]基于當(dāng)前圖像與前幀圖像前景區(qū)域灰度分布直方圖之間的差異，通過(guò)尋找直方圖匹配率最高的鬼影塊消除鬼影，但是該方法需要圖像前景目標(biāo)的先驗(yàn)知識(shí)，局限性大，適用性較差；此外一些學(xué)者通過(guò)分段設(shè)置背景學(xué)習(xí)效率加快背景模型的更新速率，但建模運(yùn)算量增大，時(shí)間成本提高，不利于實(shí)時(shí)目標(biāo)檢測(cè)[10]。

針對(duì)復(fù)雜及運(yùn)動(dòng)背景視頻圖像中高斯混合背景建模方法容易出現(xiàn)鬼影且鬼影難消除、誤判率高和幀差法利用OTSU閾值法易將背景和目標(biāo)誤判等問(wèn)題，本文基于圖像信息熵[11]理論，將一維最大熵用于背景減除，實(shí)現(xiàn)運(yùn)動(dòng)目標(biāo)的實(shí)時(shí)檢測(cè)[12-13]。

1 一維最大熵背景減除方法

1.1 圖像信息熵

通過(guò)對(duì)減除背景后的視頻圖像確定閾值實(shí)現(xiàn)運(yùn)動(dòng)目標(biāo)檢測(cè)。對(duì)于復(fù)雜背景，為減少目標(biāo)信息的誤判，需要更精確的閾值確定方法。常用的OTSU閾值確定方法依據(jù)圖像的灰度特性，以類(lèi)間方差最大為準(zhǔn)則確定閾值實(shí)現(xiàn)目標(biāo)的檢測(cè)[14-15]，但當(dāng)目標(biāo)和背景灰度值接近時(shí)不能準(zhǔn)確檢測(cè)目標(biāo)。圖1(b)為OTSU閾值法對(duì)圖1(a)目標(biāo)檢測(cè)結(jié)果，由于部分背景和目標(biāo)灰度接近，導(dǎo)致被誤判為目標(biāo)。

(a) 待分割原圖

(b) OTSU分割結(jié)果 (c) 一維最大熵分割結(jié)果圖1 不同背景圖像的OTSU閾值目標(biāo)檢測(cè)

信息熵表示從信息源中可能獲得的信息量的大小。假設(shè)事件xi發(fā)生的概率為pi，其自信息量定義為：

(1)

自信息量的數(shù)學(xué)期望稱(chēng)為事件xi的信息熵，表示事件在不同發(fā)生概率時(shí)的信息量。待檢測(cè)視頻圖像包含目標(biāo)和背景這2種信息，因此對(duì)于每個(gè)像素都有目標(biāo)x1和背景x2這2種可能，且每個(gè)像素對(duì)應(yīng)目標(biāo)和背景的概率滿(mǎn)足p1+p2=1，該像素點(diǎn)的信息熵為：

H=-p1ln (p1)-p2ln (p2)

(2)

圖2為p1與信息熵H的關(guān)系曲線(xiàn)。

圖2 信息熵與概率分布關(guān)系

從圖2可看出像素點(diǎn)屬于目標(biāo)和背景的概率均等于50%時(shí)對(duì)應(yīng)的信息熵最大，表明從當(dāng)前像素點(diǎn)獲取了最多的信息；當(dāng)目標(biāo)概率大于或小于50%時(shí)，信息熵呈下降趨勢(shì)，表明從當(dāng)前像素點(diǎn)獲取的信息量變少。圖像信息熵的和是把圖像中所有像素點(diǎn)依據(jù)灰度值分為目標(biāo)背景時(shí)目標(biāo)信息熵和背景信息熵的總和。采用圖像信息熵最大時(shí)對(duì)應(yīng)的灰度閾值進(jìn)行分割能夠保留最多的目標(biāo)信息。圖1(c)為一維最大熵確定閾值檢測(cè)出的目標(biāo)，保留了較完整的目標(biāo)信息。因此針對(duì)復(fù)雜和運(yùn)動(dòng)背景的視頻圖像，利用一維最大熵確定閾值實(shí)現(xiàn)運(yùn)動(dòng)目標(biāo)檢測(cè)。

1.2 最大熵閾值計(jì)算方法

統(tǒng)計(jì)每個(gè)灰度值像素點(diǎn)的個(gè)數(shù)以及概率，灰度值t把圖像分為背景和目標(biāo)，計(jì)算背景與目標(biāo)中灰度值像素點(diǎn)的概率和W1,W2，分別得到背景信息熵與目標(biāo)信息熵H1,H2，以背景和目標(biāo)信息熵總和Hs最大時(shí)的灰度值t為最終的分割閾值。具體步驟如下：

1)設(shè)圖像的灰度范圍為[0,1,…,i,…,L-1],L=256，總像素個(gè)數(shù)為M×N，圖像灰度級(jí)的概率分布為：

(3)

其中，ni表示灰度級(jí)為i的像素點(diǎn)個(gè)數(shù)。背景包含的像素點(diǎn)的灰度范圍為[0,1,…,t]，運(yùn)動(dòng)目標(biāo)包含的像素點(diǎn)灰度范圍為[t+1,…,L-1]。背景的灰度分布概率為：

(4)

2)運(yùn)動(dòng)目標(biāo)的灰度分布概率為：

(5)

3)背景的信息熵為：

(6)

4)運(yùn)動(dòng)目標(biāo)的信息熵為：

(7)

5)總信息熵為：

Hs(t)=H1+H2

(8)

t*=arg maxt∈THs(t)

(9)

其中，t*為圖像具有最大信息熵時(shí)對(duì)應(yīng)的灰度閾值,該閾值可以完整檢測(cè)出運(yùn)動(dòng)目標(biāo)，減少誤判。

2 實(shí)驗(yàn)與結(jié)果分析

采用4 GB內(nèi)存計(jì)算機(jī)，基于Visual Studio2010開(kāi)發(fā)平臺(tái)和OpenCV2.4.3編程環(huán)境，針對(duì)復(fù)雜和運(yùn)動(dòng)背景視頻圖像采用一維最大熵方法進(jìn)行背景減除，并與其他方法進(jìn)行比較。

2.1 復(fù)雜背景視頻圖像背景減除

選取加州大學(xué)計(jì)算機(jī)視覺(jué)與機(jī)器人研究實(shí)驗(yàn)室拍攝的一段停車(chē)場(chǎng)入口復(fù)雜背景視頻進(jìn)行運(yùn)動(dòng)目標(biāo)檢測(cè)，待檢測(cè)運(yùn)動(dòng)目標(biāo)為圖像左側(cè)的2個(gè)人。

(a) 原圖 (b) 幀差法結(jié)果

(c) 高斯混合建模法結(jié)果 (d) 一維最大熵方法結(jié)果圖3 復(fù)雜背景視頻圖像的背景減除結(jié)果

圖3(a)為視頻中截取的一幀圖像，圖3(b)為幀差法檢測(cè)的運(yùn)動(dòng)目標(biāo)，采用OTSU法確定閾值t=119。由于目標(biāo)的衣服灰度比較均勻，導(dǎo)致目標(biāo)信息被誤判為背景，出現(xiàn)較多空洞。圖3(c)為采用10個(gè)高斯模型進(jìn)行高斯混合背景建模后的運(yùn)動(dòng)目標(biāo)檢測(cè)結(jié)果，背景固定不需要更新，建立的背景模型不能準(zhǔn)確包含所有背景像素點(diǎn)，導(dǎo)致頸部和四肢等區(qū)域信息誤判為背景形成空洞，同時(shí)高斯混合背景建模需要人為設(shè)定參數(shù)，適用性差。利用一維最大熵法檢測(cè)的運(yùn)動(dòng)目標(biāo)如圖3(d)所示，閾值t=21，保證了檢測(cè)目標(biāo)的完整性。

選取最大連通面積、誤判個(gè)數(shù)和誤判率進(jìn)行目標(biāo)檢測(cè)結(jié)果評(píng)價(jià)[16-17]。最大連通面積利用檢測(cè)到的目標(biāo)相連接像素?cái)?shù)的總和評(píng)價(jià)目標(biāo)的連通性；誤判個(gè)數(shù)是目標(biāo)誤判為背景以及背景誤判為目標(biāo)的像素?cái)?shù)總和，誤判率利用誤判個(gè)數(shù)在圖像中的比例評(píng)價(jià)背景減除方法發(fā)生錯(cuò)判的概率。表1給出上述3種方法針對(duì)7幀視頻圖像的目標(biāo)檢測(cè)評(píng)價(jià)指標(biāo)的平均值。

表1 不同背景減除方法的目標(biāo)檢測(cè)評(píng)價(jià)結(jié)果

背景減除方法最大連通面積誤判個(gè)數(shù)誤判率/%幀差法69433643.32高斯混合背景建模215227162.68一維最大熵310310171.00

幀差法檢測(cè)的目標(biāo)連通域面積最小，目標(biāo)連通性差，誤判率高；高斯混合背景建模檢測(cè)的目標(biāo)連通域面積較大，但是誤判率高；一維最大熵方法檢測(cè)的目標(biāo)連通區(qū)域面積最大，誤判率最低。

2.2 運(yùn)動(dòng)背景視頻圖像背景減除

選取UCF視頻庫(kù)中一段50幀的跳水視頻，該視頻圖像中待檢測(cè)運(yùn)動(dòng)目標(biāo)為跳水運(yùn)動(dòng)員，隨著跳水運(yùn)動(dòng)員空間位置的變化背景不斷變化，圖4(a)和圖4(b)為從中截取的2幀原始圖像，對(duì)應(yīng)背景分別是觀(guān)眾看臺(tái)、游泳池水面。

(a) 原圖1 (b) 原圖2

(c) 高斯混合背景建模 方法結(jié)果1 (d) 高斯混合背景建模 方法結(jié)果2

(e) 改進(jìn)高斯混合背景 建模方法結(jié)果1 (f) 改進(jìn)高斯混合背景 建模方法結(jié)果2

(g) 一維最大熵方法結(jié)果1 (h) 一維最大熵方法結(jié)果2

高斯混合建模在視頻初始幀將運(yùn)動(dòng)員誤判為背景，但是后續(xù)幀圖像中該位置灰度變化較大，當(dāng)學(xué)習(xí)效率較小時(shí)導(dǎo)致被誤判為運(yùn)動(dòng)目標(biāo)出現(xiàn)“鬼影”，見(jiàn)圖4(c)和圖4(d)中的圓圈標(biāo)記。圖4(e)和圖4(f)是高斯混合背景建模方法改進(jìn)后得到的目標(biāo)，對(duì)視頻分段設(shè)置不同的學(xué)習(xí)效率，前20幀學(xué)習(xí)效率較高，后續(xù)幀學(xué)習(xí)效率較低，由于采用分段學(xué)習(xí)提高了學(xué)習(xí)效率，鬼影消失，但是背景更新過(guò)快導(dǎo)致信息誤判嚴(yán)重。圖4(g)和圖4(h)為采用一維最大熵的背景減除方法確定目標(biāo)閾值檢測(cè)的運(yùn)動(dòng)目標(biāo)，閾值分別為t=122和t=115，誤判信息少，完整地檢測(cè)出運(yùn)動(dòng)目標(biāo)。

若圖像大小為M×N，高斯混合背景建模需針對(duì)每個(gè)像素點(diǎn)判斷是否符合k(k=10)個(gè)模型，設(shè)n1為利用3σ準(zhǔn)則進(jìn)行一次相似性判斷的時(shí)間，則混合高斯背景建模的時(shí)間復(fù)雜度：

Tgauss(n)=Ο(M×N×n1×k)

改進(jìn)的高斯混合背景建模增加了對(duì)3個(gè)參數(shù)的實(shí)時(shí)更新，設(shè)一個(gè)參數(shù)的更新運(yùn)算時(shí)間為n2，則改進(jìn)的混合高斯背景建模的時(shí)間復(fù)雜度：

Tad-gauss(n)=Ο(M×N×n1×k+3×10×n2)

一維最大熵背景減除需要計(jì)算圖像中每個(gè)灰度級(jí)的概率并計(jì)算該灰度值對(duì)應(yīng)像素的信息熵，最終確定最大信息熵時(shí)的灰度值，依據(jù)最大熵閾值判斷每個(gè)像素點(diǎn)是否為目標(biāo)，設(shè)上述概率統(tǒng)計(jì)運(yùn)算、熵運(yùn)算以及判斷運(yùn)算時(shí)間均為n3，則一維最大熵的時(shí)間復(fù)雜度：

Tentropy(n)=Ο(M×N×n3×2+256×n3)

顯然改進(jìn)高斯混合模型增加了參數(shù)更新，且參數(shù)更新運(yùn)算復(fù)雜，因此改進(jìn)高斯混合背景建模時(shí)間復(fù)雜度最大，而熵運(yùn)算比3σ準(zhǔn)則復(fù)雜，所以一維信息熵和高斯混合背景建模時(shí)間復(fù)雜度接近，表2給出了上述3種方法檢測(cè)視頻圖像運(yùn)動(dòng)目標(biāo)的計(jì)算時(shí)間。

表2 3種方法的計(jì)算時(shí)間

方法計(jì)算時(shí)間/s高斯混合模型32.60改進(jìn)高斯混合模型182.39一維最大熵52.25

雖然傳統(tǒng)混合高斯背景建模用時(shí)最短，但易出現(xiàn)鬼影；改進(jìn)的高斯混合模型通過(guò)分段設(shè)置學(xué)習(xí)效率，提高了背景更新速率，消除了鬼影但是處理時(shí)間長(zhǎng)；一維最大熵方法用時(shí)較短且無(wú)鬼影出現(xiàn),更適用于視頻圖像中運(yùn)動(dòng)目標(biāo)的實(shí)時(shí)檢測(cè)。

3 結(jié)束語(yǔ)

本文通過(guò)確定目標(biāo)信息和背景信息的最大信息熵確定最佳運(yùn)動(dòng)目標(biāo)的檢測(cè)閾值，針對(duì)背景復(fù)雜及運(yùn)動(dòng)背景的視頻圖像，比幀間差分法和高斯混合背景建模方法檢測(cè)的運(yùn)動(dòng)目標(biāo)完整性好，運(yùn)動(dòng)目標(biāo)誤判率低；本文的方法比改進(jìn)的高斯混合背景建模方法計(jì)算時(shí)間短，更適用于運(yùn)動(dòng)目標(biāo)的實(shí)時(shí)檢測(cè)。

[1] 邵奇可,周宇,李路,等. 復(fù)雜場(chǎng)景下自適應(yīng)背景減除算法[J]. 中國(guó)圖象圖形學(xué)報(bào), 2015,20(6):756-763.

[2] Senst T, Evangelio R H, Sikora T. Detecting people carrying objects based on an optical flow motion model[C]// Proceedings of 2011 IEEE Workshop on Applications of Computer Vision (WACV). 2011:301-306.

[3] 許敬,張合,張祥金. 基于幀間差分和光流法的紅外圖像運(yùn)動(dòng)檢測(cè)[J]. 計(jì)算機(jī)仿真, 2012(6):248-252.

[4] 陸冰,王玲玲,裴東. 基于混合高斯模型和六幀差分的目標(biāo)檢測(cè)算法[J]. 激光與紅外, 2016(2):240-244.

[5] 劉文萍,吳立德. 圖像分割中閾值選取方法比較研究[J]. 模式識(shí)別與人工智能, 1997(3):271-277.

[6] Cai Xun, Jiang Long, Hao Xingwei, et al. A new region gaussian background model for video surveillance[C]// Proceedings of 2008 4th International Conference on Natural Computation. 2008:123-127.

[7] 王永忠,梁彥,潘泉,等. 基于自適應(yīng)混合高斯模型的時(shí)空背景建模[J]. 自動(dòng)化學(xué)報(bào), 2009,35(4):371-378.

[8] 吳亮,周東翔,范才智,等. 基于直方圖匹配的鬼影檢測(cè)算法[J]. 計(jì)算機(jī)工程與科學(xué), 2008,30(7):57-60.

[9] 華媛蕾,劉萬(wàn)軍． 改進(jìn)混合高斯模型的運(yùn)動(dòng)目標(biāo)檢測(cè)方法[J]． 計(jì)算機(jī)應(yīng)用, 2014,34(2):580-584.

[10] 韓明,劉教民,孟軍英,等. 一種自適應(yīng)調(diào)整K-ρ的混合高斯背景建模和目標(biāo)檢測(cè)算法[J]. 電子與信息學(xué)報(bào), 2014,36(8):2023-2027.

[11] Cui Huijuan, Singh V P. Maximum entropy spectral analysis for stream flow forecasting[J]. Physica A: Statistical Mechanics and Its Applications, 2016,442:91-99.

[12] 曹力,史忠科. 基于最大熵原理的多閾值自動(dòng)選取新方法[J]. 中國(guó)圖象圖形學(xué)報(bào), 2002,7(5):461-465.

[13] Mahmoudi L, Zaart A E. A survey of entropy image threshold techniques[C]// 2012 2nd International Conference on Advances in Computational Tools for Engineering Applications. 2012:204-209.

[14] 賀建峰,符增,相艷,等. 基于灰度空間相關(guān)性最大類(lèi)間方差的圖像分割[J]. 計(jì)算機(jī)工程, 2015,41(11):280-286.

[15] 丁曉峰,何凱霖. 基于最大類(lèi)間方差的改進(jìn)圖像分割算法[J]. 計(jì)算機(jī)工程與設(shè)計(jì), 2015(10):2765-2768.

[16] 刁偉鶴,毛峽,常樂(lè). 自動(dòng)目標(biāo)識(shí)別中的圖像序列質(zhì)量評(píng)價(jià)方法[J]. 電子與信息學(xué)報(bào), 2010,32(8):1779-1785.

[17] 游瑞蓉,王新偉,任鵬道,等. 約翰遜準(zhǔn)則的視頻監(jiān)控目標(biāo)檢測(cè)性能評(píng)估方法[J]. 紅外與激光工程, 2016,45(12):269-274.