高飽和交叉口背景提取與更新算法*

李熙瑩，羅長(zhǎng)政，王鎮(zhèn)波，羅東華

(中山大學(xué)工學(xué)院//廣東省智能交通系統(tǒng)重點(diǎn)實(shí)驗(yàn)室，廣東 廣州 510006)

作為常用的視頻車(chē)輛檢測(cè)方法，背景差法通過(guò)將當(dāng)前幀與背景圖做差分以提取出前景目標(biāo)——運(yùn)動(dòng)車(chē)輛，其原理簡(jiǎn)單，算法速度快，應(yīng)用比較普遍。但是，在場(chǎng)景復(fù)雜的交叉路口進(jìn)行應(yīng)用時(shí)，背景差分方法由于難以獲取可用的背景圖而往往不能達(dá)到滿(mǎn)意的車(chē)輛檢測(cè)效果。特別是在早晚高峰期的一些高飽和交叉口中，這種情況尤為嚴(yán)重。交叉路口的背景提取與更新方法成為基于背景差法進(jìn)行路口車(chē)輛檢測(cè)的瓶頸。

迄今為止，國(guó)內(nèi)外專(zhuān)家針對(duì)背景提取已提出了諸多方法[1]。針對(duì)主要關(guān)注點(diǎn)的不同，可以將現(xiàn)有的背景提取方法分為基于模型的方法與基于更新策略的方法?；谀Ｐ偷姆椒ㄗ⒅赜诮⒁粋€(gè)數(shù)學(xué)模型用于描述背景信息與前景信息的區(qū)別，并借此提取出背景圖像?；诟虏呗缘姆椒▌t注重于建立一種適合于應(yīng)用場(chǎng)景的更新方法，使背景圖像能在不斷地更新中向真實(shí)背景趨近。無(wú)論是怎樣的方法，設(shè)計(jì)一個(gè)背景提取與更新算法都需要關(guān)注2個(gè)問(wèn)題：一是如何從像素信息流中較好地篩去前景信息，留下背景信息；二是對(duì)篩選出的背景像素信息以何種方式進(jìn)行更新。歸結(jié)起來(lái)就是所假定的背景像素信息的特征是否符合應(yīng)用場(chǎng)景的實(shí)際情況?；谀Ｐ偷姆椒ㄔ谒惴ㄔO(shè)計(jì)時(shí)往往會(huì)關(guān)注第一個(gè)問(wèn)題，而基于更新的方法則會(huì)關(guān)注第二個(gè)問(wèn)題。因此基于模型的方法往往具有較強(qiáng)的過(guò)濾前景能力，基于更新的方法則擁有較強(qiáng)的適應(yīng)場(chǎng)景變化的能力。

基于模型的背景提取和更新方法包括經(jīng)典的中值濾波方法、直方圖統(tǒng)計(jì)方法、高斯模型方法等。高斯模型近年獲得了極高的關(guān)注[2]，然而因其算法復(fù)雜度太高，尚未適合實(shí)際的工程應(yīng)用。目前，中值濾波與直方圖統(tǒng)計(jì)仍為工程應(yīng)用中的主流方法。

中值濾波算法是將圖像序列中各像素點(diǎn)出現(xiàn)的灰度值的中值當(dāng)做該點(diǎn)的背景像素灰度值[3-6]。

此方法具有較強(qiáng)的前景濾除能力，常作為背景初始化算法。不過(guò)，如果車(chē)輛密集，會(huì)導(dǎo)致背景出現(xiàn)的幀數(shù)少于序列圖像的一半，無(wú)法提取出可用背景。

直方圖統(tǒng)計(jì)算法則是將像素點(diǎn)出現(xiàn)頻率最高的灰度值作為背景灰度值[7-8]。統(tǒng)計(jì)方法素來(lái)有空間復(fù)雜度過(guò)高的問(wèn)題，一些學(xué)者也針對(duì)這方面進(jìn)行了改進(jìn)，如：Li Xiaofei[7]設(shè)計(jì)的分區(qū)統(tǒng)計(jì)的算法，極大地降低了算法空間復(fù)雜度。直方圖統(tǒng)計(jì)算法的統(tǒng)計(jì)機(jī)制能有效推斷出場(chǎng)景中的實(shí)際狀況，但當(dāng)車(chē)輛較多、車(chē)速較慢、且黑白兩種顏色的車(chē)輛比例較大時(shí)，統(tǒng)計(jì)結(jié)果往往會(huì)產(chǎn)生偏差。

基于模型的方法雖然經(jīng)過(guò)了多方面的優(yōu)化，但算法復(fù)雜度依然較高，所以工程應(yīng)用中更傾向于使用基于更新的方法。其中，最為經(jīng)典的是幀間差分算法[9-13]，其他許多算法都借用了該算法的基本思想：利用當(dāng)前幀的非運(yùn)動(dòng)部分不斷地更新背景。Koller[12]建議針對(duì)像素點(diǎn)不同的狀態(tài)使用不同的更新率，這樣避免了單一更新率帶來(lái)的諸多問(wèn)題。在前景物體較多、情況復(fù)雜的場(chǎng)景中，幀間差分算法會(huì)因?yàn)橐朐肼暥斐伤惴ㄊА?/p>

高飽和交叉口車(chē)輛較多，車(chē)速較慢，車(chē)間距較小，可觀測(cè)到的背景區(qū)域較少，且不同信號(hào)周期的車(chē)輛組成差異大。在這種復(fù)雜場(chǎng)景中，單純通過(guò)建立數(shù)學(xué)描述模型或優(yōu)化更新方法難以設(shè)計(jì)出實(shí)用可靠的算法。通過(guò)分析可以發(fā)現(xiàn)：當(dāng)采用中值濾波方法時(shí)，雖然每次提取出的背景中都會(huì)包含很多噪聲，但是其噪聲的具體位置是隨機(jī)的。如果對(duì)背景進(jìn)行評(píng)估從而定位噪聲，則可以通過(guò)不斷更新含噪聲的中值背景圖逐漸向真實(shí)背景趨近。因此，本文提出一種中值濾波與幀間差分算法相融合的方法，吸取基于模型方法和基于更新方法的優(yōu)點(diǎn)，從而可以針對(duì)高飽和交叉口實(shí)現(xiàn)道路背景的有效提取。

1 中值背景噪聲特點(diǎn)分析

背景差分的檢測(cè)思想為對(duì)比當(dāng)前幀信息與背景圖信息是否異同，如下式：

|Icurrent-Ibackground|>0

(1)

式中Icurrent為當(dāng)前幀信息，Ibackground為背景信息。如果此時(shí)當(dāng)前幀中包含前景車(chē)輛信息Ivehicle，即

Icurrent= Ibackground+ Ivehicle

(2)

那么與背景差分后會(huì)得到車(chē)輛的信息|Ivehicle|。

如果背景圖中某區(qū)域包含有噪聲，如下式：

InoiseBG= Ibackground+ Inoise

(3)

式中InoiseBG為含噪聲的背景，Inoise為噪聲。那么在當(dāng)前幀不包含車(chē)輛信息的情況下，背景差分的結(jié)果為|Inoise|，系統(tǒng)同樣會(huì)認(rèn)為有車(chē)輛占用此區(qū)域。即背景差分圖中絕大部分時(shí)間會(huì)顯示該區(qū)域有前景物體。如圖1所示：圖1(a)中所含的噪聲在圖1(b)的背景差分圖中都保留了下來(lái)。

圖1 背景中的噪聲

而在一般情況下，綠燈周期時(shí)交叉口引道內(nèi)不會(huì)存在靜止不動(dòng)的車(chē)輛，即不可能存在長(zhǎng)期被車(chē)輛占有的區(qū)域。根據(jù)以上分析，可以假定：在綠燈周期內(nèi)，長(zhǎng)時(shí)間被前景物體占有的區(qū)域?yàn)楸尘皥D的噪聲區(qū)域。換句話(huà)說(shuō)，背景圖中的噪聲區(qū)域可以通過(guò)檢測(cè)被車(chē)輛占用的情況進(jìn)行定位。

背景圖像中的噪聲來(lái)源于前景信息的混入。如中值濾波算法，當(dāng)某一區(qū)域被前景覆蓋的時(shí)間大于50%時(shí)，中值濾波算法會(huì)將某一幀的前景物體當(dāng)成背景信息。由于特定時(shí)刻車(chē)輛出現(xiàn)的位置具有隨機(jī)性，所以各區(qū)域被前景物體占用的時(shí)間是隨機(jī)的。所以中值背景中噪聲的位置也具有隨機(jī)性，即不同時(shí)間段所提取出的中值背景的噪聲區(qū)域是不同的。對(duì)一個(gè)特定的區(qū)域來(lái)說(shuō)，在不同時(shí)間段提取的中值背景，可能正確地獲取到背景信息，也可能誤獲得前景信息。只要進(jìn)行的次數(shù)足夠多，總會(huì)有一次能正確地獲取到背景信息。那么通過(guò)定位背景圖中的噪聲，并用新提取出中值背景更新原背景的噪聲區(qū)域，就可以使背景圖不斷地向真實(shí)背景趨近，直至獲取出一張工程上可用的背景圖。

為了定位與消除中值背景的噪聲，根據(jù)噪聲的顯著程度，將噪聲分為兩類(lèi)：一類(lèi)為“鬼影”，其顯著程度可以干擾到車(chē)輛檢測(cè)的結(jié)果，如圖2中黑色橢圓圈內(nèi)所示；另一類(lèi)為“差異”，其顯著程度不足以干擾到車(chē)輛檢測(cè)結(jié)果，如圖2中白色橢圓圈內(nèi)所示。雖然差異并不足以干擾到車(chē)輛檢測(cè)，但這類(lèi)噪聲會(huì)隨著時(shí)間的推移而變得顯著，需要在此之前對(duì)其進(jìn)行抑制。

圖2 鬼影與差異示意圖

2 算法介紹

圖3為算法的總體流程圖。算法將背景圖輸出給車(chē)輛檢測(cè)系統(tǒng)，并根據(jù)系統(tǒng)反饋回的信息進(jìn)行背景評(píng)估，定位噪聲區(qū)域。最后根據(jù)評(píng)估結(jié)果進(jìn)行背景更新，再輸出更新后的背景。經(jīng)過(guò)多次循環(huán)，就可以獲得一張接近真實(shí)背景的背景圖。

圖3 算法總體流程圖

2.1 初始背景提取

算法采用中值濾波方法提取初始背景圖，即對(duì)第一個(gè)綠燈周期內(nèi)的視頻幀，采用中值濾波方法提取出一張背景圖片。此背景圖片作為初始背景輸入。

2.2 背景評(píng)估

背景評(píng)估的目的在于檢測(cè)出長(zhǎng)期被前景物體占有的區(qū)域，即噪聲區(qū)域。由于車(chē)輛在綠燈前半段處在啟動(dòng)狀態(tài)，速度慢、車(chē)輛密度高，這時(shí)候進(jìn)行累加計(jì)算是沒(méi)有意義的，反而會(huì)形成干擾。所以系統(tǒng)只在綠燈時(shí)間后半段才進(jìn)行背景評(píng)估操作。背景評(píng)估包含兩個(gè)部分：鬼影檢測(cè)與差異檢測(cè)。

2.2.1 鬼影檢測(cè) 檢測(cè)背景圖中鬼影區(qū)域的方法為：累加車(chē)輛檢測(cè)系統(tǒng)反饋回的檢測(cè)結(jié)果；如果檢測(cè)到某區(qū)域長(zhǎng)時(shí)間被前景物體占有，則判定為鬼影區(qū)域。具體步驟如下：

1)獲取車(chē)輛檢測(cè)系統(tǒng)于綠燈周期反饋回的車(chē)輛檢測(cè)二值圖序列{Ti}。

2)對(duì){Ti}進(jìn)行累加，公式如下：

(4)

其中，G(x,y)為鬼影檢測(cè)累加結(jié)果圖像，Ti為反饋回的車(chē)輛檢測(cè)結(jié)果圖像的第i幀，N為反饋回的二值圖總數(shù)，(x,y)為像素點(diǎn)的位置信息。最后除以255是因?yàn)榉答伝氐亩祱D像的高值設(shè)定為255。

3)對(duì)累加結(jié)果圖G(x,y)進(jìn)行二值化：

(5)

其中τ為閾值。如果某點(diǎn)的灰度值大于τ(即檢測(cè)到被前景物體覆蓋的次數(shù)大于τ)，則認(rèn)為背景在此點(diǎn)存在鬼影，需對(duì)其進(jìn)行更新。理論上τ的取值應(yīng)為N。然而在實(shí)際場(chǎng)景中存在車(chē)身顏色相近的情況，所以τ的取值應(yīng)在0.75N至0.95N之間。路口的飽和度越高，τ的取值越小。

圖4為鬼影檢測(cè)過(guò)程示意圖。圖(a)為背景圖；圖(b)為當(dāng)前幀圖片；圖(c)為圖(b)的車(chē)輛檢測(cè)結(jié)果；圖(d)為經(jīng)過(guò)半個(gè)綠燈周期后車(chē)輛檢測(cè)的累加結(jié)果?？梢钥闯觯罕尘皥D中的鬼影區(qū)域在進(jìn)行車(chē)輛檢測(cè)時(shí)被當(dāng)作前景物體顯示出來(lái)；并且在累加結(jié)果中鬼影區(qū)域的灰度值也比其他的區(qū)域高。

圖4 鬼影檢測(cè)過(guò)程示意圖

2.2.2 差異檢測(cè) 差異檢測(cè)算法與鬼影檢測(cè)算法原理相似，區(qū)別在于差異檢測(cè)是對(duì)背景差分圖的累加，而非累加車(chē)輛檢測(cè)結(jié)果。具體步驟如下：

1)獲取車(chē)輛檢測(cè)系統(tǒng)反饋回的背景差分圖序列{Si}。

2)對(duì)每一幀背景差分圖都進(jìn)行二值化：

(6)

Si為反饋回的第i幀背景差分圖像，δ為認(rèn)為背景圖中存在差異的閾值，一般為10左右。

3)對(duì)二值化后的{Si}進(jìn)行累加，累加結(jié)果存入累加矩陣U：

(7)

其中，U(x,y)為差異累加結(jié)果圖像，Si為二值化后的第i幀背景差分圖，N為反饋回的差分圖總數(shù)。除以255的原因同前。

4)對(duì)差異累加結(jié)果圖像U(x,y)進(jìn)行二值化：

(8)

其中ε為閾值。如果某點(diǎn)的值大于ε，則認(rèn)為背景在該點(diǎn)存在差異，需對(duì)其進(jìn)行消除。一般而言，閾值ε的取值與τ值一樣。

圖5為背景評(píng)估結(jié)果示意圖，初始背景圖經(jīng)過(guò)半個(gè)綠燈周期的背景評(píng)估后可以獲得鬼影檢測(cè)的結(jié)果與差異檢測(cè)的結(jié)果。

圖5 一個(gè)周期的背景評(píng)估結(jié)果

2.3 更新背景

定位到噪聲之后，對(duì)背景圖中需更新的部分進(jìn)行更新，具體的更新步驟如下：

1)在進(jìn)行背景評(píng)估的同時(shí)，采用中值濾波方法提取出一張新的中值背景作為參考背景圖BZ，用以更新當(dāng)前背景圖。

2)綠燈周期結(jié)束時(shí)，讀取鬼影檢測(cè)結(jié)果矩陣G′與差異檢測(cè)結(jié)果矩陣U′，對(duì)G′、U′進(jìn)行掃描，執(zhí)行以下操作：

G′(x,y)=255

G′(x,y)=0andU′(x,y)=255

G′(x,y)=0andU′(x,y)=0

(9)

其中α為更新系數(shù)，Bj為第j周期的背景圖，BZ為參考背景圖，G′為鬼影檢測(cè)累加結(jié)果；U′為差異檢測(cè)累加結(jié)果。更新系數(shù)α的取值范圍為0到1之間，其倒數(shù)為獲得真實(shí)背景至少所需的更新次數(shù)。α取值過(guò)高容易引入噪聲，取值過(guò)低則會(huì)使算法所需時(shí)間過(guò)長(zhǎng)。一般情況，α的取值為0.2至0.3之間。

3)更新完畢，等待至下一綠燈周期時(shí)跳回至背景評(píng)估階段，為更新后的背景做背景評(píng)估。

3 實(shí) 驗(yàn)

實(shí)驗(yàn)視頻攝于廣州市五羊邨，時(shí)間為星期日中午12：30，路口信號(hào)周期為2 min，平均綠燈時(shí)間為21 s。拍攝視頻時(shí)該路口處于高飽和狀態(tài)，在一個(gè)信號(hào)周期內(nèi)無(wú)法放行全部排隊(duì)車(chē)輛。圖6為在綠燈時(shí)間倒數(shù)第三秒時(shí)的車(chē)流狀況。

圖6 高飽和交叉口俯拍圖

實(shí)驗(yàn)中，車(chē)輛檢測(cè)系統(tǒng)在綠燈周期的后半段每秒反饋一次結(jié)果。背景評(píng)估的兩個(gè)閾值τ與ε都取0.8N，更新系數(shù)α的取值為0.25。算法結(jié)果如圖7所示。圖7(a)為初始背景圖，經(jīng)過(guò)一個(gè)周期的鬼影檢測(cè)與差異檢測(cè)，得到鬼影檢測(cè)結(jié)果圖7(b)與差異檢測(cè)結(jié)果圖7(c)。利用這兩個(gè)檢測(cè)結(jié)果與新提取出的中值背景圖7(d)對(duì)圖7(a)進(jìn)行更新，得到背景圖7(e)。經(jīng)過(guò)五個(gè)周期的更新，初始背景中的噪聲部分基本已被消除，如圖7(g)所示。利用圖7(g)的結(jié)果進(jìn)行背景差法的車(chē)輛檢測(cè)。圖7(h)為當(dāng)前幀；圖7(i)為圖7(h)與五周期后的更新背景圖(圖7(g))的差分圖；圖7(j)為圖7(i)幀的車(chē)輛檢測(cè)二值圖?？梢钥闯觯跏急尘敖?jīng)過(guò)五個(gè)周期的更新后，已經(jīng)滿(mǎn)足了車(chē)輛檢測(cè)的使用要求。

圖7 算法過(guò)程

實(shí)驗(yàn)視頻的大小為720*576像素，每秒25幀，算法運(yùn)行主機(jī)的CPU為主頻3.21 GHz的AMD PhenomII X6 1090T，無(wú)任何軟硬件加速。背景評(píng)估操作每幀耗時(shí)小于1 ms，背景更新操作用時(shí)47 ms。其中更新階段的耗時(shí)主要在計(jì)算新的中值背景上。背景更新只在綠燈時(shí)間最后一幀進(jìn)行，接下來(lái)的紅燈時(shí)間不再運(yùn)行，因此背景更新時(shí)間超過(guò)40 ms不影響算法的實(shí)時(shí)性。如果將提取中值背景的計(jì)算分布到提取圖片的階段，則可將每幀的計(jì)算時(shí)間都降到15 ms以下。

圖8為本文算法與中值濾波法和幀間差分算法的對(duì)比。左列為本文算法獲得的結(jié)果，中間列為使用中值濾波方法所獲得的結(jié)果，右列為幀間差分算法的結(jié)果。3種方法都使用中值濾波法提供初始背景圖?？梢钥闯?，另外兩種算法由于缺乏合理的更新機(jī)制，不能有效地減除背景圖中的噪聲。中值算法的結(jié)果中噪聲更加明顯。

圖8 算法與中值濾波和幀間差分的對(duì)比

4 結(jié) 語(yǔ)

根據(jù)中值背景中噪聲位置的隨機(jī)性特點(diǎn)，建立了一種基于統(tǒng)計(jì)的背景評(píng)估機(jī)制,并依此通過(guò)整合中值濾波與幀間差分算法，提出了一種適用于高飽和交叉路口場(chǎng)景的背景提取與更新方法。該算法的實(shí)質(zhì)為中值濾波算法加上累加計(jì)算，算法復(fù)雜度不高，滿(mǎn)足工程應(yīng)用的實(shí)時(shí)性要求。

參考文獻(xiàn)：

[1]PACCARDI M.Background subtraction techniques: a review [C]//2004 IEEE International Conference on Systems,Man & Cybernetics.The Hague,Netherlands: IEEE,2004: 3099-3104.

[2]ELGAMMAL A,DURAISWAMI R,HARWOOD D,et al.Background and foreground modeling using nonparametric

kernel density estimation for visual surveillance [J].Proceedings of the IEEE.2002,90(7):1151-1163.

[3]GLOYER B,AGHAJAN H K,SIU K Y,et al.Vehicle detection and tracking for freeway traffic monitoring [C]//Conference Record of the Twenty-Eighth Asilomar Conference on Signals,Systems and Computers,1994.Pacific Grove,USA: IEEE,1994,2: 970-974.

[4]蘇禮坤，陳懷新.中值濾波的視頻背景更新[J].光電工程,2010,34(1): 131-135.

[5]LO B.P.L,VELASTIN S.A.Automatic congestion detection system for underground platforms [C]//2001 International Symposium on Intelligent Multimedia,Video and Speech Processing.Hong Kong: IEEE Hong Kong: Chapter of Signal Processing,2001: 158-161.

[6]CUCCHIARA C,GRANA C,PICCARDI M,et al.Detecting moving objects,ghosts,and shadows in video streams[J].IEEE Transaction on Pattern Analysis and Machine Intelligence,2003,25(10): 1337-1442.

[7]LI Xiaofei.A new fast hybrid algorithm of background extraction suitable for the DSP platform[C]//Mack Burgin.Computer Science and Information Engineering,2009 WRI World Congress on.Los Angeles,USA: IEEE Computer Society,2009: 1-4.

[8]彭強(qiáng)，李華.基于塊直方圖分析的視頻背景提取方法[J].西南交通大學(xué)學(xué)報(bào),2006,41(1): 48-53.

[9]GUPTE S,MASOUD O,Martin R F K,et al.Detection and classification of vehicles [J].IEEE Transactions on Intelligent Transportation Systems.2002,3(1): 37-47.

[10]黃綠娥，李平康，杜秀霞.室內(nèi)人體運(yùn)動(dòng)目標(biāo)的自動(dòng)跟蹤方法[J].計(jì)算機(jī)工程,2009,35(9): 201-203.

[11]吳眾山，雷蘊(yùn)奇，吳綠芳，等.一種實(shí)用的背景提取與更新算法[J].廈門(mén)大學(xué)學(xué)報(bào),2008,47(3): 348-352.

[12]KOLLER D,WEBER J,HUANG T,et al.Towards robust automatic traffic scene analysis in real-time [C]//12th IAPR International Conference on Patten Recognition.Jerusalem,Palestine: IEEE Computer Society Press,1994: 126-131.

[13]趙有婷,李熙瑩,羅東華.基于視頻車(chē)輛軌跡模型的交通事件自動(dòng)檢測(cè)方法研究[J].中山大學(xué)學(xué)報(bào):自然科學(xué)版,2011,50(4): 56-60.