基于圖像融合與分水嶺技術(shù)的車輛檢測*

張瑜慧　鄭步芹　沈　洋

(宿遷學(xué)院　宿遷　223800)

?

基于圖像融合與分水嶺技術(shù)的車輛檢測*

張瑜慧鄭步芹沈洋

(宿遷學(xué)院宿遷223800)

摘要提出了一種有效的運動車輛檢測方法。首先采用連續(xù)幀差法進行背景建模,之后采用像素級的圖像融合技術(shù),將視頻幀與背景幀在RGB通道進行融合處理。隨后在模板匹配的基礎(chǔ)上進行分水嶺分割,獲取最佳匹配信息,最終實現(xiàn)車輛檢測與定位。實驗結(jié)果顯示,該方法能夠?qū)崟r檢測運動車輛,檢測效果較好。

關(guān)鍵詞目標(biāo)檢測; 圖像融合; 分水嶺技術(shù)

Vehicle Detection Based on Image Fusion and Watershed Technology

ZHANG YuhuiZHENG BuqinSHEN Yang

(Suqian College, Suqian223800)

AbstractAn effective detection method for moving vehicles is proposed. Firstly, the consecutive frames subtraction method is used for background modeling, the video frame and background frame are fused in the RGB channels based on the pixel level image fusion technology. Watershed segmentation is applied to obtain the best matching information after template matching, vehicle detection and localization is realized at last. Experimental results show that the proposed method can detect moving vehicles in real time and get good results.

Key Wordsobject detection, image fusion, watershed technology

Class NumberTN911; TP391

1引言

運動目標(biāo)檢測已成為視頻處理中的關(guān)鍵技術(shù),是進行后繼目標(biāo)跟蹤、識別與分析的基礎(chǔ),在智能交通、智慧城市、公共安全和計算機視覺等領(lǐng)域有著重要的意義。目前,目標(biāo)檢測的主要方法有幀差法、光流法和背景減法等。光流法[1]能夠在移動攝像頭情形下進行運動目標(biāo)檢測,但其計算復(fù)雜度較高,并且需要特定的硬件支持,不能滿足實時高效的檢測需求。它適合于動態(tài)變化的環(huán)境,但是分割的運動目標(biāo)容易出現(xiàn)空洞和沿著運動方向拉伸的現(xiàn)象,不能完整地檢測運動目標(biāo),而且處理時間較長。背景減法是較常用的一種檢測方法,適合于固定攝像頭的情形,這種方法的關(guān)鍵在于建立可靠背景模型以及合理的背景更新機制,檢測的結(jié)果直接依賴于背景模型提取的準(zhǔn)確與否。而運動目標(biāo)檢測的實現(xiàn)主要是通過比較當(dāng)前幀與背景模型之間的差別來完成的,其性能依賴于所使用的背景建模技術(shù)。因此設(shè)計高效魯棒的背景建模算法,成為運動目標(biāo)檢測領(lǐng)域的一個研究熱點[2~7]。本文采用連續(xù)幀差法提取視頻背景,在此基礎(chǔ)上結(jié)合圖像融合技術(shù)和分水嶺技術(shù)實現(xiàn)運動目標(biāo)檢測。

2背景建模

Surendra等人[2]提出一種以幀差分為基礎(chǔ),在固定場景下自動提取背景的連續(xù)幀差法。通過相鄰兩幀的差值確定運動前景區(qū)域,對前景區(qū)域保持不變,非運動區(qū)域則用當(dāng)前幀進行更新,經(jīng)過反復(fù)迭代形成背景。其具體步驟如下:

1) 把第一幀圖像I0作為原始背景BI0;

2) 令迭代參數(shù)i值為1;

3) 求當(dāng)前幀與前一幀幀差分的二值圖像BWi;

(1)

其中,Ii、Ii-1分別為當(dāng)前幀與前一幀圖像,T為閾值,定義為幀差分圖像灰度直方圖中最大峰值右邊0.1最大峰值處對應(yīng)的灰度值;

4) 由二值圖像BWi更新背景BIi。

BIi(x,y)=

(2)

其中,BIi(x,y)、BWi(x,y)分別是i時刻背景圖像和二值圖像在坐標(biāo)(x,y)處的灰度值,背景更新系數(shù)a影響背景更新的速度,一般取值為0~1;

5)i=i+1,返回至步驟3)進行迭代,當(dāng)?shù)欢ú綌?shù),便可結(jié)束迭代,BIi即為提取的背景圖像。

Surendra算法能較快地適應(yīng)背景圖像的實時變化,特別是對光照的變化適應(yīng)能力很強,并且該算法不需要初始化背景,可以通過對前景圖像的反復(fù)迭代,較快地提取背景圖像[8]。圖1是對一來源于網(wǎng)絡(luò)的由固定攝像頭獲取的高速公路視頻進行背景提取的實驗結(jié)果。分別迭代5、10、20、30次獲取背景圖像,由圖可以看出該算法隨著迭代次數(shù)的增加能夠迅速地提高背景提取質(zhì)量,經(jīng)過30次迭代可以形成較好的背景,能夠滿足后繼處理的要求。

圖1　交通視頻的背景提取

3車輛檢測

運動前景檢測是視頻監(jiān)控處理的重要部分,本文采用基于圖像融合的前景檢測技術(shù)[9],將視頻流的每一幀與背景幀融合,并借此提取運動前景。

一般由攝像機采集的視頻采用的是RGB顏色空間模型,一幀圖像由R(紅色)、G(綠色)和B(藍(lán)色)三個通道的圖像組成彩色圖像。為了提取運動前景區(qū)域,將當(dāng)前幀Ii與背景幀BI按式(3)在三個顏色通道上進行融合：

F=(FR,FG,FB)

(3)

其中,F是融合圖像,FR、FG和FB分別是融合圖像在R、G和B通道的分量,具體取值為FR=Ii,FG=BI,FB=BI,Ii是第i幀圖像,BI是當(dāng)前背景。

融合圖像F在各個像素上同時包含了背景知識與當(dāng)前幀信息。圖2(a)為視頻的第2幀圖像,圖2給出了對該幀進行前景檢測的結(jié)果。圖2(b)為采用式(3)在R、G、B顏色通道融合當(dāng)前幀與背景后的圖像。圖2(c)是融合圖像的S分量,圖中,前景區(qū)域的飽和度較高,背景區(qū)域的飽和度很低。這為前景與背景的分離提供了條件。

算法采用大津算法自適應(yīng)確定分割閾值,實現(xiàn)了目標(biāo)與背景的分割。圖2(d)是二值分割的結(jié)果示例圖。其中,白色部分是檢測到的前景區(qū)域,黑色部分是背景區(qū)域。圖中前景區(qū)域雖然存在一些空洞,但背景區(qū)域噪聲很少。針對二值化后目標(biāo)區(qū)域產(chǎn)生的空洞以及背景區(qū)域存在孤立噪聲的現(xiàn)象,結(jié)合形態(tài)學(xué)進行處理。首先采用較小的結(jié)構(gòu)元素對圖像進行開運算,以此消除孤立噪聲,之后再用較大尺寸的結(jié)構(gòu)元素進行閉合操作,填補目標(biāo)空洞。開運算和閉運算的定義如式(4)~(5)所示

開啟:A°B=(A?B)⊕B

(4)

閉合:A·B=(A⊕B)?B

(5)

其中,A是二值圖像,B是結(jié)構(gòu)元素,?表示腐蝕,⊕表示膨脹。先腐蝕、后膨脹的過程稱為開運算,原圖經(jīng)過開運算后,能夠去除孤立的小點、毛刺和小橋,消除小物體、平滑較大物體的邊界,同時并不明顯地改變其面積;先膨脹后腐蝕的過程稱為閉運算,其功能是用來填充物體內(nèi)細(xì)小空洞、連接鄰近物體、平滑邊界。

對圖2(d)二值圖像進行形態(tài)學(xué)處理結(jié)果如圖2(e)所示,從示例結(jié)果可以看出目標(biāo)前景中一些小的空洞被填充了,背景區(qū)域中一些噪聲也被有效去除,目標(biāo)區(qū)域比較完整。在此基礎(chǔ)上獲取了前景圖2(f),原始圖像中的路面等背景區(qū)域被有效地分割了,剩下由目標(biāo)車輛和其投射陰影組成的運動前景。

圖2　運動前景檢測

在目標(biāo)前景區(qū)域初步檢測之后,結(jié)合了模板匹配與分水嶺技術(shù)以實現(xiàn)車輛檢測與定位。為實現(xiàn)的簡單化,車輛的模板直接采用矩形模板,具體模板的尺寸根據(jù)交通視頻中車輛的平均大小進行動態(tài)設(shè)置。

圖3　模板匹配

圖3給出了模板匹配的示意圖,圖3(a)為搜索區(qū)域f(i,j),水平和垂直方向長度分別為A和B,圖3(b)為矩形模板g(i,j),水平和垂直長度分別為C和D。

(6)

將模板在每一視頻幀的搜索區(qū)域從左到右、從上到下進行平滑匹配,找到匹配位置。該過程的數(shù)學(xué)描述見式(7):

(7)

其中i=0,1,…,A-1,j=0,1,…,B-1。

由于視頻幀中的車輛往往不止一輛,因而可能獲得多個匹配結(jié)果。圖4給出了車輛檢測的過程。圖4(a)為用模板對某視頻幀二值圖像進行模板匹配的操作結(jié)果,可以看出在目標(biāo)區(qū)域,匹配值較大,表現(xiàn)在圖像上即呈現(xiàn)灰度值較亮區(qū)域。

為將目標(biāo)與背景分離,引入分水嶺技術(shù)。分水嶺變換的思想來源于地形學(xué),其本質(zhì)是一種區(qū)域增長算法,所不同的是,它是從圖像中的局部極小值開始增長的[10]。它將圖像看作是地形學(xué)上被水覆蓋的地貌,假想對該地注水,即在各極小區(qū)域的最小灰度值點打小孔,同時讓水從小孔中涌出,并慢慢淹沒極小區(qū)域周圍的區(qū)域,當(dāng)在某一個時刻,水位達(dá)到灰度值的最大高度時,兩個或更多的集水盆就會開始連通。把能夠阻止這種連通的點連成一條線,就會在來自不同區(qū)域?qū)B通的地方形成分水嶺,這是把輸入圖像劃分為一組區(qū)域的過程。分水嶺計算過程是一個迭代標(biāo)注過程,在該算法中,分水嶺計算分為排序和淹沒兩個過程。

假設(shè)定義域Dk上的函數(shù)g為待處理圖像,它的最大最小值分別為hmax=max(g),hmin=min(g)。集合[Dg]h表示函數(shù)g的上限閾值,其中:

[Dg]h={x∈Dg|g(x)≤h}

(8)

Reg_Mink(g)={x∈Dg|x=Localmin且g(x)≤h}

(9)

g的分水嶺區(qū)域即為集合Xhmax和Xhmin,可以通過迭代運算得到,即:

(10)

圖4　目標(biāo)檢測與定位

圖4(b)是對圖4(a)進行分水嶺分割后形成的結(jié)果示意圖,從圖可以看出圖4(a)的灰度被分割為幾個區(qū)域,理論上每個區(qū)域?qū)?yīng)一個目標(biāo)。

對分水嶺的每一個區(qū)域進行統(tǒng)計,找出對應(yīng)平滑卷積區(qū)域的極值,由于卷積值等于極值的像素可能不唯一,因而獲取極值像素坐標(biāo)的均值作為最終確定的極值,并用白色星號標(biāo)于圖上,具體結(jié)果見圖4(c)。為便于觀察,將極值標(biāo)于二值圖像上,如圖4(d)所示,可以看出通過上述模板匹配與分水嶺技術(shù)獲得的車輛區(qū)域較準(zhǔn)確,由于模板匹配的特性,這些星號對應(yīng)車輛區(qū)域的左上角。根據(jù)車輛左上角位置,結(jié)合車輛的寬度和高度等先驗數(shù)據(jù),可以獲得初始的車輛檢測結(jié)果,如圖4(e)所示,圖中用白色的矩形框?qū)@得的車輛標(biāo)識出來,從圖可以發(fā)現(xiàn),部分目標(biāo)有重復(fù)標(biāo)識現(xiàn)象,或目標(biāo)標(biāo)識的區(qū)域過大等不準(zhǔn)確現(xiàn)象。因而結(jié)合先驗知識對獲得的目標(biāo)區(qū)域邊界進行處理。比如,標(biāo)識的兩個區(qū)域發(fā)生重疊時,如果重疊區(qū)域大于閾值,則認(rèn)為是同一車輛被重復(fù)標(biāo)識,此時采取相應(yīng)處理措施,將兩個標(biāo)識矩形框取并集,合并成一個標(biāo)識矩形框。當(dāng)

然,由于視頻中車型不一,以及攝像頭安置位置的差異,車輛大小處于變化狀態(tài),因而處理結(jié)果中可能出現(xiàn)漏檢現(xiàn)象,比如圖4(f)圖上方中漏檢一輛汽車,其原因應(yīng)是該幀上方車輛較小,且有三輛車較接近所致。

4結(jié)語

運動車輛檢測是當(dāng)前一個研究熱點,論文結(jié)合圖像融合技術(shù)與分水嶺技術(shù)實現(xiàn)了目標(biāo)的檢測。首先采用幀差法獲取視頻背景幀,之后采用像素級的圖像融合技術(shù),將視頻幀與背景幀進行融合處理,獲得前景區(qū)域,隨后在模板匹配的基礎(chǔ)上進行分水嶺分割,獲取最佳匹配位置信息,結(jié)合先驗知識最終實現(xiàn)車輛檢測。實驗證明,該方法能夠?qū)崟r檢測運動車輛,檢測效果良好。

參 考 文 獻

[1] Horn B K P, Schunck B G. Determining optical flow[J]. Artificial intelligence,1981,17(1):185-203.

[2] Gupte S, Masoud O, Martin R, et al. Detection and classification of vehicles[J]. IEEE Transactions on Intelligent Transportation Systems,2002,(3):37-47.

[3] Kristan M, Kovacic S, Leonardis A, et al. A two-stage Dynamic Model for visual tracking[J]. IEEE Transactions on Systems, Man, and Cybernetics, Part B-Cybernetics,2010,40(6):1505-1520.

[4] 朱振峰,赤誠,趙耀.基于多尺度的增強ViBe背景建模[J].北京交通大學(xué)學(xué)報,2015,39(2):1-6.

ZHU Zhenfeng, CHI Cheng, ZHAO Yao. Multi-scale based Enhanced ViBe for Background Modeling[J]. Journal of Beijing Jiaotong University,2015,39(2):1-6.

[5] 曹倩霞,羅大庸,王正武.光照突變場景中結(jié)合Phong模型的分層差分前景檢測[J].計算機科學(xué),2015,42(2):283-286.

CAO Qianxia, LUO Dayong, WANG Zhengwu. Hierarchical Subtraction Combining Phong Model for Foreground Detection in Sudden Illumination Changes Scenes[J]. Computer Science,2015,42(2):283-286.

[6] 王愛麗,董寶田,王澤勝.融合光流速度場與背景差分的自適應(yīng)背景更新方法[J].中國鐵道科學(xué),2014,35(6):131-137.

WANG Aili, DONG Baotian, WANG Zesheng, et al. Adaptive Background Updating Based on Optical Flow and Background Difference[J]. China Railway Science,2014,35(6):131-137.

[7] Brutzer S, Hofelin B, Heidemann G. Evaluation of background subtraction techniques for video surveillance[C]//Proceeding of IEEE Conference on Computer Vision and Patten Recognition,2011:1937-1944.

[8] 王正勤,劉富強.自適應(yīng)背景提取算法的比較[J].計算機工程,2008,34(23):220-223.

WANG Zhengqin, LIU Fuqiang. Comparison of Adaptive Extract Algorithm of Object Scene[J]. Computer Engineering,2008,34(23):220-223.

[9] 張瑜慧,沈洋.基于圖像融合的運動前景檢測方法[J].現(xiàn)代電子技術(shù),2013,36(24):67-69.

ZHANG Yuhui, SHEN Yang. Method for Moving Foreground Detection Based on Image Fusion[J]. Modern Electronics Technique,2013,36(24):67-69.

[10] 高麗,楊樹元,李海強.一種基于標(biāo)記的分水嶺圖像分割新算法[J].中國圖象圖形學(xué)報,2007,12(6):1025-1032.

GAO Li, YANG Shuyuan, LI Haiqiang. New Unsupervised Image Segmentation Via Marked-Based Watershed[J]. Journal of Image and Graphics,2007,12(6):1025-1032.

中圖分類號TN911; TP391

DOI:10.3969/j.issn.1672-9722.2016.02.013

作者簡介:張瑜慧,女,碩士,副教授,研究方向:圖像處理,模式識別等。

基金項目:宿遷市科技創(chuàng)新專項基金資助項目(編號:Z201415,Z201446)資助。

*收稿日期:2015年8月8日,修回日期:2015年9月21日