基于幀間差分自適應(yīng)法的車輛拋灑物檢測

李清瑤，鄒皓，趙群，王建穎，劉智超，楊進(jìn)華

（長春理工大學(xué) 光電工程學(xué)院，長春 130022）

高速公路交通事件指高速公路上的偶發(fā)異常事件，包括停駐車輛、貨物散落、交通事故等，具有偶發(fā)性和隨機性，不易及時發(fā)現(xiàn)和排除。而且高速公路是全封閉的，車輛運行速度快，車流量大，一旦發(fā)生事故，會造成擁擠和交通延誤，影響高速公路正常的通行能力。高速公路拋灑物事件包括大型貨車的貨物散落以及其他車輛的隨機拋物等，大型拋灑物容易引發(fā)交通事故的發(fā)生。因此，對高速公路的拋灑物檢測研究具有重要意義[1，2]。

由于在高速公路上物品掉落具有隨機性和不確定性，并且高速公路上光線變化比較復(fù)雜，增加了拋灑物檢測的難度。針對這一事件，在攝像頭靜止的條件下，對傳統(tǒng)運動目標(biāo)檢測方法加以改進(jìn)，并進(jìn)行實驗驗證，更好地實現(xiàn)對高速公路拋灑物這一事件的檢測。

傳統(tǒng)的運動目標(biāo)檢測算法包括幀間差分法[3]、背景減除法和光流法[4，5]。幀間差分法是對時間上連續(xù)的兩幀或三幀圖像進(jìn)行差分運算，閾值化后提取出運動目標(biāo)。幀間差分法的優(yōu)點是原理簡單，計算量小，能夠快速檢測出運動目標(biāo)。但當(dāng)目標(biāo)運動緩慢時，會出現(xiàn)目標(biāo)不完整，內(nèi)部含有“空洞”等缺點。背景減除法是利用當(dāng)前圖像與背景圖像的差分來檢測運動目標(biāo)的，檢測速度快，并能夠提供最完整的運動區(qū)域信息，存在的問題是對背景中的干擾比較敏感，背景構(gòu)建和背景更新是一個難點。光流法是利用運動目標(biāo)隨時間變化的光流特性，通過計算位移向量光流場來初始化基于輪廓的跟蹤算法，可以適用于攝像機靜止和運動兩種場合。但是光流場的計算復(fù)雜，而且在實際情況中，由于光線等因素的影響，目標(biāo)在運動時，其表面的亮度并不是保持不變的，這就不滿足光流基本約束方程的假設(shè)前提，導(dǎo)致計算出現(xiàn)很大誤差。

幀間差分自適應(yīng)法是基于幀間差分法和背景減除法的改進(jìn)，可以在一定程度上克服幀間差分法在檢測運動目標(biāo)時易出現(xiàn)的“空洞”問題。本文所提到的監(jiān)控視頻場景是高速公路，一般公路等公共場所，考慮到監(jiān)控視頻中攝像頭大多為靜止的，因此將本文算法與傳統(tǒng)的幀間差分法、均值背景減除法以及混合高斯背景減除法[6]（Gaussian Mixture Model，GMM）進(jìn)行了比較。

1 視頻圖像預(yù)處理

對視頻序列分析的第一步是圖像預(yù)處理[7，8]。圖像預(yù)處理的主要目的是消除圖像中的無關(guān)信息，恢復(fù)有用信息，增強相關(guān)信息的可檢測性以及簡化圖像數(shù)據(jù)，從而提高圖像序列運動目標(biāo)檢測的可靠性。對于采集到的高速公路視頻圖像，本文主要進(jìn)行灰度轉(zhuǎn)換，圖像降噪以及圖像增強等處理。

灰度圖像通常顯示為從最暗黑色到最亮白色的灰度，用于顯示的灰度圖像通常用每個采樣像素位的非線性尺度來保存，能夠避免可見的條帶失真，并且易于編程。圖像降噪處理不但可以有效消除噪聲，而且有利于圖像的壓縮編碼，從而節(jié)約帶寬。主要的圖像降噪技術(shù)包括均值濾波和中值濾波等。均值濾波[9]去噪的效果較好，但為了便于準(zhǔn)確提取運動目標(biāo)的特征，應(yīng)該更多的考慮保護(hù)圖像的細(xì)節(jié)信息。因此，本文選擇窗口尺寸為5*5的中值濾波對視頻圖像序列進(jìn)行噪聲消除處理。視頻圖像序列經(jīng)過降噪處理后，可能會引起圖像質(zhì)量退化[10]，增強處理用以改善圖像的視覺效果，突出我們感興趣的圖像部分，便于計算機的分析、處理。本文采用直方圖均衡化的思想對圖像序列進(jìn)行增強處理，通過增加像素灰度值的動態(tài)范圍，達(dá)到增強圖像整體對比度的效果。

2 連續(xù)幀間差分法

幀間差分法一種是利用視頻序列圖像中當(dāng)前幀與相鄰幀之間的差異來檢測運動目標(biāo)的方法。在監(jiān)控視頻得到的視頻圖像序列中，相鄰兩幀的背景差別不大，只有當(dāng)視頻出現(xiàn)運動物體時，相鄰幀之間的運動目標(biāo)區(qū)域灰度值才會發(fā)生變化。幀間差分法正是利用這一特點，將相鄰兩幀之間做差分運算，從而檢測出運動目標(biāo)。但是它提取的運動目標(biāo)往往比實際的目標(biāo)要大，通常會出現(xiàn)“鬼影”現(xiàn)象。另外，由于檢測出來的目標(biāo)是前后兩幀相對變化的部分，無法檢測到重疊部分導(dǎo)致檢測到的目標(biāo)發(fā)生“空洞”現(xiàn)象[11]。連續(xù)幀間差分法在兩幀差分的基礎(chǔ)上進(jìn)行改進(jìn)，取多幅連續(xù)序列圖像進(jìn)行差分。

連續(xù)幀間差分法是通過求取連續(xù)多幅序列圖像中前后幀所共有的部分來得到運動目標(biāo)的區(qū)域，避免了因目標(biāo)運動速度慢或者運動目標(biāo)過大而檢測效果不好的情況。

連續(xù)幀間差分法的原理如下，以連續(xù)5幀序列圖像為例：

設(shè)n幀圖像序列表示為其中，表示視頻序列的第k幀圖像，讀取連續(xù)5幀序列圖像，分別計算相鄰兩幀圖像之間的差值，即：

對于所得到的差值圖像進(jìn)行求和運算：

對所得到的圖像求平均：

對得到的圖像通過選擇合適的閾值T進(jìn)行二值化，本文采用最大類間方差法計算閾值：

連續(xù)幀間差分法在運動目標(biāo)檢測中充分利用了累積差分法的優(yōu)勢，采用多幀累積的方法對運動區(qū)域進(jìn)行了檢測和目標(biāo)增強，進(jìn)一步累積圖像求平均，減弱了環(huán)境因素和噪音對檢測目標(biāo)的影響。由于連續(xù)多張圖像幀差求和與求平均都是加減運算，因此基本不占用CPU運算時間。與傳統(tǒng)幀間差分法相比，連續(xù)幀差分法在基本不增加計算量的基礎(chǔ)上，檢測效果更好。

3 基于均值法的背景減除

背景減除法的核心是背景圖像的建模與更新，背景圖像的準(zhǔn)確性直接影響到前景運動目標(biāo)檢測的結(jié)果。目前常用的背景圖像估計方法包括均值法、中值法、混合高斯背景模型以及核密度估計法等方法。混合高斯背景建模算法的缺點是計算量相對較大，速度偏慢，對光照敏感[11]的背景建模方法提高了前景檢測的準(zhǔn)確性和完整性，但隨著算法復(fù)雜度的提升，算法的快速性則受到了影響。為了能夠快速地檢測出監(jiān)控視頻中的運動目標(biāo)，本文考慮選用簡單且快速的背景建模方法—均值法背景建模。

均值法是一種比較簡單的背景建模方法，它是通過計算某一段時間內(nèi)連續(xù)N幀視頻圖像序列中，用某一點像素值的平均值來代替背景圖像中該點的像素值。均值法的具體計算公式如式（5）：

其中，Bk為采集到第k幀圖像時系統(tǒng)建立的背景模型；N為平均的幀數(shù)；fi( )x,y為包含當(dāng)前幀在內(nèi)的連續(xù)N幀圖像。

本文算法的應(yīng)用場景為高速公路的監(jiān)控視頻的背景，認(rèn)為視頻中的背景不會發(fā)生突變，因此本文在應(yīng)用均值法對視頻第k幀進(jìn)行背景建模時不事先給定平均的幀數(shù)N，而是采用視頻的前k幀進(jìn)行求平均，如式（6）所示：

其中，Bk為第k幀視頻圖像背景模型；k為所取的前k幀圖像；fi( )x,y為視頻序列中連續(xù)的前k幀圖像。

當(dāng)背景建模完成后，可按式（7）和式（8）進(jìn)行背景差分，得到背景差分后的二值圖像zk( )x,y：

若幀間差分圖像中的某點的像素值小于閾值T，則認(rèn)為該點是靜止的，該點被判為背景點；若大于閾值T，則認(rèn)為該點是運動的，該點被判為目標(biāo)點。

4 幀間差分自適應(yīng)法

高速公路上物品掉落具有不確定性和隨機性，并且物品的大小、形狀以及性質(zhì)等無法提前預(yù)知，這就對運動目標(biāo)檢測算法提出了更高的要求，傳統(tǒng)的運動目標(biāo)檢測算法無法實現(xiàn)對高速公路拋灑物的檢測，因此提出了結(jié)合兩種傳統(tǒng)方法的連續(xù)幀間差分法，實現(xiàn)對高速公路車輛拋灑物的檢測。

連續(xù)幀間差分法在傳統(tǒng)幀間差分法的基礎(chǔ)上，取多幅連續(xù)序列圖像進(jìn)行差分運算，實現(xiàn)對運動目標(biāo)的檢測，在一定程度上克服了傳統(tǒng)幀間差分法分割精度低、通常無法得到運動目標(biāo)完整的邊界信息的缺點。但是單一的連續(xù)幀間差分法在背景較復(fù)雜或是灰度化后背景與前景像素相近的情況下容易出現(xiàn)漏檢或是誤檢。基于均值法的背景減除在檢測運動目標(biāo)時也存在一些缺點，例如在檢測過程中背景圖像中可能會存在前景的虛影而導(dǎo)致的前景檢測中出現(xiàn)誤檢以及“空洞”問題。本文提出了基于連續(xù)幀間差分法和均值法背景減除的幀間差分自適應(yīng)運動目標(biāo)檢測算法，通過求取連續(xù)多張序列圖像中前后幀差所共有的部分來得到運動目標(biāo)的區(qū)域，避免了背景像素點對前景檢測的影響。采用一種簡單快速的背景建模方法使得算法能夠在滿足準(zhǔn)確性和完整性的同時算法的快速性不會受到影響，能夠?qū)崿F(xiàn)對監(jiān)控視頻中運動目標(biāo)的快速提取。

幀間差分自適應(yīng)法的基本思想為：對連續(xù)的序列圖像進(jìn)行預(yù)處理以及累計差分，對于所得到的差值圖像進(jìn)行求和運算并求平均，然后對得到的圖像通過選擇合適的閾值T進(jìn)行二值化；使用均值法進(jìn)行背景建模，將當(dāng)前幀與所得的背景模型進(jìn)行差分運算并且進(jìn)行二值化處理，最后將用連續(xù)幀間差分法得到的二值圖像與基于均值法的背景減除得到的二值圖像進(jìn)行邏輯“與”運算，最后對邏輯運算后的結(jié)果進(jìn)行數(shù)學(xué)形態(tài)學(xué)膨脹處理得到最終的運動目標(biāo)檢測結(jié)果。

算法的步驟如下：

Step1，讀入視頻段中的所有幀并進(jìn)行保存，記為f1，f2，f3，...，fM∈Nm*n，其中M為視頻段中的總幀數(shù)，m，n為每幀圖片的大?。?/p>

Step2，對于視頻第k幀的運動目標(biāo)檢測，本文選取f1，f2，f3，...，fk+1幀的圖像(k+1≤M) ，并對其進(jìn)行灰度化處理；

Step3，對前k幀圖像根據(jù)式（9）-（12）進(jìn)行連續(xù)幀間差分運算，并進(jìn)行二值化處理得到二值圖像

圖1 攝像頭靜止1上的拋灑物檢測效果圖

Step4，通過均值背景建模提取視頻第k幀的背景，用當(dāng)前幀與得到的背景模型進(jìn)行差運算，并且二值化處理得到二值圖像zk( )

x,y；

Step5，對閾值化后的二值圖像進(jìn)行邏輯“與”運算；

Step6，對最終所得到的二值圖像Ak( )x,y利用數(shù)學(xué)形態(tài)學(xué)進(jìn)行膨脹處理得到最終的運動目標(biāo)檢測結(jié)果。

5 實驗結(jié)果及分析

實驗在室外公路上進(jìn)行，以行車記錄儀為攝像頭，在攝像頭靜止條件下拍攝公路拋灑物視頻。本文采集了兩組實驗視頻，攝像頭靜止1視頻共有28幀，攝像頭靜止2視頻共有122幀，視頻的幀速率均為20幀/秒，每幀圖片的大小為300*534。圖像處理實驗在普通筆記本電腦上通過MATLAB2016a仿真軟件完成。

在對所得差分圖像進(jìn)行閾值化處理時其閾值通過實驗得到。在仿真過程中發(fā)現(xiàn)閾值T大于0.18時，運動前景檢測結(jié)果不完整；當(dāng)所取閾值T小于0.18時，大部分背景像素被誤檢為運動前景。因此本文將閾值T取為0.18。

在仿真過程中本文在兩組視頻上對傳統(tǒng)幀間差分法、均值背景減除法、混合高斯背景減除法（GMM）以及本文算法進(jìn)行了比較，四種檢測方法在兩組視頻中的檢測前景效果圖如圖1、2所示。

通過對比四種運動目標(biāo)檢測算法在兩組監(jiān)控視頻中的前景檢測效果圖可以發(fā)現(xiàn)，傳統(tǒng)幀間差分法在兩組視頻上的前景檢測過程中都出現(xiàn)了大量“空洞”而導(dǎo)致檢測結(jié)果不完整，并且由圖2中的（e）（f）可以發(fā)現(xiàn)，在攝像頭靜止2視頻中當(dāng)運動目標(biāo)距離鏡頭較遠(yuǎn)時還會存在檢測不到的情況；由于室外有風(fēng)、光照不均等因素的影響，均值背景減除法會因為這些因素的影響而在出現(xiàn)誤檢測的情況，如圖1中的（g）、（h）；混合高斯背景減除法在背景比較復(fù)雜或是光照強度較強的環(huán)境中會出現(xiàn)大量背景點被誤檢為前景點的情況，如圖1中的（l）。本文算法在準(zhǔn)確性和完整性方面略優(yōu)于其他算法，但有時也會出現(xiàn)少量背景像素被誤檢為前景的情況，如圖1中的（n）（o）。

6 結(jié)論

通過將連續(xù)幀間差分法與均值背景減除法相結(jié)合，避免了背景像素點對于前景檢測的影響，消除了傳統(tǒng)的幀間差分法在檢測過程中存在的“空洞”問題，能夠準(zhǔn)確完整的提取運動目標(biāo)。由于連續(xù)多張圖像幀差求和與求平均都是加減運算，因此基本不占用CPU運算時間，不增加計算量。本文算法的不足在于當(dāng)運動目標(biāo)處于光照較強的環(huán)境中時會出現(xiàn)誤檢，因此后續(xù)的工作將對算法進(jìn)行改進(jìn)使得算法具有更優(yōu)的性能。