一種基于幀差法與背景減法的運(yùn)動(dòng)目標(biāo)檢測(cè)新方法?

高凱亮，覃團(tuán)發(fā)，王逸之，常侃

一種基于幀差法與背景減法的運(yùn)動(dòng)目標(biāo)檢測(cè)新方法?

高凱亮1，覃團(tuán)發(fā)1，王逸之2，常侃1

（1.廣西大學(xué)計(jì)算機(jī)與電子信息學(xué)院，南寧530004；2.西南科技大學(xué)信息工程學(xué)院，四川綿陽621010）

為改進(jìn)單獨(dú)利用幀差法或背景減法進(jìn)行運(yùn)動(dòng)目標(biāo)檢測(cè)時(shí)存在的不足，提高運(yùn)動(dòng)目標(biāo)檢測(cè)的準(zhǔn)確率和魯棒性，提出了一種利用邊緣信息的幀間差分法和背景減法相結(jié)合的運(yùn)動(dòng)目標(biāo)檢測(cè)方法。該方法首先通過基于邊緣信息的三幀差法獲得一幅前景圖像，然后利用改進(jìn)的mode算法進(jìn)行背景差分獲得另外一幅前景圖像，最后將得到的兩幅前景圖像進(jìn)行布爾或運(yùn)算，得到前景目標(biāo)。實(shí)驗(yàn)仿真結(jié)果表明，利用該方法，目標(biāo)檢測(cè)的準(zhǔn)確率可以提高4.96%～36.01%，且算法具有較好的魯棒性。

運(yùn)動(dòng)目標(biāo)檢測(cè)；邊緣提??；幀間差分；背景差分；mode算法

1 引言

運(yùn)動(dòng)目標(biāo)檢測(cè)是計(jì)算機(jī)視覺研究領(lǐng)域中的一個(gè)重要課題，是進(jìn)行目標(biāo)分類、跟蹤及行為理解的基礎(chǔ)，在智能視頻監(jiān)控、機(jī)器人導(dǎo)航和醫(yī)學(xué)圖像處理等諸多領(lǐng)域有著廣泛應(yīng)用。在智能視頻監(jiān)控中，傳統(tǒng)的運(yùn)動(dòng)目標(biāo)檢測(cè)方法主要有光流法、幀間差分法和背景減法等［1-4］。光流法利用運(yùn)動(dòng)目標(biāo)隨時(shí)間變化的光流特性來建立光流約束方程進(jìn)行目標(biāo)檢測(cè)，但由于計(jì)算復(fù)雜、抗噪性差及對(duì)硬件的特殊要求，很難應(yīng)用于實(shí)時(shí)監(jiān)控系統(tǒng)中。幀間差分法通過視頻序列中兩個(gè)或三個(gè)相鄰幀進(jìn)行時(shí)間差分閾值化來提取目標(biāo)，該算法運(yùn)算量小，易于實(shí)現(xiàn)，且對(duì)于動(dòng)態(tài)環(huán)境具有較強(qiáng)的適應(yīng)性。但幀差法檢測(cè)到的目標(biāo)容易出現(xiàn)空洞現(xiàn)象，而且當(dāng)目標(biāo)運(yùn)動(dòng)過快或者過慢時(shí)，不能夠準(zhǔn)確檢測(cè)出目標(biāo)。背景減法由于計(jì)算簡(jiǎn)單而得到了較廣泛的應(yīng)用，利用背景減法可以獲取目標(biāo)的完整信息，但對(duì)背景建模要求非常高，當(dāng)光照突變時(shí)容易產(chǎn)生將背景像素誤判為前景目標(biāo)的現(xiàn)象，引起較大的檢測(cè)誤差［5，6］。因此，近年來將幀差法和背景減法相結(jié)合進(jìn)行目標(biāo)檢測(cè)得到了研究人員的廣泛關(guān)注。

針對(duì)幀差法和背景減法單獨(dú)應(yīng)用時(shí)存在的缺陷，本文利用邊緣信息抗噪性強(qiáng)、不易受環(huán)境突變影響的特點(diǎn)進(jìn)行三幀間差分，并與改進(jìn)型mode算法［7］下的背景減法相結(jié)合進(jìn)行運(yùn)動(dòng)目標(biāo)提取。綜合利用了幀差法對(duì)動(dòng)態(tài)環(huán)境的適應(yīng)性和背景減法能夠獲取目標(biāo)完整信息的優(yōu)點(diǎn)，提高了算法的檢測(cè)率和魯棒性，能夠適用于復(fù)雜的交通監(jiān)控環(huán)境中。

2 幀間差分法和背景減法基本原理

2.1 幀間差分法基本原理

幀間差分法中，首先將視頻序列中相鄰兩幀進(jìn)行差分，得到差分圖像，用公式描述如下：

式中，Dk（x，y）、Ik+1（x，y）、Ik（x，y）分別為差分圖像、第k+1幀和第k幀原始圖像。

然后，利用公式（2）對(duì)差分圖像進(jìn)行閾值化分割，得到二值化的前景圖像：

式中，Tk（x，y）和T分別為前景圖像和分割閾值。

2.2 背景減法基本原理

背景減法的關(guān)鍵是背景建模，常用的背景建模方法有時(shí)間平均法、像素估計(jì)法、mode算法和混合高斯模型法［8］等。

通過背景建模及更新得到背景圖像后，將視頻的當(dāng)前幀與背景圖像進(jìn)行差分，得到差分圖像，可用公式（3）描述：

式中，Dk（x，y）、Ik+1（x，y）和Bk（x，y）分別為差分圖像、視頻當(dāng)前幀和背景圖像。利用式（2）對(duì)Dk（x，y）進(jìn)行閾值化分割即可得到二值化前景圖像。

3 基于幀差法和背景減法的運(yùn)動(dòng)目標(biāo)檢測(cè)算法

3.1 算法基本步驟

本文提出的運(yùn)動(dòng)目標(biāo)檢測(cè)算法主要分為3個(gè)步驟，一是利用邊緣信息進(jìn)行三幀差分得到一幅前景目標(biāo)圖像，二是利用改進(jìn)的mode算法進(jìn)行背景差分得到一幅前景目標(biāo)圖像，三是將上兩步中得到的前景目標(biāo)圖像通過或運(yùn)算，并進(jìn)行形態(tài)學(xué)處理后得到去噪平滑的最終前景圖像。算法流程如圖1所示。

3.2 邊緣提取和三幀差運(yùn)算

圖像的邊緣為圖像中灰度發(fā)生急劇變化的區(qū)域，蘊(yùn)含著豐富的內(nèi)在信息（如方向、階躍性質(zhì)、形狀等），且不易受噪聲和光線突變的影響［9，10］。綜合計(jì)算復(fù)雜度和提取效果考慮，本文選用Sobel算子進(jìn)行編程實(shí)現(xiàn)邊緣信息提取。對(duì)于一幀圖像，其邊緣圖像可由下式獲得：

其中：

式中，*為卷積運(yùn)算，Hx和Hy為Sobel算子，Ek（x，y）為提取的邊緣圖像。

傳統(tǒng)的相鄰二幀差分法，當(dāng)運(yùn)動(dòng)目標(biāo)速度過快時(shí)會(huì)產(chǎn)生雙影現(xiàn)象。而交通監(jiān)控視頻中的運(yùn)動(dòng)目標(biāo)為快速運(yùn)動(dòng)的車輛，因此，為克服傳統(tǒng)幀差法存在的雙影問題，我們采用三幀差分法進(jìn)行檢測(cè)。

我們首先對(duì)連續(xù)三幀圖像Ik-1（x，y）、Ik（x，y）和Ik+1（x，y）進(jìn)行邊緣提取，分別得到Ek-1（x，y）、Ek（x，y）和Ek+1（x，y）三幀邊緣圖像；然后利用公式（1）對(duì)得到的三幀邊緣圖像進(jìn)行幀差運(yùn)算，得到差分圖像Dk-1（x，y）和Dk（x，y）；最后，對(duì)得到的差分圖像利用公式（2）分別進(jìn)行閾值化分割，得到二值化前景圖像Rk-1（x，y）和Rk（x，y）。

對(duì)Rk-1（x，y）和Rk（x，y）進(jìn)行布爾與運(yùn)算，得到二值化前景目標(biāo)FRk（x，y），用如下公式描述：

這樣，通過三幀差分法得到的前景圖像FRk（x，y）有效避免了由于目標(biāo)運(yùn)動(dòng)過快而帶來的雙影現(xiàn)象。同時(shí)，由于噪聲具有在時(shí)間域難重復(fù)的特點(diǎn)，當(dāng)進(jìn)行了與運(yùn)算操作后，部分孤立噪聲也會(huì)得到消除。

3.3 背景建模與背景差分

文獻(xiàn)［7］提出了一種改進(jìn)的mode算法用于交通背景的提取，對(duì)于車流量較大的道路交通場(chǎng)景具有較好的提取效果，并且時(shí)間復(fù)雜度低。本文采用此算法進(jìn)行交通背景提取。

mode算法的基本思想是：前景灰度值隨機(jī)分布在整個(gè)灰度范圍內(nèi)，而背景灰度值集中分布在某一值附近。沿時(shí)間軸計(jì)算每個(gè)像素點(diǎn)的灰度直方圖分布，取分布值最大的點(diǎn)即mode值點(diǎn)為背景點(diǎn)。

由于像素灰度取值的連續(xù)性，上面固定取最大值為背景值的方法存在一定的不確定性。因此，文獻(xiàn)［7］對(duì)此進(jìn)行了改進(jìn)：把灰度值分成若干小區(qū)間，取落在該區(qū)間內(nèi)所有像素的平均值作為背景。

對(duì)于每個(gè)像素點(diǎn)（x，y），前N幀圖像對(duì)應(yīng)點(diǎn)的取值序列為It-N（x，y），It-N+1（x，y），…，It-1（x，

y），將序列的mode值作為該像素點(diǎn)的當(dāng)前背景灰度值，用公式描述如下：

通過上述改進(jìn)的mode算法進(jìn)行背景建模，得到背景圖像Bk（x，y），然后利用公式（3）對(duì)當(dāng)前幀Ik（x，y）與背景圖像進(jìn)行差分得到差分圖像BDk（x，y）。對(duì)BDk（x，y）利用公式（2）進(jìn)行閾值化分割，得到二值化前景圖像BRk（x，y）。

3.4 布爾或運(yùn)算和形態(tài)學(xué)處理

將利用邊緣信息進(jìn)行三幀差法得到的前景圖像FRk（x，y）與由背景差分法得到的前景圖像BRk（x，y）進(jìn)行布爾或運(yùn)算，用公式表示如下：

式中，Rk（x，y）為進(jìn)行或運(yùn)算后得到的二值化前景圖像。通過或運(yùn)算，既能發(fā)揮幀差法對(duì)動(dòng)態(tài)背景變化適應(yīng)性強(qiáng)的特點(diǎn)，又利用了背景減法的優(yōu)點(diǎn)，有效避免了單獨(dú)利用幀差法帶來的空洞現(xiàn)象。

檢測(cè)出來的二值化前景圖像往往含有程度不同的噪聲，如小的孤立點(diǎn)和空隙，本文采用形態(tài)學(xué)方法對(duì)前景圖像進(jìn)行處理。先利用腐蝕運(yùn)算消除孤立點(diǎn)和小的獨(dú)立區(qū)域，然后進(jìn)行膨脹以填充圖像中的小間隙。經(jīng)過腐蝕和膨脹處理后，前景圖像的噪聲得到去除，圖像得到平滑，完成了整個(gè)運(yùn)動(dòng)目標(biāo)的檢測(cè)過程。

4 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證算法的檢測(cè)效果和魯棒性，實(shí)驗(yàn)選用三段不同場(chǎng)景下的交通監(jiān)控視頻作為測(cè)試視頻。為表示方便，將3個(gè)視頻分別簡(jiǎn)稱為V1、V2、V3。

圖2為3組測(cè)試視頻中的一幀，分別為V1視頻的第62幀、V2視頻的第228幀和V3視頻的第243幀。圖3、圖4和圖5分別為視頻V1、V2、V3的當(dāng)前幀在不同算法下的檢測(cè)效果。從實(shí)驗(yàn)結(jié)果可以看出，基于幀差法檢測(cè)得到的前景圖像存在空洞現(xiàn)象，而利用背景減法進(jìn)行檢測(cè)在檢測(cè)率上不是很高。本文基于邊緣信息的幀差法和背景減法相結(jié)合的運(yùn)動(dòng)目標(biāo)檢測(cè)方法較好地解決了這些問題，取得了較好的效果。

利用檢出率（DR）和誤檢率（FAR）兩個(gè)指標(biāo)，對(duì)算法進(jìn)行定量比較，用公式描述如下［11］：

式中，TP為檢測(cè)出來的屬于運(yùn)動(dòng)目標(biāo)區(qū)域的像素?cái)?shù)，F(xiàn)P為檢測(cè)出來的不屬于運(yùn)動(dòng)目標(biāo)區(qū)域的像素?cái)?shù)，F(xiàn)N為未被檢測(cè)出來的運(yùn)動(dòng)目標(biāo)區(qū)域的像素?cái)?shù)。

表1的數(shù)據(jù)為對(duì)視頻的320幀都進(jìn)行檢測(cè)后得到的平均值，從中可以看到本文提出的運(yùn)動(dòng)目標(biāo)檢測(cè)算法在檢出率方面提高了約5%～36%，而且誤檢率降低了0.61%～2.84%。

本文算法融合了利用邊緣信息的幀差法和基于改進(jìn)型mode算法的減背景法，在時(shí)間復(fù)雜度上有所提高，具體數(shù)據(jù)見表2所示。由表2可以看出，對(duì)于幀差法和基于mode算法的背景減法，本文算法時(shí)間復(fù)雜度提高了19.98%～36.52%，但檢測(cè)率提高了約5%～36%。同基于混合高斯背景模型的背景減法相比，本文算法時(shí)間復(fù)雜度降低了約40%。

由以上數(shù)據(jù)分析可以看出，在綜合考慮復(fù)雜度和檢測(cè)率之間的平衡后，本文算法有著較大的優(yōu)勢(shì)。

5 結(jié)束語

本文通過引入邊緣信息和改進(jìn)的mode背景建模法，將三幀差分法和背景減法相結(jié)合對(duì)車輛運(yùn)動(dòng)目標(biāo)進(jìn)行了檢測(cè)。大量實(shí)驗(yàn)證明，該方法具有幀差法的優(yōu)點(diǎn)，對(duì)動(dòng)態(tài)環(huán)境具有較強(qiáng)的穩(wěn)定性。同時(shí)，由于與背景減法進(jìn)行了結(jié)合，檢測(cè)出的運(yùn)動(dòng)目標(biāo)具有較完整的信息，避免了運(yùn)動(dòng)目標(biāo)空洞現(xiàn)象。在大流量交通環(huán)境中，該方法使目標(biāo)檢測(cè)率有了較大提高，并具有較強(qiáng)的魯棒性。由于改進(jìn)的mode背景建模算法自身的特點(diǎn)，使得該算法在小流量交通環(huán)境中優(yōu)勢(shì)不能得到發(fā)揮。因此，下一步的研究重點(diǎn)將是對(duì)背景建模方法進(jìn)行改進(jìn)，使算法對(duì)各種流量的交通監(jiān)控環(huán)境都有較強(qiáng)的適應(yīng)性。

［1］Serdar Ince，Janusz Konrad.Occlusion-Aware Optical Flow Estimation［J］.IEEE Transactions on Image Processing，2008，17（8）：1443-1451.

［2］Yi-Min Tsai，Chih-Chung Tsai，Keng-Yen Huang，et al.An Intelligent Vision-based Vehicle Detection and Tracking System for Automotive Applications［C］／／Proceedings of 2011 IEEE International Conference on Consumer Electronics.Seoul，Korea：IEEE，2011：113-114.

［3］Du-Ming Tsai，Shia-Chih Lai.Independent Component Analysis-Based Background Subtraction for Indoor Surveillance［J］.IEEE Transactions on Image Processing，2009，18（1）：158-160.

［4］陳玲，陳德煌.多站無源定位系統(tǒng)中的機(jī)動(dòng)目標(biāo)跟蹤算法［J］.電訊技術(shù)，2010，50（11）：10-14.

CHEN Ling，CHENDe-huang.Tracking Algorithm forManeuvering Target in Multiple Passive Sensor System［J］.Telecommunication Engineering，2010，50（11）：10-14.（in Chinese）

［5］Shih-Chia Huang.An Advanced Motion Detection Algorithm with Video Quality Analysis for Video Surveillance Systems［J］.IEEE Transactions on Circuits and Systems for Video Technology，2011，21（1）：1-14.

［6］高凱亮，覃團(tuán)發(fā)，陳躍波，等.一種混合高斯背景模型下的像素分類運(yùn)動(dòng)目標(biāo)檢測(cè)方法［J］.南京大學(xué)學(xué)報(bào)（自然科學(xué)），2011，47（2）：195-200.

GAOKai-liang，QIN Tuan-fa，CHEN Yue-bo，et al. Detection ofmoving objects using pixel classification based on Gaussian mixture model［J］.Journal of Nanjing University（Natural Sciences），2011，47（2）：195-200.（in Chinese）

［7］曾艷，于濂.一種新的道路交通背景提取算法及研究［J］.中國(guó)圖象圖形學(xué)報(bào)，2008，13（3）：593-599.

ZENG Yan，YU Lian.A new background subtractionmethod for on-road traffic［J］.Journal of Image and Graphics，2008，13（3）：593-599.（in Chinese）

［8］Stauffer C，GrimsonW.Adaptive backgroundmixturemodels for real-time tracking［C］／／Proceedings of1999 IEEE International Conference on Computer Vision and Pattern Recognition.Colorado，USA：IEEE，1999：246-252.

［9］張宏.數(shù)字圖像處理與分析［M］.北京：機(jī)械工業(yè)出版社，2007.

ZHANG Hong.Image processing and analysis［M］.Beijing：China Machine Press，2007.（in Chinese）

［10］甘明剛，陳杰，劉勁，等.一種基于三幀差分和邊緣信息的運(yùn)動(dòng)目標(biāo)檢測(cè)方法［J］.電子與信息學(xué)報(bào)，2010，32（4）：894-897.

GAN Ming-gang，CHEN Jie，LIU Jin，etal.Moving object detection algorithm based on Three-Frame-Differencing and Edge Information［J］.Journal of Electronics and Information Technology，2010，32（4）：894-897.（in Chinese）

［11］Antoine Monnet，Anurag Mittal，Nikos Paragios，et al.Backgroundmodeling and subtraction of dynamic scenes［C］／／Proceedings of2003 IEEE International Conference on Computer Vision.Boston，USA：IEEE，2003：1305-1312.

GAOKai-liangwasborn in Xingtai，HebeiProvince，in 1985. He received the B.S.degree from Guangxi University in 2007.He is now a graduate student.His research interests include intelligent video surveillance，moving objects detection and tracking.

Email：gkl19851111＠126.com

覃團(tuán)發(fā)（1966—），男，廣西賓陽人，1997年于南京大學(xué)獲博士學(xué)位，現(xiàn)為教授、計(jì)算機(jī)與電子信息學(xué)院副院長(zhǎng)、中國(guó)電子學(xué)會(huì)高級(jí)會(huì)員、中國(guó)通信學(xué)會(huì)高級(jí)會(huì)員，主要研究方向?yàn)闊o線多媒體通信、網(wǎng)絡(luò)編碼、視頻編碼和圖像檢索；

QIN Tuan-fa was born in Binyang，Guangxi Zhuang Autonomous Region，in 1966.He received the Ph.D.degree from Nanjing University in 1997.He is now a professor and vice Dean of School of Computer and Electronic Information，GuangxiUniversity. He is also the senior member of China Institute of Electronics and China Communications Institute.His research interests includewirelessmultimedia communications，network coding，video encoding and image retrieval.

Email：tfqin＠gxu.edu.cn

王逸之，男，廣西南寧人，西南科技大學(xué)信息工程學(xué)院學(xué)生；

WANG Yi-zhi was born in Nanning，Guangxi Zhuang Autonomous Region.He is now an undergraduate at Southwest University of Science and Technology.

常侃（1983—），男，廣西南寧人，2010年于北京郵電大學(xué)獲博士學(xué)位，主要研究方向?yàn)閳D像處理、視頻編碼與傳輸。

CHANGKan was born in Nanning，Guangxi Zhuang Autonomous Region，in 1983.He received the Ph.D.degree from Beijing University of Posts and Telecommunication in 2010.His research interests include image processing，video coding and transmission.Email：pandack＠163.com

A Novel Approach for Moving Objects Detection Based on Frames Subtraction and Background Subtraction

GAO Kai-liang1，QIN Tuan-fa1，WANG Yi-zhi2，CHANGKan1
（1.School of Computer and Electronic Information，Guangxi University，Nanning 530004，China；2.School of Information Engineering，Southwest University of Science and Technology，Mianyang 621010，China）

In order to overcome the drawbacks of frames subtraction or background subtraction thatare used separately inmoving objects detection，and to achieve both accurate and robust detection result，a novel approach for moving objects detection based on frames subtraction using edge information and background subtraction is proposed.Firstly，a foreground image is obtained by three-frame-differencing based on edge information.Then，background subtraction is used to obtain another foreground image，in which background image is created by improved modemethod.Finally，the foreground object is extracted by applying Boolean OR operation on the two previous obtained foreground images.The simulation results show that the proposedmethod can increase the detection rates by 4.96%～36.01%，and ismore robust than other algorithms.

moving objects detection；edge extraction；frames subtraction；background subtraction；mode algorithm

The Natural Science Foundation of Guangxi（2011GXNSFD018024）；Program to Sponsor Teams for Innovation in the Construction of Talent Highlands in Guangxi Institutions of Higher Learning（GUIJIAO-REN［2007］71）

TN911；TP391.41

A

10.3969／j.issn.1001-893x.2011.10.018

高凱亮（1985—），男，河北邢臺(tái)人，2007年于廣西大學(xué)獲工學(xué)學(xué)士學(xué)位，現(xiàn)為碩士研究生，主要研究方向?yàn)橹悄芤曨l監(jiān)控、運(yùn)動(dòng)目標(biāo)檢測(cè)與跟蹤；

1001-893X（2011）10-0086-06

2011-05-09；

2011-08-08

廣西自然科學(xué)基金資助項(xiàng)目（2011GXNSFD018024）；廣西高校人才小高地建設(shè)創(chuàng)新團(tuán)隊(duì)資助計(jì)劃項(xiàng)目（桂教人［2007］71號(hào)）