一種新型快速運動目標檢測算法

李建，藍金輝，李杰

(1. 北京科技大學(xué) 自動化學(xué)院，北京，100083；2. 北京理工大學(xué) 機電工程學(xué)院，北京，100081)

一種新型快速運動目標檢測算法

李建1，藍金輝1，李杰2

(1. 北京科技大學(xué) 自動化學(xué)院，北京，100083；2. 北京理工大學(xué) 機電工程學(xué)院，北京，100081)

為了克服光流法計算量大和亮度不連續(xù)性引起的運動估計誤差，提出一種基于改進幀差法和改進光流法相結(jié)合的快速運動目標檢測算法。通過改進幀差法，精確獲取運動目標區(qū)域。利用改進的光流法，在光亮度不連續(xù)的情況下，準確地提取運動目標區(qū)域特征點的光流，并對光流矢量采用閾值標注，進而檢測出運動目標。實驗結(jié)果表明：該目標檢測算法魯棒性強，計算量小。

改進幀差法；改進光流法；運動目標檢測；幀差偏移

運動對象檢測是數(shù)字圖像處理技術(shù)的一個重要組成部分，它是計算機視覺、模式識別、目標識別與跟蹤、運動圖像編碼、安全監(jiān)控等研究領(lǐng)域的重點和難點，在軍事、國防和工業(yè)等領(lǐng)域有著廣闊的應(yīng)用前景。圖像序列運動分析因其巨大的應(yīng)用價值而受到廣泛的重視。它的基本任務(wù)是從圖像序列中檢測出運動信息，簡化圖像處理過程，得到所需的運動矢量，從而能夠識別與跟蹤物體[1?2]。在運動檢測中，以視頻圖像中運動目標檢測為主。圖像序列運動可以分為4種模式：攝像機和目標都靜止、攝像機靜止但目標運動、攝像機運動且目標也運動以及攝像機運動但目標靜止。其中，攝像機靜止物體運動是一類非常重要的場景分析，包括運動目標檢測、目標運動特性估計。本文主要研究攝像機靜止目標運動的情況[2]?，F(xiàn)有的圖像序列的運動目標檢測可以歸納為背景減法、幀差法和光流法等幾種。背景減法[3]實現(xiàn)簡單，并且能夠完整地分割出運動對象，是對背景已知情況下的應(yīng)用，但該方法在背景變化或復(fù)雜的情況下，檢測結(jié)果很不完善。幀差法[4?7]利用了時空圖像的灰度和梯度信息，通過逐像素點灰度的比較，直接求取前后兩幀圖像之間的差，進而提取運動信息。假設(shè)照明條件在多幀圖像間基本不變化，那么，幀差圖像不為0表明該處的像素發(fā)生了移動，即可以將圖像中目標的位置和形狀的變化表現(xiàn)出來。文獻[7]提出一種基于背景減法和幀差法的目標檢測方法，該方法在一定程度上減少了計算量，但它不能夠完整地分割出運動對象，不利于進行對象分析與識別。光流法[8?12]的優(yōu)點在于光流不僅攜帶了運動目標的運動信息，而且攜帶了有關(guān)景物三維結(jié)構(gòu)的豐富信息，它能夠在不知道場景任何信息的情況下，檢測出運動對象。還有諸多其他算法可以有效提取運動目標[11?16]。文獻[11]提出一種基于角點檢測的塊匹配光流法目標檢測方法，該方法可以改善檢測效果，但是計算耗時，并且光照變化對效果影響較大。文獻[12]提出一種基于光流法和顏色概率分布的特征點匹配方法，該方法誤匹配少，精度高，但是效果受到金字塔參數(shù)和特征區(qū)域大小設(shè)置的影響，并且計算耗時，實時性和實用性都較差。文獻[13]采用模板匹配檢測目標, 但是當目標外形變化較快時, 存在檢測精度問題。文獻[14]采用基于特征融合的點特征檢測目標, 也可用于移動背景下的情況, 但是算法速度較慢。為了克服幀差法和光流法的缺點，并使其優(yōu)點互補，本文作者給出一種基于這2種方法的適用于序列圖像的快速運動目標檢測算法，即先用改進幀差法檢測出運動物體的運動區(qū)域，然后利用改進光流法，提取運動區(qū)域中的目標。

1 改進幀差法

1.1 幀差法

幀差法又叫閾值幀間差分法(TIFD)，是運動目標檢測中使用最多的算法。它的突出特點是實現(xiàn)簡單、運算速度快，在大多數(shù)情況下檢測效果較好。

兩幀幀差法基本原理就是將前后兩幀圖像對應(yīng)像素點的灰度相減，在環(huán)境亮度變化不大的情況下，若對應(yīng)像素灰度相差很小，則可以認為此處景物是靜止的，若圖像區(qū)域某處的灰度變化很大，則可以認為這是由于圖像中運動物體引起的。將這些區(qū)域標記，利用這些標記的像素區(qū)域就可以求出運動目標在圖像中的位置。其效果圖如圖1所示。

圖1 兩幀幀差法效果示意圖Fig.1 Diagram of two-frame difference algorithm

從圖1可知：雖然該方法能檢測出動態(tài)目標輪廓，但是2幅圖像產(chǎn)生的目標輪廓出現(xiàn)了較大的重疊區(qū)域(圖中灰色區(qū)域所示)。相對于真實目標，檢測到的目標輪廓范圍太大，無法獲得準確的目標位置與目標形態(tài)信息。

為了獲得好的目標輪廓效果，人們提出三幀幀差法[7]，其原理如式(1)～(3)所示，效果圖如圖 2所示，圖中邊框為目標輪廓。

其中：It(x,y)和It?1(x,y)分別表示第t幀和第t?1幀圖像中(x, y)像素的灰度；T為閾值；p(x, y)表示差分操作后圖像中坐標為(x, y)的點的像素的灰度。

從圖2可知：三幀幀差法檢測到的目標輪廓出現(xiàn)部分區(qū)域重疊，檢測到的目標位置與目標形態(tài)信息也會出現(xiàn)偏差。當運動目標的速度比較快的時候，重疊區(qū)域更大，檢測出的輪廓與目標誤差更大。

1.2 改進幀差法

由于兩幀幀差法得到的目標輪廓出現(xiàn)重疊區(qū)域，

圖2 三幀幀差法效果示意圖Fig.2 Diagram of three-frame difference algorithm

相對于真實目標而言，輪廓范圍太大，無法獲得準確的目標位置與目標形態(tài)信息；三幀幀差法檢測到的目標輪廓，出現(xiàn)部分區(qū)域重疊，因此，提出一種改進的三幀幀差法(ITIFD)。該算法是在三幀幀差法的原理基礎(chǔ)上，利用連續(xù)三幀圖像，通過圖像間的“差分”，“與”以及“異或”操作，實現(xiàn)運動目標的準確檢測，獲得準確的運動目標形態(tài)信息。改進幀差法的算法步驟如下。

(1) 第1幀與第2幀做“差分”操作，得到差分圖像p1：

(2) 第2幀與第3幀進行“差分”操作，得到差分圖像p2：

(3) p1與p2進行“與”操作，得到新圖像p3：

(4) p2與p3進行“異或”操作，得到檢測結(jié)果圖像：

(5) p3與p4進行“與”操作，得到檢測結(jié)果圖像：

圖3所示為改進算法的效果圖。從圖3可知：該算法可以準確地獲取目標的輪廓。為了驗證改進三幀幀差法的性能，采用運動車輛圖像進行試驗。圖4所示為基于改進三幀幀差法進行動態(tài)目標檢測結(jié)果。從圖4可以看到：經(jīng)過第40幀、第41幀、第42幀連續(xù)3幀圖像的運算，檢測到的動態(tài)目標是目標的輪廓，沒有出現(xiàn)重疊區(qū)域。所以，相對于幀差法，該算法具有很好的檢測效果。

改進三幀差分法檢測運動目標效果好，且易于實現(xiàn)。對于多目標的運動檢測，仍可采用此方法作為初始分割，然后，用基于光流場的檢測方法，對運動物體進行檢測。

圖3 改進三幀差分法效果示意圖Fig.3 Diagram of improved three-frame difference algorithm

圖4 改進幀差法效果圖Fig.4 Image of improved algorithm

2 光流場的基本方程及改進算法

光流場表達了圖像的變化，它包含運動目標的信息，可以用來確定觀察者相對目標的運動情況。一般光流場是指圖像灰度模式的表面運動，它是一種二維瞬時速度場，其二維速度矢量是可見的三維速度矢量在成像平面上的投影，它包含的信息即是各像點的瞬時運動速度矢量信息。

給圖像中的每一個像素點賦予1個速度矢量，這就形成了1個圖像運動場。在運動的某特定時刻，圖像上的點與三維物體上的點一一對應(yīng)，這種對應(yīng)關(guān)系可由投影關(guān)系得到。根據(jù)各個像素點的速度矢量特征，可以對圖像進行動態(tài)分析。若圖像中沒有運動目標，則光流矢量在整個圖像區(qū)域是連續(xù)變化的，當物體和圖像背景存在相對運動時，運動物體所形成的速度矢量必然和鄰域背景速度矢量不同，從而檢測出運動物體的位置和形狀，對于背景與目標均運動的情形，可以利用光流很好地區(qū)分前進的目標和后退的背景，得到它們各自的三維運動信息[8]。

2.1 光流基本方程

光流的計算是基于物體移動的光學(xué)特性的2個假設(shè)：(1) 運動物體的灰度在很短的間隔時間內(nèi)保持不變，給定鄰域內(nèi)的速度向量場變化是緩慢的；(2) 對同一個運動目標，可以認為它有剛體特性，即同一物體每個像素任意時刻其運動速度是一致的。根據(jù)這個特性可以檢測出目標的輪廓[1?2,17]。

假定時刻t處于圖像坐標(x, y)位置的點由于物體的運動在(t+dt)時刻出現(xiàn)在圖像坐標(x+dx, y+dy)處，在t時刻該像素的灰度為I(x, y, t)，在(t+dt)時刻的灰度為I(x+dx, y+dy, t+dt)，dt很小，根據(jù)假設(shè)認為此點在移動過程中像素灰度不變。即

2.2 改進的光流法

在實際應(yīng)用中，光流場的基本方程的灰度不變假設(shè)條件往往不能滿足，如遮擋性、多光源和透明性等原因。根據(jù) GDIM 模型(generalized dynamic image mode)，灰度不是保持恒定，而是變化的，改進的光流場方程可以表示為：

為了準確地求出光流場的分布，在改進光流場方程基礎(chǔ)上提出了很多約束條件和計算方法，如微分法、匹配法、頻域法和馬爾可夫隨機場方法等。在實際計算中，基于微分的Horn & Schunck方法用得較多[1?2,18]。

2.3 Horn&Schunck的運動約束方程

Horn&Schunck根據(jù)同一個運動物體引起的光流場應(yīng)是連續(xù)的、平滑的，提出了加在光流場(u, v)上的附加的平滑約束[17?18]，即要求式(15)盡可能小；另一方面，根據(jù)改進光流場誤差約束，要求式(16)盡量?。?/p>

式中：Eg為偏離光滑性要求的誤差；Ec為基本光流誤差。于是，光流場(u, v)的計算歸結(jié)為求如下的變分問題的解：

式中： 為參數(shù)，它決定了Es和Ec這2種誤差之間的相對權(quán)重。當圖像的灰度較精確，則Ec應(yīng)給以更大的重視，這時 可以取大一些；反之，若圖像灰度的測量中含有很多的噪聲，Ec反映基本等式的實際偏離情況，則可取較小的值(小于1)。

在實際應(yīng)用中，由于光流場具有不連續(xù)性以及其假設(shè)條件的光流場分布是不成立的，若僅針對差值圖像中不為0處的像素來計算其光流，則其光流場分布結(jié)果比計算整個運動物體的光流場分布結(jié)果可靠得多。因為它們這時往往對應(yīng)于灰度梯度較大的點，而這些點的光流場基本方程近似成立，采用這種方法以后，可使得計算出的光流場分布更為可靠和精確，同時也減少了計算量。

在計算光流值時，存在外部環(huán)境的干擾，如陰影、風(fēng)動、樹葉動等造成的背景以及光流矢量的干擾。為消除干擾，根據(jù)經(jīng)驗設(shè)定光流值的閾值f，P點的光流fP為：

當 fP≥f時，P為目標點，進行光流標注，當fP＜f時，P為背景點，不進行光流標注。可以得到比較好的光流矢量。

3 實驗結(jié)果與分析

為了比較該算法，采用了序列圖像，圖像均為320像素×240像素。該方法運行于OpenCV平臺，處理器為intel雙核、主頻2.0G Hz、內(nèi)存1 G的筆記本。

當已知光流場的分布時，采用統(tǒng)計誤差參數(shù)即運動目標的平均光流場分布，但對于實際圖像序列，由于不知道光流場的具體分布，采用統(tǒng)計誤差參數(shù)(displaced frame difference, DFD)簡化計算，其定義為：

本文采用平均 DFD(ADFD)作為統(tǒng)計誤差參數(shù)，即對運動目標的每個像素點的DFD取平均值。對于運動序列圖像，提出的算法采用了光流場的基本方程和改進的光流場基本方程來求解運動物體的光流場分布。為了比較方法的優(yōu)劣，與三幀幀差法與基本光流法結(jié)合的檢測方法、Horn&Schunck光流法和Lucas&Kanade光流法進行了比較。設(shè)改進光流法的閾值T=10，Y=1，光流值的閾值f=40。實驗效果圖如圖5所示，同時也采用了峰值信噪比(PSNR)、統(tǒng)計誤差參數(shù)DFD和每幀圖像的計算時間t來對不同的算法進行比較，計算結(jié)果見表 1，檢測出的運動目標如圖 6所示。

圖5 各種算法的實驗效果Fig.5 Results of different algorithms

表1 光流場分布計算統(tǒng)計誤差和幀圖像處理時間比較Table 1 Comparison of calculated statistic error parameters for optical flow field distribution and consume time per frame

圖6 改進幀差法和改進光流法的檢測結(jié)果Fig.6 Detection result of ITIFD+IBOFE

由表1可知：采用本文算法(即ITIFD+IBOFE)的光流場的ADFD參數(shù)比基本光流法的要小，并且運算速度最快，信噪比最小，故本文提出的算法優(yōu)于其他計算方法。

4 結(jié)論

(1) 基于OPENCV提出的快速運動目標檢測算法具有運算速度快、計算出的光流場更為可靠的特點，能快速準確地檢測出運動目標。結(jié)合幀差法和光流場方法的優(yōu)點，該方法為運動參數(shù)和結(jié)構(gòu)參數(shù)的估計提供了可靠的基礎(chǔ)。

(2) 下一步研究將針對運動目標在重疊或者緊挨著的情況，從光流場的不同分布將運動物體分開。

[1] 郭義江. 基于視頻的運動目標檢測與跟蹤[D]. 上海: 華東師范大學(xué)軟件學(xué)院, 2009: 7?26.

GUO Yijiang. Motion detecting and tracking based on video[D].Shanghai: East China Normal University. School of Software Engineering, 2009: 7?26

[2] 董穎. 基于光流場的視頻運動檢測[D]. 濟南: 山東大學(xué)信息科學(xué)與工程學(xué)院, 2008: 5?35.

DONG Ying. Video motion detection based on optical flow field[D]. Jinan: Shandong University. School of Information Science and Engineering, 2008: 5?35.

[3] Mittal A, Paragios N. Motion-based background subtraction using adaptive kernel density estimation[C]// Proceedings of the 2008 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Anchorage, 2008: 302?309.

[4] Ilea D E, Whelan P F. Image segmentation based on the integration of colour-texture descriptors: A review[J]. Pattern Recognition, 2011, 44(10): 2479?2501.

[5] Fernández-Caballero A, Gómez F J, López-López J. Road-traffic monitoring by knowledge-driven static and dynamic image analysis[J]. Expert Syst Appl, 2008, 35(3): 701?719.

[6] Porro-Munoz D O, Duin R P W, Talavera I. Classification of three-way data by the dissimilarity representation[J]. Signal Processing, 2011, 91(11): 2520?2529.

[7] WENG Muyun, HUANG Guoce, DA Xinyu. A new interframe difference algorithm for moving target detection[C]//Proc International Congress on Image and Signal Processing. Yantai,China, 2010: 285?289.

[8] Radgui A, Demonceaux C, Mouaddib E. Optical flow estimation from multichannel spherical image decomposition[J]. Computer Vision and Image Understanding, 2011, 115(9): 1263?1272.

[9] Alvarze L, Weickert J. Reliable estimation of dense optical flow fields with large displacements[J]. Computer Vision, 2009, 39(1):41?56.

[10] Javier D, Eduardo R, Rodrigo A. Super pipelined highperformance optical-flow computation architecture[J]. Computer Vision and Image Understanding, 2008, 112(3): 262?273.

[11] SHEN Meili, SONG Huajun. Optical flow target tracking method based on corner detection[J]. Chinese Journal of Electron Devices, 2007, 30(4): 1397?1399.

[12] 楊艷, 康戈文. 基于光流法和顏色概率分布的特征點匹配[J].現(xiàn)代電子技術(shù), 2009, 33(16): 129?131.

YANG Yan, KANG Gewen. Optical flow and color distribution based feature point matching[J]. Modern Electronics Technique,2009, 33(16): 129?131.

[13] 逯新華, 史忠科. 基于動態(tài)模板匹配的空中運動目標檢測與跟蹤控制[J]. 電子測量與儀器學(xué)報, 2010, 25(10): 935?941.

LU Xinhua, SHI Zhongke. Detection and tracking control for air moving target based on dynamic template matching[J]. Journal of Electronic Measurement and Instrument, 2010, 25(10):935?941.

[14] 王進花, 曹潔. 一種基于特征融合的點特征目標跟蹤算法[J].電子測量與儀器, 2010, 24(6): 537?541.

WANG Jinhua, CAO Jie. Object tracking algorithm based on the feature fusion points[J]. Journal of Electronic Measurement and Instrument, 2010, 24(6): 537?541.

[15] 齊美彬, 汪巍, 蔣建國. 動態(tài)場景下的快速目標檢測算法[J].電子測量與儀器學(xué)報, 2011, 25(9): 756?761.

QI Meibin, WANG Wei, JIANG Jianguo. Rapid moving object detection under a dynamic scene[J]. Journal of Electronic Measurement and Instrument, 2011, 25(9): 756?761.

[16] 李勁菊, 朱青, 王耀南. 一種復(fù)雜背景下運動目標檢測與跟蹤算法[J]. 儀器儀表學(xué)報, 2010, 31(10): 84?89.

LI Jinju, ZHU Qing, WANG Yaonan. Detecting and tracking method of moving target in complex environment[J]. Chinese Journal of Scientific Instrument, 2010, 31(10): 84?89

[17] Horn B K P, Schunck B G. Determining optical flow[J]. Artificial Intelligence, 1981, 17: 185?203.

[18] Cucchiara R, Grana C, Piccardi M, et al. Detecting moving objects, ghosts, and shadows in video streams[J]. IEEE Trans Pattern Anal Mach Intell, 2003, 25(10): 1337?1342

(編輯 趙俊)

A novel fast moving target detection method

LI Jian1, LAN Jinhui1, LI Jie2

(1. School of Automation and Electrical Engineering, University of Science & Technology Beijing,Beijing 100083, China;2. School of Mechatronical Engineering, Beijing Institute of Technology, Beijing 100081, China)

In order to overcome the large amount of computation and the inaccuracy of motion parameter estimation due to lightness discontinuity by optical flow algorithm, a fast moving target detection method on the basis of the improved interframe difference algorithm and the improved optical flow algorithm was proposed. According to the improved three-frame difference algorithm, the region of the moving target was extracted accurately. By the improved optical flow algorithm, the optical flow value of the moving target in the region was extracted exactly under the condition of the lightness discontinuity, and the moving target can be detected precisely by the threshold value of optical flow vector. The experiment results show that the method has good robust and small computation.

improved frame difference algorithm; improved optical flow algorithm; moving target detection; displaced frame difference

TP391

A

1672?7207(2013)03?0978?07

2012?03?12；

2012?06?18

國家自然科學(xué)基金資助項目(61174181)；北京市自然基金資助項目(4102038)；國家“十二五”計劃項目(B2220110011)；北京科技大學(xué)鋼鐵流程先進控制教育部重點實驗室項目(2011)；中央高?；究蒲袠I(yè)務(wù)費專項資金資助(FRF-AS-11-004B)

藍金輝(1967?)，女，吉林長春人，教授，從事視頻圖像處理、目標識別、智能交通研究；電話：010-62334961；E-mail: jh.lan@263.net