一種改進(jìn)的運(yùn)動目標(biāo)跟蹤方法

魯永杰，王思明

（蘭州交通大學(xué)自動化與電氣工程學(xué)院，甘肅 蘭州 730070）

一種改進(jìn)的運(yùn)動目標(biāo)跟蹤方法

魯永杰，王思明

（蘭州交通大學(xué)自動化與電氣工程學(xué)院，甘肅 蘭州 730070）

為解決障礙物在三維目標(biāo)跟蹤中產(chǎn)生的遮擋問題，使用基于光流法和立體視覺的目標(biāo)跟蹤系統(tǒng)，同時結(jié)合自適應(yīng)濾波方法來預(yù)測跟蹤目標(biāo)三維速度的期望值。采用模糊控制系統(tǒng)解決不同速度的耦合問題，通過計(jì)算跟蹤算法與預(yù)測算法的速度差值來判斷運(yùn)動目標(biāo)是否受到遮擋。實(shí)驗(yàn)結(jié)果表明：在確保91.2%識別率的前提下，該算法識別運(yùn)動目標(biāo)平均每幀耗時15ms。該跟蹤算法具有較好的魯棒性和實(shí)時性。

目標(biāo)跟蹤；光流法；立體視覺；自適應(yīng)濾波；遮擋；模糊控制

0 引 言

目標(biāo)跟蹤是通過視頻圖像序列來處理運(yùn)動目標(biāo)的相關(guān)問題。目標(biāo)跟蹤技術(shù)廣泛應(yīng)用于交通監(jiān)控、三維重構(gòu)、人機(jī)交互和軍事制導(dǎo)等領(lǐng)域。

目標(biāo)跟蹤的效果往往受到實(shí)際環(huán)境中物體遮擋的影響，這會增加正確跟蹤目標(biāo)的復(fù)雜性和挑戰(zhàn)性。國內(nèi)外學(xué)者提出了許多方法來解決這些問題，大體上可以分為4類，分別是基于區(qū)域的跟蹤、基于特征的跟蹤、基于變形模板的跟蹤和基于模型的跟蹤[1-2]。其中，基于特征的跟蹤方法在運(yùn)動目標(biāo)被遮擋，但只要還有一部分特征可以看到時，仍能實(shí)現(xiàn)運(yùn)動目標(biāo)的跟蹤。光流法是基于特征跟蹤方法的典型代表[3-4]。

近年來，大量的研究以光流法為基礎(chǔ)，同時結(jié)合相關(guān)的算法來提高運(yùn)動目標(biāo)的跟蹤準(zhǔn)確度和跟蹤穩(wěn)定性[5-7]。文獻(xiàn)[5-7]所述方法在一般場合下具有較好的跟蹤效果，但是在遮擋條件下，對運(yùn)動目標(biāo)的跟蹤存在一定的困難，甚至?xí)霈F(xiàn)跟蹤失敗的現(xiàn)象。

本文在光流法和立體視覺的基礎(chǔ)上，結(jié)合自適應(yīng)濾波的方法來預(yù)測運(yùn)動目標(biāo)的期望速度，提出一種改進(jìn)型的目標(biāo)跟蹤方法。解決遮擋問題的關(guān)鍵在于光流法和預(yù)測算法的耦合，本文采用模糊控制的思想來解決該問題。

1 運(yùn)動目標(biāo)速度預(yù)測

為實(shí)現(xiàn)對運(yùn)動目標(biāo)的跟蹤，需要對運(yùn)動目標(biāo)的速度進(jìn)行預(yù)測?；谶x取的代表運(yùn)動目標(biāo)的的標(biāo)志點(diǎn)，在左右圖像序列中使用光流法和自適應(yīng)濾波算法得到相應(yīng)的速度值。

1.1 光流法

1.1.1 傳統(tǒng)光流法

在一般情況下，光流是由場景中目標(biāo)的運(yùn)動、相機(jī)的運(yùn)動或者兩者產(chǎn)生的相對運(yùn)動引起的。光流法大體可分為3類，包括基于匹配的方法、基于頻域的方法以及基于梯度的方法。其中，基于梯度的方法應(yīng)用最為普遍。

假設(shè)圖像上的點(diǎn)m=（x，y）T在t時刻的灰度值為I（x，y，t），經(jīng)過dt時間間隔，運(yùn)動到新的位置，其灰度值為I（x+dx，y+dy，t+dt）。當(dāng)dt→0時，可認(rèn)為前后兩點(diǎn)的灰度值相同，即：

如果圖像的灰度值隨著x，y，t的變化較為緩慢，式（1）左邊按照泰勒級數(shù)展開，同時忽略二階無窮小項(xiàng)，可得：

式（3）稱為光流場的基本方程，其向量式為

式中：▽I=（Ix，Iy）——圖像在點(diǎn)m處的梯度；

νm=（u，ν）——點(diǎn)m的光流。

1.1.2 Lucas-Kanade（LK）方法

LK光流法是基于局部約束的方法。假定以點(diǎn)m為中心的小區(qū)域里各個點(diǎn)的光流相同，并且給這個區(qū)域內(nèi)的不同點(diǎn)賦予不同的權(quán)值，那么光流的計(jì)算就轉(zhuǎn)換為求使下式最小化的條件：

式中：Ω——以點(diǎn)m為中心的一個小區(qū)域；

W（x，y）——各點(diǎn)的權(quán)重值。

式（5）的解可由下面的方程求解得到：

假設(shè)Ω區(qū)域內(nèi)有n個mi點(diǎn)，那么可得到：

通過求解方程（6），最終得到的解如下式所示：

在采集到的視頻圖像序列中，通過式（10）在左右序列中可計(jì)算得到相應(yīng)的運(yùn)動目標(biāo)速度

1.2 自適應(yīng)濾波

對于運(yùn)動目標(biāo)跟蹤，雖然光流法具有較好的效果，但是在背景復(fù)雜以及遮擋的條件下還存在一定的問題。因此，本文采用自適應(yīng)濾波對運(yùn)動目標(biāo)的速度進(jìn)行預(yù)測，同光流法結(jié)合，實(shí)現(xiàn)對運(yùn)動目標(biāo)的跟蹤。

自適應(yīng)濾波器主要包括非線性自適應(yīng)濾波器和線性自適應(yīng)濾波器兩類，本文采用線性自適應(yīng)濾波器，其原理圖如圖1所示。

圖1 自適應(yīng)濾波器原理圖

圖中，x（n）為輸入信號，ν（n）為干擾信號，d（n）為期望輸出，e（n）為誤差信號。t時刻的輸入信號可表示為

式中L為自適應(yīng)濾波器的長度。

同時可以得到自適應(yīng)濾波器估計(jì)誤差的加權(quán)平方和J（n）：

式中λ為遺忘因子，且0＜λ≤1。

通過自適應(yīng)濾波算法，在左右視頻序列圖像中可計(jì)算得到相應(yīng)的速度

1.3 運(yùn)動目標(biāo)速度預(yù)測流程

1）采用Lucas-Kanade光流算法來計(jì)算每一圖像序列中每一幀運(yùn)動目標(biāo)的速度，并用其對濾波系數(shù)進(jìn)行初始化。

2）對于第N幀圖像，采用下面方法來計(jì)算速度νLN和νRN：

3）使用計(jì)算得到的νL，RN以及前一時刻的采樣值對濾波系數(shù)進(jìn)行更新。

通過證明可得到最優(yōu)公差值為

式中k為變量，且對本文所述跟蹤方法的正確運(yùn)行起著至關(guān)重要的作用。

2 模糊控制器

對于本文算法，公差值是其正確運(yùn)行的關(guān)鍵因素。一方面，在不存在遮擋時，光流法與自適應(yīng)濾波法分別得到的速度值相差不大，其差值較小，如果tol的值較小，甚至小于差值，那么就會造成誤判斷，認(rèn)為存在遮擋；另一方面，在跟蹤過程中存在遮擋時，光流法與自適應(yīng)濾波法分別得到的速度值相差較大，其差值較大，如果tol的值較大，甚至大于差值，就會誤判斷為不存在遮擋。出于上述原因，參數(shù)k的選取至關(guān)重要。k值過大或者過小都會對運(yùn)動目標(biāo)的跟蹤產(chǎn)生影響。如實(shí)際的速度差值較小，但是由于選取了較大的k值，會使系統(tǒng)誤認(rèn)為存在遮擋，造成誤跟蹤。因此，本文采用模糊系統(tǒng)對變值k的選取進(jìn)行控制，而不是采用先驗(yàn)值k。

模糊控制系統(tǒng)是基于模糊邏輯的控制系統(tǒng)。模糊控制為陳述、操縱和執(zhí)行人類的啟發(fā)式知識以及如何控制一個系統(tǒng)提供了正式的方法論。模糊控制器框圖如圖2所示，可以看到模糊控制器嵌套在一個閉環(huán)控制系統(tǒng)中。

圖2 模糊控制器框圖

此系統(tǒng)有兩個輸入量Δε和qV，一個輸出變量k。變量Δε是增量誤差（EI）。如果將誤差ε作為由光流法計(jì)算得到的速度與自適應(yīng)濾波預(yù)測得到的速度之差的絕對值，那么可以得到：

變量qV是一個二值變量。這表明，要么使用在前一幀由光流法計(jì)算得到的速度（qV=1），要么使用由自適應(yīng)濾波預(yù)測得到的速度（qV=0）。

輸入量Δε模糊化的成員函數(shù)集如圖3所示。Δε的模糊值可以是NB（negative big，負(fù)無窮大），M（medium，中值）或者PB（positive big，正無窮大）。NB值對應(yīng)的是在光流法計(jì)算中較大誤差引起的障礙物邊緣的最終峰值，PB值對應(yīng)于初始峰值，而M值對應(yīng)其他情況。

圖3 輸入量Δε成員函數(shù)

在此系統(tǒng)中，當(dāng)序列圖像中不存在遮擋（EI=M，qV=1）以及運(yùn)動目標(biāo)在遮擋中（EI=M，qV=0）時，為了選擇出由光流法計(jì)算得到的速度，變量k的值要較大（H）。在其余各種情況下，為了選擇出由自適應(yīng)濾波預(yù)測得到的速度，變量k的值應(yīng)較?。↙）。

在這種情況下，系統(tǒng)的模糊值如表1所示。

表1 系統(tǒng)模糊值

推理機(jī)構(gòu)利用上述條件計(jì)算全局輸出量μout（k），輸出量k的成員函數(shù)如圖4所示。在這種情況下，輸出變量k的值介于0.5～1之間。

最后，利用中心求和方法，去模糊控制器可以從全局輸出μout（k）中計(jì)算得到變量k的真值，從而獲得最優(yōu)的公差值tol。

3 三維跟蹤系統(tǒng)

三維跟蹤系統(tǒng)的整體結(jié)構(gòu)如圖5所示。

在運(yùn)動目標(biāo)速度預(yù)測流程中，左、右序列中均采用光流法與自適應(yīng)濾波進(jìn)行運(yùn)動目標(biāo)速度的計(jì)算與預(yù)測。然后通過光流法跟蹤結(jié)果與濾波預(yù)測結(jié)果之間的差別來判斷運(yùn)動目標(biāo)是否受到遮擋。由光流法計(jì)算得到的速度和自適應(yīng)濾波器預(yù)測得到的速度作為兩個完全相同的模糊控制器的輸入量，模糊控制器根據(jù)是否存在遮擋來選擇相應(yīng)的速度。為實(shí)現(xiàn)下一幀圖像中運(yùn)動目標(biāo)的預(yù)測，這些選擇出來的速度值將作為自適應(yīng)濾波器的輸入量，同時自適應(yīng)濾波器對其系數(shù)進(jìn)行更新。一旦在左右序列中都跟蹤到了目標(biāo)，使用三角測量原理可以得到目標(biāo)的三維速度。

圖4 輸出量k成員函數(shù)

圖5 三維跟蹤系統(tǒng)結(jié)構(gòu)

4 實(shí)驗(yàn)結(jié)果及分析

為了驗(yàn)證本文方法的有效性，使用實(shí)際采集的數(shù)據(jù)進(jìn)行試驗(yàn)。采用二階濾波器，遺忘因子λ=0.99，變量k取0.6。采用實(shí)際采集的分辨率為640×480的視頻序列，在Intel Core3 2.40GHz的CPU、2GB內(nèi)存配置的電腦上，在Windows XP操作系統(tǒng)下用Matlab R2010a進(jìn)行測試，并對跟蹤結(jié)果進(jìn)行分析。用Nall表示處理的視頻幀數(shù)，Nr表示正確跟蹤的視頻幀數(shù)，Nw表示誤跟蹤的視頻幀數(shù)，Nd表示漏跟蹤的視頻幀數(shù)。那么，從表2可以看出，跟蹤準(zhǔn)確率為91.2%，誤跟蹤率為6.0%，漏跟蹤率為2.8%。

表2 運(yùn)動目標(biāo)跟蹤結(jié)果

實(shí)驗(yàn)結(jié)果表明，本文算法可在整個視頻序列中實(shí)現(xiàn)運(yùn)動目標(biāo)的跟蹤。但是，在有些情況下也會出現(xiàn)跟蹤失敗的現(xiàn)象，其原因主要有：1）雨雪等惡劣天氣造成的干擾；2）運(yùn)動目標(biāo)前景顏色與背景顏色接近等。因此，跟蹤系統(tǒng)的魯棒性需要進(jìn)一步提高。

5 結(jié)束語

本文提出了一種基于光流法和立體視覺，同時結(jié)合自適應(yīng)濾波算法的運(yùn)動目標(biāo)跟蹤方法。它能夠在障礙物遮擋的場合下對目標(biāo)進(jìn)行準(zhǔn)確的跟蹤。實(shí)驗(yàn)證明，使用模糊控制器將光流法計(jì)算得到的速度與自適應(yīng)濾波器預(yù)測得到的速度相結(jié)合，可實(shí)現(xiàn)目標(biāo)運(yùn)動軌跡的準(zhǔn)確預(yù)測。

此外，本文還研究了參數(shù)值對跟蹤系統(tǒng)產(chǎn)生的影響，最終得到一個最優(yōu)跟蹤系統(tǒng)，從而實(shí)現(xiàn)系統(tǒng)中容錯值的準(zhǔn)確控制。本文提出的運(yùn)動目標(biāo)跟蹤系統(tǒng)具有較高的跟蹤效率與較低的計(jì)算復(fù)雜度。該算法在跟蹤準(zhǔn)確率為91.2%的前提下，每幀圖像平均耗時15ms。

[1]宋偉，納鵬宇，劉寧寧，等.基于雙目視覺系統(tǒng)的運(yùn)動目標(biāo)跟蹤算法研究[J].北京交通大學(xué)學(xué)報(bào)，2013，37（6）：13-17.

[2]余靜，游志勝.自動目標(biāo)識別與跟蹤技術(shù)研究綜述[J].計(jì)算機(jī)應(yīng)用研究，2005，22（1）：12-15.

[3]吳陽，徐立鴻，李大威，等.一種改進(jìn)的基于光流法的運(yùn)動目標(biāo)跟蹤算法[J].機(jī)電一體化，2011，17（12）：18-25.

[4]Parrilla E，Torregrosa J R，Riera J，et al.Fuzzy control for obstacle detection in stereo video sequences[J]. Mathematicaland Computer Modelling，2011，54（7）：1813-1817.

[5]李劍峰，黃增喜，劉怡光.基于光流場估計(jì)的自適應(yīng)Mean-Shift目標(biāo)跟蹤算法[J].光電子·激光，2012，23（10）：1996-2002.

[6]孫承志，熊田忠，吉順平，等.基于差分的光流法在目標(biāo)檢測跟蹤中的應(yīng)用[J].機(jī)床與液壓，2010，38（14）：59-62.

[7]許曉航，肖剛，云霄，等.復(fù)雜背景及遮擋條件下的運(yùn)動目標(biāo)跟蹤[J].光電工程，2013，40（1）：23-30.

An improved moving object tracking method

LU Yongjie，WANG Siming
（School of Automation&Electrical Engineering，Lanzhou Jiaotong University，Lanzhou 730070，China）

An object tracking system based on optical flow and stereo vision is used in order to solve the occlusion effect produced by obstacles in 3D object tracking，combined with adaptive filters to predict the expected 3D velocities of objects.The critical point of the system is the coupling between tracking and predictive algorithms.A fuzzy control system is proposed to solve this coupling problem between the different velocities and judging whether the moving objects are blocked by calculating the speed difference between tracking algorithm and prediction algorithm. Experimental results show this algorithm costs average 15 ms per recognition of one frame with a recognition rate at 91.2%.This tracking algorithm has better robustness and real-time ability.

object tracking；optical flow；stereo vision；adaptive filters；occlusion；fuzzy control

A

：1674-5124（2015）07-0095-04

10.11857/j.issn.1674-5124.2015.07.022

2014-10-29；

：2014-12-25

魯永杰（1989-），男，甘肅蘭州市人，碩士研究生，專業(yè)方向?yàn)閳D像處理。