運動目標(biāo)跟蹤方法綜述*

王明波

(92493部隊98分隊 葫蘆島 125000)

?

運動目標(biāo)跟蹤方法綜述*

王明波

(92493部隊98分隊 葫蘆島 125000)

綜述了當(dāng)前普遍使用的運動目標(biāo)跟蹤算法的思想和它們的適用范圍、優(yōu)缺點；通過對各種方法的多方面比較，提出了改進(jìn)思想，總結(jié)了目標(biāo)跟蹤的選擇方法。對于不同的目標(biāo)和場合, 選擇上述不同的方法來實現(xiàn)目標(biāo)跟蹤,具有較高的跟蹤精度和較好的實時性。最后探討了目標(biāo)跟蹤方法中有待進(jìn)一步研究的問題。

動目標(biāo)跟蹤; 分析; 匹配

Class Number TN911

1 引言

目標(biāo)跟蹤是指計算機(jī)或其他儀器設(shè)備依據(jù)某種算法實現(xiàn)對目標(biāo)的跟蹤與定位, 并根據(jù)目標(biāo)的位置和動向采取相應(yīng)措施。在現(xiàn)代戰(zhàn)爭中，對于飛機(jī)、艦船、導(dǎo)彈等軍事目標(biāo)，如果能實時地加以識別跟蹤，對掌握戰(zhàn)場主動權(quán)和正確打擊目標(biāo)、顯著地提高未來指揮作戰(zhàn)系統(tǒng)的性能，具有重要意義，是當(dāng)代軍事領(lǐng)域研究熱點。

文中將動態(tài)目標(biāo)跟蹤方法分為基于運動分析的方法和基于圖像匹配的方法，并對各類方法具體分類。通過對各種傳統(tǒng)方法及最新方法的介紹，總結(jié)了不同方法的基本屬性，分析了各自的優(yōu)缺點及相應(yīng)的改進(jìn)措施。在此基礎(chǔ)上，討論了某些具體問題的優(yōu)化技術(shù)，指出了目標(biāo)跟蹤算法的發(fā)展方向。

2 基于運動分析的方法

基于運動分析[1]的方法概括地說，是利用時變圖像強度的時空變化來確定運動物體的空間位置，即通過檢測序列視頻圖像視場中目標(biāo)和背景的不同運動速度來發(fā)現(xiàn)目標(biāo)存在的區(qū)域，從而實現(xiàn)跟蹤。運動目標(biāo)檢測的方法可以分為幀間差分方法、光流分割法和頻率域方法三種。

2.1 幀間差分方法

圖像運動意味著圖像變化。運動估計算法[7]中的一個基本依據(jù)是圖像強度的變化，可以用圖像序列中相鄰時間的一對圖像的差來表示強度的相對變化，圖像差運算定義為

fd(X,t1,t2)=f(X,t2)-f(X,t1)

(1)

式中fd是差分圖像。上式運算只涉及對應(yīng)像素強度的相減運算，因此這種算法是相當(dāng)簡單的，并且

適合于并行實現(xiàn)。圖像差分在某種程度上反映了景物的較高層次性質(zhì)或蘊含在圖像平面上傳感器運動的變化。如果景物中存在幾個相互獨立的運動物體，差分圖像就是這些運動效應(yīng)的組合。

當(dāng)攝像機(jī)位置固定時，只要對相鄰幀的圖像直接作差分運算，就可以檢測出視場中的差異部分，發(fā)現(xiàn)運動目標(biāo)的存在區(qū)域，解決目標(biāo)跟蹤問題。還可以對差分后的圖像取閾值并累加來提取目標(biāo)的運動軌跡。如果目標(biāo)的速度不變化，在累加的圖像中，目標(biāo)的運動軌跡會形成一條直線，可以通過Hough變換來檢測這條直線，從而找到目標(biāo)。

對相鄰幀圖像直接做差分的方法只適合攝像機(jī)不動的情況。如果攝像機(jī)自身也處于運動狀態(tài)，則由于目標(biāo)和背景同時處于運動中，而不能通過簡單的檢測視場中的差異部分來提取目標(biāo)，要通過對背景的運動進(jìn)行補償后，才能將目標(biāo)的運動從背景的運動中區(qū)分出來。還可以通過貝葉斯方法計算光流來找到大面積背景的運動，將兩幀圖像根據(jù)這個運動重新對齊，使背景重合，再用圖像相減的方法檢測出相對背景運動目標(biāo)。

2.2 光流分割法

光流是空間運動物體的被觀測表面上的像素點運動的瞬時速度場，是指圖像灰度模式的表面運動?；诠饬鞴烙嫷姆椒ǘ际腔谝韵录僭O(shè)：圖像灰度分布的變化完全是由于目標(biāo)或背景的運動引起的，也就是說，目標(biāo)和背景的灰度不隨時間變化。

通過光流分割法檢測目標(biāo)時，要根據(jù)不同的情況區(qū)別對待。如攝像機(jī)運動而目標(biāo)靜止；攝像機(jī)靜止而目標(biāo)運動；或者兩者都處于運動中。如果背景不動，可以檢測光流圖像中的最大值來提取目標(biāo)，如果背景運動，需要利用先驗知識，根據(jù)光流的變化來區(qū)分目標(biāo)與背景。光流法可以描述多種目標(biāo)運動情況，在動態(tài)視頻中，目標(biāo)的運動通?？梢杂靡韵滤姆N運動的某種組合來描述：在與攝像機(jī)距離固定的平面內(nèi)的平移；在攝像機(jī)景深方向的移動；在與攝像機(jī)距離固定的平面內(nèi)沿視軸的旋轉(zhuǎn)；垂直于視軸的平面物體的旋轉(zhuǎn)。這些運動方式產(chǎn)生的運動向量也各有特點：在一定距離平面內(nèi)的平移表現(xiàn)為平行的運動向量；在景深方向的移動形成的速度向量都經(jīng)過一點，這個點叫做匯集點；在固定距離內(nèi)的旋轉(zhuǎn)形成一組具有公共圓心的運動向量；垂直于視軸的平面物體的旋轉(zhuǎn)形成一組或幾組以直線為起點的向量?；谝陨辖Y(jié)論，通過對光流的簡單處理就可以識別這些基本的運動，例如，對平移運動來說，如果平移不是處于固定的景深內(nèi)，則光流向量不平行，而是指向匯集點；如果平移在固定的景深內(nèi)，則匯集點在無窮遠(yuǎn)處。如果圖像中存在多個移動目標(biāo)，每個目標(biāo)都有自己的匯集點。

2.3 頻率域方法

將視頻圖像序列變換到頻率域，然后根據(jù)變換系數(shù)的幅值或相位來檢測目標(biāo)的運動。Fourier變換是常用的頻率分析方法[1]。其中，利用變換系數(shù)幅值的方法，是根據(jù)在空間域的卷積等于在頻率域相乘這個Fourier變換性質(zhì)，將圖像中的模板相關(guān)轉(zhuǎn)換到頻率域?qū)崿F(xiàn)，以增加運算效率。利用變換系數(shù)相位的方法根據(jù)空間域的平移對應(yīng)于頻率域內(nèi)的相移這個Fourier變換性質(zhì)來檢測目標(biāo)的運動。從傅氏變換可以知道，空域中的位移表現(xiàn)為頻域中的相位差。通過計算頻域中的相位差就可以反過來求出空域中的位移，這就是基于頻域的跟蹤方法[1]的理論基礎(chǔ)。一般使用傅氏變換和帶通濾波器等做變換。小波[1]也是一種非常重要的信號分析工具，可以用來進(jìn)行運動分析。小波變換作為時頻分析的方法，也可以對圖像序列中的運動進(jìn)行分析，與Fourier變換相比，因為增加了空間域內(nèi)的定位信息，更有利于運動目標(biāo)的檢測。但是目前小波對于運動分析來講還并不十分有效，因為輸入信號的一個小的擾動，就會引起小波系數(shù)非常大的變化。

3 基于匹配技術(shù)的方法

基于圖像匹配的方法可以識別待定目標(biāo)及確定運動目標(biāo)的相對位置，正確截獲概率和定位精度是圖像匹配的主要性能指標(biāo)。基于匹配的原理，該方法可分為基于區(qū)域的模板匹配跟蹤方法和基于特征的匹配跟蹤方法。

3.1 基于區(qū)域的模板匹配跟蹤方法

圖像空間的匹配可以在圖像的整個區(qū)域上進(jìn)行，也可以在很小的圖像子區(qū)域(窗口)上進(jìn)行?？梢允褂玫钠ヅ錅?zhǔn)則包括，最大互相關(guān)函數(shù)、最小均方差函數(shù)、最小平均絕對差值函數(shù)、最大匹配像素統(tǒng)計等。不同的匹配準(zhǔn)則的數(shù)學(xué)含義不同，計算代價也不同，但是總的來說運算量都很大。通過并行處理或多分辨率匹配可以加快匹配速度。

歸一化相關(guān)或模板匹配[3,9]的方法是一種常用的匹配的方法。目前電視跟蹤的相關(guān)跟蹤方式就是在圖像子空間利用模板匹配方法進(jìn)行像素灰度匹配。這種方法在每幀圖像中，根據(jù)匹配準(zhǔn)則，在所有可能的位置搜索與圖像模板最一致的區(qū)域。在像素(m,n)處的歸一化相關(guān)系數(shù)可以表示為

(2)

(3)

(4)

(5)

其中的分子為模板與圖像的相關(guān)系數(shù)，分母中C1(m,n),C2(m,n)分別為模板的自相關(guān)系數(shù)和匹配處圖像的自相關(guān)系數(shù)，對相關(guān)系數(shù)進(jìn)行歸一化處理。模板的自相關(guān)系數(shù)與位置(m,n)無關(guān)。在當(dāng)前圖像的搜索區(qū)域內(nèi)，使歸一化相關(guān)系數(shù)最大的那個位置既是當(dāng)前圖像中的目標(biāo)位置。

二維最小絕對差累加和算法(MAD)[5]是一種應(yīng)用于工程系統(tǒng)較為普遍的相關(guān)跟蹤算法，它與上述基于歸一化互相關(guān)的模板相關(guān)跟蹤算法相似，該相關(guān)匹配算法采用二維最小絕對差累加和作為子圖和目標(biāo)模板相似度的度量。如：

(6)

在圖像匹配跟蹤過程中，參考模板圖像在當(dāng)前幀搜索區(qū)內(nèi)滑動與實時子區(qū)圖像作相關(guān)運算，尋找最佳匹配點，當(dāng)使D(i,j)取得最小值Dmin時的D(i,j)即為所求的最佳匹配點。由于MAD算法直接采用圖像各像素點的灰度值作絕對差累加和運算，雖然計算量比歸一化互相關(guān)運算要少，但需要計算的點數(shù)也很多，而且MAD算法對圖像灰度變化較敏感，在圖像低對比度區(qū)域及對比度變化情況下，目標(biāo)跟蹤性能將下降，甚至丟失目標(biāo)。

3.2 基于特征的匹配跟蹤方法

在基于圖像特征的匹配方法中，運動目標(biāo)跟蹤是在視頻圖像序列中找到與目標(biāo)特征相匹配的特征點來實現(xiàn)的。如果圖像被選中的部分f(i,j)和g(i,j)樣板都用特征向量來表示：

Y=(y1,y2,…,yk)X=(x1,x2,…,xk)

(7)

則X和Y的向量差可用差向量的范數(shù)來表示：

(8)

則向量差最小的即為尋找的特征向量，從而使得計算量大為減少。基于特征的匹配跟蹤算法的跟蹤效果與特征有關(guān)，可以采取的特征最好具有平移不變性、旋轉(zhuǎn)不變性和尺度不變性等。

4 各類方法優(yōu)缺點比較及改進(jìn)措施

4.1 基于運動分析的方法

光流的計算有全局優(yōu)化和局部優(yōu)化兩種。局部優(yōu)化的光流計算方法能夠反映出運動邊緣處的運動信息，但是對于圖像中的弱紋理區(qū)域不敏感；全局光流的計算方法能夠得到每個像素點處的光流，但是對于運動邊界處的光流變化不敏感。光流場方法[3]的優(yōu)點在于不需要目標(biāo)的先驗知識，計算比較精確。但大多數(shù)的光流計算方法相當(dāng)復(fù)雜，且抗噪聲能力差，如果沒有特別的硬件裝置則不能被應(yīng)用于全幀視頻流的實時處理。光流分割方法不適合目標(biāo)只有幾個像素的情況，這時光流計算的誤差容易產(chǎn)生虛警。另外，光流法只有當(dāng)圖像捕獲的間隔很短時才適合。但是，它對照度變化和噪聲較敏感、計算量也比較大。而且由于實際景物中的速度場不一定總是與圖像中的直觀速度場有唯一對應(yīng)的關(guān)系，偏導(dǎo)數(shù)的計算又會加重噪聲水平，使得基于光流的方法在實際應(yīng)用中常常不穩(wěn)定。

頻域方法相比其它基于空域的方法有很多優(yōu)點。首先，它對圖像整體的亮度變化不敏感，對噪聲也不敏感。其次，有較高的定位精度，可以達(dá)到亞像素級。此外，對匹配區(qū)域發(fā)生的一些小擾動具有一定的魯棒性。但是，基于傅氏變換的方法只對于均勻背景下的目標(biāo)運動才有效。雖然可以采用局部窗口變換來盡量避免這個問題，但是該算法的應(yīng)用仍受到很大限制。

基于運動的方法考慮了整個區(qū)域的信息，因此增加了跟蹤的魯棒性[4]。依靠增加時間域的支撐，獲得在低信噪比和復(fù)雜背景條件下檢測目標(biāo)的能力。但是這種方法需要找到整個圖像區(qū)域內(nèi)的逐點對應(yīng)，通常很費時，而且局限于目標(biāo)與背景的灰度保持不變這個假設(shè)條件下。如果圖像中的目標(biāo)尺寸較大，有明顯的形狀或紋理等信息，就應(yīng)該根據(jù)圖像自身的特征利用下面介紹的基于匹配技術(shù)的方法來檢測和跟蹤目標(biāo)。

4.2 基于匹配技術(shù)的方法

基于區(qū)域的圖像模板匹配[2,8]能利用目標(biāo)圖像中的所有信息，對目標(biāo)對象的識別能力強、精度高，但對旋轉(zhuǎn)和縮放(非本質(zhì)變化)目標(biāo)圖像的識別能力較差。圖像特征匹配是現(xiàn)在研究的熱點,它具有穩(wěn)定性好、易于實現(xiàn)、匹配效率高、對圖像的旋轉(zhuǎn)和縮放不敏感、抗噪性能好等特點，但是計算量大，跟蹤效果與選取的特征直接相關(guān)。在基于圖像特征的匹配方法中，運動目標(biāo)跟蹤是在視頻圖像序列中找到與目標(biāo)特征相匹配的特征點來實現(xiàn)的。簡單的特征包括點、線段、邊緣、輪廓，復(fù)雜的特征可以是它們的組合。

在圖像域內(nèi)直接利用灰度跟蹤的方法的優(yōu)點是，直接利用目標(biāo)的像素灰度組成模板，找到不同幀之間的圖像灰度對應(yīng)關(guān)系，因此不需要提取目標(biāo)特征和建模等計算，方法相對簡單，但這種方法完全依據(jù)于圖像數(shù)據(jù)，存在以下缺點：

1) 互相關(guān)算法的運算量大。

2) 對于尺度、旋轉(zhuǎn)等圖像變形問題，模板匹配很困難。

3) 目標(biāo)或背景的亮度、對比度變化會導(dǎo)致模板匹配不穩(wěn)定。

由于這些缺點的存在，這種歸一化相關(guān)或模板匹配方法只限制在目標(biāo)運動簡單、只有平移運動、視角固定或變化緩慢、背景也相對簡單的情況。另外，當(dāng)跟蹤圖像中存在雜波、噪聲，目標(biāo)存在較大的尺度方位變化時，這種跟蹤方法不再可靠，容易產(chǎn)生跟蹤點偏離。如果把模板匹配的方法改為對圖像的變形參數(shù)進(jìn)行優(yōu)化方法來尋找與模板的最佳匹配，可以解決尺度、方位變化的問題。但是由于圖像是離散的，要用插值方法對變形后的模板進(jìn)行像素級的模板重建來與圖像匹配，運算量很大。

與直接用灰度模板相關(guān)的目標(biāo)跟蹤方法相比，基于特征匹配進(jìn)行跟蹤的方法具有如下的優(yōu)點：

1) 與灰度模板相關(guān)方法比較，所處理的數(shù)據(jù)量大大減少。

2) 抽取特征方法對幾何變形、亮度變化、對比度變化具有魯棒性。

3) 基于特征的方法可以根據(jù)精度的需要來選取使用的目標(biāo)特征數(shù)量。

這類方法的特點是，它們對于圖像灰度的整體變化不敏感，但是對于圖像模糊、噪聲等比較敏感；圖像特征的提取效果也依賴于獲取它們的各種算子及其參數(shù)設(shè)置。圖像的特征看似簡單，但是由于容易受到噪聲影響，在很多環(huán)境下并不適用。而且?guī)g的特征對應(yīng)關(guān)系也較難確定，尤其是當(dāng)特征數(shù)目不一致、存在漏檢或者新增的特征時。所以，一般來講這類算法主要應(yīng)用于紋理信息比較豐富、結(jié)構(gòu)清晰的大目標(biāo)。

5 方法的選擇

由于運動場景下的目標(biāo)跟蹤具有很強的隨機(jī)性，任何算法都不是絕對準(zhǔn)確的，都不能通用于任何場景，但是跟蹤方法的選擇還是有一定的規(guī)律性：

1) 從單目標(biāo)和多目標(biāo)來看，匹配法多適用于單目標(biāo)；而運動分析法多適用于多目標(biāo)，特別是光流法可以解決目標(biāo)之間重疊的問題。

2) 從目標(biāo)的特征來看，如果圖像中的目標(biāo)尺寸較大，有明顯的形狀或紋理等信息，就應(yīng)該根據(jù)圖像自身的特征于匹配方法來檢測和跟蹤目標(biāo)，否則，采用基于運動分析的方法。

3) 從跟蹤的精度高低來看，對于會議電視系統(tǒng)的跟蹤來說，一般對跟蹤的精度要求不高，只要能做到實時跟蹤就可以，所以跟蹤算法要求盡量簡單，運算量小，采用簡單的幀差法結(jié)合適當(dāng)?shù)谋尘把a償方法即可。

6 結(jié)語

隨著數(shù)字信號處理技術(shù)的發(fā)展，一些新的方法如神經(jīng)網(wǎng)絡(luò)、遺傳算法等也被應(yīng)用到識別跟蹤技術(shù)中。另外數(shù)據(jù)融合技術(shù)也被應(yīng)用到識別跟蹤技術(shù)中，如基于多傳感器的數(shù)據(jù)融合技術(shù)、基于多光譜的數(shù)據(jù)融合技術(shù)。取得了很好的效果，這些算法各有其優(yōu)缺點，應(yīng)用分別適用于不同的應(yīng)用場合。這樣，可以從多個角度、多個側(cè)面進(jìn)行識別定位，其識別定位的效果較單一方法、單一角度的識別定位更為準(zhǔn)確有效。

通過研究并分析了幾種典型的目標(biāo)識別跟蹤方法的基本原理、基本屬性、存在弊端及發(fā)展過程，總結(jié)了目標(biāo)跟蹤的選擇方法。對于不同的目標(biāo)和場合,選擇不同的方法來實現(xiàn)目標(biāo)跟蹤,使其運用在特定的領(lǐng)域能夠更好地發(fā)揮出其在特定領(lǐng)域的優(yōu)越性。跟蹤算法的高實時性、高精確性是下一步要研究的重點。

以上各種方法各有千秋，對于每一種算法的弊端可以從以下幾方面進(jìn)一步完善：

1) 結(jié)合模糊神經(jīng)網(wǎng)絡(luò)的算法

以往對多目標(biāo)跟蹤的研究方法，是建立在各種機(jī)動目標(biāo)的數(shù)學(xué)模型和各種濾波方法上。雖然能對機(jī)動沒有進(jìn)行有效的跟蹤，但計算量大，跟蹤過程很復(fù)雜，而且機(jī)動目標(biāo)的運動描述很復(fù)雜，難以用一個準(zhǔn)確的數(shù)學(xué)模型來描述。而結(jié)合模糊神經(jīng)網(wǎng)絡(luò)結(jié)合[6][7]的方法，可以優(yōu)勢互補，可以將人的模糊判別的特點引入到跟蹤系統(tǒng)中，用簡單的程序完成復(fù)雜判別。

2) 人機(jī)交互由于運動場景的復(fù)雜及各種隨機(jī)因素的產(chǎn)生，單靠計算機(jī)自動識別是有一定難度的，在適當(dāng)?shù)那闆r下，加入人為的指導(dǎo)作用，會起到事半功倍的效果。如隨時指定要跟蹤的目標(biāo)，在目標(biāo)辨別錯誤或丟失情況下，指定重新搜索等。

[1] 桑愛軍,宋建中.基于跟蹤度的cabor小波特征跟蹤方法研究[J].光學(xué)技術(shù)，2005,31(4):588-590. SANG Aijun, SONG Jianzhong. Gabor wavelet feature tracking method based on criteria of trackin[J].OpticalTechnique.2005,31(4):588-590.

[2] 常發(fā)亮,馬麗,喬誼正.遮擋情況下基于特征相關(guān)匹配的目標(biāo)跟蹤算法[J].中國圖像圖形學(xué)報,2006,11(6):887-882. CHANGFaliang, MALi, QIAOYizheng. Targettrackingalgorithmunderocclusionbasedoncorrelationmatching[J].J.Imagand Graphics,2006,11(6):877-882.

[3] Shi Rong, Li Zaiming. The Compensation for High-speed Optical Flow Estimation with Displacement Motion[C]//IEEE communication, circuit and system International Conference,2002(6):595-599.

[4] H.Tao,H.Sawhney and R.Kumar. Dynamiclayer representation with applications toTracking[C]//Proc. IEEE Conf. on Comp. Vision and Pattern Recogn.,2000:134-141.

[5] Stauffer C, GrimsonW E.Adaptive background mixturemodels for real-time tracking[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition, Fort Collins: IEEE Computer Society,1999:246-252.

[6] 夏佩倫,溫洪.基于模糊推理的目標(biāo)跟蹤[J].控制與決策,2003,10(17):23-26. X IAPeilun, W ENHong.Target tracking based on fuzzy inference[J].Electronics Optics& Control,2003,10(17):23-26.

[7] 劉其真.模糊記憶方法用于紅外圖像飛機(jī)目標(biāo)跟蹤[J].工程圖形學(xué)報,2000,23:40-44. LIU Qizhen. AFuzzyremembranceApproach ForTrackingFlyingObjectof InfraredImage.Journal of Engineering Graphics,2000,23:40-44.

[8] 張娟,毛曉波.運動目標(biāo)跟蹤算法研究綜述[J].計算機(jī)應(yīng)用研究，2009，16(12)：4407-4408. ZHANG Juan, MAO Xiaobo, et al. Surveyofmoving object tracking algorithm[J].ApplicationResearch ofComputer,2009,16(12)：4407-4408.

[9] 薛陳,朱明.遮擋情況下目標(biāo)跟蹤算法綜述[J].中國光學(xué)與應(yīng)用光學(xué),2009,2(5)：387-391. XUE Chen, ZHU Ming. Reviewof tracking algorithms under occlusion[J]. Chinese Journal ofOptics andAppliedOptics,2009,2(5):387-391.

[10] 江澤濤,趙榕春,黎明.一種基于相關(guān)的分層匹配與目標(biāo)跟蹤算法[J].航空學(xué)報,2006,27(4):670-675. JIANG Zetao, ZHAO Rongchun, LIMing. Acorrelationbasedlayeredmatchingandtargettrackingmethod[J].ActaAeronauticaet,AstronauticsSinica,2006,27(4):670-675.

Research on Moving Target Tracking

WANG Mingbo

(Unit 98, No. 92493 Troops of PLA, Huludao 125000)

In this paper ,some representative methods which include the basic principle , applicability,virtues and drawbacks ,etc, are introduced. The improved idea is put forward and the selected method of target tracking is summarized based on comparison different methods in many sides. Using them in certain area can reach a good real-time tracking precision for different targets and situations. It has good tracking precision and character of real-time. Finally, the direction needed to beinvestigate further is discussed.

moving target tracking, analyzing, matching

2016年5月14日,

2016年6月27日

王明波,男,工程師,研究方向：電子對抗總體技術(shù)。

TN911

10.3969/j.issn.1672-9722.2016.11.015