多特征聯(lián)合匹配的目標(biāo)圖像穩(wěn)定跟蹤算法

李玉玨，顏景龍

(1.北京理工大學(xué) 機(jī)電學(xué)院，北京100081;2.中國(guó)兵器工業(yè)系統(tǒng)總體部，北京100089)

0 引言

目標(biāo)圖像跟蹤性能決定了成像制導(dǎo)打擊彈藥的精確性。對(duì)于復(fù)雜背景條件下，攻擊移動(dòng)目標(biāo)，或者采用全程圖像制導(dǎo)的微小型彈藥來(lái)說(shuō)，目標(biāo)機(jī)動(dòng)、環(huán)境光照、成像噪聲，以及彈目距離由遠(yuǎn)及近而產(chǎn)生的成像視角變化等均會(huì)造成目標(biāo)圖像的劇烈變化［1-2］。此外，為了增加跟蹤的可靠性和穩(wěn)定性，跟蹤特征必須具備空間和時(shí)間不變性，跟蹤信息應(yīng)具有一定的冗余性。因此，為了滿(mǎn)足復(fù)雜應(yīng)用要求，研究多特征聯(lián)合跟蹤算法具有重要意義。

1 灰度特征匹配跟蹤算法及存在問(wèn)題

基于灰度模板匹配準(zhǔn)則的目標(biāo)跟蹤方法被廣泛應(yīng)用于目前各類(lèi)成像制導(dǎo)系統(tǒng)［3］，一方面，該準(zhǔn)則原理簡(jiǎn)單，便于實(shí)時(shí)實(shí)現(xiàn);另一方面，對(duì)于大多數(shù)末制導(dǎo)應(yīng)用場(chǎng)合，其精度基本能夠滿(mǎn)足要求。其基本方法為:在視頻序列基準(zhǔn)圖中，鎖定目標(biāo)跟蹤點(diǎn)，并以該點(diǎn)為中心選取模板，然后在后續(xù)視頻窗口中，以一定的區(qū)域?yàn)樗阉鞔翱?，依?jù)一定的匹配準(zhǔn)則在其中搜索最佳匹配點(diǎn)，并建立跟蹤窗口。常用匹配準(zhǔn)則有MAD、MSE，以及NCC 等。依據(jù)處理流程，算法由搜索和匹配兩部分組成;依據(jù)處理域，算法又可分為時(shí)域和頻域兩類(lèi)。序貫相似性檢測(cè)算法(SSDA)［4］和相位相關(guān)跟蹤算法［5-6］，是目前較為成熟的兩類(lèi)灰度模板匹配方法。

基于灰度模板匹配的目標(biāo)跟蹤算法需要克服目標(biāo)機(jī)動(dòng)而造成的成像視角變化，誘餌干擾，環(huán)境光照變化，目標(biāo)圖像膨脹，以及成像噪聲等問(wèn)題。圖1為某型導(dǎo)彈距離目標(biāo)由遠(yuǎn)及近，目標(biāo)在成像平面上所占像素?cái)?shù)變化情況?？梢钥闯觯S著飛行時(shí)間積累，尤其在飛行末端，目標(biāo)圖像膨脹非常嚴(yán)重，影響了系統(tǒng)的最小跟蹤距離。

2 點(diǎn)特征匹配跟蹤算法及存在問(wèn)題

相比于灰度特征而言，目標(biāo)的點(diǎn)特征以目標(biāo)的基本物理結(jié)構(gòu)作為特征提取依據(jù)，無(wú)論目標(biāo)如何運(yùn)動(dòng)，光照條件、成像角度如何變化，目標(biāo)的結(jié)構(gòu)形式都將保持不變，因此點(diǎn)特征具有一定的空間不變性［7］。通常使用的特征點(diǎn)提取方法包括Moravec、Harris、KLT、SIFT 等。

圖1 目標(biāo)像素?cái)?shù)隨飛行時(shí)間變化情況Fig.1 Target pixel numbers vs missile flying time

點(diǎn)特征匹配跟蹤的基本方法為:首先對(duì)模板圖像和視頻圖像計(jì)算特征點(diǎn)，以模板圖像中的所有特征點(diǎn)為參考，在視頻圖像中尋找匹配點(diǎn)，匹配準(zhǔn)則和搜索策略與灰度模板匹配類(lèi)似;然后以視頻圖像中已經(jīng)找到的特征點(diǎn)為參考，在模板圖像中尋找匹配點(diǎn)，取二次匹配一致的點(diǎn)作為最佳匹配特征點(diǎn);最后，對(duì)匹配點(diǎn)群進(jìn)行聚類(lèi)分析，并進(jìn)行模板更新。

通過(guò)特征點(diǎn)匹配，可以獲得多個(gè)匹配點(diǎn)對(duì)，如何確定唯一的最佳跟蹤點(diǎn)，需要對(duì)多個(gè)點(diǎn)對(duì)進(jìn)行聚類(lèi)處理。此外，在序列圖像中，不同幀的匹配點(diǎn)對(duì)可能存在數(shù)量上的變化，造成聚合跟蹤點(diǎn)在一個(gè)范圍內(nèi)漂移，降低了目標(biāo)軌跡的平滑性。

3 多特征聯(lián)合匹配的目標(biāo)跟蹤算法

多特征聯(lián)合匹配基于數(shù)據(jù)融合理論，充分利用了匹配信息的冗余性，避免單一特征在跟蹤過(guò)程中失效而造成的跟蹤失敗。以下就多特征聯(lián)合匹配目標(biāo)跟蹤算法中的3 個(gè)關(guān)鍵問(wèn)題進(jìn)行討論。

3.1 多特征選擇

特征選擇與場(chǎng)景類(lèi)型、背景復(fù)雜程度、目標(biāo)數(shù)量、目標(biāo)運(yùn)動(dòng)方式等有關(guān)?？衫玫哪繕?biāo)特征包括顏色特征、幾何特征、變換域特征和統(tǒng)計(jì)特征等，目前較常見(jiàn)的目標(biāo)跟蹤算法與特征類(lèi)型對(duì)應(yīng)關(guān)系如表1所示。

目標(biāo)的顏色特征是其在圖像中的最直接表示，包含了90%的目標(biāo)信息量，以灰度值、光流或者直方圖等形式表示，在對(duì)空、對(duì)海，以及較為簡(jiǎn)單的對(duì)地應(yīng)用背景中，如果場(chǎng)景光照變化不大，可以使用顏色特征進(jìn)行目標(biāo)跟蹤。幾何特征代表了目標(biāo)的本質(zhì)結(jié)構(gòu)，點(diǎn)、線、面間的相互約束關(guān)系不受光照、視角、彈目距離等客觀因素影響，是最為穩(wěn)健的跟蹤特征，對(duì)于復(fù)雜背景條件下的應(yīng)用，幾何特征能夠取得較好的效果。統(tǒng)計(jì)特征能夠提高復(fù)雜環(huán)境下的目標(biāo)跟蹤穩(wěn)定性。變換域特征是顏色特征在頻域的體現(xiàn)，雖然其克服了光照變化對(duì)目標(biāo)跟蹤的影響，但其處理過(guò)程和實(shí)時(shí)實(shí)現(xiàn)都較為復(fù)雜，阻礙了其在工程上的應(yīng)用。綜合上述對(duì)各種目標(biāo)跟蹤算法和目標(biāo)特征的分析，形成以下幾種特征選擇方案:1)顏色特征加幾何特征;2)顏色特征加統(tǒng)計(jì)特征;3)幾何特征加統(tǒng)計(jì)特征;4)顏色特征加幾何特征加統(tǒng)計(jì)特征。

表1 目前較常見(jiàn)的目標(biāo)跟蹤算法與特征類(lèi)型對(duì)應(yīng)關(guān)系Tab.1 Corresponding relationship between target tracking algorithms and features

當(dāng)然，上述幾種特征組合方式是在對(duì)各種跟蹤算法理論分析和仿真實(shí)驗(yàn)中獲得的經(jīng)驗(yàn)性結(jié)論，對(duì)于各種特征的具體算法選用還應(yīng)由特定應(yīng)用環(huán)境確定。

3.2 多特征融合跟蹤策略

多特征融合跟蹤充分利用了冗余匹配信息，避免單一方法失效而造成的跟蹤失敗。設(shè)n 種跟蹤方法獲得的目標(biāo)跟蹤點(diǎn)坐標(biāo)分別為P1(x，y)，P2(x，y)，…，Pn(x，y)，目標(biāo)的特征向量為V，各跟蹤點(diǎn)處的特征向量為Vi(i=1，2，…，n)，通過(guò)計(jì)算兩特征向量之間的相似度，確定目標(biāo)跟蹤精度。常用的相似性度量方法有均方誤差評(píng)價(jià)法、相關(guān)系數(shù)評(píng)價(jià)法、擬合優(yōu)度評(píng)價(jià)法、歸一化內(nèi)積法、Camberra 距離法、頻譜分析法等。為簡(jiǎn)單起見(jiàn)，本文應(yīng)用向量差絕對(duì)和作為相似性度量準(zhǔn)則，用公式表示為

其值越大，表明兩向量相似度越好，則跟蹤點(diǎn)越精確。并對(duì)各相似度進(jìn)行歸一化處理，得各特征對(duì)應(yīng)權(quán)值:

以多特征融合方式獲得的目標(biāo)跟蹤點(diǎn)坐標(biāo)表示為

在上述多特征融合跟蹤策略中，特征向量V 的選擇可以有多種方式，研究中以跟蹤點(diǎn)為中心，選取20 ×20 鄰域(盡可能包含目標(biāo))，統(tǒng)計(jì)其灰度直方圖，構(gòu)建N×1 維特征向量。

3.3 算法流程

多特征融合目標(biāo)跟蹤算法流程如下:

1)初始跟蹤點(diǎn)確定。初始跟蹤點(diǎn)人為指定產(chǎn)生，并生成初始目標(biāo)特征向量V0.

2)權(quán)重w 的確定。應(yīng)用多特征算法分別進(jìn)行目標(biāo)跟蹤處理，計(jì)算特征向量的相似度，并確定各跟蹤點(diǎn)對(duì)聯(lián)合跟蹤坐標(biāo)的權(quán)重。

3)跟蹤點(diǎn)修正。在進(jìn)行目標(biāo)跟蹤中，通常假設(shè)目標(biāo)是剛性的，且其運(yùn)動(dòng)軌跡比較平滑，尤其在圖像制導(dǎo)應(yīng)用中，一旦完成目標(biāo)鎖定，目標(biāo)角位移在圖像中變化很小(小于幾個(gè)像素)。若某種跟蹤算法的相似度權(quán)重過(guò)小，并且相鄰兩幀跟蹤點(diǎn)偏移范圍大于給定鄰域大小，則可認(rèn)為該跟蹤算法失效，不參與該幀聯(lián)合跟蹤計(jì)算。這里以5 ×5 鄰域作為跟蹤點(diǎn)偏移范圍。

4)目標(biāo)特征向量更新。獲取多特征聯(lián)合跟蹤點(diǎn)之后，計(jì)算該跟蹤點(diǎn)鄰域特征向量與前幀特征向量的相似度，若其小于給定閾值，則更新目標(biāo)特征向量;否則，繼續(xù)以前一特征向量參與計(jì)算。

算法流程圖如圖2所示。圖中THw為權(quán)重閾值，Ω 為跟蹤點(diǎn)鄰域，THV為相鄰兩幀跟蹤點(diǎn)特征向量差閾值。

4 仿真

圖3所示為某導(dǎo)彈導(dǎo)引頭飛行視頻中的若干幀，可以看出，地面背景比較復(fù)雜，目標(biāo)模板變化較大。仿真中綜合利用灰度模板匹配和Harris 角點(diǎn)匹配算法進(jìn)行跟蹤點(diǎn)聯(lián)合定位。

為了減少數(shù)據(jù)量，等間隔抽取跟蹤視頻中的100 幀數(shù)據(jù)進(jìn)行算法有效性驗(yàn)證。

圖2 多特征聯(lián)合匹配目標(biāo)跟蹤算法流程圖Fig.2 Flow chart of multi-feature joint match target tracking algorithm

圖4為應(yīng)用模板匹配法和Harris 角點(diǎn)法對(duì)上述視頻進(jìn)行目標(biāo)跟蹤的跟蹤點(diǎn)坐標(biāo)分布圖。

其中灰度模板選取20 ×20 像素，由模板匹配法獲得的跟蹤點(diǎn)坐標(biāo)漂移范圍在3 個(gè)像素以?xún)?nèi)，但模板匹配法容易造成跟蹤點(diǎn)的誤差積累，產(chǎn)生跟蹤漂移，不利于目標(biāo)跟蹤。由圖中模板匹配跟蹤坐標(biāo)點(diǎn)分布曲線的變化趨勢(shì)也可看出這一點(diǎn)，而且當(dāng)灰度變化較大時(shí)，有可能出現(xiàn)完全丟失目標(biāo)的情況。Harris 角點(diǎn)法能夠較好地跟蹤目標(biāo)運(yùn)動(dòng)趨勢(shì)，盡管造成了較大的跟蹤點(diǎn)幀間漂移，但對(duì)整個(gè)跟蹤過(guò)程來(lái)說(shuō)，由于匹配點(diǎn)對(duì)基本上處于目標(biāo)區(qū)域，這種誤差不會(huì)造成目標(biāo)的徹底丟失，因此其在全程均具有一定可信性。圖中Harris 角點(diǎn)法跟蹤坐標(biāo)最大散布范圍為8 個(gè)像素，離散性較大，同樣不利于穩(wěn)定跟蹤。

下面應(yīng)用多特征聯(lián)合匹配目標(biāo)跟蹤算法進(jìn)行跟蹤點(diǎn)聯(lián)合定位。

4.1 相似度度量

以各跟蹤點(diǎn)的20 ×20 像素鄰域?yàn)閰^(qū)域，進(jìn)行灰度直方圖統(tǒng)計(jì)，并依據(jù)相似度度量準(zhǔn)則計(jì)算特征向量的相似性。圖5為相似性度量及歸一化權(quán)重?cái)?shù)據(jù)分布曲線。

圖3 跟蹤視頻中的若干幀F(xiàn)ig.3 Video frames of tracking course

初始跟蹤點(diǎn)人為指定，在初始幀具有數(shù)值為1的相同相似度，以及0.5 的相同權(quán)重。圖5(a)顯示兩種方法在各幀跟蹤點(diǎn)鄰域同目標(biāo)的特征向量間相似程度。該準(zhǔn)則定義數(shù)值越大，相似度越高，在跟蹤初期，目標(biāo)跟蹤比較穩(wěn)定，對(duì)應(yīng)相似度較高;而隨著跟蹤的進(jìn)行，由于跟蹤點(diǎn)的漂移，造成了相似度降低，曲線趨勢(shì)驗(yàn)證了這一過(guò)程。圖5(b)為各自跟蹤點(diǎn)對(duì)聯(lián)合跟蹤點(diǎn)定位的歸一化權(quán)重曲線。由于只有兩種方法參與跟蹤運(yùn)算，其權(quán)重關(guān)系為w2=1-w1，因此兩者歸一化權(quán)重曲線基本上對(duì)稱(chēng)于w=0.5 的直線。從兩圖可以看出，由Harris 角點(diǎn)匹配算法確定的跟蹤點(diǎn)與目標(biāo)的相似度高于灰度模板匹配方法，相應(yīng)的權(quán)重也越高，這同理論上分析一致。

圖4 模板匹配法和Harris 角點(diǎn)法實(shí)現(xiàn)目標(biāo)跟蹤Fig.4 Target tracking performed by template match and Harris corners

4.2 跟蹤點(diǎn)聯(lián)合定位

獲得各算法對(duì)跟蹤點(diǎn)的歸一化權(quán)重后，即可應(yīng)用多特征跟蹤策略實(shí)現(xiàn)跟蹤點(diǎn)聯(lián)合定位。圖6為多特征跟蹤點(diǎn)聯(lián)合定位的x，y 坐標(biāo)分布圖。

由上述計(jì)算可見(jiàn)，兩種算法的跟蹤點(diǎn)歸一化權(quán)值均大于0.4，且跟蹤點(diǎn)偏移范圍在3 ×3 像素以?xún)?nèi)，所以各特征均參與了跟蹤點(diǎn)的聯(lián)合定位，并且依據(jù)算法對(duì)模板更新要求進(jìn)行了操作。由曲線可以看出，應(yīng)用權(quán)重進(jìn)行跟蹤點(diǎn)重定位之后，目標(biāo)跟蹤軌跡綜合了兩種方法的定位信息，保持跟蹤點(diǎn)漂移不大于3 個(gè)像素，同時(shí)能夠利用兩種方法的優(yōu)點(diǎn)，實(shí)現(xiàn)穩(wěn)定跟蹤目的。

基于灰度特征和基于點(diǎn)特征的跟蹤算法均是以二維運(yùn)動(dòng)估計(jì)中的塊匹配理論為依據(jù)，因此，兩者可以應(yīng)用相同的模板，以及相同的模板更新策略，以應(yīng)對(duì)模板變化對(duì)跟蹤的影響。多次仿真發(fā)現(xiàn)，兩者在某些方面存在著差異，進(jìn)行聯(lián)合跟蹤，需要考慮各自的特點(diǎn)。這些差異表現(xiàn)在兩個(gè)方面:一方面，兩者對(duì)模板大小有一定的要求，對(duì)于點(diǎn)特征匹配方法，模板尺寸太小，不利于特征點(diǎn)選取，模板越大匹配越精確;對(duì)于灰度特征匹配方法，模板太小，目標(biāo)丟失可能性增加，目標(biāo)太大則增加了計(jì)算量。經(jīng)過(guò)仿真驗(yàn)證，點(diǎn)特征匹配方法選取模板大小為50 ×50 像素，灰度特征匹配方法選取模板大小為20 ×20 像素，可以達(dá)到較好的聯(lián)合跟蹤效果;另一方面，模板更新方式對(duì)于灰度匹配方法有較大的影響，變模板極易造成跟蹤點(diǎn)漂移，并最終丟失目標(biāo)。固定模板則易受彈目角度、距離變化的影響，實(shí)用性不強(qiáng)。相比之下，特征點(diǎn)匹配方法對(duì)定模板和變模板均有良好的適應(yīng)性。

圖5 相似性度量及歸一化權(quán)重Fig.5 Comparability measure and generalized weight

4.3 對(duì)算法的進(jìn)一步探討

由圖6可見(jiàn)，聯(lián)合跟蹤點(diǎn)雖然基本上綜合了兩種策略的匹配點(diǎn)分布，但分布曲線平滑性仍然不夠，這可能與3 個(gè)方面的因素有關(guān):一方面，用于測(cè)試的視頻序列目標(biāo)運(yùn)動(dòng)軌跡比較復(fù)雜，存在旋轉(zhuǎn)運(yùn)動(dòng);另一方面，權(quán)重需要進(jìn)一步優(yōu)化，以提高聯(lián)合跟蹤點(diǎn)分布合理性;第三，聯(lián)合定位獲得的跟蹤點(diǎn)軌跡仍是目標(biāo)實(shí)際軌跡的近似，進(jìn)一步借助濾波，能夠有效消除噪聲影響，得到關(guān)于目標(biāo)位置的最優(yōu)估計(jì)，有利于實(shí)現(xiàn)平滑跟蹤。

基于模板匹配的SSDA 算法已經(jīng)被廣泛應(yīng)用于簡(jiǎn)單背景下的目標(biāo)跟蹤系統(tǒng)，并滿(mǎn)足實(shí)時(shí)實(shí)現(xiàn)要求。Harris 點(diǎn)特征匹配算法通過(guò)采用開(kāi)窗、提高閾值等手段，亦能夠大大降低特征點(diǎn)選擇和相關(guān)操作的計(jì)算量，滿(mǎn)足實(shí)時(shí)處理要求。因此，本文驗(yàn)證的多特征聯(lián)合匹配目標(biāo)跟蹤算法可由多DSP 協(xié)同實(shí)現(xiàn)，滿(mǎn)足實(shí)時(shí)性應(yīng)用要求。

圖6 多特征跟蹤點(diǎn)聯(lián)合定位Fig.6 Joint confirmation of multi-feature tracking point

5 結(jié)論

采用導(dǎo)彈實(shí)際飛行數(shù)據(jù)，應(yīng)用灰度模板匹配和Harris 角點(diǎn)匹配方法進(jìn)行了算法驗(yàn)證，對(duì)比單一特征跟蹤方法，證明了多特征聯(lián)合匹配算法進(jìn)行目標(biāo)跟蹤的有效性和合理性，并對(duì)算法的進(jìn)一步優(yōu)化和實(shí)時(shí)性實(shí)現(xiàn)進(jìn)行了探討。理論分析和仿真結(jié)果表明:多特征聯(lián)合匹配的目標(biāo)跟蹤算法能夠提高目標(biāo)跟蹤信息的冗余性，通過(guò)分配權(quán)重，確定各種方法對(duì)聯(lián)合確定目標(biāo)跟蹤點(diǎn)的貢獻(xiàn)，避免單一特征失效對(duì)跟蹤進(jìn)程的影響，實(shí)現(xiàn)穩(wěn)定跟蹤的目的。

References)

［1］ William Roberts，Leslie Watkins，Dapeng Wu，et al.Vehicle tracking for urban surveillance［J］.Proc of SPIE，2008，6970:69700U-1-69700U-2.

［2］ Alper Yilmaz，Omar Javed，Mubarak Shah.Object tracking:a survey［J］.ACM Computing Surveys，2006，38(4):4-7.

［3］ Moira I Smith，Jamie P Heather，Jason F Ralph，et al.Target tracking for missile warning application［J］.Proc of SPIE，2004，5428:282-293.

［4］ 沈慧玲，戴本祁.一種基于序貫相似性檢測(cè)算法(SSDA)的加速算法［J］.光電技術(shù)應(yīng)用，2006，21(4):60-64.SHEN Hui-ling，DAI Ben-qi.A speed-up algorithm based on SSDA［J］.Electro-optic Technology Application，2006，21(4):60-64.(in Chinese)

［5］ 靳鵬飛.基于自適應(yīng)模板相關(guān)跟蹤算法的研究［J］.西安郵電學(xué)院學(xué)報(bào)，2007，12(1):44-47.JIN Peng-fei.Study on correlation tracking algorithm based on adaptive reference template［J］.Journal of Xi’an University of Post and Telecommunications，2007，12(1):44-47.(in Chinese)

［6］ 吳四夫，付宇卓，鄧紅梅.基于相位相關(guān)算法的實(shí)時(shí)圖像匹配系統(tǒng)［J］.計(jì)算機(jī)仿真，2005，22(11):84-87.WU Si-fu，F(xiàn)U Yu-zhuo，DENG Hong-mei.Real time imaging matching system based on phase only correlation［J］.Computer Simulation，2005，22(11):84-87.(in Chinese)

［7］ 王向軍，王研，李智.基于特征角點(diǎn)的目標(biāo)跟蹤和快速識(shí)別算法研究［J］.光學(xué)學(xué)報(bào)，2007，27(2):360-364.WANG Xiang-jun，WANG Yan，LI Zhi.Fast target recognition and tracking method based on characteristic corner［J］.Acta Optical Sinica，2007，27(2):360-364.(in Chinese)