基于kalman預(yù)測(cè)和自適應(yīng)模板的目標(biāo)相關(guān)跟蹤研究

陳少華，閆鈞華，朱智超，孫思佳

（南京航空航天大學(xué) 航天學(xué)院，江蘇 南京 210016）

目標(biāo)跟蹤越來(lái)越廣泛的應(yīng)用于軍事和民用領(lǐng)域，例如航空和軍用飛行器的精確制導(dǎo)系統(tǒng)、機(jī)載紅外跟蹤報(bào)警系統(tǒng)、重要場(chǎng)所的保安、汽車的自動(dòng)駕駛或者輔助駕駛等。目標(biāo)跟蹤算法基本可分為：直接利用目標(biāo)的灰度信息進(jìn)行模板相關(guān)匹配跟蹤；先檢測(cè)后跟蹤；基于目標(biāo)運(yùn)動(dòng)估計(jì)的跟蹤等。其中基于模板匹配的相關(guān)跟蹤算法具有較強(qiáng)的局部抗干擾能力，穩(wěn)定性能好，能適應(yīng)較復(fù)雜的環(huán)境等而被廣泛應(yīng)用[1-2]。

在圖像背景復(fù)雜的條件下，尤其是在連續(xù)幀動(dòng)態(tài)圖像跟蹤中，圖像的匹配變得相對(duì)困難。此時(shí)被跟蹤目標(biāo)不是一成不變的，可能有尺度的伸縮、位置的平移、角度的旋轉(zhuǎn)等變化，因此需要研究一種方法對(duì)下一幀圖像中目標(biāo)的狀態(tài)進(jìn)行預(yù)測(cè)，從而縮小在整個(gè)圖像上目標(biāo)檢測(cè)的搜索范圍，以滿足目標(biāo)跟蹤的實(shí)時(shí)性。同時(shí)跟蹤算法需要采取自適應(yīng)模板更新策略，對(duì)模板進(jìn)行更新，以提高目標(biāo)跟蹤的穩(wěn)定性[3]。

文中首先研究了kalman用于目標(biāo)預(yù)測(cè)的方法，在此基礎(chǔ)上研究了一種自適應(yīng)模板的更新策略及實(shí)現(xiàn)方法，用來(lái)解決連續(xù)幀動(dòng)態(tài)圖像跟蹤中由于目標(biāo)的形變、大小、位置隨時(shí)間變化而引起的目標(biāo)跟蹤點(diǎn)漂移。實(shí)驗(yàn)結(jié)果表明，該方法在連續(xù)幀動(dòng)態(tài)圖像跟蹤過(guò)程中，能夠?qū)δ繕?biāo)進(jìn)行穩(wěn)定跟蹤，算法的實(shí)時(shí)性能較好。

1 基于kalman的目標(biāo)預(yù)測(cè)

目標(biāo)跟蹤的關(guān)鍵技術(shù)在于能夠從圖像中檢測(cè)提取目標(biāo)，并將其與被跟蹤目標(biāo)建立對(duì)應(yīng)關(guān)系。而在整個(gè)圖像上搜索以檢測(cè)提取目標(biāo)是非常耗時(shí)的，為了滿足目標(biāo)跟蹤實(shí)時(shí)性的要求，應(yīng)盡量縮小在整個(gè)圖像上目標(biāo)檢測(cè)的搜索范圍。為此，文中研究了kalman用于下一幀圖像中目標(biāo)狀態(tài)的預(yù)測(cè)，從而縮小在整個(gè)圖像上目標(biāo)檢測(cè)的搜索范圍。當(dāng)目標(biāo)被遮擋時(shí)，目標(biāo)有可能從圖像中暫時(shí)消失，此時(shí)可利用對(duì)目標(biāo)位置的預(yù)測(cè)值來(lái)代替目標(biāo)的實(shí)際位置，從而實(shí)現(xiàn)對(duì)目標(biāo)的持續(xù)性跟蹤。

1.1 kalman目標(biāo)預(yù)測(cè)器

在跟蹤過(guò)程中，由于相關(guān)兩幀圖像時(shí)間間隔較短，目標(biāo)的運(yùn)動(dòng)狀態(tài)變化較小，因此可以假設(shè)目標(biāo)在單位時(shí)間間隔內(nèi)是勻變速運(yùn)動(dòng)，則目標(biāo)的運(yùn)動(dòng)趨勢(shì)用速度和加速度表示。故得到下列kalman預(yù)測(cè)方程。

系統(tǒng)的狀態(tài)方程：

式中定義kalman預(yù)測(cè)器的系統(tǒng)狀態(tài)為xk，xk是一個(gè)六維向量（px，py，vx，vy，ax，ay），分別代表目標(biāo)軌跡 X 方向的位置、速度和加速度與Y方向上的位置、速度和加速度。由前面的運(yùn)動(dòng)假設(shè)，可以得到系統(tǒng)的狀態(tài)轉(zhuǎn)移矩陣為：

式中Δt表示連續(xù)兩幀圖像間的時(shí)間間隔。其中wk-1是均值為零的高斯噪聲序列，其協(xié)方差矩陣為：

觀測(cè)方程：

在相關(guān)跟蹤中，觀測(cè)值為目標(biāo)的中心位置和外在矩形的長(zhǎng)寬度，因此觀測(cè)向量為 yk=（px，py），觀測(cè)矩陣 H 是一個(gè) 2×6維的矩陣，如下所示：

vk是零均值的高斯噪聲序列，其協(xié)方差矩陣為：

狀態(tài)更新方程為：

Kk為kalman預(yù)測(cè)器的增益矩陣：

1.2 實(shí)驗(yàn)結(jié)果

文中利用25 frame/s的avi視頻來(lái)對(duì)kalman目標(biāo)預(yù)測(cè)器進(jìn)行實(shí)驗(yàn)，視頻圖像的寬、高分別為320、240像素；模板的寬、高分別為34、21像素。實(shí)驗(yàn)得到基于kalman目標(biāo)預(yù)測(cè)器的目標(biāo)預(yù)測(cè)位置與利用模板匹配的目標(biāo)位置如圖1所示。

實(shí)驗(yàn)結(jié)果表明：利用三參數(shù)的kalman目標(biāo)預(yù)測(cè)器對(duì)目標(biāo)的位置進(jìn)行預(yù)測(cè)，能夠穩(wěn)定的實(shí)現(xiàn)對(duì)目標(biāo)的跟蹤。利用kalman目標(biāo)預(yù)測(cè)器對(duì)目標(biāo)進(jìn)行軌跡預(yù)測(cè)，可以使目標(biāo)跟蹤算法在相對(duì)較小的區(qū)域內(nèi)搜索目標(biāo)，文中確定的搜索區(qū)域?yàn)?0×80像素，這樣不僅提高了匹配速度，而且適用于速度較快的運(yùn)動(dòng)目標(biāo)的跟蹤。當(dāng)目標(biāo)被完全遮擋時(shí)，可以利用kalman目標(biāo)預(yù)測(cè)器對(duì)目標(biāo)的運(yùn)動(dòng)軌跡進(jìn)行預(yù)測(cè)，可以使目標(biāo)跟蹤算法在特定區(qū)域內(nèi)搜索目標(biāo)，等待目標(biāo)的重新出現(xiàn)。

2 自適應(yīng)模板的目標(biāo)相關(guān)跟蹤

在目標(biāo)相關(guān)跟蹤過(guò)程中，模板的更新機(jī)制直接影響跟蹤的性能[4]。若模板更新頻率過(guò)低，則跟不上目標(biāo)的變化；若模板更新過(guò)于頻繁，又容易受到光照、噪聲和背景的影響，導(dǎo)致跟蹤到假目標(biāo)?，F(xiàn)有的模板更新策略，基本上可分為3大類。第1類，將當(dāng)前目標(biāo)圖像的最佳匹配位置處的圖像作為目標(biāo)模板進(jìn)行下一幀圖像的匹配。第2類，按照一個(gè)固定的權(quán)值對(duì)當(dāng)前目標(biāo)圖像最佳匹配位置處的圖像和舊模板加權(quán)來(lái)生成新的模板。第3類，根據(jù)當(dāng)前幀的跟蹤質(zhì)量產(chǎn)生一個(gè)權(quán)值，對(duì)當(dāng)前目標(biāo)圖像最佳匹配位置處的圖像和舊模板加權(quán)產(chǎn)生新的模板。前兩類的更新策略沒(méi)有考慮到跟蹤效果的好壞，若前一幀圖像質(zhì)量較差，或者前一幀跟蹤質(zhì)量不佳，勢(shì)必影響后續(xù)幀的跟蹤，造成跟蹤誤差累積，從而導(dǎo)致跟蹤的失敗，或者跟蹤錯(cuò)誤。第3類更新策略雖然根據(jù)跟蹤效果的好壞進(jìn)行了加權(quán)更新模板，但是這種方法不能根據(jù)目標(biāo)的變化更新模板的大小，因此不能適應(yīng)目標(biāo)的大小和姿態(tài)變化。由此可見(jiàn)，當(dāng)目標(biāo)發(fā)生姿態(tài)、大小變化或受到遮擋時(shí)，如果用上面3類方法更新模板，因?yàn)槟０宀荒芎芎玫姆从衬繕?biāo)的變化，最終會(huì)導(dǎo)致跟蹤的失敗或者錯(cuò)誤。文中提出了一種自適應(yīng)的模板更新算法，新算法的流程如圖2所示。

圖1 kalman目標(biāo)預(yù)測(cè)位置與目標(biāo)測(cè)量位置比較圖Fig.1 Comparison between position of kalman target predict and position of target measured

2.1 相似測(cè)度

筆者采用歸一化的相關(guān)系數(shù)作為相似測(cè)度[5]：

其中 0≤R（i，j）≤1。 R（i，j）越大，表示模板與當(dāng)前子圖匹配程度越高；R（i，j）越小，表示模板與當(dāng)前子圖匹配程度越低，故選擇整幅圖像中R（i，j）最大的值作為目標(biāo)的最佳匹配位置即跟蹤位置。這種基于歸一化相關(guān)系數(shù)的模板匹配目標(biāo)相關(guān)跟蹤算法的缺點(diǎn)是：采用整幅圖像作全局搜索，需要計(jì)算相似測(cè)度，運(yùn)算量較大、實(shí)時(shí)性不好、跟蹤速度很慢。因此本文利用kalman目標(biāo)預(yù)測(cè)器對(duì)目標(biāo)進(jìn)行軌跡預(yù)測(cè)，使目標(biāo)跟蹤算法在相對(duì)較小的區(qū)域內(nèi)搜索目標(biāo)，提高匹配速度。

圖2 自適應(yīng)模板更新算法流程圖Fig.2 Flow diagram of algorithm for adaptive template updating

2.2 模板更新準(zhǔn)則

模板與當(dāng)前子圖匹配程度由相似測(cè)度R表示，計(jì)算當(dāng)前幀與當(dāng)前模板的相似測(cè)度R。模板評(píng)價(jià)函數(shù)是計(jì)算前一次匹配峰值與當(dāng)前匹配峰值的差值ΔR。當(dāng)R＞R1&ΔR＜R3時(shí)表示模板與當(dāng)前子圖匹配成功。

當(dāng)ΔR落在某一區(qū)間內(nèi)的時(shí)候?qū)δ０暹M(jìn)行更新[6]，即:

的取值規(guī)律如相似測(cè)度所講，在此們需要匹配程度不能太低，故需要滿足。當(dāng)時(shí)，當(dāng)前圖像與模板匹配的很好，目標(biāo)幾乎沒(méi)有變化，不必更新模板；當(dāng)時(shí)，當(dāng)前圖像目標(biāo)區(qū)與模板相比發(fā)生了很大變化，可能有物體遮擋目標(biāo)，或者目標(biāo)發(fā)生了形變，此時(shí)需要判斷是否需要更新模板，以免發(fā)生錯(cuò)誤。和一般是通過(guò)實(shí)驗(yàn)獲得的經(jīng)驗(yàn)值。其中的取值要特別注意：若取值太大，由于變化模板構(gòu)造對(duì)于目標(biāo)有滯后性，這會(huì)使得當(dāng)目標(biāo)變形較大時(shí)，容易產(chǎn)生累積誤差，造成新模板與目標(biāo)產(chǎn)生很大的差距；若取值過(guò)小，由于場(chǎng)景對(duì)目標(biāo)的滯后性，這會(huì)導(dǎo)致模板變換過(guò)于頻繁，目標(biāo)在某一幀產(chǎn)生跳躍時(shí)會(huì)造成很大誤差。若取值太小，會(huì)造成跟蹤算法不能抵擋微小的形變，必須不斷地判定是否發(fā)生遮擋、形變，導(dǎo)致目標(biāo)有滯后性；若太大，則不能有效地檢測(cè)目標(biāo)的形變。

2.3 自適應(yīng)模板更新算法流程

自適應(yīng)模板更新算法流程如圖2所示。

1）基于kalman目標(biāo)預(yù)測(cè)器對(duì)目標(biāo)進(jìn)行軌跡預(yù)測(cè)。

2）計(jì)算當(dāng)前幀與當(dāng)前模板的相似測(cè)度R及評(píng)價(jià)函數(shù)ΔR。根據(jù)相似測(cè)度R及評(píng)價(jià)函數(shù)ΔR的值判定其是否滿足匹配成功的條件，若滿足R＞R1&ΔR＜R3則進(jìn)一步判定是否需要更新模板。若滿足ΔR＜R2則使用基于目標(biāo)模板緩沖區(qū)的模板更新方法；若滿足ΔR＜R2，則說(shuō)明當(dāng)前模板與圖像匹配的非常好，無(wú)需更新。這樣能保證模板是最好的以及最新的。

3）若不滿足匹配成功的條件，則進(jìn)一步判定匹配失敗的原因。匹配失敗可能由于目標(biāo)被遮擋及目標(biāo)發(fā)生形變而造成的，這需要進(jìn)一步的判定。此時(shí)提取當(dāng)前位置上的目標(biāo)，對(duì)當(dāng)前目標(biāo)的外接矩形的寬度和長(zhǎng)度進(jìn)行計(jì)算，與模板中提取出的原有目標(biāo)值進(jìn)行比較。 如果 Δheight＞0.4×Height，Δwidth＞0.4×Width，其中Height、Width分別是原來(lái)目標(biāo)中的高度和寬度，Δheight，ΔWidth是當(dāng)前目標(biāo)與原來(lái)目標(biāo)的長(zhǎng)度和寬度的差值。由于兩幀之間的目標(biāo)形變不可能太大，所以當(dāng)尺寸變化太大時(shí)，是由于目標(biāo)被遮擋造成的，此時(shí)將kalman預(yù)測(cè)的位置作為目標(biāo)的最佳匹配位置，進(jìn)入下一幀循環(huán)。如果Δheight＞0.4×Height，Δwidth＞0.4×Width，這說(shuō)明匹配的不好是由于目標(biāo)形變和放縮造成的，此時(shí)在最佳位置上使用雙線性插值，使得目標(biāo)與當(dāng)前模板中目標(biāo)一樣大小，再次進(jìn)行匹配。此時(shí)如果相關(guān)值R較大，則說(shuō)明剛剛的判斷是準(zhǔn)確的，以當(dāng)前最佳位置上提取的目標(biāo)作為新模板。本實(shí)驗(yàn)中R取0.9。

2.4 基于目標(biāo)模板緩沖區(qū)的模板更新

目標(biāo)模板緩沖區(qū)是在內(nèi)存中開(kāi)辟的緩沖區(qū)，用于存放最近幾幀中跟蹤較好的目標(biāo)模板。將新目標(biāo)模板取代目標(biāo)模板緩沖區(qū)中最舊的目標(biāo)模板，并保存相應(yīng)的相關(guān)系數(shù)，然后選出目標(biāo)緩沖區(qū)中相關(guān)系數(shù)值最大的目標(biāo)模板作為下一幀跟蹤的目標(biāo)模板。如此，既保證了目標(biāo)模板是最好的，又保證了目標(biāo)模板是新的。模板更新公式[7]如下：

其中Ti為新模板，即在該幀存入模板緩沖區(qū)的模板，Told為舊模板，即從模板緩沖區(qū)內(nèi)（設(shè)定為過(guò)去的N（本文取5）幅）比較優(yōu)秀的模板中選出對(duì)應(yīng)的相關(guān)系數(shù)最好的一個(gè)做為當(dāng)前幀的舊模板，Tcur為當(dāng)前幀跟蹤位置上分割所得的新模板。Ci為加權(quán)的權(quán)值，如果采用相關(guān)跟蹤匹配時(shí)，Ci便是相關(guān)系數(shù)，用來(lái)存放N個(gè)與N幀模板相對(duì)的相關(guān)系數(shù)R的區(qū)域。

實(shí)驗(yàn)表明，采用這種目標(biāo)模板更新，不僅有效地抑制了跟蹤誤差的累積和跟蹤目標(biāo)的漂移，而且即使跟蹤過(guò)程中有些幀跟蹤得不好，下一幀往往又能回到正確的跟蹤位置。

2.5 目標(biāo)提取

在模板更新時(shí)，需要對(duì)圖像進(jìn)行重新切割并重新提取模板邊界[8]，在分割模板擴(kuò)展區(qū)域時(shí)（文中取比模板圖像的長(zhǎng)寬各增大40%的區(qū)域），采用sobel進(jìn)行目標(biāo)檢測(cè)。由于模板擴(kuò)展區(qū)域最豐富的就是目標(biāo)的邊緣信息，同時(shí)少了模板外背景信息的干擾，使得采用此算法可以得到較好的分割效果。它的基本原理是：

2）根據(jù)邊緣強(qiáng)度進(jìn)行像素灰度值加權(quán)平均計(jì)算出圖像的分割閾值，通過(guò)投影法確定目標(biāo)區(qū)域。

3 實(shí)驗(yàn)結(jié)果及討論

文中仿真實(shí)驗(yàn)源程序在VC++6.0環(huán)境下開(kāi)發(fā)，操作系統(tǒng)為Windows XP。視頻是29 frame/s，像素avi視頻。針對(duì)目標(biāo)尺寸發(fā)生變化的情況，分別采用3種不同算法即：基于歸一化相關(guān)的固定模板跟蹤算法、基于歸一化相關(guān)的逐幀更新模板跟蹤算法和文中所提出的算法（其中R1=0.8，R2=0.03，R3=0.08），對(duì)目標(biāo)進(jìn)行跟蹤實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如圖3、圖4、圖5所示：

圖3 固定模板跟蹤算法結(jié)果Fig.3 Results of fixed template tracking

圖4 逐幀模板更新跟蹤算法結(jié)果Fig.4 Results of template update per frame

圖5 文中所提出的跟蹤算法結(jié)果Fig.5 Results of tracking algorithm proposed

由圖3可以看出，固定模板跟蹤算法對(duì)于目標(biāo)尺度變化的適應(yīng)性較差，算法在233幀時(shí)就開(kāi)始出現(xiàn)偏移，在261幀時(shí)偏移已比較嚴(yán)重，在279幀時(shí)已出現(xiàn)跟蹤不穩(wěn)定及錯(cuò)跟的現(xiàn)象。圖4，逐幀模板更新的跟蹤算法，由于誤差及目標(biāo)的變化，導(dǎo)致更新的模板只能反映圖像的一部分變化，在228幀的時(shí)候就出現(xiàn)了漂移，雖然后面仍能跟蹤目標(biāo)，但漂移程度越來(lái)越嚴(yán)重。圖5是采用本文所提出的跟蹤算法得到的結(jié)果，算法在71、268等多幀處滿足跟蹤成功和模板更新的條件即滿足，進(jìn)行了模板更新，使得該算法的模板能有效地克服微小的形變。算法在12、183、220等幀的時(shí)候符合目標(biāo)尺寸改變的條件，進(jìn)行了目標(biāo)模板尺寸的改變。由于自適應(yīng)模板更新過(guò)程中引入了目標(biāo)區(qū)域重新分割的過(guò)程，使得該算法在目標(biāo)尺寸發(fā)生大的改變時(shí)仍能準(zhǔn)確的跟蹤目標(biāo)。

4 結(jié)束語(yǔ)

為了提高目標(biāo)跟蹤的穩(wěn)定性和實(shí)時(shí)性，本文提出了一種適用于復(fù)雜背景條件下連續(xù)幀動(dòng)態(tài)圖像的相關(guān)跟蹤算法。主要研究了kalman目標(biāo)預(yù)測(cè)的方法以及自適應(yīng)模板的更新策略及實(shí)現(xiàn)方法。在模板自適應(yīng)更新過(guò)程中引入目標(biāo)區(qū)域重新分割，使系統(tǒng)能準(zhǔn)確判定導(dǎo)致匹配失敗的原因，并自適應(yīng)修正模板尺寸。仿真實(shí)驗(yàn)結(jié)果表明，算法能夠隨著目標(biāo)的形狀、大小、位置的變化快速調(diào)整參考模板，進(jìn)行穩(wěn)定跟蹤。同時(shí)由于kalman預(yù)測(cè)的引入，提高了目標(biāo)跟蹤的實(shí)時(shí)性。

[1]黨曉軍，尹俊文.一種基于模板匹配的運(yùn)動(dòng)目標(biāo)跟蹤方法[J].計(jì)算機(jī)工程與應(yīng)用，2010，46（5）:173-176.

DANG Xiao-jun，YIN Jun-wen.Templatematchingbased moving object tracking method[J].Computer Engineering and Applications，2010，46（5）:173-176.

[2]楊勇智，文遠(yuǎn)保.一種改進(jìn)的快速相關(guān)跟蹤算法[J].計(jì)算機(jī)應(yīng)用，2005，25（12）:2843-2848.

YANG Yong-zhi，WEN Yuan-bao.Improved fast correlation tracking algorithm[J].Computer Applications，2005，25（12）:2843-2848.

[3]靳鵬飛.基于自適應(yīng)模板相關(guān)跟蹤算法的研究[J].西安郵電學(xué)院學(xué)報(bào)，2007，12（1）:44-47.

JIN Peng-fei.Study on correlation tracking algorithm based on adaptive reference template[J].Journal of Xi’an University of Post and Telecommunications，2007，12（1）:44-47.

[4]Matthews L，Ishikawa T，Baker S.The template update problem[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2004，26（6）:810-815.

[5]朱永松，國(guó)澄明.基于相關(guān)系數(shù)的相關(guān)跟蹤算法研究[J].中國(guó)圖像圖形學(xué)報(bào)，2004，9（8）:963-967.

ZHU Yong-song，GUO Cheng-ming.Research of correlation tracking algorithm based on correlation coefficient[J].Journal of Image and Graphics，2004，9（8）:963-967.

[6]WU Pian-pian，WANG Jing-ling，ZHANG Qin.Covariance tracking algorithm based on paricle filter and adaptive template update[J].Proc.IEEE Conf.on Education Technology and Computer（ICETC），2010，3（7）:199-202.

[7]PAN Zhou-jin，WANG Xiu-juan.Correlation tracking algorithm based on adaptive template update[J].Proc.IEEE Conf.on Image and Signal Processing，2010:98-101.

[8]Ostu N.A threshold selection method from gray level histogram[J].IEEE Transactions on Systems Man and Cybernetics，1979，9（1）:62-66.