空中目標的多模跟蹤算法研究＊

陳金令 馮 勝 李 娜 崔寶明 羅 文 卜曉東

（四川九洲電器集團有限責任公司 綿陽 621000）

1 引言

運動目標檢測與跟蹤是機器視覺研究的主要內(nèi)容，它利用圖像處理、目標檢測、模式識別等技術(shù)對圖像進行處理和分析，廣泛應用于工業(yè)制造、智能監(jiān)控、航空航天、智能交通等領(lǐng)域。國內(nèi)外專家在這個領(lǐng)域進行了大量研究，目前有基于特征點的跟蹤、基于模板匹配的跟蹤、基于運動估計的跟蹤、基于主動輪廓的跟蹤等多種算法[1]，但是這些算法各有其優(yōu)缺點，有其適用的場景，并不能適用于所有的應用場合。

在這些方法中，基于模板匹配的跟蹤算法利用目標的灰度信息進行相似度比對，找出最合適的位置進行跟蹤，可適應較復雜場景下的目標跟蹤，具有較強的抗干擾能力[2]；基于特征點匹配的跟蹤算法對目標的角點進行檢測，對圖像的旋轉(zhuǎn)和噪聲干擾具有較好的抗干擾能力[3]；基于運動估計的跟蹤算法利用目標運動狀態(tài)的連續(xù)性和目標過去的運動狀態(tài)來預測目標的運動狀態(tài)和位置信息，具有一定的抗遮擋能力[4]。對目標的遮擋問題進行分析可以得出：當遮擋出現(xiàn)時，模板匹配算法的相關(guān)系數(shù)開始降低，遮擋部分越多相關(guān)系數(shù)就越小，當目標離開遮擋后，相關(guān)系數(shù)又逐漸增大最終達到穩(wěn)定狀態(tài)。由此可見，在遮擋過程中，相關(guān)系數(shù)先逐漸縮小，達到一個極值后逐漸增大[5～7]。因此本文提出了一種多模式融合的跟蹤算法，綜合運用模板匹配、特征點匹配、Kalman濾波等跟蹤算法，以達到較好的跟蹤效果。其中，模板匹配跟蹤算法應用于背景復雜、目標未發(fā)生遮擋的情況，特征點匹配則在目標發(fā)生部分遮擋進行跟蹤，而Kalman濾波則用于預測目標位置，減少運算量，并在目標丟失時繼續(xù)預測目標位置[8～10]。實驗證明該算法可以有效地提高目標跟蹤的穩(wěn)定性和魯棒性。

2 模板匹配

模板匹配算法是以圖像灰度信息直接進行匹配，利用相關(guān)函數(shù)來判定匹配程度，因此可以適應復雜的圖像背景。本文采用經(jīng)典互相關(guān)相似性測度，以歸一化的相關(guān)函數(shù)來進行相似度計算，其表達式為

其中：模板為T（m，n），搜索區(qū)域為S，Sij（m，n）表示模板覆蓋下的子圖，i、j表示位置，m、n表示模板的寬和高。R（i，j）在0～1之間取值，當且僅當模板和子圖完全一致時，R（i，j）取得最大值1。所以，最佳的匹配位置就是圖像上能夠使R（i，j）取得最大值的位置。但是，這種算法需要對整幅圖像進行遍歷，計算量很大，而Kalman濾波可以預測目標的大致位置，在目標大致位置處進行小范圍遍歷可以減少計算量，因此本文采用Kalman跟蹤算法對目標的位置進行預測，只在預測位置附近的較小范圍進行模板匹配，可以大大減少運算量，滿足實時性要求。但是，該算法在目標發(fā)生遮擋、變形時，跟蹤效果不好，因此需結(jié)合其它算法來提高跟蹤的可靠性。

3 SUSAN角點匹配

SUSAN算法是基于灰度信息的特征點獲取方法，抗噪聲能力強，運算速度快，適用于實時圖像處理。算法使用一個圓形模板在圖像上移動，模板核（模板中心像素）與模板內(nèi)某點進行灰度值比較，其差值小于給定的閾值，則模板核與該點的灰度值相近，滿足這樣條件的像素組成的區(qū)域稱為USAN（Univalue Segment Assimilating Nucleus）區(qū)域，如圖1所示，當模板圓在圖像上移動時，USAN區(qū)域的面積大小會發(fā)生變化。當模板核與角點A一致時，USAN區(qū)域面積達到最小，根據(jù)這個特性可以確定圖像中的角點。

圖1 模板在不同位置時的USAN區(qū)域

SUSAN算法可快速檢測出目標的角點和邊緣，因此當目標被部分遮擋時，可以根據(jù)目標的角點及邊緣特征，采用SUSAN算法繼續(xù)跟蹤目標。

4 Kalman濾波

為了滿足目標跟蹤實時性的要求，應盡量縮小模板匹配算法的搜索范圍。本文采用Kalman濾波算法預測下一幀圖像中目標的位置，從而縮小目標搜索范圍。并且當目標被遮擋時，目標將從圖像中暫時消失，此時可利用目標的預測位置來代替目標的實際位置，直到目標重新出現(xiàn)并與保存的模板能夠匹配，則重新采用模板匹配算法進行跟蹤，或者目標丟失的幀數(shù)超過設(shè)定值，則判斷為目標丟失，此時結(jié)束目標的跟蹤。

Kalman濾波是基于系統(tǒng)先前的狀態(tài)對下一個狀態(tài)做最優(yōu)估計，通過狀態(tài)方程和觀測方程來描述系統(tǒng)。

狀態(tài)方程：

觀測方程：

式中，x（k）、x（k－1）分別為k、k－1時刻系統(tǒng)的狀態(tài)向量；A為k－1至k時刻的狀態(tài)轉(zhuǎn)移矩陣；B是系統(tǒng)控制作用矩陣；u（k）是系統(tǒng)的確定性輸入，Δt為連續(xù)兩個狀態(tài)之間的時間差；H為狀態(tài)向量與觀測向量之間的聯(lián)系矩陣；z（k）是k時刻的狀態(tài)觀測向量；w（k）是過程噪聲；v（k）是測量噪聲；w（k）和v（k）相互獨立。Kalman濾波算法包括初始化、運動軌跡預測和觀測值修正等三部分。首先，確定狀態(tài)方程的初始值，將檢測到的目標位置、速度、加速度等值設(shè)置狀態(tài)方程，如果目標的位置、速度和加速度等狀態(tài)參數(shù)未知，則賦值為零；然后通過目標的當前狀態(tài)來預測運動目標在下一幀的狀態(tài)，進行狀態(tài)估計；最后修正狀態(tài)估計，作為下一時刻預測狀態(tài)估計的輸入值。循環(huán)上述步驟，就可以實現(xiàn)對運動目標的跟蹤。

5 多模跟蹤算法

本算法根據(jù)相關(guān)系數(shù)在遮擋情況下的變化規(guī)律，采用相關(guān)系數(shù)作為相似度度量準則來判定目標的遮擋程度，進而選擇合適的算法來進行跟蹤。設(shè)置閾值λ1和閾值λ2（λ1＞λ2），將目標的跟蹤狀態(tài)分為目標未遮擋、部分遮擋和全遮擋三個狀態(tài)[11～13]，具體算法步驟如下：

1）當相關(guān)系數(shù)大于閾值λ1，即R（i，j）＞λ1成立，說明此時目標未發(fā)生遮擋現(xiàn)象，此時應采用模板匹配算法，則將匹配跟蹤的結(jié)果作為Kalman跟蹤算法的觀測值，進行下一時刻目標運動的估計，并計算相關(guān)系數(shù)，在此階段，相關(guān)系數(shù)高于閾值λ1，因此每幀都進行模板更新，同時將目標匹配模板存為備用模板并替換原備用模板；在檢測出目標后，先使用Kalman濾波估計出目標下一時刻可能出現(xiàn)的位置，再利用模板匹配算法在以該位置為中心的小區(qū)域內(nèi)進行搜索，確定目標的最終位置。

2）當相關(guān)系數(shù)小于閾值λ1而高于閾值λ2時，即λ1≥R（i，j）≥λ2成立，此時應為目標被部分遮擋、形變、光照變化等因素影響了跟蹤效果，導致當前模板和目標的匹配度較低，模板匹配算法已不適合，而SUSAN算法可檢測出角點和邊緣，抗局部噪聲能力強，因此算法采用SUSAN角點算法來繼續(xù)跟蹤。

3）當物體發(fā)生全部遮擋，本算法將相關(guān)系數(shù)小于閾值λ2（即R（i，j）＜λ2）定義為目標發(fā)生全部遮擋，SUSAN角點算法也已無法準確跟蹤，應采用Kalman濾波算法對目標的位置進行預測，在短時間內(nèi)對目標進行跟蹤，同時將備用模板繼續(xù)在跟蹤位置附近進行比對，當目標重新出現(xiàn)時，備用模板就可以與目標匹配，直到相關(guān)系數(shù)高于閾值λ1，則繼續(xù)采用模板匹配算法；如果超出設(shè)定的幀數(shù)相關(guān)系數(shù)依然無法高于閾值λ1，則結(jié)束跟蹤流程。

6 實驗結(jié)果與分析

實驗對模板匹配算法和本文算法進行了比較，如圖2所示。目標為空中的飛機，對目標飛過遮擋物的過程進行跟蹤，白色矩形框為多模跟蹤算法的目標跟蹤位置，黑色矩形框為模板匹配算法的跟蹤位置。整個過程分為目標為被遮擋、部分遮擋和完全遮擋幾個狀態(tài)，圖2（a）和圖2（i）為目標未被遮擋時的圖像，由模板匹配算法來確定跟蹤位置，此時R（i，j）＞λ1，每幀都需要模板更新；圖2（b）是目標被部分遮擋的情況，即λ1≥R（i，j）≥λ2，此時應采用SUSAN角點匹配算法進行跟蹤；圖2（c）、（d）、（e）、（f）、（g）、（h）則是目標大部分或完全被鐵塔遮擋，模板匹配計算得出的相關(guān)系數(shù)低于閾值λ2，即R（i，j）＜λ2，此時采用 Kalman跟蹤算法預測目標的位置，目標仍然可以穩(wěn)定跟蹤。而模板匹配方法的目標模型受背景影響，模板已不能反映飛機原來的特征，因此發(fā)生匹配錯誤，黑色跟蹤區(qū)域停留在錯誤位置。實驗證明，盡管目標發(fā)生了遮擋和旋轉(zhuǎn)等情況，但是多模融合的跟蹤方法依然可以對目標進行穩(wěn)定跟蹤。

圖2 實驗結(jié)果

7 結(jié)語

為了提高目標跟蹤的穩(wěn)定性和實時性，本文提出了一種多模式融合的目標跟蹤方法，該算法融合了模板匹配、SUSAN角點匹配以及Kalman濾波等算法的優(yōu)點：在背景復雜的環(huán)境下采用模板匹配算法，部分發(fā)生遮擋時則采用SUSAN角點匹配，在全遮擋的情況下采用Kalman濾波對目標運動狀態(tài)進行預測。實驗結(jié)果表明，該算法有效減少了計算量，提高了目標跟蹤的實時性，并且在目標形變、光照變化、遮擋等情況下仍能保持對目標的穩(wěn)定跟蹤。

[1]林明秀，劉偉佳，徐心和.基于模板匹配的多模式車輛跟蹤算法[J].系統(tǒng)仿真學報，2007，19（7）：1519－1522.

[2]朱永松，國澄明.基于相關(guān)系數(shù)的相關(guān)匹配算法的研究[J].信號處理，2003，19（6）：531－534.

[3]劉彬，李學斌.角點匹配與均值漂移相結(jié)合實現(xiàn)目標跟蹤[J].計算機應用與軟件，2013，30（4）：239－243.

[4]陳少華，閆鈞華，朱智超，等.基于Kalman預測和自適應模板的目標相關(guān)跟蹤研究[J].電子設(shè)計工程，2011，19（11）：189－192.

[5]郝志成，高文.多模跟蹤技術(shù)在輪式偵察車圖像處理器的應用[J].中國光學，2011，4（5）：480－487.

[6]陳愛華，孟勃，朱明.多模式融合的目標跟蹤算法[J].光學精密工程，2009，17（1）：185－190.

[7]Pan Zhou－jin，Wang Xiu－juan.Correlation Tracking Algorithm Based on Adaptive Template Update[J].Proc.IEEE Conf.on Image and Signal Processing，2010：98－101.

[8]陳小林，趙建，王延杰.多模實時跟蹤算法研究[J].儀器儀表學報，2009，30（6）：204－208.

[9]柴宏亮，許鵬程，楊莉，等.一種多模式融合的紅外成像跟蹤算法[J].制導與引信，2006，27（2）：31－35.

[10]Dorin Comaniciu，Peter Meer.Mean Shift：A Robust Approach Toward Feature Space Analysis[J].IEEE Transactions on Pattern Analysis and Machine Intelligence（S0162－8828），2002，24（5）：600－619.

[11]劉揚，張云峰，董月芳.復雜背景下抗遮擋的運動目標跟蹤算法[J].液晶與顯示，2010，25（6）：890－895.

[12]鄭林，韓崇昭，左東廣，等.一種基于集中式融合的多模型圖像跟蹤系統(tǒng)[J].信息與控制，2003，32（4）：380－384.

[13]Khan Z H，Gu I Y H.Joint Feature Correspondences and Appearance Similarity for Robust Visual Object Tracking[J].IEEE Transactions on Information Forensics and Security，2010，5（3）：591－606.