一種基于前后向誤差比較的檢測(cè)跟蹤遮擋方法

呂高杰，毛 鑫，胡銀記，賈聰樂(lè)

?

一種基于前后向誤差比較的檢測(cè)跟蹤遮擋方法

呂高杰，毛 鑫，胡銀記，賈聰樂(lè)

（中航工業(yè)洛陽(yáng)電光設(shè)備研究所，河南 洛陽(yáng) 471009）

目標(biāo)跟蹤中準(zhǔn)確的遮擋檢測(cè)對(duì)于跟蹤算法適應(yīng)性的提高至關(guān)重要。針對(duì)傳統(tǒng)的遮擋檢測(cè)方法對(duì)局部遮擋等情況判斷準(zhǔn)確度低、適應(yīng)性差的問(wèn)題，提出一種基于前后向誤差比較并輔以區(qū)域標(biāo)準(zhǔn)差比較的方法的跟蹤遮擋檢測(cè)方法。該方法對(duì)目標(biāo)在時(shí)序上進(jìn)行前向和后向跟蹤，通過(guò)比較前向跟蹤和后向跟蹤的軌跡誤差并結(jié)合最佳匹配區(qū)域標(biāo)準(zhǔn)差的進(jìn)行特征性檢驗(yàn)確定是否發(fā)生了跟蹤遮擋。相對(duì)于傳統(tǒng)的跟蹤遮擋檢測(cè)方法，其優(yōu)越之處在于克服了相似性閾值選擇不當(dāng)引起的目標(biāo)跟蹤遮擋判斷不準(zhǔn)確及適應(yīng)性不強(qiáng)的問(wèn)題。實(shí)驗(yàn)證明，本文提出的方法能夠?qū)崿F(xiàn)對(duì)目標(biāo)跟蹤遮擋的有效檢測(cè)。

目標(biāo)跟蹤；前后向誤差；跟蹤遮擋

0 引言

成像目標(biāo)跟蹤[1]通過(guò)對(duì)傳感器拍攝到的圖像序列進(jìn)行分析，計(jì)算出目標(biāo)在每幀圖像上的位置，是光電系統(tǒng)實(shí)現(xiàn)自動(dòng)跟蹤的核心技術(shù)和重要組成部分。由于場(chǎng)景的復(fù)雜性，跟蹤中經(jīng)常會(huì)出現(xiàn)目標(biāo)遮擋，此時(shí)需要利用以前時(shí)刻的目標(biāo)軌跡進(jìn)行預(yù)測(cè)，實(shí)現(xiàn)對(duì)目標(biāo)的“記憶跟蹤”[2-3]。因此，對(duì)目標(biāo)是否遮擋進(jìn)行適時(shí)準(zhǔn)確的判斷尤為重要，葉斌等[4]定義一個(gè)目標(biāo)區(qū)域和圖像區(qū)域的交疊系數(shù)，當(dāng)交疊系數(shù)大于一定的閾值時(shí)，判定目標(biāo)被遮擋，趙健偉等[5]針對(duì)目標(biāo)跟蹤常出現(xiàn)的遮擋問(wèn)題，引入基于遮擋的網(wǎng)絡(luò)模型概念，通過(guò)比較當(dāng)前幀圖像和上一幀圖像在某一網(wǎng)格區(qū)域覆蓋/暴露的像素大小確定該區(qū)域的跟蹤是否遮擋，劉揚(yáng)等[6]提出采用一個(gè)中心模板4個(gè)非重疊模板共5個(gè)模板的策略判斷模板是否遮擋或完全遮擋。相對(duì)于常用的單模板區(qū)域相似度量判斷是否遮擋，上述方法都從策略上對(duì)判斷目標(biāo)遮擋進(jìn)行了改進(jìn)。但由于其判斷目標(biāo)模板區(qū)域是否遮擋的主要原理是基于公式(1)和(2)所示的相似性度量閾值判斷，因此若閾值選取不合理則造成跟蹤狀態(tài)的誤判。單一的固定閾值難以適應(yīng)不同的跟蹤場(chǎng)景，對(duì)于目標(biāo)本身特征信息不明顯、對(duì)比度差的跟蹤場(chǎng)景，相似性度量會(huì)出現(xiàn)不明顯的相似峰值，此時(shí)最小灰度絕對(duì)值差以及歸一化積相關(guān)等相似性度量無(wú)法準(zhǔn)確判斷目標(biāo)跟蹤的狀態(tài)。

相似性度量閾值判斷公式[2]如式(1)和式(2)：

式中：(,)為模板圖像；(＋,＋)為當(dāng)前圖像；[,]為當(dāng)前圖像和模板圖像MAD(,)最小時(shí)的匹配位置，對(duì)應(yīng)的MAD(,)稱(chēng)為相關(guān)度量值；NC(,)為歸一化相似度量；,為模板圖像大小。

針對(duì)上述問(wèn)題，提出了一種基于前向后向誤差比較檢測(cè)跟蹤遮擋的方法，通過(guò)比較前向跟蹤和后向確認(rèn)兩條軌跡的差異，確認(rèn)當(dāng)前跟蹤的軌跡是否可靠，同時(shí)考慮了該方法判斷跟蹤遮擋失效的一些特殊情況，形成了比較可靠的目標(biāo)遮擋丟失判斷方法，便于指導(dǎo)進(jìn)一步的跟蹤結(jié)果處理。

1 基于前向-后向誤差比較的跟蹤遮擋檢測(cè)

1.1 前向-后向誤差和標(biāo)準(zhǔn)差特征

標(biāo)準(zhǔn)差[8]是對(duì)一組數(shù)值自平均值分散程度的一種測(cè)量，表征改組數(shù)值整體均勻程度。對(duì)于圖像，標(biāo)準(zhǔn)差是像素灰度分布均勻性的一種量度，標(biāo)準(zhǔn)差越大，說(shuō)明均勻性越差，和背景越有區(qū)別，該部分圖像越有特征。針對(duì)大小為×的圖像(,)，其標(biāo)準(zhǔn)差的數(shù)學(xué)表示公式為：

1.2 前向-后向運(yùn)動(dòng)一致性假設(shè)

前向-后向運(yùn)動(dòng)軌跡一致性假設(shè)[7]：目標(biāo)跟蹤時(shí)，其軌跡應(yīng)不取決于時(shí)間流動(dòng)的方向，目標(biāo)前向軌跡和后向軌跡運(yùn)動(dòng)一致，其產(chǎn)生的前向-后向誤差較小。如圖1(a)，在正常跟蹤時(shí)目標(biāo)前向軌跡和后向軌跡一致；如圖1(b)，在目標(biāo)跟蹤不正常時(shí)，前向軌跡和后向軌跡有很大的偏離，其產(chǎn)生的前向-后向誤差較大。在實(shí)際環(huán)境中，形變、光照等因素對(duì)目標(biāo)跟蹤的精度都會(huì)有影響[9]，因此正常跟蹤的前后向軌跡大致如圖1(c)所示，時(shí)間越短，形變、光照等因素對(duì)目標(biāo)跟蹤的影響越小，對(duì)目標(biāo)跟蹤產(chǎn)生影響的主要因素為他物遮擋，據(jù)此可作為目標(biāo)跟蹤是否遮擋的判據(jù)。

圖1 正常和不正常跟蹤時(shí)目標(biāo)前后向跟蹤軌跡對(duì)比

1.3 基于前向-后向誤差比較的跟蹤遮擋檢測(cè)算法

以前向-后向一致性假設(shè)為基礎(chǔ)，本文提出了基于前向后向誤差比較的跟蹤遮擋檢測(cè)方法，該方法利用序列多幀的目標(biāo)信息，主要思路為：首先跟蹤前向的一點(diǎn)而產(chǎn)生一條軌跡，然后該點(diǎn)通過(guò)最后一幀到第一幀的后向跟蹤產(chǎn)生一條后向軌跡，最后對(duì)這兩條軌跡進(jìn)行比較，如果它們之前的差異很大，那么前向軌跡就被認(rèn)為是不正確的。如圖2所示，時(shí)刻跟蹤的目標(biāo)為藍(lán)框內(nèi)汽車(chē)，在＋1時(shí)刻汽車(chē)運(yùn)行到樹(shù)叢后面，目標(biāo)前向跟蹤的結(jié)果為圖2(b)的白十字位置，后向跟蹤的結(jié)果為圖2(a)所示時(shí)刻的虛十字線位置，前后向跟蹤的位置具有很大的偏差，可以確定目標(biāo)的前向跟蹤軌跡和后向跟蹤軌跡明顯不一致，據(jù)此可有效檢測(cè)跟蹤目標(biāo)被遮擋。

進(jìn)一步研究發(fā)現(xiàn)，在跟蹤過(guò)程中，當(dāng)遮擋物體沒(méi)有特征[9]時(shí)，目標(biāo)很可能停留在遮擋物某一位置或在較小的一個(gè)區(qū)域內(nèi)跳動(dòng)，這樣也會(huì)出現(xiàn)后向確認(rèn)軌跡和前向跟蹤軌跡誤差較小的情況。針對(duì)此種情況，需要先檢查當(dāng)前目標(biāo)最佳匹配區(qū)域圖像是否具有特征，可以通過(guò)檢查其標(biāo)準(zhǔn)差大小確定是否有特征[10]，若無(wú)特征，便可繼續(xù)確認(rèn)目標(biāo)跟蹤被遮擋?；谇跋?后向誤差比較檢測(cè)跟蹤遮擋算法流程如圖3所示。

2 算法仿真結(jié)果和分析

根據(jù)提出的基于前向后向誤差比較的跟蹤遮擋檢測(cè)方法，進(jìn)行了算法仿真實(shí)驗(yàn)，采用的仿真環(huán)境是：

1）MATLAB 7.1；

2）Pentium(R)4 CPU 3.0GHz；Memory 4GB。

圖4是對(duì)復(fù)雜背景下目標(biāo)跟蹤的算法仿真結(jié)果圖，其中歸一化相關(guān)值判斷遮擋閾值為0.5，前后向誤差比較檢測(cè)遮擋閾值為5，當(dāng)檢測(cè)到遮擋時(shí)采用卡爾曼濾波法預(yù)測(cè)目標(biāo)位置進(jìn)行“記憶跟蹤”。圖5是跟蹤中歸一化相關(guān)值和前后向誤差值變化示意圖，表1是采用傳統(tǒng)目標(biāo)遮擋檢測(cè)方法和本文方法得到的跟蹤結(jié)果信息?？梢钥吹?，在第363幀截獲車(chē)輛目標(biāo)后，在第364～380幀、第387～396幀目標(biāo)不存在遮擋，所求最佳匹配位置的歸一化相關(guān)值較大（≥0.75），前后向誤差值較?。ā?），目標(biāo)為正常跟蹤狀態(tài)。第412～433幀和第473～483幀目標(biāo)不存在遮擋，但由于目標(biāo)在遮擋時(shí)無(wú)法準(zhǔn)確檢測(cè)到遮擋，目標(biāo)有時(shí)誤匹配到橋梁，有時(shí)檢測(cè)到遮擋丟失。第381～386幀目標(biāo)被一電線桿部分遮擋，所求目標(biāo)最佳匹配位置的歸一化相關(guān)值仍然較大（≥0.75），采用NC比較法當(dāng)閾值為0.5時(shí)未檢測(cè)到跟蹤遮擋，而前后向軌跡誤差值較大（9），前向后向運(yùn)動(dòng)不一致，成功檢測(cè)目標(biāo)跟蹤遮擋。第397～411幀目標(biāo)被一較大的廣告牌部分遮擋，歸一化相關(guān)值跳動(dòng)較大（0.4～0.7），有時(shí)可檢測(cè)目標(biāo)遮擋，有時(shí)則檢測(cè)不到，而前后向軌跡誤差值較大（10），前向后向運(yùn)動(dòng)不一致，檢測(cè)到目標(biāo)跟蹤遮擋；第434～472幀目標(biāo)被樹(shù)叢部分遮擋，前后向軌跡誤差值有時(shí)較大（≥9），有時(shí)較?。ā?），而此時(shí)結(jié)合歸一化互相關(guān)量較?。ā?.5）的情況，便可準(zhǔn)確檢測(cè)目標(biāo)跟蹤遮擋。

圖2 前向-后向軌跡一致性檢測(cè)跟蹤遮擋示意圖

圖3 前向-后向誤差比較檢測(cè)跟蹤遮擋流程圖

(a) 基于歸一化互相關(guān)值檢測(cè)遮擋跟蹤效果（遮擋閾值0.5） (b) 基于前后向誤差比較檢測(cè)遮擋跟蹤效果（遮擋閾值5）

圖5 跟蹤中相關(guān)性能參數(shù)變化示意圖

需要說(shuō)明的是，通常目標(biāo)在遮擋中和遮擋前都具有一致的成像運(yùn)動(dòng)模型，其跟蹤結(jié)果可以利用前些時(shí)刻對(duì)目標(biāo)正常跟蹤的結(jié)果預(yù)測(cè)出來(lái)，實(shí)現(xiàn)“記憶跟蹤”，而對(duì)于那種遮擋中出現(xiàn)目標(biāo)運(yùn)動(dòng)機(jī)動(dòng)（突然變速）的情況，則不符合我們的認(rèn)知規(guī)律。由于本文的算法只是對(duì)目標(biāo)跟蹤過(guò)程中是否存在遮擋進(jìn)行了檢測(cè)，因此在不遮擋時(shí)目標(biāo)的跟蹤精度和所采用的跟蹤算法精度有關(guān)，而在遮擋時(shí)，由于是利用前些時(shí)刻對(duì)目標(biāo)正常跟蹤的結(jié)果預(yù)測(cè)出來(lái)，其跟蹤精度將和預(yù)測(cè)的目標(biāo)運(yùn)動(dòng)模型是否和觀測(cè)的運(yùn)動(dòng)模型相一致或者所采用的模型參數(shù)是否合適有關(guān)。我們采用E. Maggio和A. Cavallaro[11]提出的跟蹤丟失率、歐式中心坐標(biāo)誤差D、歸一化中心坐標(biāo)誤差等作為評(píng)價(jià)指標(biāo)對(duì)以上跟蹤仿真過(guò)程進(jìn)行了算法精度分析。從表1中可以看出，在第364～380幀、第387～396幀、第412～433幀和第473～483幀不存在遮擋，跟蹤丟失率的標(biāo)準(zhǔn)差、歐式中心坐標(biāo)誤差D的標(biāo)準(zhǔn)差和歸一化中心坐標(biāo)誤差的標(biāo)準(zhǔn)差都很小。而第381～386幀和第397～411幀目標(biāo)被部分遮擋，但此時(shí)跟蹤算法仍未失效，目標(biāo)的跟蹤信息仍然是跟蹤算法的計(jì)算結(jié)果，目標(biāo)的跟蹤丟失率的標(biāo)準(zhǔn)差、歐式中心坐標(biāo)誤差D的標(biāo)準(zhǔn)差和歸一化中心坐標(biāo)誤差的標(biāo)準(zhǔn)差比較大。第434～472幀目標(biāo)被樹(shù)叢全部遮擋目標(biāo)的跟蹤信息仍然是卡爾曼濾波算法的計(jì)算結(jié)果，雖然跟蹤丟失率的標(biāo)準(zhǔn)差很大，但歐式中心坐標(biāo)誤差D的標(biāo)準(zhǔn)差和歸一化中心坐標(biāo)誤差的標(biāo)準(zhǔn)差卻和部分遮擋時(shí)相差不大，說(shuō)明其和部分遮擋時(shí)的精度相當(dāng)，可知目標(biāo)在遮擋中和遮擋前的運(yùn)動(dòng)狀態(tài)一致，短時(shí)間內(nèi)可以預(yù)測(cè)數(shù)據(jù)作為跟蹤結(jié)果實(shí)現(xiàn)“記憶跟蹤”。

3 結(jié)論

本文提出的基于前向-后向誤差比較檢測(cè)跟蹤遮擋方法，有效解決了復(fù)雜環(huán)境下傳統(tǒng)目標(biāo)跟蹤算法遮擋檢測(cè)不準(zhǔn)確的問(wèn)題，克服了相似性閾值選擇不當(dāng)引起的目標(biāo)跟蹤狀態(tài)判斷不準(zhǔn)確及適應(yīng)性不強(qiáng)的問(wèn)題。同時(shí)針對(duì)目標(biāo)本身特征信息不明顯時(shí)的跟蹤情況，采用最佳匹配區(qū)域標(biāo)準(zhǔn)差比較的方法進(jìn)一步確認(rèn)，有效的提高了跟蹤遮擋判斷的可靠性，可有效指導(dǎo)進(jìn)一步的跟蹤結(jié)果處理，促進(jìn)該項(xiàng)技術(shù)的進(jìn)一步發(fā)展。

表1 NC比較法和前向后向誤差比較法檢測(cè)跟蹤遮擋結(jié)果比較

[1] 張然, 呂高杰, 張國(guó)華. 光電目標(biāo)圖像自動(dòng)跟蹤技術(shù)研究[J]. 電光與控制, 2008(9): 65-68.

ZHANG Ran, LYU Gaojie, ZHANG Guohua. Study on automatic tracking technologies of target image[J]., 2008(9): 65-68.

[2] 任仙怡, 周曉, 張桂林, 等. 基于仿射變換與模板更新策略的目標(biāo)跟蹤方法[J]. 華中科技大學(xué)學(xué)報(bào), 2001, 29(12): 50-52.

REN Xianyi, ZHOU Xiao, ZHANG Guilin, et al. Study on automatic tracking algorithm based on combination of affine transform and the strategy of changing template[J]., 2001, 29(12): 50-52.

[3] 楊曉峰. 基于仿射變換模型的圖像目標(biāo)定位跟蹤方法[D]. 武漢: 華中科技大學(xué), 2005: 45-48.

YANG Xiaofeng. Image Target location and tracking based on affine transform model[D]. WuHan: Huazhong University of Science & Technology, 2005: 45-48.

4] 葉斌, 徐毓. 強(qiáng)跟蹤濾波器與卡爾曼濾波器對(duì)目標(biāo)跟蹤的比較[J]. 空軍雷達(dá)學(xué)院學(xué)報(bào), 2002, 16(2): 17-19.

YE Bin, XU Yu. Comparison between a strong tracking filter and kalman filter for target tracking[J]., 2002, 16(2): 17-19.

[5] 趙建偉, 王朋, 劉重慶. 適用于遮擋的網(wǎng)格跟蹤算法[J]. 上海交通大學(xué)學(xué)報(bào), 2003, 37(3): 440-443.

ZHAO Jianwei, WANG Peng, LIU Chongqing. Mesh tracking algorithm applied for occlusion[J]., 2003, 37(3): 440-443.

[6] 劉揚(yáng), 張?jiān)品? 董月芳. 復(fù)雜背景下抗遮擋的運(yùn)動(dòng)目標(biāo)跟蹤算法[J]. 液晶與顯示, 2010, 25(6): 890-895.

LIU Yang, ZHANG YunFeng, DONG Yuefang. Anti-Occlusion algorithm of tracking moving object in clutter background[J]., 2010, 25(6): 890-895.

[7] Zdenek Kalal, Krystian Mikolajczyk. Forward-Backward Error:Automatic Detection of Tracking Failures[J]., 2010: 23-26.

[8] 萬(wàn)磊, 白洪亮, 戴軍. 擴(kuò)展的Otsu最優(yōu)閾值圖像分割的實(shí)現(xiàn)方法[J]. 哈爾濱工程大學(xué)學(xué)報(bào), 2003, 24(3): 326-329.

WAN Lei, BAI Hongliang, Dai Jun. Extended optimal Otsu thresholding method of image segmention[J]., 2003, 24(3): 326-329.

[9] 向衛(wèi)軍, 韓根甲. 基于模板匹配的目標(biāo)跟蹤算法在紅外熱成像跟蹤技術(shù)上的應(yīng)用[J].電子技術(shù)應(yīng)用, 2003(5): 12-14.

XIANG Weijun, HAN Genjia. An algorithm for the infra-red image target tracking based on the matching of template[J]., 2003(5): 12-14.

[10] 史澤林, 王俊卿, 黃莎白. 復(fù)雜場(chǎng)景下的變形目標(biāo)跟蹤[J]. 光電工程, 2005, 32(1): 33-35.

SHI Zelin, WANG Junqing, HUANG Shabai. Trackingh of deformable objects in complex scene[J]., 2005, 32(1): 33-35.

[11] E.Maggio, A.Cavallaro. Accurate appearance-based Bayesian tracking for maneuvering targets[J]., 2009, 113: 544-555.

One Method to Detect Tracking OcclusionsBased on Evaluation Forward and Backward Errors

LYU Gaojie，MAO Xin，HU Yinji，JIA Congle

(,,471009,)

In target tracking, the accuracy of occlusion detection plays a very important role in improving the adaptivity of tracking algorithms. The paper studies traditional occlusion detection methods on target tracking, and proposes one novel method aiming at low accuracy and adaptive problems, which is based on the hypothesis of forward and backward motion consistency and auxiliary area standard deviation comparation. Targets are tracked in both forward and backward time directions, and the differences between them is compared to find out whether the current track is occluded. The superiority of this method is to overcome the inaccuracy and low adaptability by threshold comparation. Experimental results indicate that the proposed method can effectively detect the occlusion of tracked targets.

target track，forward and backward error，tracking occlusions

TP391

A

1001-8891(2016)04-0337-05

2015-09-10；

2016-03-22.

呂高杰（1976-），男，高級(jí)工程師，研究方向?yàn)槟繕?biāo)跟蹤、電子穩(wěn)像等。E-mail：lgjmq@126.com。