尺度優(yōu)化的時(shí)空上下文目標(biāo)跟蹤

張文明 侯建平 朱向東 李海濱 高雅昆 李雅倩

摘要：視覺(jué)目標(biāo)跟蹤在智能監(jiān)控和人機(jī)交互等領(lǐng)域有著廣泛的應(yīng)用。該文針對(duì)時(shí)空上下文（sTc）跟蹤算法尺度適應(yīng)性不強(qiáng)的問(wèn)題進(jìn)行研究，提出一種尺度優(yōu)化的時(shí)空上下文目標(biāo)跟蹤算法。首先，提出一種新型加權(quán)濾波函數(shù)，濾除圖像的高頻信息，提升算法的精度;其次，定義兩種判別標(biāo)準(zhǔn)，實(shí)現(xiàn)時(shí)空上下文模型的自適應(yīng)更新;最后，通過(guò)相關(guān)性原理訓(xùn)練尺度濾波器，估計(jì)出目標(biāo)的尺度大小，提高算法的尺度適應(yīng)性。實(shí)驗(yàn)表明：提出的跟蹤算法能有效改善sTc跟蹤算法的尺度更新缺陷問(wèn)題，提高sTc跟蹤算法的跟蹤精度，與近年來(lái)出現(xiàn)的基本跟蹤算法相比，該算法有著良好的跟蹤效果。該算法在AMD-A6處理器、2.7GHZ主頻、4GB內(nèi)存的計(jì)算機(jī)硬件平臺(tái)下，實(shí)現(xiàn)68f/s的實(shí)時(shí)跟蹤速度。

關(guān)鍵詞：目標(biāo)跟蹤;時(shí)空上下文;尺度優(yōu)化;濾波函數(shù)

中圖分類(lèi)號(hào)：TP391.4文獻(xiàn)標(biāo)志碼：A 文章編號(hào)：1674-5124（2019）04-0001-08

0引言

基于視覺(jué)的目標(biāo)跟蹤是計(jì)算機(jī)視覺(jué)研究領(lǐng)域中的一個(gè)重要課題，它被廣泛應(yīng)用到智能交通、運(yùn)動(dòng)分析等領(lǐng)域。雖然近年來(lái)目標(biāo)跟蹤技術(shù)取得了良好進(jìn)展，但是仍然面臨著尺度變化、光照變化、部分遮擋等挑戰(zhàn)，因此設(shè)計(jì)出一種可以解決這些問(wèn)題的跟蹤器顯得尤為重要。根據(jù)目標(biāo)的外觀模型，可以將現(xiàn)有的跟蹤方法分成判別式跟蹤方法和生成式跟蹤方法兩類(lèi)。其中，生成式跟蹤方法主要是通過(guò)建立的表觀模型找到與其相似度最大的區(qū)域來(lái)確定目標(biāo)，而判別式跟蹤方法是借助訓(xùn)練出的分類(lèi)器隔離出目標(biāo)和背景區(qū)域從而確定目標(biāo)位置。

近年來(lái)，相關(guān)濾波器的目標(biāo)跟蹤算法表現(xiàn)出良好的跟蹤性能，這些算法利用均方誤差模型所建立的分類(lèi)器學(xué)習(xí)濾波模型，通過(guò)響應(yīng)評(píng)分的峰值預(yù)估出目標(biāo)的位置，并且在跟蹤期間通過(guò)傅里葉變換來(lái)提升處理速度。相關(guān)濾波的目標(biāo)跟蹤方法作為一種判別式跟蹤方法，逐漸由最初的基于最小均方誤差和濾波器的跟蹤（MOSSE），和基于核循環(huán)矩陣的跟蹤方法（CSK）逐步發(fā)展為多模板、多特征的跟蹤方法。

相關(guān)濾波理論提出之后，Zhang等結(jié)合貝葉斯估計(jì)理論提出了高速的時(shí)空上下文（sTC）跟蹤方法，這種方法是一種生成式跟蹤算法，它將目標(biāo)周?chē)纳舷挛男畔⒖紤]在內(nèi)，利用目標(biāo)在上下文區(qū)域各位置的置信圖估計(jì)出目標(biāo)的最佳位置，該方法不僅跟蹤速度快，而且加入了尺度更新機(jī)制，但是尺度的自適應(yīng)性并不強(qiáng);隨后，劉威等在STC跟蹤器的基礎(chǔ)上加入了類(lèi)似于中值流跟蹤算法的運(yùn)動(dòng)估計(jì)模塊，有效避免了跟蹤目標(biāo)丟失的情況;文獻(xiàn)[11]和文獻(xiàn)[12]建立了相應(yīng)的遮擋判別機(jī)制，利用峰值旁瓣比（PSR）判斷目標(biāo)跟蹤是否失敗，有效提升了STC跟蹤器的抗干擾特性;Jiang等在STC跟蹤器的基礎(chǔ)上利用多特征融合后的置信圖求取目標(biāo)的預(yù)測(cè)位置，并且采用元細(xì)胞動(dòng)機(jī)理論更新不同特征對(duì)應(yīng)的置信圖，實(shí)現(xiàn)了魯棒性跟蹤效果。盡管近幾年的這些算法有效提升了STC算法的跟蹤精度，然而這些方法并沒(méi)有優(yōu)化尺度更新策略，對(duì)目標(biāo)尺度不斷變化的序列處理效果仍然不佳。鑒于目前大多數(shù)算法存在忽略尺度變化的問(wèn)題，文獻(xiàn)[14]和文獻(xiàn)[15]陸續(xù)提出了一系列尺度更新方案，一定程度上解決了尺度自適應(yīng)問(wèn)題，但這些算法的穩(wěn)定性和實(shí)時(shí)性較差。

本文針對(duì)STC跟蹤器尺度估計(jì)不準(zhǔn)確問(wèn)題，結(jié)合相關(guān)性理論提出一種尺度優(yōu)化的時(shí)空上下文目標(biāo)跟蹤方法。首先對(duì)圖像序列進(jìn)行預(yù)處理濾波濾除圖像的高頻信息，然后利用提出的判別條件實(shí)現(xiàn)時(shí)空上下文模型的自適應(yīng)更新，最后按照文獻(xiàn)[9]的跟蹤流程實(shí)現(xiàn)目標(biāo)的位置估計(jì)。此外，本文通過(guò)尺度金字塔估計(jì)目標(biāo)的尺度大小，優(yōu)化了原有的尺度更新策略，有效減少了由于尺度適應(yīng)性不強(qiáng)造成目標(biāo)丟失的情況。

1.STC跟蹤器

STC跟蹤算法主要是利用可以反映目標(biāo)位置的概率（目標(biāo)位置似然的置信圖）來(lái)實(shí)現(xiàn)整體的跟蹤過(guò)程。假如x表示目標(biāo)搜索區(qū)域內(nèi)任意位置，o為需要跟蹤的目標(biāo)，X*為目標(biāo)中心位置，Ωc（X*）為目標(biāo)的上下文搜索區(qū)域，則目標(biāo)在X處出現(xiàn)的概率為

sTc跟蹤器利用目標(biāo)的上下文信息有效提高了跟蹤的效果，但依然存在問(wèn)題：式（9）表明時(shí)空上下文模型的更新是無(wú)條件的，忽略了運(yùn)動(dòng)期間目標(biāo)靜止不動(dòng)等情況;跟蹤前的預(yù)處理濾波工作并不徹底;尺度估計(jì)依賴于置信圖，一旦置信圖求解出錯(cuò)，算法將無(wú)法正確估計(jì)出目標(biāo)的尺度大小。

2尺度優(yōu)化的時(shí)空上下文目標(biāo)跟蹤

本文針對(duì)以上問(wèn)題，對(duì)文獻(xiàn)[9]提出的跟蹤方法加以改進(jìn)，圖1給出了本算法的基本流程圖。流程圖顯示，本算法整體的跟蹤過(guò)程包括位置估計(jì)、尺度估計(jì)兩部分，本文首先利用sTc跟蹤框架確定目標(biāo)的位置，然后利用求得的位置構(gòu)建尺度特征金字塔估計(jì)出目標(biāo)的尺度。

2.1位置估計(jì)

位置估計(jì)期間利用傅里葉變換可以顯著改善處理速度，但會(huì)對(duì)圖像邊緣產(chǎn)生一定的影響，引起頻域泄露現(xiàn)象。因此，傅里葉變換之前采用一種加權(quán)濾波函數(shù)，過(guò)濾掉這些高頻信息，如式（11）。實(shí)際上，這種加權(quán)濾波函數(shù)完全可以看成一種低通濾波器。

由于圖像的預(yù)處理過(guò)程直接對(duì)算法的置信圖產(chǎn)生影響，對(duì)此可以通過(guò)置信圖評(píng)判該方案的優(yōu)劣性。以basketball為例，圖2為預(yù)處理濾波后算法和原算法的置信圖每一幀的峰值數(shù)據(jù)曲線，圖3為該序列對(duì)應(yīng)的中心位置誤差對(duì)比曲線（中心位置誤差的定義在后續(xù)實(shí)驗(yàn)部分進(jìn)行了說(shuō)明）。圖4跟蹤效果對(duì)比圖曲線顯示500幀以后，原算法的目標(biāo)中心位置誤差達(dá)100像素以上，很明顯發(fā)生目標(biāo)丟失的情況;同樣此時(shí)置信圖的峰值波動(dòng)也比較明顯，圖給出了相應(yīng)的跟蹤效果圖。效果圖顯示485幀時(shí)目標(biāo)靠近到其他物體附近，此幀后目標(biāo)逐步跟丟;而進(jìn)行圖像預(yù)處理濾波之后目標(biāo)框體并未發(fā)生漂移，一直跟隨物體運(yùn)動(dòng)，和原算法的處理方案相比有著良好的跟蹤效果。

常規(guī)模型更新由于沒(méi)有考慮到置信圖的能量變化，不具備一定的判別性，因此需要對(duì)其更新策略加以優(yōu)化，實(shí)現(xiàn)模型的自適應(yīng)更新，且文獻(xiàn)[5]和文獻(xiàn)[17]已經(jīng)通過(guò)判別標(biāo)準(zhǔn)PSR取得了良好的跟蹤效果。對(duì)此，本文提出干擾判別標(biāo)準(zhǔn)δ1、δ2用于優(yōu)化時(shí)空上下文模型的更新策略，如式（12）、式（13）所示：

為了評(píng)估尺度優(yōu)化對(duì)文獻(xiàn)[9]跟蹤效果的影響，驗(yàn)證本文提出的尺度優(yōu)化的跟蹤方法的有效性，將只改進(jìn)尺度估計(jì)部分的算法定義為多尺度時(shí)空上下文目標(biāo)跟蹤算法（s-STC），將本文最終算法定義為尺度優(yōu)化的時(shí)空上下文跟蹤算法（s-WWSTC）。

3實(shí)驗(yàn)評(píng)估

3.1實(shí)驗(yàn)環(huán)境

實(shí)驗(yàn)的硬件環(huán)境為AMD-A6處理器，主頻為2.7GHz，內(nèi)存4GB配置的計(jì)算機(jī)，算法的開(kāi)發(fā)平臺(tái)為Matlab R2014a。實(shí)驗(yàn)測(cè)試序列來(lái)源于標(biāo)準(zhǔn)跟蹤數(shù)據(jù)集VOT、benchmark，視頻序列中包含了目標(biāo)跟蹤當(dāng)中常見(jiàn)的挑戰(zhàn)性場(chǎng)景，包括光照變化、運(yùn)動(dòng)模糊、快速運(yùn)動(dòng)、目標(biāo)遮擋、尺度變化等情況。

3.2評(píng)價(jià)標(biāo)準(zhǔn)

實(shí)驗(yàn)采用文獻(xiàn)常見(jiàn)的評(píng)估標(biāo)準(zhǔn)對(duì)算法性能進(jìn)行測(cè)試。這些評(píng)估標(biāo)準(zhǔn)包括中心位置誤差CLE（實(shí)際的目標(biāo)中心位置坐標(biāo)與人工標(biāo)定坐標(biāo)之間的歐式距離，該值越大，跟蹤效果不好）、距離精度DP（CLE小于設(shè)定閾值的視頻幀數(shù)與圖像序列總幀數(shù)的比值，DP值越大，跟蹤效果越好）、重疊率OR（跟蹤獲得的目標(biāo)區(qū)域與人工標(biāo)定目標(biāo)區(qū)域交集和并集的面積比，OR越大，跟蹤效果越好）、成功率SR（OR大于設(shè)定閾值的幀數(shù)與圖像序列總幀數(shù)的比值，SR的高低反應(yīng)了跟蹤性能的優(yōu)劣）。此外，以每秒處理視頻的幀數(shù)（f/s）來(lái)評(píng)估各跟蹤算法的跟蹤效率。

3.3實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證本文位置估計(jì)部分提出的WWSTC算法較STC算法相比有著較好的跟蹤性能，本文選取了公開(kāi)數(shù)據(jù)集中的14個(gè)視頻序列，它們包含了光照變化，遮擋，尺度變化，雜亂變化等干擾。由于WWSTC是在位置估計(jì)部分對(duì)原算法進(jìn)行改進(jìn)，進(jìn)而主要影響著CLE、OP兩種指標(biāo)。表1給出了STC，WWSTC兩種算法的CLE對(duì)比結(jié)果（由于STC跟蹤器的尺度適應(yīng)性不強(qiáng)，從而導(dǎo)致Women，RedTeam，Tunnel3個(gè)序列跟蹤出錯(cuò)，無(wú)法計(jì)算出最終的結(jié)果，文中采用S-STC算法求得的數(shù)據(jù)代替，在表中用括號(hào)表示），相應(yīng)的距離精度對(duì)比結(jié)果如圖5所示（此時(shí)的閾值固定為20個(gè)像素）。

結(jié)果顯示，WWSTC算法較原有的STC跟蹤器相比在各類(lèi)視頻中取得了良好的跟蹤性能，平均中心位置誤差比STC算法減少了26.63個(gè)像素（其中BlurFace序列的中心位置誤差由原來(lái)的112個(gè)像素減少到5.82個(gè)像素值，basketball序列由74.9個(gè)像素減小到8.7個(gè)像素）。

為了證實(shí)尺度估計(jì)部分對(duì)算法的影響，同樣選取上述視頻序列，將S-STC算法、WWSTC算法、最后的S-WWSTC算法與STC算法進(jìn)行對(duì)比實(shí)驗(yàn)。由于算法中的尺度估計(jì)與位置估計(jì)兩部分相互獨(dú)立的，因此尺度部分主要影響著跟蹤的重疊率和成功率。圖6給出了這四種算法在測(cè)試視頻序列中的重疊率和成功率對(duì)比結(jié)果（鑒于STC算法在個(gè)別視頻中效果較差，導(dǎo)致跟蹤期間跟蹤窗體消失，無(wú)法計(jì)算出women、RedTeam、tunnel序列的重疊率和成功率;WWSTC算法雖然一定程度上提升了跟蹤效果，對(duì)于RedTeam序列仍然出現(xiàn)跟蹤出錯(cuò)的情況。因此圖6中women序列為3個(gè)顏色條，RedTeam為兩個(gè)顏色條，tunnel為3個(gè)顏色條）。由此可見(jiàn)，不僅S-STC算法改善了STC跟蹤器的跟蹤重疊率和成功率，而且提出的S-WWSTC算法進(jìn)一步提升了WWSTC算法的跟蹤性能，足以體現(xiàn)本文尺度優(yōu)化算法的優(yōu)越性。綜合以上位置估計(jì)和尺度估計(jì)的對(duì)比實(shí)驗(yàn)，可以證明，本文提出的S-WWSTC算法明顯提高了STC算法的跟蹤效果。

為了進(jìn)一步評(píng)估算法的整體性能，選取近年來(lái)出現(xiàn)的4種方法CSK、TLD、CT、ST和本文最終的S-WWSTC算法進(jìn)行比較，圖7給出了這些算法在部分具有代表性的圖像序列的跟蹤結(jié)果。圖7（a）中的目標(biāo)存在快速運(yùn)動(dòng)、旋轉(zhuǎn)、光照變化等情況，只有本文算法和CSK算法一直準(zhǔn)確跟蹤到目標(biāo)，其他算法均出現(xiàn)漂移現(xiàn)象;圖7（b）出現(xiàn)背景相似和遮擋情況，本文算法始終能夠跟蹤到圖中的易拉罐，并且能夠準(zhǔn)確適應(yīng)目標(biāo)的尺度變化;圖7（c）中的目標(biāo)姿態(tài)發(fā)生明顯變化，除了本文算法，其他算法均出現(xiàn)了明顯的漂移現(xiàn)象。

圖8給出了上述視頻集中5種算法的精度及成功率對(duì)比曲線。曲線顯示，本文算法較其他算法相比有著較高的距離精度和成功率。

為了體現(xiàn)本文算法的跟蹤效率，在AMD-A6處理器、2.7GHz主頻、4GB內(nèi)存的計(jì)算機(jī)硬件平臺(tái)下，對(duì)上述5種算法進(jìn)行了仿真對(duì)比。表2為這些算法的平均速度對(duì)比結(jié)果。數(shù)據(jù)顯示，雖然本文提出的算法雖然速度上與STC跟蹤器、CSK跟蹤器相比略有不足，但68f/s的平均跟蹤速度足以滿足實(shí)時(shí)跟蹤的需要。

4結(jié)束語(yǔ)

本文針對(duì)原有STC跟蹤器尺度適應(yīng)能力不強(qiáng)的問(wèn)題，提出了自適應(yīng)尺度的目標(biāo)跟蹤方法，使得該算法對(duì)尺度變化的運(yùn)動(dòng)目標(biāo)具有更強(qiáng)的適應(yīng)能力，有效提高了跟蹤的準(zhǔn)確度和成功率。首先，通過(guò)對(duì)圖像序列進(jìn)行預(yù)處理濾波，濾除圖像的高頻信息量;其次，利用干擾判別條件優(yōu)化時(shí)空模型的更新策略，實(shí)現(xiàn)模型的自適應(yīng)更新;此外，利用相關(guān)性原理構(gòu)建尺度金子塔，實(shí)現(xiàn)目標(biāo)的尺度自適應(yīng)。實(shí)驗(yàn)表明，本算法在目標(biāo)發(fā)生尺度變化、光照變化、姿態(tài)變化、部分遮擋、旋轉(zhuǎn)及快速運(yùn)動(dòng)等復(fù)雜情況下均能獲得良好的跟蹤效果。本算法在AMD-A6處理器、2.7GHz主頻、4GB內(nèi)存的計(jì)算機(jī)硬件平臺(tái)下，實(shí)現(xiàn)了68f/s的實(shí)時(shí)跟蹤速度。