一種自適應(yīng)模板更新的判別式KCF跟蹤方法

寧欣，李衛(wèi)軍,3，田偉娟，徐馳，徐健

（1. 中國(guó)科學(xué)院半導(dǎo)體研究所 高速電路與神經(jīng)網(wǎng)絡(luò)實(shí)驗(yàn)室，北京 100083; 2. 威富集團(tuán) 形象認(rèn)知計(jì)算聯(lián)合實(shí)驗(yàn)室，北京 100083; 3. 中國(guó)科學(xué)院大學(xué) 微電子學(xué)院，北京 100029）

近年來(lái)，計(jì)算機(jī)視覺(jué)作為一門(mén)新興學(xué)科發(fā)展十分迅速，目標(biāo)跟蹤作為視頻監(jiān)督、分析和理解的關(guān)鍵技術(shù)，由于其重要的學(xué)術(shù)價(jià)值、潛在的商業(yè)價(jià)值和廣泛的應(yīng)用前景迅速成為計(jì)算機(jī)視覺(jué)領(lǐng)域研究的熱點(diǎn)和難點(diǎn)，已成功應(yīng)用于智能監(jiān)控、機(jī)器人、醫(yī)學(xué)成像及人體運(yùn)動(dòng)分析等人機(jī)交互領(lǐng)域[1-2]，越來(lái)越多的學(xué)者和機(jī)構(gòu)在相關(guān)方面進(jìn)行了大量的研究工作，同時(shí)取得了較好的成就。然而，目標(biāo)形狀變化、快速運(yùn)動(dòng)和遮擋一直是限制目標(biāo)跟蹤在實(shí)際場(chǎng)合應(yīng)用的瓶頸。

最近，KCF[3]以其高效的計(jì)算能力成功引起了眾多研究者的重視和青睞，同時(shí)在目標(biāo)跟蹤中取得了較好的性能。該方法首次將快速Fourier變換成功應(yīng)用到目標(biāo)跟蹤中，達(dá)到了實(shí)時(shí)跟蹤的效果。然而該算法未對(duì)遮擋和快速運(yùn)動(dòng)中的目標(biāo)跟蹤作進(jìn)一步處理；同時(shí)為了減少訓(xùn)練樣本數(shù)目少的缺陷，每一幀均用于模板更新，以增強(qiáng)模板的檢測(cè)性能，但這也使得大量的與目標(biāo)無(wú)關(guān)的背景信息被加入到模板更新中，導(dǎo)致跟蹤框漂移，目標(biāo)跟蹤性能下降。針對(duì)經(jīng)典的KCF算法存在的問(wèn)題，最新的跟蹤算法主要從2個(gè)方面作改進(jìn)：一種是目標(biāo)特征表示的優(yōu)化設(shè)計(jì)，另一種是魯棒的分類器的設(shè)計(jì)。

1)目標(biāo)新特征的優(yōu)化設(shè)計(jì)方法。特征的優(yōu)化設(shè)計(jì)是目標(biāo)跟蹤領(lǐng)域一個(gè)非常重要的研究線索，該方法主要致力于目標(biāo)表示的設(shè)計(jì)，即通過(guò)采用機(jī)器學(xué)習(xí)方法或者深度學(xué)習(xí)方法設(shè)計(jì)表達(dá)能力更好的特征，實(shí)現(xiàn)目標(biāo)更詳細(xì)的描述。文獻(xiàn)[4-8]對(duì)傳統(tǒng)特征進(jìn)行改進(jìn)；考慮到深度學(xué)習(xí)在特征表示中的優(yōu)越性，文獻(xiàn)[9-13]采用深度卷積神經(jīng)網(wǎng)絡(luò)挖掘高層卷積特征，以增強(qiáng)跟蹤算法的性能。文獻(xiàn)[9]直接從預(yù)訓(xùn)練的深度CNN中提取若干層特征并用于學(xué)習(xí)自適應(yīng)相關(guān)濾波器，保證了跟蹤準(zhǔn)確率和魯棒性。進(jìn)一步地，文獻(xiàn)[10]提出了一種基于CNN的序列訓(xùn)練方法，該方法把每個(gè)通道的特征輸出作為單獨(dú)的跟蹤器，最后將分類器的結(jié)果級(jí)聯(lián)作為最后的決策輸出。目標(biāo)特征的優(yōu)化設(shè)計(jì)方法，雖取得了一定成績(jī)，但目標(biāo)跟蹤算法旨在區(qū)分出背景和目標(biāo)區(qū)域，該方法所學(xué)習(xí)到的特征只表示了目標(biāo)視頻的底層視覺(jué)信息，未對(duì)背景作進(jìn)一步約束，導(dǎo)致學(xué)習(xí)到的模板判別能力非常有限。因此，獲取判別性好的目標(biāo)特征仍是一個(gè)比較棘手的難題。

2)魯棒的分類器的設(shè)計(jì)方法。魯棒的分類器設(shè)計(jì)方法主要是通過(guò)建立優(yōu)化機(jī)制，對(duì)需要進(jìn)行模板更新的樣本作限制，進(jìn)一步保證了模板對(duì)于目標(biāo)的檢測(cè)效果。為了充分利用結(jié)構(gòu)化輸出的SVM能夠處理復(fù)雜輸出，如樹(shù)、序列和集合等優(yōu)勢(shì)，Hare等[14]首次將該算法應(yīng)用到跟蹤中，大大提高了跟蹤準(zhǔn)確率。為降低計(jì)算復(fù)雜度，Ning等[15]提出了一種基于雙線性結(jié)構(gòu)化的SVM模型，該模型采用的特征圖可達(dá)到近似非線性核的效果，因此跟蹤性能得到大幅度提升，然而該算法的跟蹤速度依然限制了其實(shí)際應(yīng)用。因此，Wang等[16]提出了一種高置信度的模板更新策略，能盡可能地避免模板更新引入的背景信息，但目標(biāo)跟蹤過(guò)程中，目標(biāo)往往不是一成不變的，目標(biāo)狀態(tài)的變化會(huì)引起當(dāng)前跟蹤框的置信度較小，從而導(dǎo)致學(xué)習(xí)到的模板無(wú)法擬合目標(biāo)的變化。

以上2種方法致力于設(shè)計(jì)更復(fù)雜的特征或者分類器，在提高跟蹤精度的同時(shí)，無(wú)疑大大增加了算法的復(fù)雜度，從而限制了視覺(jué)跟蹤的實(shí)時(shí)性能，同時(shí)，上述方法并沒(méi)有對(duì)目標(biāo)的快速運(yùn)動(dòng)和目標(biāo)遮擋作進(jìn)一步的處理。

1 跟蹤算法新構(gòu)架

本文提出了一種自適應(yīng)模板更新的判別式核相關(guān)濾波跟蹤新構(gòu)架，如圖1所示。能夠判斷當(dāng)前跟蹤狀態(tài)是否正常，及時(shí)恢復(fù)丟失的目標(biāo)，同時(shí)能夠判斷當(dāng)前跟蹤的目標(biāo)是否發(fā)生形狀變化，并制定出不同的機(jī)制恢復(fù)丟失的目標(biāo)，實(shí)現(xiàn)了高效的目標(biāo)跟蹤。

1.1 基于判別式模型的跟蹤質(zhì)量判定

為了實(shí)時(shí)監(jiān)督跟蹤目標(biāo)是否發(fā)生形狀變化或者目標(biāo)丟失的情況，本文提出一種基于外觀判別式分類器的跟蹤質(zhì)量判定標(biāo)準(zhǔn)，以判斷跟蹤結(jié)果的準(zhǔn)確性，實(shí)現(xiàn)目標(biāo)的有效跟蹤。本文跟蹤結(jié)果判定標(biāo)準(zhǔn)的定義和實(shí)現(xiàn)如下：

1)獲取初始幀中目標(biāo)框的初始信息。采用目標(biāo)檢測(cè)算法對(duì)輸入幀執(zhí)行目標(biāo)檢測(cè)，獲取目標(biāo)框的初始信息，包括目標(biāo)所在位置以及尺寸大小。

2)構(gòu)建判別式分類器的樣本訓(xùn)練集并分配樣本標(biāo)簽。以一定步長(zhǎng)在目標(biāo)框的周?chē)M(jìn)行稠密采樣，獲取與目標(biāo)框大小相同的訓(xùn)練樣本；假設(shè)樣本圖像所在框與目標(biāo)框之間的重疊閾值為 Tovp，分別計(jì)算所有樣本圖像與目標(biāo)框的重疊值；當(dāng)重疊值大于Tovp時(shí) ，設(shè)置該樣本圖像的標(biāo)簽為1，否則為0。

3)提取樣本的HOG特征在低維空間的特征表示，即HOG描述子。首先提取所有樣本的HOG特征，然后采用PCA-net[17]的思想對(duì)HOG特征作進(jìn)一步的降維處理，旨在獲取更抽象且判別性更好的特征表示f。

4)對(duì)所有正負(fù)樣本重復(fù)3)，得到所有樣本的低維特征表示，為當(dāng)前目標(biāo)學(xué)習(xí)判別模型 svm1，并加入到集合 SVMobj中 ， SVMobj為跟蹤目標(biāo)出現(xiàn)的所有外觀狀態(tài)對(duì)應(yīng)的分類器集合。

圖 1 目標(biāo)跟蹤新框架圖示Fig. 1 Overview of the proposed framework for visual tracking

5)針對(duì)易混淆的訓(xùn)練樣本，在模型學(xué)習(xí)的過(guò)程中加入類別約束，對(duì)易錯(cuò)分的樣本進(jìn)行懲罰，使得特征的類別信息更明顯，判別能力更強(qiáng)。針對(duì)出現(xiàn)錯(cuò)分的樣本：若隸屬于目標(biāo)的樣本特征fobj被 錯(cuò)分到背景類別中，即 fobj在目標(biāo)中的類別判分小于在背景中的判分；若隸屬于背景的樣本特征 fbgd被錯(cuò)分到目標(biāo)類別中，即 fbgd在目標(biāo)中的類別判分大于在背景中的判分。因此，引入下列類別約束條件：

6)采用KCF獲取測(cè)試幀的跟蹤結(jié)果，并計(jì)算跟蹤區(qū)域?qū)?yīng)的特征 f 在集合 SVMobj下的判分s(f,SVMobj) ， 以判斷當(dāng)前目標(biāo)的跟蹤狀態(tài) trk_sta是否正常，計(jì)算如式(2)、式(3)：

式中： n 表示外觀判別模型的數(shù)目； Tsco表示跟蹤結(jié)果在判別模型中的判分閾值。若trk_sta=normal，表明跟蹤結(jié)果可信；否則，表明目標(biāo)狀態(tài)變化，可能發(fā)生旋轉(zhuǎn)、目標(biāo)快速運(yùn)動(dòng)或者被遮擋等情況。

1.2 自適應(yīng)模板更新策略

本節(jié)給出了一種基于極小值的模板更新策略，旨在針對(duì)性地篩選出不同形狀以及與背景相似度較大的目標(biāo)樣本，用于對(duì)當(dāng)前模板進(jìn)行更新，以增強(qiáng)模板對(duì)于不同形狀和與背景相似的正樣本的泛化能力。

目標(biāo)跟蹤過(guò)程中，可觀察到置信度呈現(xiàn)先下降后上升的趨勢(shì)，有2種情況可以解釋：1)目標(biāo)形狀從偏離初始模板到逐漸恢復(fù)至與模板相似，如目標(biāo)的平面內(nèi)旋轉(zhuǎn)；2)目標(biāo)形狀發(fā)生變化的過(guò)程中，目標(biāo)形狀逐漸偏離初始模板，而背景中存在與初始模板相近的區(qū)域，導(dǎo)致目標(biāo)所在位置框朝著背景方向漂移，如目標(biāo)平面外的旋轉(zhuǎn)。為了能夠讓模板具有較好的魯棒性，需要同時(shí)保證圖像標(biāo)簽為1的正樣本的數(shù)量和多樣性，當(dāng)上述2種情況出現(xiàn)時(shí)表示目前樣本的狀態(tài)發(fā)生了變化，需要對(duì)模板及時(shí)進(jìn)行更新，使得跟蹤器具有更好的檢測(cè)性能。因此，模板的更新條件設(shè)置為：連續(xù)多幀目標(biāo)跟蹤框的置信度呈現(xiàn)先增后減的趨勢(shì)，即伴隨有極小值的出現(xiàn)?；谶@樣的思想，本文基于極值的模板更新策略具體過(guò)程如下。

1)輸入下一幀圖像，采用KCF算法進(jìn)行跟蹤，獲取跟蹤結(jié)果的置信度。

2)重復(fù)步驟1)，獲取連續(xù) n幀的置信度集合C={c1,c2,···,cn} ，觀察置信度的變化情況。設(shè) F表示更新標(biāo)志位，定義為

3)若 F為1，則極小值對(duì)應(yīng)的跟蹤結(jié)果用于模板更新，同時(shí)考慮到模板更新具有一定的記憶功能，為了能包含更完整的樣本信息，對(duì)接下來(lái)的3幀，直接設(shè)置標(biāo)志位 F為1，并執(zhí)行模塊更新操作。

4)模板未被更新時(shí)，若極小值出現(xiàn)在幀F(xiàn)ran時(shí)，保留最后的 n-1幀，否則僅保留最后一幀；模板被更新時(shí)，剔除所有 n幀的置信度，得到更新后的置信度集合 Cn′，計(jì)算式為

5)將用于模板更新的樣本作為訓(xùn)練樣本，學(xué)習(xí)新的外觀判別式模型 svm ，并加入到 S VMobj中。

1.3 目標(biāo)跟蹤新構(gòu)架

本文提出了一種自適應(yīng)模板更新的判別式核相關(guān)濾波跟蹤新構(gòu)架，能夠?qū)崟r(shí)監(jiān)督目標(biāo)的跟蹤情況，捕捉發(fā)生旋轉(zhuǎn)或者處于遮擋和快速運(yùn)動(dòng)的目標(biāo)，并進(jìn)一步設(shè)計(jì)跟蹤丟失恢復(fù)機(jī)制，以保證目標(biāo)實(shí)時(shí)且長(zhǎng)期有效地跟蹤，具體實(shí)施如下。

1)輸入圖像，并執(zhí)行1.1節(jié)提出的跟蹤質(zhì)量判定方法，捕捉跟蹤異常的情況。

2)獲取跟蹤異常的圖像幀，利用1.2節(jié)提出的模板更新策略獲取模板更新標(biāo)志 F 。 F=1表明目標(biāo)發(fā)生旋轉(zhuǎn)，有必要進(jìn)行模板更新；否則，表明目標(biāo)形狀未發(fā)生較大的變化，此時(shí)目標(biāo)可能被干擾物遮擋或者處于快速運(yùn)動(dòng)的狀態(tài)。

3)對(duì)當(dāng)前幀執(zhí)行目標(biāo)檢測(cè)算法，若丟失目標(biāo)被成功檢測(cè)，則利用檢測(cè)結(jié)果繼續(xù)跟蹤，否則認(rèn)為目標(biāo)被干擾物遮擋，在這種情況下，假設(shè)遮擋過(guò)程具備時(shí)長(zhǎng)短期性和目標(biāo)運(yùn)動(dòng)位移最小化的性質(zhì)，因此，保持目標(biāo)丟失前的位置不變，直到跟蹤狀態(tài) trk_sta正?；蛘吣繕?biāo)被成功檢測(cè)。

2 實(shí)驗(yàn)與分析

2.1 實(shí)驗(yàn)設(shè)置和數(shù)據(jù)庫(kù)

為驗(yàn)證提出的新框架的有效性，首先從公共數(shù)據(jù)集OTB-100[18]中選取50組視頻進(jìn)行測(cè)試。然后，分別選取具有旋轉(zhuǎn)、快速運(yùn)動(dòng)和遮擋屬性的視頻對(duì)本文新構(gòu)架的魯棒性進(jìn)行評(píng)估。圖2給出了OTB-100中的部分視頻幀。一次成功率和幀速率分別用于跟蹤評(píng)估。一次成功率用于評(píng)估跟蹤的準(zhǔn)確率，包含跟蹤精度和成功率兩個(gè)指標(biāo)；幀速率用于評(píng)估跟蹤速度的快慢。

圖 2 OTB-100數(shù)據(jù)庫(kù)Fig. 2 OTB-100 dataset

本文實(shí)驗(yàn)參數(shù)設(shè)置如下：1)本文提出的基于極值的自適應(yīng)更新策略中，最小值存在性判斷需要的幀數(shù)目 n 設(shè)置為4，重疊率閾值 Tsco設(shè)置為0.7；2)本文用于跟蹤質(zhì)量判定的判別模型學(xué)習(xí)中，訓(xùn)練樣本標(biāo)簽確定需要的重疊率閾值 Tovp設(shè)置為0.7。

2.2 新構(gòu)架的目標(biāo)跟蹤

本節(jié)采用基于HOG和CN特征結(jié)合的跟蹤新構(gòu)架，即AU_DKCF進(jìn)行測(cè)試，通過(guò)比較不同特征以驗(yàn)證提出的方法的有效性。表1分別列出了新構(gòu)架AU_DKCF與對(duì)比算法的跟蹤結(jié)果。由表1可以看出，新構(gòu)架在跟蹤速度和精度方面取得了較高的性能，均優(yōu)于對(duì)比算法。其原因在于：新構(gòu)架能夠較準(zhǔn)確判斷目標(biāo)是否跟蹤異常，同時(shí)可進(jìn)一步區(qū)別目標(biāo)跟蹤異常所產(chǎn)生的原因，并利用不同機(jī)制恢復(fù)丟失的目標(biāo)，實(shí)現(xiàn)目標(biāo)長(zhǎng)期且準(zhǔn)確地跟蹤。AU_DKCF在采用2種手工特征結(jié)合時(shí)，跟蹤速度能達(dá)到105.2 f/s，可有效實(shí)現(xiàn)目標(biāo)的實(shí)時(shí)跟蹤。

表 1 本文新構(gòu)架和對(duì)比算法的目標(biāo)跟蹤結(jié)果Table 1 Object tracking results of proposed method and contrastive methods on OTB-50

2.3 不同屬性的視頻跟蹤

本節(jié)針對(duì)具有目標(biāo)形狀變化、目標(biāo)被遮擋和快速運(yùn)動(dòng)等屬性的視頻序列，分別進(jìn)行目標(biāo)跟蹤測(cè)試，以驗(yàn)證提出的跟蹤算法對(duì)于上述挑戰(zhàn)的魯棒性。表2給出了本文新構(gòu)架和對(duì)比算法在OTB-100數(shù)據(jù)集上，對(duì)于不同屬性視頻的跟蹤結(jié)果。由表2可以看出，本文提出的新構(gòu)架對(duì)于上述挑戰(zhàn)的有效性。

表 2 本文新構(gòu)架對(duì)不同屬性視頻的跟蹤結(jié)果Table 2 Tracking results on videos with sequence attributes %

2.4 跟蹤結(jié)果可視化

本節(jié)給出了本文新框架的跟蹤可視化效果，以展示本文方法的有效性。圖3～5分別給出了本文AU_DKCF和經(jīng)典濾波算法(線性相關(guān)濾波DCF和核相關(guān)濾波KCF)對(duì)旋轉(zhuǎn)屬性的視頻，快速運(yùn)動(dòng)屬性的視頻和遮擋屬性的視頻的跟蹤結(jié)果。從圖中可以觀察得到，新框架在處理具備旋轉(zhuǎn)挑戰(zhàn)的視頻時(shí)，獲得了更優(yōu)的性能。圖3～5中，綠色框表示Groundruth，紫色框表示DCF，藍(lán)色框表示KCF，紅色框表示AU_DKCF。

圖 5 籃球視頻的可視化跟蹤結(jié)果Fig. 5 Visualizing tracking result of basketball

3 結(jié)束語(yǔ)

本文在充分分析、研究和實(shí)驗(yàn)的基礎(chǔ)上，取得了以下幾點(diǎn)結(jié)論：1)提出一種基于外觀判別式分類器的跟蹤質(zhì)量判定方法，旨在判斷當(dāng)前跟蹤狀態(tài)是否正常，以便及時(shí)恢復(fù)丟失的目標(biāo)；2)提出了一種新的自適應(yīng)模板更新策略，在提高跟蹤速度的同時(shí)，能夠判斷當(dāng)前跟蹤的目標(biāo)是否發(fā)生形狀變化，以增強(qiáng)模板的泛化能力；3)提出一種融合跟蹤質(zhì)量判定和模板自適應(yīng)更新的跟蹤新構(gòu)架，旨在實(shí)時(shí)判斷當(dāng)前跟蹤目標(biāo)所處狀態(tài)，同時(shí)制定出不同的機(jī)制恢復(fù)丟失的目標(biāo)，實(shí)現(xiàn)了高效的目標(biāo)跟蹤。后續(xù)作者將致力于將現(xiàn)有跟蹤算法和深度學(xué)習(xí)結(jié)合用于安防監(jiān)控中的異常行為分析、客流量統(tǒng)計(jì)和警戒區(qū)域報(bào)警等應(yīng)用中。