融合多特征和通道感知的目標(biāo)跟蹤算法

趙運(yùn)基，范存良，張新良

河南理工大學(xué) 電氣工程與自動(dòng)化學(xué)院，河南 焦作 454003

目標(biāo)跟蹤是計(jì)算機(jī)視覺領(lǐng)域中的重要研究課題，同時(shí)在視頻監(jiān)控、自動(dòng)駕駛、人機(jī)交互等方面有廣泛的應(yīng)用。目標(biāo)跟蹤是根據(jù)視頻序列首幀給定的目標(biāo)尺寸和中心坐標(biāo)，預(yù)測(cè)后續(xù)幀中目標(biāo)尺寸變化和運(yùn)行軌跡的方法。雖然近年來(lái)目標(biāo)跟蹤技術(shù)取得很大的進(jìn)展，但如何解決目標(biāo)跟蹤領(lǐng)域中的遮擋、光照改變、尺度變化和快速運(yùn)動(dòng)等問(wèn)題，仍是一個(gè)極具挑戰(zhàn)性的課題。目前的跟蹤算法主要分為兩種，生成式模型和判別式模型。生成式跟蹤算法是通過(guò)顏色命名（color names,CN）、方向梯度直方圖（histogram of oriented gradient,HOG）等統(tǒng)計(jì)特征提取當(dāng)前目標(biāo)外觀模型的有效信息，在后續(xù)幀候選區(qū)域中尋找與目標(biāo)相似度最高的區(qū)域。判別式跟蹤算法將前景目標(biāo)和背景信息分為兩類，旨在訓(xùn)練一個(gè)可以從背景中區(qū)分目標(biāo)的分類器。生成式跟蹤算法只提取目標(biāo)外觀模型的有效信息，忽略了背景信息，而判別式跟蹤算法則利用目標(biāo)和背景的差異，相對(duì)于生成式跟蹤算法魯棒性更強(qiáng)。

2018 年的VOT（visual object tracking）挑戰(zhàn)賽中有62%的跟蹤算法采用了卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）特征，19%使用了HOG，24%使用了灰度特征。2019 年的VOT 挑戰(zhàn)賽中有69%的跟蹤算法采用了CNN 特征，18%使用了HOG，16%使用了灰度特征?；谏疃忍卣鞯母櫵惴ㄖ饾u占據(jù)主流，近幾年的深度跟蹤算法主要分為兩類：基于深層卷積的跟蹤算法和基于相關(guān)濾波的跟蹤算法?；谏顚泳矸e的跟蹤算法性能良好，底層CNN 特征具有的紋理信息對(duì)目標(biāo)的定位起到重要作用，高層CNN 特征具有的語(yǔ)義信息對(duì)目標(biāo)的分類也十分關(guān)鍵?；谙嚓P(guān)濾波的跟蹤算法經(jīng)過(guò)不斷的改進(jìn)，例如采用多維度特征融合、多模板尺度估計(jì)、減輕邊界效應(yīng)等改進(jìn)方案，提高了基于相關(guān)濾波算法的跟蹤性能。目前的深度跟蹤算法往往采用預(yù)訓(xùn)練模型作為特征提取器生成深度特征，當(dāng)使用預(yù)訓(xùn)練模型表征目標(biāo)時(shí)：由于視覺目標(biāo)跟蹤中的對(duì)象是任意的，即預(yù)訓(xùn)練模型的樣本中不包含的對(duì)象或?qū)ο笮畔⒌奶囟ú糠郑A(yù)訓(xùn)練模型提取的特征在應(yīng)對(duì)任意形式的目標(biāo)時(shí)效果較差，很難將它們從背景中區(qū)分；即使前景目標(biāo)在預(yù)訓(xùn)練模型的樣本中，但最后的卷積層提取的深度特征通常只保留高級(jí)視覺信息，對(duì)位置和尺度信息估計(jì)較差；由于預(yù)訓(xùn)練模型的深度特征是高維的，當(dāng)前的深度網(wǎng)絡(luò)提取特征時(shí)通常伴隨著較大的計(jì)算量。因此，利用與前景目標(biāo)相關(guān)的深度特征進(jìn)行視覺跟蹤十分重要。

近年來(lái)，越來(lái)越多的研究者將相關(guān)濾波引入到目標(biāo)跟蹤算法中?；谙嚓P(guān)濾波的目標(biāo)跟蹤算法中特征的選擇對(duì)跟蹤效果產(chǎn)生很大的影響。其中，Bolme等提出的最小化輸出平方誤差和（minimum output sum of squared error filter,MOSSE）算法，僅使用單通道的灰度特征進(jìn)行目標(biāo)跟蹤。Henriques 等提出的KCF（kernel correlation filter）算法將單通道的灰度特征擴(kuò)展到多通道的方向梯度直方圖用于目標(biāo)跟蹤，提高了跟蹤精度。Danelljan 等在算法中加入了顏色特征，并利用主成分分析（principal component analysis,PCA）對(duì)CN 特征進(jìn)行降維處理，并在彩色視頻序列中進(jìn)行在線跟蹤。Danelljan 等提出的DSST（discriminative scale space tracker）算法在MOSSE 的基礎(chǔ)上利用HOG 特征構(gòu)建尺度金字塔進(jìn)行目標(biāo)尺度估計(jì)，實(shí)現(xiàn)了尺度自適應(yīng)。以上算法僅使用單一特征描述目標(biāo)，無(wú)法全面表征前景目標(biāo)，而且不同特征在隨機(jī)場(chǎng)景下的跟蹤性能有很大差異。此外上述算法均采用逐幀更新濾波器的方式，但相鄰幀提取的特征較為相似，容易將干擾信息加入到樣本模型中，出現(xiàn)過(guò)度擬合到目標(biāo)特定區(qū)域的現(xiàn)象，導(dǎo)致后續(xù)幀跟蹤失敗。

針對(duì)深度特征描述目標(biāo)在跟蹤過(guò)程中出現(xiàn)漂移或過(guò)度擬合的問(wèn)題，提出了一種融合多特征和通道感知的目標(biāo)跟蹤算法。本文以UDT（unsupervised deep tracking）為基本框架，通過(guò)預(yù)訓(xùn)練模型提取目標(biāo)區(qū)域的深度特征并構(gòu)建相關(guān)濾波器，利用全局平均池化（global average pooling,GAP）生成的權(quán)重系數(shù)，確定濾波器對(duì)應(yīng)的深度特征通道對(duì)于描述前景目標(biāo)的重要性，刪除與前景目標(biāo)無(wú)關(guān)的濾波器對(duì)應(yīng)的特征通道；對(duì)保留的特征通過(guò)標(biāo)準(zhǔn)差計(jì)算生成一維統(tǒng)計(jì)特征并與篩選后的特征聯(lián)結(jié)，依據(jù)融合后的深度特征構(gòu)建相關(guān)濾波器并做相關(guān)運(yùn)算，獲取特征響應(yīng)圖確定目標(biāo)的位置及尺度；利用跟蹤結(jié)果區(qū)域的深度特征對(duì)融合特征構(gòu)建的濾波器進(jìn)行在線更新。在公共數(shù)據(jù)集OTB（object tracking benchmark）100、VOT2015和VOT2016上進(jìn)行實(shí)驗(yàn)分析，結(jié)果表明本文算法比UDT 更具魯棒性，同時(shí)也提升了算法的精度。

1 預(yù)訓(xùn)練模型

圖1 無(wú)監(jiān)督學(xué)習(xí)模型Fig.1 Unsupervised learning prototype

本文采用的模型為無(wú)監(jiān)督學(xué)習(xí)模型，圖1 為詳細(xì)的訓(xùn)練過(guò)程。在訓(xùn)練過(guò)程中，給定未標(biāo)記的視頻一個(gè)隨機(jī)初始化的邊界框標(biāo)簽，首先向前跟蹤以預(yù)測(cè)它在后續(xù)幀中的位置。然后將序列反向，將最后一幀中預(yù)測(cè)的邊界框作為偽標(biāo)簽進(jìn)行反向跟蹤。期望通過(guò)向后跟蹤得到的預(yù)測(cè)邊界框與第一幀中的原始邊界框一致，并使用一致性損失來(lái)衡量前后軌跡之間的差異。

2 本文算法

針對(duì)深度特征描述目標(biāo)在跟蹤過(guò)程中出現(xiàn)漂移或過(guò)度擬合的問(wèn)題，本章提出了融合多特征和通道感知的UDT 目標(biāo)跟蹤算法。本章將從以下三部分介紹本文跟蹤算法：特征通道篩選，該算法通過(guò)數(shù)據(jù)集ILSVRC 2015（ImageNet large scale visual recognition challenge）離線訓(xùn)練深度學(xué)習(xí)模型（visual geometry group network,VGG）構(gòu)建特征提取器，通過(guò)預(yù)訓(xùn)練模型輸出32 維深度特征通道，經(jīng)快速通道感知構(gòu)建相關(guān)濾波器，利用全局均值池化得到特征通道對(duì)應(yīng)濾波器的權(quán)重系數(shù)，確定濾波器對(duì)應(yīng)的深度特征通道對(duì)于描述前景目標(biāo)的重要性并進(jìn)行通道篩選，減少參數(shù)優(yōu)化過(guò)程的計(jì)算量；多特征融合，為了增強(qiáng)特征圖中不同通道之間的關(guān)聯(lián)性，將降維后的特征與標(biāo)準(zhǔn)差計(jì)算生成的統(tǒng)計(jì)特征融合；在線跟蹤過(guò)程，依據(jù)融合后的深度特征構(gòu)建相關(guān)濾波器，通過(guò)特征響應(yīng)圖確定目標(biāo)的位置及尺度，利用跟蹤結(jié)果區(qū)域的深度特征對(duì)融合特征構(gòu)建的濾波器進(jìn)行在線更新，不斷向前傳播完成跟蹤，并通過(guò)稀疏更新的方式以減少過(guò)擬合的現(xiàn)象。圖2 為本文算法流程圖。

圖2 本文算法流程圖Fig.2 Flowchart of algorithm proposed in this paper

2.1 特征通道篩選

預(yù)訓(xùn)練模型雖然能夠提取訓(xùn)練樣本中較為完備的深度特征，但對(duì)訓(xùn)練樣本集中不包含的對(duì)象提取的深度特征存在通道冗余的現(xiàn)象。深度特征通道的冗余信息不但影響算法的時(shí)效性，而且影響預(yù)訓(xùn)練模型對(duì)跟蹤算法的定位精度，因此本節(jié)采用基于相關(guān)濾波方法的通道選擇機(jī)制，通過(guò)預(yù)訓(xùn)練模型生成的32 維特征通道，經(jīng)相關(guān)計(jì)算構(gòu)建濾波器，并利用GAP 得到的權(quán)重系數(shù)，刪除與前景目標(biāo)不相關(guān)的濾波器對(duì)應(yīng)的特征通道。

特征提取器生成的深度特征通道對(duì)跟蹤目標(biāo)的貢獻(xiàn)度，可以通過(guò)相關(guān)計(jì)算得到的濾波器權(quán)重W來(lái)判斷。在權(quán)重W的基礎(chǔ)上，本節(jié)構(gòu)建了一組相關(guān)濾波器。

式中，定義為全局均值池化。為了避免無(wú)關(guān)信息的干擾并減少跟蹤過(guò)程的計(jì)算量，本文采取如下通道選擇機(jī)制：

2.2 多特征融合

2.3 在線跟蹤過(guò)程

在檢測(cè)過(guò)程中，候選區(qū)域用批量歸一化(batch normalization,BN)處理得搜索區(qū)域，再通過(guò)特征提取網(wǎng)絡(luò)得到后續(xù)幀的深度特征()，最后由特征響應(yīng)圖的最大值來(lái)估計(jì)平移量。

在線跟蹤期間，濾波器隨著時(shí)間的變化而不斷更新。濾波器更新主要是更新觀測(cè)模型，以適應(yīng)目標(biāo)物體的變化，避免跟蹤過(guò)程發(fā)生漂移。在跟蹤過(guò)程中，需要制定相應(yīng)的模型更新策略，包括是否更新模型、更新周期等。模型更新沒(méi)有統(tǒng)一的標(biāo)準(zhǔn)，通常認(rèn)為目標(biāo)物體的外形會(huì)連續(xù)發(fā)生變化，因此往往逐幀更新模型。但是目標(biāo)物體之前的特征對(duì)跟蹤也很重要，連續(xù)更新可能會(huì)丟失以往的特征信息，引入過(guò)多的噪音，因而采用稀疏更新的方式來(lái)解決這一問(wèn)題。為了讓濾波器對(duì)形變、光照、遮擋等外界條件具有更好的魯棒性，采取了如下更新策略。

相關(guān)濾波跟蹤算法通常是對(duì)濾波器進(jìn)行逐幀更新，并以此估計(jì)目標(biāo)來(lái)取得較好跟蹤效果。但是，在每一幀中均更新濾波器會(huì)增加一定的計(jì)算量。因此本節(jié)采用稀疏更新的策略，每=5 幀更新一次濾波器，即當(dāng)前景目標(biāo)發(fā)生一定程度的變化后再進(jìn)行優(yōu)化。該策略在降低計(jì)算量的同時(shí)也改善了跟蹤效果，原因在于訓(xùn)練樣本過(guò)擬合減少，使跟蹤更加穩(wěn)定。

3 仿真實(shí)驗(yàn)

3.1 實(shí)驗(yàn)環(huán)境

實(shí)驗(yàn)在Windows10操作系統(tǒng)，MATLAB2018a軟件平臺(tái)，IntelCorei5-9400F CPU@2.90 GHz，NVIDIA GeForce GTX 1060 3 GB 顯卡，8 GB 內(nèi)存的硬件平臺(tái)上進(jìn)行。本文算法的實(shí)驗(yàn)均利用MatConvNet工具包在Matlab 中執(zhí)行。

3.2 數(shù)據(jù)集

目標(biāo)跟蹤領(lǐng)域的公共數(shù)據(jù)集分為VOT 和OTB兩大類，視頻序列均經(jīng)過(guò)精心標(biāo)注，更具權(quán)威性。OTB數(shù)據(jù)集分為OTB50和OTB100，其中50 和100 代表該數(shù)據(jù)集中視頻序列的數(shù)目。VOT 是官方競(jìng)賽的數(shù)據(jù)集，有VOT2015、VOT2016 等且每年均會(huì)更新。OTB 和VOT 數(shù)據(jù)集存在一定的差別，其中OTB 數(shù)據(jù)集含有25%的灰度圖像，VOT 中均為彩色圖像。兩者最大的區(qū)別是OTB 由隨機(jī)幀開始，或矩形框加隨機(jī)干擾初始化，VOT 是首幀初始化，每次跟蹤失敗即預(yù)測(cè)框和標(biāo)注框不重疊時(shí)，5 幀后重新初始化。

3.3 消融分析

在公共數(shù)據(jù)集VOT2015 上，本文對(duì)濾波器采用不同更新間隔的算法性能進(jìn)行消融分析。表1中顯示，隨著更新間隔的增加，跟蹤的平均幀率（FPS）不斷提升，同時(shí)在平均精度（Accuracy）和魯棒性（Robustness）方面展現(xiàn)了不同的性能。當(dāng)每5 幀更新一次時(shí)，僅在平均幀率上稍稍落后于其他算法，而在其他方面均為最好或次好。綜上所述，對(duì)濾波器每5 幀更新一次時(shí)整體效果最好，其中期望平均重疊（expect average overlap，EAO）的提升最為顯著。

表1 VOT2015 中不同更新間隔的跟蹤性能Table 1 Tracking performance of different update intervals on VOT2015

表2 VOT2015 中不同通道數(shù)目的性能分析Table 2 Performance analysis of different channel number on VOT2015

在稀疏更新和通道篩選的基礎(chǔ)上，本文對(duì)融合不同類型統(tǒng)計(jì)特征的算法性能進(jìn)行消融分析。算法采取了極差、均值、標(biāo)準(zhǔn)差三種統(tǒng)計(jì)特征與保留的特征分別聯(lián)結(jié)并和原算法比較。如表3 所示，當(dāng)融合極差時(shí)，精確度和EAO 存在或高或低的變化，僅有魯棒性取得較大幅度的改善，跟蹤性能提升有限。融合均值或標(biāo)準(zhǔn)差時(shí)，性能提升較為顯著，融合均值的特征僅在FPS 方面以0.203 0 的優(yōu)勢(shì)稍領(lǐng)先于融合標(biāo)準(zhǔn)差的特征，而在精確度、魯棒性和EAO 三方面均落后。通過(guò)綜合分析，將標(biāo)準(zhǔn)差與保留特征聯(lián)結(jié)整體性能更佳。

表3 VOT2015 中不同融合方式的性能分析Table 3 Performance analysis of different fusion modes on VOT2015

在公共數(shù)據(jù)集VOT2016 上，本文對(duì)濾波器采用不同更新間隔的算法性能進(jìn)行消融分析。表4 中顯示，隨著更新間隔的增加，跟蹤的平均幀率不斷提升，同時(shí)在平均精度和魯棒性方面展現(xiàn)了不同的性能。當(dāng)每5 幀更新一次時(shí)，僅在平均幀率上稍稍落后于其他算法，而在其他方面均為最好或次好。綜上所述，對(duì)濾波器每5 幀更新一次時(shí)整體效果最好，其中魯棒性的提升最大。

表4 VOT2016 中不同更新間隔的跟蹤性能Table 4 Tracking performance of different update intervals on VOT2016

表5 VOT2016 中不同通道數(shù)目的性能分析Table 5 Performance analysis of different channel number on VOT2016

在稀疏更新和通道篩選的基礎(chǔ)上，本文對(duì)融合不同類型統(tǒng)計(jì)特征的算法性能進(jìn)行消融分析。算法采取了極差、均值、標(biāo)準(zhǔn)差三種統(tǒng)計(jì)特征與保留的特征分別聯(lián)結(jié)并和原算法比較。如表6 所示，當(dāng)融合極差時(shí)，魯棒性和EAO 取得了一定的提升，但精確度稍劣于原特征，跟蹤性能提升有限。融合均值或標(biāo)準(zhǔn)差時(shí)，性能提升較為顯著，融合標(biāo)準(zhǔn)差的特征在四個(gè)方面均以微弱優(yōu)勢(shì)領(lǐng)先于融合均值的特征。通過(guò)綜合分析，將標(biāo)準(zhǔn)差與原特征聯(lián)結(jié)整體性能更佳，其中魯棒性的提升最為顯著。

表6 VOT2016 中不同融合方式的性能分析Table 6 Performance analysis of different fusion modes on VOT2016

3.4 OTB 對(duì)比結(jié)果

為了有效評(píng)估本文算法的性能，在公共數(shù)據(jù)集OTB100上進(jìn)行測(cè)試，將本文算法與ECO（efficient convolution operators）、LMCF（large margin circulant feature）、ECOHC、UDT（unsupervised deep tracking）、SRDCF（spatially regularized correlation filters）、Staple、SAMF（scale adaptive kernel correlation filter）、DSST（discriminative scale space tracker）、KCF（kernel correlation filter）等目前主流的算法進(jìn)行對(duì)比，從準(zhǔn)確性和成功率兩方面對(duì)跟蹤性能進(jìn)行定性和定量評(píng)估。

圖3 為不同算法在OTB100 數(shù)據(jù)集上的精確度和成功率曲線對(duì)比圖。由圖3 可知，本文算法的精確度、成功率分別達(dá)到了0.835 和0.796，與UDT 相比分別提高了5.2%和2.8%，在性能上僅次于ECO 且均優(yōu)于其他算法。

表7 和表8 分別描述了在一次性評(píng)估模式（one pass evaluation,OPE）下，不同算法在OTB100 數(shù)據(jù)集上11 種不同屬性的距離精度和成功率。由表7 可知，本文算法在所有屬性上以較大優(yōu)勢(shì)優(yōu)于UDT。由表8可知，本文算法僅在尺度變化（SV）屬性上以0.001 的劣勢(shì)次于UDT，而在其他屬性上均優(yōu)于UDT。由此表明，本文算法可以適應(yīng)復(fù)雜場(chǎng)景下的跟蹤任務(wù)。

圖3 OTB100 數(shù)據(jù)集上精確度與成功率曲線Fig.3 Precision and success rate plots on OTB100 dataset

表7 不同屬性上各算法的距離精度對(duì)比Table 7 Precision comparison of algorithms with different attributes

表8 不同屬性上各算法的成功率對(duì)比Table 8 Success rate comparison of algorithms with different attributes

為了能更直觀地對(duì)算法進(jìn)行定性分析，本文選取了8 組具有代表性的視頻，圖4 為不同算法在具有挑戰(zhàn)性的視頻序列的結(jié)果對(duì)比。

圖4 不同算法在具有挑戰(zhàn)性的視頻序列的跟蹤結(jié)果Fig.4 Tracking results of algorithms with challenging video sequences

（1）背景干擾：目標(biāo)在運(yùn)動(dòng)過(guò)程中，背景相似或背景復(fù)雜等干擾的因素，對(duì)于跟蹤算法是一項(xiàng)重大的挑戰(zhàn)。在圖4（a）Football 和圖4（f）Shaking 視頻序列中，前景目標(biāo)受到相似背景的干擾，圖4（d）Lemming 和圖4（g）Soccer視頻序列中，前景目標(biāo)受到復(fù)雜背景的干擾。圖4 的結(jié)果表示，本文算法與其他算法相比，對(duì)目標(biāo)實(shí)現(xiàn)了更加精確的跟蹤，表明本文算法對(duì)前景目標(biāo)和背景信息具有較強(qiáng)的區(qū)分能力。

（2）快速運(yùn)動(dòng)：如圖4（a）Football、圖4（c）Jumping和圖4（h）Sylvester 所示，視頻序列中的目標(biāo)快速運(yùn)動(dòng)。其他算法在跟蹤過(guò)程中出現(xiàn)了一定程度的漂移現(xiàn)象，而本文算法可以穩(wěn)定有效地跟蹤到目標(biāo)。

（3）尺度變化：視頻序列Freeman3 中，人臉在由遠(yuǎn)及近的移動(dòng)過(guò)程中，同時(shí)受到相似背景的干擾并產(chǎn)生形變。如圖4（b）所示，從第304 到425 幀，鏡頭拉近并劇烈抖動(dòng)，其他算法在跟蹤過(guò)程中發(fā)生了漂移，本文算法仍可以跟蹤到目標(biāo)。

（4）遮擋：視頻序列Football 中前景目標(biāo)存在被部分遮擋或完全遮擋的情況，如圖4（a）所示，從第48到74 幀，目標(biāo)被背景完全遮擋，當(dāng)前景目標(biāo)再次出現(xiàn)時(shí)，本文算法始終可以跟蹤到目標(biāo)。

（5）旋轉(zhuǎn)：視頻序列Mhyang 和Soccer 中目標(biāo)均出現(xiàn)了平面外旋轉(zhuǎn)的現(xiàn)象。如圖4（e）和圖4（g）所示，前景目標(biāo)在移動(dòng)過(guò)程中出現(xiàn)大幅度旋轉(zhuǎn)，面部信息發(fā)生巨大變化，導(dǎo)致提取特征的難度增加，而本文算法的跟蹤結(jié)果依然準(zhǔn)確。

3.5 VOT 對(duì)比結(jié)果

在公共數(shù)據(jù)集VOT2015 中，引入精確度、魯棒性、EAO、幀率等指標(biāo)對(duì)本文算法和其他算法進(jìn)行比較分析。由表9～表11 可知，本文算法與UDT 相比，在不影響跟蹤速度的情況下，魯棒性得到了一定的提升，其中在應(yīng)對(duì)光照變化、抖動(dòng)模糊和尺度變化等挑戰(zhàn)時(shí)效果較為顯著。而在EAO、精確度等方面，本文算法相較于UDT 均有提升。盡管ECO 和SRDCF 算法總體性能略優(yōu)于本文算法，但幀率僅為0.848 6 和0.374 6，完全無(wú)法滿足目標(biāo)跟蹤算法的實(shí)時(shí)性要求，而本文算法可以在速度和性能之間取得較好的平衡。

表9 準(zhǔn)確度Table 9 Accuracy

表10 魯棒性Table 10 Robustness

表11 整體性能Table 11 Overall performance

在公共數(shù)據(jù)集VOT2016中，引入精確度、魯棒性、EAO、幀率等指標(biāo)對(duì)本文算法和其他算法進(jìn)行比較分析。由表12～表14 可知，本文算法與UDT 相比，在不影響跟蹤速度的情況下，魯棒性得到了提升，其中在應(yīng)對(duì)抖動(dòng)模糊、遮擋和形變等挑戰(zhàn)時(shí)效果較為明顯。而在EAO、精確度等方面，本文算法相較于UDT均有提升。盡管SRDCF 和ECO 算法總體性能略優(yōu)于本文算法，但幀率僅為0.405 4 和0.871 8，完全無(wú)法滿足目標(biāo)跟蹤算法的實(shí)時(shí)性要求，而本文算法可以在速度和性能之間取得較好的平衡。

表12 準(zhǔn)確度Table 12 Accuracy

表13 魯棒性Table 13 Robustness

表14 整體性能Table 14 Overall performance

4 結(jié)束語(yǔ)

本文針對(duì)深度特征描述目標(biāo)在跟蹤過(guò)程中出現(xiàn)漂移或過(guò)度擬合的問(wèn)題，以UDT 目標(biāo)跟蹤算法為基本框架，提出了融合多特征和通道感知的目標(biāo)跟蹤算法。在通道感知的過(guò)程中，利用預(yù)訓(xùn)練模型生成的深度特征通道構(gòu)建權(quán)重，并依據(jù)權(quán)重篩選深度特征，刪除與前景目標(biāo)無(wú)關(guān)的特征通道，避免無(wú)關(guān)信息的干擾并減少跟蹤算法的計(jì)算量；在多特征融合的過(guò)程中，為了增強(qiáng)特征圖中不同通道之間的關(guān)聯(lián)性，將降維后的特征與標(biāo)準(zhǔn)差計(jì)算生成的統(tǒng)計(jì)特征融合；在線跟蹤中，采用稀疏更新的策略以減少過(guò)擬合的現(xiàn)象，使跟蹤過(guò)程更加穩(wěn)定。通過(guò)公共數(shù)據(jù)集OTB100、VOT2015 和VOT2016 進(jìn)行實(shí)驗(yàn)分析，結(jié)果表明，本文融合多特征和通道感知算法的精確度優(yōu)于UDT，同時(shí)在背景復(fù)雜、快速運(yùn)動(dòng)、尺度變化等方面具有更強(qiáng)的魯棒性。本文的融合多特征和通道感知算法具有借鑒性，對(duì)后續(xù)的跟蹤算法有一定的參考價(jià)值。下一步工作將對(duì)兼顧性能和跟蹤速度的基于孿生網(wǎng)絡(luò)的目標(biāo)跟蹤算法進(jìn)行深入研究。