基于深度學(xué)習(xí)的目標(biāo)跟蹤技術(shù)

侯 淋，楊順華*，黃時(shí)加

（1.中國空氣動力研究與發(fā)展中心，四川 綿陽 621000；2.中山大學(xué) 電子與通信工程學(xué)院，廣東 廣州 511400）

1 目標(biāo)跟蹤技術(shù)

目標(biāo)跟蹤[1-2]是利用圖像的初始信息，在連續(xù)的圖像片段，持續(xù)預(yù)測目標(biāo)位置變化等信息的過程。通常，其算法框架分為基于生成類和基于判別類兩種。自2013年起，相關(guān)濾波跟蹤算法和深度跟蹤算法[3]各自在視覺跟蹤領(lǐng)域獨(dú)樹一幟。采用循環(huán)矩陣技巧的KCF[4]算法的跟蹤速度可達(dá)到130 f·s-1。這類算法在速度和精度上的優(yōu)越性，促進(jìn)了一系列相關(guān)方法的發(fā)展，可用于處理各種挑戰(zhàn)。而深度學(xué)習(xí)[5]模型具有豐富信息的深度特征和大量深度學(xué)習(xí)框架的落地實(shí)施，促使深度跟蹤技術(shù)帶領(lǐng)目標(biāo)跟蹤領(lǐng)域邁入新技術(shù)時(shí)代。

2 視覺深度目標(biāo)跟蹤技術(shù)

深度學(xué)習(xí)是利用多層神經(jīng)網(wǎng)絡(luò)模型學(xué)習(xí)圖像魯棒特征的過程。它的出現(xiàn)促進(jìn)了更多更高效的圖像特征方法的誕生。然而，跟蹤過程目標(biāo)的不可預(yù)知性和訓(xùn)練數(shù)據(jù)的缺失，使得深度學(xué)習(xí)算法在目標(biāo)跟蹤領(lǐng)域的應(yīng)用難以達(dá)到非常理想的效果。為此，有學(xué)者提出幾種目標(biāo)跟蹤思路，如表1所示。

3 基于深度學(xué)習(xí)的目標(biāo)跟蹤技術(shù)發(fā)展現(xiàn)狀

首個(gè)結(jié)合了深度學(xué)習(xí)網(wǎng)絡(luò)的跟蹤算法是DLT[6]，其網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。其離線模型SDAE能學(xué)習(xí)可靠的圖像特征，初始化時(shí)利用目標(biāo)的正負(fù)樣本對分類網(wǎng)絡(luò)進(jìn)行微調(diào)，使得分類網(wǎng)絡(luò)更具針對性。DLT的在線跟蹤模型提取基于粒子濾波方法篩選的候選圖像塊，在輸入分類網(wǎng)絡(luò)尋找置信度最高的目標(biāo)位置。

當(dāng)前，越來越多優(yōu)秀的深度跟蹤算法嶄露頭角，如圖2所示。以下將基于網(wǎng)絡(luò)功能介紹深度跟蹤算法的發(fā)展現(xiàn)狀。深度跟蹤算法分類及主要跟蹤算法如表2所示。

表1 常用的深度跟蹤算法模型

圖1 DTL網(wǎng)絡(luò)

圖2 深度學(xué)習(xí)跟蹤算法的分類

表2 深度跟蹤算法分類

3.1 由相關(guān)濾波改進(jìn)的深度跟蹤算法

相關(guān)濾波的概念源于信號間的相關(guān)性描述[7]。在目標(biāo)跟蹤算法中，通過濾波器與視頻幀的相關(guān)性f預(yù)測目標(biāo)位置，計(jì)算復(fù)雜度優(yōu)勢明顯。HCF[8]首度在相關(guān)濾波領(lǐng)域引入深度特征，它不僅利用深度特征更換手工特征，而且設(shè)計(jì)加權(quán)融合置信圖策略大大縮減算法的搜索空間。ECO[9]通過減少DCF參數(shù)、簡化訓(xùn)練集并減少模型更新頻率加快算法速度，對抗模型漂移，在保持算法精度情況下達(dá)到60 f·s-1的速度。ECO+[10]考慮了不同層次的深度特征的不同性能，提出新的特征的融合策略提高跟蹤算法精度。

孿生跟蹤算法實(shí)質(zhì)是相關(guān)濾波的直接式深度網(wǎng)絡(luò)模型的應(yīng)用。SiamFC[11]是首個(gè)在ILSVRC15進(jìn)行端到端預(yù)訓(xùn)練的孿生模型，在跟蹤精度較高的條件下有遠(yuǎn)超實(shí)時(shí)性的速度，促使孿生系列跟蹤算法成為當(dāng)前主流。SiamRPN[12]引入目標(biāo)檢測的RPN模塊，將目標(biāo)相似度問題轉(zhuǎn)化為回歸和分類問題。SiamCAR[13]繼續(xù)改進(jìn)基于SiamRPN的不足，與傳統(tǒng)孿生網(wǎng)絡(luò)不同的是，該方法采用anchor-free策略，綜合分類情況和中心度決定最佳目標(biāo)中心點(diǎn)，并輸入回歸網(wǎng)絡(luò)預(yù)測目標(biāo)，在時(shí)間損耗和精度上實(shí)現(xiàn)SOTA的性能。

3.2 由分類網(wǎng)絡(luò)主導(dǎo)的深度跟蹤算法

與圖像分類任務(wù)不同，基于分類跟蹤算法需注意目標(biāo)和背景等序列信息，還要準(zhǔn)確預(yù)測目標(biāo)的特征變化，基于此，自主設(shè)計(jì)一個(gè)深度網(wǎng)絡(luò)模型而非直接使用深度分類模型更具可行性。因此，MDNet[14]提出由共享層和多目標(biāo)分支網(wǎng)絡(luò)實(shí)現(xiàn)目標(biāo)跟蹤。VITAL[15]針對深度分類跟蹤算法框架中正樣本高度重疊和正負(fù)樣本間嚴(yán)重的不均衡分布的缺陷，提出利用對抗學(xué)習(xí)保證網(wǎng)絡(luò)能識別目標(biāo)的魯棒特征的mask。

3.3 直接回歸的深度跟蹤算法

GOTURN[16]是于2016年提出的基于回歸的跟蹤算法，其速度可達(dá)到驚人的100 f·s-1。GOTURN方法利用ALOV和ImageNet數(shù)據(jù)集訓(xùn)練基于圖像對輸入的卷積網(wǎng)絡(luò)，在線跟蹤時(shí)輸入前后兩幀圖像塊，模型會直接返回預(yù)測的位置信息。深度回歸跟蹤算法具有直接和快速的特點(diǎn)。

3.4 強(qiáng)化學(xué)習(xí)推導(dǎo)的深度跟蹤算法

以AlphaGO[17]為代表的深度強(qiáng)化學(xué)習(xí)技術(shù)在圍棋等領(lǐng)域取得傲人的成績，使得深度強(qiáng)化學(xué)習(xí)技術(shù)受到許多人的推崇。在深度強(qiáng)化跟蹤算法中，強(qiáng)化學(xué)習(xí)實(shí)現(xiàn)的主要是對網(wǎng)絡(luò)的參數(shù)優(yōu)化或目標(biāo)移動狀態(tài)等的直接預(yù)測。Zhang[18]提出的端到端的強(qiáng)化學(xué)習(xí)算法是通過學(xué)習(xí)單幀圖像的空間表示和多幀圖像間的時(shí)序表示，使得網(wǎng)絡(luò)輸出的特征可以更好提取時(shí)序信息，且可以直接應(yīng)用到跟蹤問題上。ADNet[19]通過強(qiáng)化學(xué)習(xí)的獎勵機(jī)制使得深度網(wǎng)絡(luò)能夠自主決定該如何“靠近”目標(biāo)物體。ADNet避免了密集采樣，也降低了訓(xùn)練數(shù)據(jù)的標(biāo)注要求，適用于特定的跟蹤場景。

3.5 元學(xué)習(xí)方法協(xié)助的深度目標(biāo)跟蹤方法

元學(xué)習(xí)用來研究如何提升模型解決一系列任務(wù)的能力。跟蹤算法中能利用的圖像序列較少，如何快速讓模型適應(yīng)當(dāng)前的跟蹤環(huán)境是許多跟蹤器關(guān)心的問題。Meta-Tracker[20]提出將元學(xué)習(xí)應(yīng)用在目標(biāo)模型的初始化。強(qiáng)化學(xué)習(xí)原理幫助跟蹤模型學(xué)到魯棒的網(wǎng)絡(luò)參數(shù)，有利于提高算法的在線跟蹤精度。其在應(yīng)用元學(xué)習(xí)到MDNet網(wǎng)絡(luò)的過程中，直接用元學(xué)習(xí)網(wǎng)絡(luò)促使MDNet的分支等學(xué)習(xí)一個(gè)魯棒的初始模型。實(shí)驗(yàn)表明最終的跟蹤算法精度與速度都得到了提高。元學(xué)習(xí)協(xié)助的深度跟蹤算法具有初始化速度快和魯棒性高的特點(diǎn)。

4 深度跟蹤技術(shù)的發(fā)展趨勢

目前，大型數(shù)據(jù)集對于深度跟蹤算法的意義非凡。為了挖掘深度跟蹤算法的優(yōu)越性，其網(wǎng)絡(luò)深度越來越高，在軍用目標(biāo)探測和精確制導(dǎo)等落地應(yīng)用不易實(shí)現(xiàn)。盡管深度跟蹤算法取得了突破性的研究進(jìn)展，但對于長時(shí)跟蹤算法的嚴(yán)重遮擋和消失重現(xiàn)等問題，如何快捷高效地尋回目標(biāo)仍是一大難題。如何利用深度網(wǎng)絡(luò)特性構(gòu)建適應(yīng)長期跟蹤模型，解決跟蹤過程中遮擋與消失重現(xiàn)的困境，將是跟蹤領(lǐng)域未來一大重點(diǎn)發(fā)展方向。另外，隨著移動端輕薄化顯卡的發(fā)展和精煉的輕量深度卷積網(wǎng)絡(luò)如MobileNet等的涌現(xiàn)，如何在移動端等場景布署深度跟蹤應(yīng)用產(chǎn)品、快速精準(zhǔn)跟蹤目標(biāo)也逐漸成為許多學(xué)者的關(guān)注焦點(diǎn)。

5 結(jié) 語

深度學(xué)習(xí)技術(shù)對目標(biāo)跟蹤領(lǐng)域的影響巨大，本文在普及目標(biāo)跟蹤原理后系統(tǒng)闡述基于深度學(xué)習(xí)的跟蹤技術(shù)，綜合分析深度跟蹤技術(shù)在模型訓(xùn)練和長時(shí)跟蹤場景的遮擋等不足情況，展望其未來發(fā)展方向。隨著更多大規(guī)模通用數(shù)據(jù)集的出現(xiàn)，深度跟蹤算法有望取得進(jìn)一步突破。如何利用魯棒的深度特征構(gòu)建適應(yīng)于長期跟蹤的模型，并在移動端等場景布署深度跟蹤應(yīng)用產(chǎn)品，快速精準(zhǔn)跟蹤目標(biāo)的運(yùn)動，將成為未來深度跟蹤技術(shù)的重要方向。