深度學習在紅外目標跟蹤中的應用展望

莊旭陽 陳寶國 張景山

摘要：近年來，深度學習算法研究持續(xù)升溫，已經(jīng)在自動駕駛、工業(yè)檢測以及醫(yī)療等領域占據(jù)了主要地位。紅外目標跟蹤是紅外導引的一項關鍵技術，然而，對于復雜的紅外場景，已有的跟蹤算法很難適用所有情況，跟蹤效果遭遇瓶頸。本文通過介紹紅外目標跟蹤算法發(fā)展現(xiàn)狀、基于深度學習的目標跟蹤算法最新發(fā)展，分析了目前主流深度學習算法的優(yōu)缺點，結合紅外目標跟蹤的特點和深度學習方法的工作思路，展望了深度學習方法在紅外領域的應用前景及未來的工作方向。

關鍵詞：目標跟蹤;深度學習;紅外導引技術;弱小目標

中圖分類號：TJ760;TP391文獻標識碼：A文章編號：1673-5048（2019）01-0047-06[SQ0]

0引言

紅外目標跟蹤是紅外導引的一項關鍵技術。其基本研究內(nèi)容是從紅外圖像序列或視頻流中確定感興趣的目標區(qū)域，在之后的連續(xù)幀中定位該目標在紅外場景中的位置，形成目標的運動軌跡。紅外場景的目標跟蹤可以全天時工作，在導彈制導、戰(zhàn)場偵察等航空航天領域具有重要的地位。

在實際應用中，紅外目標跟蹤面臨著諸多難題，如成像分辨率低、目標的尺度及外觀變化、復雜的背景雜波、干擾以及遮擋。然而，傳統(tǒng)的跟蹤算法主要采用的特征有尺度不變特征（SIFT）、方向梯度直方圖（HOG）、局部二值模式算子（LBP）、壓縮感知（CS）和仿射不變特征（MSA）等[1]，但這些特征本質(zhì)上是一種手工設計特征，根據(jù)不同的場景而特別設計。對于復雜的紅外場景，已有算法很難適用所有情況，跟蹤能力提升遭遇瓶頸[2]。

2006年，Hinton等人提出深度學習的概念，引起了業(yè)界的廣泛關注，迅速成為全球研究熱點[3]。深度學習在學術界和工業(yè)界持續(xù)升溫，首先在語音識別的問題上取得了突破性進展，之后在2012年基于卷積神經(jīng)網(wǎng)絡的深度學習模型進軍圖像分類領域，取得了非常大的性能提升。在CVPR2016中，基于卷積神經(jīng)網(wǎng)絡的目標跟蹤方法已占據(jù)主要地位，基于卷積神經(jīng)網(wǎng)絡的目標跟蹤系統(tǒng)是當前性能最好的系統(tǒng)之一。相較于傳統(tǒng)特征提取方法，包含更多層隱藏層的卷積神經(jīng)網(wǎng)絡擁有更強大的特征學習和表征能力。對于分辨率不高、對比度低、噪聲大的紅外目標跟蹤問題有很好的應用前景。

1紅外目標跟蹤算法發(fā)展現(xiàn)狀

由于軍事需求，紅外目標跟蹤的研究主要集中在對弱小目標的跟蹤，其算法是與目標檢測相輔相成的。紅外弱小目標的跟蹤算法一般分為兩類：第一種是基于單幀圖像的跟蹤前檢測算法（DBT），第二種是基于圖像序列的檢測前跟蹤算法（TBD）[4-5]。

1.1紅外弱小目標的跟蹤前檢測算法

跟蹤前檢測的基本思路是：首先將輸入圖像進行預處理和分割，并根據(jù)目標灰度或紋理特征等，利用先驗知識確認真實目標。這種方法思路清

晰，且容易實現(xiàn)。但是，對于真實目標信噪比較低的場景，容易將真實目標遺漏。

在紅外場景下，DBT算法主要利用濾波算法對圖像進行預處理，濾除緩慢變化的背景，然后分割出所有疑似目標，再根據(jù)序列圖像確定真實目標并跟蹤。目前，預處理算法主要分為兩類：頻域濾波法和空域濾波法，兩類算法都是利用高通濾波抑制紅外圖像中的低頻背景信號。主流的空域濾波算法有：高通模板濾波法、中值濾波法、最大中值（均值）濾波法和形態(tài)學方法等。頻域濾波算法有：經(jīng)典頻域高通濾波法和小波濾波法[6]。

1.2紅外弱小目標的檢測前跟蹤算法

檢測前跟蹤的基本思路是：紅外場景下，在不確定真實目標的情況時，對所有的疑似目標進行跟蹤，然后根據(jù)序列圖像中各目標的運動、形態(tài)等信息，判斷出真實目標的軌跡。相比之下，TBD算法更加復雜，能有效提高在復雜紅外場景下檢測出低信噪比目標的可能性。主流的檢測前跟蹤算法有：管道濾波法、多假設檢驗法、動態(tài)規(guī)劃法、貝葉斯估計及粒子濾波法、高階相關法和投影變換法等[6]。

1.3兩種目標跟蹤算法的比較

DBT算法和TBD算法基于不同的思路設計。DBT算法難以處理背景復雜、目標信噪比低的場景，容易遺漏目標;而TBD算法設計復雜、實時性不好。

但是DBT算法簡單，容易實現(xiàn)，在紅外目標跟蹤領域是不可或缺的一部分;而TBD算法善于處理背景復雜、目標信噪比較低的跟蹤任務。兩種算法的性能對比如表1所示。

2深度學習方法在目標跟蹤中的應用

自2006年Hinton等人提出深度置信網(wǎng)絡以來[7]，深度學習在計算機視覺領域大顯身手，解決了許多重要問題。深度學習首先在語音識別領域取得突破性進展。2012年，基于卷積神經(jīng)網(wǎng)絡的深度學習模型進軍圖像分類領域，并取得了非常大的性能提升。目前深度學習算法已經(jīng)在圖像分類、語音識別、自動翻譯等領域處于絕對領先的地位，已有數(shù)種學習框架，如卷積神經(jīng)網(wǎng)絡[8]、遞歸神經(jīng)網(wǎng)絡[9]和孿生神經(jīng)網(wǎng)絡[10]。

航空兵器2019年第26卷第1期

莊旭陽，等：深度學習在紅外目標跟蹤中的應用展望2013年，深度學習開始進軍目標跟蹤領域，一系列優(yōu)秀算法逐漸在跟蹤精度上取得絕對優(yōu)勢。2016年，由Held[11]提出的GOTURN網(wǎng)絡完全拋棄線上的模型更新，在NVIDIATitian上可以達到165fps，是首個做到100fps的深度學習算法。從目前的研究成果來看，深度學習算法已然成為目標跟蹤領域的重要組成部分，算法設計主要分為兩個思路：

（1）追求跟蹤精度。在測試階段，繼續(xù)進行網(wǎng)絡的訓練微調(diào)：跟蹤的同時，在線提取目標區(qū)域的正負樣本，每一幀跟蹤都對網(wǎng)絡進行一次訓練，防止目標變化造成的跟蹤框漂移，最大化深度學習算法的跟蹤精度。

（2）兼顧速度精度。割棄在線的模型更新，損失一定精度，保證跟蹤速度：一般通過巧妙的模型設計，盡可能讓離線訓練替代在線更新，保證算法可觀的跟蹤精度，并擁有可以比擬傳統(tǒng)算法的跟蹤速度。

本文將從這兩個發(fā)展方向，對基于深度學習的目標跟蹤算法進行介紹。

2.1利用在線訓練的深度學習網(wǎng)絡

在深度學習進軍目標跟蹤領域伊始，算法仍是利用目標分類網(wǎng)絡進行跟蹤，如SO-DLT[12]和FCNT[13]。近年來，研究者們設計出更加輕量級的、精度更好的專用于目標跟蹤的網(wǎng)絡模型。

2.1.1基于多域卷積神經(jīng)網(wǎng)絡的目標跟蹤

多域卷積神經(jīng)網(wǎng)絡（MDNet）[14]是VOT2015（VisualObjectTracking）[15]的冠軍，該方法設計了專門針對跟蹤任務的網(wǎng)絡模型。該網(wǎng)絡模型直接利用不同場景的視頻序列進行訓練，并為不同視頻設計各自的全連接層，以此來學習運動目標普遍的特征表示，增強跟蹤效果。MDNet在兩個公共數(shù)據(jù)集OTB[16]和VOT2014上進行了充分驗證，跟蹤精度達到90%以上。MDNet的訓練流程如圖1所示。

MDNet將跟蹤看作二分類問題，缺乏應對誤差累積效應的機制。同時，由于在線微調(diào)模塊生成正負樣本數(shù)據(jù)量大，在線訓練十分耗時，使得MDNet雖然取得了傲人的跟蹤精度卻在實時性上很糟糕，速度只有1～2fps。

2.1.2基于樹型卷積神經(jīng)網(wǎng)絡的目標跟蹤

為了更好地應對跟蹤過程中的誤差累積效應，MDNet的研發(fā)團隊又提出了樹型卷積神經(jīng)網(wǎng)絡（TCNN）[17]，是VOT2016的冠軍。TCNN認為在目標被遮擋或跟丟的情況下，更新模型已經(jīng)被污染，不能再根據(jù)此模型繼續(xù)進行后續(xù)的跟蹤。用多個CNN跟蹤器組成一個樹型結構，每個CNN跟蹤器對結果估計的權重不同，通過計算所有CNN跟蹤器對目標估計的加權平均得到每個候選框得分，得分最高的視為目標。TCNN的結構如圖2所示。

TCNN在解決遮擋、突變和跟丟的問題上更具優(yōu)勢，但是其算法耗時仍然是難以回避的問題，速度只有1.5fps。

2.2兼顧精度與速度的深度學習網(wǎng)絡

在線訓練模塊雖然保證了深度學習模型高精度的跟蹤，但是無法完全滿足視頻跟蹤的實時性要求，近年來，越來越多的研究者開始嘗試設計能夠實時跟蹤的深度學習跟蹤算法。

2.2.1基于全卷積孿生網(wǎng)絡的目標跟蹤

基于全卷積孿生網(wǎng)絡的目標跟蹤算法（SiameseFC）[10]是VOT2017跟蹤速度最快的深度學習算法，平均跟蹤速度可以達到86fps，同時具有一流的跟蹤精度。SiameseFC利用CNN分別對真實目標框位置以及生成的目標周圍區(qū)域進行特征的映射，將真實目標框映射得到的特征作為卷積核對目標周圍搜索區(qū)域特征映射得到的特征卷積，相當于對得到的兩個特征進行了互相關，得到的結果中數(shù)值最高的點，即對應下一幀目標位置中心。SiameseFC網(wǎng)絡結構如圖3所示。

模型中用于特征映射的兩個CNN是完全相同的，是一種典型的孿生網(wǎng)絡，且該模型中只有卷積層和池化層，因此也是一種典型的全卷積（Fully-Convolutional）神經(jīng)網(wǎng)絡。

但是SiameseFC并不能區(qū)分不同的物體，只是通過高斯窗的平滑，很快抑制了較遠的物體?？偟膩碚f，SiameseFC并不適合背景嘈雜以及抖動劇烈的場景。

2.2.2孿生網(wǎng)絡啟發(fā)下的新發(fā)展

SiameseFC網(wǎng)絡雖然存在缺陷和不足，但基于網(wǎng)絡簡單、算法速度快的特點，迅速成為研究熱點，在保證高速跟蹤的前提下，基于孿生網(wǎng)絡的算法的跟蹤精度正在逼近現(xiàn)有方法的先進水平。

在CVPR2018（IEEEConferenceonComputerVisionandPatternRecognition）中，HeAnfeng等人[18]提出的雙倍孿生網(wǎng)絡在50fps的速度下，在OTB2013/50/100數(shù)據(jù)集上精度優(yōu)于所有實時跟蹤算法;WangQiang等人[19]使用三個attention機制對SiameseFC特征的空間和channal進行加權，分解特征提取和判別性分析的耦合，提升網(wǎng)絡判別能力，其算法在80fps的跟蹤速度下，在最新的OTB2015和VOT2017數(shù)據(jù)集上跟蹤精度達到了行業(yè)領先水平;LiBo等人[20]利用孿生網(wǎng)絡和區(qū)域候選網(wǎng)絡，構建出一種高速高精度的單目標跟蹤模型，該模型在160fps的速度下，在VOT2015和VOT2016數(shù)據(jù)集上跟蹤精度可以達到目前先進水平。

3深度學習算法在紅外目標跟蹤中的應用探索

為了初步探索深度學習算法在紅外目標跟蹤中的應用前景，選擇目前主流的MDNet和SiameseFC跟蹤算法，對其做簡單的遷移和優(yōu)化，測試其紅外目標跟蹤任務中的表現(xiàn)。測試視頻序列仿真了空中目標投放干擾的過程，視頻長度為900幀，測試使用GPU為NvidiaTeslaP100。

根據(jù)實測情況，MDNet跟蹤效果更好，可以保證對整個視頻序列的準確跟蹤，抗干擾能力強，沒有目標丟失的情況出現(xiàn)，但其跟蹤速度很慢，在TeslaP100GPU速度僅為2～3fps，跟蹤結果如圖4所示。

而對于SiameseFC，可以完成對單目標的實時跟蹤，但其抗干擾能力很弱。在未投放干擾階段，SiameseFC可以很好地跟蹤目標，但當投放干擾時，SiameseFC便會跟上錯誤目標。SiameseFC的算法速度很快，在TeslaP100GPU上可以達到80fps，跟蹤結果如圖5所示。

4深度學習算法在紅外目標跟蹤中面臨的挑戰(zhàn)

作為紅外導引技術的重要子領域，紅外目標跟蹤是一個極具挑戰(zhàn)性的研究課題，經(jīng)過數(shù)十年的努力，對一些簡單的紅外場景已經(jīng)可以很好地處理，但是面對場景復雜且干擾嚴重的情況，跟蹤效果并不理想。針對紅外場景圖像分辨率低、目標像素信息匱乏、目標邊沿輪廓模糊的特點，深度學習應用于紅外目標跟蹤領域面臨的挑戰(zhàn)主要集中在以下幾個方面：

（1）紅外目標成像面積小，像素對比度低，遠距目標通常只有幾個像素。而目前基于深度學習的目標跟蹤算法需要足夠的像素輸入來提取語義信息，跟蹤的目標尺度都在10×10以上，無法適應紅外場景下小目標的跟蹤。如何搭建針對小目標跟蹤的深度網(wǎng)絡是一個需要進一步開展工作的方向。

（2）缺乏紅外序列的數(shù)據(jù)集，沒有大數(shù)據(jù)的支撐，深度學習的優(yōu)勢很難發(fā)揮。目前，深度學習的研究大部分是基于通過網(wǎng)絡搜集的超大數(shù)據(jù)集。在紅外跟蹤領域還沒有系統(tǒng)的視頻數(shù)據(jù)集，對深度學習工作的開展極其不利。如何根據(jù)紅外目標跟蹤的特點，建立具有代表性、結合深度學習特點、測試方法嚴謹?shù)拇笠?guī)模數(shù)據(jù)集是一個亟待解決的問題。同時，作為軍事應用，對立雙方都會采取保密措施，這使得紅外圖像集合中的絕大部分其實是己方的圖像，如何訓練和測試網(wǎng)絡，使得網(wǎng)絡能夠滿足對對方目標的跟蹤也是軍事項目中特有的問題。

（3）紅外目標跟蹤過程中存在干擾遮擋及長時間遮擋目標的情況。目前基于深度學習的目標跟蹤算法還局限于可見光波段的生活物體跟蹤，場景中出現(xiàn)相似干擾或長時間遮擋的情況很少。然而，紅外場景十分復雜，目標與干擾往往很難區(qū)分，遮擋過程可能會持續(xù)很久。在應對紅外目標跟蹤領域這些全新的挑戰(zhàn)時，如何防止深度學習算法發(fā)生漂移，也將是一個很大的難題。

5思考及展望

深度學習方法在視覺目標跟蹤領域的巨大成功，為移植或搭建適用于紅外目標跟蹤的深度學習模型提供了可能。但跟蹤場景的差異性，注定了深度學習應用于紅外目標跟蹤領域時，需要進行算法的優(yōu)化以及思路的轉換。若要在紅外目標跟蹤領域達到兼具魯棒性、準確性和實時性的跟蹤要求，還需要開展大量的研究工作。針對深度學習方法在紅外目標跟蹤應用中可能遇到的困難，提出以下幾點思考：

（1）遞歸神經(jīng)網(wǎng)絡的應用。遞歸神經(jīng)網(wǎng)絡很重要的一個用途是處理和預測序列數(shù)據(jù)，可能在紅外場景下有所作為。對于缺乏形狀和紋理特征的紅外目標，可以嘗試利用紅外目標的時間維度上的信息，通過遞歸神經(jīng)網(wǎng)絡進行軌跡預測，賦予跟蹤算法記憶能力，有望減少跟蹤過程的漂移。同時，遞歸神經(jīng)網(wǎng)絡的記憶能力和軌跡預測能力一定程度上可以增強跟蹤過程中抗干擾遮擋的能力。如何利用遞歸神經(jīng)網(wǎng)絡做好目標跟蹤，將是一個很好的探索方向。

（2）減少深度網(wǎng)絡的池化層。在卷積神經(jīng)網(wǎng)絡中池化層的作用是降低網(wǎng)絡參數(shù)的維度，減少特征的冗余，一定程度上防止過擬合。這樣的設定是源于視覺目標跟蹤圖像的高分辨率，而對于紅外場景下的小目標跟蹤，可以盡可能地減少池化層的數(shù)量，保留特征信息，減小可跟蹤目標的尺度。

（3）擺脫線上對網(wǎng)絡的訓練。目前視覺目標跟蹤領域主要在解決對非特定目標的普適跟蹤，測試的目標很可能與訓練樣本不是一個類別，這使得跟蹤算法很難擺脫線上對網(wǎng)絡的訓練微調(diào)，從而大大增加計算成本，算法實時性難以保證。紅外目標跟蹤更偏向工程化應用，大多跟蹤任務面向的是特定目標的跟蹤，這為網(wǎng)絡設計擺脫線上訓練，提高算法實時性提供了可能。

（4）設計專用于紅外目標跟蹤的深度學習模型。紅外目標跟蹤擁有自身的特點和難點，嘗試搭建適合紅外目標跟蹤的深度學習模型也是一個工作方向。紅外圖像是單通道圖像，且分辨率低，不需要很深的網(wǎng)絡架構。同時，如果能夠利用紅外圖像數(shù)據(jù)量小的特點，還可以為算法加速提供便利，進一步增強實時性。

6結束語

在研究者們的不懈努力下，深度學習算法正在一步步占領視覺目標跟蹤領域，繼傳統(tǒng)算法在精度上被超越之后，其速度領先也逐漸被縮小、抹平。深度學習在視覺目標跟蹤領域的巨大成功為紅外目標跟蹤任務提供了新的解決思路。盡管目前的算法可能不完全適用于紅外目標跟蹤領域，但可以預見，深度學習進軍紅外目標跟蹤的號角即將吹響，這將是紅外目標跟蹤領域的研究方向之一。

參考文獻：

[1]張慧，王坤峰，王飛躍.深度學習在目標視覺檢測中的應用進展與展望[J].自動化學報，2017，43（8）：1289-1305.

ZhangHui，WangKunfeng，WangFeiyue.AdvancesandPerspectivesonApplicationsofDeepLearninginVisualObjectDetection[J].ActaAutomaticaSinica，2017，43（8）：1289-1305.（inChinese）

[2]黃成，王紅梅.干擾條件下的紅外目標檢測方法研究[J].航空兵器，2017（5）：31-36.

HuangCheng，WangHongmei.ResearchonInfraredTargetDetectionMethodunderJammingCondition[J].AeroWeaponry，2017（5）：31-36.（inChinese）

[3]HintonGE，SalakhutdinovRR.ReducingtheDimensionalityofDatawithNeuralNetworks[J].Science，2006，313（5786）：504-507.

[4]張惠娟，梁彥，程詠梅，等.運動弱小目標先跟蹤后檢測技術的研究進展[J].紅外技術，2006，28（7）：423-430.

ZhangHuijuan，LiangYan，ChengYongmei，etal.AdvancesonTrackbeforeDetectforDimSmallMovingTargetDetection[J].InfraredTechnology，2006，28（7）：423-430.（inChinese）

[5]周冰，王永仲，應家駒.弱小目標檢測技術淺析[J].紅外技術，2007，29（1）：30-33.

ZhouBing，WangYongzhong，YingJiaju.ASimpleAnalysisofDimTargetDetectionTechnology[J].InfraredTechnology，2007，29（1）：30-33.（inChinese）

[6]侯旺，孫曉亮，尚洋，等.紅外弱小目標檢測技術研究現(xiàn)狀與發(fā)展趨勢[J].紅外技術，2015，37（1）：1-10.

HouWang，SunXiaoliang，ShangYang，etal.PresentStateandPerspectivesofSmallInfraredTargetsDetectionTechnology[J].InfraredTechnology，2015，37（1）：1-10.（inChinese）

[7]HintonGE，OsinderoS，TehYW.AFastLearningAlgorithmforDeepBeliefNets[J].NeuralComputation，2006，18（7）：1527-1554.

[8]KrizhevskyA，SutskeverI，HintonGE.ImageNetClassificationwithDeepConvolutionalNeuralNetworks[C]∥InternationalConferenceonNeuralInformationProcessingSystems，2012，60（2）：1097-1105.

[9]CuiZhen，XiaoShengtao，F(xiàn)engJiashi，etal.RecurrentlyTargetAttendingTracking[C]∥IEEEConferenceonComputerVisionandPatternRecognition，LasVegas，2016：1449-1458.

[10]BertinettoL，ValmadreJ，HenriquesJF，etal.FullyConvolutionalSiameseNetworksforObjectTracking[C]∥14thEuropeanConferenceonComputerVision，Amsterdam，2016：850-865.

[11]HeldD，ThrunS，SavareseS.LearningtoTrackat100FPSwithDeepRegressionNetworks[C]∥14thEuropeanConferenceonComputerVision，Amsterdam，2016：749-765.

[12]WangNY，LiSY，GuptaA，etal.TransferringRichFeatureHierarchiesforRobustVisualTracking[EB/OL].（2015-04-23）[2018-09-17].https：∥arxiv.org/pdf/1501.04587v2.pdf.

[13]WangLijun，OuyangWanli，WangXiaogang，etal.VisualTrackingwithFullyConvolutionalNetworks[C]∥ProceedingsoftheIEEEInternationalConferenceonComputerVision，Santiago，2015：3119-3127.

[14]NamH，HanB.LearningMultiDomainConvolutionalNeuralNetworksforVisualTracking[C]∥ProceedingsoftheIEEEConferenceonComputerVisionandPatternRecognition，LasVegas，2016：4293-4302.

[15]VOTChallenge.VOT2015Benchmark[EB/OL].[2018-09-17].http：∥www.votchallenge.net/vot2015/.

[16]VisualTrackerBenchmark[EB/OL].[2018-09-17].http：∥cvlab.hanyang.ac.kr/tracker_benchmark/index.html.

[17]NamH，BaekM，HanB.ModelingandPropagatingCNNsinaTreeStructureforVisualTracking[C]∥ProceedingsoftheIEEEComputerVisionandPatternRecognition，2016：1-10.

[18]HeAnfeng，LuoChong，TianXinmei，etal.ATwofoldSiameseNetworkforRealTimeObjectTracking[C]∥ProceedingsoftheIEEEComputerVisionandPatternRecognition，2018.

[19]WangQiang，TengZhu，XingJunliang，etal.LearningAttentions：ResidualAttentionalSiameseNetworkforHighPerformanceOnlineVisualTracking[C]∥ProceedingsoftheIEEEConferenceonComputerVisionandPattemRecognition，2018.

[20]LiBo，YanJunjie，WuWei，etal.HighPerformanceVisualTrackingwithSiameseRegionProposalNetwork[C]∥ProceedingsoftheIEEEConferenceonComputerVisionandPattemRecognition，2018.