改進(jìn)全卷積孿生網(wǎng)絡(luò)紅外空中小目標(biāo)跟蹤算法

張文波，劉 剛*，張 良，王明昌，劉 森

(1. 河南科技大學(xué) 信息工程學(xué)院，河南 洛陽 471023； 2. 中國空空導(dǎo)彈研究院，河南 洛陽 471009； 3. 航空制導(dǎo)武器航空科技重點(diǎn)實(shí)驗(yàn)室，河南 洛陽 471009)

0 引 言

空中目標(biāo)跟蹤是紅外成像制導(dǎo)導(dǎo)彈完成精確打擊的關(guān)鍵技術(shù)之一，跟蹤性能的優(yōu)劣直接影響打擊效果。紅外成像制導(dǎo)系統(tǒng)對(duì)空中目標(biāo)跟蹤性能的要求，主要體現(xiàn)在彈目距離遠(yuǎn)、目標(biāo)所在自然環(huán)境復(fù)雜多變條件下，視場(chǎng)中的目標(biāo)多為有限像素、特征信息微弱、背景雜波干擾多及存在遮擋等問題，對(duì)目標(biāo)穩(wěn)定跟蹤帶來了較大的困難。紅外目標(biāo)跟蹤的傳統(tǒng)算法中，根據(jù)不同的場(chǎng)景人工設(shè)計(jì)有針對(duì)性的特征提取方法，難以適應(yīng)復(fù)雜的紅外空中場(chǎng)景情況。

近年來，國內(nèi)外學(xué)者已經(jīng)將深度學(xué)習(xí)算法應(yīng)用到目標(biāo)跟蹤中，使用卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks, CNN)來提取深度特征，取得了超過傳統(tǒng)相關(guān)濾波跟蹤算法的跟蹤性能。比如：ECO算法將深度特征引入相關(guān)濾波跟蹤模型中，通過卷積因式分解、更新策略和樣本分組來改進(jìn)，提升跟蹤性能。MDNet算法在網(wǎng)絡(luò)中對(duì)每個(gè)視頻序列設(shè)計(jì)各自的全連接層，在跟蹤過程中在線更新分類器，微調(diào)檢測(cè)分支，大幅提高跟蹤效果。TCNN為了避免在線更新模型被污染，使用多個(gè)CNN加權(quán)得出候選框得分選取目標(biāo)。這些算法將跟蹤目標(biāo)視為分類問題，但分類與跟蹤兩個(gè)任務(wù)是有本質(zhì)區(qū)別的，并且在線微調(diào)的跟蹤算法雖然精度較高但跟蹤速度較低，不能滿足實(shí)時(shí)跟蹤需求。

為改善上述算法存在的缺陷，基于孿生網(wǎng)絡(luò)的跟蹤算法在首幀標(biāo)注目標(biāo)的基礎(chǔ)之上，利用相似性度量方法尋找后續(xù)幀目標(biāo)。該算法可以更好地避免分類網(wǎng)絡(luò)難以識(shí)別未訓(xùn)練過的物體類別問題，與跟蹤任務(wù)更加契合。此外，孿生網(wǎng)絡(luò)跟蹤算法在初始離線階段采用端到端訓(xùn)練網(wǎng)絡(luò)方法，獲得較強(qiáng)的跟蹤實(shí)時(shí)性。SINT算法使用孿生網(wǎng)絡(luò)學(xué)習(xí)目標(biāo)模板和候選目標(biāo)之間的匹配函數(shù)，跟蹤過程中選取候選目標(biāo)中與目標(biāo)模板距離最小的為目標(biāo)，但每次處理大量候選框較耗時(shí)。SiamFC算法將待搜索區(qū)域與目標(biāo)模板的深度特征進(jìn)行互相關(guān)運(yùn)算，響應(yīng)值最大位置為目標(biāo)中心點(diǎn)。SiamRPN算法在SiamFC基礎(chǔ)上引入?yún)^(qū)域建議網(wǎng)絡(luò)模塊估計(jì)目標(biāo)位置和尺寸，以適應(yīng)目標(biāo)多尺度變化。在紅外空中目標(biāo)跟蹤中，Kim等改進(jìn)孿生網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行特征提取，利用多層特征RPN的加權(quán)求和來提升紅外目標(biāo)特征表達(dá)能力，并采用交叉熵和平滑L1的組合損失函數(shù)，解決損失函數(shù)難以收斂問題，獲得很好的跟蹤效果。Hu等將孿生網(wǎng)絡(luò)卷積層提取的深度特征與傳統(tǒng)的紅外空中目標(biāo)特征相結(jié)合來提高跟蹤精度。以上算法對(duì)背景簡(jiǎn)單、具有明顯形狀的目標(biāo)跟蹤效果較好。目標(biāo)在復(fù)雜背景下被雜波干擾、遮擋時(shí)，算法無法利用已有的特征信息穩(wěn)定地跟蹤目標(biāo)，甚至跟蹤失敗。

針對(duì)上述問題，本文提出一種改進(jìn)全卷積孿生網(wǎng)絡(luò)紅外空中小目標(biāo)跟蹤算法。該算法利用響應(yīng)圖的變化信息獲知目標(biāo)跟蹤狀態(tài)，提升算法的狀態(tài)判別能力； 通過傳統(tǒng)特征與深度特征相結(jié)合的方法，避免了單一使用深度特征難以判別紅外空中小目標(biāo)和背景雜波； 使用目標(biāo)幀間運(yùn)動(dòng)信息來預(yù)測(cè)遮擋目標(biāo)位置，解決了目標(biāo)被遮擋后由于特征信息減少而無法準(zhǔn)確跟蹤的問題。

1 全卷積孿生網(wǎng)絡(luò)基本原理

孿生網(wǎng)絡(luò)把目標(biāo)跟蹤問題視為相似性學(xué)習(xí)問題，將待跟蹤圖像序列的初始幀目標(biāo)信息與后續(xù)幀候選目標(biāo)進(jìn)行比較，選取相似性最高的為目標(biāo)?；谌矸e孿生網(wǎng)絡(luò)(Fully -Convolutional Siamese Networks，SiamFC)目標(biāo)跟蹤算法是在目標(biāo)跟蹤方面的經(jīng)典算法，該算法實(shí)時(shí)性較高，采用離線訓(xùn)練跟蹤模型網(wǎng)絡(luò)參數(shù)，在線跟蹤不調(diào)整參數(shù)，直接執(zhí)行前向傳播操作，跟蹤速度快； 魯棒性強(qiáng)，跟蹤過程網(wǎng)絡(luò)模型和目標(biāo)模板不更新，目標(biāo)模板不會(huì)被污染，即使目標(biāo)被遮擋也不會(huì)影響后續(xù)捕獲。這些優(yōu)點(diǎn)對(duì)于對(duì)跟蹤實(shí)時(shí)性和穩(wěn)定性要求高的紅外成像制導(dǎo)導(dǎo)彈來說是十分符合的。因此，選擇SiamFC為目標(biāo)跟蹤的基本框架。

全卷積孿生網(wǎng)絡(luò)目標(biāo)跟蹤算法結(jié)構(gòu)如圖1所示，由模板分支和檢測(cè)分支組成的。模板分支主要以圖像作為模板輸入，目標(biāo)模板是跟蹤圖像序列第一幀已給定的目標(biāo)框裁剪出的圖像。檢測(cè)分支主要負(fù)責(zé)接收當(dāng)前幀的待搜索區(qū)域，是以上一幀目標(biāo)位置為中心裁剪出的圖像。目標(biāo)模板和待搜索區(qū)域分別經(jīng)過共享參數(shù)的卷積神經(jīng)網(wǎng)絡(luò)后得到各自特征圖()和()。

圖1 全卷積孿生網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Fully-convolutional Siamese networks architecture

孿生網(wǎng)絡(luò)作為深度特征提取器，提取目標(biāo)模板和待搜索區(qū)域的特征之后，送到相似度函數(shù)里計(jì)算相似度，相似度函數(shù)為卷積操作，即

(,)=()*()+

(1)

式中：為特征提取網(wǎng)絡(luò)； *為卷積運(yùn)算；為偏置向量。根據(jù)式(1)，卷積操作實(shí)際上是將目標(biāo)模板特征圖()作為卷積核，在待搜索區(qū)域特征圖()上執(zhí)行滑窗算法，得到相似特征的響應(yīng)圖(,)。響應(yīng)圖的每個(gè)點(diǎn)代表著目標(biāo)模板與待搜索區(qū)域?qū)?yīng)位置的相似度大小，值越大代表相似度越大。經(jīng)雙三次插值后，可根據(jù)響應(yīng)圖中最大值所處位置來確定當(dāng)前幀目標(biāo)的真實(shí)位置。

將SiamFC應(yīng)用在紅外空中小目標(biāo)跟蹤中，實(shí)驗(yàn)結(jié)果表明其能保持較好的跟蹤速度和準(zhǔn)確性，但隨著背景復(fù)雜度的提升，目標(biāo)跟蹤精度嚴(yán)重下降，背景雜波干擾、遮擋等情況會(huì)導(dǎo)致跟蹤失敗。為此，本文在SiamFC的基礎(chǔ)上，增加目標(biāo)跟蹤狀態(tài)判斷準(zhǔn)則，并在相應(yīng)狀態(tài)下提出改進(jìn)策略。

2 改進(jìn)全卷積孿生網(wǎng)絡(luò)紅外空中小目標(biāo)跟蹤算法

2.1 深度特征提取網(wǎng)絡(luò)結(jié)構(gòu)

在AlexNet基礎(chǔ)上設(shè)計(jì)目標(biāo)的深度特征提取網(wǎng)絡(luò)。其前兩個(gè)卷積層后使用最大池化層，除了最后一層卷積層之外的每一個(gè)卷積層都使用ReLU，最后三層卷積層使用分組卷積。在每個(gè)線性層之后都有批規(guī)范化層(Batch Normalization)，卷積層沒有填充操作，網(wǎng)絡(luò)總步長(zhǎng)為8。

在實(shí)際跟蹤過程中，如圖1所示，目標(biāo)模板和待搜索區(qū)域分別裁剪變換為127×127×3的和255×255×3的，兩者經(jīng)過特征提取網(wǎng)絡(luò)后，得到6×6×128()和22×22×128()的特征圖。以6×6×128特征圖為卷積核與22×22×128特征圖進(jìn)行卷積運(yùn)算得到17×17的特征響應(yīng)圖，再經(jīng)雙三次插值獲得272×272最終的特征響應(yīng)圖。

本文通過離線訓(xùn)練特征提取網(wǎng)絡(luò)，損失函數(shù)判別離線網(wǎng)絡(luò)訓(xùn)練中的正負(fù)樣本，表示為

(2)

式中：為網(wǎng)絡(luò)輸出響應(yīng)圖；為響應(yīng)圖中某一位置的索引，∈；()為響應(yīng)圖中位置對(duì)應(yīng)的響應(yīng)值；()為響應(yīng)圖中位置對(duì)應(yīng)真實(shí)空間的正負(fù)樣本標(biāo)簽，其中正樣本標(biāo)簽為1，負(fù)樣本標(biāo)簽為-1，即

(3)

式中：為網(wǎng)絡(luò)總步長(zhǎng)；為響應(yīng)圖中心位置；為搜索區(qū)域半徑。整個(gè)網(wǎng)絡(luò)訓(xùn)練使用隨機(jī)梯度下降算法SGD(Stochastic Gradient Descent)來優(yōu)化：

(4)

式中：為樣本標(biāo)簽;為網(wǎng)絡(luò)參數(shù)。迭代訓(xùn)練的最終目標(biāo)是求一組使損失函數(shù)取得最小值的參數(shù)。離線訓(xùn)練好的特征提取網(wǎng)絡(luò)在線跟蹤時(shí)，不需要更新網(wǎng)絡(luò)的參數(shù)。

2.2 跟蹤狀態(tài)判斷

全卷積孿生網(wǎng)絡(luò)跟蹤算法采用深度特征響應(yīng)圖最大峰值點(diǎn)坐標(biāo)作為當(dāng)前幀的跟蹤結(jié)果，響應(yīng)圖的波動(dòng)情況及主峰狀態(tài)可反映出當(dāng)前跟蹤結(jié)果的置信度。圖2～3分別為SiamFC跟蹤算法在地空背景下紅外圖像弱小飛機(jī)目標(biāo)檢測(cè)跟蹤數(shù)據(jù)集data17序列和data11序列的跟蹤結(jié)果及其對(duì)應(yīng)的響應(yīng)圖對(duì)比，圖中紅色實(shí)線框?yàn)镾iamFC跟蹤結(jié)果，黃色虛線框?yàn)槟繕?biāo)真實(shí)位置。

圖2 data17序列跟蹤結(jié)果及其對(duì)應(yīng)響應(yīng)圖Fig.2 Tracking results of data17 sequence and its corresponding response maps

圖2～3分別表現(xiàn)出目標(biāo)在受到背景雜波干擾和遮擋時(shí)的跟蹤情況。當(dāng)目標(biāo)正常跟蹤、沒有受到干擾時(shí)，對(duì)應(yīng)的響應(yīng)圖中只有目標(biāo)中心位置處有一個(gè)明顯主峰，并且主峰周圍區(qū)域分布平緩，跟蹤效果良好。

在data17序列中目標(biāo)發(fā)生背景雜波干擾跟蹤到背景中相似干擾物時(shí)，對(duì)應(yīng)的響應(yīng)圖中主峰附近出現(xiàn)高度相近的次峰，周圍分布波動(dòng)較大，甚至背景相似干擾物的峰值大于目標(biāo)峰值，從而導(dǎo)致跟蹤到錯(cuò)誤目標(biāo)。在data11序列中目標(biāo)被遮擋時(shí)，由于待搜索區(qū)域內(nèi)丟失目標(biāo)，只能選擇最相似目標(biāo)，等待脫離遮擋后，目標(biāo)已經(jīng)遠(yuǎn)離待搜索區(qū)域，依舊無法正常跟蹤目標(biāo)。觀察發(fā)現(xiàn)目標(biāo)被遮擋時(shí)，對(duì)應(yīng)的響應(yīng)圖出現(xiàn)劇烈波動(dòng)，主峰不夠明顯，周圍多個(gè)峰高度上升，視覺呈現(xiàn)“多峰”狀態(tài)。根據(jù)上述情況分析，可以通過響應(yīng)圖的波動(dòng)狀態(tài)來判斷出目標(biāo)跟蹤狀態(tài)是否發(fā)生變化。本文采用平均峰值相關(guān)能量(Average Peak to Correlation Energy，APCE)來評(píng)估目標(biāo)跟蹤狀態(tài)以及受到背景雜波干擾、遮擋等情況的嚴(yán)重程度。

定義為

(5)

式中：和分別表示響應(yīng)圖中最大值和最小值；, 為響應(yīng)圖中(,)處的響應(yīng)值。指標(biāo)主要用于度量響應(yīng)圖的波動(dòng)情況，圖2(b)中=17.1，圖2(d)中=4.4，圖3(b)中=16.2，圖3(d)中=3.6，圖3(f)中=6.3。如圖2(b)和圖3(b)所示，

圖3 data11序列跟蹤結(jié)果及其對(duì)應(yīng)響應(yīng)圖Fig.3 Tracking results of data11 sequence and its corresponding response maps

在正常跟蹤情況下，響應(yīng)圖波動(dòng)較小，視覺呈現(xiàn)“單峰”狀態(tài)，值較大。在目標(biāo)發(fā)生背景雜波干擾、被遮擋時(shí)，如圖2(d)和圖3(d)所示，響應(yīng)圖波動(dòng)劇烈，視覺呈現(xiàn)“多峰”狀態(tài)，相比正常跟蹤的值大幅減小。所以，通過分析響應(yīng)圖的波動(dòng)情況并計(jì)算響應(yīng)圖的值, 能夠有效反映出當(dāng)前的跟蹤狀態(tài)。當(dāng)值大幅降低時(shí)，可以判斷出目標(biāo)跟蹤進(jìn)入不穩(wěn)定狀態(tài)，但是無法準(zhǔn)確判斷出具體原因。

圖4為SiamFC跟蹤算法在data17序列和data11序列跟蹤過程中的響應(yīng)圖最大峰值統(tǒng)計(jì)圖。其中，圖4(a)的點(diǎn)對(duì)應(yīng)圖2(c)，圖4(b)的點(diǎn)對(duì)應(yīng)圖3(c)。從圖2(d)和圖3(d)可知，點(diǎn)和點(diǎn)對(duì)應(yīng)的響應(yīng)圖值都比較低，但是從圖4可以看出這兩個(gè)點(diǎn)與相鄰歷史幀的最大峰值變化狀態(tài)不同。

圖4 響應(yīng)圖最大峰值統(tǒng)計(jì)Fig.4 Maximum peak value statistics of response maps

圖4(a)中，點(diǎn)處目標(biāo)受到背景雜波干擾，第21幀的最大峰值相較第20幀突然發(fā)生下降，這是由于跟蹤到相似干擾物上，但21幀之前的峰值變化不大。圖4(b)中，目標(biāo)經(jīng)歷從輕微遮擋到完全遮擋過程，從第180幀最大峰值開始逐漸變小，到第189幀時(shí)目標(biāo)被完全遮擋，此刻最大峰值為最小值點(diǎn)。綜上分析，當(dāng)值較小時(shí)，結(jié)合響應(yīng)圖最大峰值的變化狀態(tài)可以分類出可能導(dǎo)致跟蹤失敗的因素。所以，選擇響應(yīng)圖的最大峰值和值對(duì)當(dāng)前幀的目標(biāo)跟蹤狀態(tài)進(jìn)行評(píng)估判斷。考慮到不同序列的目標(biāo)背景以及目標(biāo)的變化會(huì)對(duì)響應(yīng)圖產(chǎn)生影響，為使目標(biāo)跟蹤判斷更加可靠，將當(dāng)前幀的值和最大峰值與歷史幀進(jìn)行對(duì)比，即

(6)

式中：和max-，和max-分別為當(dāng)前幀和歷史幀的響應(yīng)圖值與最大峰值；為參考的歷史幀數(shù)；和max-為當(dāng)前幀的響應(yīng)圖值和最大峰值與歷史幀相應(yīng)均值的比值，反應(yīng)了當(dāng)前幀值和最大峰值的變化程度。

跟蹤過程中通過和max-值結(jié)合歷史幀響應(yīng)圖的信息來判斷當(dāng)前跟蹤狀態(tài)，具體判斷流程如圖5所示。

圖5 判斷流程圖Fig.5 Judgment flow chart

在正常跟蹤狀態(tài)下，選取響應(yīng)圖中最大峰值點(diǎn)為目標(biāo)點(diǎn)，得到其相對(duì)于響應(yīng)圖中心的偏移值，再乘以網(wǎng)絡(luò)總步長(zhǎng)，就可以得到當(dāng)前幀目標(biāo)的中心位置。對(duì)于其他情況，正常跟蹤策略無法有效跟蹤目標(biāo)，本文提出不同的處理策略。

2.3 聯(lián)合局部對(duì)比度的背景雜波判別

通過跟蹤狀態(tài)評(píng)估準(zhǔn)則判斷出現(xiàn)背景雜波干擾時(shí)，由于相似干擾物與真實(shí)目標(biāo)同在待搜索區(qū)域內(nèi)，所以響應(yīng)圖波動(dòng)變大，呈現(xiàn)“多峰”狀態(tài)，當(dāng)前幀的真實(shí)目標(biāo)位置可能在其他次峰，而非響應(yīng)圖的最大峰。此刻只用深度特征來選取真實(shí)目標(biāo)是十分困難的，考慮使用傳統(tǒng)特征聯(lián)合深度特征來選取紅外空中小目標(biāo)具有重要應(yīng)用意義。目標(biāo)自身具有紅外輻射特性，且與背景的輻射有差異，導(dǎo)致目標(biāo)與背景具有一定的亮度差異，目標(biāo)與局部鄰域背景的對(duì)比度與其他物體不一樣，并且在一段時(shí)間內(nèi)變化不大。局部對(duì)比度是目標(biāo)灰度均值與局部鄰域背景灰度均值之比，即

(7)

式中：為目標(biāo)區(qū)域；為目標(biāo)區(qū)域的鄰域；為區(qū)域內(nèi)的像素?cái)?shù)量；(,)為原圖像(,)處像素的灰度值。

背景雜波中相似干擾物自身亮度與周圍環(huán)境相差不大，對(duì)比度較低。而紅外空中小目標(biāo)亮度高，局部對(duì)比度較高，兩者相比差異性較大。對(duì)data17序列第21幀目標(biāo)和背景干擾的灰度分析如圖6所示，紅色實(shí)線框?yàn)檎鎸?shí)目標(biāo)，黑色虛線框?yàn)橄嗨聘蓴_物。通過響應(yīng)圖的最大峰值來確定目標(biāo)，圖6(a)中虛線框內(nèi)的干擾物峰值為最大峰值，實(shí)線框內(nèi)的真實(shí)目標(biāo)峰值為第二峰值，如果選取最大峰為目標(biāo)，就會(huì)跟蹤到干擾物。觀察圖6(c)中實(shí)線框真實(shí)目標(biāo)，中心區(qū)域的灰度值明顯高于鄰域背景灰度值。對(duì)比虛線框的干擾物，中心區(qū)域和鄰域背景的灰度值基本一致，真實(shí)目標(biāo)的局部對(duì)比度是高于干擾物的。所以，使用局部對(duì)比度可以有效區(qū)分真實(shí)目標(biāo)和干擾物。

圖6 目標(biāo)和背景干擾灰度分析Fig.6 Gray analysis of target and background interference

使用目標(biāo)的深度特征響應(yīng)值和局部對(duì)比度特征構(gòu)建每個(gè)候選目標(biāo)與歷史幀真實(shí)目標(biāo)的特征相似度得分，定義為

(8)

式中：為候選目標(biāo)點(diǎn)集合，數(shù)量為；和為當(dāng)前幀的候選目標(biāo)的響應(yīng)值和局部對(duì)比度；max-和max-為歷史幀響應(yīng)圖中最大峰值和局部對(duì)比度；為參考的歷史幀數(shù)；和1-分別為響應(yīng)值和局部對(duì)比度所占權(quán)重。特征相似度得分衡量了候選目標(biāo)與真實(shí)目標(biāo)特征的相似度，值越小，表示候選目標(biāo)特征值與真實(shí)目標(biāo)越接近。

在跟蹤過程中，當(dāng)判斷出目標(biāo)受到背景雜波干擾時(shí)，使用最大值濾波器查找響應(yīng)圖中多峰值點(diǎn)，選取多峰峰值前名的點(diǎn)為候選目標(biāo)中心點(diǎn)。使用相同的目標(biāo)框大小，計(jì)算每個(gè)候選目標(biāo)的局部對(duì)比度。使用每一個(gè)候選目標(biāo)的局部對(duì)比度及其響應(yīng)值計(jì)算對(duì)應(yīng)的特征相似度得分，值最小的候選目標(biāo)點(diǎn)為目標(biāo)點(diǎn)，再經(jīng)過位置變換得到當(dāng)前幀目標(biāo)中心點(diǎn)位置。

2.4 卡爾曼濾波位置預(yù)測(cè)

卡爾曼濾波基于最小化均方誤差實(shí)現(xiàn)線性濾波，使用狀態(tài)轉(zhuǎn)移方程和觀測(cè)方程，對(duì)目標(biāo)狀態(tài)進(jìn)行迭代預(yù)測(cè)和更新。在目標(biāo)跟蹤中，由于目標(biāo)在相鄰幀的時(shí)間間隔很短，一般認(rèn)為目標(biāo)運(yùn)動(dòng)狀態(tài)穩(wěn)定，因此，可以在短時(shí)間內(nèi)使用卡爾曼濾波有效地估計(jì)目標(biāo)運(yùn)動(dòng)狀態(tài)，在目標(biāo)被遮擋時(shí)進(jìn)行位置預(yù)測(cè)。

假設(shè)時(shí)刻至+Δ時(shí)刻，目標(biāo)在方向和方向上分別服從速度和的勻速運(yùn)動(dòng)，則目標(biāo)在第幀的狀態(tài)轉(zhuǎn)移方程為

=-1+-1

(9)

第幀的觀測(cè)方程為

=+

(10)

在目標(biāo)跟蹤過程中，先初始化卡爾曼濾波器，再根據(jù)后續(xù)目標(biāo)跟蹤結(jié)果在一個(gè)迭代過程中對(duì)目標(biāo)的運(yùn)動(dòng)狀態(tài)進(jìn)行預(yù)測(cè)和最優(yōu)化估計(jì)。即當(dāng)目標(biāo)被遮擋時(shí)，可以通過歷史幀的目標(biāo)位置信息使用卡爾曼濾波預(yù)測(cè)當(dāng)前幀的目標(biāo)位置。遮擋過程中，若當(dāng)前幀的值變化率大于閾值，并且最大值變化率max-大于閾值，說明目標(biāo)脫離遮擋，則進(jìn)行正常跟蹤。

2.5 算法流程

算法流程圖如圖7所示。

圖7 改進(jìn)跟蹤算法的流程圖Fig.7 Flow chart of improved tracking algorithm

具體步驟如下：

(1) 深度特征提取。將圖像序列輸入全卷積孿生網(wǎng)絡(luò)中，選取序列第一幀標(biāo)注為目標(biāo)模板，后續(xù)幀提供待搜索區(qū)域，兩者分別通過共享參數(shù)的卷積神經(jīng)網(wǎng)絡(luò)提取深度特征。

(2) 計(jì)算特征響應(yīng)圖。以目標(biāo)模板的特征圖為卷積核對(duì)待搜索區(qū)域的特征圖做卷積運(yùn)算，獲得特征響應(yīng)圖。

(3) 跟蹤狀態(tài)判斷。先通過當(dāng)前幀響應(yīng)圖的平均峰值相關(guān)能量值來判斷目標(biāo)是否正常跟蹤，若正常跟蹤，則執(zhí)行步驟(4)； 否則，再結(jié)合當(dāng)前幀響應(yīng)圖最大峰值的變化狀態(tài)來判斷跟蹤失敗原因。若目標(biāo)受到背景雜波干擾，則執(zhí)行步驟(5)； 若目標(biāo)被遮擋，則執(zhí)行步驟(6)。

(4) 正常跟蹤。選取當(dāng)前幀響應(yīng)圖最大峰值點(diǎn)為目標(biāo)點(diǎn)。

(5) 聯(lián)合局部對(duì)比度的背景雜波判別方法。當(dāng)前幀響應(yīng)圖多峰值點(diǎn)組成候選點(diǎn)集，提取每個(gè)候選點(diǎn)的深度特征響應(yīng)值和局部對(duì)比度，根據(jù)式(8)計(jì)算對(duì)應(yīng)的特征相似度得分，選取得分最小的候選點(diǎn)作為當(dāng)前幀目標(biāo)點(diǎn)。

(6) 卡爾曼濾波位置預(yù)測(cè)。根據(jù)歷史幀目標(biāo)位置信息構(gòu)建的卡爾曼濾波來預(yù)測(cè)遮擋狀態(tài)下當(dāng)前幀的目標(biāo)位置，當(dāng)判斷脫離遮擋后進(jìn)行正常跟蹤，執(zhí)行步驟(4)。

3 實(shí)驗(yàn)分析

算法實(shí)驗(yàn)平臺(tái)硬件環(huán)境：CPU為Intel i7-8700k，主頻 3.7 GHz，內(nèi)存 32 GB，一塊NVIDIA GTX1080Ti GPU 顯卡。軟件運(yùn)行環(huán)境：win10操作系統(tǒng)下，運(yùn)行在Python 3.6+Pytorch1.2開源深度學(xué)習(xí)框架，采用cuda10.0+cudnn7.6加速。

3.1 訓(xùn)練集和測(cè)試集

算法選取ILSVRC2015數(shù)據(jù)集和地空背景下紅外圖像弱小飛機(jī)目標(biāo)檢測(cè)跟蹤數(shù)據(jù)集來訓(xùn)練和測(cè)試。其中，ILSVRC2015數(shù)據(jù)集是可見光圖像數(shù)據(jù)集，包含4 500個(gè)視頻序列，30個(gè)目標(biāo)類型，共130萬幀標(biāo)注圖像。地空背景下紅外圖像弱小飛機(jī)目標(biāo)檢測(cè)跟蹤數(shù)據(jù)集是紅外圖像數(shù)據(jù)集，目標(biāo)是低空飛行飛機(jī)，涵蓋天空、地空等多個(gè)場(chǎng)景，包含22個(gè)圖像序列、16 177幀圖像、16 944個(gè)目標(biāo)，每個(gè)目標(biāo)對(duì)應(yīng)一個(gè)標(biāo)注位置。該數(shù)據(jù)集主要為紅外目標(biāo)特性、空中目標(biāo)探測(cè)和精確制導(dǎo)等研究提供基礎(chǔ)數(shù)據(jù)。

算法訓(xùn)練集選用ILSVRC2015數(shù)據(jù)集和部分地空背景下紅外圖像弱小飛機(jī)目標(biāo)檢測(cè)跟蹤數(shù)據(jù)集。其中，紅外數(shù)據(jù)集選取9個(gè)序列，5 794幀圖像，6 193個(gè)目標(biāo)。將ILSVRC2015數(shù)據(jù)集隨機(jī)分為訓(xùn)練集和驗(yàn)證集，所占數(shù)據(jù)量分別為90%和10%。由于紅外數(shù)據(jù)集圖像數(shù)量有限，采用交叉驗(yàn)證法來劃分訓(xùn)練集和驗(yàn)證集，訓(xùn)練集取8個(gè)序列，驗(yàn)證集取1個(gè)序列。

算法測(cè)試集選用訓(xùn)練剩余的地空背景下紅外圖像弱小飛機(jī)目標(biāo)檢測(cè)跟蹤數(shù)據(jù)集。測(cè)試集的數(shù)據(jù)量為10 383幀圖像、10 751個(gè)目標(biāo)。

3.2 訓(xùn)練過程和參數(shù)設(shè)置

由于紅外空中小目標(biāo)數(shù)據(jù)量少，算法在離線訓(xùn)練階段先使用可見光數(shù)據(jù)集(ILSVRC2015)進(jìn)行訓(xùn)練和驗(yàn)證，隨后在紅外空中小目標(biāo)圖像序列上進(jìn)一步訓(xùn)練，以更好地獲取紅外空中小目標(biāo)的深度特征。訓(xùn)練過程中使用隨機(jī)梯度下降算法進(jìn)行網(wǎng)絡(luò)參數(shù)優(yōu)化，訓(xùn)練50輪，學(xué)習(xí)率設(shè)置為10，訓(xùn)練圖像批量大小設(shè)置為8，取后10輪中最優(yōu)的結(jié)果。訓(xùn)練損失曲線如圖8所示，可以看出訓(xùn)練過程中損失函數(shù)逐漸下降，說明模型逐漸收斂，最終在37輪之后損失曲線趨于穩(wěn)定。

圖8 訓(xùn)練損失曲線Fig.8 Training loss curve

跟蹤中算法的具體參數(shù)設(shè)置為：對(duì)于目標(biāo)跟蹤狀態(tài)判斷相關(guān)參數(shù)=0.55，=0.68，=0.09； 式(6)中=10； 候選點(diǎn)數(shù)量=8； 式(8)中參考的歷史幀數(shù)為=5，特征權(quán)值=0.4； 判斷脫離遮擋的閾值=0.88。

3.3 評(píng)價(jià)指標(biāo)

使用精度圖(Precision Plot)和成功率圖(Success Plot)來定量評(píng)估目標(biāo)跟蹤結(jié)果，其分別對(duì)應(yīng)中心位置誤差率和區(qū)域重疊率這兩個(gè)評(píng)價(jià)指標(biāo)。

中心位置誤差是跟蹤過程預(yù)測(cè)的目標(biāo)中心位置與數(shù)據(jù)集標(biāo)注中心位置的歐式距離：

(11)

式中：(,)為預(yù)測(cè)目標(biāo)的中心坐標(biāo)； (,)為標(biāo)注目標(biāo)的中心坐標(biāo)。規(guī)定一個(gè)閾值，將中心位置誤差小于該閾值的圖像幀數(shù)占該序列總幀數(shù)的比例定義為中心位置誤差率，其中閾值一般為20個(gè)像素點(diǎn)。

區(qū)域重疊度計(jì)算公式為

(12)

式中：為預(yù)測(cè)的跟蹤區(qū)域；g為目標(biāo)的真實(shí)區(qū)域。規(guī)定一個(gè)閾值，將區(qū)域重疊度大于該閾值的圖像幀數(shù)占該序列總幀數(shù)的比例定義為區(qū)域重疊率，其中閾值一般為0.5。不同閾值下的中心位置誤差率和區(qū)域重疊率的統(tǒng)計(jì)圖對(duì)應(yīng)到精度圖和成功率圖。

紅外空中小目標(biāo)跟蹤由于工程化應(yīng)用需求，要求算法實(shí)時(shí)性高，需要對(duì)算法進(jìn)行實(shí)時(shí)性評(píng)估。采用每秒幀數(shù)(Frames per Second，F(xiàn)PS)作為實(shí)時(shí)性評(píng)價(jià)指標(biāo)，即

(13)

式中：為第個(gè)序列的長(zhǎng)度；為第個(gè)序列耗費(fèi)的時(shí)長(zhǎng)。

3.4 消融實(shí)驗(yàn)分析

為了驗(yàn)證本文算法在紅外空中小目標(biāo)跟蹤中發(fā)生背景雜波干擾和遮擋時(shí)，相對(duì)應(yīng)的解決方案對(duì)于整體性能的重要性，在測(cè)試集上進(jìn)行消融實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如表1所示?？梢钥闯觯疚乃惴ㄔ赟iamFC基礎(chǔ)上通過跟蹤狀態(tài)評(píng)估，添加針對(duì)解決背景雜波干擾問題的方法后，成功率和精度相對(duì)SiamFC分別提升了20.9%和10.7%； 在SiamFC基礎(chǔ)上加入解決目標(biāo)被遮擋問題的卡爾曼濾波位置預(yù)測(cè)方法，成功率和精度相對(duì)SiamFC分別提升了24.8%和6.9%； 在SiamFC基礎(chǔ)上加入解決目標(biāo)被背景雜波干擾和遮擋問題的方法，成功率和精度相對(duì)SiamFC分別提升了33.4%和21.9%。這說明針對(duì)紅外空中小目標(biāo)跟蹤的每一個(gè)解決方案都相應(yīng)提升了算法跟蹤效果，并且方案結(jié)合后，提升效果最好。雖然跟蹤速度發(fā)生下降，但算法仍具有較高的實(shí)時(shí)性。

表1 消融實(shí)驗(yàn)結(jié)果

跟蹤狀態(tài)判斷方法的準(zhǔn)確性對(duì)后續(xù)不同狀態(tài)處理效果有很大影響，所以目標(biāo)跟蹤狀態(tài)判斷相關(guān)參數(shù)，，和的選取至關(guān)重要。為驗(yàn)證參數(shù)對(duì)算法性能的影響，首先使用SiamFC算法測(cè)試部分紅外數(shù)據(jù)集，統(tǒng)計(jì)測(cè)試過程中每一幀響應(yīng)圖的值和最大峰值，結(jié)合跟蹤狀態(tài)分析，初步設(shè)定=0.46，=0.58，=0.13和=0.86； 然后，測(cè)試在0和1之間取不同值，固定其余3個(gè)參數(shù)的情況下，算法在紅外測(cè)試集上的表現(xiàn)。如圖9所示，當(dāng)=0.55時(shí)，成功率最高，所以將改為0.55。按照相同方法，依次確定參數(shù)，，的值。由圖9可知，當(dāng)=0.55，=0.68，=0.09，=0.88時(shí)，成功率最高，說明此時(shí)對(duì)于當(dāng)前跟蹤狀態(tài)判斷最恰當(dāng)，跟蹤效果最好。

圖9 紅外測(cè)試集下參數(shù)不同取值對(duì)算法的影響Fig.9 Influence of different parameter values on algorithm in infrared test set

3.5 與經(jīng)典跟蹤算法的性能對(duì)比

3.5.1 定量分析

為了定量評(píng)估跟蹤算法的綜合性能，在紅外測(cè)試集上將本文算法與9種經(jīng)典的跟蹤算法進(jìn)行跟蹤性能對(duì)比，包括: 基于相關(guān)濾波算法的Staple和STRCF； 融合深度特征的相關(guān)濾波算法ECO-HC； 基于在線微調(diào)的深度學(xué)習(xí)算法MDNet； 基于孿生網(wǎng)絡(luò)的深度學(xué)習(xí)算法SiamFC，SiamRPN，DaSiamRPN，SiamDW和SiamFC++。其中，基于深度學(xué)習(xí)的算法均采用相同的訓(xùn)練集訓(xùn)練。

圖10為本文算法和9種對(duì)比算法在測(cè)試集上的成功率圖和精度圖，不同顏色和形狀的線條代表不同的算法。從圖中可以看出，本文跟蹤算法在跟蹤成功率和精度方面都明顯優(yōu)于其他9種算法，本文算法跟蹤成功率為0.511，相對(duì)第二名算法ECO-HC高出12.6%，相對(duì)基準(zhǔn)算法SiamFC提升了33.4%。本文算法跟蹤精確度為0.818，相對(duì)第二名算法MDNet高出11.0%，相對(duì)基準(zhǔn)算法SiamFC提升了21.9%。說明本文算法在SiamFC基礎(chǔ)上的改進(jìn)提升了算法的整體跟蹤性能，更加適用于紅外空中小目標(biāo)跟蹤。

圖10 不同算法在測(cè)試集上的跟蹤性能對(duì)比Fig.10 Comparison of tracking performance of different algorithms on the test set

為進(jìn)一步詳細(xì)分析本文算法在復(fù)雜背景和遮擋情況下的表現(xiàn)，使實(shí)驗(yàn)結(jié)果更全面，在測(cè)試集上挑選目標(biāo)出現(xiàn)復(fù)雜背景干擾和被遮擋情況兩種屬性的數(shù)據(jù)，將本文算法和9種算法在兩種屬性數(shù)據(jù)上分別進(jìn)行對(duì)比，如圖11所示。圖11(a)～(b)中，本文算法在復(fù)雜背景干擾情況下，跟蹤性能排名第一，其中成功率和精度相比第二名高出30.4%和20.5%。圖11(c)～(d)中，本文算法在遮擋情況下，跟蹤性能排名第一，其中成功率和精度相比第二名高出12.7%和15.6%。說明本文算法在目標(biāo)發(fā)生復(fù)雜背景干擾、被遮擋等情況下，跟蹤效果明顯優(yōu)于其他算法。

圖11 不同算法分別在復(fù)雜背景和遮擋屬性上的跟蹤性能對(duì)比Fig.11 Comparison of tracking performance of different algorithms on complex background and occlusion properties

表2為本文算法和9種算法在測(cè)試集上的平均跟蹤速度?？梢钥闯?，算法的跟蹤速度優(yōu)于本文算法的，其跟蹤成功率和精度都低于本文算法； 與本文算法跟蹤性能較為接近的ECO-HC和MDNet算法的跟蹤速度都遠(yuǎn)低于本文算法。本文算法測(cè)試速度達(dá)到145 frame/s，滿足實(shí)時(shí)性的需求。

表2 不同算法在測(cè)試集上的平均跟蹤速度

3.5.2 定性分析

為了更加直觀地評(píng)估本文算法跟蹤性能，對(duì)該算法與其他9種跟蹤算法在測(cè)試序列data17，data7，data11和data20上的實(shí)際跟蹤結(jié)果進(jìn)行定性分析，跟蹤結(jié)果如圖12所示，不同顏色的跟蹤框代表不同算法。

圖12 本文算法與其他9種算法的部分跟蹤結(jié)果Fig.12 Partial tracking results of proposed algorithm and other nine algorithms

(1) 背景雜波干擾：背景雜亂容易出現(xiàn)背景相似物干擾，導(dǎo)致錯(cuò)誤跟蹤。圖12(a)data17序列中，第37幀目標(biāo)周圍出現(xiàn)建筑物造成相似物干擾，除本文算法、SiamRPN和SiamFC++跟蹤到正確目標(biāo)外，其余算法跟蹤到干擾物。圖12(b)data7序列第29幀和第35幀中，由于光照和亮背景的影響，目標(biāo)發(fā)生變化，并且周圍山體和樹木產(chǎn)生相似物干擾，多數(shù)算法發(fā)生跟蹤漂移，只有本文算法始終穩(wěn)定跟蹤目標(biāo)。如圖12(b)data7的第35幀所示，脫離背景雜波干擾環(huán)境后，本文算法依舊跟蹤目標(biāo)，驗(yàn)證了本文算法采用深度特征響應(yīng)值聯(lián)合局部對(duì)比度的判別方法可以有效抵抗背景雜波干擾。圖12(d)data20序列中，第399幀目標(biāo)周圍出現(xiàn)相似建筑物干擾，相比MDNet，本文算法可以準(zhǔn)確定位目標(biāo)。

(2) 遮擋：圖12(a)data17序列中第65幀目標(biāo)被建筑物輕微遮擋，脫離遮擋后，如圖12(a)data17的第155幀所示，只有本文算法跟蹤到目標(biāo)，其余算法跟蹤結(jié)果完全漂移。圖12(c)data11序列第189幀目標(biāo)進(jìn)入樹林強(qiáng)光背景中，出現(xiàn)完全遮擋情況，脫離遮擋后，除了本文算法、ECO-HC和MDNet可以繼續(xù)跟蹤目標(biāo)，其余算法已經(jīng)遠(yuǎn)離目標(biāo)，如圖12(c)data11的第242幀所示。圖12(d)data20序列中第358幀目標(biāo)被建筑物群遮擋，脫離遮擋后，如圖12(d)data20的第376幀所示，只有本文算法和MDNet跟蹤到目標(biāo)。以上實(shí)驗(yàn)結(jié)果說明本文算法使用卡爾曼濾波位置預(yù)測(cè)方法具有較強(qiáng)的抗遮擋能力。

4 結(jié) 論

本文提出一種改進(jìn)全卷積孿生網(wǎng)絡(luò)紅外空中小目標(biāo)跟蹤算法。該算法使用響應(yīng)圖的平均峰值相關(guān)能量和最大峰值變化情況設(shè)計(jì)了一種跟蹤狀態(tài)判別方法，并針對(duì)不同狀態(tài)采取不同解決方法，通過深度特征響應(yīng)值聯(lián)合局部對(duì)比度方法排除背景雜波干擾，利用目標(biāo)幀間運(yùn)動(dòng)信息構(gòu)建卡爾曼濾波器來預(yù)測(cè)遮擋目標(biāo)位置。在紅外測(cè)試集上與其他經(jīng)典跟蹤算法進(jìn)行對(duì)比分析，結(jié)果表明：本文算法對(duì)紅外空中小目標(biāo)跟蹤有較好的性能，并且在目標(biāo)被復(fù)雜背景干擾、遮擋時(shí)，具有良好的跟蹤穩(wěn)定性，同時(shí)也能夠滿足跟蹤實(shí)時(shí)性要求。由于全卷積孿生網(wǎng)絡(luò)對(duì)紅外空中小目標(biāo)的深度特征表達(dá)能力有限，進(jìn)而降低了算法的跟蹤性能，后續(xù)研究將針對(duì)目標(biāo)特點(diǎn)對(duì)深度特征提取網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行改進(jìn)。