基于孿生網(wǎng)絡(luò)和Transformer的紅外弱小目標(biāo)跟蹤方法

崔晨輝，藺素珍*，李大威，祿曉飛，武 杰

（1.中北大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，太原 030051；2.中北大學(xué) 電氣與控制工程學(xué)院，太原 030051；3.酒泉衛(wèi)星發(fā)射中心，甘肅 酒泉 735000）

0 引言

紅外弱小目標(biāo)跟蹤作為精確制導(dǎo)和遠(yuǎn)距離飛行器目標(biāo)監(jiān)控等系統(tǒng)的關(guān)鍵技術(shù)之一，也是計(jì)算機(jī)視覺研究中的經(jīng)典難題。在上述應(yīng)用中，目標(biāo)通常距離紅外傳感器較遠(yuǎn)，獲取的圖像不僅分辨率較低、目標(biāo)所占像素較少（通常在2×2～9×9），而且目標(biāo)輪廓模糊，導(dǎo)致很難有效提取目標(biāo)特征，更難精確跟蹤目標(biāo)［1］；如果再遭遇目標(biāo)周圍相似物干擾、傳感器抖動(dòng)和目標(biāo)明暗變化等，甚至?xí)?dǎo)致跟蹤完全失敗。因此，亟需探索復(fù)雜場景下的紅外弱小目標(biāo)穩(wěn)健跟蹤方法。

現(xiàn)有紅外弱小目標(biāo)跟蹤方法可分為基于模型驅(qū)動(dòng)的數(shù)學(xué)建模方法（下稱模型驅(qū)動(dòng)法）和基于數(shù)據(jù)驅(qū)動(dòng)的深度學(xué)習(xí)方法（下稱數(shù)據(jù)驅(qū)動(dòng)法）兩大類［2］。模型驅(qū)動(dòng)法通常在首幀標(biāo)定的目標(biāo)位置裁剪圖像區(qū)域，并訓(xùn)練得到相關(guān)濾波器之后，再用該濾波器與當(dāng)前幀圖像區(qū)域運(yùn)算獲得響應(yīng)圖，響應(yīng)圖中的最大位置即為目標(biāo)新位置，然后據(jù)此更新相關(guān)濾波器進(jìn)行下一輪次，以此類推。該類方法的關(guān)鍵是降低背景雜波對跟蹤器的影響［3-4］、增強(qiáng)目標(biāo)區(qū)域［5］。為提高跟蹤速度，通常需要利用周期性循環(huán)移位訓(xùn)練濾波器，會不可避免地引入邊界效應(yīng)，降低目標(biāo)模型的質(zhì)量。為了改進(jìn)目標(biāo)模型，多數(shù)研究通常采用尺度估計(jì)和多特征提取等手段［6］，雖然能提升精度但增加了方法的復(fù)雜度，以至于在實(shí)時(shí)性方面離探測系統(tǒng)的要求越來越遠(yuǎn)。總體地，模型驅(qū)動(dòng)法近期進(jìn)展較慢。

與模型驅(qū)動(dòng)法不同，數(shù)據(jù)驅(qū)動(dòng)法近幾年得到了長足的發(fā)展。數(shù)據(jù)驅(qū)動(dòng)法多是通過神經(jīng)網(wǎng)絡(luò)提取目標(biāo)特征，并產(chǎn)生響應(yīng)圖定位目標(biāo)位置，它的跟蹤效果較好且泛化能力強(qiáng)。其中，基于孿生網(wǎng)絡(luò)的目標(biāo)跟蹤方法由于出色的跟蹤精度和速度得到廣泛應(yīng)用［7］。它將目標(biāo)跟蹤問題視為一個(gè)相似性匹配的任務(wù)，通過共享參數(shù)的神經(jīng)網(wǎng)絡(luò)提取視頻序列中首幀和后續(xù)幀圖像的特征圖，在后續(xù)幀的特征圖上尋找與首幀特征圖最為相似的位置，作為最終的跟蹤結(jié)果。對于紅外弱小目標(biāo)在跟蹤過程中易受到背景雜波和遮擋等影響，Att-Siam（convolutional channel Attention Siamese network）［8］方法基于SiamFC（Fully-Convolutional Siamese network）［9］方法進(jìn)行改進(jìn)，融合卷積通道注意力機(jī)制、堆疊通道注意力機(jī)制和空間注意力機(jī)制，實(shí)現(xiàn)對紅外弱小目標(biāo)有效且穩(wěn)定的跟蹤。張文波等［10］提出一種改進(jìn)的全卷積孿生網(wǎng)絡(luò)，使用深度特征響應(yīng)圖的平均峰值相關(guān)能量和最大峰值判斷目標(biāo)跟蹤狀態(tài)，在目標(biāo)受到背景雜波干擾時(shí)，利用深度特征響應(yīng)值聯(lián)合局部對比度判別的方式定位目標(biāo)，當(dāng)目標(biāo)發(fā)生遮擋時(shí)，使用卡爾曼濾波器預(yù)測目標(biāo)位置，所提方法可適應(yīng)復(fù)雜多變的紅外環(huán)境。為解決紅外弱小目標(biāo)快速運(yùn)動(dòng)和丟失重現(xiàn)問題，Chen等［11］提出一種基于時(shí)空注意力的孿生網(wǎng)絡(luò)方法，它的特點(diǎn)是在局部區(qū)域跟蹤過程中添加空間和時(shí)間注意力機(jī)制消除背景干擾，更好感知紅外弱小目標(biāo)，當(dāng)目標(biāo)快速運(yùn)動(dòng)跑出局部區(qū)域時(shí)，設(shè)計(jì)三階段全局重檢測機(jī)制在全局視角下重新定位目標(biāo)，最后通過狀態(tài)感知切換策略，自適應(yīng)融合局部跟蹤和全局重檢測，可對弱小目標(biāo)進(jìn)行魯棒跟蹤。盡管這些研究通過添加不同的模塊應(yīng)對了紅外弱小目標(biāo)跟蹤中的一些挑戰(zhàn)，使跟蹤結(jié)果精確性得到很大提升；但總的來看，基于孿生網(wǎng)絡(luò)的方法在計(jì)算響應(yīng)圖的過程中常采用卷積互相關(guān)操作，將模板特征圖作為卷積核，搜索特征圖作為輸入，由此得到最相似位置，該操作易受周圍相似物的干擾，陷入局部最優(yōu)，跟蹤結(jié)果偏移到相似物上，丟失真實(shí)目標(biāo)［12］。

考慮到Transformer 模型可建模全局的上下文信息［13］，面對卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）中感受野映射到圖像中較為局限的問題，利用Transformer 模型特有的多頭注意力機(jī)制，可有效獲取全局信息，并且多頭機(jī)制可將編碼向量映射至多個(gè)空間，增強(qiáng)模型的表達(dá)能力。本文受到TransT（Transformer Tracking）［12］目標(biāo)跟蹤方法的啟發(fā)，利用Transformer 中的自注意力機(jī)制和交叉注意力機(jī)制的優(yōu)勢，對模板幀和搜索幀特征圖進(jìn)行全局建模，可避免跟蹤過程中卷積互相關(guān)操作陷入局部最優(yōu)問題。

本文主要工作內(nèi)容如下：

1）提出一種針對紅外弱小目標(biāo)的跟蹤方法，利用孿生網(wǎng)絡(luò)和Transformer 跟蹤紅外弱小目標(biāo)。在特征提取中采用深度特征和灰度方向梯度直方圖（Histogram of Oriented Gradient，HOG）特征，使模板幀和搜索幀特征信息更加豐富；利用Transformer 替換原有的卷積互相關(guān)操作，建立全局依賴，獲得更準(zhǔn)確的響應(yīng)圖。

2）提出一個(gè)響應(yīng)圖上采樣模塊，將Transformer 輸出的互相關(guān)響應(yīng)圖擴(kuò)大至搜索幀尺寸大小，最后通過邊界框預(yù)測網(wǎng)絡(luò)模塊輸出跟蹤結(jié)果。

3）在修改后的地空背景下紅外圖像弱小飛機(jī)目標(biāo)檢測跟蹤數(shù)據(jù)集（Dataset for IR Small Targets，DIRST）上進(jìn)行實(shí)驗(yàn)，對比目標(biāo)檢測、通用目標(biāo)跟蹤方法，本文方法達(dá)到最高的89.7%的精確率和90.2%的成功率。

1 SiamCAR目標(biāo)跟蹤方法

基于孿生網(wǎng)絡(luò)的目標(biāo)跟蹤方法將跟蹤問題轉(zhuǎn)換為目標(biāo)匹配問題，計(jì)算模板特征圖和搜索特征圖之間的相似度圖，但相似度圖只包含有限的空間信息。因此，常在搜索特征圖上設(shè)定多個(gè)尺度以確定目標(biāo)發(fā)生的尺度變換，過程非常耗時(shí)。為解決該問題，SiamCAR（Siamese fully Convolutional classification And Regression）跟蹤方法［14］將目標(biāo)跟蹤任務(wù)分解為兩個(gè)問題：一是像素級別的分類問題，二是該像素上目標(biāo)邊界框的回歸問題，這種端到端無錨網(wǎng)絡(luò)的結(jié)構(gòu)可避免提取多特征搜索特征圖的耗時(shí)操作，也可大幅降低采用錨框機(jī)制設(shè)定超參數(shù)的數(shù)量，使跟蹤方法更加簡潔有效。SiamCAR網(wǎng)絡(luò)的結(jié)構(gòu)如圖1 所示。

圖1 SiamCAR網(wǎng)絡(luò)的結(jié)構(gòu)Fig.1 Structure of SiamCAR network

SiamCAR 跟蹤方法分為孿生子網(wǎng)絡(luò)和分類回歸子網(wǎng)絡(luò)兩個(gè)部分。孿生子網(wǎng)絡(luò)包含特征提取和深度互相關(guān)操作。在特征提取過程中模板幀圖像和搜索幀圖像通過共享參數(shù)的ResNet-50 網(wǎng)絡(luò)獲得深度特征圖，為充分利用深度網(wǎng)絡(luò)中淺層細(xì)節(jié)信息和深層語義信息，特征圖將ResNet-50 網(wǎng)絡(luò)中最后3 個(gè)殘差塊的特征進(jìn)行通道維度的串聯(lián)，如式（1）所示：

式中：F3、F4、F5表示ResNet-50 網(wǎng)絡(luò)最后的3 個(gè)殘差塊，S表示搜索幀圖像，φ(S)表示提取的搜索特征圖。對于模板幀圖像Z也采用相同的操作。

互相關(guān)操作中，改進(jìn)卷積互相關(guān)，采用逐通道的相關(guān)操作生成多通道的響應(yīng)圖，更好地利用淺層特征和深層特征，易于定位和鑒別干擾。響應(yīng)圖R的計(jì)算公式如式（2）所示：

式中★表示深度互相關(guān)操作。

響應(yīng)圖R中每個(gè)像素都可映射回搜索幀圖像區(qū)域，分類回歸子網(wǎng)絡(luò)直接對R中每個(gè)像素進(jìn)行分類和回歸的預(yù)測。包含3 個(gè)部分：目標(biāo)分類得分網(wǎng)絡(luò)、中心度偏移得分網(wǎng)絡(luò)和回歸框偏差網(wǎng)絡(luò)。分類得分網(wǎng)絡(luò)輸出是一個(gè)二維矩陣代表搜索幀圖像相應(yīng)位置前背景概率，使用交叉熵?fù)p失函數(shù)進(jìn)行訓(xùn)練；中心度偏移得分網(wǎng)絡(luò)輸出一個(gè)一維矩陣，代表目標(biāo)中心位置與搜索圖像每個(gè)像素點(diǎn)位置的距離，以提高網(wǎng)絡(luò)對相似物目標(biāo)的辨別能力，使用二分類交叉熵?fù)p失函數(shù)進(jìn)行訓(xùn)練；回歸框偏差網(wǎng)絡(luò)輸出是一個(gè)四維矩陣表示像素點(diǎn)對應(yīng)搜索圖像相應(yīng)位置距離目標(biāo)邊界框四邊的距離，使用交并比（Intersection Over Union，IOU）損失函數(shù)進(jìn)行訓(xùn)練。以上3 個(gè)矩陣的下標(biāo)w×h×c中，w和h代表響應(yīng)圖R的寬和高，c表示矩陣的通道數(shù)。最終的損失函數(shù)如式（3）所示：

式中：λ1設(shè)置為1，λ2設(shè)置為2，Lcls表示分類得分網(wǎng)絡(luò)損失函數(shù)，Lcen表示中心度偏移得分網(wǎng)絡(luò)損失函數(shù)，Lreg表示回歸框偏差網(wǎng)絡(luò)損失函數(shù)。

雖然，SiamCAR 目標(biāo)跟蹤方法使用深度互相關(guān)和輸出中心度偏移得分網(wǎng)絡(luò)的方式在一定程度上抑制真實(shí)目標(biāo)周圍的相似物目標(biāo)，但對于紅外弱小目標(biāo)并不適用，因?yàn)榧t外弱小目標(biāo)和周圍相似物灰度值都呈現(xiàn)高斯分布，且無輪廓和紋理特征，采用簡單的卷積操作并不能很好地辨別。因此，本文在SiamCAR 目標(biāo)跟蹤方法上進(jìn)行修改，使SiamCAR 跟蹤方法更適合紅外弱小目標(biāo)跟蹤場景，提升跟蹤方法的魯棒性。

2 本文方法

本章首先闡述本文方法的整體結(jié)構(gòu)，之后詳細(xì)介紹方法中多特征提取級聯(lián)模塊、特征互相關(guān)模塊、響應(yīng)圖上采樣模塊、模板幀實(shí)時(shí)更新模塊，以及本文方法的測試過程。

2.1 整體結(jié)構(gòu)

本文提出的紅外弱小目標(biāo)跟蹤方法的整體網(wǎng)絡(luò)結(jié)構(gòu)如圖2 所示，由多特征提取級聯(lián)模塊、特征互相關(guān)模塊、響應(yīng)圖上采樣模塊、邊界框預(yù)測網(wǎng)絡(luò)模塊和模板幀實(shí)時(shí)更新模塊組成。

圖2 本文方法的整體結(jié)構(gòu)Fig.2 Overall structure of proposed algorithm

輸入是紅外圖像序列，模板幀實(shí)時(shí)更新模塊會以跟蹤的前一幀圖像按目標(biāo)中心位置為原點(diǎn)進(jìn)行裁剪，獲得模板幀Z；當(dāng)前幀圖像以上一幀目標(biāo)中心為原點(diǎn)裁剪，獲得搜索幀S；之后，模板、搜索幀圖像通過多特征提取級聯(lián)模塊獲得級聯(lián)特征圖（由ResNet-18 提取的深度特征與HOG 特征串聯(lián)產(chǎn)生）；再通過特征互相關(guān)模塊，利用Transformer 的自注意力和交叉注意力機(jī)制對兩種特征進(jìn)行相似性計(jì)算，產(chǎn)生互相關(guān)響應(yīng)圖；之后通過響應(yīng)圖上采樣模塊，將互相關(guān)響應(yīng)圖擴(kuò)充至搜索幀圖像大??；通過邊界框預(yù)測網(wǎng)絡(luò)模塊（采用SiamCAR中分類回歸子網(wǎng)絡(luò)），獲得目標(biāo)在搜索幀區(qū)域的分類（Classification，Cls）、中心度偏移（Centrality offset，Cen）、邊界框偏差（Regression box bias，Reg）置信度圖，最終通過對3種置信度圖的計(jì)算獲得待跟蹤目標(biāo)的邊界框(x1，y1，x2，y2)。

2.2 多特征提取級聯(lián)模塊

紅外弱小目標(biāo)雖然所占像素較少，分辨率低，邊緣輪廓模糊，但目標(biāo)常呈高斯分布，對紅外弱小目標(biāo)插值放大，可提取出有效的特征圖。本文利用孿生網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行特征提取，由兩個(gè)分支組成：一是以模板幀Z為輸入的模板分支，二是以搜索幀S為輸入的搜索分支。在傳統(tǒng)的跟蹤方法中，僅使用神經(jīng)網(wǎng)絡(luò)提取的深度特征進(jìn)行互相關(guān)計(jì)算，跟蹤準(zhǔn)確性并不高，在深度特征的基礎(chǔ)上添加其他的圖像特征可使模板分支和搜索分支輸出的特征圖信息更加豐富，有利于跟蹤準(zhǔn)確性的提高。

因此本文將兩個(gè)分支一起通過共享參數(shù)的ResNet-18 網(wǎng)絡(luò)［15］和HOG 特征提取器，再進(jìn)行維度層面的拼接，獲得最終的模板特征圖和搜索特征圖。特征提取器的結(jié)構(gòu)如圖3 所示（輸入以模板區(qū)域?yàn)槔?/p>

圖3 多特征提取級聯(lián)模塊網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 Network structure of multi-feature extraction cascading module

在跟蹤過程中，目標(biāo)模板幀和搜索幀經(jīng)放大裁剪變換為127×127×3 的z和255×255×3 的s，通過ResNet-18 網(wǎng)絡(luò)f后得到15×15×512 的f(z)和31×31×512 的f(s)特征圖。

對于紅外圖像，目標(biāo)前景和背景之間灰度值的差異是一個(gè)重要信息，提取目標(biāo)與周圍背景的梯度分布信息可有效區(qū)別干擾物的影響。其中HOG 特征能表征圖像邊緣信息和梯度分布情況，在深度特征基礎(chǔ)上添加該特征會使目標(biāo)信息更加豐富。目標(biāo)模板幀和搜索幀通過HOG 特征提取后，獲得15×15×8 的h(z)和31×31×8 的h(s)大小的HOG 特征圖。將HOG 特征圖與深度特征圖進(jìn)行拼接，得到15×15×520 的f′(z)和31×31×520 的f′(s)的級聯(lián)特征圖：

通過級聯(lián)后的特征信息更加豐富，使后續(xù)定位和回歸操作更加精確。

2.3 特征互相關(guān)模塊

為解決傳統(tǒng)孿生網(wǎng)絡(luò)跟蹤方法易陷入局部最優(yōu)問題，增強(qiáng)本文方法對目標(biāo)與干擾物的判別能力，使用Transformer 模塊［16］代替卷積相似性計(jì)算。Transformer 模塊采用多頭注意力機(jī)制，可關(guān)注全局信息，在搜索特征圖上自適應(yīng)地尋找與模板特征圖最相關(guān)的區(qū)域，獲得更加精準(zhǔn)的響應(yīng)圖，特征互相關(guān)模塊網(wǎng)絡(luò)結(jié)構(gòu)如圖4 所示。

圖4 特征互相關(guān)模塊網(wǎng)絡(luò)結(jié)構(gòu)Fig.4 Network structure of feature cross-correlation module

在編碼器階段，由兩個(gè)編碼器層組成。由于Transformer需要將每個(gè)維度的特征圖進(jìn)行拉平操作，無法判斷輸入特征向量的位置信息，因此，為引入位置信息，要將模板特征圖每個(gè)像素的相對位置關(guān)系加入模板特征圖，最后進(jìn)行拉平操作，作為第一個(gè)編碼器層的輸入，公式可表示為：

其中：f′(z)是多特征提取級聯(lián)模塊模板特征輸出級聯(lián)特征圖，P(f′(z))是級聯(lián)特征圖的空間位置編碼，flatten(·)表示拉平操作，f″(z)是經(jīng)拉平和添加空間位置編碼的特征向量。

編碼器層由注意力模塊和前饋神經(jīng)網(wǎng)絡(luò)構(gòu)成，它的注意力模塊通過多頭注意力機(jī)制、相加和歸一化操作，目的是增強(qiáng)模板特征圖中最有用的信息，提高解碼器性能，多頭注意力機(jī)制（MultiHead）公式可表示為：

然后通過前饋神經(jīng)網(wǎng)絡(luò)（FeedForward Neural network，F(xiàn)FN），輸出第一層編碼器的編碼特征。其中，前饋神經(jīng)網(wǎng)絡(luò)由兩個(gè)全連接層、一個(gè)ReLU 激活函數(shù)層、一個(gè)Dropout 層和一個(gè)歸一化層組成，具體公式表示如下：

在解碼器階段，由兩個(gè)解碼器層組成，在搜索特征圖f′(s)進(jìn)行空間位置編碼和拉平操作后，輸入到第一個(gè)解碼器層中，增強(qiáng)搜索特征圖信息，獲得。然后與編碼器輸出的編碼特征一同輸入到第二個(gè)解碼器層，采用交叉注意力的方式，主要區(qū)別是使編碼特征與解碼特征在全局層面進(jìn)行相似性計(jì)算，獲得第二個(gè)解碼器層的輸出。最終通過一個(gè)前饋神經(jīng)網(wǎng)絡(luò)和尺寸變換操作，獲得相較于卷積互相關(guān)操作更精確的互相關(guān)響應(yīng)圖X。

2.4 響應(yīng)圖上采樣模塊

由于紅外弱小目標(biāo)所占像素少、信噪比低，進(jìn)行多特征提取級聯(lián)和互相關(guān)操作后，響應(yīng)圖每個(gè)像素映射回搜索圖像的區(qū)域通常會大于目標(biāo)所在區(qū)域，引入更多的背景噪聲，在測試階段，會影響目標(biāo)位置的確定，導(dǎo)致跟蹤失敗。為使響應(yīng)圖更加精確定位目標(biāo)所在位置，降低背景對跟蹤結(jié)果影響，便于之后邊界框預(yù)測網(wǎng)絡(luò)模塊中分類和回歸操作。本文在跟蹤方法上添加響應(yīng)圖上采樣模塊，依據(jù)U-Net 網(wǎng)絡(luò)［17］進(jìn)行修改，將31×31×5 20 大小的響應(yīng)圖X轉(zhuǎn)變?yōu)?55×255×1 大小的響應(yīng)圖X′，響應(yīng)圖上采樣模塊的網(wǎng)絡(luò)結(jié)構(gòu)如圖5 所示。

圖5 響應(yīng)圖上采樣模塊的網(wǎng)絡(luò)結(jié)構(gòu)Fig.5 Network structure of upsampling module of response map

圖5 中，響應(yīng)圖上采樣模塊由一個(gè)轉(zhuǎn)置卷積層和一個(gè)雙層卷積塊重復(fù)5 次串聯(lián)獲得。其中，5 個(gè)雙層卷積塊的結(jié)構(gòu)相同，都由Conv2D 卷積層、BatchNorm2D 歸一化層、ReLU 激活函數(shù)層重復(fù)2 次獲得。轉(zhuǎn)置卷積層的作用是將響應(yīng)圖X的尺寸放大、維度縮小為原來的一半，降低響應(yīng)圖的感受野，提高目標(biāo)定位的精確性；雙層卷積塊的作用是進(jìn)一步縮小響應(yīng)圖的維數(shù)，最終使多維度的特征信息整合于一個(gè)維度，提高網(wǎng)絡(luò)表達(dá)能力，同時(shí)降低網(wǎng)絡(luò)參數(shù)量，減少過擬合的風(fēng)險(xiǎn)。

2.5 模板幀實(shí)時(shí)更新模塊

在本文方法跟蹤過程中，模板幀除目標(biāo)區(qū)域外還添加部分周圍背景區(qū)域，使搜索幀定位目標(biāo)更加準(zhǔn)確。但在實(shí)際跟蹤過程中，紅外序列中背景相對比較復(fù)雜、目標(biāo)背景常發(fā)生改變，如圖6 所示，從左到右表示紅外弱小目標(biāo)運(yùn)動(dòng)過程中目標(biāo)所在局部區(qū)域的變化情況，可從圖6 中明顯看出紅外弱小目標(biāo)周圍背景發(fā)生較大的變化。因此，僅利用紅外序列第一幀目標(biāo)區(qū)域作為模板幀并不準(zhǔn)確。

圖6 同一場景下不同幀的模板幀圖像Fig.6 Template frame images of different frames in same scene

本文方法在測試過程中添加模板幀實(shí)時(shí)更新模塊，在跟蹤當(dāng)前幀時(shí)，利用上一幀定位的目標(biāo)和周圍背景區(qū)域作為新的模板幀，具體公式如下所示：

其中：S′表示上一幀紅外圖像，Recut 表示以上一幀預(yù)測的目標(biāo)中心位置為原點(diǎn)向四周進(jìn)行擴(kuò)充和尺度變化的操作，擴(kuò)充長度為1.5 倍預(yù)測邊界框?qū)蔷€的長度，Z′∈R127×127×3表示新的模板幀圖像。

之后，將Z′通過多特征提取級聯(lián)模塊后，更新模板特征圖，可使邊界框預(yù)測網(wǎng)絡(luò)模塊的輸出結(jié)果更具魯棒性。

2.6 測試過程

本文方法的最終目的是預(yù)測當(dāng)前幀圖像紅外弱小目標(biāo)的邊界框，以確定目標(biāo)位置和大小。采用SiamCAR 方法［14］中的邊界框預(yù)測網(wǎng)絡(luò)模塊，對于響應(yīng)圖X′通過邊界框預(yù)測網(wǎng)絡(luò)模塊輸出分類得分圖Scls、中心度偏移得分圖Scen和邊界框偏差得分圖(St，Sb，Sl，Sr)。在實(shí)際紅外弱小目標(biāo)運(yùn)動(dòng)過程中，相鄰幀目標(biāo)運(yùn)動(dòng)距離較小且尺度大小不會發(fā)生劇烈變化。因此，本文在預(yù)測當(dāng)前幀目標(biāo)中心位置上添加余弦窗懲罰，預(yù)測邊界框上進(jìn)行平滑處理。余弦窗懲罰可表示為：

式中：λcos大小設(shè)置為0.65，Hcos表示255×255 大小的余弦窗，P表示新產(chǎn)生的響應(yīng)圖。添加余弦窗懲罰可抑制較大距離的位移，減弱在搜索區(qū)域范圍內(nèi)距離真實(shí)目標(biāo)較遠(yuǎn)相似干擾物的影響。

邊界框平滑可用公式表示為：

式中：λbbox大小設(shè)置為0.8，S*i，j表示P中分?jǐn)?shù)最高像素點(diǎn)位置(i，j)與預(yù)測邊界框上下左右四邊的距離，Sli，j+Sri，j可獲得預(yù)測邊界框的寬，Sti，j+Sbi，j獲得預(yù)測邊界框的高，Wpre和Hpre代表上一幀目標(biāo)邊界框的寬和高，W和H表示最終預(yù)測邊界框的寬和高。通過邊界框平滑可使相鄰幀間邊界框不會發(fā)生劇烈變化，更加穩(wěn)定框選真實(shí)目標(biāo)。

本文方法在測試過程中添加余弦窗懲罰和邊界框平滑處理，可使目標(biāo)定位和回歸更加準(zhǔn)確，提升方法穩(wěn)健性。

3 實(shí)驗(yàn)與結(jié)果分析

實(shí)驗(yàn)環(huán)境 實(shí)驗(yàn)使用版本號為1.9.1 的Pytorch 開源深度學(xué)習(xí)框架，訓(xùn)練及測試使用NVIDIA RTX 3090 圖形圖像工作站。

3.1 訓(xùn)練集和測試集

本文方法訓(xùn)練集選用可見光場景下小目標(biāo)數(shù)據(jù)集（Large-scale Tiny Object Tracking dataset，LaTOT）［18］中的訓(xùn)練集，包含269 個(gè)視頻序列，共104 726 幀標(biāo)注圖像。在訓(xùn)練過程中，通過灰度化、平移、縮放、模糊、鏡像翻轉(zhuǎn)等操作，增加方法魯棒性。

方法測試集主要選用修改后的DIRST 數(shù)據(jù)集［19］，在原有目標(biāo)位置上覆蓋灰度值呈高斯分布的目標(biāo)，大小在5×5 至7×7，并采用外接矩形框作為Label，包含16 個(gè)視頻序列，共13 655 幀圖像。

由于本文方法在灰度化的可見光數(shù)據(jù)集LaTOT 上訓(xùn)練，為充分驗(yàn)證本文方法的魯棒性，采用交叉對比的方法，在灰度化后的LaTOT 測試集中多個(gè)圖像序列進(jìn)行新的測試，其中包含16 個(gè)圖像序列，共8 544 幀圖像。

3.2 訓(xùn)練過程

訓(xùn)練時(shí)使用隨機(jī)梯度下降法（Stochastic Gradient Descent，SGD）對網(wǎng)絡(luò)優(yōu)化，批尺寸batchsize 設(shè)置為32，動(dòng)量momentum 為0.9，訓(xùn)練周期epoch 為50，學(xué)習(xí)率在整個(gè)周期內(nèi)從0.01 下降到0.000 5 呈指數(shù)形式遞減。

3.3 評價(jià)指標(biāo)

為驗(yàn)證本文方法的有效性，采用精確率Pre和成功率Suc定量評估跟蹤器的目標(biāo)跟蹤結(jié)果。

精確率根據(jù)預(yù)測目標(biāo)位置中心點(diǎn)與真值目標(biāo)中心位置之間的歐氏距離在規(guī)定閾值范圍內(nèi)的幀數(shù)百分比值得出，這里閾值設(shè)置為8 像素，中心位置距離計(jì)算公式表示為：

式中：（x，y）表示跟蹤器預(yù)測邊界框的中心點(diǎn)坐標(biāo)，（xg，yg）表示真值邊界框的中心點(diǎn)坐標(biāo)。

成功率根據(jù)預(yù)測邊界框和真值邊界框之間的重疊率（Overlap Score，OS）大于規(guī)定閾值的幀數(shù)的百分比值得出，由于紅外弱小目標(biāo)尺度較小，計(jì)算交并比時(shí)閾值設(shè)置得不同，成功率變化較大，為使結(jié)果盡可能精確，閾值設(shè)置為0.1，重疊率計(jì)算公式為：

式中：A表示預(yù)測的邊界框位置，Ag表示真值邊界框位置。

3.4 對比實(shí)驗(yàn)

3.4.1 DIRST數(shù)據(jù)集定性對比實(shí)驗(yàn)及分析

為評估本文方法對紅外弱小目標(biāo)跟蹤具有更好的性能，本文選用5 種對比方法包括：1）紅外弱小目標(biāo)檢測方法AGPC（Attention Guided Pyramid Context network）［20］和DNANet（Dense Nested Attention Network）［21］；2）通用跟蹤方法KeepTrack［22］和TransT［12］；3）基準(zhǔn)跟蹤方法SiamCAR［14］。采用紅外弱小目標(biāo)檢測方法的原因是可在整幅圖片范圍內(nèi)分割出最有可能是紅外弱小目標(biāo)的區(qū)域，與之對比可評估本文方法對紅外弱小目標(biāo)的敏感程度，是否適用于紅外弱小目標(biāo)跟蹤場景。

圖7 可視化展示了不同跟蹤方法在修改后的DIRST 測試數(shù)據(jù)集上的跟蹤結(jié)果，不同顏色的邊界框代表不同的跟蹤方法。從圖7 可以看出，data8 序列目標(biāo)周圍存在多個(gè)相似干擾物，在跟蹤過程中，如203 幀，所有對比方法會丟失真實(shí)目標(biāo)，偏移到相似物上，但到295 幀后，如374 幀，KeepTrack 方法會再次捕捉到真實(shí)目標(biāo)，這得益于該方法會對所有潛在目標(biāo)保持跟蹤，建立多條跟蹤軌跡，當(dāng)真實(shí)目標(biāo)置信度高時(shí)可重新跟蹤。data22 序列目標(biāo)穿越空地時(shí)，發(fā)生紅外傳感器抖動(dòng)，且周圍存在白色亮點(diǎn)，所有對比方法丟失真實(shí)目標(biāo)，本文方法依然穩(wěn)健跟蹤真實(shí)目標(biāo)，在目標(biāo)進(jìn)入森林區(qū)域，與背景對比度明顯，AGPC 和DNANet 全局檢測的方法會再次跟蹤到真實(shí)目標(biāo)，其他對比方法始終跟蹤在相似干擾物上。data4 序列真實(shí)目標(biāo)與相似物目標(biāo)會交會再分離，分離過程在262 幀時(shí)TransT 和KeepTrack 方法會發(fā)生尺度估計(jì)的誤差，框選兩個(gè)目標(biāo)，其他方法均穩(wěn)健跟蹤。data17 序列當(dāng)目標(biāo)周圍出現(xiàn)相似物時(shí)，如378 幀，KeepTrack 方法會認(rèn)為干擾物是真實(shí)目標(biāo)，并偏移到干擾物上，但后續(xù)會再次跟蹤到真實(shí)目標(biāo)，當(dāng)目標(biāo)與背景灰度值差異較低時(shí)，如378 和499 幀，DNANet 未檢測到真實(shí)目標(biāo)。data10 序列，目標(biāo)與背景灰度值差異較大，周圍無相似干擾物，所有方法均穩(wěn)健跟蹤。總體而言，本文方法對存在相似物干擾和復(fù)雜背景情況具有魯棒的跟蹤結(jié)果。

圖7 不同跟蹤方法結(jié)果在修改后DIRST測試數(shù)據(jù)集上的可視化展示Fig.7 Visualization of results of different tracking methods on modified DIRST test dataset

3.4.2 DIRST數(shù)據(jù)集定量對比實(shí)驗(yàn)及分析

選擇2.3 節(jié)中介紹的評價(jià)指標(biāo)對比本文方法和對比方法的性能，結(jié)果如表1 所示。

表1 DIRST數(shù)據(jù)集上不同方法的定量評估結(jié)果 單位：%Tab.1 Quantitative evaluation results of different methods on DIRST dataset unit：%

從表1 中可以看出，相較于其他方法，本文方法成功率分別提高了5.9、14.2、26.5、7.7 和11.6 個(gè)百分點(diǎn)。這主要得益于本文方法在測試階段，對邊界框的預(yù)測添加了平滑處理，體現(xiàn)在回歸框偏差置信圖生成邊界框后，與上一幀邊界框以百分比的形式相加，可使邊界框的尺度變換更加平緩，適用于尺度變化較小的紅外弱小目標(biāo)跟蹤場景。精確率分別提高了1.8、14.6、22.7、7.4 和11.8 個(gè)百分點(diǎn)。這得益于本文提出的多特征提取級聯(lián)模塊、特征互相關(guān)模塊、上采樣模塊及模板幀實(shí)時(shí)更新模塊的共同作用，可有效降低目標(biāo)周圍干擾物的影響，使跟蹤方法始終保持在真實(shí)目標(biāo)上?？傮w表明本文方法與兩種紅外弱小目標(biāo)檢測方法、三種跟蹤方法相比跟蹤結(jié)果更加準(zhǔn)確。

3.4.3 LaTOT測試集定性對比實(shí)驗(yàn)及分析

為充分驗(yàn)證本文方法的魯棒性，在LaTOT 測試集中多個(gè)圖像序列進(jìn)行新的測試，其中包含3 種對比方法：兩種通用跟蹤方法KeepTrack［22］和TransT［12］、一種基準(zhǔn)跟蹤方法SiamCAR［14］。圖8 可視化展示了不同跟蹤方法在LaTOT 測試數(shù)據(jù)集上的跟蹤結(jié)果。

圖8 不同跟蹤方法結(jié)果在LaTOT測試數(shù)據(jù)集上的可視化展示Fig.8 Visualization of results of different tracking methods on LaTOT test dataset

從圖8（a）中可以看出，真實(shí)目標(biāo)移動(dòng)較慢、周圍相似物距離較遠(yuǎn)的情況下，四種跟蹤方法均可穩(wěn)健跟蹤到真實(shí)目標(biāo)；圖8（b）中，雖然真實(shí)目標(biāo)出現(xiàn)較大距離的位移，但背景較為干凈，沒有干擾物的影響，四種跟蹤方法始終可以跟蹤到真實(shí)目標(biāo)；圖8（c）中，第110 幀圖像目標(biāo)從干擾物附近穿過，TransT 和SiamCAR 跟蹤方法跟蹤偏移到周圍物體上，而本文方法和KeepTrack 預(yù)測邊界框保持在真實(shí)目標(biāo)上，到第293 幀圖像，真實(shí)目標(biāo)運(yùn)動(dòng)到第7 幀圖像目標(biāo)位置附近，TransT 方法再次跟蹤到目標(biāo)，而KeepTrack 和SiamCAR 跟蹤錯(cuò)誤，這主要因?yàn)榛赥ransformer 網(wǎng)絡(luò)的相似性計(jì)算更加精確，降低了相似物的干擾，當(dāng)真實(shí)目標(biāo)再次出現(xiàn)時(shí)，會重新跟蹤到真實(shí)目標(biāo)；圖8（d）中，第103 幀圖像目標(biāo)周圍出現(xiàn)相似干擾物，SiamCAR 預(yù)測邊界框包圍真實(shí)目標(biāo)和虛假相似目標(biāo)，出現(xiàn)尺度估計(jì)錯(cuò)誤，這主要因?yàn)椴捎蒙疃然ハ嚓P(guān)操作對于相似物的干擾判別性并不強(qiáng)，而較小尺寸的響應(yīng)圖會將相似干擾物和真實(shí)目標(biāo)混淆，導(dǎo)致預(yù)測邊界框過大，而其他算法都可穩(wěn)健跟蹤，第147 幀圖像本文方法跟蹤到真實(shí)目標(biāo)尾部區(qū)域，原因在于本文方法跟蹤過程中尺度估計(jì)過小，模板幀實(shí)時(shí)更新模塊將小尺寸的模板幀輸入到網(wǎng)絡(luò)中提取特征進(jìn)行相似性操作，導(dǎo)致之后的跟蹤過程始終保持在目標(biāo)尾部，但其他方法均跟蹤失敗。

3.4.4 LaTOT測試集定量對比實(shí)驗(yàn)及分析

對比本文方法和三種對比方法在LaTOT 測試集上的性能，結(jié)果如表2 所示。

表2 LaTOT測試集上不同方法的定量評估結(jié)果 單位：%Tab.2 Quantitative evaluation results of different methods on LaTOT test set unit：%

從表2 中可以看出，相較于其他對比方法，本文方法成功率分別提高了0.7、2.8、2.0 個(gè)百分點(diǎn)，精確率分別提高了1.7、2.9、6.7 個(gè)百分點(diǎn)。這主要得益于本文方法多個(gè)模塊的共同作用，此外，在測試階段添加的余弦窗懲罰和邊界框平滑操作也會提高本文方法的跟蹤成功率和精確率。

3.5 消融實(shí)驗(yàn)分析

為驗(yàn)證本方法中多特征提取級聯(lián)模塊、特征互相關(guān)模塊、響應(yīng)圖上采樣模塊和模板幀實(shí)時(shí)更新模塊的有效性，在DIRST 數(shù)據(jù)集上進(jìn)行消融實(shí)驗(yàn)分析，結(jié)果如表3 所示。其中，Base 表示修改過的SiamCAR 跟蹤方法，由于本文方法在多特征提取級聯(lián)模塊中深度特征僅使用ResNet-18 最后一個(gè)殘差塊的特征圖，為保證消融實(shí)驗(yàn)的統(tǒng)一性，修改SiamCAR 中利用多個(gè)殘差塊輸出特征圖進(jìn)行深度互相關(guān)操作，改為只采用最后一個(gè)殘差塊輸出特征圖進(jìn)行深度互相關(guān)操作。此外，表3 中①代表Base 方法，②代表在Base 方法中依次添加本文中的一個(gè)獨(dú)立模塊，③、④代表以排列組合的方式在Base 方法中添加本文兩個(gè)和三個(gè)模塊，⑤代表Base 方法添加本文所有模塊，即本文方法。

表3 消融實(shí)驗(yàn)結(jié)果 單位：%Tab.3 Ablation experimental results unit：%

從表3 中①和②對比可以看出，在Base 上添加其他單獨(dú)模塊后，成功率和精確率都有所提高，但基于Transformer 的特征互相關(guān)模塊影響最大，成功率提高了15.1 個(gè)百分點(diǎn)，精確率提高了12.6 個(gè)百分點(diǎn)，說明Transformer 網(wǎng)絡(luò)中多頭注意力機(jī)制可有效提高網(wǎng)絡(luò)的判別性，降低背景及周圍干擾物的影響。

從Base+H、Base+U、Base+R 和③對比看出，基于Transformer 的特征互相關(guān)模塊對跟蹤結(jié)果的提升最大；從Base+T 和③對比看出，在跟蹤較為準(zhǔn)確的情況下，利用模板幀實(shí)時(shí)更新模塊對跟蹤結(jié)果影響最大，由于目標(biāo)在運(yùn)動(dòng)過程中背景不斷發(fā)生變化，只采用首幀目標(biāo)區(qū)域作為模板幀跟蹤結(jié)果并不準(zhǔn)確，不斷更新模板幀圖像可提高特征互相關(guān)模塊輸出響應(yīng)圖的準(zhǔn)確性，進(jìn)而提高跟蹤成功率和精確率，而當(dāng)跟蹤精度較低時(shí)，模板幀實(shí)時(shí)更新模塊對跟蹤結(jié)果的提升較小。

從Base+H+T、Base+T+U 和④對比看出，模板幀實(shí)時(shí)更新模塊對跟蹤結(jié)果提升最大，可以推斷出，當(dāng)跟蹤結(jié)果較好時(shí)，采用模板幀實(shí)時(shí)更新模塊會提高跟蹤的準(zhǔn)確性；從Base+R+U、Base+H+R 和④對比看出，基于Transformer 的特征互相關(guān)模塊對跟蹤結(jié)果的提升最大；從Base+H+U 和④對比看出，基于Transformer 的特征互相關(guān)模塊和模板幀實(shí)時(shí)更新模塊都對跟蹤結(jié)果有較大的提升；從Base+T+R 和④對比看出，HOG特征和響應(yīng)圖上采樣網(wǎng)絡(luò)都對跟蹤結(jié)果有一些提升。

從④和⑤對比可以發(fā)現(xiàn)，在多特征提取模塊中加入HOG 特征后，成功率、精確率分別提高了6.2 和5.8 個(gè)百分點(diǎn)，原因是將HOG 特征與深度特征的融合，使模板特征圖和搜索特征圖獲得目標(biāo)與背景區(qū)域更豐富的信息，更好定位到目標(biāo)。

利用Transformer 代替卷積互相關(guān)操作后，成功率和精確率均有所提高，分別為10.9 和11.7 個(gè)百分點(diǎn)，證明多頭注意力機(jī)制可在搜索特征圖上尋找與模板特征圖最相似的區(qū)域，擺脫簡單的卷積操作導(dǎo)致陷入局部最優(yōu)的問題。

響應(yīng)圖上采樣模塊的加入，使響應(yīng)圖擴(kuò)大并與搜索區(qū)域大小保持一致，可降低小響應(yīng)圖每個(gè)像素點(diǎn)感受野過大、引入過多背景信息的不利影響，減小目標(biāo)定位過程中產(chǎn)生的誤差，成功率和精確率分別提升4.0 和4.1 個(gè)百分點(diǎn)。

模板幀實(shí)時(shí)更新模塊的加入，成功率、精確率提高了10.1 和10.8 個(gè)百分點(diǎn)，說明對復(fù)雜背景下的紅外弱小目標(biāo)跟蹤很有必要，利用上一幀目標(biāo)區(qū)域提取的特征圖代替第一幀目標(biāo)區(qū)域提取的特征圖，可使邊界框預(yù)測網(wǎng)絡(luò)頭網(wǎng)絡(luò)輸出定位更加準(zhǔn)確。

4 結(jié)語

本文提出一種基于孿生網(wǎng)絡(luò)和Transformer 的跟蹤方法，適用于復(fù)雜背景下的紅外弱小目標(biāo)跟蹤。輸入紅外序列后，對模板幀和搜索幀圖像進(jìn)行多特征提取，獲得級聯(lián)特征，之后通過Transformer 的互相關(guān)模塊和響應(yīng)圖上采樣模塊，獲得上采樣響應(yīng)圖，最后通過邊界框預(yù)測網(wǎng)絡(luò)輸出跟蹤結(jié)果。在修改后的復(fù)雜背景下紅外弱小目標(biāo)數(shù)據(jù)集DIRST 上評估本方法與其他方法的差異。實(shí)驗(yàn)結(jié)果表明，本文方法可達(dá)到90.2%的成功率和89.7%的精確率，可準(zhǔn)確跟蹤紅外序列中的紅外弱小目標(biāo)。在未來的工作中，考慮將多幀圖像輸入網(wǎng)絡(luò)中進(jìn)行訓(xùn)練和測試，提取具備時(shí)間信息的特征圖，進(jìn)一步提高跟蹤的成功率和精確率。