多尺度選擇注意力的雙模態(tài)目標(biāo)追蹤算法

晏開祥，周冬明，王長城，周子為

(云南大學(xué) 信息學(xué)院，云南 昆明 650500)

0 引言

視覺目標(biāo)追蹤(Visual Object Tracking,VOT)作為計算視覺領(lǐng)域的一項(xiàng)基礎(chǔ)任務(wù),具有廣闊的科研和工業(yè)價值[1]。近年來,以相關(guān)濾波和Siamese Net為基礎(chǔ)的多項(xiàng)目標(biāo)跟蹤算法在跟蹤速度和精度上均取得了令人矚目的成績[2]。但可見光傳感器在惡劣環(huán)境(如雨雪、濃霧、夜晚等情況)下有限的圖像捕捉能力限制了跟蹤算法性能的進(jìn)一步提升。因此,克服上述問題是該領(lǐng)域的一個重要研究方向[3-4]。紅外光傳感器因其獨(dú)特的成像原理,可有效識別出目標(biāo)(熱源)與背景的信號差異,能夠在雨雪、濃霧和夜晚等情況下,保持跟蹤目標(biāo)的圖像獲取能力。因此,融合了紅外光與可見光(RGB and Thermal,RGBT)互補(bǔ)特性的目標(biāo)跟蹤算法已成為視覺目標(biāo)跟蹤領(lǐng)域的一個熱門研究方向。近期,多項(xiàng)基于RGBT的目標(biāo)跟蹤研究結(jié)果[5-7]表明,引入紅外光圖像作為補(bǔ)充手段,可有效提高目標(biāo)跟蹤性能。例如,MANet[6]通過共享RGBT圖像的特征編碼權(quán)重,實(shí)現(xiàn)了遠(yuǎn)高于傳統(tǒng)可見光跟蹤算法的任務(wù)性能。DAPNet[7]通過全局平均池化和加權(quán)隨機(jī)選擇,去除噪聲和冗余特征,從而提高了該模型的跟蹤性能。TFNet[8]通過評估來自雙模態(tài)的特征信息,增強(qiáng)其中特定模態(tài)的部分特征信息,強(qiáng)化特征圖對目標(biāo)所在區(qū)域的特征表現(xiàn)。這些RGBT跟蹤算法雖然實(shí)現(xiàn)了很好的跟蹤效果,但在真實(shí)場景中存在的干擾情況[9-10](例如畫面模糊、目標(biāo)快速移動、目標(biāo)特征變化和鏡頭抖動等)使得上述算法難以保持穩(wěn)定的跟蹤狀態(tài)。這些干擾往往不具備統(tǒng)一的尺度和類似的形態(tài),所以傳統(tǒng)的卷積網(wǎng)絡(luò)無法利用其固定大小的卷積核識別目標(biāo)與背景的差別[11]。為降低此類多尺度和多形態(tài)的干擾,增強(qiáng)大尺度變化下的目標(biāo)特征提取能力,本文設(shè)計了一種基于多尺度選擇注意力機(jī)制的RGBT融合目標(biāo)跟蹤算法(Selective Kernel Attention Fusion Tracking Network,SKANet)。通過在神經(jīng)網(wǎng)絡(luò)的單個卷積層中嵌入并行的多尺度卷積核提取不同尺度和形態(tài)下的目標(biāo)特征,再利用通道選擇注意力篩選出其中目標(biāo)特征質(zhì)量較高的特征圖,可有效提升算法的追蹤精度和穩(wěn)定性。在開源的公開數(shù)據(jù)集RGBT234[12]和GTOT[13]上的實(shí)驗(yàn)結(jié)果表明,SKANet具備良好的穩(wěn)定性和跟蹤精度。

針對上述問題,本文的主要貢獻(xiàn)如下:

① 提出了一個用于RGBT目標(biāo)跟蹤的算法(SKANet)。該算法通過內(nèi)部并行的三條通道分別提取可見光、紅外光以及紅外可見光融合模態(tài)特征,從而增強(qiáng)RGBT目標(biāo)跟蹤性能。

② 提出了多分支選擇卷積模塊(Diverse-branches Selected-convolution Module,DSM)。DSM通過提取不同尺度的圖像特征,不僅保留了不同尺度級別的圖像語義信息,還降低了其中低質(zhì)量特征和圖像干擾信息對算法精度的影響。

③ 設(shè)計了一個動態(tài)自適應(yīng)融合模塊(Adaptive Fusion Module,AFM)。AFM為各尺度級的圖像特征匹配了一個自適應(yīng)權(quán)重參數(shù),并利用該參數(shù)對送入的各尺度級的圖像特征進(jìn)行加權(quán)求和,從而實(shí)現(xiàn)對各尺度級的圖像特征的融合。

1 相關(guān)工作

1.1 基于融合策略的RGBT目標(biāo)跟蹤

目標(biāo)跟蹤任務(wù)中,為全面覆蓋真實(shí)的目標(biāo)跟蹤場景,跟蹤視頻序列往往采集自低照度、黑夜、雨雪和沙塵等極端場景。這類極端場景極大地影響了算法的跟蹤精度和魯棒性[14-15]。為應(yīng)對此類情況,大量研究嘗試?yán)眉t外與可見光圖像的互補(bǔ)特性,設(shè)計RGBT目標(biāo)跟蹤算法,以此增強(qiáng)跟蹤算法的穩(wěn)定性和精度[16-17]。例如,Lu等[6]通過對紅外光模態(tài)、可見光模態(tài)以及紅外可見光融合模態(tài)分別建立特征提取通道,設(shè)計了用于RGBT融合目標(biāo)追蹤的多適配器跟蹤算法。該算法不僅保留了RGBT所特有的模態(tài)信息,還建立了紅外與可見光融合信息編碼器。在此基礎(chǔ)上,Lu等[18]利用雙門機(jī)制分類處理各類干擾問題,進(jìn)一步提升了目標(biāo)跟蹤的連續(xù)性和穩(wěn)定性。Tu等[19]則在其設(shè)計的跟蹤算法模型中加入了相關(guān)濾波塊,以此衡量上級神經(jīng)網(wǎng)絡(luò)特征圖的可靠性,并選擇其中可靠性更高的特征圖作為下一級神經(jīng)網(wǎng)絡(luò)的輸入,有效地提高了跟蹤算法的魯棒性。此外,隨著注意力機(jī)制[20]在計算機(jī)視覺領(lǐng)域中的快速發(fā)展,涌現(xiàn)了一批基于視覺注意力機(jī)制的RGBT跟蹤算法。例如Feng等[21]在其研究中利用Resnet50作為特征提取基干,使用Transformer機(jī)制作為特征融合策略,實(shí)現(xiàn)了特征增強(qiáng)和深層次語義特征提取,改善了以往模型中因本地特征匹配精度較低造成的跟蹤誤差。Liu等[22]在雙模態(tài)獨(dú)立卷積特征提取結(jié)構(gòu)的基礎(chǔ)上,引入了空間-軸向多頭注意力,在軸向與空間2個維度上分別進(jìn)行注意力機(jī)制計算,實(shí)現(xiàn)了特征圖的像素級融合以及對目標(biāo)位置信息的上下文編碼。

1.2 基于注意力機(jī)制的VOT算法

注意力機(jī)制在自然語言處理領(lǐng)域的大規(guī)模應(yīng)用推動了基于視覺注意力機(jī)制的追蹤算法的快速發(fā)展[20]。通過對高密度信息和高質(zhì)量特征區(qū)域進(jìn)行編碼和權(quán)值重排,注意力機(jī)制可以將模型的注意力權(quán)重合理地分配到目標(biāo)所在區(qū)域,同時抑制特征中存在的部分噪聲,改善低質(zhì)量特征對模型帶來的不利影響。參考自然語言處理中的注意機(jī)制將句子視為序列的做法,ViT[23]將圖像轉(zhuǎn)換為序列,并將其送入多頭注意機(jī)制中進(jìn)行分類,進(jìn)而實(shí)現(xiàn)了注意力機(jī)制在計算機(jī)視覺中的應(yīng)用。王淑賢等[24]設(shè)計的SiamMCA通過多尺度通道注意力沿特征圖軸向維度,建立選擇向量空間,選擇軸向維度上特征表現(xiàn)更優(yōu)的特征圖,實(shí)現(xiàn)了注意力機(jī)制在跟蹤算法中的應(yīng)用。江英杰等[25]使用Transformer建立了一個雙流編解碼追蹤網(wǎng)絡(luò),通過Transformer構(gòu)成的編碼-解碼器學(xué)習(xí)追蹤目標(biāo)的圖像特征,提高了跟蹤算法的魯棒性。

現(xiàn)有的RGBT雙模態(tài)數(shù)據(jù)集中,視頻序列不僅在可見光模態(tài)中存在前文所述的多類型干擾,還在紅外光模態(tài)中存在熱交叉、紅外傳感器底噪和紅外目標(biāo)重疊等干擾情況[26]。隨著目標(biāo)的快速移動,這些干擾使得畫面質(zhì)量迅速惡化,固定尺寸的感受野無法穩(wěn)定捕捉目標(biāo)特征[8]。為改善這一情況,本文設(shè)計了一種具備多尺度SKANet。通過配備的多尺度的卷積核,在不同尺度上獲取圖像的特征信息,再經(jīng)過通道選擇注意力,增強(qiáng)各尺度特征圖中跟蹤目標(biāo)的特征信息,降低上述提及的各類型干擾,提高RGBT跟蹤的精度和穩(wěn)定性。

2 基于多尺度選擇注意力的RGBT跟蹤算法

2.1 整體結(jié)構(gòu)

為克服不同尺度和形態(tài)的干擾,本文通過多個感受野所組成的卷積模塊獲取來自各度級的卷積特征,以增強(qiáng)算法應(yīng)對目標(biāo)大小變化、畫面干擾的能力。SKANet整體結(jié)構(gòu)如圖1所示。

圖1 SKANet 整體結(jié)構(gòu)Fig.1 Structure of SKANet

SKANet主要由并行的融合通道(Conv1～Conv3)、可見光通道(R DSM1～R DSM3)、紅外光通道(T DSM1～T DSM3)以及一個實(shí)例分類模塊(Instance Classification Module,ICM)組成。其中3個并行的融合通道和可見光通道、紅外光通道分別用于提取紅外-可見光融合模態(tài)、可見光模態(tài)和紅外光模態(tài)的圖像特征,而實(shí)例分類模塊則用于確認(rèn)跟蹤目標(biāo)是否存在于這些特征之中?？梢姽馔ǖ琅c紅外光通道結(jié)構(gòu)類似,由3個多分支選擇卷積模塊(Multi-branch Selective Convolution,DSM)級聯(lián)而成,由淺到深地提取圖像特征。融合通道中Conv1與Conv2結(jié)構(gòu)相同,由卷積層、ReLU激活層和最大池化層組成,而Conv3僅包含卷積層和ReLU激活層。Conv1～Conv3中所有可學(xué)習(xí)權(quán)重參數(shù)結(jié)合了可見光和紅外光各自的圖像特性,增強(qiáng)了2種模態(tài)特征提取的特點(diǎn)。實(shí)例分類模塊由3個全連接層級聯(lián)而成,分別是FC1、FC2和FC3。Conv1～Conv3、 R DSM1～R DSM3、T DSM1～T DSM3的主要輸入輸出參數(shù)如表1所示。

表1 模型中主要模塊輸入輸出參數(shù)Tab.1 Input and output parameters of main modules in the model

2.2 多分支選擇卷積模塊

為從不同尺度的感受域提取目標(biāo)特征,并合理地融合這些特征,本文在SKANet中設(shè)計了DSM,結(jié)構(gòu)如圖2所示。

圖2 DSM結(jié)構(gòu)Fig.2 Structure of DSM

單個DSM主要由多尺度卷積(Multi-scale Convolution Module,MCM),選擇注意力(Selected Attention Module,SAM)以及AFM三部分組成。MCM由K1～K4四個不同尺度的卷積塊構(gòu)成,每個卷積塊均由卷積層、BatchNorm層、ReLU激活層和最大池化層級聯(lián)而成,K1～K4卷積層的卷積核大小分別為1×1、3×3、5×5、7×7。為充分利用特征圖中的高質(zhì)量特征信息,MCM在K1～K4之后還分別級聯(lián)了一個SAM模塊,沿特征圖的軸向挑選各尺度的卷積特征圖。最后將挑選后的特征圖交由AFM進(jìn)行自適應(yīng)權(quán)重融合。該過程的詳細(xì)步驟是:首先將輸入特征fin∈B×C×H×W同時輸入Ki(i=1,2,3,4) 分支,相應(yīng)得到特征fi∈C×H×W(i=1,2,3,4) 。而后將fi分為其中輸入對應(yīng)的SAM模塊Attentioni(i=1,2,3,4)得到對應(yīng)的注意力圖ai∈C×H×W(i=1,2,3,4),將ai與進(jìn)行哈德瑪積運(yùn)算,從而得到分支Ki的輸出結(jié)果ki∈C×H×W(i=1,2,3,4) 。最后利用AFM對ki進(jìn)行自適應(yīng)特征融合后,得到最終的輸出結(jié)果output∈C×H×W。在自適應(yīng)特征融合過程中,為避免數(shù)據(jù)溢出造成的數(shù)值發(fā)散,引入了非線性歸一化函數(shù),對自適應(yīng)權(quán)重值進(jìn)行了歸一化運(yùn)算。其中SAM和AFM模塊的詳細(xì)過程如下:

(4)

式中:i=1,2,3,4,Fi∈B×C×H×W,wi表示Fi所對應(yīng)的可學(xué)習(xí)的自適應(yīng)權(quán)重。

2.3 實(shí)例分類模塊與損失函數(shù)

為實(shí)現(xiàn)模型的訓(xùn)練及驗(yàn)證,SKANet模型利用ICM模塊對輸入的正負(fù)樣本特征進(jìn)行評分,按照正負(fù)樣本的分值,將輸入樣本確定為目標(biāo)或背景(分值為正值的是正樣本,反之為負(fù)樣本)。ICM的整體結(jié)構(gòu)可參見圖1,ICM由3個全連接層(FC1～FC3)組成,詳細(xì)參數(shù)情況如表2所示。其中FC1與FC2結(jié)構(gòu)類似,由Linear層、Dropout層和ReLU激活層組成,FC3則只包含Linear層與ReLU層。FC3的輸出結(jié)果是形狀為2×1的向量。

表2 實(shí)例分類模塊詳情Tab.2 Details of instance classification

SKANet的中的二分類損失函數(shù)(Binary Loss)通過計算輸出結(jié)果中記錄的正負(fù)樣本損失值,逐步優(yōu)化模型參數(shù),從而提高模型區(qū)分采樣框中目標(biāo)和背景的能力。為防止在損失計算過程中出現(xiàn)數(shù)據(jù)值溢出,SKANet在損失函數(shù)計算的基礎(chǔ)上扣除最大值,并利用非線性歸一化函數(shù)將損失值約束為0～1。損失函數(shù)的詳細(xì)計算過程如下:

式中:posi表示記錄在FC3輸出結(jié)果向量中第i個正樣本的損失值,posmax表示單個批次(batch)中正樣本損失中最大值,在實(shí)際訓(xùn)練過程中設(shè)置單批次的正樣本數(shù)n1=32,負(fù)樣本數(shù)n2=96,negi表示第i個負(fù)樣本的損失值,negmax表示所有正樣本損失中最大值,Losspos表示正樣本損失,Lossneg表示負(fù)樣本損失,總損失Loss等于正負(fù)樣本損失之和。

2.4 實(shí)驗(yàn)設(shè)計

為詳細(xì)驗(yàn)證和比較算法模型性能,本文利用開源數(shù)據(jù)集RGBT234和GTOT進(jìn)行了交叉訓(xùn)練和驗(yàn)證,并與MANet++[6]、JMMAC[27]、ECO、MANet[28]、MDNet+RGBT、DAPNet[7]、SGT[29]等7項(xiàng)目前主流的RGBT目標(biāo)追蹤算法進(jìn)行性能比較。實(shí)驗(yàn)平臺配置:處理器intel i7 10700k,顯卡NVIDIA RTX 3080 Ti,內(nèi)存32 GB DDR4 3 200 Hz,開發(fā)框架Pytorch1.9.1,編程語言Python3.6。

RGBT234數(shù)據(jù)集由234個真實(shí)場景下拍攝的視頻序列組成,每個序列均包含RGBT兩個模態(tài)的圖像。RGBT234數(shù)據(jù)集中標(biāo)注了12類挑戰(zhàn)屬性:無遮擋(No Occlusion,NO)、局部遮擋(Partial Occlusion,PO)、嚴(yán)重遮擋( Heavy Occlusion,HO)、低照度(Low Illumination,LI)、低分辨率(Low Resolution,LR)、熱交叉( Thermal Crossover,TC),畸變(Defor-mation,DEF)、快速運(yùn)動(Fast Motion,FM)、尺度變化(Scale Variation,SV),運(yùn)動模糊(Motion Blur,MB),相機(jī)運(yùn)動(Camera Moving,CM) 和背景干擾(Background Clutter,BC)。

與RGBT234數(shù)據(jù)集不同的是,GTOT數(shù)據(jù)集由50個場景序列構(gòu)成,且僅包含7類挑戰(zhàn)屬性:OCC、SO、LSV、LI、FM、TC以及DEF。

訓(xùn)練時, SKANet圍繞輸入目標(biāo)樣本中心點(diǎn),按照標(biāo)準(zhǔn)正態(tài)分布或均勻分布分別生成指定數(shù)量的正樣本或負(fù)樣本采樣點(diǎn)(SKANet訓(xùn)練過程中正樣本數(shù)量為32,負(fù)樣本數(shù)量為96),而后以這些采樣點(diǎn)為采樣框中心,按照指定的正、負(fù)樣本數(shù)量裁切出用于訓(xùn)練的樣本(裁切樣本與標(biāo)定樣本的交并比值(IoU)大于0.6的設(shè)為正樣本,小于0.3的設(shè)為負(fù)樣本)。為匹配不同模塊的訓(xùn)練速度,SKANet將模型中的融合通道、可見光通道、紅外光通道以及實(shí)例分類模塊的可學(xué)習(xí)參數(shù)的學(xué)習(xí)率分別設(shè)置為0.000 5、0.000 5、0.000 5以及0.000 1。因?yàn)镽GBT234與GTOT數(shù)據(jù)集的數(shù)量差異,SKANet在2個數(shù)據(jù)集上的訓(xùn)練輪次分別是200、120。

驗(yàn)證時,SKANet的工作流程分為初始化訓(xùn)練與單幀跟蹤。初始化訓(xùn)練時,SKANet利用每一個序列的第一幀中標(biāo)記框位置,生成500個正樣本和5 000個負(fù)樣本,并利用這些正負(fù)樣本對FC1～FC3進(jìn)行50輪次的初始化訓(xùn)練。單幀跟蹤時,SKANet基于上一幀的預(yù)測結(jié)果中心點(diǎn),按照均勻采樣生成256個樣本。根據(jù)256個樣本在SKANet中的預(yù)測結(jié)果,選取其中得分排名前五的樣本框,使用這5個樣本框的中心點(diǎn)、長寬值的平均值作為該幀的預(yù)測結(jié)果。

為量化地評估算法在數(shù)據(jù)集上的性能表現(xiàn),實(shí)驗(yàn)中使用精度(Precision Ratio,PR)和成功率(Success Ratio,SR)來分別衡量算法的精度和穩(wěn)定性。具體的計算如下:

式中:pi表示當(dāng)前第i幀是否符合實(shí)驗(yàn)中設(shè)定的成功率精度,若其預(yù)測框bbi中心與標(biāo)記的真實(shí)框gti的歐氏距離低于門限值thrPR則取1(使用GTOT數(shù)據(jù)集時設(shè)置為5像素值,使用RGBT234數(shù)據(jù)集時設(shè)置為20像素值),否則取0。而整個數(shù)據(jù)集上的平均PR,則需要累加整個數(shù)據(jù)集上所有的序列幀后求平均。SR的計算與PR計算有區(qū)別的地方是計算IoU,再與門限值thrSR(文中設(shè)置為0.6)相比較,從而判斷是否滿足要求。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 RGBT234數(shù)據(jù)集驗(yàn)證結(jié)果

SKANet在RGBT234數(shù)據(jù)集上的驗(yàn)證結(jié)果如表3所示,可以看出,在共同驗(yàn)證的8項(xiàng)算法中,SKANet的平均PR、SR值均為第一,且分別超過第二名0.5%、0.4%。而在RGBT234數(shù)據(jù)集的12項(xiàng)詳細(xì)測試結(jié)果中,SKANet的SR值在BC、FM、HO、LR、PO等5項(xiàng)場景下位列第一;在CM、DEF、MB、NO、TC等5項(xiàng)場景下位列第二。而PR值在BC、FM、LR、PO、TC等5項(xiàng)場景下位列第一;在DEF、HO、LI等3項(xiàng)場景下位列第二。由上述結(jié)果可以看出,SKANet在RGBT234數(shù)據(jù)集上擁有更強(qiáng)的穩(wěn)定性,相較于平均SR值位列第二的JMMAC,SKANet在FM、HO、LR、PO等場景下具有更穩(wěn)定的跟蹤性能,能夠更好地抵抗BC、FM、HO、LR、PO、TC等5項(xiàng)場景中存在的相機(jī)快速移動、畫面嚴(yán)重污染、低分辨率和畫面部分遮擋帶來的不良影響。

表3 RGBT234驗(yàn)證結(jié)果Tab.3 Evaluated result on RGBT234

3.2 GTOT數(shù)據(jù)集驗(yàn)證結(jié)果

SKANet在GTOT數(shù)據(jù)集上的驗(yàn)證結(jié)果如表4所示。可以看出,在共同驗(yàn)證的8項(xiàng)算法中,SKANet的平均PR、SR值均為第一,分別超過第二名0.7%、0.3%。SKANet的PR值在OCC、SO、FM、TC等4項(xiàng)場景下位列第一;在LSV、LI等2項(xiàng)場景下位列第二。其SR值在OCC、LSV、TC、DEF等4項(xiàng)場景下位列第一;在SO、LI等2項(xiàng)場景下位列第二。通過各分類PR、SR值可以看出,SKANet在GTOT數(shù)據(jù)上相較于比較算法擁有更高的準(zhǔn)確率和相對持平的穩(wěn)定性,同時在面對畫面存在遮擋、跟蹤目標(biāo)較小和鏡頭快速晃動等情況時具備明顯優(yōu)于比較算法的跟蹤性能,能夠保持較高的跟蹤精度和跟蹤穩(wěn)定性。

表4 GTOT分類驗(yàn)證詳情Tab.4 Evaluated result on GTOT

3.3 部分序列跟蹤結(jié)果可視化比較

為在跟蹤畫面中直觀展示SKANet的跟蹤性能,本文挑選了JMMAC[27]、 ECO、MANet[28]、MDNet+RGBT、 SGT[29]等5項(xiàng)算法作為對比對象,選取RGBT234數(shù)據(jù)集中4個典型序列的連續(xù)3幀跟蹤結(jié)果進(jìn)行可視化展示。可視化的跟蹤結(jié)果如圖3所示。

(a)目標(biāo)干擾(第299、300、301幀)

(b)鏡頭抖動(第34、35、36幀)

(c)部分遮擋(第12、13、14幀)

(d)鏡頭眩光(第235、236、237幀)圖3 部分可視化跟蹤結(jié)果Fig.3 Visual results of partial sequences

可以看出,本文提出的SKANet在4個序列中的跟蹤結(jié)果均優(yōu)于比較算法。同時,從存在目標(biāo)干擾時的結(jié)果(圖3(a))可以看出,在跟蹤畫面中存在與跟蹤對象外形相似的其他跟蹤目標(biāo)時,SKANet能識別目標(biāo)與干擾對象之間的差異。從存在鏡頭抖動時的跟蹤結(jié)果(圖3(b))可以看出,跟蹤畫面在第35幀時出現(xiàn)了明顯的鏡頭抖動,因而產(chǎn)生了明顯的虛影和扭曲,但SKANet仍然能夠穩(wěn)定地保持對目標(biāo)的跟蹤。從存在部分遮擋時的跟蹤結(jié)果(圖3(c))可以看出,當(dāng)目標(biāo)運(yùn)動至畫面中的電線桿附近時,被電線桿及附近灌木叢遮擋了部分特征,除SKANet與JMMAC之外的大部分比較算法因無法應(yīng)對此類干擾而丟失目標(biāo)。從存在鏡頭眩光時的跟蹤結(jié)果(圖3(d))可以看出,在可見光模態(tài)下,畫面中充斥著因車輛燈光直射而產(chǎn)生的大量鏡頭眩光,目標(biāo)的可見光特征因此被大部分遮擋,除SKANet、JMMAC和MANet之外的其他對比算法的跟蹤框皆產(chǎn)生了更大的漂移。

3.4 消融實(shí)驗(yàn)結(jié)果

為分析驗(yàn)證SKANet中各部分的效能,設(shè)計了3個消融實(shí)驗(yàn):① 使用融合通道中的Conv1～Conv3替換可見光通道中的R DSM1～R DSM3,建立SKANet的變體網(wǎng)絡(luò):SKANet-V1。② 使用融合通道中的Conv1～Conv3替換紅外通道中的T DSM1～T DSM3,建立SKANet的變體網(wǎng)絡(luò):SKANet-V2。 ③ 使用融合通道中的Conv1～Conv3替換可見光以及紅外通道中的R DSM1～R DSM3與T DSM1～T DSM3,建立SKANet的變體網(wǎng)絡(luò):SKANet-V3。使用與實(shí)驗(yàn)中同樣的訓(xùn)練策略與驗(yàn)證設(shè)置,在RGBT234數(shù)據(jù)集上對SKANet-V1、SKANet-V2以及SKANet-V3進(jìn)行訓(xùn)練,然后使用GTOT數(shù)據(jù)集對其進(jìn)行驗(yàn)證。

消融實(shí)驗(yàn)結(jié)果如表5所示?？梢钥闯?通過引入DSM,建立用于可見光模態(tài)的特征提取通道可有效提高算法的跟蹤精度和穩(wěn)定性;通過引入紅外光模態(tài)圖像,建立紅外光模態(tài)的DSM特征提取通道,可將跟蹤精度從89.9%提升至90.9%,將跟蹤成功率從72.8%提升至73.5%,較建立可見光模態(tài)的DSM特征提取通道效果更為明顯;通過分別建立RGBT模態(tài)的DSM特征提取通道,可將跟蹤精度提升1.5%、成功率提升1.1%。

表5 消融實(shí)驗(yàn)結(jié)果Tab.5 Result of ablation experiments

4 結(jié)束語

在真實(shí)場景中,目標(biāo)跟蹤任務(wù)不僅需要克服跟蹤目標(biāo)尺度大范圍變化造成的特征變化,還要抵抗真實(shí)場景中復(fù)雜背景條件和圖像捕捉裝置自身因素產(chǎn)生的干擾。本文設(shè)計的SKANet,通過DSM,從多尺度感受野上提取追蹤目標(biāo)圖像特征,再利用SAM對這些圖像特征進(jìn)行過濾和篩選,降低其中存在干擾的特征圖對整個模型跟蹤精度和穩(wěn)定性的影響。通過實(shí)驗(yàn)結(jié)果以及消融實(shí)驗(yàn)可以看出,SKANet利用紅外與可見光圖像的互補(bǔ)特性,顯著地提高了視覺目標(biāo)的跟蹤精度和魯棒性。相較于其他主流RGBT跟蹤算法,SKANet在跟蹤畫面存在干擾時,能夠保持更高的跟蹤精度和穩(wěn)定性。