復(fù)雜場(chǎng)景下自適應(yīng)特征融合的圖像運(yùn)動(dòng)目標(biāo)跟蹤算法研究

朱冰　劉琦　余瑞星

摘要：? ? ? 針對(duì)目標(biāo)跟蹤所面臨的尺度變化、 快速運(yùn)動(dòng)導(dǎo)致的跟蹤漂移或失敗問(wèn)題， 提出一種復(fù)雜場(chǎng)景下自適應(yīng)特征融合的圖像運(yùn)動(dòng)目標(biāo)跟蹤算法。 本文分別設(shè)計(jì)了目標(biāo)分類和目標(biāo)估計(jì)模塊， 并將其有效結(jié)合。 在目標(biāo)分類模塊， 設(shè)計(jì)了一種自適應(yīng)特征融合機(jī)制。 該機(jī)制融合了多層深度特征以實(shí)現(xiàn)有效的在線跟蹤。 此外， 設(shè)計(jì)的聯(lián)合更新策略通過(guò)優(yōu)化投影矩陣層和相關(guān)層， 在處理運(yùn)動(dòng)模糊、 嚴(yán)重目標(biāo)形變時(shí)具有更強(qiáng)的魯棒性。 在目標(biāo)估計(jì)模塊， 引入IoU（Intersection over Union）最大化的理念， 預(yù)測(cè)目標(biāo)和估計(jì)邊界框之間的IoU分?jǐn)?shù)， 在跟蹤過(guò)程中， 通過(guò)使用梯度上升最大化IoU分?jǐn)?shù)來(lái)估計(jì)目標(biāo)狀態(tài)， 獲得更加精確的邊界框。 實(shí)驗(yàn)結(jié)果表明，? 本文所提出的算法具有更出色的跟蹤性能， 其在OTB100， UAV123及LaSOT數(shù)據(jù)集上的SAUC分別為70.1%， 47.6%和51.6%， 優(yōu)于其他相關(guān)算法。

關(guān)鍵詞：? ? ?目標(biāo)跟蹤； 深度學(xué)習(xí)；? 目標(biāo)分類； 目標(biāo)估計(jì)； 特征融合中圖分類號(hào)：? ? ? TJ760; V249

文獻(xiàn)標(biāo)識(shí)碼：? ? A文章編號(hào)：? ? ?1673-5048（2023）02-0125-06

DOI： 10.12132/ISSN.1673-5048.2022.0094

0引言

目標(biāo)跟蹤［1］是許多應(yīng)用領(lǐng)域不可缺少的一部分， 屬于計(jì)算機(jī)視覺(jué)的基本分支。 到目前為止， 許多跟蹤挑戰(zhàn)， 例如尺度變化、 快速運(yùn)動(dòng)、 形變、 遮擋、 平面旋轉(zhuǎn)和背景雜波［2］等， 仍然有待解決。 一般跟蹤問(wèn)題可分為分類任務(wù)和估計(jì)任務(wù)。 在目標(biāo)分類任務(wù)中， 通過(guò)將圖像區(qū)域劃分為前景和背景來(lái)提供目標(biāo)在圖像中的粗略位置。 而目標(biāo)估計(jì)任務(wù)是估計(jì)目標(biāo)狀態(tài)， 通常用一個(gè)邊界框來(lái)表示。

近年來(lái)， 深度神經(jīng)網(wǎng)絡(luò)［3］一直是跟蹤研究中的重點(diǎn)， 已經(jīng)有大量研究使用深度特征完成目標(biāo)跟蹤， 該類跟蹤器［4］在準(zhǔn)確性方面具有優(yōu)勢(shì)， 但其魯棒性卻低于其他跟蹤器。 這是由于在深度神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)中， 現(xiàn)有算法幾乎沒(méi)有設(shè)計(jì)單獨(dú)的網(wǎng)絡(luò)模塊來(lái)完成目標(biāo)的狀態(tài)估計(jì)［5］。 事實(shí)上， 目前最先進(jìn)的跟蹤器［6］仍然是依靠分類進(jìn)行多尺度搜索來(lái)估計(jì)目標(biāo)， 這種算法難以處理因跟蹤目標(biāo)發(fā)生尺度變化導(dǎo)致的跟蹤結(jié)果不準(zhǔn)確甚至跟蹤失敗的問(wèn)題。 為此， 本文將跟蹤中的目標(biāo)估計(jì)模塊和目標(biāo)分類模塊相結(jié)合。 在目標(biāo)分類模塊中， 為了提供一種更好的特征表示， 充分利用多層深度特征所提供的不同信息， 提出一種自適應(yīng)特征融合策略， 實(shí)現(xiàn)目標(biāo)的粗定位， 并設(shè)計(jì)一種更新策略， 在外觀明顯變化期間對(duì)目標(biāo)實(shí)現(xiàn)精確跟蹤。 在目標(biāo)估計(jì)模塊中， 通過(guò)邊界框來(lái)預(yù)測(cè)目標(biāo)的狀態(tài)， 利用IoU-Net［7］方法中IoU最大化思想來(lái)進(jìn)行調(diào)整以得到精確的目標(biāo)邊界框。 實(shí)驗(yàn)結(jié)果表明， 與現(xiàn)有算法相比， 本文所提出的算法在保持魯棒性的同時(shí)， 能更加精確地估計(jì)目標(biāo)狀態(tài)， 具有良好的性能。

1復(fù)雜場(chǎng)景下自適應(yīng)特征融合的運(yùn)動(dòng)目標(biāo)跟蹤算法

1.1目標(biāo)估計(jì)模塊

目標(biāo)狀態(tài)估計(jì)模塊是在一個(gè)粗略的初始估計(jì)下確定目標(biāo)的邊界框。 在目標(biāo)估計(jì)模塊的算法設(shè)計(jì)中，? 利用IoU-Net中最大化IoU的思想， 在跟蹤過(guò)程中， 通過(guò)簡(jiǎn)單地最大化每一幀中預(yù)測(cè)的IoU來(lái)調(diào)整所得的目標(biāo)邊界框， 該模塊網(wǎng)絡(luò)架構(gòu)如圖1所示。

從網(wǎng)絡(luò)架構(gòu)圖可以看出， 目標(biāo)估計(jì)模塊由兩個(gè)分支組成： 參考分支和測(cè)試分支。 在參考分支中， 參考圖像的特征和目標(biāo)的初始邊界框標(biāo)注作為輸入， 經(jīng)過(guò)骨干網(wǎng)絡(luò)ResNet-50［8］提取其Block 3的特征， 并將其送到卷積層［9］， 然后根據(jù)輸入的參考圖像指定區(qū)域?qū)μ卣鲌D進(jìn)行PrRoI（Precise Region of Interest） pooling［10］操作， 得到兩個(gè)大小一致的局部特征圖。 參考分支的輸出是一個(gè)系數(shù)向量y（xr， b）， 向量的大小是1×1×Dy， 而且向量?jī)?nèi)部的元素都是大于0的數(shù)。 由圖1可見(jiàn)， 參考分支的網(wǎng)絡(luò)結(jié)構(gòu)主要由卷積層、 PrRoI pooling和全連接層組成［11］。

1.2目標(biāo)分類模塊

1.3自適應(yīng)特征融合策略

在跟蹤算法中， 提取特征的有效性直接影響跟蹤的結(jié)果。 而在面對(duì)不同環(huán)境下的不同特征時(shí)， 一些經(jīng)典的跟蹤算法中， 如ATOM［15］跟蹤框架， 難以做到描述目標(biāo)的跟蹤特征隨場(chǎng)景的變化而變化， 適應(yīng)能力低， 從而造成目標(biāo)在被遮擋或者在高速運(yùn)動(dòng)的情況下發(fā)生跟蹤漂移甚至目標(biāo)丟失的情況。 針對(duì)這一問(wèn)題， 本文提出一種自適應(yīng)特征融合策略， 為跟蹤階段的分類提供一種更好的特征表示， 從而提升跟蹤器的整體性能。 自適應(yīng)特征融合框架圖如圖3所示。 給定一個(gè)即將到來(lái)的視頻幀（第t幀）， 將圖像送到預(yù)先訓(xùn)練的圖像分類主干網(wǎng)絡(luò)中進(jìn)行特征提取。 采用深層和淺層的特征圖， 以更好地表征輸入圖像， 然后， 自適應(yīng)特征融合機(jī)制將第一幀和前一幀的目標(biāo)特征都作為輸入。 特征融合階段輸出各層的權(quán)重， 以此來(lái)調(diào)整當(dāng)前圖像多級(jí)特征的輸入。

將骨干網(wǎng)絡(luò)提取的淺層和深層特征圖分別記為fs和fd。 不同層的特征表現(xiàn)出不同的外觀屬性， 并在各種跟蹤挑戰(zhàn)中扮演不同的角色。 對(duì)于淺層特征fs而言， 具有高的空間分辨率， 在跟蹤過(guò)程中， 淺層特征有助于實(shí)現(xiàn)準(zhǔn)確的跟蹤， 可以應(yīng)對(duì)諸如尺度變化、 運(yùn)動(dòng)模糊等挑戰(zhàn)。 但是， 在諸如平面外旋轉(zhuǎn)或變形的情況下， 淺層特征的貢獻(xiàn)就相對(duì)較小。 相比之下， 深層特征fd包含了更多的語(yǔ)義信息， 能夠解決淺層特征無(wú)法解決的問(wèn)題。 另一方面， 多層特征提供了多尺度信息， 這對(duì)于目標(biāo)的分類至關(guān)重要。 因此， 將淺層特征fs和深層特征fd在通道維度上連接起來(lái)， 形成更豐富、 更完整的特征表示。 值得注意的是， 淺層特征fs和深層特征fd的空間分辨率不同， 直接連接不便于后面的關(guān)聯(lián)操作。 因此， 需要將淺層特征fs和深層特征fd的大小調(diào)整為相同的空間維度。 總之， 將淺層特征和深層特征相融合， 通過(guò)整合利用淺層和深層優(yōu)勢(shì)的外觀信息， 可以獲得更強(qiáng)大的分類特征表示。

1.4更新策略

自適應(yīng)特征融合機(jī)制通過(guò)融合淺層特征和深層特征， 成功地抑制了冗余和誤導(dǎo)性信息。 為了進(jìn)一步消除高維融合特征的數(shù)據(jù)冗余， 采用投影矩陣層通過(guò)1×1卷積層進(jìn)行降維。 該操作降低了計(jì)算成本， 并且增加了分類模塊中相關(guān)濾波的魯棒性。

投影矩陣層在分類中起著重要的作用， 但僅在初始化階段學(xué)習(xí)。 在跟蹤后續(xù)視頻幀時(shí)， 投影矩陣層的參數(shù)是固定的， 只有相關(guān)層是在線更新的。 在現(xiàn)有的跟蹤算法中， 一般假設(shè)在初始幀中訓(xùn)練的投影矩陣層對(duì)序列的其余部分都有足夠的魯棒性。 但是， 如果存在明顯的外觀變化， 降維后的特征質(zhì)量會(huì)變差。 同時(shí)， 降維后的特征及其對(duì)應(yīng)的響應(yīng)圖被收集為訓(xùn)練樣本， 如果使用此樣本訓(xùn)練相關(guān)層會(huì)有風(fēng)險(xiǎn)。 為了緩解這一問(wèn)題， 研究一種新的更新策略， 同時(shí)更新投影層和相關(guān)濾波器， 即在模型初始化和更新的兩個(gè)階段中學(xué)習(xí)權(quán)重參數(shù)。 更新策略的框架如圖4所示。 在線跟蹤過(guò)程中， 不斷生成訓(xùn)練數(shù)據(jù)。 如果一幀的跟蹤結(jié)果足夠令人信服， 則將多級(jí)特征圖xi添加到內(nèi)存中， 并以估計(jì)目標(biāo)位置為中心的高斯形狀yi進(jìn)行注釋。 每隔給定幀（50幀）， 利用存儲(chǔ)在內(nèi)存中的訓(xùn)練樣本，? 對(duì)投影矩陣層和相關(guān)層進(jìn)行聯(lián)合訓(xùn)練。? 其中， 可使用隨機(jī)梯度下降法來(lái)優(yōu)化分類模塊的損失函數(shù)。

2實(shí)驗(yàn)

2.1實(shí)驗(yàn)設(shè)置

本文提出的目標(biāo)跟蹤算法（Target Tracking Based on Adaptive Feature Fusion， TTAFF）是基于深度學(xué)習(xí)框架PyTorch在python中實(shí)現(xiàn)的。? 使用在ImageNet上經(jīng)過(guò)預(yù)訓(xùn)練的ResNet-50作為本文跟蹤算法的骨干網(wǎng)絡(luò)。 目標(biāo)估計(jì)模塊采用離線訓(xùn)練， 離線訓(xùn)練數(shù)據(jù)集為L(zhǎng)aSOT數(shù)據(jù)集。 目標(biāo)估計(jì)模塊包括參考分支和測(cè)試分支， 對(duì)數(shù)據(jù)集進(jìn)行采樣并添加擾動(dòng)， 分別生成參考分支數(shù)據(jù)集圖像和測(cè)試分支數(shù)據(jù)集圖像。 使用均方差損失函數(shù)， 訓(xùn)練50個(gè)周期， 每批包含64個(gè)樣本對(duì)， 采用隨機(jī)梯度下降法來(lái)最小化損失函數(shù)， 訓(xùn)練網(wǎng)絡(luò)模型； 目標(biāo)分類模塊采用在線訓(xùn)練。 為了充分驗(yàn)證所提出的目標(biāo)跟蹤算法的有效性， 將該算法與其他現(xiàn)有的目標(biāo)跟蹤算法在OTB100［16］， UAV123［17］， LaSOT［18］數(shù)據(jù)集上作比較， 并進(jìn)行性能評(píng)價(jià)。

2.2特征融合權(quán)重自適應(yīng)過(guò)程

圖5顯示了在跟蹤過(guò)程中特征權(quán)重的自適應(yīng)過(guò)程。 其中（a）～（d）為person 7序列， （e）～（h）為car 4序列。

一般情況下， 本文算法能夠很好地平衡淺層特征權(quán)重αs和深層特征權(quán)重αd。 從圖5可以看出， 當(dāng)面臨運(yùn)動(dòng)模糊（如圖5（b））、 尺度變化（如圖5（d））， 以及區(qū)分目標(biāo)和類間干擾物（如圖5（f）和（h））等挑戰(zhàn)時(shí)， 由于淺層特征可以提供詳細(xì)的空間信息， 因此淺層特征的貢獻(xiàn)較多， 淺層特征權(quán)重αs增大。 當(dāng)目標(biāo)出現(xiàn)變形（如圖5（c））和遮擋（如圖5（g））等挑戰(zhàn)時(shí)， 相應(yīng)的深層特征權(quán)重αd的值增大。 以上實(shí)驗(yàn)結(jié)果證明， 自適應(yīng)融合策略可以適應(yīng)目標(biāo)跟蹤中的各種挑戰(zhàn)， 實(shí)現(xiàn)更好的跟蹤效果。

2.3不同算法對(duì)比實(shí)驗(yàn)

2.4消融實(shí)驗(yàn)

本文采用消融實(shí)驗(yàn)在OTB100數(shù)據(jù)集上評(píng)估所提方法中每部分的影響。 該數(shù)據(jù)集包含了種類繁多的視頻， 這些視頻在許多方面都具有挑戰(zhàn)性， 比如變形、 遮擋和干擾等。

2.4.1目標(biāo)估計(jì)模塊的影響

將目標(biāo)狀態(tài)估計(jì)模塊與僅使用分類模型的多尺度搜索方法進(jìn)行比較， 結(jié)果如表3所示，表中COP0.5為重疊精度， 其值越大跟蹤成功率越高。 在SAUC中， 本文方法明顯優(yōu)于多尺度方法， 并使邊界框預(yù)測(cè)的百分比增加了20%左右， 得到較高精度的邊界框。

2.4.2目標(biāo)分類模塊影響

將目標(biāo)分類模塊從跟蹤框架中排除， 以調(diào)查其影響。 表3中無(wú)分類模塊表示僅使用目標(biāo)估計(jì)模塊來(lái)跟蹤， 使用了較大的搜索區(qū)域， 所得方法的SAUC達(dá)到37.1％， 比本文所提出的方法少了近30％。

2.4.3自適應(yīng)特征融合策略影響

在OTB100數(shù)據(jù)集上進(jìn)行消融研究， 結(jié)果見(jiàn)表4。 由表4可以得到如下的結(jié)論： 首先， 與使用一層特征相比， 利用多層特征可以獲得更好的性能。 其次， 利用所提出的自適應(yīng)特征融合機(jī)制， 跟蹤效果優(yōu)于多層特征直接級(jí)聯(lián)。 其中， 與利用第3層特征相比， 直接級(jí)聯(lián)第2層和第3層特征的精度得分為83.9%。 當(dāng)采用自適應(yīng)融合特征后， 跟蹤效果提高了0.6%， 達(dá)到84.5%。 需要注意的是， 當(dāng)直接級(jí)聯(lián)第2層和第4層的特征時(shí)， 精度得分會(huì)下降， 這歸因于第4層的特征經(jīng)過(guò)調(diào)整大小后包含了冗余和誤導(dǎo)性信息。 然而， 與僅使用第2層特征和第2層與第4層的直接級(jí)聯(lián)版本相比， 自適應(yīng)融合版本分別提高了0.5%和2.8%。 實(shí)驗(yàn)結(jié)果進(jìn)一步驗(yàn)證了所提出的自適應(yīng)特征融合機(jī)制的有效性。

由表4可以看到， 第3層特征和第4層特征直接級(jí)聯(lián)后性能大幅下降， 達(dá)到67.4%。 這表明， 在特征融合過(guò)程中， 低層次的判別細(xì)節(jié)信息和高層次的語(yǔ)義信息是互補(bǔ)的。? 在第3層和第4層特征融合上應(yīng)用自適應(yīng)特征融合機(jī)制， 精度分?jǐn)?shù)提高了3.8%。 對(duì)第2層、 第3層和第4層的特征進(jìn)行整合后， 在直接級(jí)聯(lián)和自適應(yīng)的特征融合版本中， 跟蹤精度分別達(dá)到81.6%和81.9%。

2.4.4更新策略影響

如表4所示， 投影矩陣層和相關(guān)層同時(shí)更新的策略提高了跟蹤性能。? 分別利用單層特征和多層特征作為輸入來(lái)評(píng)估其有效性。 更新策略以第2層和第3層的特征作為輸入， 性能分別提高了1.1%和1.3%。 此外， 本文所提出的策略在使用融合特征時(shí)也是有效的。 當(dāng)投影矩陣和相關(guān)層的輸入融合第2層和第3層的特征時(shí)， 精度分?jǐn)?shù)提高了約0.7%。

3結(jié)論

本文提出復(fù)雜場(chǎng)景下運(yùn)動(dòng)目標(biāo)的跟蹤算法， 通過(guò)在目標(biāo)分類模塊中設(shè)計(jì)一種自適應(yīng)特征融合策略， 以提供更好的特征表示， 并提出一種更新策略， 使得在目標(biāo)外觀發(fā)生明顯變化時(shí)， 仍能實(shí)現(xiàn)精確的跟蹤， 最終將目標(biāo)跟蹤問(wèn)題中的目標(biāo)分類模塊和目標(biāo)估計(jì)模塊相結(jié)合， 使目標(biāo)發(fā)生尺度變化、 快速運(yùn)動(dòng)等時(shí)， 算法魯棒性更強(qiáng)， 達(dá)到改進(jìn)目的。

參考文獻(xiàn)：

［1］ 陳旭， 孟朝暉. 基于深度學(xué)習(xí)的目標(biāo)視頻跟蹤算法綜述［J］. 計(jì)算機(jī)系統(tǒng)應(yīng)用， 2019， 28（1）： 1-9.Chen Xu， Meng Zhaohui. Survey on Video Object Tracking Algorithms Based on Deep Learning［J］. Computer Systems ＆ Applications， 2019， 28（1）： 1-9.（in Chinese）

［2］ Villeneuve E， Harwin W， Holderbaum W， et al. Signal Quality and Compactness of a Dual-Accelerometer System for Gyro-Free Human Motion Analysis［J］. IEEE Sensors Journal， 2016， 16（16）： 6261-6269.

［3］ Danelljan M， Bhat G， Khan F S， et al. ECO： Efficient Convolution Operators for Tracking［C］∥IEEE Conference on Computer Vision and Pattern Recognition， 2017.

［4］ Qi Y K， Zhang S P， Qin L， et al. Hedged Deep Tracking［C］∥IEEE Conference on Computer Vision and Pattern Recognition， 2016.

［5］ 盧湖川， 李佩霞， 王棟. 目標(biāo)跟蹤算法綜述［J］. 模式識(shí)別與人工智能， 2018， 31（1）： 61-76.Lu Huchuan， Li Peixia， Wang Dong. Visual Object Tracking： A Survey［J］. Pattern Recognition and Artificial Intelligence， 2018， 31（1）： 61-76.（in Chinese）

［6］ Han B， Sim J， Adam H. BranchOut： Regularization for Online Ensemble Tracking with Convolutional Neural Networks［C］∥IEEE Conference on Computer Vision and Pattern Recognition， 2017.

［7］ Jiang B R， Luo R X， Mao J Y， et al. Acquisition of Localization Confidence for Accurate Object Detection［C］∥Computer Vision-ECCV， 2018.

［8］ He K M， Zhang X Y， Ren S Q， et al. Deep Residual Learning for Image Recognition［C］∥IEEE Conference on Computer Vision and Pattern Recognition， 2016.

［9］ 閔召陽(yáng)， 趙文杰. 基于深度學(xué)習(xí)的目標(biāo)抗干擾跟蹤算法［J］. 紅外技術(shù)， 2018， 40（2）： 176-182.Min Zhaoyang， Zhao Wenjie. Target Anti-Jamming Tracking Algorithm Based on Depth Learning［J］. Infrared Technology， 2018， 40（2）： 176-182.（in Chinese）

［10］ Lin M， Chen Q， Yan S C. Network in Network［C］∥International Conference on Learning Representations （ICLR）， 2014.

［11］ Hinton G E， Srivastava N. Krizhevsky A， et al. Improving Neural Networks by Preventing Co-Adaptation of Feature Detectors［C］∥International Conference on Machine Learning （ICML）， 2012.

［12］ Galoogahi H K， Fagg A， Lucey S. Learning Background-Aware Correlation Filters for Visual Tracking［C］∥IEEE International Conference on Computer Vision （ICCV）， 2017： 1144-1152.

［13］ Nair V， Hinton G E. Rectified Linear Units Improve Restricted Boltzmann Machines［C］∥International Conference on Machine Learning （ICML）， 2010.

［14］ Qian N. On the Momentum Term in Gradient Descent Learning Algorithms［J］. Neural Networks， 1999， 12（1）： 145-151.

［15］ Danelljan M， Bhat G， Khan F S， et al. ATOM： Accurate Tracking by Overlap Maximization［C］∥IEEE/CVF Conference on Computer Vision and Pattern Recognition， 2019.

［16］ Wu Y， Lim J， Yang M H. Object Tracking Benchmark［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2015， 37（9）： 1834-1848.

［17］ Mueller M， Smith N， Ghanem B. A Benchmark and Simulator for UAV Tracking［C］∥Computer Vision-ECCV， 2016.

［18］ Fan H， Lin L T， Yang F， et al. LaSOT： A High-Quality Benchmark for Large-Scale Single Object Tracking［C］∥IEEE/CVF Conference on Computer Vision and Pattern Recognition， 2019.

［19］ Danelljan M， Robinson A， Shahbaz Khan F， et al. Beyond Correlation Filters： Learning Continuous Convolution Operators for Vi-sual Tracking［C］∥Computer Vision-ECCV， 2016.

［20］ Nam H， Han B. Learning Multi-Domain Convolutional Neural Networks for Visual Tracking［C］∥IEEE Conference on Compu-ter Vision and Pattern Recognition， 2016.

［21］ Bhat G， Danelljan M， van Gool L， et al. Learning Discriminative Model Prediction for Tracking［C］∥IEEE/CVF International Conference on Computer Vision （ICCV）， 2019

［22］ Bertinetto L， Valmadre J， Golodetz S， et al. Staple： Complementary Learners for Real-Time Tracking［C］∥IEEE Conference on Computer Vision and Pattern Recognition， 2016.

［23］ Bertinetto L， Valmadre J， Henriques J F， et al. Fully-Convolutional Siamese Networks for Object Tracking［C］∥Computer Vision-ECCV， 2016.

［24］ Galoogahi H K， Fagg A， Lucey S. Learning Background-Aware Correlation Filters for Visual Tracking［C］∥IEEE International Conference on Computer Vision （ICCV）， 2017.

［25］ Li F， Tian C， Zuo W M， et al. Learning Spatial-Temporal Regularized Correlation Filters for Visual Tracking［C］∥IEEE/CVF Conference on Computer Vision and Pattern Recognition， 2018.

［26］ Danelljan M， Hger G， Khan F S， et al. Learning Spatially Regularized Correlation Filters for Visual Tracking［C］∥IEEE International Conference on Computer Vision （ICCV）， 2015.

［27］ Li B， Wu W， Wang Q， et al. SiamRPN++： Evolution of Siamese Visual Tracking with Very Deep Networks［C］∥IEEE/CVF Conference on Computer Vision and Pattern Recognition， 2019.

［28］ Zhao S C， Xu T Y， Wu X J， et al. Adaptive Feature Fusion for Visual Object Tracking［J］. Pattern Recognition， 2021， 111： 107679.

［29］ Song Y B， Ma C， Wu X H， et al. VITAL： VIsual Tracking via Adversarial Learning［C］∥IEEE/CVF Conference on Computer Vision and Pattern Recognition， 2018.

［30］ Choi J， Chang H J， Fischer T， et al. Context-Aware Deep Feature Compression for High-Speed Visual Tracking［C］∥IEEE/CVF Conference on Computer Vision and Pattern Recognition， 2018.

Research on Image Moving Target Tracking Algorithm Based on

Adaptive Feature Fusion in Complex Scenes

Zhu Bing Liu QiYu Ruixing

（1. School of Electronic Engineering， Xian Shiyou University， Xian 710065， China；

2. Beijing Institute of Remote Sensing Equipment， Beijing 100039， China；

3. School of Astronautics， Northwestern Polytechnical University， Xian 710072， China）

Abstract： Aiming at the problems of tracking drift or failure in target tracking for the scale change and fast motion， a image moving target tracking algorithm based on adaptive feature fusion in complex scenes is proposed. In this paper， the target classification module and target estimation module is designed respectively and combined effectively. In the target classification module， an adaptive feature fusion mechanism is designed， and it integrates multi-layer depth features so as to achieve effective online tracking. Moreover， the designed joint update strategy is more robust in dealing with motion blur and severe target deformation by optimizing the projection matrix layer and the correlation la-yer. In the target estimation module， the concept of IoU（Intersection over Union） maximization is introduced to predict the IoU score between bounding boxes and the estimation target. During the tracking process， the target state is estimated by using gradient ascent to maximize the IoU score to obtain a more accurate bounding box. Experimental results show that the proposed algorithm has excellent performance， with SAUC of 70.1%， 47.6%， 51.6% on OTB100， UAV123 and LaSOT datasets， which is superior to other related algorithms.

Key words： target tracking； deep learning；? target classification； target estimation； feature fusion