基于暹羅結(jié)構(gòu)輕量級(jí)網(wǎng)絡(luò)的目標(biāo)跟蹤

徐文豪 張秀梅 王振興

摘? 要：隨著深度學(xué)習(xí)在計(jì)算機(jī)領(lǐng)域應(yīng)用層次的不斷加深，在圖像分類、目標(biāo)檢測(cè)和跟蹤等領(lǐng)域所使用的卷積神經(jīng)網(wǎng)絡(luò)的深度也隨之加大。輕量級(jí)網(wǎng)絡(luò)的提出很大程度上解決了網(wǎng)絡(luò)模型過大的問題，已被廣泛應(yīng)用到圖像分類、目標(biāo)檢測(cè)等領(lǐng)域。文章設(shè)計(jì)一種新型無padding的暹羅結(jié)構(gòu)輕量級(jí)網(wǎng)絡(luò)框架，融合SiamFC目標(biāo)跟蹤框架，模型大小縮減為原算法的三分之一，精度和成功率分別提高0.34、0.12，跟蹤速度達(dá)到102幀/秒。

關(guān)鍵詞：輕量級(jí)網(wǎng)絡(luò)；暹羅網(wǎng)絡(luò)；目標(biāo)跟蹤

中圖分類號(hào)：TP391? 文獻(xiàn)標(biāo)識(shí)碼：A? 文章編號(hào)：2096-4706（2023）17-0084-04

Target Tracking Based on Siamese Structured Lightweight Network

XU Wenhao， ZHANG Xiumei， WANG Zhenxing

（School of Physics and Electronic Information， Dezhou University， Dezhou? 253023， China）

Abstract： With the continuous deepening of the application level of deep learning in the computer field， the depth of convolutional neural networks used in image classification， object detection， and tracking has also increased. The proposal of lightweight networks has largely solved the problem of excessively large network models and it has been widely applied in fields such as image classification and object detection. This paper designs a new type of non padding Siamese lightweight network framework that integrates the SiamFC target tracking framework. The model size is reduced to one-third of the original algorithm， and the accuracy and success rate are improved by 0.34 and 0.12， respectively， the tracking speed reaches 102 FPS.

Keywords： lightweight network; Siamese network; target tracking

0? 引? 言

計(jì)算機(jī)視覺是深度學(xué)習(xí)最熱門的研究領(lǐng)域之一，而目標(biāo)跟蹤[1]又是計(jì)算機(jī)視覺領(lǐng)域的重要發(fā)展方向，其廣泛應(yīng)用于視頻監(jiān)控[2]、人機(jī)交互[3]等方面。當(dāng)前主流的目標(biāo)跟蹤算法分為兩類，一類是基于Siamese[4]網(wǎng)絡(luò)的目標(biāo)跟蹤算法，采用Siamese的網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行跟蹤算法的設(shè)計(jì)，另一類是基于非Siamese網(wǎng)絡(luò)的目標(biāo)跟蹤算法，對(duì)該類算法的研究通常是建立在相關(guān)濾波算法的基礎(chǔ)之上的。這一類算法大多是在相關(guān)濾波器的基礎(chǔ)上進(jìn)行設(shè)計(jì)，但隨著算法的不斷改進(jìn)，跟蹤速度與跟蹤性能無法達(dá)到良好的平衡，那些能夠有效平衡目標(biāo)跟蹤速度與精度的SiamFC算法贏得廣大研究者的青睞。

SiamFC[5]提出全卷積網(wǎng)絡(luò)相似性學(xué)習(xí)的策略，采用大量監(jiān)督數(shù)據(jù)進(jìn)行網(wǎng)絡(luò)訓(xùn)練，使得網(wǎng)絡(luò)模型能夠適應(yīng)各種不同的跟蹤目標(biāo)。SiamRPN借鑒了目標(biāo)檢測(cè)中的RPN結(jié)構(gòu)，在SiamFC的基礎(chǔ)之上引入RPN結(jié)構(gòu)，一定程度上解決了目標(biāo)框不靈活的問題。SiamRPN++采用一種新型采樣策略，打破了空間不變性的限制，在SiamRPN的基礎(chǔ)上成功應(yīng)用深層網(wǎng)絡(luò)。SiamMASK也是第一次將目標(biāo)跟蹤與分割聯(lián)系在一起，使得目標(biāo)跟蹤向像素級(jí)別發(fā)展。

隨著深度學(xué)習(xí)的不斷發(fā)展，目標(biāo)跟蹤性能在不斷提升的同時(shí)，其網(wǎng)絡(luò)結(jié)構(gòu)層也在不斷加深，參數(shù)不斷增加，這為計(jì)算機(jī)訓(xùn)練以及模型應(yīng)用帶來很大的負(fù)擔(dān)。通常，移動(dòng)端的內(nèi)存量較小，而神經(jīng)網(wǎng)絡(luò)訓(xùn)練的網(wǎng)絡(luò)模型往往體積較大，這不利于網(wǎng)絡(luò)模型移植到移動(dòng)端，無法實(shí)現(xiàn)更廣泛的應(yīng)用。為有效解決這個(gè)問題，許多研究人員將研究方向轉(zhuǎn)為能夠產(chǎn)出同樣性能，但卻擁有更小參數(shù)模型的輕量級(jí)網(wǎng)絡(luò)。近些年，輕量級(jí)網(wǎng)絡(luò)在不斷發(fā)展的過程中，其訓(xùn)練速度較快、部署簡(jiǎn)單便捷的特點(diǎn)得到更多研究人員的關(guān)注。

1? 目標(biāo)跟蹤算法介紹

目標(biāo)跟蹤算法通過提取視頻或圖像序列的上下文信息實(shí)現(xiàn)對(duì)目標(biāo)的建模，完成目標(biāo)的外觀檢測(cè)與運(yùn)動(dòng)軌跡定位。本文算法是在暹羅與輕量級(jí)網(wǎng)絡(luò)的基礎(chǔ)上實(shí)現(xiàn)的，因此本章主要介紹暹羅網(wǎng)絡(luò)、輕量級(jí)網(wǎng)絡(luò)以及SiamNpd網(wǎng)絡(luò)的基本原理。

1.1? 暹羅結(jié)構(gòu)網(wǎng)絡(luò)目標(biāo)跟蹤

最近幾年，卷積神經(jīng)網(wǎng)絡(luò)在深度學(xué)習(xí)領(lǐng)域展現(xiàn)出巨大的發(fā)展?jié)摿Γ褟V泛應(yīng)用于圖像分類、人臉識(shí)別、目標(biāo)檢測(cè)等領(lǐng)域，其性能遠(yuǎn)超傳統(tǒng)算法。在目標(biāo)跟蹤領(lǐng)域，傳統(tǒng)算法通常使用跟蹤視頻進(jìn)行在線學(xué)習(xí)，這種學(xué)習(xí)方式只能是淺顯地了解外觀模型，無法真正應(yīng)用到目標(biāo)跟蹤中。采用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取，以保證目標(biāo)特征提取的全面性。但是卷積神經(jīng)網(wǎng)絡(luò)通過全連接層進(jìn)行輸出時(shí)，參數(shù)過大也會(huì)影響跟蹤效果。此后，有眾多研究者采用暹羅網(wǎng)絡(luò)[6]進(jìn)行目標(biāo)跟蹤，該網(wǎng)絡(luò)由兩個(gè)相同的分支組成，它們共享相同的參數(shù)和權(quán)重，可直接對(duì)卷積層特征進(jìn)行處理，因而在目標(biāo)跟蹤領(lǐng)域受到廣泛的歡迎。

暹羅網(wǎng)絡(luò)[7]第一次應(yīng)用到目標(biāo)跟蹤領(lǐng)域是借助SINT，SINT也是將目標(biāo)跟蹤問題轉(zhuǎn)化為特征塊匹配問題的先導(dǎo)，SINT的參數(shù)量較多，所以跟蹤速度并不理想。真正引領(lǐng)研究人員關(guān)注孿生網(wǎng)絡(luò)的應(yīng)該是SiamFC算法，該算法摒棄了傳統(tǒng)的FC全連接層，大大減少了網(wǎng)絡(luò)的參數(shù)，大幅度提高了跟蹤速度，同樣也是將目標(biāo)跟蹤問題轉(zhuǎn)化為目標(biāo)特征的相似性問題。然而，SiamFC的計(jì)算量過于龐大，只能在GPU中實(shí)時(shí)運(yùn)行，所以它無法真正地應(yīng)用到生產(chǎn)生活當(dāng)中。

1.2? 輕量級(jí)網(wǎng)絡(luò)

輕量級(jí)網(wǎng)絡(luò)的出現(xiàn)是為了解決網(wǎng)絡(luò)模型參數(shù)過大的問題，在保持模型精度的同時(shí)，能夠減少網(wǎng)絡(luò)模型的參數(shù)量和復(fù)雜度[8]。

在輕量級(jí)網(wǎng)絡(luò)[9]中，被人們關(guān)注較多的有SqueezeNet系列、ShuffleNet系列和MobileNet系列。其中SqueezeNet的參數(shù)壓縮采用Fire模塊實(shí)現(xiàn)，并加入分離卷積予以改進(jìn)。ShuffleNet提出了channel split操作，通過特征重用提高網(wǎng)絡(luò)的魯棒性。MobileNet網(wǎng)絡(luò)雖然深度變大，但準(zhǔn)確率和實(shí)效性都能夠得到很好的保證。

1.3? SiamNpd網(wǎng)絡(luò)模型

暹羅結(jié)構(gòu)網(wǎng)絡(luò)與輕量級(jí)網(wǎng)絡(luò)在很多領(lǐng)域取得不錯(cuò)的效果，在目標(biāo)跟蹤方面，如果我們能夠建立一個(gè)統(tǒng)一的跟蹤框架，將兩個(gè)網(wǎng)絡(luò)的優(yōu)勢(shì)有機(jī)結(jié)合，則可以在提高算法性能的同時(shí)降低模型大小。截至目前，由于基于暹羅網(wǎng)絡(luò)結(jié)構(gòu)的目標(biāo)跟蹤必須滿足空間不變性，而絕大部分輕量級(jí)網(wǎng)絡(luò)都加入了padding結(jié)構(gòu)，這就導(dǎo)致無法直接將輕量級(jí)網(wǎng)絡(luò)應(yīng)用到暹羅網(wǎng)絡(luò)結(jié)構(gòu)中。而且大部分目標(biāo)跟蹤算法應(yīng)用的還是偏大型的網(wǎng)絡(luò)模型，網(wǎng)絡(luò)模型的參數(shù)過大也會(huì)影響目標(biāo)跟蹤的推理速度。

在此背景下，本文設(shè)計(jì)一種可以兼容輕量級(jí)網(wǎng)絡(luò)與暹羅網(wǎng)絡(luò)結(jié)構(gòu)的輕量級(jí)框架，能夠發(fā)揮暹羅網(wǎng)絡(luò)在跟蹤方面的優(yōu)勢(shì)，又能夠利用輕量級(jí)網(wǎng)絡(luò)在保持精度的同時(shí)減少網(wǎng)絡(luò)模型參數(shù)。

2? 網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)與實(shí)現(xiàn)

目標(biāo)的檢測(cè)與跟蹤離不開卷積神經(jīng)網(wǎng)絡(luò)[10]的實(shí)現(xiàn)，其中網(wǎng)絡(luò)結(jié)構(gòu)也是目標(biāo)檢測(cè)器[11]的核心內(nèi)容。本節(jié)先對(duì)暹羅網(wǎng)絡(luò)實(shí)現(xiàn)的目標(biāo)跟蹤進(jìn)行介紹，再從本文算法的整體結(jié)構(gòu)和核心網(wǎng)絡(luò)層展開論述。

2.1? 整體結(jié)構(gòu)

如圖1所示為整體的SiamFC暹羅網(wǎng)絡(luò)結(jié)構(gòu)，其中Backbone部分為我們所應(yīng)用的新型輕量級(jí)網(wǎng)絡(luò)，其主要作用是對(duì)圖像進(jìn)行特征提取。暹羅網(wǎng)絡(luò)可以分為上下兩個(gè)部分，上半部分為模板分支，下半部分為搜索分支，上下兩部分的Backbone共享相同的網(wǎng)絡(luò)參數(shù)，相較于傳統(tǒng)兩分支特征提取網(wǎng)絡(luò)降低一半的參數(shù)量。

首先將圖片預(yù)處理為127×127×3和255×255×3的模板圖像和搜索圖像。分別將模板圖像和搜索圖像輸入模板分支和搜索分支的Backbone進(jìn)行特征提取，最終得到7×7×256的模板特征和22×22×256的搜索特征。之后再對(duì)兩部分特征進(jìn)行卷積操作，最終得到17×17×1的特征得分圖。將特征得分圖最高點(diǎn)部分回歸到原圖即對(duì)應(yīng)我們的跟蹤目標(biāo)。圖1中的*表示卷積操作。

卷積操作計(jì)算式如下：

F（x，z） = φ（z）*φ（x）

其中，φ（z）、φ（x）分別表示提取的模板特征與搜索特征。

2.2? 網(wǎng)絡(luò)結(jié)構(gòu)

如表1所示為Backbone網(wǎng)絡(luò)整體結(jié)構(gòu)，包括兩個(gè)普通卷積層Conv1、Conv4，兩個(gè)1×1卷積層Conv2、Conv3，4個(gè)DW卷積層，以及兩個(gè)最大池化層。普通卷積層的作用是實(shí)現(xiàn)不同channel相同空間位置之間的信息交流以及增加channel數(shù)量，1×1卷積的作用主要是增加channel數(shù)量，減少參數(shù)量。DW卷積層的作用是在減小特征圖尺寸的同時(shí)減少參數(shù)量，降低運(yùn)算成本。兩個(gè)池化層用于減小特征圖的尺寸。我們摒棄了卷積神經(jīng)網(wǎng)絡(luò)中第一層使用的11×11大小的卷積核，改用3×3大小的卷積核。在進(jìn)行特征提取時(shí)，為了避免邊緣特征等細(xì)節(jié)特征的遺失，所選用的卷積核尺寸不能過大，否則會(huì)對(duì)后續(xù)特征的利用造成很大影響，不利于跟蹤邊緣目標(biāo)。在進(jìn)行特征圖尺寸縮減的過程中，采用增加特征圖通道數(shù)量的方法彌補(bǔ)尺寸縮減對(duì)特征參數(shù)量及特征數(shù)量的影響。

2.3? 核心網(wǎng)絡(luò)層

如圖2所示為整體網(wǎng)絡(luò)結(jié)構(gòu)圖，其中的Block為核心網(wǎng)絡(luò)層。如圖3所示為核心網(wǎng)絡(luò)層細(xì)節(jié)圖，核心網(wǎng)絡(luò)層包括1個(gè)1×1卷積和2個(gè)3×3DW卷積。

我們采用1×1卷積核對(duì)網(wǎng)絡(luò)的前半部分執(zhí)行升維操作，從而保留更多的特征，緊接著使用兩個(gè)連續(xù)的DW卷積進(jìn)行尺寸縮減，減少參數(shù)量，降低運(yùn)算成本。網(wǎng)絡(luò)的每個(gè)分支都包括兩個(gè)Block，第一個(gè)Block用于將channel的數(shù)量從96提升到192，并且進(jìn)行兩次DW卷積縮小尺寸，DW卷積不參與改變channel的數(shù)量。第二個(gè)Block用于將channel數(shù)量提高到384，并再次縮小尺寸。DW卷積可以對(duì)每個(gè)channel進(jìn)行獨(dú)立卷積，但是無法進(jìn)行通道間的信息交流，為了解決這一問題，我們最后加入一個(gè)卷積層Conv4，實(shí)現(xiàn)不同channel相同空間位置之間的信息交流，同時(shí)縮減channel數(shù)量。

3? 實(shí)驗(yàn)結(jié)果

目標(biāo)跟蹤算法的性能優(yōu)劣主要由定性和定量?jī)煞矫娴闹笜?biāo)來權(quán)衡，本節(jié)給出了算法實(shí)現(xiàn)的環(huán)境搭建，并從定量和定性兩個(gè)方面對(duì)本文算法做出了評(píng)價(jià)與分析。

3.1? 實(shí)驗(yàn)環(huán)境

開發(fā)平臺(tái)：跟蹤算法使用Python語言和PyTorch框架。

硬件支持：使用GeForce RTX 3060顯卡。

訓(xùn)練過程：選取GOT10k數(shù)據(jù)集，共訓(xùn)練50個(gè)epoch。

測(cè)試過程：選取OTB2015數(shù)據(jù)集，該數(shù)據(jù)集具有100個(gè)人工標(biāo)注好的視頻序列，OTB2015數(shù)據(jù)集評(píng)估跟蹤算法性能的指標(biāo)有兩個(gè)——跟蹤精度和成功率。跟蹤精度是指預(yù)測(cè)位置中心點(diǎn)與benchmark中標(biāo)注的中心位置之間的像素距離。成功率是指預(yù)測(cè)目標(biāo)與benchmark的重合程度。

3.2? 定量分析

我們基于不同的性能指標(biāo)對(duì)本文算法與SiamFC算法進(jìn)行了對(duì)比，主要有模型復(fù)雜度、精確度、成功率、平均FPS四個(gè)指標(biāo)。

如表2所示，本文算法的模型復(fù)雜度縮減為原算法的1/3，精度上前者比后者提高了3.1%，成功率上前者比后者提高了0.9%。另外，本文算法在跟蹤速度上達(dá)到105幀/秒，有了明顯的提升。實(shí)驗(yàn)表明，本文算法既能降低模型復(fù)雜度，又可以使算法性能得以提高，能夠確保目標(biāo)跟蹤的實(shí)時(shí)性和精確性。

3.3? 定性分析

定性分析的關(guān)鍵在于不同場(chǎng)景下視頻序列的跟蹤效果，如圖4所示為本文算法的跟蹤效果圖。

跟蹤序列分別對(duì)應(yīng)OTB2015數(shù)據(jù)集的CarScale、Dog、Shaking、Girl視頻序列，這四個(gè)視頻序列分別對(duì)應(yīng)遮擋、尺度變化、光照變化、相似目標(biāo)干擾四個(gè)目標(biāo)跟蹤場(chǎng)景?？梢钥闯觯疚乃惴梢院芎玫剡m應(yīng)各種復(fù)雜場(chǎng)景，能夠圓滿地完成目標(biāo)跟蹤任務(wù)。

4? 結(jié)? 論

本文提出一種融合暹羅網(wǎng)絡(luò)的輕量級(jí)網(wǎng)絡(luò)模型，實(shí)現(xiàn)了在降低網(wǎng)絡(luò)模型復(fù)雜度的同時(shí)進(jìn)一步提高算法性能的目標(biāo)。另外，模型復(fù)雜度的降低也為網(wǎng)絡(luò)模型的移植提供了便利。在后續(xù)的研究中，我們會(huì)在此基礎(chǔ)上進(jìn)一步提高跟蹤算法的準(zhǔn)確率和跟蹤速度。

參考文獻(xiàn)：

[1] 王玲，王家沛，王鵬，等.融合注意力機(jī)制的孿生網(wǎng)絡(luò)目標(biāo)跟蹤算法研究 [J].計(jì)算機(jī)工程與應(yīng)用，2021，57（8）：169-174.

[2] 肖貴燈.基于計(jì)算機(jī)視覺算法的視頻智能監(jiān)控與跟蹤系統(tǒng)研究 [J].自動(dòng)化技術(shù)與應(yīng)用，2021，40（6）：84-88.

[3] 王文斌，李琨.基于特征跟蹤的人機(jī)交互多點(diǎn)手勢(shì)識(shí)別仿真 [J].計(jì)算機(jī)仿真，2022，39（2）：176-179+370.

[4] 孫禾，陳一新.基于多標(biāo)準(zhǔn)和改進(jìn)Siamese網(wǎng)絡(luò)的相似航班號(hào)判斷方法研究 [J].中國安全生產(chǎn)科學(xué)技術(shù)，2023，19（1）：47-53.

[5] 楊芷娟，唐燦，曹曉莉，等.基于改進(jìn)Siam-HRNet算法的遙感影像森林覆蓋語義變化檢測(cè) [J].自動(dòng)化與儀器儀表，2022（7）：9-14.

[6] 陳磊，陳穎，李文舉，等.殘差塊改進(jìn)暹羅網(wǎng)絡(luò)的遙感圖像配準(zhǔn) [J].計(jì)算機(jī)仿真，2022，39（3）：224-229.

[7] 朱利華，朱玲玲.基于暹羅網(wǎng)絡(luò)的云計(jì)算隱私保護(hù)算法 [J].西南師范大學(xué)學(xué)報(bào)：自然科學(xué)版，2021，46（7）：84-89.

[8] 李運(yùn)寰，聞繼偉，彭力.高幀率的輕量級(jí)孿生網(wǎng)絡(luò)目標(biāo)跟蹤 [J].計(jì)算機(jī)科學(xué)與探索，2022，16（6）：1405-1416.

[9] 洛怡航，趙振宇，胡銀記，等.基于孿生網(wǎng)絡(luò)的輕量級(jí)高速跟蹤算法 [J].電光與控制，2022，29（1）：51-55+79.

[10] 宋云博，陳冬艷，郝赟，等.基于級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)的高效目標(biāo)檢測(cè)方法 [J].計(jì)算機(jī)工程與應(yīng)用，2021，57（5）：139-145.

[11] 李頎，陳哲豪.基于改進(jìn)單次多目標(biāo)檢測(cè)器的果面缺陷冬棗實(shí)時(shí)檢測(cè) [J].江蘇農(nóng)業(yè)學(xué)報(bào)，2022，38（1）：119-128.

作者簡(jiǎn)介：徐文豪（1996—），女，漢族，山東臨沂人，助教，碩士，研究方向：目標(biāo)檢測(cè)與跟蹤。