旋轉(zhuǎn)區(qū)域提議網(wǎng)絡(luò)的孿生神經(jīng)網(wǎng)絡(luò)跟蹤算法

姜文濤，崔江磊

1.遼寧工程技術(shù)大學(xué) 軟件學(xué)院，遼寧 葫蘆島 125105

2.遼寧工程技術(shù)大學(xué) 研究生院，遼寧 葫蘆島 125105

目標(biāo)跟蹤是計(jì)算機(jī)視覺領(lǐng)域內(nèi)一項(xiàng)具有挑戰(zhàn)性的任務(wù)，一般指通過運(yùn)算設(shè)備在一段連續(xù)時(shí)間內(nèi)的數(shù)字化圖像或視頻序列中，對(duì)單個(gè)或多個(gè)人為預(yù)設(shè)且具有明顯語(yǔ)義特征的數(shù)字圖像目標(biāo)連續(xù)地進(jìn)行位置檢測(cè)。目前這項(xiàng)技術(shù)在自動(dòng)駕駛[1-3]、智能監(jiān)控[4]、手勢(shì)識(shí)別[5-6]、軍事偵查[7]以及智慧城市[8]等技術(shù)領(lǐng)域內(nèi)均有重要應(yīng)用。近年來，目標(biāo)跟蹤方向的發(fā)展迅速，技術(shù)迭代頻繁，且融合了信號(hào)、深度學(xué)習(xí)等多個(gè)領(lǐng)域的相關(guān)方法[9-10]。但是，目標(biāo)跟蹤任務(wù)依然存在著諸如光照變化、目標(biāo)遮擋、目標(biāo)形變及旋轉(zhuǎn)等一系列難點(diǎn)，如何在復(fù)雜情況下對(duì)目標(biāo)進(jìn)行穩(wěn)定準(zhǔn)確地跟蹤仍是當(dāng)前亟待解決的熱點(diǎn)問題。

2016年以來，孿生神經(jīng)網(wǎng)絡(luò)以其優(yōu)異的跟蹤速度和較高的跟蹤精度，獲得了國(guó)內(nèi)外研究人員的大量關(guān)注。全卷積孿生神經(jīng)網(wǎng)絡(luò)目標(biāo)跟蹤算法[11]（SiamFC）首次將Siamese Net應(yīng)用到目標(biāo)跟蹤領(lǐng)域，通過Siamese Like結(jié)構(gòu)對(duì)模板與搜索區(qū)域進(jìn)行相似度比較，在搜索區(qū)域中尋找目標(biāo)的最大響應(yīng)值，在速度和精準(zhǔn)度上達(dá)到當(dāng)年最優(yōu)。受目標(biāo)檢測(cè)算法Faster-RCNN[12]的啟發(fā)，高性能的孿生區(qū)域提議跟蹤算法[13]（SiamRPN）將區(qū)域提議網(wǎng)絡(luò)（region proposal network，RPN）用于目標(biāo)跟蹤，先通過Siamese結(jié)構(gòu)對(duì)模板區(qū)域與搜索區(qū)域進(jìn)行特征提取，在兩個(gè)區(qū)域的特征圖進(jìn)行互相關(guān)操作后，將相關(guān)特征圖進(jìn)行分組，分別進(jìn)行分類和回歸操作，最后根據(jù)兩個(gè)分支做相似性度量，得到最終預(yù)測(cè)結(jié)果，該方法通過錨框?qū)δ繕?biāo)進(jìn)行位置預(yù)測(cè)，省略掉圖像金字塔的運(yùn)算過程，在提高跟蹤精度的同時(shí)，大大提高了跟蹤速度。深度網(wǎng)絡(luò)的孿生神經(jīng)網(wǎng)絡(luò)跟蹤算法[14]（SiamRPN++）將深層神經(jīng)網(wǎng)絡(luò)應(yīng)用到孿生神經(jīng)網(wǎng)絡(luò)的目標(biāo)跟蹤中，對(duì)殘差特征提取網(wǎng)絡(luò)中多層特征進(jìn)行融合，并在多個(gè)特征層分別使用SiamRPN方法，過濾掉簡(jiǎn)單樣本，從而提升網(wǎng)絡(luò)的判別能力，大大提高了網(wǎng)絡(luò)的跟蹤能力，但該方法受到RPN網(wǎng)絡(luò)本身的限制，在物體發(fā)生旋轉(zhuǎn)時(shí)，這種簡(jiǎn)單的預(yù)測(cè)框會(huì)產(chǎn)生較大的損失，導(dǎo)致跟蹤網(wǎng)絡(luò)對(duì)目標(biāo)的覆蓋效果不佳，跟蹤性能下降。在線更新模型的孿生跟蹤網(wǎng)絡(luò)[15]（Update Net）通過訓(xùn)練一個(gè)能夠在線更新模型的孿生目標(biāo)跟蹤器，根據(jù)目標(biāo)及當(dāng)前狀態(tài)之前的若干幀對(duì)被跟蹤模型進(jìn)行更新，提高了跟蹤過程中的魯棒性。同年，在線分割孿生神經(jīng)網(wǎng)絡(luò)跟蹤方法[16]（SiamMask）將目標(biāo)分割的思想應(yīng)用于目標(biāo)跟蹤中，在Siamese網(wǎng)絡(luò)架構(gòu)中額外增加Mask分支，在搜索區(qū)域中得到目標(biāo)分割結(jié)果，通過最小外包矩形方法生成預(yù)測(cè)框。該方法雖然提高了預(yù)測(cè)精度，但由于Mask分支較為復(fù)雜，導(dǎo)致該網(wǎng)絡(luò)的訓(xùn)練難度大，并且跟蹤速度大幅下降，無法滿足實(shí)時(shí)性?；谀繕?biāo)估計(jì)的高精度魯棒性跟蹤網(wǎng)絡(luò)[17]（SiamFC++）將目標(biāo)物體與背景分離，對(duì)目標(biāo)狀態(tài)進(jìn)行估計(jì)以得到更精確的預(yù)測(cè)框，同時(shí)引入分類得分分支，避免出現(xiàn)類似RPN假陽(yáng)性樣本，去除先驗(yàn)知識(shí)以提高泛化能力。RESiam Net[18]在跟蹤之前對(duì)目標(biāo)進(jìn)行了8個(gè)方向的旋轉(zhuǎn)，從而加強(qiáng)跟蹤器對(duì)旋轉(zhuǎn)目標(biāo)的跟蹤效果，但該方法對(duì)旋轉(zhuǎn)的處理較為復(fù)雜，導(dǎo)致跟蹤速度較慢，并且旋轉(zhuǎn)樣本較少，跟蹤效果仍存在提高的空間。

上述方法都是通過平行于坐標(biāo)軸的矩形預(yù)測(cè)框進(jìn)行跟蹤，但在實(shí)際跟蹤過程中，這種預(yù)測(cè)框?qū)δ繕?biāo)的覆蓋效果不佳，包含了過多的背景信息，導(dǎo)致跟蹤效果下降。雖然Update Net通過不斷對(duì)模板進(jìn)行更新，SiamFC++對(duì)預(yù)測(cè)框進(jìn)行質(zhì)量檢測(cè)，以削減跟蹤時(shí)背景信息造成的影響，但由于平行坐標(biāo)軸的矩形預(yù)測(cè)框在目標(biāo)外觀覆蓋上存在根本性的缺陷，因此這些方法的效果仍存在很大的提升空間。針對(duì)上述問題，本文提出了一種基于孿生旋轉(zhuǎn)區(qū)域提議神經(jīng)網(wǎng)絡(luò)的跟蹤算法。（1）在骨干網(wǎng)絡(luò)的不同階段對(duì)目標(biāo)位置進(jìn)行預(yù)測(cè)，并進(jìn)行融合，避免細(xì)節(jié)特征的丟失。（2）引入AO-RPN[19]（arbitrary-oriented region proposal network）網(wǎng)絡(luò)生成旋轉(zhuǎn)錨框，增加對(duì)目標(biāo)的覆蓋率，抑制背景對(duì)目標(biāo)產(chǎn)生的影響，提高目標(biāo)旋轉(zhuǎn)姿態(tài)的跟蹤效果，充分挖掘覆蓋精度上的信息。（3）根據(jù)跟蹤任務(wù)對(duì)該網(wǎng)絡(luò)進(jìn)行有針對(duì)性的數(shù)據(jù)集處理，并對(duì)損失函數(shù)進(jìn)行調(diào)整，將該網(wǎng)絡(luò)有效引用在目標(biāo)跟蹤任務(wù)上。（4）采取多分支聯(lián)合預(yù)測(cè)子網(wǎng)絡(luò)對(duì)目標(biāo)的最終位置進(jìn)行判斷，在提高跟蹤器泛化能力的同時(shí)降低網(wǎng)絡(luò)參數(shù)。在數(shù)據(jù)集OTB2015、VOT2016和VOT2018上評(píng)估本文算法，實(shí)驗(yàn)結(jié)果表明，與主流算法相比，本算法具有更好的跟蹤效果，跟蹤速度達(dá)到88.5 frame/s。

1 旋轉(zhuǎn)區(qū)域提議孿生神經(jīng)網(wǎng)絡(luò)

1.1 旋轉(zhuǎn)區(qū)域提議孿生神經(jīng)網(wǎng)絡(luò)框架

現(xiàn)有的目標(biāo)跟蹤算法通常使用淺層特征提取網(wǎng)絡(luò)作為跟蹤器骨干網(wǎng)絡(luò)，對(duì)目標(biāo)與搜索區(qū)域的特征提取能力較弱，本文將特征提取能力較強(qiáng)的ResNet-50作為本文方法的骨干網(wǎng)絡(luò)，并將最后三個(gè)特征提取階段的特征圖輸入進(jìn)AO-RPN網(wǎng)絡(luò)進(jìn)行旋轉(zhuǎn)區(qū)域提議，這種處理方式能夠提取到更具有判別力的特征，并且能夠保留特征提取中的部分細(xì)節(jié)，提高跟蹤器在跟蹤過程中的精確率。

同時(shí)，在目標(biāo)旋轉(zhuǎn)時(shí)，目標(biāo)的深度特征將會(huì)產(chǎn)生一定變化，如果僅通過區(qū)域提議網(wǎng)絡(luò)進(jìn)行提議跟蹤，則可能導(dǎo)致跟蹤漂移，因此引入AO-RPN網(wǎng)絡(luò)和旋轉(zhuǎn)區(qū)域?qū)R操作將對(duì)待搜索區(qū)域進(jìn)行旋轉(zhuǎn)矯正，有效避免漂移產(chǎn)生，提高跟蹤器在跟蹤過程中的成功率。

最后，由于VOT2018等較新的數(shù)據(jù)集采用更符合人類直覺的最小外包矩形框?qū)δ繕?biāo)的位置進(jìn)行標(biāo)記，如果僅輸出水平的外包矩形框?qū)⒔档透櫰髟赩OT2018等數(shù)據(jù)集中的性能，因此本文采用多分支聯(lián)合預(yù)測(cè)網(wǎng)絡(luò)對(duì)跟蹤的最終結(jié)果進(jìn)行預(yù)測(cè)，其中角度分支則參與預(yù)測(cè)目標(biāo)最小外包矩形的旋轉(zhuǎn)角度，從而有效提高跟蹤過程中對(duì)目標(biāo)的覆蓋率。

因此，本文提出的旋轉(zhuǎn)區(qū)域提議孿生神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示，將用于目標(biāo)檢測(cè)的任意方向區(qū)域提議網(wǎng)絡(luò)（AO-RPN）與用于特征提取的殘差孿生神經(jīng)網(wǎng)絡(luò)進(jìn)行結(jié)合，同時(shí)在多個(gè)特征提取層使用AO-RPN網(wǎng)絡(luò)進(jìn)行提取，將候選區(qū)域融合后，通過Align操作對(duì)結(jié)果區(qū)域進(jìn)行旋轉(zhuǎn)對(duì)齊。最后通過分類預(yù)測(cè)分支、位置預(yù)測(cè)分支、尺寸預(yù)測(cè)分支和角度預(yù)測(cè)分支對(duì)目標(biāo)位置進(jìn)行預(yù)測(cè)，從而實(shí)現(xiàn)端到端的訓(xùn)練。

圖1 旋轉(zhuǎn)區(qū)域提議網(wǎng)絡(luò)孿生神經(jīng)網(wǎng)絡(luò)圖Fig.1 Siamese network tracing algorithm of rotating region proposal network

1.2 生成一階區(qū)域提議錨框

在特征提取網(wǎng)絡(luò)上，本文將殘差神經(jīng)網(wǎng)絡(luò)最后兩個(gè)塊的步長(zhǎng)置為1，并增加空洞卷積，保證最后三個(gè)特征提取塊輸出的分辨率相同，以方便不同階段提取特征的融合。傳統(tǒng)的區(qū)域提議網(wǎng)絡(luò)會(huì)生成一系列垂直于水平坐標(biāo)軸的錨框，一般記為( x,y,w,h)以對(duì)目標(biāo)位置進(jìn)行標(biāo)記。旋轉(zhuǎn)區(qū)域提議孿生神經(jīng)網(wǎng)絡(luò)通過特征網(wǎng)絡(luò)提取到特征后，通過AO-RPN網(wǎng)絡(luò)目標(biāo)進(jìn)行區(qū)域提議，得到三個(gè)特征提議元組，其中class用以對(duì)正負(fù)樣本進(jìn)行區(qū)分，bbox和傳統(tǒng)的錨框相同，包含( )x,y,w,h四個(gè)元素，分別代表旋轉(zhuǎn)提議錨框的中心坐標(biāo)和尺度。在旋轉(zhuǎn)角度為α的情況下，由錨框和旋轉(zhuǎn)分支得到的旋轉(zhuǎn)區(qū)域表示為：

式中，(x,y)為水平錨框中心點(diǎn)坐標(biāo)，w為旋轉(zhuǎn)后錨框的寬度，h為旋轉(zhuǎn)后錨框的高度，Dα為旋轉(zhuǎn)錨框的旋轉(zhuǎn)因子，Ds為旋轉(zhuǎn)錨框的放縮因子，( )xi,yi,i∈{0,1,2,3}為bbox計(jì)算得到的四個(gè)頂點(diǎn)坐標(biāo)，而( x'i,y'i),i∈{0,1,2,3}為旋轉(zhuǎn)放縮處理后錨框的四個(gè)頂點(diǎn)坐標(biāo)。而rotate為由4個(gè)旋轉(zhuǎn)放縮因子( v'1,v'2,v'3,v'4)組成的元組，記為：

式（3）為旋轉(zhuǎn)錨框的一般表示方法，式（4）為rotate分支產(chǎn)生的旋轉(zhuǎn)放縮元組，將式（4）代入式（3）可以得到一階旋轉(zhuǎn)提議錨框的表示方法為：

1.3 特征圖變換對(duì)齊融合

每個(gè)特征圖通過AO-RPN網(wǎng)絡(luò)后，可以得到1k數(shù)量一階旋轉(zhuǎn)提議錨框，由于本文算法從3個(gè)不同的特征提取層進(jìn)行錨框預(yù)測(cè)，因此可以得到3k個(gè)錨框?qū)?yīng)的特征區(qū)域。接下來需要將旋轉(zhuǎn)錨框的映射在特征圖上的特征矩陣通過Align操作，進(jìn)行特征圖和錨框的映射變換，將一個(gè)旋轉(zhuǎn)錨框?qū)?yīng)的特征矩陣轉(zhuǎn)換成尺寸為W×H×C的特征圖，以便在多分支聯(lián)合預(yù)測(cè)子網(wǎng)絡(luò)進(jìn)行輸入。

在多分支預(yù)測(cè)子網(wǎng)絡(luò)中，輸入特征的通道數(shù)C和特征提取網(wǎng)絡(luò)提取的特征通道數(shù)保持一致，假設(shè)輸入到多分支子網(wǎng)絡(luò)的一個(gè)特稱圖的尺寸為W×H，沒有經(jīng)過映射變換的特征圖記為Featureori，每個(gè)特征點(diǎn)對(duì)應(yīng)的坐標(biāo)為( xori,yori,cori)，完成映射變換可以輸入到多分支預(yù)測(cè)子網(wǎng)絡(luò)的特征圖記為Featurein，每個(gè)特征點(diǎn)對(duì)應(yīng)的坐標(biāo)記為( xin,yin,cin)，可以得到映射變換公式：

由于在映射變換時(shí)，涉及到旋轉(zhuǎn)和放縮處理，因此未被映射到的點(diǎn)通過高斯插值進(jìn)行處理，經(jīng)過映射變換后，可以得到3k個(gè)尺寸為W×H×C的特征圖。Align層將對(duì)應(yīng)特征提取網(wǎng)絡(luò)特征，根據(jù)旋轉(zhuǎn)錨框通過放縮變換進(jìn)行對(duì)齊，將錨框?qū)?yīng)特征圖轉(zhuǎn)化為與多分支預(yù)測(cè)網(wǎng)絡(luò)輸入結(jié)構(gòu)相同的特征圖。

1.4 多分支聯(lián)合預(yù)測(cè)子網(wǎng)絡(luò)跟蹤預(yù)測(cè)

得到新的特征圖集合后，對(duì)3k個(gè)特征圖進(jìn)行篩選后選擇置信度高的512個(gè)特征圖，將特征圖集合作為Input輸入到多分支預(yù)測(cè)網(wǎng)絡(luò)即可得到預(yù)測(cè)結(jié)果。如圖2所示，多分支預(yù)測(cè)網(wǎng)絡(luò)可以被分為四個(gè)子網(wǎng)絡(luò)，分別被用以預(yù)測(cè)分類情況、跟蹤框中心坐標(biāo)、跟蹤框尺度和旋轉(zhuǎn)角度。

圖2 多分支預(yù)測(cè)頭結(jié)構(gòu)Fig.2 Multi-branch prediction head structure

對(duì)于角度預(yù)測(cè)分支和分類分支，采用兩個(gè)全連接層進(jìn)行預(yù)測(cè)，對(duì)于中心目標(biāo)和尺度則采用兩個(gè)殘差塊、四個(gè)卷積層和均值池化層進(jìn)行處理。先通過角度預(yù)測(cè)分支、中心點(diǎn)預(yù)測(cè)分支和尺度與預(yù)測(cè)分支對(duì)跟蹤結(jié)果的最終位置進(jìn)行預(yù)測(cè)，之后再通過分類分支對(duì)預(yù)測(cè)框進(jìn)行篩選，并得到最終結(jié)果。如圖3，殘差神經(jīng)塊的結(jié)構(gòu)由三個(gè)卷積層構(gòu)成。

圖3 殘差神經(jīng)網(wǎng)絡(luò)塊結(jié)構(gòu)Fig.3 Residual network block structure

經(jīng)過多分支預(yù)測(cè)結(jié)構(gòu)后，可得到由一個(gè)五元組( x,y,w,h,α)構(gòu)成的結(jié)果，再針對(duì)不同數(shù)據(jù)集對(duì)應(yīng)的Benchmark，對(duì)輸出結(jié)果進(jìn)行調(diào)整，即可得到最終結(jié)果。

1.5 不同數(shù)據(jù)集上的跟蹤結(jié)果變換

對(duì)于不同的數(shù)據(jù)集，由于數(shù)據(jù)集的目標(biāo)和難度不同，結(jié)果的標(biāo)注方式也有所差異，對(duì)于OTB2013、OTB2015、TC128、VOT2015~VOT2017等數(shù)據(jù)集，均采用( )

x,y,w,h

的結(jié)構(gòu)對(duì)結(jié)果進(jìn)行標(biāo)記，而VOT從2018年之后，則采用最小外包矩形，通過給出矩形的4個(gè)頂點(diǎn)來對(duì)預(yù)測(cè)結(jié)果進(jìn)行標(biāo)記。

對(duì)于4頂點(diǎn)標(biāo)記的最小覆蓋矩形框的結(jié)果形式，在通過多分支預(yù)測(cè)網(wǎng)絡(luò)得到( )x,y,w,h,α，可以得到旋轉(zhuǎn)前的結(jié)果為

旋轉(zhuǎn)后的結(jié)果矩形框記為( x'i,y'i)，i∈{0,1,2,3}，其中( x'i,y'i)的計(jì)算方式為：

對(duì)于( x,y,w,h)類型的標(biāo)記結(jié)果，則需要在得到最小外包矩形后，將該矩形的水平外包矩形結(jié)果輸出。

2 實(shí)驗(yàn)結(jié)果分析

2.1 實(shí)驗(yàn)環(huán)境及參數(shù)配置

本文算法使用Python3.7，深度學(xué)習(xí)框架PyTorch實(shí)現(xiàn)，實(shí)驗(yàn)環(huán)境為Ubuntu 16.08 LTS，處理器為Intel Core i9-9900，3.6 GHz，八核CPU，64 GB內(nèi)存，顯卡為NVIDIA Tesla V100 16 GB。本文使用GOT-10K、YoutubeBB、HRSC2016和ILSVRC-VID/DET數(shù)據(jù)集作為訓(xùn)練數(shù)據(jù)集。

本文算法使用SGD隨機(jī)梯度下降法進(jìn)行訓(xùn)練，其中設(shè)置權(quán)重衰減系數(shù)為4.5×1E-4，學(xué)習(xí)率以指數(shù)方式從1E-2衰減到1E-5，動(dòng)量系數(shù)為0.92，輸入模板尺度為127×127，搜索區(qū)域模板尺度為255×255，采集通道數(shù)為3。

2.2 評(píng)價(jià)標(biāo)準(zhǔn)

實(shí)驗(yàn)采用目標(biāo)跟蹤公開數(shù)據(jù)集OTB2015、VOT2016和VOT2018對(duì)本文提出的目標(biāo)跟蹤方法進(jìn)行評(píng)估與分析，包括了光照變化、尺度放縮變化、遮擋、目標(biāo)變形、出視野、低分辨率等11種不同類別的跟蹤場(chǎng)景。采用一次通過評(píng)估的方式來計(jì)算跟蹤器準(zhǔn)確率和成功率，將準(zhǔn)確率、成功率、魯棒性、平均覆蓋率以及跟蹤速度作為跟蹤器性能的評(píng)估依據(jù)，對(duì)比的基線算法為SiamRPN，并在圍繞不同跟蹤場(chǎng)景進(jìn)行了性能分析，指標(biāo)的計(jì)算方法如下。

（1）跟蹤精確率一般就是指中心位置誤差（center location error，CLE），它是指預(yù)測(cè)的目標(biāo)中心與真實(shí)的目標(biāo)中心之間的歐式距離，其計(jì)算方法如公式（8）所示：

（2）跟蹤成功率是用以判斷跟蹤器在整個(gè)視頻序列中跟蹤效果的衡量指標(biāo)，一般當(dāng)前幀的預(yù)測(cè)區(qū)域與真實(shí)區(qū)域的交并比指數(shù)超過0.5的時(shí)候，記為在當(dāng)前幀下跟蹤器跟蹤成功。將一段視頻序列中的成功幀數(shù)量記為M，該視頻序列的總幀數(shù)記為N，則跟蹤成功率的計(jì)算方法如公式（9）所示：

（3）跟蹤魯棒性是記錄算法在相同視頻序列下跟蹤出現(xiàn)失敗的次數(shù)的指標(biāo)，在跟蹤過程中，某一幀的精確率低于0.5時(shí)，認(rèn)為算法跟蹤失敗。VOT官方定義視頻的平均魯棒性記為F()i,k，式中k為重復(fù)測(cè)量次數(shù)，可以得到視頻的平均魯棒性計(jì)算方法，如公式（10）所示：

（4）平均覆蓋率（expected average overlap，EAO）也是VOT競(jìng)賽中判定跟蹤器跟蹤性能的重要指標(biāo)，定義視頻序列中，第Ns幀的平均覆蓋率為ΦNs，計(jì)算方法如公式（11）所示：

其中，Φi為預(yù)測(cè)框與真實(shí)框之間的精確率，一般隨著視頻幀數(shù)的增加，平均覆蓋率也會(huì)有相應(yīng)降低，因此Φi≤1，并可以計(jì)算得到EAO的表達(dá)式，如公式（12）所示：

（5）平均跟蹤速度是算法在跟蹤過程中，在不同視頻序列中跟蹤速度的平均值，設(shè)在第i個(gè)視頻序列中的跟蹤速度為Ρi，則該跟蹤器的在數(shù)據(jù)集上的平均跟蹤速度為：

2.3 消融實(shí)驗(yàn)

由于本文算法從特征提取網(wǎng)絡(luò)、區(qū)域提議網(wǎng)絡(luò)和特征融合三個(gè)角度對(duì)SiamRPN進(jìn)行了改進(jìn)，為了確定不同改進(jìn)方法對(duì)跟蹤性能的貢獻(xiàn)，本文在VOT2018數(shù)據(jù)集上進(jìn)行了消融實(shí)驗(yàn)。如表1所示，本文通過使用不同的特征提取網(wǎng)絡(luò)，取消引入AO-RPN和多分支預(yù)測(cè)網(wǎng)絡(luò)，取消在不同特征層之間進(jìn)行特征融合共三個(gè)角度對(duì)跟蹤模型進(jìn)行了實(shí)驗(yàn)，結(jié)果顯示對(duì)跟蹤性能提升最明顯的是引入AO-RPN和多分支預(yù)測(cè)網(wǎng)絡(luò)，其次是使用深度特征提取網(wǎng)絡(luò)和對(duì)多階段的跟蹤結(jié)果進(jìn)行融合。在進(jìn)行消融實(shí)驗(yàn)的過程中，由于SiamRPN的訓(xùn)練方法破壞了深層特征提取網(wǎng)絡(luò)的平移不變性，學(xué)習(xí)到的特征會(huì)存在位置偏見。因此，本文算法在使用深層特征提取網(wǎng)絡(luò)時(shí)，將正樣本按照均勻分布的方法圍繞中心點(diǎn)進(jìn)行偏移，以緩解破壞平衡不變性對(duì)位置偏見產(chǎn)生的影響。

表1 消融實(shí)驗(yàn)結(jié)果Table 1 Results of ablation experiment

如表1所示，編號(hào)3為本文所提方法在VOT2018上的性能數(shù)據(jù)，引入了現(xiàn)代化特征提取網(wǎng)絡(luò)、多階段結(jié)果融合模塊和AO-RPN與多分支預(yù)測(cè)網(wǎng)絡(luò)。編號(hào)9為基線算法的性能數(shù)據(jù)，骨干網(wǎng)絡(luò)為AlexNet，未引入多階段結(jié)果融合模塊和AO-RPN與多分支預(yù)測(cè)網(wǎng)絡(luò)。

在表1中，將編號(hào)4、編號(hào)5和編號(hào)9的實(shí)驗(yàn)數(shù)據(jù)進(jìn)行比較，可以發(fā)現(xiàn)不同的特征提取網(wǎng)絡(luò)對(duì)跟蹤器的影響不同，較深的ResNet-50和VGGNet-16能夠有效提升跟蹤器的精確率，這是由于增加骨干網(wǎng)絡(luò)的深度可以提取到更具有判別力的特征，從而有效提升跟蹤網(wǎng)絡(luò)的跟蹤性能。

將編號(hào)7和編號(hào)9的實(shí)驗(yàn)數(shù)據(jù)進(jìn)行比較，可以看到以AlexNet為骨干網(wǎng)絡(luò)，引入多階段結(jié)果融合模塊時(shí)，精確率提升了0.4個(gè)百分點(diǎn)，提升效果不大，這是由于AlexNet的層數(shù)較淺，提取到的特征差別不大，在此基礎(chǔ)上進(jìn)行特征融合并不能取得較好的效果。但是，將編號(hào)2和編號(hào)4的實(shí)驗(yàn)數(shù)據(jù)進(jìn)行比較，可以發(fā)現(xiàn)以ResNet-50作為特征提取的骨干網(wǎng)絡(luò)時(shí)，引入多階段結(jié)果融合模塊可以提升2.7個(gè)百分點(diǎn)，這是由于在深層特征提取網(wǎng)絡(luò)中，引入多階段結(jié)果融合模塊可以保留目標(biāo)的細(xì)節(jié)特征，提高跟蹤器的跟蹤效果。

將編號(hào)8和編號(hào)9的實(shí)驗(yàn)數(shù)據(jù)進(jìn)行比較，可以看到在引入AO-RPN和預(yù)測(cè)網(wǎng)絡(luò)后，雖然精確率有所增加，但是魯棒性有所降低，這是由于AO-RPN對(duì)目標(biāo)的預(yù)測(cè)框覆蓋率較高，雖然在更新模板的時(shí)候會(huì)對(duì)減少背景的影響，但降低了跟蹤器的泛化性，同時(shí)在出現(xiàn)相似目標(biāo)的時(shí)候也很難根據(jù)背景信息進(jìn)行判別，因此在引入AO-RPN和多分支預(yù)測(cè)網(wǎng)絡(luò)時(shí)，本文方法的魯棒性會(huì)略微下降。

通過消融實(shí)驗(yàn)可以得出，特征提取網(wǎng)絡(luò)、區(qū)域提議網(wǎng)絡(luò)和特征融合三個(gè)改進(jìn)模塊均能夠有效提升跟蹤器的跟蹤效果。

2.4 對(duì)比實(shí)驗(yàn)及結(jié)果分析

為了客觀并且有針對(duì)性地驗(yàn)證本文算法的有效性，本文在3個(gè)被廣泛應(yīng)用的跟蹤基準(zhǔn)數(shù)據(jù)集上對(duì)算法的性能和速度進(jìn)行實(shí)驗(yàn)，并與其他的優(yōu)秀算法進(jìn)行了對(duì)比分析，最后在一些特殊場(chǎng)景的數(shù)據(jù)集上對(duì)算法的泛化能力進(jìn)行了驗(yàn)證。

本文選擇用于對(duì)比實(shí)驗(yàn)的算法有SiamFC，該方法繼SINT后首次將孿生神經(jīng)網(wǎng)絡(luò)用于目標(biāo)跟蹤的算法模型，避免了深度學(xué)習(xí)領(lǐng)域在目標(biāo)跟蹤應(yīng)用上精度高但速度慢的缺點(diǎn)，在極大提升算法性能的同時(shí)，保持著較高的跟蹤速度，為后續(xù)深度學(xué)習(xí)在目標(biāo)跟蹤方向上的應(yīng)用提供了思路。SiamRPN，該方法將區(qū)域提議網(wǎng)絡(luò)用于目標(biāo)跟蹤，拋開傳統(tǒng)圖像金字塔式的匹配模式，在提高跟蹤速度的同時(shí)提高了精準(zhǔn)度。SiamRPN++，首次將深層特征提取網(wǎng)絡(luò)用于目標(biāo)跟蹤，解決了平衡不變性對(duì)位置偏見的影響，同時(shí)提高了算法的跟蹤性能。DaSiam‐RPN[20]，引入了更多數(shù)據(jù)集來充實(shí)正樣本數(shù)據(jù)，提高了算法的泛化能力，同時(shí)擴(kuò)充了困難樣本來提高算法的判別能力，設(shè)計(jì)了干擾物感知模型，通過減小跟蹤器對(duì)干擾物的響應(yīng)，從而提高跟蹤器的準(zhǔn)確率。SiamCAR[21]通過無錨框策略將回歸分支轉(zhuǎn)化為中心點(diǎn)及中心點(diǎn)到錨框的距離，再將結(jié)果分類得到最佳目標(biāo)的中心點(diǎn)，之后提取錨框的坐標(biāo)，從而實(shí)現(xiàn)跟蹤。SiamSE[22]通過構(gòu)造一個(gè)等比例變換的縮放模塊，為SiamFC構(gòu)造了一個(gè)改進(jìn)模式，大大提高了跟蹤性能與效率。

2.4.1 OTB2015數(shù)據(jù)集實(shí)驗(yàn)結(jié)果

OTB2015數(shù)據(jù)集是目標(biāo)跟蹤領(lǐng)域通用的經(jīng)典數(shù)據(jù)集之一，包括了光照變化（illumination variation，IV）、尺度放縮變化（scale variation，SV）、遮擋（occlusion，OCC）、目標(biāo)變形（deformation，DEF）、運(yùn)動(dòng)模糊（motion blur，MB）、快速移動(dòng)（fast motion，F(xiàn)M）、平面內(nèi)旋轉(zhuǎn)（in-plane rotation，IPR）、平面外旋轉(zhuǎn)（out-of-plane rotation，OPR）、離開視野（out-of-view，OV）、相似背景（background clutters，BC）、低分辨率（low resolution，LR）共11種不同類別的跟蹤場(chǎng)景。在實(shí)驗(yàn)中，本文采用一次通過評(píng)估（one-pass evaluation，OPE）的方式來計(jì)算跟蹤器準(zhǔn)確率和成功率，將準(zhǔn)確率、成功率以及跟蹤速度作為評(píng)判跟蹤器性能的評(píng)估依據(jù)。

表2為本文算法與其他算法在OTB2015數(shù)據(jù)集中的實(shí)驗(yàn)結(jié)果對(duì)比，經(jīng)過對(duì)比實(shí)驗(yàn)可知，在引入深度特征提取網(wǎng)絡(luò)、多階段融合和AO-RPN加多分支預(yù)測(cè)網(wǎng)絡(luò)之后，本文方法相較于SiamRPN在OTB2015數(shù)據(jù)集上，成功率提高了8.5個(gè)百分點(diǎn)，準(zhǔn)確率提高了6.4個(gè)百分點(diǎn)，同時(shí)在近年同類型方法中成功率和準(zhǔn)確率都達(dá)到最優(yōu)水平，同時(shí)跟蹤速度超過了DaSiamRPN方法，滿足跟蹤方法對(duì)實(shí)時(shí)性的要求。

表2 OTB2015數(shù)據(jù)集的對(duì)比實(shí)驗(yàn)Table 2 Comparative experiment on OTB2015 dataset

圖4為本文算法在OTB2015數(shù)據(jù)集上與其他相關(guān)算法進(jìn)行對(duì)比實(shí)驗(yàn)時(shí)，部分難度較高視頻序列的跟蹤情況。Motor Rolling是一個(gè)以旋轉(zhuǎn)為主的目標(biāo)跟蹤視頻序列，在34幀的時(shí)候，由于目標(biāo)出現(xiàn)小幅度旋轉(zhuǎn)，可以看到SiamRPN和SiamRPN++已經(jīng)在跟蹤時(shí)出現(xiàn)了偏移，而引入AO-RPN的網(wǎng)絡(luò)對(duì)旋轉(zhuǎn)的跟蹤性能更好。在84和100幀時(shí)，可以發(fā)現(xiàn)其他三個(gè)跟蹤器已經(jīng)不能較好地對(duì)目標(biāo)進(jìn)行覆蓋，而本文算法能夠?qū)δ繕?biāo)進(jìn)行非常好的覆蓋，雖然這段時(shí)間目標(biāo)發(fā)生了旋轉(zhuǎn)和放縮變換，但由于本文方法用了多階段結(jié)果的融合方法，對(duì)尺度變換和旋轉(zhuǎn)變換有較高的魯棒性，因此能在這個(gè)視頻序列中取得較好的成績(jī)。

圖4 對(duì)比算法在OTB2015序列上的跟蹤結(jié)果對(duì)比Fig.4 Comparison of tracking results of various algorithms on OTB2015

在Box序列中，可以看到在150幀雖然跟蹤器對(duì)目標(biāo)的覆蓋效果都較好，但由于該視頻中目標(biāo)的形變和旋轉(zhuǎn)較多，在237幀的時(shí)候，SiamRPN已經(jīng)在跟蹤時(shí)產(chǎn)生了偏移。在349幀的時(shí)候，光照、旋轉(zhuǎn)和放縮變化同時(shí)發(fā)生，SiamRPN和SiamRPN++在跟蹤中已經(jīng)出現(xiàn)丟失目標(biāo)的情況，但本文方法通過深度骨干網(wǎng)絡(luò)和多分支預(yù)測(cè)網(wǎng)絡(luò)提高了模型的泛化能力，能夠在較為復(fù)雜的情況下保持跟蹤狀態(tài)。在Liquor和Tiger2序列中，部分遮擋和完全遮擋的情況非常多，可以看到Liquor的第879幀和Tiger2的264幀、355幀，由于遮擋導(dǎo)致目標(biāo)的信息多少，DaSiamRPN和SiamRPN甚至已經(jīng)出現(xiàn)了目標(biāo)丟失的情況，但由于本文的特征提取網(wǎng)絡(luò)較深，感受野較大，因此能夠在復(fù)雜的情況下保持跟蹤效果。

2.4.2 VOT2016數(shù)據(jù)集實(shí)驗(yàn)結(jié)果

VOT2016數(shù)據(jù)集是由60個(gè)視頻序列構(gòu)成的基準(zhǔn)數(shù)據(jù)集，相較于OTB2015，該數(shù)據(jù)集的視頻序列難度更高，更具有挑戰(zhàn)性。在該數(shù)據(jù)集上測(cè)試更能夠體現(xiàn)算法在困難情況下的跟蹤效果，因此在該數(shù)據(jù)集上，本文選擇了SiamRPN、DaSiamRPN、SiamRPN++、SiamFC和SiamSE進(jìn)行對(duì)比實(shí)驗(yàn)。

表3為本文算法與其他算法在VOT2016數(shù)據(jù)集中的實(shí)驗(yàn)結(jié)果對(duì)比，由實(shí)驗(yàn)可知，經(jīng)過改進(jìn)后，本文方法相較于SiamRPN在VOT2016上，EAO提高了1.4個(gè)百分點(diǎn)，精確率提高了4.1個(gè)百分點(diǎn)，并保持了較高的跟蹤速度，同時(shí)在近年同類型方法中成功率和準(zhǔn)確率都達(dá)到最優(yōu)水平。

表3 VOT2016數(shù)據(jù)集的對(duì)比實(shí)驗(yàn)Table 3 Comparative experiment on VOT2016 dataset

圖5為本文算法在VOT數(shù)據(jù)集上與其他相關(guān)算法進(jìn)行對(duì)比實(shí)驗(yàn)時(shí)，在部分視頻序列上的跟蹤情況?？梢钥吹皆赟oldier這種復(fù)雜背景的視頻序列中，深度特征提取網(wǎng)絡(luò)能夠發(fā)揮較好的效果，一方面能夠?qū)δ繕?biāo)保持較好的覆蓋率和跟蹤準(zhǔn)確度，另一方面不會(huì)出現(xiàn)目標(biāo)丟失的情況，而SiamFC已經(jīng)徹底丟失了目標(biāo)。在Bmx這種旋轉(zhuǎn)變換較多的視頻序列，通過旋轉(zhuǎn)區(qū)域提議網(wǎng)絡(luò)，本文算法能夠?qū)δ繕?biāo)產(chǎn)生非常好的覆蓋效果，在53和60幀，本文算法能夠?qū)δ繕?biāo)進(jìn)行完整的覆蓋，而SiamFC和SiamRPN在18幀已經(jīng)開始出現(xiàn)了目標(biāo)丟失的情況，而SiamSE則開始對(duì)目標(biāo)的衣服進(jìn)行跟蹤。在光照的情況下，可以看到由于使用深度特征提取網(wǎng)絡(luò)并對(duì)結(jié)果進(jìn)行融合，能夠有效提高覆蓋率和準(zhǔn)確率，相較于其他算法，本文的方法對(duì)目標(biāo)的覆蓋率更好。同樣，在大尺度放縮變換時(shí)，本文方法的感受野更大，泛化能力更高，在103幀攝像機(jī)快速拉進(jìn)的時(shí)候能夠保持目標(biāo)的跟蹤，并在拉遠(yuǎn)時(shí)，跟蹤器能夠不丟失目標(biāo)，在保持高準(zhǔn)確率和覆蓋率的情況下保持較高的跟蹤速度，本對(duì)比實(shí)驗(yàn)?zāi)軌蝮w現(xiàn)改進(jìn)方法的有效性。

圖5 對(duì)比算法在VOT2016序列上的跟蹤結(jié)果對(duì)比Fig.5 Comparison of tracking results of various algorithms on VOT2016

2.4.3 VOT2018數(shù)據(jù)集實(shí)驗(yàn)結(jié)果

VOT2018數(shù)據(jù)集是由60個(gè)視頻序列構(gòu)成的基準(zhǔn)數(shù)據(jù)集，與OTB2015和VOT2016不同的是，該數(shù)據(jù)集改變了結(jié)果的標(biāo)注方法，通過目標(biāo)的最小外包矩形框來對(duì)結(jié)果進(jìn)行標(biāo)記，這種標(biāo)記方法雖然更貼近真實(shí)跟蹤場(chǎng)景，但大大提高了跟蹤難度，本文在VOT2018數(shù)據(jù)集上將旋轉(zhuǎn)區(qū)域提議網(wǎng)絡(luò)的孿生神經(jīng)網(wǎng)絡(luò)跟蹤算法與SiamFC、SiamRPN、SiamRPN++、DaSiamRPN和SiamCAR進(jìn)行對(duì)比實(shí)驗(yàn)，EAO比SiamRPN算法提高了3.4個(gè)百分點(diǎn)，精確率提高了9.9個(gè)百分點(diǎn)，同時(shí)在對(duì)比實(shí)驗(yàn)中精確率達(dá)到最優(yōu)水平，EAO達(dá)到次優(yōu)水平。該對(duì)比實(shí)驗(yàn)?zāi)軌蝌?yàn)證，在改變數(shù)據(jù)集的標(biāo)注形式下，由于本文使用旋轉(zhuǎn)區(qū)域提議網(wǎng)絡(luò)進(jìn)行跟蹤，精確率仍沒有明顯下降，覆蓋率僅下降1.9個(gè)百分點(diǎn)，因此可以體現(xiàn)改進(jìn)模塊的有效性。

表4 VOT2018數(shù)據(jù)集的對(duì)比實(shí)驗(yàn)Table 4 Comparative experiment on VOT2018 dataset

2.4.4 旋轉(zhuǎn)場(chǎng)景視頻序列實(shí)驗(yàn)結(jié)果

本文所提方法在SiamRPN系列方法的基礎(chǔ)上，針對(duì)目標(biāo)跟蹤過程中的旋轉(zhuǎn)問題，提出了AO-RPN方法，為了測(cè)試跟蹤器在旋轉(zhuǎn)場(chǎng)景下的跟蹤性能，本文在OTB數(shù)據(jù)集中挑選了51個(gè)包含旋轉(zhuǎn)因素的視頻序列進(jìn)行測(cè)試。如表5所示，在引入現(xiàn)代化深度特征提取網(wǎng)絡(luò)、旋轉(zhuǎn)區(qū)域提議網(wǎng)絡(luò)以及多分支預(yù)測(cè)網(wǎng)絡(luò)后，本文在包含旋轉(zhuǎn)因素的視頻測(cè)試序列中，成功率達(dá)到0.702，在基線算法的基礎(chǔ)上提高了11.2個(gè)百分點(diǎn)，比第二名高出3.7個(gè)百分點(diǎn)。精確率達(dá)到0.937，在基線算法的基礎(chǔ)上提高了13.4個(gè)百分點(diǎn)，比第二名高出3.4個(gè)百分點(diǎn)?？梢钥闯霰疚姆椒ㄔ谛D(zhuǎn)場(chǎng)景下的性能指標(biāo)較好，遠(yuǎn)高于基線算法對(duì)旋轉(zhuǎn)目標(biāo)的跟蹤性能。同時(shí)，在SiamRPN系列方法中，本文對(duì)旋轉(zhuǎn)場(chǎng)景的跟蹤效果也處于較優(yōu)水平，能夠體現(xiàn)出本文所提模塊對(duì)旋轉(zhuǎn)場(chǎng)景跟蹤效果提升的有效性。

表5 算法在旋轉(zhuǎn)序列中的實(shí)驗(yàn)結(jié)果對(duì)比Table 5 Experimental results comparison of algorithms on rotation sequence

2.4.5 其他特殊場(chǎng)景視頻序列實(shí)驗(yàn)結(jié)果

最后，作為通用型跟蹤器，為了驗(yàn)證本文在一些特殊環(huán)境與情況下的跟蹤效果與跟蹤性能。本文將OTB和VOT中一些特殊場(chǎng)景的視頻序列進(jìn)行討論，并與DaSiam、SiamRPN和SiamRPN++進(jìn)行對(duì)比實(shí)驗(yàn)。

如圖6，水下生物跟蹤視頻與演唱會(huì)的跟蹤視頻面臨的挑戰(zhàn)近似，水下跟蹤往往由于亮度和折射原因，并且水下生物具有一定的保護(hù)色，因此水下跟蹤是一個(gè)相似背景下的目標(biāo)跟蹤問題。在面臨相似背景的目標(biāo)跟蹤時(shí)，提高感受野大小，并且加深特征提取網(wǎng)絡(luò)可以在目標(biāo)跟蹤時(shí)有效地對(duì)目標(biāo)進(jìn)行信息提取，再加上多層特征結(jié)果融合。可以看到，由于SiamRPN僅使用了Alex作為特征提取網(wǎng)絡(luò)，導(dǎo)致在跟蹤過程中只能對(duì)響應(yīng)最高處進(jìn)行跟蹤，對(duì)觸須等細(xì)節(jié)位置覆蓋率較差。而Siam‐RPN++雖然采用了深層特征提取網(wǎng)絡(luò)，但是在訓(xùn)練過程中沒有對(duì)充實(shí)正樣本，提高跟蹤器的泛化能力，因此跟蹤效果較差，本文方法由于采取了深層網(wǎng)絡(luò)，增加了多分支預(yù)測(cè)網(wǎng)絡(luò)，因此對(duì)細(xì)節(jié)的提取程度更高，能夠在相似背景下對(duì)目標(biāo)進(jìn)行更精準(zhǔn)地覆蓋與跟蹤。

圖6 對(duì)比算法在特殊序列上的跟蹤結(jié)果Fig.6 Comparison of tracking results of various algorithms on special

Matrix是OTB2015中一個(gè)較難視頻序列，其中復(fù)雜情況包含光照變化、快速運(yùn)動(dòng)、遮擋、形變、旋轉(zhuǎn)等，并且多種情況在非常短的時(shí)間內(nèi)共同作用于目標(biāo)，可以看到由于采用了AO-RPN網(wǎng)絡(luò)和多分支預(yù)測(cè)網(wǎng)絡(luò)，本文提出的方法對(duì)目標(biāo)的跟蹤能力更強(qiáng)，同時(shí)加深特征提取網(wǎng)絡(luò)，能夠提取到更高層的特征，感受野更大，最后對(duì)選取多層特征進(jìn)行預(yù)測(cè)，提取置信度最高的結(jié)果。因此，在93幀SiamRPN已經(jīng)出現(xiàn)了目標(biāo)丟失的情況，而DaSiam和SiamRPN++對(duì)目標(biāo)的覆蓋已經(jīng)產(chǎn)生偏移，但本文的方法仍能精準(zhǔn)地對(duì)目標(biāo)進(jìn)行覆蓋。

在Skating1序列中，分別出現(xiàn)了相似背景、光照變換、尺度變換等復(fù)雜，在相似背景和光照變化的情況上，深度特征提取網(wǎng)絡(luò)和多層特征結(jié)果融合能夠有效地對(duì)這些情況進(jìn)行處理，在目標(biāo)旋轉(zhuǎn)或形變的時(shí)候，AO-RPN和多分支預(yù)測(cè)網(wǎng)絡(luò)對(duì)跟蹤結(jié)果的幫助更大，因此可以看到在357和311幀的情況下，由于光照原因目標(biāo)與背景極為相似，本文方法可以有效對(duì)目標(biāo)進(jìn)行跟蹤，而SiamFC和SiamRPN++已經(jīng)丟失了需要跟蹤的目標(biāo)。

3 結(jié)論

針對(duì)傳統(tǒng)區(qū)域提議網(wǎng)絡(luò)應(yīng)用于目標(biāo)跟蹤時(shí)，目標(biāo)旋轉(zhuǎn)會(huì)對(duì)跟蹤器的跟蹤性能造成較大影響這一問題，本文提出了一種旋轉(zhuǎn)區(qū)域提議孿生神經(jīng)網(wǎng)絡(luò)跟蹤算法，先通過深層骨干網(wǎng)絡(luò)提取目標(biāo)與搜索區(qū)域的特征，再通過AO-RPN結(jié)構(gòu)對(duì)旋轉(zhuǎn)區(qū)域進(jìn)行預(yù)測(cè)，最終通過旋轉(zhuǎn)預(yù)測(cè)頭對(duì)目標(biāo)進(jìn)行跟蹤，這種跟蹤方法能夠在保持高跟蹤速度的同時(shí)，大幅提高跟蹤精度。通過在OTB2015、VOT2016和VOT2018公開數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，并與多種跟蹤器進(jìn)行比較分析。結(jié)果表明，本文所提出的旋轉(zhuǎn)區(qū)域提議網(wǎng)絡(luò)跟蹤模型在遮擋、旋轉(zhuǎn)、復(fù)雜背景、光照變化等場(chǎng)景的跟蹤性能都優(yōu)于目前綜合性能較好的主流算法，并且跟蹤速度快，滿足實(shí)時(shí)性要求。雖然本方法的跟蹤性能較好，但并沒有對(duì)模板進(jìn)行更新處理，如何在跟蹤過程中更新并得到一個(gè)高置信度的跟蹤模板，將是下一步的研究方向。