核相關(guān)濾波與孿生網(wǎng)絡(luò)相結(jié)合的目標(biāo)跟蹤算法

徐 亮，張 江，張 晶，2，3，楊亞琦

1(昆明理工大學(xué) 信息工程與自動(dòng)化學(xué)院，昆明 650500) 2(云南梟潤(rùn)科技服務(wù)有限公司，昆明 650500) 3(昆明理工大學(xué) 云南省人工智能重點(diǎn)實(shí)驗(yàn)室，昆明 650500) 4(中國(guó)船舶集團(tuán)有限公司第七〇五研究所昆明分部，昆明 650102) 5(云南省市場(chǎng)監(jiān)督管理局，昆明 650228)

1 引 言

目標(biāo)跟蹤在計(jì)算機(jī)視覺(jué)領(lǐng)域和信息物理融合系統(tǒng)感知層引起了越來(lái)越多的關(guān)注[1-3]，目標(biāo)跟蹤的相關(guān)研究與機(jī)器學(xué)習(xí)[4]和深度學(xué)習(xí)[5]等學(xué)科有著緊密的聯(lián)系.目標(biāo)跟蹤過(guò)程中存在的各種干擾因素使得目標(biāo)跟蹤效果差強(qiáng)人意，為此學(xué)者提出了很多優(yōu)秀的目標(biāo)跟蹤算法，基于生成式模型算法計(jì)算后續(xù)幀輸入圖像中搜索區(qū)域圖像與上一幀輸入圖像中目標(biāo)區(qū)域圖像的相似度，搜索區(qū)域圖像中相似度最高的部分作為當(dāng)前幀輸入圖像目標(biāo)區(qū)域圖像，基于生成式模型算法有IVT[6]算法和CSK[7]算法等.基于判別式模型算法區(qū)分目標(biāo)圖像和背景圖像信息后來(lái)建立相關(guān)濾波器模板，其進(jìn)行目標(biāo)跟蹤時(shí)自適應(yīng)能力更強(qiáng)且跟蹤精度更高，基于判別式模式算法有TLD[8]算法和KCF[9]算法等，以上目標(biāo)跟蹤算法的提出為后續(xù)提高目標(biāo)跟蹤的精度和加快目標(biāo)跟蹤的速率打下了堅(jiān)定的基礎(chǔ).

目標(biāo)跟蹤過(guò)程中由于鏡頭的拉伸或收縮使得跟蹤目標(biāo)的尺寸變大或縮小，就會(huì)導(dǎo)致對(duì)局部上下文區(qū)域圖像提取的特征圖中無(wú)法包含跟蹤目標(biāo)的全部信息，對(duì)此Danelljan提出DSST[10]算法，該算法對(duì)局部上下文區(qū)域圖像提取單一的HOG特征圖并加入33維度尺度池，解決了目標(biāo)跟蹤過(guò)程中跟蹤目標(biāo)尺寸變大或縮小時(shí)對(duì)局部上下文區(qū)域圖像提取的特征圖中無(wú)法包含跟蹤目標(biāo)的全部信息的問(wèn)題；對(duì)局部上下文區(qū)域圖像提取的單一HOG特征圖在復(fù)雜環(huán)境下無(wú)法對(duì)跟蹤目標(biāo)的外觀信息進(jìn)行準(zhǔn)確描述，對(duì)此Li提出SAMF[11]算法，該算法對(duì)局部上下文區(qū)域圖像提取多個(gè)特征進(jìn)行加權(quán)融合同時(shí)加入7維度尺度池進(jìn)行目標(biāo)跟蹤，在大多數(shù)情況下都能對(duì)跟蹤目標(biāo)可以實(shí)現(xiàn)準(zhǔn)確的跟蹤.以上相關(guān)濾波目標(biāo)跟蹤算法在圖像模糊和目標(biāo)快速運(yùn)動(dòng)等復(fù)雜條件下跟蹤效果不是很理想，為此基于卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)跟蹤算法開(kāi)始發(fā)揮作用，例如Song提出VITAL[12]算法，該算法使用生成對(duì)抗式網(wǎng)絡(luò)獲得當(dāng)前幀輸入圖像中跟蹤目標(biāo)的最魯棒特征和使用高代價(jià)敏感損失函數(shù)減小當(dāng)前幀輸入圖像中負(fù)樣本的數(shù)量，從而使得當(dāng)前幀輸入圖像中相關(guān)跟蹤器更加準(zhǔn)確，跟蹤精度得到進(jìn)一步提高；Wang提出SiamMask[13]算法，該算法在孿生網(wǎng)絡(luò)結(jié)構(gòu)的基礎(chǔ)上加入了跟蹤目標(biāo)分割框架，從而在當(dāng)前幀輸入圖像中對(duì)目標(biāo)矩形框進(jìn)行更加準(zhǔn)確的預(yù)測(cè)，就可以在局部上下文區(qū)域圖像中對(duì)跟蹤目標(biāo)提取更加準(zhǔn)確的信息，目標(biāo)跟蹤精度來(lái)到一個(gè)新的高度.

相關(guān)濾波目標(biāo)跟蹤算法的跟蹤速率很快，使得目標(biāo)的實(shí)時(shí)跟蹤成為可能，但相關(guān)濾波目標(biāo)跟蹤算法的不足是在圖像模糊和跟蹤目標(biāo)快速運(yùn)動(dòng)等復(fù)雜條件下跟蹤精度不高.通過(guò)卷積神經(jīng)網(wǎng)絡(luò)對(duì)輸入圖像提取的深度特征泛化能力強(qiáng)，能夠很好的表示跟蹤目標(biāo)的外觀和類別，從而大大提高了目標(biāo)跟蹤的精度，但基于卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)跟蹤算法的不足是提取深度特征時(shí)計(jì)算復(fù)雜會(huì)導(dǎo)致跟蹤速率大大下降，為此本文提出核相關(guān)濾波與孿生網(wǎng)絡(luò)相結(jié)合的目標(biāo)跟蹤算法，核相關(guān)濾波目標(biāo)跟蹤算法對(duì)輸入圖像提取單一的HOG特征圖進(jìn)行目標(biāo)跟蹤，在大多數(shù)情況下能夠?qū)崿F(xiàn)對(duì)目標(biāo)的準(zhǔn)確跟蹤，同時(shí)具有非常高的跟蹤速率，因此若輸入圖像幀數(shù)不為5的倍數(shù)則使用仿射HOG特征圖進(jìn)行目標(biāo)跟蹤從而保證目標(biāo)跟蹤的速率；孿生網(wǎng)絡(luò)[14]對(duì)輸入圖像提取目標(biāo)區(qū)域圖像特征圖和搜索區(qū)域圖像特征圖具有很強(qiáng)的特征表達(dá)能力，因此若輸入圖像幀數(shù)為5的倍數(shù)則使用深度特征圖進(jìn)行目標(biāo)位置的更正從而保證目標(biāo)跟蹤的精度.

2 核相關(guān)濾波與孿生網(wǎng)絡(luò)相結(jié)合的目標(biāo)跟蹤算法

2.1 全卷積孿生網(wǎng)絡(luò)

在卷積神經(jīng)網(wǎng)絡(luò)中全卷積孿生網(wǎng)絡(luò)是一種比較特殊的網(wǎng)絡(luò)結(jié)構(gòu)，它由兩個(gè)網(wǎng)絡(luò)子結(jié)構(gòu)組成，目標(biāo)區(qū)域圖像對(duì)應(yīng)網(wǎng)絡(luò)結(jié)構(gòu)負(fù)責(zé)提取第一幀輸入圖像中目標(biāo)區(qū)域圖像特征，搜索區(qū)域圖像對(duì)應(yīng)網(wǎng)絡(luò)結(jié)構(gòu)負(fù)責(zé)提取每一幀輸入圖像中搜索區(qū)域圖像特征，這兩個(gè)網(wǎng)絡(luò)子結(jié)構(gòu)具有相同的權(quán)值向量和偏置向量，目標(biāo)區(qū)域圖像和搜索區(qū)域圖像對(duì)應(yīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示.

在全卷積孿生網(wǎng)絡(luò)中使用AlexNet網(wǎng)絡(luò)作為圖像特征提取網(wǎng)絡(luò)，AlexNet網(wǎng)絡(luò)的具體結(jié)構(gòu)如表1所示.目標(biāo)跟蹤過(guò)程中不需要對(duì)跟蹤目標(biāo)進(jìn)行分類，也不需要對(duì)圖像提取非常深層的特征，如果目標(biāo)區(qū)域圖像在整個(gè)輸入圖像中所占比重非常小，對(duì)目標(biāo)區(qū)域圖像提取非常深層的特征會(huì)使得跟蹤目標(biāo)丟失，所以AlexNet網(wǎng)絡(luò)設(shè)計(jì)為五層.在AlexNet網(wǎng)絡(luò)中的第二層、第四層和第五層中將卷積核分為了兩組，卷積核分組的好處就是減少了AlexNet網(wǎng)絡(luò)中參數(shù)的個(gè)數(shù)；采用最大池化操作來(lái)減小特征圖維度的同時(shí)提取關(guān)鍵特征，只在第一個(gè)和第二個(gè)卷積層后面存在最大池化層，因?yàn)樽畲蟪鼗瘜訑?shù)量較多時(shí)會(huì)使得一些關(guān)鍵特征丟失，從而影響目標(biāo)跟蹤的精度；除第五個(gè)卷積層外在每一個(gè)卷積層后面采用ReLU激活函數(shù)，對(duì)特征進(jìn)行非線性處理從而使其特征表達(dá)能力更強(qiáng).

圖1 目標(biāo)區(qū)域圖像和搜索區(qū)域圖像對(duì)應(yīng)網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Target area image and search area image cresponding netwrok structure

表1 AlexNet網(wǎng)絡(luò)的具體結(jié)構(gòu)Table 1 Speific structure of the AlexNet network

相鄰幀輸入圖像之間具有高度的相關(guān)性，本文算法將跟蹤目標(biāo)在上一幀輸入圖像中的目標(biāo)位置作為先驗(yàn)信息，人為給定第一幀輸入圖像中目標(biāo)區(qū)域圖像z并將其傳遞給孿生網(wǎng)絡(luò)后提取目標(biāo)區(qū)域圖像特征圖φ(z)，后續(xù)幀輸入圖像由跟蹤目標(biāo)在上一幀輸入圖像中的目標(biāo)位置確定搜索區(qū)域圖像x并將其傳遞給全卷積孿生網(wǎng)絡(luò)提取搜索區(qū)域圖像特征圖φ(x)，然后兩個(gè)特征圖通過(guò)相關(guān)卷積操作后得到最終的熱圖f(x，z)，整個(gè)過(guò)程使用如下函數(shù)表達(dá)式表示：

f(x，z)=g(φ(x)，φ(z))=φ(x)?φ(z)+b

(1)

上式中特征函數(shù)φ(·)表示使用已經(jīng)訓(xùn)練好的特征提取網(wǎng)絡(luò)對(duì)圖像提取深度特征，相似度量函數(shù)g(·)將相關(guān)濾波算法中二維特征圖的二維卷積操作轉(zhuǎn)換為卷積神經(jīng)網(wǎng)絡(luò)中三維特征圖的三維卷積操作，即目標(biāo)區(qū)域圖像特征圖φ(z)在搜索區(qū)域圖像特征圖φ(x)上進(jìn)行滑窗操作，熱圖即搜索區(qū)域圖像中每一個(gè)子窗口圖像與目標(biāo)區(qū)域圖像的相似度得分圖，在熱圖中得分越高的位置表明是目標(biāo)區(qū)域的概率越大，b是一個(gè)在訓(xùn)練過(guò)程中得到的二維矩陣，使得相似度量的結(jié)果更加準(zhǔn)確.

在全卷積孿生網(wǎng)絡(luò)中搜索區(qū)域圖像不需要與目標(biāo)區(qū)域圖像大小相同，可以提供一個(gè)更大的搜索區(qū)域圖像作為全卷積孿生網(wǎng)絡(luò)的輸入并計(jì)算所有子窗口圖像與目標(biāo)區(qū)域圖像的相似度.輸入大小為255×255的搜索區(qū)域圖像，經(jīng)過(guò)池化層的池化操作后得到特征圖的尺寸不斷縮小，與目標(biāo)區(qū)域圖像特征圖進(jìn)行三維卷積操作后最終得到熱圖的大小為17×17，則在當(dāng)前幀輸入圖像中無(wú)法獲得跟蹤目標(biāo)的準(zhǔn)確位置，將熱圖采用雙立方插值方式調(diào)整大小為輸入圖像大小從而求得跟蹤目標(biāo)在輸入圖像中的準(zhǔn)確位置.

2.2 相關(guān)濾波器模板的建立和更新

對(duì)輸入圖像中局部上下文區(qū)域圖像進(jìn)行循環(huán)移位后提取HOG特征圖，在跟蹤目標(biāo)沒(méi)有發(fā)生尺度變化和旋轉(zhuǎn)變形等干擾因素下HOG特征圖能夠很好的表示跟蹤目標(biāo)的局部形狀信息，在大多數(shù)情況下能夠?qū)崿F(xiàn)對(duì)目標(biāo)的準(zhǔn)確跟蹤.但是在目標(biāo)跟蹤過(guò)程中跟蹤目標(biāo)發(fā)生尺度變化和旋轉(zhuǎn)變形時(shí)對(duì)輸入圖像提取的HOG特征泛化能力不強(qiáng)并且特征表達(dá)差異很大，模型和最終相關(guān)濾波器模板更新不準(zhǔn)確，通過(guò)HOG特征圖計(jì)算得到的目標(biāo)位置不準(zhǔn)確，誤差逐幀累積最終導(dǎo)致目標(biāo)跟蹤失敗，為此我們引入仿射變換以解決目標(biāo)在跟蹤過(guò)程中跟蹤目標(biāo)發(fā)生尺度變化和旋轉(zhuǎn)變形時(shí)對(duì)輸入圖像提取的HOG特征無(wú)法準(zhǔn)確描述跟蹤目標(biāo)外觀信息的問(wèn)題，常用的仿射變換如圖2所示.

圖2 仿射變換示例圖Fig.2 Affine transformation example map

人為給定第一幀輸入圖像中目標(biāo)區(qū)域圖像，將目標(biāo)區(qū)域圖像寬度和高度同時(shí)放大2.5倍后的W×H作為局部上下文區(qū)域圖像的寬度和高度，然后對(duì)局部上下文區(qū)域圖像提取HOG特征圖并采用線性插值方式將其大小調(diào)整為W/4×H/4后建立第一幀輸入圖像中相關(guān)濾波器模板：

(2)

式(2)中y表示大小為W/4×H/4的高斯標(biāo)簽，x1表示第一幀輸入圖像中大小為W/4×H/4的HOG特征圖，k(x1，x1)表示第一幀輸入圖像中大小為W/4×H/4的HOG特征圖與其自身進(jìn)行核相關(guān)計(jì)算得到第一幀輸入圖像中核相關(guān)特征圖，G1表示第一幀輸入圖像中相關(guān)濾波器模板，λ表示正則化參數(shù).

后續(xù)幀輸入圖像中局部上下文區(qū)域圖像，目標(biāo)位置為上一幀輸入圖像中目標(biāo)位置，大小為W×H不變，為了解決目標(biāo)在跟蹤過(guò)程中跟蹤目標(biāo)發(fā)生尺度變化和旋轉(zhuǎn)變形時(shí)對(duì)輸入圖像提取的HOG特征圖無(wú)法準(zhǔn)確描述跟蹤目標(biāo)外觀信息的問(wèn)題，首先對(duì)局部上下文區(qū)域圖像進(jìn)行仿射變換，具體仿射變換如下：左右旋轉(zhuǎn)8°、放大10%和縮小10%，在仿真實(shí)驗(yàn)中發(fā)現(xiàn)進(jìn)行上述仿射變換后能夠很好的解決在目標(biāo)跟蹤過(guò)程中跟蹤目標(biāo)發(fā)生尺度變化和旋轉(zhuǎn)變形時(shí)這兩個(gè)干擾因素導(dǎo)致跟蹤失敗的問(wèn)題；然后對(duì)經(jīng)過(guò)仿射變換后的局部上下文區(qū)域圖像提取HOG特征圖并采用線性插值方式將其大小調(diào)整為W/4×H/4后更新相關(guān)濾波器模板：

(3)

式(3)中xt表示當(dāng)前幀輸入圖像中大小為W/4×H/4的仿射變換HOG特征圖，k(xt，xt)表示當(dāng)前幀輸入圖像中大小為W/4×H/4的仿射變換特征圖與其自身進(jìn)行核相關(guān)計(jì)算后得到當(dāng)前幀輸入圖像中仿射變換核相關(guān)特征圖，Gt表示當(dāng)前幀輸入圖像中最終相關(guān)濾波器模板，如果為第一幀輸入圖像則相關(guān)濾波器模板即為最終相關(guān)濾波器模板，Gt-1表示上一幀輸入圖像中最終相關(guān)濾波器模板，ρ表示相關(guān)濾波器模板更新參數(shù).

2.3 目標(biāo)位置的獲取

相鄰幀輸入圖像之間具有高度的相關(guān)性，本文算法將跟蹤目標(biāo)在上一幀輸入圖像中的模型和相關(guān)濾波器模板作為先驗(yàn)信息，第一幀輸入圖像中對(duì)局部上下文區(qū)域圖像提取HOG特征圖得到模型W1，后續(xù)幀輸入圖像中對(duì)局部上下文區(qū)域圖像提取仿射變換HOG特征圖并與上一幀輸入圖像中模型Wt-1進(jìn)行加權(quán)計(jì)算得到模型Wt，當(dāng)前幀輸入圖像中對(duì)局部上下文區(qū)域圖像提取的仿射變換HOG特征圖與上一幀輸入圖像中模型Wt-1進(jìn)行核相關(guān)計(jì)算得到核相關(guān)模型k(xt，Wt-1)，當(dāng)前幀輸入圖像中核相關(guān)模型與上一幀輸入圖像中相關(guān)濾波器模板Gt-1進(jìn)行點(diǎn)乘運(yùn)算得到置信圖f(xt)，對(duì)當(dāng)前幀輸入圖像中置信圖f(xt)求最大響應(yīng)得到當(dāng)前幀輸入圖像中目標(biāo)位置，整個(gè)過(guò)程使用如下函數(shù)表達(dá)式表示：

(4)

Wt=(1-ρ)Wt-1+ρxt

(5)

f(xt)=k(xt，Wt-1)·Gt-1

(6)

2.4 目標(biāo)位置的更正

仿射變換HOG特征圖能夠很好的描述在目標(biāo)跟蹤過(guò)程中跟蹤目標(biāo)發(fā)生尺度變化和旋轉(zhuǎn)變形時(shí)跟蹤目標(biāo)的外觀信息，進(jìn)一步提高了目標(biāo)跟蹤的精度，但是在目標(biāo)跟蹤過(guò)程中當(dāng)跟蹤目標(biāo)被遮擋和目標(biāo)快速運(yùn)動(dòng)等多種因素干擾時(shí)，仿射變換HOG特征圖無(wú)法準(zhǔn)確的描述跟蹤目標(biāo)的紋理、顏色和邊緣信息，導(dǎo)致模型和最終相關(guān)濾波器模板更新不準(zhǔn)確，最終獲取的目標(biāo)位置發(fā)生誤差，由于后續(xù)幀輸入圖像將上一幀輸入圖像中目標(biāo)位置作為先驗(yàn)信息，導(dǎo)致后續(xù)幀輸入圖像中局部上下文區(qū)域圖像含有大量跟蹤目標(biāo)以外的信息，就會(huì)導(dǎo)致模型和最終相關(guān)濾波器模板更新越來(lái)越不準(zhǔn)確，誤差逐幀累積最終導(dǎo)致跟蹤失敗.

為此我們?cè)谀繕?biāo)位置發(fā)生誤差時(shí)使用全卷積孿生網(wǎng)絡(luò)進(jìn)行目標(biāo)位置的更正，如果輸入圖像幀數(shù)為5的倍數(shù)則對(duì)局部上下文區(qū)域圖像采用線性插值方式將其大小調(diào)整為255×255后通過(guò)全卷積孿生網(wǎng)絡(luò)提取搜索區(qū)域圖像特征圖，搜索區(qū)域圖像特征圖φ(x)與第一幀輸入圖像中已經(jīng)提取的目標(biāo)區(qū)域圖像特征圖φ(z)進(jìn)行相關(guān)卷積操作后得到最終的熱圖f(x，z)，將熱圖中得分最高的位置作為當(dāng)前幀輸入圖像目標(biāo)位置，在仿真實(shí)驗(yàn)中發(fā)現(xiàn)圖像幀數(shù)每隔5幀使用一次全卷積孿生網(wǎng)絡(luò)進(jìn)行目標(biāo)位置的更正，在保證目標(biāo)跟蹤精度的前提下同時(shí)具有最高的跟蹤速率(Frame Per Second，F(xiàn)PS).

使用全卷積孿生網(wǎng)絡(luò)進(jìn)行目標(biāo)位置更正后，對(duì)后續(xù)幀輸入圖像中局部上下文區(qū)域圖像提取的仿射變換HOG特征圖含有跟蹤目標(biāo)的大部分信息，可以用其繼續(xù)進(jìn)行目標(biāo)跟蹤并具有較好的跟蹤效果.

2.5 遮擋處理

目標(biāo)跟蹤過(guò)程中跟蹤目標(biāo)被遮擋都是從某一幀輸入圖像開(kāi)始逐步遮擋的，當(dāng)跟蹤目標(biāo)被遮擋時(shí)對(duì)該幀輸入圖像中局部上下文區(qū)域圖像提取的仿射變換HOG特征圖含有遮擋物體的大部分信息，用其對(duì)模型和最終相關(guān)相關(guān)濾波器模板進(jìn)行更新會(huì)使得模型和最終相關(guān)濾波器模板被嚴(yán)重污染，在后續(xù)幀輸入圖像中無(wú)法再用其對(duì)目標(biāo)進(jìn)行準(zhǔn)確的跟蹤.

相鄰幀輸入圖像之間具有高度的相關(guān)性，對(duì)當(dāng)前幀輸入圖像中置信圖求最大響應(yīng)得到的最大響應(yīng)值反應(yīng)了上一幀輸入圖像中最終相關(guān)濾波器模板與當(dāng)前幀輸入圖像中局部上下文區(qū)域圖像的相似程度，如果相鄰兩幀輸入圖像中都沒(méi)有出現(xiàn)跟蹤目標(biāo)被遮擋的情況，那么在相鄰兩幀輸入圖像中最大響應(yīng)值變化不大，對(duì)當(dāng)前幀輸入圖像中局部上下文區(qū)域圖像提取仿射變換HOG特征圖進(jìn)行目標(biāo)位置的計(jì)算時(shí)可以以此判斷跟蹤目標(biāo)是否被遮擋：

Hr= Ht-Ht-1

(7)

式(7)中Ht表示當(dāng)前幀輸入圖像中最大響應(yīng)值，Ht-1表示上一幀輸入圖像中最大響應(yīng)值，Hr表示兩者的差值.

當(dāng)Hr≥0.2時(shí)表示當(dāng)前幀輸入圖像中跟蹤目標(biāo)很大可能被遮擋，對(duì)局部上下文區(qū)域圖像提取的仿射變換HOG特征圖含有大量跟蹤目標(biāo)以外的信息，通過(guò)對(duì)置信圖求最大響應(yīng)得到的目標(biāo)位置不可信，則將上一幀輸入圖像中目標(biāo)位置作為當(dāng)前幀輸入圖像中目標(biāo)位置，同時(shí)當(dāng)前幀輸入圖像中模型和最終相關(guān)濾波器模板不更新.

當(dāng)前幀輸入圖像中搜索區(qū)域圖像特征圖與第一幀輸入圖像中已經(jīng)提取好的目標(biāo)區(qū)域特征圖進(jìn)行相關(guān)卷積操作得到最終的熱圖，對(duì)當(dāng)前幀輸入圖像中局部上下文區(qū)域圖像提取搜索區(qū)域圖像特征圖進(jìn)行目標(biāo)位置的更正時(shí)可以根據(jù)熱圖中的最高分HS來(lái)判斷跟蹤目標(biāo)是否被遮擋，若HS≤0.2則表示當(dāng)前幀輸入圖像中搜索區(qū)域圖像中的每一個(gè)子窗口圖像與第一幀輸入圖像中的目標(biāo)區(qū)域圖像相似度都很低，那么跟蹤目標(biāo)很大可能被遮擋，通過(guò)對(duì)熱圖求最高分得到的目標(biāo)位置不可信，則將上一幀輸入圖像中目標(biāo)位置作為當(dāng)前幀輸入圖像中目標(biāo)位置.

2.6 核相關(guān)濾波與孿生網(wǎng)絡(luò)相結(jié)合的目標(biāo)跟蹤算法流程

本文算法整體流程如圖3所示.

1)人為給定第一幀輸入圖像中目標(biāo)區(qū)域圖像，然后確定局部上下文區(qū)域圖像后對(duì)其提取HOG特征圖并用其進(jìn)行相關(guān)濾波器模板的建立，同時(shí)采用線性插值方式將局部上下文區(qū)域圖像大小調(diào)整為127×127后作為目標(biāo)區(qū)域圖像傳遞給全卷積孿生網(wǎng)絡(luò)提取目標(biāo)區(qū)域圖像特征圖；

2)后續(xù)幀輸入圖像中將上一幀輸入圖像中目標(biāo)位置作為先驗(yàn)信息，如果輸入圖像幀數(shù)不為5的倍數(shù)則對(duì)局部上下文圖像提取仿射變換HOG特征圖進(jìn)行目標(biāo)位置的計(jì)算，同時(shí)加入遮擋處理來(lái)自適應(yīng)獲得當(dāng)前幀輸入圖像目標(biāo)位置；如果輸入圖像幀數(shù)為5的倍數(shù)則采用線性插值方式將局部上下文區(qū)域圖像大小調(diào)整為255×255后作為搜索區(qū)域圖像傳遞給全卷積孿生網(wǎng)絡(luò)提取搜索區(qū)域圖像特征圖進(jìn)行目標(biāo)位置的更正，同時(shí)加入遮擋處理來(lái)自適應(yīng)獲得當(dāng)前幀輸入圖像目標(biāo)位置；

圖3 核相關(guān)濾波與孿生網(wǎng)絡(luò)相結(jié)合的目標(biāo)跟蹤算法流程圖Fig.3 Target tracking algorithm combining kernel correaltion filter and siamese network flow chart

3)根據(jù)遮擋處理的結(jié)果自適應(yīng)更新模型和最終相關(guān)濾波器模板；

4)重復(fù)步驟2和步驟3，直到最后一幀輸入圖像.

3 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證本文算的跟蹤精度和跟蹤速率，本文算法與CSK算法、SAMF算法、TLD算法、DSST算法和KCF算法進(jìn)行對(duì)比分析.測(cè)試視頻序列為OBT50[15]，實(shí)驗(yàn)平臺(tái)為Windows 10操作系統(tǒng)、Matlab2016a、Visual Stadio 2015和CUDA9.0，使用Matconvnet工具包開(kāi)發(fā)卷積神經(jīng)網(wǎng)絡(luò)，硬件環(huán)境為GTX1060顯卡和i7-8750處理器，在Matlab2016a上完成代碼的編寫(xiě)和仿真實(shí)驗(yàn).

為了全面評(píng)估本文算法的性能，本文使用距離誤差成功率、重疊度成功率和跟蹤速率作為跟蹤結(jié)果的評(píng)估指標(biāo).

1)距離誤差是跟蹤算法輸出目標(biāo)位置與人工給定目標(biāo)位置的距離，距離誤差成功率是距離誤差小于距離誤差閾值時(shí)在某一個(gè)視頻序列中的圖像數(shù)量與該視頻序列中所有圖像數(shù)量的比值.

2)重疊度是跟蹤算法輸出目標(biāo)區(qū)域和人工給定目標(biāo)區(qū)域的重疊面積與跟蹤算法輸出目標(biāo)區(qū)域和人工給定目標(biāo)區(qū)域的面積之和的比值，重疊度成功率是重疊度大于重疊度閾值時(shí)在某一個(gè)視頻序列中的的圖像數(shù)量與該視頻序列中所有圖像數(shù)量的的比值.

3)跟蹤速率是跟蹤算法在1秒內(nèi)可以跟蹤的圖像幀數(shù).

從圖4和圖5中可以看出本文算法對(duì)于跟蹤目標(biāo)在各種干擾因素下的跟蹤精度超過(guò)當(dāng)前主流相關(guān)濾波跟蹤算法，說(shuō)明了圖像幀數(shù)每隔5幀使用一次全卷積孿生網(wǎng)絡(luò)進(jìn)行目標(biāo)位置的更正和根據(jù)遮擋處理的結(jié)果自適應(yīng)獲得當(dāng)前幀輸入圖像目標(biāo)位置并自適應(yīng)更新模型和最終相關(guān)濾波器模板的算法是有效的.

圖4 不同算法在OTB50數(shù)據(jù)集上距離誤差成功率曲線圖Fig.4 Distance error success rate graph of diffenent algorithm on OTB50 dataset

圖5 不同算法在OTB50數(shù)據(jù)集上重疊度成功率曲線圖Fig.5 Overlap success rate graph of diffenent algorithm on OTB50 dataset

在保證目標(biāo)跟蹤精度的前提下同時(shí)具有較高跟蹤速率的算法是優(yōu)秀的，表2是本文算法與對(duì)比算法在OTB50數(shù)據(jù)集上平均跟蹤速率，從表2和圖4以及圖5中數(shù)據(jù)我們知道CSK算法的平均跟蹤速率最快但跟蹤精度最低，說(shuō)明CSK算法在某些干擾因素下無(wú)法對(duì)跟蹤目標(biāo)形成有效的跟蹤；KCF算法的平均跟蹤速率次之且在一定干擾因素下能夠準(zhǔn)確的跟蹤目標(biāo)；由于本文算法要與其余5種相關(guān)濾波目標(biāo)跟蹤算法進(jìn)行對(duì)比，因此本文算法對(duì)輸入圖像幀數(shù)為{n|n∈[1，5]}的倍數(shù)局部上下文區(qū)域圖像提取搜索區(qū)域圖像特征圖進(jìn)行目標(biāo)位置的更正時(shí)跟蹤精度都是最高的，隨著n的增大跟蹤精度會(huì)下降，但跟蹤速率會(huì)加快；本文算法對(duì)輸入圖像幀數(shù)為{n|n≥6}的倍數(shù)局部上下文區(qū)域圖像提取搜索區(qū)域圖像特征圖進(jìn)行目標(biāo)位置的更正時(shí)跟蹤精度不再是最高的，所以本文算法選擇對(duì)輸入圖像幀數(shù)為5的倍數(shù)的局部上下文區(qū)域圖像提取搜索區(qū)域圖像特征圖進(jìn)行目標(biāo)位置的更正時(shí)平均跟蹤速率位于第三位但在各種干擾因素下的跟蹤精度最高.本文算法的平均跟蹤速率位于第三位但相比于剩余算法而言仍然很快，說(shuō)明本文算法在各種干擾因素下能夠?qū)崿F(xiàn)對(duì)目標(biāo)的準(zhǔn)確跟蹤并且在保證目標(biāo)跟蹤精度的前提下具有滿足跟蹤目標(biāo)實(shí)時(shí)跟蹤要求的跟蹤速率.

表2 不同算法在OTB50數(shù)據(jù)集上的平均跟蹤速率(frame/s)Table 2 Average tracking rate of defferent algorithm on OTB50 dataset(frame/s)

圖6 不同算法在OTB50數(shù)據(jù)集上的部分視頻序列實(shí)驗(yàn)結(jié)果Fig.6 Experimental results of partial video sequences of different algorithm on OTB50 dataset

圖6為本文算法與對(duì)比算法在OTB50數(shù)據(jù)集上部分測(cè)試視頻序列的實(shí)驗(yàn)結(jié)果.針對(duì)目標(biāo)被遮擋我們選用圖6(a)視頻序列，在該視頻序列中被跟蹤目標(biāo)是一輛運(yùn)行的汽車(chē)，當(dāng)汽車(chē)被樹(shù)木遮擋后本文算法依然能夠準(zhǔn)確的跟蹤目標(biāo)，說(shuō)明本文算法中根據(jù)遮擋處理的結(jié)果自適應(yīng)獲得當(dāng)前幀輸入圖像目標(biāo)位置是有效的.針對(duì)跟蹤目標(biāo)尺寸變大或縮小我們選用圖6(b)視頻序列，在該視頻序列中被跟蹤目標(biāo)是一只玩具狗，當(dāng)玩具狗尺寸變大或縮小時(shí)本文算法可以對(duì)其進(jìn)行準(zhǔn)確的跟蹤，說(shuō)明本文算法中對(duì)局部上下文區(qū)域圖像提取仿射變換HOG特征圖進(jìn)行目標(biāo)跟蹤的策略是可行的.針對(duì)目標(biāo)快速運(yùn)動(dòng)我們選用圖6(c)視頻序列，在該視頻序列中被跟蹤目標(biāo)是一個(gè)正在跳繩的男孩，男孩在快速跳繩過(guò)程中本文算法始終能夠準(zhǔn)確追蹤到跳繩男孩的臉部，說(shuō)明本文算法能夠很好的解決目標(biāo)快速運(yùn)動(dòng)這一干擾因素.針對(duì)光照變化我們選用圖6(d)視頻序列，在該視頻序列中被跟蹤目標(biāo)是一位歌手，歌手在唱歌過(guò)程中光照強(qiáng)度發(fā)生變化后本文算法能夠?qū)庹諒?qiáng)度變化這一干擾因素進(jìn)行有效處理并準(zhǔn)確跟蹤到歌手的臉部.針對(duì)目標(biāo)旋轉(zhuǎn)我們選用圖6(e)視頻序列，在該視頻序列中被跟蹤目標(biāo)是一輛運(yùn)行的摩托車(chē)，摩托車(chē)在快速旋轉(zhuǎn)過(guò)程中其余算法無(wú)法準(zhǔn)確跟蹤摩托車(chē)，本文算法能夠?qū)焖傩D(zhuǎn)這一干擾因素進(jìn)行有效處理并對(duì)摩托車(chē)進(jìn)行準(zhǔn)確的跟蹤.

4 結(jié)束語(yǔ)

在目標(biāo)跟蹤過(guò)程中保證目標(biāo)跟蹤精度的同時(shí)加快跟蹤速率，本文提出了一種核相關(guān)濾波與孿生網(wǎng)絡(luò)相結(jié)合的目標(biāo)跟蹤算法，若輸入圖像幀數(shù)不為5的倍數(shù)則對(duì)局部上下文區(qū)域圖像提取仿射變換HOG特征圖進(jìn)行目標(biāo)位置的計(jì)算，同時(shí)加入遮擋處理來(lái)自適應(yīng)獲得當(dāng)前幀輸入圖像目標(biāo)位置；若輸入圖像幀數(shù)為5的倍數(shù)則對(duì)局部上下文區(qū)域圖像提取搜索區(qū)域圖像特征圖進(jìn)行目標(biāo)位置的更正，同時(shí)加入遮擋處理來(lái)自適應(yīng)獲得當(dāng)前幀輸入圖像目標(biāo)位置，針對(duì)遮擋處理的結(jié)果自適應(yīng)更新模型和最終相關(guān)濾波器模板.在仿真實(shí)驗(yàn)中發(fā)現(xiàn)本文算法在各種干擾因素下能夠?qū)崿F(xiàn)對(duì)跟蹤目標(biāo)的準(zhǔn)確跟蹤，在保證目標(biāo)跟蹤精度的前提下具有滿足跟蹤目標(biāo)實(shí)時(shí)跟蹤要求的跟蹤速率，如何進(jìn)一步提高跟蹤速率是后面工作的重點(diǎn).