快速尺度估計的增強型多核相關(guān)濾波算法

楊佳霖，王文偉，熊曉璇，和世瑛

武漢大學(xué) 電子信息學(xué)院，武漢430072

1 引言

在計算機視覺領(lǐng)域中，目標(biāo)跟蹤一直是一個十分具有挑戰(zhàn)的研究課題。目標(biāo)跟蹤通俗地來講，就是對場景中運動目標(biāo)的軌跡進行估計，對單目標(biāo)跟蹤而言，是指給定視頻序列中初始幀目標(biāo)的位置和大小，來估計下一幀目標(biāo)的位置和大小。隨著計算機處理能力的不斷提高，運動目標(biāo)跟蹤研究逐漸成為計算機視覺領(lǐng)域的重要研究課題[1]，它在武器制導(dǎo)、人機交互、智能監(jiān)控、醫(yī)學(xué)診斷等領(lǐng)域都有廣闊的應(yīng)用前景[2]。

隨著目標(biāo)跟蹤技術(shù)的廣泛應(yīng)用，其所面臨的環(huán)境也越來越復(fù)雜，同時這也會帶來更多的挑戰(zhàn)，如目標(biāo)變形、運動模糊、光照變化、遮擋以及尺度變化等。目前大多數(shù)目標(biāo)跟蹤算法仍停留在理論階段，只適用于部分特定的場景，沒有一種對任何場景都具有魯棒性的跟蹤算法[3]。因此設(shè)計一種快速、準(zhǔn)確的跟蹤算法具有及其重要的意義。

近年來，基于相關(guān)濾波的目標(biāo)跟蹤算法以其運算速度快、跟蹤精度高而受到研究者的廣泛關(guān)注。Bolme等人提出了誤差最小平方和濾波器（MOSSE）[4]，它采用單通道的灰度獨特征，速度達(dá)到669 FPS，實時有效地實現(xiàn)了目標(biāo)跟蹤。Henriques等人提出了具有內(nèi)核的跟蹤檢測循環(huán)結(jié)構(gòu)的CSK 跟蹤算法[5]，它在MOSSE 的基礎(chǔ)上引入了循環(huán)矩陣進行密集采樣并用核技巧訓(xùn)練非線性分類器，避免了稀疏采樣造成樣本冗余的問題，提高了跟蹤精度。隨后Henriques 又提出核相關(guān)濾波算法[6]，將CSK 算法中灰度特征替換為梯度方向直方圖HOG 特征，并進行了單通道擴展，使其擴展成多通道，進而提出了核相關(guān)濾波KCF跟蹤算法，進一步提高了跟蹤性能，使得KCF 算法在目標(biāo)跟蹤領(lǐng)域具有重要的意義。

本文以核相關(guān)濾波算法[7]為研究對象，針對KCF采用固定尺寸的矩形框進行目標(biāo)跟蹤而無法適應(yīng)尺度變化的問題，引入了一種快速判別式尺度估計的目標(biāo)跟蹤方法。為了克服核相關(guān)濾波采用單一特征和一個內(nèi)核使得跟蹤穩(wěn)定性和判別能力低的不足，設(shè)計了一種多特征互補的多核學(xué)習(xí)方法，引入CN特征和HOG特征的多內(nèi)核組合的方式來提高算法在復(fù)雜環(huán)境的穩(wěn)定性以及定位性能。最后對多核相關(guān)濾波器進一步優(yōu)化，引入歷史樣本優(yōu)化目標(biāo)函數(shù)上界，加入遮擋檢測機制，使算法的跟蹤性能以及效率進一步提升。

2 核相關(guān)濾波器

核相關(guān)濾波器（KCF）是一個基于嶺回歸的跟蹤器，通過循環(huán)矩陣對樣本進行密集采樣，引入核方法使得相關(guān)濾波算法更具魯棒性，能夠處理非線性分類問題。

2.1 循環(huán)矩陣

由于跟蹤的初始階段樣本有限，KCF通過對單個樣本使用循環(huán)移位構(gòu)建循環(huán)矩陣，豐富樣本庫，進而訓(xùn)練更好的相關(guān)濾波模板。

對基礎(chǔ)樣本x=( x1, x2,…,xn)進行循環(huán)移位操作，以實現(xiàn)對周圍目標(biāo)的連續(xù)采樣。循環(huán)矩陣表示為：

其中P 為置換矩陣，Pux 表示向量x 以為u 次。對循環(huán)矩陣進行離散傅里葉變換可將其對角化得：

其中x 為基礎(chǔ)樣本，x^為基礎(chǔ)樣本的離散傅里葉變換，F(xiàn) 為離散傅里葉矩陣，是一常數(shù)矩陣。

在KCF 算法中引入循環(huán)矩陣，在計算過程中將樣本矩陣轉(zhuǎn)換為對角陣，利用對角陣除對角線外其他位置元素都為零的特性，降低了算法的復(fù)雜度，提高了計算效率。

2.2 線性回歸

KCF采用嶺回歸的分類策略，最小化目標(biāo)損失函數(shù)：

其中，f 為濾波器，i 為樣本個數(shù)，xi為樣本，yi為樣本標(biāo)簽，w 為濾波器系數(shù)，λ 為正則化系數(shù)，用于防止過擬合。通過對式（3）求偏導(dǎo)，可得其封閉解。

當(dāng)f 為線性時，即f(z)=wTz，根據(jù)線性方程，可得其閉式解如下：

其中，X 為基礎(chǔ)樣本的循環(huán)矩陣，每行代表一個樣本xi；I 是X 相同維度的單位矩陣。根據(jù)循環(huán)矩陣的性質(zhì)，矩陣間的乘除計算可以化簡為元素間的點乘或點除。利用循環(huán)矩陣的離散傅里葉變換（DFT）的性質(zhì)，式（4）在頻域中的表達(dá)形式為：

對目標(biāo)損失函數(shù)中的α 求偏導(dǎo)，可得其閉式解：

2.3 快速檢測與模型更新

如果核函數(shù)具有循環(huán)性質(zhì)，對式（7）進行離散傅里葉變化則得到相關(guān)濾波器的訓(xùn)練模型：

其中：kxx是核矩陣K=C( )kxx的第一行，即對于任意兩個核相關(guān)的向量x 和x′，有，P 是循環(huán)移位的單位矩陣。

對于所有訓(xùn)練樣本x 以及候選輸入樣本z 之間的核矩陣用Kz表示，Kz的每個元素由κ( Pi-1z,Pi-1x)給定。代入式（6），可得：

由于f(z)是一個向量，包含z 的所有循環(huán)移位輸出，即所有的輸出的檢測響應(yīng)。對式（2）～（9）對角化得：

對式（9）作離散傅里葉逆變換得到候選輸入樣本z的響應(yīng)矩陣，響應(yīng)值最大的位置即為新的目標(biāo)位置。

在跟蹤過程中，目標(biāo)外觀通常會發(fā)生變化，如光照變化、尺度變化、目標(biāo)形變以及遮擋等情況，需要對濾波器進行更新以適應(yīng)目標(biāo)的外觀變化，即需要對目標(biāo)的特征向量x 和濾波模板α 進行更新，公式如下：

其中t 表示第t 幀視頻，β 為學(xué)習(xí)率。

3 快速判別式尺度估計

3.1 多通道判別相關(guān)濾波器

目標(biāo)樣本f 由矩形域中每個位置n 處的d 維特征向量f(n) ∈Rd組成，用f l 表示f 的特征通道，其中l(wèi) ∈{1 ,2 ,…,d} 。然后學(xué)習(xí)由每個特征通道的濾波器hl組成的相關(guān)濾波器h，并由最小化損失函數(shù)ε 實現(xiàn)：

其中g(shù) 為期望相關(guān)輸出，*表示循環(huán)相關(guān)，式（12）中的第二項是具有權(quán)重參數(shù)λ 的正則化，g 通常被選擇為具有參數(shù)化標(biāo)準(zhǔn)偏差的高斯函數(shù)。并且fl、hl和g 具有相同的尺寸和維數(shù)。

式（12）是一個線性最小二乘問題，通過使用Parseval公式將式（12）變換到傅里葉域來解決。最小化式（12）中的濾波器由下式給定：

其中，η 表示學(xué)習(xí)率。

為了將濾波器應(yīng)用于新一幀t 中，用類似于訓(xùn)練樣本ft的方法來提取測試樣本zt，并使用相同的特征表示，并計算相關(guān)性分?jǐn)?shù)yt的傅里葉變換：這里，和Bt-1是前一幀更新的濾波器的分子和分母。然后通過逆DFT計算zt中反映位置處的相關(guān)性分?jǐn)?shù)，通過找到最大相關(guān)分?jǐn)?shù)來獲得當(dāng)前目標(biāo)位置的估計。

3.2 判別式尺度濾波器（DSST）

當(dāng)目標(biāo)位置確定后，為了能對目標(biāo)的尺度進行估計，采用基于學(xué)習(xí)獨立的一維尺度相關(guān)濾波器的判別尺度空間跟蹤器（DSST）[8]。這個尺度濾波器可以應(yīng)用在圖像位置來計算尺度維數(shù)中的相關(guān)性分?jǐn)?shù)，然后使用這些分?jǐn)?shù)來估計目標(biāo)尺度。

3.3 快速判別式尺度濾波器

為了減少DSST學(xué)習(xí)和檢測所需的計算，提高算法的速度和精度，采用特征降維和插值的方法。

3.3.1 三角多項式插值

子網(wǎng)格插值允許使用更粗的特征網(wǎng)格進行訓(xùn)練和檢測樣本，這通過減少用于訓(xùn)練和檢測所需執(zhí)行的FFTs的大小來影響計算成本。因為執(zhí)行插值所需的相關(guān)分?jǐn)?shù)的DFT系數(shù)已經(jīng)在式（15）中計算出來了，故選用三角多項式插值。通過對式（15）中Yt的高頻進行零填充得到插值分值，使其大小等于插值網(wǎng)格的大小。然后通過對填充后的數(shù)據(jù)進行逆DFT 運算得到插值后的分?jǐn)?shù)。

3.3.2 基于主成分分析的特征降維

DSST 的計算成本由快速傅里葉變換（FFT）主導(dǎo)，而在訓(xùn)練和檢測的過程中，每個特征維度需要一個FFT，所以為了減少所需的FFT 計算次數(shù)，采用特征降維的方法。

其中，n 覆蓋目標(biāo)模板ut中的所有元素，式（16）在正交性約束下被最小化。

3.3.3 壓縮尺度濾波器

為了提高效率，分別利用ut,scale和ft,scale計算兩個投影矩陣和然后使用和對目標(biāo)模板和訓(xùn)練樣本進行壓縮，從而不會丟失信息。再使用這些壓縮后的版本對尺度濾波器進行更新，如式（17）所示。因為目標(biāo)模板和訓(xùn)練樣本都可以精確地重構(gòu)為和，故尺度濾波器（17）不受降維的影響。為了在檢測階段計算尺度相關(guān)性得分，在式（18）中使用壓縮的測試樣本。為了提高計算效率和存儲效率，分別通過ut,scale和ft,scale的QR分解得到投影矩陣和。

綜上所述，在不犧牲實時性的前提下，通過采用上述策略，充分減小了FFT 的大小和數(shù)目，提高了濾波器的尺寸，進而可以擴展搜索空間提高魯棒性。

4 多特征互補的多核學(xué)習(xí)

由于KCF 使用一個單一特征的內(nèi)核，難以適應(yīng)跟蹤過程中目標(biāo)外觀和背景的復(fù)雜變化。不同的特征可以捕獲目標(biāo)不同的信息通道，從而獲得更好的性能。通過將多核學(xué)習(xí)引入到KCF 跟蹤算法框架，利用KCF 的多通道特性，采用多個相同內(nèi)核的組合，即每個內(nèi)核對應(yīng)一個特征，使用互補特征的多核學(xué)習(xí)來提高跟蹤算法的魯棒性和精確度。多核功能本身的形成方式使得多核功能具有更加準(zhǔn)確的映射效率和分類效率，特別是對于實際應(yīng)用中的樣本數(shù)據(jù)復(fù)雜的情況。

4.1 多特征提取

4.1.1 多核相關(guān)濾波器的訓(xùn)練

嶺回歸的目標(biāo)是尋找函數(shù)f( x )，使訓(xùn)練樣本xi與回歸目標(biāo)yi的平方誤差最小，即

其中，l 為樣本個數(shù)，f 位于由正定核函數(shù)k(·)定義的再生核希爾伯特空間的有界凸子集中，xi是樣本，yi是回歸目標(biāo)，λo≥0 為正則化參數(shù)。

作為嶺回歸的一種特殊情況，相關(guān)濾波中的訓(xùn)練集是通過對基礎(chǔ)樣本進行循環(huán)移位得到的。

通過Representer 定理[9]，對Tikhonov 正則化問題的解f*可表示為：

其中y=( y0, y1,…,yl-1)T。文獻(xiàn)[10]表明使用多個核替代一個核能夠提高濾波器的判別能力。

給定基核km，m=1,2,…,M，通常的方法是考慮k( xi,xj)作為基核的凸組合，因此半正定核矩陣可表示為：

式中Km為第m 個基核矩陣，并以作為其元素，且有將式（22）中的K 代入到式（21）中，轉(zhuǎn)換為有限制條件的優(yōu)化問題：

通過對式（23）使用拉格朗日乘數(shù)法進行求解，獲得嶺回歸問題的多核目標(biāo)函數(shù)F( )

α,d ：

其中λo是正則化參數(shù)，v 是拉格朗日乘子。為了保證所有組合系數(shù)都為正數(shù)，使用替代dm，故其最優(yōu)解可表示為：

若要求解目標(biāo)函數(shù)F( )α,d ，則需要對式（25）進行二元函數(shù)的求導(dǎo)計算。

定理1 令{ Km} 為半正定矩陣，則給定α，F(xiàn)( α,d)是關(guān)于d 是凸函數(shù)；給定d，F(xiàn)( α,d )關(guān)于α 是凸函數(shù)。因此F( α,d )是一個可微函數(shù)，可以簡單的求出關(guān)于α和d 的梯度，然后求出它的最小值。

為了求出α，令?αF( α,d )=0，可得：

式中I 是l×l 的單位矩陣。

為了保證計算的有效性，使用解析法求d，令?dF( α,d )=0 可得：

其中dn是d 中的一個元素。因此有：

其中n ∈S0。這是一個關(guān)于的線性組合，可以簡單的表示為：

式 中Bp是 以bmn=αTKmnα+2ν 為 元 素 的( M -N )×( M -N )維矩陣，和cp分別是以和cn為元素的兩個列向量，m,n ∈Sˉ0。

如果Bp不是可逆的，那么我們使用Bp的廣義逆矩陣來替代。如果中的任意元素小于0，則對于S0和，式（30）無解。根據(jù)定理1，初始化通過對式（26）以及式（30）的多次的反復(fù)迭代，可以得到局部最優(yōu)解。

顯而易見，利用解析法評估d 的計算量隨著M 的增大而增大，M 越大，特征數(shù)越多那么跟蹤效果就更加優(yōu)秀。但考慮到計算的有效性以及跟蹤性能的平衡，一般情況下多特征不超過三個[11]。本算法使用M=2，采用互補的CN特征與HOG特征。另外，KCF跟蹤框架不能同時使用不同類型的內(nèi)核，因此將兩個特征分別對應(yīng)同一種內(nèi)核，即高斯核。

在只包含兩個互補特征的情況下，研究F( α,d )的優(yōu)化，即給定M=2。因為是式（24）中要優(yōu)化的三個項之一，這對于優(yōu)化是有利的，即如果，則，反之亦然。因此，和的值有三種組合，即（1，0）、（0，1）和(v1,v2)，其中(v1,v2)是通過求解當(dāng)N=0 時式（30）的值得到的。這意味著等式（28）的最優(yōu)解將從三個候選項中選擇：僅使用兩個互補特征中的一個，使用兩個特征的線性組合。最小化F( α,d)的最終解決方案將是d2的三個候選項中的兩個特征的線性組合，并將它應(yīng)用于當(dāng)前幀中目標(biāo)外觀模型的構(gòu)建。

4.1.2 訓(xùn)練中的快速估計

考慮到所有基于相關(guān)濾波的跟蹤算法的訓(xùn)練樣本xi是通過循環(huán)移動一個基樣本生成的。因此，利用快速傅里葉變換（Fast Fourier Transform，F(xiàn)FT）可以加快前面所述的F( α,d )的優(yōu)化過程。因為核矩陣Km是循環(huán)，而循環(huán)矩陣的逆變換、乘積和和仍然是循環(huán)，所以Kmn是循環(huán)的。定義kmn是Kmn的第一行，km是Km的第一行，。將式（26）進行傅里葉變換可得：

式（30）通過下列式子進行加速計算：

因為F( α,d )的第三項相當(dāng)于一個約束條件，所以對于F( α,d )的估計只需要前兩項。

4.1.3 確定中心位置

根據(jù)式（25），多核相關(guān)濾波器對當(dāng)前幀p 中所有測試樣本，j=0,1,…,l-1 響應(yīng)進行評估得：

以y(z )元素的最大值作為目標(biāo)在當(dāng)前p 幀中的最優(yōu)位置。

4.1.4 濾波器的自適應(yīng)更新

在多核濾波的學(xué)習(xí)過程，第p 幀的目標(biāo)的外觀模型為( α,d ,)，并利用下式來更新：

其中，ηm∈[0,1]，是第m 個核所對應(yīng)的學(xué)習(xí)率。表示當(dāng)前幀p 的最佳目標(biāo)尺度s*進行采樣的圖像塊xˉm，D(ρ(p),s*)時當(dāng)前幀p 的一個圖像塊，其中心位置為ρ(p)，尺度為s*，λm是與特征相關(guān)的常數(shù)，m=1,2,…,M。αnew和dnew可通過和式（30）、（34）進行更新。

利用KCF 算法多通道的特性，對訓(xùn)練樣本分別提取HOG特征和CN特征，并將它們分別對應(yīng)一個高斯核來學(xué)習(xí)相關(guān)濾波器，最后通過線性組合來得到最終的響應(yīng)圖以確定目標(biāo)的最優(yōu)位置。

4.2 快速尺度估計多核相關(guān)濾波算法

為了解決KCF 算法使用單一特征和單一內(nèi)核進行目標(biāo)跟蹤的定位性能及穩(wěn)定性較差的問題，提出了快速尺度估計的多核相關(guān)濾波算法（FS-MKCF）。

FS-MKCF是一種基于多特征互補的多核相關(guān)濾波改進算法，同時引入快速判別式尺度估計，用于解決目標(biāo)尺度問題。該算法將位置濾波器的位置估計和尺度濾波器的尺度估計看成兩個相互獨立的過程。對于目標(biāo)位置估計，采用上述多核相關(guān)濾波器算法，在目標(biāo)位置確定后，利用快速尺度估計來確定目標(biāo)的尺度大小。實際上FS-MKCF 的特征類型以及核類型均具有通用性，例如特征可以使用神經(jīng)網(wǎng)絡(luò)中的DCNN 深度特征[12]，核的類型也可以擴展至模糊核[13]等。FS-MKCF的算法實驗框架圖如圖1所示。

5 增強型多核相關(guān)濾波

5.1 帶上界的多核相關(guān)濾波器的擴展

圖1 FS-MKCF算法實驗框架圖

為了實現(xiàn)定位的魯棒性，MKCF選用之前訓(xùn)練樣本的加權(quán)平均值來更新權(quán)重，即通過歷史樣本更新xˉ。

為了進一步提高定位的精度以及性能，通過引入歷史樣本來訓(xùn)練一個通用的MKCF，即通過歷史樣本來更新α 和d，優(yōu)化函數(shù)如下：

其中βj為第j 幀中優(yōu)化函數(shù)樣本的權(quán)重，p 為當(dāng)前幀數(shù)，是以為第一行的循環(huán)核矩陣

通常不同的內(nèi)核（即特征）應(yīng)該配備不同的權(quán)重βj，因為它們在整個圖像序列中的魯棒性是不同的。例如，目標(biāo)對象的顏色可能比其在圖像序列中的HOG 變化得更頻繁。然而，不同的核不可能在Fe( α,d )中設(shè)置不同的βj，因為不同的核是相互相乘的，不能被分成不同的項。但是如果使用Fe( α,d )作為目標(biāo)函數(shù)，那么位置性能將受到負(fù)面影響，因為不同的內(nèi)核必須共享相同的權(quán)值βj。

令yc=y/M 可以得到：

其中有：

基于以上分析，得出了MKCF擴展的優(yōu)化目標(biāo)是問題（40），這個優(yōu)化問題和式（23）類似。使用與MKCF類似的解析法可得：

可以使用傅里葉變換對其進行加速計算：

其中有p ＞1 時：

p=1 時：

而對于dm,p而言有：

其中有p ＞1 時：

由以上可知，Ap以及dm,p可以通過式（44）和（47）逐幀的高效快速計算及更新。初始時dm=1/M，m=1,2,…,M。然后固定dp，通過式（44）更新αp；固定αp，通過式（47）更新dp，反復(fù)交替進行，最后收斂可得到局部最優(yōu)解

5.2 遮擋檢測機制

在實際的跟蹤過程中，外在環(huán)境往往是復(fù)雜多變的，目標(biāo)不可避免地會被遮擋，此時若沒有遮擋檢測機制，目標(biāo)很容易被跟丟，跟蹤就會失敗。為提高算法的跟蹤性能，在跟蹤過程中添加遮擋檢測更新機制，當(dāng)目標(biāo)被遮擋時以重新更新濾波器，實現(xiàn)有效的跟蹤。在使用相關(guān)算法對檢測目標(biāo)進行匹配時，兩目標(biāo)之間的匹配程度通常用峰值旁瓣比（PSR）[14]進行評估。其定義如下：

式中的相關(guān)響應(yīng)峰值為gmax，它的標(biāo)準(zhǔn)差和均值分別用σs1和μs1表示。跟蹤目標(biāo)相關(guān)響應(yīng)值的峰值旁瓣比會隨著目標(biāo)被遮擋的情況而變化，當(dāng)目標(biāo)遇到遮擋時，峰值旁瓣比會隨之變小，此時若繼續(xù)更新目標(biāo)外觀模型xp、濾波器系數(shù)αp和各特征響應(yīng)的自適應(yīng)權(quán)重dp將會使跟蹤發(fā)生漂移乃至失敗。因此，對峰值旁瓣比設(shè)定一個閾值T，當(dāng)PSR比大于閾值T 時，訓(xùn)練多核相關(guān)濾波器，當(dāng)PSR 小于閾值T 時，說明目標(biāo)發(fā)生遮擋，此時重新提取當(dāng)前幀目標(biāo)位置處的特征。

5.3 快速尺度估計增強型多核相關(guān)濾波

為了對多核濾波器做進一步優(yōu)化，提出了快速尺度估計的增強型多核相關(guān)濾波算法（FS-EMKCF），該算法在FS-MKCF 的基礎(chǔ)上引入歷史樣本獲得多核濾波器，并對多核相關(guān)濾波器目標(biāo)函數(shù)的上界進行優(yōu)化得到自適應(yīng)濾波模板。由于FS-EMKCF 是對目標(biāo)函數(shù)的上界進行優(yōu)化而得到最優(yōu)解，大大減輕了FS-MKCF 互補特征估計時負(fù)面的相互干擾，與FS-MKCF 采用解析法求解目標(biāo)函數(shù)得到最優(yōu)解相比會更具通用性。為了保證實時性，F(xiàn)S-MKCF 在使用多核相關(guān)濾波器來估計目標(biāo)位置時，會通過投影矩陣映射主成分分析特征，計算壓縮后的特征圖。其中顏色特征采用文獻(xiàn)[15]所提的方案，通過PCA將顏色特征的維數(shù)減少到4維，HOG特征使用9個梯度方向和4×4的細(xì)胞大小，并同樣將HOG特征利用PCA 降維到4 維。另外加入遮擋檢測機制來處理遮擋的情況，以實現(xiàn)定位的魯棒性。其算法實驗框架圖如圖2所示。

圖2 FS-EMKCF算法實驗框架圖

6 實驗及分析

6.1 實驗數(shù)據(jù)以及評價方法

實驗采用具有參考跟蹤結(jié)果的OTB-2013 數(shù)據(jù)集[16]，共有50段視頻序列，其中的視頻序列包含有11種屬性，分別是尺度變化（SV）、光照變化（IV）、遮擋（OCC）、運動模糊（MB）、形變（DEF）、快速運動（FM）、平面內(nèi)旋轉(zhuǎn)（IPR）、平面外旋轉(zhuǎn)（OPR）、超出視野（OV）、背景相似（BC）、低分辨率（LR）。實驗的對目標(biāo)跟蹤的算法主要從算法的精度、成功率、實時性三方面評估算法的跟蹤性能。

（1）精度

精度反映了位置誤差，因此在介紹精度前先引入中心位置誤差，它是指跟蹤目標(biāo)的中心與視頻序列中目標(biāo)被標(biāo)定的中心之間的歐式距離：

其中cle 來表示中心位置誤差，單位為像素；( x,y )是當(dāng)前幀中目標(biāo)的中心位置，( xgt,ygt)是目標(biāo)被標(biāo)定的中心位置坐標(biāo)。精度為一比值，它用中心位置誤差小于某一閾值的視頻幀數(shù)與該序列視頻總幀數(shù)的比來定義。本文實驗中設(shè)置閾值為20像素。

（2）成功率

在介紹成功率之前先引入并交比（IoU）的概念，它定義成兩個邊界框的交集和并集之比，用于衡量兩個邊界框的重合度，其定義式為：

圖3 5種算法精度和成功率曲線

其中boxp和boxgt分別代表跟蹤算法中的估計邊界框和實際目標(biāo)框。重疊精度為重疊率超過序列中某個閾值的幀數(shù)和視頻序列中視頻幀總數(shù)的百分比，其中閾值設(shè)為0.5。重疊精度反映了跟蹤的成功概率，跟蹤成功率越高，跟蹤越準(zhǔn)確。

（3）幀率

幀率，即每秒中跟蹤算法處理的視頻幀數(shù)量，用它來衡量跟蹤算法的實時性，幀率越大，計算速度越快，算法實時性越好。

6.2 實驗環(huán)境及參數(shù)設(shè)置

本文所有實驗都在InterI7-9700K，主頻3.6 GHz，內(nèi)存16 GB，Windows 7 系統(tǒng)的MatlabR2016b 和Visual Studio 2013的PC實驗平臺進行。

傳統(tǒng)的KCF算法的參數(shù)不變，在FSKCF算法中，窗口系數(shù)padding設(shè)為2，將尺度濾波器正則化參數(shù)設(shè)置為λs=0.01，學(xué)習(xí)率η=0.025，尺度因子a=1.02。初始尺度數(shù)量S=17，插值后的尺度數(shù)量S^=33。在FS-EMKCF算法中，核數(shù)量為2；在顏色序列中，CN 特征核HOG 特征所對應(yīng)的高斯標(biāo)準(zhǔn)差為σCN=0.515，σHOG=0.6，對應(yīng)的學(xué)習(xí)率γCN=0.017 4，γHOG=0.017 3；在灰度序列中，CN 特征和HOG 特征所對應(yīng)的高斯標(biāo)準(zhǔn)差為σCN=0.3，σHOG=0.4，對應(yīng)的學(xué)習(xí)率γCN=0.0175，γHOG=0.018 0；窗口系數(shù)padding=1.5。

6.3 實驗結(jié)果及分析

圖3（a）和（b）分別是在50個視頻序列上，F(xiàn)S-EMKCF算法和其他對比算法的精度和成功率曲線。各個算法的精度、成功率以及平均幀率如表1所示。

表1 5種算法跟蹤精度、成功率以及幀率

由圖2 以及表1 可知，本文所提FS-EMKCF 算法相比于其他4種算法，在精度以及成功率的評價指標(biāo)上均取得最優(yōu)性能。與傳統(tǒng)的使用HOG特征的KCF算法相比，精度提高了10.9%，成功率提高了12%，這表明使用多特征互補多核濾波能夠有效地應(yīng)對復(fù)雜的跟蹤環(huán)境，提高跟蹤性能。與FS-MKCF相比，精度提高了5.7%，成功率提高了3.4%，這表明FS-EMKCF引入歷史樣本來獲得多核濾波器，能進一步提高跟蹤性能以及魯棒性。

與結(jié)構(gòu)化SVM 的Struck[17]算法相比，精度提高了19%，成功率提高了16.2%；與使用CN 特征的CN2 算法[19]相比，精度提高了20.6%，成功率提高了19.6%。在實時性上，F(xiàn)S-EMKCF 的幀率約FS-MKCF 的2.8 倍，這主要是因為FS-EMKCF 引入歷史樣本對目標(biāo)函數(shù)的上界進行優(yōu)化獲得最優(yōu)解，大大減輕互補特征之間的負(fù)面的相互干擾，保證了較高的幀率，另一方面也得益于對HOG 和顏色特征的PCA 降維處理，降低了計算消耗。綜合算法的性能以及實時性，本文所提FS-EMKCF算法在保證較高實時性的同時，能獲得較好的性能。

此外，為了更全面地比較不同算法在不同挑戰(zhàn)下的跟蹤性能，本文對不同算法在11 種特定挑戰(zhàn)下的性能進行了統(tǒng)計分析。在不同挑戰(zhàn)因素下各種算法的精度圖由表2給出，成功率由表3給出。表中可以看到，在背景雜波、形變、光照變化、遮擋、尺度變化、平面內(nèi)旋轉(zhuǎn)、平面外旋轉(zhuǎn)以及超出視野和運動模糊等挑戰(zhàn)因素下，本文算法的表現(xiàn)優(yōu)于其他對比算法。特別的，在遮擋情況下，F(xiàn)S-EMKCF算法相比于FS-MKCF精度上提高了4.7個百分點，成功率提高了3.1個百分點，這主要得益于引入了峰值旁瓣比來處理遮擋問題。

為了更加直觀地驗證FS-EMKCF算法的跟蹤性能，實驗選取了OTB2013 數(shù)據(jù)集中3 組視頻序列進行分析說明。其中紅色代表FS-EMKCF算法跟蹤結(jié)果，綠色代表FS-MKCF算法的跟蹤結(jié)果，藍(lán)色代表KCF算法跟蹤結(jié)果，洋紅色代表Struck 算法跟蹤結(jié)果，黑色代表CN2算法跟蹤結(jié)果。

表2 5種算法在不同挑戰(zhàn)下的跟蹤精度

表3 5種算法在不同挑戰(zhàn)下的成功率

如圖4 所示，在Singer2 序列中，目標(biāo)包括的挑戰(zhàn)因素有光照變化、形變、平面內(nèi)旋轉(zhuǎn)、平面外旋轉(zhuǎn)以及背景雜波等情況。在第27 幀中，CN2 算法和Struck 算法跟蹤發(fā)生漂移，KCF 算法、FS-MKCF 算法和FS-EMKCF 算法能正確跟蹤目標(biāo)。這是因為基于顏色特征的CN2 算法和基于Haar 特征的Struck 算法對目標(biāo)形變比較敏感。在第43 幀中，KCF 算法發(fā)生較小的偏移，F(xiàn)S-MKCF 和FS-EMKCF 算法能保持較好的跟蹤性能。在從第127 幀到第218 幀的跟蹤過程中，目標(biāo)除發(fā)生形變外，還伴有平面內(nèi)旋轉(zhuǎn)，此時KCF算法發(fā)生較大偏移。在第259 幀到第337 幀的跟蹤過程中，目標(biāo)除發(fā)生形變外，還伴有平面外旋轉(zhuǎn)和背景雜波，F(xiàn)S-MKCF算法的跟蹤框發(fā)生較小偏移，F(xiàn)S-EMKCF 算法未發(fā)生偏離。

圖4 5種算法在Singer2序列的跟蹤效果

如圖5所示，在Skating1序列中，在第33幀到167幀的跟蹤過程中，這5種算法都具有一定的跟蹤能力。在第167 幀中，目標(biāo)被部分遮擋，Struck 算法跟蹤出現(xiàn)干擾。在第184 幀中，Struck 算法的無法正確框定目標(biāo)。在第231幀到315幀的跟蹤過程中，目標(biāo)發(fā)生旋轉(zhuǎn)，且伴有尺度變化，CN2 算法和Struck 算法跟蹤漂移，KCF 算法跟蹤框發(fā)生部分偏移。在第383幀中，KCF算法丟失目標(biāo)，F(xiàn)S-MKCF 算法跟蹤發(fā)生偏移。由此說明，F(xiàn)SEMKCF 算法對尺度變化、光照變化、形變、旋轉(zhuǎn)和遮擋等情況的適應(yīng)能力優(yōu)于其他4種算法。

圖5 5種算法在Skating1序列的跟蹤效果

如圖6 所示，在Freeman4 序列中，目標(biāo)包括的挑戰(zhàn)因素有目標(biāo)尺度變化、遮擋以及平面外旋轉(zhuǎn)和平面內(nèi)旋轉(zhuǎn)等情況。在第24幀到第65幀的跟蹤過程中，5種算法都具有一定的跟蹤能力。在第82幀中，目標(biāo)發(fā)生旋轉(zhuǎn)，并伴有尺度變化，此時采用固定跟蹤框的KCF 算法和基于Haar 特征的Struck 的算法發(fā)生漂移。在跟蹤到228幀的過程中，目標(biāo)發(fā)生旋轉(zhuǎn)外還出現(xiàn)多次遮擋的情況，此時只有利用歷史樣本進行多核學(xué)習(xí)的FS-EMKCF算法能對目標(biāo)進行有效跟蹤，這是因為在FS-EMKCF中加入遮擋檢測機制，使得該算法能有效應(yīng)對該情況。在第276 幀到第283 幀的跟蹤過程中，目標(biāo)超出視野，F(xiàn)SEMKCF算法能部分框定目標(biāo)。

圖6 5種算法在Freeman4序列的跟蹤效果

7 總結(jié)

本文以核相關(guān)濾波算法為研究對象，針對該算法存在的尺度變化、單一內(nèi)核和單一特征以及定位性能較差等問題，提出了快速尺度估計增強型多核相關(guān)濾波跟蹤算法。該算法通過在核相關(guān)濾波框架內(nèi)引入快速判別式尺度估計，解決了核相關(guān)濾波對目標(biāo)尺度變化不敏感的問題；引入多特征互補的多核學(xué)習(xí)，利用不同的特征可以描述不同的目標(biāo)信息，從而適應(yīng)復(fù)雜的環(huán)境變化；為了解決多核學(xué)習(xí)的計算量以及魯棒性問題，通過優(yōu)化相關(guān)濾波目標(biāo)函數(shù)的上界來重新構(gòu)造多核濾波器的目標(biāo)函數(shù)，并將歷史樣本引入到目標(biāo)函數(shù)的學(xué)習(xí)過程中，以自適應(yīng)更新濾波模板，同時引入峰值旁瓣比來有效應(yīng)對目標(biāo)出現(xiàn)遮擋的情況。實驗結(jié)果表明，所提的快速尺度估計增強型多核相關(guān)算法對目標(biāo)尺度變化以及復(fù)雜環(huán)境下的目標(biāo)跟蹤性能以及實時性表現(xiàn)優(yōu)異。