核相關(guān)濾波跟蹤方法研究
2019-09-10 07:22:44孟祥瑞
現(xiàn)代信息科技 2019年10期
摘? 要：核相關(guān)濾波跟蹤方法作為一種效果較佳的目標(biāo)跟蹤方法得到了廣泛應(yīng)用。本文介紹了基于前景和基于背景的兩類目標(biāo)檢測(cè)的特點(diǎn)，以及目標(biāo)跟蹤的相關(guān)知識(shí)。重點(diǎn)以核相關(guān)濾波跟蹤方法為主，詳細(xì)介紹了該方法的特點(diǎn)、算法實(shí)現(xiàn)，包括相關(guān)濾波、構(gòu)建嶺回歸模型、構(gòu)造循環(huán)樣本和核函數(shù)映射，討論了其性能優(yōu)勢(shì)以及算法設(shè)計(jì)開發(fā)中的數(shù)據(jù)集。多通道和輸入梯度直方圖等特征使核相關(guān)濾波跟蹤方法獲得了效率高、速度快、識(shí)別能力強(qiáng)、穩(wěn)定性高的特點(diǎn)。
關(guān)鍵詞：核相關(guān)濾波;目標(biāo)跟蹤與檢測(cè);核函數(shù);嶺回歸模型
中圖分類號(hào)：TP391.41? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：2096-4706（2019）10-0014-03
Abstract：As a better method of generating target tracking，kernel correlation filter tracking has been widely used. This paper introduces the characteristics of two kinds of target recognition based on foreground and background，and the related knowledge of target tracking. This paper mainly focuses on of kernel correlation filtering tracking. The characteristics and algorithm implementation of this method are introduced in detail，including correlation filtering，ridge regression model，cyclic samples and kernel function mapping. Its performance advantages and data sets in algorithm design and development are discussed. The features of multi-channel and input gradient histogram make the kernel correlation filtering tracking obtain high efficiency，fast speed，strong recognition ability and high stability.
Keywords：kernel correlation filtering;target tracking and detection;kernel function;ridge regression model
0? 引? 言
目標(biāo)跟蹤是一個(gè)具有挑戰(zhàn)性的問題。由于對(duì)象的突然運(yùn)動(dòng)、對(duì)象和場(chǎng)景的外觀模式的變化、非剛性對(duì)象結(jié)構(gòu)、對(duì)象到對(duì)象和對(duì)象到場(chǎng)景的遮擋以及相機(jī)的運(yùn)動(dòng)，跟蹤對(duì)象可能會(huì)出現(xiàn)困難。
通過圖像追蹤，可以實(shí)現(xiàn)諸如交通監(jiān)管、靶場(chǎng)演練、人流分析等諸多實(shí)際功能。在具體應(yīng)用領(lǐng)域，目標(biāo)跟蹤可用于工業(yè)制造、航空航天、通信工程、機(jī)器人視覺、視頻和多媒體系統(tǒng)等諸多領(lǐng)域?？梢钥吹?，目標(biāo)跟蹤是一塊涉及多學(xué)科、功能強(qiáng)大、與人們生活息息相關(guān)的研究領(lǐng)域。廣泛的應(yīng)用領(lǐng)域也使得目標(biāo)跟蹤受到了更多人的關(guān)注，并使其擁有了越來越高的研究?jī)r(jià)值。而對(duì)目標(biāo)跟蹤技術(shù)的進(jìn)一步認(rèn)識(shí)與研究也決定著未來智能社會(huì)的發(fā)展步伐。
1? 目標(biāo)檢測(cè)
目標(biāo)檢測(cè)將所關(guān)注的目標(biāo)與其周圍的不相關(guān)目標(biāo)以及背景相分離，通過不同的分割算法可實(shí)現(xiàn)多種效果不同的分割方式，進(jìn)而實(shí)現(xiàn)多種性能不同的目標(biāo)檢測(cè)方式[1]。目標(biāo)檢測(cè)可分為基于背景的目標(biāo)檢測(cè)與基于前景的目標(biāo)檢測(cè)兩大類[2]。其中，基于前景的目標(biāo)檢測(cè)有著識(shí)別效果好、不易受環(huán)境影響的優(yōu)點(diǎn)，核相關(guān)濾波算法就屬于此類。但基于前景的目標(biāo)檢測(cè)同樣也有著訓(xùn)練難度大、目標(biāo)形變對(duì)結(jié)果影響大等諸多處理上的困難。與此同時(shí)，基于背景的目標(biāo)檢測(cè)有著不用大量數(shù)據(jù)訓(xùn)練、識(shí)別速度快等優(yōu)點(diǎn)，但其缺點(diǎn)是識(shí)別環(huán)境單一，背景的變化與擾動(dòng)容易對(duì)其造成較大影響。在實(shí)際應(yīng)用過程中，要兼顧效率與準(zhǔn)確性兩方面，對(duì)于具體問題應(yīng)用合適的方法進(jìn)行處理。
2? 目標(biāo)跟蹤
目標(biāo)跟蹤是物體圍繞一個(gè)場(chǎng)景運(yùn)動(dòng)時(shí)在圖像平面中形成的軌跡，目標(biāo)跟蹤的過程是在每一幀圖片中定位目標(biāo)，并將目標(biāo)在多幀圖片中連接起來，從而形成一個(gè)連續(xù)的運(yùn)動(dòng)軌跡。
在相關(guān)濾波方面比較著名的算法有利用循環(huán)結(jié)構(gòu)的核跟蹤檢測(cè)算法CSK[3]（下稱CSK算法）、基于自適應(yīng)選擇顏色屬性的實(shí)時(shí)視覺跟蹤算法CN[4]（下稱CN算法）、時(shí)空上下文視覺跟蹤算法STC[5]（下稱STC算法）、核相關(guān)濾波跟蹤算法KCF[6]（下稱KCF算法）等等，均可以滿足實(shí)際應(yīng)用中目標(biāo)跟蹤的需求。
3? 核相關(guān)濾波跟蹤方法（KCF）
核相關(guān)濾波跟蹤方法是近些年提出的一種新的目標(biāo)跟蹤方法。它是在CSK算法之上的一種改進(jìn)算法，與CSK算法內(nèi)核基本相同，但輸入的圖像從原來的單通道灰度特征換成了多通道特征，并支持輸入梯度直方圖特征（HOG）。其具有效率高、速度快、識(shí)別能力強(qiáng)等諸多優(yōu)點(diǎn)。與絕大多數(shù)跟蹤算法的核心相同，核相關(guān)濾波跟蹤方法的目的是訓(xùn)練一個(gè)具有判別能力的分類器，然后利用該分類器將目標(biāo)和背景環(huán)境區(qū)分開來。相較于一般濾波方法，核相關(guān)濾波引入了核函數(shù)[7]和嶺回歸模型[8]，這使得核相關(guān)濾波具有更快的速度和更高的穩(wěn)定性。同一般的神經(jīng)網(wǎng)絡(luò)訓(xùn)練方式一樣，在核相關(guān)濾波跟蹤方法訓(xùn)練分類器時(shí)，也需要經(jīng)過設(shè)定損失函數(shù)、求損失函數(shù)最小值、梯度下降等一系列步驟。通過訓(xùn)練得到的分類器便可用于識(shí)別圖像中特定的目標(biāo)。
3.1? 相關(guān)濾波
相關(guān)濾波[9]是將信號(hào)處理中相關(guān)性（correlation）的性質(zhì)應(yīng)用在圖像處理中的一種處理方法。其主要思路是設(shè)計(jì)一個(gè)相關(guān)濾波器，該相關(guān)濾波器是對(duì)圖像中所關(guān)注的目標(biāo)進(jìn)行區(qū)域取樣形成的。可知，圖像中所有與該濾波器大小相等的區(qū)域與濾波器作相關(guān)操作之后，和相關(guān)濾波器最相似的區(qū)域得到的值最大，而該區(qū)域即為關(guān)注的目標(biāo)所在位置。利用相關(guān)濾波器的這一特征可設(shè)計(jì)出用于實(shí)現(xiàn)核相關(guān)濾波的分類器。
在目標(biāo)跟蹤領(lǐng)域，相關(guān)濾波的具體操作是首先從輸入的第一幀中提取出要跟蹤的區(qū)域的特征。然后對(duì)分類器進(jìn)行訓(xùn)練，得到一個(gè)適用于該目標(biāo)的分類器;之后對(duì)于輸入的每一幀，首先從圖像中裁剪下預(yù)測(cè)的區(qū)域，并對(duì)該區(qū)域進(jìn)行特征提取，將提取到的特征由FFT轉(zhuǎn)換到頻域中與分類器相乘，再將結(jié)果進(jìn)行IFFT，獲得最大響應(yīng)點(diǎn)的位置即為目標(biāo)所在位置。最后再用這個(gè)新位置進(jìn)行下一輪的“訓(xùn)練+檢測(cè)”，直到目標(biāo)跟蹤完畢。
3.2? 嶺回歸模型
同最小二乘法的無偏性特點(diǎn)不同，嶺回歸法的核心是一種有偏的回歸方法，是對(duì)最小二乘法的一種改進(jìn)。嶺回歸模型的表達(dá)式為：
式（1）中x表示樣本，y表示樣本對(duì)應(yīng)的標(biāo)簽?？梢钥闯?，嶺回歸模型是在最小二乘法的基礎(chǔ)上增加了末尾的一項(xiàng)偏置。該式的目標(biāo)是訓(xùn)練得到參數(shù)w，通過矩陣計(jì)算可得該最小化問題的解析解為w=（XTX+λI）-1XTy。
嶺回歸模型放棄了最小二乘法的無偏性，以降低精度、損失信息為代價(jià)獲得更為符合實(shí)際的回歸系數(shù)，進(jìn)而構(gòu)造更可靠的回歸函數(shù)。嶺回歸的目的是找到一個(gè)在樣本數(shù)據(jù)中使方差和誤差均保持在可接受范圍內(nèi)的一個(gè)權(quán)衡點(diǎn)。一般來說，擬合的誤差值越大，參數(shù)w的各個(gè)元素的方差越低;擬合的誤差值越小，參數(shù)w的各個(gè)元素的方差越高。從擬合效果上來講，嶺回歸模型對(duì)病態(tài)數(shù)據(jù)的擬合程度要優(yōu)于最小二乘法，并且良好地預(yù)防了過擬合問題。
3.3? 循環(huán)樣本的構(gòu)造
由于分類器在訓(xùn)練過程中需要大量的樣本數(shù)據(jù)，但在目標(biāo)跟蹤的分類器的訓(xùn)練過程中，一般的數(shù)據(jù)對(duì)于訓(xùn)練達(dá)不到很好的效果。為了提高訓(xùn)練的效率以及精確程度，在核相關(guān)濾波跟蹤算法中利用循環(huán)矩陣生成訓(xùn)練集。利用線性代數(shù)以及矩陣分析中的知識(shí)可知循環(huán)矩陣的生成可由左乘一個(gè)單位矩陣或右乘一個(gè)單位矩陣完成，其中左乘是行變換，右乘是列變化，這樣做目的是得到更多的樣本。因?yàn)槊砍艘淮味寄艿玫揭粋€(gè)新的樣本，這樣就可以由一張?jiān)紙D片生成出n*n個(gè)樣本，這也是循環(huán)矩陣在該算法中最大的用處——增加樣本的數(shù)量。而在循環(huán)樣本的邊緣會(huì)比較明顯地帶有人造樣本痕跡，可以通過應(yīng)用余弦窗和增加padding來緩解該缺點(diǎn)。
由定理可知，所有的循環(huán)矩陣都可以通過快速離散傅里葉變換將其對(duì)角化。所以在訓(xùn)練的過程中，可以利用該性質(zhì)大大減少運(yùn)算時(shí)間，通過循環(huán)矩陣的對(duì)角化可快速求得分類器參數(shù)w的值，這也是循環(huán)矩陣在該算法中的又一大優(yōu)勢(shì)。
3.4? 引入核技巧
核函數(shù)（Kernel Function）是支持向量機(jī)（SVM）中的重要組成部分，它可以表示為將輸入空間映射到高維特征空間的一個(gè)非線性變換φ（x）。核函數(shù)可表示為K（x，y）=
由定理可知，對(duì)于任意一個(gè)置換矩陣M，若核函數(shù)滿足K（x，y）=K（Mx，My），可證明該核矩陣K具有循環(huán)結(jié)構(gòu)。通過該定理，可以確定滿足上述性質(zhì)的核函數(shù)，如高斯核函數(shù)、線性核函數(shù)、多項(xiàng)式核函數(shù)等。在具體問題的處理過程中，要經(jīng)過對(duì)實(shí)際情況的分析，選取合適的核函數(shù)進(jìn)行處理。
在對(duì)嶺回歸模型得到的分類器f（z）進(jìn)行核函數(shù)映射時(shí)，可表示為：
通過矩陣計(jì)算可得上式的解為α=（K+λI）-1y（其中K為核矩陣，α為αi構(gòu)成的向量），因?yàn)楹司仃嚲哂醒h(huán)結(jié)構(gòu)，所以經(jīng)過化簡(jiǎn)運(yùn)算處理后，可得最終結(jié)果為 。至此，得出了分類器的最終表示形式。
4? 結(jié)? 論
在算法設(shè)計(jì)開發(fā)的過程中，數(shù)據(jù)集作為必不可少的參與部分也應(yīng)得到相應(yīng)的更新。OTB50[10]、OTB100[11]等數(shù)據(jù)集已經(jīng)被廣泛使用。但不可否認(rèn)的是，在OTB50數(shù)據(jù)集公開之后，許多論文中的算法存在著依靠數(shù)據(jù)集調(diào)參的情況，這將使算法不具有泛化能力且不利于科研的發(fā)展。類似于VOT競(jìng)賽中每年更新的數(shù)據(jù)集給了不同算法之間公平競(jìng)爭(zhēng)的平臺(tái)，但這樣的數(shù)據(jù)想要應(yīng)對(duì)未來的發(fā)展還是遠(yuǎn)遠(yuǎn)不夠的，需要更多能夠走出實(shí)驗(yàn)室在實(shí)際生活中穩(wěn)定應(yīng)用的目標(biāo)跟蹤方法來適應(yīng)社會(huì)的發(fā)展節(jié)奏。
參考文獻(xiàn)：
[1] Yilmaz，Alper，Javed，Omar，Shah，Mubarak. Object tracking：A survey [J]. ACM Computing Surveys，2006，38（4）：13.
[2] 尹宏鵬，陳波，柴毅，等.基于視覺的目標(biāo)檢測(cè)與跟蹤綜述 [J].自動(dòng)化學(xué)報(bào)，2016，42（10）：1466-1489.
[3] Jo?o F. Henriques，Caseiro R ，Martins P ，et al. Exploiting the Circulant Structure of Tracking-by-Detection with Kernels [M]// Computer Vision–ECCV 2012. Springer Berlin Heidelberg，2012.
[4] DANELLJAN M，KHAN FS，F(xiàn)ELSBERG M，et al. Adaptive Color Attributes for Real-Time Visual Tracking [C]// Computer Vision and Pattern Recognition （CVPR），2014 IEEE Conference on. S.l.：s.n.，2014：1090-1097.
[5] Kaihua Zhang，Lei Zhang，Qingshan Liu，et al. Fast Visual Tracking via Dense Spatio-temporal Context Learning [M]. Cham：Springer International Publishing，2014：127-141.
[6] Henriques J F，Rui C，Martins P，et al. High-Speed Tracking with Kernelized Correlation Filters [J]. IEEE Transactions on Pattern Analysis & Machine Intelligence，2015，37（3）：583-596.
[7] Bernhard Sch?lkopf. Advances in Kernel Methods-Support Vector Learning [M]// Advances in kernel methods：support vector learning. MIT Press，1999.
[8] HOERL A E，KENNARD R W. Ridge regression：Biased estimation for nonorthogonal problems [J]. Technometrics，2000，42（1）：80-86.
[9] Bolme D S，Beveridge J R，Draper B A，et al. Visual object tracking using adaptive correlation filters [C]// Computer Vision & Pattern Recognition. 2010.
[10] Wu Y，Lim J，Yang M H . Online Object Tracking：A Benchmark [C]// 2013 IEEE Conference on Computer Vision and Pattern Recognition. IEEE Computer Society，2013.
[11] Wu Y，Lim J，Yang M H. Object Tracking Benchmark [J]. IEEE Transactions on Pattern Analysis & Machine Intelligence，2015，37（9）：1834-1848.
作者簡(jiǎn)介：孟祥瑞（1997.10-），男，漢族，河北張家口人，本科在讀，研究方向：圖像處理、人工智能。
