基于改進(jìn)SAMF 的移動(dòng)機(jī)器人目標(biāo)跟蹤算法*

申春蘭，儲(chǔ)開斌，張 繼

（1.常州大學(xué)微電子與控制工程學(xué)院，江蘇 常州 213164；2.常州大學(xué)阿里云大數(shù)據(jù)學(xué)院，江蘇 常州 213164）

0 引言

近年來(lái)在人工智能飛速發(fā)展的環(huán)境下，移動(dòng)機(jī)器人在工業(yè)、農(nóng)業(yè)、醫(yī)療等行業(yè)中得到廣泛的應(yīng)用［1-3］。移動(dòng)機(jī)器人主要的研究技術(shù)包括環(huán)境感知、運(yùn)動(dòng)控制、路徑規(guī)劃等，在實(shí)際應(yīng)用中，目標(biāo)跟蹤技術(shù)對(duì)移動(dòng)機(jī)器人的性能有著很大的影響［4-6］。由于移動(dòng)迅速、工作環(huán)境復(fù)雜多變，實(shí)時(shí)性和精度都高的目標(biāo)跟蹤技術(shù)成為移動(dòng)機(jī)器人研究的重點(diǎn)。

目前目標(biāo)跟蹤技術(shù)主要有相關(guān)濾波和深度學(xué)習(xí)兩種方法［7-9］。HERNRIQUES 等提出了CSK（circulant structure kernel）算法，CSK 算法中使用了嶺回歸方法計(jì)算濾波器模板、循環(huán)移位矩陣采集樣本，由于循環(huán)矩陣在傅氏空間具有對(duì)角化，從而進(jìn)一步減少計(jì)算量［10］。CSK 算法中還使用了核技巧，但是由于只用灰度特征，從而導(dǎo)致對(duì)目標(biāo)跟蹤不夠準(zhǔn)確。HERNRIQUES 等提出了KCF（kernel correlation filter）算法［11］，KCF 算法采用的是高斯核函數(shù)、HOG（histogram of oriented gradient）特征［12］，但KCF 算法跟蹤框固定，不能自適應(yīng)調(diào)整。LI 等提出了SAMF（scale adaptive multiple feature）算法［13］，在KCF 算法中拓展了顏色特征，使用尺度池方法尋找合適的目標(biāo)尺度。DANELLJAN 等提出了DSST（discriminatiive scale space tracker）算法［14］，DSST 算法對(duì)目標(biāo)的位置移動(dòng)、尺度測(cè)量使用兩個(gè)單獨(dú)的濾波器檢測(cè)。但是由于目標(biāo)尺度變化過大以及目標(biāo)被遮擋等問題，SAMF、DSST 兩種尺度相關(guān)濾波算法在目標(biāo)跟蹤過程中會(huì)發(fā)生偏移現(xiàn)象。GALOOGAHAI 等提出了背景感知的相關(guān)濾波算法BACF（backgroundaware correlation filters）［15］，BACF 算法具有限制邊界效應(yīng)功能，但是使用單一的HOG 特征，在復(fù)雜場(chǎng)景下跟蹤能力一般。LI 等提出了時(shí)空正則化（spatialtemporal regularized correlation filters，STRCF）跟蹤算法［16］，引入時(shí)間正則化項(xiàng)且不保留以往樣本信息，可以實(shí)現(xiàn)實(shí)時(shí)跟蹤。其時(shí)間權(quán)重因子在跟蹤過程中不變，但不同時(shí)間跟蹤目標(biāo)的大小形變會(huì)有所不同，且在目標(biāo)長(zhǎng)時(shí)遮擋的情況下效果不佳。

SAMF 算法是一種基于KCF 改進(jìn)的相關(guān)濾波方向的目標(biāo)跟蹤算法，它的特征提取為HOG、CN（color names）特征和灰度特征，對(duì)背景光照和目標(biāo)形變具有一定的魯棒性，采用了7 個(gè)尺度池應(yīng)對(duì)目標(biāo)尺度變化，實(shí)時(shí)性和精度相對(duì)較高?；谝苿?dòng)機(jī)器人對(duì)目標(biāo)跟蹤算法速度和精度的要求，本文采用SAMF 算法進(jìn)行跟蹤。但是SAMF 算法只有7 個(gè)尺度池不能很好地適應(yīng)尺度變化較大的目標(biāo)且抗遮擋能力較差。針對(duì)上述問題，提出了一種基于改進(jìn)的SAMF 移動(dòng)機(jī)器人目標(biāo)跟蹤算法。選用9 個(gè)尺度池對(duì)目標(biāo)進(jìn)行尺度匹配，在增加少量計(jì)算量的同時(shí)明顯提高精度，又引入平均峰值相關(guān)能量APCE（average peak-to-correlation energy，APCE）對(duì)目標(biāo)遮擋進(jìn)行判斷，決定是否更新模板，以防模板被污染［17］。將改進(jìn)后的算法在移動(dòng)機(jī)器人上實(shí)際應(yīng)用，可實(shí)現(xiàn)移動(dòng)機(jī)器人在目標(biāo)尺度變化、目標(biāo)被遮的情況下穩(wěn)定跟蹤。

1 SAMF 算法原理

SAMF 算法是一種多特征多尺度的相關(guān)濾波目標(biāo)跟蹤算法，它是基于KCF 算法進(jìn)行改進(jìn)的。

1.1 KCF 算法

KCF 算法先利用首幀目標(biāo)來(lái)初始化目標(biāo)檢測(cè)器，然后在搜索幀中目標(biāo)附近使用循環(huán)矩陣進(jìn)行密集采樣，將樣本在目標(biāo)檢測(cè)器中進(jìn)行訓(xùn)練，取最大響應(yīng)值作為當(dāng)前目標(biāo)的位置，并更新檢測(cè)器。使用更新后的檢測(cè)器對(duì)下一幀目標(biāo)進(jìn)行訓(xùn)練，從而獲得新的目標(biāo)。

KCF 算法檢測(cè)器的訓(xùn)練可作求解嶺回歸問題，（fxi）為線性回歸函數(shù)，（xi，yi）為訓(xùn)練樣本，為正則化系數(shù)，計(jì)算出ω 的最優(yōu)值使得最小化平方和誤差最?。?/p>

寫成矩陣形式后，求解出的ω 可以表示為：

其中，X 的每行為一個(gè)向量；XH表示復(fù)共軛轉(zhuǎn)置矩陣；y 是每個(gè)元素的樣本標(biāo)簽。

由循環(huán)矩陣在傅里葉空間可對(duì)角化，ω 在傅里葉域可表示為：

其中，^ 表示傅里葉變換；⊙表示矩陣的Hadamard積；*表示共軛復(fù)數(shù)。

算法中引入核函數(shù)將特征空間映射到高維空間，使得函數(shù)在高維空間中線性可分，需找到函數(shù)φ（x）使得：

通過傅里葉對(duì)角化性質(zhì)，對(duì)式（6）進(jìn)行化簡(jiǎn)得：

對(duì)于輸入的所有樣本，計(jì)算輸出響應(yīng)：

得到響應(yīng)值后要對(duì)模板進(jìn)行更新：

其中，η 為學(xué)習(xí)因子。

1.2 SAMF 算法介紹

KCF 算法使用HOG 特征，SAMF 算法擴(kuò)展了CN 特征和灰度特征。

HOG 是梯度方向直方圖特征，實(shí)現(xiàn)步驟如下：

1）首先對(duì)圖像預(yù)處理；

2）計(jì)算圖像中各像素點(diǎn)的x 和y 方向梯度，得出像素點(diǎn)梯度大小和方向。由文獻(xiàn)［12］可知，x 和y的方向梯度為：

其中，I（x，y）是（x，y）處的像素。由式（7）、式（8）兩式可得該點(diǎn)像素的梯度大小和方向：

3）將圖像劃分成若干個(gè)cell 單元，若干個(gè)cell單元串聯(lián)得到block 塊，計(jì)算每個(gè)cell 單元梯度，串聯(lián)成block 塊；

4）串聯(lián)圖像block 獲得HOG 特征向量。

CN 特征是一種應(yīng)用較為廣泛的視覺特征，對(duì)目標(biāo)圖片中出現(xiàn)的光照、顏色具有較好魯棒性，與HOG 特征的幾何、光學(xué)形變魯棒性互補(bǔ)，SAMF 算法中將HOG、CN、灰度3 種特征進(jìn)行融合。

根據(jù)電泳的定量結(jié)果，使用QuantiFluor?-ST藍(lán)色熒光定量系統(tǒng)對(duì)PCR產(chǎn)物進(jìn)行檢測(cè)定量，之后根據(jù)樣本的測(cè)序量要求進(jìn)行相應(yīng)比例的混合。

2 改進(jìn)的SAMF 算法

2.1 尺度估計(jì)

SAMF 算法引入尺度池估計(jì)目標(biāo)尺度，選擇池中不同大小的目標(biāo)與上一幀目標(biāo)進(jìn)行相關(guān)性計(jì)算，其中最大響應(yīng)值作為當(dāng)前幀中目標(biāo)尺度。當(dāng)視頻中的目標(biāo)遠(yuǎn)近變化時(shí)，目標(biāo)的尺寸也會(huì)隨之改變。目標(biāo)運(yùn)動(dòng)速度過快，導(dǎo)致目標(biāo)突然變大時(shí)，跟蹤框只能框選出目標(biāo)的一部分，目標(biāo)突然變小時(shí)，跟蹤框中包含太多背景信息，兩種情況都會(huì)導(dǎo)致跟蹤出現(xiàn)偏移或者目標(biāo)丟失。

SAMF 算法尺度池為PoolS={0.985，0.990，0.995，1，1.005，1.010，1.015}。移動(dòng)機(jī)器人由于移動(dòng)迅速，跟蹤目標(biāo)復(fù)雜多變，尺度池太少容易引入噪聲，降低移動(dòng)機(jī)器人跟蹤精度，尺度池過多會(huì)干擾特征統(tǒng)計(jì)，不僅降低運(yùn)算速度還達(dá)不到提升精度的效果。本文算法在SAMF 算法原有的尺度池基礎(chǔ)上增加了2 個(gè)尺度池，在增加較少計(jì)算量的同時(shí)大幅度地提高跟蹤精度。最終尺度池為PoolS={0.980，0.985，0.990，0.995，1，1.005，1.010，1.015，1.020}，算法示意圖如圖1 所示。

圖1 尺度估計(jì)示意圖Fig.1 Schematic diagram of scale estimation

2.2 模板更新策略

SAMF 算法在對(duì)目標(biāo)跟蹤的過程中，會(huì)由每一幀計(jì)算得到的最大響應(yīng)值對(duì)模板進(jìn)行更新。當(dāng)出現(xiàn)目標(biāo)遮擋或者跟丟情況時(shí)，采樣窗口會(huì)誤將背景信息更新到模板中，繼而模板誤把背景信息當(dāng)成跟蹤目標(biāo)，最終導(dǎo)致跟蹤框偏移、目標(biāo)丟失。

針對(duì)上述問題本文采用最大響應(yīng)峰值Fmax和平均峰值相關(guān)能量APCE 作為目標(biāo)被遮擋以及模型更新的評(píng)判依據(jù)。APCE 的計(jì)算方法為：

式中，F(xiàn)max為最大響應(yīng)值；Fmin為最小響應(yīng)值；Fw，h為坐標(biāo)（w，h）處的響應(yīng)。

當(dāng)目標(biāo)被準(zhǔn)確跟蹤時(shí)，APCE 的值和最大響應(yīng)峰值很大；當(dāng)目標(biāo)被遮擋或者丟失時(shí)，APCE 的值會(huì)急劇下降，最大響應(yīng)峰值也會(huì)降低。圖2 是目標(biāo)準(zhǔn)確跟蹤和丟失兩種情況的特征響應(yīng)圖，圖2（a）中有一個(gè)尖銳巨大的響應(yīng)峰，是目標(biāo)準(zhǔn)確跟蹤情況下的的結(jié)果圖。圖2（b）中有多個(gè)平滑的響應(yīng)峰，是目標(biāo)跟蹤失敗情況下的的結(jié)果。

圖2 SAMF 算法響應(yīng)圖Fig.2 Response diagram of SAMF algorithm

式中，Pmax和PAPCE分別表示最大峰值均值、平均峰值相關(guān)能量均值，用公式表示為：

式中，n 表示目前跟蹤的所有圖片幀數(shù)。當(dāng)同時(shí)滿足式（16）、式（17）時(shí)，目標(biāo)跟蹤成功，模板更新，與KCF 算法模板更新一樣，如式（9）所示。否則目標(biāo)可能出現(xiàn)遮擋或者丟失情況，停止更新模板。

2.3 改進(jìn)后的SAMF 算法流程圖

改進(jìn)的SAMF 算法流程圖如圖3 所示。算法首先讀入視頻的首幀，根據(jù)首幀圖片中的目標(biāo)位置信息初始化KCF 濾波器。然后讀取下一幀圖片，對(duì)當(dāng)前圖片中目標(biāo)周圍指定區(qū)域進(jìn)行循環(huán)采樣，提取特征，對(duì)濾波器進(jìn)行訓(xùn)練，得到最大響應(yīng)值，再對(duì)最大響應(yīng)值目標(biāo)進(jìn)行9 個(gè)尺度的縮放，用縮放后的目標(biāo)與前一幀目標(biāo)做相關(guān)響應(yīng)計(jì)算，響應(yīng)最大值為目標(biāo)位置。接著計(jì)算本幀的最大峰值與平均峰值相關(guān)能量，判斷目標(biāo)是否被遮擋或者跟丟，如果是，停止更新模板。判斷本幀是否為最后一幀，如果不是，則讀取下一幀。

圖3 改進(jìn)的SAMF 算法流程圖Fig.3 Flow chart of improved SAMF algorithm

3 實(shí)驗(yàn)仿真與結(jié)果

3.1 實(shí)驗(yàn)環(huán)境及參數(shù)

仿真實(shí)驗(yàn)所用的開發(fā)環(huán)境Matlab2016b，計(jì)算機(jī)配置為Intel（R）Core（TM）i7-7500U CPU，主頻2.70 GHz，內(nèi)存8 GB。本文算法中的學(xué)習(xí)率和正則化參數(shù)與SAMF 原文保持一致。模板更新策略中的閾值β1、β2分別為0.9 和0.5。使用WU 等提出的精確度和成功率來(lái)評(píng)估算法的性能［18］。其中，精確度表示算法預(yù)測(cè)的中心位置誤差小于給定閾值幀數(shù)占整個(gè)視頻幀數(shù)的百分比，閾值設(shè)置為20 像素，成功率表示跟蹤區(qū)域和人工標(biāo)注區(qū)域的重疊率大于閾值的幀數(shù)百分比，閾值設(shè)為0.5。

3.2 實(shí)驗(yàn)驗(yàn)證

為驗(yàn)證本文算法的性能，在OTB100 測(cè)試集中選擇部分視頻對(duì)本文算法的不同尺度池進(jìn)行對(duì)比，又選擇KCF、SAMF、BACF、STRCF 與本文算法進(jìn)行對(duì)比，驗(yàn)證本文算法在目標(biāo)尺度變化以及目標(biāo)被遮擋問題上的優(yōu)勢(shì)，部分對(duì)比結(jié)果如圖4 所示，性能結(jié)果如表1～表4 所示。

表1 不同尺度精度對(duì)比/%Table 1 Comparison of accuracy at different scales/%

圖4 5 種算法對(duì)比結(jié)果圖Fig.4 Comparison results of five kinds of algorithms

3.2.1 尺度變化

在目標(biāo)跟蹤過程中，一些目標(biāo)跟蹤算法不能隨著目標(biāo)的變化而動(dòng)態(tài)的調(diào)整跟蹤框，導(dǎo)致跟蹤框和目標(biāo)尺度大小不匹配或者跟蹤失敗。以“Vase”和“Panda”為例，兩種視頻中的目標(biāo)均出現(xiàn)不同程度的尺度變化。從圖4（a）中可以看出，整個(gè)目標(biāo)的尺度在圖片中發(fā)生了一定的變化。第10 幀時(shí)，各算法跟蹤都較為準(zhǔn)確。第230 幀時(shí)，目標(biāo)尺度變化較快，KCF 算法和SAMF 算法均跟蹤偏移。第270 幀時(shí)，KCF 和SAMF 算法均出現(xiàn)大幅度偏移，BACF 算法和STRCF 算法框選出了目標(biāo)，本文算法對(duì)目標(biāo)的框選相較于前兩種算法更為精準(zhǔn)。由圖4（b）知，第31幀時(shí)，各算法均準(zhǔn)確跟蹤。第275 幀時(shí)，目標(biāo)發(fā)生一定的尺度變化，除本文算法外，其他4 種算法的跟蹤框都有一定的偏移。直至第445 幀，目標(biāo)尺度發(fā)生較大變化，KCF 和SAMF 算法跟蹤失敗、BACF 算法跟蹤框偏大。本文算法跟蹤較為準(zhǔn)確。

由表1 和表2 知，本文算法在尺度池為9 時(shí)的精度和成功率均排名第一，相比于尺度池為7 時(shí)的精度提升了16.1%，成功率提升了10.1%，性能最優(yōu)。所選擇的8 個(gè)視頻序列的目標(biāo)都移動(dòng)迅速、尺度變化較大，結(jié)果表明本文算法所選擇的9 個(gè)尺度池對(duì)目標(biāo)尺度變化具有較強(qiáng)的魯棒性。

表2 不同尺度成功率對(duì)比/%Table 2 Comparison of success rates at different scales/%

3.2.2 遮擋問題

在目標(biāo)跟蹤過程中，由于目標(biāo)在被遮擋的情況下算法仍會(huì)對(duì)模型進(jìn)行更新，會(huì)導(dǎo)致模板中混入了背景、干擾物等，以至于會(huì)出現(xiàn)跟蹤偏移或者目標(biāo)跟蹤失敗現(xiàn)象。以“Human3”和“Matrix”為例；在Huma3 視頻中，BACF 算法在第10 幀上跟蹤偏移，在第48 幀時(shí)，目標(biāo)被遮擋，KCF 算法和SAMF 算法跟蹤出現(xiàn)小幅度的偏移。到68 幀時(shí)，KCF 算法、SAMF 算法和BACF 算法已經(jīng)完全丟失目標(biāo)，STRCF 算法和本文算法跟蹤目標(biāo)成功。從Matrix 視頻可以看出，目標(biāo)在視頻中出現(xiàn)了不同程度的遮擋，在第48 幀中，目標(biāo)被少量的雨滴遮擋，由于算法中沒有遮擋模塊，KCF 算法跟蹤目標(biāo)輕微偏移，BACF算法和SAMF 算法目標(biāo)框偏移較大，STRCF 算法跟蹤失敗。在第72 幀中，KCF 算法、SAMF 算法和STRCF 算法均跟蹤失敗，BACF 算法框過大。本文在SAMF 算法中添加最大響應(yīng)峰值Fmax和平均峰值相關(guān)能量APCE 作為檢測(cè)置信度的評(píng)價(jià)指標(biāo)，結(jié)合以上兩種可靠性指標(biāo)，能更好地判別出目標(biāo)是否被遮擋、丟失，當(dāng)判斷出目標(biāo)被遮擋或者丟失時(shí)，停止更新模板，避免模板被污染，提高算法的跟蹤性能。

由表3、表4 可知，本文算法在所選擇的8 個(gè)視頻序列中平均精度和平均成功率均排名第一。與KCF 相比平均精度提高了21.4%，成功率提高了13.8%，結(jié)果表明本文算法在目標(biāo)尺度變化、目標(biāo)被遮擋等情況下能夠更加準(zhǔn)確地跟蹤到目標(biāo)。綜上所述，本文算法在目標(biāo)尺度變化、目標(biāo)被遮擋等情況下能夠更加準(zhǔn)確地跟蹤到目標(biāo)。

表3 精度對(duì)比/%Table 3 Comparison of accuracy/%

表4 成功率對(duì)比/%Table 4 Comparison of success rates/%

3.3 移動(dòng)機(jī)器人跟蹤測(cè)試實(shí)驗(yàn)

為了進(jìn)一步驗(yàn)證本文算法在真實(shí)環(huán)境中對(duì)目標(biāo)尺度變化和目標(biāo)被遮擋的適應(yīng)能力，錄制了4 段分別為尺度由小到大變化和由大到小變化的移動(dòng)機(jī)器人運(yùn)動(dòng)視頻，來(lái)驗(yàn)證本文算法尺度在移動(dòng)機(jī)器人上的優(yōu)越性。使用移動(dòng)機(jī)器人移動(dòng)過程中被遮擋的視頻來(lái)驗(yàn)證算法遮擋的性能，部分跟蹤效果如圖5 所示。由圖5 知，視頻中的移動(dòng)機(jī)器人在移動(dòng)過程中產(chǎn)生較大的尺度變化時(shí)，KCF 算法跟蹤失敗，其余3 種算法均出現(xiàn)不同程度的偏移現(xiàn)象，只有本文算法跟蹤最為準(zhǔn)確。視頻中的移動(dòng)機(jī)器人在移動(dòng)過程中被紙箱遮擋，KCF 算法跟蹤失敗，SAMF 算法在目標(biāo)被完全遮擋時(shí)跟蹤框偏移，目標(biāo)被遮擋后跟蹤失敗。BACF 算法和STRCF 算法均跟蹤到目標(biāo)，但是BACF 算法跟蹤框偏大，STRCF 跟蹤框也不如本文算法跟蹤精確。由于本文算法在檢測(cè)到目標(biāo)被遮擋時(shí)會(huì)停止更新模板，防止模板被污染，還有9 個(gè)尺度池對(duì)目標(biāo)尺度進(jìn)行計(jì)算，所以在目標(biāo)被部分遮擋、完全遮擋到后來(lái)的不被遮擋中均準(zhǔn)確跟蹤到目標(biāo)，跟蹤效果良好。

圖5 移動(dòng)機(jī)器人跟蹤實(shí)驗(yàn)Fig.5 Tracking experiment of mobile robots

4 結(jié)論

移動(dòng)機(jī)器人在對(duì)目標(biāo)進(jìn)行跟蹤過程中，目標(biāo)可能會(huì)發(fā)生較大的尺度變化、被遮擋以及跟丟。本文算法是在SAMF 算法的基礎(chǔ)上將尺度池?cái)U(kuò)展為9個(gè)，增強(qiáng)算法對(duì)目標(biāo)尺度變化的魯棒性，又添加了平均峰值相關(guān)能量對(duì)目標(biāo)遮擋、丟失情況進(jìn)行判斷，決定是否更新模板，防止模板被污染，提高算法跟蹤的準(zhǔn)確性。通過實(shí)驗(yàn)對(duì)算法進(jìn)行分析，本文算法在目標(biāo)尺度變化或者被遮擋、丟失情況下仍然可以準(zhǔn)確跟蹤。