局部模板更新逆向聯(lián)合稀疏表示目標(biāo)跟蹤算法

虞虹玲，陳穎頻，許艷萍，林 晨，蔣旻佚，羅崇淼，陳 悅，林耀進(jìn)

局部模板更新逆向聯(lián)合稀疏表示目標(biāo)跟蹤算法

虞虹玲1,2,3，陳穎頻3，許艷萍3，林 晨3，蔣旻佚3，羅崇淼3，陳 悅3，林耀進(jìn)1,2

(1. 閩南師范大學(xué)計(jì)算機(jī)學(xué)院，福建 漳州 363000；2. 閩南師范大學(xué)數(shù)據(jù)科學(xué)與智能應(yīng)用福建省高校重點(diǎn)實(shí)驗(yàn)室，福建 漳州 363000；3. 閩南師范大學(xué)物理與信息工程學(xué)院，福建 漳州 363000)

逆向聯(lián)合稀疏表示算法可充分利用跟蹤過程中的時間相似性和空間連續(xù)性，但由于遮擋、光照變化等的影響，易出現(xiàn)跟蹤漂移。為解決上述問題，提出一種基于局部模板更新逆向聯(lián)合稀疏表示目標(biāo)跟蹤算法，其通過逆向局部重構(gòu)目標(biāo)模板集完成逆向聯(lián)合稀疏表示。首先，在首幀初始化目標(biāo)模板集，利用粒子濾波獲取候選圖像，并對其分塊處理，構(gòu)建逆向聯(lián)合稀疏編碼模型；然后，利用交替方向乘子法求解出稀疏編碼系數(shù)，并通過2步評分機(jī)制獲取最優(yōu)候選圖像；最后，根據(jù)相似性得分判斷當(dāng)前幀是否存在局部遮擋，若無遮擋，則局部更新目標(biāo)模板集以減少跟蹤漂移現(xiàn)象。實(shí)驗(yàn)結(jié)果表明，本文算法的跟蹤精度和成功率在OTB-2013數(shù)據(jù)集上分別達(dá)到了85.4%和62.8%，在OTB100數(shù)據(jù)集上分別達(dá)到了76.8%和68.6%，速度達(dá)到每秒5.76幀，能有效提高魯棒性，減少跟蹤漂移。

目標(biāo)跟蹤；逆向聯(lián)合稀疏表示；時-空信息；局部模板更新；交替方向乘子法

目標(biāo)跟蹤[1-2]是計(jì)算機(jī)視覺、模式識別和圖像處理等領(lǐng)域中重要的研究課題之一。其廣泛應(yīng)用于安全系統(tǒng)[3]、智能監(jiān)控系統(tǒng)[4]、人機(jī)交互[5]和無人機(jī)跟蹤[6]等領(lǐng)域，具有廣闊地應(yīng)用前景。

從目標(biāo)外觀模型的角度而言，已有的目標(biāo)跟蹤算法可分為判別式算法和生成式算法2種。判別式算法[7]適用于較多類別的識別，可反映其之間的差異性。生成式算法能建立一個最能描述目標(biāo)外觀的表示模型，可反映同類數(shù)據(jù)之間的相似性。一般可將生成式算法分為3類：基于模板的算法、基于子空間的算法和基于稀疏表示的算法?；谀０宓木灯扑惴╗8]計(jì)算量小，但其對目標(biāo)的尺度變化敏感且不能有效更新目標(biāo)的局部信息，容易出現(xiàn)跟蹤漂移現(xiàn)象。相比均值漂移算法，基于子空間的增量學(xué)習(xí)算法[9]能更好地適應(yīng)目標(biāo)的外觀變化，然而，其對于局部遮擋比較敏感，在嚴(yán)重遮擋下的跟蹤效果較差。而聯(lián)合稀疏表示算法[10-11]具有強(qiáng)大的發(fā)現(xiàn)并充分利用不同個體間共同信息的能力，能夠更好地利用目標(biāo)在運(yùn)動過程中的時間、空間連續(xù)性，解決跟蹤過程中目標(biāo)外觀變化的問題。

然而，稀疏表示算法的計(jì)算復(fù)雜度較高，運(yùn)行速度較慢。逆向稀疏表示算法[12]能進(jìn)一步提升稀疏表示算法的運(yùn)行速度。這類方法用候選圖像集作為字典來重建目標(biāo)模板集，由于目標(biāo)模板的數(shù)量遠(yuǎn)遠(yuǎn)小于候選圖像的數(shù)量，因此每一幀只需要解決少數(shù)稀疏表示問題，極大降低了計(jì)算復(fù)雜度。另一方面，這類方法考慮到目標(biāo)模板之間的相似性，逆向稀疏編碼也會具有結(jié)構(gòu)稀疏特性，因此，利用聯(lián)合稀疏表示表征這種結(jié)構(gòu)特性能更好地捕捉跟蹤過程的時-空信息。目前已有的逆向稀疏跟蹤算法有：基于粒子濾波的逆向稀疏算法[13]、基于加權(quán)多任務(wù)學(xué)習(xí)的判別逆向稀疏算法[14]、基于局部加權(quán)的逆向聯(lián)合稀疏算法[15]和低秩逆向稀疏算法[16]等。

目前大部分目標(biāo)跟蹤算法是整體更新模板，未充分利用局部信息。由于目標(biāo)局部遮擋會對跟蹤造成很大影響，以致帶來不準(zhǔn)確的相似性度量結(jié)果，導(dǎo)致跟蹤漂移。為解決上述問題，提出一種局部模板更新逆向聯(lián)合稀疏表示跟蹤算法。該算法充分利用了候選圖像與目標(biāo)模板之間的聯(lián)合稀疏性和空間相似性，使相鄰幀間的有效信息得到挖掘。通過局部相似性度量篩選出最優(yōu)候選圖像以更新目標(biāo)模板集，可以降低出現(xiàn)異常模板的可能性。且局部模板更新機(jī)制包含遮擋檢測，進(jìn)一步避免模板被“污染”，提高了算法的魯棒性和跟蹤精度。

1 相關(guān)工作

1.1 粒子濾波算法

粒子濾波算法[17]是一種以重要性采樣和貝葉斯推理為基本框架的基于粒子分布統(tǒng)計(jì)的方法?？煞譃?個步驟：

(2) 校正階段。采樣個粒子，并更新為

其中，為狄拉克函數(shù)；()為粒子權(quán)重。

(3) 輸出。

1.2 逆向聯(lián)合稀疏表示

多任務(wù)學(xué)習(xí)[18]與粒子濾波相結(jié)合，可構(gòu)建聯(lián)合稀疏表示模型[19]。目前有2種結(jié)合方式：①將不同個體的稀疏表示看作多個任務(wù)，將所有個體放在一起表示，該方法的目的是充分利用任務(wù)間共享的相關(guān)信息；②處理單個個體，并用多個特征描述，其目的是尋找特征的最優(yōu)組合。所提算法將第一種方法運(yùn)用到逆向聯(lián)合稀疏表示模型中，且多任務(wù)有2層含義：一個是時間多任務(wù)，將所建立的模板圖像的稀疏表示看作多個任務(wù)，并用聯(lián)合稀疏約束項(xiàng)來表示；另一個是空間多任務(wù)，將候選圖像與目標(biāo)模板分塊并用局部相似性度量協(xié)同評價粒子優(yōu)劣，從而有效抑制離群點(diǎn)的不良影響。

2 提出方法

本節(jié)詳細(xì)介紹局部模板更新逆向聯(lián)合稀疏表示跟蹤算法(the reverse joint sparse representation tracker，RJST)。

2.1 構(gòu)建模型

目標(biāo)模板集中的不同模板反映了不同觀測時刻的目標(biāo)外觀，其生成包括初始化和更新2個過程。初始化過程通過簡單的最鄰近算法獲取初始10幀的目標(biāo)模板，更新過程則在2.4節(jié)闡述。

引入2,1范數(shù)可以將上述非凸優(yōu)化問題轉(zhuǎn)化為凸優(yōu)化問題，即

其中，和分別為矩陣的行號和列號的索引；和分別為矩陣的行數(shù)和列數(shù)。

2.2 稀疏編碼矩陣求解器

在迭代過程中，不同局部圖像塊的外觀表示模型是相互獨(dú)立的，且式(4)中的模型是凸的，可以通過交替方向乘子法獲得全局最優(yōu)解。將其轉(zhuǎn)化為增廣拉格朗日函數(shù)形式，即

將式(6)轉(zhuǎn)化為

3個子問題的解為

2.3 2步評分機(jī)制

第一步，分別對個×維的稀疏編碼矩陣從空間維度計(jì)算聯(lián)合稀疏值，將得到的空間二維矩陣通過行求和轉(zhuǎn)換為×1維的列向量。對其降序排列，篩選出前個優(yōu)秀粒子，其原先的位置索引用表示。則各粒子對應(yīng)的權(quán)值為

通過上述過程，可去除離群點(diǎn)的影響，降低異常模板出現(xiàn)的可能性。且由于遠(yuǎn)小于，減少了算法運(yùn)算量。

然后，用直方圖統(tǒng)計(jì)這些粒子的相似度得分并賦予相應(yīng)的權(quán)值，即

最終獲得的最優(yōu)候選圖像具有聯(lián)合稀疏特性，且充分利用了目標(biāo)模板的局部空間信息。

2.4 局部模板更新機(jī)制

在實(shí)際跟蹤中，采用整體更新模板的算法容易引起漂移現(xiàn)象。本文提出一種局部模板更新機(jī)制，通過只更新被遮擋的局部模板塊，提高跟蹤魯棒性。此外，將更新頻率定為3幀，這樣可以避免因模型頻繁更新導(dǎo)致的累積誤差，且能更好地適應(yīng)目標(biāo)外觀變化。

最后，得到局部模板更新條件

若式(16)成立，則認(rèn)為目標(biāo)的局部外觀變化較小，需更新相應(yīng)目標(biāo)模板集的局部塊。反之，則說明目標(biāo)外觀變化過大，有可能是局部遮擋導(dǎo)致，則不更新模板集。

3 實(shí)驗(yàn)

實(shí)驗(yàn)測試序列選自O(shè)TB-2013[21]和OTB100[22]數(shù)據(jù)集，其普遍存在光照變化、異面旋轉(zhuǎn)、遮擋和尺度變化等挑戰(zhàn)。為評估本模型的性能，將與其他10個主流算法進(jìn)行定量和定性比較。這些方法包括：基于稀疏表示的SCM[23]，ASLA[24]和MTT[25]，逆向聯(lián)合稀疏表示方法LWRJM[15]，基于相關(guān)濾波的SAMF[26]，DSST[27]，Staple[28]，LSTM[29]和CSR-DCF[30]，基于孿生網(wǎng)絡(luò)的SiamFC[31]。選擇相關(guān)濾波和孿生網(wǎng)絡(luò)方法主要是考慮到其具有優(yōu)異的跟蹤性能，且是目前計(jì)算機(jī)視覺領(lǐng)域的研究熱點(diǎn)之一。

3.1 定量分析

圖2(a)～(d)分別是本文算法RJST與其他先進(jìn)算法在OTB-2013和OTB100數(shù)據(jù)集中的精確度和成功率對比圖。在OTB-2013數(shù)據(jù)集上的評估結(jié)果顯示，RJST的精確度達(dá)到85.4%，成功率達(dá)到60.8%，相比于同類算法LWRJM，分別提高了9.6%和7.8%。在OTB100數(shù)據(jù)集上，RJST的精確度達(dá)到76.8%，成功率達(dá)到68.6%，與排名第二的相關(guān)濾波算法CSR-DCF相比，精確度與成功率分別提高了3.5%和0.4%。

表1給出各跟蹤算法在不同序列中取得的平均中心點(diǎn)誤差值。平均中心點(diǎn)誤差越小表示算法的精度越高。加粗、下劃線和波浪線分別表示排名前3的算法。

表1中，RJST算法的總平均中心點(diǎn)誤差值為5.32像素，低于其他10個先進(jìn)算法，與同類算法LWRJM相比，低了2.28像素。在Car4序列中，RJST的平均中心點(diǎn)誤差最低，為1.59像素，分別低于排名第二(LWRJM)和第三(DSST)的算法0.01像素和0.27像素。在Vase序列中，RJST的平均中心點(diǎn)誤差分別比排名第二(SAMF)和第三(SiamFC)的算法低0.53像素和0.58像素。其中，Car4存在快速運(yùn)動挑戰(zhàn)，Vase序列中存在旋轉(zhuǎn)和尺度變化挑戰(zhàn)。此外，RJST在Faceocc2，F(xiàn)ootball和Walking2序列中的平均值中心點(diǎn)誤差值與其他算法相比位列第二，這些序列均存在遮擋挑戰(zhàn)。上述實(shí)驗(yàn)數(shù)據(jù)說明RJST充分發(fā)揮了其聯(lián)合稀疏特性，對于局部圖像塊遮擋情況，仍有較好地跟蹤性能。

表1最后一行列出各對比算法的速度。本文提出的RJST算法速度為5.76幀/秒，比其他基于稀疏表示或逆向稀疏表示的算法SCM，ASLA，LWRJM的運(yùn)行速度分別提高了5.40，0.90，1.77幀/秒。相比于多任務(wù)跟蹤器MTT，RJST仍然具有較大優(yōu)勢。雖然本文算法在速度方面沒有基于相關(guān)濾波和孿生網(wǎng)絡(luò)的算法好，但在整體性能上表現(xiàn)良好。

表2為本文算法與其他7種先進(jìn)算法LWRJM[15]，LSTM[29]，CSR-DCF[30]，Staple[28]，SiamFC[31]，ASLA[24]和SAMF[26]在OTB-2013數(shù)據(jù)集上11個屬性及綜合的精度對比結(jié)果。這些屬性包括全局遮擋(occlusions，OCC)、背景雜波(background clutter，BC)、光照變化(illumination variations，IV)、快速運(yùn)動(fast motion，F(xiàn)M)、形變(deformation，DEF)、尺度變化(scale variations，SV)、平面內(nèi)翻轉(zhuǎn)(out-of-plane rotation，OPR)、平面外翻轉(zhuǎn)(in-plane rotation，IPR)、視野外(out-of-view，OV)、運(yùn)動模糊(motion blur，MB)和低分辨率(low resolution，LR)。

表2中，黑體、下劃線和波浪線分別表示排名前3的算法，精度越高表示算法的性能越好。在OCC，BC和DEF情況下，RJST的精度分別達(dá)到85.9%，79.9%和87.5%，均高于其他7種算法。在全局遮擋情況下，相比同類算法LWRJM，ASLA和SAMF，RJST的跟蹤精度分別提高了10.9%，3.7%和1.8%。在背景雜波情況下，RJST的跟蹤精度分別比排名第二(LSTM)和排名第三(CSR-DCF)的算法高出0.3%和4.5%。在形變情況下，RJST的跟蹤精度分別高出0.2%和4.6%。

表1 各跟蹤方法在各序列中的平均中心點(diǎn)誤差

注：黑體、下劃線和波浪線分別表示排名前3的算法

從上述OTB-2013和OTB100數(shù)據(jù)集上實(shí)驗(yàn)結(jié)果的定量分析可知，本文算法相對相關(guān)濾波和孿生網(wǎng)絡(luò)方法而言，在遮擋等復(fù)雜情況下的跟蹤具有優(yōu)勢。其中，相關(guān)濾波跟蹤器的優(yōu)勢在于能達(dá)到實(shí)時跟蹤，但在復(fù)雜條件下效果不佳，精度提升較難。孿生網(wǎng)絡(luò)跟蹤器則一般基于深度學(xué)習(xí)提取特征，特征建模能力強(qiáng)，但計(jì)算量大需要使用GPU，對設(shè)備要求較高。而本文的跟蹤器是基于粒子濾波的逆向稀疏表示方法，其優(yōu)勢在于通過重構(gòu)目標(biāo)模板，能及時發(fā)現(xiàn)目標(biāo)是否被遮擋或產(chǎn)生運(yùn)動模糊，有利于提高模型的精度。

3.2 定性分析

3.2.1 參數(shù)敏感性分析

本實(shí)驗(yàn)共選取4個目標(biāo)外觀變化較大的序列：Boy，Deer，F(xiàn)ootball和Girl。通過比較不同正則化參數(shù)值，觀察對于同一序列的中心點(diǎn)誤差與重疊率的影響，驗(yàn)證了RJST算法具有較低的參數(shù)敏感性。

圖3是部分序列的動態(tài)中心誤差曲線圖。曲線波動越小則平均誤差越小。如圖3(a)所示，在Boy序列的第400～600幀，藍(lán)色曲線(=0.5)的波動最小，暗紅色曲線(=0.0001)的波動最大。如圖3(b)所示，在Deer序列中，由于目標(biāo)快速運(yùn)動導(dǎo)致外觀變化較大，跟蹤具有一定難度，因此參數(shù)大小對中心點(diǎn)誤差的影響較大，各曲線分層明顯。其中，玫紅色曲線(=1)的波動最小。如圖3(c)所示，在Girl序列第450～500幀，目標(biāo)發(fā)生嚴(yán)重遮擋，=0.01和=0.5的曲線誤差最小，低于20像素。如圖3(d)所示，在Football序列中，從第210幀開始，=0.0001時跟蹤誤差趨于50像素，而=0.1，=0.5，=1的曲線始終保持小幅波動。

表2 OTB-2013不同屬性下的精度對比結(jié)果(%)

圖3 動態(tài)中心誤差曲線圖

這一組實(shí)驗(yàn)證明，聯(lián)合稀疏正則項(xiàng)在平衡參數(shù)選取合理的前提下，對魯棒跟蹤目標(biāo)起到積極作用，且算法對參數(shù)在合理范圍內(nèi)的變化不敏感。

3.2.2 有無局部模板更新機(jī)制對比實(shí)驗(yàn)

為證明提出的局部模板更新機(jī)制的有效性，本文進(jìn)行了對比實(shí)驗(yàn)。通過改變模板更新的方式，即局部更新或全局更新，來觀察算法在遮擋情況下的性能。實(shí)驗(yàn)過程中的參數(shù)設(shè)置均一致，模板更新頻率也相同。實(shí)驗(yàn)在典型的具有多個遮擋情況的視頻序列David3下進(jìn)行。

如圖4所示，藍(lán)框代表局部更新，綠框代表全局更新。當(dāng)目標(biāo)經(jīng)過樹干時出現(xiàn)嚴(yán)重遮擋，局部更新方法始終穩(wěn)定地跟蹤目標(biāo)。而采用全局更新時，在第132幀隨著目標(biāo)出現(xiàn)異面旋轉(zhuǎn)，產(chǎn)生較大偏移，無法重新捕捉目標(biāo)。在第187幀，全局更新導(dǎo)致跟蹤誤差持續(xù)加大，出現(xiàn)累積誤差現(xiàn)象。相反，在整個跟蹤過程中，局部更新方法始終穩(wěn)定且準(zhǔn)確地跟蹤目標(biāo)，在遮擋嚴(yán)重和旋轉(zhuǎn)導(dǎo)致外觀變化時，算法仍具有魯棒性。

該組實(shí)驗(yàn)證明，聯(lián)合稀疏正則項(xiàng)對目標(biāo)跟蹤起到積極作用，且算法對參數(shù)在合理范圍內(nèi)的變化不敏感，具有一定的魯棒性。

3.2.32,1范數(shù)對實(shí)驗(yàn)結(jié)果影響分析

為分析2,1范數(shù)對于實(shí)驗(yàn)結(jié)果的影響，在保證模型結(jié)構(gòu)及參數(shù)設(shè)置均一致的情況下，本文分別對比了運(yùn)用2,1范數(shù)或0,2范數(shù)處理稀疏編碼矩陣的方法在3個典型的序列Board，David3和Jumping中的效果。

圖5是跟蹤重疊率曲線圖，紅色曲線代表用2,1范數(shù)處理稀疏編碼稀疏矩陣的方法，即本文算法；藍(lán)色曲線代表用0,2范數(shù)處理稀疏編碼稀疏矩陣的方法。在Board序列第200～300幀，目標(biāo)出現(xiàn)運(yùn)動模糊、快速運(yùn)動和尺度變化，導(dǎo)致外觀變化明顯，藍(lán)色曲線波動較大，而紅色曲線表現(xiàn)較好；在David3序列中，每當(dāng)目標(biāo)被遮擋，藍(lán)色曲線就出現(xiàn)較大誤差；在Jumping序列中，目標(biāo)快速運(yùn)動，藍(lán)色曲線的效果明顯略遜于紅色曲線。

圖5 2種范數(shù)的實(shí)驗(yàn)結(jié)果

((a) Board; (b) David3; (c) Jumping)

根據(jù)上述分析，用2,1范數(shù)來處理稀疏編碼矩陣有利于提高算法的魯棒性和跟蹤精度，特別是在快速運(yùn)動和遮擋挑戰(zhàn)下的性能較好。

3.2.4 定性實(shí)驗(yàn)結(jié)果

圖6是在OTB100數(shù)據(jù)集上具有挑戰(zhàn)性的序列的定性實(shí)驗(yàn)結(jié)果。圖6(a)～(e)分別對應(yīng)序列David3，Deer，Surfer，Vase和Jumping。分場景分析如下：

(1) 遮擋情況。David3中的目標(biāo)經(jīng)過2次部分遮擋，2次全部遮擋，ASLA，MTT，DSST和SCM算法產(chǎn)生較大的跟蹤誤差導(dǎo)致跟蹤失敗。這是因?yàn)樵谡趽醢l(fā)生時，更新模板導(dǎo)致其被“污染”，目標(biāo)跟蹤失敗。而RJST基于局部的外觀建模，充分利用了目標(biāo)模板集的空間信息，且局部模板更新機(jī)制有效地防止了模板漂移，因此始終跟蹤良好。

(2) 快速運(yùn)動和運(yùn)動模糊的情況。在Deer序列中，只有RJST，CSR-DCF和LWRJM始終穩(wěn)定地跟蹤，其他算法在跟蹤過程均出現(xiàn)不同程度的漂移。在Surfer序列中，目標(biāo)快速運(yùn)動且有較明顯的運(yùn)動模糊，只有RJST和SAMF始終準(zhǔn)確且穩(wěn)定地跟蹤目標(biāo)。在Jumping序列中，只有RJST和CSR-DCF算法成功跟蹤，其他均失敗。這是由于劇烈運(yùn)動導(dǎo)致局部圖像塊之間的差異性較大，目標(biāo)模板之間的關(guān)聯(lián)性較少，聯(lián)合稀疏表示無法發(fā)揮其捕捉共同信息的能力，導(dǎo)致跟蹤效果較差，而RJST的2步評分機(jī)制有效地排除冗余信息，避免離群點(diǎn)的影響，極大地提高了跟蹤魯棒性。

(3) 背景混亂情況。在Deer序列中，基于稀疏表示的SCM和ASLA算法跟蹤失敗。這是由于背景圖像塊一直在無規(guī)律地變化，因此對應(yīng)編碼系數(shù)不具有聯(lián)合稀疏性質(zhì)，而RJST算法通過2步評分機(jī)制有效降低了混亂背景對目標(biāo)的影響，提高了跟蹤精度。

(4)旋轉(zhuǎn)情況。序列David3存在異面旋轉(zhuǎn)情況，從第136～160幀，目標(biāo)轉(zhuǎn)換行走方向，LWRJM算法在短時間內(nèi)丟失目標(biāo)，但在一段時間后又重新追蹤到目標(biāo)。在Vase序列中存在大量的旋轉(zhuǎn)和尺度變化情況，但RJST算法可以很好地適應(yīng)外觀的尺度和旋轉(zhuǎn)導(dǎo)致的外觀變化，而其他算法均產(chǎn)生了不同程度的跟蹤誤差。這是由于旋轉(zhuǎn)或尺度造成的目標(biāo)外觀變化通過仿射變換可以實(shí)現(xiàn)校準(zhǔn)，跟蹤框也可旋轉(zhuǎn)角度，從而提高跟蹤的精確度。

(a) (b) (c) (d) (e)

4 結(jié)束語

本文提出了一種具有魯棒性的逆向稀疏表示跟蹤算法。利用多個模板的時間信息及局部圖像塊之間的空間信息，有效提高了跟蹤魯棒性。為降低模板被遮擋物“污染”的可能性，還提出局部模板更新機(jī)制，有效提高遮擋場景下的算法穩(wěn)定性。實(shí)驗(yàn)證明本文方法相比其他基于稀疏表示或逆向稀疏表示的算法具有更好的性能，顯著提高了跟蹤精度和魯棒性，以及運(yùn)行速度。就整體性能而言，優(yōu)于部分相關(guān)濾波算法。但由于該算法選擇的粒子數(shù)較多，導(dǎo)致速度提升不夠明顯。針對這一問題，下一步將從粒子優(yōu)選的角度進(jìn)行改進(jìn)。

[1] 孟琭, 楊旭. 目標(biāo)跟蹤算法綜述[J]. 自動化學(xué)報(bào), 2019, 45(7): 1244-1260.

MENG L, YANG X. A survey of object tracking algorithms[J]. Acta Automatica Sinica, 2019, 45(7): 1244-1260 (in Chinese).

[2] CIAPARRONE G, LUQUE SáNCHEZ F, TABIK S, et al. Deep learning in video multi-object tracking: a survey[J]. Neurocomputing, 2020, 381: 61-88.

[3] RONALD A, YESMAYA V, DANAPARAMITA M. Personal security tracking based on android and web application[J]. TELKOMNIKA: Telecommunication Computing Electronics and Control, 2018, 16(2): 771-775.

[4] MANGAWATI A, MOHANA, LEESAN M, et al. Object tracking algorithms for video surveillance applications[C]// 2018 International Conference on Communication and Signal Processing. New York: IEEE Press, 2018: 667-671.

[5] RAUTARAY S S, AGRAWAL A. Vision based hand gesture recognition for human computer interaction: a survey[J]. Artificial Intelligence Review, 2015, 43(1): 1-54.

[6] LIN F L, FU C H, HE Y J, et al. BiCF: learning bidirectional incongruity-aware correlation filter for efficient UAV object tracking[C]//2020 IEEE International Conference on Robotics and Automation. New York: IEEE Press, 2020: 2365-2371.

[7] 王楠洋, 謝志宏, 楊皓. 視覺跟蹤算法綜述[J]. 計(jì)算機(jī)科學(xué)與應(yīng)用, 2018, 8(1): 35-42.

WANG N Y, XIE Z H, YANG H. A review of visual tracking[J]. Computer Science and Application, 2018, 8(1): 35-42 (in Chinese).

[8] XIANG Z Q, TAO T, SONG L F, et al. Object tracking algorithm for unmanned surface vehicle based on improved mean-shift method[EB/OL]. [2021-05-03]. https://journals. sagepub.com/doi/10.1177/1729881420925294.

[9] LOSING V, HAMMER B, WERSING H. Incremental on-line learning: a review and comparison of state of the art algorithms[J]. Neurocomputing, 2018, 275: 1261-1274.

[10] ELAYAPERUMAL D, JOO Y H. Visual object tracking using sparse context-aware spatio-temporal correlation filter[EB/OL]. [2021-05-04]. https://doi.org/10.1016/j.jvcir.2020.102820.

[11] LAN X Y, YE M, ZHANG S P, et al. Modality-correlation- aware sparse representation for RGB-infrared object tracking[J]. Pattern Recognition Letters, 2020, 130: 12-20.

[12] WANG D, LU H C, XIAO Z Y, et al. Inverse sparse tracker with a locally weighted distance metric[J]. IEEE Transactions on Image Processing, 2015, 24(9): 2646-2657.

[13] YI S Y, HE Z Y, YOU X G, et al. Single object tracking via robust combination of particle filter and sparse representation[J]. Signal Processing, 2015, 110: 178-187.

[14] YANG Y H, HU W R, ZHANG W S, et al. Discriminative reverse sparse tracking via weighted multitask learning[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2017, 27(5): 1031-1042.

[15] LI M H, PENG Z M, CHEN Y P, et al. A novel reverse sparse model utilizing the spatio-temporal relationship of target templates for object tracking[J]. Neurocomputing, 2019, 323: 319-334.

[16] 田丹, 張國山, 張娟瑾. 變分調(diào)整約束下的反向低秩稀疏學(xué)習(xí)目標(biāo)跟蹤[J]. 中國圖象圖形學(xué)報(bào), 2020, 25(6): 1142-1149.

TIAN D, ZHANG G S, ZHANG J J. Object tracking via reverse low-rank sparse learning with variation regularization[J]. Journal of Image and Graphics, 2020, 25(6): 1142-1149 (in Chinese).

[17] MOGHADDASI S S, FARAJI N. A hybrid algorithm based on particle filter and genetic algorithm for target tracking[EB/OL]. [2021-05-05]. https://doi.org/10.1016/j.eswa.2020.113188.

[18] 姚翰, 殷雪峰, 李童, 等. 基于多任務(wù)模型的深度預(yù)測算法研究[J]. 圖學(xué)學(xué)報(bào), 2021, 42(3): 446-453.

YAO H, YIN X F, LI T, et al. Research on depth prediction algorithm based on multi-task model[J]. Journal of Graphics, 2021, 42(3): 446-453 (in Chinese).

[19] LI Z T, ZHANG J, ZHANG K H, et al. Visual tracking with weighted adaptive local sparse appearance model via spatio-temporal context learning[J]. IEEE Transactions on Image Processing, 2018, 27(9): 4478-4489.

[20] CHEN Y P, PENG Z M, GHOLAMI A, et al. Seismic signal sparse time-frequency representation by Lp-quasinorm constraint[J]. Digital Signal Processing, 2019, 87: 43-59.

[21] WU Y, LIM J, YANG M H. Online object tracking: a benchmark[C]//2013 IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2013: 2411-2418.

[22] WU Y, LIM J, YANG M H. Object tracking benchmark[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015, 37(9): 1834-1848.

[23] ZHONG W, LU H C, YANG M H. Robust object tracking via sparsity-based collaborative model[C]//2012 IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2012: 1838-1845.

[24] JIA X, LU H C, YANG M H. Visual tracking via adaptive structural local sparse appearance model[C]//2012 IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2012: 1822-1829.

[25] ZHANG T Z, GHANEM B, LIU S, et al. Robust visual tracking via multi-task sparse learning[C]//2012 IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2012: 2042-2049.

[26] LI Y, ZHU J K. A scale adaptive kernel correlation filter tracker with feature integration[M]//Computer Vision - ECCV 2014 Workshops. Cham: Springer International Publishing, 2015: 254-265.

[27] DANELLJAN M, H?GER G, SHAHBAZ KHAN F, et al. Accurate scale estimation for robust visual tracking[C]//The British Machine Vision Conference 2014. Nottingham: BMVA Press, 2014: 1-11.

[28] BERTINETTO L, VALMADRE J, GOLODETZ S, et al. Staple: complementary learners for real-time tracking[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2016: 1401-1409.

[29] MA C, HUANG J B, YANG X K, et al. Adaptive correlation filters with long-term and short-term memory for object tracking[J]. International Journal of Computer Vision, 2018, 126(8): 771-796.

[30] LUKEZIC A, VOJIR T, ZAJC L C, et al. Discriminative correlation filter tracker with channel and spatial reliability[J]. International Journal of Computer Vision, 2018, 126(7): 671-688.

[31] BERTINETTO L, VALMADRE J, HENRIQUES J F, et al. Fully-convolutional Siamese networks for object tracking[M]// Lecture Notes in Computer Science. Cham: Springer International Publishing, 2016: 850-865.

Object tracking of reverse joint sparse representation with local template update

YU Hong-ling1,2,3, CHEN Ying-pin3, XU Yan-ping3, LIN Chen3, JIANG Min-yi3, LUO Cong-miao3, CHEN Yue3, LIN Yao-jin1, 2

(1. School of Computer, Minnan Normal University, Zhangzhou Fujian 363000, China; 2. Key Laboratory of Data Science and Intelligence Application, Minnan Normal University, Zhangzhou Fujian 363000, China; 3. School of Physics and Information Engineering, Minnan Normal University, Zhangzhou Fujian 363000, China)

The reverse joint sparse representation algorithm can make full use of the temporal similarity and spatial continuity in the tracking process. However, tracking drift can be easily incurred under the influence of occlusion and illumination change. Aiming at this problem, we proposed the reverse joint sparse representation tracker (RJST). It can accomplish the reverse joint sparse representation through the reversely local reconstruction of the object template set. Firstly, the object template set was initialized in the first frame, and the candidate images were generated by particle filtering. They were partitioned into blocks, and the reverse joint sparse representation model was constructed. Then, the sparse coding matrix was solved using the alternating direction method of multipliers. The optimal candidate image was acquired by the two-step scoring mechanism. Finally, whether the current object had local occlusion was evaluated according to the similarity score. If there was no occlusion, the object template set was locally updated to eliminate the tracking drift. Experimental results show that the precision and success rate of RJST reached 85.4% and 62.8% on the OTB-2013 benchmark, and 76.8% and 68.6% on the OTB100 benchmark, respectively, and that the speed was 5.76 frames per second, which can effectively boost robustness and eliminate tracking drift.

object tracking; reverse joint sparse representation; spatio-temporal information; local template update; alternating direction method of multipliers

20June，2021；

TP 391

10.11996/JG.j.2095-302X.2022010060

A

2095-302X(2022)01-0060-10

2021-06-20；

2021-08-21

21August，2021

閩南師范大學(xué)校長基金項(xiàng)目(KJ19019)；福建省中青年教師科研教育項(xiàng)目(JAT190378，JAT190393，JAT190382)；閩南師范大學(xué)高級別項(xiàng)目(GJ19019)；福建省大學(xué)生創(chuàng)新創(chuàng)業(yè)訓(xùn)練計(jì)劃(202010402016，202110402012)；福建省自然科學(xué)基金項(xiàng)目(2020J01816)

Principal Fund of Minnan Normal University (KJ19019); Young and Middle-aged Teachers Research and Education Project of Fujian Province (JAT190378, JAT190393, JAT190382); High-level Project of Minnan Normal University (GJ19019); Fujian University Students? Innovation and Entrepreneurship Training Plan (202010402016,202110402012); Natural Science Foundation Project of Fujian Province (2020J01816)

虞虹玲(1998–)，女，碩士研究生。主要研究方向?yàn)槟繕?biāo)跟蹤。E-mail：yhl_sylvia@163.com

YU Hong-ling (1998–), master student . Her main research interest covers object tracking. E-mail：yhl_sylvia@163.com

陳穎頻(1986–)，男，副教授，博士。主要研究方向?yàn)閳D形圖像處理、計(jì)算機(jī)視覺等。E-mail：110500617@163.com

CHEN Ying-pin (1986–), associate professor, Ph.D. His main research interests cover graphic image processing, computer vision, etc. sE-mail：110500617@163.com