基于稀疏表達(dá)特征選擇的壓縮感知目標(biāo)跟蹤算法

程中建 李康 谷懿 袁曉旭 王森

摘要：目標(biāo)跟蹤是計算機(jī)視覺領(lǐng)域重要研究方向之一。壓縮感知跟蹤速度快、精度高，但是跟蹤被遮擋目標(biāo)時使用被遮擋的哈爾特征構(gòu)建分類器，導(dǎo)致分類器性能降低，目標(biāo)容易丟失。為了解決該問題，提出了根據(jù)l1稀疏表示判斷哈爾特征是否被遮擋，然后使用未被遮擋的特征構(gòu)建貝葉斯分類器。首先對每一幀跟蹤結(jié)果運(yùn)用稀疏表示提取出未被遮擋特征的集合，在構(gòu)建貝葉斯分類器時僅使用未被遮擋的特征。然后使用訓(xùn)練好的分類器對下一幀候選樣本進(jìn)行分類，選取具有最大分類響應(yīng)的候選樣本作為跟蹤結(jié)果。實驗結(jié)果表明，該算法在跟蹤目標(biāo)部分遮擋時相比CT算法有更高跟蹤準(zhǔn)確度，算法能夠?qū)崟r得到高效、準(zhǔn)確的目標(biāo)跟蹤結(jié)果。

關(guān)鍵詞：目標(biāo)跟蹤；哈爾特征；稀疏表示；貝葉斯分類器

DOI：10.11907/rjdk.181200

中圖分類號：TP312

文獻(xiàn)標(biāo)識碼：A文章編號：1672-7800（2018）007-0091-06

Abstract：Targettrackingisoneoftheimportantresearchdirectionsincomputervision.Compressedsensingtracking（CT）isfastandofhighprecision，buteasytolosetrackofthetargetswhichundergoocclusion.ThisismainlyduetouseofoccludedHaarfeaturesinthetrackingprocesstoconstructtheclassifier.Inordertosolvethisproblem，thispaperproposestojudgewhethertheHaarfeatureisoccludedaccordingtothesparserepresentation，andthenconstructtheBayesianclassifierusingthenon-occludedfeatures.Firstly，thesparserepresentationofeachframeisusedtoextracttheunobstructedfeaturesets，andonlytheunobstructedfeaturesareusedinconstructingtheBayesianclassifier.Thenthetrainedclassifierisusedtoclassifythecandidatesamplesofthenextframe，andthecandidatesamplewiththelargestclassificationresponseisselectedasthetrackingresult.TheexperimentalresultsshowthatthealgorithmhashighertrackingaccuracythantheCTalgorithmwhentrackingthetargetswithpartialocclusion，andthealgorithmcangetefficientandaccuratetargettrackingresultsinrealtime.

KeyWords：targettracking；Haarfeature；sparserepresentation；Bayesianclassifier

0引言

目標(biāo)跟蹤是計算機(jī)視覺的重要研究課題之一，在實時監(jiān)控、人機(jī)互動、運(yùn)動捕捉、醫(yī)學(xué)成像等領(lǐng)域有廣泛應(yīng)用。近年來，國內(nèi)外大量跟蹤算法被開發(fā)出來[1-4]，但由于受到光照強(qiáng)度改變、目標(biāo)外觀變換、目標(biāo)部分遮擋和目標(biāo)信息不足等眾多因素影響，開發(fā)出具有魯棒性的跟蹤算法仍有挑戰(zhàn)。

現(xiàn)有目標(biāo)跟蹤算法按照外觀模型分為兩類：生成式模型和判別式模型。生成式算法模型[3-10]通過訓(xùn)練樣本學(xué)習(xí)得到目標(biāo)外觀模型，然后在候選樣本中選擇重構(gòu)誤差最小的樣本作為目標(biāo)。Adam等[3]利用積分圖計算多尺度強(qiáng)度直方圖表示目標(biāo)特征。Zhang等[4]將目標(biāo)跟蹤問題描述為多任務(wù)稀疏學(xué)習(xí)問題，設(shè)計出一種協(xié)同跟蹤算法。與判別式跟蹤算法相比，生成式算法跟蹤精度較高，但是在跟蹤環(huán)境較為復(fù)雜時結(jié)果不夠魯棒。

判別式算法模型[11-16]將目標(biāo)跟蹤視為分類問題，使用正負(fù)樣本訓(xùn)練分類器分離目標(biāo)與背景，然后在候選樣本中選擇具有最大分類響應(yīng)的樣本作為跟蹤結(jié)果。Zhang等[1]根據(jù)壓縮感知原理，利用稀疏矩陣對高緯度圖像特征進(jìn)行降維，然后訓(xùn)練貝葉斯分類器對候選目標(biāo)進(jìn)行分類。多實例目標(biāo)跟蹤（MIL）[11]使用在線Boosting算法訓(xùn)練分類器，能處理非線性分類問題，但算法需要在每一幀迭代地對弱分類器進(jìn)行選擇，降低了跟蹤速度。判別式算法在跟蹤復(fù)雜環(huán)境中的目標(biāo)時結(jié)果較為魯棒，但跟蹤外觀變化不大的目標(biāo)時精度比生成式算法低。

近年來，CT算法因其快速跟蹤能力受到科研工作者關(guān)注[17-21]，但是該算法在跟蹤被部分遮擋的目標(biāo)時，容易發(fā)生漂移，主要是因為跟蹤過程中使用被遮擋的哈爾特征構(gòu)建分類器降低了分類器性能，為了解決該問題，本文結(jié)合生成式模型和判別式模型的優(yōu)點(diǎn)，在CT算法基礎(chǔ)上使用稀疏表達(dá)對其特征進(jìn)行選擇，以提高分類器的性能，并提出基于稀疏表達(dá)的特征選擇目標(biāo)跟蹤算法（FST）。

1壓縮感知跟蹤（CT）算法

由稀疏感知理論可知，一個滿足RIP條件的稀疏矩陣在對一個高緯度的原始圖像特征空間投影后，產(chǎn)生的低緯度空間會較好地保留原始高維圖像空間的全部信息[1]。CT算法利用稀疏矩陣對多尺度卷積后的高緯度圖像向量進(jìn)行降維處理，然后使用在線訓(xùn)練的樸素貝葉斯分類器在降維后的特征上對候選樣本分類，選取具有最大分類響應(yīng)的樣本作為跟蹤結(jié)果，基于該跟蹤原理，CT算法實現(xiàn)了魯棒性的跟蹤效果。

如圖1、圖2所示，CT算法在第t幀圖像選定的目標(biāo)周圍不同范圍內(nèi)采集正樣本和負(fù)樣本，然后分別提取正負(fù)樣本的低緯度特征更新分類器。對于每一個目標(biāo)樣本Z∈Rw×h，通過多尺度卷積核{(lán)h1，1，h1.2，h1，3，......，hw，h}卷積樣本Z，其中hi，j定義為：

每一個卷積核卷積后將產(chǎn)生一個Rw×h維列向量。經(jīng)wh個卷積核的卷積作用，原始圖像可以由一個高緯度向量U=u1，u2，u1，...，umT表示，其中m=wh2。對于一張普通照片，n的規(guī)模通常為108～1012，如圖3所示，為了降低計算復(fù)雜度，CT算法應(yīng)用一個隨機(jī)高斯矩陣R=Rn×m（該高斯矩陣非常稀疏），將高緯度向量Z轉(zhuǎn)換為低緯度特征向量V，同時在該隨機(jī)高斯矩陣滿足RIP條件的情況下，V已包含了采樣向量Z中的大部分信息。即：

且文獻(xiàn)[15]指出向量V中所有元素vi均滿足獨(dú)立分布。為了從大量候選樣本中分類出目標(biāo)樣本，CT算法建立樸素貝葉斯分類器。

2FST算法實現(xiàn)

具有較好分辨能力是魯棒跟蹤算法的必要條件[22]。CT運(yùn)用稀疏矩陣壓縮感知得到大量類哈爾特征，此方法雖然有效地對壓縮域中的投影特征進(jìn)行分類，避免計算時的維度災(zāi)難，但在一個特定閾值范圍內(nèi)，由增減稀疏矩陣行數(shù)帶來的哈爾特征個數(shù)變化不會影響跟蹤效果，例如，由100行和50行的稀疏矩陣投影后的哈爾特征集得到的跟蹤效果相似[21]；另一方面，CT的哈爾特征中部分特征的遮擋情況會影響分類器性能，導(dǎo)致在跟蹤被遮擋目標(biāo)時容易發(fā)生漂移?；谠撍枷?，本文通過稀疏表示選取哈爾特征集中未被遮擋的特征作為特征子集訓(xùn)練分類器，完成目標(biāo)跟蹤。

如圖4、圖5所示，本文算法結(jié)合了生成式模型和判別式模型的優(yōu)點(diǎn)。在第t幀使用稀疏表示選取跟蹤結(jié)果的哈爾特征集中了未被遮擋的特征，并在遠(yuǎn)離目標(biāo)區(qū)域和靠近目標(biāo)區(qū)域范圍內(nèi)采樣得到正負(fù)樣本并更新分類器。在t+1幀時通過壓縮感知得到候選樣本哈爾特征，然后使用第t幀未被遮擋的特征子集進(jìn)行分類器分類，選取具有最大分類響應(yīng)的樣本作為跟蹤結(jié)果，從而完成第t+1幀目標(biāo)跟蹤。

2.1基于哈爾特征子集的分類器

判別式模型通過建立分類器區(qū)分目標(biāo)和背景，如式（3）所示，每個候選樣本的分類響應(yīng)值H（v）被近似定義為目標(biāo)所有哈爾特征屬于正樣本特征的概率累加和值，最終選取具有最大分類響應(yīng)值H（v）的候選樣本作為跟蹤目標(biāo)。因此，選取的特征與其分辨能力決定分類器的分類結(jié)果質(zhì)量，然而CT算法選取壓縮感知后的整個特征空間作為原始哈爾特征集，未對投影得到的哈爾特征作預(yù)處理。該方法在跟蹤目標(biāo)不存在遮擋并且目標(biāo)和其背景存在較大差別的情況下可得到魯棒的跟蹤結(jié)果，但當(dāng)目標(biāo)區(qū)域內(nèi)某些哈爾特征被遮擋后，CT算法發(fā)生漂移。主要是因為被遮擋的哈爾特征在分類時已經(jīng)失去判別目標(biāo)與背景的能力，使得分類器學(xué)習(xí)到大量非目標(biāo)特征信息，非目標(biāo)特征信息的累加減弱了分類器的分類效果。另一方面，實驗數(shù)據(jù)表明，在一定閾值范圍內(nèi)，即使增加哈爾特征個數(shù)也不會改善分類器的分類效果，說明CT中哈爾特征數(shù)量冗余。因此，選取壓縮感知后的哈爾特征子集V'，作為構(gòu)建貝葉斯分類器的分類特征集，計算分類響應(yīng)值H（v）定義為：

2.2基于稀疏表示選取哈爾特征子集

圖7顯示了隨機(jī)產(chǎn)生一個特征的若干特征卷積塊的結(jié)果，為防止表示跟蹤目標(biāo)特征i的若干卷積核產(chǎn)生重疊，影響樣本的特征稀疏表示，算法需多次調(diào)整選取合適的稀疏矩陣，并對各特征展開列向量Yi進(jìn)行稀疏表示。

圖8表示跟蹤過程中兩個遮擋與未被遮擋的哈爾特征（綠色為遮擋，藍(lán)色為未被遮擋）。圖9為圖8中兩個哈爾特征稀疏表示得到的系數(shù)圖（上圖對應(yīng)藍(lán)色，下圖對應(yīng)綠色），橫坐標(biāo)為模板，縱坐標(biāo)為稀疏系數(shù)值ai，j，1≤j≤o。上圖對應(yīng)的特征向量化后維度di為40，除第10個模板系數(shù)較大外，平凡模板的系數(shù)均趨近于0，其稀疏系數(shù)向量ci滿足稀疏性，該特征能由其特征模板稀疏表示；與此相反，在下圖中，各個模板系數(shù)分布密集，該特征不能由其特征模板稀疏表示，哈爾特征被遮擋。數(shù)據(jù)表明，通過稀疏表示能夠有效選取未被遮擋的哈爾特征，避免對分類器造成影響。

2.3分類器更新

為了使分類器適應(yīng)目標(biāo)與其背景變化，需在每一幀跟蹤結(jié)果周圍一定范圍內(nèi)采集正負(fù)樣本更新分類器，從而避免繼續(xù)更新被遮擋的哈爾特征導(dǎo)致分類器學(xué)習(xí)到遮擋物體特征，影響分類器的分類效果。本文改進(jìn)CT算法中分類器參數(shù)更新方式為：

2.4特征模板更新

為了適應(yīng)目標(biāo)所處環(huán)境的不斷變化，算法應(yīng)及時更新目標(biāo)特征模板。如果模板更新過快，模板產(chǎn)生的誤差會不斷積累，從而導(dǎo)致跟蹤結(jié)果發(fā)生偏移，相反如果不更新模板或者特征模板更新過慢，將無法準(zhǔn)確選擇被遮擋的特征。

為了動態(tài)更新目標(biāo)特征模板，本研究采用與Mei等[2]相同的特征更新方法。初始化特征模板時，將第一幀給定的目標(biāo)中每個哈爾特征的若干特征框向各方向偏移一個像素點(diǎn)，選取若干個特征框，然后將特征框按照列向量展開形成該哈爾特征的特征模板Ti。更新算法流程如下所示：

2.5實驗結(jié)果與分析

本算法在Matlab2016a平臺上實現(xiàn)，操作系統(tǒng)為Win10，CPU為2.4GHzInteli5處理器，內(nèi)存4G，算法特征數(shù)為50（經(jīng)驗參數(shù)），稀疏表示誤差閾值M=0.002，學(xué)習(xí)因子λ=0.85（經(jīng)驗參數(shù)），特征模板更新角度閾值γ=30（經(jīng)驗參數(shù)），特征個數(shù)閾值為25，當(dāng)稀疏表達(dá)選取的哈爾特征子集的特征個數(shù)小于25，選取稀疏表達(dá)誤差較小的前25個特征。

為了衡量算法跟蹤效果，評估其有效性，將本算法和CT及與其跟蹤原理相似的算法包括MIL、FRAG進(jìn)行對比，得到4個算法在5個挑戰(zhàn)性視頻片段中（Basketball，David2，David3，Deduk，Woman）的跟蹤結(jié)果。數(shù)據(jù)表明，本研究提出的算法在目標(biāo)部分遮擋、目標(biāo)外觀變化等跟蹤環(huán)境下相較于CT等算法具有更高的跟蹤準(zhǔn)確度。

2.5.1定性分析

如圖10所示，在目標(biāo)外觀劇烈變化的視頻序列Basketball中，目標(biāo)的背景隨著目標(biāo)運(yùn)動不斷變化，導(dǎo)致分類器在跟蹤目標(biāo)與背景時產(chǎn)生混淆，造成跟蹤困難，其中CT和MIL在第278幀偏離目標(biāo)，并在292幀漂移到非目標(biāo)隊員身上。FRAG和本研究提出的算法能夠準(zhǔn)確跟蹤目標(biāo)。在目標(biāo)區(qū)域較小，背景區(qū)域與目標(biāo)相似的視頻序列David2中，難以投影出有效的哈爾特征，CT算法在第4幀丟失目標(biāo)，MIL和FRAG在第445幀偏離跟蹤目標(biāo)，并在第461幀丟失目標(biāo)。而本研究提出的算法在第173、336、445、461幀目標(biāo)外觀劇烈變化時仍能較為準(zhǔn)確地跟蹤目標(biāo)。在存在目標(biāo)部分遮擋的跟蹤視頻序列Woman、David3中，被跟蹤目標(biāo)在短時間內(nèi)局部被完全遮擋，跟蹤結(jié)果顯示在Woman中，CT、MIL、FRAG都在第124幀丟失目標(biāo)，在David3中，CT、MIL、FRAG分別在第89、105、167幀丟失目標(biāo)。而本研究提出的算法由于在更新分類器和分類器分類時都使用了可以達(dá)到與原始哈爾特征集跟蹤效果相似的特征子集，避免了被遮擋的哈爾特征對分類器的影響，相比CT、MIL、FRAG，對局部遮擋目標(biāo)實現(xiàn)了更好的跟蹤效果。在目標(biāo)外觀和尺度縮放的視頻序列Dudek中，CT、MIL算法分別在第370、218幀偏離目標(biāo)，僅有FRAG和本研究提出的算法完成準(zhǔn)確跟蹤。

2.5.2定量分析

采用定量分析計算4個算法跟蹤效果指標(biāo)：①跟蹤目標(biāo)中心點(diǎn)與實際中心像素位置的平均誤差，結(jié)果如表1所示；②PASCALVOC評估標(biāo)準(zhǔn)，跟蹤目標(biāo)框與實際目標(biāo)框的平均重疊率，即score=area（RT∩RG）area（RT∪RG），其中RT表示算法跟蹤的結(jié)果區(qū)域，RG表示人工標(biāo)定的目標(biāo)區(qū)域，∪和∩分別表示兩種區(qū)域的并集和交集，函數(shù)area（·）返回區(qū)域中的像素個數(shù)如表2所示。

由表1和表2的數(shù)據(jù)可以看出（最好結(jié)果由粗體標(biāo)出），本文算法較CT等目標(biāo)跟蹤算法在跟蹤目標(biāo)外觀、尺度變化及目標(biāo)局部遮擋時，具有更高的跟蹤精確度，對比4個算法在5個挑戰(zhàn)性視頻序列中，除Dudek外，F(xiàn)ST算法中心點(diǎn)誤差均為最小，平均重疊率均為最大，在Dudek跟蹤視頻序列中，本文算法和FRAG跟蹤效果接近。

3結(jié)語

本文提出一種新穎的特征選擇方法，通過稀疏表示選取更具判別力的哈爾特征改善CT分類器的分類效果。該算法選擇重構(gòu)誤差較小的部分特征構(gòu)建分類器，提高了CT跟蹤精度。對于被遮擋的部分哈爾特征，不更新其對應(yīng)的分類器參數(shù)，避免了對分類器造成影響。該算法易于實現(xiàn)，可以完成實時跟蹤，通過在5個具有挑戰(zhàn)性的視頻序列上與CT等算法比較，取得了魯棒性的跟蹤效果，較CT有更高跟蹤準(zhǔn)確性，對于目標(biāo)外觀姿勢變化、目標(biāo)局部遮擋都具有一定魯棒性，能夠處理目標(biāo)實時跟蹤。在后續(xù)研究中，將重點(diǎn)研究在視野中消失又重現(xiàn)的目標(biāo)跟蹤。

參考文獻(xiàn)：

[1]ZHANGK，ZHANGL，YANGMH.Real-timecompressivetracking[C].EuropeanConferenceonComputerVision，2012：864-877.

[2]MEIX，LINGH.Robustvisualtrackingusingllminimization[C].2009IEEE12thInternationalConferenceonComputerVision，2009：1436-1443.

[3]ADAMA，RIVLINE，SHIMSHONII.Robustfragments-basedtrackingusingtheintegralhistogram[C].2006IEEEComputerSocietyConferenceonComputerVisionandPatternRecognition，2006：798-805.

[4]ZHANGT，GHANEMB，LIUS，etal.Robustvisualtrackingviamulti-tasksparselearning[C].2012IEEEConferenceonComputerVisionandPatternRecognition，2012：2042-2049.

[5]GAOX，TANGX.Unsupervisedvideo-shotsegmentationandmodel-freeanchorpersondetectionfornewsvideostoryparsing[J].IEEETransactionsonCircuitsandSystemsforVideoTechnology，2002，12（9）：765-776.

[6]ATKINSONRC，SHIFFRINRM.Psychologyoflearningandmotivation[M].Pittsberg：AcademicPress，1968.

[7]MEIX，LINGH.Robustvisualtrackingandvehicleclassificationviasparserepresentation[J].IEEETransactionsonPatternAnalysisandMachineIntelligence，2011，33（11）：2259-2272.

[8]YUANY，EMMAUELS，F(xiàn)ANGY，etal.Visualobjecttrackingbasedonbackwardmodelvalidation[J].IEEETransactionsonCircuitsandSystemsforVideoTechnology，2014，24（11）：1898-1910.

[9]LIH，SHENC，SHIQ.Real-timevisualtrackingusingcompressivesensing[C].2011IEEEConferenceonComputerVisionandPatternRecognition，2011：1305-1312.

[10]WANGCL，HUOX.Objecttrackingunderlowsignaltonoiseratiowiththeinstantaneouspossiblemovingpositionmodel[J].SignalProcessing，2013，93（5）：1044-1055.

[11]BABENKOB，YANGMH，BELONGIES.Visualtrackingwithonlinemultipleinstancelearning[C].IEEEConferenceonComputerVisionandPatternRecognition，2009：983-990.

[12]SMEULDERSAWM，CHUDM，CUCCHIARAR，etal.Visualtracking：anexperimentalsurvey[J].IEEETransactionsonPatternAnalysisandMachineIntelligence，2014，36（7）：1442-1468.

[13]WUY，LIMJ，YANGMH.Onlineobjecttracking：abenchmark[C].2013IEEEConferenceonComputervisionandpatternrecognition，2013：2411-2418.

[14]YIS，HEZ，YOUX，etal.Singleobjecttrackingviarobustcombinationofparticlefilterandsparserepresentation[J].SignalProcessing，2015，110：178-187.

[15]GRABNERH，GRABNERM，BISCHOFH.Realtimetrackingviaonlineboosting[C].BritishMachineVisionConference，2006，1（5）：6.

[16]DANELLJANM，HAGERG，SHAHBAZKHANF，etal.Adaptivedecontaminationofthetrainingset：Aunifiedformulationfordiscriminativevisualtracking[C].ProceedingsoftheIEEEConferenceonComputerVisionandPatternRecognition.2016：1430-1438.

[17]SONGH.Robustvisualtrackingviaonlineinformativefeatureselection[J].ElectronicsLetters，2014，50（25）：1931-1933.

[18]LIUQ，YANGJ，ZHANGK，etal.Adaptivecompressivetrackingviaonlinevectorboostingfeatureselection[J].IEEETransactionsonCybernetics，2017，47（12）：4289-4301.

[19]WUY，JIAN，SUNJ.Real-timemulti-scaletrackingbasedoncompressivesensing[J].TheVisualComputer，2015，31（4）：471-484.

[20]黃慶俊，何儒漢.基于協(xié)方差矩陣的壓縮感知跟蹤算法[J].軟件導(dǎo)刊，2017，16（4）：31-35.

[21]LIK，HEF，CHENX.Real-timeobjecttrackingviacompressivefeatureselection[J].FrontiersofComputerScience，2016，10（4）：689-701.

[22]WANGN，SHIJ，YEUNGDY，etal.Understandinganddiagnosingvisualtrackingsystems[C].2015IEEEInternationalConferenceonComputerVision，2015：3101-3109.

（責(zé)任編輯：江艷）