羅會蘭,張文賽,鐘睿,孔繁勝
?
結(jié)合運動矢量的分權(quán)快速壓縮跟蹤算法
羅會蘭1,張文賽1,鐘睿1,孔繁勝2
(1. 江西理工大學(xué)信息工程學(xué)院,江西贛州,341000;2. 浙江大學(xué)計算機科學(xué)技術(shù)學(xué)院,浙江杭州,310027)
針對跟蹤過程中目標(biāo)移動過快產(chǎn)生跟蹤漂移問題,提出一種結(jié)合超像素運動矢量的候選目標(biāo)位置搜尋策略;在跟蹤框架內(nèi)分塊提取特征并根據(jù)區(qū)域分配置信權(quán)值,弱化跟蹤框架內(nèi)邊緣背景對分類結(jié)果的干擾,提高分類器分類魯棒性;針對當(dāng)目標(biāo)出現(xiàn)嚴(yán)重遮擋時,分類器仍對正負(fù)樣本特征進行學(xué)習(xí)而導(dǎo)致的學(xué)習(xí)不準(zhǔn)確問題,提出增加目標(biāo)遮擋檢測機制,避免錯誤分類,有效解決目標(biāo)遮擋問題。實驗結(jié)果表明:提出的算法與當(dāng)前先進目標(biāo)跟蹤算法相比,效果較好,克服目標(biāo)快速移動、目標(biāo)形變、復(fù)雜背景干擾、目標(biāo)遮擋、光線變化等一系列挑戰(zhàn)性的跟蹤難點,實現(xiàn)目標(biāo)長時間有效跟蹤的同時,跟蹤效率滿足實時性的要求。
目標(biāo)跟蹤;運動矢量;置信值;遮擋檢測
目標(biāo)跟蹤一直是機器視覺領(lǐng)域一個十分活躍的研究方向,在人機交互,視頻監(jiān)控,車輛行人跟蹤等領(lǐng)域有著廣泛的應(yīng)用[1?2]。近年來,基于稀疏矩陣的壓縮感知(簡稱CS)理論[3?4]表明:高維空間特征向量可以通過1個隨機矩陣投射到低維空間,并保留原始圖像特征空間的信息。ZHANG等[5]提出的為壓縮跟蹤算法(簡稱CT)采用滿足有限等距(簡稱RIP)性質(zhì)[6]的隨機感知矩陣對多尺度圖像特征進行降維,利用1個非常稀疏的矩陣,將采集到的目標(biāo)和背景樣本特征輸入樸素貝葉斯分類器進行分類,輸出分類分值最大的目標(biāo)位置即為目標(biāo)當(dāng)前位置,并在線對采集到的正負(fù)樣本進行分類進而更新分類器。該算法以其跟蹤魯棒性較高、運算速度快、能滿足實際應(yīng)用的特點廣受關(guān)注。采用壓縮感知理論思想實現(xiàn)目標(biāo)跟蹤的算法中,普遍存在跟蹤漂移和對背景干擾敏感的問題。該類算法由于始終在前一幀目標(biāo)位置的基礎(chǔ)上開始搜索,當(dāng)目標(biāo)劇烈運動時,在跟蹤過程中就會很容易出現(xiàn)跟蹤漂移。Mean shift算法是一種通過不斷迭代接近目標(biāo)準(zhǔn)確位置的算法,通過合理的目標(biāo)預(yù)測,可以大大降低迭代次數(shù),減少搜索過程中的計算量。王魯平等[7]提出一種基于距離加權(quán)平均絕對差的模板漂移抑制算法,來抑制跟蹤過程中的漂移現(xiàn)象,但在復(fù)雜環(huán)境下效果不穩(wěn)定。田綱等[8]提出一種基于運動矢量分析模型的Mean Shift算法,針對跟蹤框架內(nèi)像素點的運動矢量進行概率統(tǒng)計分析,得到目標(biāo)移動方向和移動速度的估值,在目標(biāo)快速移動的過程中跟蹤效果更加魯棒,但像素點統(tǒng)計運算量較大。目標(biāo)跟蹤算法的分類器設(shè)計關(guān)系到目標(biāo)與背景分開的最優(yōu)邊界,是跟蹤算法是否能在跟蹤過程中長時有效的關(guān)鍵。目前先進的跟蹤算法中,分類器的設(shè)計也不盡相同。壓縮跟蹤(CT)[5]算法中,利用樸素貝葉斯分類器對候選目標(biāo)區(qū)域采集到的特征壓縮后的正負(fù)樣本進行分類,但對于邊緣相似度高的背景干擾容易出現(xiàn)錯誤分類。ZHANG等[9]提出的加權(quán)多實例學(xué)習(xí)(簡稱WMIL)算法中,根據(jù)提出的正負(fù)包概念,依據(jù)正包中正示例的重要程度分配權(quán),在一定程度上提高了分類器的魯棒性。ZHANG等[10]提出的實時在線特征選擇(簡稱ODFS)實現(xiàn)自動選擇區(qū)分度較高的特征,得到較為魯棒的分類器。ZHANG等[11]提出的動態(tài)特征選擇(簡稱AFS)動態(tài)選擇分類能力較強的特征,可以實現(xiàn)在復(fù)雜背景下對目標(biāo)和背景的區(qū)分。本文作者提出一種結(jié)合運動矢量判斷目標(biāo)位置的模型,針對跟蹤過程中可能出現(xiàn)的跟蹤漂移問題,對跟蹤框架內(nèi)圖像進行超像素分割,對跟蹤目標(biāo)區(qū)域的超像素進行運動矢量編碼統(tǒng)計分析,得到目標(biāo)運動速度和方向的估值,修正候選目標(biāo)的搜索位置,有效降低因跟蹤目標(biāo)移動劇烈或速度過快而導(dǎo)致的跟蹤漂移問題。利用生物視覺系統(tǒng)的focus on attention理論對跟蹤框架內(nèi)分塊提取特征并分配置信權(quán)值,可改善樸素貝葉斯分類器在復(fù)雜背景下的分類魯棒性,降低跟蹤框架內(nèi)因相似背景的干擾而導(dǎo)致分類器錯誤分類的情況。增加目標(biāo)檢測機制,當(dāng)目標(biāo)存在嚴(yán)重遮擋時,停止學(xué)習(xí)正負(fù)樣本,避免目標(biāo)重新回到畫面后跟蹤丟失的問題。
本文提出一種結(jié)合運動矢量的分權(quán)快速壓縮跟蹤算法。在基于壓縮感知理論的目標(biāo)跟蹤算法中,通過引入目標(biāo)運動矢量模型,修正算法搜索中心,防止目標(biāo)移動過快產(chǎn)生跟蹤漂移;改進搜索策略;對跟蹤框不同位置塊的特征分配置信值,弱化背景干擾,改善樸素貝葉斯分類器分類的魯棒性;提出一種新的正負(fù)樣本更新機制,有效防止目標(biāo)遮擋后的跟蹤丟失問題。為方便描述,將本文提出的結(jié)合運動矢量的分權(quán)快速壓縮跟蹤算法命名為FCTMA。
1.1 結(jié)合運動矢量的快速搜索
ZHANG等[5]將壓縮感知理論應(yīng)用到目標(biāo)跟蹤中,提出一種基于壓縮感知理論的壓縮跟蹤算法(CT)。該算法主要利用了1個×的隨機矩陣提取多尺度目標(biāo)的特征向量,其公式為
=(1)
隨機矩陣的遠(yuǎn)遠(yuǎn)小于,滿足有限等距RIP性質(zhì)。如果是可壓縮的(或者說是稀疏的),利用該性質(zhì)可以通過最小化誤差從中恢復(fù),壓縮程度取決于隨機矩陣的稀疏程度。為降低目標(biāo)特征計算復(fù)雜度,采用了1個非常稀疏的隨機測量矩陣,定義 如下:
式中:=/4,矩陣的每一行只需要計算(小于4)個元素的值,計算復(fù)雜度()。利用該隨機測量稀疏矩陣可以將1個高維圖像空間(維)變換到1個低維空間(維)。
當(dāng)采用該稀疏矩陣提取下一幀目標(biāo)樣本時,在當(dāng)前幀目標(biāo)位置,設(shè)置搜索半徑,對搜索半徑范圍內(nèi)所有像素點產(chǎn)生的跟蹤矩形框逐個進行特征提取,并輸入分類器進行分析比較。這一搜索策略使得算法在總的特征提取和計算時間上開銷較大,不利于目標(biāo)的實時跟蹤。ZHANG等[12]針對提取樣本特征的搜索策略進行改進,當(dāng)+1幀圖像到來時,根據(jù)第幀目標(biāo)所在位置,對周圍半徑c范圍內(nèi),間距步長c的像素點產(chǎn)生的矩形框進行樣本特征提取并計算得到分?jǐn)?shù)最大的點,大致確定目標(biāo)位置t′。然后在t′周圍設(shè)置更小搜索半徑,通過以更小間距像素點產(chǎn)生的矩形跟蹤框,進行樣本特征提取并輸入分類器,得分最大者即為目標(biāo)的準(zhǔn)確位置。本文也采用這種由粗到精的搜索策略,但這一改進的搜索策略雖然降低了搜索目標(biāo)過程中的時間開銷,提高了目標(biāo)跟蹤的實時性,但不能解決跟蹤過程中的漂移問題。
跟蹤過程中的漂移問題主要源于目標(biāo)移動過快,而搜索目標(biāo)范圍仍然停留在上一幀圖像中目標(biāo)位置周圍。要保證實時跟蹤,搜索半徑不宜過大,若增大搜索半徑,一方面會增加算法復(fù)雜度,另一方面引入更多的冗余候選目標(biāo)位置,增加背景干擾以及一些奇點,將對分類器的正確分類產(chǎn)生干擾。當(dāng)目標(biāo)真實位置不在搜索半徑內(nèi)時將導(dǎo)致跟蹤漂移,嚴(yán)重的將導(dǎo)致跟蹤失敗。ACHANTA等[13]提出一種基于簡單線性迭代聚類(簡稱SLIC)的超像素圖像分割算法,利用LAB顏色空間和目標(biāo)區(qū)域紋理特征對框定范圍內(nèi)的像素進行聚類,生成固定數(shù)量且具有適應(yīng)邊界、貼合性和緊湊性較好、大小一致且形狀均勻的超像素。由于SLIC分割圖像的方法,只需給定分割超像素的數(shù),運行快速,只需要線性的存儲空間和運行時間即可,因此,廣泛應(yīng)用于圖像處理中代替像素點的運算。本文作者提出基于超像素的運動矢量來預(yù)測目標(biāo)位置,修正跟蹤目標(biāo)候選區(qū)域,使得搜索初始位置更接近目標(biāo)真實位置。首先,人為設(shè)定分割后超像素的個數(shù),對跟蹤框架內(nèi)圖像進行超像素分割,按照從左到右從上到下的順序?qū)Τ袼剡M行編號。然后建立超像素運動矢量模型并對其進行編碼,如圖1所示,運動矢量方向角范圍為0~2π,劃分為8個區(qū)間,其量化系數(shù)為π/4。
圖1 運動矢量方向編碼示意圖
其中:C∈{0,1,2,3,4,5,6,7},為量化系數(shù);。求得運動目標(biāo)區(qū)域所有超像素運動矢量方向編碼,得到目標(biāo)區(qū)域運動矢量方向編碼直方圖。在得到目標(biāo)區(qū)域運動矢量方向編碼直方圖,即運動方向統(tǒng)計信息的基礎(chǔ)上,求得具有最大分布的方向編碼區(qū)間,計算出具有最大分布的方向編碼區(qū)間內(nèi)所有超像素的平均運動矢量,其在軸和軸方向上的分量分別表示為,。目標(biāo)運動速度和方向的估計值為
(4)
根據(jù)上一幀目標(biāo)位置l和平均運動矢量,修正當(dāng)前候選區(qū)域中心位置為
1.2 置信值分權(quán)
在提取樣本壓縮特征后,將其輸入到樸素貝葉斯分類器,進行背景與目標(biāo)的分類,得分最高的即為新一幀中目標(biāo)位置。假設(shè)低維特征空間中各個元素是獨立分布的,則樸素貝葉斯分類器模型為
其中:f為每一個樣本的第個低維空間特征;,為二元變量,其值分別代表正、負(fù)樣本標(biāo)簽。DIACONIS等[14]中證明高維隨機向量的空間隨機投影幾乎都符合高斯分布,并且可用4個參數(shù)進行描述,如下式所示:
(7)
由于跟蹤目標(biāo)的形狀通常是不規(guī)則的,跟蹤窗口邊緣處往往會夾雜大量背景,這時分類器對采集到的正負(fù)樣本分類將產(chǎn)生干擾,影響到分類器的魯棒性,若在錯誤的分類基礎(chǔ)上對分類器進行更新,則必將影響跟蹤過程的準(zhǔn)確性。TORRALBA[15]將生物視覺focus of attention理論引入到目標(biāo)檢測中并取得了很好的效果。圖2所示為生物視覺系統(tǒng)focus of attention。該理論表明高級動物的視覺系統(tǒng)會聚焦于一個確定的圖像區(qū)域,離該區(qū)域越近的點,受到的關(guān)注度較高;反之,離聚焦區(qū)域越遠(yuǎn)的點,受到的關(guān)注度較低。受此啟發(fā),考慮到跟蹤框架中心位置通常背景信息較少,置信度較高,相反邊緣處含有相對較多的背景信息,置信度較低,本文在提取目標(biāo)低維特征時,將跟蹤框按照自上而下從左到右均分為×共塊。然后將每一小塊的灰度特征輸入式(1),求得每小塊的壓縮特征,再輸入到式(6)中的樸素貝葉斯分類器分類并計算得分,對跟蹤框內(nèi)靠近中心處塊的特征得分賦予較大的置信權(quán)值,對跟蹤框邊緣塊的特征得分賦予較小的置信權(quán)值,以弱化邊緣復(fù)雜背景對分類器的干擾,其中第塊的置信權(quán)值函數(shù)定義如下:
(=1,…,) (8)
式中:(l,l)為分割生成塊的中心塊位置坐標(biāo), (k,k)為第塊的二維中心坐標(biāo)。根據(jù)式(8),跟蹤框架內(nèi)中心位置賦予較大權(quán)值,表明其對特征提取得分的置信度較高,反之,邊緣位置賦予較小的權(quán)值,表明其對特征提取的得分置信度較低。本文提出的置信值分權(quán)樸素貝葉斯分類器如下:
圖2 生物視覺系統(tǒng)focus of attention
(9)
式中:f為跟蹤框第塊的第個低維空間特征,共有個特征。對跟蹤框架內(nèi)所有塊的分類得分乘以各自對應(yīng)的權(quán)值加權(quán)求和。得分最大的跟蹤框即為目標(biāo)位置。對式(9)中4個參數(shù)進行增量更新,以適應(yīng)目標(biāo)和背景的更新,更新公式為
(9)
式中:學(xué)習(xí)因子0<<1,其大小表示參數(shù)更新速度的快慢;和的定義分別為,,其中為正樣本的個數(shù),和分別為本幀正樣本第塊的第個特征向量的均值和標(biāo)準(zhǔn)差。
1.3 目標(biāo)遮擋檢測機制
由于缺少目標(biāo)檢測機制,在跟蹤過程中目標(biāo)出現(xiàn)嚴(yán)重遮擋時,如果仍然利用此時得到的正負(fù)樣本進行分類器模型參數(shù)的實時更新,勢必將錯誤的正負(fù)樣本信息帶到下一幀,極有可能導(dǎo)致目標(biāo)跟蹤失敗。石武楨等[16]認(rèn)為通過CT算法中樸素貝葉斯分類器()是否小于零判斷跟蹤目標(biāo)是否出現(xiàn)嚴(yán)重遮擋。而當(dāng)背景與目標(biāo)相似度較高時極容易出現(xiàn)錯誤的判斷,進而導(dǎo)致錯誤的正負(fù)樣本學(xué)習(xí)和分類。鑒于此,本文提出一種新的目標(biāo)檢測機制,并將該機制看做一個二元分類問題,結(jié)合置信值分配權(quán)值以弱化背景干擾,當(dāng)跟蹤框架周圍出現(xiàn)與跟蹤目標(biāo)高度相似的背景時,能將背景干擾降低到最小。利用改進后的分類響應(yīng)函數(shù)()檢測目標(biāo)是否存在嚴(yán)重遮擋,當(dāng)發(fā)生嚴(yán)重遮擋時停止樣本模板更新。在此基礎(chǔ)上結(jié)合運動矢量模型,在目標(biāo)被遮擋的情況下,根據(jù)目標(biāo)先前的運動矢量,預(yù)測目標(biāo)的運動軌跡,在目標(biāo)重新出現(xiàn)時,重新捕捉到目標(biāo),可以有效解決因目標(biāo)遮擋而導(dǎo)致目標(biāo)跟蹤丟失的問題。
由于本文提出的分類器弱化背景干擾并不能完全消除背景干擾,所以,不能簡單地認(rèn)為分類器計分小于零即為目標(biāo)出現(xiàn)嚴(yán)重遮擋。因此,本文通過大量實驗對修正后的分類器()設(shè)置合適閾值,當(dāng)檢測的所有樣本得分均低于()設(shè)定閾值時,即認(rèn)定跟蹤目標(biāo)發(fā)生嚴(yán)重遮擋,此時不更新樣本模板。假設(shè)所有待檢測樣本的分類器得分的最大值為
當(dāng)max小于設(shè)定閾值時,停止樣本更新。
1.4 FCTMA算法流程
本文提出的結(jié)合目標(biāo)運動矢量的分權(quán)壓縮跟蹤算法流程圖如圖3所示。根據(jù)目標(biāo)運動矢量,調(diào)整目標(biāo)搜索位置,有效防止跟蹤過程中跟蹤漂移問題;提出一種置信值分權(quán)模型,根據(jù)特征在跟蹤框架內(nèi)的位置分配置信權(quán)值,減少因邊緣背景的引入而導(dǎo)致錯誤分類的模型;改變目標(biāo)樣本更新機制,實現(xiàn)當(dāng)目標(biāo)被遮擋重新出現(xiàn)在畫面中時快速重新定位目標(biāo)位置,增強算法的魯棒性。本文提出的FCTMA跟蹤算法的具體步驟如下。
輸入:當(dāng)前第幀圖像,目標(biāo)候選區(qū)域0~,正樣本目標(biāo)位置范圍0~pos,負(fù)樣本位置半徑范圍minneg~maxneg,上一幀目標(biāo)位置l?1。
1) 采用運動矢量模型,修正當(dāng)前目標(biāo)候選的位置,以修正后的候選位置pre為搜索中心點。
2) 以搜索中心點pre為中心,在半徑范圍內(nèi),進行步長c的搜索并生成跟蹤框,采用式(2)中的稀疏矩陣提取每個小塊的低維特征向量,輸入分類器()計算正負(fù)樣本分類得分,通過分類器最大響應(yīng)值粗略定位目標(biāo)位置l′。
3) 在粗跟蹤定位的位置l′周圍范圍內(nèi),間隔步長生成矩形框,進行精確搜索,將每個跟蹤框內(nèi)的小塊提取低維壓縮特征輸入分類器(),根據(jù)得分最大準(zhǔn)確定位目標(biāo)位置t。
4) 判斷檢測目標(biāo)是否被遮擋。若存在遮擋,則停止正負(fù)樣本更新;否則進行樣本更新。在靠近當(dāng)前幀目標(biāo)位置t周圍采集正樣本,遠(yuǎn)離目標(biāo)位置周圍采集負(fù)樣本,并通過稀疏矩陣降維,分別計算正負(fù)樣本壓縮特征和。
輸出:本幀目標(biāo)位置t。
圖3 FCTMA算法流程圖
2.1 實驗環(huán)境
(英特爾)Pentium(R) Dual-Core CPU E6500 @ 2.93 GHz,內(nèi)存4G,顯卡ATI Radeon HD 4350 (512MB)。操作系統(tǒng)為64位WINDOWS 7,仿真軟件為MATLAB 2014a。選取7個視頻數(shù)據(jù)進行測試(視頻數(shù)據(jù)來自http://cmp.felk.cvut.cz/~vojirtom/dataset/ index.html),采用具有挑戰(zhàn)性的7組圖片序列,并對它們進行長時間跟蹤,實驗中使用的圖像序列信息如表1所示。
表1 測試視頻序列信息
2.2 參數(shù)設(shè)置
實驗中,正樣本范圍pos=4表示在修正的候選目標(biāo)周圍4個像素范圍內(nèi)選取正樣本,生成45個正樣本;負(fù)樣本范圍minneg=8和maxneg=30,隨機生成50個負(fù)樣本。中心點修正因子=0.5,在粗跟蹤中搜索目標(biāo)范圍c=25,搜索步長c=4;精確跟蹤中搜索目標(biāo)范圍=10,搜索步長=1。的取值越大,跟蹤框架內(nèi)背景的干擾越小,但是會大幅增加算法運算時間開銷,因此,不能取值過大,本文取=5,即跟蹤框架內(nèi)分成25個小塊。由于不能完全克服跟蹤框架內(nèi)的相似度較高的背景干擾,若將max閾值設(shè)置為零,則在背景與目標(biāo)相似度較大時分類器會出現(xiàn)誤判斷max,通過實驗設(shè)置閾值設(shè)定為?10。參與對比的算法代碼均來自于相應(yīng)作者個人網(wǎng)站,相應(yīng)算法參數(shù)也均采用作者代碼中設(shè)置的參數(shù)值。
2.3 效果對比
將本文提出的結(jié)合運動矢量的分權(quán)快速壓縮跟蹤算法FCTMA分別與當(dāng)下3種主流目標(biāo)跟蹤算法:快速壓縮跟蹤(FCT)[12]、分權(quán)多示例學(xué)習(xí)(WMIL)[9]、實時在線特征選擇(ODFS)[10]和動態(tài)特征選擇(AFS)[11]的跟蹤結(jié)果繪制于每組序列圖片的同一幀中,在animal,skating1,skating2,pedestrian3,girl_mov,bird2和david序列集上的部分跟蹤效果對比如圖4所示。
圖4(a)animal序列中,跟蹤難點主要在于目標(biāo)快速移動,F(xiàn)CT算法在第6,7和8共3幀出現(xiàn)跟蹤漂移,未能很好地定位跟蹤目標(biāo),WMIL和ODFS在跟蹤過程中也多次出現(xiàn)跟蹤漂移的現(xiàn)象,AFS則未能實現(xiàn)目標(biāo)跟蹤,本文提出的FCTMA算法全程均未出現(xiàn)跟蹤漂移現(xiàn)象,這表明本文提出的結(jié)合運動矢量模型對預(yù)測快速移動的目標(biāo)運動軌跡具有良好的預(yù)判性,可以有效地解決因目標(biāo)移動過快而產(chǎn)生的跟蹤漂移現(xiàn)象。圖4(b)所示的skating1序列中,跟蹤難點主要在于目標(biāo)自身形變和復(fù)雜的背景燈光變換,AFS,ODFS和WMIL共3種算法相繼在第6,48和80幀出現(xiàn)目標(biāo)跟蹤丟失,F(xiàn)CT也在第309幀出現(xiàn)跟蹤失敗,本文提出的FCTMA算法實現(xiàn)全程無漂移目標(biāo)跟蹤,這說明本文提出的算法對因跟蹤目標(biāo)自身形變和背景復(fù)雜、燈源干擾具有良好的魯棒性;圖4(c)所示的skating2序列中,跟蹤難點主要包括目標(biāo)快速旋轉(zhuǎn)和形變以及背景干擾和遮擋等,第82幀中,目標(biāo)自身形變并有大量背景干擾,本文提出的FCTMA對跟蹤目標(biāo)的跟蹤效果最佳,說明本文提出的置信值分權(quán)分類器對跟蹤框架內(nèi)的背景有良好的抗干擾性。第119幀中,目標(biāo)被完全遮擋,只有FCTMA算法仍然能夠很好的定位到目標(biāo)位置實現(xiàn)跟蹤,說明本文提出的當(dāng)目標(biāo)被遮擋時停止正負(fù)樣本更新機制對跟蹤過程中出現(xiàn)的目標(biāo)遮擋情況具有很好的魯棒性。第212幀中,目標(biāo)快速旋轉(zhuǎn),F(xiàn)CTMA算法仍然能準(zhǔn)確地跟蹤到目標(biāo),586幀中,目標(biāo)快速移動,只有本文算法FCTMA未出現(xiàn)跟蹤漂移的現(xiàn)象,再次證明了本文提出的運動矢量模型對快速移動目標(biāo)的跟蹤漂移現(xiàn)象具有良好的修復(fù)作用。圖4(d)所示的pedestrian3序列是一組接近日常生活的目標(biāo)跟蹤序列,主要跟蹤困難在于背景中有與跟蹤目標(biāo)顏色相近的物體干擾。前期跟蹤過程中,本文提出的FCTMA算法和其他4種算法效果接近,105幀過后,只有本文算法FCTMA沒有受到背景的干擾,實現(xiàn)全程準(zhǔn)確跟蹤,其他4種算法均被背景干擾而導(dǎo)致跟蹤失敗,說明本文提出的對跟蹤框架內(nèi)的置信值分權(quán)對因背景過于相似而導(dǎo)致的跟蹤丟失問題具有良好的魯棒性。圖4(e)所示的girl_mov序列中,跟蹤難點是目標(biāo)遮擋問題,由于本文加入了目標(biāo)檢測機制,在120幀和395幀目標(biāo)被遮擋,此時沒有正樣本,本文提出的算法FCTMA停止正負(fù)樣本的學(xué)習(xí),避免分類器錯誤的分類,從而在目標(biāo)遮擋后再次出現(xiàn)時能重新找到跟蹤目標(biāo)。其他4種算法均未能找回跟蹤目標(biāo),導(dǎo)致后續(xù)跟蹤過程漂移和跟蹤失敗,再次證明本文提出的對目標(biāo)出現(xiàn)遮擋后停止正負(fù)樣本的學(xué)習(xí)機制對跟蹤過程中目標(biāo)出現(xiàn)嚴(yán)重的遮擋有著良好的適應(yīng)性。圖4(f)所示的bird2序列中,跟蹤目標(biāo)形狀不規(guī)則,跟蹤窗口內(nèi)包含大量背景,由于本文算法FCTMA對跟蹤框架范圍內(nèi)目標(biāo)進行置信值分權(quán),從而避免跟蹤框架內(nèi)周圍大量背景干擾,而FCT算法則出現(xiàn)嚴(yán)重漂移和丟失目標(biāo)的情況,本文提出的FCTMA和其他3種算法跟蹤準(zhǔn)確。圖4(g)所示的david序列中,跟蹤人臉的過程中,存在的挑戰(zhàn)有背景光線的變化和跟蹤框架的邊緣背景干擾。ODFS算法跟蹤失敗,其余4種算法中,本文提出的FCTMA算法跟蹤效果最理想,如圖4(g)中david序列第391,431和449幀所示。
(a) animal;(b) skating1;(c) skating2;(d) pedestrian3;(e) bird2;(f) david
2.4 跟蹤準(zhǔn)確率比較
為衡量算法的跟蹤準(zhǔn)確性,借鑒文獻[17]中做法,采取跟蹤成功率這一評價指標(biāo)來衡量跟蹤的準(zhǔn)確率。首先,計算每一幀跟蹤目標(biāo)位置與真實目標(biāo)位置的重合率:
式中:T為目標(biāo)跟蹤算法求得的目標(biāo)位置的矩形跟蹤框;G為真實的目標(biāo)所在位置的矩形跟蹤框;為面積運算。重合率的大小表明跟蹤目標(biāo)的準(zhǔn)確度高低。若重合率小于9%則認(rèn)為該幀跟蹤失敗,否則認(rèn)為算法跟蹤成功。最后將算法跟蹤成功的幀數(shù)除以相應(yīng)序列集總的幀數(shù)得出各算法的跟蹤成功率。將本文提出的FCTMA算法與4種主流跟蹤先進算法在7個挑戰(zhàn)性視頻序列上的跟蹤成功率進行統(tǒng)計,結(jié)果如表2所示。
表2 跟蹤成功率(取整)比較
注:黑體代表該組序列集上的最大值;下劃線代表該組序列集上的次大值。下同。
表2所示的實驗結(jié)果中,本文提出的FCTMA算法在其中6個序列集上的跟蹤效果最佳,且在全部7個序列集上的平均跟蹤成功率比次好的跟蹤算法WMIL高近22%。特別在跟蹤難度較大的skating1, skating2和girl_mov 3個序列集上都獲得了最大成功率,且比次好的跟蹤算法成功率分別高23%,22%和17%。在相對簡單的跟蹤序列集bird2和david上的跟蹤準(zhǔn)確率達到99%和100%。
2.5 跟蹤時間效率
為了驗證本文提出的FCTMA算法是否滿足跟蹤實時性要求,將本文FCTMA算法與主流跟蹤算法進行跟蹤效率比較。本文提出的結(jié)合運動矢量的分權(quán)快速壓縮跟蹤算法FCTMA與快速壓縮跟蹤(FCT)[12]、分權(quán)多示例學(xué)習(xí)(WMIL)[9]、實時在線特征選擇(ODFS)[10]和動態(tài)特征選擇(AFS)[11],在animal,skating1,skating2,pedestrian3,girl_mov,bird2和david 序列集上的平均每幀跟蹤時間對比如表3所示。實驗結(jié)果表明:本文提出的FCTMA算法在全部7個序列集中的4個序列上效率排在第2,但仍可以達到跟蹤實時性的要求。
表3 各算法運行時間表
2.6 實驗分析
從上面實驗對比結(jié)果分析中,不難看出本文提出的FCTMA算法在面對跟蹤過程的各種挑戰(zhàn)中,與當(dāng)前先進的跟蹤算法相比,效果較好,準(zhǔn)確率較高。在animal和skating2 2組序列中,目標(biāo)快速劇烈移動,由于本文算法FCTMA加入運動矢量修正搜索位置,跟蹤全程抑制跟蹤漂移效果最佳。skating1,skating2和pedestrian3 3組序列集中,跟蹤過程伴隨各種背景干擾,本文提出的FCTMA算法,由于對分類器進行置信值分權(quán),弱化跟蹤過程中的背景干擾,大大提升了跟蹤的效果和準(zhǔn)確性。在skating1,skating2和girl_mov 3組序列集中,跟蹤目標(biāo)出現(xiàn)嚴(yán)重遮擋,由于本文加入目標(biāo)遮擋檢測,在檢測到遮擋后停止分類器繼續(xù)學(xué)習(xí),當(dāng)目標(biāo)遮擋后重新出現(xiàn)時均能成功重新找回跟蹤目標(biāo),并在跟蹤難度較大的skating1中實現(xiàn)跟蹤成功率100%,在girl_mov序列集上目標(biāo)遮擋過后的第120幀,只有本文算法重新找回跟蹤目標(biāo)。
1) 提出的FCTMA算法基于CT跟蹤算法框架,通過加入目標(biāo)運動矢量模型,修正目標(biāo)候選區(qū)域位置,有效抑制了跟蹤漂移問題;通過對跟蹤框架分配置信值,對跟蹤框架內(nèi)中心處分配較大置信值,周圍分配較小置信值,弱化邊緣復(fù)雜背景的干擾并降低計算時間復(fù)雜度;修改正負(fù)樣本更新機制,通過引入目標(biāo)檢測機制,提高算法對于出現(xiàn)目標(biāo)遮擋時的跟蹤魯棒性,在目標(biāo)出現(xiàn)遮擋時,防止分類器錯誤分類。
2) 通過實驗對比,在目標(biāo)快速劇烈移動,目標(biāo)快速旋轉(zhuǎn),復(fù)雜背景光照變換、相似背景物干擾,目標(biāo)遮擋等一系列目標(biāo)跟蹤挑戰(zhàn)中,表現(xiàn)出較好的跟蹤效果,具有較高的魯棒性和穩(wěn)定性。
[1] JALAL A S, SINGH V. The State-of-the-art in Visual Object Tracking[J]. Informatica (slovenia), 2012, 36(3): 227?248.
[2] 黃誠, 劉華平, 左小五, 等. 基于Kinect的人機協(xié)作[J].中南大學(xué)學(xué)報(自然科學(xué)版), 2013, 44(S1): 386?393. HUANG Cheng, LIU Huaping, ZUO Xiaowu, et al. Human-robot cooperation using Kinect[J]. Journal of Central South University (Science and Technology), 2013, 44(S1): 386?393.
[3] CANDES E J, TAO T. Decoding by linear programming[J]. IEEE Transactions on Information Theory, 2005, 51(12): 4203?4215.
[4] CANDES E J, TAO T. Near-optimal signal recovery from random projections: universal encoding strategies[J]. IEEE Transactions on Information Theory, 2006, 52(12): 5406?5425.
[5] ZHANG K, ZHANG L, YANG M H. Real-time compressive tracking[M]//Berlin Heidelberg: Springer, 2012: 864?877.
[6] Emmanuel J Candes. The restricted isometry property and its implications for compressed sensing[J]. Comptes Rendus Mathematique, 2008, 346(9): 589?592.
[7] 王魯平, 馬峰, 韓建濤. 基于距離加權(quán)平均絕對差的模板漂移抑制算法[J]. 中南大學(xué)學(xué)報(自然科學(xué)版), 2012, 43(10): 3894?3899. WANG Luping, MA Feng, HAN Jiantao.A mean shift object tracking algorithm based on covariance estimation[J]. Journal of Central South University (Science and Technology), 2012, 43(10): 3894?3899.
[8] 田綱, 胡瑞敏, 王中元. 一種基于運動矢量分析的Mean shift目標(biāo)跟蹤算法[J]. 中國圖象圖形學(xué)報, 2010, 15(1): 85?90. TIAN Gang, HU Ruimin, WANG Zhongyuan. A mean shift target tracking algorithm based on motion vector analysis[J]. Journal of Image and Graphics, 2010, 15(1): 85?90.
[9] ZHANG Kaihua, SONG Huihui. Real-time visual tracking via online weighted multiple instance learning[J]. Pattern Recognition, 2013, 46(1): 397?411.
[10] ZHANG Kaihua, ZHANG Lei, YANG M. Real-time object tracking via online discriminative feature selection[J]. IEEE Transactions on Image Processing, 2013, 22(12): 4664?4677.
[11] ZHANG L, ZHANG K, YANG M, et al. Robust object tracking via active feature selection[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2013, 23(11): 1957?1967.
[12] ZHANG Kaihua, ZHANG Lei, YANG M. Fast compressive tracking[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2013, 36(10): 2002?2015.
[13] ACHANTA R, SHAJI A, SMITH K, et al. SLIC Superpixels[EB/OL]. [2010?06]. http://ivrlwww.epfl.ch/supple- mentary_material/RK_SLICSuperpixels/index.html
[14] DIACONIS P, FREEDMAN D. Asymptotics of graphical projection pursuit[J]. The Annals of Statistics, 1984, 12(3): 793?815.
[15] TORRALBA A. Contextual priming for object detection[J]. International Journal of Computer Vision, 2003, 53(2): 169?191.
[16] 石武禎, 寧紀(jì)鋒, 顏永豐. 壓縮感知跟蹤中的特征選擇與目標(biāo)模型更新[J]. 中國圖象圖形學(xué)報, 2014, 19(6): 932?939. SHI Wuzhen, NING Jifeng, YAN Yongfeng. Feature selection and target model updating in compressive tracking[J]. Journal of Image and Graphics, 2014, 19(6): 932?939.
[17] CEHOVIN L, KRISTAN M, LEONARDIS A. An adaptive coupled-layer visual model for robust visual tracking[C]//2011 IEEE International Conference on Computer Vision (ICCV). Barcelona: IEEE, 2011: 1363?1370.
(編輯 陳愛華)
Fast compressive tracking algorithm based on motion vector and assigning weight value
LUO Huilan1, ZHANG Wensai1, ZHONG Rui1, KONG Fansheng2
(1. School of Information Engineering, Jiangxi University of Science and Technology, Ganzhou 341000, China;2. College of Computer Science and Technology, Zhejiang University, Hangzhou 310027, China)
To reduce the drift phenomenon in object tracking, a candidate object location search method was proposed combining motion vector with super pixel. In order to weaken the influence of complex background and improve the tracking robustness, the features from the blocks in the tracking box were assigned different weights according to their locations. The classifier may get wrong information if it continues learning when the tracking object is largely occluded. A object detection approach was proposed to avoid the false classification in the situations of object occlusion. The experiment results show that the proposed algorithm has better performance and can track successfully and efficiently for a long time, compared with some state-of-the-art works in many complicated situations, e.g. swift movement, object deformation, complex background, occlusion and illumination variation.
object tracking; motion vector; confidence value; occlusion detection
10.11817/j.issn.1672?7207.2017.02.018
TP391.4
A
1672?7207(2017)02?0395?09
2016?03?05;
2016?06?27
國家自然科學(xué)基金資助項目(61462035);江西省青年科學(xué)家培養(yǎng)項目(20153BCB23010)(Project(61462035) supported by the National Natural Science Foundation of China; Project(20153BCB23010) supported by Young Scientist Training Project of Jiangxi Province)
羅會蘭,博士,教授,從事機器學(xué)習(xí)、模式識別研究;E-mail:luohuilan@sina.com