張冬梅,汪榮貴,楊娟,游生福,齊立立
合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院,合肥230009
稀疏編碼目標(biāo)跟蹤方法研究
張冬梅,汪榮貴,楊娟,游生福,齊立立
合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院,合肥230009
針對(duì)稀疏表示用于目標(biāo)跟蹤時(shí)存在重構(gòu)誤差表示不夠精確、目標(biāo)模板更新錯(cuò)誤等問題,提出一種改進(jìn)的稀疏編碼模型。該模型無需重構(gòu)誤差滿足特定的先驗(yàn)概率分布,且加入對(duì)編碼系數(shù)的自適應(yīng)約束,可以取得更優(yōu)的編碼向量,使得跟蹤結(jié)果更為準(zhǔn)確。在此基礎(chǔ)上,將這種改進(jìn)的編碼模型與粒子濾波目標(biāo)跟蹤算法相結(jié)合,研究并實(shí)現(xiàn)一種新的基于魯棒稀疏編碼模型的目標(biāo)跟蹤方法。該方法對(duì)每個(gè)粒子的采樣區(qū)域進(jìn)行編碼,用所得的稀疏編碼向量作為當(dāng)前粒子的觀測(cè)量,并采用目標(biāo)模板分級(jí)更新策略,使得目標(biāo)模板更加準(zhǔn)確。實(shí)驗(yàn)結(jié)果表明,方法可以較好地解決目標(biāo)部分遮擋和光照變化等干擾下的目標(biāo)跟蹤問題。
目標(biāo)跟蹤;稀疏編碼;稀疏表示;粒子濾波
目標(biāo)跟蹤是計(jì)算機(jī)視覺的重要研究?jī)?nèi)容,在智能監(jiān)控、汽車導(dǎo)航、目標(biāo)識(shí)別與人機(jī)交互等領(lǐng)域都有著廣闊的應(yīng)用價(jià)值。實(shí)際應(yīng)用中經(jīng)常遇到不可預(yù)估的干擾,例如:光照變化、目標(biāo)的遮擋以及旋轉(zhuǎn)、尺度變化等,這些干擾經(jīng)常導(dǎo)致目標(biāo)跟蹤的漂移或失敗。因此,如何構(gòu)造一個(gè)能夠適應(yīng)復(fù)雜場(chǎng)景的魯棒的跟蹤器是一個(gè)急需解決的問題[1]。
目前,復(fù)雜場(chǎng)景下的目標(biāo)跟蹤方法大致分為判別式和生成式兩大類。判別式方法將跟蹤問題作為分類問題處理[2-4],即將目標(biāo)從背景中區(qū)分出來,跟蹤過程中對(duì)分類器進(jìn)行在線更新。例如H Grabner等[4]提出一種新的基于在線AdaBoost特征選擇的目標(biāo)跟蹤算法,在跟蹤過程中利用對(duì)背景的學(xué)習(xí)選取最具區(qū)分力的特征,并通過對(duì)分類器的在線訓(xùn)練以適應(yīng)目標(biāo)外觀的變化。這類方法的難點(diǎn)主要是在線訓(xùn)練過程中能否實(shí)現(xiàn)對(duì)樣本的自動(dòng)正確標(biāo)記。
生成式方法通過建立目標(biāo)的觀測(cè)模型,將跟蹤問題轉(zhuǎn)化為尋求與目標(biāo)外觀模型具有最高似然性的區(qū)域[5-6],在跟蹤過程中,增量地更新目標(biāo)的外觀模型以適應(yīng)環(huán)境的變化和目標(biāo)外觀的改變。例如S K Zhou等[6]提出基于粒子框架的外觀自適應(yīng)模型的目標(biāo)跟蹤識(shí)別算法;L Matthews等[7]對(duì)Lucas-Kanade跟蹤方法中的模板更新方法進(jìn)行改進(jìn),建立了目標(biāo)的主動(dòng)外觀模型等等。其中,粒子濾波方法是目標(biāo)跟蹤的經(jīng)典方法,通常從解決粒子退化和粒子的多樣性保持[8]或者改進(jìn)目標(biāo)的觀測(cè)模型[9]入手提高算法的魯棒性。目前,描述目標(biāo)外觀模型有很多方法,如顏色特征、紋理特征和梯度方向等,但是在復(fù)雜環(huán)境下這些特征仍不足以描述目標(biāo)外觀的變化,以獲取魯棒的跟蹤效果。
稀疏表示[10-11]是智能信息處理的重要工具,目前在圖像分類[12-13],人臉識(shí)別[14],圖像的超分辨重建[15-16]等方面得到廣泛的應(yīng)用。由于基于稀疏表示的目標(biāo)觀測(cè)模型對(duì)環(huán)境的變化具有一定的魯棒性,因此,用稀疏表示解決復(fù)雜場(chǎng)景下的目標(biāo)跟蹤問題具有較大的研究?jī)r(jià)值。稀疏表示應(yīng)用于目標(biāo)跟蹤時(shí),將跟蹤問題的求解轉(zhuǎn)化為在模板空間中尋求一個(gè)稀疏近似解[9,17-18]。W Qing等[17]提出一種局部稀疏表示的目標(biāo)跟蹤算法,目標(biāo)樣本的每個(gè)局部塊由一個(gè)在線更新的超完備字典編碼表示,利用局部塊的編碼結(jié)果學(xué)習(xí)得到一個(gè)線性分類器,繼而將目標(biāo)跟蹤問題轉(zhuǎn)化為分類問題。這種局部化方法雖然在處理干擾時(shí)有一定的魯棒性,但是通常會(huì)丟失目標(biāo)的全局信息。M Xue等[9]提出目標(biāo)樣本由目標(biāo)模板和平凡模板(trivial templates)構(gòu)成的超完備字典稀疏表示(以下稱?1方法),加入了對(duì)平凡系數(shù)(trivial coefficient)的非負(fù)約束,對(duì)光照變化有一定的處理效果,但是重構(gòu)誤差的計(jì)算不夠精確。
針對(duì)上述問題,本文提出一種改進(jìn)的稀疏編碼模型,這種編碼模型無需重構(gòu)誤差滿足特定的先驗(yàn)概率分布,使得編碼模型更加精確,且加入對(duì)編碼系數(shù)的自適應(yīng)約束,取得更優(yōu)的編碼結(jié)果以使跟蹤結(jié)果更為準(zhǔn)確。在此基礎(chǔ)上,本文將這種改進(jìn)的編碼模型與粒子濾波目標(biāo)跟蹤算法相結(jié)合,研究并實(shí)現(xiàn)一種新的基于魯棒稀疏編碼模型的目標(biāo)跟蹤方法。該方法對(duì)每個(gè)粒子的采樣區(qū)域進(jìn)行編碼,用所得的稀疏編碼向量作為當(dāng)前粒子的觀測(cè)量,并且采用目標(biāo)模板分級(jí)更新策略,使目標(biāo)模板更加準(zhǔn)確,由此可以較好地處理目標(biāo)部分遮擋和光照變化等干擾下的目標(biāo)跟蹤問題。
粒子濾波是一種基于貝葉斯框架的狀態(tài)估計(jì)方法,通過尋找一組在狀態(tài)空間中傳播的隨機(jī)樣本對(duì)概率密度函數(shù)p(xt|z1:t)進(jìn)行近似,以樣本均值代替積分運(yùn)算,從而獲得狀態(tài)最小方差估計(jì)的過程[19]。粒子濾波分為預(yù)測(cè)和更新兩個(gè)基本階段,其中預(yù)測(cè)階段是根據(jù)系統(tǒng)模型預(yù)測(cè)狀態(tài)的先驗(yàn)概率分布,而更新階段則是利用最新的觀測(cè)值修正先驗(yàn)概率分布,得到狀態(tài)的后驗(yàn)概率分布。
令xt表示目標(biāo)在t時(shí)刻的狀態(tài),z1:t-1={z1,z2,…,zt-1}表示前t-1時(shí)刻系統(tǒng)的觀測(cè)值,預(yù)測(cè)和更新過程分別如式(1)和式(2)表示:
其中,使得式(2)中后驗(yàn)概率最大的xt被認(rèn)為是t時(shí)刻的最優(yōu)狀態(tài)。
由于式(1)的積分形式難以求出,粒子濾波中使用蒙特卡羅模擬將這個(gè)積分轉(zhuǎn)化為加權(quán)的粒子集求和形式表示。t時(shí)刻從重要性密度函數(shù)中采樣得到粒子(N為粒子的個(gè)數(shù)),其相應(yīng)權(quán)重為,使用下式更新:
歸一化后權(quán)重為:
后驗(yàn)概率分布可由粒子集加權(quán)平均表示為:
其中δ(·)為Diracδ函數(shù)。
稀疏表示是獲取、表示和壓縮高維信號(hào)的重要工具[15],其基本思想是:給定一個(gè)足夠大的基集(也稱作超完備字典),對(duì)于一個(gè)待編碼信號(hào),從基集中盡可能少地選擇基向量線性重建待編碼信號(hào),同時(shí)使重構(gòu)誤差盡可能小。在跟蹤問題中,可以利用稀疏表示對(duì)干擾的不敏感特性建立目標(biāo)觀測(cè)模型。
3.1目標(biāo)觀測(cè)模型
在建立目標(biāo)的觀測(cè)模型時(shí),將目標(biāo)樣本在目標(biāo)子空間上的稀疏表示向量作為樣本的觀測(cè)量[20-21],將目標(biāo)子空間表示為:
子空間中的每個(gè)向量由目標(biāo)模板列向量化得到,n表示目標(biāo)模板的個(gè)數(shù)。同時(shí)引入平凡模板來表示在跟蹤過程中出現(xiàn)的如部分遮擋、光照變化等不可預(yù)知干擾,令ε表示干擾,加入平凡模板集。
使用平凡模板表示ε,每個(gè)平凡模板ii∈Rd都是只有一個(gè)非零元素的列向量。
為了濾掉那些如陰影這類與目標(biāo)模板反密度模式相似的干擾,文獻(xiàn)[9]中加入平凡模板的非負(fù)約束,這可以使平凡系數(shù)中的項(xiàng)全部為非負(fù)值,平凡模板集擴(kuò)展為:
對(duì)于當(dāng)前的一個(gè)樣本,將其列向量化后得到y(tǒng)∈Rd,進(jìn)而y可以由目標(biāo)子空間T與平凡模板集線性表示為:
在文獻(xiàn)[9]中描述的跟蹤方法中,觀測(cè)值y在編碼字典B上的稀疏表示解c可以通過求解?1規(guī)范化最小二乘問題得到,并用求得的編碼向量c作為樣本y的觀測(cè)量。本文將這種方法稱為?1方法,計(jì)算表達(dá)式如式(7)表述:
3.2魯棒稀疏編碼
在求解編碼向量時(shí),希望得到的是使重構(gòu)誤差最小的解,即極大似然估計(jì)(MLE,Maximum Likelihood Estimation)解,這意味重構(gòu)誤差表示的精確度非常重要,式(7)采用?2范數(shù)來表示編碼重構(gòu)誤差,這需要誤差滿足高斯分布。
盡管由中心極限定理可知,當(dāng)樣本趨近于無窮時(shí),可以認(rèn)為這些隨機(jī)出現(xiàn)的誤差是近似滿足高斯分布的;然而,在具體的某個(gè)跟蹤問題中,干擾的出現(xiàn)滿足隨機(jī)性,但是一個(gè)視頻中樣本的數(shù)目卻不是趨近于無窮大,因此用?2范數(shù)來表示編碼重構(gòu)誤差并不精確。
為了更精確地表示重構(gòu)誤差,本文僅給出每個(gè)重構(gòu)誤差項(xiàng)的概率密度函數(shù)表示形式fθ(ei),θ表示描述分布的參數(shù)集,然后根據(jù)MLE的原理,最大化似然函數(shù):
或最小化目標(biāo)函數(shù):
其中ρθ(ei)=-lnfθ(ei)。
計(jì)算過程中,為方便起見,將編碼字典B記為:
其中ri為B的第i行;
將觀測(cè)值y記為:
編碼向量按如下公式求解:
在實(shí)際的目標(biāo)跟蹤過程中,當(dāng)出現(xiàn)嚴(yán)重干擾時(shí),目標(biāo)子空間將不能很好地表示目標(biāo)樣本,平凡系數(shù)中出現(xiàn)大量的非零項(xiàng),平凡系數(shù)能量增大;當(dāng)出現(xiàn)的干擾可忽略時(shí),目標(biāo)子空間很好地表示目標(biāo),平凡系數(shù)項(xiàng)幾乎全部為零[9],但是平凡模板集也可以表示目標(biāo)的某些部分,這會(huì)激活平凡系數(shù)中的零項(xiàng),這時(shí)將無法得到最優(yōu)的稀疏編碼向量。
對(duì)此,為了提高魯棒性,本文在式(8)中加入對(duì)平凡系數(shù)的自適應(yīng)約束:當(dāng)出現(xiàn)嚴(yán)重的干擾時(shí),不考慮平凡系數(shù)能量的增大帶來的影響;當(dāng)出現(xiàn)的干擾可忽略時(shí),增大對(duì)平凡系數(shù)的能量進(jìn)行約束,使編碼得到的平凡系數(shù)項(xiàng)盡可能多地為零。
基于以上分析,本文提出一種魯棒稀疏編碼模型,表述如下:
其中,λ2是一個(gè)自適應(yīng)調(diào)節(jié)的值,當(dāng)未檢測(cè)到干擾或干擾可忽略時(shí),為一個(gè)預(yù)設(shè)的常量,當(dāng)檢測(cè)到較嚴(yán)重干擾時(shí),λ2=0。本文描述的稀疏編碼模型式(9)不要求重構(gòu)誤差滿足特定的先驗(yàn)概率分布,所以得到的編碼結(jié)果更加精確。
加入對(duì)平凡系數(shù)的約束后,在干擾較小的時(shí)候,由式(9)求得的向量中,平凡系數(shù)的能量將會(huì)比式(7)的低。如圖1、圖2和圖3所示,圖1第一行為?1方法對(duì)視頻Tiger的跟蹤效果,第二行為本文方法跟蹤效果;圖2和圖3中分別為?1方法中和本文求取的編碼向量的平凡系數(shù)能量比,其中橫軸為視頻的幀數(shù),縱軸為計(jì)算目標(biāo)樣本平凡系數(shù)能量比所得的值。
圖1 跟蹤效果
從圖2中可看出,在?1方法所求得稀疏向量中,平凡系數(shù)向量的比重在200幀以后一直高達(dá)30%,而在這些幀中,目標(biāo)并不是一直受到干擾的,在那些受到干擾較小的幀中,平凡系數(shù)的能量應(yīng)保持較低比值。這時(shí),平凡系數(shù)的能量過高致使跟蹤器無法區(qū)分目標(biāo)和背景,最終發(fā)生跟蹤錯(cuò)誤。而本文由式(9)求解得到的系數(shù)向量基本上滿足在目標(biāo)受到較小干擾時(shí),得到較佳的稀疏解,進(jìn)而得到更優(yōu)的跟蹤結(jié)果。
圖2 ?1中平凡系數(shù)能量比
圖3 本文平凡系數(shù)能量比
前文給出的魯棒稀疏編碼模型中僅設(shè)計(jì)出重構(gòu)誤差的計(jì)算表達(dá)式,還需要進(jìn)一步探究相應(yīng)編碼向量的求解方法。為此,本章將給出這種稀疏編碼模型的求解方法,并說明干擾檢測(cè)以及目標(biāo)模板的更新方法,然后與粒子濾波方法結(jié)合,提出一種新的基于魯棒稀疏編碼模型的目標(biāo)跟蹤方法。
4.1魯棒稀疏編碼模型的求解方法
在求解式(9)時(shí),不能通過確定重構(gòu)誤差的分布進(jìn)行求解。但是對(duì)于重構(gòu)誤差項(xiàng),如果異常值(通常是由干擾引起)權(quán)值很小,那么就可以減小它們對(duì)回歸估計(jì)的影響,從而使得編碼對(duì)異常值的敏感性大大減小,M Yang等[22]將重構(gòu)誤差項(xiàng)改寫成權(quán)重矩陣形式:
其中W為對(duì)角陣,且
e0為給定初始值后求得的重構(gòu)誤差,W對(duì)角線上的元素為權(quán)重值,指派給每個(gè)重構(gòu)誤差項(xiàng)。對(duì)于權(quán)重函數(shù)ωθ(ei),其范圍應(yīng)控制在[0,1]之間,這樣可避免出現(xiàn),很小的殘差值獲得趨近于無窮大的權(quán)重,綜上權(quán)重函數(shù)ωθ(ei)可以寫為:
其中,μ控制權(quán)重的下降率,δ為分界點(diǎn)。根據(jù)式(12)以及ρθ(0)=0,可得
由于W是使用前一次的重構(gòu)誤差而不斷更新的,所以式(10)可以轉(zhuǎn)化為一個(gè)迭代再加權(quán)的稀疏編碼問題:即每次得到W后采用加速臨近梯度法[23]求解得到一個(gè)稀疏解,然后根據(jù)最新得到的稀疏解更新權(quán)重矩陣W,不斷循環(huán),直到滿足收斂條件其中γ是一個(gè)很小的正標(biāo)量。
其中?為控制參數(shù),Γ為歸一化因子,在t時(shí)刻,當(dāng)前的跟蹤結(jié)果是觀測(cè)似然性最大的樣本,并且由式(3)和式(14)可知,編碼殘差越小的樣本,其對(duì)應(yīng)粒子的權(quán)重越大。
4.2干擾檢測(cè)及目標(biāo)模板的更新
在跟蹤中,為了處理隨機(jī)出現(xiàn)的干擾,增強(qiáng)算法的穩(wěn)健性,需要及時(shí)地更新目標(biāo)子空間。目標(biāo)外觀的變化通常是由一系列干擾引起的,如果將帶有嚴(yán)重干擾的樣本更新到目標(biāo)子空間中,將會(huì)導(dǎo)致子空間退化,最終無法較好地表示目標(biāo)樣本,進(jìn)而導(dǎo)致跟蹤錯(cuò)誤。為此,在更新目標(biāo)子空間時(shí),必須對(duì)待更新樣本進(jìn)行干擾檢測(cè)。
當(dāng)出現(xiàn)干擾時(shí),平凡系數(shù)中會(huì)出現(xiàn)很多非零項(xiàng),可以利用這些非零項(xiàng)來檢測(cè)當(dāng)前樣本受干擾的程度。首先,構(gòu)造一個(gè)二維零矩陣,其大小和列向量化前的目標(biāo)模板大小一致,每個(gè)元素對(duì)應(yīng)樣本中像素是否受到干擾,稱其為干擾索引圖。然后,將平凡系數(shù)向量進(jìn)行列向量化的逆運(yùn)算,轉(zhuǎn)化為矩陣形式,掃描平凡系數(shù)的矩陣,只要它的元素大于選定閾值,就將干擾索引圖中的相應(yīng)位置標(biāo)記為1,標(biāo)記為1的位置表示當(dāng)前像素點(diǎn)受到干擾。并且利用形態(tài)學(xué)方法處理干擾索引圖,計(jì)算連通區(qū)域大小,即以受干擾的像素?cái)?shù)來判斷樣本受干擾的程度。最后,統(tǒng)計(jì)受到干擾的像素所占的百分比。如果達(dá)到一定閾值,即認(rèn)為發(fā)生干擾。
利用上述的干擾檢測(cè)方法,在獲取當(dāng)前的跟蹤結(jié)果后,采用如下步驟對(duì)目標(biāo)子空間進(jìn)行更新:
(1)選擇出當(dāng)前待更新的目標(biāo)模板與最優(yōu)模板,與目標(biāo)系數(shù)中最小項(xiàng)對(duì)應(yīng)的模板,記為待更新模板t0;與目標(biāo)系數(shù)中最大項(xiàng)對(duì)應(yīng)的模板,記為最優(yōu)模板topt。
(2)當(dāng)前跟蹤結(jié)果記為y,然后計(jì)算y與topt的相似程度(本文用向量間的夾角作為判斷標(biāo)準(zhǔn),閾值η=0.5),如果兩者相似程度小于閾值,則不需要進(jìn)行更新,結(jié)束;否則,進(jìn)行更新,轉(zhuǎn)(3)。
(3)設(shè)定兩個(gè)門限值tr1,tr2(本文中tr1=0.1,tr2=0.6),計(jì)算出當(dāng)前目標(biāo)樣本的受干擾程度tr,若tr<tr1,直接用y替換t0進(jìn)行更新;若tr1≤tr≤tr2,使用當(dāng)前目標(biāo)模板的均值替換當(dāng)前樣本中受到干擾的部分,其相應(yīng)位置根據(jù)干擾索引圖求得,然后使用修正過的y替換t0;若tr>tr2,則認(rèn)為干擾太嚴(yán)重,不進(jìn)行更新,結(jié)束。
4.3目標(biāo)跟蹤算法流程
結(jié)合前文所述,本文提出的基于魯棒稀疏表示模型的目標(biāo)跟蹤算法跟蹤流程如下:
(1)跟蹤初始時(shí),目標(biāo)通過人機(jī)交互獲取,同時(shí)得到一個(gè)目標(biāo)模板,并利用在該模板中加入微擾的方式產(chǎn)生剩余模板,本文共使用10個(gè)目標(biāo)模板,加入平凡模板,構(gòu)成編碼的超完備字典,初始化粒子。
(3)計(jì)算粒子權(quán)重,對(duì)于每個(gè)粒子,使用式(9)對(duì)粒子的采樣區(qū)域進(jìn)行稀疏編碼,得到編碼向量,也就是當(dāng)前粒子的觀測(cè)值后,根據(jù)得到的式(14)和式(3)更新粒子的權(quán)值。
(4)更新目標(biāo)模板,根據(jù)當(dāng)前的跟蹤結(jié)果,對(duì)目標(biāo)樣本進(jìn)行更新,更新算法如本文4.2節(jié)所述,更新后得到當(dāng)前的超完備字典。
(6)輸出當(dāng)前跟蹤結(jié)果,跟蹤結(jié)果為粒子集的加權(quán)平均值,計(jì)算公式為公式(5),標(biāo)記跟蹤到的目標(biāo)位置。是視頻最后一幀,結(jié)束,否則轉(zhuǎn)步驟(2)。
本文實(shí)驗(yàn)平臺(tái)為CPU雙核2.6 GHz,內(nèi)存2 GB,軟件為Matlab R2009a,Windows XP操作系統(tǒng),算法執(zhí)行效率為1.93 s/幀。為了驗(yàn)證本文算法的有效性,實(shí)驗(yàn)中選取了多組具有代表性的視頻進(jìn)行處理,這些視頻中包含了目標(biāo)的遮擋,光照的劇烈變化,目標(biāo)的快速移動(dòng)等較難處理的情況。實(shí)驗(yàn)中選取?1跟蹤方法以及VTD(Visual Tracking Decomposition)[24]跟蹤方法作為對(duì)比實(shí)驗(yàn),并且分別通過主觀觀察和客觀評(píng)價(jià)方法驗(yàn)證本文算法的優(yōu)越性。
在跟蹤起始時(shí)刻,需要跟蹤的目標(biāo)是在第一幀時(shí)經(jīng)手動(dòng)選取的。在實(shí)驗(yàn)過程中,粒子的個(gè)數(shù)為300個(gè),目標(biāo)模板的個(gè)數(shù)為10個(gè),模板的大小根據(jù)第一幀選取所得的目標(biāo)長(zhǎng)寬比確定,由長(zhǎng)寬比最終歸一到四種大小12×15,15×12,10×18以及18×10中的一種,平凡模板的個(gè)數(shù)為360個(gè),每個(gè)編碼向量為370×1的列向量。令ψ=[(e1)2,(e2)2,…,(en)2],將其元素按升序排列,得到ψa。文中參數(shù)δ=ψa(175),μ=8/δ,λ1=0.01。圖4為VTD,?1和本文方法分別對(duì)視頻Occlusion,David,Singer,Car以及Deer的跟蹤效果。其中,藍(lán)色框?yàn)閂TD方法,綠色為?1方法,紅色為本文方法。
圖4 各類算法跟蹤效果對(duì)比
第一組為視頻Occlusion的跟蹤效果,此視頻的主要處理難度在于人臉面部的遮擋,遮擋率最大時(shí)達(dá)到近70%,文中選取了較有代表性的#1、#130、#198、#300、#500、#550幀作為效果展示。在目標(biāo)受到的遮擋不嚴(yán)重的時(shí)候,如#130、#198幀,?1算法和本文算法都能較好地跟蹤到目標(biāo),但是當(dāng)干擾比較嚴(yán)重時(shí),如#550幀,?1算法的跟蹤正確率下降,這時(shí)?1跟蹤算法中在模板更新時(shí)可能將受干擾的樣本更新到目標(biāo)模板中,而本文算法此時(shí)仍能較好地表示并跟蹤到目標(biāo)。
圖5 各類方法中心像素誤差對(duì)比
第二組為視頻David中的#1,#100,#150,#300,#400,#460幀的效果展示,David視頻中目標(biāo)運(yùn)動(dòng)過程中有一些形變,并且光照也有一定的變化,其中摘戴眼鏡時(shí)還發(fā)生了遮擋。在這個(gè)視頻中,本文算法總體上跟?1算法的效果差不多,但是在目標(biāo)側(cè)臉和摘戴眼鏡時(shí),目標(biāo)外觀發(fā)生了一定的變化,本文算法的跟蹤結(jié)果較好,這可能是本文的編碼方法對(duì)出現(xiàn)干擾有更為精確的表示,在求解編碼向量時(shí)準(zhǔn)確度更高。
第三組和第四組是視頻Singer和Car的跟蹤效果,其中分別選取了#1,#70,#90,#115,#170,#310幀以及#1,#55,#150,#250,#300,#390幀展示。對(duì)這兩個(gè)視頻處理時(shí)的主要挑戰(zhàn)在于光照的劇烈變化,其中視頻Singer中目標(biāo)的尺度也發(fā)生了一定的變化。在Singer中,在光照變化非常劇烈的時(shí)候,如#115幀,?1算法的準(zhǔn)確度較本文算法下降更多,產(chǎn)生了一定的漂移,此時(shí)VTD方法保持不錯(cuò)的效果。在Car視頻中,有一段時(shí)間目標(biāo)穿越陰影區(qū),光照變化也比較劇烈,如#150,此時(shí)本文算法仍保持比較高的跟蹤精確度。
第五組為從視頻Deer中選取的#1,#25,#35,#50,#52,#71幀,這組序列處理難度主要在于目標(biāo)運(yùn)動(dòng)速度較快,很難通過預(yù)測(cè)來確定目標(biāo)位置,這種由運(yùn)動(dòng)模糊造成的目標(biāo)外形的變化在進(jìn)行模板更新時(shí)處理難度較大。在這個(gè)視頻中,本文方法和VTD方法具有較好跟蹤效果,而在#50和#52幀中,?1算法已幾乎跟蹤不到目標(biāo)。
衡量一個(gè)算法的性能需要一種合理的評(píng)價(jià)標(biāo)準(zhǔn),目前對(duì)于跟蹤算法主要采用中心像素誤差作為評(píng)價(jià)標(biāo)準(zhǔn)。中心像素誤差指的是目前跟蹤到的目標(biāo)中心位置與目標(biāo)實(shí)際中心位置的像素距離。圖5為基于中心像素誤差標(biāo)準(zhǔn)的跟蹤效果對(duì)比:其中,藍(lán)色為VTD方法,綠色為?1方法,紅色為本文方法。
基于中心像素誤差的衡量標(biāo)準(zhǔn)一定程度上體現(xiàn)了一個(gè)算法的魯棒性,但是這種標(biāo)準(zhǔn)并沒有考慮目標(biāo)的形狀的大小。比如,中心像素誤差為0,但是目標(biāo)的實(shí)際大小和跟蹤的結(jié)果大小相差較大,這時(shí)中心像素誤差就不能很好地反映算法的性能了。所以,本文引入了另外一個(gè)評(píng)價(jià)標(biāo)準(zhǔn),目標(biāo)的重疊率。本文使用PASCAL VOC[25]的規(guī)范,設(shè)當(dāng)前的跟蹤結(jié)果為RT,實(shí)際的目標(biāo)位置為RG,則重疊率定義為,理想情況下score值為1。這種評(píng)價(jià)標(biāo)準(zhǔn)不僅包括了對(duì)目標(biāo)位置的準(zhǔn)確度要求,也加入了對(duì)目標(biāo)大小的準(zhǔn)確度要求。圖6為每個(gè)視頻的跟蹤結(jié)果重疊率比較。藍(lán)色為VTD方法,綠色為?1方法,紅色為本文方法。圖像橫軸為視頻幀數(shù),縱軸為重疊率。
通過對(duì)實(shí)驗(yàn)結(jié)果的分析,以及針對(duì)兩種跟蹤評(píng)價(jià)標(biāo)準(zhǔn)(即中心像素誤差和目標(biāo)的重疊率)的對(duì)比,可以看出,本文算法具有較好的穩(wěn)健性和魯棒性,在目標(biāo)有遮擋、光照變化和快速移動(dòng)都有較高的跟蹤準(zhǔn)確度。
圖6 各類方法重疊率對(duì)比
本文對(duì)在粒子濾波框架下的基于稀疏表示模型的目標(biāo)跟蹤方法進(jìn)行了理論分析,指出在進(jìn)行編碼時(shí)對(duì)重構(gòu)誤差表示的精確度不高,且存在將受干擾較大樣本更新到目標(biāo)模板中等問題。針對(duì)上述問題,本文首先提出了一種魯棒稀疏編碼模型,并且加入了對(duì)編碼系數(shù)的自適應(yīng)約束,該模型求取編碼的極大似然估計(jì)解,對(duì)干擾更加魯棒,可以取得更優(yōu)的跟蹤效果;其次,使用改進(jìn)的目標(biāo)模板更新方法,使當(dāng)前的目標(biāo)模板能夠更好地描述最新的目標(biāo)狀態(tài);通過多組實(shí)驗(yàn)表明,本文算法在處理部分遮擋、光照變化及一定程度的形變時(shí),具有較好的跟蹤效果。
[1]Yilmaz A,Javed O,Shah M.Object tracking:A survey[J]. ACM Comput Surveys,2006,38(4):13-32.
[2]Babenko B,Yang M H,Belongie S.Visual tracking with online multiple instance learning[C]//IEEE Conference on CVPR,Miami,F(xiàn)L,IEEE Proc,2009:983-990.
[3]Breitenstein M D,Reichlin F,Leibe B,et al.Robust trackingby-detection using a detector confidence particle filter[C]// IEEEConferenceonICCV,Kyoto,IEEEProc,2009:1515-1522.
[4]Grabner H,Grabner M,Bischof H.Real-time tracking via on-line boosting[C]//British Machine Vision Conference,2006:47-55.
[5]Matthews I,Baker S.Active appearance models revisited[J]. International Journal of Computer Vision,2004,60:135-164.
[6]Zhou S K,Chellappa R.Visual tracking and recognition using appearance-adaptive models in particle filters[J].IEEE Transactions on Image Processing,2004,13:1491-1506.
[7]Lain M,Takahiro I,Simon B.The template update problem[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2004,26:810-815.
[8]汪榮貴,沈法琳,李孟敏.非線性系統(tǒng)狀態(tài)突變下的非退化粒子濾波方法研究[J].中國科學(xué)技術(shù)大學(xué)學(xué)報(bào),2012,42(2):140-147.
[9]Mei X,Ling H.Robust visual tracking using?1minimization[C]//IEEE Conference on ICCV,Kyoto,IEEE Proc,2009:1436-1443.
[10]戴瓊海,付長(zhǎng)軍,季向陽.壓縮感知研究[J].計(jì)算機(jī)學(xué)報(bào),2011(3):425-434.
[11]Donoho D L.Compressed Sensing[J].IEEE Information Theory,2006,52(4):1289-1306.
[12]Mairal J,Bach F,Ponce J,et al.Discriminative learning dictionaries for local image analysis[C]//IEEE Conference on CVPR,Anchorage,AK,IEEE Proc,2008:1-8.
[13]亓?xí)哉?,王慶.一種基于稀疏編碼的多核學(xué)習(xí)圖像分類方法[J].電子學(xué)報(bào),2012,40(4):773-779.
[14]Wright J,Yang A,Ganesh A,et al.Robust face recognition via sparse representation[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2009,30(2):210-227.
[15]Yang J,Wright J,Huang T,et al.Image superresolution as sparse representation of raw patches[C]//IEEE Conference on CVPR,Anchorage,AK,IEEE Proc,2008:1-8.
[16]練秋生,張偉.基于圖像塊分類稀疏表示的超分辨率重構(gòu)算法[J].電子學(xué)報(bào),2012,40(5):920-925.
[17]Wang Qing,Chen F.Online discriminative object tracking withlocalsparserepresentation[C]//IEEEConference on WACV,Breckenridge,CO,IEEE Proc,2012:425-432.
[18]Liu B,Yang L,Huang J,et al.Robust and fast collaborative tracking with two stage sparse optimization[C]// Computer Vision ECCV.Berlin Heidelberg:Springer,2010: 624-637.
[19]汪榮貴,李孟敏,吳昊,等.一種新型的基于自適應(yīng)遺傳算法的粒子濾波方法[J].中國科學(xué)技術(shù)大學(xué)學(xué)報(bào),2012,41(2):134-141.
[20]Lee K C,Kriegman D.Online learning of probabilistic appearance manifolds for video-based recognition and tracking[C]//IEEEConferenceonCVPR,Kyoto,IEEE Proc,2005:825-859.
[21]Yu Q,Dinh T B,Medioni G.Online tracking and reacquisition using co-trained generative and discriminative trackers[C]//Computer Vision ECCV.Berlin Heidelberg:Springer,2008:678-691.
[22]Zhang Meng,Zhang Lei,Yang Jian,et al.Robust sparse codingforfacerecognition[C]//IEEEConferenceon CVPR,Providence RI,IEEE Proc,2011:625-632.
[23]Teng P.On accelerated proximal gradient methods for convex-concave optimization[J].SIAMJournal on Optimation,2008.
[24]Kwon J,Lee K M.Visual tracking decomposition[C]// IEEE Conference on CVPR,San Francisco,CA,IEEE Proc,2010:1269-1276.
[25]Everingham M,Van Gool L,Williams C K I,et al.The PASCAL visual object classeschallenge[J].Internatinal Journal of Computer Vision,2010,88(2):303-338.
Research on sparse coding object tracking method .
ZHANG Dongmei,WANG Ronggui,YANG Juan,YOU Shengfu,QI Lili
School of Computer and Information,Hefei University of Technology,Hefei 230009,China
To deal with the problems in sparse presentation’s application to object tracking,such as the not accurate enough representation of construction error,the wrong update of object templates and so on.This paper proposes a modified sparse coding model.This model doesn’t require the construction error following a particular prior probability density function,and adds an adaptive restraint of the coding coefficient,and this model can acquire better coding vectors for more accurate tracking results.Combined the modified model with the particle filter object tracking algorithm on this basis,a new object tracking method based on the robust sparse coding model is researched and realized.The proposed method encodes every particle’s sample area,uses the sparse coding vector as the observation for the particle,and updates the object templates with different grade to make them more accurate.The experiment results show that the proposed object tracking method can deal well with the corruption like occlusion and illumination variation in object tracking.
object tracking;sparse coding;sparse representation;particle filter
A
TP391.41
10.3778/j.issn.1002-8331.1311-0185
國家自然科學(xué)基金(No.61075032);安徽省自然科學(xué)基金(No.1408085QF117)。
張冬梅(1989—),女,碩士研究生,主要研究方向?yàn)橹悄芤曨l處理與分析、目標(biāo)跟蹤;汪榮貴,教授,博導(dǎo),主要研究領(lǐng)域?yàn)橹悄芤曨l處理與分析、車載視覺增強(qiáng)系統(tǒng)、多媒體技術(shù);楊娟,講師,博士;游生福,碩士研究生;齊立立,碩士研究生。E-mail:zhangdm_ever@sina.com
2013-11-13
2013-12-26
1002-8331(2015)22-0053-08
CNKI網(wǎng)絡(luò)優(yōu)先出版:2014-04-01,http://www.cnki.net/kcms/doi/10.3778/j.issn.1002-8331.1311-0185.html