基于CamShift 的壓縮跟蹤方法

楊豐瑞，劉 亭，劉雄風(fēng)

(1.重慶郵電大學(xué)，重慶400065;2.重慶重郵信科(集團(tuán))股份有限公司，重慶400065)

近年來(lái)，運(yùn)動(dòng)目標(biāo)跟蹤技術(shù)被大量應(yīng)用到人們的生產(chǎn)和生活中，人們對(duì)目標(biāo)跟蹤領(lǐng)域的研究也在不斷的深入，并取得了許多不錯(cuò)的成果。根據(jù)對(duì)目標(biāo)外觀的建模方式，可以把目標(biāo)跟蹤方法大致分為［1］:基于生成模型的跟蹤方法與基于判別模型的跟蹤方法?；谏赡Ｐ偷哪繕?biāo)跟蹤算法主要是在上一幀目標(biāo)位置的相鄰區(qū)域進(jìn)行搜索，得到最為相似的區(qū)域即為目標(biāo)區(qū)域。這類(lèi)算法在跟蹤的同時(shí)必須在線更新外觀模型，而更新環(huán)節(jié)又很容易引入誤差，帶來(lái)漂移等問(wèn)題。

基于判別模型的目標(biāo)跟蹤算法是利用訓(xùn)練好的分類(lèi)器將目標(biāo)和背景分為兩類(lèi)，這種算法同時(shí)使用了背景和目標(biāo)信息，可以有效減少目標(biāo)漂移的問(wèn)題。Babenko 等人［2］提出的MIL多示例學(xué)習(xí)方法有效地解決了因部分遮擋和外觀變化引起的漂移問(wèn)題。但是，該算法不能對(duì)長(zhǎng)時(shí)間完全遮擋進(jìn)行準(zhǔn)確跟蹤。Zhang 等人［3］提出了壓縮跟蹤算法。該算法簡(jiǎn)單高效且魯棒性好。然而當(dāng)外觀模型不能準(zhǔn)確描述目標(biāo)時(shí)，該算法對(duì)目標(biāo)的跟蹤就會(huì)出現(xiàn)漂移等問(wèn)題。針對(duì)這一問(wèn)題，本文采用CamShift 和壓縮跟蹤算法相結(jié)合的方法，從不同角度預(yù)測(cè)目標(biāo)位置，利用CamShift 的預(yù)測(cè)位置對(duì)壓縮跟蹤算法得到的不準(zhǔn)確的位置進(jìn)行矯正。又由于CamShift 算法是根據(jù)目標(biāo)的H分量顏色特征進(jìn)行位置預(yù)測(cè)的，容易受到背景中相似色的干擾，所以本文采用目標(biāo)的H－S 二維概率分布直方圖作為目標(biāo)特征來(lái)解決背景中的相似色干擾問(wèn)題。除此之外，壓縮跟蹤算法的跟蹤框大小是由初始目標(biāo)大小決定的，而在跟蹤過(guò)程中目標(biāo)的尺度顯然是變化的。為了解決這一問(wèn)題，本文利用CamShift 自適應(yīng)調(diào)整窗口大小和位置的原理，對(duì)跟蹤結(jié)果的窗口進(jìn)行自適應(yīng)調(diào)整。

1 壓縮跟蹤算法

壓縮跟蹤算法(Compressive Tracking，CT)是在壓縮感知理論［4－5］基礎(chǔ)上提出的一種快速魯棒算法。首先根據(jù)壓縮感知理論的RIP 條件，生成非常稀疏的隨機(jī)矩陣，通過(guò)該矩陣對(duì)圖像的Haar－Like 特征進(jìn)行降維，然后把降維后的特征輸入到樸素貝葉斯分類(lèi)器中分類(lèi)。再對(duì)每一幀進(jìn)行在線學(xué)習(xí)采集正負(fù)樣本更新分類(lèi)器。

1.1 隨機(jī)測(cè)量矩陣和特征提取

由壓縮感知理論可知，一個(gè)可壓縮的高維信號(hào)x∈Rm可以通過(guò)以下關(guān)系式投影到一個(gè)低維空間v∈Rn上，并且高維信號(hào)x 的信息被完整地保留在低維信號(hào)v 中，即

式中，P∈Rn×m是一個(gè)符合RIP 條件的稀疏矩陣，n≤m。文獻(xiàn)［2］將隨機(jī)測(cè)量矩陣P 定義為

其中，s 隨機(jī)取得2 或3。提取目標(biāo)降維后的特征公式［4］為

式中:N 表示特征圖像塊的數(shù)目，其值隨機(jī)取得2 或3;R 表示在候選區(qū)域內(nèi)隨機(jī)選取的圖像塊。

1.2 分類(lèi)器的構(gòu)建與更新

采集到的每個(gè)樣本的低維特征v 中的每個(gè)元素都是由一組Haar－Like 特征線性組合而成，并且假定它們都是獨(dú)立分布的，正負(fù)樣本的條件概率p ( vi|y )=0 和p(vi|y=1)均服從高斯分布，利用樸素貝葉斯分類(lèi)器［6］對(duì)特征進(jìn)行建模。

其中，y 取1 和0，分別表示正樣本和負(fù)樣本。假設(shè)分類(lèi)器中兩個(gè)類(lèi)的先驗(yàn)概率和特征v 中每個(gè)元素的條件概率分布如下

最后，通過(guò)比較每個(gè)樣本在分類(lèi)器中H(v)值的大小，找到H(v)最大值所對(duì)應(yīng)的候選樣本，則該樣本即為本幀的目標(biāo)位置，然后重新采集正負(fù)樣本，根據(jù)樣本信息對(duì)相關(guān)參數(shù)進(jìn)行更新

式中，λ 為學(xué)習(xí)因子，0 ＜λ ＜1，且為常數(shù)，表示分類(lèi)器的更新程度。

2 CamShift 算法

CamShift 算法是基于MeanShift 的改進(jìn)算法，運(yùn)行效率較高。算法的流程如下:

1)初始化跟蹤窗口;

2)計(jì)算目標(biāo)的反向投影圖;

3)執(zhí)行MeanShift 算法，不斷循環(huán)計(jì)算跟蹤框內(nèi)圖像的質(zhì)心，移動(dòng)跟蹤框的位置使跟蹤框的中心與質(zhì)心重合，當(dāng)移動(dòng)的距離小于指定值或循環(huán)的次數(shù)足夠多時(shí)，終止循環(huán);

4)根據(jù)步驟3)得到的結(jié)果，計(jì)算出窗口的位置坐標(biāo)和尺度大小，即為這一幀的跟蹤結(jié)果;

5)進(jìn)入下一幀，跳轉(zhuǎn)至步驟2)。

3 基于CamShift 的壓縮跟蹤算法

3.1 算法概述

本文提出的基于CamShift 的壓縮跟蹤算法主要是為了解決3 個(gè)問(wèn)題:

1)壓縮跟蹤算法一旦出現(xiàn)跟蹤漂移，就很難再找回目標(biāo)，本文利用改進(jìn)的CamShift 得到的位置信息來(lái)矯正壓縮跟蹤算法不準(zhǔn)確的跟蹤位置，增大目標(biāo)和背景的差異性，提高算法的準(zhǔn)確性。同時(shí)CamShift 采用H－S 二維直方圖的反向投影圖來(lái)預(yù)測(cè)目標(biāo)位置能夠有效的解決相似色干擾帶來(lái)的跟蹤不準(zhǔn)確的問(wèn)題。

2)壓縮跟蹤算法在整個(gè)跟蹤過(guò)程中窗口的大小一直等于初始化階段的跟蹤窗口的大小，然而在運(yùn)動(dòng)過(guò)程中視頻序列捕捉到的目標(biāo)大小卻很難保持不變［7］。當(dāng)運(yùn)動(dòng)目標(biāo)尺度變大時(shí)，跟蹤框外存在大量的目標(biāo)信息，使得采集到的負(fù)樣本中可能包含目標(biāo)的特征，從而降低了目標(biāo)和背景的差異性;當(dāng)目標(biāo)縮小或姿態(tài)變化時(shí)，跟蹤框內(nèi)包含許多的背景信息，影響目標(biāo)的參數(shù)模型，進(jìn)而導(dǎo)致跟蹤漂移或者跟蹤失?。?］。針對(duì)這一問(wèn)題，本文采用CamShift 自適應(yīng)調(diào)節(jié)窗口大小的原理，在得到目標(biāo)中心點(diǎn)位置后，根據(jù)目標(biāo)位置的各階矩自適應(yīng)調(diào)整窗口的大小和角度。

3)壓縮跟蹤算法采用固定不變的更新方式，即更新分類(lèi)器的學(xué)習(xí)因子是預(yù)先設(shè)定保持不變的，這樣不僅易于引入噪聲和誤差，而且很容易偏向新樣本而遺忘之前學(xué)習(xí)的樣本。另外，CamShift 算法中目標(biāo)模板也是由初始幀決定的，在跟蹤過(guò)程中一旦目標(biāo)結(jié)構(gòu)變化較大時(shí)就容易導(dǎo)致跟蹤失敗。對(duì)于模板更新問(wèn)題，本文通過(guò)計(jì)算前一幀和當(dāng)前幀之間的匹配程度，來(lái)更新學(xué)習(xí)參數(shù)和目標(biāo)模板。

3.2 算法流程

基于CamShift 的壓縮跟蹤算法的大致流程如下:

輸入第t 幀圖像，上一幀目標(biāo)位置為pt－1。

1)根據(jù)上一幀位置，利用改進(jìn)的H－S CamShift 算法預(yù)測(cè)第t 幀目標(biāo)的位置pt0。

2)在t－1 幀目標(biāo)位置pt－1周?chē)∮谝欢ǚ秶鷥?nèi)采樣N 個(gè)圖像塊，然后提取這些圖像塊的降維特征。

3)計(jì)算各個(gè)樣本圖像塊與預(yù)測(cè)位置之間的距離

4)將樣本權(quán)重wj和樣本特征輸入到分類(lèi)器判別函數(shù)

找到H1(v)最大值所對(duì)應(yīng)的樣本即為本幀目標(biāo)位置pt。

5)根據(jù)前后兩幀圖像的巴氏距離［9］p 判斷圖像的匹配程度。若p ＞ε，接受更新，學(xué)習(xí)因子為:λ'=λ/ρ，CamShift 的目標(biāo)模板為當(dāng)前幀跟蹤窗口內(nèi)圖像;反之，若ρ≤ε，前后兩幀跟蹤到的圖像差異較大，可能出現(xiàn)遮擋等情況，為了避免引入噪聲，此時(shí)不更新參數(shù)和模板。

6)在目標(biāo)位置周?chē)杉?fù)樣本，依據(jù)新的學(xué)習(xí)因子更新分類(lèi)器。

7)根據(jù)目標(biāo)位置圖像的各階矩調(diào)整跟蹤窗口的大小，輸出跟蹤窗口即為目標(biāo)位置。

本幀算法結(jié)束，讀取下一幀。

4 實(shí)驗(yàn)結(jié)果及分析

本實(shí)驗(yàn)在Visual Studio 2013 和OpenCV2.4.8 環(huán)境下進(jìn)行。選取三組各大經(jīng)典算法提供的測(cè)試視頻序列:lemming，skating 和soccer 作為本實(shí)驗(yàn)的測(cè)試序列，這些視頻序列存在著相似色干擾、目標(biāo)尺度變化、姿態(tài)變化、運(yùn)動(dòng)模糊、目標(biāo)遮擋等問(wèn)題。然后將本文改進(jìn)后的算法、CT 算法和CamShift 算法的跟蹤結(jié)果進(jìn)行比較，著重分析本文算法與壓縮跟蹤算法的差異。實(shí)驗(yàn)結(jié)果如圖1，2 和3 所示。

相似色干擾:根據(jù)圖1，2，3 得，當(dāng)出現(xiàn)相似色干擾時(shí)，CamShift 算法不能準(zhǔn)確地跟蹤目標(biāo)，而本文算法和CT 算法都能較好地處理相似色干擾問(wèn)題。

尺度旋轉(zhuǎn):從lemming 序列的第135 幀、soccer 序列的第13 幀可以看出，當(dāng)目標(biāo)變大時(shí)，CT 算法的跟蹤框外包含了許多目標(biāo)信息，這將導(dǎo)致負(fù)樣本的采樣過(guò)于靠近目標(biāo)區(qū)域，使得背景和跟蹤目標(biāo)的可區(qū)分度降低。而本文算法可以自適應(yīng)調(diào)整窗口的大小，使得目標(biāo)能包含在跟蹤窗口內(nèi)。由skating 的第56，68 幀和soccer 的第49，68 幀可以得出，當(dāng)目標(biāo)旋轉(zhuǎn)、尺度變化時(shí)，CT 算法的模型參數(shù)中引入了許多背景信息，出現(xiàn)跟蹤漂移，甚至跟蹤失敗。

運(yùn)動(dòng)模糊:lemming 序列的第232 幀由于目標(biāo)移動(dòng)過(guò)快而導(dǎo)致運(yùn)動(dòng)模糊時(shí)，CT 算法出現(xiàn)跟蹤錯(cuò)誤，而本文算法仍能很好的跟蹤目標(biāo)。

圖1 lemming 視頻序列的跟蹤結(jié)果(第135，232，350，393 幀)

圖2 skating 視頻序列的跟蹤結(jié)果(第56，86，120，298 幀)

目標(biāo)遮擋:遮擋現(xiàn)象是目標(biāo)跟蹤中較為常見(jiàn)的問(wèn)題。由lemming 序列的第350，393 幀和skating 序列中的第120，298幀可以看出，當(dāng)目標(biāo)被遮擋或消失后，本文算法仍能準(zhǔn)確地跟蹤目標(biāo)，而CT 算法則出現(xiàn)錯(cuò)誤。

選擇5 個(gè)具有代表性的視頻序列進(jìn)行測(cè)試，比較本文算法與經(jīng)典算法:多示例學(xué)習(xí)MIL，TLD，CT 算法的跟蹤成功率。各算法的跟蹤成功率如表1 所示。

表1 跟蹤成功率 %

圖3 soccer 視頻序列的跟蹤結(jié)果(第13，49，68，100 幀)

由表1 可以看出，本文算法性能穩(wěn)定，對(duì)于不同的視頻序列仍具有較強(qiáng)的魯棒性和穩(wěn)定性。

5 小結(jié)

本文提出的改進(jìn)跟蹤算法能夠根據(jù)目標(biāo)尺度變化自適應(yīng)調(diào)整跟蹤窗口，在目標(biāo)受相似色干擾、目標(biāo)旋轉(zhuǎn)或目標(biāo)的外觀發(fā)生變化的情況下仍能準(zhǔn)確跟蹤目標(biāo)。利用稀疏感知矩陣降低了圖像特征的維度，在保證跟蹤準(zhǔn)確性的同時(shí)，減少了算法的運(yùn)行時(shí)間，能夠滿(mǎn)足實(shí)時(shí)性要求。本論文研究的目標(biāo)遮擋是短時(shí)的部分遮擋，對(duì)于目標(biāo)的長(zhǎng)時(shí)間或完全遮擋是本文下一步研究的方向。

［1］朱建章.復(fù)雜場(chǎng)景下實(shí)時(shí)視覺(jué)目標(biāo)跟蹤的若干研究［D］.武漢:武漢大學(xué)，2014.

［2］BABENKO B，YANG M H，BELONGIE S. Robust object tracking with online multiple instance learning［J］. IEEE Trans. Pattern Analysis and Machine Intelligence，2011，33(8):1619－1632.

［3］ZHANG K，ZHANG L，YANG M H.Real－time compressive tracking［C］//Proc. 12thEuropean Conference on Computer Vision.Florence，Italy:［s.n.］，2012:866－879.

［4］DONOHO D. Compressed sensing［J］. IEEE Trans. Information Theory，2006，52(4):1289－1306

［5］喻玲娟，謝曉春.壓縮感知理論簡(jiǎn)介［J］.電視技術(shù)，2008，32(12):16－18.

［6］朱秋平，顏佳，張虎，等.基于壓縮感知的多特征實(shí)時(shí)跟蹤［J］.光學(xué)精密工程，2013，35(2):437－444.

［7］鐘權(quán)，周進(jìn)，吳欽章，王輝，雷濤.一種改進(jìn)的實(shí)時(shí)壓縮跟蹤算法［J］.光電工程，2014，41(4):1－8.

［8］張路平，韓建濤，李飚，等.尺度自適應(yīng)特征壓縮跟蹤［J］.國(guó)防科技大學(xué)學(xué)報(bào)，2013，35(5):146－151.

［9］SWAIN M J，BALLARD D H. Color indexing［J］. International Journal of Computer Vision，1991，7(1):11－32.