基于多特征自適應(yīng)融合的魯棒跟蹤方法

龔春紅

?

基于多特征自適應(yīng)融合的魯棒跟蹤方法

龔春紅

(湖南財(cái)政經(jīng)濟(jì)學(xué)院信息管理系, 湖南長(zhǎng)沙, 410205)

針對(duì)復(fù)雜場(chǎng)景下用單一特征描述目標(biāo)導(dǎo)致的目標(biāo)漂移問題, 基于均值漂移(Mean Shift)跟蹤框架, 構(gòu)建了一種有效的自適應(yīng)融合特征(Adaptive Fusion Feature, AFF) 描述子, 并提出一種自適應(yīng)融合多特征的跟蹤方法。該方法融合了顏色特征和尺度不變轉(zhuǎn)換(Scale-Invariant Feature Transform,), 并通過相鄰幀間各特征的相似性來自適應(yīng)動(dòng)態(tài)調(diào)整特征的權(quán)值。實(shí)驗(yàn)結(jié)果表明, 在復(fù)雜場(chǎng)景下多特征自適應(yīng)融合方法(AFF)比單一特征跟蹤方法和經(jīng)典跟蹤方法減少了目標(biāo)漂移、目標(biāo)跟蹤更加精確魯棒。

顏色特征; 尺度不變轉(zhuǎn)換; 自適應(yīng)融合特征; 權(quán)值更新

運(yùn)動(dòng)目標(biāo)跟蹤在視頻監(jiān)督[1]、行為識(shí)別[2]和人機(jī)交互[3]等領(lǐng)域應(yīng)用廣泛。但是, 在跟蹤過程中跟蹤目標(biāo)經(jīng)常會(huì)受到背景的干擾或者自身發(fā)生形變, 使得復(fù)雜場(chǎng)景下的運(yùn)動(dòng)目標(biāo)跟蹤仍然是一個(gè)亟待解決的重點(diǎn)問題。一個(gè)好的跟蹤算法[4], 必須具備較好的精確性、魯棒性和實(shí)時(shí)性。為了提高跟蹤算法的整體性能, 研究者們通常從跟蹤策略和目標(biāo)表達(dá)2個(gè)方面改進(jìn)跟蹤算法。在跟蹤策略方面, Kalal等[5]將長(zhǎng)期的跟蹤過程分為“跟蹤–學(xué)習(xí)–檢測(cè)”3個(gè)模塊, 并取得了很好的效果。Babenko等[6]運(yùn)用一個(gè)包含多個(gè)正樣本的樣本包來更新分類器, 從而很好地解決了跟蹤過程中的模糊問題。上述方法通過優(yōu)化跟蹤策略提高了跟蹤性能, 但是由于它們都只用單一特征來表達(dá)目標(biāo), 因此在一定程度上存在局限性, 在復(fù)雜場(chǎng)景下存在目標(biāo)漂移現(xiàn)象。隨著計(jì)算機(jī)視覺領(lǐng)域的發(fā)展, 涌現(xiàn)出了越來越多的特征描述子, 包括全局特征描述子和局部特征描述子[7]。在目標(biāo)表達(dá)方面, 研究者們一方面挖掘新穎有效的描述子來表達(dá)目標(biāo), 另一方面探究通過融合多個(gè)特征描述子來描述目標(biāo)。由于單個(gè)特征描述子的目標(biāo)表達(dá)能力有限, 通過融合多個(gè)特征來表達(dá)目標(biāo)已經(jīng)是當(dāng)前運(yùn)動(dòng)目標(biāo)跟蹤的趨勢(shì)。張紅穎等[8]將掩膜內(nèi)目標(biāo)像素的LTN特征與色度信息融合生成一種新的目標(biāo)模型來提供跟蹤性能; 陳柄權(quán)等[9]定義了一種新型的有效結(jié)合顏色、紋理和形狀特征的描述子來提高圖像檢索性能; 賈松敏等[10]提出了一種在均值漂移框架下融合顏色特征和紋理特征的跟蹤方法, 該方法雖然取得了一定的效果, 但沒能實(shí)現(xiàn)特征的自適應(yīng)融合; 劉一鳴等[11]在粒子濾波跟蹤框架下融合了顏色特征和邊緣特征, 取得了較好的實(shí)時(shí)性和魯棒性。然而, 在跟蹤過程中前景和背景都是動(dòng)態(tài)變化的, 各個(gè)特征在跟蹤過程中的貢獻(xiàn)程度并非一成不變, 上述方法并沒有提出如何自適應(yīng)地調(diào)整所融合特征的權(quán)值。雖然在目標(biāo)表達(dá)方面研究者們?nèi)〉昧艘欢ǖ倪M(jìn)展, 但要解決復(fù)雜場(chǎng)景下的目標(biāo)跟蹤問題, 十分有必要提出一種多特征自適應(yīng)表達(dá)目標(biāo)的方法。

本文在均值漂移跟蹤框架的基礎(chǔ)上, 提出一種多特征自適應(yīng)融合的跟蹤方法, 以提高復(fù)雜場(chǎng)景下運(yùn)動(dòng)目標(biāo)跟蹤的精確性。首先, 構(gòu)建自適應(yīng)融合特征(AFF)。其次, 通過相鄰幀之間單特征的相似性來自適應(yīng)更新各特征的權(quán)值。再次, 在均值漂移的跟蹤框架中用得到的自適應(yīng)融合特征表達(dá)目標(biāo)實(shí)現(xiàn)魯棒而精確目標(biāo)跟蹤。最后, 通過對(duì)比實(shí)驗(yàn)從定性和定量2個(gè)方面證明所提出方法的優(yōu)越性。

1 理論基礎(chǔ)

1.1 顏色特征

顏色特征作為最經(jīng)典的全局特征, 由于其簡(jiǎn)單性和有效性在目標(biāo)跟蹤領(lǐng)域被廣泛用來表達(dá)目標(biāo)?？梢詮牟煌念伾臻g來提取顏色特征, 常見的有RGB空間和HSV空間。本文采用從RGB空間提取的顏色特征來表達(dá), 將R、G、B三個(gè)顏色通道分別量化為16個(gè)顏色區(qū)間。統(tǒng)計(jì)目標(biāo)區(qū)域內(nèi)每個(gè)像素點(diǎn)所屬的顏色特征空間, 得到特征空間中每個(gè)特征值的概率, 其概率直方圖即為目標(biāo)的顏色特征描述。Comaniciu等[12]提出用加權(quán)的顏色直方圖來表示顏色特征。由于離中心點(diǎn)遠(yuǎn)的像素點(diǎn)經(jīng)常被遮擋或者被背景干擾, 它們最不可靠, 因此在這種直方圖中離中心點(diǎn)遠(yuǎn)的像素點(diǎn)權(quán)值較小, 離中心點(diǎn)近的像素點(diǎn)權(quán)值較大。

1.2 SIFT特征

尺度不變特征轉(zhuǎn)換(Scale-invariant feature transform, SIFT)是一種典型的局部特征描述子, 它在空間尺度中尋找極值點(diǎn), 并提取出他們的位置、尺度、旋轉(zhuǎn)不變量。SIFT算法由Lowe[13]在1999年發(fā)表, 并于2004年進(jìn)一步完善。由于SIFT特征描述子在尺度轉(zhuǎn)換方面的不變特性, 且能夠抵抗光線、噪聲等的變化, 因此被廣泛應(yīng)用在視覺跟蹤領(lǐng)域。SIFT特征的構(gòu)建主要包括5個(gè)步驟。第1步, 構(gòu)建尺度空間, 檢測(cè)極值點(diǎn)并獲得尺度不變性。這是一個(gè)初始化操作, 尺度空間理論的目的是模擬圖像數(shù)據(jù)的多尺度特征。第2步, 過濾特征點(diǎn), 并精確定位, 剔除不穩(wěn)定的特征點(diǎn), 其本質(zhì)是要去掉DoG局部曲率非常不對(duì)稱的像素。第3步, 在穩(wěn)定特征點(diǎn)處提取特征描述符, 為其分配方向值, 利用關(guān)鍵點(diǎn)鄰域像素的梯度方向分布特性為每個(gè)關(guān)鍵點(diǎn)指定方向參數(shù), 使算子具備旋轉(zhuǎn)不變性。幅值(,)和幅角(,)的計(jì)算公式分別為;。第4步, 生成特征描述子, 尋找匹配點(diǎn)。第5步, 計(jì)算變換參數(shù)。最后, SIFT特征描述子可以用一個(gè)歸一化的概率直方圖來表示。

1.3 MeanShift算法

均值漂移(MeanShift)由于其簡(jiǎn)單性和有效性被廣泛用于運(yùn)動(dòng)目標(biāo)跟蹤領(lǐng)域。MeanShift跟蹤算法中最關(guān)鍵的問題就是計(jì)算當(dāng)前位置與新位置1之間的偏移量, 可以通過均值漂移的迭代公式計(jì)算得到。式中:()是核輪廓;是()的帶寬;x是目標(biāo)候選區(qū)域的像素; 權(quán)值w定義為。其中,是灰度級(jí)數(shù)的索引值, 當(dāng)(其中是閾值, 取經(jīng)驗(yàn)值0.5)時(shí), 算法將會(huì)停止均值漂移的局部迭代過程。

2 多特征自適應(yīng)融合策略

本文旨在提出一種多特征自適應(yīng)融合的目標(biāo)跟蹤策略, 主要貢獻(xiàn)如下: 通過融合典型的全局特征(Color)和局部特征(SIFT), 構(gòu)建自適應(yīng)融合特征(AFF); 提出根據(jù)所融合特征在相鄰幀之間的相似性來自適應(yīng)更新特征權(quán)值的魯棒跟蹤方法。

2.1 構(gòu)建自適應(yīng)融合特征

很多特征描述子都可以用歸一化的直方圖來表示, 因此能用直方圖表示的特征就可以構(gòu)建融合特征。本文以顏色特征Color和SIFT特征為例來構(gòu)建自適應(yīng)的融合特征(AFF)。

定義1 假設(shè)Color是歸一化的顏色特征直方圖,SIFT是歸一化的SIFT特征直方圖, 則自適應(yīng)融合特征(AFF)定義為, 其中,Color是顏色特征的權(quán)值,SIFT是SIFT特征的權(quán)值。顯然,AFF仍然是一個(gè)歸一化的直方圖。

2.2 權(quán)值更新

由于跟蹤過程是動(dòng)態(tài)變化的, 在不同幀中不同特征的重要性程度不一樣。因此, 如果在跟蹤過程中將各個(gè)特征的權(quán)值在一開始就設(shè)置為固定值, 并不能在不同的條件下很好地表述目標(biāo)。在跟蹤過程中手動(dòng)設(shè)置各幀不同特征的權(quán)值, 不但費(fèi)時(shí)而且不現(xiàn)實(shí)。然而, 如果能在每一幀中根據(jù)特征的重要性程度自適應(yīng)更新特征的權(quán)值, 那么就能很好地提高目標(biāo)的表達(dá)能力, 因此動(dòng)態(tài)更新特征權(quán)值非常必要。當(dāng)前幀目標(biāo)位置與下一幀目標(biāo)的候選位置之間的相似性程度用Bhattacharyya系數(shù)

表述。式(1)中:q是目標(biāo)模型;p()是中心在處的候選模型。

本文依據(jù)式(1)分別計(jì)算出顏色特征的相似度Color和SIFT特征的相似度SIFT。由于用某個(gè)特征表示目標(biāo), 當(dāng)前位置與最佳候選位置相似度越大, 那么該特征也就越重要, 應(yīng)該賦予相對(duì)更大的權(quán)值。顏色特征的權(quán)值Color和SIFT特征的權(quán)值SIFT可以按照如下方式更新。

其中,Color是顏色特征的相似性,SIFT是SIFT特征的相似性。Color越大說明顏色特征越重要, 同理SIFT越大說明SIFT特征越重要。

2.3 算法流程

本文所提出的多特征自適應(yīng)融合跟蹤方法(AFF)主要包括以下幾個(gè)步驟: 首先, 初始化第1幀的多特征模型, 該步驟是通過手動(dòng)劃定跟蹤區(qū)域完成的; 其次, 在后續(xù)的每1幀中根據(jù)式(1)分別計(jì)算顏色特征和SIFT特征的相似度; 再次, 根據(jù)式(2)和(3)計(jì)算各個(gè)特征的融合權(quán)值, 并更新目標(biāo)模型中的融合權(quán)值; 最后, 根據(jù)均值漂移算法框架輸出最優(yōu)候選區(qū)域的空間信息作為當(dāng)前幀目標(biāo)的位置。多特征自適應(yīng)融合算法流程如圖1所示。

圖1 多特征自適應(yīng)融合算法流程

3 實(shí)驗(yàn)結(jié)果

為了驗(yàn)證本文所提出的多特征自適應(yīng)融合跟蹤方法的有效性和優(yōu)越性, 通過對(duì)比實(shí)驗(yàn)從定性和定量2個(gè)方面來予以證明。主要與采用單一特征(顏色或SIFT)描述目標(biāo)的算法以及經(jīng)典的壓縮跟蹤算法(CT)[14–15]進(jìn)行比較。所采用的視頻序列都是公開的數(shù)據(jù)集, 其詳細(xì)情況如表1所示。

表1 視頻序列描述

3.1 定性分析

背景混雜。圖2中的Bus station序列用來證明提出的AFF算法在處理背景混雜這一復(fù)雜場(chǎng)景下性能的優(yōu)越性。在該序列中其跟蹤對(duì)象是一身穿棕色衣服的行人, 一開始他被旁邊的路燈所遮擋并慢慢走向與之顏色極為相似的大樹下。由圖2可知: 在第18幀中僅用顏色或SIFT表達(dá)目標(biāo)的算法和CT算法都產(chǎn)生了不同程度的漂移; 在第40幀中用顏色特征表達(dá)目標(biāo)的算法和CT算法跟丟了目標(biāo), 而用局部SIFT特征表達(dá)的算法仍然能夠大致定位目標(biāo); 然而, 在整個(gè)過程中所提出的AFF算法都能較好地定位目標(biāo), 其原因在于全局特征(Color)和局部特征(SIFT)的互補(bǔ)性, 大大提高了目標(biāo)的描述能力。

圖2 Bus station序列

遮擋。圖3中的David3序列用來證明提出的AFF算法在處理目標(biāo)遮擋時(shí)的有效性。圖3中跟蹤的目標(biāo)David從左走向右, 再從右走向左, 期間被路燈和大樹所遮擋。在第82幀中目標(biāo)被大樹遮擋, 顏色特征表達(dá)的算法產(chǎn)生了較大的漂移, 而其他3種方法基本能定位目標(biāo), 但本文提出的AFF算法定位相對(duì)最精確。當(dāng)David經(jīng)過大樹繼續(xù)往右走時(shí), 只有AFF算法能夠很好地定位目標(biāo), 其他3種(Color表達(dá)、SIFT表達(dá)和CT)都跟丟了目標(biāo)。最后, 當(dāng)David返回左邊, 在經(jīng)過大樹時(shí), CT算法能夠重新定位目標(biāo), 雖然AFF算法存在一定的漂移, 但是AFF的漂移程度遠(yuǎn)小于單特征(Color和SIFT)表達(dá)的算法?？梢? 本文提出的多特征自適應(yīng)跟蹤算法(AFF)比單一特征表達(dá)的算法在跟蹤遮擋目標(biāo)時(shí)存在較大優(yōu)勢(shì)。

圖3 David3序列

光照變化。圖4中的Skiing序列用來證明提出的AFF算法能夠抵抗光照變化的干擾。序列中所跟蹤的對(duì)象是一個(gè)滑雪的人, 其過程中存在不同程度的光照變化。在第20幀中, 目標(biāo)受到了強(qiáng)光的干擾, 用顏色表達(dá)的算法和CT算法產(chǎn)生了很大的漂移, 而用SIFT表達(dá)的算法由于能夠抵抗光線的干擾可以大致定位目標(biāo), 但是本文提出的AFF算法卻能非常精確地定位目標(biāo)。其他3種算法都跟丟了目標(biāo), 而AFF算法能夠基本定位目標(biāo), 只是存在較小的漂移。因此, AFF算法在處理光照變化的目標(biāo)中與單一特征表達(dá)和經(jīng)典的CT算法相比較存在優(yōu)勢(shì)。

圖4 Skiing序列

3.2 定量分析

本節(jié)通過算法的跟蹤成功率(Success Rate,S)和中心點(diǎn)誤差(Center Location Error, CLE)來定性說明本文提出的AFF算法的優(yōu)越性, 并采用Wang等[16]提出的標(biāo)準(zhǔn)來衡量當(dāng)前目標(biāo)是否被成功定位, 即。其中,T表示跟蹤框的位置,G表示目標(biāo)的實(shí)際位置,表示面積,當(dāng)S大于50%時(shí), 目標(biāo)就被成功定位。跟蹤成功率(S)即為目標(biāo)被成功定位的幀數(shù)占總幀數(shù)的比率。表2是不同方法進(jìn)行跟蹤的成功率比較。由表2可知, 用單一特征(Color或SIFT)表達(dá)目標(biāo)的跟蹤成功率都低于50%, 經(jīng)典的CT算法由于只用Haar特征表達(dá)目標(biāo), 其跟蹤成功率也比較低。然而, 本文方法采用了2種特征來表示目標(biāo), 且不同目標(biāo)的貢獻(xiàn)程度隨著跟蹤環(huán)境的變化在自適應(yīng)地調(diào)整, 發(fā)揮了2種特征各自的優(yōu)勢(shì)。因此, 其跟蹤成功率較其他3種算法都有比較大的提升。此外, 通過中心點(diǎn)誤差(CLE)來證明本文方法的精確性。中心點(diǎn)誤差(CLE)即為跟蹤框的中心點(diǎn)與目標(biāo)實(shí)際中心點(diǎn)之間的歐氏距離(像素)。圖5為不同方法的中心點(diǎn)誤差比較圖, 由圖5可知, 其他3種算法(CT、Color和SIFT)的中心點(diǎn)誤差都比較大, 而本文提出的AFF算法在4種算法中中心點(diǎn)誤差最小, 且波動(dòng)最小。由此可見, 本文提出的自適應(yīng)特征融合算法(AFF)在跟蹤精度方面優(yōu)于其他算法。

圖5 中心點(diǎn)誤差

4 結(jié)論

本文在均值漂移跟蹤框架下提出了一種多特征自適應(yīng)融合的跟蹤策略, 構(gòu)建了自適應(yīng)融合特征(AFF), 并根據(jù)單一特征在相鄰幀之間的相似性來自適應(yīng)動(dòng)態(tài)調(diào)整不同情況下特征的權(quán)值。最后, 通過實(shí)驗(yàn)從定性和定量?jī)煞矫孀C明了所提出的方法在處理背景混雜、目標(biāo)遮擋、光照變化等復(fù)雜場(chǎng)景下的優(yōu)越性。

[1] Wang J, Bebis G, Miller R. Robustvideo-based surve illance by integrating target detection with tracking [C]// Computer Vision and Pattern Recognition Workshop, 2006: 137–145.

[2] Sun L U, Lank K, Beetz M. EYEWATCHME: 3-D hand and object tracking for inside out activity analysis [C]// IEEE Comput Soc Conf CVPR Workshops, 2009: 9–16.

[3] Nguyen T H D, Quit C T, Xu K, et al. Real-time 3D human capture system for mixed-reality art and entertainment [J]. IEEE Transactionsons on Visualization and Computer Graphics, 2005, 11(6): 706–721.

[4] Yang H, Shao L, Zheng F, et al. Recent advances and trends in visual tracking: Areview [J]. Neurocomputing, 2011, 74(18): 3 823–3 831.

[5] Kalal Z, Mikolajczyk K, Matas J. Tracking-learning-detection [J]. IEEE Transactionsons on Pattern Analysis and Machine Intelligence , 2012, 34(7): 1 409–1 422.

[6] Babenko B, Yang M H, Belongie S. Robust object tracking with online multiple instance learning [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2011, 33(8): 1 619–1 632.

[7] Sunand L, Liu G. Visual Object Tracking Basedon Combination of Local Description and Global Representation [J]. IEEE transactions on Circuits and Systems for Video Technology, 2011, 21(4): 408–420.

[8] 張紅穎, 胡正. 融合局部三值數(shù)量和色度信息的均值漂移跟蹤[J]. 電子與信息學(xué)報(bào), 2014, 36(3): 624–630.

[9] 陳炳權(quán), 劉宏立. 基于顏色紋理和形狀特征相結(jié)合的圖像檢索系統(tǒng)[J]. 湖南文理學(xué)院學(xué)報(bào)(自然科學(xué)版), 2009, 21(4): 67–70.

[10] 賈松敏, 王爽, 王麗佳, 等. 多特征自適應(yīng)均值漂移算法的目標(biāo)跟蹤[J]. 光電子·激光, 2014, 25(10): 2 018–2 024.

[11] 劉一鳴, 周尚波. 基于多特征融合的粒子濾波視頻跟蹤算法[J]. 計(jì)算機(jī)工程, 2010, 36(22): 228–230, 235.

[12] Comaniciu D, Ramesh V, Meer P. Kernel-based object tracking [J]. IEEE Trans Pattern Anal Mach Intell, 2003, 25(5): 564–577.

[13] Lowe D G. Object recognition from local scale-invariant features [C]// iccv. IEEE Computer Society, 1999: 1 150–1 157.

[14] Fukunaga K, Hostetler L. The estimation of the gradient of a density function, with applications in pattern recognition [J]. IEEE Transactionsons on Information Theory, 1975, 21(1): 32–40.

[15] Zhang K, Zhang L, Yang M H. Real-time compressive tracking [M]. Heidelberg: Springer, 2012: 864–877.

[16] Wang Q, Chen F, Yang J, et al. Transferring Visual Prior for Online Object Tracking [J]. IEEE Transactions on Image Processing, 2012, 21(7): 3 296–3 305.

(責(zé)任編校:劉剛毅)

Robust tracking based on multi-feature adaptive fusion

Gong Chunhong

(Department of Information Management, Hunan University of Finance and Economics, Changsha 410205, China)

Aimed at using single feature to describe the target often leads to target drift in complex scenes, an effective Adaptive Fusion Feature (AFF) is constructed based on Mean Shift tracking framework, furthermore, a tracking method which used multiple fusion features to describe target adaptively is put forward. This tracking method combined color feature and SIFT feature, the similarity between adjacent frames of each feature is used to dynamically adjust the feature weights. The experimental results show that the proposed AFF tracking method is more accurate and robust than single feature tracking and state-of-the-art tracking methods in complex scenes.

color; SIFT; adaptive fusion feature; weight updating

10.3969/j.issn.1672–6146.2016.04.006

TP 391

1672–6146(2016)04–0021–06

龔春紅, 290584160@qq.com。

2016–03–30

湖南省重點(diǎn)學(xué)科建設(shè)項(xiàng)目; 湖南省教育廳科學(xué)研究重點(diǎn)項(xiàng)目(13A010)。