多特征聯(lián)合的尺度和方向自適應meanshift跟蹤算法

胡正平，石 巍，謝榮路（燕山大學信息科學與工程學院，河北秦皇島066004）

多特征聯(lián)合的尺度和方向自適應meanshift跟蹤算法

胡正平?，石 巍，謝榮路
（燕山大學信息科學與工程學院，河北秦皇島066004）

摘 要：經典meanshift跟蹤算法因其具有計算量小、實時性強等優(yōu)點而得到廣泛應用。但在目標發(fā)生縮放、旋轉、光照變化以及目標顏色與周圍背景顏色難以區(qū)分等情況下，經典meanshift算法的魯棒性不佳，目標定位精度不高，算法穩(wěn)定性不好。鑒于此，本文提出一種聯(lián)合顏色和紋理直方圖表示的meanshift算法，其中本文用到的局部二值模式LBP是基于分塊思想改進的紋理算子，有效地提取邊緣和角點等主要目標模式來更加精煉地表示目標；另外，通過有效利用目標候選區(qū)域的矩信息，來解決跟蹤目標運動中尺度和方向的變化的問題。通過不同場景視頻跟蹤實驗表明，與經典meanshift算法及改進前的聯(lián)合特征表示方法相比，文中提出的改進算法在上述復雜場景下的目標跟蹤具有更高的穩(wěn)定性和魯棒性。

關鍵詞：目標跟蹤；meanshift算法；LBP；顏色直方圖；尺度變化

0　引言

實時目標跟蹤是計算機視覺和模式識別領域中的熱點問題，受到國內外學者的廣泛關注，在視覺導航、智能交通、視頻監(jiān)控、人機交互及運動目標分析和識別等領域得到廣泛應用。視頻目標跟蹤主要指對視頻連續(xù)圖像序列中被跟蹤目標的實時準確定位，在實際跟蹤過程中經常受到多種因素的影響，因此不少算法被提出用來解決由于噪聲、遮擋、背景混亂以及前景目標或背景環(huán)境發(fā)生變化等復雜情況下的跟蹤問題。在眾多的跟蹤算法中，meanshift跟蹤算法由于其簡單和實時有效性被越來越多的學者所采用。隨著時間的推移，meanshift算法這種無參數密度估計快速匹配算法的優(yōu)勢漸漸凸顯出來，吸引大量國內外學者對其不斷改進，同時也結合其他方法對跟蹤進行優(yōu)化。

Meanshift概念最初是由Fukunage和Hostetler在數據聚類問題中首先提出的［1］，最初的含義即為偏移的均值向量。隨著研究者們對理論研究的不斷推進，meanshift的理論意義被定義為一個不斷迭代和收斂的過程，對此作出重大貢獻的Cheng Y將meanshift算法引入到圖像處理領域中［2］，并定義了一簇核函數，使得隨著樣本與被偏移點距離不同，產生的偏移矢量對中心均值偏移向量的貢獻也不同，此外還設置了一個權重系數，令不同樣本點的重要性不同。Bradski G對meanshift算法進行改進并應用到動態(tài)視頻序列的人臉跟蹤中［3］。顏色信息作為目標一個相對穩(wěn)定的描述特征，對目標在運動中的平移、旋轉和尺度變化甚至發(fā)生小部分遮擋等變化時不敏感，因此基于顏色信息的目標跟蹤方法引起研究者的關注［4?8］。顏色直方圖是對圖像像素點的概率統(tǒng)計模型，文獻［9］以顏色直方圖為特征，通過對圖像二值化模板的水平和垂直投影進行分塊，將候選區(qū)域各塊與對應模板中各塊相似性加權并引入到meanshift算法中，提出給予多核目標跟蹤框架，此方法降低計算復雜度，但當背景顏色與目標顏色相近時，僅用顏色直方圖作為特征容易造成跟蹤中漂移現象發(fā)生。文獻［10］提出一種融合顏色直方圖及SIFT特征的自適應分塊目標跟蹤方法，該方法改善了僅用顏色信息作為特征的單一性和非魯棒性。Kim T等人［11］針對塊匹配算法在目標發(fā)生非剛性形變或與背景模板相似情況下的局限性，提出目標外形輪廓和視頻背景特征分析結合的目標跟蹤方法，形狀控制點規(guī)律的分布在目標邊緣輪廓上，該形狀邊界信息可以較好區(qū)分目標和周圍背景區(qū)域，保留高質量控制點，剔除偏離的形狀控制點，從而，對目標突然移動或特征的突然改變實現良好跟蹤。文獻［12］提出基于角點特征與顏色特征融合meanshift目標跟蹤算法，兩種特征融合形成目標模型與候選模型的概率密度估計直方圖，并且計算每一幀圖像每個像素點所占的融合系數，對目標區(qū)域中心位置進行更新，這種算法可以克服目標運動時產生的偏移現象，并且在發(fā)生局部遮擋時實現穩(wěn)定跟蹤。

本文提出基于顏色和紋理特征（LBP）相結合的目標框尺度自適應meanshift跟蹤算法，在傳統(tǒng)meanshift算法僅用到顏色信息的情況下，引入一種基于塊的具有均勻旋轉不變性的改進的紋理特征描述子（B?LBP），構建紋理特征直方圖，并與顏色直方圖進行融合，組成一種新的目標表示模型。改進的LBP特征只著重考慮目標區(qū)域內關鍵點，將可以對目標區(qū)域與周圍背景進行區(qū)分的邊緣和角點等重要紋理信息重點考慮，對圖像紋理特征中相對平坦區(qū)域不作為重點考慮以減少特征維度，降低計算量，并且本文對圖像特征提取是在原圖像的低頻分量上進行的，通過實驗證明這種提取方法對實驗效果有所改善。因此，與傳統(tǒng)mean?shift算法中僅用RGB顏色空間對目標進行表示相比，該方法有效利用目標空間結構信息，從而實現以更少的均值偏移迭代次數達到更好的跟蹤效果，更加魯棒地應對背景中各種干擾及復雜場景中的噪聲。

1　傳統(tǒng)meanshift目標跟蹤算法

1.1目標模型表示

文獻［13］首先提出基于核函數的視頻目標跟蹤算法，利用顏色核直方圖作為目標特征的描述，并用Bhattacharyya系數作為相似性度量標準。｛x?i｝i＝1，2，…，n是目標區(qū)域歸一化像素位置，目標模型q和目標模型的特征概率分布分別表示為

q＝｛qu｝u＝1，2，…，m，（1）

其中，m為特征直方圖bin的個數，δ（·）為Kronecker delata函數，b（x?i）為像素點x?i與直方圖bin的映射，k（·）為核函數，歸一化常數C的定義為

相應地，當前幀候選模型p（y）及概率分布模型pu（y）分別為

這里，pu（y）表示候選模型中特征u的概率，nh為候選目標區(qū)域中像素總數，｛xi｝i＝1，2，…，nh表示以y為中心點的目標候選區(qū)域中各像素點位置，h為核函數帶寬，Ch為歸一化常數。

為了計算當前候選模型與目標模型之間的置信度，一種對歸一化直方圖p（y）和qu二者相似性進行度量的Bhattacharyya系數定義如下：

p（y）與q之間的Bhattacharyya距離定義為

1.2meanshift跟蹤

最小化Bhattacharyya距離等價于最大化Bhattacharyya系數，以前一幀目標中心位置y0為起始點開始迭代優(yōu)化。在pu（y0）處用Taylor級數展開，只保留一階展開式部分，得到Bhattacharyya系數ρ［p（y），q］的線性近似式為

這里，

由式（9）可知，式中第一部分與y無關，故將第二部分最大化，可得meanshift算法迭代公式

其中，g（x）＝－k′（x）。每一幀中首先初始化y0，計算ωi，重復式（11）的計算，直到‖yi＋1－yi‖＜ε或大于預設的最大迭代次數，ε為預設的大于0的正數，從而最終得到目標位置。

2　LBP與改進的LBP算子

2.1LBP

局部二值模式LBP（Local Binary Pattern）是描述圖像局部紋理特征的算子，提取的信息是圖像的局部紋理特征。在灰度圖像中，以任意像素點nc為中心，在半徑為R（R＝1或R＝2）的環(huán)形鄰域上，P（P＝8或P＝16）個像素點均勻分布。本文中所有LBP算子是在3×3的窗口內討論的，以窗口中心像素灰度值gc為閾值，將相鄰的8個像素灰度值gp（p＝1，2，…，8）與其進行比較，若周圍像素值大于閾值，則該像素點位置記為1，否則為0。由此可以得到一個8位的二進制數，每一位乘以相應的權重系數求和累加即為LBP值

其中，

局部紋理特征計算過程如圖1所示。

圖1　局部紋理計算過程Fig.1　Calculation process of LBP

則中心像素點處紋理特征編碼為1＋2＋8＋16＋128＝155。由此可知，對圖像中每個像素點經過原始LBP運算得到的是一幅與原圖像相同大小的新圖像，即為圖像的特征。但該特征有局限性，每個像素與周圍像素的位置信息密切相關，一旦目標發(fā)生旋轉會產生誤差。式（12）的紋理模型具有灰度尺度不變性，但不具有等價性和旋轉不變性。

2.2LBP改進算法

視頻是由一連串相關聯(lián)的圖像組成，而每一幀圖像就是一個二維信號，包含不同的頻率成分，如圖2所示。亮度變化小的區(qū)域是低頻成分，如圖2（b），描述整體信息；亮度變化小的區(qū)域是低頻成分，如圖2（b）所示，描述整體信息；亮度變化劇烈的區(qū)域是高頻成分，如圖2（c）所示，描述目標物體的邊緣、紋理等具體細節(jié)。對于經典mean?shift算法及本文中進行對比的聯(lián)合顏色和紋理特征的M2算法均是針對圖像整體進行討論的。本文提出的算法是在原圖像進行低頻處理的圖像上進行塊處理的改進的具有等價旋轉不變性的LBP算法。

圖2　圖像高頻成分和低頻成分提供的信息Fig.2　Information of high?frequency and low?frequency component of the image

圖像中每個像素點可以產生圖1（b）所示8位二進制序列，對該序列進行旋轉可以產生不同的二進制序列模式，在半徑為R的圓形區(qū)域內含有P個采樣點的LBP算子會產生2p種模式。隨著鄰域內采樣點數增加，二進制模式的種類會急劇增加，過多的模式種類對于紋理的提取、識別、分類及信息存取均不利。為了解決該問題，提高統(tǒng)計性，文獻［14］中Ojala提出了一種“等價模式”（Uniform Pat?ern）來對圖像LBP特征進行降維。Ojala等認為，在實際圖像中，大多數LBP算子產生的二進制序列最多只包含兩次從1到0或從0到1的跳變，因此當某個LBP所對應的循環(huán)二進制序列中從0到1或從1到0最多只有兩次跳變時，該LBP所對應的二進制序列即為一個等價模式。通過這樣改進，同一幅圖像各像素點所組成的二進制序列種類大大減少，并且不會丟失信息，模式數量由原來的2p中減少為p（p－1）＋2種，對于3×3鄰域內8個采樣點來說，二進制模式由原來的256種減少為58種，由此特征向量的維數得以減少。

針對原始的LBP算子在目標發(fā)生旋轉或搖晃的情況下判斷出現誤差，文獻［14］提出具有灰度尺度和旋轉不變等價LBP紋理模型

這里，

上標riu2代表了旋轉不變等價模式，它表示LBP數是旋轉不變的且在空間上0與1變換次數少于2，U（x）是用來度量用二進制數表示的LBP值在空間上0與1模式的變換次數。至此，這種模式將LBP模式種類減少到P＋1種，所有的非旋轉不變等價模式都被歸為P＋1類。

由圖3可知，以上8個二進制序列是經過依次旋轉一位得到的，因此這8種LBP模式最終得到的具有旋轉不變性的LBP值為最小值15，即圖中8種LBP模式均由同一種模式00001111替代。當P＝8，R＝1時，共有9種等價紋理模式，這9種紋理模式對應5種常見的紋理結構，包括邊緣、角點、線端、斑點和平坦區(qū)域，見圖4。

圖3　旋轉不變的LBP模式Fig.3　Rotation invariant pattern of LBP

圖4　圖像中出現的紋理特征Fig.4　Texture pattern of the image

由此可以將圖像中目標物體的每個像素點計算出一個相應的LBP值，當P＝8，R＝1時，取值范圍為0～9，相應地得到目標物體的紋理直方圖。然而，直接聯(lián)合顏色和紋理直方圖與僅基于顏色直方圖表示目標相比并未明顯改善跟蹤效果，特別是當目標與背景相似時，將所有紋理模式進行考慮無法較好地區(qū)分目標與背景。在目標表示中，邊緣、線端和角稱為“主要等價模式”，代表目標的主要紋理特征，而點和平坦區(qū)域稱為“次要等價模式”，是目標次要的紋理特征。于是，考慮在進行特征統(tǒng)計時著重統(tǒng)計主要特征，通過下式提取目標主要等價模式：

3　聯(lián)合顏色特征及改進LBP紋理特征的meanshift跟蹤

傳統(tǒng)的meanshift算法只利用顏色信息進行目標跟蹤。后來，Ojala等人提出具有等價旋轉不變性的紋理特征，在此基礎上本文提出了在圖像低頻成分上基于塊思想的具有等價的旋轉不變性LBP算法。進而，聯(lián)合RGB顏色通道對目標進行描述，利用式（2）、（5）計算顏色和紋理分布的目標模型——聯(lián)合直方圖，該直方圖維數為8×8×8× 5，前3個維數代表了顏色通道量化維數，第4個參數為改進的LBP特征維數，目標描述如圖6所示。

圖5　圖像降維處理過程Fig.5　Process of image dimensional reduction

圖6　目標的特征描述Fig.6　Feature description of the target

4　目標框的尺度自適應

在實際視頻圖像中，隨著運動的進行目標可能變大也可能縮小，跟蹤窗口大小固定不變不能適應目標形變，必然會引入更多的背景像素使跟蹤性能下降甚至導致跟蹤失敗。因此，本文考慮隨著跟蹤過程中目標尺度自適應變化，跟蹤框也需要隨之自適應變化。

盡管視頻中目標大小可能會發(fā)生變化，但是在連續(xù)幀中目標的變化是逐漸進行的，由此可以利用前一幀目標信息來求取當前候選目標區(qū)域。如文獻［15］所述，目標候選區(qū)域內每個像素點的權值表示其屬于目標的概率，而該區(qū)域內所有像素點權值之和被認為是該區(qū)域內目標的權值面積，該面積可以用統(tǒng)計學概念中的零階矩表示：

Bhattacharyya系數表示的是目標模型q和候選模型p（y）間相似度的參數。Bhattacharyya系數的減小意味著在候選目標區(qū)域中更多特征來自背景，而更少特征來自目標，反之亦然。文獻［15］認為，Bhattacharyya系數可以用來調整當前幀目標區(qū)域面積A的大小，公式如下：

這里，c（ρ）是關于Bhattacharyya系數ρ（0?ρ?1）的單調遞增函數。表達式如下：

上一幀通過meanshift迭代算法尋找到最優(yōu)目標區(qū)域作為當前幀的跟蹤結果，通過公式（17）計算出當前幀候選目標區(qū)域面積，同時由上一幀得到最優(yōu)目標區(qū)域的一階矩，二階矩估計目標框的寬、高和方向。上一幀最優(yōu)目標區(qū)域二階矩為

這里（xi，1，xi，2）為候選區(qū)域像素點i的坐標。由式（17）、（20）和（21）得到當前候選區(qū)域中心坐標（x1，x2）為

由式（17）、（20）、（21）和（22）得到二階中心矩：

將上式寫成協(xié)方差矩陣形式

對式（24）進行奇異值分解：

協(xié)方差矩陣變?yōu)?/p>

綜上，當前幀目標的位置以及目標框的大小和方向便確定了，接下來需要確定下一幀中目標候選區(qū)域位置。由式（28）定義了式（29）的協(xié)方差矩陣來表示下一幀中目標候選區(qū)域大?。?/p>

這里，Δd為下一幀目標候選區(qū)域的增量，而下一幀中候選目標的初始位置由下面的橢圓區(qū)域表示：

綜上，多特征聯(lián)合的尺度自適應跟蹤算法步驟如下：

1）初始化：計算目標模型q，并在前一幀中目標位置y0處初始化目標候選模型；

2）初始迭代次數k←0；

3）在當前幀中計算候選模型p（y0）；

4）由式（10）計算得到權重向量｛ωi｝i＝1，…，n；

5）通過式（11）計算候選目標新的位置y1；

6）令d←‖y1－y0‖，y0←y1，k←k＋1，設置偏差閾值ε（本文默認ε＝0.05），最大迭代次數N （N＝15）；

7）如果d＜ε或k?N，則停止跟蹤，跳轉到步驟（8），否則返回到步驟（3）；

8）利用式（28）計算候選目標模型寬度、高度和方向角，調整搜索窗口大小，并更新核函數；

9）通過式（30）估計下一幀候選目標初始區(qū)域。

5　實驗仿真與分析

為驗證本文提出的多特征聯(lián)合的尺度自適應跟蹤算法的魯棒性和優(yōu)越性，本文選用4段視頻進行實驗，實驗均在同一臺計算機上進行，配置為AMD AthlonⅡX2 255處理器，主頻3.11 GHz，內存1.75 GB，仿真軟件為MATLAB R2010a。本文采用3種模型進行對比，M1表示本文提出的聯(lián)合顏色和紋理信息的尺度自適應meanshift算法，M2表示的是只有顏色和紋理信息進行聯(lián)合meanshift算法，目標框不會隨著目標尺度變化而變化，M3表示只有顏色信息的meanshift算法。

第一組實驗是基于高山滑雪視頻Ski進行的，該視頻共計85幀，分辨率為320×480。目標在運動過程中沒有發(fā)生大的尺度改變，背景單一，目標顏色與周圍背景可以明顯區(qū)分，3種模型均能對目標進行跟蹤。實驗結果分別截圖如圖7所示。

圖7　對高山滑雪視頻跟蹤結果截圖Fig.7　Screenshots of the alpine skiing video tracking results

從跟蹤結果來看，3種算法均可實現實時跟蹤，其中M1算法跟蹤框的位置最為精確。當目標發(fā)生微小的尺度變化時，跟蹤框可以隨之自適應尺度變化，而M2及M3算法由于不具備自適應尺度變化，隨著目標移動及尺度變換跟蹤框會發(fā)生輕微漂移，使得下一幀進行meanshift迭代時需要迭代更多次，從而耗費更多時間。3種算法跟蹤滑雪運動員的每幀迭代次數如圖8所示，總體上看，算法M1優(yōu)于M2和M3。

圖8　高山滑雪視頻中3種算法迭代次數對比Fig 8. Iterations comparison of the three algorithms on tracking the skier

第二組實驗是基于花樣滑冰視頻figure skat?ing4，該視頻共計74幀，分辨率為320×480。該段視頻主要驗證在目標發(fā)生較大形變情況下的跟蹤情況。3種算法模型跟蹤視頻截圖如圖9所示。

圖9　對花樣滑冰視頻跟蹤結果截圖Fig.9　Screenshots of the figure skating video tracking results

由上述實驗可知，花樣滑冰運動員在運動過程中身體發(fā)生較大形變，這對跟蹤算法的準確度和穩(wěn)定性有很大的挑戰(zhàn)，M2和M3算法雖然在整體上能夠跟上目標，但是由于目標框的大小不能自適應變化，導致了對目標外形的描述不夠準確，計算時包含了很多背景像素，使計算效率變低，且框的位置發(fā)生偏移。相反，M1算法對此種情況跟蹤則具有好的魯棒性。如表1所示，從平均迭代次數上看M1優(yōu)于其他兩種算法。

第三組實驗基于越野摩托車視頻Motor，該視頻共計285幀。視頻中目標與周圍背景顏色區(qū)分不明顯，目標運動過程中發(fā)生一定的尺度變化，且存在部分遮擋現象。M1、M2及M3這3種跟蹤算法視頻截圖如圖10所示。

由上述實驗可知當摩托車行駛過程中背景變化較為明顯，當前景目標與背景顏色信息相差很大時，M1算法下目標框的最正，M2與M3跟蹤效果相差不大，框的位置基本相同。但當視頻進行到140幀左右時，由于背景顏色與前景顏色區(qū)別不大，導致M3算法下目標框位置發(fā)生較嚴重的漂移，而由于M2結合了紋理信息，相比M3跟蹤穩(wěn)定性稍好。本文提出的M1算法效果明顯好于M2 和M3，并且在整個視頻序列都表現出優(yōu)于后兩者的穩(wěn)定性和準確性。

第四組實驗是基于NBA比賽視頻，從中截取101幀進行目標跟蹤實驗。場景中，籃球運動員身著綠色和白色兩隊球衣，運動員跑動中身體發(fā)生遮擋、形變以及個別幀光線的急劇變化，并且同組運動員交叉跑動中球衣顏色和花紋基本相近為跟蹤增加了很大難度。3種算法實驗結果截圖如圖11所示。在本文算法中，若目標在候選框中所占面積不足1/3，則判定該目標跟蹤丟失，其中，利用M2算法對球員進行跟蹤時在視頻的第26幀丟失目標，利用M3算法對球員進行跟蹤時在視頻的第22幀丟失目標。

由圖11可知，僅用顏色信息的M3算法最快丟失目標，M2算法雖然略好于M1但是也很快丟失目標。本文提出的M1算法在整段視頻中可以跟蹤上目標，在光線急劇變化后的個別幀中出現目標框迅速變小的現象，且有3幀目標框出現漂移現象，但很快就恢復了跟蹤，并且在后續(xù)幀中可以穩(wěn)定地跟蹤目標，這證明了本文算法的優(yōu)越性和穩(wěn)定性（M2，M3算法在后續(xù)跟蹤中將目標跟丟，故迭代次數均以設置的迭代閾值15來計算）。

為了更進一步比較M1～M3算法的性能，本文基于6段不同場景的視頻對提出的改進算法進行驗證。為節(jié)省篇幅，除了上述4段視頻外，另外兩段視頻的實驗截圖不在此文中給出。但實驗過程中收斂快慢對比由表2給出。

圖11　NBA比賽視頻跟蹤結果截圖Fig.11　Screenshots of NBA game video tracking results

6　結束語

本文提出聯(lián)合顏色和改進的LBP算子的目標尺度自適應meanshift算法，在Ojala提出的具有旋轉不變性的LBP紋理算子的基礎上，本文提出的基于塊思想的LBP特征表示方法，只利用原始圖像的低頻分量有效的提取圖像的局部紋理特征，并利用圖像權重的矩信息來估計目標在運動過程中的尺度與方向，在多個不同場景環(huán)境下對本文提出的改進算法進行驗證。實驗結果表明，與經典meanshift跟蹤算法和聯(lián)合了顏色及降維后的LBP算子的meanshift算法相比，改進的算法能有效適應目標的形狀和尺度變化，并能對背景顏色與目標顏色相似的復雜場景中運動的目標進行可靠魯棒的跟蹤。

參考文獻

［1］Fukunaga K Hostetler L D.The estimation of the gradient of a den?sity function with applications in pattern recognition J .IEEE Transaction on Information Theory 1975 21 1 32?40.

［2］Cheng Y.Mean shift mode seeking and clustering J .IEEE Trans?actions on Pattern Analysis and Machine Intelligence 1995 17 8 790?799.

［3］Bradski G.Computer vision face tracking for use in a perceptual user interface J .Intel Technology Journal 1998 2 1?15.

［4］Withagen P Schutte K Groen F.Likelihood?based object detection and object tracking using color histograms and EM C //Proceed?ings of IEEE International Conference on Image Processing Roch?ester NY USA 2002 1 589?592.

［5］Lee J H Lee W H Jeong D S.Object tracking cethod using back?pro?jection of multiple color histogram models J .//Proceedings of IEEE International Symposium on Circuits and Systems 2003 2 668?671.

［6］Li P H.An adaptive binning color model for mean?shift tracking J .IEEE Transactions on Circuits and Systems for Video Technology 2008 18 9 1293?1299.

［7］Shen Hongying Sun Shuifa Ma Xianbing et al.Comparative study of color feature for particle filter based object tracking C //Inter?national Conference on Machine Learning and Cybernetics ICMLC Xian Shaanxi China 2012 3 1104?1110.

［8］Jansari D Parmar S Saha G.Real?time object tracking using color?based probability matching C //IEEE International Conference on Signal Processing Computing and Control ISPCC Shimla HP India 2013 1?6.

［9］Fang Jiang?xiong Yang Jie Liu Hua?xiang.Efficient and robust fragments?based multiple kernels tracking J .International Journal of Electronics and Communications 2011 65 11 915?923.

［10］董文會 常發(fā)亮 李天平.融合顏色直方圖及SIFT特征的自適應分塊目標跟蹤方法 J .電子與信息學報 2013 35 4 770?776.

［11］Kim T Lee S Paik J.Combined shape and feature?based video analysis and its application to non?rigid object tracking J .IET Im?age Proceesing 2011 5 1 87?100.

［12］宋丹 趙保軍 唐林波.融合角點特征與顏色特征的Mean?Shift目標跟蹤算法 J .系統(tǒng)工程與電子技術 2012 34 1 199?203.

［13］Comaniciu D Ramesh V Meer P.Kernal?based object tracking J .IEEE Transactions on Pattern Analysis and Machine Intelligence 2003 25 5 564?575.

［14］Ojala T Pietikainen M Maenpaa T.Multiresolution gray?scale and rotation invariant texture classification with local binary pattern J .IEEE Transactions on Pattern Analysis and Machine Intelligence 2002 24 7 971?987.

［15］Ning Jifeng Zhang Lei Zhang D et al.Scale and Orientation Adaptive Mean Shift Tracking J .IET Computer Vision 2012 6 1 52?61.

Combined multi?feature scale and direction adaptive meanshift tracking algorithm

HU Zheng?ping SHI Wei XIE Rong?lu
School of Information Science and Engineering Yanshan University Qinhuangdao Hebei 066004 China

AbstractThe meanshift tracking algorithm has been widely applied in visual tracking due to its well known merits such as the small amount of calculation and real?time.However when the scale orientation and illumination of target s changes and the color of the background is similar to the target the robustness of the traditional meanshift algorithm is poor and the accuracy of target location is not high as well as the algorithm stability is not good.For this reason an improved meanshift tracking method is proposed in the pa?per.In this algorithm a novel feature histogram is proposed which fuses the color and improved block LBP histograms as the repre?sentation of the tracked object it can extract the main information like the edge and the corner of the object.Besides with the help of moment information from the candidate object area it can solve the problem of the changes of the scale and direction of the tracked object during the tracking process.Compared with the traditional meanshift tracking algorithm and the combine feature algorithm which is changed before the proposed tracking algorithm achieves more stability and robustness in the complex condition.

Key wordstarget tracking meanshift algorithm LBP color histogram scale variation

文章編號：1007?791X（2015）03?0254?15

作者簡介：?胡正平（1970?），男，四川儀隴人，博士，教授，博士生導師，主要研究方向為圖象處理，Email：hzp＠ysu.edu.cn。

基金項目：國家自然科學基金資助項目（61071199）；河北省自然科學基金資助項目（F2010001297）

收稿日期：2015?01?14

DOI：10.3969/j.issn.1007?791X.2015.03.010

文獻標識碼：A

中圖分類號：TP391.41