一種基于旋轉(zhuǎn)不變特征的在線目標(biāo)跟蹤方法

李長(zhǎng)隆， 楊海濱， 劉佳

一種基于旋轉(zhuǎn)不變特征的在線目標(biāo)跟蹤方法

李長(zhǎng)隆1， 楊海濱2， 劉佳2

(1.武警部隊(duì)參謀部機(jī)要局，北京100000；2.武警工程大學(xué)電子技術(shù)系，陜西西安710086)

提出了一種新的基于局部二進(jìn)制模式(LBP)特征的旋轉(zhuǎn)不變特征，該特征與2bitBP特征相比，具有一定的旋轉(zhuǎn)不變性。改進(jìn)了跟蹤-學(xué)習(xí)-檢測(cè)(TLD)框架中的目標(biāo)檢測(cè)模塊，提出了一個(gè)新的跟蹤-學(xué)習(xí)-檢測(cè)-驗(yàn)證(TLDV)框架，并將其應(yīng)用到在線目標(biāo)跟蹤領(lǐng)域。該框架首先提取運(yùn)動(dòng)目標(biāo)的SIFT特征點(diǎn)，然后利用SIFT點(diǎn)的對(duì)應(yīng)關(guān)系計(jì)算目標(biāo)的旋轉(zhuǎn)的放射變換，從而進(jìn)一步確定目標(biāo)旋轉(zhuǎn)角度，進(jìn)行跟蹤框的旋轉(zhuǎn)更新，實(shí)現(xiàn)了旋轉(zhuǎn)不變的目標(biāo)跟蹤算法，在一些視頻的測(cè)試結(jié)果驗(yàn)證了算法的有效性。

跟蹤-學(xué)習(xí)-檢測(cè)；放射變換；目標(biāo)跟蹤

0　引言

智能視頻安防監(jiān)控系統(tǒng)大多以檢測(cè)跟蹤為基礎(chǔ)，在捕捉運(yùn)動(dòng)目標(biāo)信息的基礎(chǔ)上，進(jìn)行分析和理解。本文基于檢測(cè)跟蹤的方法，構(gòu)建目標(biāo)描述特征，以及半監(jiān)督的在線學(xué)習(xí)跟蹤算法，設(shè)計(jì)了一個(gè)基于旋轉(zhuǎn)不變特征的跟蹤方法。目標(biāo)特征可以分為局部特征和全局特征。局部特征就是從圖像的局部結(jié)構(gòu)出發(fā)，用局部信息來(lái)構(gòu)造出具有光照、幾何變換不變性的描述子。典型的局部特征包括尺度不變特征轉(zhuǎn)換(Scale-invariant feature transform SIFT)[1]、局部二進(jìn)制模式(Local Binary Pattern LBP)[2]。全局特征是指反應(yīng)圖像全局的和整體的特征描述，一般而言全局特征與特定的應(yīng)用相關(guān)。通常，結(jié)合全局特征與局部特征的方法，能夠有效的改進(jìn)對(duì)于目標(biāo)的描述。Kalal[3]等人提出的一種新的基于正負(fù)條件約束的半監(jiān)督在線學(xué)習(xí)框架，利用到了一些結(jié)構(gòu)約束來(lái)訓(xùn)練一個(gè)二類分類器，并將這個(gè)分類器應(yīng)用到視頻跟蹤領(lǐng)域取得了較好的結(jié)果。Grabner等人[4]在特征選擇器更新過(guò)程中，引入半監(jiān)督機(jī)制，并在特征選擇過(guò)程中，利用一個(gè)初始的優(yōu)先特征與在線分類器共同得到最優(yōu)特征，同時(shí)通過(guò)SemiBoost訓(xùn)練一個(gè)分類器。已標(biāo)記的數(shù)據(jù)被作為初始值，而在跟蹤過(guò)程中獲取的數(shù)據(jù)則被當(dāng)作是未標(biāo)記的樣本。

本文在LBP特征的技術(shù)上，提出了一種新的旋轉(zhuǎn)不變特征，同時(shí)利用TLD跟蹤框架，設(shè)計(jì)了一個(gè)旋轉(zhuǎn)不變的跟蹤方法，并在一些視頻集上進(jìn)行了測(cè)試，驗(yàn)證了算法的有效性。

1　LBP特征及TLD跟蹤框架

1.1LBP特征

LBP特征是一種表述灰度圖某像素與周圍像素點(diǎn)大小關(guān)系的二進(jìn)制描述算法，最初應(yīng)用于圖像的紋理描述，近來(lái)人們提出了多種擴(kuò)展的LBP，它計(jì)算簡(jiǎn)單，并且具有部分的尺度、旋轉(zhuǎn)不變性等優(yōu)點(diǎn)。在文獻(xiàn)[3]中提出了一種新的特征2bit Binary Patterns(2bitBP)用于訓(xùn)練在線分類器2bitBP度量了在一個(gè)特定區(qū)域內(nèi)的梯度的方向，將這個(gè)方向進(jìn)行量化，并且輸出4種可能的編碼形式。如圖1所示。

圖1　局部2比特二進(jìn)制模式

這個(gè)特征將對(duì)象框中的局部梯度進(jìn)行編碼[3]。2bitBP特征實(shí)際上是受到了局部二進(jìn)制模式(Local Binary Patterns LBP)[2]的啟發(fā)，但是與標(biāo)準(zhǔn)的LBP不同，LBP對(duì)3?3像素的區(qū)域進(jìn)行編碼并將一個(gè)特定的區(qū)域表示成這些編碼的分布，而2bitBP將這些區(qū)域表示成簡(jiǎn)單的編碼。

無(wú)論是LBP特征還是2bitBP特征，都不具有旋轉(zhuǎn)不變性，同時(shí)LBP特征這樣的局部特征也不具有全局的空間信息描述能力。在這種情況下，當(dāng)跟蹤目標(biāo)被遮擋或是移出視場(chǎng)一段時(shí)間后，若目標(biāo)物體再一次以不同的角度在此進(jìn)入視野中時(shí)，由于訓(xùn)練特征不具有旋轉(zhuǎn)不變性，檢測(cè)器便無(wú)法檢測(cè)出物體所在的位置，這樣基于檢測(cè)的跟蹤就可能實(shí)效，如圖2所示。

圖2　檢測(cè)實(shí)驗(yàn)

1.2TLD框架

在現(xiàn)有的在線學(xué)習(xí)跟蹤的框架中，基于訓(xùn)練-學(xué)習(xí)-檢測(cè)的框架(Training Learning Detection，TLD)是其中比較成功的，該框架在文獻(xiàn)[3]中提出，作者給出了TLD框架中的PN學(xué)習(xí)(Positive and Negative Learning即PN learning)框架，PN學(xué)習(xí)的過(guò)程實(shí)際上就是從預(yù)先標(biāo)記好的數(shù)據(jù)集(Xl，Yl)中，學(xué)習(xí)一個(gè)分類器f: X→Y，并且利用未標(biāo)記的數(shù)據(jù)Xu來(lái)提高分類器的性能。

文獻(xiàn)[3]將該學(xué)習(xí)框架應(yīng)用于視頻目標(biāo)跟蹤中，給出了TLD的跟蹤框架，在跟蹤中，作者使用了隨機(jī)森林分類器Fern作為檢測(cè)器，利用光流作為跟蹤器，其跟蹤流程如圖3所示。

圖3　基于TLD的跟蹤框架

從圖3中可以看出，該跟蹤框架結(jié)合了跟蹤器和檢測(cè)器，通過(guò)跟蹤器以及檢測(cè)器的結(jié)合來(lái)實(shí)現(xiàn)檢測(cè)器的更新。

2　旋轉(zhuǎn)不變特征

由于LBP和2bitBP特征不具有旋轉(zhuǎn)不變性，在本文中，提出了一種新的旋轉(zhuǎn)不變特征，該特征具有一定的旋轉(zhuǎn)不變性，提取過(guò)程如圖4所示。

圖4　旋轉(zhuǎn)不變特征的提取過(guò)程

為了實(shí)現(xiàn)快速的特征提取，我們采用二進(jìn)制特征作為隨機(jī)森林Fern分類器的特征。該特征提取過(guò)程如下:

首先，在圖像塊中隨機(jī)的選取兩個(gè)點(diǎn)，如紅色Pr和藍(lán)色點(diǎn)Pb所示，該特征初始化時(shí)是隨機(jī)選取的，在訓(xùn)練過(guò)程中特征點(diǎn)的位置保持不變；

其次，以圖像塊的中心點(diǎn)為中心，以兩個(gè)點(diǎn)到中心點(diǎn)的距離為半徑，分別提取LBP特征即LBPr和LBPb；

最后，這兩個(gè)LBP特征的關(guān)系給出最終的二進(jìn)制特征即，若LBPr＞LBPb，f＝1，否則f＝0。

需要強(qiáng)調(diào)的是，本文中的旋轉(zhuǎn)不變特征相對(duì)于文獻(xiàn)[3]中的2bitBP特征以及LBP特征而言，具有以下特點(diǎn):

(1)旋轉(zhuǎn)不變性:本文的二進(jìn)制特征具有一定的旋轉(zhuǎn)不變性，可以用于提高目標(biāo)旋轉(zhuǎn)一定角度下的檢測(cè)率。

(2)計(jì)算方法簡(jiǎn)單，空間復(fù)雜度低。相比2bitBP特征每一個(gè)節(jié)點(diǎn)輸出2位信息而言，本特征僅僅給出1bit信息，當(dāng)隨機(jī)森林的數(shù)目增加，或Fern中節(jié)點(diǎn)的數(shù)量增加的時(shí)候，2bitBP特征比本特征占用的空間要多。例如若Fern的個(gè)數(shù)為K，每個(gè)fern的深度為d的話，一個(gè)2bitBP特征輸出具有4個(gè)可能值，若采用M個(gè)特征的話，每一個(gè)fern的葉子節(jié)點(diǎn)的數(shù)目為4d。而本文的特征輸入為二值，因此fern葉子節(jié)點(diǎn)輸出的數(shù)目為2d。

3　改進(jìn)的在線學(xué)習(xí)的跟蹤框架

3.1基本框架

在原始的TLD的在線跟蹤框架中，利用跟蹤器與檢測(cè)器的相互結(jié)合進(jìn)行跟蹤，在本文中，改進(jìn)的TLD框架利用了旋轉(zhuǎn)不變特征，同時(shí)包含了一個(gè)驗(yàn)證器用于給出目標(biāo)的仿射變換信息。與原始的TLD框架不同，本文中的跟蹤框架包含訓(xùn)練、學(xué)習(xí)、檢測(cè)與驗(yàn)證即Training、learning、Detection and Validator.即TLDV跟蹤框架，如圖5所示。

圖5　改進(jìn)的TLDV跟蹤框架

在本文中，以實(shí)時(shí)性較好的光流[5]作為跟蹤器，利用隨機(jī)森林Fern[6]作為檢測(cè)器，同時(shí)利用PN學(xué)習(xí)的框架更新檢測(cè)器，整個(gè)半監(jiān)督的跟蹤框架的基本流程如下:

(1)首先進(jìn)行檢測(cè)器和跟蹤器的初始化。

(2)其次在初始幀，針對(duì)所選的目標(biāo)，提取旋轉(zhuǎn)不變特征用于初始化隨機(jī)森林Fern的學(xué)習(xí)，同時(shí)初始化光流跟蹤器，并對(duì)當(dāng)前目標(biāo)提取特征點(diǎn)生成初始模板。

(3)在后續(xù)的視頻幀中，利用跟蹤器和檢測(cè)器的結(jié)果，結(jié)合PN學(xué)習(xí)的框架實(shí)現(xiàn)目標(biāo)的跟蹤，即利用半監(jiān)督的結(jié)構(gòu)信息實(shí)現(xiàn)檢測(cè)器的更新，具體做法如下:對(duì)視頻的每一幀，檢測(cè)器和跟蹤器尋找目標(biāo)的位置，由跟蹤器給出的距離軌跡較近的圖像塊被作為正樣本，而由檢測(cè)器得到的距離軌跡較遠(yuǎn)的圖像塊被作為負(fù)樣本。如果離跟蹤結(jié)果很遠(yuǎn)處有一個(gè)很強(qiáng)的檢測(cè)結(jié)果，跟蹤器重新進(jìn)行初始化并且收集的樣本被丟棄掉。

(4)由于跟蹤器可能漂移出目標(biāo)，因此當(dāng)跟蹤器正確跟蹤到物體的時(shí)候，需要進(jìn)行下一幀位置的估計(jì)。跟蹤器的信任度通過(guò)跟蹤到的圖像塊與第一幀選擇的圖像塊之間的互相關(guān)性來(lái)進(jìn)行度量。當(dāng)跟蹤軌跡的最后一幀擁有大于80%的相關(guān)度的時(shí)候，這個(gè)連續(xù)的軌跡被認(rèn)為是正確的。當(dāng)這個(gè)軌跡被認(rèn)為是有效時(shí)，那么它將會(huì)觸發(fā)P-N約束條件，從而開始利用數(shù)據(jù)的結(jié)構(gòu)信息，進(jìn)行檢測(cè)器的更新。

(5)根據(jù)跟蹤器和檢測(cè)器的輸出個(gè)結(jié)果，得到當(dāng)前目標(biāo)坐在的位置，然后利用姿態(tài)估計(jì)器，提取目標(biāo)所在區(qū)域的SIFT特征，通過(guò)與模板的匹配，給出跟蹤框旋轉(zhuǎn)的角度信息。

3.2姿態(tài)驗(yàn)證估計(jì)器

在本文的TLDV框架中，除了旋轉(zhuǎn)不變特征以外，另一個(gè)重要的改進(jìn)是引入了姿態(tài)驗(yàn)證估計(jì)器，給出變換后的跟蹤框的位置以及角度。一般而言，都假設(shè)目標(biāo)的旋轉(zhuǎn)或是變換是一個(gè)仿射變換，本文利用SIFT描述子的匹配關(guān)系，在跟蹤過(guò)程中，通過(guò)跟蹤框中當(dāng)前幀與初始幀的特征點(diǎn)的匹配估計(jì)出仿射變換矩陣。實(shí)際上針對(duì)跟蹤目標(biāo)的仿射變換，已經(jīng)研究者做了一些工作，例如Ross等人[7]提出采用增量學(xué)習(xí)的方法來(lái)學(xué)習(xí)一個(gè)低維的子空間表示來(lái)自適應(yīng)的描述目標(biāo)的外觀，從而給出目標(biāo)位置和姿勢(shì)的一個(gè)估計(jì)。Kwon等人[8]利用在仿射群上的粒子濾波框架來(lái)得到目標(biāo)的仿射變換估計(jì)。但是基于粒子濾波框架的仿射變換估計(jì)的計(jì)算量很大，無(wú)法達(dá)到實(shí)時(shí)，特別是當(dāng)粒子數(shù)目設(shè)定的過(guò)多時(shí)，運(yùn)行速度非常慢，不具有實(shí)用性。而本文的估計(jì)器簡(jiǎn)單、穩(wěn)定、對(duì)圖像預(yù)處理要求低，同時(shí)同處理較大角度的旋轉(zhuǎn)。具體的計(jì)算的流程如圖6所示。

圖6　驗(yàn)證估計(jì)器的具體流程

這整個(gè)驗(yàn)證估計(jì)的流程可以具體的描述為:

初始幀:計(jì)算模板圖像的SIFT特征點(diǎn)，記為X’。

當(dāng)前幀:根據(jù)檢測(cè)器和跟蹤器的輸出到當(dāng)前目標(biāo)的位置，同時(shí)提取該目標(biāo)的SIFT特征點(diǎn)，記為X.，利用SIFT匹配算法，進(jìn)行特征點(diǎn)匹配，選取n(n≥3)個(gè)匹配點(diǎn)對(duì)，這些匹配上的點(diǎn)對(duì)分別表示為Y’和Y.根據(jù)仿射變換的定義，求解仿射變換矩陣參數(shù)，即根據(jù)下式計(jì)算:

其中，HA是仿射變換矩陣，A是2×2的非奇異矩陣，t是二維平移矢量，平面仿射變換具有6個(gè)自由度，對(duì)應(yīng)于6個(gè)矩陣元素，可以由3組點(diǎn)對(duì)應(yīng)得到。

給定當(dāng)前目標(biāo)邊框的四個(gè)頂點(diǎn)位置，根據(jù)仿射矩陣得到一個(gè)新的位置，這個(gè)新的位置即是當(dāng)前目標(biāo)框的輸出位置。

由于本文利用了檢測(cè)器、跟蹤器以及估計(jì)器，使得跟蹤過(guò)程可以有效處理目標(biāo)丟失后再出現(xiàn)的情況，對(duì)于這種情況而言，重要的是如何進(jìn)行目標(biāo)再出現(xiàn)的初始化跟蹤，在原始的TLD框架中，僅僅利用檢測(cè)器進(jìn)行初始化，在TLDV的框架中，具體方法如下:當(dāng)目標(biāo)丟失后，在每一幀，利用檢測(cè)器進(jìn)行目標(biāo)檢測(cè)。當(dāng)檢測(cè)到目標(biāo)時(shí)，計(jì)算檢測(cè)到的跟蹤框中的目標(biāo)與模板的相似度，若大于一定的閾值，則提取該檢測(cè)框中的特征點(diǎn)，利用估計(jì)器得到修正后的檢測(cè)框。在修正后的檢測(cè)框上選擇適當(dāng)比例大小的初始框，重新初始化光流跟蹤器。然后就按照TLDV的框架進(jìn)行跟蹤和檢測(cè)的在線更新。

可以看出，與TLD僅僅利用監(jiān)測(cè)器進(jìn)行跟蹤器的再次初始化相比，本文的方法利用了估計(jì)器來(lái)得到初始圖像的旋轉(zhuǎn)角度。

4　實(shí)驗(yàn)及分析

為驗(yàn)證LBP旋轉(zhuǎn)不變特征的有效性，當(dāng)圖像塊旋轉(zhuǎn)一定的角度時(shí)，有這兩個(gè)點(diǎn)形成的兩個(gè)LBP特征的大小關(guān)系保持不變，因此，該特征具有一定的旋轉(zhuǎn)不變性。圖7是利用這個(gè)旋轉(zhuǎn)不變特征后，得到的結(jié)果，可以看出，旋轉(zhuǎn)不變特征具有一定有效性，使得不同角度下的目標(biāo)都能被有效的檢測(cè)出。

圖7　利用旋轉(zhuǎn)不變特征進(jìn)行基于檢測(cè)的跟蹤

本文利用SIFT描述子的匹配關(guān)系，在跟蹤過(guò)程中，通過(guò)跟蹤框中當(dāng)前幀與初始幀的特征點(diǎn)的匹配估計(jì)出仿射變換矩陣，基本的過(guò)程如下:

1)在初始幀，將目標(biāo)保存為模板圖像，并提取SIFT特征點(diǎn)。

2)在下一幀以及當(dāng)前幀進(jìn)行跟蹤時(shí)，若跟蹤成功，則提取跟蹤框中的圖像的SIFT點(diǎn)，將當(dāng)前幀中跟蹤目標(biāo)的SIFT特征點(diǎn)與模板圖像的SIFT特征點(diǎn)進(jìn)行配準(zhǔn)。

3)通過(guò)大量的匹配上的點(diǎn)，建立仿射變換方程，從而得到仿射變換中圖像旋轉(zhuǎn)角度信息，通過(guò)對(duì)當(dāng)前幀圖像中的跟蹤框進(jìn)行仿射變換從而得到更加準(zhǔn)確的姿態(tài)信息。

如圖8所示，通過(guò)上面的方法，可以有效的估計(jì)出當(dāng)前跟蹤目標(biāo)的旋轉(zhuǎn)角度信息。其中黃色的跟蹤框?yàn)門LD跟蹤結(jié)果，紅色的跟蹤框?yàn)楦鶕?jù)匹配點(diǎn)得到旋轉(zhuǎn)角度后跟蹤框。

圖8　根據(jù)SIFT匹配點(diǎn)得到的跟蹤框結(jié)果

5　結(jié)語(yǔ)

本文提出了一個(gè)新的跟蹤框架跟蹤-學(xué)習(xí)-檢測(cè)驗(yàn)證(TLDV)框架，該框架在TLD的基礎(chǔ)上上，為了克服目標(biāo)旋轉(zhuǎn)引起的目標(biāo)丟失，首先為檢測(cè)模塊引入了一個(gè)旋轉(zhuǎn)不變的LBP特征，該特征的提取依據(jù)圓周滿足旋轉(zhuǎn)不變的特性，實(shí)現(xiàn)目標(biāo)旋轉(zhuǎn)的不變特性，同時(shí)增加了一個(gè)驗(yàn)證模塊，該模塊首先提取目標(biāo)的SIFT特征點(diǎn)，然后將模板圖像與當(dāng)前幀的SIFT特征點(diǎn)進(jìn)行匹配，從而估計(jì)出當(dāng)前幀旋轉(zhuǎn)的角度，實(shí)現(xiàn)了一個(gè)旋轉(zhuǎn)不變的在線目標(biāo)跟蹤方法。文中提出的方法僅適用于剛性物體旋轉(zhuǎn)不變的跟蹤，對(duì)于非剛性物體的跟蹤效果較差，這將是下一步研究的重要內(nèi)容。

[1] Lowe D G.Distinctive Image Features from Scale-Invariant Keypoints，International Journal of Computer Vision[J]. 2004，60(2):91-110.

[2] Ojala T and Pietikainen M.Multiresolution Gray-Scale and Rotation Invariant Texture Classification with Local Binary Patterns，IEEE Trans on Pattern Analysis and Machine Intelligence[J].2002，24(7):971-987.

[3] Kalal Z，Matas J，and Mikolajczyk K.P-N Learning:Bootstrapping Binary Classifiers by Structural Constraints[C]. Conference on CVPR，2010，238(6):49-56.

[4] Grabner H，Leistner C，and Bischof H.Semi-supervised Online Boosting for Robust Tracking[C].In Proceedings European Conference on Computer Vision(ECCV)，2008，5302: 234-247.

[5] Lucas B and Kanade T.An iterative image registration technique with an application to stereo vision[J].IJCAI，1981 (81):674-679.

[6] Zuysal M，Calonder M，Lepetit V.Fast Keypoint Recognition Using Random Ferns[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2009，24(7): 971-987.

[7] Ross D，Lim，Lin Jand Yang M H.Incremental learning for robust visual tracking[J].International Journal of Computer Vision，2008，77(1-3):125-141.

[8] Kwon J，Park F.Visual tracking via particle filtering on the affine group[C].Proceedins of IEEE International Conference on InformationandAutomation，2008，29(2-3): 997-1002.

A New Online Object Tracking Algorithm based on Rotation-Invariant Feature

LI Chang-long1，YANG Hai-bin2，LIU Jia2
(1.Joint Staff of PAP，Beijing 100000，China；2.Dept.of Electronic Technology，Engneering University of PAP，Xi’an Shaanxi 710086，China)

A novel rotation-invariant feature based on LBP for video object tracking，and similar to 2Bit BP feature is described，and based on the improved object detection model in TLD framework，a novel tracking framework called tracking-learning-detectionvalidator(TLDV)for onlie object tracking is proposed.By taking advantage of the SIFT feature of moving object，affine transform of the rotation is calculated and acquired.Experiments on some test videos indicate that the proposed algorithm is feasible and effective.

TLD；affine-transform；object tracking

TN91

A

1009-8054(2016)08-0082-05

?2016-03-20

國(guó)家自然科學(xué)基金(No.61403417)

李長(zhǎng)隆(1982—)，男，碩士研究生，工程師，主要研究方向?yàn)閳D像、視頻處理；

楊海濱(1982—)，男，碩士，講師，主要研究方向?yàn)槟Ｊ揭曨l分析。

劉佳(1982—)，男，博士，講師，主要研究方向?yàn)闄C(jī)器學(xué)習(xí)，目標(biāo)跟蹤?！?/p>