融合遮擋感知的在線Boosting跟蹤算法

王亞文，陳鴻昶，李邵梅，高超

（國(guó)家數(shù)字交換系統(tǒng)工程技術(shù)研究中心，河南 鄭州 450002）

融合遮擋感知的在線Boosting跟蹤算法

王亞文，陳鴻昶，李邵梅，高超

（國(guó)家數(shù)字交換系統(tǒng)工程技術(shù)研究中心，河南 鄭州 450002）

提出融合遮擋感知的在線Boosting跟蹤算法，該算法對(duì)跟蹤結(jié)果實(shí)時(shí)進(jìn)行遮擋檢測(cè)，根據(jù)檢測(cè)結(jié)果自適應(yīng)調(diào)整分類器更新策略。該方式能夠有效維護(hù)分類器特征池的純凈，提高算法在遮擋環(huán)境下的頑健性。實(shí)驗(yàn)結(jié)果表明，與傳統(tǒng)的在線Boosting跟蹤算法相比，改進(jìn)的算法能有效解決目標(biāo)遮擋問題。

在線Boosting；遮擋感知；ORB特征；目標(biāo)跟蹤

1 引言

目標(biāo)跟蹤的目的是在圖像序列中實(shí)時(shí)提取興趣目標(biāo)的運(yùn)動(dòng)軌跡[1]。目標(biāo)跟蹤在行為分析、智能監(jiān)控、交通監(jiān)管等領(lǐng)域都扮演著重要的角色。目標(biāo)跟蹤作為計(jì)算機(jī)視覺領(lǐng)域的研究熱點(diǎn)，近年來有了較大的發(fā)展，但同時(shí)仍然面臨著復(fù)雜背景、遮擋、目標(biāo)形變等許多挑戰(zhàn)。

為了適應(yīng)跟蹤過程中目標(biāo)外觀的變化，研究人員提出了一系列的在線學(xué)習(xí)跟蹤算法，主要有基于向量子空間學(xué)習(xí)的跟蹤算法、基于稀疏子空間學(xué)習(xí)的跟蹤算法以及基于分類器學(xué)習(xí)的跟蹤算法等[2]?；诜诸惼鲗W(xué)習(xí)的跟蹤算法主要包括基于SVM分類器的跟蹤算法[3]和基于Boosting分類器的跟蹤算法[4]。由于基于Boosting分類器的跟蹤算法具有對(duì)訓(xùn)練數(shù)據(jù)需求量小、實(shí)時(shí)性更好的優(yōu)點(diǎn)，所以研究更為廣泛。

Grabner[4]最先將Boosting算法應(yīng)用到目標(biāo)跟蹤中，該方法首先從特征池中挑選訓(xùn)練誤差最小的特征，然后利用它們訓(xùn)練弱分類器，并按照各自的權(quán)重線性組合成強(qiáng)分類器來進(jìn)行目標(biāo)跟蹤。跟蹤過程中，不斷根據(jù)跟蹤結(jié)果采集正負(fù)樣本來更新Boosting分類器以適應(yīng)目標(biāo)外觀變化。該算法的優(yōu)點(diǎn)在于其較強(qiáng)的適應(yīng)能力，能夠有效跟蹤外觀不斷變化的目標(biāo)。但是該算法在進(jìn)行模型更新過程中，對(duì)跟蹤結(jié)果高度依賴，如果跟蹤結(jié)果發(fā)生偏差，如目標(biāo)受到遮擋，那么目標(biāo)區(qū)域會(huì)包含背景信息，并且這些背景信息會(huì)被當(dāng)成正樣本，用于對(duì)目標(biāo)外觀模型進(jìn)行更新，從而污染分類器特征池，影響后續(xù)跟蹤。為了解決此問題，文獻(xiàn)[5]提出基于離線Boosting分類器和在線Boosting分類器融合的跟蹤算法，通過給離線分類器和在線分類器分配合理的權(quán)重來平衡算法的適應(yīng)性和抗遮擋性，但是該算法對(duì)權(quán)重的選擇缺乏理論指導(dǎo)。文獻(xiàn)[6]將分塊跟蹤[7]的思想引入到在線Boosting跟蹤算法中來解決遮擋問題。該方法將目標(biāo)分成多個(gè)子區(qū)域，對(duì)每個(gè)子區(qū)域分別利用在線Boosting算法進(jìn)行跟蹤評(píng)價(jià)。該算法的缺點(diǎn)在于子區(qū)域的劃分會(huì)降低分類器特征池中特征的數(shù)量，影響分類器性能。文獻(xiàn)[8]引入非線性遞歸最小二乘法來構(gòu)建自適應(yīng)非線性弱分類器，然后利用Boosting算法將弱分類器加權(quán)組合成強(qiáng)分類器進(jìn)行跟蹤。文獻(xiàn)[9]提出MKB（multiple kernel Boosting）跟蹤算法，該算法構(gòu)建一組SVM分類器，每個(gè)分類器對(duì)應(yīng)不同的核函數(shù)和特征，并將每一個(gè)SVM分類器作為一個(gè)弱分類器，然后利用Boosting算法將所有弱分類器加權(quán)組合成強(qiáng)分類器，用于目標(biāo)跟蹤。文獻(xiàn)[10]將半監(jiān)督學(xué)習(xí)引入到Boosting框架中來改善更新機(jī)制，該方法僅對(duì)第一幀樣本進(jìn)行標(biāo)記，并用有標(biāo)記的樣本對(duì)新采樣得到的樣本進(jìn)行監(jiān)督，一定程度上緩解了漂移問題，但隨著跟蹤過程中目標(biāo)外觀的變化，監(jiān)督機(jī)制將逐漸失去作用。文獻(xiàn)[11]提出一種協(xié)同訓(xùn)練框架來提高Boosting分類器性能，但該框架至少需要2個(gè)Boosting分類器才能生效。文獻(xiàn)[12]提出一種多實(shí)例學(xué)習(xí)跟蹤算法，該方法用樣本包的形式代替了單個(gè)樣本進(jìn)行標(biāo)記，提高了樣本標(biāo)記的質(zhì)量，但在遮擋環(huán)境下，該算法依然存在跟蹤漂移的問題。

針對(duì)目標(biāo)受到遮擋時(shí)，在線Boosting跟蹤算法頑健性差的問題，本文提出一種融合遮擋感知的在線Boosting跟蹤算法，有效感知跟蹤過程中可能發(fā)生的遮擋，從而自適應(yīng)調(diào)整分類器的更新策略，提高算法在遮擋環(huán)境下的頑健性。

2 遮擋感知器

為了提高在線Boosting跟蹤算法在遮擋環(huán)境下的頑健性，一個(gè)合理的思路是引入遮擋感知機(jī)制，在未感知到遮擋時(shí)，采集目標(biāo)區(qū)域的正樣本進(jìn)行分類器更新；在感知到遮擋后，自適應(yīng)調(diào)整分類器更新策略，暫不進(jìn)行基于正樣本的分類器更新。

本節(jié)將從遮擋感知方法、局部特征選擇、模糊特征過濾以及感知器更新4個(gè)方面進(jìn)行介紹。

2.1 遮擋感知方法

如圖1所示，遮擋物對(duì)目標(biāo)進(jìn)行遮擋是一個(gè)時(shí)變的過程，假設(shè)在第k幀，遮擋物即將遮擋目標(biāo)，遮擋物一般會(huì)先出現(xiàn)在背景域RB（圖 1中白框以內(nèi)，黑框以外的回形區(qū)域），然后出現(xiàn)在目標(biāo)域RT（圖 1中黑框以內(nèi)的區(qū)域）。遮擋感知的具體實(shí)現(xiàn)是通過記憶特定幀數(shù)中（如圖1中的m）背景域出現(xiàn)的局部特征，形成感知特征池 PB。

其中，||?||表示特征集合中特征數(shù)量，λO表示遮擋判決閾值，其設(shè)置規(guī)則如4.2節(jié)所述。如果感知出目標(biāo)受到遮擋，則不采集受污染的正樣本來更新分類器。

本文提出的遮擋感知方法是建立在局部特征匹配基礎(chǔ)之上，因此，選擇合適的局部特征是一個(gè)關(guān)鍵問題，下面將介紹局部特征選擇依據(jù)。

2.2 局部特征選擇

目前，應(yīng)用最廣泛的局部特征是 SIFT及其各種變換特征，如SURF、PCA-SIFT等。但是這些特征普遍具有處理速度慢的特點(diǎn)，難以滿足本文實(shí)時(shí)處理的需求。綜合處理精度和速度，本文采用Rublee[13]提出的ORB算法，它改進(jìn)了FAST角點(diǎn)和BRIEF描述子無方向性的缺點(diǎn)，提出了方向oFAST角點(diǎn)和旋轉(zhuǎn)BRIEF描述子并將其結(jié)合，使特征具備了旋轉(zhuǎn)不變性[14]。更值得關(guān)注的是，由于旋轉(zhuǎn)BRIEF是一種二值描述方法，因此基于ORB特征進(jìn)行相似性匹配時(shí)，用漢明距離代替了SIFT特征匹配中的歐式距離，從而大大減少了匹配時(shí)間。因此本文以O(shè)RB局部特征為基礎(chǔ)，構(gòu)建遮擋感知器。

2.3 基于雙分類器判決的模糊特征過濾

目標(biāo)區(qū)域和背景區(qū)域可能存在顏色、紋理相近的局部區(qū)域，如圖2所示，目標(biāo)域（圖2中黑框以內(nèi)的區(qū)域）中的R1區(qū)域與背景域（圖2中白框以內(nèi)，黑框以外的回形區(qū)域）中的R2區(qū)域外觀近似，因此在利用2.1節(jié)內(nèi)容進(jìn)行遮擋感知的時(shí)候，會(huì)造成遮擋誤判。本文將這種存在于背景中且與目標(biāo)外觀高度相似的局部特征定義為模糊特征[15]（ambiguous feature），用Fambiguous表示。模糊特征不僅自身不具有對(duì)目標(biāo)與背景的區(qū)分能力，并且會(huì)在目標(biāo)特征集合和背景特征集合之間構(gòu)建過渡橋梁來弱化和之間的區(qū)分性，如式(4)。

其中，符號(hào)“～”表示匹配關(guān)系。

為了避免這類模糊特征對(duì)遮擋感知的影響，本文提出基于雙分類器判決的模糊特征過濾方法。該方法需要增加一個(gè)與背景特征分類器CB相對(duì)的目標(biāo)特征分類器CT。初始化時(shí)，它們分別由首幀中的目標(biāo)區(qū)域和背景區(qū)域的 ORB特征訓(xùn)練得到。后續(xù)根據(jù)各幀的跟蹤結(jié)果，不斷進(jìn)行特征池更新。

圖2 模糊特征說明

利用雙分類器進(jìn)行模糊特征過濾，對(duì)于新獲得的目標(biāo)域特征集合

其中，λT表示分類器CT的判決門限，表示能被分類器CT接受的最大漢明距離；λB表示分類器CB的判決門限，表示能被分類器CB接受的最大漢明距離。本文將λT和λB均設(shè)為45，這樣那些既屬于ST又屬于SB的特征就是模糊特征，然后通過過濾模糊特征的方式來對(duì)臨時(shí)特征集合提純，獲得遮擋特征集合FO。

其中，“”符號(hào)表示差集。最后根據(jù)式(3)進(jìn)行遮擋判決。

2.4 遮擋感知器的更新

為了提高遮擋感知器的適應(yīng)能力，感知器需要不斷更新，即豐富分類器CT和CB的特征池，因此，在每幀圖像完成遮擋感知后，需要對(duì)CT和CB的特征池進(jìn)行更新。

理論上，為了保證遮擋感知的效果，感知器記憶的特征越多越好，但是受存儲(chǔ)空間和算法效率的約束，遮擋感知器記憶的ORB特征不可能無限制地增長(zhǎng)，因此就需要限定遮擋感知器的記憶容量為l。這樣，分類器CT和CB的更新方式如式(11)、式(12)。

很明顯，記憶容量的限定在一定程度上會(huì)影響遮擋感知器的判決準(zhǔn)確度。如假設(shè)分類器只有 10幀的記憶，那么當(dāng)遮擋持續(xù) 10幀之后，背景分類器CB中能有效區(qū)分遮擋的特征就會(huì)逐漸被遺忘，隨著時(shí)間的推移，遮擋感知器將失去對(duì)遮擋情況的正確感知，從而跟蹤器再次面臨漂移問題。實(shí)驗(yàn)部分將會(huì)詳細(xì)分析遮擋感知器的記憶容量對(duì)于算法性能的影響，并給出其設(shè)置依據(jù)。

整個(gè)遮擋感知器的結(jié)構(gòu)如圖3所示。

3 遮擋感知器與跟蹤器融合

本文提出了一種遮擋感知方法，利用該方法來監(jiān)督在線Boosting跟蹤算法中分類器的更新機(jī)制，避免采集受污染的正樣本對(duì)分類器進(jìn)行錯(cuò)誤的更新，保證Boosting分類器特征池的純凈，從根本上解決在線Boosting跟蹤算法面對(duì)目標(biāo)遮擋時(shí)產(chǎn)生的漂移問題。

改進(jìn)的算法分別構(gòu)建遮擋感知器和跟蹤器，針對(duì)每幀圖像，將跟蹤器的跟蹤結(jié)果作為感知區(qū)域，并利用遮擋感知器對(duì)區(qū)域圖像進(jìn)行檢測(cè)，根據(jù)返回的遮擋感知結(jié)果監(jiān)督跟蹤器的更新。改進(jìn)的算法步驟如算法1所示。

算法1 改進(jìn)的跟蹤算法

target=人為標(biāo)記要跟蹤的目標(biāo)；

對(duì)在線Boosting分類器進(jìn)行初始化；

對(duì)目標(biāo)特征分類器CT和背景特征分類器CB初始化；

while 獲得一幀新的圖像do

sample[ ]=采集樣本；

target=Boosting(sample[ ])；

F[ ]=從target中提取ORB特征；

CT和CB對(duì) F[ ]分類并過濾模糊特征得到FO[]；

只采集負(fù)樣本更新Boosting分類器；

圖3 遮擋感知器結(jié)構(gòu)

采集正負(fù)樣本更新Boosting分類器；

end

更新遮擋感知器；

end

遮擋感知器與跟蹤器是相互依賴的關(guān)系，遮擋感知域的構(gòu)建依賴跟蹤器的跟蹤結(jié)果，而同時(shí)跟蹤器的更新策略依賴于遮擋感知器的遮擋檢測(cè)結(jié)果。并且遮擋感知器與跟蹤器也是相互促進(jìn)的關(guān)系，有效的遮擋感知能優(yōu)化分類器的更新策略，提高跟蹤器的跟蹤精度，而同時(shí)準(zhǔn)確的目標(biāo)定位又會(huì)幫助遮擋感知器構(gòu)建準(zhǔn)確的感知域，保證遮擋感知器的有效應(yīng)用。

4 實(shí)驗(yàn)結(jié)果及分析

因?yàn)楸疚牡暮诵乃枷胧菍?duì)在線Boosting跟蹤算法引入遮擋感知機(jī)制以提高其在遮擋環(huán)境下的頑健性，所以實(shí)驗(yàn)部分首先對(duì)遮擋感知器進(jìn)行性能測(cè)試，其中包括遮擋漏檢率和誤檢率的統(tǒng)計(jì)、記憶容量的確定；隨后挑選了傳統(tǒng)在線Boosting跟蹤算法[4]（OAB）、半監(jiān)督 Boosting跟蹤算法[10]（SBT）、多實(shí)例學(xué)習(xí)跟蹤算法[12]（MIL）以及一種靜態(tài)抗遮擋跟蹤算法[7]（Frag）進(jìn)行遮擋環(huán)境下的跟蹤對(duì)比實(shí)驗(yàn)，評(píng)估本文算法面對(duì)遮擋問題的頑健性；最后利用12幅圖片序列對(duì)本文算法與文獻(xiàn)[16]中提到的 10種現(xiàn)階段著名跟蹤算法進(jìn)行綜合性能對(duì)比，并深入分析本文算法的適應(yīng)性。實(shí)驗(yàn)中用到的標(biāo)準(zhǔn)測(cè)試序列來源于文獻(xiàn)[16]。

4.1 實(shí)驗(yàn)參數(shù)

1) Boosting算法參數(shù)

參考已有的在線Boosting跟蹤算法，選擇器數(shù)量為30，每個(gè)選擇器包含的弱分類器個(gè)數(shù)為100，采樣區(qū)域覆蓋率為0.95，搜索系數(shù)為2。

2) ORB算法參數(shù)

ORB算法中基于 oFAST角點(diǎn)檢測(cè)來定位興趣點(diǎn)，為了能使 oFAST算法在跟蹤窗口中檢測(cè)出盡可能多的角點(diǎn)，本文采用FAST-9進(jìn)行角點(diǎn)檢測(cè)，其原理是對(duì)每一個(gè)候選點(diǎn)周圍的16個(gè)像素點(diǎn)進(jìn)行檢測(cè)，如果存在連續(xù)9個(gè)像素點(diǎn)比候選點(diǎn)像素值加上數(shù)值T后（T為任意整數(shù)）還大或是比候選點(diǎn)像素值減去數(shù)值T后還小，則該候選點(diǎn)就是角點(diǎn)，參數(shù)T設(shè)為25。

3) 實(shí)驗(yàn)環(huán)境

電腦配置為3.2 GHz CPU，7.86 GB內(nèi)存，實(shí)驗(yàn)平臺(tái)為VS2010。

4.2 遮擋感知器性能測(cè)試

本節(jié)實(shí)驗(yàn)利用標(biāo)準(zhǔn)測(cè)試序列 faceOcc1和faceOcc2來測(cè)試遮擋感知器性能，其方法是利用已標(biāo)記好的真實(shí)目標(biāo)區(qū)域構(gòu)建感知區(qū)域，利用不同的遮擋閾值λO來測(cè)試遮擋感知器的效果。統(tǒng)計(jì)在不同遮擋閾值條件下，遮擋感知器的漏檢率（目標(biāo)區(qū)域?qū)嶋H受到遮擋，但未觸發(fā)遮擋感知器）和誤檢率（目標(biāo)區(qū)域?qū)嶋H未受遮擋，但觸發(fā)了遮擋感知器），其結(jié)果如表1所示。

從表1結(jié)果來看，對(duì)于序列faceOcc1，當(dāng)遮擋閾值λO定為50時(shí)，其感知結(jié)果較為理想，對(duì)于序列faceOcc2，當(dāng)遮擋閾值λO定為35時(shí)，其感知結(jié)果較為理想。但是本節(jié)實(shí)驗(yàn)是利用標(biāo)記好的真實(shí)跟蹤區(qū)域來測(cè)試，實(shí)際跟蹤中，由于窗口與目標(biāo)會(huì)產(chǎn)生一定偏差，因此實(shí)際感知結(jié)果要弱于表1結(jié)果。

因?yàn)閺囊环鶊D片的某個(gè)區(qū)域提取出的 ORB特征數(shù)量與該區(qū)域的大小有著直接關(guān)系，在對(duì)faceOcc1序列進(jìn)行測(cè)試的時(shí)候，跟蹤窗口大小為114× 162像素，而在對(duì)faceOcc2序列進(jìn)行測(cè)試的時(shí)候，跟蹤窗口大小為82×98像素。因此后續(xù)實(shí)驗(yàn)中，遮擋閾值λO大小的設(shè)置依據(jù)為

4.3 評(píng)估遮擋感知器記憶容量對(duì)算法性能影響

前面已經(jīng)討論過遮擋感知器的更新是一個(gè)兩難選擇，從遮擋感知準(zhǔn)確度的角度來考慮，感知器記憶的 ORB特征一定是越多越好，但是從存儲(chǔ)空間和算法效率來考慮，感知器記憶的 ORB特征不宜太多。本節(jié)實(shí)驗(yàn)利用遮擋持續(xù)時(shí)間最長(zhǎng)的faceOcc1來測(cè)試。測(cè)試過程中，分別限定遮擋感知器的記憶容量為10幀、20幀、30幀和40幀，并統(tǒng)計(jì)每幀圖像的定位誤差（定位誤差用跟蹤窗口位置和目標(biāo)實(shí)際位置間的距離來衡量），其結(jié)果如圖4(a)所示。從圖中可以看出，前50幀時(shí)4條曲線基本吻合，50幀之后，遮擋情況出現(xiàn)，由于遮擋感知器記憶的特征數(shù)量不一樣導(dǎo)致判決結(jié)果不一致，從而使Boosting分類器維護(hù)的特征池發(fā)生變化，所以4條曲線逐漸分離。4條曲線的分布表明，遮擋感知器記憶容量的不同會(huì)對(duì)跟蹤器的定位產(chǎn)生較大影響，隨著遮擋感知器記憶的特征數(shù)量的減小，跟蹤器的定位誤差會(huì)逐漸上升。但同時(shí)，根據(jù)圖4 (b)結(jié)果可以發(fā)現(xiàn)，記憶容量的限定有助于提高算法效率。如圖4 (b)所示，當(dāng)記憶容量為40幀時(shí)，每秒只能處理5.5幀圖像；當(dāng)記憶容量降到10幀時(shí)，每秒能處理至少9幀圖像。

表1 遮擋感知器性能測(cè)試

綜合考慮算法性能和效率，后續(xù)實(shí)驗(yàn)中，設(shè)置遮擋感知器的記憶容量為 30幀，即每次保存最新的30幀圖像的ORB特征。

4.4 遮擋環(huán)境下跟蹤算法性能比較

本文挑選了傳統(tǒng)在線Boosting跟蹤算法（OAB）、半監(jiān)督 Boosting跟蹤算法（SBT）、多實(shí)例學(xué)習(xí)跟蹤算法（MIL）以及一種靜態(tài)抗遮擋跟蹤算法（Frag）與本文算法進(jìn)行比較，利用6種包含遮擋內(nèi)容的序列coke、tiger2、faceOcc1、faceOcc2、walking2和woman進(jìn)行測(cè)試（粗略定義遮擋情況為目標(biāo)被遮擋的區(qū)域超過）。每幀圖像定位誤差（定位誤差用跟蹤窗口位置和目標(biāo)實(shí)際位置間的距離來衡量）和跟蹤結(jié)果分別如圖5和圖6所示。

標(biāo)準(zhǔn)測(cè)試序列 coke在第 39、165、220、253幀處出現(xiàn)遮擋情況，其中，在第220和253幀處出現(xiàn)嚴(yán)重遮擋（目標(biāo)被遮擋的區(qū)域超過），但從圖5中可以看出在第 39、165、220幀處，本文算法的定位誤差維持在較小數(shù)值上，而在第253幀處，雖然本文算法的定位誤差有所增加，但依然保持在可控范圍之內(nèi)，沒有丟失目標(biāo)。

圖4 遮擋感知器的記憶容量對(duì)算法性能的影響

標(biāo)準(zhǔn)測(cè)試序列tiger2不僅包含有遮擋內(nèi)容，同時(shí)目標(biāo)外觀還在不斷發(fā)生變化，因此跟蹤難度較大。其中，在第 97、253、337幀等處出現(xiàn)遮擋情況，同時(shí)在第41、125、273、316幀等處目標(biāo)外觀發(fā)生較大程度的改變。本文算法由于增加了遮擋感知器，能有效降低遮擋問題對(duì)算法的影響。此外在線Boosting跟蹤算法本身具有較強(qiáng)的在線學(xué)習(xí)適應(yīng)能力，能有效跟蹤外觀變化的目標(biāo)，因此在 tiger2序列中，本文算法能對(duì)目標(biāo)進(jìn)行有效地跟蹤。

faceOcc1和 faceOcc2是用來測(cè)試跟蹤算法面對(duì)遮擋問題頑健性的標(biāo)準(zhǔn)測(cè)試序列，其中，faceOcc1在115、177、308、496、828幀等處出現(xiàn)遮擋情況，由于在該序列中，遮擋持續(xù)時(shí)間較長(zhǎng)，超出了遮擋感知器的記憶容量，導(dǎo)致定位誤差出現(xiàn)局部波動(dòng)，但本文算法自始至終沒有出現(xiàn)窗口漂移現(xiàn)象。faceOcc2在141、420、702幀等處出現(xiàn)遮擋情況，在 343、594幀等處目標(biāo)外觀發(fā)生變化，但無論是遮擋情況還是目標(biāo)外觀變化，本文算法始終保持準(zhǔn)確的目標(biāo)定位。

圖5 定位誤差定量分析

標(biāo)準(zhǔn)測(cè)試序列walking2在204幀處出現(xiàn)目標(biāo)遮擋情況，并且目標(biāo)尺度發(fā)生變化，本文算法雖然不具備尺度調(diào)節(jié)功能，但是由于目標(biāo)尺度是緩慢變化的，因此跟蹤算法能夠通過在線學(xué)習(xí)的方式有效適應(yīng)這種變化，不會(huì)出現(xiàn)丟失目標(biāo)的情況。

標(biāo)準(zhǔn)測(cè)試序列woman在133、390幀等處出現(xiàn)目標(biāo)遮檔情況，此外目標(biāo)還發(fā)生一定程度的形態(tài)和尺度變化，但是從圖6結(jié)果來看，本文算法能有效克服目標(biāo)遮擋以及目標(biāo)形態(tài)、尺度變化對(duì)跟蹤算法的影響。

為了檢驗(yàn)遮擋感知器在實(shí)際跟蹤過程中的性能，本文統(tǒng)計(jì)遮擋感知器在實(shí)際跟蹤過程中的誤檢率和漏檢率，結(jié)果如表2所示，可以看出在實(shí)際跟蹤過程中，遮擋感知器能夠正常應(yīng)用，但依然存在著一定程度的漏檢和誤檢，下面將分析遮擋漏檢和誤檢對(duì)跟蹤算法的影響。

在線 Boosting跟蹤算法產(chǎn)生窗口漂移的原因是不正確的樣本訓(xùn)練產(chǎn)生誤差累積，因此遮擋感知器的作用就是延緩Boosting分類器的誤差累積過程，即使一些遮擋情況被漏判，也不會(huì)對(duì)跟蹤器產(chǎn)生嚴(yán)重后果。對(duì)于遮擋誤判的情況，會(huì)限制跟蹤器的學(xué)習(xí)能力，降低算法適應(yīng)性，但是從表2結(jié)果看出，誤檢率普遍較低，不會(huì)對(duì)跟蹤算法的適應(yīng)性產(chǎn)生根本影響。

圖6 6種測(cè)試序列的跟蹤結(jié)果

表2 遮擋感知器實(shí)際漏檢率和誤檢率統(tǒng)計(jì)

4.5 與其他頑健跟蹤算法的跟蹤性能比較

4.4節(jié)實(shí)驗(yàn)說明本文算法對(duì)遮擋問題具有較好的頑健性，為了進(jìn)一步評(píng)估本文算法全方位的性能，根據(jù)文獻(xiàn)[16]的研究成果挑選了10種現(xiàn)階段性能較好的跟蹤算法（TLD、MIL、CT、DFT、IVT、SCM、VTD、ASLA、Struck、CSK）做對(duì)比，在 12幅圖片序列（deer、girl、mountainBike、singer2、fish、soccer、doll、liquor、matrix、motorRolling、shaking、walking1）上進(jìn)行測(cè)試，測(cè)試序列包括目標(biāo)形變、光照變化、復(fù)雜背景、運(yùn)動(dòng)模糊等挑戰(zhàn)內(nèi)容。每種算法在所有測(cè)試序列中的平均定位誤差記錄在表3中，其中，定位誤差用跟蹤窗口位置與目標(biāo)真實(shí)位置之間的距離來表示，單位是像素。表格中最右列的數(shù)據(jù)是利用本文跟蹤算法獲得的平均定位誤差，括號(hào)內(nèi)的數(shù)值表示本文算法就定位準(zhǔn)確度而言，在11種跟蹤算法中的排名。

下面就目標(biāo)外觀變化、運(yùn)動(dòng)模糊、目標(biāo)尺度變化、復(fù)雜背景干擾等方面對(duì)算法進(jìn)行適應(yīng)性分析。

目標(biāo)外觀變化。當(dāng)利用包含有目標(biāo)外觀變化的標(biāo)準(zhǔn)測(cè)試序列motorRolling和girl進(jìn)行測(cè)試時(shí)，本文算法的表現(xiàn)較好，在 11種跟蹤算法比較中分別排第1、第2。出現(xiàn)這樣的情況是因?yàn)樵诰€Boosting跟蹤算法是一種在線學(xué)習(xí)跟蹤算法，該算法通過不斷地采集正負(fù)樣本來訓(xùn)練分類器使分類器能夠較好地適應(yīng)目標(biāo)外觀的變化。

運(yùn)動(dòng)模糊。由于本文算法采用的是Haar-like特征，對(duì)圖像模糊頑健性較好，因此本文算法在面對(duì)運(yùn)動(dòng)模糊問題時(shí)表現(xiàn)較好，如利用標(biāo)準(zhǔn)測(cè)試序列fish、deer和mountainBike進(jìn)行測(cè)試時(shí)，在11種跟蹤算法比較中分別排第1、第2、第2。

目標(biāo)尺度變化。由于本文算法無法自適應(yīng)調(diào)節(jié)跟蹤窗口大小，因此在跟蹤尺度發(fā)生變化的目標(biāo)時(shí)表現(xiàn)一般，如利用標(biāo)準(zhǔn)測(cè)試序列walking1、doll和singer2進(jìn)行測(cè)試的時(shí)候，在11種跟蹤算法比較中分別排第5、第4、第3。

復(fù)雜背景干擾。從表3可以看出，當(dāng)利用標(biāo)準(zhǔn)測(cè)試序列matrix、soccer和shaking進(jìn)行測(cè)試的時(shí)候，本文算法的表現(xiàn)很不理想，在 11種跟蹤算法比較中分別排第 6、第 6、第 4。matrix、soccer以及 shaking都是包含有復(fù)雜背景干擾的標(biāo)準(zhǔn)測(cè)試序列，其中，序列matrix背景中灑落的雨水以及閃電帶來的亮度變化、序列 soccer背景中漂浮的紅色煙花、序列shaking背景中燈光的變化都屬于復(fù)雜背景干擾的范疇。由于跟蹤窗口中除了跟蹤目標(biāo)外，不可避免的會(huì)包含一定量的背景信息，因此復(fù)雜的背景變化依然會(huì)對(duì)分類器特征池產(chǎn)生一定量的污染，導(dǎo)致產(chǎn)生窗口漂移現(xiàn)象，所以本文算法在復(fù)雜背景下跟蹤的頑健性較差。

4.6 算法處理效率測(cè)試

為了評(píng)估本文算法的處理效率，分別統(tǒng)計(jì)了本文算法與OAB、SBT、MIL和Frag在6個(gè)測(cè)試序列（coke、tiger2、faceOcc1、faceOcc2、walking2、woman）上的處理速度，如表 4所示，表中數(shù)據(jù)記錄的是5種算法分別在6個(gè)測(cè)試序列上處理速度的平均值，單位為每秒處理的幀數(shù)，表中最右側(cè)數(shù)據(jù)為本文算法的處理速度?？梢钥闯?，由于本文改進(jìn)在線Boosting跟蹤算法增加了遮擋感知器，所以運(yùn)算復(fù)雜度有所增加，因此和OAB算法相比，本文算法在效率方面有所下降，但和SBT以及Frag算法相比，本文算法在運(yùn)算速率方面依然具有一定優(yōu)勢(shì)。另外需要說明的是，表 4結(jié)果是在遮擋感知器記憶容量為30幀特征的條件下測(cè)得的，如果想要進(jìn)一步提高算法速度，可以通過減小遮擋感知器的記憶容量來實(shí)現(xiàn)。

表3 與現(xiàn)有跟蹤算法在定位準(zhǔn)確度（像素）方面的比較

表4 跟蹤算法運(yùn)算速度比較

5 結(jié)束語(yǔ)

本文針對(duì)傳統(tǒng)在線Boosting跟蹤算法在目標(biāo)發(fā)生遮擋時(shí)易造成窗口漂移的缺點(diǎn)，引入遮擋感知機(jī)制，對(duì)目標(biāo)是否受到遮擋進(jìn)行檢測(cè)，并根據(jù)檢測(cè)結(jié)果調(diào)整分類器更新策略，避免了采集受污染的正樣本進(jìn)行訓(xùn)練，從而維護(hù)分類器特征池的純凈。為了提高遮擋感知的精度，對(duì)遮擋感知中的特征選擇、過濾、匹配及更新等各個(gè)環(huán)節(jié)進(jìn)行了設(shè)計(jì)，保證了算法的應(yīng)用效果。本文在實(shí)驗(yàn)部分對(duì)遮擋感知器的性能和算法的整體跟蹤性能進(jìn)行了測(cè)試，并對(duì)跟蹤算法的適應(yīng)性進(jìn)行了深入分析和討論，實(shí)驗(yàn)結(jié)果表明，本文算法在遮擋條件下具有較好的頑健性。值得一提的是，本文提出的遮擋感知算法還可以與其他的在線自適應(yīng)跟蹤算法相結(jié)合，提高這些算法應(yīng)對(duì)遮擋問題的頑健性。

[1] 羅會(huì)蘭, 杜芳芳, 孔繁勝. 像素點(diǎn)特征加權(quán)的尺度自適應(yīng)跟蹤算法[J].通信學(xué)報(bào), 2015, 36(10): 200-211.LUO H L, DU F F, KONG F S. Pixel feature-weighted scale-adaptive object tracking algorithm[J]. Journal on Communication, 2015, 36(10):200-211.

[2] 張煥龍, 胡士強(qiáng), 楊國(guó)勝. 基于外觀模型學(xué)習(xí)的視頻目標(biāo)跟蹤方法綜述[J]. 計(jì)算機(jī)研究與發(fā)展, 2015, 52(1): 177-190.ZHANG H L, HU S Q, YANG G S. Video object tracking based on appearance models learning[J]. Journal of Computer Research and Development, 2015, 52(1):177-190.

[3] BAI Y, TANG M. Robust tracking via weakly supervised ranking SVM[C]//The IEEE Conference on Computer Vision and Pattern Recognition. 2012: 1854-1861.

[4] GRABNER H, BISCHOF H. On-line boosting and vision[C]//The IEEE Conference on Computer Vision and Pattern Recognition. 2006:260-267.

[5] 程有龍, 李斌, 張文聰, 等. 融合先驗(yàn)知識(shí)的自適應(yīng)行人跟蹤算法[J]. 模式識(shí)別與人工智能, 2009, 22(5): 704-708.CHENG Y L, LI B, ZHANG W C, et al. An adaptive pedestrian tracking algorithm with prior knowledge[J]. PR amp; AI, 2009, 22(5): 704-708.

[6] 顏佳, 吳敏淵. 遮擋環(huán)境下采用在線Boosting的目標(biāo)跟蹤[J]. 光學(xué)精密工程, 2012, 20(2): 439-446.YAN J, WU M Y. On-line boosting based target tracking under occlusion[J]. Optics and Precision Engineering, 2012, 20(2): 439-446.

[7] ADAM A, RIVLIN E, SHIMSHONI I. Robust fragments-based tracking using the integral histogram[C]//The IEEE Conference on Computer Vision and Pattern Recognition. 2006: 798-805.

[8] HU H, MA B, WU Y, et al. Kernel regression based online boosting tracking[J]. Journal of Information Science and Engineering, 2015,31(1): 267-282.

[9] YANG F, LU H, YANG M H. Robust visual tracking via multiple kernel boosting with affinity constraints[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2014, 24(2): 242-254.

[10] GRABNER H, LEISTNER C, BISCHOF H. Semi-supervised on-line boosting for robust tracking[C]//The European Conference on Computer Vision. 2008: 234-247.

[11] 陳思, 蘇松志, 李紹滋, 等. 基于在線半監(jiān)督 Boosting的協(xié)同訓(xùn)練目標(biāo)跟蹤算法[J]. 電子與信息學(xué)報(bào), 2014, 36(4): 888-895.CHEN S, SU S Z, LI S Z, et al. A novel co-training object tracking algorithm based on online semi-supervised Boosting[J]. Journal of Electronics amp; Information Technology, 2014, 36(4): 888-895.

[12] BABENKO B, YANG M H, BELONGIE S. Robust object tracking with online multiple instance learning[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2011, 33(8): 1619-1632.

[13] RUBLEE E, RABAUD V, KONOLIGE K, et al. ORB: an efficient alternative to SIFT or SURF[C]//The International Conference on Computer Vision. 2011: 2564-2571.

[14] 唐劍琪, 謝林江, 袁慶生, 等. 基于 ORB 的鏡頭邊界檢測(cè)算法[J].通信學(xué)報(bào)，2013，34(11): 184-190.TANG J Q, XIE L J, YUAN Q S, et al. Shot boundary detection algorithm based on ORB[J]. Journal on Communication, 2013, 34(11):184-190.

[15] PERNICI F, DEL B A. Object tracking by oversampling local features[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2014, 36(12): 2538-2551.

[16] WU Y, LIM J, YANG M H. Online object tracking: a benchmark[C]//The IEEE Conference on Computer Vision and Pattern Recognition. 2013: 2411-2418.

Online Boosting tracking algorithm combined with occlusion sensing

WANG Ya-wen, CHEN Hong-chang, LI Shao-mei, GAO Chao
(National Digital Switching System Engineering amp; Technology Ramp;D Center, Zhengzhou 450002, China)

Online Boosting tracking algorithm combined with occlusion sensing was presented. In this method, occlusion sensor was introduced to check the tracking results, and classifier updating strategy was adjusted depending on the occlusion checking results. By this way, the feature pool of the classifier can be kept pure, which will improve the tracking robustness under occlusion. Experimental results show that compared with traditional Boosting tracking algorithm, improved algorithm can solve the problem of occlusion very well.

online Boosting, occlusion sensing, ORB feature, object tracking

s：The National Natural Science Foundation of China (No.61379151, No.61521003), The National Science and Technology Support Program of China (No.2014BAH30B01), The Henan Province Science Found for Distinguished Young Scholars of China (No.144100510001)

TP391.41

A

10.11959/j.issn.1000-436x.2016181

2016-01-25；

2016-08-10

國(guó)家自然科學(xué)基金資助項(xiàng)目（No.61379151, No.61521003）；國(guó)家科技支撐計(jì)劃基金資助項(xiàng)目（No.2014BAH30B01）；河南省杰出青年基金資助項(xiàng)目（No.144100510001）

王亞文（1990-），男，河南鄭州人，碩士，國(guó)家數(shù)字交換系統(tǒng)工程技術(shù)研究中心博士生，主要研究方向?yàn)槎嗝襟w技術(shù)、模式識(shí)別、計(jì)算機(jī)視覺等。

陳鴻昶（1964-），男，河南新密人，國(guó)家數(shù)字交換系統(tǒng)工程技術(shù)研究中心教授、博士生導(dǎo)師，主要研究方向?yàn)殡娦啪W(wǎng)安全防護(hù)技術(shù)。

李邵梅（1982-），女，湖北鐘祥人，博士，國(guó)家數(shù)字交換系統(tǒng)工程技術(shù)研究中心講師，主要研究方向?yàn)槎嗝襟w技術(shù)、模式識(shí)別、計(jì)算機(jī)視覺等。

高超（1982-），男，河南新鄭人，博士，國(guó)家數(shù)字交換系統(tǒng)工程技術(shù)研究中心講師，主要研究方向?yàn)槎嗝襟w技術(shù)、模式識(shí)別、計(jì)算機(jī)視覺等。