基于支持向量機(jī)優(yōu)化的行人跟蹤學(xué)習(xí)檢測(cè)方法

孫煒+薛敏+孫天宇+胡夢(mèng)云+呂云峰

摘 要：提出一種基于SVM（Support Vector Machine）優(yōu)化的TLD（Track-Learning-Detection）行人檢測(cè)跟蹤算法.將行人作為正樣本，背景作為負(fù)樣本，提取出行人的HOG特征并投入線性SVM中進(jìn)行訓(xùn)練，得到行人檢測(cè)分類器，并標(biāo)定出目標(biāo)區(qū)域，實(shí)現(xiàn)行人自動(dòng)識(shí)別；然后在TLD算法的基礎(chǔ)上對(duì)行人進(jìn)行跟蹤和在線學(xué)習(xí)，估計(jì)檢測(cè)出的正負(fù)樣本并實(shí)時(shí)修正檢測(cè)器在當(dāng)前幀中的誤檢，利用相鄰幀間特征點(diǎn)配準(zhǔn)剔除誤配點(diǎn)，同時(shí)更新跟蹤器數(shù)據(jù)，以避免后續(xù)出現(xiàn)類似錯(cuò)誤.實(shí)驗(yàn)表明，該算法能夠適應(yīng)遮擋變化且自動(dòng)識(shí)別并穩(wěn)定跟蹤目標(biāo)行人，較傳統(tǒng)跟蹤算法具有更強(qiáng)的魯棒性.

關(guān)鍵詞：支持向量機(jī)；行人檢測(cè)跟蹤；TLD

中圖分類號(hào)：TP391.4 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1674-2974（2016）10-0102-08

Abstract：A new method based on optimized TLD （Track-Learning-Detection） and SVM （Support Vector Machine） for tracking pedestrian was proposed. First， with pedestrians as positive samples and the background as negative samples respectively， HOG （Histogram of Oriented Gradient） descriptor of pedestrian was extracted and combined with linear SVM to train the pedestrian classifier，which was used to obtain the calibrated pedestrian area accurately. Then， adaptive tracking and online learning on the pedestrians on the basis of TLD were integrated to estimate the reliability of the positive and negative samples， to rectify error existing in the current frame caused by detection and to update the tracking data simultaneously to avoid subsequent similar mistakes. The experiment results demonstrate that， compared with the conventional tracking algorithm， the proposed algorithm can not only significantly adapt to occlusions and appearance changes but also automatically identify and track pedestrian targets at arbitrary position， manifesting stronger robustness.

Key words：support vector machine； pedestrian detection and tracking； TLD

在計(jì)算機(jī)視覺(jué)應(yīng)用中，長(zhǎng)期穩(wěn)定實(shí)時(shí)檢測(cè)跟蹤運(yùn)動(dòng)物體已經(jīng)成為一個(gè)重要的研究課題，隨著技術(shù)的不斷成熟，該領(lǐng)域的應(yīng)用也相當(dāng)廣泛，比如：工業(yè)生產(chǎn)、實(shí)時(shí)監(jiān)督、自動(dòng)目標(biāo)定位、自動(dòng)導(dǎo)航、人機(jī)交互、增強(qiáng)現(xiàn)實(shí)技術(shù)、SLAM、游戲開(kāi)發(fā)等.研究人員根據(jù)實(shí)際應(yīng)用的需要提出不同的跟蹤方案，其中D.Comaniciu等[1]利用改進(jìn)的mean-shift來(lái)跟蹤運(yùn)動(dòng)物體，該方法可通過(guò)迭代步驟找到離跟蹤目標(biāo)最近的位置，但其不能解決目標(biāo)被遮擋或發(fā)生形變等問(wèn)題，在前后背景顏色相似的環(huán)境中，容易發(fā)生目標(biāo)跟丟的情況.Martinez等[2]用背景差分法提取目標(biāo)，根據(jù)軌跡建立數(shù)學(xué)模型實(shí)現(xiàn)行人跟蹤，該方法可取得較好的檢測(cè)效果，但由于計(jì)算時(shí)間長(zhǎng)，跟蹤的實(shí)時(shí)性不能得到保證.季玉龍等[3]提出的對(duì)運(yùn)動(dòng)目標(biāo)建模的方法需要大量的先驗(yàn)知識(shí)，對(duì)視頻幀中出現(xiàn)的相似目標(biāo)干擾沒(méi)有很好的魯棒性，不能保證長(zhǎng)期的跟蹤性和適應(yīng)性.

TLD算法[4-7]將檢測(cè)過(guò)程和跟蹤過(guò)程融合起來(lái)并引入學(xué)習(xí)機(jī)制，當(dāng)目標(biāo)發(fā)生形變或被遮擋時(shí)，可以實(shí)時(shí)更新目標(biāo)模型，實(shí)現(xiàn)在線學(xué)習(xí)和評(píng)估，在一定程度上可以克服目標(biāo)外觀變化及運(yùn)動(dòng)模糊，具有較強(qiáng)的穩(wěn)定性.但是TLD算法中的跟蹤目標(biāo)并不能自動(dòng)識(shí)別，當(dāng)目標(biāo)移動(dòng)過(guò)快時(shí)，跟蹤準(zhǔn)確度也有所下降，因此泛化性仍有待提高.本文在其基礎(chǔ)上提出了一種基于支持向量機(jī)分類優(yōu)化的行人跟蹤學(xué)習(xí)檢測(cè)方法，該方法利用SVM分類器檢測(cè)到待跟蹤目標(biāo)，保留TLD算法在復(fù)雜背景下對(duì)目標(biāo)區(qū)域?qū)崟r(shí)學(xué)習(xí)與跟蹤的基礎(chǔ)上在檢測(cè)模塊中加入圖像特征點(diǎn)配準(zhǔn)[8]以實(shí)現(xiàn)更高的跟蹤精度.

1 方法概述

本文利用視頻初始幀中行人方向梯度直方圖和支持向量機(jī)檢測(cè)出行人在視頻幀中的特征及位置，將目標(biāo)行人提取出來(lái)，記錄行人位置左上角坐標(biāo)與行人的寬和高.確認(rèn)目標(biāo)后將視頻幀輸入到檢測(cè)模塊與跟蹤模塊并產(chǎn)生相應(yīng)的實(shí)時(shí)正負(fù)樣本，學(xué)習(xí)模塊根據(jù)捕捉到的正負(fù)樣本不斷將信息反饋給檢測(cè)模塊與跟蹤模塊，利用圖像特征點(diǎn)配準(zhǔn)進(jìn)一步剔除圖像元中的誤配點(diǎn)，達(dá)到良好的檢測(cè)跟蹤效果.算法具體框架如圖1所示.

2 基于HOG與線性SVM的行人檢測(cè)方法

2.1 行人特征提取

行人特征可以用灰度、邊緣、SIFT特征、Haar特征等來(lái)描述.由于HOG[9]屬于對(duì)局部目標(biāo)進(jìn)行檢測(cè)，對(duì)陰影、光照條件的變化、小角度旋轉(zhuǎn)以及微小行人動(dòng)作有較好的魯棒性.因此本文采用HOG來(lái)提取行人特征.目標(biāo)的HOG提取過(guò)程[10]如下：

1）對(duì)圖像進(jìn)行g(shù)amma校正以實(shí)現(xiàn)標(biāo)準(zhǔn)化，降低噪聲干擾及光照影響，如圖2所示.

2）對(duì)各像素點(diǎn)求梯度大小及方向，捕捉目標(biāo)區(qū)域的輪廓.

3）構(gòu)建細(xì)胞單元梯度方向直方圖.

本文中行人檢測(cè)樣本取自Navneet Dalal， Bill Triggs建立的INRIA數(shù)據(jù)庫(kù)，庫(kù)中圖片像素為64×128.以8×8像素作為一個(gè)cell單元，對(duì)單元內(nèi)每個(gè)像素梯度進(jìn)行統(tǒng)計(jì)并投影到9個(gè)bin中.將2×2個(gè)cell作為一個(gè)block，掃描步長(zhǎng)為單個(gè)cell，依次對(duì)圖像進(jìn)行遍歷，則共有105塊block，每個(gè)block中有2×2×9=36個(gè)特征描述子，最終整個(gè)圖片包括36×105=3 780個(gè)HOG特征描述子.

4）根據(jù)式（5）對(duì)HOG特征描述子進(jìn)行L2 范數(shù)歸一化后用作后續(xù)分類識(shí)別的特征向量：

2.2 使用支持向量機(jī)（SVM）檢測(cè)行人具體位置

在機(jī)器學(xué)習(xí)中，SVM[11-12]被廣泛應(yīng)用于訓(xùn)練感知器與統(tǒng)計(jì)分析及分類中.該算法可將低維向量投影到高維空間中，并在此空間中形成一個(gè)最大分離超平面，使其距離平面兩端的數(shù)據(jù)間隔最大，如圖3所示.最大分離超平面如式（6）表示：

為訓(xùn)練分類器，本文選擇包含不同姿勢(shì)及形態(tài)的行人圖像作為正樣本，不包含行人的任意背景圖片作為負(fù)樣本.本文選擇3 000張正樣本（如圖4（a）所示），2 000張負(fù)樣本（如圖4（b）所示）并將其標(biāo)準(zhǔn)化為64×128像素作為訓(xùn)練樣本.

用初次訓(xùn)練好的分類器檢測(cè)不包含人體的圖像，有時(shí)會(huì)得到錯(cuò)誤的目標(biāo)區(qū)域[13-14]，將這些錯(cuò)誤區(qū)域（Hard Example）歸到負(fù)樣本中，再次進(jìn)行訓(xùn)練，迭代多次，可明顯改善分類器效果.最終訓(xùn)練好的分類器可將行人區(qū)域很好地劃分出來(lái)，效果圖如圖5（a），（b）所示.

3 利用改進(jìn)的TLD對(duì)行人進(jìn)行跟蹤

在初始幀利用SVM分類器得到待跟蹤行人位置后，將位置信息傳遞給TLD中的bounding box以對(duì)該算法進(jìn)行目標(biāo)區(qū)域的初始化.TLD（Tracking-Learning-Detection）是一種對(duì)特定目標(biāo)進(jìn)行自適應(yīng)檢測(cè)與在線學(xué)習(xí)并實(shí)現(xiàn)實(shí)時(shí)跟蹤的算法[15]，該算法將目標(biāo)跟蹤任務(wù)分成3部分：跟蹤模塊、學(xué)習(xí)模塊和檢測(cè)模塊.3部分協(xié)同組合，并以并行方式運(yùn)行發(fā)揮各自優(yōu)勢(shì)[16]，具有較高的可靠性和魯棒性.

3）PN學(xué)習(xí)過(guò)程中[18]，先給定一個(gè)視頻和掃描框，同時(shí)用分類器標(biāo)定出視頻區(qū)域中的目標(biāo)和背景，用跟蹤器來(lái)提供正的訓(xùn)練樣本，檢測(cè)器提供負(fù)的訓(xùn)練樣本.跟蹤器跟蹤目標(biāo)后，靠近目標(biāo)窗口的掃描窗口通過(guò)P約束來(lái)更新檢測(cè)器，若掃描窗口中不存在目標(biāo)物體，則N約束更新檢測(cè)器.P約束利用時(shí)間連續(xù)性，根據(jù)前一幀目標(biāo)出現(xiàn)的位置預(yù)測(cè)目標(biāo)軌跡，估計(jì)目標(biāo)在當(dāng)前幀的位置，若檢測(cè)器將此位置定義為負(fù)樣本，則P約束生成正樣本；N約束分析出當(dāng)前幀目標(biāo)可能出現(xiàn)的最優(yōu)位置，與此位置重疊度低的區(qū)域標(biāo)記為負(fù)樣本，繼續(xù)更新跟蹤器.PN約束通過(guò)在線處理視頻幀逐步提高檢測(cè)器正確率，相互補(bǔ)償來(lái)確保學(xué)習(xí)模塊的穩(wěn)定性與可靠性，利用誤檢來(lái)提高學(xué)習(xí)性能.

4 實(shí)驗(yàn)結(jié)果與分析

本實(shí)驗(yàn)編程平臺(tái)：VS2010與opencv2.4.3開(kāi)發(fā)庫(kù)；MATLAB R2013a.

微機(jī)環(huán)境配置：CPU Intel（R）Core（TM）i3-4150 3.50 GHz，內(nèi)存為4 G.

4.1 實(shí)驗(yàn)測(cè)試集說(shuō)明

為了更好地驗(yàn)證本算法檢測(cè)跟蹤目標(biāo)的魯棒性和準(zhǔn)確性，將實(shí)驗(yàn)結(jié)果與文獻(xiàn)[19]中高斯混合模型改進(jìn)的meanshift跟蹤算法[19]，文獻(xiàn)[20]中kalman濾波和模板匹配跟蹤算法[20]及基本TLD算法分別在4種不同的數(shù)據(jù)集中進(jìn)行驗(yàn)證比較，并分析各算法的準(zhǔn)確性、實(shí)時(shí)性及魯棒性.其中shooting和football序列來(lái)自網(wǎng)上公開(kāi)測(cè)試集VTD_data_images，pedestrian1及 pedestrian2數(shù)據(jù)集為實(shí)時(shí)采集.測(cè)試集序列內(nèi)容如表1所示.

4.2 性能分析

4.2.1 算法準(zhǔn)確性比較

將本文算法、改進(jìn)的meanshift算法、kalman濾波和模板匹配算法、基本TLD算法在不同的測(cè)試集中進(jìn)行實(shí)驗(yàn)，對(duì)比跟蹤效果.用式（16）來(lái)表示跟蹤成功率：

score=area（RT∩RG）area（RTRG）.（16）

式中：RT表示跟蹤算法跟蹤到的目標(biāo)區(qū)域，RG表示目標(biāo)實(shí)際所在區(qū)域.若score>0.5，則認(rèn)為該算法正確跟蹤此幀.測(cè)試集實(shí)驗(yàn)結(jié)果如表2所示.由表2可知，在未遮擋情況下，各算法均可以獲得較準(zhǔn)確的跟蹤結(jié)果，但在有遮擋時(shí)，本文算法正確率均高于其他各算法.

本文算法、文獻(xiàn)[19]改進(jìn)的mean-shift算法、文獻(xiàn)[20]kalman濾波和模板匹配算法及基本TLD算法在pedestrian1測(cè)試集中跟蹤部分結(jié)果（分別選取測(cè)試集第30幀、第53幀、第174幀、第350幀）如圖8所示.從圖8可知，當(dāng)目標(biāo)未被遮擋時(shí)，3種算法都可以準(zhǔn)確跟蹤行人，目標(biāo)被遮擋后，基本TLD算法、文獻(xiàn)[19]與文獻(xiàn)[20]中的跟蹤算法均出現(xiàn)目標(biāo)跟丟甚至誤檢現(xiàn)象，而本文算法可始終追蹤到行人，對(duì)目標(biāo)定位跟蹤表現(xiàn)出良好的抗干擾性和準(zhǔn)確性.

4.2.2 算法實(shí)時(shí)性比較

本文采用平均幀率（average frame per second）作為算法實(shí)時(shí)性分析的評(píng)價(jià)指標(biāo).各算法在測(cè)試集中的平均幀率如表3所示.由表3可知，基本TLD算法與本文算法在測(cè)試集的處理上速度高于其他兩種算法，而由跟蹤準(zhǔn)確性分析可知，本文算法比基本TLD算法獲得了更準(zhǔn)確的跟蹤結(jié)果，表現(xiàn)出較強(qiáng)的跟蹤性能.

4.2.3 算法魯棒性分析

在pedestrian2序列中（如圖9所示），行人檢測(cè)分類器確定目標(biāo)位置后，當(dāng)目標(biāo)姿勢(shì)變化較大時(shí)，學(xué)習(xí)模塊通過(guò)在線學(xué)習(xí)不斷更新跟蹤模塊和檢測(cè)模塊樣本，確定新的正樣本.本算法在目標(biāo)側(cè)身，轉(zhuǎn)身，消失然后重現(xiàn)時(shí)均可以準(zhǔn)確跟蹤行人，當(dāng)相似目標(biāo)出現(xiàn)時(shí)則不返回跟蹤框，表現(xiàn)出良好的抗干擾性.

5 結(jié) 論

檢測(cè)跟蹤一直是計(jì)算機(jī)視覺(jué)研究的熱點(diǎn)和難點(diǎn)，而TLD算法通過(guò)在線學(xué)習(xí)與檢測(cè)，根據(jù)產(chǎn)生地正負(fù)樣本不斷更新跟蹤結(jié)果，具有較好的實(shí)時(shí)性與準(zhǔn)確性.本文在其基礎(chǔ)上引入SVM行人檢測(cè)分類器，確定并讀取目標(biāo)區(qū)域位置信息，實(shí)現(xiàn)行人的自動(dòng)識(shí)別，同時(shí)聯(lián)合圖像配準(zhǔn)技術(shù)，將誤配點(diǎn)排除，跟蹤精度得到進(jìn)一步提高.最后進(jìn)行實(shí)驗(yàn)驗(yàn)證，通過(guò)與當(dāng)前兩種主流跟蹤算法及基本TLD算法在不同測(cè)試集上進(jìn)行試驗(yàn)比較，可知本算法在長(zhǎng)時(shí)間跟蹤過(guò)程中能夠不斷適應(yīng)目標(biāo)形變帶來(lái)的干擾，表現(xiàn)出更好的跟蹤效果與魯棒性能.

參考文獻(xiàn)

[1] CQMANICIU D， RAMESH V ， MEER P. Real-time tracking of nonrigid objects using mean shift[C]//Proceedings in Computer Vision and Pattern Recognition， Hilton Head Island， SC： IEEE Conference，2000：2，142-149.

[2] ANTONINI G，MARTINEZ S V，BIERLAIRE M，et al.Behavioral priors for detection and tracking of pedestrians in video sequences[J]. International Journal on Computer Vision，2006，69（ 2） ： 159-180.

[3] 季玉龍，董天罡，梁海軍，等.基于粒子濾波的多區(qū)域辨識(shí)性建模跟蹤算法[J].四川大學(xué)學(xué)報(bào)：工程科學(xué)版，2013，45（1）：79-83.

JI Yu-long，DONG Tian-gang，LIANG Hai-jun，et al. Robust particle tracking via multi- region based discriminative modeling[J]. Journal of Sichuan University：Engineering Science Edition， 2013，45（1）：79-83. （In Chinese）

[4] KALAL Z，MATAS J，MIKOLAJCZYK K. Online learning of robust object detectors during unstable tracking[C]∥Proceedings of 12th International Conference on Computer vision workshops. New York： IEEE Xplore，2009： 1417-1424.

[5] KALAL Z，MATAS J，MIKOLAJCZYK K. Pn learning： bootstrapping binary classifiers by structural constraints[C]∥ Proceedings of Conference on Computer Vision and Pattern Recognition. New York： IEEE Press，2010： 49-56.

[6] ALALZ K，MIKOLAJCZYK K，MATAS J. Forward-backward error： automatic detection of tracking failures[C]∥Proceedings of International Conference on Pattern Recognition. New York： IEEE Press，2010： 23-26.

[7] KALAL Z，MIKOLAJCZYK K，M ATAS J. Tracking-learning-detection[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2012，34（ 7） ： 1409-1422.

[8] 魏國(guó)劍，侯志強(qiáng)，李 武，等. 融合光流檢測(cè)與模板匹配的目標(biāo)跟蹤算法[J]. 計(jì)算機(jī)應(yīng)用研究，2014，31 （ 11） ： 3498-3501.

WEI Guo-jian， HOU Zhi-qiang， LI Wu，et al. Object tracking algorithm fused with optical flow detection and template matching[J]. Application Research of Computers， 2014，31 （ 11） ： 3498-3501. （In Chinese）

[9]DALAL N，TRIGGS B. Histograms of oriented gradients for human detection[C]//Computer Vision and Pattern Recognition，International Conference.Beijing：2005：886-893.

[10]DALAL N，TRIGGS B. Histograms of oriented gradients for human detection[C]//Proceedings of Computer Vision and Pattern Recognition，IEEE Computer Society Conference on. San：CA ：IEEE， 2005，1： 886-893.

[11]曹文明，王耀南，文益民. 輸電線路除冰機(jī)器人基于小波矩及SVM 的障礙物識(shí)別研究[J]. 湖南大學(xué)學(xué)報(bào)： 自然科學(xué)版，2012，39（9） 33-38.

CAO Wen-ming，WANG Yao-nan，WEN Yi-ming. Research on obstacle recognition based on wavelet moments and SVM for deicing robot on high voltage transmission line[J]. Journal of Hunan University： Natural Sciences，2012，39（9） 33-38.（In Chinese）

[12]于海濱，劉濟(jì)林.應(yīng)用于公交客流統(tǒng)計(jì)的機(jī)器視覺(jué)方法[J]. 中國(guó)圖像圖形學(xué)報(bào)，2008，13（4）：716-722.

YU Hai-bin，LIU Ji-lin. A vision-based method to estimate passenger flow in bus[J]. Journal of Image and Graphics，2008，13（4）：716-722.（In Chinese）

[13]HUANG Dong-ze ，CAI Zhi-hao，XIANG HE Xiang，et al.A SVM embedded particle filter for multi-object detection and tracking [C]//Proceedings of 2014 IEEE Chinese Guidance，Navigation and Control Conference.Yantai：IEEE Press，2014：2094-2099.

[14]方衛(wèi)寧.基于 RBF 神經(jīng)網(wǎng)絡(luò)的復(fù)雜場(chǎng)景人群目標(biāo)的識(shí)別[J]. 北京交通大學(xué)學(xué)報(bào)，2009，33（ 4） ： 29-33.

FANG Wei-ning. Recognizing the passenger number in ccomplex scenes by RBF neural network[J]. Journal of Beijing Jiao tong University，2009，33（ 4） ： 29-33.（In Chinese）

[15]ANDRILUKA M，ROTH S，SCHIELE B. People-tracking-by-detection and people-detection-by-tracking [C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. New York： IEEE Press，2008： 1-8.

[16]COLLINS R T，LIUY，LEORDEANU M. Online selection of discriminative tracking features[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2005，27（ 10） ： 1631-1643.

[17]YAMAZAWA K， YOKOYA N. Detecting moving objects from omnidirectional dynamic images based on adaptive background subtraction[C]/ / Proceedings of International Conference on Image processing. Institute of Electrical and Electronics Engineers Computer Society，Barcelona， Spain：2003， 953-956.

[18]FENARI V， TUYTELAARS T， VAN G L. Real-time affine region tracking and coplanar grouping[C]//Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Kauai， HI： Institute of Electrical and Electronics Engineers Computer Society， 2001：226-233.

[19]QUAST K， KAUP A. Shape adaptive mean shift object tracking using Gaussian mixture models[M].Lecture Notes in Electrical Engineering. Heidelberg： Springer， 2013， 158： 107-122.

[20]陳金令，苗東，康博，等. 基于Kalman濾波和模板匹配的目標(biāo)跟蹤技術(shù)研究[J].光學(xué)與光電技術(shù)， 2014，12（ 6） ： 9-12.

CHEN Jin-ling，MIAO Dong，KANG Bo，et al. Research of target tracking based on kalman filtering and template matching[J].Optics &Optoelectronic Technology， 2014，12（ 6） ： 9-12.（In Chinese）