一種改進的運動目標抗遮擋跟蹤算法

趙 龍 肖軍波

(北京航空航天大學 飛行器控制一體化技術(shù)重點實驗室，北京100191)

遮擋情況下的運動目標跟蹤是運動目標檢測與跟蹤領(lǐng)域中的難題.為解決運動遮擋問題，國內(nèi)外學者已進行了大量的研究，提出了許多有效的方法.文獻［1-2］通過提取對目標形狀、大小和尺度不變的 SIFT(Scale-invariant Feature Transform)特征，在遮擋過程中利用未被遮擋的特征點構(gòu)造多維矩陣反解出目標的位置和大小，該算法提取的特征點具有很強的魯棒性，但計算量大，且在目標被嚴重遮擋時無法提取有效特征點;文獻［3-4］提出了利用像素灰度預測值和測量值的差異來判斷該像素是否發(fā)生遮擋，進而確定模板如何更新，但該方法不適用于目標運動軌跡變化較大的情況.文獻［5-7］提出了基于概率外觀模型Condensation的跟蹤方法，該方法通過在未遮擋情況下建立目標顏色模型并實時更新，來保持目標顏色的空間分布信息，但無法解決目標與遮擋物顏色相近情況下的跟蹤.文獻［8-9］利用匹配誤差判定子模板是否被遮擋，用整體的目標灰度相關(guān)匹配來實現(xiàn)對目標的有效跟蹤，但該方法同樣不適用于目標遮擋較為嚴重的情況;文獻［10-11］將目標前景進行分塊，通過各子塊表決確定最佳匹配位置來實現(xiàn)對目標的跟蹤，但由于子塊中包含了背景信息，且僅采用單峰值子塊表決值作為目標的真實運動偏移量會導致誤匹配.文獻［12］采用動態(tài)模板和遮擋檢測的方法(VMTM，Variant-mask Template Match)解決了目標發(fā)生遮擋時的跟蹤問題，但更新后模板與真正目標相差較大，在完全遮擋下無法對目標進行有效跟蹤.

在對文獻［10-12］進行研究的基礎(chǔ)上，提出一種改進的基于子塊模板匹配的抗遮擋跟蹤方法(IMTM，Improved Multi-blocks Template Match).該方法采用改進后的目標遮擋判定準則，通過對目標模板進行自適應分塊，在搜索區(qū)域內(nèi)對子塊位移量進行加權(quán)表決來獲得目標真實位置，實現(xiàn)運動目標在多種遮擋情況下的快速穩(wěn)定跟蹤.

1 改進的抗遮擋跟蹤方法

1.1 目標遮擋判定

文獻［10］中采用Bhattacharyya系數(shù)來判定目標是否被場景中的靜物遮擋，即

式中，H1和H2為前后兩幀中目標灰度模板規(guī)一化后直方圖;L為直方圖劃分的顏色區(qū)間數(shù)量.

當目標與遮擋物顏色相差較大時，Bhattacharyya系數(shù)迅速增大;否則，當目標與遮擋物顏色相近時，Bhattacharyya系數(shù)沒有明顯變化，因此單獨靠Bhattacharyya系數(shù)不能準確判定目標是否發(fā)生遮擋.為此，本文提出改進的遮擋判定準則為

式中，TB為Bhattacharyya系數(shù)的閾值，TB∈(0，1);γs和φs分別為計算目標在第t幀與第t-1幀的像素面積之比以及有效前景點數(shù)之比.

1.2 改進的抗靜物遮擋跟蹤方法

針對靜物遮擋運動目標的跟蹤，文獻［10］采用固定邊長在當前目標矩形框中分割子塊，得到的子塊包含了背景信息，且目標面積較大時算法匹配計算量將成倍增加.為克服此缺點，本文根據(jù)目標寬高(w，h)來自適應分配模板子塊的邊長為

為避免目標邊緣劇烈變化導致邊緣子塊無效，當模板子塊包含的有效前景像素之和大于閾值時，將該子塊作為候選匹配子塊.

利用文獻［12］中的方法進行候選匹配子塊匹配時易出現(xiàn)單峰表決值，導致計算出的位移量不是目標整體的真實位移量.為此本文提出一種改進的基于加權(quán)平均的表決方法，利用文獻［12］中的方法選出票數(shù)最高的3個位移量{d1，d2，d3}，并計算出他們最高票數(shù)的總額，根據(jù)每位票數(shù)所占總額的權(quán)重βi進行累加求和，進而得到改進后的運動位移量為

目標完成匹配后，在進行模板子塊更新時，為減少相關(guān)性較小的子塊對匹配可靠性的影響，本文除了利用文獻［12］中的方法對歷史目標子塊進行篩選以外，還采用了低通濾波器(IIR，Infinite Impulse Response)對每個歷史目標子塊灰度值進行自適應加權(quán)更新，即

式中，It為子塊的灰度值;bt為子塊匹配上的灰度值;pmax為最高票數(shù)所占的票數(shù)比率;Tp為所設(shè)濾波器閾值，取值范圍為(0，1);λ為子塊更新率，取值范圍為(0.0，0.3］.通過對歷史目標子塊進行自適應實時更新，能夠有效避免前景噪聲和模板滯后引起的誤匹配.為實現(xiàn)對目標運動軌跡進行預測，根據(jù)目標在當前幀的質(zhì)心坐標(x，y)、矩形寬高(w，h)和瞬時速度(vx，vy)等信息，利用卡爾曼濾波模型預測目標在下一幀中的狀態(tài).卡爾曼濾波模型的狀態(tài)向量和觀測向量為

當目標在預測鄰域內(nèi)未檢測出新目標時，表明該目標已被完全遮擋，此時采用卡爾曼濾波模型對目標運動軌跡進行預測和跟蹤;當目標離開遮擋區(qū)域被重新檢測到時，本文提出一種新的匹配方法來實現(xiàn)目標的對接跟蹤.

本文采用重現(xiàn)目標的感興趣矩形(ROI，Rectangle of Interest)完成跟蹤，定位規(guī)則見表1，由新目標的運動速度vx和vy來確定歷史目標原始模板的ROI位置和尺寸，并計算模板灰度前景Ft.根據(jù)式(1)計算Ft與新目標灰度前景Fc的Bhattacharyya系數(shù)dB.如果滿足dB＜TB，則認為目標匹配成功，用新目標的運動信息對歷史目標進行更新;否則，目標匹配失敗，開始新一輪的目標跟蹤.

表1 重現(xiàn)目標的ROI定位規(guī)則

目標對接匹配示意圖如圖1所示，實線矩形框表示新目標;虛線矩形框表示歷史目標的原始模板;圖中箭頭代表目標運動方向.由于目標運動速度vx和vy均為正，因此將模板的ROI區(qū)域設(shè)置為右下角.本文抗遮擋跟蹤算法流程圖如圖2所示.

圖1 目標對接匹配示意圖

圖2 本文目標抗遮擋跟蹤算法流程圖

2 實驗測試及結(jié)果分析

為驗證本文提出算法的性能，針對各種不同視頻序列進行實驗測試.

測試視頻1為文獻［12］中采用的 CAVIAR(Context Aware Vision using Image-based Active Recognition)多人行走視頻序列，圖像為384像素×288像素;測試視頻2為實際拍攝的多人部分遮擋視頻序列，圖像為364像素×281像素;測試視頻3和4采用IEEE跟蹤和監(jiān)控性能評估標準數(shù)據(jù)庫(PETS，Performance Evaluation of Tracking and Surveillance)中的車輛完全遮擋視頻序列，圖像為768像素×576像素;測試視頻5和6為北京航空航天大學數(shù)字導航中心視頻數(shù)據(jù)庫中的行人完全遮擋視頻序列，圖像為640像素×480像素.所有視頻序列的幀率均為25幀/s.

利用測試視頻1～6分別對文獻［12］中提出的VMTM方法和本文方法進行目標跟蹤實驗測試，實驗結(jié)果如圖3～圖8所示，其中虛線矩形框和軌跡為VMTM算法的跟蹤結(jié)果，實線矩形框和軌跡為本文算法的跟蹤結(jié)果.

圖3 測試視頻1的兩種方法結(jié)果

圖4 測試視頻2的兩種方法結(jié)果

圖5 測試視頻3的兩種方法結(jié)果

圖6 測試視頻4的兩種方法結(jié)果

圖7 測試視頻5的兩種方法結(jié)果

圖8 測試視頻6的兩種方法結(jié)果

從圖3和圖4的測試結(jié)果中可以得出，兩種方法在目標被部分遮擋、甚至嚴重遮擋情況下仍能實現(xiàn)目標的持續(xù)穩(wěn)定跟蹤，兩種方法的目標跟蹤矩形框和軌跡與真實值基本一致.這是因為本文方法與VMTM方法均采用子塊模板表決來獲取目標的整體位移量.通過對圖5～圖8中目標在完全遮擋情況下的跟蹤結(jié)果進行分析，采用VMTM方法跟蹤的目標矩形框和軌跡與實際目標存在較大偏差，模板漂移比較嚴重，而且當目標再次出現(xiàn)時，無法準確跟蹤目標;而采用本文算法則不存在上述偏差和漂移，在目標因遮擋再次出現(xiàn)時，依然能夠準確跟蹤目標.造成兩種算法差異的主要原因是本文方法可以根據(jù)子塊表決結(jié)果得到加權(quán)后的位移量，避免單峰表決值不能代表整體子塊位移量的缺陷，同時歷史目標模板可以根據(jù)子塊表決情況自適應地進行更新，可以有效地防止遮擋物噪聲成為模板的一部分，進而減少匹配誤差.利用視頻3分別對兩種方法進行實驗測試，獲得跟蹤目標質(zhì)心坐標與真實質(zhì)心坐標的對比結(jié)果如圖9和圖10所示.

圖9 兩種方法與真實值在x軸上的軌跡對比

圖10 兩種方法與真實值在y軸上的軌跡對比

從圖9和圖10可以看出，在第20幀目標進入遮擋狀態(tài)時，兩種方法通過子塊模板匹配得到的質(zhì)心軌跡相差很小，誤差均在真實值附近;而在第35幀目標進入完全遮擋狀態(tài)時，VMTM方法得到的質(zhì)心坐標逐漸偏離真實值，而本文方法得到的質(zhì)心軌跡依然能與真實值的變化趨勢保持一致;在第53幀目標再次出現(xiàn)時，存在一個明顯的軌跡跳變，這是因為真實值是整個跟蹤目標的質(zhì)心坐標，而本文方法檢測到的質(zhì)心坐標是目標前景的質(zhì)心坐標，在目標尚未完全脫離遮擋狀態(tài)時會與真實值有差異，而在遮擋結(jié)束后二者的軌跡將逐漸重合，保證在目標再次出現(xiàn)后能夠準確地跟蹤目標.

3 結(jié)論

針對運動目標在遮擋情況下的跟蹤難題，提出一種改進的目標抗遮擋跟蹤算法，建立了目標抗遮擋跟蹤的準則，實現(xiàn)了目標的抗融合遮擋跟蹤.通過多種測試視頻進行測試驗證，本文方法在不同遮擋情況下，均能實現(xiàn)對剛體及非剛體運動目標的穩(wěn)定跟蹤.

References)

［1］ Lowe G D.Distinctive image features from scale-invariant key points［J］.International Journal of Computer Vision，2004，60(2):91-110

［2］ Zhou Huiyu，Yuan Yuan，Shi Chunmei.Object tracking using SIFT features and mean shift［J］.Computer Vision and Image Understanding，2009，113(3):345-352

［3］ Senior A，Hampapur A，Tian Yingli，et al.Appearance models for occlusion handling［J］.Image and Vision Computing，2006，24(11):1233-1243

［4］ Zhang Jin，Sun Hongguang，Guan Weizhou，et al.Robust human tracking algorithm applied for occlusion handling［C］ //Proceedings International Conference on Frontier of Computer Science and Technology.Changchun:［s.n.］，2010:546-551

［5］ Gross R，Mattews I，Baker S.Active appearance models with occlusion［J］.Image and Vision Computing，2006，24(6):593-604

［6］ Khan M S，Shah M.Tracking multiple occluding people by localizing on multiple scene planes［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2009，31(3):505-518

［7］ Ablavsky V，Thangali A，Sclaroff S.Layered graphical models for tracking partially-occluded objects［C］ //Proceedings IEEE Conference on Computer Vision and Pattern Recognition.Alaska:IEEE，2008:1-8

［8］ Zhou Yue，Tao Hai.A background layer model for object tracking through occlusion［C］ //Proceedings IEEE Conference on Computer Vision and Pattern Recognition.Wisconsin:IEEE，2003:1079-1085

［9］ Wang Yan，Liu Tao，Li Ming.Object tracking with appearancebased kalman particle filter in presence of occlusions［C］ //Global Congress on Intelligent Systems.Hongkong:Conference Publishing Services，2009:288-293

［10］ Zhang Zui，Gunes H，Piccardi M.Tracking people in crowds by a part matching approach［C］ //Proceedings IEEE 5th International Conference on Advanced Video and Signal Based Surveillance.New Mexico:IEEE，2008:88-93

［11］ Latecki J L，Miezianko R.Object tracking with dynamic template update and occlusion detection［C］ //Proceedings IEEE 18th International Conference on Pattern Recognition.Hongkong:IEEE，2006:188-193

［12］ Pan Jiyan，Hu Bo.Robust occlusion handling in object tracking［C］ //Proceedings IEEE Conference on Computer Vision and Pattern Recognition.Minnesota:IEEE，2007:1-8