分塊多特征自適應融合的多目標視覺跟蹤*

施 瀅，高建坡，崔 杰，孫麗娟，陳 宇

(南京理工大學電光院，江蘇 南京210094)

0 引言

視頻圖像的多目標視覺跟蹤是計算機視覺、人機交互領域的一個研究熱點，它在安防監(jiān)控、道路交通管制、客流量統(tǒng)計等領域有著廣泛的應用。目前，國內(nèi)外學者在多目標視覺跟蹤領域的主要研究方法分成:特征提取、主動輪廓、模型以及運動估計等方法，并取得了一定的研究成果?；谥鲃虞喞姆椒ǎ?～3］是利用封閉的曲線輪廓表達運動目標，但初始化輪廓必須非常靠近目標真實邊緣;基于模型的方法［4］，是對目標建立二維或三維模型，雖能在一定程度上處理遮擋問題，但計算工作大，實時性較低;基于運動估計的方法［5］，通過預測目標下一時刻的可能位置，但存在目標跟蹤區(qū)域有限，無法自適應調整跟蹤窗大小的問題;基于特征的方法，利用質心位置［7，8］、顏色［9，10］、Sift［11］、角點［12］等特征進行匹配跟蹤，實現(xiàn)簡單，可以跟蹤各種形狀目標，但利用單一特征容易受復雜環(huán)境及目標形變的影響。

由于多目標間的遮擋、背景的復雜性、光照的變化等因素使得多目標特征容易發(fā)生變化［13］，如何可靠有效地通過運動目標表示，從而對多目標進行準確跟蹤，具有重要的研究價值。本文結合特征和運動估計兩種方法，對目標進行顏色、紋理和邊緣特征描述，并對目標進行分塊，建立多特征自適應融合子塊直方圖模型，在遮擋情況下，結合Kalman預測［14］判斷子塊遮擋情況來確定遮擋目標位置，提高多目標跟蹤的可靠性。

1 多特征選擇與融合

1.1 目標模型建立

通過目標檢測方法得到初始目標的外接矩形，但外接矩形中會引入背景，本文采用目標和背景區(qū)分度Lu來抑制框定目標中背景的分量。目標和背景區(qū)分度Lu定義為

其中，hoj(u)為特征值 u在目標直方圖中的取值，hbg(u)為u在背景直方圖中的取值。ε以防止分母為0。采用sigmoid函數(shù)將 Lu映射到區(qū)間(0，1)內(nèi)，即 λu=

設{xi}i=1，…，M為候選目標區(qū)域的像素點集，中心點為y，則候選目標核加權特征直方圖為

目標和候選目標之間的匹配度通過Bhattacharyya距離來度量，距離越小，說明兩者越相似。它的定義為

其中，ρ(y)為 Bhattacharyya系數(shù)。

1.2 多特征選擇

顏色是反映目標整體的特征。根據(jù)式(2)將顏色空間量化成83個子區(qū)間，得到核加權顏色直方圖 qc=但顏色容易受到光照影響，而紋理是一種反映圖像中同質現(xiàn)象的視覺特征。本文采用LBP紋理特征作為第二個描述目標的特征。LBP算子計算公式為

其中，P為領域值，R為半徑，gc為中心點像素值，gp為以R為半徑的各個像素值，函數(shù)s(x)定義為

本文采用LBP(8，1)算子，根據(jù)式(2)將紋理空間量化成28個子區(qū)間，得到核加權紋理直方圖同時，邊緣是圖像細節(jié)特征，體現(xiàn)圖像的高頻細節(jié)信息。采用Sobel算子邊緣檢測方法得到水平邊緣Gx(xi)和垂直邊緣Gy(xi)，像素的邊緣幅值和方向為

將邊緣方向角［0，2π)量化成36份，統(tǒng)計每個角度分格的像素邊緣幅值，根據(jù)式(2)獲得目標區(qū)域的核加權邊緣直方圖

1.3 自適應多特征融合

若將多特征分配相等的融合權值，或者分配固定的融合權值，則在遮擋時或目標與背景相似時等情況下，會影響目標跟蹤的穩(wěn)定性。為此，本文中采用自適應動態(tài)權值將多特征進行融合。根據(jù)式(6)計算目標和候選目標特征的Bhattacharyya系數(shù)ρj，j為特征個數(shù)，自適應融合距離公式為

2 分塊多特征融合的目標跟蹤

2.1 分塊方式與目標定位

為了在遮擋情況下能夠魯棒地跟蹤目標，本文將目標和候選目標進行分塊，并根據(jù)式(11)計算每個子塊的多特征融合Bhattacharyya系數(shù)，對目標進行匹配跟蹤。首先將跟蹤目標進行分塊，本文采取圖1(a)的分塊方式。各子塊中心相對于目標中心位置偏移量為 Δxi，i=1，…，t，t為子塊個數(shù)。

圖1 分塊和目標背景示意圖Fig 1 Sketch map of fragments object and background

根據(jù)式(11)計算每個目標子塊與候選目標子塊的多特征融合Bhattacharyya系數(shù)，當1，…，t}＜th1時，說明有子塊被遮擋，本文中 th1取 0.7。在遮擋時，本文采用置信度最大的子塊的位置決定整體目標的位置。子塊的置信度由子塊與候選目標子塊的多特征融合Bhattacharyya系數(shù)ρioj(y)和子塊與背景的多特征融合Bhattacharyya系數(shù) ρibg(y)共同決定。設各個子塊置信度

2.2 軌跡預測的目標跟蹤

當{max{ρi(y)}，i=1，…，t}＜ th2時，表明子塊全部被遮擋，本文th2取0.3。在目標發(fā)生嚴重遮擋時，目標的大部分信息都已丟失。此時對目標的跟蹤最可靠的是目標的位置信息。Kalman濾波算法是一種經(jīng)典的預測估計算法，對視頻中人的運動而言，目標的運動可以看作是線性的，圖像的噪聲符合高斯分布，所以，可以利用Kalman濾波預測下一幀目標的位置。

Kalman是在最小均方誤差準則下的線性系統(tǒng)最優(yōu)估計方法，包含預測、更新兩個部分。對系統(tǒng)的描述通過狀態(tài)方程和觀測方程來表示

狀態(tài)方程

觀測方程

其中，A為系統(tǒng)狀態(tài)轉移矩陣，H為觀測矩陣，Wk為系統(tǒng)噪聲，Vk為觀測噪聲。

2.3 跟蹤算法流程

本文算法原理框架如圖2所示。

圖2 算法原理框架Fig 2 Principle framework of algorithm

本文跟蹤算法具體實現(xiàn)步驟如下

1)輸入視頻，當舊目標消失時，刪除目標信息;當新目標出現(xiàn)時，對新目標分塊，建立新目標的多特征空間。

2)利用Kalman濾波器作為預估計器，預測目標下一幀的位置。

3)目標和候選目標進行分塊多特征融合匹配。若{min{ρioj(y)}，i=1，…，t}＜ th1，認為目標被部分遮擋，選擇置信度最大的子塊的位置，再根據(jù)初始偏移量計算出跟蹤目標位置。若{max{ρioj(y)}，i=1，…，t}＜ th2，認為目標被全部遮擋，利用Kalman濾波器進行軌跡預測。

4)對未被遮擋的目標，更新特征空間。返回步驟(1)。

3 實驗結果與分析

本文實驗數(shù)據(jù)是利用HK-Vision攝像機采集的室內(nèi)視頻序列，視頻大小為640像素×360像素。仿真實驗硬件平臺win8操作系統(tǒng)，主頻2.3 GHz，內(nèi)存4 GB;軟件平臺Visual Studio 2008和 Opencv2.3。

3.1 多特征自適應融合的多目標視覺跟蹤

圖3是多特征自適應融合的跟蹤結果。視頻先后出現(xiàn)4人，圖3(a)目標1進入，圖3(b)目標2進入，圖3(c)目標3進入，圖3(d)目標4進入。在跟蹤過程中采用多特征自適應融合方法。圖4(a)目標1從145幀到190幀內(nèi)的自身相似度，圖4(b)為目標2和3從145幀到190幀內(nèi)的不同目標相似度，分別采用單一顏色特征和多特征融合的方法進行匹配。實驗結果表明:多特征融合相對于單一顏色特征區(qū)分不同目標時有較好的跟蹤效果。

圖3 多特征自適應融合的多目標跟蹤Fig 3 Multi-target tracking of multi-feature adaptive fusion

圖4 相同目標和不同目標單一特征和融合特征相似度Fig 4 Similarity of single feature and fusion feature of the same and the different targets

3.2 遮擋時的分塊多目標視覺跟蹤

圖5是發(fā)生遮擋的跟蹤結果。視頻先后出現(xiàn)4人，圖5(a)4人遮擋前;圖5(b)目標1和2部分遮擋;圖5(c)目標1全部遮擋，目標2部分遮擋;圖5(d)目標2部分遮擋;圖5(e)4人遮擋后;圖5(f)為目標1全部遮擋。圖6(a)是第249幀目標2被目標4部分遮擋的截圖，圖6(b)是目標2模板，將目標和目標模版分塊，分別采用分開多特征匹配，匹配結果如表1。選擇置信度最大子塊3，由子塊3位置加上初始偏移決定整體目標2的位置。實驗結果表明，本文方法有很好的跟蹤效果。

圖5 遮擋時的分塊多目標跟蹤Fig 5 Multi target tracking based on fragments when sheltered

圖6 249幀目標2和模板目標分塊示意圖Fig 6 Sketch map of model target 2 and target 2 fragments in frame 249

表1 249幀2號目標子塊置信度Tab 1 Confidence of fragments of target 2 in frame 249

4 結束語

本文對分塊多特征自適應融合對目標視覺跟蹤算法進行了研究。該算法采用目標底層顏色、紋理和邊緣特征信息自適應融合，對不同目標采樣單一顏色特征匹配平均值為0.680341，而采用融合特征匹配平均值為0.370283，體現(xiàn)了融合特征跟蹤目標的優(yōu)勢;同時，算法對目標和模板目標分塊匹配，結合Kalman預測能夠魯棒跟蹤遮擋目標，通過多組實驗表明:對遮擋目標識別效果達到95.3%，對每幀圖像的平均處理時間為36.2 ms，實驗結果證明了該算法可實現(xiàn)對多目標視覺跟蹤，達到了實時性要求，且算法具有較強的魯棒性和有效性。

［1］Paragios N，Deriche R.Geodesic active contours and level sets for the detection and tracking of moving objects［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2000，22(3):266-280.

［2］Hu W，Zhou X，Li W，et al.Active contour-based visual tracking by integrating colors，shapes，and motions［J］.IEEE Transactions on Image Processing，2013，22(5):1778-1792.

［3］董春利，董育寧，劉 杰.基于粒子濾波和 GVF-Snake的目標跟蹤算法［J］.儀器儀表學報，2009，30(4):828-833.

［4］Ababsa F，Mallem M.Robust camera pose estimation combining 2D/3D points and lines tracking［C］∥2008 IEEE International Symposium on Industrial Electronics(ISIE)，IEEE，2008:774-779.

［5］谷 靜，史健芳.分布式粒子濾波算法在目標跟蹤中的應用［J］.傳感器與微系統(tǒng)，2014，33(8):158-160.

［6］Yussiff A L，Yong S P，Baharudin B B.Parallel Kalman filterbased multi-human tracking in surveillance video［C］∥2014 International Conference on Computer and Information Sciences(ICOCINS)，IEEE，2014:1-6.

［7］孫 凱，劉士榮.多目標跟蹤的改進Camshift/卡爾曼濾波組合算法［J］.信息與控制，2009，38(1):9-14.

［8］Yang T，Pan Q，Li J，et al.Real-time multiple objects tracking with occlusion handling in dynamic scenes［C］∥2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition(CVPR)，IEEE，2005:970-975.

［9］李冠彬，吳賀豐.基于顏色紋理直方圖的帶權分塊均值漂移目標跟蹤算法［J］.計算機輔助設計與圖形學學報，2012，23(12):2059-2066.

［10］Nummiaro K，Koller-Meier E，Van Gool L.An adaptive colorbased particle filter［J］.Image and Vision Computing，2003，21(1):99-110.

［11］鐘 權，周 進，崔雄文.融合 SIFT特征的壓縮跟蹤算法［J］.光電工程，2015，42(2):66-72.

［12］王向軍，王 研，李 智.基于特征角點的目標跟蹤和快速識別算法研究［J］.光學學報，2007，27(2):360-364.

［13］Ross A A，Govindarajan R.Feature level fusion of hand and face biometrics［C］∥Int’l Conf on Defense and Security，International Society for Optics and Photonics，2005:196-204.

［14］Teutsch M，Kruger W，Beyerer J.Fusion of region and point-feature detections for measurement reconstruction in multi-target Kalman tracking［C］∥2011 Proceedings of the14th International Conference on Information Fusion，IEEE，2011:1-8.