基于Contourlet和MeanShift的交通視頻車輛跟蹤算法

王相海, 劉美瑤, 蘇元賀, 方玲玲, 宋傳鳴

(遼寧師范大學(xué) 計(jì)算機(jī)與信息技術(shù)學(xué)院, 遼寧 大連 116081)

?

基于Contourlet和MeanShift的交通視頻車輛跟蹤算法

王相海, 劉美瑤, 蘇元賀, 方玲玲, 宋傳鳴

(遼寧師范大學(xué) 計(jì)算機(jī)與信息技術(shù)學(xué)院, 遼寧 大連 116081)

提出一種基于Contourlet直方圖的MeanShift交通視頻車輛目標(biāo)跟蹤算法.首先，利用Contourlet變換提取交通視頻中感興趣區(qū)域下跟蹤目標(biāo)的紋理特征和輪廓，并用其直方圖統(tǒng)計(jì)跟蹤目標(biāo)的紋理特征；然后，通過(guò)Kalman濾波技術(shù)來(lái)進(jìn)行跟蹤目標(biāo)軌跡的相關(guān)性函數(shù)計(jì)算，并將計(jì)算結(jié)果迭代到MeanShift跟蹤算法中選取最優(yōu)估計(jì)值，進(jìn)而實(shí)現(xiàn)對(duì)交通視頻車輛在復(fù)雜場(chǎng)景中的精確定位.通過(guò)與傳統(tǒng)的MeanShift跟蹤算法以及基于Kalman濾波的MeanShift跟蹤算法等比較表明，此算法不僅能夠?qū)?fù)雜場(chǎng)景中的視頻車輛進(jìn)行有效跟蹤，同時(shí)還具有較好的穩(wěn)定性和抗干擾性.

Contourlet直方圖；MeanShift跟蹤算法；Kalman濾波；紋理特征；復(fù)雜場(chǎng)景

復(fù)雜場(chǎng)景下的交通視頻車輛跟蹤技術(shù)作為智能交通系統(tǒng)(ITS)的重要組成部分對(duì)智慧城市的發(fā)展具有重要的理論和實(shí)際意義，同時(shí)也是一難點(diǎn)問(wèn)題.MeanShift(MS)概念最早由Fukunaga等人以“偏移的均值向量”含義被提出[1]，但隨著其理論的不斷發(fā)展,其含義也相應(yīng)地發(fā)生了變化.Cheng在文獻(xiàn)[2]中將MeanShift理論引入到計(jì)算機(jī)視覺(jué)領(lǐng)域，被用來(lái)通過(guò)梯度優(yōu)化識(shí)別目標(biāo)的位置.近年來(lái)MeanShift跟蹤算法在視頻中移動(dòng)目標(biāo)跟蹤領(lǐng)域受到人們的關(guān)注.然而，該算法在跟蹤目標(biāo)的過(guò)程中很容易受到環(huán)境的干擾，特別對(duì)復(fù)雜場(chǎng)景情況.為此人們將Kalman濾波引入車輛跟蹤算法中，用以計(jì)算和評(píng)估跟蹤目標(biāo)軌跡的相關(guān)性來(lái)提高目標(biāo)的跟蹤精度.

提出一種基于Contourlet直方圖的MeanShift交通視頻車輛目標(biāo)跟蹤算法，該算法通過(guò)融合Contourlet直方圖、Kalman濾波和MeanShift跟蹤算法等多種工具來(lái)提高復(fù)雜場(chǎng)景中目標(biāo)的跟蹤精度，同時(shí)增強(qiáng)算法對(duì)復(fù)雜場(chǎng)景的魯棒性.首先，利用Contourlet子帶的直方圖統(tǒng)計(jì)來(lái)獲取交通視頻中感興趣區(qū)域下跟蹤目標(biāo)的紋理和輪廓特征，然后，通過(guò)Kalman濾波進(jìn)行跟蹤目標(biāo)軌跡的相關(guān)性函數(shù)計(jì)算，最后，通過(guò)迭代MeanShift跟蹤算法選取最優(yōu)估計(jì)值.

1 Contourlet變換概述

圖1 Contourlet變換濾波器組結(jié)構(gòu)Fig.1 Contourlet transform filter bank structure

離散Contourlet變換即塔形方向?yàn)V波器組(Pyramidal Directional Filter Bank，PDFB)，是M.N.Do等人提出的利用拉普拉斯塔形分解(Laplacian Pyramid, LP)和方向?yàn)V波器組(Directional Filter Bank,DFB)分別進(jìn)行多尺度和方向分析的一種多尺度分析工具[3-6]，該變換通過(guò)多分辨率變換對(duì)圖像進(jìn)行擴(kuò)展，并采用局部化的方向?yàn)V波器進(jìn)行線性表示，可以將圖像邊緣、紋理附近的相關(guān)變換系數(shù)更加有效的表示和集中，因而被稱為一種“真正”的二維圖像稀疏表示方法.Contourlet變換濾波器組結(jié)構(gòu)參見(jiàn)圖1.

Contourlet變換首先由LP變換對(duì)圖像進(jìn)行多尺度分解以捕獲奇異點(diǎn)，然后由DFB對(duì)每一級(jí)金字塔分解的帶通分量進(jìn)行多方向分解，將同方向的奇異點(diǎn)合成線，少量的線條便可以有效地捕捉圖像中的邊緣輪廓，而邊緣輪廓正是自然圖像中的主要紋理特征，也是我們所要提取的跟蹤目標(biāo)的主要特征.其中，Contourlet頻域分解圖和DFB分解后各尺度方向示意圖參見(jiàn)圖2和圖3.

圖2 Contourlet頻域分解圖Fig.2 Contourlet frequency domain decomposition

圖3 DFB分解后各尺度方向Fig.3 DFB after decomposition scale direction

由LP變換分解得到的帶通圖像傳遞給DFB后能獲得不同方向上的子帶圖像，因此，圖像經(jīng)過(guò)迭代Contourlet變換便可得到多個(gè)尺度多個(gè)方向上的子帶圖像.同時(shí)也因?yàn)镃ontourlet變換可以將多尺度分解和多方向分解分開(kāi)進(jìn)行，因此Contourlet變換可以實(shí)現(xiàn)圖像在多尺度上的多方向分解.進(jìn)一步分析可知，Contourlet變換具有更好的多分辨率、局域性、多方向性以及各向異性等特點(diǎn)，能更有效地捕獲圖像的邊緣輪廓信息.圖4和圖5分別給出了圖像Contourlet變換的示意圖和實(shí)際圖像的分解子帶情況.

圖4 Contourlet變換示意圖Fig.4 Schematic diagram of Contourlet transform

圖5 實(shí)際圖像Contourlet分解示例圖Fig.5 Schematic diagram of Contourlet transform of real image

2 基于Contourlet直方圖的MeanShift跟蹤算法

2.1 Contourlet直方圖的計(jì)算

Contourlet變換的基函數(shù)分布在不同尺度不同方向上，這樣少量的變換系數(shù)便可以有效地獲取圖像的邊緣輪廓信息特征[7-9].為了增強(qiáng)交通視頻車輛在復(fù)雜場(chǎng)景下跟蹤算法的魯棒性和抗干擾性，本文采用文獻(xiàn)[10]中的Contourlet直方圖計(jì)算方法獲取跟蹤目標(biāo)的特征，具體過(guò)程如下：

Step 1 將交通圖像進(jìn)行2級(jí)和3級(jí)LP Contourlet分解，獲取不同尺度下的4幅和8幅子圖(共12幅，參見(jiàn)圖6)；

圖6 交通視頻圖像的2層Contourlet分解Fig.6 Two layer Contourlet decomposition of traffic video image

Step 2 計(jì)算每幅子圖系數(shù)矩陣W的絕對(duì)值獲得能量E，并據(jù)此對(duì)不同尺度Contourlet分解的子帶調(diào)整排列順序，選取同尺度下能量最大的子圖排在第一幅，其他子帶按順時(shí)針依次循環(huán)序列，形成2個(gè)尺度下的子帶輸出順序；

Step 3 利用每幅子圖W的能量均值e對(duì)其進(jìn)行量化，獲得0/1量化矩陣I：

(1)

通過(guò)上述采樣獲得大小相同的能量矩陣.

Step 4 將每幅子圖相對(duì)本子圖相同存儲(chǔ)位置點(diǎn)的(0/1)合成12位二進(jìn)制數(shù)，通道0～3為2級(jí)Contourlet分解產(chǎn)生的4幅子圖，4～11為3級(jí)Contourlet分解所產(chǎn)生的8幅子圖.

Contourlet直方圖生成方法[10]如圖7所示，其中T為數(shù)據(jù)0/1的量化.

圖7 Contourlet直方圖的構(gòu)造示意圖Fig.7 Contourlet histogram structure diagram

2.2 基于Contourlet直方圖的輪廓區(qū)域的確定

傳統(tǒng)的MS跟蹤算法利用顏色直方圖提取跟蹤目標(biāo)的特征，但顏色直方圖僅僅統(tǒng)計(jì)候選區(qū)域的圖像像素色彩特征，并未包含其他的紋理特征，而顏色直方圖極易將圖像噪聲的顏色作為目標(biāo)的特征加入統(tǒng)計(jì)中，因此對(duì)目標(biāo)候選區(qū)域的確定有一定的干擾.本文利用Contourlet直方圖統(tǒng)計(jì)目標(biāo)的紋理特征和亮度特征[11]來(lái)提高對(duì)目標(biāo)候選區(qū)域確定的抗干擾性.具體目標(biāo)候選區(qū)域的確定過(guò)程如下:

Step 1 將原交通視頻RGB圖像轉(zhuǎn)換為HSV圖像，提取HSV圖像的V通道分量；

Step 2 采用Contourlet直方圖提取目標(biāo)的紋理特征(目標(biāo)的輪廓)，即利用2.1節(jié)獲得的Contourlet變換子圖量化后組成矩陣，對(duì)目標(biāo)候選區(qū)域模型進(jìn)行建模[12]，即確定目標(biāo)候選區(qū)域的Contourlet直方圖qu(x0,h)(u為矩陣中元素的值)：

(2)

(3)

x0為矩陣的中心坐標(biāo)，xi為矩陣中第i個(gè)元素的坐標(biāo)；h為模板的大小，nh為模板中元素的個(gè)數(shù)；t(xi)為目標(biāo)模型矩陣；C為歸一化參數(shù)；k(x)為高斯核函數(shù).

Step 3 對(duì)目標(biāo)模型做反向投影操作，將目標(biāo)模型的紋理特征和亮度特征融合，求得目標(biāo)模型特征值的概率密度分布直方圖.在概率密度分布直方圖中，峰值越大，與目標(biāo)區(qū)域越接近.這樣峰值大且密集的區(qū)域即為目標(biāo)模型的輪廓區(qū)域.

2.3 基于Kalman濾波的相似性函數(shù)計(jì)算

Kalman濾波[13]是一種空間狀態(tài)估計(jì)方法，通過(guò)跟蹤目標(biāo)動(dòng)態(tài)特性的線性關(guān)系來(lái)預(yù)測(cè)和校正它的實(shí)時(shí)位置.Kalman濾波可以按照式(4)估計(jì)候選區(qū)域的相似性函數(shù)：

(4)

在交通視頻序列中，跟蹤目標(biāo)的位置為(x,y)，并且按照式(4)進(jìn)行實(shí)時(shí)計(jì)算.假設(shè)Q是初始狀態(tài)時(shí)平均值為0、方差為0.5的高斯噪聲的協(xié)方差矩陣.那么當(dāng)前狀態(tài)模型矩陣為

(5)

(6)

用矩陣Φ、H作為視頻序列中跟蹤目標(biāo)的參數(shù)對(duì)Kalman濾波進(jìn)行初始化.

2.4 目標(biāo)的搜索策略

假設(shè)候選對(duì)象位于y，則目標(biāo)模板可以描述為[14]

(7)

有關(guān)符號(hào)的說(shuō)明參見(jiàn)2.2節(jié).

將2.3節(jié)中Kalman濾波計(jì)算的相似性計(jì)算結(jié)果迭代入式(7)中，求出與qu最接近的pu的值，即為目標(biāo)模型的最佳中心位置.

MeanShift跟蹤算法利用概率密度的梯度上升來(lái)尋找局部最優(yōu)[15].針對(duì)選取的跟蹤目標(biāo)的區(qū)域范圍，根據(jù)其反向投影概率圖進(jìn)行MeanShift迭代，實(shí)現(xiàn)目標(biāo)的跟蹤.

3 實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)的運(yùn)行環(huán)境為：Window專業(yè)版，處理器Intel(R)Core(TM)i5-3470 CPU@3.20Ghz 3.20 GHz，內(nèi)存4 G.實(shí)驗(yàn)平臺(tái)Visual Studio 2013+OpenCV-3.1.0.

圖8～圖10給出了復(fù)雜場(chǎng)景下各算法對(duì)目標(biāo)車輛的跟蹤情況，表1給出了各算法跟蹤目標(biāo)的位置坐標(biāo).

圖8 傳統(tǒng)MS跟蹤算法結(jié)果Fig.8 The tracking result of traditional MS algorithm

圖9 基于Kalman濾波的MS跟蹤算法結(jié)果Fig.9 The tracking result of the MS algorithm based on Kalman filter

圖10 基于Contourlet直方圖的MS跟蹤算法結(jié)果Fig.10 The tracking result of the MS algorithm based on Contourlet histogram

從圖8～圖10及表1可以看出在復(fù)雜場(chǎng)景下的交通視頻車輛跟蹤中，傳統(tǒng)的MS算法的抗干擾性較差，而基于Contourlet直方圖的MeanShift交通視頻車輛目標(biāo)跟蹤算法的抗干擾性較好.跟蹤目標(biāo)在復(fù)雜場(chǎng)景中不易丟失.

表1 目標(biāo)位置與各算法的跟蹤窗口中心位置的對(duì)比

圖11～圖13對(duì)遼寧省大連市西崗區(qū)的交通視頻進(jìn)行跟蹤的結(jié)果.可以看出，對(duì)復(fù)雜場(chǎng)景本文算法具有較好的穩(wěn)定性和抗干擾性.

圖11 傳統(tǒng)MS跟蹤算法結(jié)果Fig.11 The tracking result of traditional MS algorithm

圖12 基于Kalman濾波的MS跟蹤算法結(jié)果Fig.12 The tracking result of the MS algorithm based on Kalman filter

圖13 基于Contourlet直方圖的MS跟蹤算法結(jié)果Fig.13 The tracking result of the MS algorithm based on Contourlet histogram

4 結(jié)束語(yǔ)

針對(duì)MeanShift算法在復(fù)雜場(chǎng)景下交通視頻車輛跟蹤中存在極易丟失跟蹤目標(biāo)的問(wèn)題以及跟蹤窗口大小不穩(wěn)定的缺陷，將Kalman濾波算法以及Contourlet直方圖引入到MeanShift跟蹤算法中，提出一種基于Contourlet直方圖的MeanShift交通視頻車輛目標(biāo)跟蹤算法.仿真實(shí)驗(yàn)表明所提出的算法對(duì)復(fù)雜環(huán)境具有較好的魯棒性.

致謝 感謝大連市公安局交通警察支隊(duì)西崗區(qū)交通大隊(duì)所提供的實(shí)驗(yàn)視頻支持.

[1] FUKUNAGA K, HOSTERLER L. The estimation of the gradient of a density function with application in pattern recognition[J].IEEE Trans Information Theory,1975,21(1):32-40

[2] CHENG Y. MeanShift, mode seeking, and clustering[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,1995,17(8):790-799.

[3] DO M N ,VETTERLI M. Wavelet-based texture retrieval using generalized Gaussian density and Kullback-Leibler distance[J]. IEEE Trans Image Proc,2002,11(2):146-158.

[4] DUNCAN D Y P,MINH N D. Directional multiscale modeling of images using the Contourlet transform[J]. IEEE Transactions on Image Processing A Publication of the IEEE Signal Processing Society,2006,15(6):1610-20.

[5] 吳莉,梅雪,林錦國(guó).基于Cntourlet變換和KFD的相似目標(biāo)特征提取[J].計(jì)算機(jī)工程與設(shè)計(jì),2011,32(1):240-243.

[6] 王相海,陳明瑩,宋傳鳴，等.帶方向特征的Contourlet HMT模型[J].中國(guó)科學(xué)(信息科學(xué)),2013,43(5):626-643.

[7] 郭文婷,蔡念.基于Contourlet直方圖的目標(biāo)跟蹤算法[J].激光與紅外,2012,42(10):1177-1180.

[8] 周妍,李慶武,霍冠英.基于非下采樣Contourlet變換系數(shù)直方圖匹配的自適應(yīng)圖像增強(qiáng)[J].光學(xué)精密工程,2014,22(8):2214-2222.

[9] 馬文佳,曲仕茹.基于非下采樣Contourlet變換的交通圖像融合方法研究[J].交通運(yùn)輸系統(tǒng)工程與信息,2010, 10(6):48-52.

[10] 田小忱,楊東,杜春華.綜合顏色和Contourlet直方圖的圖像檢索方法[J].計(jì)算機(jī)工程，2010,36(1):224-227.

[11] 韓敏,侯榆青,張海波,等.綜合Contourlet變換和顏色特征的圖像檢索算法[J].小型微型計(jì)算機(jī)系統(tǒng),2012,33(6):1288-1292.

[12] 傅薈璇,王宇超,孫楓.融合Kalman濾波的自適應(yīng)帶寬MeanShift算法[J].中南大學(xué)學(xué)報(bào)(自然科學(xué)版),2011，42(1):784-788.

[13] KULKARNI A, VARGANTWAR M.Video based tracking with Mean Shift and Kalman filter[J].International Journal of Engineering Research & Technology (IJERT),2014,3(5):1271-1274.

[14] 張鳳軍,趙嶺,安國(guó)成,等.一種尺度自適應(yīng)的MeanShift跟蹤算法[J].計(jì)算機(jī)研究與發(fā)展,2014,51(1):215-224.

[15] 劉陽(yáng),王忠立,蔡伯根.復(fù)雜環(huán)境基于多信息融合的車輛跟蹤方法[J].交通運(yùn)輸系統(tǒng)工程與信息，2015,15(6):74-81.

Video vehicle tracking algorithm based on Contourlet and MeanShift

WANGXianghai,LIUMeiyao,SUYuanhe,FANGLingling,SONGChuanming

(School of Computer and Information Technology, Liaoning Normal University, Dalian 116081, China)

Based on Contourlet Histogram,the paper proposed a new traffic video tracking algorithm of MeanShift.First of all,using Contourlet transform to achieve the textural feature and contour of the tracking object in the region of interest from traffic video,and using histogram to count tracking object's textural characteristics.Then,calculate the correlation function of tracking object curve with Kalman filter.Finally,iterate the computing result to MeanShift tracking algorithm to select the optimal estimate,and then realize the accurate location of traffic video vehicles in complex scenes.By MeanShift of traditional tracking algorithm with MeanShift tracking algorithm based on Kalman filter comparing, we find shows that this algorithm not only can effectively track the video vehicle in complex scenes, but also has good stability and anti-jamming.

Contourlet histogram;MeanShift tracking algorithm;Kalman filter;texture feature；complex scenes

2017-01-23

國(guó)家自然科學(xué)基金資助項(xiàng)目(41671439；41402214)；高等學(xué)校博士學(xué)科點(diǎn)專項(xiàng)科研基金資助項(xiàng)目(20132136110002)

王相海(1965-)，男，吉林汪清人，遼寧師范大學(xué)教授,博士,博士生導(dǎo)師,CCF高級(jí)會(huì)員.

1000-1735(2017)02-0192-07

10.11679/lsxblk2017020192

TP391

A