非重疊場(chǎng)景下多攝像機(jī)車輛跟蹤研究

邵建荃

（四川大學(xué)計(jì)算機(jī)學(xué)院，成都 610065)

非重疊場(chǎng)景下多攝像機(jī)車輛跟蹤研究

邵建荃

（四川大學(xué)計(jì)算機(jī)學(xué)院，成都 610065)

目標(biāo)跟蹤是機(jī)器智能領(lǐng)域研究的一大研究方向。近年來，多攝像頭的協(xié)同跟蹤是跟蹤研究的一大熱點(diǎn)。實(shí)現(xiàn)一個(gè)簡(jiǎn)單的非重疊場(chǎng)景下的多攝像頭跟蹤框架?？梢詫?shí)現(xiàn)自動(dòng)檢測(cè)前景目標(biāo)，并在兩個(gè)攝像頭間保持目標(biāo)身份的同一性。具體來說前景檢測(cè)模塊實(shí)現(xiàn)混合高斯模型背景建模。在對(duì)多目標(biāo)跟蹤模塊基本實(shí)現(xiàn)對(duì)出現(xiàn)的前景目標(biāo)的識(shí)別與跟蹤。對(duì)跟蹤過程中出現(xiàn)的陰影、遮擋問題應(yīng)用相應(yīng)的解決方法，取得實(shí)際效果。對(duì)多目標(biāo)匹配過程中特征的選取和時(shí)間信息的綜合利用做嘗試。嘗試使用顏色直方圖與SURF特征以及時(shí)間信息相結(jié)合的特征匹配方法。在活動(dòng)分析過程中分析兩攝像點(diǎn)間車輛的速度。該方法也可以用于對(duì)一個(gè)交通系統(tǒng)中長(zhǎng)距離行駛的車輛進(jìn)行跟蹤，可以測(cè)量點(diǎn)對(duì)點(diǎn)的交通參數(shù)。

視頻監(jiān)控；混合高斯背景模型；多目標(biāo)跟蹤；圖像匹配

0 引言

近年來，視頻監(jiān)控設(shè)備的成本不斷降低，越來越多的監(jiān)控設(shè)施被安裝使用并構(gòu)成了龐大的覆蓋網(wǎng)絡(luò)。特別是在交通系統(tǒng)中，大多數(shù)的干道配有監(jiān)控設(shè)備。這些攝像頭網(wǎng)絡(luò)提供了覆蓋很多地區(qū)的龐大數(shù)據(jù)。在這些數(shù)據(jù)，由于攝像頭角度以及拍攝分辨率原因，大多數(shù)無法準(zhǔn)確地確定車輛身份。因此從這些數(shù)據(jù)中人工查找某一特定的車輛費(fèi)時(shí)費(fèi)力，猶如大海撈針。

而且，多數(shù)的智能交通系統(tǒng)僅限于運(yùn)用單個(gè)或者少量的攝像頭信息。通常是形象化地檢查一條道路的交通流動(dòng)，沒有對(duì)多個(gè)監(jiān)控?cái)z像頭的信息進(jìn)行有效的融合。而不論是改善交通現(xiàn)狀還是處理交通逃逸、治安刑事案件，從交通網(wǎng)絡(luò)中搜索指定車輛、跟蹤車輛的運(yùn)行時(shí)間都是必不可少的。這就要求當(dāng)一輛車通過多個(gè)攝像頭時(shí)，可以保持其身份的同一性。因此道路交通中多個(gè)監(jiān)控站點(diǎn)的車輛匹配跟蹤有十分重要的研究意義。

1 系統(tǒng)原理分析

該系統(tǒng)的實(shí)現(xiàn)分為三大部分。第一部分為單攝像機(jī)跟蹤。第二部分為多攝像機(jī)跟中，第三部分為活動(dòng)分析。具體分為以下步驟：

①處理攝像機(jī)提供的數(shù)據(jù)，做簡(jiǎn)單的預(yù)處理，包括降低幀率，減小分辨率。這是為了在保證處理效果的基礎(chǔ)上提高處理速度。

②單攝像機(jī)背景建模。利用混合高斯對(duì)固定攝像頭的背景建模。

③利用背景差法計(jì)算前景。

④在HSV空間上對(duì)前景做去陰影處理。

⑤單攝像頭跟蹤。建立運(yùn)動(dòng)目標(biāo)模型和目標(biāo)行為模型后，運(yùn)用最近鄰濾波和關(guān)聯(lián)矩陣相結(jié)合的方法進(jìn)行多目標(biāo)跟蹤。

⑥提取跟蹤目標(biāo)的特征并融合形成特征向量。

⑦綜合多個(gè)特征進(jìn)行目標(biāo)匹配。

⑧對(duì)匹配對(duì)象進(jìn)行活動(dòng)分析。包括單個(gè)對(duì)象的行為分析與基于統(tǒng)計(jì)的活動(dòng)分析。

2 實(shí)驗(yàn)設(shè)計(jì)及結(jié)果分析

2.1 實(shí)現(xiàn)環(huán)境

實(shí)驗(yàn)的實(shí)驗(yàn)環(huán)境如下：

系統(tǒng)運(yùn)行環(huán)境：

操作系統(tǒng)：Windows 8

硬件配置：

CPU：Intel Core i3 CPU T6600@2.20GHz

內(nèi)存空間：6GB

磁盤空間：500GB

編程語言：MATLAB

集成編譯環(huán)境：MATLAB 2012

2.2 數(shù)據(jù)采集

用兩臺(tái)數(shù)碼攝像機(jī)和配套的三腳架進(jìn)行視頻采集。一臺(tái)攝像機(jī)架設(shè)在校醫(yī)院二樓，一臺(tái)架設(shè)在文華活動(dòng)中心二樓，兩地點(diǎn)相距約150米。這兩個(gè)地點(diǎn)之間為直行路，有來回走動(dòng)的車輛和行人。特別是文華活動(dòng)中心附近有車與人停下，這對(duì)實(shí)驗(yàn)造成較大影響。在地點(diǎn)1采集的圖片分辨率為320×240，幀率為18幀每秒，地點(diǎn)2采集的圖片分辨率為432×240，幀率為18幀每秒。地點(diǎn)示意圖以及代表幀如下：

圖1 拍攝地點(diǎn)

2.3 結(jié)果分析

（1）前景提取結(jié)果分析：

混合高斯模型可以較好地得到前景。通過參數(shù)的調(diào)整也可以處理輕微的抖動(dòng)問題。混合高斯模型的參數(shù)有閾值T與更新率α。通過試錯(cuò)法對(duì)參數(shù)調(diào)整發(fā)現(xiàn)當(dāng)T取0.6，α取0.01時(shí)能達(dá)到較好效果。在論文[3]中作者將落入的判斷閾值設(shè)為2.5倍的標(biāo)準(zhǔn)差。但在本文實(shí)驗(yàn)中發(fā)現(xiàn)判斷閾值設(shè)置為4倍標(biāo)準(zhǔn)差效果會(huì)更好。對(duì)比如下：

圖2 拍攝場(chǎng)景

圖3 參數(shù)調(diào)整效果圖

圖3分別展示了T=0.2，α=0.01，閾值為2.5倍，T= 0.6，α=0.1，閾值為2.5倍，T=0.6，α=0.01，閾值為2.5倍，T=0.6，α=0.01，閾值為4倍下的典型效果圖。

在實(shí)驗(yàn)過程中發(fā)現(xiàn)，當(dāng)程序運(yùn)行到4000幀以后，會(huì)出現(xiàn)兩個(gè)反?，F(xiàn)象。一是取值極為穩(wěn)定的像素點(diǎn)慢慢變黑。二是車輛經(jīng)過交多的像素點(diǎn)越來越容易將前景判斷為背景，且更新變快。

經(jīng)過分析，原因?yàn)椋?/p>

圖4 錯(cuò)誤效果圖

原公式如上所示，若該像素點(diǎn)一直保持穩(wěn)定（如均為[255 255 255]）,則p會(huì)逐漸增大，而標(biāo)準(zhǔn)差σ逐漸減小。在某一時(shí)刻，（1-p）會(huì)小于0造成該點(diǎn)均值方差均為NaN。若該像素點(diǎn)變動(dòng)較大（經(jīng)常有車經(jīng)過），則σ逐漸增大，隨著σ的增大引入的誤差逐漸增大（當(dāng)幀數(shù)3000時(shí)最大標(biāo)準(zhǔn)差為30，與均值差值為2.5x30=75內(nèi)的像素值均落入該模型）。導(dǎo)致本該是前景的像素值被判斷為背景。改進(jìn)方法為每1000幀對(duì)模型重新初始化。改進(jìn)前后對(duì)比如下：

圖5 對(duì)比效果圖

（2）去陰影結(jié)果分析：

陰影去除方法有明顯的效果。但也存在著一些問題。典型的處理結(jié)果如下：

圖6 陰影去除效果圖

去陰影方法可以有效地去除陰影。但在陰影面積過大的情況下容易造成將陰影與目標(biāo)分裂，對(duì)跟蹤造成干擾。對(duì)于黑色車輛也容易將車輛誤當(dāng)為陰影去除，造成檢測(cè)錯(cuò)誤。

（3）單目標(biāo)跟蹤結(jié)果分析：

我們僅分析對(duì)場(chǎng)景中汽車、自行車、摩托車、三輪車的跟蹤情況。在攝像點(diǎn)二10分鐘的拍攝過程中統(tǒng)計(jì)結(jié)果如下：

表1 跟蹤查全率

丟失的兩輛車是因?yàn)橥耆趽?。由于攝像角度問題自行車會(huì)被樹木遮擋，所以捕獲率過低。

跟蹤過程可以較好地解決車輛合并與分裂問題。典型場(chǎng)景如圖7所示。

圖7 跟蹤結(jié)果示例

（4）目標(biāo)匹配結(jié)果分析：

僅使用顏色直方圖法、僅使用SURF法，根據(jù)速度縮小搜索范圍后，結(jié)合速度、顏色直方圖、SURF特征匹配的正確率如下：

表2

典型車輛顏色直方圖對(duì)比、SURF特征對(duì)比如下：

從中可以看出在視頻采集時(shí)間（中午1點(diǎn)），通過文化大道的車輛的速度都較慢，這也和中午人流量大有關(guān)。

4 結(jié)語

本文主要嘗試搭建非重疊場(chǎng)景下多目標(biāo)跟蹤的框架，并討論了在此框架下的關(guān)鍵步驟。針對(duì)這些關(guān)鍵步驟相應(yīng)設(shè)計(jì)了實(shí)驗(yàn)，驗(yàn)證了一些技術(shù)在該框架下的作用。在這個(gè)過程中出現(xiàn)了許多問題，并嘗試進(jìn)行了解決：

圖8 特征對(duì)比示例圖

（5）檢測(cè)結(jié)果分析：

車輛的平均速度分布如下：

圖9 速度分布直方圖

（1）背景建模時(shí)間：在開始用MATLAB實(shí)現(xiàn)混合高斯模型時(shí)工作效率很低，無法滿足實(shí)驗(yàn)需求。在改進(jìn)算法（如更新率p的使用常數(shù)），并修改代碼（完全采用矩陣化運(yùn)算）后，時(shí)間獲得了大幅提升。

（2）背景模型在長(zhǎng)時(shí)間運(yùn)行后不穩(wěn)定：這個(gè)問題在本文中做了詳細(xì)論述，通過單步調(diào)試和對(duì)參數(shù)值的分析發(fā)現(xiàn)了自己實(shí)現(xiàn)中的漏洞，并做了改進(jìn)。

（3）跟蹤過程中的遮擋、合并、分裂問題：原本系統(tǒng)設(shè)計(jì)僅簡(jiǎn)單對(duì)前景進(jìn)行提取，但由于這些問題導(dǎo)致提取的前景不能代表原有問題。只好設(shè)計(jì)了比較復(fù)雜的跟蹤系統(tǒng)，較好地解決了這一問題。

（4）特征的選?。河捎谂臄z角度、機(jī)型、焦距不同，導(dǎo)致視頻中車輛差距比較大。如何選取適當(dāng)?shù)奶卣魇瞧ヅ涑晒Φ年P(guān)鍵。

[1]Rojas J C,Crisman J D.Vehicle Detection in Color Images[C].Intelligent Transportation System,1997.ITSC'97.,IEEE Conference on. IEEE,1997:403-408.

[2]Kogut G T,Trivedi M M.Maintaining the Identity of Multiple Vehicles as They Travel Through a Video Network[C].Multi-Object Tracking,2001.Proceedings.2001 IEEE Workshop on.IEEE,2001:29-34.

[3]Stauffer C,Grimson W E L.Adaptive Background Mixture Models for Real-Time Tracking[C].Computer Vision and Pattern Recognition,1999.IEEE Computer Society Conference on.IEEE,1999,2.

[4]Pele O,Werman M.The Quadratic-Chi histogram Distance Family[M].Computer Vision-ECCV 2010.Springer Berlin Heidelberg, 2010:749-762.

[5]Herbert Bay,Tinne Tuytelaars,Luc Van Gool.SURF:Speeded Up Robust Features.Computer Vision-ECCV 2006 Lecture Notes in Computer Science Volume 3951,2006:404-417.

[6]Cucchiara R,Grana C,Piccardi M,et al.Improving Shadow Suppression in Moving Object Detection with HSV Color Information[C]. Intelligent Transportation Systems,2001.Proceedings.2001 IEEE.IEEE,2001:334-339.

[7]Swain M J,Ballard D H.Indexing Via Color Histograms[M].Active Perception and Robot Vision.Springer Berlin Heidelberg,1992: 261-273.

Research on Multi-Vehicle Tracking Methods under Non-Overlapping Field of Views

SHAO Jian-quan

（College of Computer Science，Sichuan University，Chengdu 610065）

Multi-Camera tracking which can be applied in vehicle tracking and traffic data measurement,has a promising application prospect in criminal investigation,hit-and-run accident handling and traffic situation improvement.Presently vehicles tracking under non-overlapping field of views are not involved in most intelligent transportation systems.Existing work holds problems like low precision and poor real-time performance.Realizes a simple tracking framework using multiple cameras under a non-overlapping field of views.Foreground objects can be detected automatically,while same objects are kept identical between two cameras.Specifically,the foreground detection module implements background modeling using a Gaussian Mixture Model,and appearing foreground objects are recognized and tracked in the multi-object tracking module.Applies specific methods,which achieves actual effect,to deal with shadow and occlusion problems in tracking process.Makes some attempts for the feature selection and comprehensive utilization of time information in multi-object tracking process.In feature matching,employs a combination of color histogram,SURF feature and time information.The activity analysis process computes the vehicles’driving speed on the road segment between two cameras.The proposed method can also be applied to track long-distance-traveling vehicles in a traffic system,in which point-to-point traffic parameters can be measured.

Video Surveillance;Gaussian Mixture Model;Multi-Object Tracking;Image Matching

1007-1423（2017）02-0049-05

10.3969/j.issn.1007-1423.2017.02.013

邵建荃（1991-），男，山西晉中人，碩士研究生，研究方向?yàn)槎嗝襟w計(jì)算

2016-11-17

2017-01-06