基于多層定位的多目標(biāo)跟蹤算法

姜 明 新， 王 洪 玉

（1.大連理工大學(xué) 電子信息與電氣工程學(xué)部，遼寧 大連 116024；2.大連民族學(xué)院 信息與通信工程學(xué)院，遼寧 大連 116600）

0 引 言

在復(fù)雜的監(jiān)控環(huán)境中，由于多目標(biāo)的密度大，相互之間的遮擋頻繁發(fā)生.在這種情況下，多目標(biāo)的穩(wěn)定跟蹤具有一定的難度.近年來，很多學(xué)者進(jìn)行了這方面的研究[1、2].文獻(xiàn)[3]提出利用粒子濾波方法進(jìn)行多目標(biāo)跟蹤和數(shù)據(jù)融合，但算法無法達(dá)到實(shí)時(shí)性要求.文獻(xiàn)[4]提出了基于核的多目標(biāo)跟蹤算法，該算法在目標(biāo)外觀比較接近時(shí)的魯棒性能比較差.文獻(xiàn)[5]提出了利用貝葉斯框架實(shí)現(xiàn)對多目標(biāo)的跟蹤.文獻(xiàn)[6、7]提出了利用多相機(jī)之間的單應(yīng)性的多目標(biāo)跟蹤算法，但算法需要對相機(jī)進(jìn)行完全標(biāo)定.

為解決遮擋問題，本文提出一種基于多層定位的目標(biāo)跟蹤算法.該算法利用多相機(jī)間基于多個(gè)高度層的單應(yīng)性變換對多目標(biāo)進(jìn)行定位.即將多個(gè)同步相機(jī)放置在不同的視角上，通過對背景建模得到多個(gè)視角的前景信息，選擇其中任意一個(gè)相機(jī)的像平面作為參考圖像.選擇地平面作為參考平面，垂直地面的方向作為參考方向，在參考方向上分多層.在每一層上，利用單應(yīng)性將其他視角的信息映射到參考場景中，通過多相機(jī)信息的融合實(shí)現(xiàn)對多個(gè)目標(biāo)的定位.然后利用圖割算法，根據(jù)每層的定位信息實(shí)現(xiàn)對多目標(biāo)的跟蹤.

1 前景檢測

本文采用碼本模型對背景進(jìn)行建模，獲得每個(gè)像素屬于前景的概率，即獲得每一個(gè)相機(jī)拍攝場景圖像的前景似然信息.文獻(xiàn)[8]提出了碼本模型，獲得碼本后，檢測前景似然信息的過程如下：

假設(shè)目標(biāo)檢測過程中新輸入像素為xi＝（RGB），其對應(yīng)的碼本為M.減背景操作BGS（xi）可以大致分為3步：

步驟1 計(jì)算當(dāng)前像素的亮度I＝R＋G＋B，定義布爾變量match＝0，并給閾值變量ε賦值.

步驟2 根據(jù)以下兩個(gè)條件從碼本M中找出與當(dāng)前像素相匹配的碼字Cm，如果能夠找到碼字Cm，則match＝1，否則，match＝0：

為了判斷前景和背景，運(yùn)動(dòng)目標(biāo)檢測中亮度變化有一個(gè)范圍，對于每個(gè)碼字，其范圍為[Ilow，Ihi].亮度函數(shù)的定義為

步驟3 判斷前景運(yùn)動(dòng)目標(biāo)像素：

圖1是利用混合高斯模型和碼本模型進(jìn)行前景檢測的實(shí)驗(yàn)結(jié)果對比.可以看出，利用碼本模型進(jìn)行前景檢測能夠很好地克服運(yùn)動(dòng)目標(biāo)的陰影問題和空洞現(xiàn)象.

圖1 利用不同模型檢測前景的結(jié)果Fig.1 Results of foreground detection using different models

2 定位算法

2.1 單應(yīng)性矩陣

本文選擇地平面作為參考平面，兩個(gè)相機(jī)拍攝的圖像（簡稱像平面）分別記為Ii和Ij.設(shè)π是不通過兩個(gè)相機(jī)任一光心的空間參考平面，令X是平面π上的任意一點(diǎn)，X在Ii和Ij中的像分別為mi＝ （xiyi1）T和mj＝ （xjyj1）T，定義一個(gè)3×3的矩陣：

使得mj＝Hiπjmi，即

滿足式（4）的矩陣Hiπj稱為平面π誘導(dǎo)的兩個(gè)像平面間的單應(yīng)性矩陣，式（4）稱為單應(yīng)性變換[9].利用單應(yīng)性矩陣Hiπj，從一個(gè)像平面上的點(diǎn)可以得到另一個(gè)像平面上的對應(yīng)點(diǎn).單應(yīng)性矩陣Hiπj具有8個(gè)自由度.在實(shí)驗(yàn)過程中，在地面上放置4個(gè)標(biāo)志物，來計(jì)算基于參考平面（地面）的單應(yīng)性矩陣.

2.2 垂直方向的滅點(diǎn)

為了獲得平行于地面的多個(gè)高度層的單應(yīng)性矩陣，需要計(jì)算垂直方向上的滅點(diǎn).直線上無窮遠(yuǎn)點(diǎn)的像稱為該直線的滅點(diǎn).由于平行直線與無窮遠(yuǎn)平面相交于同一個(gè)無窮遠(yuǎn)點(diǎn)，平行直線有一個(gè)相同的滅點(diǎn)，即滅點(diǎn)只與直線的方向有關(guān)而與直線的位置無關(guān)[10].為了計(jì)算基于多層的單應(yīng)性矩陣，必須先檢測垂直方向上的滅點(diǎn).因?yàn)榻ㄖ锏倪吘壱话愦嬖诤芏嘞嗷テ叫械闹本€，本文利用監(jiān)控場景中的建筑物進(jìn)行滅點(diǎn)的求解.本文檢測滅點(diǎn)的方法可以大致歸納為以下幾個(gè)步驟：

步驟1 利用Canny算子提取圖像中的邊緣信息.

步驟2 利用Hough變換從邊緣信息中提取出垂直于地面方向的線段.

步驟3 利用下式求出垂直方向上的滅點(diǎn)VY：

2.3 利用滅點(diǎn)進(jìn)行多目標(biāo)多層定位

本文在平行于參考平面的多個(gè)高度層上對目標(biāo)進(jìn)行定位，然后融合多層定位的信息，對目標(biāo)進(jìn)行跟蹤，這樣大大提高了多目標(biāo)跟蹤的魯棒性和準(zhǔn)確性.

π為參考平面，垂直于參考平面的方向?yàn)閰⒖挤较?為平行于參考平面的任意平面.Ii為相機(jī)i的像平面，選擇Ii的前景似然圖像作為參考圖像.

平面π誘導(dǎo)的任意兩個(gè)像平面Ii和Ij間的單應(yīng)性矩陣Hiπj可以分解為

同理，由平面誘導(dǎo)的單應(yīng)性矩陣Hi j也可

以分解為

根據(jù)文獻(xiàn)[11]，可以得到

式中：vrefj是相機(jī)j的像平面Ij垂直方向上的滅點(diǎn)，γj是控制多層之間距離的標(biāo)量.

式中g(shù)＝trace（（0｜γivrefi）Hitoπ）.把式（8）、（9）代入式（7），可以得到

注意到Hitoπ是一個(gè)平面到另一個(gè)平面的中心投影，g＝trace（（0｜γivrefi）Hitoπ）＝γi，將此結(jié)果和式（6）代入式（10），經(jīng)過線性代數(shù)推導(dǎo)可得由平面誘導(dǎo)的Ii和Ij間的單應(yīng)性矩陣為

在實(shí)驗(yàn)過程中選用3個(gè)相機(jī)對多目標(biāo)進(jìn)行跟蹤，得到3個(gè)視角的圖像，簡記為view1、view2、view3.選擇其中一個(gè)視角的前景似然圖像作為參考圖像，利用式（11）將其他兩個(gè)視角的前景似然圖像映射到參考圖像中，得到多相機(jī)的多層融合圖像，多層融合圖像上的高亮點(diǎn)即為多目標(biāo)在多層上的定位信息.

3 跟蹤算法

本文利用圖割理論[12]對多層定位信息進(jìn)行處理，進(jìn)而實(shí)現(xiàn)對多目標(biāo)的跟蹤.空間中的某一個(gè)位置在某一個(gè)時(shí)刻只能被一個(gè)目標(biāo)所占據(jù)，所以在一段時(shí)間內(nèi)，這個(gè)目標(biāo)多個(gè)時(shí)刻位置的集合就構(gòu)成了它的軌跡.利用第2章得到的多目標(biāo)在多層上的定位信息，構(gòu)建能量函數(shù)：

式中：P（p）為多層融合圖像上的像素p屬于前景的概率；N為所有相鄰元素的集合；dist（p，q）為相鄰元素p和q的歐幾里得距離；α、β為數(shù)據(jù)項(xiàng)和平滑項(xiàng)比例關(guān)系的系數(shù)；τ為歸一化因數(shù).

在實(shí)驗(yàn)過程中，為了提高跟蹤的準(zhǔn)確度，采取了時(shí)間滑動(dòng)窗口進(jìn)行處理.所謂時(shí)間滑動(dòng)窗口就是每15幀處理一次，第一幀為初始化幀，最后一幀作為下一個(gè)時(shí)間滑動(dòng)窗口的初始幀.在每次處理中保證有一幀的交疊，這種交疊方式是為了傳遞ID（目標(biāo)的標(biāo)簽值）.ID的傳遞則是通過由初始化幀中每個(gè)目標(biāo)位置在其余14幀中的位置預(yù)測一個(gè)區(qū)域，同時(shí)賦予相應(yīng)的標(biāo)簽值.然后利用圖割理論實(shí)現(xiàn)能量函數(shù)最小化，進(jìn)而得到每個(gè)目標(biāo)在不同層上的標(biāo)簽值.將多層圖割后的結(jié)果融合起來就可以實(shí)現(xiàn)對多目標(biāo)的穩(wěn)定跟蹤，本文在實(shí)驗(yàn)中用矩形框表示跟蹤結(jié)果.

4 實(shí)驗(yàn)結(jié)果及分析

為了說明本文的多層定位跟蹤算法對遮擋的魯棒性，利用3臺(tái)相機(jī)從不同視角拍攝實(shí)驗(yàn)視頻進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)視頻分辨率均為320pixel×240 pixel，算法實(shí)現(xiàn)基于 Windows操作系統(tǒng)，采用Visual Studio 2008和opencv2.0作為軟件平臺(tái)，計(jì)算機(jī)配置為Pentium（R）Dual－Core CPU 2.0 GHz.

實(shí)驗(yàn)過程中，本文計(jì)算垂直方向上的滅點(diǎn)，實(shí)驗(yàn)結(jié)果如圖2所示，選取其中1個(gè)視角來進(jìn)行說明，其他2個(gè)視角的求法與此相同.圖2（b）是利用Canny算子提取出的視頻圖像中的邊緣信息，圖2（c）是利用Hough變換從邊緣信息中手動(dòng)選取的垂直于地面方向的線段.利用式（5）求出垂直方向上的滅點(diǎn)VY，垂直方向上滅點(diǎn)坐標(biāo)為（254，460）.

圖3是對多目標(biāo)進(jìn)行多層定位的實(shí)驗(yàn)結(jié)果，圖3（a）是3臺(tái)相機(jī)從3個(gè)視角拍攝的原始視頻圖像，在實(shí)驗(yàn)中選取第3個(gè)視角的前景圖像作為參考圖像，平行于地面共分為8層.圖3（b）～（d）分別表示實(shí)驗(yàn)視頻基于地平面、第3層和第6層的多目標(biāo)定位信息.圖4是參考視角多目標(biāo)跟蹤的實(shí)驗(yàn)結(jié)果.

圖2 實(shí)驗(yàn)視頻垂直方向上的滅點(diǎn)檢測Fig.2 Detection of vanishing points for the vertical direction of experimental video

圖3 本文定位算法多層定位的結(jié)果Fig.3 The results of localizing algorithm in this paper at multiple planes

圖4 參考視角的多目標(biāo)跟蹤結(jié)果Fig.4 Multi－object tracking results of the reference view

5 結(jié) 論

本文在平行于地面的多個(gè)參考平面上對多人進(jìn)行定位，利用多層定位信息構(gòu)建能量函數(shù)，采用圖割理論實(shí)現(xiàn)能量函數(shù)的最小化，進(jìn)而實(shí)現(xiàn)對多目標(biāo)的穩(wěn)定跟蹤.本文提出的算法不需要標(biāo)定相機(jī)，只需要計(jì)算相機(jī)的滅點(diǎn)，所以在很大程度上簡化了跟蹤算法的計(jì)算復(fù)雜度.實(shí)驗(yàn)結(jié)果表明算法對遮擋具有很強(qiáng)的魯棒性.

[1] JIANG Ming－xin，LI Min， WANG Hong－yu.A robust combined algorithm of object tracking based on moving object detection [C]//Proceedings of 2010 International Conference on Intelligent Control and Information Processing，ICICIP 2010.Piscataway：IEEE Computer Society，2010：619－622.

[2] Brendel W，Amer M，Todorovic S. Multi－object tracking as maximum weight independent set[C]//Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition.Piscataway：IEEE Computer Society，2011：1273－1280.

[3] Hue C，Le Cadre J P，Perez P.Sequential Monte Carlo methods for multiple target tracking and data fusion[J].IEEE Transactions on Signal Processing，2002，50（2）：309－325.

[4] Han Bo－h(huán)yung，ZHU Ying，Comaniciu D，etal.Kernel－based Bayesian filtering for object tracking[C]//Proceedings －2005IEEE Computer Society Conference on Computer Vision and Pattern Recognition， CVPR 2005. Piscataway：IEEE Computer Society，2005：227－234.

[5] Mittal A，Davis L S. M2tracker：A multi－view approach to segmenting and tracking people in a cluttered scene[J].International Journal of Computer Vision，2003，51（3）：189－203.

[6] TONG Xiao－ming，YANG Tao，XI Run－ping，etal.A novel multi－planar homography constraint algorithm for robust multi－people location with severe occlusion[C]//Proceedings of the 5th International Conference on Image and Graphics，ICIG 2009.Piscataway：IEEE Computer Society，2010：349－354.

[7] Han Bo－h(huán)yung，Joo Seong－wook，Davis L S.Multicamera tracking with adaptive resource allocation[J].International Journal of Computer Vision，2011，91（1）：45－58.

[8] Kim K，Chalidabhongse T H，Harwood D，etal.Real－time foreground－background segmentation using codebook model [J].Real－Time Imaging，2005，11（3）：167－256.

[9] Hartley R，Zisserman A.Multiple View Geometry in Computer Vision [M]. Cambridge：Cambridge University Press，2003：237－253.

[10] Rother C.A new approach for vanishing point detection in architectural environments[J].Image and Vision Computing，2002，20（9）：647－655.

[11] Criminisi A，Reid I，Zisserman A.Single view metrology [C] // Proceedings of the IEEE International Conference on Computer Vision.Piscataway：IEEE Computer Society，1999：434－441.

[12] Nicolas P，Aurelie B.Tracking with occlusions via graph cuts [J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2011，33（1）：144－157.