基于雙目視覺的運動目標(biāo)檢測跟蹤與定位

王婷婷，李　戈，趙　杰，張學(xué)賀

(哈爾濱工業(yè)大學(xué)機器人技術(shù)與系統(tǒng)國家重點實驗室，黑龍江 哈爾濱 150001)

Detection，Tracking and Positioning of Moving Target Based on Binocular Vision

WANG Tingting，LI Ge，ZHAO Jie，ZHANG Xuehe

(State Key Laboratory of Robotics and System，Harbin Institute of Technology，Harbin 150001，China)

?

基于雙目視覺的運動目標(biāo)檢測跟蹤與定位

王婷婷，李戈，趙杰，張學(xué)賀

(哈爾濱工業(yè)大學(xué)機器人技術(shù)與系統(tǒng)國家重點實驗室，黑龍江 哈爾濱 150001)

Detection，Tracking and Positioning of Moving Target Based on Binocular Vision

WANG Tingting，LI Ge，ZHAO Jie，ZHANG Xuehe

(State Key Laboratory of Robotics and System，Harbin Institute of Technology，Harbin 150001，China)

摘要：為克服傳統(tǒng)目標(biāo)檢測跟蹤方法無法對目標(biāo)準(zhǔn)確定位，以及在復(fù)雜環(huán)境下容易受光照、陰影等因素干擾的問題，提出了基于雙目視覺的目標(biāo)檢測跟蹤與定位方法。首先使用Matlab標(biāo)定工具箱和OpenCV進行攝像機標(biāo)定和圖像校正，然后利用基于雙目視覺的背景差分法實現(xiàn)目標(biāo)檢測，結(jié)合基于Kalman濾波的改進Camshift算法實現(xiàn)目標(biāo)跟蹤，最后利用視差圖得到目標(biāo)三維信息，從而實現(xiàn)目標(biāo)定位。實驗結(jié)果表明，所提方法能夠?qū)崟r跟蹤運動目標(biāo)并實現(xiàn)目標(biāo)的準(zhǔn)確定位。

關(guān)鍵詞：雙目視覺；目標(biāo)跟蹤；立體匹配；三維測距

0　引言

運動目標(biāo)檢測與跟蹤一直是計算機視覺的核心課題，是智能監(jiān)控系統(tǒng)的關(guān)鍵技術(shù)之一。目前，多數(shù)目標(biāo)檢測跟蹤依靠單目視覺，無法實現(xiàn)目標(biāo)準(zhǔn)確定位，而雙目視覺可以從不同角度拍攝同一場景的二維圖像中恢復(fù)深度信息，因此，提出一種基于雙目視覺的運動目標(biāo)檢測跟蹤與定位方法，不僅可以實時檢測跟蹤目標(biāo)，而且能夠?qū)崿F(xiàn)目標(biāo)準(zhǔn)確定位。

靜態(tài)背景下的運動目標(biāo)檢測主要包括幀間差分法、背景差分法[1]和光流法。幀間差分法對光照不敏感，缺點是不能提取完整目標(biāo)信息；背景差分法原理簡單，易于實現(xiàn)，實時性較好，可以提取完整的目標(biāo)信息，但是對光照變化敏感，需要實時更新背景；光流法不需要場景先驗信息，但計算復(fù)雜，不適合實時計算。Camshift是一種基于顏色特征的目標(biāo)跟蹤算法，由于計算量小，實時性高，該方法在目標(biāo)跟蹤領(lǐng)域得到了廣泛應(yīng)用，但是由于缺乏有效的運動預(yù)測模塊及對目標(biāo)特征的更新機制，Camshift容易丟失目標(biāo)。立體匹配算法分為全局立體匹配算法和局部立體匹配算法。全局算法精度高，但計算復(fù)雜，不適合實時計算，SAD是一種典型的局部立體匹配算法，相比全局立體匹配算法計算量小，實時性高。

在此，將立體視覺應(yīng)用到目標(biāo)檢測中，利用視差圖背景差分法提取運動目標(biāo)，Kalman濾波和Camshift算法結(jié)合實現(xiàn)目標(biāo)跟蹤，并利用視差圖得出目標(biāo)三維信息。

1　攝像機標(biāo)定

攝像機模型采用針孔模型，空間任何一點P在圖像上的成像位置可以用針孔模型近似表示，投影關(guān)系如式(1)所示，攝像機標(biāo)定就是標(biāo)定其內(nèi)外參數(shù)[2]。由于OpenCV標(biāo)定結(jié)果穩(wěn)定性差，首先利用Matlab標(biāo)定工具箱進行單雙目標(biāo)定，之后將標(biāo)定結(jié)果存成XML格式，讀入OpenCV對圖像進行校正。

(1)

(u，v)為P點在圖像坐標(biāo)系下的坐標(biāo)；(Xw，Yw，Zw)為P點在世界坐標(biāo)系下的坐標(biāo)；Zc為P點在攝像機坐標(biāo)系下的坐標(biāo)；(fx，fy，cx，cy)為攝像機內(nèi)部參數(shù)；R和T為外部參數(shù)，分別表示攝像機坐標(biāo)系相對世界坐標(biāo)系的旋轉(zhuǎn)矩陣和平移矩陣。

2　運動目標(biāo)檢測

運動目標(biāo)檢測步驟如圖1所示。

圖1　運動目標(biāo)檢測步驟

立體匹配[3]可以得到視差圖，由于對算法的實時性要求較高，因此選擇原理簡單實時性較好的SAD立體匹配算法[4]。該算法利用絕對誤差累計的小窗口查找左右圖像的匹配像素，對強紋理場景有較好的效果。SAD立體匹配算法首先預(yù)過濾圖像，使圖像亮度歸一化并加強圖像紋理，然后根據(jù)極線約束原則，SAD窗口沿圖像水平極線進行搜索匹配，最后進行后過濾處理，去除壞的匹配點。SAD計算公式為：

(2)

CSAD(x，y，d)為匹配代價；w為鄰域窗口；I(x，y)為基準(zhǔn)圖待匹配像素灰度值；d為窗口移動位移；I′(x+d，y)為配準(zhǔn)圖匹配像素灰度值。匹配代價最小時對應(yīng)的視差即為所求視差。

由于程序?qū)崟r性要求比較高，所以利用OpenCV均值漂移函數(shù)cvRunningAvg()來實時更新背景模型。二值化閾值分割就是對圖像選取合適的閾值進行二值化，如果像素點灰度值大于閾值則該點為前景，否則為背景，閾值的選擇直接影響目標(biāo)檢測效果。在此，采用OSTU(大津法)確定閾值，它是在最小二乘原理基礎(chǔ)上推導(dǎo)出來的，算法將圖像按照灰度特性分為背景和前景，兩部分的類間方差最大時對應(yīng)的灰度值就是閾值[5]。

經(jīng)過二值化后的圖像由于噪聲、陰影等影響，存在很多小的連通，需要進行形態(tài)學(xué)處理，形態(tài)學(xué)主要操作包括腐蝕、膨脹、開運算和閉運算。開運算是先腐蝕再膨脹的過程，能去除二值化圖像中的噪點、毛刺，閉運算就是先膨脹后腐蝕的過程，主要作用是填充目標(biāo)細小空洞、連接裂縫[6]。對二值化圖像先進行閉運算，再進行開運算，以達到準(zhǔn)確分割目標(biāo)的目的。結(jié)構(gòu)元素B對圖像A的開運算：

(3)

結(jié)構(gòu)元素B對圖像A的閉運算：

(4)

3　運動目標(biāo)跟蹤

檢測出目標(biāo)后，就可以進行目標(biāo)跟蹤。顏色是物體的固有特征，不受目標(biāo)運動狀態(tài)的影響，在目標(biāo)跟蹤中應(yīng)用廣泛。Camshift是基于顏色特征的連續(xù)自適應(yīng)均值漂移算法，核心思想是用運動目標(biāo)前一幀或檢測到的位置和大小初始化搜索框，根據(jù)顏色直方圖計算搜索框質(zhì)心，移動搜索框中心至質(zhì)心，當(dāng)中心與質(zhì)心距離小于閾值時即跟蹤到目標(biāo)，再以跟蹤結(jié)果自適應(yīng)搜索下一幅圖像。但是由于缺乏有效的運動預(yù)測模塊及對目標(biāo)特征的更新機制，Camshift容易丟失目標(biāo)[7]。Kalman濾波器是一種高效的遞歸濾波器，能夠從一系列不完全的、包含噪聲的測量序列中預(yù)測系統(tǒng)狀態(tài)。Kalman濾波器分為預(yù)測和校正2部分，預(yù)測部分的作用是通過觀測值與先驗估計得到修正后的后驗估計，并將后驗估計用于下一時間狀態(tài)的先驗估計，校正部分的作用是將測量值與基于前一次測量得到的預(yù)期值進行調(diào)整。Kalman濾波器的狀態(tài)方程為：

(5)

Kalman濾波器的觀測方程為：

(6)

Xk與Xk-1分別為k時刻與k-1時刻的狀態(tài)向量；F為傳遞矩陣；B為輸入矩陣；Uk為允許的外部控制向量；Wk為動態(tài)噪聲；Zk為k時刻的觀測向量；Hk為觀測矩陣；Vk為觀測噪聲。

Kalman濾波和Camshift結(jié)合可以有效解決目標(biāo)丟失問題，基于Kalman濾波的改進Camshift跟蹤算法流程如圖2所示。 改進算法首先根據(jù)目標(biāo)檢測結(jié)果提取目標(biāo)輪廓，利用Kalman濾波器預(yù)測Camshift搜索窗口的初始位置，然后利用Camshift算法計算目標(biāo)的位置和大小，再以此位置作為觀測值更新Kalman濾波器。當(dāng)目標(biāo)發(fā)生大面積遮擋時，Camshift算法得出的目標(biāo)位置和大小不準(zhǔn)確，可使用Kalman濾波器預(yù)測值作為觀測值更新Kalman濾波器。

圖2　基于Kalman濾波的改進Camshift跟蹤算法流程

4　基于雙目視覺的目標(biāo)定位

目標(biāo)定位的原理就是利用視差與深度成反比關(guān)系得到目標(biāo)真實距離，立體匹配求取視差圖后就可以進行三維測距。由Matlab標(biāo)定工具箱得到攝像機內(nèi)外參數(shù)，再利用Bouguet算法進行立體校正，可以得到重投影矩陣Q。矩陣Q圖像坐標(biāo)系坐標(biāo)(x，y)、世界坐標(biāo)系坐標(biāo)(X，Y，Z)、視差d有如下關(guān)系：

(7)

(8)

c′x為主點在右圖像上的x坐標(biāo)，除c′x外Q矩陣中的其他參數(shù)都來自左圖像；(cx，cy)為主點在左圖像坐標(biāo)；f為焦距；Tx為雙目間距。(X/W，Y/W，Z/W)就是對應(yīng)的世界坐標(biāo)系中的坐標(biāo)。

5　實驗分析

5.1攝像機標(biāo)定實驗

表1是單目標(biāo)定結(jié)果，得到攝像機內(nèi)部參數(shù)；表2是雙目標(biāo)定結(jié)果，得到攝像機外部參數(shù)。圖像大小為320px×240px，從標(biāo)定結(jié)果看，誤差較小，滿足標(biāo)定精度要求。另外，這里的旋轉(zhuǎn)矩陣，是指棋盤圍繞攝像機坐標(biāo)系下三維空間的坐標(biāo)軸的旋轉(zhuǎn)，其中每個向量的長度表示逆時針旋轉(zhuǎn)的角度。圖像校正前后對比如圖3所示，可以看出校正后左右圖像在同一極線上，校正效果較好。

表1單目標(biāo)定結(jié)果

項目左相機右相機焦距(fx,fy)/px(308.81134,308.89670)(307.81921,308.06230)焦距誤差/px(1.42563,1.41058)(1.31844,1.30819)主點(cx,cy)/px(184.88843,116.77573)(164.84458,112.94921)主點誤差/px(2.91672,2.06134)(2.71907,1.98095)畸變系數(shù)(k1,k2,p1,p2,k3)(-0.06448,0.12787,-0.00619,-0.00317,0.00000)(-0.04323,0.05013,0.00253,-0.00014,0.00000)畸變系數(shù)誤差(0.02386,0.10423,0.00199,0.00286,0.00000)(0.02010,0.04643,0.00171,0.00322,0.00000)傾斜系數(shù)00像素誤差(0.12130,0.12733)(0.14433,0.13368)

表2雙目標(biāo)定結(jié)果

旋轉(zhuǎn)矩陣旋轉(zhuǎn)矩陣誤差平移矩陣平移矩陣誤差 0.02868 0.00047-0.00196é?êêê?0.008750.009810.00082é?êêê?-189.82754 -0.96686 3.04682é?êêê?0.499390.300292.48575é?êêê?

圖3校正前與校正后的對比

5.2運動目標(biāo)檢測跟蹤實驗

圖4實驗對象為遙控小車，其中，圖4a和圖4b為非動態(tài)閾值與動態(tài)閾值圖像二值化分割對比?？梢钥闯?，基于OSTU動態(tài)閾值調(diào)整的二值化分割可以去除物體運動產(chǎn)生的陰影，并且可以更真實還原物體大小。圖4c和圖4d為加入Kalman濾波前后效果，結(jié)果表明加入Kalman濾波器的目標(biāo)跟蹤算法可以準(zhǔn)確找到目標(biāo)位置，效果明顯提高。

圖4　動態(tài)閾值二值化分割、Kalman濾波器的效果

圖5為目標(biāo)檢測跟蹤最終效果。實驗對象為大小不同的兩輛遙控小車，結(jié)果表明，本文提出的算法適用于多目標(biāo)檢測跟蹤且效果良好。

圖5　目標(biāo)檢測跟蹤效果

5.3測距實驗

表3為測距結(jié)果，從實驗結(jié)果看出，誤差小于1.5%，標(biāo)定精度在可接受范圍內(nèi)。

表3測距結(jié)果

實際測量距離/mm計算距離/mm誤差/%20002001.20.121001997.21.322002216.70.8

續(xù)表

6　結(jié)束語

為實現(xiàn)對運動目標(biāo)的檢測跟蹤與定位，對攝像機標(biāo)定、立體匹配和目標(biāo)檢測跟蹤等關(guān)鍵技術(shù)進行了研究，基于OpenCV視覺庫，在VisualStudio2010平臺上編程實現(xiàn)。實驗結(jié)果表明，基于雙目視覺的檢測跟蹤算法能準(zhǔn)確檢測跟蹤目標(biāo)，并實現(xiàn)目標(biāo)準(zhǔn)確定位。

參考文獻：

[1]McKennaS.Trackinggroupsofpeople[J].ComputerVisionandImageUnderstanding，2000，80(1)：42-55.

[2]DangT，HoffmannC，StillerC.Continuousstereoself-calibrationbycameraparametertracking[J].IEEETransactionsonImageProcessing，2009，18(7)：1536-1550.

[3]隋婧，金偉其.雙目立體視覺技術(shù)的實現(xiàn)及其進展[J].電子技術(shù)應(yīng)用，2004(10)：4-6.

[4]岳陳平，孟麗婭.基于SAD算法的立體匹配的實現(xiàn)[J].微型機與應(yīng)用，2013，32(6)：41-43.

[5]張輝，張道勇，何最紅.灰度等級處理中的OSTU動態(tài)閾值法研究[J].傳感器世界，2008(7)：24-27.

[6]劉冬冬.基于雙目視覺和CamShift算法的目標(biāo)檢測與跟蹤[D].濟南：山東大學(xué)，2006.

[7]侯杰虎.基于Kalman濾波器的視頻運動目標(biāo)跟蹤算法研究[D].成都：成都理工大學(xué)，2012.

Abstract：In order to solve problems such as traditional target detecting and tracking methods failing to locate accurately and method being susceptible to interference from light and shadow, target detecting and positioning methods based on binocular vision are put forward. Firstly, the Matlab Calibration Toolbox and OpenCV were used for camera calibration as well as for image correction. Next, the background difference method based on binocular vision was used to achieve target detection, while the improved Camshift algorithm based on Kalman filtering was employed to realize target tracking. Finally, a disparity map was used to obtain the three-dimensional target information, thereby achieving target location. Experimental results show that the proposed method can track the moving target in real time and can achieve an accurate positioning.

Key words：binocular vision；target tracking；stereo matching；3D distance measurement

作者簡介：王婷婷(1990-)，女，河北衡水人，碩士研究生，研究方向為機器人視覺。

基金項目：國家自然科學(xué)基金(61473104)

收稿日期：2015-01-27

文章編號：1001-2257(2015)06-0073-04

文獻標(biāo)識碼：A

中圖分類號：TP391