抗目標(biāo)丟失的視覺機(jī)器人跟蹤算法

張子昂，楊 旗，馬千千，趙偉卓

(沈陽理工大學(xué)，機(jī)械工程學(xué)院，遼寧 沈陽 110159)

0 引言

隨著機(jī)器人應(yīng)用技術(shù)及計(jì)算機(jī)視覺技術(shù)的蓬勃發(fā)展，搭載視覺系統(tǒng)的機(jī)器人成為了國內(nèi)外學(xué)者研究的熱點(diǎn)。視覺機(jī)器人的應(yīng)用中，往往需要機(jī)器人具備自主識(shí)別及跟蹤目標(biāo)的能力。

在機(jī)器人跟蹤目標(biāo)的過程中，目標(biāo)往往會(huì)因?yàn)檎系K物的遮擋或者目標(biāo)運(yùn)動(dòng)到鏡頭外，導(dǎo)致跟蹤目標(biāo)消失在機(jī)器人視野內(nèi)，機(jī)器人無法獲得目標(biāo)信息，從而無法準(zhǔn)確跟蹤，大大影響了跟蹤性能。因此視覺跟蹤機(jī)器人需要可以一定程度上抗目標(biāo)丟失的跟蹤性能。

均值漂移（Meanshift）算法[1]是目標(biāo)跟蹤中常用的一種基于核密度的無參概率密度估計(jì)方法，選取目標(biāo)顏色作為跟蹤特征時(shí)即利用物體顏色HSV值的特征，結(jié)合均值漂移（Meanshift）算法，實(shí)現(xiàn)對目標(biāo)物體的自動(dòng)識(shí)別與跟蹤功能。該算法相比以往識(shí)別跟蹤算法，計(jì)算速度更快，對目標(biāo)物分辨率與輪廓完整程度要求小，精確度較高[2]。

但是當(dāng)目標(biāo)消失時(shí)，機(jī)械臂末端控制器因無法收到通過對圖像處理后獲得的正確的目標(biāo)位置信息，導(dǎo)致跟蹤失敗，穩(wěn)定性及魯棒性很差。本算法中，當(dāng)目標(biāo)為未丟失狀態(tài)時(shí)，利用Meanshift算法跟蹤目標(biāo)，控制機(jī)器人運(yùn)動(dòng)；若判斷目標(biāo)為丟失狀態(tài)，則對實(shí)時(shí)保存的圖像信息重檢測，處理與分析，并預(yù)測機(jī)器人的運(yùn)動(dòng)軌跡，獲得控制參數(shù)控制機(jī)器人運(yùn)動(dòng)找回目標(biāo)，機(jī)器人重新偵測到目標(biāo)位置信息，可以繼續(xù)跟蹤目標(biāo)。

1 抗目標(biāo)丟失的視覺機(jī)器人跟蹤算法

1.1 算法框架

在機(jī)械臂末端對目標(biāo)的跟蹤過程中，目標(biāo)的顏色信息一般來說不會(huì)發(fā)生很大的變化，有較強(qiáng)的抗形變能力，只要其顏色特征不變就能夠?qū)δ繕?biāo)進(jìn)行跟蹤。本算法需要預(yù)先給出目標(biāo)的顏色特征信息，根據(jù)特定的顏色信息對目標(biāo)丟失前的 n幀圖像（根據(jù)相機(jī)FPS以及目標(biāo)深度確定n的值）進(jìn)行圖像閾值分割及形態(tài)學(xué)處理。該方法較為簡潔，不會(huì)對視覺跟蹤系統(tǒng)造成負(fù)擔(dān)，能夠有效提高跟蹤效率。

該算法由三部分構(gòu)成，包括基于顏色信息的圖像分割、判斷目標(biāo)丟失類別及機(jī)器人運(yùn)動(dòng)軌跡規(guī)劃。

（1）基于顏色特征的圖像分割

根據(jù)目標(biāo)顏色特征信息，通過建立HSV顏色空間得到分割閾值，對重檢的每幀圖像進(jìn)行分割、二值化、高斯濾波及形態(tài)學(xué)處理。

（2）判斷目標(biāo)丟失類別

對于視覺跟蹤機(jī)器人來說，目標(biāo)丟失有兩種狀態(tài)：一是目標(biāo)被障礙物完全遮擋；二是目標(biāo)移動(dòng)到鏡頭外。

（3）機(jī)器人運(yùn)動(dòng)軌跡規(guī)劃

計(jì)算出處理后的每一幀圖像的分割區(qū)域的像素中心坐標(biāo)(x, y)，將所有的坐標(biāo)點(diǎn)繪制在圖像坐標(biāo)系下，使用一元線性回歸分析方法對所有的坐標(biāo)點(diǎn)擬合，得到一元線性回歸模型，從模型中獲取相關(guān)系數(shù)ρ、回歸系數(shù)r。相關(guān)系數(shù)ρ表征了變量間的線性相關(guān)程度即擬合程度的高低。回歸系數(shù)r表征了擬合曲線中像素坐標(biāo) x與 y的線性關(guān)系，通過手眼標(biāo)定可獲得像素坐標(biāo)系與世界坐標(biāo)系的關(guān)系，回歸系數(shù)r相應(yīng)的可以作為控制參數(shù)控制機(jī)器人的運(yùn)動(dòng)，重新獲取目標(biāo)位置信息進(jìn)行跟蹤。

1.2 基于HSV顏色空間的圖像分割

如圖1所示，HSV顏色空間模型是倒錐形模型：

圖1 HSV顏色空間模型Fig.1 HSV color space model

該顏色空間模型是按色調(diào)、飽和度、明度來描述的。H代表色調(diào)、S代表飽和度、V代表明度。在圓錐上，角度代表色調(diào)H，飽和度S表示為點(diǎn)到中心豎線的距離，而明度值V用中心豎線表示[3]。

RGB顏色空間由一個(gè)3維立方體表示，RGB模型簡化了計(jì)算機(jī)圖形系統(tǒng)的設(shè)計(jì)，但它并不適合所有紅、綠、藍(lán)顏色分量高度相關(guān)的應(yīng)用程序，使得執(zhí)行某些圖像處理算法變得較為困難。許多處理技術(shù)（例如直方圖均衡化）僅適用于圖像的強(qiáng)度分量。HSV圖像更適用于特征提取和分類，有助于需要加快速度的實(shí)時(shí)應(yīng)用[4]。

本研究通過將每幀RGB圖像轉(zhuǎn)換為HSV顏色空間[4]來進(jìn)行預(yù)處理。為了獲得準(zhǔn)確的結(jié)果，本研究中的原始圖像首先進(jìn)行圖像預(yù)處理，利用歸一化來生成準(zhǔn)確的性能，然后把讀取的每幀圖像從RGB顏色空間轉(zhuǎn)到HSV顏色空間。

首先，將RGB顏色空間的三個(gè)分量(r, g, b)歸一化：

HSV是一種直觀的顏色模型。HSV在用于指定顏色分割時(shí)，通過獲取當(dāng)前工作環(huán)境下的該顏色的H、S、V值，將閾值區(qū)間T設(shè)置為H±15、S±15、V±15分割效果較好，區(qū)間過大容易在分割的圖像中產(chǎn)生噪點(diǎn)，區(qū)間過小容易因光照，陰影，色塊顏色不均等因素丟失圖像信息。

對分割后的每幀圖像進(jìn)行二值化操作，圖像的二值化有利于圖像的進(jìn)一步處理，使圖像變得簡單，而且數(shù)據(jù)量減小，能凸顯出感興趣的目標(biāo)區(qū)域[6]。

將每幀圖像上的滿足T的所有像素點(diǎn)的灰度值設(shè)置為255，其余點(diǎn)的灰度值設(shè)置為0，能夠直觀的觀測到分割效果。如圖2所示，截取色塊運(yùn)動(dòng)過程中的三幀圖像和分割效果。

圖2 基于HSV的閾值分割Fig.2 threshold segmentation based on HSV

可以看出分割效果較為理想，每幀圖像有明顯的黑白區(qū)域，由于光照，背景，色塊顏色不均等因素影響，會(huì)產(chǎn)生些許噪聲影響色塊的分割效果，進(jìn)而影響對色塊位置的檢測準(zhǔn)確度。

采用高斯濾波對每幀圖像去噪，由于去噪過程可能會(huì)存在色塊輪廓上的毛刺，所以再采用形態(tài)學(xué)操作，對圖像進(jìn)行開運(yùn)算：能夠去除孤立的小點(diǎn)、毛刺和小橋（即連通兩塊區(qū)域的小點(diǎn)），消除小物體、平滑較大物體的邊界，同時(shí)并不明顯改變其面積[7]；再采用閉運(yùn)算：閉運(yùn)算可以填平圖像中的孔洞，而圖像的形狀和位置能夠保持不變，處理結(jié)果如圖3所示。

圖3 高斯濾波及形態(tài)學(xué)處理Fig.3 gaussian filtering and morphological processing

1.3 目標(biāo)丟失類別判斷

顏色直方圖模型反映的是圖像中各種顏色的分布，即各種顏色出現(xiàn)的概率，通過評估指定顏色特征在顏色直方圖模型中的比例，確定目前跟蹤器的跟蹤狀態(tài)即目標(biāo)是否丟失。

對于視覺系統(tǒng)來說，目標(biāo)丟失有兩種狀態(tài)，一是目標(biāo)被障礙物完全遮擋；二是目標(biāo)移動(dòng)到鏡頭外。

遍歷處理后的二值圖像，獲取每一幀圖像的分割區(qū)域中心像素坐標(biāo)，在讀取的視頻序列色塊目標(biāo)丟失時(shí)，圖像中沒有目標(biāo)存在，此時(shí)該圖像計(jì)算出的中心坐標(biāo)是(0,0)，為了防止影響擬合效果，將這些點(diǎn)舍棄。計(jì)算出所有非零點(diǎn)的x，y坐標(biāo)平均值；最小值MIN( x)，MIN( y)。

目標(biāo)被障礙物完全遮擋判斷條件:

式中M，N表示色塊中心在像素坐標(biāo)系下的像素偏移量閾值，滿足此條件可認(rèn)為目標(biāo)被遮擋，機(jī)器人將保持位置不變，等待目標(biāo)重新回到視野；不滿足此條件可認(rèn)為目標(biāo)運(yùn)動(dòng)出鏡頭，機(jī)器人需要預(yù)測色塊軌跡來跟蹤目標(biāo)。

1.4 線性回歸分析預(yù)測目標(biāo)軌跡

如圖 4所示像素坐標(biāo)系[7]下，O0代表像素坐標(biāo)系下的零點(diǎn)，橫坐標(biāo)X和縱坐標(biāo)Y分別是圖像所在的行和列，X，Y最大值根據(jù)圖像分辨率決定，圖像像素寬度為X，像素高度為Y，O1為圖像中任意一點(diǎn)的像素坐標(biāo)。

圖4 像素坐標(biāo)系Fig. 4 pixel coordinate system

記錄每幀圖像處理后的像素中心坐標(biāo)(x,y)，將所有坐標(biāo)記錄在同一像素坐標(biāo)系下，繪出散點(diǎn)圖，使用一元線性回歸模型對所有的散點(diǎn)進(jìn)行擬合，一元線性回歸分析的是建立因變量y與自變量x之間關(guān)系的線性回歸方程，利用這個(gè)方程，來分析因變量和自變量之間的相關(guān)性以及回歸系數(shù)等[9]。

ρ是一個(gè)可以表征x和y之間線性關(guān)系緊密程度的量。計(jì)算方法為：

回歸系數(shù)r 在回歸方程中表示自變量x對因變量y影響大小的參數(shù)?；貧w系數(shù)越大表示x對y影響越大，正回歸系數(shù)表示y隨 x增大而增大，負(fù)回歸系數(shù)表示y隨x增大而減小。

機(jī)器人的運(yùn)動(dòng)控制使用增量運(yùn)動(dòng)的方式，即預(yù)先設(shè)定機(jī)器人在像素坐標(biāo)系X軸方向的跟蹤步長 S(mm)，機(jī)器人的運(yùn)動(dòng)方向則通過線性模型上的x，y坐標(biāo)的變化來判斷。

2 實(shí)驗(yàn)結(jié)果與分析

如圖5所示實(shí)驗(yàn)環(huán)境，ABB機(jī)器人[10]末端執(zhí)行器前端與單目相機(jī)組成 Eye-in-Hand（眼在手上）機(jī)器視覺系統(tǒng)進(jìn)行目標(biāo)跟蹤實(shí)驗(yàn)。單目相機(jī)分辨率為640×480，F(xiàn)PS=30。

圖5 實(shí)驗(yàn)環(huán)境Fig.5 experimental environment

如圖6所示色塊在不同方向消失在相機(jī)視野時(shí)，提取丟失前實(shí)時(shí)保存的視頻序列中的60幀圖像中各個(gè)圖像分割區(qū)域的像素中心點(diǎn)坐標(biāo)在像素坐標(biāo)系下繪制的散點(diǎn)圖及對所有坐標(biāo)點(diǎn)的一元線性擬合曲線，圖中X軸為像素寬度（0～640），Y軸為像素高度（0～480）。圖 6(1)(3)(4)(5)(6)為目標(biāo)移動(dòng)到鏡頭外時(shí)所繪曲線，圖 6(2)為目標(biāo)完全被障礙物遮擋時(shí)所繪曲線，可以看出能夠清晰準(zhǔn)確的獲取目標(biāo)出鏡頭前的各處位置即各個(gè)散點(diǎn)坐標(biāo)，穩(wěn)定性較好，繪制的線性回歸曲線擬合程度較高，可以準(zhǔn)確反映目標(biāo)的移動(dòng)軌跡。

圖6 像素坐標(biāo)點(diǎn)擬合曲線Fig.6 coordinate point fitting curve

從表1數(shù)據(jù)可以看出，跟蹤系統(tǒng)可以有效地分辨出目標(biāo)丟失類別，圖 6(2)為目標(biāo)被遮擋，其余為目標(biāo)運(yùn)動(dòng)出鏡頭視野。相關(guān)系數(shù)的值大部分在 0.9左右，表明對各個(gè)坐標(biāo)點(diǎn)的擬合程度較好，模型可有效反映出目標(biāo)的運(yùn)動(dòng)軌跡，回歸系數(shù)r正值表示y隨x增大而增大，負(fù)值表示y隨x增大而減小，符合機(jī)器人運(yùn)動(dòng)軌跡，可作為機(jī)器人的控制參數(shù)控制機(jī)器人的運(yùn)動(dòng)方向?qū)G失的目標(biāo)進(jìn)行跟蹤。目標(biāo)被遮擋情況下機(jī)器人成功保持位置不變，等待目標(biāo)重新回到視野；目標(biāo)移動(dòng)出鏡頭時(shí)機(jī)器人均正確規(guī)劃路徑，按照預(yù)設(shè)步長 S成功找回目標(biāo)位置信息，并可以繼續(xù)跟蹤。

表1 相關(guān)系數(shù)與回歸系數(shù)統(tǒng)計(jì)Tab.1 statistics of correlation coefficient and regression coefficient

3 結(jié)論

針對傳統(tǒng)的視覺跟蹤機(jī)器人不具備目標(biāo)丟失判斷及跟蹤能力，本文在均值漂移（Meanshift）算法的基礎(chǔ)上，判別目標(biāo)是否丟失。通過對實(shí)時(shí)保存的目標(biāo)顏色信息并重檢測，確定目標(biāo)丟失的類別，并在目標(biāo)消失在鏡頭視野內(nèi)時(shí)規(guī)劃機(jī)器人的路徑，重新找回目標(biāo)。本文算法在ABB機(jī)器人上搭載視覺跟蹤系統(tǒng)進(jìn)行實(shí)驗(yàn)驗(yàn)證，實(shí)驗(yàn)結(jié)果表明本文算法可以有效判斷目標(biāo)丟失狀態(tài)以及丟失類別。在視覺跟蹤機(jī)器人實(shí)際應(yīng)用中可以更加靈活的對目標(biāo)實(shí)施跟蹤任務(wù)，有效解決了視覺機(jī)器人在視野內(nèi)丟失目標(biāo)后的跟蹤失敗問題，提升了跟蹤性能以及跟蹤器的穩(wěn)定性和可靠性。