基于視覺(jué)的六自由度機(jī)器人搬運(yùn)過(guò)程監(jiān)控系統(tǒng)研究

李 柯，祁宇明，周旺發(fā)，楊璐璐

（1.天津職業(yè)技術(shù)師范大學(xué)機(jī)器人及智能裝備研究所，天津300222；2.天津博諾智創(chuàng)機(jī)器人技術(shù)有限公司，天津300222；3.天津科技大學(xué)電子信息與自動(dòng)化學(xué)院，天津300222）

隨著“中國(guó)制造2025”及人工智能的實(shí)施和推廣，以機(jī)器視覺(jué)技術(shù)為基礎(chǔ)的工程檢測(cè)、測(cè)量、監(jiān)控逐漸代替人工操作[1]，成為智能監(jiān)控系統(tǒng)的重要發(fā)展方向之一[2]。早期國(guó)內(nèi)設(shè)備主要依靠進(jìn)口，但隨著視覺(jué)技術(shù)的發(fā)展，國(guó)內(nèi)視覺(jué)應(yīng)用也越來(lái)越廣泛。

在機(jī)器人搬運(yùn)過(guò)程中，會(huì)因機(jī)器人故障或者吸盤故障導(dǎo)致吸取的物體嚴(yán)重偏離程序設(shè)計(jì)的預(yù)定軌跡，過(guò)大的偏離會(huì)產(chǎn)生巨大的影響，例如導(dǎo)致物體在搬運(yùn)過(guò)程中掉落，或者無(wú)法放置到預(yù)設(shè)安全位置導(dǎo)致不必要的人身與財(cái)產(chǎn)損失，給整個(gè)搬運(yùn)工程帶來(lái)了一定的不安全因素。本文以ABB IRB120六自由度機(jī)器人搬運(yùn)藍(lán)色塑料物塊的過(guò)程為研究對(duì)象，采用固定攝像頭監(jiān)控整個(gè)搬運(yùn)過(guò)程，通過(guò)攝像頭采集圖像提出了基于視覺(jué)技術(shù)的六自由度機(jī)器人搬運(yùn)過(guò)程監(jiān)控方法。在一定程度上提高了搬運(yùn)過(guò)程的可靠性和安全性。

1　搬運(yùn)過(guò)程監(jiān)控系統(tǒng)設(shè)計(jì)

IRB120是ABB制造的最小的機(jī)器人，廣泛應(yīng)用于電子、食品飲料等領(lǐng)域，其結(jié)構(gòu)設(shè)計(jì)緊湊，所占用的面積小，是物料搬運(yùn)和裝配應(yīng)用的理想選擇。機(jī)器人搬運(yùn)過(guò)程在如圖1所示的實(shí)驗(yàn)臺(tái)進(jìn)行，ABB IRB120機(jī)器人移動(dòng)至A位置物塊上方后，真空吸盤開啟，吸盤吸附物塊沿著圖中線條A-B-C-D的順序，機(jī)器人移動(dòng)至位置D后，真空吸盤關(guān)閉，將物塊放置在左邊的平臺(tái)上，完成物塊的搬運(yùn)過(guò)程。

圖1　機(jī)器人搬運(yùn)過(guò)程

基于視覺(jué)的六自由度機(jī)器人搬運(yùn)過(guò)程監(jiān)控系統(tǒng)以視覺(jué)識(shí)別、追蹤搬運(yùn)過(guò)程中的物塊為對(duì)象，監(jiān)控并診斷搬運(yùn)路線是否符合預(yù)設(shè)軌跡，當(dāng)軌跡發(fā)生過(guò)大偏移時(shí)發(fā)出報(bào)警，整體包括ABB IRB120六自由度機(jī)器人、搬運(yùn)平臺(tái)、彩色物塊、羅技攝像頭。系統(tǒng)流程如圖2所示，具體為：采用固定攝像頭采集圖像，利用Camshift算法識(shí)別并跟蹤機(jī)器人搬運(yùn)的彩色物塊，計(jì)算物塊在圖像中的質(zhì)心位置，將實(shí)際質(zhì)心運(yùn)動(dòng)軌跡與預(yù)設(shè)的運(yùn)動(dòng)軌跡方程對(duì)比，計(jì)算得到圖像中實(shí)際偏離量。通過(guò)判定偏離量與設(shè)定閾值的大小決定系統(tǒng)的下一步運(yùn)行：當(dāng)偏離量小于設(shè)定閾值時(shí)，系統(tǒng)繼續(xù)讀取下一幀圖像，循環(huán)執(zhí)行Camshift算法并計(jì)算對(duì)比質(zhì)心位置；當(dāng)偏離量大于設(shè)定閾值時(shí)，監(jiān)控系統(tǒng)將發(fā)出提醒，并結(jié)束監(jiān)控。

圖2　系統(tǒng)流程圖

2　攝像頭標(biāo)定

選用羅技攝像頭C310，攝像頭采用CMOS感光芯片，像素達(dá)到500萬(wàn)，捕獲幅面達(dá)到1 280×720.為了計(jì)算圖像中興趣目標(biāo)的質(zhì)心位置，將三維空間中的點(diǎn)與二維成像平面建立對(duì)應(yīng)關(guān)系，需要對(duì)攝像頭進(jìn)行標(biāo)定。

本文攝像頭使用張正友標(biāo)定法進(jìn)行標(biāo)定，自制棋盤格標(biāo)定圖紙，每個(gè)方格尺寸為25×25[3]。使用羅技攝像頭拍攝10～30張角度不同的標(biāo)定圖紙圖片，使用Microsoft Visual Studio 2012，基于Opencv2.4.9函數(shù)庫(kù)編寫標(biāo)定程序，實(shí)現(xiàn)攝像頭標(biāo)定。圖3為使用羅技攝像頭拍攝的幾張標(biāo)定圖紙圖片及對(duì)應(yīng)的角點(diǎn)提取結(jié)果。

圖3　羅技攝像頭拍攝的幾張標(biāo)定圖紙圖片及對(duì)應(yīng)的角點(diǎn)提取結(jié)果

最終得到羅技攝像頭內(nèi)參數(shù)矩陣[4]為：

3　Camshift算法

Camshift算法是以顏色為目標(biāo)特征的跟蹤算法，全稱為連續(xù)自適應(yīng)均值漂移算法[5]。該算法是Meanshift算法的延伸計(jì)算，在獲得的多幀圖像中選取興趣目標(biāo)的顏色，通過(guò)顏色的概率分布實(shí)現(xiàn)對(duì)興趣目標(biāo)的追蹤[6]。算法的實(shí)現(xiàn)主要由以下步驟：

（1）反向投影

由于羅技攝像頭采集到圖像是以RGB色彩空間表示，所以需要將RGB色彩空間轉(zhuǎn)換成為HSV色彩空間在采集的圖像中選中興趣目標(biāo)，并在HSV色彩空間中提取H分量，形成顏色直方圖，在顏色直方圖中確定像素概率分布，得到目標(biāo)顏色概率分布圖。

（2）確定目標(biāo)質(zhì)心

計(jì)算圖像中的零階矩M00和水平、垂直方向上的一階矩M10、M01得到搜索區(qū)域的質(zhì)心，并實(shí)時(shí)調(diào)整搜索區(qū)域大小，將區(qū)域中心移動(dòng)到質(zhì)心位置。計(jì)算區(qū)域中心與質(zhì)心之間誤差是否滿足設(shè)定閾值，不符合設(shè)定值則重新計(jì)算并調(diào)整，直到滿足閾值條件或者達(dá)到循環(huán)迭代上限。

該算法具有計(jì)算速度快，實(shí)時(shí)效果好，準(zhǔn)確度高等特點(diǎn)，并且對(duì)于興趣目標(biāo)的形變和旋轉(zhuǎn)不敏感。因此在以顏色為特征的目標(biāo)跟蹤算法中具有很高的穩(wěn)定性，在背景顏色不是過(guò)于復(fù)雜的環(huán)境下具有很理想的跟蹤效果。

4　預(yù)設(shè)運(yùn)動(dòng)軌跡與偏差計(jì)算

首先，按照預(yù)設(shè)的運(yùn)動(dòng)軌跡，操縱ABB機(jī)器人運(yùn)動(dòng)，采用羅技攝像頭采集運(yùn)動(dòng)過(guò)程圖像，運(yùn)行Camshift算法程序識(shí)別藍(lán)色物塊，計(jì)算物塊質(zhì)心位置并將質(zhì)心位置輸出，得到整個(gè)運(yùn)動(dòng)過(guò)程質(zhì)心位置坐標(biāo)。采用基于最小二乘法的線性函數(shù)y=k·x+b進(jìn)行擬合，如圖4得出AB、BC、CD段方程。

圖4　運(yùn)動(dòng)軌跡線性擬合

AB段：v=7.909 9u-5 191.5

BC段：v=0.004 8u-414.3

CD段：v=-13.312u-3 960.4

因此在機(jī)器人搬運(yùn)過(guò)程監(jiān)控中，可以通過(guò)計(jì)算攝像頭識(shí)別的物塊質(zhì)心位置與各個(gè)搬運(yùn)階段的運(yùn)動(dòng)軌跡的距離得到物塊的偏離距離，即

其中，u、v為質(zhì)心在圖像中的像素坐標(biāo)，k為各階段方程的斜率，b為各階段方程的截距。

由于以上求出的物塊質(zhì)心與預(yù)設(shè)運(yùn)動(dòng)軌跡的偏離距離是以像素為坐標(biāo)，無(wú)法體現(xiàn)出偏離距離在圖像中的真實(shí)物理位置，因此，為了更加直觀的記錄偏離量的大小可以建立像素坐標(biāo)與圖像平面坐標(biāo)之間的轉(zhuǎn)化關(guān)系：

5　實(shí)驗(yàn)驗(yàn)證

在LabVIEW下編寫監(jiān)控系統(tǒng)界面，開啟攝像頭，操縱機(jī)器人抓取物塊。在機(jī)器人完成如圖1中AB段搬運(yùn)軌跡后，繼續(xù)將物塊向上提升，模擬機(jī)器人發(fā)生搬運(yùn)路線遠(yuǎn)離預(yù)設(shè)軌跡，仿真搬運(yùn)故障，驗(yàn)證系統(tǒng)監(jiān)控效果，得到圖5所示。

圖5　實(shí)驗(yàn)效果圖

由圖5可以看出在正常搬運(yùn)過(guò)程下，系統(tǒng)實(shí)時(shí)計(jì)算物塊質(zhì)心與預(yù)設(shè)軌跡位置，當(dāng)完成AB段搬運(yùn)，物塊超出預(yù)設(shè)軌跡后，系統(tǒng)彈出窗口報(bào)警提示。系統(tǒng)整體具有較好的實(shí)時(shí)性和準(zhǔn)確性，監(jiān)控效果良好。

6　結(jié)束語(yǔ)

本文利用基于顏色為特征的Camshift跟蹤算法，實(shí)時(shí)計(jì)算搬運(yùn)過(guò)程中物塊的質(zhì)心位置，利用最小二乘法擬合預(yù)設(shè)運(yùn)動(dòng)軌跡，得到預(yù)設(shè)的運(yùn)動(dòng)軌跡方程，通過(guò)對(duì)比質(zhì)心位置與預(yù)設(shè)運(yùn)動(dòng)軌跡方程偏離量提出了一種基于視覺(jué)的六自由度搬運(yùn)機(jī)器人過(guò)程監(jiān)控的方法，為六自由度機(jī)器人搬運(yùn)過(guò)程監(jiān)控應(yīng)用于實(shí)際工業(yè)生產(chǎn)環(huán)境提供了實(shí)驗(yàn)依據(jù)。

參考文獻(xiàn)：

[1]周金麗.口服液中可見異物的機(jī)器視覺(jué)檢測(cè)系統(tǒng)研究[D].長(zhǎng)沙：湖南大學(xué)，2012.

[2]趙慶磊.關(guān)于智能監(jiān)控系統(tǒng)的探討[J].江西建材，2014（19）：269-269.

[3]劉 洋.基于圓形靶標(biāo)建面的立體視覺(jué)測(cè)量方法研究[D].哈爾濱：哈爾濱工業(yè)大學(xué)，2016.

[4]沈義平.多機(jī)動(dòng)模式下移動(dòng)機(jī)器人目標(biāo)跟蹤控制研究[D].哈爾濱：哈爾濱工程大學(xué)，2013.

[5]邱泰生.基于均值漂移的視頻目標(biāo)跟蹤算法的研究[D].廣州：中山大學(xué)，2010.

[6]楊 杰，穆平安，戴曙光.一種改進(jìn)Camshift算法的研究[J].計(jì)算機(jī)應(yīng)用與軟件，2014，31（2）：167-170.