基于雙目視覺的食品分揀Delta機器人定位抓取技術(shù)

米西峰 尚展壘 范媛媛 孟曉川

(1. 焦作師范高等專科學(xué)校，河南 焦作 454000；2. 鄭州輕工業(yè)大學(xué)，河南 鄭州 450002；3. 燕山大學(xué)，河北 秦皇島 066004)

近年來工業(yè)技術(shù)和互聯(lián)網(wǎng)技術(shù)的快速發(fā)展，促進了機器人技術(shù)的進步[1]。Delta機器人是一種自由度較少的工業(yè)機器人，由于速度快、精度高，被廣泛應(yīng)用于食品、醫(yī)療等輕工業(yè)領(lǐng)域[2]。雙目立體視覺將工業(yè)機器人的運動范圍從二維平面擴展到了三維空間，使機器人柔性、靈活和高效更佳。

機器人分揀的前提是目標(biāo)定位和抓取方式的選擇，目前，國內(nèi)外許多學(xué)者對定位和抓取方式進行了研究。劉海龍等[3]提出了一種基于機器視覺的機器人定位技術(shù)，能夠更準(zhǔn)確地引導(dǎo)機器人實現(xiàn)立體定位，誤差小于0.5 mm，可以滿足工業(yè)生產(chǎn)的一般性需求。曾勁松等[4]提出了一種基于雙目視覺引導(dǎo)的機器人定位與抓取技術(shù)，實現(xiàn)了對目標(biāo)的精確定位和抓取，系統(tǒng)的距離定位誤差小于0.5 mm，而且該方法適應(yīng)性強，可用于抓取各種工件。林義忠等[5]回顧了當(dāng)前視覺機器人抓取系統(tǒng)關(guān)鍵技術(shù)的研究現(xiàn)狀，分析總結(jié)了相關(guān)的圖像識別技術(shù)，并探討了這些技術(shù)未來的發(fā)展方向。倪鶴鵬等[6]提出了一種基于機器視覺的Delta機器人分揀方法，該方法的最快分類速度為110次/min，誤抓取率小于2‰，漏抓率為0。上述方法在實際生產(chǎn)中，機器人定位與抓取存在實時性差、操作不穩(wěn)定、效率低等問題，應(yīng)用范圍受到限制。

研究擬提出一種基于雙目視覺的Delta機器人柔性抓取方法。采用張正友標(biāo)定方法對相機進行標(biāo)定，通過弦中點Hough變換對目標(biāo)物進行識別和定位，根據(jù)PID跟蹤抓取控制Delta機器人抓取動態(tài)目標(biāo)，并通過試驗驗證方法的可行性，以期為機器人智能化的發(fā)展提供一定的參考。

1 系統(tǒng)概述

機械手要抓住傳送帶上的物體，必須有性能良好的視覺控制系統(tǒng)[7]。整個系統(tǒng)不僅需要快速識別目標(biāo)并獲取目標(biāo)位置和形狀信息，還需要控制機械手快速抓取目標(biāo)并將其放置在指定位置[8]。圖1為Delta機器人的系統(tǒng)結(jié)構(gòu)。主要由視覺系統(tǒng)和運動控制系統(tǒng)組成，運動控制為核心部分，主要完成機器人本體的運動規(guī)劃和抓取。視覺系統(tǒng)完成信息的采集、分析和交互等功能。

圖1 系統(tǒng)結(jié)構(gòu)

2 定位與抓取技術(shù)

系統(tǒng)總體流程如圖2所示，該系統(tǒng)的主要部分有：圖像采集、雙目相機內(nèi)外參數(shù)標(biāo)定、圖像識別與定位、控制抓取[9]。文章主要研究圖像識別與定位和抓取策略。

圖2 系統(tǒng)流程圖

2.1 相機標(biāo)定

使用張正友標(biāo)定方法對相機進行標(biāo)定，棋盤格標(biāo)定板可以自行打印[10]。獲取外參數(shù)R、t和內(nèi)參數(shù)kx、ky、u0、v0。

在實現(xiàn)一臺相機標(biāo)定的基礎(chǔ)上，對左右相機進行標(biāo)定，即求解兩臺相機的內(nèi)外矩陣參數(shù)。兩臺相機的關(guān)系矩陣如式(1)和式(2)所示[11]。

(1)

(2)

式中：

R——左、右相機之間的旋轉(zhuǎn)矩陣；

R1——左相機的旋轉(zhuǎn)矩陣；

R2——右相機的旋轉(zhuǎn)矩陣；

t——左、右相機之間的平移向量；

t1——左相機的平移向量；

t2——右相機的平移向量。

世界坐標(biāo)系一點Qw在兩個相機中的坐標(biāo)為Qc1和Qc2。雙目世界坐標(biāo)和相機坐標(biāo)之間的關(guān)系可以通過式(3) 和式(4)中所示的變換關(guān)系獲得[12]。

Qc1=t1+R1Qw，

(3)

Qc2=t2+R2Qw，

(4)

式中：

Qc1——世界坐標(biāo)系一點Qw在左相機的坐標(biāo)；

Qc2——世界坐標(biāo)系一點Qw在右相機的坐標(biāo)。

將式(3)和式(4)進行聯(lián)立可去掉Qw，得到兩個相機位置的矩陣關(guān)系如式(5)所示[13]。

(5)

2.2 圖像識別與定位

Hough變換是幾何圖形識別的基本方法之一，原理是連接邊緣形成平滑的邊緣。當(dāng)X-Y平面上的圓轉(zhuǎn)換到a-b-r空間上，圓上點對應(yīng)于參數(shù)空間中的所有圓錐面，這些圓錐面必須有一個點相交，如圖3所示。

圖3 圓的Hough參數(shù)變換

獲取二值圖像上的任何特征點(由特征點和背景點組成)，將該點A0連接到其他特征點An的線段，并將這些線段的中點組成的曲線為該點的中點曲線，如圖4所示[14]。

圖4 A0點的中點曲線

對于圓上的隨機點A0，將圓上的其他點A1～An連接到該點A0，在圓中形成一組弦，有一個共同的端點A0。弦中間的平滑線形成一個新的內(nèi)切圓如圖5所示。

圖5 A0點的內(nèi)切圓

基于弦中點Hough變換的檢測原理：在含有圓的二值圖像中，圓上點的內(nèi)切圓與圓心相交，在圓的中心，必然有較多的內(nèi)接圓，而在其他位置，中點曲線通過的次數(shù)要少得多，原圓的內(nèi)接圓如圖6所示。

圖6 原圓的內(nèi)切圓

圓的一般方程是：(x-a)2+(y-b)2=r2，包含3個自由參數(shù)。圓心坐標(biāo)和對應(yīng)的半徑如式(6)和式(7)所示[15]。

(6)

(7)

式中：

(x1,y1)、(x2,y2)——特征點的坐標(biāo)；

(a,b)——圓心坐標(biāo)；

r——圓半徑，mm。

因目標(biāo)的半徑不同，設(shè)最大和最小半徑分別為rmax和rmin，通過式(8)對圖像是否滿足目標(biāo)特征進行判斷[16]。

(8)

最后，顯示圖像。|(x-a)2+(y-2)2-r2|≤ε圓環(huán)存在，完成弦中點Hough變換圓檢測。

通過視差獲取目標(biāo)的三維信息[17]。圖7所示目標(biāo)的識別和定位過程。目標(biāo)物體圖像庫為分揀食品圖像(包括55 g彩色果凍、70 g和210 g番茄罐頭)。

圖7 識別與定位流程

2.3 抓取策略

Delta機器人抓取時的運動軌跡大致為“門”型運動軌跡，曲線如圖8所示[18]。在每次抓取中，將執(zhí)行機構(gòu)分為3個階段：上升P1P2、平移P2P3和下降P3P4[19]。然而，兩個角點處“門形”軌跡的加速度會阻礙軌跡的平滑過渡，導(dǎo)致機器人振動，這是降低運動精度的主要因素之一。

圖8 門字型軌跡曲線

為了在伺服電機速度和扭矩不超過標(biāo)定值的情況下保持Delta機器人連續(xù)平穩(wěn)地移動，文中選擇五次多項式變換算法應(yīng)用于機器人圓弧段的軌跡規(guī)劃。

Delta機器人的目標(biāo)跟蹤和抓取過程需要在確定抓取位置后不斷調(diào)整和減小Delta機器人與目標(biāo)之間的距離。

動態(tài)抓取過程只需在XY方向?qū)崟r跟蹤，檢測到目標(biāo)后獲取目標(biāo)當(dāng)前位置P和傳送帶的速度。機械手開始移動，傳送帶仍在運行。在動態(tài)抓取過程中，目標(biāo)從一個點P移動到另一個點P′，通過迭代算法獲得Delta機器人與目標(biāo)交點的Q點坐標(biāo)。該系統(tǒng)采用PID算法對Delta機器人在X軸和Y軸上進行調(diào)節(jié)控制。詳細的調(diào)整過程如圖9所示。

圖9 Delta機器人PID跟蹤控制

在抓取過程中，傳送帶與Delta機器人不斷匹配，需要不斷減小兩者之間的誤差[20]。當(dāng)Delta機器人的位置和速度與目標(biāo)匹配時完成抓取。

3 結(jié)果與分析

3.1 試驗參數(shù)

為了驗證所提出控制方法的有效性，分別進行單目標(biāo)和多目標(biāo)抓取試驗，并與文獻[21]中的控制方法進行比較。為了確保準(zhǔn)確，多次測試取平均值。測試設(shè)備為聯(lián)想PC，操作系統(tǒng)為windows 10 64位旗艦，英特爾i5 2450m CPU，2.5 GHz主頻，8 GB內(nèi)存。相機采用Basler的acA2500-14gc，鏡頭采用Basler的c125-1218-5m，光源采用白色LED條形光源，伺服電機采用松下MSME202SGM，伺服電機控制采用雷賽smc64804四軸運動控制器。試驗參數(shù)見表1。

表1 試驗參數(shù)

3.2 試驗分析

3.2.1 單一目標(biāo)抓取 選擇某食品廠生產(chǎn)的55 g彩色果凍進行分選試驗，并與文獻[21]的方法進行比較。在測試過程中，500個果凍被隨機放置在傳輸線上。Delta機器人通過視覺系統(tǒng)的引導(dǎo)完成分揀工作。表2為不同方法的單目標(biāo)分揀試驗結(jié)果。

從表2可以看出，在不同的輸送速度下，試驗方法具有最優(yōu)的抓取成功率。當(dāng)輸送帶速度從120 mm/s增加到200 mm/s時，兩種方法的抓取成功率降低，文獻[21]的方法抓取成功率從99.0%減少到95.0%，試驗方法從100.0%減少到98.0%。兩種控制方法的對比分析表明，試驗方法提高了精度、穩(wěn)定性和分揀效率，能夠滿足單一目標(biāo)分揀要求。

表2 不同方法單一目標(biāo)分揀試驗結(jié)果

3.2.2 對多目標(biāo)進行抓取 將某食品廠生產(chǎn)的70 g和210 g小包裝番茄罐頭用于分選試驗，并與文獻[21]的方法進行比較。將500 個罐子隨機放置傳輸線上，包括380罐70 g番茄罐頭和120罐210 g番茄罐頭。Delta機器人在雙目視覺系統(tǒng)的引導(dǎo)下，將進入目標(biāo)分揀區(qū)的番茄罐頭按照規(guī)格分揀到相應(yīng)的鋁托盤上，完成分揀操作。表3為不同方法的多目標(biāo)分揀試驗結(jié)果。

表3 不同方法多目標(biāo)分揀試驗結(jié)果

從表3可以看出，在不同的輸送速度下，試驗方法具有最優(yōu)的抓取成功率。當(dāng)輸送帶速度從120 mm/s增加到200 mm/s時，兩種方法的分揀成功率降低，文獻[21]的方法從93.0%降低到84.0%，試驗方法從97.4%降低到94.0%。這是因為試驗方法在視覺系統(tǒng)的引導(dǎo)下，能夠準(zhǔn)確地抓住目標(biāo)物體的中心，從而滿足不同規(guī)格物體的分揀要求。在輸送帶速度為120 mm/s的試驗過程中，試驗方法完成了500次抓取操作，成功抓取70 g番茄罐頭375次和210 g番茄罐頭112次，在抓取210 g罐頭的過程中有3次掉落。在傳送帶速度為200 mm/s的試驗過程中，抓取了70 g番茄罐頭362次和210 g番茄罐頭108次。在抓取210 g罐頭的過程中有5次掉落。經(jīng)分析是因為執(zhí)行器的吸盤較小，在慣性的作用下掉落，通過更換吸盤該問題得到了解決。

4 結(jié)論

研究提出了一種基于雙目視覺的Delta機器人柔性抓取方法。采用張正友標(biāo)定方法對相機進行標(biāo)定，通過弦中點Hough變換對目標(biāo)進行識別和定位，根據(jù)PID跟蹤抓取控制Delta機器人實現(xiàn)對動態(tài)目標(biāo)的抓取。結(jié)果表明，該方法能夠準(zhǔn)確、快速、穩(wěn)定地實現(xiàn)單一目標(biāo)和多目標(biāo)動態(tài)抓取，系統(tǒng)的動態(tài)抓取成功率在94.0%以上，滿足機器人抓取的需要。試驗對基于雙目視覺的Delta機器人柔性抓取研究尚處于起步階段，目前僅進行圓形食品的分揀試驗，后續(xù)將進一步探索增加食品的種類以及復(fù)雜目標(biāo)物的定位抓取。