基于LabVIEW的螺釘柔性抓取關(guān)鍵技術(shù)研究

段 怡,劉 超

(1.重慶建筑科技職業(yè)學(xué)院數(shù)字工程學(xué)院,重慶 401331;2.貴州習(xí)酒股份有限公司,貴州習(xí)水 564622)

0 引言

螺釘是裝配的重要附件之一,其質(zhì)量檢測(cè)也是生產(chǎn)中重要環(huán)節(jié)[1]。隨著現(xiàn)代化工業(yè)的發(fā)展,人工抽檢方式不能滿足企業(yè)對(duì)螺釘批量生產(chǎn)的質(zhì)量管控需求,迫切需要一種全自動(dòng)化螺釘篩選設(shè)備。螺釘自動(dòng)上料問題是全自動(dòng)篩選機(jī)的關(guān)鍵制約環(huán)節(jié)[2]。隨著自動(dòng)化、信息化、計(jì)算機(jī)技術(shù)的快速發(fā)展,機(jī)械手在一些繁雜重復(fù)性的工作中很好地替代了人工,極大地提高了生產(chǎn)效率[3]。上料機(jī)器人在制造業(yè)中占有重要地位,工業(yè)機(jī)器人在自動(dòng)化設(shè)備或智能化產(chǎn)線上典型應(yīng)用之一是工件識(shí)別與抓取[4]。

傳統(tǒng)上料機(jī)器人通常按照預(yù)先示教位姿執(zhí)行抓取任務(wù)[5],被抓取目標(biāo)位姿嚴(yán)格受限,系統(tǒng)的靈活性、柔性不明顯,一般會(huì)因環(huán)境改變或目標(biāo)對(duì)象變化而導(dǎo)致抓取失敗,很難滿足柔性高效生產(chǎn)對(duì)物料輸送系統(tǒng)的要求。機(jī)器視覺具有快速、非接觸的特點(diǎn),將機(jī)器視覺技術(shù)引入工業(yè)機(jī)器人領(lǐng)域,通過視覺引導(dǎo)機(jī)器人進(jìn)行定位抓取、搬運(yùn)等任務(wù)作業(yè),對(duì)于提高生產(chǎn)線自動(dòng)化、柔性水平具有十分重要意義[6]。文獻(xiàn)[7]通過圖像處理中的張正友標(biāo)定和Hough變化的應(yīng)用,實(shí)現(xiàn)了雙目視覺引導(dǎo)Delta機(jī)器人在食品分揀中的高精定位與有效抓取。萬國揚(yáng)等[8]設(shè)計(jì)了基于視覺定位與軌跡規(guī)劃的鑄件打磨機(jī)器人,實(shí)現(xiàn)了上料、打磨、下料全自動(dòng)化作業(yè)。文獻(xiàn)[9]設(shè)計(jì)了基于5自由度關(guān)節(jié)式機(jī)器人的視覺定位抓取平臺(tái),具有良好的開放性和廣泛應(yīng)用性。

針對(duì)非標(biāo)螺釘自動(dòng)上料問題,提出基于機(jī)器視覺的螺釘柔性定位抓取系統(tǒng)。采用視覺系統(tǒng)引導(dǎo)機(jī)器手獲取規(guī)定范圍內(nèi)的目標(biāo)位置信息,實(shí)時(shí)識(shí)別和定位目標(biāo)工件所處位姿,突破工業(yè)機(jī)器人使用局限性。通過對(duì)采集的螺釘圖像進(jìn)行預(yù)處理以識(shí)別目標(biāo),采用圖像處理算法計(jì)算活動(dòng)螺釘工件的抓取點(diǎn)位姿信息。以抓取點(diǎn)為中心設(shè)計(jì)符合末端氣動(dòng)夾爪抓取特性的ROI區(qū)域,設(shè)計(jì)螺釘可抓取判斷條件進(jìn)行可抓性分析。通過標(biāo)定計(jì)算出抓取點(diǎn)在世界坐標(biāo)系下的空間信息,將位置信息通過PLC控制器傳送給機(jī)器手,從而引導(dǎo)機(jī)器人自主完成螺釘定位與抓取?，F(xiàn)場實(shí)際測(cè)試結(jié)果顯示機(jī)器人能夠準(zhǔn)確抓取螺釘,驗(yàn)證了系統(tǒng)的可行性和適用性。

1 系統(tǒng)總體設(shè)計(jì)

機(jī)器人抓取作業(yè)時(shí),預(yù)先示教法難以滿足位姿不固定的目標(biāo)螺釘抓取任務(wù)。視覺引導(dǎo)是機(jī)器視覺應(yīng)用在工業(yè)領(lǐng)域的關(guān)鍵技術(shù)之一,基于機(jī)器視覺協(xié)同工業(yè)機(jī)器人系統(tǒng)定位抓取工件的解決方案可提高機(jī)器人的通用性和智能水平。為了解決某系列非標(biāo)螺釘?shù)淖詣?dòng)上料問題,提出了基于LabVIEW的螺釘柔性抓取系統(tǒng)擬達(dá)成機(jī)器人自適應(yīng)抓取策略。

定位抓取系統(tǒng)包括工件抓取單元、工件定位單元、邏輯控制單元、上料單元。工件抓取單元主要用于協(xié)助機(jī)器人將目標(biāo)工件從工作臺(tái)上順利抓取。工件定位單元包括硬件部分和軟件部分。硬件部分主要指視覺系統(tǒng),用于采集清晰的載臺(tái)圖像。軟件部分通過圖像處理算法獲取圖像中的螺釘數(shù)量及螺釘目標(biāo),并通過位姿求解算法確定位姿信息,通過標(biāo)定將像素坐標(biāo)轉(zhuǎn)換為世界坐標(biāo)。邏輯控制單元用于控制工業(yè)相機(jī)拍照,協(xié)調(diào)上位機(jī)進(jìn)行圖像處理及控制機(jī)械人完成抓取任務(wù)。上料單元由圓形振動(dòng)盤、工作臺(tái)、回流導(dǎo)軌構(gòu)成,實(shí)現(xiàn)將圓形振動(dòng)盤的一批螺釘工件輸送到工作臺(tái)面上,未被抓取的螺釘將通過回流導(dǎo)軌回流至振動(dòng)盤中。

系統(tǒng)以YK400XR四軸機(jī)器人為基礎(chǔ)平臺(tái),采用工業(yè)相機(jī)、光源、鏡頭等共同搭建視覺定位單元,采用PLC控制器構(gòu)成控制單元。設(shè)計(jì)的Eye-to-hand視覺定位抓取系統(tǒng)將工業(yè)相機(jī)固定在機(jī)器人外的設(shè)備頂端,用于監(jiān)測(cè)規(guī)定范圍內(nèi)的目標(biāo)物位置,利用視覺定位實(shí)現(xiàn)機(jī)械手對(duì)工作臺(tái)上的螺釘進(jìn)行定位抓取,其中定位信息由基于LabVIEW平臺(tái)的視覺庫從實(shí)時(shí)采集的圖像中提取計(jì)算而來。圖1為系統(tǒng)流程圖。圖像采集子模塊主要完成相機(jī)連接、圖像采集等任務(wù)。圖像預(yù)處理子模塊主要通過二值化、去噪、粒子分析等處理改善二值圖像。圖像分析子模塊主要完成對(duì)預(yù)處理后圖像目標(biāo)輪廓識(shí)別、分析,獲取目標(biāo)的位置、角度計(jì)算等功能。

圖1 系統(tǒng)流程圖

定位單元選型如表1所示。工業(yè)相機(jī)通過千兆以太網(wǎng)與計(jì)算機(jī)通訊。相機(jī)安裝在載臺(tái)正上方,距離被測(cè)工件750 mm,CCD芯片尺寸2/3英寸(1英寸=2.54 cm),整個(gè)視覺系統(tǒng)的視野范圍為130 mm×100 mm。系統(tǒng)基于LabVIEW開發(fā)平臺(tái)[10],利用NI-IMAQ視覺庫進(jìn)行二次開發(fā)[11]。系統(tǒng)工作原理:PLC觸發(fā)振動(dòng)盤上料,圓形振動(dòng)盤輸送螺釘至工作臺(tái)上,PLC觸發(fā)CCD相機(jī)采集一幀圖像并送入圖像處理系統(tǒng)。通過圖像分析處理,完成目標(biāo)工件識(shí)別、定位位置及角度位姿信息計(jì)算、可抓取判斷、工件數(shù)量統(tǒng)計(jì)等。上位機(jī)系統(tǒng)將相關(guān)信息通過通訊接口發(fā)送至PLC控制器,控制機(jī)器人進(jìn)行規(guī)定的作業(yè)任務(wù),引導(dǎo)機(jī)器人運(yùn)動(dòng)到相應(yīng)位置以實(shí)現(xiàn)任意位姿工件的柔性抓取。

表1 定位單元選型

2 位姿計(jì)算

2.1 圖像預(yù)處理

工件識(shí)別與位姿計(jì)算需要經(jīng)過圖像采集、預(yù)處理、特征提取、幾何分析等系列操作才能準(zhǔn)確求解出相關(guān)信息,是基于機(jī)器視覺的螺釘柔性抓取系統(tǒng)的首要任務(wù)。圖像預(yù)處理是通過圖像處理算法盡可能多地降低或減少噪聲干擾,凸顯特征信息進(jìn)而完成目標(biāo)識(shí)別。為了降低系統(tǒng)目標(biāo)識(shí)別算法誤差,采用背景光照明方式,成像圖像如圖2(a)所示。為了提取螺釘目標(biāo),選用二值化進(jìn)行特征提取。二值化處理是常見的圖像分割算法,通過閾值將灰度圖像創(chuàng)建一個(gè)二值圖像,并將物體從需要檢測(cè)的背景中分割出來。本系統(tǒng)閾值設(shè)置為75,二值化運(yùn)算將原圖像中的背景像素設(shè)為0,而將物體像素設(shè)成非零值。為了準(zhǔn)確提取目標(biāo),需進(jìn)一步改善二值圖像,通過IMAQ Particle Analysis函數(shù)對(duì)粒子面積進(jìn)行統(tǒng)計(jì)分析,采用IMAQ RemoveParticle函數(shù)去掉干擾粒子,正確識(shí)別目標(biāo)。圖2(b)為特征識(shí)別后的單顆螺釘二值圖像。根據(jù)工藝要求,距離螺釘頭部L遠(yuǎn)處的A點(diǎn)即為機(jī)器手夾爪的抓取位置。

(a) (b)圖2 螺釘圖像

2.2 基于最小二乘法的特征中線擬合

最小二乘法通過最小化誤差的平方和尋找數(shù)據(jù)的最佳函數(shù)匹配,可快速實(shí)現(xiàn)直線擬合。假設(shè)數(shù)據(jù)、之間的線性關(guān)系如式(1)所示[12-13]:

f(x)=a+bx

(1)

式中:a為截距;b為斜率。

最小二乘法估計(jì)參數(shù)時(shí),當(dāng)所測(cè)各yi值與擬合直線上各估計(jì)值之間偏差的平方和最小時(shí),所得擬合公式即為最佳經(jīng)驗(yàn)公式。即:

(2)

根據(jù)式(2)的要求,應(yīng)有:

(3)

(4)

(5)

(6)

Circle Detection是IMAQ Vision常用的圓檢測(cè)函數(shù),通過使用Danielsson丹尼爾森系數(shù)重建粒子的形狀以分離重疊的圓形粒子。對(duì)于工作臺(tái)上任意螺釘(圖2(b)所示),采用Circle Detection函數(shù)可求解出系列圓串,如圖3所示。所有圓心坐標(biāo)擬合的直線為該螺釘?shù)闹芯€,通過最小二乘法擬合出中線數(shù)學(xué)表達(dá)式,如式(7)所示。

圖3 Circle Detection圓檢測(cè)效果

(7)

2.3 螺釘頭部中點(diǎn)與抓取位置計(jì)算

以螺釘中線兩端為起點(diǎn),垂直中線方向的直線為2條直線ROI,通過邊緣檢測(cè)函數(shù)(edge detection)在圖像中沿著ROI指定方向查找邊緣點(diǎn),通過測(cè)量起點(diǎn)與對(duì)應(yīng)邊緣點(diǎn)之間的距離大小即可判斷出螺釘頭部方向。進(jìn)一步,以螺釘中線為直線ROI,在圖像中將能查找到螺釘頭部的中點(diǎn)。圖像處理結(jié)果如圖4(a)所示,螺釘頭部正方形標(biāo)識(shí)點(diǎn)是以中線為ROI直線與螺釘頭部的交點(diǎn),即螺釘頭部中點(diǎn)。

螺釘頭部中點(diǎn)為A(x,y),L為半徑的圓描述如下:

(x-x0)2+(y-y0)2=L2

(8)

將中線直線方程改為如式(9)所示:

Ax+By+C=0

(9)

通過求解式(8)、式(9),即可求得直線與圓的交點(diǎn),即求得抓取點(diǎn)A的位置。LabVIEW求解抓取點(diǎn)位置的程序如圖4(b)所示。

(a)螺釘中點(diǎn)處理效果

(b)抓取點(diǎn)坐標(biāo)計(jì)算的LabVIEW程序

2.4 可抓性判斷

計(jì)算出螺釘抓取點(diǎn)后,并不能確定該螺釘是否能夠被抓取。可抓性判斷依據(jù):機(jī)械手夾爪在抓取螺釘時(shí),以A點(diǎn)附近距離D處為圓心,以r為搜索半徑的ROI區(qū)域內(nèi)無其余螺釘或異物才能進(jìn)行該螺釘?shù)淖ト?否則將會(huì)阻礙機(jī)械手夾爪抓取動(dòng)作,可抓性處理示意圖如圖5所示。

圖5 可抓性處理示意圖

已知抓取點(diǎn)A坐標(biāo)(x0,y0),假設(shè)螺釘中線與X軸中線夾角為θ,C1、C2為距抓取點(diǎn)A為D的點(diǎn)。則直線C1C2與水平線的夾角β1,β2為

β=β1=β2=90-θ

(10)

已知點(diǎn)A(x0,y0),按三角關(guān)系求得如下值:

(11)

C1點(diǎn)、C2點(diǎn)坐標(biāo)值為(x1,y1)、(x2,y2):

(12)

圖5中線左右兩側(cè)圓ROI內(nèi)無多余螺釘或異物,則此螺釘可抓取。

3 實(shí)驗(yàn)結(jié)果

為了測(cè)試系統(tǒng)的效果,基于YK400XR四軸機(jī)器手、Baumer的EXG50、氣動(dòng)夾爪、透明有機(jī)玻璃、圓形振動(dòng)盤等搭建的視覺抓取系統(tǒng)試驗(yàn)平臺(tái),如圖6所示。系統(tǒng)以LabVIEW為開發(fā)平臺(tái),進(jìn)行集成界面及業(yè)務(wù)邏輯設(shè)計(jì),采用NI-IMAQ Vision視覺庫進(jìn)行視覺算法的開發(fā)。

圖6 視覺抓取系統(tǒng)試驗(yàn)平臺(tái)

通過試驗(yàn)平臺(tái)進(jìn)行了多次不同位置工件的抓取測(cè)試,測(cè)試效果如圖7所示。圖像處理后可抓取螺釘工件的抓取位置將被標(biāo)記,并用數(shù)字進(jìn)行序列標(biāo)識(shí)。視覺系統(tǒng)將測(cè)量結(jié)果,包括可抓數(shù)量及對(duì)應(yīng)螺釘?shù)奈蛔诵畔?抓取位置坐標(biāo)及角度)發(fā)送給PLC控制器,由PLC控制器通過網(wǎng)絡(luò)通信將位姿信息順序發(fā)送給機(jī)器手控制器,引導(dǎo)機(jī)器手到達(dá)相應(yīng)位置并控制末端氣動(dòng)夾爪的開閉動(dòng)作以完成螺釘工件的正確抓取。視覺定位系統(tǒng)設(shè)計(jì)精度為0.05 mm,圖7所示3顆螺釘?shù)膱D像處理耗時(shí)1 964 ms。通過對(duì)系統(tǒng)平臺(tái)進(jìn)行大量測(cè)試,抓取準(zhǔn)確率達(dá)到99.5%,系統(tǒng)穩(wěn)定可靠,快速、準(zhǔn)確地實(shí)現(xiàn)任意位姿螺釘抓取,為設(shè)備自動(dòng)化改造提供了一種可行思路。

圖7 測(cè)試結(jié)果

4 結(jié)論

基于機(jī)器視覺的定位方法具有非接觸、柔性好、智能化水平高等特點(diǎn),能夠較好地滿足工業(yè)自動(dòng)化生產(chǎn)的需求。為了解決某系列非標(biāo)螺釘?shù)淖詣?dòng)上料問題,更好地實(shí)現(xiàn)批次性全質(zhì)量檢測(cè),提出了基于機(jī)器視覺的螺釘柔性抓取上料系統(tǒng)。本文詳細(xì)分析了螺釘柔性抓取總體方案和關(guān)鍵技術(shù),最終建立了視覺機(jī)器人螺釘柔性抓取系統(tǒng)。針對(duì)圓形振動(dòng)盤輸送的任意位姿螺釘工件,采用二值化、粒子分析等圖像處理算法進(jìn)行螺釘工件識(shí)別,通過擬合圓、最小二乘法實(shí)現(xiàn)中心擬合及抓取點(diǎn)位置坐標(biāo)的計(jì)算,并對(duì)工件進(jìn)行可抓性判斷,將位姿信息發(fā)送給控制系統(tǒng)實(shí)現(xiàn)了利用機(jī)器視覺技術(shù)對(duì)視場內(nèi)任意位姿工件的定位與引導(dǎo)抓取。實(shí)驗(yàn)結(jié)果顯示抓取準(zhǔn)確率達(dá)到99.5%,滿足工程實(shí)際需求。