基于視覺引導的工業(yè)機器人快速分揀系統研究

黨宏社,張 超,龐 毅

(1.陜西科技大學電氣與信息工程學院,西安 710021;2.河北工業(yè)大學控制科學與工程學院,天津 300130)

基于視覺引導的工業(yè)機器人快速分揀系統研究

黨宏社1*,張 超1,龐 毅2

(1.陜西科技大學電氣與信息工程學院,西安 710021;2.河北工業(yè)大學控制科學與工程學院,天津 300130)

將三菱RV-13F工業(yè)機器人與視覺引導技術相結合應用于目標分揀。對原始圖像進行濾波處理后再利用ORB算法實現對目標物體的快速檢測,并利用最佳匹配特征點計算出目標物體的像素坐標和旋轉角度。實驗結果表明:計算坐標與實際坐標在X、Y坐標上的誤差在1 mm之內,可以保證工業(yè)機器人準確地運動到目標物體的上方,Z坐標上的誤差在3 mm之內,可以保證能將目標物體抓取到,快速地完成分揀任務。

視覺引導;工業(yè)機器人;ORB算法;快速分揀

視覺引導技術是指利用攝像機代替人眼、計算機代替大腦[1],通過處理相機獲取的圖像對目標物體進行測量、檢測和識別,引導工業(yè)機器人完成對其的抓取、分揀等任務。傳統的工件分揀方式為人工分揀,這種方式很大程度受人為因素影響,導致工作速度慢、分揀不準確以及容易發(fā)生事故等。后來將示教工業(yè)機器人應用于工件分揀[2],這種方式雖然能夠利用機器代替人工作,但是由于示教模式的固定化,導致無法對任意物體進行分揀抓取,而且外界環(huán)境改變時需對工業(yè)機器人重新示教,否則無法完成工作。因此,將視覺引導技術應用于工業(yè)領域,對增強工業(yè)機器人對外部環(huán)境的適應能力與工業(yè)生產線的魯棒性、提高生產過程的自動化水平與勞動生產率有十分重要的意義。Tuong Phuoc Tho等人[3]對番茄按照顏色、形狀等特征分級并進行識別定位,完成農產品的自動分揀。金桂根等人[4]利用尺寸、形狀等特征對目標物體進行判別,完成物流系統中的物料分揀。唐宇等人[5]利用工件圖像的形狀特征向量匹配的方法實現對工件的自動分揀。

本文將視覺引導技術應用于流水線上對目標物體的分揀,對相機獲取的圖像進行濾波處理后再利用ORB算法進行特征點檢測與匹配,實現了對目標物體的動態(tài)檢測和快速識別,減少了外界條件變化引起的對同一目標的重復檢測,最終利用工業(yè)機器人完成對目標物體的抓取和分揀。

1 系統平臺搭建

本文利用三菱公司的RV-13F 6自由度工業(yè)機器人,搭建出了一個如圖1所示的分揀系統。系統采用維視圖像公司的MV系列工業(yè)數字相機獲取圖像,采用氣動吸盤來抓取目標物體,采用傳送帶來輸入原料和輸出分揀好的物料,通過以太網實現相機、計算機、工業(yè)機器人之間的信息交換。

圖1 基于視覺引導的分揀系統

首先利用相機獲取原料傳送帶上的目標圖像并發(fā)送到計算機,然后計算機對圖像進行預處理、對目標物體進行快速地識別和定位,接著根據標定的內外參數和目標的像素坐標計算出在當前工業(yè)機器人坐標系下的坐標,通過以太網將坐標信息發(fā)送給工業(yè)機器人,最后工業(yè)機器人根據坐標信息抓取目標物體放置到物料輸出傳送帶上。分揀系統整體框圖如圖2所示。

圖2 分揀系統整體框圖

2 相機標定

相機標定是目標識別定位的基礎工作,目的是以相機坐標系(XC,YC,ZC)作為橋梁,建立空間物體表面某點的三維世界坐標系(XW,YW,ZW)下的幾何位置與二維平面圖像坐標系(Xu,Yu)中的對應點之間的關系,主要分為圖像坐標到相機坐標的內部參數標定和相機坐標到世界坐標的外部參數標定兩部分。本文以小孔成像為相機的基本模型,采用張正友標定法進行相機標定。

為了提高相機標定的準確度,本文采用9張不同方向的棋盤格圖片作為標定模板,每幅圖片的像素為640×480,X方向有8個內角點,Y方向有6個內角點,棋盤格的實際測量邊長為30 mm,標定結果如圖3(a)所示。

圖3 標定模板與結果

(1)

式中:(u0,v0)為相機鏡頭光心到圖像坐標系中的像素坐標。

采用如圖3(b)所示的一張平行于相機XY平面的標定板對系統進行外參數標定,世界坐標原點為圖中左上角內角點,外參數矩陣為:

(2)

式中:R為3×3的正交單位矩陣,T為三維平移向量,O=(0,0,0)T。

由于標定出的世界坐標系的原點在標定板左上角內角點處,而實際的工業(yè)機器人坐標系的原點在系統中已經固定,在工業(yè)機器人的底座處。因此利用示教器將工業(yè)機器人移動到標定板左上角內角點處,得到當前坐標E,將計算出的世界坐標再平移E之后,得到就是工業(yè)機器人坐標系下的坐標。

3 目標定位與檢測

目標的檢測與定位是實現自動抓取分揀的基礎?，F有的目標檢測算法有基于模板的匹配算法和基于特征的匹配算法[6]?；谀０宓钠ヅ渌惴敯粜暂^差,易受外界環(huán)境的影響導致檢測錯誤,而基于特征的匹配算法受外界影響較小,還具有一定的尺度、旋轉不變性。在實際的操作環(huán)境中,圖像采集為動態(tài)采集,每一幀的圖像都會進行目標匹配檢測。由于外界條件如光照等在實時的發(fā)生變化,計算機可能會對同一圖像的同一目標重復檢測,因此本文提出將相機獲取到的圖像先進行濾波處理,去除掉圖像中的雜質點以及光照變化的影響,再利用ORB特征描述子,對特定目標實現快速檢測。

3.1 圖像預處理

首先對采集到的圖像利用圓形模板進行膨脹處理,去除了圖像中的黑色雜質點,減少了光照變化引起的對同一目標的重復檢測,然后再進行腐蝕處理,即將目標物體圖像擴大,使得目標特征更加明顯,利于后續(xù)的特征點檢測。如圖4所示,圖(a)為原始圖像,圖(b)為處理后的圖像。

圖4 預處理后的目標圖像

3.2ORB算法

在工業(yè)環(huán)境中,由于目標物體放置位置不固定,拍照位置的不同使得目標圖像發(fā)生尺度變化,在許多場景下導致檢測不準確,因此近些年來局部不變特征常被用來做目標匹配和檢測[7-8],其中SIFT(Scale-InvariantFeatureTransform,尺度不變特征變換)和SURF(Speed-UpRobustFeatures,加速魯棒特征)是應用最為廣泛的兩種局部不變特征描述子。但是,這兩種描述子的運算速度較慢,為了解決這一問題,EthanRublee等人將FAST角點檢測與BRIEF特征描述綜合改進提出了ORB(ORientedBRIEF)算法[9]。

ORB算法采用FAST角點檢測算子檢測特征點[10],并給特征點添加1個方向信息構成oFAST,不僅保證了特征點提取時的速度快,而且解決了FAST算子沒有方向性的問題。然后采用BRIEF描述子對檢測到的特征點進行描述[11],不僅計算簡單、速度快,而且之前添加的方向信息解決了BRIEF沒有旋轉不變性的問題[12]。特征點如圖5所示,圖5(a)為模板圖像的特征點,圖5(b)為目標圖像的特征點。

圖5 模板和目標圖像的特征點

3.3 目標定位

在完成目標檢測任務之后,需要確定出目標物體在當前圖像坐標下的像素坐標,從而變換得到世界坐標。在ORB檢測算法中,可以得到目標物體的最佳匹配特征點的像素坐標,通過求這些特征點的中心,可以計算出目標物體的中心點坐標,即可得到其在圖像坐標系中的像素坐標。并利用距離最遠的2個最佳匹配特征點的像素坐標,計算物體的旋轉角度θ。公式如下:

(3)

式中:(x1,y1),(x2,y2)為模板圖像中的2個特征點的像素坐標,(X1,Y1),(X2,Y2)為目標圖像中的2個特征點的像素坐標。計算出的旋轉角度還要根據2個特征點的方向是否一致來對θ做180°的偏移。

根據標定出的內部參數可將圖像坐標轉換為相機坐標,根據外部參數可將相機坐標轉換到世界坐標,根據偏移量進行平移可將世界坐標轉換為工業(yè)機器人坐標系(XR,YR,ZR)下的坐標。通過3個轉換關系,可將圖像處理得到的目標物體的像素坐標變換成工業(yè)機器人坐標系下的坐標。關系如下所示:

(4)

(5)

(6)

4 實驗結果與分析

本實驗先對圖像進行濾波處理,然后利用ORB特征對目標物體進行特征點檢測,結果如圖6所示,計算出匹配到的目標物體在圖像坐標系中的像素坐標以及相對于模板的旋轉角度,并根據相機標定參數計算出目標物體在工業(yè)機器人坐標系下的坐標,然后利用示教器將工業(yè)機器人末端移動到目標物體的位置,得到實際坐標與計算出的坐標進行對比。最后控制工業(yè)機器人抓取目標物體將其放置在物料輸出傳送帶上。

圖6 特征點匹配結果

表1中給出了檢測出的像素坐標、計算出的坐標、工業(yè)機器人末端執(zhí)行器的坐標與計算出的旋轉角度,表2中計算了計算坐標與實際坐標之間的絕對誤差,可以看出,目標檢測計算出的坐標與實際的工業(yè)機器人坐標系中的坐標在X坐標上的誤差最大為0.95mm,均方差為0.63mm,在Y坐標上的誤差最大為0.93mm,均方差為0.72mm,能保證工業(yè)機器人能精準的運動到目標物體的上方。而Z坐標上的誤差最大為2.86mm,均方差為1.78mm,由于工業(yè)機器人末端執(zhí)行器為氣動吸盤,在實驗過程中,工業(yè)機器人在5mm的范圍內都可以將目標物體吸取到,因此工業(yè)機器人可以準確得抓取目標物體實現快速分揀。同時,利用計算出的旋轉角度,可以將目標物體按照模板物體的方向放置,達到整齊擺放的效果。

表1 目標定位和實際測量結果對比

表2 計算坐標與實際坐標之間的絕對誤差

5 結束語

本文針對于對工業(yè)流水線上目標物體的檢測識別、定位抓取等問題,在VS2013上進行軟件設計,采用濾波處理后的ORB特征算法實現了對目標物體的快速檢測,減少了動態(tài)實時目標的重復檢測,并利用特征點計算出物體的中心以及相對于模板的旋轉角度,利用相機標定的內參和外參計算出物體在工業(yè)機器人坐標系下的坐標,引導工業(yè)機器人完成物體分揀抓取。實驗結果證明,系統在目標檢測和定位時準確性高、速度快,并且有很好的魯棒性。

[1] Pérez L,Rodríguez í,Rodríguez N,et al. Robot Guidance Using Machine Vision Techniques in Industrial Environments:A Comparative Review[J]. Sensors,2016,16(3):335.

[2] 計時鳴,黃希歡. 工業(yè)機器人技術的發(fā)展與應用綜述[J]. 機電工程,2015(1):1-13.

[3] Tuong Phuoc Tho,Nguyen Truong Thinh. Design and Development of the Sorting System Based on Robot[C]//2015 15th International Onference on Control,Automation and Systems(ICCAS),Busan,Korea:IEEE. 2015:1639-1644.

[4] 金桂根,穆建軍. 視覺識別機器人在物流作業(yè)中的智能應用[J]. 制造業(yè)自動化,2013(11):103-105.

[5] 唐宇,吳清瀟,朱楓. 平面工件的識別與定位方法研究[J]. 機械設計與制造,2015(10):172-175.

[6] 夏群峰,彭勇剛. 基于視覺的機器人抓取系統應用研究綜述[J]. 機電工程,2014,31(6):697-701.

[7] Kalaiyarasi C,Karthikeyan S. Enhancing Logo Matching and Recognition Using Local Features[C]//2014 International Conference on Information Communication and Embedded Systems(ICICES),Chennai,India:IEEE,2015:1-6.

[8] 孫浩,王程,王潤生. 局部不變特征綜述[J]. 中國圖象圖形學報,2011(2):141-151.

[9] Rublee E,Rabaud V,Konolige K,et al. ORB:An Efficient Alternative to SIFT or SURF[C]//International Conference on Computer Vision. Barcelona,Spain:IEEE Computer Society,2011:2564-2571.

[10] Xu J,Chen X,Song X,et al. An Improved Harris-FAST Algorithm for Underwater Object Corner Detection[C]//Control and Decision Conference. Qingdao,Shandong:IEEE,2015:5424-5428.

[11] Calonder M,Lepetit V,Fua P. Brief:Binary Robust Independent Elementary Features[C]//European Conference on Computer Vision,2010:778-792.

[12] Wang G,Tian J. License Plate Localization in Complex Scenes Based on Oriented FAST and Rotated BRIEF Feature[J]. Journal of Electronic Imaging,2015,24(5):053011.

Research of Fast Sorting System Based on Industrial Robot of Visual Guidance

DANGHongshe1*,ZHANGChao1,PANGYi2

(1.College of Electrical and Information Engineering,Shaanxi University of Science and Technology,Xi’an 710021,China;2.School of Control Science and Engineering,Hebei University of Technology,Tianjin 300130,China)

Combined with MELFAF RV-13F industrial robot,vision guiding technique is applied to object sorting. After filtering the source image and ORB feature detection,the best matching feature points can be used to calculate the pixel coordinates and rotation angle to implement fast detection of the object. The results show that the error between calculating and actual coordinates inX,Yis within 1mm and inZis within 3 mm. It ensures that the industrial robot can grasp object precisely to complete object sorting fast.

visual guidance;industrial robot;ORB algorithm;fast sorting

2016-04-28 修改日期:2016-05-30

C:7220

10.3969/j.issn.1005-9490.2017.02.043

TP242.2

A

1005-9490(2017)02-0481-05