基于亞像素精度的機器人抓件視覺引導(dǎo)系統(tǒng)*

冀 偉, 朱建江,2

(1.中國礦業(yè)大學 機電工程學院,江蘇 徐州 221116；2.常熟理工學院 電氣與自動化工程學院,江蘇 常熟 215500)

0 引言

計算機視覺是使用計算機和其它設(shè)備對生物視覺的一種模擬，主要任務(wù)是通過對采集到的圖片進行處理從而得到所需的信息。隨著工業(yè)領(lǐng)域自動化程度的逐漸提高，計算機視覺隨之應(yīng)用于工業(yè)機器人，使其有效的提升外界感知能力，增強機器人的柔性。工件的抓取是工業(yè)生產(chǎn)線上機器人的一項重要應(yīng)用，其關(guān)鍵技術(shù)在于對目標工件位姿的識別和計算機與機器人之間的實時通信。傳統(tǒng)工業(yè)機器人進行抓取作業(yè)時，需要對機器人示教[1]，規(guī)定指定的動作內(nèi)容，但缺乏靈活性，對位姿變化后的工件不能有效抓取。目前采用視覺引導(dǎo)的抓取系統(tǒng)在位姿識別方面利用攝像機拍攝工件圖像與預(yù)先存儲的虛擬圖像匹配，確定工件的位姿[2-3]，無法滿足要求定位精度要求高的機器人抓件應(yīng)用。

本文采用Eye-to-Hand機器視覺系統(tǒng)[4]首先進行攝像機標定，基于管板焊接成產(chǎn)線成本考慮，采用單目視覺方法直接提取工件的位姿信息[5-7]，克服了利用模板匹配不能精確提取復(fù)雜工件位姿的缺點。傳統(tǒng)邊緣檢測算子對工件邊緣檢測精度不能滿足實驗要求，所以采用亞像素邊緣提取[8]的方法。最后將位姿參數(shù)偏差值傳輸給機器人。

1 總方案設(shè)計

本文構(gòu)造的視覺引導(dǎo)系統(tǒng)是由機器人系統(tǒng)，視覺系統(tǒng)，總線系統(tǒng)，識別系統(tǒng)，輔助系統(tǒng)組成的一套完整設(shè)備。具體方案如圖1所示。

1.機器人控制柜 2.計算機 3.PLC控制柜 4.攝像機與固定光源 5.光電傳感器 6.傳送帶 7.工件 8.機器人

圖1視覺引導(dǎo)總方案

實驗中視覺系統(tǒng)采用攝像機和環(huán)形光源并加以固定，機器人控制柜與計算機間使用RS232接口串行通信。在機器人抓手上裝有20mm的SMC氣爪，可以對工件有效的抓取。采用光電傳感器、外觸發(fā)方式由PLC控制光源點亮并觸發(fā)相機拍照，采集的圖像由機器視覺軟件采用亞像素精度輪廓提取方法計算出工件的實時位姿參數(shù)(包括X、Y坐標和偏轉(zhuǎn)角度)，用標定數(shù)據(jù)矯正后傳遞給機器人，實現(xiàn)機器人抓件的視覺引導(dǎo)。

機器人抓件的關(guān)鍵是工件位姿的實時提取算法及機器人控制器與視覺處理系統(tǒng)間的集成。

2 工件位姿提取

對不同工件位姿的有效提取是完成抓取的關(guān)鍵步驟，本文設(shè)計的算法流程如圖2所示。

圖2 算法流程圖

2.1 算法流程

單目相機獲取圖片后，會產(chǎn)生一定程度的畸變，用預(yù)先標定得到的相機內(nèi)外參數(shù)對圖像進行矯正處理。之后對圖像按以下步驟處理：

(1)閾值分割，閾值分割操作的定義為：

S={(r,g)∈R|gmin≤fr,c≤gmax}

(1)

(2)提取連通區(qū)域，一般情況下分割后得到的區(qū)域中含有多個獨立的物體，而我們感興趣的是這些像素聯(lián)通而成的區(qū)域。實驗采用8連通進行像素的擴展，得到連通區(qū)域。結(jié)果如圖3所示。

圖3 閾值分割結(jié)果與連通區(qū)域

(3)亞像素精度分割，在目標輪廓提取中傳統(tǒng)算子的精度不理想，會直接影響對中心點坐標與角度的計算，所以采用亞像素精度提取輪廓。為此我們將圖像的離散表示轉(zhuǎn)換為一個連續(xù)函數(shù)，通過雙線性插值來完成這種變換。分計算轉(zhuǎn)換后的坐標到四個相鄰像素中心點的垂直方向和水平方向的距離，然后根據(jù)距離值計算出不同灰度值所占的權(quán)重后得到的結(jié)果：

(2)

之后便可以用常量函數(shù)g(r,c)=gsub與圖像函數(shù)f(r,c)相交得到亞像素分割的結(jié)果。

(4)由目標輪廓可以計算出工件中心點在圖像坐標系下的X，Y坐標。即首先求取工件輪廓的最小外接矩形，容易求得矩形的4個角點的坐標，中心點坐標可計算：

(3)

結(jié)果如圖4所示。

圖4 亞像素精度輪廓與中心點

(5)選擇橫坐標大于輪廓中心點的兩個角點(X1,Y1)和(X2,Y2)，計算角度α：

(4)

(6)得到了圖像坐標系下的位姿偏差參數(shù)，但需要將其轉(zhuǎn)化到世界坐標系下才可以完成對機器人的路徑修正。建立坐標系之間的轉(zhuǎn)換模型如圖5所示。

圖5 坐標系轉(zhuǎn)換模型

PW=RPC+T

(5)

其中，R為旋轉(zhuǎn)矩陣，T為平移矩陣，相關(guān)的參數(shù)由預(yù)先攝像機標定得到。

建立2D視覺系統(tǒng)數(shù)學模型如圖6所示，在世界坐標系OXY下示教工件位姿參數(shù)為(x0,y0,α0)，而實驗所得的工件位姿參數(shù)為(x1,y1,α1)。

圖6 2D視覺系統(tǒng)數(shù)學模型

世界坐標系下示教工件坐標系O0X0Y0和當前工件坐標系O1X1Y1,計算的兩工件坐標系的偏差量：

(6)

ΔX,ΔY,θ分別是在X軸，Y軸的平移量和繞Z軸的旋轉(zhuǎn)量。事先建立以零位為目標的機器人示教路徑，之后需要把偏移量傳送給機器人控制柜，控制柜根據(jù)偏差量對示教路徑加以修改完成對當前抓取路徑的設(shè)定。

2.2 實驗與分析

根據(jù)上述原理和流程進行實驗，如圖7所示為機器人抓取不同位姿工件實驗的截圖。

圖7 機器人抓取截圖

通過實驗得到如圖8所示的工件不同位姿結(jié)果。

圖8 工件不同位姿輪廓提取

工件不同位姿在圖像坐標系下的參數(shù)和轉(zhuǎn)換到世界坐標系下的參數(shù)如表1所示。

表1 亞像素精度位姿參數(shù)表

同時采用傳統(tǒng)的模板匹配方法對不同工件的位姿參數(shù)提取如表2所示，

表2 模板匹配位姿參數(shù)表

之后，計算兩種位姿求取方法相對于實際位姿的誤差絕對值如表3所示。

表3 位姿誤差參數(shù)表

由于采用亞像素精度提取可以得到更加精準的邊緣輪廓，所以其精度要明顯高于模板匹配。實驗證明基于亞像素精度的位姿提取可以對工件進行更精確的抓取，更適合高精度的工業(yè)生產(chǎn)線。

3 視覺系統(tǒng)與機器人系統(tǒng)集成

視覺系統(tǒng)與機器人系統(tǒng)的集成依靠通訊完成，主要實現(xiàn)計算機與機器人之間的數(shù)據(jù)交換。在計算機完成圖像處理和位姿參數(shù)的提取后，將得出的位姿偏差傳送給機器人，當機器人修改路徑完成抓取后，報告計算機等待下一步操作。通訊系統(tǒng)的性能決定了采集到的結(jié)果是否可以精確的傳遞，保證抓取的準確性。

本文設(shè)計的視覺引導(dǎo)系統(tǒng)采用上、下位機二級分布式結(jié)構(gòu)，上位機即計算機主要負責對攝像機采集的圖片信號進行實時處理，并向下位機即機器人控制柜實時傳輸信息。上下位機通訊的實時性與準確性是系統(tǒng)的關(guān)鍵因素。機器人控制柜有RS-232串口接口，計算機配有串口卡，所以采用串行通信實現(xiàn)計算機與機器人的數(shù)據(jù)交換，采用的是COM1口。

對計算機與機器人控制柜間的通訊進行仿真調(diào)試,選擇C#作編程語言，在Visual Studio.Net環(huán)境中編寫串口通信程序,使用NET Framework2.0類庫中的SerialPort類，實現(xiàn)所需要串口通信的多種功能。串口通信最常用的參數(shù)就是通信端口號和通信格式。SerialPort類中的[PortName]屬性可設(shè)置端口信號，分別用[BaudRate][Parity][DataBits][StopBits]屬性設(shè)置通信格式中的波特率，數(shù)據(jù)位，停止位和校驗位。而串口的打開和關(guān)閉調(diào)用Open()和Close()方法，數(shù)據(jù)的發(fā)送Serial類則是調(diào)用重載的Write和WriteLine方法。

之后對ABB機器人寫入程序，控制語言為自帶的RAPID，RAPID在通信方面提供了豐富的指令。實驗流程圖如圖9所示。

圖9 機器人程序流程圖

首先定義變量和初始化串口，之后控制機器人按照示教路徑移動至零位抓取點，報告計算機等待接收位姿偏差量數(shù)據(jù)。接收數(shù)據(jù)后將偏差量加至示教路徑形成新的抓取路徑并運行。判斷是否還有工件等待抓取，是則重復(fù)上述步驟，反之結(jié)束程序。

4 結(jié)束語

計算機視覺應(yīng)用于工業(yè)機器人領(lǐng)域可以極大地提高工作效率，并已經(jīng)取得了顯著的成果。本文針對工業(yè)管板焊接生產(chǎn)線中機器人智能抓取模塊為研究對象，對工件位姿信息亞像素精度的提取及機器人和計算機間的通訊等關(guān)鍵性技術(shù)進行了重點分析與驗證。經(jīng)實驗，使用機器視覺系統(tǒng)對機器人引導(dǎo)，抓取不同位姿的工件過程中，可以有效的提取工件高精度位姿信息并實時地與計算機進行通訊。最后準確的抓取不同位姿的工件，證明了系統(tǒng)關(guān)鍵技術(shù)具有可行性，有重要的實際意義。

[1] 楊敏，王品，鄭玉虎.人機對話方式的機器人示教盒的設(shè)計[J]. 組合機床與自動化加工技術(shù) ,2013(2): 127-129.

[2] 黃風山,劉恩福,方憶湘,等.基于智能三坐標測量機的零件位姿單目立體視覺識別[J]. 光學精密工程,2013,21(5):1327-1332.

[3] 白冰峰,溫秀蘭,張中輝.基于Haar小波和形狀模板的圖像快速匹配算法[J].組合機床與自動化加工技術(shù),2017(2):37-40.

[4] 傅華強,房芳.工業(yè)機器人視覺定位技術(shù)與研究[J].工業(yè)控制計算機,2016,29(3):1-3.

[5] 吳斌,張放.基于單目視覺的焊接螺柱位姿參數(shù)測量技術(shù)研究[J].光電子·激光,2014,25(10):1931-1935.

[6] 高晶,吳育峰,吳昆,等.基于角點檢測的圖像匹配算法[J]. 儀器儀表學報,2013,34(8):1717-1725.

[7] 許宏科,秦嚴嚴,陳會茹.一種基于改進Canny的邊緣檢測算法[J].紅外技術(shù),2014,36(3):210-214.

[8] DA FEIPENG,ZHANG HU.Sub-pixel Edge Detection Based on an Improved Moment[J].Image and Vision Computing,2010,28:1645 -1658.

[9] HILL J,PARK W T. Real time control of a robot with a mobile camera[C]//Proc.9th Int. Sympo.on Industrial , Robots : Washington, USA:[s.n.],1979:233-246.

[10] 陳小虎，劉新華，陳佩佩，等.PC與仿形機械手的串口通信實現(xiàn)[J]. 組合機床與自動化加工技術(shù),2014(7):94-96.

[11] Carsten Steger,Markus Ulrich,Christian Wiedemann. Machine Vision Algorithms and Applications[M].BeiJing:Tsinghua University Press,2016.

[12] Richard Szeliski. Computer Vision: Algo-rithms and Application[M]. Washington,2010.

[13] S W Lee,W Y Kim.Rotation-invariant Template Matching Using Projection Method [J] . Proc.KIT,1996,19(1):475-476.