基于機(jī)器視覺的機(jī)械臂抓取系統(tǒng)設(shè)計(jì)

孫科，李亞，畢德學(xué)，谷林峰，鄭晨旭

天津科技大學(xué)機(jī)械工程學(xué)院 天津市輕工與食品工程機(jī)械裝備集成設(shè)計(jì)與在線監(jiān)控重點(diǎn)實(shí)驗(yàn)室（天津 300222）

工業(yè)機(jī)器人被廣泛用于包裝和食品加工等自動化生產(chǎn)線[1]，利用機(jī)器視覺技術(shù)引導(dǎo)工業(yè)機(jī)械臂可以增加機(jī)械臂柔性和靈活性[2]，使機(jī)械臂能適應(yīng)復(fù)雜和變化的環(huán)境，極大提高食品生產(chǎn)線自動化水平，保證了食品生產(chǎn)和衛(wèi)生安全[3]。以巧克力生產(chǎn)線的自動化改造項(xiàng)目為例，以工業(yè)相機(jī)代替人眼完成目標(biāo)位姿識別，實(shí)現(xiàn)由機(jī)械臂代替人力完成巧克力木質(zhì)手柄擺放，以傳送帶坐標(biāo)系為中間橋梁，提出了一種高效簡單的手眼標(biāo)定方法，由搭建的硬件和軟件控制系統(tǒng)驗(yàn)證系統(tǒng)的穩(wěn)定性。

1 系統(tǒng)軟硬件總體設(shè)計(jì)

應(yīng)用視覺技術(shù)實(shí)時引導(dǎo)四軸SCARA機(jī)械臂，實(shí)現(xiàn)對傳送帶上動態(tài)目標(biāo)的定位抓取，其硬件系統(tǒng)組成如圖1所示[4]，包括振動上料盤、工業(yè)相機(jī)、傳送帶、SCARA機(jī)械臂、光源、編碼器和工控機(jī)等。

圖1 硬件系統(tǒng)

系統(tǒng)實(shí)現(xiàn)流程：由振動上料盤向傳送帶上料，目標(biāo)物經(jīng)過安裝于傳送帶上游的相機(jī)視野，工控機(jī)運(yùn)行系統(tǒng)程序完成目標(biāo)物的采集識別及位姿提取，通過相機(jī)、傳送帶和機(jī)械臂的標(biāo)定結(jié)果和編碼器讀數(shù)來得到目標(biāo)物在機(jī)械臂坐標(biāo)系下的實(shí)時位置，發(fā)送在機(jī)械臂工作空間的目標(biāo)實(shí)時位姿信息至安裝于傳送帶下游的機(jī)械臂，機(jī)械臂實(shí)現(xiàn)抓取目標(biāo)，最后擺放到固定示教點(diǎn)。

控制系統(tǒng)整體實(shí)現(xiàn)如圖2所示。系統(tǒng)通過Gige接口連接相機(jī)采集圖像，Arduino控制板完成編碼器數(shù)據(jù)的采集和傳輸及帶速的控制，控制處理系統(tǒng)由4個并行運(yùn)行的線程組成，各線程處理結(jié)果存儲于相應(yīng)的順序隊(duì)列中，線程間信息交流也通過隊(duì)列傳遞，其中編碼器采集線程完成對編碼器實(shí)時數(shù)據(jù)的不間斷采集并存儲于編碼器讀數(shù)隊(duì)列，機(jī)械臂需求線程完成機(jī)械臂對目標(biāo)需求信息的采集，并將需求信息存入機(jī)械臂需求隊(duì)列中，以上兩線程主要實(shí)現(xiàn)信息的不間斷采集。

圖2 控制系統(tǒng)

圖像處理線程如圖3所示。它主要完成圖像的采集及處理，此線程需要用編碼器讀數(shù)隊(duì)列中的實(shí)時編碼器讀數(shù)以記錄拍照時刻和判斷拍照間隔。

圖3 圖像處理線程流程圖

圖像處理通過預(yù)先準(zhǔn)備的標(biāo)準(zhǔn)目標(biāo)模板圖像進(jìn)行基于形狀特征的模板匹配，進(jìn)而得到的目標(biāo)位姿信息及采集時刻信息存于目標(biāo)位姿信息隊(duì)列中，以備后續(xù)目標(biāo)實(shí)時位置的計(jì)算。為了減輕判別目標(biāo)重復(fù)算法的復(fù)雜性和可靠性對系統(tǒng)執(zhí)行效率和準(zhǔn)確性的影響，拍照間隔采用寧漏拍不重拍的原則，故利用編碼器讀數(shù)控制拍照間隔大于相機(jī)視野長度。

信息處理發(fā)送線程如圖4所示。它完成對目標(biāo)實(shí)時位置的計(jì)算和發(fā)送目標(biāo)位姿信息至機(jī)械臂。利用編碼器讀數(shù)隊(duì)列的編碼器實(shí)時數(shù)據(jù)和目標(biāo)位姿信息隊(duì)列存儲的目標(biāo)位姿和采集時刻信息以計(jì)算目標(biāo)實(shí)時位置，判斷其是否在機(jī)械臂工作空間內(nèi)，再根據(jù)機(jī)械臂需求隊(duì)列的需求信息判斷是否發(fā)送目標(biāo)實(shí)時位姿信息至機(jī)械臂。

圖4 信息處理發(fā)送線程流程圖

控制處理系統(tǒng)綜合各種采集得到及各線程提取計(jì)算得到的信息，得到目標(biāo)在機(jī)械臂坐標(biāo)系下實(shí)時位姿信息，并由TCP/IP通訊方式發(fā)送至機(jī)械臂。

2 手眼標(biāo)定

手眼標(biāo)定旨在獲得像素坐標(biāo)系與機(jī)械臂坐標(biāo)系的映射關(guān)系，由視覺處理得到的目標(biāo)位置信息可由標(biāo)定結(jié)果轉(zhuǎn)換至機(jī)械臂坐標(biāo)系下，常用的手眼系統(tǒng)相機(jī)視野與機(jī)械臂工作空間有交集，在交集內(nèi)任一點(diǎn)均可知其在像素與機(jī)械臂坐標(biāo)系下坐標(biāo)值，故不難求得其手眼映射關(guān)系；對于手眼工作空間無交集的情況，常以一新坐標(biāo)系為中間橋梁，間接求得手眼關(guān)系。由于項(xiàng)目目標(biāo)物形狀規(guī)則，相機(jī)安裝使像素平面平行于傳送帶平面，機(jī)械臂安裝使機(jī)器人基坐標(biāo)系Z軸垂直傳送帶平面，忽略由于坐標(biāo)平面不平行引起的標(biāo)定誤差，標(biāo)定三者關(guān)系時只需求三個平面的映射關(guān)系，Z軸深度由機(jī)器人示教為固定值。

2.1 相機(jī)的標(biāo)定

相機(jī)的標(biāo)定旨在獲得像素平面坐標(biāo)系（UOV）和世界平面坐標(biāo)系（XwOwYw）的投影關(guān)系[5]。此次基于針孔攝像機(jī)模型的透視投影關(guān)系提出了一種高效的標(biāo)定方法。

可以將像素平面（如圖5所示）等效到光軸中心上方。處于傳送帶平面的任意物點(diǎn)Pw發(fā)出的光線經(jīng)過鏡頭光軸中心O，交于像素平面形成其對應(yīng)的像點(diǎn)P。光軸中心與像素平面的距離為焦距f。將世界平面坐標(biāo)系固定在傳送帶所在平面，其原點(diǎn)Ow在像素平面的投影點(diǎn)為像素坐標(biāo)系原點(diǎn)O1，且其Xw軸和Yw軸分別與像素坐標(biāo)系u軸和v軸方向重合，過光軸中心作垂直于像素平面與世界平面直線分別交于點(diǎn)O'和O''。

圖5 等效成像原理圖

由圖6可知，ΔOO'P與ΔOO''Pw相似，ΔOO1P與ΔOOwPw相似，由此可得式1：

設(shè)P點(diǎn)像素坐標(biāo)為（u，v），其對應(yīng)的物點(diǎn)Pw在世界平面坐標(biāo)系的坐標(biāo)為（x，y），圖像傳感器水平和垂直方向上相鄰像素之間的物理距離為（Sx，Sy）（一般認(rèn)為Sx=Sy=S），將像素坐標(biāo)轉(zhuǎn)化為實(shí)際物理距離（u×S，v×S)，由式（1）可得式（2）：

式中：焦距f與物距|OO''|的比值記為固定值k，則世界平面坐標(biāo)系和像素平面坐標(biāo)系的線性映射關(guān)系為式（3）：

式中：S/k為定值，其值可由世界平面上兩點(diǎn)的實(shí)際物理距離與其對應(yīng)的像素點(diǎn)的像素距離的比值求得。

2.2 相機(jī)、傳送帶和機(jī)器人的標(biāo)定

如圖6所示，世界平面坐標(biāo)系（XwOwYw）在傳送帶平面，由2.1小節(jié)得到像素坐標(biāo)系與世界平面坐標(biāo)系映射關(guān)系，還需建立一中介坐標(biāo)系以求手眼關(guān)系。傳送帶坐標(biāo)系（XcOcYc）的建立：傳送帶坐標(biāo)系原點(diǎn)Oc與世界平面坐標(biāo)系原點(diǎn)Ow重合，X軸方向與傳送帶運(yùn)行方向一致，機(jī)械臂坐標(biāo)系為機(jī)械臂固定基坐標(biāo)系（XbObYb）。

圖6 相機(jī)、傳送帶和機(jī)械臂坐標(biāo)系

由于各坐標(biāo)系的標(biāo)定只是二維關(guān)系，不需要考慮Z軸方向變換，則其坐標(biāo)旋轉(zhuǎn)平移矩陣如式（4）所示。

式中：θ為兩坐標(biāo)系X軸間的夾角；tx、ty分別為沿X、Y軸方向平移量。

為了求得世界平面坐標(biāo)系與傳送帶坐標(biāo)系X軸間的夾角θ1，如圖7所示，可在傳送帶表面選取一標(biāo)致點(diǎn)P1在相機(jī)視野內(nèi)運(yùn)行傳送帶行進(jìn)到P2點(diǎn)，故P1P2與傳送帶坐標(biāo)系X軸方向一致，P1、P2點(diǎn)在世界平面坐標(biāo)系下的坐標(biāo)為（xw1，yw1）和（xw2，yw2），故得式（5）：

圖7 相機(jī)與傳送帶坐標(biāo)系

則傳送帶坐標(biāo)系相對于世界平面坐標(biāo)系的旋轉(zhuǎn)平移矩陣記為Tcw。

如圖6所示，機(jī)械臂基坐標(biāo)系與傳送帶X軸間的夾角θ2，方法類似，在機(jī)械臂工作空間內(nèi)選取一標(biāo)致點(diǎn)P3運(yùn)行傳送帶行進(jìn)到P4點(diǎn)，P3P4與傳送帶坐標(biāo)系X軸方向一致，示教機(jī)械臂到P3、P4點(diǎn)并分別可得機(jī)械臂基坐標(biāo)系下的坐標(biāo)（xb3，yb3）和（xb4，yb4），進(jìn)而計(jì)算得θ2。

標(biāo)定機(jī)械臂坐標(biāo)系相對世界平面坐標(biāo)系X、Y軸方向平移量，如圖6所示，通過Tcw獲得點(diǎn)P1在傳送帶坐標(biāo)系下坐標(biāo)（xc1，yc1），運(yùn)行傳送帶至機(jī)械臂工作區(qū)間內(nèi)P4點(diǎn)，并通過編碼器得到移動的距離d，故P4點(diǎn)在傳送帶坐標(biāo)系下的坐標(biāo)為（xc1+d，yc1），其在機(jī)械臂基坐標(biāo)系下的坐標(biāo)可由示教得到（xb4，yb4），故傳送帶坐標(biāo)系相對于機(jī)械臂基坐標(biāo)的平移量（tx1，ty1）可由待定系數(shù)法求得，如式（6）：

則傳送帶坐標(biāo)系相對于機(jī)械臂基坐標(biāo)系的旋轉(zhuǎn)平移矩陣為Tcb。

由上述可得世界平面坐標(biāo)系相對于機(jī)械臂基坐標(biāo)系的旋轉(zhuǎn)平移變換矩陣見式（7）：

至此，由傳送帶坐標(biāo)系為橋梁間接求得手眼關(guān)系，如式（8）：

3 試驗(yàn)分析

為了驗(yàn)證系統(tǒng)的精度和實(shí)用性，利用機(jī)器視覺引導(dǎo)機(jī)械臂抓取位于傳送帶上動態(tài)位姿的巧克力木質(zhì)手柄并擺放到巧克力模具固定位置如圖8所示。

圖8 巧克力模具

對標(biāo)定結(jié)果進(jìn)行試驗(yàn)驗(yàn)證。在相機(jī)視野中選取點(diǎn)由旋轉(zhuǎn)平移矩陣Tcw得其在傳送帶坐標(biāo)系下的坐標(biāo)（xc，yc），運(yùn)行傳送帶至機(jī)械臂工作空間并由編碼器獲得移動距離d，得其傳送帶坐標(biāo)系下坐標(biāo)（xc+d，yc），由旋轉(zhuǎn)平移矩陣Tcb計(jì)算出其在機(jī)械臂坐標(biāo)系下坐標(biāo)（xb，yb），示教機(jī)械臂末端指點(diǎn)端移動到目標(biāo)，得其在機(jī)械臂坐標(biāo)系實(shí)際坐標(biāo)（xr，yr）。

對比計(jì)算得到的（xb，yb）和實(shí)際的目標(biāo)在機(jī)器人坐標(biāo)系下的坐標(biāo)值（xr，yr），由式（9）得到其距離誤差，共測量30組數(shù)據(jù)其誤差，如圖9所示。

圖9 標(biāo)定誤差圖

經(jīng)分析其標(biāo)定誤差小于1.5 mm，誤差主要來源為坐標(biāo)面并不完全平行、傳送帶平面不平整等因素。

通過目標(biāo)擺放是否到位驗(yàn)證系統(tǒng)精度和穩(wěn)定性，共統(tǒng)計(jì)30盤擺放情況，如表1所示。其成功率大于94%。

表1 擺放情況統(tǒng)計(jì)表

4 結(jié)語

利用機(jī)器視覺技術(shù)實(shí)時引導(dǎo)四軸SCARA機(jī)械臂實(shí)現(xiàn)對傳送帶上動態(tài)目標(biāo)的定位抓取，搭建的硬件系統(tǒng)和軟件控制系統(tǒng)運(yùn)行穩(wěn)定，提出的標(biāo)定方法經(jīng)試驗(yàn)驗(yàn)證精度滿足項(xiàng)目要求，系統(tǒng)的實(shí)現(xiàn)提高了生產(chǎn)效率和食品安全。但由于在標(biāo)定過程中忽略了各坐標(biāo)平面不平行的因素，故后續(xù)研究中精度有待提高。