基于雙目視覺的機器人抓取系統(tǒng)

周晏 韓毅 王旭彬 郭圓輝

摘 要：基于機器視覺系統(tǒng)引導的機器人抓取技術是當前機器人技術研究的熱點，如何對機器人與攝像機進行精準的手眼標定是實現(xiàn)機器人精準抓取的前提和基礎。本文通過雙目攝像機和四軸機器人建立了基于雙目視覺的機器人抓取系統(tǒng)，采用張正友標定法對雙目攝像機的內外參數(shù)進行標定，對眼在手外的抓取系統(tǒng)進行手眼標定，并將抓取目標物體空間坐標信息轉化為機器人控制信息，完成目標抓取。

關鍵詞：雙目視覺;機器人;手眼標定;物體抓取

中圖分類號：TP242文獻標識碼：A文章編號：1003-5168（2020）35-0004-04

Abstract： Robot grasping technology guided by the machine vision system is a hot spot in the current robotics research， and how to perform accurate hand-eye calibration of robots and cameras is the prerequisite and basis for achieving accurate robot grasping. A robot grasping system based on binocular vision through binocular cameras and four-axis robots was established in this paper， which used Zhang Zhengyou calibration method to calibrate the internal and external parameters of the binocular cameras， and performed hand-eye calibration on the grasping system with eye-to-hand， and the space coordinate information of the captured target object was transformed into robot control information to complete the target capture.

Keywords： binocular vision;robot;hand-eye calibration;object grasping

《中國制造2025》的核心目標是裝備生產的信息化與智能化，而智能機器人恰好是實現(xiàn)這一目標的重要執(zhí)行者。傳統(tǒng)的工業(yè)機器人通常以在線教學或離線編程等方法實現(xiàn)其自動化工作。機器人按照特定的工位和工序來完成抓取任務，缺乏柔性和適應性[1]。隨著視覺技術的發(fā)展，視覺感應被引入工業(yè)機器人領域，讓攝像機變?yōu)楣I(yè)機器人的“眼睛”，通過攝像機來實現(xiàn)對外部世界的有效感知，增強其柔性，使其能夠更加高效、更加智能地完成工作任務。本文以雙目立體視覺攝像機獲得目標物體的空間位置信息，從而引導機器人抓取目標物體。

1 雙目視覺測距原理

雙目視覺測量是基于視差原理，通過左右兩個攝像機從不同的角度對物體進行拍攝，然后對獲取的數(shù)字圖像進行視差計算，從而得到前方物體距離。其原理與人眼感知相似，人眼能夠感知物體的遠近，是由于兩只眼睛對同一個物體呈現(xiàn)的圖像存在差異，這也被稱為“視差”。視差是同一個空間點在兩個攝像機成像中對應的

如圖1所示，[O1]、[O2]為平行的左右兩個攝像機，基線[T]表示兩個攝像機投影中心連線距離，攝像機焦距為[f]，空間觀察點的坐標為[P（x，y，z）]，系統(tǒng)分別在左攝像頭[O1]和右攝像頭[O2]上獲取了空間點[P]的圖像，[P]點在左、右圖像的坐標系為[pc1（xc1，yc1）]、[pc2（xc2，yc2）]。由于兩攝像機平行，左、右成像在同一個平面上，即[yc1=yc2=yc]，則根據(jù)相似三角形原理[Δpc1Ppc2～ΔO1PO2]，可以得出：

結合坐標系之間的變化關系、幾何關系，人們可以計算出圖像中目標點的景深，同時可以確定目標點的三維空間位置信息[2]。

2 機器人手眼標定方法

將雙目系統(tǒng)測出的物體三維坐標引入機器人系統(tǒng)，通過視覺引導機器人抓取物體是系統(tǒng)的目的。在常見的視覺引導機器人抓取系統(tǒng)中，根據(jù)視覺相機安裝方式的不同，機器人手眼標定方法可以分為兩大類。

2.1 眼在手上（Eye-in-Hand）

眼在手上示意圖如圖2所示。從圖2可知，該種方式將攝像頭安裝在機器手臂上，即攝像頭隨著機器手臂運動而運動。

2.2 眼在手外（Eye-to-Hand）

眼在手外模型如圖3所示。從圖3可知，該種方式將攝像頭安裝在機器手臂之外的部分，與機器人的底座（世界坐標系）相對位置固定，攝像頭不隨著機器手臂運動而運動[3]。

本文采用的是眼在手外的方式，如圖3所示，{B}為機器人基礎坐標系，{F}為機器人末端連桿坐標系，{T}為標定板坐標系，{C}為雙目攝像頭坐標系。其中，[K1]表示機器人基坐標系與機器人連桿末端{F}坐標系轉換矩陣，該矩陣可以通過機器人運動學正解計算得出;[K2]表示標定板坐標系{T}與機器人連桿末端{F}坐標系轉換矩陣，由于安裝問題，該轉換矩陣在標定前未知;[K3]為雙目攝像頭在標定板坐標系下的位姿，即為雙目攝像頭的外部參數(shù)矩陣，該矩陣可以通過雙目攝像頭標定獲得。[D]為雙目攝像頭在機器人基坐標系下的位姿，[D=K1·K2·K3]，因此，只需要計算出[K2]即解出雙目攝像頭在機器人基坐標系下的三維信息。

通過變換機器人末端位姿，如圖4所示，可以得出：

由于標定板安裝在機器臂上，所以標定板與機器臂末端相對位姿是固定的，即[K2]=[K5]，令[K]=[K2]=[K5]，得：

這就是關于K分量的線性方程組求解，本文采用學者Tasi和Lenz提出的輾轉求解方法[4]，得到[K1]、[K2]、[K3]，從而得到雙目攝像頭在機器人基坐標系下的位姿信息。

3 基于雙目視覺的機器人物體抓取試驗

試驗平臺硬件部分由越疆DOBOT魔術師四軸機器人、小覓D1000雙目攝像頭和計算機三部分組成。越疆DOBOT魔術師四軸機器人實物圖如圖5所示，小覓雙目攝像機實物圖如圖6所示。具體來說，試驗包括以下兩大步驟。

3.1 雙目視覺標定

本文采用小覓雙目攝像頭D1000作為雙目立體視覺系統(tǒng)。該設備左、右相機拍攝分辨率均為1 280×720。采用張正友標定法[5]，標定板為7×11張氏棋盤標定板（見圖7），正方形邊長為28 mm。小覓雙目攝像機拍攝的標定圖片如圖8所示，采用MATLAB相機標定工具箱對雙目攝像機進行標定。

在進行小覓雙目攝像頭標定后，為了進一步驗證目標空間坐標計算的準確性，將兩個小球放置在試驗臺上，如圖9所示，對雙目視覺計算距離與實際距離進行比較。首先，采用OpenCV的Canny目標邊緣檢測方法來定位圖像中的目標并計算中心點，獲得左、右相機圖像坐標系中的每個目標的坐標。然后，根據(jù)兩個攝像機坐標系下的坐標關系，從圖像坐標到世界坐標，可以獲得兩個目標的坐標。因此，可以計算兩個目標球體之間的距離，并且將間距與實際測量值進行比較，距離誤差用于表示三維坐標解的精度。

雙目攝像頭標定測量結果如表1所示。由5組試驗數(shù)據(jù)可以看出，計算間距和實際距離存在誤差，最大誤差為4.80%，最小誤差為0.70%，平均誤差為2.35%，可以滿足機器人抓取精度要求。

3.2 機器人抓取試驗測試與分析

機器人抓取試驗平臺如圖10所示。本研究采用越疆DOBOT魔術師四軸機器人作為抓取設備。為降低抓取環(huán)境顏色對試驗的影響，選用白色作為抓取試驗臺背景，并在保證光線充足的情況下進行抓取試驗[6]，分別在4個不同位置抓取5種物體，每種物體被抓取10次，試驗總次數(shù)為5×4×10=200次，試驗結果如表2、表3所示。

4 結語

本文設計了一種基于雙目視覺引導的機器人抓取系統(tǒng)，利用雙目視覺技術完成對抓取目標的三維空間位置信息獲取，再將位置信息傳遞給機器人控制系統(tǒng)，從而完成目標抓取任務。通過系統(tǒng)測試，該系統(tǒng)定位誤差較小，能夠滿足機器人抓取的定位精度要求，可以針對不同目標物體完成實時抓取任務，具有可靠性高、適應性強的特點。

參考文獻：

[1]朱良，林滸，吳文江.基于機器視覺的工業(yè)機器人工件定位[J].小型微型計算機系統(tǒng)，2016（8）：1873-1877.

[2]夏茂盛，孟祥磊，宋占偉，等.基于雙目視覺的嵌入式三維坐標提取系統(tǒng)[J].吉林大學學報（信息科學版），2011（1）：61-66.

[3]何佳唯，平雪良，劉潔，等.一種機器人手眼關系混合標定方法[J].應用光學，2016（2）：250-255.

[4]Tsai R Y，Lenz R K.A new technique for fully autonomous and efficient 3D robotics hand/eye calibration[J].IEEE Transactions on Robotics & Automation，1989（3）：345-358.

[5]于勇，張暉，林茂松.基于雙目立體視覺三維重建系統(tǒng)的研究與設計[J].計算機技術與發(fā)展，2009（6）：127-130.

[6]傅華強，房芳.工業(yè)機器人視覺定位技術研究與應用[J].工業(yè)控制計算機，2016（3）：1-3.