基于RGB-D相機的機械臂抓取系統(tǒng)設計

郭圓輝　王旭彬　韓毅

摘 要：隨著現代工業(yè)化、自動化進程的加快，機器人在現代工業(yè)領域的應用愈發(fā)重要。智能機器人可以高效地完成搬運、移動等工作，而建立相機與機械臂坐標系之間的關系是實現以上任務的基礎。通過DOBOT Magician與Intel realsense d435i建立了基于RGB-D相機的機械臂抓取系統(tǒng)。首先采用張正友標定法求出RGB-D相機的內參矩陣信息;然后通過實際場景的機械臂位置信息建立外參矩陣，通過矩陣逆求解得到外參矩陣信息;最后通過內外參矩陣信息得到相機坐標點對世界坐標點的轉換關系，并控制機械臂完成對目標的抓取。經測試，該系統(tǒng)平均成功率為87.5%.

關鍵詞：計算機視覺;RGB-D相機;機械臂;相機標定

中圖分類號：TP241.2 文獻標識碼：A 文章編號：1003-5168（2021）29-0011-04

Design of Robot Grasping System Based on RGB-D Camera

GUO Yuanhui WANG Xubin HAN Yi

（Department of Computer Science and Information Engineering， Anyang Institute of Technology，Anyang Henan 455000）

Abstract： With the modern industrialization， the automation process is accelerating， the robots are more important in modern industrial sectors. Intelligent robots can efficiently complete handling， move， etc. How to establish a relationship between the camera and the mechanical arm coordinate system is the basis for implementing the above tasks. This article establishes a robot-based robotic arm grabbing system based on DOBT Magician and Intel realsense d435i. First， Zhang Zhengyou calibration method is used to obtain an internal reference matrix information of the camera to the camera; then establish a foreign reference matrix by the actual scene of the robot arm position information， and the outer parameter matrix information is obtained by the matrix reverse; finally through the internal and external reference matrix information is obtained from the camera coordinate point to the world coordinate point conversion relationship， and controls the cracking of the robot to the target.

Keywords： computer vision;RGB-D camera;robotic arm;camera calibration

在人工智能飛速發(fā)展的現代，智能機器人在工業(yè)領域的應用愈發(fā)重要。近年來，在制造行業(yè)中，使用機器人替代人工成為一種較為普遍的現象[1]，但如何確保機器人對抓取目標定位的準確性，提高設計方案的魯棒性，降低產品的維護成本依然是十分艱巨的任務。在目前大部分工業(yè)制造中，對機器人抓取目標的定位仍然采取固定工件位置，設定固定的機械臂移動路線和抓取位置的方式實施工作，此類方案在工業(yè)實施過程中的魯棒性和自適應性較差[2];或者使用模板匹配方案[3]，將預定好的目標與待抓取的物體進行匹配，但此方案更換目標困難。筆者將相機成像原理、張正友標定法[4]應用于機械臂抓取中，建立點對點坐標轉換模型，并以此為基礎，使用卷積神經網絡[5]實現對目標物體的抓取，旨在解決機械臂抓取在工業(yè)應用中魯棒性和自適應性較差的問題。

1 圖像坐標系轉換相機坐標系

在工業(yè)機械臂目標抓取過程中，從RGB-D相機得到的圖像信息中目標的坐標是由物體的世界坐標投影到相機坐標系，再經過仿射變換到圖像坐標系，然后進行平移變換，最終得到像素坐標信息。因此，該目標位置信息不能直接作為抓取的位置。由相機拍攝得到的世界坐標系下的物體位置信息的轉換關系如圖1所示，其中（x，y，z）表示相機坐標系，O表示相機坐標原點。（x，y）表示圖像坐標系，O表示相機圖像坐標原點，f表示相機焦距，P與P′分別表示相機坐標系某一點的坐標與圖像坐標系下的某一點的坐標。

相機坐標系轉換為圖像坐標系，實際上是利用了仿射變換，將相機坐標系的坐標投影到圖像坐標系，其中兩者的轉換關系是以焦距f為變換量，根據相似三角形原理可以得到（x，y）與（x，y）的關系：

而在計算機視覺中，圖像坐標系并不是實際計算機中的坐標系，這主要是因為像素坐標系與圖像坐標系存在單位量與坐標軸的變換關系。具體變換關系如圖2所示，其中O表示圖像坐標系，O'表示像素坐標系。

根據圖像坐標系與像素坐標的關系，設在坐標軸的x，y方向下每個毫米單位下有p個像素。同時，定義相機坐標系與圖像坐標系中的（x，y）平移距離為（u，v），可得（x，y）與（u，v）的關系：

結合式（2）與式（4）可得，由圖像坐標系到像素坐標系的轉換關系如下：

2 相機坐標系轉換機械臂坐標系

在機器臂抓取的實際應用中，相機坐標系與機械臂坐標系存在一定的旋轉和平移關系。因此，需要建立相機坐標系與機械臂坐標系的轉換矩陣，根據當前轉換需求，將機械臂坐標系視為世界坐標系。其變換關系如圖3所示。

其中，O表示相機坐標系原點，O表示世界坐標系原點。由于兩個坐標系之間存在平移與旋轉的關系，因此存在3個自由度的旋轉矩陣與平移矩陣，設r為旋轉向量，t為平移向量，可得O與O的變換關系：

3 基于RGB-D相機的機械臂抓取試驗

本試驗中硬件部分分別由四軸機械臂DOBOT Magician、Intel realsense d435i深度相機與計算機3部分組成。DOBOT Magician是越疆科技自主研發(fā)的多功能輕量型智能機械臂，采用一體化設計，體積精巧，重復定位精度為0.2 mm，負載為0.25 kg，運動范圍為340 mm，性能優(yōu)秀，其外觀如圖4所示。

Intel realsence d435i深度攝像頭外形小巧，功耗低，旨在提供現成可用的追蹤性能，具有跨平臺、開發(fā)人員友好的同步定位與建圖功能，可滿足機器人、無人機和增強現實等快速原型制作需求。其外觀如圖5所示。

3.1 RGB-D相機標定試驗

相機標定試驗即通過求出機械臂坐標系與圖像坐標系中的一系列參數，得到由圖像坐標系到機械臂坐標系的轉換關系，其中包括相機的內參矩陣、機械臂坐標系與相機坐標系的位置關系下的外參矩陣。

利用張正友標定法進行標定，采用標準的7X9的標定板進行標定，為了保證標定數據的精確性，共采集了30張不同角度的圖像用于標定。首先通過OpenCV提取標定板的角特征信息，得到標定板的每個角點的位置信息，隨后通過一系列逆向求解過程，得到相機的內參矩陣信息，部分標定板拍攝圖像如圖6所示。

通過張正友標定法，求得相機的標定結果，得到相機的內參矩陣M，其數值如下：

3.2 RGB-D相機-機械臂坐標系轉換試驗

根據以上得到的相機的內參數據，以及上文中相機坐標系與機械臂坐標系轉換關系，求解即可得到相機與機械臂的轉換關系。選取4個坐標點進行矩陣方程的求解，即選取4個機械臂的坐標位置與4個像素坐標系下的對應位置，隨后根據相機的內參信息，求解相機的外參矩陣。4個坐標數據如表1所示（R表示機械臂坐標，M表示像素坐標）。

根據機械臂坐標信息與圖像坐標信息，依照4個點的坐標對應關系及內參矩陣M，即可求得外參矩陣：

隨機在棋盤坐標系上選取6個點，選取歐氏距離的絕對值作為評價指標，經過測試，預測坐標位置與實際坐標位置如表2所示。

通過表2中的數據計算可得，定位坐標與實際坐標的誤差平均值為1.105，精度基本滿足機械臂的抓取要求。

根據坐標系轉換的數據信息，使用OpenCV，在棋盤格上繪制出其坐標系示意圖，如圖7所示。

3.3 機械臂物體抓取試驗

試驗抓取系統(tǒng)由3部分組成，即攝像頭、機械臂和PC端。其中，攝像頭位于工作場景上方，負責采集數據，機械臂位于相機右方負責抓取物體，PC端負責處理和控制機械臂。機械臂抓取平臺如圖8所示。

試驗抓取系統(tǒng)坐標關系來自相機標定得到的圖像坐標系與機械臂坐標系的關系，通過使用YOLO_v3卷積神經網絡識別出物體坐標，然后通過坐標系轉換得到機械臂的坐標，最后對機械臂發(fā)出指令完成對目標的抓取和搬運。其中，每個目標物體進行20次抓取測試，共計抓取120次，抓取結果如表3所示。在試驗中，機械臂基本能抓到目標物體，其中green cube抓取成功率達到了95%。平均成功率為87.5%，基本滿足機械臂的抓取操作。

4 結語

設計了一種基于RGB-D相機的機械臂抓取系統(tǒng)，利用計算機成像原理與坐標轉換技術完成目標物體在三維空間中的定位，再將目標傳遞給機械臂控制系統(tǒng)，從而完成對目標的抓取任務。經過試驗分析，系統(tǒng)定位誤差小，基本滿足機械臂抓取目標的需要。該系統(tǒng)有效改善了傳統(tǒng)方法中魯棒性與自適應性較差的狀況，對現代工業(yè)化機械臂抓取、物體分類抓取等具有重要意義。

參考文獻：

[1]謝邦晉.基于機器視覺的工業(yè)機器人定位抓取技術[J].內燃機與配件，2018（21）：216-218.

[2]朱良，林滸，吳文江.基于機器視覺的工業(yè)機器人工件定位[J].小型微型計算機系統(tǒng)，2016（8）：1873-1877.

[3]戴健春.基于RGB-D相機的工業(yè)機器人定位抓取技術與系統(tǒng)集成研究[D].重慶：重慶郵電大學，2018：18.

[4]ZHANG Z Y.A flexible new technique for camera calibration[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2000（11）：1330-1334.

[5]REDMON J，FARHADI A.YOLO_v3： An incremental improvement[J].arXiv Preprint，2018（4）：33-35.