基于視覺引導的機器人分揀系統(tǒng)研究

關鍵詞：機器人；機器視覺；N點標定；深度學習

中圖法分類號：TP391 文獻標識碼：A

1引言

隨著當今世界經(jīng)濟的快速發(fā)展，傳統(tǒng)制造業(yè)的轉(zhuǎn)型升級已迫在眉睫。《中國制造2025》要求加快發(fā)展新一代的智能制造裝備，未來制造業(yè)的發(fā)展方向必將是智能制造。工業(yè)機器人作為現(xiàn)代工業(yè)智能制造的典型代表，在噴涂、焊接、搬運以及裝配等多項作業(yè)中被廣泛應用。目前，工業(yè)機器人大多應用于批量的生產(chǎn)任務，操作人員通過示教和離線編程的方式，預先給機器人設置軌跡并進行工件的裝配。此情景下，要求工件的擺放位置固定已知，有時還需要一定的輔助限位裝置。因此，生產(chǎn)線缺乏靈活性和柔性。近年來，隨著機器視覺技術的快速發(fā)展與應用，加裝工業(yè)之眼后工業(yè)機器人可以更加智能、靈活地進行上下料、裝配等工作，目前的自動化生產(chǎn)線中，利用工業(yè)相機或智能相機等光學設備可以對目標零件進行快速識別和空間位置信息的獲取，進而引導機器人進行自主工作。這已經(jīng)成為工業(yè)生產(chǎn)中的一大趨勢。

隨著人工智能技術的發(fā)展，機器人與計算機視覺的結(jié)合越來越緊密，視覺引導機器人完成各種任務，如裝配、上下料等，越來越受到研究人員的關注，并取得了一系列的研究進展。機器人視覺系統(tǒng)主要作用是利用視覺設備識別出待處理的目標并獲取其位置信息，為機器人抓取、分揀以及裝配提供信息。利用工業(yè)相機等視覺設備獲取目標圖像信息，根據(jù)特征檢測識別出目標，引導機器人動作，因而檢測識別的精度影響機器人動作的成敗。目前，國內(nèi)外研究人員針對不同的目標產(chǎn)品檢測識別提出了大量的方法，主要分為基于傳統(tǒng)視覺處理方法和深度學習方法。

傳統(tǒng)視覺處理方法獲取目標的灰度、紋理、形狀、不變矩等特征作為依據(jù)實現(xiàn)目標的檢測。喬景慧等為了抓取不同型號和尺寸的電視機背板，采用模板匹配方法確定背板的型號和品質(zhì)，開發(fā)了視覺伺服自適應控制系統(tǒng)。朱穎等針對機器人作業(yè)環(huán)境復雜、物料的隨機擺放使得目標識別與定位精度低、實時性差等問題，提出改進幾何矩的移動機器人目標識別，將Graham與旋轉(zhuǎn)卡殼相結(jié)合的算法尋找最小外接矩來獲取目標物料的準確位置。傳統(tǒng)的機器視覺算法具有處理簡單、速度快等優(yōu)勢，但針對復雜場景，如遮擋、光照不均等情況處理效果受限。另一方面，深度網(wǎng)絡方法因其強大的特征處理能力，被廣泛應用于各個領域的目標識別。仲訓杲等針對智能機器人抓取、判別問題，提出多模特征深度學習與融合的方法，將測試特征分布偏離訓練特征視為一類噪化，引入帶稀疏約束的降噪自動編碼（DAE），實現(xiàn)網(wǎng)絡權值學習，并以疊層融合策略，獲取初始多模特征的深層抽象表達，該方法可以提高深度網(wǎng)絡的魯棒性和抓取判別精確性。趙德安等利用YOLO神經(jīng)網(wǎng)絡實現(xiàn)了復雜環(huán)境下蘋果的識別。閆建偉等采用帶有殘差模塊的YOLO神經(jīng)網(wǎng)絡對刺梨果實進行了識別。以上處理流程及方法均是根據(jù)機器人完成不同任務時設計的，當應用于復雜目標分揀任務時適用性受限。

本文設計了一種基于深度學習的智能機器人分揀系統(tǒng)。搭建機器人視覺系統(tǒng)后，利用手眼標定方法確定機器人和相機的映射關系：利用機器人視覺系統(tǒng)采集并增強目標數(shù)據(jù)集，利用Labellmg完成目標類別的標注，訓練獲取YOLOv5網(wǎng)絡模型參數(shù)：結(jié)合變換矩陣，將網(wǎng)絡模型檢測到的目標像素坐標信息轉(zhuǎn)換至實際物理坐標；根據(jù)目標的類別，調(diào)用DobotMagicianPython接口，控制機械臂移動至該位置進行抓取操作。利用深度網(wǎng)絡檢測目標信息，可以避免人工設置特征的局限性，提高系統(tǒng)的魯棒性，實驗驗證了本文方法的有效性。

2本文系統(tǒng)

機器人分揀物料除了需要獲得物料類別信息之外，還需要識別出物料的位姿信息。本系統(tǒng)所處理的物料為對稱目標，因而需要識別抓取的位置信息。本文設計的智能機器人分揀系統(tǒng)工作流程為：通過2D相機對無序放置的物料實時拍照采集圖像，在上位機中經(jīng)過深度網(wǎng)絡處理后獲取物料類別和位置信息，發(fā)送給機器人進行智能分揀。智能機器人分揀系統(tǒng)主要包含硬件系統(tǒng)和軟件平臺兩大部分。

2.1硬件

本系統(tǒng)主要由機器人、大恒工業(yè)相機及鏡頭、環(huán)形光源、相機支架等組成，設備安裝情況如圖1所示。

將相機固定于相機支架上，此時相機相對于機器人是眼在手外的形式。由于目標在平臺上的位置是隨機的，因而相機拍照并檢測出位置信息后轉(zhuǎn)換為世界坐標，進而告知機器人需要移動的位置。本系統(tǒng)采用的機器人是Dobot Magician，其由底座、大臂、小臂、末端工具等組成。

2.2手眼標定

機器人視覺系統(tǒng)獲取的是目標的像素坐標，需要將像素坐標轉(zhuǎn)換為世界坐標，引導機器人進行移動。由于工件所處的平臺平面是固定的，因而本系統(tǒng)采用N點標定方法建立機器人和相機之間的轉(zhuǎn)換關系。N點標定的主要原理為已知N個點的圖像坐標以及對應的機械坐標，根據(jù)其獲取手眼對應的轉(zhuǎn)換矩陣，操作步驟如下。

首先，將標定板放置于相機視野之內(nèi)，獲取標定板的圖像，建立特征模板并利用模板匹配獲取標定板特征點像素坐標，選取9個特征點，記錄為（x，y）；其次，移動Dobot機械臂至上述九個點，記錄此時機械手末端的笛卡爾坐標，記為（x′，y′）；最后，將兩組坐標一一對應，調(diào)用Opencv中的estimateAffine2D函數(shù)計算手眼變換矩陣。獲取變換矩陣之后，對實時檢測到的工件位置轉(zhuǎn)換至機械手坐標進行抓取。

2.3深度網(wǎng)絡模型

2.3.1數(shù)據(jù)集制作

利用相機采集不同背景、不同光照條件下的各類目標圖像，同時考慮增加不同視角下目標圖像數(shù)據(jù)集。利用Labellmg等標記軟件實現(xiàn)不同目標的標注，獲取目標處于圖像中的位置及種類信息。

采用Mosaic數(shù)據(jù)增強方法對不同目標樣本數(shù)據(jù)集進行擴充，主要手段包含信息丟棄（隨機擦除、Cutout，Hide and Seek和MixUp手段）、空間轉(zhuǎn)換（主要有隨機縮放、裁剪、翻轉(zhuǎn)、旋轉(zhuǎn)任意角度）、顏色扭曲（改變亮度、飽和度、對比度和噪聲）。

2.3.2網(wǎng)絡模型

本文采用的網(wǎng)絡模型為YOLOv5模型，網(wǎng)絡架構主要由Backbone，Neck和Head等部分組成。

Backbone部分主要由Focus模塊和CSP模塊組成，F(xiàn)ocus模塊作用是對輸入圖像進行切片操作，將通道擴大了4倍后卷積得到下采樣圖，而CSP模塊可以大大增強深度網(wǎng)絡學習性能的同時大幅減少計算量。Neck部分包含F(xiàn)PN模塊和PAN模塊，通過將經(jīng)典的FPN層與自下而上的特征金字塔結(jié)合，實現(xiàn)了高層語義特征與底層位置特征相融合，使網(wǎng)絡能夠提取更加豐富的特征。網(wǎng)絡的Head部分由三個尺度的檢測層組成，輸出結(jié)果包含目標的類別、得分以及目標框的位置信息。最終輸出的位置信息經(jīng)手眼矩陣轉(zhuǎn)換后可傳輸至機器人實現(xiàn)移動。

3實驗

本系統(tǒng)使用的相機是大恒相機，因此，首先安裝大恒相機sdk的gxipy接口，建立相機和上位機的通信。

利用Python import調(diào)用Dobot機械臂動態(tài)鏈接庫DobotDll.dll.語句為import Dobot Dll Type as dType;利用dType.Set PTP Jump Params語句設置機械臂PTP運動模式參數(shù)，即設置門型運動時抬升高度和最大高度；通過dType.SetEndEffectorParams函數(shù)設置機械臂末端為吸盤；通過dType.SetPTPCmd語句設置機械臂初始位姿。采用Pytorch框架搭建YOLOv5模型，最終位置信息通過dType.SetPTPCmd語句傳輸至機器人。實驗中采用圓柱物塊表面粘貼不同目標圖片模擬待處理物料目標，分揀結(jié)果如表1所列。

由表1可知，本系統(tǒng)的分揀正確率都在98%以上，平均耗時1.5s。

4結(jié)束語

本文設計了基于視覺引導的機器人物料分揀系統(tǒng)。利用N點標定方法實現(xiàn)機械手和相機之間的對應轉(zhuǎn)換關系。面對復雜工業(yè)場景，尤其是光照變化、物料隨機位置，部分遮擋等情況，利用Pytorch框架構建YOLOv5模型來處理。利用相機獲取物料類別信息后，將目標位置信息轉(zhuǎn)換為物理世界坐標進行分揀。實驗驗證了本文系統(tǒng)的有效性。

作者簡介：

張可抒（1996—），本科，助理工程師，研究方向：電氣潮流控制分析、公共管理、建設項目投資估算.設計方案技術經(jīng)濟論證和優(yōu)化、建設項目財務評價和經(jīng)濟評價等。