面向無序物料分揀的工業(yè)機器人視覺識別系統(tǒng)研究方法

楊俊，楊文科，冉貴銀，丁德勝，楊超，郭松梅

（重慶工程學院，重慶，400056）

0 引言

隨著《中國制造2025》《德國“工業(yè)4.0”》等概念的提出，機器學習、大數(shù)據(jù)等人工智能技術的涌現(xiàn)，推動制造業(yè)向數(shù)字化和智能化的方向發(fā)展。近年來我國勞動力成本急劇上升，生活水平的升高使得市場的需求量急劇提升，若還是采用人工操作，不僅效率低，而且工作質(zhì)量難以保證，從而影響企業(yè)的競爭力[1]。在當前階段工業(yè)機器人主要應用于事先設定運動軌跡的場景，替代了人工通過機械勞作完成的任務，但真實場景中還存在大量隨環(huán)境變化隨之改變運動軌跡的任務，工業(yè)機器人就需要具備面對環(huán)境不確定性時提供解決方案的能力。所以提出了基于機器人視覺的工業(yè)機器人無序物料分揀系統(tǒng)設計。

1 研究方案

在一些不適合人工作業(yè)的環(huán)境或者通過人工視覺難以觀察的場合下，通常會用機器視覺來代替人工視覺，是工業(yè)機器人工作時的重要技術之一。機器視覺技術是利用攝像機對被測物體進行圖像采集、分析、處理的一門綜合性技術，它主要是通過使用光學系統(tǒng)、工業(yè)數(shù)字相機和圖像處理工具，來模擬人的視覺能力，并作出相應的決策，最終通過指揮某種特定的裝置執(zhí)行這些決策。運用了圖像處理、機械工程技術、控制、電光源照明、光學成像、傳感器和計算機等眾多技術，使機器視覺系統(tǒng)具有檢測精度高、響應速度快、實時性好，能提高生產(chǎn)的柔性和自動化的能力，從而提高了工作效率、精確度，降低了成本。

在當前的工業(yè)生產(chǎn)中對機器人的運用都是通過提前示教目標點，編寫好機器人的運行軌跡，然后對程序進行自動的循環(huán)運行，并且機器人的位姿在出廠時就已經(jīng)有了固定的姿態(tài)，各個關節(jié)都有活動范圍，所以機器人只能實現(xiàn)特定的工作場合和指定的運動，對于被測物大小、形狀、材料、位置等參數(shù)發(fā)生變化的任務時，是難以很好的完成目標任務。為了使工業(yè)機器人能夠更好地適應工業(yè)環(huán)境，就需要使工業(yè)機器人在工業(yè)生產(chǎn)的柔性化、自動化、智能化得到有效地提高。在工業(yè)機器人系統(tǒng)上加入機器人的“眼睛”，通過機器人視覺技術，使機器人具備視覺感知能力，以適應復雜的工業(yè)環(huán)境[2]。對于機器視覺技術，世界各國都在應用創(chuàng)新，相較于國外發(fā)展的技術，國內(nèi)的機器視覺發(fā)展起步較晚，現(xiàn)在正處于全盛發(fā)展期，當機器視覺可以成功地應用在工業(yè)領域時，將大幅度的提高產(chǎn)品的質(zhì)量和生產(chǎn)效率。對此，我們針對該項目的背景、國內(nèi)外研究現(xiàn)狀進行總體的方案設計；由雙目相機標定、結構光建立物料表面三維重構；然后對目標區(qū)域進行一次、二次分割；將點云特征進行提取、描述、匹配，通過機器人運動學求解完成機器人分揀實驗；最后得到實驗結果和對結果進行分析。具體實施路線如圖1 所示。

圖1 技術路線圖

2 總體方案設計

根據(jù)工業(yè)需求分析，由于加工環(huán)境、人為等因素從而導致物料無序擺放，降低了工作效率和提升了工作難度。為解決這種問題，本項目選擇散亂擺放的不同規(guī)格的螺釘作為分揀對象。將小批量不同規(guī)格的螺釘存放在不同原料框中。本課題將選擇雙目相機、投影儀、電腦、光源、工業(yè)機器人、投影儀搭建硬件系統(tǒng)。

首先通過視覺系統(tǒng)采集物料無序擺放的圖像，其次通過深度學習算法得到圖像濾波，以此分割出目標拾取區(qū)域，然后對目標拾取區(qū)域進行三維點云重構并與標準模型點云配準，對物料進行特征提取及其描述達到對位姿估計，通過雙目相機以及手眼對物料進行標定，確定物料分揀姿態(tài)，由機器人的驅(qū)動方式、通訊方式對機器人分揀通訊設計，最后通過機器人運動學設計機器人運動軌跡程序。本課題總體方案設計如圖2 所示。

3 項目技術要求

■3.1 雙目相機定位原理

雙目相機的視覺差原理是運用兩臺相機在不同位置下對被測物的三維空間位置進行的偏差計算。雙目視覺的研究則需要建立在相機成像模型的基礎之上。雙目相機的成像模型為針孔成像模型，是通過針孔投影將光束從P 位置透過光心投射到成像平面，通過成像平面與三維空間中物像形成的數(shù)學關系計算被測物的空間位置?？臻g中的一點q 與投影面形成的對應點p 成倒立關系，針孔成像如圖3 所示。

圖3 針孔成像模型圖

雙目相機獲取目標的位置信息，是利用雙目相機的雙目視覺來模擬人眼從兩個不同的方向觀察目標物體，根據(jù)獲得的兩幅圖像由視覺差計算出物體的三維位置，本項目所采用的雙目視覺模型采用左右相機的光軸平行安裝于同一直線上。本方法將左相機作為主相機，即相機坐標系對應為左相機的相機坐標系[3]。如圖4 所示將左右相機固定在同一個平面上，相機焦距為f，基線距離為B。物體在其空間中的空間坐標為(Xc,Yc,Zc)，左右相機對物體進行拍照并在左右相機中顯示出成像點，左右相機的成像點位置分別為Pleft= (X left,Ylef)、Pright=(Xright,Yright)，其中Yleft=Yright=Y。由相似三角形原理并運用公式1 可計算出物體在左右相機中的成像點位置。

圖4 雙目視覺成像原理圖

物體顯示在左右相機中成像點X 方向的偏差為D，即：D=Xleft-Xright。當位置物體的坐標未知時，可以根據(jù)左右相機中的成像點位置運用公式2 倒推出物體的實際位置。

■3.2 點云數(shù)據(jù)獲取與三維重建

通過雙目相機可以實現(xiàn)對現(xiàn)實物體表面通過三維掃描設備進行數(shù)字化數(shù)據(jù)采集，點云數(shù)據(jù)獲取是通過各種測量方法采集被測物的表面信息，將被測物空間幾何結構轉(zhuǎn)化為點位置信息，即對物體進行數(shù)字化處理。點云數(shù)據(jù)的獲取主要分為接觸式測量與非接觸式測量，用測量設備直接接觸待采集數(shù)據(jù)的被測物物體模型，得到物體幾何特性的數(shù)字化數(shù)據(jù)的方法統(tǒng)稱為接觸式測量，非接觸式測量是在測量過程中無需與被測物體直接接觸，通過光學、聲學、電磁學等原理對物體表面信息進行獲取。本項目主要通過雙目相機和結構光標定，屬于非接觸式測量。

目前，利用點云數(shù)據(jù)來做三維物體檢測的算法，主要使用三種方法對數(shù)據(jù)進行預處理。第一，體像素法，通過使點云數(shù)據(jù)轉(zhuǎn)化為空間的體像素，用三維卷積法實現(xiàn)空間中的特征提?。坏诙?，點云直接處理法，直接對空間的點云數(shù)據(jù)進行處理，通過空間變化對點云整體提取出全體數(shù)據(jù)特征；第三，多視角法，將點云數(shù)據(jù)從各個角度投影獲取多個角度的特征，由池化過程聚合成為物體三維點云特征[4]。

根據(jù)不同的分布特征，可以將點云大致分為以下幾類，其分布形狀如圖5 所示。

圖5 點云成像類型

■3.3 位姿估計

在點云精準匹配中所需要用到的算法是ICP 算法，該算法的基本思想是計算源點云和目標點云之間的旋轉(zhuǎn)平移矩陣，對該過程重復進行，一直到迭代的目標函數(shù)小于給定的范圍或達到預設的次數(shù)，才會結束該算法。該項目需要提高算法的運行精度和陷入局部最優(yōu)解，將以4PCS 粗配準后得到的轉(zhuǎn)換關系作為ICP 算法的匹配矩陣進行配準。

項目旨在尋找點云中任意一點的最近鄰點，并形成對應點對；同時，需要計算出每個點的法向量，并計算對應點之間的方向向量的夾角；設定方向向量之間夾角的范圍，如果得到的夾角不滿足，則取消該對應點對；計算對應點對之間的旋轉(zhuǎn)矩陣R和平移矩陣T，使得誤差函數(shù)E(R,T）最小[5]。

根據(jù)上述給定的公式，我們可以計算出平移矩陣T 和旋轉(zhuǎn)矩陣R，將它們運用在模板點云中，從而計算出一個新的點云位姿。接著，我們需要計算該位姿下的點與目標點云中點的平均距離。如果平均距離小于了預先設定的范圍或者是達到了預先設定的迭代次數(shù)，那么迭代結束，輸出最后得到的旋轉(zhuǎn)平移矩陣。否則就需要將新的模板點云位姿來作為配初始條件重復執(zhí)行上述的步驟，直到滿足結束條件[5]。

■3.4 數(shù)據(jù)庫建立

為了提高分揀系統(tǒng)的實時性和準確性，需要建立離線物料位姿數(shù)據(jù)庫和明確在線目標抓取流程。在線抓取過程中，確定目標區(qū)域排序后查找數(shù)據(jù)庫中是否存在相同的序列，如果存在，調(diào)取數(shù)據(jù)庫中數(shù)據(jù)，完成機器人抓取；如果不存在，機器人自動計算出離線物料位姿的序列并存入數(shù)據(jù)庫中，然后再調(diào)取數(shù)據(jù)庫中數(shù)據(jù)，完成機器人抓取。為了直接從數(shù)據(jù)庫中獲取各個位置的拾取矩陣，我們可以建立離線物料位姿數(shù)據(jù)庫，從而有效的提高機器人的工作效率和準確率。為了獲取目標區(qū)域在雙目相機視野內(nèi)不同位置下的點云，我們采用了雙目重建技術，提取了區(qū)域點云與標準模板點云的特征，接著使用4PCS 算法對區(qū)域點云和模板點云進行粗配準，根據(jù)4PCS 粗配準進行ICP 算法進行精匹配，得到模板點云的轉(zhuǎn)換關系和區(qū)域點云。然后根據(jù)機器人基準坐標系的轉(zhuǎn)換關系與機器人視覺系統(tǒng)坐標系，使機械臂到目標區(qū)域拾取目標物，當機械臂可以正確拾取目標物，那么將該目標的位置坐標和轉(zhuǎn)換矩陣添加到數(shù)據(jù)庫中，若未能拾取到目標物，可通過手動示教的方法調(diào)整機器人的位姿和姿態(tài)使其讓機器人能夠準確地拾取到工件，同樣也會將調(diào)整后的轉(zhuǎn)換矩陣與位置坐標添加到數(shù)據(jù)庫中。在線物料抓取流程如圖6 所示。

■3.5 工業(yè)機器人的末端執(zhí)行器設計

末端執(zhí)行器是裝在工業(yè)機器人末端法蘭盤上直接抓握工件或執(zhí)行作業(yè)的部件，具有夾持、運輸、放置工件到某一個位置的功能。通常會根據(jù)特定的場景和所需要實現(xiàn)的功能選擇機器人的末端執(zhí)行器，使機器人能適應空間內(nèi)絕大部分位置的抓取。在沒有適合的執(zhí)行工具時，為滿足現(xiàn)場作業(yè)環(huán)境的要求，機械臂末端執(zhí)行器的設計就需要根據(jù)特定的結構和尺寸進行定制，并且設計的末端執(zhí)行器也要具有通用性和實用性等特點，能使它在不同型號的機器人上也能契合。此項目采用小型LR Mate 200ID/4s 機械臂，該機械臂是一個6 自由度的機器人，由三個旋轉(zhuǎn)關節(jié)和三個移動關節(jié)組成。它可達到的工作半徑為550mm，手腕部可以搬動4kg的重物，機器的質(zhì)量較輕重20kg，重復定位的精度高可達±0.02mm。常用末端執(zhí)行器為2、3、4 指的手爪。2 指適用于抓取片體、鉤環(huán)結構體；3 指可以抓取球體、塊體物件；4 指適用于抓取柱狀物件、條形物件。本項目選擇的末端執(zhí)行器為可拆卸式手爪，以便根據(jù)現(xiàn)場環(huán)境進行相應的選擇，使得更好地完成該項目的抓取任務。

4 總結

我國是一個制造業(yè)大國，在當今自動化、智能化不斷發(fā)展的背景下，制造業(yè)仍是我國國民經(jīng)濟發(fā)展的主體，以往在工件的搬運、拾取需要大量人工在生產(chǎn)線上完成，這不僅是繁忙復雜的工作，并且?guī)в幸欢ǖ奈ｋU性。對此，需要將自動化融入設備生產(chǎn)中，使生產(chǎn)過程中能夠更快更安全地執(zhí)行。針對此現(xiàn)象，本研究小組利用機器人視覺設計了無序物料的抓取和分揀的系統(tǒng)，本系統(tǒng)運用雙目相機作為機器人的“眼睛”獲取物料在空間的位置，根據(jù)三維重建獲取物料的點云數(shù)據(jù)，將每一個點云數(shù)據(jù)存在數(shù)據(jù)庫中，運用ICP 算法計算源點云和目標點云之間的旋轉(zhuǎn)平移矩陣估算位姿，運用機器人安裝特定的末端執(zhí)行器實現(xiàn)物料分揀工作。