一種基于工業(yè)機器人的三維視覺檢測系統(tǒng)

金路, 張大偉， 梁金華

(上海航天精密機械研究所，上海 201600)

一種基于工業(yè)機器人的三維視覺檢測系統(tǒng)

金路, 張大偉， 梁金華

(上海航天精密機械研究所，上海 201600)

檢測技術(shù)是現(xiàn)代工業(yè)的基礎(chǔ)技術(shù)之一，隨著工業(yè)制造技術(shù)和加工工藝的提高和改進，對自動化程度、檢測內(nèi)容、檢測效率和精度提出了更高的要求，傳統(tǒng)的檢測工具已經(jīng)無法滿足現(xiàn)代工業(yè)的發(fā)展需求。提出了一種基于工業(yè)機器人的三維視覺檢測系統(tǒng)，具備較強的柔性，能夠滿足不同檢測內(nèi)容的需求，是一種新型檢測產(chǎn)品方向，代表了未來測量系統(tǒng)的發(fā)展趨勢。

三維視覺； 視覺檢測； 工業(yè)機器人

0 引言

現(xiàn)代工業(yè)生產(chǎn)中，產(chǎn)品的檢測要求一般是多樣性的，如錯漏裝的檢測，關(guān)鍵點的形狀公差，以及位置度的測量等。機器人攜帶視覺傳感器的檢測方式以其非接觸、自動化的特點被普遍采用,國內(nèi)外對此也有相關(guān)的應(yīng)用研究,包括整體的構(gòu)架,溫度補償,控制算法等[1～4]。但是錯漏裝檢測和形位公差檢測屬于不同類型的檢測，在視覺檢測領(lǐng)域，對錯漏裝的檢測通常通過平面圖像處理的方法進行錯漏、漏裝的判別，而對形位公差的檢測則通過工件三維點云數(shù)據(jù)的處理和計算進行。目前主流的檢測方式都不能很好的處理這種復(fù)雜的檢測要求，諸如：機器人攜帶工業(yè)相機的方式，由于相機不能得到三維數(shù)據(jù)，僅能進行錯漏裝的檢測，對關(guān)鍵點的形位公差無能為力；機器人攜帶線激光器掃描的方式，能有效檢測形位公差，卻很檢測裝配正確與否；機器人同時攜帶線激光器和工業(yè)相機的方式能夠同時進行形位公差和錯漏裝的檢測，但是機器人末端攜帶兩個傳感器更容易帶來干涉，傳感器變位時會造成檢測精度的損失，且線激光器依靠機器人提供第三軸坐標(biāo)的方式使手眼標(biāo)定非常復(fù)雜并且會造成所采集數(shù)據(jù)的精度損失；雙目視覺的檢測方式往往需要依靠外部設(shè)備(如激光跟蹤儀)，或者在被測物體表面貼標(biāo)記點，來完成系統(tǒng)的全局標(biāo)定，前者會增加系統(tǒng)對應(yīng)用場合的限制，后者會給檢測造成不便，且雙目視覺的檢測方式成本會很高。

本文針對現(xiàn)有視覺檢測技術(shù)進行零部件裝配和形位公差檢測時的靈活性差、精度不佳、實現(xiàn)復(fù)雜、成本高的現(xiàn)狀，提出了一種基于工業(yè)機器人的三維視覺檢測系統(tǒng)，用于檢測零部件錯漏裝及關(guān)鍵點的形位公差。

1 工作原理

系統(tǒng)構(gòu)成示意圖，如圖1所示。

圖1 系統(tǒng)構(gòu)成示意圖

由面激光傳感器、機器人系統(tǒng)、工控機、電控安防系統(tǒng)組成。

面激光傳感器安裝在機器人本體末端，由機器人本體攜帶對機器人本體運動范圍內(nèi)的被測位置采集工件表面三維數(shù)據(jù)。面激光器在采集工件表面三維數(shù)據(jù)的同時還能采集灰度圖像數(shù)據(jù)。采集所得的工件表面三維數(shù)據(jù)可用于工件關(guān)鍵點形位公差檢測，采集所得的灰度圖像數(shù)據(jù)可用于工件錯漏裝檢測。

機器人系統(tǒng)包括機器人本體、機器人控制柜、機器人示教器。機器人本體是核心運動機構(gòu)，用于帶動面激光傳感器以到達工件被檢測位置；機器人控制柜用于機器人本體的伺服控制，機器人控制柜和工控機連接用于傳輸機器人位姿數(shù)據(jù)；機器人示教器用于機器人編程調(diào)試。

工控機連接面激光器、機器人控制柜，用于檢測過程的控制及檢測數(shù)據(jù)的處理。所述工控機根據(jù)檢測計劃啟動檢測過程，控制機器人運動到工件被測位置，通過面激光器采集被測工件表面三維數(shù)據(jù)及灰度圖像數(shù)據(jù)，對采集到的數(shù)據(jù)進行處理和分析得到檢測結(jié)果。工控機在PLC給出停止檢測信號時終止檢測過程。

系統(tǒng)還包括工裝夾具，用于夾持被測工件，以及電控安防系統(tǒng)。電控安防系統(tǒng)包括PLC、安全設(shè)備。PLC用于機器人系統(tǒng)、工控機、工裝夾具的安全設(shè)備(安全光柵、安全門)的協(xié)調(diào)控制，當(dāng)安全設(shè)備沒有被觸發(fā)并且工件裝夾正常的情況下才能允許工控機啟動檢測過程，如果在檢測過程中安全設(shè)備被觸發(fā)則強制停止正在正在運行的機器人，并告知工控機結(jié)束檢測過程。安全設(shè)備包括安全光柵、安全門，安全光柵用于人員闖入的檢測，安全門主要留與檢修用。安全設(shè)備還包括安全圍欄，為機器人劃分出一片可靠的安全活動空間。

系統(tǒng)軟件安裝在工控機上，具體包括：通信及控制部分，數(shù)據(jù)處理部分，顯示存儲及統(tǒng)計分析部分。系統(tǒng)軟件模塊圖，如圖2所示。

圖2 系統(tǒng)軟件模塊圖

通信及控制部分完成和面激光器、機器人的通信，通過面激光器采集灰度圖像數(shù)據(jù)和三維位置數(shù)據(jù)，并記錄面激光器拍攝時機器人的位置和姿態(tài)信息。同時還完成整個檢測過程的協(xié)調(diào)控制，根據(jù)檢測計劃依次控制機器人到達被測位置，在機器人到達被測位置后觸發(fā)面激光器采集被測位置數(shù)據(jù)。這部分軟件還預(yù)留了和PLC的接口以方便系統(tǒng)的工業(yè)現(xiàn)場應(yīng)用。系統(tǒng)網(wǎng)絡(luò)連接圖，如圖3所示。工控機通過以太網(wǎng)方式和機器人控制柜、面激光器、PLC通信，PLC以IO直連的方式和安全設(shè)備(安全光柵、安全門)、工裝夾具、機器人通信。

圖3 系統(tǒng)網(wǎng)絡(luò)連接圖

數(shù)據(jù)處理部分包括標(biāo)定模塊、坐標(biāo)轉(zhuǎn)換模塊、計算模塊。標(biāo)定模塊計算面激光器坐標(biāo)系相對于機器人末端工具坐標(biāo)系的旋轉(zhuǎn)平移矩陣并完成被測零部件基準的建立；坐標(biāo)轉(zhuǎn)換模塊根據(jù)標(biāo)定模塊所求得旋轉(zhuǎn)和平移矩陣、機器人位置和姿態(tài)信息、所建立的基準坐標(biāo)對面激光器采集到的三維位置數(shù)據(jù)進行坐標(biāo)變換，將其從面激光器坐標(biāo)系下變換到被測零部件坐標(biāo)系下。計算模塊進一步包括二維圖像處理模塊和三維圖形處理模塊。所二維圖像處理模塊主要通過特征識別的方式進行錯漏裝的檢測，三維圖形處理模塊主要通過點云計算得到形位公差信息。

顯示存儲及統(tǒng)計分析部分負責(zé)對檢測結(jié)果進行統(tǒng)計分析，并將檢測結(jié)果上傳至企業(yè)數(shù)據(jù)庫并通過顯示器實時直觀顯示測量結(jié)果，還可以根據(jù)用戶需求定制檢測報表。

該系統(tǒng)軟件采用模塊化的思想進行設(shè)計，對常用功能包裝成不同的模塊，用戶可根據(jù)實際的檢測要求組合調(diào)用不同的模塊來完成檢測。對于三維形位公差和裝配的檢測，把零部件的常用檢測按照特征分類。用戶可根據(jù)自己的需要調(diào)用不同模塊，完成檢測。

2 系統(tǒng)工作流程

系統(tǒng)的具體工作流程為：

2.1 系統(tǒng)標(biāo)定

用于確定面激光器坐標(biāo)系和機器人末端工具坐標(biāo)系的相對關(guān)系，具體方法為：

(1)

(2)

(3)

3) 重復(fù)A、B過程多次，得到多個類似(3)式的方程，求解方程組可得到Rt；

4) 多次改變機器人位置和姿態(tài)，每次測量并擬合球心，并記錄機器人位置姿態(tài)得到式(4)。

(4)

至此，激光器所采集到的三維數(shù)據(jù)可以轉(zhuǎn)換至機器人世界坐標(biāo)系下。

2.2 機器人帶動面激光器至被測工件基準位置，面激光器拍攝基準數(shù)據(jù)，工控機根據(jù)所采集數(shù)據(jù)建立工件基準。

1) 工控機控制機器人運動到第一個被測位置，隨后面激光器采集被測工件表面的三維數(shù)據(jù)及灰度圖像，工控機同時根據(jù)機器人當(dāng)前的位置和姿態(tài)信息，將采集得到的三維數(shù)據(jù)變換到工件基準坐標(biāo)系下。

2) 第一個位置掃描完成之后，工控機控制機器人掃描第二個被測位置，并繼續(xù)將采集得到的三維數(shù)據(jù)變換到工件基準坐標(biāo)系下，如此循環(huán)，直至完成所檢測數(shù)據(jù)采集任務(wù)。

3) 完成檢測數(shù)據(jù)采集后，工控機對工件基準坐標(biāo)系下的數(shù)據(jù)進行處理，計算關(guān)鍵點的各種形位公差，工控機還對灰度圖像數(shù)據(jù)進行處理，通過特征提取、識別的方法進行錯漏裝的檢測，給出裝配是否合格的結(jié)果。

4) 數(shù)據(jù)處理完成后，檢測結(jié)果將被上傳至數(shù)據(jù)庫存儲，并生成圖形化的統(tǒng)計報表。

3 應(yīng)用案例

本文根據(jù)某汽車產(chǎn)品的實際檢測案例來分析該系統(tǒng)地具體實施流程和效果。根據(jù)實際項目的檢測要求，制定檢測計劃。檢測計劃的制定首先根據(jù)檢測要求將被測關(guān)鍵點輸產(chǎn)品數(shù)模中，然后機器人仿真確認所有被測關(guān)鍵點及卡口都能被檢測到，接著根據(jù)機器人仿真結(jié)果進行離線編程并根據(jù)實際產(chǎn)品調(diào)整優(yōu)化機器人路徑并編寫模塊化檢測程序。本實施例的工作流程，如圖4所示。

圖4 系統(tǒng)工作流程圖

針對本實施例中某些僅需要檢測卡扣錯漏裝的被測位置，面激光僅采集灰度圖像數(shù)據(jù)，某些僅需要檢測形位公差的被測位置，面積廣僅采集工件表面三維數(shù)據(jù)，對于錯漏裝及形位公差都需要檢測的被測位置，面激光同時采集灰度圖像數(shù)據(jù)和工件表面三維數(shù)據(jù)，下述工作流程中不做區(qū)別，均描述為面激光器采集數(shù)據(jù)。

1) 工人裝夾產(chǎn)品，裝夾完畢后退出機器人工作區(qū)域。

2) PLC檢查系統(tǒng)狀態(tài)，如安全門是否正常關(guān)閉、工件有無裝夾、安全光幕有無異物遮擋等，如果所有的安全條件都滿足，則PLC發(fā)信號給工控機，通知工控機啟動檢測過程。

3) 機器人帶動面激光器拍攝標(biāo)準球，確定面激光器坐標(biāo)系和機器人末端工具坐標(biāo)系的相對關(guān)系，使激光器所采集到的三維數(shù)據(jù)可以轉(zhuǎn)換至機器人世界坐標(biāo)系下，系統(tǒng)標(biāo)定流程，如圖5所示。

圖5 系統(tǒng)標(biāo)定流程圖

4) 機器人帶動面激光器至被測工件基準位置，面激光器拍攝基準數(shù)據(jù)，工控機根據(jù)所采集數(shù)據(jù)建立工件基準。

5) 工控機控制機器人運動到第一個被測位置，隨后面激光器采集被測工件表面的三維數(shù)據(jù)及灰度圖像，工控機同時根據(jù)機器人當(dāng)前的位置和姿態(tài)信息，將采集得到的三維數(shù)據(jù)變換到工件基準坐標(biāo)系下。

6) 第一個位置掃描完成之后，工控機控制機器人掃描第二個被測位置，并繼續(xù)將采集得到的三維數(shù)據(jù)變換到工件基準坐標(biāo)系下，如此循環(huán)，直至完成所檢測數(shù)據(jù)采集任務(wù)。

7) 完成檢測數(shù)據(jù)采集后，工控機對工件基準坐標(biāo)系下的數(shù)據(jù)進行處理，計算關(guān)鍵點的各種形位公差，工控機還對灰度圖像數(shù)據(jù)進行處理，通過特征提取、識別的方法進行錯漏裝的檢測，給出裝配是否合格的結(jié)果。鑒于本實施例中每種卡口都有一個圓形孔，且大小不同，通過閾值分割發(fā)提取該圓孔的輪廓并根據(jù)輪廓大小特征進行卡口的識別。

8) 數(shù)據(jù)處理完成后，檢測結(jié)果將被上傳至數(shù)據(jù)庫存儲，并生成圖形化的統(tǒng)計報表。

9) 在工控機進行數(shù)據(jù)數(shù)據(jù)、存儲、統(tǒng)計分析的同時工人卸下完成檢測的產(chǎn)品，并裝夾下一個需要檢測的產(chǎn)品，裝夾完成之后開始下一輪的檢測，如此循環(huán),實現(xiàn)產(chǎn)品100%的生產(chǎn)在線測量。

圖6 測量機器人系統(tǒng)

4 總結(jié)

本實施例可在120 s的時間內(nèi)完成一個工件的所有檢測要求，且錯漏裝檢測無差錯，形位公差的檢測精度如圖7所示,98%的測量精度在0.2 mm以內(nèi)。

由于面激光可以在機器人不運動的情況下一次性獲取測量范圍內(nèi)的工件表面三維數(shù)據(jù)和灰度圖像數(shù)據(jù)，且不需要額外的輔助設(shè)備和標(biāo)記點，系統(tǒng)可方便簡單地實現(xiàn)汽車部件裝配和形位公差的檢測，成本低，精度較高。

圖7 測量精度的分析圖

系統(tǒng)可擴展性強，柔性強，可經(jīng)過簡單的模塊編程及機器人路徑編程用于其它產(chǎn)品的檢測。

系統(tǒng)可實現(xiàn)產(chǎn)品的在線檢測，同時可將測量結(jié)果上傳至車間網(wǎng)絡(luò)甚至工廠網(wǎng)絡(luò)，方便信息化管理。

[1] Soren Larsson, J.A.P. Kjellander. Motion control and data capturing for laser scanning with an industrial robot[J]. Robotics and Autonomous Systems, 2006，54: 453-460.

[2] Gong C H, Yuan J X, Ni J. Nongeometric error identification and compensation for robotic system by inverse calibration[J]. International Journal of Machine Tools & Manufacture, 2000, 40(14): 2119-2137.

[3] Eastwood S, Webb P. Compensation of thermal deformation of a hybrid parallel kinematic machine[J]. Robotics and Computer Integrated Manufacturing, 2009, 25(1): 81-90.

[4] 周學(xué)才，張啟先.距離誤差模型在機器人精度研究中的應(yīng)用[J]. 機器人，1995，17(1)：1-6.

3D Machine Vision Measurement System Based on Industrial Robot

Jin Lu, Zhang Dawen, Liang Jinhua

(Shanghai Aerospace Precision Machinery Research Institute, Shanghai 201600, China)

Measurement technology is one of the foundations of modern industrial. The improvement of manufacturing technology needs more automotive, efficient, accurate and intelligent measurement. The traditional measurement tools can’t meet the new requirements. This paper presents a 3D Visual measurement system based on industrial robot. The system has strong flexibility, and can measure different features required. It is a new developing direction for measurement, and represents the future trend of measurement.

3D machine vision; Machine vision measurement; Industrial robot

金路(1987-)，男，學(xué)士，高級工程師，研究方向：控制技術(shù)與儀器。 張大偉(1983-)，男，工程師，研究方向：型號管理。 梁金華(1977-)，男，學(xué)士，高級工程師，研究方向：機械制造。

1007-757X(2017)08-0036-04

TP311

A

2017.01.24)