機(jī)器視覺系統(tǒng)應(yīng)用中幾點(diǎn)體會(huì)

陳煜 曹錦江 周湛 陳浩冉 戴燁 胡嚴(yán)斌

摘? 要：運(yùn)用視覺識(shí)別技術(shù)能引導(dǎo)機(jī)器人實(shí)現(xiàn)工件自動(dòng)識(shí)別并進(jìn)行分揀搬運(yùn)。本課題研究基于索尼相機(jī)為硬件基礎(chǔ)，以FANUC機(jī)器人為搬運(yùn)分揀平臺(tái)，內(nèi)置視覺識(shí)別軟件，搭建了基于視覺識(shí)別技術(shù)在FANUC機(jī)器人上的自動(dòng)分揀系統(tǒng)。本文主要針對(duì)在系統(tǒng)搭建過(guò)程中遇到的問(wèn)題進(jìn)行分析，運(yùn)用本實(shí)驗(yàn)研究結(jié)果給出解決方法，并提出參考意見。

關(guān)鍵詞：工業(yè)機(jī)器人? 機(jī)器視覺? 分揀系統(tǒng)? 標(biāo)定

中圖分類號(hào)：TP391.41? ? ? ? ? ? ? ? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：1674-098X（2021）05（b）-0061-05

Some Experience in the Application of Machine Vision System

CHEN Yu? CAO Jinjiang*? ZHOU Zhan? CHEN Haoran DAI Ye? HU Yanbin

（School of Automation， Nanjing Institute of Technology， Nanjing， Jiangsu province， 211167? China）

Abstract： Using visual recognition technology can guide the robot to realize automatic recognition and sorting of workpiece. Based on the hardware of Sony camera， FANUC robot as the sorting platform and built-in visual recognition software， an automatic sorting system based on visual recognition technology on FANUC robot is built. This paper mainly analyzes the problems encountered in the process of building the system， uses the experimental results to give solutions， and puts forward some suggestions.

Key Words： Industrial robot; Machine vision; Sorting system; Calibration

傳統(tǒng)的工業(yè)機(jī)器人能對(duì)固定位置的同一形態(tài)工件進(jìn)行作業(yè)，按照程序設(shè)定的工藝流程進(jìn)行搬運(yùn)或加工。此方法相較于人工作業(yè)大大節(jié)省了時(shí)間和成本，但是一旦工件的位置或形態(tài)出現(xiàn)偏差，就會(huì)導(dǎo)致機(jī)器人抓取失誤，甚至加工失敗。在這樣的背景下，機(jī)器視覺為我們提供了良好的解決方案。通過(guò)事先加裝工業(yè)相機(jī)，對(duì)工件的位置進(jìn)行實(shí)時(shí)監(jiān)控，再配合視覺識(shí)別程序處理相機(jī)圖片，得到實(shí)時(shí)的工件位置，進(jìn)而對(duì)機(jī)器人的抓取或加工進(jìn)行位置補(bǔ)正，從而達(dá)到在預(yù)定范圍內(nèi)的自動(dòng)化作業(yè)要求。

與傳統(tǒng)的機(jī)器分揀相比，加入了視覺識(shí)別的自動(dòng)化作業(yè)能有效地降低工件的擺放要求，降低抓取的失敗率，大幅提高了整個(gè)系統(tǒng)的自動(dòng)化程度。但是加裝了機(jī)器視覺模塊后整個(gè)系統(tǒng)又面臨了一些新的問(wèn)題。

本文主要針對(duì)加裝了視覺識(shí)別模塊的分揀機(jī)器人，在搭建系統(tǒng)的過(guò)程中遇到的難點(diǎn)問(wèn)題進(jìn)行研究與討論，并給出解決方法。

1? 系統(tǒng)組成

基于視覺識(shí)別的FANUC分揀機(jī)器人主要由工業(yè)相機(jī)、FANUC機(jī)器人、氣動(dòng)吸盤、空氣壓縮機(jī)、FANUC機(jī)器人控制裝置等組成。機(jī)器人的抓取動(dòng)作主要通過(guò)空氣壓縮機(jī)提供吸合動(dòng)力，由軟管傳遞到氣動(dòng)吸盤，再由系統(tǒng)控制的電磁閥控制是否吸取工件[1]。

工業(yè)相機(jī)：本次研究選用的是索尼模擬相機(jī)（XC-56），分辨率為640像素×480像素，像素尺寸為7.4μm。相機(jī)的檢測(cè)范圍由相機(jī)的拍照距離，鏡頭焦距，成像單元CCD尺寸決定。有公式：檢測(cè)范圍L≈（拍照距離D-鏡頭焦距f）÷鏡頭焦距f×成像單元CCD尺寸Lc。成像單元CCD尺寸Lc=像素尺寸×分辨率。

工 業(yè)機(jī)器人：選用的是FANUC Mate200iD六軸機(jī)器人。

2? 系統(tǒng)搭建過(guò)程中遇到的問(wèn)題及其解決方法

在系統(tǒng)的搭建過(guò)程中，由于使用的是FANUC機(jī)器人平臺(tái)，其提供了不少的視覺分析及處理程序，大大簡(jiǎn)化了調(diào)試工作，但是在此過(guò)程中也遇到了不少棘手的問(wèn)題，接下來(lái)本文將一一列舉這些問(wèn)題并提出解決方法。

2.1 圖像識(shí)別過(guò)程中陰影的干擾

在進(jìn)行圖像識(shí)別的過(guò)程中，首先進(jìn)行的就是模型的示教，即預(yù)先對(duì)樣板工件進(jìn)行拍照識(shí)別，對(duì)得到的樣板照片進(jìn)行處理，可通過(guò)軟件自動(dòng)框選目標(biāo)工件輪廓或者便于識(shí)別的標(biāo)志性形狀，再輔助以手動(dòng)框選進(jìn)一步優(yōu)化識(shí)別結(jié)果[2]。將此過(guò)程最終得到的工件識(shí)別輪廓存儲(chǔ)為示教模型，以供之后對(duì)所需工件進(jìn)行識(shí)別，如圖1所示。在系統(tǒng)正常工作時(shí)，工 業(yè)相機(jī)首先對(duì)工件進(jìn)行拍照，然后傳遞至控制器內(nèi)進(jìn)行分析處理，將識(shí)別出的結(jié)果與事先已示教的模型進(jìn)行對(duì)比。

但是在某些情況下，由于光照沒有垂直于工件會(huì)使相機(jī)拍攝得到的照片上出現(xiàn)工件產(chǎn)生的不規(guī)則陰影[3]。由于使用的是黑白相機(jī)，視覺識(shí)別時(shí)相機(jī)得到的黑白圖像，會(huì)收到干擾數(shù)據(jù)，視覺識(shí)別程序會(huì)將這塊陰影錯(cuò)誤識(shí)別為工件的一部分，從而導(dǎo)致下一步與示教模型進(jìn)行比對(duì)時(shí)出現(xiàn)偏差，進(jìn)而將原本應(yīng)當(dāng)被識(shí)別為目標(biāo)工件的工件錯(cuò)誤地被識(shí)別為無(wú)效工件，致使系統(tǒng)的分揀出現(xiàn)失誤。

2.1.1 針對(duì)陰影問(wèn)題有兩種解決方法。

方法一：在工業(yè)相機(jī)得到工件照片后先進(jìn)行一次圖像預(yù)處理，運(yùn)用陰影去除程序去除圖像中的陰影[4]。其原理為先對(duì)陰影的濃淡值進(jìn)行示教并存儲(chǔ)，在執(zhí)行陰影去除時(shí)，將濃淡值低于已示教值的圖像部分的像素的濃淡值變?yōu)?，即不會(huì)再被視覺識(shí)別程序識(shí)別。加入陰影去除工具前后的識(shí)別結(jié)果如圖2所示。

方法二：提供更好、更穩(wěn)定的光源，理想的光源應(yīng)當(dāng)具備結(jié)構(gòu)簡(jiǎn)單、光照均勻穩(wěn)定的特點(diǎn)。此外想要達(dá)到抑制陰影產(chǎn)生的目標(biāo)，還應(yīng)當(dāng)將光源放置于工件的正上方。要想達(dá)到最理想的光照效果，應(yīng)當(dāng)采用環(huán)形光源圍繞相機(jī)，圍繞相機(jī)的環(huán)形光源如圖3所示。

2.2 系統(tǒng)中坐標(biāo)系的標(biāo)定問(wèn)題

在了解這個(gè)問(wèn)題之前，我們應(yīng)當(dāng)先了解系統(tǒng)中所用到的各個(gè)坐標(biāo)系。機(jī)器人的位置和姿態(tài)用坐標(biāo)系來(lái)進(jìn)行描述。常用有以下兩類坐標(biāo)系，第一類是用戶坐標(biāo)系，第二類是工具坐標(biāo)系。用戶坐標(biāo)系是用戶給定的用來(lái)定義機(jī)器人作業(yè)空間的坐標(biāo)系。工具坐標(biāo)系是用來(lái)定義機(jī)器人工具的位置和朝向的坐標(biāo)系，工具坐標(biāo)系的原點(diǎn)可稱之為Tool Central Point（簡(jiǎn)稱為TCP）。本文的研究應(yīng)用FANUC的機(jī)器人，采用叫做示教重放的方式進(jìn)行作業(yè)。該方式的機(jī)器人按照示教的方式再現(xiàn)動(dòng)作。因此，在一般機(jī)器人系統(tǒng)上，并不將坐標(biāo)系視為十分重要。但是在帶視覺系統(tǒng)的機(jī)器人運(yùn)用上，坐標(biāo)系有著十分重要的意義。由于視覺識(shí)別物體得到的是用戶坐標(biāo)系下的坐標(biāo)，因此在設(shè)定用戶坐標(biāo)系時(shí)必須力求準(zhǔn)確。在物塊抓取時(shí)，機(jī)器人依靠的是工具坐標(biāo)系進(jìn)行抓取補(bǔ)正，因此我們?cè)谠O(shè)定工具坐標(biāo)系時(shí)也需力求準(zhǔn)確[5]。

但是在坐標(biāo)系的標(biāo)定過(guò)程中，初學(xué)者對(duì)于這兩種坐標(biāo)系的概念不能很清楚的理解，從而導(dǎo)致在標(biāo)定中出現(xiàn)失誤與偏差，更有甚者會(huì)把這兩種坐標(biāo)系混淆[6]。再加上除了這2個(gè)坐標(biāo)系需要標(biāo)定外，相機(jī)本身也需要進(jìn)行標(biāo)定，但是相機(jī)的標(biāo)定是基于已經(jīng)標(biāo)定好的用戶坐標(biāo)系[7]，相機(jī)標(biāo)定部分將在下一部分進(jìn)行詳盡敘述。下文將列舉幾種準(zhǔn)確且可靠的標(biāo)定用戶坐標(biāo)系和工具坐標(biāo)系的方法。坐標(biāo)系的標(biāo)定方法如下。

方法一：通過(guò)使用觸針，進(jìn)行觸碰來(lái)設(shè)定用戶坐標(biāo)系和工具坐標(biāo)系。將觸針安裝在機(jī)械手上，觸針需要選擇前端較為尖銳的且觸針，要固定在機(jī)械手上，不能因?yàn)橛|碰而產(chǎn)生偏移。此外，還需要一個(gè)固定在機(jī)械手工作范圍內(nèi)的尖銳的銷針，銷針應(yīng)當(dāng)固定在支架上，觸針和銷針實(shí)物示意圖4所示。

我們先介紹工具坐標(biāo)系標(biāo)定的方法：用安裝在機(jī)械手上的觸針和安裝在固定位置的銷針前端對(duì)合的方式設(shè)定工具坐標(biāo)系的原點(diǎn)TCP[7]。我們使用觸針的方式進(jìn)行TCP設(shè)定時(shí)運(yùn)用的方法叫做“三點(diǎn)示教法”，其內(nèi)容是使用點(diǎn)動(dòng)的方法操作機(jī)械手，使觸針從3個(gè)不同的方向趨近銷針的頂點(diǎn)，這3個(gè)方向與機(jī)械手所用的姿勢(shì)應(yīng)當(dāng)盡可能各不相同。其次，再通過(guò)機(jī)器人內(nèi)置的存儲(chǔ)器記錄下此時(shí)機(jī)械手的位置與形態(tài)。通過(guò)FANUC機(jī)器人內(nèi)置的TCP設(shè)定程序即可計(jì)算出工具坐標(biāo)系。最后檢查工具坐標(biāo)系時(shí)，先用點(diǎn)動(dòng)的方法將觸針移至銷針頂端，再改變工具姿勢(shì)，若TCP設(shè)定正確，則觸針前端會(huì)始終指向支架的銷針前端，如圖5所示[8]。

運(yùn)用觸針進(jìn)行用戶坐標(biāo)系的設(shè)定時(shí)，只需用點(diǎn)動(dòng)的方式使觸針對(duì)準(zhǔn)點(diǎn)陣板上的固定點(diǎn)并記錄位置即可完成用戶坐標(biāo)系的設(shè)定。

方法二：使用網(wǎng)格坐標(biāo)系功能的坐標(biāo)系設(shè)定[9]。這是一種使用相機(jī)和點(diǎn)陣板夾具的設(shè)置信息的一種功能。FANUC機(jī)器人能提供的一種自動(dòng)標(biāo)定程序。機(jī)器人會(huì)自動(dòng)改變相機(jī)與點(diǎn)陣板的相對(duì)位置反復(fù)進(jìn)行測(cè)量，最后識(shí)別并記錄從機(jī)器人的基本坐標(biāo)系看到的點(diǎn)陣板的坐標(biāo)系位置如圖6所示[10]。與基于觸碰的方法相比其具有以下優(yōu)點(diǎn)：可不受用戶操作水平的制約，無(wú)需安裝觸針和銷針，采用半自動(dòng)方法進(jìn)行設(shè)置操作簡(jiǎn)單。但是半自動(dòng)的標(biāo)定方法還是會(huì)受到手持相機(jī)的機(jī)器人運(yùn)動(dòng)靈敏度的制約，其要求進(jìn)行的半自動(dòng)標(biāo)定方法的精準(zhǔn)度與機(jī)器人能夠運(yùn)動(dòng)的角度與范圍成正比，只有在機(jī)器人能夠在理論要求的范圍與角度內(nèi)運(yùn)動(dòng)時(shí)，半自動(dòng)標(biāo)定的精準(zhǔn)度才能達(dá)到預(yù)期。所以非六軸聯(lián)動(dòng)機(jī)器人一般不推薦半自動(dòng)標(biāo)定方法。

2.3 相機(jī)標(biāo)定問(wèn)題

在討論相機(jī)標(biāo)定問(wèn)題之前首先要了解介紹一下目前主要的相機(jī)標(biāo)定方法。目前主流的相機(jī)標(biāo)定方法分兩種，第一種是傳統(tǒng)相機(jī)標(biāo)定方法，第二種是相機(jī)的自標(biāo)定方法[11]。傳統(tǒng)的相機(jī)標(biāo)定方法是使用需要進(jìn)行標(biāo)定操作的相機(jī)拍攝現(xiàn)有的標(biāo)定模板，例如棋盤格模板、網(wǎng)格紙模板等（上文提到的點(diǎn)陣板即為一種），再將所得圖片與標(biāo)定模板上的固定大小和位置的圖案進(jìn)行對(duì)比，經(jīng)過(guò)算法處理后得到空間位置參數(shù)，使機(jī)器人能記錄下當(dāng)前狀態(tài)下的相機(jī)處于何種狀態(tài)，位于什么位置。而相機(jī)的自標(biāo)定方法則不需要用到固定的標(biāo)靶模板，其原理是以空間中的某一未知點(diǎn)作為參考點(diǎn)，以相機(jī)做特定運(yùn)動(dòng)的方式得到場(chǎng)景圖像，從而完成相機(jī)的標(biāo)定。相較于傳統(tǒng)的相機(jī)標(biāo)定方法，相機(jī)自標(biāo)定法雖然無(wú)需用到標(biāo)定模板，但是它對(duì)手持相機(jī)的機(jī)器人和位置處理算法提出了更高的要求，且標(biāo)定精度與機(jī)器人運(yùn)動(dòng)靈敏度和精準(zhǔn)度直接掛鉤。因此，在非六軸聯(lián)動(dòng)的高精度機(jī)器人上，一般不推薦用相機(jī)自標(biāo)定法。

本文主要介紹傳統(tǒng)的相機(jī)標(biāo)定方法，本實(shí)驗(yàn)主要對(duì)一板標(biāo)定法進(jìn)行了研究。在進(jìn)行一板法標(biāo)定相機(jī)時(shí)，實(shí)驗(yàn)人員發(fā)現(xiàn)其標(biāo)定方法與坐標(biāo)系標(biāo)定類似，但是并不是創(chuàng)建一個(gè)新的坐標(biāo)系，而是基于上所述文已經(jīng)建立的用戶坐標(biāo)系，判斷當(dāng)前相機(jī)的狀態(tài)與位置，進(jìn)而完成相機(jī)標(biāo)定的。

首先，本實(shí)驗(yàn)運(yùn)用到的標(biāo)定板即為圖6（a）所示點(diǎn)陣板，根據(jù)相機(jī)是否固定于機(jī)器人上，點(diǎn)陣板的放置有兩種方法，一種是相機(jī)固定于機(jī)器人時(shí)，點(diǎn)陣板固定于相機(jī)下的平面，另一種是相機(jī)固定時(shí)，點(diǎn)陣板固定于機(jī)器人上，然后進(jìn)行點(diǎn)陣板夾具參考坐標(biāo)系的設(shè)置。此時(shí)根據(jù)點(diǎn)陣板位置的不同又分為兩種情況：點(diǎn)陣板固定在平面時(shí)用已經(jīng)設(shè)定好的用戶坐標(biāo)系作為基準(zhǔn)坐標(biāo)系;點(diǎn)陣板固定在機(jī)器人上時(shí)用工具坐標(biāo)系作為基準(zhǔn)坐標(biāo)系。本實(shí)驗(yàn)運(yùn)用的是固定于機(jī)器人的相機(jī)，點(diǎn)陣板因此固定于相機(jī)下的平面上，基準(zhǔn)坐標(biāo)系選用設(shè)定好的用戶坐標(biāo)系。

以FANUC機(jī)器人為例，需要操作人員輸入點(diǎn)陣板上的點(diǎn)間間距與相機(jī)的焦距，這里的焦距也可以讓機(jī)器人自動(dòng)計(jì)算，推薦使用焦距固定的相機(jī)，手動(dòng)輸入焦距，以較小誤差，如圖7所示。

最后相機(jī)進(jìn)行拍照，拍照位置最好在點(diǎn)陣板中心線的正上方，相機(jī)光軸垂直于點(diǎn)陣板[12]。拍照得到的圖像應(yīng)當(dāng)在機(jī)器人中進(jìn)行處理，根據(jù)輸入的點(diǎn)間間距與焦距自動(dòng)計(jì)算出相機(jī)高度、位置偏差等的參數(shù)并記錄。至此相機(jī)的一板法標(biāo)定完成。

3? 結(jié)語(yǔ)

在設(shè)計(jì)基于機(jī)器視覺的機(jī)器人自動(dòng)分揀系統(tǒng)的過(guò)程中遇到的這些常見問(wèn)題，本文主要針對(duì)圖像陰影干擾、坐標(biāo)系標(biāo)定、相機(jī)標(biāo)定等問(wèn)題進(jìn)行分析，運(yùn)用本實(shí)驗(yàn)研究結(jié)果給出解決方法，并提出參考意見。

參考文獻(xiàn)

[1] 劉亞奇.基于機(jī)器視覺的自動(dòng)分揀機(jī)器人[D].開封：河南大學(xué)，2018.

[2] 盧振利，謝亞飛，周立志，等.基于機(jī)器視覺的機(jī)器人辨識(shí)及分揀盒裝香煙的系統(tǒng)[J].高技術(shù)通訊，2016，26（6）：585-592.

[3] 廖家驥，劉建群，高偉強(qiáng)，等.基于機(jī)器視覺的機(jī)器人分揀系統(tǒng)設(shè)計(jì)[J].組合機(jī)床與自動(dòng)化加工技術(shù)，2019（4）：25-27，31.

[4] 朱亞紅.基于機(jī)器視覺的工業(yè)機(jī)器人分揀系統(tǒng)[J].智慧工廠 ，2018（12）：73-74.

[5] 劉瀟，萬(wàn)其，倪銀堂，等.基于視覺的移動(dòng)分揀機(jī)器人系統(tǒng)研究[J].工業(yè)控制計(jì)算機(jī)，2018，31（12）：91-93.

[6] 張翔.基于工業(yè)機(jī)器人的多工件視覺識(shí)別與分揀[D].北京：北京化工大學(xué)，2018.

[7] 徐青青.基于機(jī)器視覺的工業(yè)機(jī)器人智能分揀系統(tǒng)設(shè)計(jì)[J].儀表技術(shù)與傳感器，2019（8）：92-95，100.

[8] 上海發(fā)那科機(jī)器人有限公司，F(xiàn)ANUC機(jī)器人視覺操作說(shuō)明書（B-83304CM_04）[Z].2016.10.

[9] 上海發(fā)那科機(jī)器人有限公司，F(xiàn)ANUC機(jī)器人R-30iB-MateiRVision視覺操作說(shuō)明書（B-83304CM-1_02_01））[Z].2016.10.

[10] 上海發(fā)那科機(jī)器人有限公司，F(xiàn)ANUC機(jī)器人R-30iB-MateiRCalibration操作說(shuō)明書（B-83724C? ? ?M_02）[Z].2016.10.

[11] 陳懇.基于機(jī)器視覺的物料分揀工業(yè)機(jī)器人關(guān)鍵技術(shù)研究[D].深圳：深圳大學(xué)，2017.

[12] Hyattyonatan.TheRoleofAdaptiveVisionAiinAutonomousMachineVision[J]Photonicsviews，2021，18（2）.