基于機(jī)器視覺(jué)的自適應(yīng)矩陣式吸盤(pán)工具設(shè)計(jì)與應(yīng)用

蘇建 屠一凡 岳高 孫凡迪 羅緒成

摘要：針對(duì)工業(yè)機(jī)器人利用吸盤(pán)工具拾取與搬運(yùn)過(guò)程中存在物料掉落的問(wèn)題，設(shè)計(jì)了一個(gè)基于機(jī)器視覺(jué)的自適應(yīng)矩陣式工業(yè)機(jī)器人末端吸盤(pán)工具。首先設(shè)計(jì)了該工具的機(jī)械結(jié)構(gòu)和控制方案;然后基于機(jī)器視覺(jué)檢測(cè)數(shù)據(jù)，提出了自適應(yīng)調(diào)整矩陣式吸盤(pán)行列間距的原理與算法;再次構(gòu)建了該工具的控制系統(tǒng)，通過(guò)PLC和工業(yè)機(jī)器人融合編程實(shí)現(xiàn)了矩陣式吸盤(pán)的自適應(yīng)調(diào)整功能;最后，通過(guò)L型零件、包裝箱、棧板和異形玻璃4種物料的測(cè)試表明，該工具能夠根據(jù)物料的重量計(jì)算吸盤(pán)的最少數(shù)量，根據(jù)物料的形狀自適應(yīng)調(diào)整矩陣式吸盤(pán)的行列間距，并自動(dòng)計(jì)算出拾取效率，當(dāng)拾取效率大于0.30時(shí)，物料拾取與搬運(yùn)效果較好，安全性和可靠性較高。

關(guān)鍵詞：工業(yè)機(jī)器人;機(jī)器視覺(jué);機(jī)器人末端工具;自適應(yīng)工具

中圖分類號(hào)：TH122;TP241

文獻(xiàn)標(biāo)志碼：A

文章編號(hào)：1009-9492（ 2022） 02-0109-04

0 引言

機(jī)器視覺(jué)作為人工智能技術(shù)的一個(gè)重要分支，它通過(guò)圖像傳感器接收和處理真實(shí)物體的圖像，以獲得所需信息或控制機(jī)器人運(yùn)動(dòng)的技術(shù)[1]。隨著工業(yè)自動(dòng)化技術(shù)向著數(shù)字化、網(wǎng)絡(luò)化、智能化方向演進(jìn)，工業(yè)場(chǎng)景對(duì)機(jī)器視覺(jué)的需求不斷增加。工業(yè)機(jī)器人產(chǎn)業(yè)是衡量一個(gè)國(guó)家制造業(yè)水平和科技水平的重要標(biāo)志，也是重塑我國(guó)制造業(yè)競(jìng)爭(zhēng)優(yōu)勢(shì)的重要工具和手段，更是加快工業(yè)轉(zhuǎn)型升級(jí)、機(jī)器換人的務(wù)實(shí)之選[2]。機(jī)器視覺(jué)賦予工業(yè)機(jī)器人“人眼”的功能，探索與研究機(jī)器視覺(jué)與工業(yè)機(jī)器人的交叉應(yīng)用，有利于加速新一代信息技術(shù)與先進(jìn)制造技術(shù)的融合，有利于提高智能制造生產(chǎn)效率和產(chǎn)品質(zhì)量。

當(dāng)前，該領(lǐng)域的研究側(cè)重工業(yè)機(jī)器人的控制方案優(yōu)化[3-5]、視覺(jué)分揀應(yīng)用[6-8]和視覺(jué)定位應(yīng)用[9-12]。對(duì)機(jī)器視覺(jué)、機(jī)器人和PLC三者的綜合應(yīng)用已有一些研究[13-14]，但還不夠深入。針對(duì)材質(zhì)均勻、厚度預(yù)知、形狀多樣的較重物料的工業(yè)機(jī)器人拾取與搬運(yùn)作業(yè)，可能存在無(wú)法拾取物料或物料掉落的問(wèn)題。為了解決如上問(wèn)題，本文設(shè)計(jì)了一種基于機(jī)器視覺(jué)的自適應(yīng)矩陣式工業(yè)機(jī)器人末端工具，基于視覺(jué)檢測(cè)數(shù)據(jù)該工具能夠根據(jù)物料的重量計(jì)算吸盤(pán)的最少數(shù)量，能夠根據(jù)物料形狀自適應(yīng)調(diào)整矩陣式吸盤(pán)的行列間距，在物料作業(yè)前使工業(yè)機(jī)器人末端工具自動(dòng)調(diào)整至最優(yōu)拾取或搬運(yùn)狀態(tài)，提高工業(yè)機(jī)器人作業(yè)的安全性和可靠性。

1 方案設(shè)計(jì)

1.1 機(jī)械裝置

如圖1所示，本文設(shè)計(jì)了一種基于機(jī)器視覺(jué)的自適應(yīng)矩陣式工業(yè)機(jī)器人末端吸盤(pán)裝置（工具），該裝置由1個(gè)矩陣式吸盤(pán)裝置、2個(gè)步進(jìn)電機(jī)及傳動(dòng)裝置、1個(gè)工業(yè)相機(jī)、16個(gè)4x4矩陣方式分布的吸盤(pán)及其配套機(jī)構(gòu)構(gòu)成，其中工業(yè)相機(jī)用于檢測(cè)物料的形狀、面積、位置等特征數(shù)據(jù)，步進(jìn)電機(jī)1和2分別控制吸盤(pán)的行列間距。該裝置安裝于工業(yè)機(jī)器人的末端，配合工業(yè)機(jī)器人完成物料的吸持、搬運(yùn)等功能，通過(guò)視覺(jué)檢測(cè)數(shù)據(jù)，判斷物料的質(zhì)量（材質(zhì)均勻、厚度一致），確定吸盤(pán)的最少使用個(gè)數(shù)，通過(guò)步進(jìn)電機(jī)調(diào)整吸盤(pán)的行列間距，達(dá)到安全可靠、智能高效搬運(yùn)較重物料的效果。

1.2 控制方案

自適應(yīng)矩陣式吸盤(pán)工具的控制方案如圖2所示，其中PLC是主控系統(tǒng)，它控制步進(jìn)電機(jī)調(diào)整吸盤(pán)的行列間距，控制吸盤(pán)信號(hào)的開(kāi)關(guān)及檢測(cè)吸盤(pán)的真空信號(hào)，PLC還接收相機(jī)數(shù)據(jù)、控制工業(yè)機(jī)器人的作業(yè)和接收機(jī)器人的反饋狀態(tài);視覺(jué)系統(tǒng)與PLC實(shí)現(xiàn)以太網(wǎng)通信，檢測(cè)物料的特征數(shù)據(jù)，并將物料重心位置偏移量、旋轉(zhuǎn)角度偏移量發(fā)送給工業(yè)機(jī)器人，還將吸盤(pán)行列間距和物料面積（換算成質(zhì)量）發(fā)送給PLC，實(shí)現(xiàn)吸盤(pán)間距的自適應(yīng)變化;工業(yè)機(jī)器人與PLC實(shí)現(xiàn)以太網(wǎng)通信，PLC控制工業(yè)機(jī)器人的位置和動(dòng)作軌跡，接收工業(yè)機(jī)器人的反饋狀態(tài)。

2 原理與算法

2.1 物料取放位置

如式（1）所示，P0為工業(yè)機(jī)器人示教基準(zhǔn)位置，其中X0、Y0、Z0為工業(yè)機(jī)器人TCP點(diǎn)（末端工具中心點(diǎn)）的位置數(shù)據(jù)，RX0、RY0、RZ0為機(jī)器人TCP點(diǎn)的姿態(tài)數(shù)據(jù)。AX、AY、AZ為視覺(jué)檢測(cè)處理后發(fā)送給PLC的物料偏移位置，分別與X0、Y0、Z0代數(shù)和得到機(jī)器人實(shí)際抓取物料的位置，如式（2）～（4）所示;△θ為視覺(jué)檢測(cè)后的物料角度數(shù)據(jù)，與RZ0代數(shù)和即可得到機(jī)器人實(shí)際抓取物料的角度姿態(tài)，如式（5）所示。通過(guò)△X、△Y、△Z、△θ四個(gè)數(shù)據(jù)的代數(shù)和計(jì)算，得到當(dāng)前物料拾取位置（重心位置）為P1，如式（6）所示。放置位置計(jì)算同上。

2.2 最少吸盤(pán)數(shù)量

吸盤(pán)最少使用數(shù)量依據(jù)物料的重量判斷，先測(cè)量物料的面積s，根據(jù)預(yù)知的物料密度p和厚度h計(jì)算出物料的重力G，如式（7）所示：

將Q（x，y）與T（x，y）比較即可得到吸盤(pán)有效作用的個(gè)數(shù)k。若滿足k>N0，則行列間距為m1和n2時(shí)，機(jī)器人可以有效吸持物料。

2.4 拾取效率

如圖3-4所示，物料的拾取效率與有效吸盤(pán)數(shù)量（黑色圓圈）、吸盤(pán)外圍面積（點(diǎn)劃線構(gòu)成面積）有關(guān)。為了衡量工業(yè)機(jī)器人拾取物料的有效能力，提出了拾取效率t的物理量，該物理量由吸盤(pán)使用率k1和吸盤(pán)外圍面積率k2的乘積而得，其中吸盤(pán)使用率k1為當(dāng)前有效吸盤(pán)與吸盤(pán)總數(shù)的比值，吸盤(pán)外圍面積率k2為吸盤(pán)外圍有效的面積與物料面積的比值。

根據(jù)式（11） - （13）可得，拾取效率0

3 系統(tǒng)構(gòu)建與實(shí)現(xiàn)

3.1 電氣選型

由于PLC和工業(yè)機(jī)器人均需要獲取視覺(jué)特征數(shù)據(jù)，本方案選用了西門(mén)子PLC、發(fā)那科工業(yè)機(jī)器人和康耐視視覺(jué)系統(tǒng)，來(lái)實(shí)現(xiàn)自適應(yīng)矩陣式吸盤(pán)工具的功能，主要電氣元件及型號(hào)如表1所示。

3.2 組態(tài)通信

根據(jù)上述電氣選型，本系統(tǒng)由PLC、機(jī)器人、視覺(jué)、HMI、變頻器5個(gè)通信設(shè)備組成，其中PLC是核心控制設(shè)備，機(jī)器人用于拾取或搬運(yùn)物料，視覺(jué)用于檢測(cè)物料，HMI用于信息的輸入與顯示，變頻器用于驅(qū)動(dòng)物料的輸送，它們各自分配一個(gè)相同網(wǎng)段的IP地址，并通過(guò)Profi-NET進(jìn)行通信與連接，系統(tǒng)的組態(tài)及IP地址如圖5所示。

PLC、HMI和變頻器均為西門(mén)子產(chǎn)品，具有成熟的通信方式和通信協(xié)議，PLC和HMI可以實(shí)時(shí)交互所需的通信數(shù)據(jù)，PLC與變頻器實(shí)現(xiàn)2個(gè)字發(fā)送和2個(gè)字接收，通過(guò)報(bào)文方式控制變頻器并實(shí)時(shí)獲取變頻器的運(yùn)行狀態(tài)。PLC與發(fā)那科工業(yè)機(jī)器人實(shí)現(xiàn)16個(gè)字發(fā)送和16個(gè)字接收，通過(guò)PLC發(fā)送數(shù)據(jù)給機(jī)器人，確定機(jī)器人抓取與放置位置，同時(shí)機(jī)器人發(fā)送一個(gè)狀態(tài)字給PLC，實(shí)現(xiàn)數(shù)據(jù)的交互。PLC與變頻器、視覺(jué)系統(tǒng)、工業(yè)機(jī)器人的外圍輸入輸出信號(hào)如表2所示。

3.3 PLC與機(jī)器人編程

PLC與工業(yè)機(jī)器人實(shí)時(shí)交互通信數(shù)據(jù)，通過(guò)“一呼一應(yīng)”信號(hào)實(shí)現(xiàn)PLC控制工業(yè)機(jī)器人正確拾取并放置物料。其中QW23為PLC控制機(jī)器人的控制字，QW25、QW27、QW29、QW31分別為PLC發(fā)送給機(jī)器人的AX、△y、△Z、△θ，QW23=1為復(fù)位機(jī)器人，QW23=2為控制機(jī)器人達(dá)到拍照位，QW23=3為控制機(jī)器人拾取物料，QW23=4為控制機(jī)器人放置物料;IW23為機(jī)器人發(fā)送給機(jī)器人的狀態(tài)字，IW23=10為機(jī)器人復(fù)位完成，IW23=20為機(jī)器人達(dá)到拍照位完成，IW23=30為機(jī)器人拾取物料完成，IW23=40為機(jī)器人放置物料完成。機(jī)器人與PLC融合編程流程如圖6所示。

4 實(shí)驗(yàn)測(cè)試與結(jié)果分析

圖7-9所示為對(duì)L型零件實(shí)驗(yàn)測(cè)試的3種情況，該零件形狀不規(guī)則但中間無(wú)孔，測(cè)試數(shù)據(jù)如表3所示。圖7使用的吸盤(pán)數(shù)少、有效面積小，拾取效率僅為0.13;圖8使用全部吸盤(pán)、有效面積小，拾取效率為0.24;圖9使用的吸盤(pán)數(shù)為12、有效面積較大，拾取效率為0.38。圖10所示為包裝箱拾取測(cè)試，包裝箱長(zhǎng)寬不等，大小可表，由于為矩形形狀，通過(guò)自適應(yīng)調(diào)整吸盤(pán)間距拾取效率可達(dá)0.82，拾取效率較大;圖11所示為棧板拾取測(cè)試，棧板雖為矩形形態(tài)，但是中間有漏孔，通過(guò)自適應(yīng)調(diào)整吸盤(pán)間距拾取效率可達(dá)0.59;圖12所示為異形玻璃拾取測(cè)試，通過(guò)白適應(yīng)調(diào)整吸盤(pán)間距拾取效率可達(dá)0.39。實(shí)驗(yàn)數(shù)據(jù)可見(jiàn)，當(dāng)拾取效率大于0.30時(shí)，物料拾取與搬運(yùn)效果較好，安全性和可靠性較高。5結(jié)束語(yǔ)

綜上所述，融合機(jī)器視覺(jué)技術(shù)的工業(yè)機(jī)器人拾取或搬運(yùn)物料，可以有效識(shí)別物料的特征，根據(jù)物料的重量計(jì)算吸盤(pán)的最少數(shù)量，根據(jù)物料的形狀自適應(yīng)調(diào)整矩陣式吸盤(pán)的行列間距，白適應(yīng)調(diào)整工業(yè)機(jī)器人末端吸盤(pán)工具形態(tài)，達(dá)到安全、可靠、有效拾取并搬運(yùn)物料，減少工具更換，提高作業(yè)效率。

實(shí)驗(yàn)表明，基于機(jī)器視覺(jué)的自適應(yīng)矩陣式工業(yè)機(jī)器人末端吸盤(pán)工具，針對(duì)材質(zhì)均勻、厚度預(yù)知、形狀多樣的較重物料拾取與搬運(yùn)，可根據(jù)物料的重量和形態(tài)，自適應(yīng)調(diào)整吸盤(pán)數(shù)量和吸盤(pán)行列間距，大大提高工業(yè)機(jī)器人拾取物料的可靠性、安全性，具有較好的應(yīng)用效果。

參考文獻(xiàn)：

[1]劉翠翠，楊濤.機(jī)器視覺(jué)在智能制造中的應(yīng)用與產(chǎn)業(yè)發(fā)展[J].機(jī)床與液壓，2021，49（11）：172-178.

[2]王詩(shī)宇.智能化工業(yè)機(jī)器人視覺(jué)系統(tǒng)關(guān)鍵技術(shù)研[D].北京：中國(guó)科學(xué)院大學(xué)，2021.

[3]邱素貞，李慶年，盧志翔，等，基于機(jī)器視覺(jué)檢測(cè)的碼垛機(jī)器人控制系統(tǒng)設(shè)計(jì)[J].包裝工程，2019，40（3）：207-211.

[4]張業(yè)鵬，張明.基于PLC與工業(yè)機(jī)器人的全自動(dòng)化碼垛系統(tǒng)設(shè)計(jì)[J].2015，37（11）：108-110.

[5]李洪濤，張明柱，賈曉敏.基于視覺(jué)信息的工業(yè)機(jī)器人搬運(yùn)系統(tǒng)研究[J].機(jī)床與液壓，2015，43（9）：17-20.

[6]王詩(shī)宇，林滸，孫一蘭，基于機(jī)器視覺(jué)的機(jī)器人分揀系統(tǒng)的設(shè)計(jì)與實(shí)王見(jiàn)[J].組合機(jī)床與自動(dòng)化加工技術(shù)，2017（3）：125-129.

[7]張衛(wèi)芬，湯文成.基于機(jī)器視覺(jué)的物料自動(dòng)分揀系統(tǒng)研究[J].組合機(jī)床與自動(dòng)化加工技術(shù)。2019（6）：34-37。

[8]徐青青.基于機(jī)器視覺(jué)的工業(yè)機(jī)器人智能分揀系統(tǒng)設(shè)計(jì)[J].儀表技術(shù)與傳感器，2019（8）：92-95.

[9]周自更，黃修乾，胡昌斌，等.基于長(zhǎng)期度量學(xué)習(xí)和圖像匹配變換的機(jī)器人視覺(jué)定位研究[J].電子器件，2020，43（6）：1396-1402.

[10]萬(wàn)國(guó)揚(yáng)，王國(guó)峰，李福東，等.基于視覺(jué)定位與軌跡規(guī)劃的機(jī)器人打磨工作站[J].計(jì)算機(jī)集成制造系統(tǒng)，2021，27（1）：118-127.

[11]項(xiàng)亞南，喻永康，陳亞，等.基于視覺(jué)的工件狀態(tài)檢測(cè)系統(tǒng)[J].儀表技術(shù)與傳感器。2016（10）：87-93.

[12]李致金，武鵬，喬治，等.基于機(jī)器視覺(jué)的機(jī)器人工件定位系統(tǒng)[J].組合機(jī)床與自動(dòng)化加工技術(shù)，2019（12）：127-130.

[13]韓桂榮，陳緒兵，基于PLC、機(jī)器人和視覺(jué)系統(tǒng)的汽車輪轂全自動(dòng)搬運(yùn)系統(tǒng)設(shè)計(jì)[J].現(xiàn)代制造工程，2017（9），52-58.

[14]周文婷，孟凡文，王海亮.基于MODBUS-TCP協(xié)議的視覺(jué)系統(tǒng)、PLC與工業(yè)機(jī)器人通信設(shè)計(jì)[J].電子世界，2020（21）：132-134.