基于機器視覺的閥口袋動態(tài)抓取系統(tǒng)設(shè)計

李雪梅，李喆，張鑫，郭義華，容北國

(1.桂林電子科技大學(xué)機電工程學(xué)院，廣西桂林 541004;2.桂林鴻程礦山設(shè)備制造有限責(zé)任公司，廣西桂林 541004)

0 前言

在粉體包裝中，常選用閥口袋作為包裝用袋。閥口袋處于輸送帶上且不斷移動，工人抓取運動的閥口袋，然后將閥口袋的閥口套入灌裝設(shè)備的灌料口完成粉體的填充。這種包裝方式自動化程度低，并且生產(chǎn)中伴隨大量粉塵，損害工人健康。因此實現(xiàn)自動化粉體包裝對提高生產(chǎn)效率、保護工人身體健康有著重要意義。

當(dāng)前大多數(shù)工業(yè)自動化生產(chǎn)采用的是編碼器對目標(biāo)進行動態(tài)定位。黃金梭和沈正華針對輸送帶輸送產(chǎn)品的過程，提出了一套基于編碼器檢測的位姿數(shù)據(jù)計算方法，通過構(gòu)建抓取系統(tǒng)模型和創(chuàng)建各個坐標(biāo)系之間轉(zhuǎn)換關(guān)系，實現(xiàn)了機器人動態(tài)抓取目標(biāo)。然而隨著機器視覺的發(fā)展，它具有不接觸的優(yōu)點，通過相機采集目標(biāo)圖像信息，就可實現(xiàn)對目標(biāo)的分析和控制。蔡菲和郭倩利用視覺系統(tǒng)對運動物體進行圖像采集，通過運動學(xué)軌跡分析，完成物體位置的判斷，然后利用DELTA機械手實現(xiàn)對傳送帶中物體的抓取和釋放操作。陳甦欣等采用一維概率霍夫圓檢測法求取目標(biāo)位姿，再將卡爾曼濾波用于目標(biāo)跟蹤預(yù)測，最終成功抓取流水線上的家用壓縮機。上述動態(tài)抓取過程存在坐標(biāo)轉(zhuǎn)換繁瑣、運算開銷大且控制方法復(fù)雜等問題，不利于對動態(tài)目標(biāo)的快速、精準(zhǔn)抓取。本文作者以閥口袋為研究對象，分析其樣式特點，利用機器視覺進行特征提取，通過卡爾曼濾波和數(shù)據(jù)擬合預(yù)測閥口袋抓取位姿。在此基礎(chǔ)上，利用PLC對工業(yè)機器人進行控制，實現(xiàn)運動狀態(tài)下閥口袋的抓取，取得了較好的實驗效果。

1 系統(tǒng)總體構(gòu)建

1.1 系統(tǒng)硬件構(gòu)成

基于機器視覺的閥口袋動態(tài)抓取系統(tǒng)主要包含3個子系統(tǒng)：視覺處理系統(tǒng)、機器人抓取系統(tǒng)以及PLC控制系統(tǒng)，各系統(tǒng)設(shè)備布局如圖1所示。

圖1 系統(tǒng)設(shè)備布局

視覺處理系統(tǒng)由C270i USB相機、LED環(huán)形光源及配置有OpenCV的計算機組成。

機器人抓取系統(tǒng)由EFORT ER10-C10六軸工業(yè)機器人、自主設(shè)計的閥口袋專用末端執(zhí)行器及閥口袋輸送裝置組成。

PLC控制系統(tǒng)由西門子S7-1200 PLC、IO擴展模塊以及各類外部元器件組成。

1.2 系統(tǒng)工作原理

閥口袋動態(tài)抓取系統(tǒng)是通過各子系統(tǒng)相互配合來完成。閥口袋在輸送帶上運動，運動至相機有效視場區(qū)域時，視覺處理系統(tǒng)對閥口袋進行圖像處理，提取特征信息。然后利用卡爾曼濾波算法，對特征點坐標(biāo)進行校正。再將特征點位置坐標(biāo)進行數(shù)據(jù)擬合，對抓取時刻的位姿進行預(yù)測，發(fā)送預(yù)測位姿數(shù)據(jù)至PLC。PLC與機器人通信，機器人在完成應(yīng)答后接收來自PLC的位姿數(shù)據(jù)(、坐標(biāo)以及姿態(tài)角度)。在抓取時刻，機器人結(jié)合末端執(zhí)行器實現(xiàn)對閥口袋的抓取，之后機器人按照既定程序?qū)㈤y口袋送至灌裝機出料嘴處，完成后續(xù)上袋工序，如圖2所示。

圖2 系統(tǒng)工作流程

2 機器視覺處理

2.1 相機標(biāo)定及畸變校正

相機標(biāo)定在視覺當(dāng)中起著至關(guān)重要的作用，其目的就是為了確定圖像中的點與實際世界坐標(biāo)之間的對應(yīng)映射關(guān)系，具體是指計算相機的內(nèi)參模型、鏡頭畸變系數(shù)等。采用張正友標(biāo)定法只需要采用印有棋盤格的平面標(biāo)定板，操作簡單、定位精度高。相機拍攝多張擺放差異較大的標(biāo)定板，通過處理，得到相機的內(nèi)參矩陣、鏡頭畸變系數(shù)，再用標(biāo)定結(jié)果對采集到的圖像進行校正。標(biāo)定結(jié)果如表1所示。

表1 相機標(biāo)定結(jié)果

2.2 手眼標(biāo)定

手眼標(biāo)定是為求取工業(yè)機器人與相機之間的投影矩陣，將視覺識別的結(jié)果轉(zhuǎn)化為機器人可識別的數(shù)據(jù)，從而實現(xiàn)抓取。通過圖像處理識別出放置在自制標(biāo)定板上9個圓點位置，標(biāo)記出在像素坐標(biāo)系下9個點的坐標(biāo)(，)，然后將工業(yè)機器人末端依次移動到這9個位置，標(biāo)記在機器人坐標(biāo)系下其坐標(biāo)(，)。根據(jù)針孔成像模型，建立像素坐標(biāo)系與機器人坐標(biāo)系之間的轉(zhuǎn)換關(guān)系，構(gòu)建超定方程：

(1)

求解廣義逆矩陣可得該超定方程中投影矩陣，代入數(shù)據(jù)可得：

(2)

2.3 圖像處理

粉體包裝最終的目的是將灌料口插入閥口內(nèi)，實現(xiàn)粉體的填充。針對閥口袋的外形特點，采用OpenCV視覺函數(shù)庫對閥口袋進行圖像處理，并設(shè)計特征提取方法。

2.3.1 圖像預(yù)處理

圖像預(yù)處理可以消除由于光照變化、工廠粉塵對圖像造成的不良影響，同時也可以簡化圖像信息，減少運算開銷。圖像預(yù)處理流程如圖3所示。

圖3 圖像預(yù)處理流程

相機拍攝的原始圖像模型為RGB顏色模型，微弱的光照變化會導(dǎo)致相應(yīng)數(shù)值發(fā)生改變，致使后續(xù)處理發(fā)生錯誤。而HSV顏色模型是根據(jù)顏色的直觀特性建立的模型，可以有效解決光照變化引起的問題，如圖4(b)所示。對閥口袋的特征進行分析，為了減少輸送帶背景色對閥口袋特征信息的影響，選取閥口處為顏色閾值處理目標(biāo)。在環(huán)形LED燈的照射下，通過自適應(yīng)顏色處理，進行顏色閾值處理，如圖4(c)所示。經(jīng)過顏色閾值處理后，圖像會產(chǎn)生一些較小的噪點以及空洞，利用圖像形態(tài)學(xué)中開閉混合運算處理能夠消除圖像中的多余噪點，填充纖細空洞，如圖4(d)所示。濾波處理可以減少圖像噪聲的干擾，最大限度地保留圖像的特征信息，采用雙邊濾波能夠較好地抑制孤立噪聲，同時不破壞圖像邊緣信息，如圖4(e)所示。采用輪廓處理，不僅減少無關(guān)信息的干擾，保留特定的特征信息，還可提高特征提取效率，如圖4(f)所示。

圖4 圖像預(yù)處理效果

2.3.2 特征提取

圖像處理的目的就是為了獲取圖像信息的特征，針對閥口袋的特點，采用Shi Tomasi角點檢測，設(shè)定角點鄰域大小，確定閥口尖角處為特征點，角點檢測方程如下：

=-(+)

(3)

其中：為角點閾值；為特征值；為經(jīng)驗常數(shù)。

確定一個物體的位姿信息，不僅需要特征的位置坐標(biāo)，也需要姿態(tài)角度。利用Hough直線檢測，檢測出閥口邊緣直線，計算該直線斜率，通過幾何函數(shù)轉(zhuǎn)換后可得到閥口袋的姿態(tài)角度。

2.4 抓取點設(shè)計

為了配合末端執(zhí)行器的抓取，需將圖像特征點位置轉(zhuǎn)移至抓取點位置。通過多次測量得到兩點之間的長度關(guān)系、，如圖5所示，為特征點(，)，為抓取點(，)，為閥口袋的前端與軸所夾角度，被用來表示閥口袋在輸送帶上的姿態(tài)角度。由于閥口袋可視為平面物體，因此只需確定平面坐標(biāo)，抓取點軸高度坐標(biāo)由機器人示教獲取。

圖5 抓取點與特征點位置關(guān)系

特征點與抓取點位置關(guān)系：

(4)

3 動態(tài)目標(biāo)的定位與預(yù)測

3.1 基于卡爾曼濾波的動態(tài)目標(biāo)定位

由于相機測量誤差，導(dǎo)致動態(tài)目標(biāo)定位精確性較低。采用卡爾曼濾波，對特征點位置進行校正，獲取特征點最優(yōu)位置，最優(yōu)位置估計值接近于真實位置。

卡爾曼濾波時間更新方程：

(5)

卡爾曼狀態(tài)更新方程：

(6)

根據(jù)卡爾曼濾波算法的核心公式可知，只有給定目標(biāo)物體這一時刻的位姿、系統(tǒng)初始協(xié)方差，卡爾曼濾波算法才能實現(xiàn)預(yù)估-修正優(yōu)化的迭代過程。初始協(xié)方差只要不為0，則對濾波效果影響很小，會很快收斂。測量噪聲誤差取值過小或者過大會導(dǎo)致濾波效果變差。對于運行穩(wěn)定的過程，過程激勵誤差一般為定值。考慮到實際情況，閥口袋在輸送機上運動，在較短的時間內(nèi)，為勻速運動。軸方向為運動方向，坐標(biāo)會呈線性增加?？紤]輸送帶會發(fā)生震動，致使軸方向會有稍許偏移，運動方程如下：

(7)

其中:Δ為特征點測量識別間隔時間;為運動速度大小，即連續(xù)兩幀圖像特征點坐標(biāo)差值與相隔時間Δ的比值。狀態(tài)的觀測值表示為

(8)

由于閥口袋在運動過程中姿態(tài)角度未發(fā)生改變，因此姿態(tài)角度為第一次直線檢測所測角度。

3.2 動態(tài)目標(biāo)位姿預(yù)測

常用的動態(tài)抓取方式有兩種：一種是確定抓取時刻，通過預(yù)測獲取運動目標(biāo)在抓取時刻的位置，規(guī)劃機器人在抓取時刻到達這一個位置進行抓??；另一種方法是機器人跟隨目標(biāo)同步運動，逐漸接近抓取點進行抓取。由于采用相機固定的模式，機器人的跟蹤移動會遮擋部分視場，影響圖像處理。又因采用變頻器控制輸送帶的方式，閥口袋的運動狀態(tài)較穩(wěn)定，可近似為勻速運動，因此采用通過預(yù)測抓取時刻的閥口袋位姿進行抓取。

基于最小二乘法的回歸模型，設(shè)定()為距離函數(shù)，為點到直線的距離，為特征點個數(shù)。根據(jù)最小二乘法LSM公式(9)，對數(shù)據(jù)進行擬合，并計算所有特征點到擬合直線的平均平方距離，距離越小則表明擬合直線的精度越高。

(9)

利用上述方法，當(dāng)所有特征點離某一直線最近時，可得最優(yōu)擬合直線公式(10)。根據(jù)輸送帶運行速度以及機器人抓取區(qū)域，確定抓取時刻范圍。最后轉(zhuǎn)換抓取點坐標(biāo)，即可得抓取時刻的閥口袋的位姿。

=+

(10)

4 動態(tài)抓取的實現(xiàn)

4.1 通信構(gòu)建

在數(shù)據(jù)傳輸?shù)倪^程中，圖像處理后的數(shù)據(jù)需要與PLC以及機器人可以執(zhí)行的通信協(xié)議保持一致，需要設(shè)定協(xié)議的端口參數(shù)、數(shù)據(jù)類型以及校驗碼等。EFORT機器人采用PROFINET以太網(wǎng)端口，而PLC支持Modbus協(xié)議，因此使用Modbus TCP通信協(xié)議進行數(shù)據(jù)之間的傳遞。Modbus TCP是一種在TCP/IP以太網(wǎng)下的報文傳輸協(xié)議，一般分為客戶端與服務(wù)端。在整個系統(tǒng)中，PLC作為控制中樞，控制視覺處理系統(tǒng)的運行、接收圖像位姿數(shù)據(jù)、輸出處理后數(shù)據(jù)至機器人。為了避免通信阻塞以及寄存器地址錯誤，在PLC中分別建立客戶端與服務(wù)端，如圖6所示。

圖6 通信傳輸架構(gòu)

4.2 動態(tài)抓取流程設(shè)計

PLC控制程序基于西門子Protal平臺開發(fā)，由數(shù)據(jù)處理及通信程序構(gòu)成。機器人抓取程序基于C10示教器編寫，主要有系統(tǒng)主程序、抓取子程序、上袋子程序及異常處理子程序。視覺處理程序基于Visual Studio 2019開發(fā)環(huán)境，采用C++進行程序編寫，包含相機標(biāo)定、圖像處理程序、定位預(yù)測與通信程序。通過這些程序的緊密聯(lián)系，實現(xiàn)如下功能：

(1)閥口袋在輸送機上運動，當(dāng)閥口袋運動至視場有效區(qū)域時，觸發(fā)視覺處理系統(tǒng)，對其進行圖像處理，提取特征點。通過卡爾曼濾波對特征點位置進行校正，得到最優(yōu)位置。然后對所獲得的最優(yōu)位置坐標(biāo)進行擬合，結(jié)合測量得到的閥口袋姿態(tài)角度，預(yù)測抓取時刻的閥口袋位姿，并將預(yù)測數(shù)據(jù)發(fā)送至PLC。

(2)閥口袋進入視場有效區(qū)域時，視覺處理系統(tǒng)反饋準(zhǔn)備指令給PLC，通過通信協(xié)議，再將準(zhǔn)備指令發(fā)送給工業(yè)機器人，工業(yè)機器人到達初始準(zhǔn)備位置。PLC在接收到來自視覺處理系統(tǒng)傳來的預(yù)測數(shù)據(jù)后，通過數(shù)據(jù)處理，將數(shù)據(jù)輸出給機器人。機器人移動至預(yù)測位置，在抓取時刻利用末端執(zhí)行器實現(xiàn)閥口袋的動態(tài)抓取。

(3)機器人抓取到閥口袋后，按照既定程序，完成后續(xù)上袋工序，然后退后初始點，等待下一次抓取過程。

系統(tǒng)控制流程如圖7所示。

圖7 系統(tǒng)控制流程

5 實驗與分析

為了驗證系統(tǒng)性能，對編寫的程序及設(shè)備進行調(diào)試。視覺處理系統(tǒng)提取特征信息，PLC控制運行流程，機器人按照預(yù)測位姿進行抓取。大量實驗表明：圖像處理時間約為58.11 ms，每次抓取預(yù)測時間約為2 325.68 ms，機器人抓取速率為每分鐘6～7次，誤差精度均為1 mm以內(nèi)(見表2)，滿足后續(xù)生產(chǎn)要求。動態(tài)抓取過程見圖8，后續(xù)上袋過程如圖9所示。

表2 理論位置與機器人實際抓取位置對比

圖8 動態(tài)抓取過程

圖9 后續(xù)上袋過程

6 結(jié)論

文中詳細介紹了動態(tài)抓取閥口袋的整個流程，采用機器視覺、卡爾曼濾波及數(shù)據(jù)擬合的方式對輸送帶上運動的閥口袋進行位姿預(yù)測，然后在PLC的控制下，機器人實現(xiàn)了對閥口袋的動態(tài)抓取。該動態(tài)抓取系統(tǒng)滿足了生產(chǎn)中抓取精度要求，提高了工業(yè)自動化程度，對實現(xiàn)自動化粉體包裝有著較高的實用價值。