基于機(jī)器視覺的堆疊貨箱抓取系統(tǒng)設(shè)計(jì)

摘 要：針對冷鏈運(yùn)輸領(lǐng)域自動化水平低的問題，設(shè)計(jì)一套基于機(jī)器視覺的堆疊貨箱抓取系統(tǒng)?；贛atlab標(biāo)定工具完成相機(jī)標(biāo)定，得到坐標(biāo)系轉(zhuǎn)換數(shù)學(xué)模型，使用改進(jìn)Canny邊緣檢測算法提取圖像中堆疊貨箱的位置信息，通過PLC控制卸貨機(jī)器人按照既定程序?qū)崿F(xiàn)對冷鏈集裝箱中堆疊貨箱的抓取作業(yè)。實(shí)驗(yàn)結(jié)果表明：圖像處理時(shí)間小于2 ms，抓取效率可達(dá)5 s/件，抓取位置誤差小于5 mm，完全滿足工業(yè)生產(chǎn)要求。

關(guān)鍵詞：機(jī)器視覺；Canny邊緣檢測；PLC；卸貨機(jī)器人；抓取系統(tǒng)；堆疊貨箱

中圖分類號：TP242.3" 文獻(xiàn)標(biāo)志碼：A" 文章編號：1671-5276（2024）05-0199-04

Design of Grasping System of Stacked Container Based on Machine Vision

Abstract：Aimed at the low automation level of cold chain transportation， a set of stacking container grasping system based on machine vision was designed. Matlab calibration tool was used to complete the camera calibration to obtain the mathematical model of coordinate system transformation. Improved Canny edge detection algorithm was applied to extract the position information of stacked cargo boxes in the image. By PLC， the unloading robot was controlled to grasp stacked cargo boxes in cold chain containers according to the established procedures. The experimental results show that the image processing time is less than 2 ms， the grasping efficiency is up to 5 s/piece， and the grasping position error is less than 5 mm， well meeting the requirements of industrial production.

Keywords：machine vision；Canny edge detection；PLC；unloading robot；grasping system；stacked container

0 引言

我國進(jìn)口冷鏈產(chǎn)品數(shù)量很大，這些產(chǎn)品目前到港后由人工進(jìn)行卸貨，勞動強(qiáng)度高，工作效率低，而且冷鏈集裝箱內(nèi)溫度需保持-20℃，工作環(huán)境惡劣，卸貨人員需穿著厚重的保溫服進(jìn)行高強(qiáng)度搬運(yùn)工作，這些都導(dǎo)致了用工難和用工貴等問題。為了提高掏箱效率、減少工人機(jī)械式重復(fù)勞動，研發(fā)一套全自動化的抓取系統(tǒng)去替代人工進(jìn)行卸貨操作具有重大意義。

目前大多數(shù)自動化程度較高的抓取系統(tǒng)使用機(jī)器視覺進(jìn)行識別定位。屠海斌［1］設(shè)計(jì)了一套基于機(jī)器視覺的搬運(yùn)抓取機(jī)器人系統(tǒng)，首先通過視覺圖像處理識別定位目標(biāo)物體，然后控制機(jī)械臂按照規(guī)劃好的路徑進(jìn)行搬運(yùn)工作。李雪梅等［2］設(shè)計(jì)了一套基于視覺引導(dǎo)的閥口袋識別抓取系統(tǒng)，通過對閥口袋的特征提取進(jìn)行目標(biāo)定位，PLC控制機(jī)械臂實(shí)現(xiàn)了對閥口袋的抓取。王天琪［3］設(shè)計(jì)了一種基于視覺伺服的料庫抓取系統(tǒng)，通過分水嶺算法將各個(gè)零件從料庫中分割出來，然后提取圖像距特征求出各個(gè)工件的位置，最終實(shí)現(xiàn)基于圖像的視覺伺服抓取。但上述識別抓取系統(tǒng)存在識別時(shí)間長、抓取成功率不高等問題，不滿足冷鏈卸貨快速、可靠的要求。本文以冷鏈集裝箱中的堆疊貨箱為研究對象，針對其作業(yè)空間有限、冷鏈貨箱數(shù)量多、難識別及難抓取等問題，提出了一種新型的抓取系統(tǒng)，利用機(jī)器視覺對堆疊貨箱進(jìn)行識別分割定位，上位機(jī)做好路徑規(guī)劃之后發(fā)送給PLC，最后PLC控制卸貨機(jī)器人實(shí)現(xiàn)抓取卸貨操作。

1 系統(tǒng)總體搭建

1.1 系統(tǒng)硬件構(gòu)建

基于機(jī)器視覺的堆疊貨箱抓取系統(tǒng)主要由自主研發(fā)的卸貨機(jī)器人、視覺系統(tǒng)以及PLC控制系統(tǒng)3部分組成。

針對冷鏈集裝箱內(nèi)堆疊貨箱場景，自主研發(fā)了一套可自主移動的多模式抓取機(jī)器人。其主要由底座小車、各軸運(yùn)動機(jī)構(gòu)、吸盤架、伸縮托輥以及氣路等組成。其中吸盤架由吸盤托架、可伸縮的上吸盤以及下吸盤組成，可針對貨物位置選擇水平或垂直吸取，卸貨機(jī)器人組成如圖1所示。

PLC控制系統(tǒng)由匯川AM403 PLC、IO擴(kuò)展模塊、各軸伺服驅(qū)動器與伺服電機(jī)、激光位移傳感器以及各類外部元器件組成。

視覺系統(tǒng)由MV-CS060-10GM?？迪鄼C(jī)、白色LED開孔面光源以及配有Haclon的計(jì)算機(jī)組成。

1.2 系統(tǒng)工作原理

基于機(jī)器視覺的堆疊貨箱抓取系統(tǒng)的工作原理如圖2所示。在系統(tǒng)準(zhǔn)備就緒后，首先在激光位移傳感器的實(shí)時(shí)反饋下控制小車移動到距離貨箱合適位置，確保全部貨物均在相機(jī)有效視場后進(jìn)行拍照；然后視覺系統(tǒng)進(jìn)行圖像處理提取每一個(gè)貨箱的位置坐標(biāo)，上位機(jī)在獲取到貨箱坐標(biāo)之后進(jìn)行抓取路徑規(guī)劃并將規(guī)劃好的路徑發(fā)送給PLC執(zhí)行；PLC控制各軸伺服驅(qū)動器和電機(jī)運(yùn)動到相應(yīng)的位置進(jìn)行抓取卸貨操作；每一次抓完之后再進(jìn)行拍照，確認(rèn)沒有少抓漏抓等情況，否則返回上一層重新抓取。以此循環(huán)直到一面貨箱全部抓取完畢。然后再控制小車移動到拍照位置，重復(fù)同樣的步驟，直到集裝箱中的貨物全部抓取完畢。

2 圖像識別檢測及定位

2.1 目標(biāo)識別檢測

視覺系統(tǒng)中相機(jī)的標(biāo)定是重要環(huán)節(jié)，它決定視覺系統(tǒng)是否能準(zhǔn)確定位目標(biāo)物體的真實(shí)位置［4］。普通相機(jī)往往采用小孔成像模型，這涉及到4個(gè)坐標(biāo)系之間的轉(zhuǎn)換，分別是世界坐標(biāo)系、相機(jī)坐標(biāo)系、圖像坐標(biāo)系和像素坐標(biāo)系［5］。這4個(gè)坐標(biāo)系之間的轉(zhuǎn)化關(guān)系如式（1）所示。

計(jì)算得到的內(nèi)參矩陣為

畸變系數(shù)為-0.175%。

此外還需要進(jìn)行手眼標(biāo)定以及像素當(dāng)量標(biāo)定，通過手眼標(biāo)定可以求得世界坐標(biāo)系與相機(jī)坐標(biāo)系的位置轉(zhuǎn)換關(guān)系；通過像素當(dāng)量標(biāo)定可以得到尺寸因子，實(shí)現(xiàn)不同物距下像素尺寸到實(shí)際尺寸的轉(zhuǎn)換［9］。

2.2 目標(biāo)識別分割及其定位

針對冷鏈集裝箱內(nèi)堆疊貨箱的特點(diǎn)，基于Haclon軟件設(shè)計(jì)了一套堆疊貨箱識別分割及定位的方法。圖像處理流程如圖3所示。

1）圖像預(yù)處理

圖像預(yù)處理的主要目的是消除圖像中無關(guān)的信息，突出目標(biāo)信息，從而改進(jìn)特征抽取、圖像分割、匹配和識別的可靠性［10］。相機(jī)采集到的原始灰度圖像如圖4（a）所示。由于貨箱與集裝箱環(huán)境存在灰度差，可以通過閾值分割將堆疊貨箱與集裝箱背景進(jìn)行分割，閾值分割后的圖像如圖4（b）所示?？梢钥闯鋈匀挥胁糠直尘案蓴_存在，這就需要進(jìn)行腐蝕、膨脹、開運(yùn)算以及閉運(yùn)算等一系列形態(tài)學(xué)操作去消除掉噪聲，從而只保留貨箱區(qū)域，經(jīng)過形態(tài)學(xué)操作后的圖像如圖4（c）所示。通過區(qū)域處理即可獲得貨箱區(qū)域位置的圖像，貨箱區(qū)域圖像如圖4（d）所示。

2）改進(jìn)Canny邊緣檢測

Canny邊緣檢測主要分為4步來實(shí)現(xiàn)，分別是高斯模糊、計(jì)算梯度、非極大值抑制以及雙閾值連接［11］。由于貨箱的邊緣為水平或垂直線條，基于這一特征進(jìn)行篩選，通過最小二乘法求得線段斜率，只保留水平和垂直方向，減少運(yùn)算量，縮短了圖像處理時(shí)間?；诟倪M(jìn)后的Canny算法檢測效果如圖4（e）所示。

3）貨箱分割定位

經(jīng)過改進(jìn)Canny邊緣檢測得到的是斷斷續(xù)續(xù)線段，還需進(jìn)行線條合并操作以分割出獨(dú)立的貨箱，線條合并操作結(jié)果如圖4（f）所示。對合并后的線條進(jìn)行區(qū)域化處理即可將每一個(gè)貨箱獨(dú)立分割出來，得到每一個(gè)貨箱的最小外接矩形，貨箱分割結(jié)果如圖4（g）所示。對每一個(gè)獨(dú)立分割出來的貨箱進(jìn)行最小外接矩形處理，從而得到每一個(gè)貨箱的中心點(diǎn)位置坐標(biāo)與傾斜角度，如圖4（h）所示。

經(jīng)過上述一系列圖像處理操作之后，得到了每一個(gè)貨箱在像素坐標(biāo)下的位置，然后將每一個(gè)貨箱位置的像素坐標(biāo)代入坐標(biāo)系，轉(zhuǎn)化數(shù)學(xué)模型即可求得每一個(gè)貨箱在世界坐標(biāo)系下的位置坐標(biāo)與傾斜角度。

3 系統(tǒng)實(shí)現(xiàn)

在將視覺系統(tǒng)、PLC控制系統(tǒng)以及卸貨機(jī)器人硬件搭建完成之后，還需要進(jìn)行PLC控制程序設(shè)計(jì)以及上位機(jī)軟件設(shè)計(jì)。上位機(jī)軟件是基于Visual Studio 2019開發(fā)環(huán)境，采用C#語言編寫。

通過軟硬件的調(diào)試，抓取系統(tǒng)工作流程如下：

1）小車自動移動到拍攝位置，拍攝的照片發(fā)送給上位機(jī)進(jìn)行圖像處理，然后通過坐標(biāo)變換得到貨箱的實(shí)際位置；

2）在得到貨箱的位置信息之后進(jìn)行路徑規(guī)劃，然后將規(guī)劃好的路線發(fā)送給PLC，最后PLC控制卸貨機(jī)器人進(jìn)行抓取卸貨操作；

3）在完成一次循環(huán)之后，視覺系統(tǒng)再次拍照，從而得到最新的貨箱位置信息，然后再進(jìn)行抓取卸貨，直到貨箱全部抓取完畢。系統(tǒng)控制流程如圖5所示。

4 工程驗(yàn)證

為了驗(yàn)證系統(tǒng)的可行性，在某集團(tuán)進(jìn)行了大量的抓取實(shí)驗(yàn)，抓取的堆疊貨箱長寬高尺寸為530mm×300mm×250mm，抓取數(shù)量為10 000個(gè)。抓取結(jié)果表明：視覺圖像處理時(shí)間約2ms，識別成功率可達(dá)97%以上，可牢固抓取25kg以內(nèi)的貨箱，貨箱抓取精度在5mm以內(nèi)，如表1所示，抓取效率可達(dá)到5s/件，抓取系統(tǒng)卸貨過程如圖6所示。

5 結(jié)語

本文設(shè)計(jì)了一套基于機(jī)器視覺的堆疊貨箱抓取系統(tǒng)，采用機(jī)器視覺、改進(jìn)Canny邊緣檢測以及最小外接矩形的方法得到貨箱的像素坐標(biāo)；再通過坐標(biāo)變換得到每一個(gè)貨箱的世界坐標(biāo)位置后進(jìn)行路徑規(guī)劃，最后卸貨機(jī)器人在PLC的控制下按照既定路徑實(shí)現(xiàn)對堆疊貨箱的抓取卸貨。該系統(tǒng)于2022年11月在某集團(tuán)進(jìn)行了大量的抓取實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明：該抓取系統(tǒng)圖像處理時(shí)間2ms，定位精度5mm，抓取成功率可達(dá)97%，能夠很好地滿足工業(yè)生產(chǎn)，對實(shí)現(xiàn)自動化卸貨提供很高的實(shí)用價(jià)值。

參考文獻(xiàn)：

［1］ 屠海斌. 基于機(jī)器視覺的搬運(yùn)機(jī)器人系統(tǒng)研究與軟件實(shí)現(xiàn)［D］. 南京：東南大學(xué)，2015.

［2］ 李雪梅，李喆，張鑫，等. 基于機(jī)器視覺的閥口袋動態(tài)抓取系統(tǒng)設(shè)計(jì)［J］. 機(jī)床與液壓，2022，50（12）：77-82.

［3］ 王天琪. 基于視覺伺服的機(jī)器人料庫抓取系統(tǒng)研究［D］. 常州：江蘇理工學(xué)院，2020.

［4］ 苗彭. 基于視覺的機(jī)械臂工件抓取系統(tǒng)研究［D］. 天津：天津理工大學(xué)，2019.

［5］ 李曉曉，吳昊榮，孫付春，等. 基于Halcon的單目相機(jī)標(biāo)定方法與測量實(shí)驗(yàn)［J］. 山東工業(yè)技術(shù)，2022（5）：8-12.

［6］ 占光潔，丁濤，馬志斌. 一種基于無人機(jī)的錢塘江涌潮高度及傳播速度測量方法：CN114396921A［P］. 2022-04-26.

［7］ DUAN Y，YU Y L，LI P，et al. High-precision camera calibration based on a 1D target［J］. Optics Express，2022，30（20）：36873.

［8］ 孫浩然. 大撓性衛(wèi)星高精度姿態(tài)控制技術(shù)研究［D］. 哈爾濱：哈爾濱工業(yè)大學(xué)，2021.

［9］ 丁鶴華，杜坡，段振云. 大直徑零件機(jī)器視覺轉(zhuǎn)角測量標(biāo)定方法［J］. 機(jī)械管理開發(fā)，2022，37（7）：64-66.

［10］ 楊正華，朱健. 基于機(jī)器視覺的閥芯自動裝配系統(tǒng)［J］. 機(jī)械制造與自動化，2021，50（1）：231-234，236.

［11］ VEMURU K V. Implementation of the canny edge detector using a spiking neural network［J］. Future Internet，2022，14（12）：371.