基于圖像識(shí)別的生產(chǎn)線零件分揀系統(tǒng)

摘 要： 針對工業(yè)領(lǐng)域的生產(chǎn)線零件分揀系統(tǒng)進(jìn)行研究，其零件識(shí)別采用圖像識(shí)別方法。主要針對工件圖像的預(yù)處理進(jìn)行了研究，使用加權(quán)平均的濾波方法對工件圖像進(jìn)行去噪處理，使用基于雙峰法的閾值分割方法對去噪圖像進(jìn)行分割，并使用凱西算子提取圖像中的工件邊緣。同時(shí)對工件位置的定位方法進(jìn)行了研究，為控制機(jī)械手抓取零件提供依據(jù)，用三菱公司的RV?4FL工業(yè)機(jī)器人進(jìn)行工件分揀實(shí)驗(yàn)，使用上位機(jī)的Matlab軟件實(shí)現(xiàn)工件零件的圖像處理、識(shí)別和定位。

關(guān)鍵詞： 圖像識(shí)別； 零件分揀； 工件定位； 生產(chǎn)線

中圖分類號(hào)： TN957.52?34； TP391 文獻(xiàn)標(biāo)識(shí)碼： A 文章編號(hào)： 1004?373X（2016）12?0062?04

Abstract： The sorting system of parts in the production line in the field of industry is researched in this paper， in which the image recognition technology is used to recognize the parts in production line. The study on pretreatment of workpiece images is the important point of the paper. The method of weight average filtering is adopted to achieve on the denoising processing of workpiece images. The threshold segmentation method based on the two?peak method is used to segment the denoised image. The Casey operator is employed to extract the workpiece edge in the image. The positioning method of workpiece location is studied to provide basis for controlling the manipulator to grasp parts. PC Matlab software is used to realize image processing， identification and location of workpieces. The workpiece sorting experiment was conducted with sorting robot （Mitsubishi RV?4FL industrial robot）.

Keywords： image recognition； part sorting； workpiece positioning； production line

0 引 言

目前在整個(gè)工業(yè)生產(chǎn)領(lǐng)域都需要應(yīng)用機(jī)器視覺，比較具有代表性的行業(yè)有物流、醫(yī)學(xué)、農(nóng)業(yè)、半導(dǎo)體以及汽車制造等。在研究機(jī)器視覺時(shí)需要計(jì)算機(jī)技術(shù)、光電子學(xué)、信號(hào)處理、圖像處理以及人工智能等多學(xué)科知識(shí)作為支撐。為了有效地處理工業(yè)生產(chǎn)線上的雜亂工件，本文通過研究得到了一種視覺算法，該算法能夠識(shí)別和定位工件的位置，工業(yè)機(jī)器人利用該算法能夠分揀工件。

通過在工業(yè)機(jī)器人分揀技術(shù)中應(yīng)用機(jī)器視覺來識(shí)別和定位工件，機(jī)器人在接收到攝像機(jī)傳輸過來的工件坐標(biāo)以后就可以由機(jī)器人完成分揀工作。在工業(yè)生產(chǎn)線上分揀技術(shù)發(fā)揮著非常重要的作用，通過機(jī)器視覺技術(shù)能夠有效地提升生產(chǎn)效率，改善產(chǎn)品質(zhì)量[1?3]。

1 零件分揀機(jī)器人總體結(jié)構(gòu)

零件分揀機(jī)器人總體結(jié)構(gòu)如圖1所示，由工控機(jī)、工業(yè)相機(jī)、運(yùn)動(dòng)控制卡、工業(yè)分揀機(jī)器人、傳感器單元以及通信總線等組成。通過全自動(dòng)編程可以對工業(yè)機(jī)器手的工作柔性進(jìn)行控制。通過機(jī)器視覺系統(tǒng)的應(yīng)用可以有效識(shí)別物料以及控制精度，并利用運(yùn)輸機(jī)來傳遞物料。在原型機(jī)上利用自動(dòng)分揀系統(tǒng)能夠檢測傳輸速度、動(dòng)態(tài)抓取以及自動(dòng)分揀。

工業(yè)相機(jī)能夠不斷的識(shí)別進(jìn)入到分揀作業(yè)區(qū)的目標(biāo)對象，并進(jìn)行圖像的采集，通過Matlab軟件分析和運(yùn)算采集到的圖像，同時(shí)分析分揀目標(biāo)的運(yùn)動(dòng)路徑、識(shí)別目標(biāo)對象分類信息以及變換目標(biāo)對象坐標(biāo)，這樣通過控制機(jī)器人就能夠完成分揀動(dòng)作[4]。

2 工件圖像處理

在應(yīng)用機(jī)器視覺的過程中，為了抑制和消除圖像中的無效信息，更加有效地檢測有效信息，并減少系統(tǒng)的數(shù)據(jù)存儲(chǔ)量，需要采取有效地方法運(yùn)算和處理原始工件圖像，這樣能夠有效的提升機(jī)器視覺系統(tǒng)的穩(wěn)定性以及測量精度。工件圖像處理流程圖[5]如圖2所示。

常用的預(yù)處理方法是將彩色圖像轉(zhuǎn)變?yōu)榛叶葓D像，通過閾值變換來去除噪聲。本文在工件圖像去噪的過程中主要應(yīng)用了加權(quán)平均的濾波方法。作為一種局部平滑算法，采用加權(quán)平均濾波算法能夠?qū)D像的邊緣細(xì)節(jié)進(jìn)行有效保留。在應(yīng)用時(shí)應(yīng)當(dāng)重點(diǎn)關(guān)注如何選取各點(diǎn)權(quán)值系數(shù)、如何選擇方向和形狀、如何控制領(lǐng)域大小。其中中心像素點(diǎn)P（i，j）指的就是位于領(lǐng)域中心待處理的像素點(diǎn)。通常按照下面的原則進(jìn)行權(quán)值的選擇：

首先，相比于其他像素點(diǎn)，中心像素點(diǎn)P（i，j）應(yīng)當(dāng)被賦予較大的權(quán)值；然后，在確定權(quán)值時(shí)參考與中心像素點(diǎn)P（i，j）的距離，如果像素點(diǎn)距離較近就賦予較大的權(quán)值，相反，當(dāng)距離較遠(yuǎn)時(shí)就賦予較小的權(quán)值；最后，分析像素點(diǎn)在灰度值上是否與中心像素點(diǎn)P（i，j）接近，如果灰度值相似性較大就賦予較大的權(quán)值，相反，如果相似性較小時(shí)就賦予較小的權(quán)值。

本文采用改進(jìn)算法的權(quán)值為灰度梯度的倒數(shù)，其中濾波窗口為3×3 領(lǐng)域，領(lǐng)域內(nèi)的灰度矩陣[6]為：

這里需要將標(biāo)準(zhǔn)工件模板的圖像顏色進(jìn)行轉(zhuǎn)換，由彩色圖像向灰度圖像轉(zhuǎn)換，并進(jìn)行閾值變換。采用二值化處理方法對工件圖像進(jìn)行處理，經(jīng)過結(jié)果變換以后0和 255是工件圖像中的兩個(gè)值。

按照下式進(jìn)行閾值變換：

[Fi，j=0 ， fi，j

式中：F（i，j）為圖像；灰度值0表示黑色；灰度值255表示白色；t表示閾值[7]。

在進(jìn)行圖像分割的過程中主要采用基于閾值的分割方法，其中用于分割的閾值可以通過圖像的灰度直方圖信息來獲得。通過對一定數(shù)量閾值的應(yīng)用能夠?qū)D像的灰度級(jí)進(jìn)行劃分，當(dāng)像素相同時(shí)則認(rèn)為是同一個(gè)物體。對于一些背景和目標(biāo)處于不同灰度級(jí)范圍內(nèi)的圖像比較適用。

主要按照以下兩種步驟應(yīng)用閾值化分割算法：首先對閾值進(jìn)行確定，本次研究中主要通過實(shí)驗(yàn)獲取閾值；然后通過比較像素值以及分割閾值就可以對像素進(jìn)行劃分。浮動(dòng)閾值法以及固定閾值法是目前比較常用的閾值變換方法。本次研究中閾值的獲取通過雙峰法來實(shí)現(xiàn)，下面詳細(xì)介紹雙峰法的基本思想[8]。

應(yīng)用雙峰法的基礎(chǔ)是圖像主要包括背景和前景兩個(gè)部分，前后兩景在灰度直方圖上都成高峰，而圖像的閾值在雙峰之間的最低谷處，其具體的表達(dá)式：

[Fx=0， x

式中：T表示閾值。

使用上述方法得到的零件二值圖和直方圖如圖3所示。

通過應(yīng)用某種算法能夠?qū)D像中背景和圖像間的交接線提取出來，進(jìn)而完成工件邊緣的檢測。當(dāng)圖像中的灰度發(fā)生突然變化時(shí)所形成的區(qū)域邊界就是工件圖像的邊緣。通過圖像灰度分布的梯度能夠?qū)D像灰度的變化反映出來，所以邊緣檢測算子可以通過局部圖像微分技術(shù)來獲取。圖4為邊緣檢測方法流程圖。

本次研究中的工件邊緣是通過凱西算子來提取的。在提取工件邊緣時(shí)首先通過對二維高斯函數(shù)一階導(dǎo)數(shù)的應(yīng)用來平滑工件圖像，如式（5）所示為圖像與二維高斯函數(shù)的卷積：

3 工件位置確定

在進(jìn)行實(shí)驗(yàn)以前應(yīng)當(dāng)將手眼標(biāo)定的結(jié)果變換成機(jī)器人抓取時(shí)需要的位置坐標(biāo)，首先將相機(jī)坐標(biāo)變換為機(jī)器人坐標(biāo)，這樣就能夠產(chǎn)生合適的機(jī)器人命令[10?11]。工件的坐標(biāo)位置在機(jī)器人抓取以前就可以通過圖像來獲取。如式（8）所示為相機(jī)靜止時(shí)所對應(yīng)的方程：[baseHobj=baseHcam?camHobj=Camrapose-1?camHobj] （8）

觀察手爪坐標(biāo)系以及工具坐標(biāo)系是否具有相同的位置關(guān)系，當(dāng)兩者不重合時(shí)就可以得到相應(yīng)的抓取方程式：

應(yīng)當(dāng)在確定手爪坐標(biāo)系與工具坐標(biāo)系十分重合的基礎(chǔ)上抓取實(shí)驗(yàn)?zāi)繕?biāo)物，本次設(shè)計(jì)中手爪坐標(biāo)系和機(jī)器人工具坐標(biāo)系是不重合的，通過測量獲取Z方向的距離，在X以及Y方向的坐標(biāo)不發(fā)生變化。手爪坐標(biāo)系的位姿關(guān)系可以通過工具坐標(biāo)系的位置獲取?？梢缘玫焦ぞ咦鴺?biāo)系與基座之間的位姿關(guān)系，這樣機(jī)器人在抓取時(shí)就能夠獲得目標(biāo)的相對位置[12]。

利用計(jì)算機(jī)無法直接獲取工件的空間位置，這里需要通過編制程序來完成，在利用機(jī)械手抓取目標(biāo)物時(shí)需要采用合適的方法確定工件坐標(biāo)系與基座之間的位置關(guān)系，按照下面的步驟進(jìn)行坐標(biāo)變換：

（1） 確定標(biāo)定平面以及攝像機(jī)的位姿（camHwcs），通?？梢酝ㄟ^人工測量方式獲取該參數(shù)，本文使用方法是在機(jī)器人手爪上放置制作好的標(biāo)定，然后利用算子可以直接讀取所拍攝的圖像。

（2） 顯示樣本圖像，圖像中工件的數(shù)目N可以通過工件的特征來獲取，同時(shí)對圖像中的工件進(jìn)行預(yù)處理。

（3） 確定工件表面與攝像機(jī)的位姿，首先在工件表面建立坐標(biāo)系，將標(biāo)定板表面與工件表面進(jìn)行重合，所建立的坐標(biāo)系為refHgrasp；然后對相機(jī)的外部參數(shù)進(jìn)行讀取，這樣工件表面坐標(biāo)系以及攝像機(jī)之間的位置關(guān)系camHgrasp就可以得到。

（4） 確定工件與基座之間的位姿（baseHgrasp），首先得到機(jī)器人手眼標(biāo)定的參數(shù)，然后根據(jù)步驟（3）得到的camHgrasp就可以獲取工件和基座之間的位置關(guān)系baseHgrasp。

（5） 確定工具坐標(biāo)系和基座之間的位姿，工具坐標(biāo)系和基座之間的位姿（baseHtool）可以通過工具坐標(biāo)系和機(jī)器人手爪之間的位姿（toolHgripper）來獲取，然后通過對機(jī)器人的控制就可以完成目標(biāo)工件的抓取[13?14]。

標(biāo)定位置變換具體流程如圖5所示。

4 工件分揀實(shí)驗(yàn)

本文使用的分揀機(jī)器人為三菱公司的RV?4FL工業(yè)機(jī)器人。使用NI1742型工業(yè)攝像機(jī)，采集的圖像分辨率為640×480。運(yùn)動(dòng)控制卡采用雷賽公司的DMC2410型運(yùn)動(dòng)控制卡。本文使用上位機(jī)的Matlab軟件實(shí)現(xiàn)工件零件的圖像處理、識(shí)別和定位?；贛atlab的工件識(shí)別GUI界面如圖6所示。

5 結(jié) 論

本文針對工業(yè)領(lǐng)域的生產(chǎn)線零件分揀系統(tǒng)進(jìn)行研究，其零件識(shí)別采用圖像識(shí)別方法。主要針對工件圖像的預(yù)處理和工件定位方法進(jìn)行了研究。最后使用三菱公司的RV?4FL工業(yè)機(jī)器人進(jìn)行工件分揀實(shí)驗(yàn)，使用上位機(jī)的Matlab軟件實(shí)現(xiàn)工件零件的圖像處理、識(shí)別和定位。

參考文獻(xiàn)

[1] 李和平，陳育新.基于LabVIEW工業(yè)機(jī)器人自動(dòng)分揀系統(tǒng)設(shè)計(jì)[J].機(jī)床與液壓，2015，43（9）：90?93.

[2] 許凡.視覺引導(dǎo)的抓取機(jī)器人控制技術(shù)的研究與開發(fā)[D].無錫：江南大學(xué)，2014.

[3] 朱海濤.基于位置視覺伺服的運(yùn)動(dòng)工件分揀系統(tǒng)設(shè)計(jì)[D].杭州：浙江工業(yè)大學(xué)，2014.

[4] 李明.運(yùn)動(dòng)食品機(jī)器視覺的識(shí)別與定位技術(shù)的研究[D].哈爾濱：哈爾濱商業(yè)大學(xué)，2014.

[5] 王鴻博，李建東，崔曉暉，等.基于工業(yè)機(jī)器人的分揀生產(chǎn)線群控通信系統(tǒng)設(shè)計(jì)[J].制造技術(shù)與機(jī)床，2016（3）：93?98.

[6] 郝明.機(jī)器視覺在機(jī)器人雜亂工件分揀中的應(yīng)用[D].沈陽：沈陽工業(yè)大學(xué)，2015.

[7] 管經(jīng)緯.基于機(jī)器視覺的工件自動(dòng)分揀系統(tǒng)研究[D].上海：東華大學(xué)，2015.

[8] 魏敬強(qiáng).基于雙目立體視覺的工件識(shí)別定位與抓取系統(tǒng)研究[D].西安：西安理工大學(xué)，2009.

[9] 賀雅琴.自動(dòng)物料分揀機(jī)器人系統(tǒng)的關(guān)鍵技術(shù)研究[D].廣州：華南理工大學(xué)，2011.

[10] 趙彬.基于機(jī)器視覺的工業(yè)機(jī)器人分揀技術(shù)研究[D].沈陽：沈陽工業(yè)大學(xué)，2013.

[11] 潘武.基于機(jī)器視覺的工件的識(shí)別和定位[D].北京：北京化工大學(xué)，2012.

[12] 李春.基于機(jī)器視覺的焊接工件識(shí)別與焊接軌跡校正方法研究[D].廣州：華南理工大學(xué)，2015.

[13] 梁元月.基于雙目立體視覺的工件識(shí)別定位方法研究[D].西安：西安理工大學(xué)，2008.

[14] 李陽君.基于視覺的工件識(shí)別定位方法的研究[D].西安：西安理工大學(xué)，2006.