基于機(jī)器視覺的水果分揀系統(tǒng)

盧勇威

（廣西職業(yè)技術(shù)學(xué)院，廣西南寧530226）

新產(chǎn)品開發(fā)

基于機(jī)器視覺的水果分揀系統(tǒng)

盧勇威

（廣西職業(yè)技術(shù)學(xué)院，廣西南寧530226）

為了解決人為分揀水果質(zhì)量低、效率差等問題，提出了基于機(jī)器視覺的水果智能分揀方法。通過高速相機(jī)對傳送線上的水果圖像進(jìn)行采集，并采用圖像處理等算法獲得水果的形狀、顏色等特征量，得出水果的等級。然后由PLC控制并聯(lián)機(jī)器人動作對水果進(jìn)行分級。

水果分揀；圖像處理；PLC；并聯(lián)機(jī)器人；分級

目前，國內(nèi)對水果品質(zhì)的檢測大部分還是傳統(tǒng)的人工檢測，這種人工檢測是通過人為的感官對水果的質(zhì)量好壞進(jìn)行判斷。這種檢測方法判斷出來的水果質(zhì)量良莠不齊，而且效率低下。隨著社會的發(fā)展，人工成本的提高，對水果分揀智能化提出了更高的要求[1]。因此實(shí)現(xiàn)水果分揀智能化在高速發(fā)展的農(nóng)業(yè)現(xiàn)代化進(jìn)程中顯得尤為重要。

傳統(tǒng)工業(yè)機(jī)器人已經(jīng)可以代替人工對大部分的產(chǎn)品進(jìn)行搬運(yùn)。但基于示教或離線編程的工業(yè)機(jī)器人，對運(yùn)動產(chǎn)品的擺放和工作的環(huán)境都有嚴(yán)格的要求，而且這種方法并不能對產(chǎn)品的質(zhì)量進(jìn)行識別。工業(yè)機(jī)器人要在生產(chǎn)線中進(jìn)行分揀抓取，就需要在工業(yè)機(jī)器人基礎(chǔ)上構(gòu)建機(jī)器視覺系統(tǒng)，使得機(jī)器人具有相似于人眼的功能。擁有視覺系統(tǒng)的機(jī)器人通過高速相機(jī)和圖像處理算法[2]，即可分辨出水果的好壞等級以及水果在流水線中的精確位置。

1 水果分揀系統(tǒng)的組成及原理

本文以并聯(lián)機(jī)器人為主體，對基于機(jī)器視覺的水果分揀系統(tǒng)研究，如圖1所示。水果分揀系統(tǒng)主要由相機(jī)、圖像采集卡、工控電腦、PLC、傳送帶和并聯(lián)機(jī)器人組成。其中相機(jī)和PLC均使用以太網(wǎng)傳輸與工控電腦相連，PLC再通過以太網(wǎng)與并聯(lián)機(jī)器人通訊從而控制機(jī)器人動作[3]。系統(tǒng)的軟件由自主設(shè)計(jì)的分揀控制平臺及MOTOCOM動態(tài)鏈接庫構(gòu)成。

圖1 水果分揀系統(tǒng)結(jié)構(gòu)示意圖

系統(tǒng)的工作原理為：水果在傳送線1上不斷地進(jìn)入分揀區(qū)域，在對射傳感器感應(yīng)到水果后，計(jì)算機(jī)對連續(xù)高速地拍照的相機(jī)進(jìn)行控制，然后高速相機(jī)將采集到的圖像上傳到計(jì)算機(jī)進(jìn)行分析運(yùn)算，通過分析分揀目標(biāo)的運(yùn)動軌跡、識別水果的等級差異、變換水果的坐標(biāo)等信息，從而實(shí)現(xiàn)工業(yè)機(jī)器人分揀動作。1號機(jī)器人負(fù)責(zé)把形狀大的水果放在傳送線2，2號機(jī)器人負(fù)責(zé)把形狀小的水果放在傳送線3，其中程序?qū)㈩伾煌乃榱淤|(zhì)品，機(jī)器人將不會撿取該水果，劣質(zhì)水果會在傳送線1上送進(jìn)廢品箱，如圖2所示。

圖2 水果分揀系統(tǒng)控制流程圖

2 基于視覺系統(tǒng)的水果等級辨別

2.1 機(jī)器視覺軟件設(shè)計(jì)

本項(xiàng)目以VC開發(fā)為工具，并聯(lián)機(jī)器人的機(jī)器視覺軟件是在對Sherlock軟件進(jìn)行二次開發(fā)上形成，軟件框圖如圖3所示。采用VC自主開發(fā)的程序主要完成數(shù)據(jù)轉(zhuǎn)換與存儲、人機(jī)界面、輸入輸出、視覺算法等功能，嵌入的Sherlock軟件主要完成圖像增強(qiáng)、圖像選擇、邊緣提取[4]、測量分析等功能，如圖3所示。

圖3 機(jī)器視覺軟件框圖

以識別柑橘為例，機(jī)器視覺軟件開發(fā)的步驟如下：

（1）首先，構(gòu)建MFC的工程項(xiàng)目，并在工程中添加DLL文件，組建VC工程和Sherlock的連接：#import“C：SherlockinIpeEngCtrl.dll”.

（2）將IpeDspCtrl控件添加到工程對話框中，并添加相應(yīng)變量m_Display.IpeDspCtrl控件是Sherlock開發(fā)的VC、VB二次開發(fā)工具，界面友好，主要用于VC、VB編程環(huán)境接收Sherlock所采集的圖像。

（3）為保證機(jī)器視覺軟件的實(shí)時運(yùn)行，建立后臺運(yùn)行的與Sherlock相鏈接的類m_Engine：

m_Engine.CreateInstance（CLSID_Engine）；

m_Engine-＞EngInitialize（）；//后臺運(yùn)行Sherlock；

m_pEvents=new CEngEventSink（this）；

m_pEvents-＞AddRef（）.

（4）在工程對話框中鏈接Sherlock所采集的圖像：

I_ENG_ERROR nRet=m_Engine-＞Inv-Load（“Simple0.ivs”）；

m_Display.ConnectEngine（m_Engine-＞GetEngineObj（））；

m_Display.ConnectImgWindow（“imgA”）；//載入Sherlock采集圖像Simple0.ivs.

（5）對Sherlock所采集圖像，在工程對話框中進(jìn)行分析處理，如視覺算法、特征提取、數(shù)據(jù)傳輸、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)儲存等，實(shí)現(xiàn)運(yùn)動視頻的定位、自動分級與追蹤。

（6）完成機(jī)器視覺處理之后，退出后臺運(yùn)行的Sherlock：

m_Engine-＞InvModeSet（I_EXE_MODE_HALT）；//退出線程

m_Engine-＞EngTerminate（）；//退出Sherlock.

2.2 相機(jī)標(biāo)定

本系統(tǒng)使用的相機(jī)是美國的Cognex相機(jī)，型號為7402C.該型號的相機(jī)分辨率為1 280*1 024，視覺傳感器的類型是CMOS傳感器。通過以太網(wǎng)接口將相機(jī)與計(jì)算機(jī)連接，即可實(shí)現(xiàn)數(shù)據(jù)的傳輸。在視覺系統(tǒng)的開發(fā)過程中，相機(jī)的標(biāo)定是該系統(tǒng)的關(guān)鍵步驟，其目的是建立起二維坐標(biāo)系和三維世界坐標(biāo)系之間的關(guān)系?？梢砸罁?jù)高速相機(jī)標(biāo)定的結(jié)果，目標(biāo)在機(jī)器人坐標(biāo)系中的位置可從目標(biāo)在圖像中的位置運(yùn)算出來。相機(jī)標(biāo)定方法使用的是直接線性法（DLT）[5]，在該方法的基礎(chǔ)上同時考慮成像過程中的非線性因素，再通過最小二乘法計(jì)算出相機(jī)模型的參數(shù)。利用Matlab實(shí)現(xiàn)了直接線性法標(biāo)定后，再用實(shí)驗(yàn)對標(biāo)定結(jié)果進(jìn)行了確認(rèn)。該標(biāo)定結(jié)果使得分揀系統(tǒng)可以較精確的定位場景中的目標(biāo)，為后續(xù)的目標(biāo)跟蹤及機(jī)器人抓取提供了基礎(chǔ)。

2.3 圖像處理

在相機(jī)實(shí)際收集的水果圖像的過程中，由于受到相關(guān)因素的影響，在水果圖像中會存在噪聲，導(dǎo)致圖像質(zhì)量低，分級效果差。所以在視覺系統(tǒng)的研究中要進(jìn)行圖像的預(yù)處理去噪。本系統(tǒng)的圖像去噪使用了均值濾波器處理的方法。均值濾波器用濾波掩膜確定的鄰域內(nèi)像素的平均灰度值[6]，并將其代替圖像中的每個像素點(diǎn)的灰度值，從而達(dá)到消除噪聲的效果。

2.4 等級辨別

該水果分揀系統(tǒng)所使用的水果是柑橘，對水果等級劃分針對了水果的表面顏色與大小這一項(xiàng)目進(jìn)行研究，而水果的缺陷，整齊度等指標(biāo)不在這次的研究范圍內(nèi)。水果等級劃分的定義中，將大而紅的水果定為一等品，將小而紅的水果定為二等品，將綠色的水果定為劣等品。圖像采集界面如圖4所示。

圖4 圖像采集界面

2.4.1 水果大小特征

判斷水果的大小，這里涉及到面積的運(yùn)算，使用的方法是把讀取圖像的像素轉(zhuǎn)化為面積。首先是作幾何標(biāo)定，利用標(biāo)定后的結(jié)果來換算出水果的面積大小。面積單位為mm2.

步驟如下：

（1）將被測水果置于分揀區(qū)域內(nèi)，對準(zhǔn)相機(jī)鏡頭，調(diào)好焦距，設(shè)鏡頭到被測物上方的高度為H.

（2）在分揀區(qū)內(nèi)放一片已知長度為a寬度為b的黑色長方形片狀物，使該片狀物距離鏡頭的高度為H，用軟件抓拍下該片狀物保存好。已知面積為S=a*b.

（3）計(jì)算出圖像中長方形的黑色像素個數(shù)記為N1.

（4）可計(jì)算單位標(biāo)定面積為N1/S1個像素/mm2.

設(shè)要求提取水果的果身面積像素為N，水果的實(shí)際面積就是S=N*S1/N1.通過面積的大小即可判斷水果的大小。

2.4.2 水果顏色特征

顏色特征一直是判斷水果好壞的重要特征。目前顏色的圖像處理技術(shù)較常用的有RGB（紅、綠、藍(lán)）模型和HSI（飽和度、色調(diào)、亮度）模型[7]，其中HSI比較符合人們描述以及解釋顏色的方式，用HSI模型的色度圖像當(dāng)成水果顏色的特征參數(shù)，所以將相機(jī)拍到的RGB圖像轉(zhuǎn)化為HSI圖像分析。利用函數(shù)庫Open CV，提取感興趣通道就可以實(shí)現(xiàn)R、G、B和H、S、I通道的提取合成操作。

3 PLC與并聯(lián)機(jī)器人的控制

本系統(tǒng)的PLC使用的是西門子型號為S7-1500的PLC.CPU位指令處理時間最短可達(dá)1 ns，集成具有不同IP地址的標(biāo)準(zhǔn)以太網(wǎng)口用來和計(jì)算機(jī)和并聯(lián)機(jī)器人進(jìn)行數(shù)據(jù)傳輸。機(jī)器人使用的是ABB的并聯(lián)機(jī)器人，型號為IRB 360-3/1130.其最大運(yùn)動直徑為1 130 mm，負(fù)載能力為3 kg，重復(fù)定位精度可達(dá)到0.4 mm.

機(jī)器人在對水果位置標(biāo)定后，將位置信息通過以太網(wǎng)傳送給PLC，所用的通訊協(xié)議為Modbus TCP協(xié)議。PLC在得到計(jì)算機(jī)處理過后的水果信息后，將水果位置與等級進(jìn)行處理。然后分別將指令發(fā)送給1號機(jī)器人與2號機(jī)器人，機(jī)器人收到指令后自行選擇程序進(jìn)行動作。

4 結(jié)束語

本文主要闡述機(jī)器視覺在水果分揀應(yīng)用中所使用的算法和方式，使用直接線性法對攝像機(jī)進(jìn)行標(biāo)定、用均值濾波器處理圖像的噪聲、用幾何標(biāo)定的方法確定水果的大小和HSI模型確定水果的顏色。構(gòu)建本系統(tǒng)的研究思路在成功的聯(lián)機(jī)實(shí)驗(yàn)中得證實(shí)，同時也表明了相關(guān)理論對實(shí)際應(yīng)用的指導(dǎo)意義。

[1]焦恩璋，杜榮.工業(yè)機(jī)器人分揀技術(shù)的實(shí)現(xiàn)[J].組合機(jī)床與自動化加工技術(shù)，2010（02）：84-87.

[2]唐健.基于機(jī)器視覺的機(jī)器人分揀技術(shù)研究[D].南京：南京林業(yè)大學(xué)，2011.

[3]黃永林，應(yīng)義斌.用于水果實(shí)時分級系統(tǒng)的同步跟蹤自動控制裝置[J].農(nóng)業(yè)工程學(xué)報，2002（04）：163-166.

[4]饒秀勤.基于機(jī)器視覺的水果品質(zhì)實(shí)時檢測與分級生產(chǎn)線的關(guān)鍵技術(shù)研究[D].杭州：浙江大學(xué)，2007.

[5]王宇新.基于特征分布的圖像識別方法研究與應(yīng)用[D].大連：大連理工大學(xué)，2012.

[6]劉振宇，趙彬，鄒風(fēng)山.機(jī)器視覺技術(shù)在工件分揀中的應(yīng)用[J].計(jì)算機(jī)應(yīng)用與軟件，2012（11）：87-91.

[7]王迥波.基于圖像識別的運(yùn)動目標(biāo)檢測與跟蹤系統(tǒng)[D].大連：大連理工大學(xué)，2009.

Fruit Sorting System Based on Machine Vision

LU Yong-wei
（Guangxi Polytechnic，Nanning Guangxi 530226，China）

In order to solve the fruit sorting with low quality and poor efficiency，this paper presents a method for intelligent sorting fruit based machine vision.We used high-speed camera collect image from transmission line. And use of image processing algorithms to obtain fruit shape，color and other characteristics amount so that we can inferred the level of the fruit.And then control the parallel operation of fruit grading by the PLC.

fruit sorting；image processing；PLC；parallel robot；classification

TP242

A

1672-545X（2017）03-0163-03

2016-12-05

《基于現(xiàn)代農(nóng)業(yè)智能技術(shù)的高職機(jī)電類專業(yè)和實(shí)訓(xùn)基地建設(shè)的研究與實(shí)踐》（編號：桂教職成（2015）22號，重點(diǎn)-1）

盧勇威（1971-），男，廣西南寧人，研究生，副教授，研究方向?yàn)橹悄芸刂萍夹g(shù)。