基于機(jī)器視覺(jué)的工業(yè)機(jī)器人智能分揀系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)

周宇權(quán)

（廣西機(jī)電職業(yè)技術(shù)學(xué)院，廣西南寧，530007）

0 引言

在企業(yè)工業(yè)生產(chǎn)中，工業(yè)自動(dòng)分揀效率的提升，可以大幅提升企業(yè)的經(jīng)濟(jì)效益。早在20 世紀(jì)初，一些國(guó)外相關(guān)研究人員開(kāi)始逐步將自動(dòng)分揀系統(tǒng)在物流運(yùn)輸中進(jìn)行應(yīng)用。在時(shí)代發(fā)展的進(jìn)程中，工業(yè)自動(dòng)化水平在不斷提升。對(duì)于早期的工業(yè)機(jī)器人而言，工業(yè)機(jī)器人自動(dòng)分揀系統(tǒng)是通過(guò)對(duì)工件特點(diǎn)進(jìn)行分析，從而對(duì)其進(jìn)行檢測(cè)，并實(shí)現(xiàn)分揀的功能。值得注意的是，鑒于檢測(cè)范圍非常有限，而且分揀速度不高，精確度也不穩(wěn)定。在當(dāng)今時(shí)代，機(jī)器視覺(jué)可以充分利用人工智能技術(shù)，對(duì)人眼進(jìn)行模擬，從而使工業(yè)機(jī)器人自動(dòng)分揀系統(tǒng)的分揀精度得到大幅度的提升。

1 基于機(jī)器視覺(jué)工業(yè)機(jī)器人分揀系統(tǒng)設(shè)計(jì)需求

■1.1 性能需求

本文搭建了一個(gè)基于機(jī)器視覺(jué)的工業(yè)機(jī)器人分揀系統(tǒng)。本分揀系統(tǒng)以目標(biāo)識(shí)別、分揀控制等為中心。在本文中，選取工業(yè)分揀機(jī)器人，針對(duì)物流包裹分揀進(jìn)行研究。對(duì)于分揀控制過(guò)程，從智能控制、設(shè)備綜合管理等角度進(jìn)行分揀處理，然后針對(duì)網(wǎng)絡(luò)分層與控制。具體而言，分揀流程的框架設(shè)計(jì)如圖1 所示。

圖1 工業(yè)機(jī)器人分揀系統(tǒng)功能框圖

在基于機(jī)器視覺(jué)的工業(yè)機(jī)器人分揀系統(tǒng)的設(shè)計(jì)中，通過(guò)對(duì)總體需求進(jìn)行分解，然后對(duì)分類勢(shì)必進(jìn)行研究。在這個(gè)過(guò)程中，以目標(biāo)識(shí)別和總體性能分析為中心。在此基礎(chǔ)之上，結(jié)合條形碼識(shí)別，從動(dòng)力傳輸與控制的角度進(jìn)行分析。最終，達(dá)到對(duì)物流包裹分揀精度、分揀效率的綜合提升的目的。

通過(guò)對(duì)工業(yè)機(jī)器人分揀系統(tǒng)的性能指標(biāo)方面進(jìn)行分析可知，其性能需求主要包括四個(gè)方面。第一是物流包括的傳輸工具是傳輸帶，傳送帶的輸送速度為0.8m/s，每天的輸送量是400 噸。第二是傳送帶的寬度和工作速度、最大速度有規(guī)定。第三是通過(guò)自動(dòng)化方式，針對(duì)物流包裹進(jìn)行分揀，這樣可以達(dá)到自動(dòng)分揀需要的80%以上，使誤檢率降低到10%以內(nèi)。第四，系統(tǒng)的防護(hù)指標(biāo)需要達(dá)到相應(yīng)標(biāo)準(zhǔn)。

■1.2 功能需求

1.2.1 相機(jī)標(biāo)定方法設(shè)計(jì)需求

在對(duì)系統(tǒng)的相機(jī)標(biāo)定方法進(jìn)行分析的時(shí)候，可以針對(duì)不同的攝像機(jī)標(biāo)定方法進(jìn)行比較。通常情況下，在針對(duì)相機(jī)進(jìn)行標(biāo)定的時(shí)候，必須掌握目標(biāo)物尺度的詳細(xì)情況。然后，針對(duì)標(biāo)定對(duì)象與已知圖像點(diǎn)坐標(biāo)之間的信息進(jìn)行進(jìn)一步地設(shè)置，獲得攝像機(jī)模型的內(nèi)外部參數(shù)。根據(jù)標(biāo)定對(duì)象的差異，將標(biāo)定方法可以分成兩類。一類是帶物體景深探測(cè)的三維相機(jī)，另一類是只包含平面像素信息的二維相機(jī)。前者標(biāo)定結(jié)果可以選擇僅僅使用一幅圖像進(jìn)行標(biāo)定。通過(guò)對(duì)其優(yōu)勢(shì)進(jìn)行分析，可知其結(jié)果精度是比較高的。然而，這種相機(jī)的操作劣勢(shì)就是操作流程較為繁瑣，而且維護(hù)難度較大。后者定標(biāo)難度比前者更簡(jiǎn)單，而且能夠使標(biāo)定對(duì)照物本身精度達(dá)到有關(guān)標(biāo)準(zhǔn)。后者的劣勢(shì)就是要借助兩個(gè)及以上的視角圖像來(lái)標(biāo)定。通常情況下，相機(jī)標(biāo)定需要工業(yè)相機(jī)的標(biāo)定參照物體，標(biāo)定參照物體的精度與標(biāo)定計(jì)算結(jié)果的精度有著緊密的聯(lián)系。在某些情況下，工作空間對(duì)于標(biāo)定參照物體的擺放產(chǎn)生限制作用，或者相機(jī)在不能取得差異較大的不同視角的情況下，會(huì)導(dǎo)致標(biāo)定方法的選用受到較大的影響。

1.2.2 目標(biāo)識(shí)別功能設(shè)計(jì)需求

目標(biāo)識(shí)別單元能夠針對(duì)分揀對(duì)象進(jìn)行相關(guān)數(shù)據(jù)信息的識(shí)別和統(tǒng)計(jì)，這個(gè)操作是在相機(jī)具有控制功能的前提下才能夠?qū)崿F(xiàn)的，而且在這個(gè)過(guò)程中需要使用到視覺(jué)反饋圖像。在此基礎(chǔ)之上做好設(shè)計(jì)。需要依據(jù)實(shí)時(shí)拍攝的傳送帶上的物品，借助光學(xué)圖像對(duì)其顯示。然后，針對(duì)分揀目標(biāo)物的特征，做好光學(xué)圖像處理。對(duì)于目標(biāo)識(shí)別單元，由于其包括的模塊較多，比如形態(tài)學(xué)識(shí)別模塊、中間結(jié)果綜合處理單元以及人工輔助處理模塊等。通過(guò)形態(tài)識(shí)別和深度學(xué)習(xí)，可以針對(duì)分揀對(duì)象進(jìn)行識(shí)別，對(duì)目標(biāo)坐標(biāo)和角度進(jìn)行獲取。

2 基于機(jī)器視覺(jué)工業(yè)機(jī)器人分揀系統(tǒng)硬件設(shè)計(jì)

■2.1 系統(tǒng)硬件總體框架設(shè)計(jì)

針對(duì)前文所提到的系統(tǒng)功能與性能需求的分析，本系統(tǒng)需要基于傳送帶和運(yùn)載物品相關(guān)信息的基礎(chǔ)之上，為傳送帶搭配工作范圍能完全覆蓋傳送帶對(duì)應(yīng)區(qū)域的六軸串聯(lián)機(jī)械臂系統(tǒng)。并且，需要針對(duì)視野范圍能完全覆蓋傳送帶對(duì)應(yīng)區(qū)域安裝好工業(yè)攝像頭。通過(guò)傳送帶俯視圖方向來(lái)對(duì)傳送帶和機(jī)器視覺(jué)分揀系統(tǒng)進(jìn)行合理設(shè)計(jì)。對(duì)于傳送帶上的傳輸物體，可以將其分為兩類，一類是目標(biāo)物體，另一類是非目標(biāo)物體。當(dāng)物體通過(guò)傳送帶進(jìn)入后，首先經(jīng)過(guò)的是圖像采集區(qū)，在該區(qū)域，工業(yè)相機(jī)對(duì)物體進(jìn)行拍照，然后通過(guò)將拍照得到的圖像信息進(jìn)行圖像處理?；诖?，可以對(duì)物體進(jìn)行圖像識(shí)別，進(jìn)入二次比對(duì)環(huán)節(jié)。當(dāng)存在可識(shí)別的條形碼的情況下，將條形碼信息與數(shù)據(jù)庫(kù)內(nèi)信息作比較。然后，對(duì)分揀機(jī)器人根據(jù)視覺(jué)反饋的坐標(biāo)補(bǔ)償信息進(jìn)行調(diào)用。在此基礎(chǔ)之上，進(jìn)一步實(shí)現(xiàn)智能化分揀的目的。傳送帶和視覺(jué)分揀系統(tǒng)的運(yùn)行邏輯圖如圖2 所示。

圖2 傳送帶和視覺(jué)分揀系統(tǒng)的運(yùn)行邏輯

■2.2 機(jī)器人視覺(jué)分揀系統(tǒng)的硬件組成

2.2.1 工業(yè)機(jī)器人系統(tǒng)

在本文所設(shè)計(jì)的工業(yè)機(jī)器人智能分揀系統(tǒng)中，工業(yè)機(jī)器人系統(tǒng)的組成結(jié)構(gòu)包括這幾個(gè)部分，分別是機(jī)器人本體、機(jī)器人控制器、機(jī)器人示教器及機(jī)器人連接線纜。機(jī)器人系統(tǒng)能夠?qū)θ藱C(jī)之間有效地協(xié)同作業(yè)起到較大的作用。

2.2.2 歐姆龍F(tuán)Z-SC2M 工業(yè)相機(jī)

歐姆龍F(tuán)Z 系列工業(yè)相機(jī)的型號(hào)非常多，該系列使用的是CMOS 攝像元件。傳感器尺寸有多種尺寸，色彩模式一般有兩種，一種是黑白模式，另外一種是彩色模式。FZ 系列工業(yè)相機(jī)屬于高速工業(yè)相機(jī)，其數(shù)據(jù)傳輸方式包括HDMI、WiFi、GIGE 千兆網(wǎng)在內(nèi)的多種類型接口。在實(shí)際應(yīng)用中，需要根據(jù)具體情況來(lái)合理選擇接口類型。FZ 系列相機(jī)使用的是Camera Link 接口，其相機(jī)數(shù)據(jù)能夠達(dá)到輸出延遲和帶寬的理論最大值。

2.2.3 歐姆龍F(tuán)H-L550 工業(yè)計(jì)算機(jī)

在本系統(tǒng)中，配備了歐姆龍F(tuán)H-L550 工業(yè)計(jì)算機(jī)，該技術(shù)使用的是Intel 的Atom 系列CPU，內(nèi)存大小為8GB，可以通過(guò)Camera Link 接口驅(qū)動(dòng)2 臺(tái)工業(yè)相機(jī)。

2.2.4 其他硬件

其他硬件還有工業(yè)相機(jī)LED 環(huán)形光源、西門(mén)子可編程邏輯控制器S7-300、西門(mén)子變頻控制器G120X、機(jī)器人末端執(zhí)行工具的設(shè)計(jì)。其中工業(yè)相機(jī)LED 環(huán)形光源要針對(duì)目標(biāo)區(qū)域做好照明設(shè)計(jì)，使工業(yè)相機(jī)采集得到的圖像能夠?qū)δ繕?biāo)物體信息和背景信息進(jìn)行有效區(qū)分。而且，要設(shè)計(jì)背景光源，使工業(yè)相機(jī)識(shí)別系統(tǒng)的精度得到提升，各項(xiàng)性能提高。西門(mén)子可編程邏輯控制器S7-300 使用的是德國(guó)西門(mén)子公司生產(chǎn)的基礎(chǔ)型可編程序控制器。該控制器所使用的結(jié)構(gòu)是模塊化結(jié)構(gòu)，容易拓展。通過(guò)該控制器，能夠使機(jī)器人工作站的外部元器件得到統(tǒng)一控制的目的。西門(mén)子變頻控制器G120X 是德國(guó)西門(mén)子公司生產(chǎn)的變頻控制器，額定功率是15kW，使用三相交流電。機(jī)器人末端執(zhí)行工具的設(shè)計(jì)使用真空吸盤(pán)型工具和柔性抓取末端執(zhí)行工具，即氣動(dòng)夾爪。

■2.3 系統(tǒng)硬件的結(jié)構(gòu)框圖

根據(jù)以上系統(tǒng)硬件分析，可以設(shè)計(jì)得到的結(jié)構(gòu)框圖如圖3 所示。

3 基于機(jī)器視覺(jué)工業(yè)機(jī)器人分揀系統(tǒng)軟件設(shè)計(jì)

本文設(shè)計(jì)的基于機(jī)器視覺(jué)工業(yè)機(jī)器人分揀系統(tǒng)的軟件組成部分包括四個(gè)部分，分別為：機(jī)器人系統(tǒng)的控制程序、工業(yè)計(jì)算機(jī)上運(yùn)行的圖形處理程序、PLC 運(yùn)行的信號(hào)采集和電氣控制程序、系統(tǒng)各硬件組成部分之間的通訊協(xié)議和數(shù)據(jù)交互代碼。第一部分是機(jī)器人系統(tǒng)的控制程序。這部分是整個(gè)分揀系統(tǒng)的核心部分，負(fù)責(zé)控制機(jī)器人的運(yùn)動(dòng)和動(dòng)作?？刂瞥绦蛐枰獙?shí)現(xiàn)以下功能：運(yùn)動(dòng)規(guī)劃、運(yùn)動(dòng)控制、物體識(shí)別、任務(wù)調(diào)度。第二部分是工業(yè)計(jì)算機(jī)上運(yùn)行的圖形處理程序。該部分主要負(fù)責(zé)圖像處理和分析，以及與機(jī)器人系統(tǒng)的控制程序進(jìn)行通信。它通常由圖像處理庫(kù)和算法組成，可以使用編程語(yǔ)言如C++、Python 等。圖形處理程序需要實(shí)現(xiàn)以下功能：圖像采集、圖像處理、物體定位、與機(jī)器人控制程序通信。第三部分是PLC 運(yùn)行的信號(hào)采集和電氣控制程序。該部分主要負(fù)責(zé)與分揀系統(tǒng)的各個(gè)硬件組成部分進(jìn)行通信和控制。信號(hào)采集和電氣控制程序需要實(shí)現(xiàn)以下功能：信號(hào)采集、電氣控制、與機(jī)器人控制程序通信。第四部分是系統(tǒng)各硬件組成部分之間的通訊協(xié)議和數(shù)據(jù)交互代碼。這部分負(fù)責(zé)實(shí)現(xiàn)不同硬件設(shè)備之間的數(shù)據(jù)傳輸和通信。通訊協(xié)議和數(shù)據(jù)交互代碼需要實(shí)現(xiàn)以下功能：數(shù)據(jù)傳輸、數(shù)據(jù)解析、狀態(tài)同步。

■3.1 處理工業(yè)機(jī)器人自動(dòng)分揀圖像

為了使工業(yè)機(jī)器人的分揀精度得到較大幅度的提升，當(dāng)我們?cè)趯?duì)工業(yè)機(jī)器人自動(dòng)分揀系統(tǒng)進(jìn)行設(shè)計(jì)的時(shí)候，需要在構(gòu)建標(biāo)準(zhǔn)化工件模板的基礎(chǔ)之上，對(duì)分揀圖像進(jìn)行采集。通過(guò)圖像預(yù)采集分析可知，這些圖像信息中包含了不少無(wú)用信息。所以，為了達(dá)到提升工業(yè)機(jī)器人的分揀精度的目的，就要保留采集圖像中的有用圖像特征信息。在本文中，筆者設(shè)計(jì)了原始算法，以期達(dá)到采集的自動(dòng)分揀圖像信息篩選的目的。算法公式如下式(1)所示。

在公式(1)中，S為初始采集圖像分辨率；D為剔除圖像信息值；F為圖像處理基數(shù)。經(jīng)實(shí)驗(yàn)表明，通過(guò)該算法對(duì)分揀圖像進(jìn)行過(guò)濾?；诖耍賹?duì)圖像噪聲進(jìn)行消除。對(duì)圖像噪聲進(jìn)行消除的方法是圖像分割法，該方法對(duì)圖像噪聲進(jìn)行消除的原理就是能夠使圖像分給為一個(gè)又一個(gè)小區(qū)域，然后針對(duì)各個(gè)區(qū)域進(jìn)行邊緣檢測(cè)。并且，可以對(duì)不同區(qū)域的特征進(jìn)行提取，并且得到新的圖像信息子集。通過(guò)研究表明，當(dāng)圖像被處理之后，一般會(huì)產(chǎn)生閾值變換，為實(shí)現(xiàn)圖像噪聲的進(jìn)一步降低，可以使用加權(quán)平均濾波法進(jìn)行去噪處理。通過(guò)灰度圖像變換，進(jìn)行二值化處理，可以設(shè)計(jì)閾值變換表達(dá)式如式(2)所示。

其中：F(i,j) 表示圖像；t表示閾值；M、N是自然數(shù)。

■3.2 基于機(jī)器視覺(jué)識(shí)別自動(dòng)分揀工件類型

在傳統(tǒng)的工業(yè)機(jī)器人自動(dòng)分揀系統(tǒng)中，圖像信號(hào)轉(zhuǎn)換較難實(shí)現(xiàn)，所以自動(dòng)分揀精度得不到保障。在本文中，所涉及的分揀系統(tǒng)會(huì)使用機(jī)器視覺(jué)技術(shù)，借助該技術(shù)，實(shí)現(xiàn)圖像信號(hào)轉(zhuǎn)換的目的，最后實(shí)現(xiàn)物品的自動(dòng)分揀分類。自動(dòng)分揀工件識(shí)別方法通常有三種，粉筆是工件角度識(shí)別；工件邊距識(shí)別；工件形心識(shí)別。

■3.3 設(shè)計(jì)工業(yè)機(jī)器人自動(dòng)分揀程序

自動(dòng)分揀程序使用的是NET 多組件執(zhí)行環(huán)境，使用C#Visual、C#.NET 核心語(yǔ)言，通過(guò)該語(yǔ)言，可以對(duì)自動(dòng)分揀程序進(jìn)行設(shè)計(jì)。為了達(dá)到較好的分揀效果，需要分析通知要求。在系統(tǒng)運(yùn)行初始位置的時(shí)候，啟動(dòng)系統(tǒng)，這時(shí)候分揀傳送帶轉(zhuǎn)動(dòng)，針對(duì)不同類型的工件，可以采取不同的分揀動(dòng)作。

以上程序的設(shè)計(jì)可以通過(guò)三個(gè)步驟完成。分別是設(shè)計(jì)檢測(cè)單元、設(shè)計(jì)分揀單元程序、設(shè)計(jì)程序主站。其中設(shè)計(jì)檢測(cè)單元需要對(duì)I/O 檢測(cè)單元控制邏輯進(jìn)行設(shè)計(jì)，從而實(shí)現(xiàn)模塊之間程序的有效處理。設(shè)計(jì)分揀單元程序可以對(duì)檢測(cè)量與控制模板之間的關(guān)系進(jìn)行確定，從而進(jìn)一步完成分揀。設(shè)計(jì)程序主站，是為了使主站的數(shù)據(jù)持續(xù)轉(zhuǎn)換為指令，通過(guò)這些指令，可以對(duì)工業(yè)機(jī)器人的自動(dòng)分揀進(jìn)行控制。

4 小結(jié)

本文基于機(jī)器視覺(jué)設(shè)計(jì)了新的工業(yè)機(jī)器人自動(dòng)分揀系統(tǒng)。具體而言，分別從硬件設(shè)計(jì)和軟件設(shè)計(jì)兩個(gè)方面來(lái)進(jìn)行設(shè)計(jì)。經(jīng)實(shí)驗(yàn)表明，該自動(dòng)分揀系統(tǒng)的分揀精度較高，準(zhǔn)確性較高，其應(yīng)用價(jià)值較大，可以為工業(yè)自動(dòng)化發(fā)展設(shè)備研發(fā)行業(yè)提供較大的參考價(jià)值。