機(jī)器人與機(jī)器視覺的垃圾分揀系統(tǒng)設(shè)計(jì)

梅志敏，陳 艷，胡 杭，張 融

（1.武昌工學(xué)院機(jī)械工程學(xué)院，湖北 武漢 430065；2.武漢輕工大學(xué)機(jī)械工程學(xué)院，湖北 武漢 430023；3.綠色風(fēng)機(jī)制造湖北省協(xié)同創(chuàng)新中心，湖北 武漢 430065）

1 引言

近年來，以機(jī)器視覺為載體的機(jī)器人技術(shù)與裝備在智能制造行業(yè)的應(yīng)用越來越廣，它使工作過程更自動(dòng)化與智能化，改善了工作環(huán)境，也提高了產(chǎn)品精度[1]。同時(shí)，垃圾分類是長期困擾人民生活和環(huán)境治理的綜合議題，亟待通過科學(xué)技術(shù)手段解決。

絕大部分垃圾為流通商品消耗后造成的，外包裝均含由中國編碼中心審定發(fā)行的條碼，通過視覺識(shí)別條碼獲取產(chǎn)品名稱，將其與訓(xùn)練集匹配，輸出垃圾分類結(jié)果，數(shù)據(jù)傳輸給機(jī)器人執(zhí)行末端即可實(shí)現(xiàn)分揀，對(duì)垃圾分類的智能化研究提供了重要的理論和應(yīng)用基礎(chǔ)。

國內(nèi)外學(xué)者開展了一些相關(guān)研究。文獻(xiàn)[2]設(shè)計(jì)了基于視覺的建筑垃圾分類和回收的機(jī)器人系統(tǒng)，具有高度自動(dòng)化巡邏、檢測和回收等特點(diǎn)；文獻(xiàn)[3]設(shè)計(jì)了基于ROS和計(jì)算機(jī)視覺的智能垃圾分類系統(tǒng)，通過深度學(xué)習(xí)訓(xùn)練模型，按顏色、形狀、大小進(jìn)行區(qū)分，識(shí)別率70%。

文獻(xiàn)[4]開展了基于圖像視覺的垃圾分類機(jī)器人識(shí)別控制系統(tǒng)算法設(shè)計(jì)研究，對(duì)瓶罐類垃圾進(jìn)行分揀機(jī)械手臂控制系統(tǒng)設(shè)計(jì)。對(duì)此，本設(shè)計(jì)以流通商品為研究對(duì)象、建立商品條碼數(shù)據(jù)庫，將采集到的圖像識(shí)別后與數(shù)據(jù)庫匹配，結(jié)果傳輸給機(jī)器人本體，調(diào)用IRB1410的運(yùn)控程序完成目標(biāo)物的精確分揀。

2 系統(tǒng)組成與逆運(yùn)動(dòng)學(xué)方程求解

2.1 系統(tǒng)組成

本設(shè)計(jì)主要由IRB1410 機(jī)器人工作站、待分揀垃圾輸送裝置、視覺采集?識(shí)別?通訊平臺(tái)、MCGS人機(jī)界面和三類垃圾收集箱（可回收垃圾、干垃圾和有害垃圾）組成，其中機(jī)器人工作站包括本體、控制器和示教器，如圖1所示。

圖1 系統(tǒng)結(jié)構(gòu)示意圖Fig.1 Schematic Diagram of the System Structure

2.2 系統(tǒng)工作原理

當(dāng)輸送裝置將待分揀的流通商品垃圾送至視覺檢測平臺(tái)采集區(qū)域時(shí)，傳感器發(fā)送采集信號(hào)，視覺系統(tǒng)獲取外形輪廓圖像、條碼圖像和位置信息，將識(shí)別的條碼號(hào)與流通商品條碼數(shù)據(jù)庫和垃圾分類訓(xùn)練集進(jìn)行匹配[5]。

將位姿（位置和姿態(tài)）和分類結(jié)果信息傳輸給機(jī)器人控制器，根據(jù)逆運(yùn)動(dòng)學(xué)計(jì)算各關(guān)節(jié)參數(shù)，調(diào)用PROC 程序抓取待分揀垃圾，放至對(duì)應(yīng)垃圾箱，機(jī)器人可設(shè)置運(yùn)行速率適應(yīng)待分揀垃圾節(jié)拍，期間無停頓。系統(tǒng)工作原理圖，如圖2所示。

圖2 系統(tǒng)工作原理圖Fig.2 Schematic of the System

2.3 IRB1410機(jī)器人逆運(yùn)動(dòng)學(xué)求解

本設(shè)計(jì)是將圖像的位姿信息經(jīng)控制器發(fā)送給機(jī)器人末端，根據(jù)關(guān)節(jié)變換矩陣求解各關(guān)節(jié)的位置和姿態(tài)，故采用逆運(yùn)動(dòng)學(xué)法求解，驅(qū)動(dòng)各關(guān)節(jié)電機(jī)[6]。

IRB1410機(jī)器人連桿參數(shù)，如表1所示。機(jī)構(gòu)運(yùn)動(dòng)簡圖及各關(guān)節(jié)坐標(biāo)系，如圖3所示。

表1 IRB1410機(jī)器人連桿參數(shù)Tab.1 IRB1410 Rod Parameters

圖3 IRB1410機(jī)構(gòu)運(yùn)動(dòng)簡圖及各關(guān)節(jié)坐標(biāo)系Fig.3 IRB1410 Schematic Diagram of Mechanism Motion and Coordinate System of Each Joint

逆運(yùn)動(dòng)學(xué)方程如下：

已知T6矩陣和各連桿參數(shù)，求各關(guān)節(jié)轉(zhuǎn)角θ1?θ6：

式中：Ai—關(guān)節(jié)i的位姿變換矩陣；Rot—旋轉(zhuǎn)算子；Trans—平移算子。

由解析法求得各關(guān)節(jié)角度：

式中：pi—連桿長度在i方向的分量；c—cos；s—sin。

綜上，本設(shè)計(jì)通過視覺定位獲取垃圾的位姿后，傳輸給R6，各關(guān)節(jié)執(zhí)行參數(shù)實(shí)現(xiàn)分揀。

3 視覺系統(tǒng)與圖像處理

3.1 視覺系統(tǒng)與工作原理

視覺系統(tǒng)由圖像采集裝置、圖像處理系統(tǒng)、機(jī)器人分揀工作站和控制通訊傳輸系統(tǒng)組成。圖像采集由光源、鏡頭和相機(jī)組成[7]，其中光源采用環(huán)形白色光、相機(jī)像素1.3萬；圖像處理系統(tǒng)采用Halcon機(jī)器視覺處理平臺(tái)，將處理結(jié)果通過C#混合編程轉(zhuǎn)換至VS2010 的Winform 窗體，經(jīng)TCP/IP 通信至MCGS 界面中予以顯示和統(tǒng)計(jì)，如圖4所示。

圖4 視覺處理流程Fig.4 Visual Processing Flow

工作時(shí)，輸送帶將不同種類的流通商品經(jīng)過光電傳感器時(shí)，觸發(fā)傳感器信號(hào)輸出，相機(jī)實(shí)時(shí)拍照，將圖像發(fā)至Halcon處理平臺(tái)，經(jīng)過RGB灰度轉(zhuǎn)化、HSV轉(zhuǎn)換、閾值分割、連通域閉運(yùn)算、特征提取、數(shù)據(jù)庫匹配解碼、顯示等過程，提取包裝上外觀和條碼信息，將求解算法以C#格式輸出至VS2010窗體，同步至人機(jī)界面上顯示類型并計(jì)數(shù)，機(jī)器人完成分揀。

3.2 圖像處理

上述環(huán)節(jié)中，圖像采集前需調(diào)整好光源和相機(jī)目標(biāo)區(qū)域一致，消除因輸送帶干擾拍照效果，拍照幀數(shù)大于輸送帶運(yùn)動(dòng)頻率。將采集的RGB圖灰度轉(zhuǎn)化成灰度圖和HSV圖，顯化顏色判別和提取特征[8?9]。

特征提取重點(diǎn)是從得到的HSV 圖中選取比較明顯的灰度圖，通過閾值分割和連通域運(yùn)算后，提取輪廓和條碼區(qū)域，難點(diǎn)是輪廓的擬合與EAN條碼解碼，將求取的數(shù)值與已知數(shù)據(jù)庫比對(duì)，匹配出訓(xùn)練集的最佳值。機(jī)理如下：

3.2.1 灰度轉(zhuǎn)化

式中：（fx，y）—待處理的數(shù)字圖像；

g（x，y）—處理后的數(shù)字圖像；

T—定義了f的操作。

3.2.2 閾值分割（最大類間方差法）

將灰度值為i∈[0,L?1]的像素定義為ni，則：

各灰度值出現(xiàn)的概率為：

對(duì)于pi有：

把圖像像素用閾值T分成A和B兩類，A由灰度值在[0，T?1]像素中組成，則B在[T，L?1]像素中組成，概率分別為：

用u表示整幅圖像平均灰度，所屬的區(qū)域A、B的平均灰度分別：

區(qū)域總方差為：

式中：N—灰度值；

P—概率；

u—平均灰度；

—區(qū)域總方差。

讓T在（L?1）區(qū)間內(nèi)取值，使最大的T即為最佳區(qū)域閾值，圖像處理效果最佳。

3.2.3 Canny邊緣

Canny邊緣檢測算子是一種具有較好邊緣檢測性能的算子，利用高斯函數(shù)的一階微分性質(zhì)，把邊緣檢測問題轉(zhuǎn)換為檢測函數(shù)極大值的問題，能在噪聲抑制和邊緣檢測之間取得較好的折中[8]。

式中：f—圖像數(shù)據(jù)；

H—省略系數(shù)的高斯函數(shù)；

G—濾波后的平滑圖像。

垃圾外包裝的條碼圖像處理過程，如圖5所示?？烧_讀取并顯示結(jié)果文本。

圖5 圖像處理流程Fig.5 Image Processing Flow

3.3 MCGS界面設(shè)計(jì)

為便于結(jié)果可視化，將圖像分析結(jié)果在MCGS人機(jī)界面上實(shí)時(shí)顯示[9]。

將Halcon 平臺(tái)上算法以C#格式導(dǎo)出，同步至VS 2010 的Winform 窗體下，通過TCP/IP 通信協(xié)議下載到MCGS 人機(jī)界面，實(shí)現(xiàn)垃圾種類和數(shù)量可視化，如圖6所示。

圖6 通信調(diào)試界面Fig.6 Communication Debugging Interface

4 試驗(yàn)與分析

4.1 試驗(yàn)材料與環(huán)境

試驗(yàn)樣本來自某超市售賣的流通商品，外包裝表面均有條形碼，根據(jù)垃圾分類標(biāo)準(zhǔn)，試驗(yàn)獲取流通商品數(shù)據(jù)庫含4765種垃圾信息，因各類垃圾基數(shù)相差較大，分別選取可回收垃圾50種、干垃圾30種和有害垃圾20種，長寬高或直徑尺寸均小于100mm，隨機(jī)混裝在試驗(yàn)用托盤中，如圖7所示。

圖7 試驗(yàn)環(huán)境Fig.7 Test Environment

4.2 機(jī)器人系統(tǒng)初始化

調(diào)試前，將機(jī)器人初始化[8]。設(shè)置機(jī)器人校準(zhǔn)位置，使霍爾傳感器信號(hào)為0，其他位置為1，各軸顯示刻度，如表2所示。根據(jù)右手法則新建工具坐標(biāo)系Tool 1，使原點(diǎn)位于夾爪中心，Z軸垂直于法蘭盤端面。

表2 機(jī)器人各軸校準(zhǔn)刻度Tab.2 Calibration Scales for Robot Axes

4.3 試驗(yàn)結(jié)果

設(shè)置輸送帶在V=100mm/s速度下，對(duì)3類共100種垃圾進(jìn)行隨機(jī)分揀測試結(jié)果，如表3 所示?？芍獪y試中機(jī)器人分揀率達(dá)97.0%以上。采集條碼與數(shù)據(jù)庫匹配平均時(shí)間0.002s，表明本設(shè)計(jì)具有較高的準(zhǔn)確性與穩(wěn)定性。

表3 試驗(yàn)結(jié)果Tab.3 Test Results

5 結(jié)語

以Halcon機(jī)器視覺為載體的ABB機(jī)器人運(yùn)動(dòng)控制平臺(tái)，對(duì)流通商品外包裝垃圾進(jìn)行實(shí)時(shí)分揀。

介紹了系統(tǒng)組成與工作原理，求解了IRB1410機(jī)器人本體的逆運(yùn)動(dòng)學(xué)方程，優(yōu)化了視覺系統(tǒng)圖像處理的技術(shù)流程，包括圖像采集、灰度轉(zhuǎn)化、閾值分割、流通域和匹配解碼等，采用Canny算法改善邊緣信息處理效果，設(shè)計(jì)了Winform 窗體和MCGS 界面，通過上位機(jī)串口通訊的方式將分析結(jié)果輸出給機(jī)器人，執(zhí)行末端實(shí)現(xiàn)精準(zhǔn)分揀。

經(jīng)試驗(yàn)，本系統(tǒng)分揀率達(dá)97.0%以上，表明該系統(tǒng)可達(dá)較高的準(zhǔn)確度和可行性，在實(shí)際工程中具有一定的推廣價(jià)值。