機器視覺在垃圾分揀機器人設(shè)計中的應(yīng)用

德州職業(yè)技術(shù)學(xué)院 劉玉叢

文章提出一種基于機器視覺進行垃圾分類的機器人設(shè)計，在具體設(shè)計過程中首先分析設(shè)計的總體方案、設(shè)備功能要求以及系統(tǒng)布局，再從目標識別單元和分揀控制單元兩方面完成具體設(shè)計，以期能夠提高垃圾分揀機器人在垃圾分類過程中的正確率和與有效性。

現(xiàn)階段，城市垃圾資源回收處理已成為社會關(guān)注的重點內(nèi)容，其不僅符合我國可持續(xù)發(fā)展的戰(zhàn)略規(guī)劃要求，也是解決當前城市發(fā)展與環(huán)境破壞矛盾，實現(xiàn)人與自然和諧共存的重要途徑。垃圾分揀作為城市垃圾資源回收的重要步驟，其工作效率將會直接影響到城市垃圾資源回收效率及效果。因此，為能夠進一步提高垃圾分揀工作效率，實現(xiàn)垃圾分揀自動化已成為必然的發(fā)展趨勢。據(jù)此，對基于機器視覺的垃圾分揀機器人設(shè)計進行研究分析，有一定現(xiàn)實意義。

1 基于機器視覺的垃圾分揀機器人總體方案設(shè)計

1.1 總體方案設(shè)計

基于機器視覺進行垃圾分揀的機器人需要對分揀過程中無法通過磁吸、震篩等傳統(tǒng)方式進行處理的高回收價值目標進行識別分揀，基于此要求，在本垃圾分揀機器人設(shè)計過程中將會采用機器視覺和工業(yè)機械臂相結(jié)合的自動化垃圾分揀方案。

基于機器視覺的垃圾分揀機器人設(shè)計主要分為目標識別單元和分揀控制單元兩部分。其中，目標識別單元主要由圖像采集攝像機、工業(yè)計算機等設(shè)備共同組成；分揀控制單元則由綜合控制設(shè)備、末端執(zhí)行設(shè)備、工業(yè)機器人以及工業(yè)機器人控制設(shè)備共同組成。機器人設(shè)計方案如圖1所示。

圖1 總體方案設(shè)計

1.2 設(shè)備功能分析

（1）圖像采集攝像機：設(shè)置在垃圾傳送帶上方，主要用于實時獲取傳送帶上垃圾的圖像信息，并將所采集到的圖像信息傳遞給工業(yè)計算機進行識別處理。

（2）工業(yè)計算機：基于圖像采集攝像機所傳遞的圖像信息，根據(jù)預(yù)設(shè)的各類垃圾參數(shù)特點，對圖像信息進行識別處理，獲取到垃圾目標的實際空間坐標和角度信息，然后將相關(guān)數(shù)據(jù)傳遞給分揀控制單元，同時輸出相應(yīng)的控制指令。

（3）綜合控制設(shè)備：其是分揀控制單元的核心，可實現(xiàn)多臺工業(yè)機器人的同步操控工作。通過控制總線接收工業(yè)計算機所傳遞的空間坐標、角度信息以及控制指令，然后將相關(guān)信息及指令進行轉(zhuǎn)換，發(fā)送給工業(yè)機器人控制設(shè)備。

（4）工業(yè)機器人控制設(shè)備：根據(jù)綜合控制設(shè)備所傳遞的控制指令，對工業(yè)機器人進行具體控制。

（5）工業(yè)機器人：接收工業(yè)機器人控制設(shè)備的控制指令，實施具體動作軌跡規(guī)劃，以此來驅(qū)動末端執(zhí)行設(shè)備。

（6）末端執(zhí)行設(shè)備：根據(jù)控制指令對垃圾目標進行正確分揀。

1.3 系統(tǒng)布局

根據(jù)上述總體設(shè)計及設(shè)備功能分析，合理提出基于機器視覺的垃圾分揀機器人設(shè)計布局方案，如圖2所示。

圖2 設(shè)計布局方案

2 目標識別單元設(shè)計

2.1 軟件設(shè)計

為保障目標識別單元的應(yīng)用效果，在具體應(yīng)用中需要將機器學(xué)習(xí)與人機交互糾錯機制相結(jié)合，提高垃圾分揀機器人對垃圾分類識別的正確率?；诖四康?，目標識別單元軟件部分包括深度學(xué)習(xí)網(wǎng)絡(luò)、人機交互糾錯接口、綜合處理單元三部分。其中，深度學(xué)習(xí)網(wǎng)絡(luò)和綜合處理單元將會設(shè)置在工業(yè)計算機上，保障工業(yè)計算機能夠快速識別、分析傳送帶上的垃圾；人機交互糾錯接口軟件雖然也設(shè)置在工業(yè)計算機中，但其可以采用觸摸屏和計算機鼠標控制兩種操控模式，方便操作人員對垃圾目標進行快速處理，為提升識別目標單元正確率提供支持。

2.2 形態(tài)識別模塊

形態(tài)識別模塊設(shè)計中引入了形態(tài)學(xué)知識，以此為基礎(chǔ)對圖像采集攝像機所拍攝的各類圖像信息進行形態(tài)識別、提取、剔除、聚類處理，進而獲取到圖像信息中的二維坐標、角度信息和時間信息等，然后對目標垃圾進行跟蹤顯示；判斷各圖像中目標垃圾是否為統(tǒng)一目標，若是非統(tǒng)一目標，則會再次對圖像中目標垃圾的二維坐標、角度信息和時間信息進行計算分析，并將分析結(jié)果傳遞給人工輔助處理模塊；反之，若是統(tǒng)一目標，則不傳遞信息。

2.3 識別算法優(yōu)化

在現(xiàn)有的VGG16網(wǎng)絡(luò)結(jié)構(gòu)的基礎(chǔ)上，將VGG16網(wǎng)絡(luò)卷積層上的第三、第四以及第五層進行有機融合，使得優(yōu)化后的網(wǎng)絡(luò)架構(gòu)能適用于垃圾分揀中各類有價值垃圾的識別檢測，同時強化物品角度預(yù)測能力，降低物品角度預(yù)測誤差幾率。

具體來說，識別算法優(yōu)化主要包含以下三方面內(nèi)容：

（1）將現(xiàn)有VGG16網(wǎng)絡(luò)結(jié)構(gòu)中的卷積層上第三、第四以及第五層進行有機融合。

（2）將現(xiàn)有的分類回歸損失和角度預(yù)測解相耦合，以此來保障兩者獨立訓(xùn)練和預(yù)測效果。

（3）通過全卷積網(wǎng)絡(luò)實施算法訓(xùn)練，保障訓(xùn)練速度的同時，避免出現(xiàn)網(wǎng)絡(luò)參數(shù)擬合。

2.4 人工輔助模塊

（1）人工糾錯模塊：人工糾錯模塊會呈現(xiàn)圖像采集攝像機所采集的圖像信息，工作人員根據(jù)圖像變化來判斷圖像識別的有效性，并將系統(tǒng)識別過程中有明顯錯誤的目標去除，有效信息會自動傳遞給綜合處理單元進行分析處理。

（2）人工輔助處理模塊：同人工糾錯模塊相類似，人工輔助處理模塊也需要對圖像信息進行分析判斷，然后將圖像中系統(tǒng)識別到的缺漏目標進行標記。在人工標記后，系統(tǒng)會自動分析標記目標的二維坐標、角度信息以及時間信息，并將相關(guān)信息傳遞給綜合處理單元處理。

2.5 綜合處理單元

綜合處理單元在接收到人工糾錯接口和人工輔助處理模塊所傳遞的錯誤目標或者缺漏目標信息后，會自動分析處理目標在圖像中的二維坐標信息、角度信息以及時間信息，去除錯誤目標，添加缺漏目標，為后續(xù)分揀控制單元的有效控制提供參考。在實際應(yīng)用過程中，由于目標垃圾處于時刻運動狀態(tài)，所以，為解決同一目標在連續(xù)運動狀態(tài)下的信息提取問題，還需要在設(shè)計中引入基于機器視覺的目標信息提取方法，實時記錄和綜合分析目標垃圾在每種圖像狀態(tài)下的坐標參數(shù)變動情況，結(jié)合角度、時間等參數(shù)來實現(xiàn)圖像對比，實現(xiàn)同一目標的動態(tài)化信息提取。

3 分揀控制單元設(shè)計

3.1 坐標系設(shè)計

（1）圖像坐標系：將圖像采集攝像機所采集圖像的左下角坐標作為原點，然后根據(jù)圖像的像素情況劃分圖像坐標點，例如：圖像大小為1600×1200dpi，那么圖像坐標系原點相對應(yīng)的右上角點的坐標即為（1600，1200）。

（2）傳送帶坐標系：同圖像坐標系相類似，傳送帶坐標系也需要將左下角的某一固定邊緣點設(shè)定為坐標系原點，此坐標系的X軸則為傳送帶的行進方向，Y軸則是傳送帶行進方向的垂直方向。

（3）多機械手坐標：機械手在傳送帶坐標系上的平面坐標點將會以機械手與傳送帶交點為基準，具體空間坐標系將會采用傳遞帶坐標系。

（4）人機交互界面坐標系：以任意交互界面最左下角像素點作為原點，根據(jù)界面構(gòu)建坐標系。

3.2 多機械手控制

綜合控制設(shè)備會將接收到的目標識別單元所傳遞的目標信息和相關(guān)指令存儲在緩存區(qū)，然后根據(jù)目標信息預(yù)測目標在傳送帶上的后續(xù)坐標信息，進而控制距離目標最近的機械手對目標進行抓取。在此過程中，綜合控制設(shè)備會時刻判斷緩沖區(qū)內(nèi)是否存在新目標的二維坐標和角度信息，若存在，則會根據(jù)新目標的二維坐標和角度信息發(fā)出新的控制指令。

結(jié)束語：綜上，為滿足當前環(huán)境保護及可持續(xù)發(fā)展相關(guān)需要，本文提出一種基于機器視覺的垃圾分揀機器人設(shè)計方案，此設(shè)計方案主要分為目標識別單元和分揀控制單元兩部分內(nèi)容，其中目標識別單元主要負責(zé)對機器視覺圖像進行識別、分析及處理，為分揀控制單元提供相應(yīng)的數(shù)據(jù)信息支持；分揀控制單元則可以根據(jù)目標識別單元所提供的信息參數(shù)，控制垃圾分揀機器人完成垃圾分揀操作。結(jié)合實際情況來看，此設(shè)計可以實現(xiàn)對在垃圾分揀過程中，無法通過磁吸、震篩等傳統(tǒng)方式進行分揀處理的高回收價值目標進行識別分揀。本方案雖然未涉及到具體算法、設(shè)備型號以及控制代碼相關(guān)內(nèi)容，但該方案仍可以作為后續(xù)垃圾分揀機器人設(shè)計的參考。