基于機器視覺的智能垃圾分揀小車的設(shè)計與實現(xiàn)

高少偉?郭磊?陳其菠?陳帥興

摘? 要：目前我國生活垃圾分揀的方式仍然以人力為主，其在消耗人力的同時還存在工作強度高、效率低以及影響環(huán)衛(wèi)工人身體健康等缺陷。為解決以上問題，文章以STM32為主控芯片，以樹莓派為運算部件，設(shè)計出以四軸機械臂、機械爪以及傳感器為機械部件并輔以YOLOv5深度學(xué)習(xí)識別模型的智能垃圾分揀小車。在實現(xiàn)垃圾分揀一體化的同時，還部分解決了人工垃圾分揀的缺陷。

關(guān)鍵詞：機器視覺;智能;垃圾分揀小車

中圖分類號：TP391.4? ? ? ? ? 文獻標識碼：A文章編號：2096-4706（2022）02-0180-03

Abstract： At present， the sorting method of domestic waste in my country is still mainly manpower， which consumes manpower and also has defects such as high work intensity， low efficiency and affecting the health of sanitation workers. In order to solve the above problems， this paper takes STM32 as the main control chip and raspberry pie as the calculation part， and designs an intelligent garbage sorting trolley with four-axis mechanical arm， mechanical claw and sensor as the mechanical parts， supplemented by YOLOv5 deep learning recognition mode. While realizing the integration of waste sorting， it also partially solves the defects of artificial waste sorting.

Keywords： machine vision; intelligence; garbage sorting trolley

0? 引? 言

隨著生活水平的逐步提高，我國生活垃圾的種類和數(shù)量也在逐年遞增[1]。生活垃圾的無序堆放，不僅擠占有效市容空間還會對城市環(huán)境造成污染。當然，生活垃圾也并非全部為廢棄物，合理的處理方式不僅能夠使得資源再利用，還能避免對環(huán)境造成二次污染[2]。垃圾分類制度雖然已經(jīng)在我國大部分地區(qū)開始實行，但是市民對于垃圾分揀的知識仍然較為匱乏，城市公共空間中的生活垃圾分類問題仍然依靠市民的自覺?，F(xiàn)階段垃圾分揀工作仍然以人工為主，在消耗物力以及人力不出錯的前提下不僅會造成勞動力的浪費，分揀效率也會隨著工作時長的增加而降低，同時還可能存在損害健康的風(fēng)險[3]。因此，設(shè)計一款既能滿足垃圾高效、合理分揀要求，又能規(guī)避人工分揀缺陷的較為低廉的智能垃圾分揀設(shè)備，就成為關(guān)乎環(huán)境保護和人民生命安全的迫切需求。

1? 智能垃圾分揀小車的總體設(shè)計方案

1.1? 功能描述

智能垃圾分揀小車主要應(yīng)用于城市中地面垃圾的收集以及分揀的場景，通過對城市生活垃圾的識別，歸類出所屬的垃圾類型，完成一系列定位、收集、拾取、分類操作，實現(xiàn)在指定起始位置下，完成自動搜尋、發(fā)現(xiàn)最終將同類垃圾統(tǒng)一投放到指定的垃圾分揀區(qū)域，完成全自動無人化垃圾分揀工作。

1.2? 總體設(shè)計方案

智能垃圾分揀小車以單片機為主控芯片，由樹莓派、攝像頭構(gòu)成機器視覺模塊，六軸傳感器、磁性編碼器、陀螺儀、驅(qū)動電機、麥克納姆輪以及四軸機械臂和機械爪為動作部件，三者聯(lián)合并結(jié)合深度學(xué)習(xí)模型實現(xiàn)智能垃圾分揀小車的總體設(shè)計方案。在樹莓派加載機器視覺模塊后，通過攝像頭定位到垃圾，對其進行識別分類后反饋給主控芯片，主控芯片把機器視覺模塊得出的垃圾信息傳導(dǎo)給動作部件，最終由動作部件實現(xiàn)垃圾的收集和拾取操作完成分揀[4]。設(shè)計方案具體流程為：

首先機器視覺模塊通過攝像頭采集的視覺信息進行垃圾定位、垃圾分類以及完成小車運動路徑規(guī)劃，然后主控芯片把機器視覺模塊提供的數(shù)據(jù)分別反饋給垃圾收集和拾取模塊和運動模塊，小車整體運動將垃圾推向垃圾分揀區(qū)域，完成小車的運動以及垃圾的收集和分類拾取。其中，垃圾收集和拾取模塊通過獲得的數(shù)據(jù)操控舵機進行機械爪地張開和閉合、機械臂對目標方向的運動和抓取方式即釘子或磁鐵的選用;運動模塊通過獲得的數(shù)據(jù)，依照規(guī)劃好的路徑結(jié)合傳感器和編碼器的反驅(qū)動電機進行小車的整體運動，保證整體路線不偏移。最終，通過機器視覺模塊結(jié)合垃圾收集和拾取模塊以及運動模塊的共同配合，將垃圾按照類別移動到指定的放置區(qū)域完成分揀。功能流程圖如圖1所示。

2? 機器視覺模塊的設(shè)計

機器視覺模塊包括樹莓派、攝像頭和深度神經(jīng)網(wǎng)絡(luò)模型。樹莓派可以完成相同的IO引腳控制之外，還能運行有相應(yīng)的操作系統(tǒng)，可以完成更復(fù)雜的任務(wù)管理與調(diào)度。攝像頭采用市面上較為流行的Open CV進行識別。

相對于EfficientDet模型，YOLOv5在更快推理速度的前提下能夠獲得更高的AP指標，精度有顯著的提高。固本深度神經(jīng)網(wǎng)絡(luò)采用YOLOv5網(wǎng)絡(luò)模型進行訓(xùn)練，經(jīng)過Mosaic數(shù)據(jù)增強、自適應(yīng)Anchor計算以及自適應(yīng)圖像縮放等操作，大大提高了模型的訓(xùn)練效率和模型的分類能力。

和以往對圖片進行翻轉(zhuǎn)、放大、縮小進行的數(shù)據(jù)增強不同，Mosaic數(shù)據(jù)增強是將多張圖片進行隨機縮放、裁剪、排布并拼接到一張圖片上，從而減少訓(xùn)練過程中出現(xiàn)非信息像素，以及混合后圖片不自然的情況，提高了模型的訓(xùn)練效率和分類能力;自適應(yīng)anchor計算是在模型訓(xùn)練中采用真實邊框相對于預(yù)設(shè)邊框的偏移構(gòu)建多個不同形狀以及大小的自適應(yīng)anchor，提高了檢測的召回率以及精度;自適應(yīng)圖像縮放是把輸入圖像長寬等比縮放到模型預(yù)定得尺寸，即若縮小后圖片長或?qū)捫∮陬A(yù)設(shè)尺寸，則長或?qū)捰谩?”即全部涂黑進行填充圖片至圖片到達預(yù)設(shè)圖片尺寸，以防止圖像在縮放過程中出現(xiàn)比例錯誤，導(dǎo)致圖像的長寬比與預(yù)設(shè)不一致，造成模型識別有誤的現(xiàn)象。

算法模型主要采用Focus、CSP、FPN+PAN結(jié)構(gòu)，極大提高了神經(jīng)網(wǎng)絡(luò)模型獲取特征的能力;損失計算采用GIoU Loss，即在預(yù)測框上加入了一個閉包懲罰，從而減少雙框合并面積在閉包的比例，使預(yù)測框極大擬合目標框[5]。YOLO處理流程為：

（1）將圖像resize到448×448作為神經(jīng)網(wǎng)絡(luò)的輸入。

（2）運行神經(jīng)網(wǎng)絡(luò)，得到一些Bounding-Box坐標、Box中包含物體的置信度和class probabilities。

（3）進行非極大值抑制，篩選Boxes。垃圾分類效果如圖2所示。

3? 動作部件的設(shè)計

智能垃圾分揀小車的動作部件是以STM32F103ZET6作為主控芯片，采用機械爪、四軸機械臂、六軸傳感器結(jié)合霍爾編碼器反饋輸出的信息，通過校準的驅(qū)動電機以及麥克納姆輪聯(lián)合實現(xiàn)。

3.1? 垃圾收集和拾取模塊設(shè)計

垃圾收集和拾取模塊以STM32F103ZET6作為主控芯片，小車前端的機械爪以及位于小車上方的四軸機械臂完成垃圾的收集和拾取操作。

小車前端的機械爪由兩個舵機進行驅(qū)動，小車在初始狀態(tài)下機械爪張開，當小車識別到目標并對目標方向運動時，機械爪閉合對車身附近垃圾進行聚攏和收集，防止小車在運動的過程中目標消失，以便能夠更好地完成下一步動作。

四軸機械臂主要由一個云臺、四個舵機以及若干連接用U型架構(gòu)成，機械臂的前端采用釘子結(jié)合磁鐵的模式以方便對不同類型的垃圾進行拾取分類[6]。四個舵機中最下方的舵機用于控制機械臂的左右運動，中間兩個舵機用于控制機械臂的上下來回運動，最前端舵機則用于控制磁鐵的磁吸以及推出。其中，四軸機械臂的結(jié)構(gòu)可以保證機械臂在180度范圍內(nèi)自由運動，更方便完成垃圾拾取操作;機械臂前端鋒利的釘子可以對一些柔軟的物體進行釘取，對于可磁吸的金屬垃圾則通過強力磁鐵的方式吸取獲得，兩者結(jié)合大大提高了垃圾拾取的效率。

3.2? 運動模塊設(shè)計

在攝像頭結(jié)合機器視覺模塊獲取目標單元的定位分類及路徑規(guī)劃信息后，主控芯片控制l 298 n電機驅(qū)動并結(jié)合霍爾編碼器的反饋對麥克納姆輪進行整體運動。麥克納姆輪輥子軸線和輪轂軸線夾角成45°，輪轂的輪緣上斜向分布著許多小輪子，當輪子繞著固定的輪心軸轉(zhuǎn)動時，各個小滾子的包絡(luò)線為圓柱面，可以輪子能夠連續(xù)地向前滾動，從而實現(xiàn)機體全方位移動功能。

編碼器能夠?qū)㈦姍C的機械幾何位移轉(zhuǎn)化為脈沖信號或數(shù)字量，利用檢測編碼器輸出的脈沖信號，能夠獲取電機轉(zhuǎn)動的角度、轉(zhuǎn)速等相關(guān)信息，再由MPU6050傳感器獲得的姿態(tài)信息并結(jié)合編碼器反饋的數(shù)據(jù)，通過PID算法減小偏移誤差，從而實現(xiàn)小車前后的直線行走以及掉頭、轉(zhuǎn)彎等運動操作。同時，在MPU6050中利用陀螺儀傳感器測量的角度結(jié)合角速度傳感器測量出的加速度，可以得出小車在行進中的偏移方向，再通過PID算法調(diào)整輪子的轉(zhuǎn)速從而達到控制方向的目的，保證小車整體可以按照規(guī)劃路徑行進。

4? 功能測試

智能垃圾分揀小車通過系統(tǒng)初始化后，攝像頭開啟，樹莓派加載機器視覺模塊進行垃圾定位分類以及完成路徑規(guī)劃，主控芯片接收到機器視覺模塊反饋的信息后控制小車整體移動到垃圾處并進行聚攏收集，再通過樹莓派得到的信息將垃圾推向大致所屬分揀區(qū)域，最后由機械臂完成每個個體相對于垃圾分揀區(qū)域的拾取。測試采用5種不同類型的垃圾進行拾取，測試結(jié)果如圖3所示。

由圖3可知，小車完成了紙杯、橘皮、電池和塑料垃圾的定位、收集、分類和拾取的操作，實現(xiàn)了對四種類型垃圾的全自動智能機械式分揀。

注：3（f）、3（g）區(qū)域要求投放有害垃圾，3（h）、3（i）區(qū)域要求投放可回收垃圾，3（b）、3（c）區(qū)域要求投放其他垃圾，3（d）、3（e）區(qū)域要求投放廚余垃圾。

5? 結(jié)? 論

隨著科學(xué)技術(shù)的發(fā)展，人工垃圾分揀的工作效果顯得越來越不理想，國內(nèi)對于人們垃圾分揀的意識宣傳較為匱乏，城市環(huán)境在不規(guī)范合理的垃圾堆放下顯得越來越糟糕。基于機器視覺的智能垃圾分揀小車以STM32為主控制器，通過機器視覺模塊的識別、定位、分類與動作部件的運動、收集、拾取、分揀的結(jié)合，實現(xiàn)了對不同種類、不同尺寸大小的生活垃圾的全自動智能化分揀操作。該套智能設(shè)備在節(jié)省大量勞動力的同時還能避免人工分揀帶來的健康風(fēng)險。與人工分揀相比，它價格相對低廉，不受氣候、時間和體力的限制，工作時長要遠遠大于人工，并且在分揀效率方面也有極大的提升。一套完整的智能垃圾分揀小車對于生態(tài)環(huán)境的保護和資源的重復(fù)利用帶來了便利，也為智能垃圾處理設(shè)備的實用化提供了有意義的參考。

參考文獻：

[1] 王帥，韓貞年，劉新星，等.一種生活垃圾回收裝置控制系統(tǒng)的研究 [J].河北省科學(xué)院學(xué)報，2021，38（2）：41-44.

[2] 秦鉑濤.基于視覺識別的智能垃圾分揀車的設(shè)計與實現(xiàn) [J].機械研究與應(yīng)用，2021，34（6）：90-92.

[3] 呂純.城市生活垃圾機器視覺智能分揀系統(tǒng)、軟硬件設(shè)計要點研究 [J].智能城市，2020，6（20）：8-9.

[4] 郜輝，呂志剛，王賓，等.智能垃圾分揀系統(tǒng)的設(shè)計 [J].自動化與儀表，2020，35（12）：31-34+39.

[5] 董子源.基于深度學(xué)習(xí)的垃圾分類系統(tǒng)設(shè)計與實現(xiàn) [D].遼寧：中國科學(xué)院大學(xué)（中國科學(xué)院沈陽計算技術(shù)研究所），2020.

[6] 馬嘉寧，張立昂，張榮峰，等.智能垃圾分揀機器人 [J].河北農(nóng)機，2021（7）：80-81.

作者簡介：高少偉（2000—），男，漢族，廣東汕頭人，本科在讀，研究方向：機械設(shè)計;通訊作者：郭磊（1982—），男，漢族，黑龍江哈爾濱人，講師，博士，研究方向：圖像處理與機器視覺;陳其菠（2002—），男，漢族，廣東韶關(guān)人，本科在讀，研究方向：軟件設(shè)計;陳帥興（2001—），男，漢族，廣西欽州人，本科在讀，研究方向：機器視覺。