一種基于機(jī)器視覺的多垃圾自動(dòng)分類機(jī)器設(shè)計(jì)

摘要：針對(duì)多固體生活垃圾分類問題，提出一種自動(dòng)分類機(jī)器，對(duì)其結(jié)構(gòu)、控制電路、算法進(jìn)行了設(shè)計(jì)。利用四個(gè)矩陣光纖傳感器、兩級(jí)傳送帶對(duì)垃圾進(jìn)行分揀；使用YOLOv5網(wǎng)絡(luò)特征提取模型和遷移學(xué)習(xí)的垃圾識(shí)別方法，有效解決了垃圾數(shù)據(jù)集較少的問題?；赮OLOv5構(gòu)建的檢測(cè)模型，包括依次連接的Backbone模塊、Neck模塊、Head模塊和serial通信模塊。該模型在自建的垃圾數(shù)據(jù)集上進(jìn)行訓(xùn)練和測(cè)試，平均準(zhǔn)確率達(dá)到0.99。在實(shí)際應(yīng)用中，將訓(xùn)練好的模型部署在自行研制的開發(fā)板上，與自主制作的垃圾分類機(jī)器配合使用。實(shí)驗(yàn)結(jié)果表明，該機(jī)器能夠準(zhǔn)確識(shí)別垃圾種類并完成分類回收，針對(duì)10～15個(gè)垃圾，從投入到識(shí)別完成用時(shí)15～20 s，表現(xiàn)出良好的穩(wěn)定性和效率。

關(guān)鍵詞：機(jī)器視覺；自動(dòng)分揀；垃圾分類；YOLOv5；serial模塊

中圖分類號(hào)：TP271 文獻(xiàn)標(biāo)志碼：A doi：10.3969/j.issn.1006-0316.2024.08.010

文章編號(hào)：1006-0316 （2024） 08-0066-06

Design of a Garbage Automatic Sorting Machine Based on Machine Vision

WANG Jiayan，MAO Yaozeng，GUO Lanxin，JIA Fuhao，JIANG Qi，SHI Haodong，ZHOU Deqiang

（ School of Mechanical Engineering， Jiangnan University， Wuxi 214000， China ）

Abstract：Aiming at solving the problem of solid household waste classification， our team propose a scheme for an automatic sorting machine and innovatively design the structure， control circuit， and algorithm. Four matrix fiber optic sensors and two-stage conveyor belts are used to sort garbage. By using the YOLOv5 network feature extraction model and transfer learning， the garbage recognition method is employed to effectively solve the problem of limited garbage datasets. The detection model based on YOLOv5 includes Backbone module， Neck module， Head module， and serial communication module connected in sequence. The method was trained and tested on the self-built garbage data set， which has achieved average accuracy of 0.99. In practical application， the trained model is deployed on the self-developed board and used with the self-made garbage sorting device. Experimental results show that the system can accurately identify the types of garbage and complete the classification and recycling. It takes 15 to 20 seconds to identify around 10 to 15 pieces of garbage since being thrown into the machine， and the machines shows good stability and efficiency in use.

Key words：computer vision；automatic sorting；waste classification；YOLOv5；serial module

近年來，隨著人口的快速增長(zhǎng)和經(jīng)濟(jì)的不斷發(fā)展，生活垃圾數(shù)量呈現(xiàn)持續(xù)增加的趨勢(shì)。正確的垃圾分類回收對(duì)于減少環(huán)境污染、提高資源再利用率、降低能源浪費(fèi)以及構(gòu)建生態(tài)友好的環(huán)境具有重要意義。我國(guó)目前的垃圾分類采用標(biāo)準(zhǔn)GB/T 19095－2019[1]，將生活垃圾劃分為可回收物、廚余垃圾、有害垃圾和其他垃圾四個(gè)大類[2]。因此，需要開發(fā)一種自動(dòng)化、高效且準(zhǔn)確的垃圾分類技術(shù)。

自21世紀(jì)以來，我國(guó)逐步開展了針對(duì)垃圾智能分類的研究。北京、上海、天津等多個(gè)城市實(shí)施了助力科技研發(fā)智能垃圾桶的政策[3]。但所研發(fā)的垃圾桶在高效識(shí)別處理垃圾等方面還有一定欠缺，尤其視覺模型的建立不夠簡(jiǎn)潔高效。目前國(guó)內(nèi)的許多居民社區(qū)與垃圾處理廠仍然依賴人工分揀的方式對(duì)垃圾進(jìn)行分類，這既不利于從業(yè)人員的身心健康，又導(dǎo)致垃圾分類效率低下[4]。

因此，本文提出一種能夠提高垃圾分類效率的技術(shù)，解決人工分揀過程中的問題，有效應(yīng)對(duì)現(xiàn)代社會(huì)中不斷增長(zhǎng)的垃圾產(chǎn)生量[5]。通過引入自動(dòng)化系統(tǒng)，更好地實(shí)現(xiàn)集智能分離、智能分類、智能統(tǒng)計(jì)、智慧處理為一體的垃圾分類的目標(biāo)，促進(jìn)環(huán)境保護(hù)和可持續(xù)發(fā)展[6]。

1 垃圾自動(dòng)分類方案設(shè)計(jì)

1.1 結(jié)構(gòu)設(shè)計(jì)

采用SolidWorks軟件對(duì)垃圾桶進(jìn)行三維建模，整體結(jié)構(gòu)如圖1所示。本裝置主要由主控模塊、傳送帶模塊、舵盤偏轉(zhuǎn)模塊、垃圾存放及壓縮模塊組成。主控模塊匯總了所有線路，包括主控板和人工智能處理模塊等，控制整機(jī)運(yùn)行。傳送帶模塊包括第一級(jí)傳送帶、第二級(jí)傳送帶和矩陣傳感器，其依靠傳感器的支持，分離多個(gè)同時(shí)投入的垃圾，實(shí)現(xiàn)對(duì)一次投入多垃圾的自動(dòng)分類。舵盤偏轉(zhuǎn)模塊包括舵機(jī)、方形托盤和攝像頭模塊，其能夠識(shí)別垃圾種類，偏轉(zhuǎn)舵盤將垃圾投入對(duì)應(yīng)桶中，智能防卡，對(duì)多種垃圾具有良好適應(yīng)性。垃圾存放及壓縮模塊包括伸縮電機(jī)、釘板和超聲波傳感器，其能夠存放垃圾，具有滿載檢測(cè)功能，能壓縮可回收垃圾，節(jié)省存儲(chǔ)體積。

1.2 控制電路

整個(gè)機(jī)構(gòu)的控制運(yùn)行通信等眾多重要環(huán)節(jié)的核心控制板如圖2所示。多個(gè)垃圾經(jīng)過傳送帶的運(yùn)行處理分揀為單個(gè)垃圾，逐個(gè)輸送至識(shí)別區(qū)，USB攝像頭將垃圾圖像發(fā)送至Jetson Nano處理，Jetson Nano控制模塊將得到的垃圾分類識(shí)別信息傳送給單片機(jī)控制系統(tǒng)，從而控制各個(gè)運(yùn)動(dòng)部件實(shí)現(xiàn)分揀操作。

1.2.1 開發(fā)板設(shè)計(jì)

依據(jù)系統(tǒng)的設(shè)計(jì)需要，所用開發(fā)板須包含舵機(jī)控制單元，用于連接1號(hào)舵機(jī)和2號(hào)舵機(jī)，根據(jù)識(shí)別信息驅(qū)動(dòng)舵機(jī)帶動(dòng)方形托盤轉(zhuǎn)動(dòng)將垃圾投入對(duì)應(yīng)的垃圾桶內(nèi)；須包含繼電器單元，用于驅(qū)動(dòng)伸縮電機(jī)，完成垃圾壓縮任務(wù)；須包含電壓轉(zhuǎn)換單元，分配3.3 V、5 V、12 V三種電壓給各類元器件供電；此外還需包含多個(gè)串口，用于元器件與單片機(jī)控制系統(tǒng)的通信；同時(shí)還須包含諸如超聲波傳感器等眾多傳感元件的接口[7]。

1.2.2 視覺識(shí)別

選取NVIDIA公司Jetson Nano用于視覺處理，如圖3所示。

NVIDIA Jetson Nano是一種小型、功能強(qiáng)大的計(jì)算機(jī)板，專為嵌入式系統(tǒng)和邊緣計(jì)算設(shè)計(jì)[8]，適用于機(jī)器學(xué)習(xí)、圖像處理、人工智能等領(lǐng)域。它搭載了基于ARM架構(gòu)的四核CPU（Cortex-A57）和128核Maxwell GPU，能夠處理復(fù)雜的計(jì)算任務(wù)。同時(shí)支持多種流行的機(jī)器學(xué)習(xí)框架，如TensorFlow、PyTorch等，適合進(jìn)行AI模型的訓(xùn)練和推理。

2 工作原理

2.1 啟動(dòng)機(jī)器

該系統(tǒng)利用5.8 GHz雷達(dá)感應(yīng)模塊，通過多普勒效應(yīng)實(shí)時(shí)檢測(cè)行人。當(dāng)無人靠近時(shí)，垃圾桶上方的屏幕循環(huán)播放垃圾分類宣傳視頻，設(shè)備處于待機(jī)狀態(tài)；當(dāng)有人靠近時(shí)，雷達(dá)會(huì)發(fā)送高電平信號(hào)至單片機(jī)控制系統(tǒng)，激活屏幕并進(jìn)入工作狀態(tài)。

2.2 傳送帶工作

當(dāng)有人投放垃圾時(shí)，假定同時(shí)投入三個(gè)垃圾A、B、C。

一級(jí)傳送帶工作流程如圖4所示。待機(jī)狀態(tài)下，一級(jí)傳送帶以100 r/min的速度空轉(zhuǎn)，二級(jí)傳送帶靜止。當(dāng)垃圾從投入口落下，被一級(jí)傳送帶帶動(dòng)至第一矩陣光纖傳感器處時(shí)，傳送帶速度減至25 r/min，使垃圾緩慢移動(dòng)。當(dāng)垃圾落到二級(jí)傳送帶時(shí)，第二矩陣光纖傳感器捕捉到信號(hào)，一級(jí)傳送帶停止。若此時(shí)第一矩陣光纖仍檢測(cè)到垃圾，為防止多件垃圾連續(xù)掉落，傳送帶后退，直至不再檢測(cè)到物體。

二級(jí)傳送帶工作流程如圖5所示。垃圾落到第二傳送帶后，若有多個(gè)垃圾同時(shí)掉落，會(huì)因撞擊分散，二級(jí)傳送帶以60 r/min速度運(yùn)行，當(dāng)垃圾遮擋住第三矩陣光纖傳送器時(shí)，減速至25 r/min緩慢運(yùn)行，直至垃圾掉入分揀舵機(jī)偏轉(zhuǎn)盤。第四矩陣光纖傳送器捕捉到信號(hào)后，二級(jí)傳送帶停止。若此時(shí)第三矩陣光纖仍檢測(cè)到物體，二級(jí)傳送帶后退直至不再檢測(cè)到信號(hào)，完成單個(gè)垃圾的分揀。

垃圾掉入分揀舵機(jī)偏轉(zhuǎn)盤后，傳送帶系統(tǒng)待機(jī)。當(dāng)收到分揀完成信號(hào)后，二級(jí)傳送帶以60 r/min速度運(yùn)行一周。若第三矩陣光纖未檢測(cè)到垃圾，表明上次僅有一個(gè)垃圾掉落至一級(jí)傳送帶，則系統(tǒng)返回初始狀態(tài)；否則，表明上次有多個(gè)垃圾掉落至一級(jí)傳送帶，則系統(tǒng)按照上述邏輯循環(huán)執(zhí)行，直至第三矩陣光纖未檢測(cè)到信號(hào)，返回初始狀態(tài)。

3 算法設(shè)計(jì)

3.1 建立數(shù)據(jù)集

采用團(tuán)隊(duì)自主搜集拍攝的EWID數(shù)據(jù)集[9]，涵蓋了生活中常見的四大類垃圾，共包含24個(gè)小類，已對(duì)它們進(jìn)行了數(shù)據(jù)采集和位置標(biāo)注，其中部分垃圾種類如表1所示。該數(shù)據(jù)集共包含5126張訓(xùn)練集圖片和570張測(cè)試集圖片。

3.2 建立YOLOv5模型

YOLOv5是一種高效的深度學(xué)習(xí)算法，具有較強(qiáng)的實(shí)時(shí)性和準(zhǔn)確性，被廣泛應(yīng)用于目標(biāo)檢測(cè)和圖像識(shí)別等領(lǐng)域[10]。YOLOv5模型能夠?qū)崿F(xiàn)對(duì)生活中常見垃圾的快速準(zhǔn)確分類。

3.2.1 預(yù)處理階段

對(duì)輸入的圖像數(shù)據(jù)進(jìn)行高級(jí)數(shù)據(jù)增強(qiáng)處理，包括但不限于縮放、裁剪、旋轉(zhuǎn)和翻轉(zhuǎn)等圖像仿射變換。此外，輸入圖像被縮放至640×640像素，以適應(yīng)網(wǎng)絡(luò)結(jié)構(gòu)的輸入要求[11]。

3.2.2" Backbone模塊

使用CSP-Darknet53架構(gòu)。該架構(gòu)基于Darknet53網(wǎng)絡(luò)，并應(yīng)用CSP（Cross Stage Partial，即訓(xùn)練過程中使用來自不同階段或不同層次的特征來提高模型的性能）策略，以降低模型的參數(shù)量，并增強(qiáng)特征提取效率。CSP策略通過分割基層特征圖，并在交叉階段層次結(jié)構(gòu)中合并，有效減少冗余梯度信息，提升模型的實(shí)時(shí)檢測(cè)速度[12]。

3.2.3" Neck模塊

采用SPPF（Spatial Pyramid Pooling Fast，快速空間金字塔池化）和改良的PANet（Path Aggregation Network，路徑聚合網(wǎng)絡(luò)）。SPPF通過聚合輸入的信息且輸出長(zhǎng)度固定，顯著提高了感受野，而不降低網(wǎng)絡(luò)速度[13]。改良的PANet在其結(jié)構(gòu)中引入了BottleNeckCSP，進(jìn)一步優(yōu)化信息流，有助于精確的像素級(jí)定位。

3.2.4" Head模塊

包括三個(gè)卷積層，用于預(yù)測(cè)邊界框位置、得分和對(duì)象類別。模型的激活函數(shù)選用SiLU（Sigmoid Linear Unit）和Sigmoid。SiLU用于隱藏層的卷積操作，Sigmoid用于輸出層[14]。

3.2.5 損失函數(shù)方法

采用二元交叉熵（Binary Cross Entropy，BCE）和完整交叉并集（Complete Intersection over Union，CIoU）損失計(jì)算方法，分別用于計(jì)算檢測(cè)類別和對(duì)象性的損失及位置損失[15]。通過這種方法，有效提高了模型對(duì)干垃圾的識(shí)別準(zhǔn)確度和效率。

3.3" YOLOv5模型的改進(jìn)

模型在YOLOv5的基礎(chǔ)上進(jìn)行了一系列改進(jìn)，包括替換Focus層以減少參數(shù)和計(jì)算量，以及消除網(wǎng)格敏感性問題，從而提高邊界框檢測(cè)能力。模型還在輸出層加入了serial串口通信模塊。

serial模塊被設(shè)計(jì)向運(yùn)行模型的硬件設(shè)備的串口發(fā)送信息，以達(dá)到向主控發(fā)送分類結(jié)果的作用。首先，serial模塊從模型的輸出層獲取head模塊得出的識(shí)別信息，包括對(duì)象標(biāo)識(shí)、邊界框坐標(biāo)、類別標(biāo)簽、置信度分?jǐn)?shù)等[16]。然后，模塊將這些信息編碼為一個(gè)10進(jìn)制的數(shù)據(jù)幀，轉(zhuǎn)換為16進(jìn)制后向串口輸出。

serial模塊的數(shù)據(jù)幀結(jié)構(gòu)具體如下。

3.3.1 起始位

用于標(biāo)識(shí)數(shù)據(jù)幀的開始。在本設(shè)計(jì)中為1。

3.3.2 數(shù)據(jù)載荷

（1）對(duì)象標(biāo)識(shí)。為一個(gè)16位的標(biāo)準(zhǔn)UUID（Universally Unique Identifier，通用唯一識(shí)別碼），是每個(gè)檢測(cè)到的對(duì)象的唯一標(biāo)識(shí)符。

（2）邊界框坐標(biāo)。包含每個(gè)檢測(cè)對(duì)象的邊界框坐標(biāo)，本設(shè)計(jì)包括x坐標(biāo)、y坐標(biāo)、寬度、高度。這些數(shù)據(jù)均為8位浮點(diǎn)數(shù)。

（3）類別標(biāo)簽。檢測(cè)對(duì)象的類別標(biāo)簽，為一個(gè)4位整數(shù)。

（4）置信度分?jǐn)?shù)。檢測(cè)結(jié)果的置信度分?jǐn)?shù)，為一個(gè)8位浮點(diǎn)數(shù)。

3.3.3 校驗(yàn)位

用于驗(yàn)證數(shù)據(jù)幀在傳輸過程中的完整性和正確性[17]。本數(shù)據(jù)幀格式使用CRC16校驗(yàn)。

3.3.4 結(jié)束位

為一位換行符，標(biāo)志數(shù)據(jù)幀的結(jié)束。

通過構(gòu)建模型以及使用EWID數(shù)據(jù)集，用最小化損失函數(shù)來訓(xùn)練該YOLOv5-serial模型，使其收斂；然后利用該模型對(duì)待分類垃圾進(jìn)行識(shí)別，并發(fā)送垃圾信息給單片機(jī)系統(tǒng)控制舵機(jī)帶動(dòng)分類托盤翻轉(zhuǎn)，將垃圾投入相應(yīng)垃圾桶。

本實(shí)施例中，各設(shè)備參數(shù)、實(shí)驗(yàn)參數(shù)及工作流程圖如表2、表3、圖6所示。

4 結(jié)語(yǔ)

利用YOLOv5設(shè)計(jì)了一種具有自動(dòng)邏輯的垃圾分類機(jī)器，實(shí)現(xiàn)了對(duì)生活中常見垃圾快速準(zhǔn)確的自動(dòng)分類回收。將訓(xùn)練好的模型部署在自行研制的開發(fā)板上，與自主制作的垃圾分類機(jī)器配合使用，經(jīng)過反復(fù)測(cè)試和優(yōu)化，該機(jī)器表現(xiàn)穩(wěn)定，平均完成一次分類回收的時(shí)間僅為1.05 s，識(shí)別精度達(dá)到0.99。

參考文獻(xiàn)：

[1]中華人民共和國(guó)住房和城鄉(xiāng)建設(shè)部. 生活垃圾分類標(biāo)志：GB/T 19095－2019[S]. 北京：中國(guó)標(biāo)準(zhǔn)出版社，2019.

[2]任越，楊俊杰，曹洪軍，等. 農(nóng)村生活垃圾全自動(dòng)全組分分類處理技術(shù)與應(yīng)用[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2019，35（4）：248-254.

[3]廖祥文，吳曉靜，桂林，等. 結(jié)合表示學(xué)習(xí)和遷移學(xué)習(xí)的跨領(lǐng)域情感分類[J]. 北京大學(xué)學(xué)報(bào)：自然科學(xué)版，2019，55（1）：37-46.

[4]楊春節(jié)，童晟，孫長(zhǎng)生，等. 基于可靠度約束的混合預(yù)防性維修模型[J]. 浙江大學(xué)學(xué)報(bào)：工學(xué)版，2008，42（8）：1376-1379.

[5]莊夏晴，黃籽月，蔡嘉敏，等. 國(guó)內(nèi)外垃圾分類現(xiàn)狀對(duì)比——基于垃圾分類智能管理項(xiàng)目研究[J]. 海風(fēng)，2020（6）：108-109

[6]傅曉云，蔡蕊屹. 產(chǎn)品語(yǔ)義視角下的公共分類垃圾箱設(shè)計(jì)研究[J]. 裝飾，2017（4）：102-103.

[7]劉后勝，張洋，陶健林. 基于優(yōu)化改進(jìn)的Xception模型的垃圾圖片分類[J]. 黃山學(xué)院學(xué)報(bào)，2022，24（3）：31-32.

[8]薩爾克，柯蒂斯，坎德爾鮑爾，等. 面向循環(huán)經(jīng)濟(jì)的廢物管理價(jià)值鏈中的數(shù)字化和智能機(jī)器人技術(shù)：綜述[J]. 廢物管理，2019（95）：476-492.

[9]齊鑫宇，龔劬，李佳航，等. 基于深度學(xué)習(xí)的垃圾圖片處理與識(shí)別[J]. 電腦知識(shí)與技術(shù)，2021，17（9）：20-24.

[10]何侃，田亞清，李強(qiáng)，等. 基于LD3320的語(yǔ)音識(shí)別智能垃圾桶設(shè)計(jì)[J]. 國(guó)外電子測(cè)量技術(shù)，2015，34（6）：85-88.

[11]高成植，金鐘華. 裁剪、旋轉(zhuǎn)和縮放不變的Lbx交織語(yǔ)音圖像水印[C]. 韓國(guó)模擬學(xué)會(huì)學(xué)術(shù)大會(huì)，2006.

[12]李冠東，張春菊，王銘愷. 卷積神經(jīng)網(wǎng)絡(luò)遷移的高分影像場(chǎng)景分類學(xué)習(xí)[J]. 測(cè)繪科學(xué)，2019，44（4）：116-123.

[13]趙一，陳震. 基于深度學(xué)習(xí)的智能分類垃圾箱設(shè)計(jì)方法[J]. 科技風(fēng)，2021（32）：1-3.

[14]馬冬梅，郭智浩，羅曉蕓. 改進(jìn) YOLOv5s-Seg的高效實(shí)時(shí)實(shí)例分割模型[J/OL]．計(jì)算機(jī)工程與應(yīng)用[2024-04-23]. https：//kns. cnki.net.

[15]貴向泉，秦慶松，孔令旺. 基于改進(jìn)YOLOv5s的小目標(biāo)檢測(cè)算法[J]. 計(jì)算機(jī)工程與設(shè)計(jì)，2024，45（4）：1134-1140.

[16]余浪，苗鴻賓，蘇赫朋，等. 基于改進(jìn)YOLOv5s的工件識(shí)別檢測(cè)算法[J]. 檢測(cè)與質(zhì)量，2024（4）：153-158，180.

[17]張騰澤，李旭軍，饒立明. 改進(jìn) YOLOv5的遙感圖像小目標(biāo)檢測(cè)算法[J]. 計(jì)算機(jī)時(shí)代，2023（12）：89-95.