基于MobileViT輕量級視覺模型的垃圾自動(dòng)分類系統(tǒng)設(shè)計(jì)

袁斌，張超軍，李晨

基于MobileViT輕量級視覺模型的垃圾自動(dòng)分類系統(tǒng)設(shè)計(jì)

袁斌，張超軍，李晨

（浙江科技學(xué)院 機(jī)械與能源工程學(xué)院，杭州 310023）

針對傳統(tǒng)機(jī)器視覺網(wǎng)絡(luò)模型存在的參數(shù)量大、效率低、落地難等問題，設(shè)計(jì)一種更高效的基于輕量級網(wǎng)絡(luò)模型的垃圾自動(dòng)分類系統(tǒng)。結(jié)構(gòu)的創(chuàng)新設(shè)計(jì)可實(shí)現(xiàn)4種占比不同的垃圾分類存儲和垃圾箱工作模式的自動(dòng)切換。利用STM32控制機(jī)構(gòu)的電機(jī)和多種傳感器，與樹莓派4B串口通信實(shí)現(xiàn)垃圾分類投放，采用云服務(wù)器實(shí)現(xiàn)小程序端物聯(lián)網(wǎng)通信，提高管理效率。采用MobileViT輕量級模型在自建數(shù)據(jù)集上訓(xùn)練，并結(jié)合遷移學(xué)習(xí)，提高模型的訓(xùn)練速度和準(zhǔn)確率，與主流模型對比，并驗(yàn)證其可行性。MobileViT模型的準(zhǔn)確率可以達(dá)到98.01%，實(shí)際測試平均單張圖像的推理時(shí)間為17.8 ms，模型參數(shù)量僅為5.6×106；在與輕量化網(wǎng)絡(luò)MobileNetV3參數(shù)量相近的情況下，準(zhǔn)確率高出9.25%，各性能指標(biāo)優(yōu)于傳統(tǒng)ResNet50、AlexNet模型?；贛obileViT輕量級視覺模型的垃圾自動(dòng)分類系統(tǒng)設(shè)計(jì)能夠更高效地完成垃圾自動(dòng)分類任務(wù)，模型精度和速度滿足實(shí)際需求，對垃圾分類領(lǐng)域邊緣設(shè)備非常友好。

垃圾分類；智能垃圾箱；MobileViT；輕量級；遷移學(xué)習(xí)

隨著社會經(jīng)濟(jì)的快速發(fā)展，居民生活產(chǎn)生了越來越多的垃圾。據(jù)統(tǒng)計(jì)，我國每年的生活垃圾產(chǎn)量已經(jīng)從2003年的1.48億t迅速增長到2019年的2.4億t，預(yù)計(jì)未來幾年內(nèi)我國的生活垃圾產(chǎn)量將超過4億t[1]。由于垃圾種類繁多，傳統(tǒng)人工分類方法易出錯(cuò)、效率低，導(dǎo)致我國垃圾分類形勢十分嚴(yán)峻。近幾年，人工智能在各行各業(yè)的應(yīng)用越來越多，利用機(jī)器視覺進(jìn)行垃圾分類逐漸成為研究熱點(diǎn)。由于傳統(tǒng)的機(jī)器視覺面臨著網(wǎng)絡(luò)模型參數(shù)量大、運(yùn)行時(shí)間長等問題，因此并不適合在移動(dòng)端和嵌入式等邊緣端設(shè)備上運(yùn)行。由此，利用深度學(xué)習(xí)中輕量級神經(jīng)網(wǎng)絡(luò)模型來實(shí)現(xiàn)垃圾分類成為新的研究方向[2]。

當(dāng)前很多學(xué)者針對垃圾分類已經(jīng)做了大量研究。例如，宋鐵[3]設(shè)計(jì)了一種基于機(jī)器視覺的家庭式智能垃圾桶，根據(jù)家用垃圾袋的大小，設(shè)計(jì)其桶身直徑為30 cm，高度為27 cm，內(nèi)部有4個(gè)相同的子箱，提供4種垃圾的存儲，識別模塊利用主流的VGG16卷積神經(jīng)網(wǎng)絡(luò)，在自建數(shù)據(jù)集上達(dá)到了87.2%的準(zhǔn)確率。康莊等[4]設(shè)計(jì)了一種應(yīng)用于室外基于機(jī)器視覺的智能垃圾桶，其桶身由2個(gè)半圓桶構(gòu)成，分別存儲可回收和不可回收垃圾，采用太陽能供電的方法，節(jié)省了垃圾桶的能源消耗，識別模塊使用InceptionV3神經(jīng)網(wǎng)絡(luò)模型，在自建數(shù)據(jù)集上獲得了95.7%的準(zhǔn)確率。此外，Bircanoglu等[5]對深度學(xué)習(xí)模型AlexNet、VGG16、GoogLeNet和ResNet分別進(jìn)行了微調(diào)，采用2種不同的分類器Softmax和SVM改變模型結(jié)構(gòu)，在垃圾數(shù)據(jù)集上測試不同分類器的性能，測試結(jié)果表明GoogLeNet+SVM模型在所有模型中表現(xiàn)最好。

盡管基于深度學(xué)習(xí)模型的垃圾分類研究已經(jīng)獲得了較高的準(zhǔn)確率，但是這些高性能的深度學(xué)習(xí)模型存在參數(shù)量大、計(jì)算量復(fù)雜等問題，并不適合應(yīng)用于移動(dòng)端或嵌入式等內(nèi)存資源有限的邊緣端設(shè)備[6]。由此，研究人員逐漸將深度學(xué)習(xí)的研究重點(diǎn)轉(zhuǎn)向輕量級神經(jīng)網(wǎng)絡(luò)模型的研究。比如，袁建野等[7]以ResNet模型為基礎(chǔ)進(jìn)行改進(jìn)優(yōu)化，在保證準(zhǔn)確率不下降的情況下，優(yōu)化后模型參數(shù)量和計(jì)算量分別為原來的10%和7%，這對資源有限的邊緣設(shè)備非常友好。此外，部分學(xué)者在垃圾分類領(lǐng)域應(yīng)用深度學(xué)習(xí)模型進(jìn)行了有關(guān)研究[8]。盡管一些輕量級神經(jīng)網(wǎng)絡(luò)模型在小規(guī)模數(shù)據(jù)集上已經(jīng)取得不錯(cuò)效果，但在實(shí)際應(yīng)用過程中，往往需要龐大的垃圾數(shù)據(jù)集作為基礎(chǔ)。遷移學(xué)習(xí)可以將訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)模型的通用特征參數(shù)遷移到另一個(gè)新的模型中，以幫助新的模型獲得更好的初始性能、更快的訓(xùn)練速度，在一定程度上可以彌補(bǔ)垃圾數(shù)據(jù)量不足的問題[9]。由此，這里利用ImageNet數(shù)據(jù)集先對輕量級模型MobileViT進(jìn)行分類任務(wù)的預(yù)訓(xùn)練，再結(jié)合遷移學(xué)習(xí)的思想使用自建垃圾數(shù)據(jù)對MobileViT模型進(jìn)行二次訓(xùn)練，從而獲得表現(xiàn)更優(yōu)的訓(xùn)練模型。

文中將結(jié)合卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）與Transformer架構(gòu)的MobileViT輕量級深度學(xué)習(xí)模型作為垃圾識別算法[10]，并設(shè)計(jì)一種應(yīng)用于室外的垃圾自動(dòng)分類系統(tǒng)。根據(jù)我國生活垃圾分類標(biāo)準(zhǔn)及不同類別垃圾占比的不同[11]，將垃圾箱設(shè)計(jì)為4個(gè)不同大小的子箱，并合理分配內(nèi)部存儲空間。該垃圾分類系統(tǒng)將STM32作為控制板，控制步進(jìn)電機(jī)、舵機(jī)及多種傳感器等元器件，結(jié)合用于部署MobileViT輕量級模型的樹莓派4B串口通信，實(shí)現(xiàn)垃圾自動(dòng)分類投放、垃圾箱容量檢測及蓄電池電量監(jiān)測等多項(xiàng)功能。此外，為了確保垃圾能夠被及時(shí)清理，文中還設(shè)計(jì)開發(fā)了一款小程序，以幫助管理員實(shí)時(shí)查看垃圾箱的使用情況，進(jìn)一步提升管理效率。

1 系統(tǒng)總體設(shè)計(jì)

1.1 機(jī)械結(jié)構(gòu)設(shè)計(jì)

基于垃圾自動(dòng)分類和低碳環(huán)保的初衷，并考慮目前相關(guān)設(shè)計(jì)和研究的不足，提出一種新的分類更精準(zhǔn)、更高效的垃圾自動(dòng)分類系統(tǒng)。整體結(jié)構(gòu)三維圖由SolidWorks軟件繪制，具體的三維結(jié)構(gòu)和實(shí)物如圖1所示。整個(gè)垃圾箱的長度為80 cm、寬度為60 cm、高度為145 cm。結(jié)合我國生活垃圾分類情況統(tǒng)計(jì)及適用場景，將垃圾箱內(nèi)部劃分為4個(gè)大小不同的區(qū)域，從大到小依次為廚余垃圾、可回收物、其他垃圾和有害垃圾。此外，根據(jù)實(shí)際需求的不同，使用者也可自由調(diào)整空間分配。

圖1 垃圾箱三維結(jié)構(gòu)與實(shí)物

智能垃圾分類系統(tǒng)主要由以下模塊組成，其系統(tǒng)工作流程如圖2所示。

1）采集模塊。將單目攝像頭安裝在垃圾箱入口正上方，用于采集垃圾的圖像數(shù)據(jù)。

2）分類模塊。樹莓派4B用于部署輕量級深度學(xué)習(xí)模型，完成垃圾的圖像識別工作，并將識別結(jié)果發(fā)送給下位機(jī)執(zhí)行。

3）感知模塊。主要由多種傳感器組成，用于獲取垃圾箱的存儲信息、開關(guān)信息和光照信息等。其中，電壓檢測傳感器可檢測蓄電池的剩余電量，以便切換工作模式。

4）電源模塊。整個(gè)系統(tǒng)由太陽能板和蓄電池提供穩(wěn)定電源，擺脫了傳統(tǒng)智能垃圾箱需要布線的地域限制，從而節(jié)省了成本。

5）微處理器。將STM32開發(fā)板用于處理傳感器等元器件的感知數(shù)據(jù)，并發(fā)送指令控制整個(gè)設(shè)備的運(yùn)行。

6）電機(jī)。系統(tǒng)電機(jī)包括2種，一種為步進(jìn)電機(jī)，將安裝在絲桿滑臺上的垃圾托盤運(yùn)送到指定位置；另一種為舵機(jī)，控制垃圾托盤的轉(zhuǎn)動(dòng)和垃圾箱蓋的開合。

7）通信模塊。用于云服務(wù)器的物聯(lián)網(wǎng)信息傳輸，實(shí)現(xiàn)對垃圾箱的遠(yuǎn)程監(jiān)控。

圖2 系統(tǒng)工作流程

1.2 硬件控制系統(tǒng)設(shè)計(jì)

1.2.1 多傳感器檢測

傳感器是智能垃圾分類箱在完成復(fù)雜任務(wù)時(shí)必不可少的電子元件。在設(shè)計(jì)的垃圾箱內(nèi)安裝HC-SR04超聲波傳感器，其探測距離為2～400 cm，采用I/O口TRIG觸發(fā)測距。當(dāng)檢測到有信號返回時(shí)，將通過I/O口ECHO輸出1個(gè)高電平，高電平持續(xù)時(shí)間即為超聲波從發(fā)射到返回的時(shí)間，根據(jù)時(shí)間計(jì)算距離，見式（1）。

式中：為高電平持續(xù)時(shí)間；為聲速，通常取340 m/s。

根據(jù)箱體的實(shí)際大小，將4個(gè)超聲波傳感器分別安裝在不同子箱體的正上方約20 cm處，設(shè)定檢測距離為26.8 cm。當(dāng)垃圾分類箱的剩余容量小于20%時(shí)，STM32控制板將通過ESP8266WiFi模塊向云服務(wù)器發(fā)送信息。此時(shí)，小程序端將收到同步信息，并提醒管理人員該垃圾箱即將滿溢，必須及時(shí)清理。為了保證智能垃圾箱僅在有投放垃圾人員靠近時(shí)才進(jìn)行識別工作，在垃圾投放入口旁安裝1個(gè)超聲波傳感器和光敏傳感器，分別判斷是否有人靠近投放垃圾，以及是否需要開啟燈光，設(shè)定超聲波檢測距離為30 cm。光敏傳感器能夠控制LED燈的開關(guān)，以實(shí)現(xiàn)白天和夜晚垃圾箱的正常工作。

1.2.2 電源電量智能監(jiān)測

這里提供一種智能垃圾箱節(jié)能控制系統(tǒng)及方法，采用太陽能板和蓄電池提供電源。為了解決傳統(tǒng)太陽能供電不足的問題，設(shè)計(jì)了一種蓄電池電量智能監(jiān)測系統(tǒng)，其檢測流程如圖3所示。INA226電壓電流監(jiān)控器模塊通過I2C協(xié)議與STM32控制板通信，可檢測0～36 V范圍內(nèi)電源總線上的電壓，通過普通蓄電池電壓與電池電量的關(guān)系，實(shí)時(shí)檢測判斷蓄電池的剩余電量[12-13]。當(dāng)檢測到電源電量小于或等于20%時(shí)，INA226模塊將會觸發(fā)控制程序，打開垃圾箱的箱蓋，進(jìn)入手動(dòng)工作模式。當(dāng)INA226模塊檢測到電池電量大于或等于80%時(shí)，垃圾箱蓋將會關(guān)閉，恢復(fù)自動(dòng)識別工作模式?；谠撨壿嫞瑢?shí)現(xiàn)了2種工作模式的自動(dòng)切換，避免了傳統(tǒng)太陽能垃圾箱存在的缺點(diǎn)。

1.2.3 電機(jī)驅(qū)動(dòng)與控制

步進(jìn)電機(jī)由STM32控制，控制板通過TB6600型驅(qū)動(dòng)器驅(qū)動(dòng)步進(jìn)電機(jī)轉(zhuǎn)動(dòng)，帶動(dòng)滾珠絲桿轉(zhuǎn)動(dòng)，使安裝在絲桿滑臺上的垃圾托盤做橫向移動(dòng)，在運(yùn)動(dòng)到對應(yīng)的垃圾子箱旁邊時(shí)停止。舵機(jī)的型號為MG995，其工作扭矩為1.27 N·m，轉(zhuǎn)動(dòng)角度為180°，由STM32控制板控制。根據(jù)識別的垃圾種類控制安裝在滑臺上的舵機(jī)轉(zhuǎn)動(dòng)45°，在重力作用下傾斜的垃圾將被倒入指定子箱?？刂评渖w開關(guān)的電機(jī)選擇同型號舵機(jī)，分別安裝在前后兩端控制2個(gè)箱蓋。

圖3 電源電量檢測流程

1.3 上位機(jī)軟件設(shè)計(jì)

為了方便垃圾箱管理人員查看管理垃圾箱，采用物聯(lián)網(wǎng)技術(shù)，通過云服務(wù)器實(shí)現(xiàn)人與物的實(shí)時(shí)交互。利用ESP8266WiFi模塊將硬件控制設(shè)備與網(wǎng)絡(luò)云平臺相連接，環(huán)衛(wèi)人員可通過小程序?qū)崟r(shí)查看垃圾箱的容量狀態(tài)。在垃圾箱容量即將滿溢時(shí)環(huán)衛(wèi)人員會收到提醒，便于及時(shí)清理垃圾，這在一定程度上節(jié)省了人力成本，并提高了工作效率。小程序界面如圖4所示。

圖4 小程序界面

2 MobileViT輕量級視覺模型

2.1 數(shù)據(jù)集制作

基于現(xiàn)實(shí)生活中的應(yīng)用場景，數(shù)據(jù)主要來源于人員較集中的場所，如校園、公交車站、公園等，并涵蓋了20種常見的生活垃圾，如礦泉水瓶、口罩、果皮等。根據(jù)我國城市生活垃圾分類標(biāo)準(zhǔn)的要求，將20種垃圾劃分為廚余垃圾、可回收物、其他垃圾和有害垃圾四大類[14]，每類垃圾的具體數(shù)量如表1所示。數(shù)據(jù)集的來源為網(wǎng)絡(luò)及手機(jī)拍照，共收集垃圾圖像8 500張，平均每種垃圾有425張圖像，將數(shù)據(jù)集按照8∶2的比例劃分為訓(xùn)練集和測試集，分別包含6 800張和1 700張圖像。

2.2 MobileViT視覺模型

CNN在學(xué)習(xí)圖像表征信息方面有著天然的歸納偏置優(yōu)勢（權(quán)重參數(shù)共享與平移不變性），在一些資源有限的視覺分類任務(wù)中具有較廣泛的應(yīng)用，但CNN只能在空間信息域建立局部依賴關(guān)系?；谧宰⒁饬C(jī)制的視覺轉(zhuǎn)換器（Vision Transformer，ViT）模型對輸入特征圖具有捕捉全局感受野的能力，能夠在空間維度上建立全局依賴關(guān)系，從而學(xué)習(xí)到全局視覺表征信息，但基于自注意力機(jī)制的網(wǎng)絡(luò)結(jié)構(gòu)通常具有較大的參數(shù)量和計(jì)算量[15]。針對上述2點(diǎn)，MobileViT模型能夠有效結(jié)合CNN模型的歸納偏置優(yōu)勢和ViT模型的全局感受能力，同時(shí)具有輕量化網(wǎng)絡(luò)的特點(diǎn)，比較適合應(yīng)用于智能垃圾箱這種資源有限的邊緣端設(shè)備中，MobileViT網(wǎng)絡(luò)架構(gòu)如圖5所示。

表1 垃圾圖像數(shù)據(jù)集

Tab.1 Garbage image data set

圖5 MobileViT網(wǎng)絡(luò)架構(gòu)

從圖5可以看出，MobileViT模型的核心組成為MobileViT block，它通過結(jié)合應(yīng)用CNN和ViT，能夠更好地獲取局部表征（Local representations）和全局表征（Global representations）的視覺信息。MobileViT的初始層是一個(gè)卷積核為3×3的卷積層，其下采樣操作的stride取值為2。然后連接初始層的是MV2層和MobileViT block模塊，MV2是MobileNetV2模型中的一種倒殘差網(wǎng)絡(luò)結(jié)構(gòu)，其特征圖的維度先升后降，維度更高時(shí)經(jīng)激活函數(shù)后，損失的信息將會變少[16]。MobileViT模型的關(guān)鍵是MobileViT block，首先將特征圖通過一個(gè)卷積核為3×3的卷積層進(jìn)行局部特征建模，然后通過一個(gè)卷積核為1×1的卷積層來調(diào)整通道數(shù)量，并通過Unfold、Transformer和 Fold操作對結(jié)構(gòu)進(jìn)行全局特征建模，隨后再利用一個(gè)卷積核為1×1的卷積層將通道數(shù)量調(diào)整回原始大小，接著通過捷徑分支與原始輸入特征圖進(jìn)行拼接（沿通道方向），最后再通過一個(gè)卷積核為3×3的卷積層進(jìn)行特征融合，從而得到其輸出。為了能夠?qū)obileViT模型應(yīng)用到文中的垃圾分類任務(wù)中，將MobileViT模型進(jìn)行一定改動(dòng)，使其輸出層為1×1×20。改動(dòng)后的MobileViT模型結(jié)構(gòu)如表2所示。

表2 MobileViT結(jié)構(gòu)

Tab.2 MobileViT structure

3 實(shí)驗(yàn)與結(jié)果分析

3.1 實(shí)驗(yàn)環(huán)境與設(shè)置

數(shù)據(jù)集訓(xùn)練使用的電腦為64位Windows10系統(tǒng)，配置為i5-12500H，8 GB內(nèi)存，GPU為NVIDIA RTX 3060顯卡，4 GB獨(dú)立顯存。電腦運(yùn)行環(huán)境為11.1版本的CUDA，Pytorch深度學(xué)習(xí)框架，其版本為1.10.1。在實(shí)驗(yàn)訓(xùn)練過程中，將原始圖經(jīng)過中心裁剪后得到256×256的模型輸入。模型訓(xùn)練采用AdamW優(yōu)化算法，設(shè)置學(xué)習(xí)率（LR）為0.001，訓(xùn)練周期（Epoch）為200輪，批次（batch size）為32，正則化系數(shù)為0.01。

3.2 訓(xùn)練結(jié)果與分析

為了驗(yàn)證MobileViT模型相較于當(dāng)前應(yīng)用廣泛的AlexNet、ResNet50和MobileNetV3模型具有更高的性能，更加適合應(yīng)用于垃圾分類領(lǐng)域中資源有限的邊緣設(shè)備，這里采用相同的自建數(shù)據(jù)集對目前部分主流網(wǎng)絡(luò)模型分別進(jìn)行了訓(xùn)練，結(jié)果見表3和圖6。

表3 不同模型的實(shí)驗(yàn)結(jié)果

Tab.3 Experimental results of different models

圖6 不同模型訓(xùn)練精度

從表3和圖6可知，經(jīng)過200輪訓(xùn)練后，MobileViT模型的準(zhǔn)確率為92.05%，MobileNetV3模型的準(zhǔn)確率為88.76%，ResNet50模型的準(zhǔn)確率為90.13%，AlexNet模型的準(zhǔn)確率為75.89%。與MobileNetV3模型相比，MobileViT模型在參數(shù)量和模型大小相近的情況下，其準(zhǔn)確率高出3.29%。與ResNet50模型相比，MobileViT模型的準(zhǔn)確率與其相近，但ResNet50模型的參數(shù)量和模型大小卻是MobileViT模型的4.5倍和4.7倍，這對于資源有限的嵌入式設(shè)備并不友好。此外，相較于AlexNet模型，MobileViT模型在準(zhǔn)確率、模型參數(shù)量、模型大小等方面均明顯占優(yōu)。顯然，綜合多方面來看，MobileViT輕量級視覺模型與目前部分主流網(wǎng)絡(luò)模型相比，表現(xiàn)出更好的性能，更適合于移動(dòng)端和嵌入式等這類資源有限的垃圾分類智能設(shè)備。

此外，在數(shù)據(jù)集有限的情況下，為了使模型更快收斂，并獲得更好的性能，MobileViT模型的訓(xùn)練將結(jié)合深度學(xué)習(xí)中的遷移學(xué)習(xí)思想來提高其性能表現(xiàn)。這里先采用ImageNet數(shù)據(jù)集對MobileViT模型進(jìn)行分類任務(wù)的預(yù)訓(xùn)練，使其預(yù)先獲得良好的圖像特征提取能力，得到一個(gè)預(yù)訓(xùn)練權(quán)重。然后，重新構(gòu)建MobileViT模型，加載預(yù)訓(xùn)練權(quán)重，并將其輸出層調(diào)整為20，以對應(yīng)文中自建數(shù)據(jù)集的垃圾種類數(shù)量。最后，使用自建數(shù)據(jù)集對MobileViT模型進(jìn)行二次訓(xùn)練，并輸出保存最終的模型權(quán)重。對比分析了模型訓(xùn)練過程中的準(zhǔn)確率和損失值，其訓(xùn)練過程如圖7所示。

由圖7可知，經(jīng)過200輪訓(xùn)練后，基于遷移學(xué)習(xí)思想訓(xùn)練的MobileViT模型的準(zhǔn)確率達(dá)到98.01%，而未使用遷移學(xué)習(xí)方式訓(xùn)練的MobileViT模型的準(zhǔn)確率為92.05%，二者相差5.96%。顯然，遷移學(xué)習(xí)訓(xùn)練的應(yīng)用使得模型的準(zhǔn)確率在數(shù)據(jù)集不變的情況下得到明顯提高。此外，基于遷移學(xué)習(xí)訓(xùn)練的MobileViT模型，其訓(xùn)練過程更快趨于穩(wěn)定，損失值更快趨于收斂，這從側(cè)面充分表明遷移學(xué)習(xí)應(yīng)用的必要性。

圖7 MobileViT模型訓(xùn)練精度與損失

3.3 模型測試與分析

為了得到MobileViT模型實(shí)際識別推理所耗費(fèi)的時(shí)間，從實(shí)際生活環(huán)境中獲取了100張垃圾圖像進(jìn)行測試，并將其劃分為20種垃圾圖像，每種類別各含5張照片（不同角度、不同光照下）。經(jīng)實(shí)際驗(yàn)證統(tǒng)計(jì)，平均每張圖像的推理時(shí)間約為17.8 ms，部分測試結(jié)果如圖8所示。

圖8 部分垃圾圖像測試結(jié)果

4 結(jié)語

針對傳統(tǒng)機(jī)器視覺在垃圾分類領(lǐng)域存在的問題，從視覺模型、控制系統(tǒng)邏輯及上位機(jī)軟件等方面著手，設(shè)計(jì)了一種更為高效的智能垃圾分類裝置，有效提高了垃圾識別的準(zhǔn)確率及垃圾分類的管理效率。

1）視覺模型采用MobileViT輕量級視覺模型，它在自建數(shù)據(jù)集的訓(xùn)練準(zhǔn)確率達(dá)到92.05%，明顯優(yōu)于部分主流模型。在此基礎(chǔ)上引入了遷移學(xué)習(xí)，進(jìn)一步將模型識別準(zhǔn)確率提高到98.01%，從而獲得一個(gè)性能更優(yōu)的視覺模型。

2）控制系統(tǒng)以STM32單片機(jī)為主控芯片，結(jié)合多電機(jī)和多傳感器檢測技術(shù)，通過樹莓派4B串口通信，能夠?qū)崿F(xiàn)垃圾自動(dòng)分類、設(shè)備能源自給和工作模式自動(dòng)切換等多項(xiàng)功能。

3）上位機(jī)軟件結(jié)合先進(jìn)的云服務(wù)技術(shù)，實(shí)現(xiàn)了小程序端物聯(lián)網(wǎng)通信，有效提高了智能垃圾分類裝置的管理效率，進(jìn)一步提高了垃圾自動(dòng)分類系統(tǒng)的應(yīng)用價(jià)值。

[1] 孫曉杰, 王春蓮, 李倩, 等. 中國生活垃圾分類政策制度的發(fā)展演變歷程[J]. 環(huán)境工程, 2020, 38(8): 65-70.

SUN Xiao-jie, WANG Chun-lian, LI Qian, et al. Development and Evolution of China's Domestic Waste Classification Policy System[J]. Environmental Engineering, 2020, 38(8): 65-70.

[2] MA Han-xu, YE Yong, DONG Ji, et al. An Intelligent Garbage Classification System Using a Lightweight Network MobileNetV2[C]// 2022 7th International Conference on Signal and Image Processing (ICSIP) Suzhou, China IEEE, 2022: 531-535.

[3] 宋鐵. 基于機(jī)器視覺的家庭智能分類垃圾桶設(shè)計(jì)研究[D]. 上海: 東華大學(xué), 2019: 51-58.

SONG Tie. Research on Design of Household Intelligent Classified Trash Bin Based on Machine Vision[D]. Shanghai: Donghua University, 2019: 51-58.

[4] 康莊, 楊杰, 郭濠奇. 基于機(jī)器視覺的垃圾自動(dòng)分類系統(tǒng)設(shè)計(jì)[J]. 浙江大學(xué)學(xué)報(bào)(工學(xué)版), 2020, 54(7): 1272-1280.

KANG Zhuang, YANG Jie, GUO Hao-qi. Automatic Garbage Classification System Based on Machine Vision[J]. Journal of Zhejiang University (Engineering Science), 2020, 54(7): 1272-1280.

[5] BIRCANO?LU C, ATAY M, BE?ER F, et al. RecycleNet: Intelligent Waste Sorting Using Deep Neural Networks[C]// 2018 Innovations in Intelligent Systems and Applications (INISTA) Thessaloniki, Greece IEEE, 2018: 1-7.

[6] 康歡. 基于深度學(xué)習(xí)的生活垃圾分類算法和移動(dòng)端系統(tǒng)設(shè)計(jì)[D]. 廣州: 廣東工業(yè)大學(xué), 2021: 1-7.

KANG Huan. Classification Algorithm of Domestic Waste Based on Deep Learning and Design of Mobile Terminal System[D]. Guangzhou: Guangdong University of Technology, 2021: 1-7.

[7] 袁建野, 南新元, 蔡鑫, 等. 基于輕量級殘差網(wǎng)路的垃圾圖片分類方法[J]. 環(huán)境工程, 2021, 39(2): 110-115.

YUAN Jian-ye, NAN Xin-yuan, CAI Xin, et al. Garbage Image Classification by Lightweight Residual Network[J]. Environmental Engineering, 2021, 39(2): 110-115.

[8] CHEN Zhi-chao, YANG Jie, CHEN Li-fang, et al. Garbage Classification System Based on Improved ShuffleNet V2[J]. Resources, Conservation and Recycling, 2022, 178: 106090.

[9] 李金玉, 陳曉雷, 張愛華, 等. 基于深度學(xué)習(xí)的垃圾分類方法綜述[J]. 計(jì)算機(jī)工程, 2022, 48(2): 1-9.

LI Jin-yu, CHEN Xiao-lei, ZHANG Ai-hua, et al. Survey of Garbage Classification Methods Based on Deep Learning[J]. Computer Engineering, 2022, 48(2): 1-9.

[10] MEHTA S, RASTEGARI M. MobileViT: Light-Weight, General-Purpose, and Mobile-Friendly Vision Transformer[EB/OL]. 2022: https://arxiv.org/abs/2110.02178.

[11] 李海丹, 鄭麗萍, 周涵, 等. 我國生活垃圾組分的時(shí)空分布特征回顧[J]. 環(huán)境工程, 2022, 40(9): 126-134.

LI Hai-dan, ZHENG Li-ping, ZHOU Han, et al. Review on Temporal and Spatial Distribution Characteristics of Domestic Waste Components in China[J]. Environmental Engineering, 2022, 40(9): 126-134.

[12] 付華圓. 電動(dòng)汽車蓄電池剩余電量估計(jì)算法的研究與實(shí)現(xiàn)[D]. 杭州: 杭州電子科技大學(xué), 2011: 17-21.

FU Hua-yuan. Research and Implementation of Estimation Algorithm for Battery Remaining Power of Electric Vehicle[D]. Hangzhou: Hangzhou Dianzi University, 2011: 17-21.

[13] 吉炫瑋. 基于STM32的蓄電池充放電控制及無線監(jiān)測系統(tǒng)的設(shè)計(jì)[D]. 銀川: 北方民族大學(xué), 2018: 34-38.

JI Xuan-wei. Design of Battery Charging and Discharging Control and Wireless Monitoring System Based on STM32[D]. Yinchuan: Beifang University of Nationalities, 2018: 34-38.

[14] 李鈞澤, 劉中梅. 我國城市生活垃圾分類制度現(xiàn)狀及法律對策[J]. 科學(xué)發(fā)展, 2022(11): 92-97.

LI Jun-ze, LIU Zhong-mei. Present Situation and Legal Countermeasures of Municipal Solid Waste Classification System in China[J]. Scientific Development, 2022(11): 92-97.

[15] DOSOVITSKIY A, BEYER L, KOLESNIKOV A, et al. An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale[EB/OL]. 2020: https://arxiv.org/ abs/2010.11929.

[16] SANDLER M, HOWARD A, ZHU Meng-long, et al. MobileNetV2: Inverted Residuals and Linear Bottlenecks[C]// 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City, USA IEEE, 2018: 4510-4520.

Design of Automatic Garbage Classification System Based on MobileViT Lightweight Visual Model

YUAN Bin,ZHANG Chao-jun,LI Chen

(School of Mechanical and Energy Engineering, Zhejiang University of Science and Technology, Hangzhou 310023, China)

The work aims to design a more efficient automatic garbage classification system based on the lightweight network model to solve the problems of the traditional machine vision network model, such as large number of references, low efficiency and difficult landing. The innovative design of the structure could realize the automatic switching of four kinds of garbage classification and storage with different proportions and the working mode of the garbage bin. The STM32 control mechanism motor and a variety of sensors were used to communicate with the Raspberry PI 4B serial port to realize garbage classification and delivery. The cloud server realized the Internet of Things communication at the small program side to improve management efficiency. The MobileViT lightweight model was used to train on the self-built data set, and the training speed and accuracy of the model were improved by combining transfer learning. The feasibility was verified by comparing the model with the mainstream model. The accuracy of MobileViT model could reach 98.01%, the average reasoning time of a single image in the actual test was only 17.8 ms, and the number of model parameters was only 5.6×106. The accuracy was 9.25% higher than that of lightweight network MobileNetV3 under the similar parameters. The performance indexes were better than those of traditional ResNet50 and AlexNet models. The design of automatic garbage classification system based on MobileViT lightweight visual model can complete the task of automatic garbage classification more efficiently. The accuracy and speed of the model meet the actual demand, and it is very friendly to the edge equipment in the field of garbage classification.

garbage classification; smart garbage bin; MobileViT; lightweight; transfer learning

TP23；TB486

A

1001-3563(2023)23-0208-08

10.19554/j.cnki.1001-3563.2023.23.025

2022-12-08

國家自然科學(xué)基金（62103340）

責(zé)任編輯：彭颋