基于視覺識別和人機(jī)交互的智能垃圾分類裝置

吳國雄

（武漢工程大學(xué)，湖北 武漢 430000）

近年來，生活中的垃圾產(chǎn)生量呈現(xiàn)大幅增長的態(tài)勢。根據(jù)中國城市環(huán)境衛(wèi)生協(xié)會統(tǒng)計(jì)，我國每年產(chǎn)生近10億噸垃圾，產(chǎn)生垃圾總量排行位于世界前列。此外，隨著我國城鎮(zhèn)化進(jìn)程的加快以及人民生活水平的提高，城市生活垃圾保持著8%~10%的年增長率，全國2/3以上的城市深陷“垃圾圍城”困境。垃圾分類回收被普遍認(rèn)為是解決困境、提高資源化利用效率的關(guān)鍵環(huán)節(jié)[1]，但由于日常生活中存在垃圾分類管理工作落后、信息化推廣程度較低、普及性水平較差等問題[2-3]，傳統(tǒng)的垃圾桶并不能引導(dǎo)人們進(jìn)行正確分類。針對上述問題，筆者設(shè)計(jì)出一種垃圾分類裝置，可通過機(jī)器視覺對投入的垃圾進(jìn)行自主分類，并將分類結(jié)果顯示在屏幕上反饋給用戶，將垃圾分類變得簡單，從而推動政策的施行和垃圾分類知識的普及。

1 結(jié)構(gòu)設(shè)計(jì)

根據(jù)擬設(shè)計(jì)的現(xiàn)實(shí)場景，筆者設(shè)計(jì)出一種新型垃圾分類機(jī)構(gòu)，分類機(jī)構(gòu)主要由垃圾暫存機(jī)構(gòu)、斜坡機(jī)構(gòu)、抽拉式底桶三個(gè)部分組成，其整體視圖和分類流程如圖1所示。

圖1 整體視圖與分類流程

1.1 垃圾暫存機(jī)構(gòu)

垃圾暫存機(jī)構(gòu)主要由LED環(huán)形光源、側(cè)板、曲形斜槽、連桿機(jī)構(gòu)、舵機(jī)搭建而成，用于垃圾投入后的暫時(shí)儲存并提供視覺識別的空間。

側(cè)板由四塊白色磨砂亞克力板通過角鐵連接，曲形斜槽由兩塊3D打印件組成，作為暫存機(jī)構(gòu)的底板，并通過合頁與側(cè)板連接，形成半封閉式空間。磨砂亞克力板的半透光性配合LED環(huán)形光源能形成整體均勻的光線，為攝像頭提供良好視覺識別環(huán)境，避免環(huán)境光線過暗或光影雜亂給分類帶來負(fù)面影響，提高識別精度。兩塊打印件閉合狀態(tài)呈120°夾角，閉合處形成曲形槽，當(dāng)易拉罐、電池、塑料瓶等圓柱形垃圾投入暫存機(jī)構(gòu)時(shí)，由于曲形斜槽的結(jié)構(gòu)特殊性，這些垃圾均能在底板上以相同姿態(tài)呈現(xiàn)在攝像頭下。因此，在制作這些垃圾的數(shù)據(jù)集時(shí)，可以減小非必要圖片的數(shù)量，降低數(shù)據(jù)集的復(fù)雜性，提高分類模型精度的同時(shí)加快其訓(xùn)練速度。

在識別完成之后，兩側(cè)舵機(jī)操控連桿機(jī)構(gòu)將兩塊曲形槽板打開，使得垃圾自由下落，進(jìn)行下一個(gè)分類步驟。

1.2 斜坡機(jī)構(gòu)

斜坡機(jī)構(gòu)主要由斜坡、餐盤軸承、電機(jī)支承板、步進(jìn)電機(jī)、法蘭聯(lián)軸器組成，通過步進(jìn)電機(jī)帶動斜坡轉(zhuǎn)動控制垃圾下落后的滾動方向，以此完成分類。

斜坡由四塊環(huán)氧板搭建而成，其中包含一塊傾斜度為35°的斜板、兩塊護(hù)欄板和一塊底板，斜板用于垃圾的順利滾落，護(hù)欄板防止垃圾從側(cè)面掉落，底板負(fù)責(zé)與步進(jìn)電機(jī)和餐盤軸承連接。

原動機(jī)采用2.3 N·m的大扭矩步進(jìn)電機(jī)，通過支承板固定于暫存機(jī)構(gòu)的正下方，電機(jī)軸上套有法蘭聯(lián)軸器，用于和餐盤軸承內(nèi)圈以及斜坡底板連接，餐盤軸承的外圈通過銅柱與電機(jī)支承板固連。在餐盤軸承的作用下，斜坡的豎直方向受力分散給了四個(gè)支撐銅柱，避免重物下落時(shí)導(dǎo)致斜坡傾斜。

1.3 抽拉式底桶

為了便于進(jìn)行垃圾袋的更換，筆者采用抽拉式底桶的設(shè)計(jì)，通過導(dǎo)軌和牛眼輪將內(nèi)筒從外殼兩邊抽出，簡化換袋操作。抽拉式底桶的組成有垃圾桶、抽屜導(dǎo)軌、鋁型材、側(cè)板、牛眼輪。當(dāng)垃圾溢滿后，可以將垃圾桶抽出進(jìn)行換袋。

2 功能實(shí)現(xiàn)

根據(jù)分類裝置的功能需求，筆者將控制端分為上行視覺開發(fā)板和下行執(zhí)行開發(fā)板兩個(gè)主要部分，并選用Kendryte K210和STM32F103分別作為上行開發(fā)板和下行開發(fā)板的主控芯片。Kendryte K210實(shí)現(xiàn)基于卷積神經(jīng)網(wǎng)絡(luò)的圖像分類任務(wù)，STM32F103負(fù)責(zé)進(jìn)行分類動作的執(zhí)行和滿載報(bào)警。

2.1 視覺分類

上行開發(fā)板通過OV5640攝像頭采集圖片、K210芯片調(diào)用kmodel模型和Maixpy視覺代碼來實(shí)現(xiàn)垃圾的視覺分類。K210芯片架構(gòu)包含了一個(gè)自研的神經(jīng)網(wǎng)絡(luò)硬件加速器KPU，KPU算力能夠達(dá)到0.8TFLOPS，可以高性能地進(jìn)行卷積神經(jīng)網(wǎng)絡(luò)運(yùn)算，實(shí)現(xiàn)基于卷積神經(jīng)網(wǎng)絡(luò)的圖像分類任務(wù)[4]。kmodel屬于yolov3目標(biāo)檢測算法生成的模型，yolov3以darknet-53為骨干網(wǎng)絡(luò)，整個(gè)結(jié)構(gòu)里面只有殘差模塊，沒有池化層和全連接層，yolov3應(yīng)用殘留跳過連接來解決深度網(wǎng)絡(luò)的梯度消失問題，并使用上采樣和級聯(lián)方法保留細(xì)粒度的特征以用于小物體檢測，每個(gè)卷積層后面都接一個(gè)批次歸一化層和一個(gè)Leaky Relu激活層，并引入Res Net殘差模塊以解決網(wǎng)絡(luò)深度加深時(shí)所出現(xiàn)的訓(xùn)練退化問題[5]。對于kmodel模型的生成，本文采用Mx-yolov3本地訓(xùn)練平臺對垃圾圖片數(shù)據(jù)集進(jìn)行訓(xùn)練，將訓(xùn)練生成的tflite模型通過nnc轉(zhuǎn)換器轉(zhuǎn)換為kmodel格式并導(dǎo)入SD卡，K210芯片調(diào)用SD卡中的模型，使用自帶的神經(jīng)網(wǎng)路加速器KPU對攝像頭采集的垃圾圖像進(jìn)行卷積神經(jīng)網(wǎng)絡(luò)計(jì)算，完成圖像分類并將分類結(jié)果傳遞給下行開發(fā)板。

2.2 視覺分類結(jié)果傳遞

下行開發(fā)板與上行開發(fā)板通過各自的ESP8266 WIFI模塊建立通信傳輸視覺識別的分類結(jié)果。ESP8266芯片是一款串口轉(zhuǎn)無線模芯片，內(nèi)部自帶固件，采用串口（LVTTL）與站點(diǎn)主控MCU進(jìn)行通信，通過內(nèi)置的TCP/IP協(xié)議棧實(shí)現(xiàn)串口與WIFI之間的轉(zhuǎn)換，只需要簡單的串口配置即可通過網(wǎng)絡(luò)傳輸數(shù)據(jù)，無需編寫時(shí)序信號[6]。上行開發(fā)板作為主站，WIFI模塊設(shè)置為COM-WIFI AP模式，作為無線WIFI熱點(diǎn)，建立局域網(wǎng)，允許從站W(wǎng)IFI設(shè)備連接，子模式設(shè)置為TCP服務(wù)器端，生成IP地址。下行開發(fā)板作為從站，WIFI模塊設(shè)置為COM-WIFI STA模式，子模式設(shè)置為TCP客戶端，通過輸入主站的IP地址，加入主站局域網(wǎng)，實(shí)現(xiàn)主從站之間的無線數(shù)據(jù)透傳。下行開發(fā)板根據(jù)建立的上行下行通訊協(xié)議，獲取視覺識別的分類結(jié)果，根據(jù)分類結(jié)果執(zhí)行分類動作。

2.3 分類動作執(zhí)行

當(dāng)下行開發(fā)板接收到分類信息之后，開始由STM32F103芯片控制執(zhí)行分類動作。STM32芯片具有較強(qiáng)的運(yùn)算能力，系統(tǒng)最大時(shí)鐘頻率可達(dá)到72 MHz[7]，具有多路時(shí)鐘通道可供使用。STM32F103芯片通過引腳輸出PWM波和脈沖信號控制兩路舵機(jī)和一路步進(jìn)電機(jī)執(zhí)行分類動作，舵機(jī)開合暫存機(jī)構(gòu)的底板控制垃圾下落，步進(jìn)電機(jī)帶動斜坡機(jī)構(gòu)轉(zhuǎn)動，使下落的垃圾滾進(jìn)對應(yīng)桶中完成分類。

2.4 垃圾桶驗(yàn)滿

筆者選用VL53L1激光測距儀測距驗(yàn)滿。VL53L1具有4 cm到400 cm的測量距離，并且具有可通過一個(gè)串口訪問多個(gè)傳感器的特點(diǎn)，達(dá)到占用最小板載資源，實(shí)現(xiàn)多個(gè)傳感器數(shù)據(jù)的同時(shí)讀取。通過傳感器數(shù)據(jù)值循環(huán)檢測，當(dāng)任一讀取數(shù)據(jù)值超過設(shè)定值，觸發(fā)顯示屏溢滿報(bào)警。待更換垃圾袋后，測距儀所測距離小于設(shè)定值，清除顯示屏溢滿報(bào)警。

2.5 人機(jī)交互屏幕

人機(jī)交互屏幕采用大彩公司的工業(yè)級串口顯示終端，該終端采用32位400MSOC處理器，內(nèi)部集成了SDR顯存、JPEG圖片解碼等功能。分類裝置利用該終端配套的上位機(jī)VisualTFT建立工程進(jìn)行界面排版和控件配置，上位機(jī)對工程的每一個(gè)頁面、圖片、控件分配唯一的ID號，下行板將垃圾分類信息和溢滿情況以規(guī)定數(shù)據(jù)幀的形式通過串口發(fā)送給屏幕，屏幕對每一幀數(shù)據(jù)進(jìn)行解析并在相應(yīng)控件上執(zhí)行操作，將垃圾分類信息和溢滿狀況實(shí)時(shí)反饋給用戶，實(shí)現(xiàn)人機(jī)交互。

3 總結(jié)

筆者提出一種基于視覺識別和人機(jī)交互的智能垃圾分類裝置，將智能化設(shè)備帶入到新政策的施行中，加快垃圾分類知識的普及，提高民眾進(jìn)行垃圾分類的效率，降低清潔人員的工作量和工作難度，真正地將創(chuàng)新與科技融入到垃圾回收處理中，對提高資源利用效率、改善環(huán)境問題和解決能源危機(jī)有一定的科學(xué)指導(dǎo)意義。