基于深度學(xué)習(xí)的智能垃圾分揀系統(tǒng)設(shè)計

李平原，宋曉煒，王玉瑩

（1.中原工學(xué)院 電子信息學(xué)院，河南 鄭州 450007；2.開封大學(xué)，河南 開封 475004）

0 引 言

隨著社會經(jīng)濟(jì)的發(fā)展，人類對資源的需求越來越大，由此產(chǎn)生的大量廢棄物造成嚴(yán)重的環(huán)境問題，居民產(chǎn)生的生活垃圾逐漸成為制約城市發(fā)展的問題。傳統(tǒng)的垃圾處理方式是混放且由市政管理部門收集處理，收集難度大，處理效率低，管理成本高。垃圾自動化分類對于城市發(fā)展至關(guān)重要，根據(jù)垃圾的性質(zhì)和可利用價值，人類需要制定合理的垃圾分類準(zhǔn)則，提高垃圾收集和處理的效率，改善人類的生存環(huán)境，促進(jìn)可持續(xù)發(fā)展，提高人們的環(huán)保意識。

隨著生活垃圾產(chǎn)量的增加，垃圾種類繁多，垃圾分類的工作量不斷增加，利用人工智能技術(shù)去實現(xiàn)垃圾分類成為一個新的方向。人工智能技術(shù)發(fā)展很成熟，但與實際應(yīng)用場景結(jié)合還是有很多難點。在判斷垃圾種類時，由于深度學(xué)習(xí)的分類網(wǎng)絡(luò)眾多，選擇準(zhǔn)確率高的分類網(wǎng)絡(luò)對各個種類的垃圾進(jìn)行訓(xùn)練是主要難點，不僅是網(wǎng)絡(luò)的選擇，垃圾樣本訓(xùn)練也是一個難點，需要收集盡可能多的垃圾種類。同時硬件分揀系統(tǒng)整體設(shè)計也是一大難點，需要選擇成本相對較低、穩(wěn)定性高的控制器。最后還要考慮測試系統(tǒng)與實際應(yīng)用系統(tǒng)的差距，以及外部情況對本設(shè)計的影響。

隨著人工智能和機(jī)器視覺的發(fā)展，普通垃圾分類也升級成智能垃圾分類。通過神經(jīng)網(wǎng)絡(luò)對目標(biāo)進(jìn)行模型訓(xùn)練實現(xiàn)垃圾的智能分類，其中卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用的范圍最廣，利用率最高。

呂文杰等人利用InceptionV3 模型對部分生活類的垃圾進(jìn)行了檢測識別并分類，將整個分類過程與手機(jī)APP 結(jié)合起來，能夠快速對簡單類別的垃圾實現(xiàn)分類。吳碧程等人則是通過構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)實現(xiàn)對垃圾的分類，不光對網(wǎng)絡(luò)模型進(jìn)行了改進(jìn)，還設(shè)計了硬件的分類器。這些研究是對智能垃圾分類的不斷探索，仍然存在很多不足。

本設(shè)計期望解放人們雙手，通過訓(xùn)練目標(biāo)檢測網(wǎng)絡(luò)模型，利用圖像目標(biāo)識別完成垃圾分類工作，旨在正確分類并增進(jìn)人們對垃圾分類的認(rèn)識。本文參照常用垃圾分類標(biāo)準(zhǔn)，將生活垃圾分為可回收垃圾、廚余垃圾、有害垃圾、其他垃圾四大類，并按照四類標(biāo)準(zhǔn)制作數(shù)據(jù)集，完成網(wǎng)絡(luò)模型的訓(xùn)練與驗證。

1 硬件設(shè)計與分析

設(shè)計利用HuskyLens 視覺傳感器和樹莓派4B 兩個核心模塊結(jié)合實現(xiàn)相應(yīng)功能?？傮w設(shè)計框圖如圖1所示。本設(shè)計硬件包含HuskyLens 視覺傳感器，樹莓派，顯示屏，紅外溢滿報警模塊，二自由度舵機(jī)平臺以及四個垃圾箱。首先利用HuskyLens 視覺傳感器中攝像頭對物體進(jìn)行識別，顯示屏上顯示樹莓派主頁面，調(diào)試好目標(biāo)檢測模型的代碼后開始運行，將物體放置在二自由度舵機(jī)平臺上對準(zhǔn)攝像頭中心檢測框進(jìn)行識別。分類成功后，將分類信息通過控制器在顯示屏顯示并語音播報其分類屬性，同時，二自由度舵機(jī)平臺將垃圾自動投擲到相應(yīng)的垃圾箱內(nèi)。當(dāng)垃圾箱內(nèi)垃圾過多時，紅外對管感知溢滿后報警，提示管理人員更換垃圾箱。

圖1 系統(tǒng)設(shè)計框圖

1.1 HuskyLens 視覺傳感器

HuskyLens 視覺傳感器是一款簡單易用的AI 視覺傳感器。其中圖像傳感器分別為SEN0305 HuskyLens：OV2640（200W 像素）和SEN0336：HuskyLenspro：OV5640（500W像素）。如圖2所示，顯示屏為2.0 寸IPS，分辨率為320×240，其內(nèi)置處理器為KendryteK210，K210 使用臺積電超低功耗的28 納米先進(jìn)制程，具有RISC-V64 位雙核CPU，每個核心內(nèi)置獨立FPU，擁有較好的功耗性能，穩(wěn)定性與可靠性。該處理器集成了機(jī)器視覺與機(jī)器聽覺能力。包含用于計算卷積神經(jīng)網(wǎng)絡(luò)的KPU。該視覺傳感器包括快速傅里葉變換加速器，所以具備高性能處理能力。同時K210內(nèi)嵌AES 與SHA256 算法加速器，為用戶提供基本安全功能。

圖2 HuskyLens 視覺傳感器

1.2 控制器、紅外傳感器模塊

本設(shè)計選用樹莓派做為控制器。由于是實驗階段，選擇控制器主要以功能齊全、體積小、成本低作為優(yōu)先選擇條件。樹莓派接口豐富，二次開發(fā)的首選。顯示器部分選擇一個七寸顯示屏并配有語音播放的功能。樹莓派系列顯示器常用分辨率為480×320，800×480，1 024×600，這里選用1 024×600 的顯示屏。紅外傳感器的作用是判斷垃圾箱的裝載情況，這里采用紅外對管搭載蜂鳴器來檢測垃圾箱是否溢滿。若溢滿，則紅外發(fā)射二極管亮燈并且蜂鳴器發(fā)出聲響；若未溢滿，紅外傳感器不做反應(yīng)。

1.3 舵機(jī)分揀模塊

如圖3所示，是由兩個舵機(jī)控制的二自由度平臺與四個垃圾箱配合完成本設(shè)計中垃圾自動投遞操作。二自由度舵機(jī)平臺向四個方向的擺動是通過樹莓派控制PCA9685 輸出PWM 信號給舵機(jī)來完成。PCA9685 控制器由I2C 總線控制，具有16 個通道的LED，每個LED 的輸出都包含12 位分辨率固定頻率。接通和斷開延時對于16 個通道中的每個通道都是獨立可編程的。

圖3 舵機(jī)分揀模塊

2 軟件設(shè)計與流程

在硬件系統(tǒng)的支撐下，通過軟件部分的設(shè)計使得整個系統(tǒng)有序進(jìn)行，如圖4所示，先進(jìn)行初始化，執(zhí)行各個模塊向相應(yīng)模型的信息傳送，首先將目標(biāo)垃圾通過訓(xùn)練好的網(wǎng)絡(luò)模型下進(jìn)行檢測分類，然后將檢測到的信息送入到主控模塊，主控模型按照垃圾類別，發(fā)出相對應(yīng)的控制信號操控舵機(jī)執(zhí)行分揀操作，并且在屏幕顯示垃圾信息并伴隨語音播報功能，最后通過傳感器檢測垃圾桶的裝載情況并作出是否溢滿的判斷。

圖4 主控程序流程圖

針對垃圾的分類，本設(shè)計對比幾類經(jīng)典的分類網(wǎng)絡(luò)后選擇ResNet 網(wǎng)絡(luò)?；诰矸e神經(jīng)網(wǎng)絡(luò)的分類網(wǎng)絡(luò)主要包括兩部分，特征提取部分和分類部分。特征提取就是對輸入的圖片進(jìn)行特征提取，主要包括各類卷積操作，通過卷積核的大小來控制學(xué)習(xí)的像素范圍。分類部分主要是將學(xué)習(xí)到的特征進(jìn)行分類，主要通過全連接層實現(xiàn)。常見的分類網(wǎng)絡(luò)包括AlexNet、VGG-16、GoogLeNet、ResNet 等。如表1所示，按照圖像識別競賽提出的這幾類網(wǎng)絡(luò)的準(zhǔn)確率，本文直接選擇準(zhǔn)確率最高的ResNet網(wǎng)絡(luò)模型作為垃圾分類的分類網(wǎng)絡(luò)。

表1 圖像識別競賽中不同網(wǎng)絡(luò)的準(zhǔn)確率比較

是2015年ImageNet 競賽中圖像識別任務(wù)冠軍，錯誤率僅為3.5%，甚至超過了人類一般的識別能力。在ResNet之前，深度學(xué)習(xí)一直朝著更深層的網(wǎng)絡(luò)方向發(fā)展，但加深網(wǎng)絡(luò)層數(shù)未必在訓(xùn)練集和測試集上效果更好。雖然ResNet 層數(shù)更深，但是總參數(shù)量反而減少，準(zhǔn)確率和速度均有提升。ResNet首次提出的殘差模塊，解決了深層卷積網(wǎng)絡(luò)模型難訓(xùn)練的問題。當(dāng)殘差為0 時，此時堆積層僅僅做了恒等映射，至少網(wǎng)絡(luò)性能不會下降，實際上殘差不會為0，這也會使得堆積層在輸入特征基礎(chǔ)上學(xué)習(xí)到新的特征，從而擁有更好的性能。ResNet 有兩個基本的塊，分別是卷積塊和殘差塊，其中卷積塊的輸入和輸出的維度不一樣，不能連續(xù)串聯(lián)，可用于改變網(wǎng)絡(luò)的維度；殘差塊的輸入輸出維度相同，可以串聯(lián)，用于加深網(wǎng)絡(luò)。

本設(shè)計制作的垃圾數(shù)據(jù)集包括四大類共計2 000 張圖片。其中有害垃圾483 張，其他垃圾517 張，可回收垃圾542 張，廚余垃圾458 張。其中四類垃圾都包括日常生活的垃圾，還包括一些不常見的有害垃圾，確保數(shù)據(jù)集的多樣性，這樣訓(xùn)練出來的模型準(zhǔn)確率高而且學(xué)習(xí)的類別也更多樣。模型訓(xùn)練所使用的GPU 是技嘉GTX 2080Ti、顯存11 GB，CPU 是Intel E5 2678 V3。訓(xùn)練過程中，損失函數(shù)起始條件一致，訓(xùn)練時不加載預(yù)訓(xùn)練權(quán)重。將訓(xùn)練好的模型權(quán)重文件燒錄進(jìn)HUSKYLENS 視覺傳感器的處理器K210 中，利用訓(xùn)練好的模型對垃圾進(jìn)行測試，結(jié)果如圖5所示，三種垃圾的類別均測試正確。

圖5 模型訓(xùn)練測試結(jié)果

3 實驗與結(jié)果分析

按照四類垃圾的分類標(biāo)準(zhǔn)，通過傳感器中的攝像頭采集目標(biāo)垃圾的信息進(jìn)行檢測識別分類。隨機(jī)挑選幾種垃圾進(jìn)行測試，根據(jù)分類標(biāo)準(zhǔn)，桃子、茶葉屬于廚余垃圾，鏡子、便簽屬于可回收垃圾，電池為有害垃圾，紙為其他垃圾。挑選了一個測試結(jié)果如圖6所示，便簽屬于可回收垃圾，放在置物臺上，被判別為可回收垃圾，然后主控模塊發(fā)出信號，舵機(jī)將便簽扔進(jìn)藍(lán)色的可回收垃圾箱內(nèi)，并且會語音播報其類別。紅外檢測溢滿模塊檢測結(jié)果如圖7所示，當(dāng)將廢舊電池扔進(jìn)有害垃圾箱，垃圾箱滿后，紅外模塊檢測到溢滿情況，發(fā)出指令，指示燈亮并語音提示有害垃圾箱已滿。經(jīng)檢測，各部分功能均達(dá)到穩(wěn)定準(zhǔn)確的標(biāo)準(zhǔn)。

圖6 便簽分揀圖

圖7 紅外測溢滿模塊測試圖

4 結(jié) 論

目前，本設(shè)計通過進(jìn)行模型設(shè)計確定了目前最優(yōu)方案，用到的硬件價格適中，軟件網(wǎng)絡(luò)穩(wěn)定性較強(qiáng)，準(zhǔn)確率高，系統(tǒng)完整度高。但是經(jīng)過多次測試發(fā)現(xiàn)，紅外檢測溢滿模塊易受到光照的影響出現(xiàn)誤差，后期將對紅外檢測溢滿模塊進(jìn)行封裝，降低光照影響。根據(jù)生活垃圾分類智能投放箱企業(yè)標(biāo)準(zhǔn)的現(xiàn)狀和對策，后期可以通過工程實踐投入實際場景中應(yīng)用。根據(jù)本設(shè)計硬件組成，將其進(jìn)行封裝，只展露出二自由度舵機(jī)平臺，增強(qiáng)其可管理性和視覺美觀性。

垃圾分類是建設(shè)文明家園的關(guān)鍵，保護(hù)地球生態(tài)是每個人的責(zé)任。而隨著人工智能時代的到來，智能垃圾分類也逐步發(fā)展。本設(shè)計順應(yīng)科技發(fā)展，結(jié)合人工智能技術(shù)，通過訓(xùn)練ResNet 卷積神經(jīng)網(wǎng)絡(luò)結(jié)合以樹莓派為主控板，以HuskyLens 視覺傳感器為控制器的智能垃圾分揀系統(tǒng)可以實現(xiàn)對日常生活垃圾的準(zhǔn)確識別和分揀。同時，垃圾分類的各項數(shù)據(jù)可以顯示在顯示屏上并且會通過語音播報出來，方便使用者實時了解垃圾箱的滿溢情況、收集類型等。本設(shè)計與計算機(jī)視覺相結(jié)合，為垃圾分類提供一種新的方式，與智能硬件的配合使得垃圾分類工作更加便捷，本設(shè)計依然存在不足之處，由于著重實現(xiàn)各個模塊的功能，忽略整個設(shè)計的外觀設(shè)計，同時，對一些不常見垃圾識別率偏低的問題有待進(jìn)一步學(xué)習(xí)與改進(jìn)。