固體金屬垃圾分類中基于深度學(xué)習(xí)方法的研究

呂東，王萍，王宇航，王智文，張燦龍

摘? 要：固體金屬垃圾具有巨大的回收利用空間和經(jīng)濟(jì)再利用價(jià)值.在日常生活中，金屬垃圾的分類回收主要依靠傳統(tǒng)人工分類，費(fèi)時費(fèi)力.為此本文提出一種基于深度學(xué)習(xí)的方法對金屬垃圾進(jìn)行分類：構(gòu)建一個包含6類共17 804張圖片的固體金屬垃圾數(shù)據(jù)集并命名為GX-TrashNet;采用ResNet-101作為分類模型，加入注意力機(jī)制模塊提升模型的分類準(zhǔn)確率;使用卷積核大小為1*1的卷積層代替注意力機(jī)制模型中的全連接層，使用全局平均池化層作為分類器.實(shí)驗(yàn)結(jié)果表明，改進(jìn)后的模型在GX-TrashNet上的分類準(zhǔn)確率為97.00%，在TrashNet上分類準(zhǔn)確率為80.87%.

關(guān)鍵詞：固體金屬垃圾;垃圾分類;深度學(xué)習(xí);注意力模塊;卷積神經(jīng)網(wǎng)絡(luò)

中圖分類號：TP391.41? ? ? ? ? DOI：10.16375/j.cnki.cn45-1395/t.2021.04.016

0? ? 引言

垃圾是放錯了位置的資源，相比于生活垃圾分類回收，金屬垃圾回收再利用有著巨大的經(jīng)濟(jì)效益和社會效益，并且金屬垃圾形態(tài)相對固定，容易分辨.垃圾分類在計(jì)算機(jī)視覺中屬于圖像分類.圖像分類是人臉識別[1-2]、目標(biāo)檢測等高級任務(wù)的重要基礎(chǔ).隨著人工智能技術(shù)的發(fā)展，越來越多的研究人員開始采用深度學(xué)習(xí)方法進(jìn)行垃圾分類.文獻(xiàn)[3]構(gòu)建了一個公開的包括6類共2 527張垃圾圖片的數(shù)據(jù)集TrashNet，在該數(shù)據(jù)集上有許多研究者進(jìn)行了一系列實(shí)驗(yàn)[4-15]，其中具有代表性的有：Adedeji等[11]將ResNet-101的分類器替換為SVM，在訓(xùn)練中采用ImageNet數(shù)據(jù)集上預(yù)訓(xùn)練好的權(quán)重，取得了87.00%的準(zhǔn)確率.文獻(xiàn)[12]將輕量型網(wǎng)絡(luò)MobileNet用到該數(shù)據(jù)集上進(jìn)行訓(xùn)練，取得87.20%的準(zhǔn)確率，并且推出了能用于實(shí)際測試的垃圾分類APP.文獻(xiàn)[13]提出了一種輕量型垃圾分類模型RecycleNet，在實(shí)驗(yàn)中盡管測試速度較慢，但該模型大大減少了模型參數(shù)，降低了模型復(fù)雜度.Yang等[14]提出了一種輕量型模型WasNet，在實(shí)驗(yàn)中對比了AlexNet、VGG-19和Iception-ResNet在該數(shù)據(jù)集上的分類性能，其中WasNet的分類準(zhǔn)確率最佳，為96.10%;此外，該作者還將訓(xùn)練好的模型嵌入移動端進(jìn)行了測試.文獻(xiàn)[15]對比了多種卷積神經(jīng)網(wǎng)絡(luò)模型，在訓(xùn)練前加載ImageNet數(shù)據(jù)集上的預(yù)訓(xùn)練權(quán)重，在訓(xùn)練時進(jìn)行參數(shù)微調(diào)，使用DenseNet-121取得了95.00%的準(zhǔn)確率.

雖然TrashNet數(shù)據(jù)集憑借圖像尺寸統(tǒng)一和背景干凈的優(yōu)勢使許多學(xué)者完成了一系列優(yōu)秀的實(shí)驗(yàn)，但是TrashNet數(shù)據(jù)量小，分類類別范圍模糊，模型訓(xùn)練很容易過擬合.而且現(xiàn)階段實(shí)驗(yàn)研究多為基于生活垃圾的分類，對于固體金屬垃圾的分類研究較少，因此，有必要采用深度學(xué)習(xí)方法對固體金屬垃圾進(jìn)行分類研究.

1? ? 相關(guān)內(nèi)容簡介

1.1? ?數(shù)據(jù)集簡介

在垃圾分類任務(wù)中，最常用的數(shù)據(jù)集是由斯坦福大學(xué)Yang等[3]收集構(gòu)建的包括6類共2 527張垃圾圖像數(shù)據(jù)集TrashNet.TrashNet數(shù)據(jù)集如圖1、表1所示.

通過實(shí)際調(diào)研發(fā)現(xiàn)，目前尚無開源的固體金屬垃圾數(shù)據(jù)集可供使用，因此，參考TrashNet數(shù)據(jù)集格式，構(gòu)建了一個包含6類共17 804張固體金屬垃圾圖片的數(shù)據(jù)集GX-TrashNet. GX-TrashNet數(shù)據(jù)集如圖2、表2所示.GX-TrashNet主要由手機(jī)實(shí)地拍攝、網(wǎng)絡(luò)爬蟲和人工手動數(shù)據(jù)增強(qiáng)3種不同方法構(gòu)成.在初步收集部分?jǐn)?shù)據(jù)集后，隨機(jī)對部分圖像做了旋轉(zhuǎn)、左右翻轉(zhuǎn)、對比度增強(qiáng)和亮度變化數(shù)據(jù)擴(kuò)充操作，部分樣本數(shù)據(jù)擴(kuò)充如圖3所示.

1.2? ? 模型的選擇及改進(jìn)

選擇ResNet-101作為固體金屬垃圾分類模型.在ResNet提出之前，研究人員發(fā)現(xiàn)隨著神經(jīng)網(wǎng)絡(luò)層數(shù)的加深，神經(jīng)網(wǎng)絡(luò)的訓(xùn)練不可避免地出現(xiàn)了退化問題.而ResNet的提出很好地解決了這一問題，最大的創(chuàng)新點(diǎn)是殘差學(xué)習(xí)單元的提出.殘差學(xué)習(xí)單元在神經(jīng)網(wǎng)絡(luò)的輸入層和輸出層之間建立了一條直接的關(guān)聯(lián)通道，使得底層信息特征與高層信息特征更好地融合.文獻(xiàn)[16]證明，對比直接堆疊的網(wǎng)絡(luò)，殘差學(xué)習(xí)單元的提出將網(wǎng)絡(luò)計(jì)算性質(zhì)從乘法變?yōu)榧臃?，從而讓神?jīng)網(wǎng)絡(luò)計(jì)算變得更加穩(wěn)定，可訓(xùn)練的網(wǎng)絡(luò)層數(shù)也大大增加.殘差學(xué)習(xí)單元如圖4所示.

在確定了分類模型之后，由于收集的固體金屬垃圾數(shù)據(jù)集在收集完畢后并沒有做過多的預(yù)處理，因此，數(shù)據(jù)集內(nèi)存在很多背景復(fù)雜、圖像模糊、難以辨認(rèn)類別的圖像.對于卷積神經(jīng)網(wǎng)絡(luò)模型來說，圖像復(fù)雜的背景會干擾模型提取特征并影響分類的正確性.因此，加入注意力機(jī)制，忽略圖像中無關(guān)信息而關(guān)注重點(diǎn)信息十分必要.本文對于ResNet-101的改進(jìn)主要分為3部分：首先，在網(wǎng)絡(luò)模型中加入注意力模塊來提高分類準(zhǔn)確率;其次，使用卷積核大小為[1*1]的卷積層替代注意力模塊中的全連接層;最后，使用全局平均池化層作為分類器.

2? ? 對比實(shí)驗(yàn)與結(jié)果分析

本文對比了ResNet-101分別加入SE[17]和CBAM[18]前后在TrashNet和GX-TrashNet數(shù)據(jù)集上的分類性能指標(biāo).將TrashNet數(shù)據(jù)集和GX-TrashNet數(shù)據(jù)集按照6∶2∶2劃分為訓(xùn)練集、驗(yàn)證集和測試集.數(shù)據(jù)集劃分后的樣本數(shù)量如表3所示.

在進(jìn)行ResNet-101加入注意力模塊前后對比實(shí)驗(yàn)之前，加載了在ImageNet數(shù)據(jù)集上預(yù)訓(xùn)練好的ResNet-101權(quán)重，并在TrashNet和GX-TrashNet數(shù)據(jù)集上進(jìn)行訓(xùn)練.在訓(xùn)練中凍結(jié)ResNet-101中所有卷積層，只訓(xùn)練自定義的分類器.ResNet-101模型改進(jìn)前的訓(xùn)練細(xì)節(jié)如表4所示.

為了能夠使用在ImageNet上預(yù)訓(xùn)練好的模型權(quán)重，只在ResNet-101的最后一個卷積塊中加入注意力模塊.在訓(xùn)練時，不凍結(jié)任何層，使用動態(tài)學(xué)習(xí)率，設(shè)置最大學(xué)習(xí)率為1e-4，最小學(xué)習(xí)率為1e-6，學(xué)習(xí)率縮放比例設(shè)置為0.3，設(shè)置Patience 為2，監(jiān)測指標(biāo)為驗(yàn)證集損失.ResNet-101模型改進(jìn)后的訓(xùn)練細(xì)節(jié)如表5所示.

2.1? ?評價(jià)指標(biāo)

選擇混淆矩陣，將準(zhǔn)確率A（Accuracy）、查準(zhǔn)率P（Precision）、召回率R（Recall）、特異度S（Specificity）作為評價(jià)指標(biāo).混淆矩陣如表6所示，其余模型性能評價(jià)指標(biāo)分別如式（1）—式（4）所示.

[A=NTP+NTNNTP+NTN+NFN+NFP×100%]? ? （1）

[P=NTPNTP+NFP×100%]? ? ? ? ? ? ? ? ? ?（2）

[R=NTPNTP+NFN×100%]? ? ? ? ? ? ? ? ? ?（3）

[S=NTNNTN+NFP×100%]? ? ? ? ? ? ? ? ? （4）

其中：[NTP] 表示樣本被正確檢測出來的個數(shù)，[NFP]表示其他樣本被誤檢成本樣本的個數(shù)，[NFN] 表示誤將樣本檢測出其他樣本的個數(shù);[NTN] 表示非本樣本檢測出非本樣本的個數(shù).

2.2? ?實(shí)驗(yàn)結(jié)果對比分析

首先進(jìn)行了ResNet-101在TrashNet數(shù)據(jù)集和GX-TrashNet數(shù)據(jù)集上加入SE前后的對比實(shí)驗(yàn)，其中空洞率ratio設(shè)置為16.為了方便對比分類模型的整體性能指標(biāo)，將各個類別的Precision、Recall和Specificity求和取得平均值.混淆矩陣如圖5所示，各個類別的評價(jià)指標(biāo)如表7和表8所示，模型改進(jìn)前后的性能指標(biāo)如表9所示.

通過對比表7—表9，可以看出，加入SE后，在GX-TrashNet數(shù)據(jù)集上模型準(zhǔn)確率由87.01%增長到97.04%，提高了10.03%，查準(zhǔn)率提高了8.92%，召回率提高了9.85%，特異度提高了2.00%;在TrashNet數(shù)據(jù)集上模型準(zhǔn)確率提高了1.19%，查準(zhǔn)率提高了0.28%，召回率提高了2.97%，特異度提高了0.35%.綜上所述，加入SE模塊后，ResNet-101_V1在2個數(shù)據(jù)集上的各項(xiàng)性能指標(biāo)都有了增長，但TrashNet數(shù)據(jù)集樣本數(shù)量較少，增長并不明顯.

其次進(jìn)行了ResNet-101在TrashNet數(shù)據(jù)集和GX-TrashNet數(shù)據(jù)集上加入CBAM前后的對比實(shí)驗(yàn)，其中空洞率ratio設(shè)置為16.同樣地，為了方便對比分類模型的整體性能指標(biāo)，將各個類別的Precision、Recall和Specificity求和取得平均值.混淆矩陣如圖6所示，各個類別的評價(jià)指標(biāo)如表10和表11所示，模型改進(jìn)前后的性能指標(biāo)如表12所示.

通過對比表10—表12，可以看出，雖然加入SE模塊和CBAM模塊在GX-TrashNet數(shù)據(jù)集上取得近似一致的性能指標(biāo)，但是在TrashNet數(shù)據(jù)集上并沒有明顯的提高，反而降低了部分性能指標(biāo).可能的原因有：1）TrashNet數(shù)據(jù)集本身的樣本數(shù)量少，在訓(xùn)練中出現(xiàn)了過擬合現(xiàn)象，導(dǎo)致模型在訓(xùn)練時沒有達(dá)到最佳性能指標(biāo)時就已經(jīng)早停了;2）CBAM模塊較SE模塊結(jié)構(gòu)復(fù)雜，在通道注意力模塊（CAM）和空間注意力模塊（SAM）中分別2次使用平均值池化和最大值池化操作，很有可能部分圖像特征信息因此被裁剪掉;3）TrashNet數(shù)據(jù)集的背景較GX-TrashNet數(shù)據(jù)集的背景干凈，圖像尺寸統(tǒng)一，因此，特征信息可能會丟失的更多.

3? ? 結(jié)論

本文對基于注意力機(jī)制的深度學(xué)習(xí)固體金屬垃圾分類進(jìn)行了研究，獲得如下結(jié)論：

1）針對固體金屬垃圾分類研究實(shí)驗(yàn)的不足，收集了6類共17 804張垃圾圖像，并命名為GX-TrashNet.選用ResNet-101作為分類模型.為提高分類準(zhǔn)確率，加入注意力機(jī)制模塊，并使用全局平均池化層代替分類器，使用卷積核大小為1*1的卷積層代替注意力機(jī)制模塊中的全連接層.

2）在加入SE模塊后，ResNet-101在2個數(shù)據(jù)集上的各項(xiàng)性能指標(biāo)都有了增長，但在TrashNet數(shù)據(jù)集上增長的并不明顯.在加入注意力機(jī)制模塊SE后，ResNet-101在GX-TrashNet數(shù)據(jù)集上模型準(zhǔn)確率由87.01%增長到97.04%，提高了10.03%，在TrashNet數(shù)據(jù)集上模型準(zhǔn)確率由79.68%增長到80.87%，只提高了1.19%.

3）在加入注意力機(jī)制模塊CBAM后，ResNet-101在GX-TrashNet數(shù)據(jù)集上取得了與加入SE模塊后類似的分類性能指標(biāo)，但是在TrashNet數(shù)據(jù)集上分類準(zhǔn)確率下降了1.6%.通過分析，最終選擇使用SE模塊，并且設(shè)置Ratio為16.

參考文獻(xiàn)

[1]? ? ?王鵬濤，王智文.基于PSO-LDA的人臉識別算法[J].廣西科技大學(xué)學(xué)報(bào)，2017，28（1）：85-90.

[2]? ? ?安曉寧，王智文，張燦龍，等.基于隱馬爾可夫模型的人臉特征標(biāo)注和識別[J].廣西科技大學(xué)學(xué)報(bào)，2020，31（2）：118-125.

[3]? ? ?YANG M，THUNG G.Classification of trash for recyclability status[EB/OL].Stanford University Machine Learning Project Report，CS229，2016[2021-01-25].http：//cs229.stanford. edu/ proj2016 /report/ThungYang-Classification Of Trash For RecyclabilityStatus-report.pdf.

[4]? ? ?SHI C P，XIA R Y，WANG L G.A novel multi-branch channel expansion Network for garbage image classification[J].IEEE Access，2020，8：154436-154452.

[5]? ? ?CHOLLET F.Xception：deep learning with depthwise separable convolutions[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition（CVPR），Honolulu，HI，USA，2017：1800-1807.

[6]? ? ?MENG S S，CHU W T.A study of garbage classification with convolutional neural Networks[C]//2020 Indo-Taiwan 2nd International Conference on Computing，Analytics and Networks（Indo-Taiwan ICAN），Rajpura，India，2020：152-157.

[7]? ? ?KANG Z，YANG J，LI G L，et al.An automatic garbage classification system based on deep learning[J].IEEE Access，2020，8：140019-140029.

[8]? ? ?AHMAD K，KHAN K，AL-FUQAHA A.Intelligent fusion of deep features for improved waste classification[J].IEEE Access， 2020，8：96495-96504.

[9]? ? ?SZEGEDY C，LIU W，JIA Y Q，et al.Going deeper with convolutions[C]//2015 IEEE Conference on Computer Vision and Pattern Recognition（CVPR），Boston，USA，2015：1-9.

[10]? ?CHEN Z H，ZOU H B，WANG Y B，et al.A vision-based robotic grasping system using deep learning for garbage sorting[C]//2017 36th Chinese Control Conference（CCC），Dalian，China，2017：11223-11226.

[11]? ?ADEDEJI O，WANG Z H.Intelligent waste classification system using deep learning convolutional Neural Networks[C]//The 2nd International Conference on Sustainable Materials Processing and Manufacturing （SMPM），Sun city，South Africa，2019，35（5）：607-612.

[12]? ?RABANO S，CABATUAN M，SYBINGCO E，et al.Common garbage classification using mobileNet[C]//2018 IEEE 10th International Conference on Humanoid Nanotechnology，Information Technology，Communication and Control，Environment and Management（HNICEM），2018：1-4.

[13]? ?BIRCANO?LU C，ATAY M S，BESER F，et al.RecycleNet：intelligent waste sorting using deep neural Networks[C]//2018 IEEE International Conference on Innovations in Intelligent Systems and Applications（INISTA），Thessaloniki，Greece，2018：1-7.

[14]? ?YANG Z H，LI D.WasNet：a neural Network-based garbage collection management system[J].IEEE Access，2020，8：103984-103993.

[15]? ?ARAL R A，KESKIN S R，KAYA M，et al.Classification of trashNet dataset based on deep learning models[C]//2018 IEEE International Conference on Big Data，Seattle，WA，USA，2018，32（5）：2058-2062.

[16]? ?HE K M，ZHANG X Y，REN S Q，et al.Deep residual learning for image recognition[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition（CVPR），Las Vegas，USA，2016：770-778.

[17]? ?HU J，SHEN L，SUN G，et al.Squeeze-and-excitation Networks[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2020，42（8）：2011-2023.

[18]? ?WOO S，PARK J，LEE J Y，et al.CBAM：convolutional block attention module[C]//2018 European Conference on Computer Vision（ECCV）.Springer，Cham，2018，11211：3-19.

Research on a deep learning method for solid metal waste classification

LYU Dong1， WANG Ping1， WANG Yuhang2， WANG Zhiwen*1，2， ZHANG Canlong2

（1.School of Electric， Electronic and Computer Science， Guangxi University of Science and Technology， Liuzhou 545006， China; 2. School of Computer Science and Informaton Engineering/Software， Guangxi Normal

University， Guilin 541004， China）

Abstract： Solid metal waste has huge recycling space and economic reuse value.However， the