基于機(jī)器視覺的智能垃圾分類實(shí)驗(yàn)平臺(tái)設(shè)計(jì)

李 祺， 曾 明， 盧向哲， 聶為之

（天津大學(xué)a.電氣自動(dòng)化與信息工程學(xué)院；b.電氣工程與自動(dòng)化國家級(jí)虛擬仿真實(shí)驗(yàn)教學(xué)中心，天津 300072）

0 引 言

由于垃圾物品的種類繁多垃圾分類處理勢(shì)在必行［1-3］，不同國家和地區(qū)的分類標(biāo)準(zhǔn)也存在一定的差異，這給民眾掌握全面、細(xì)節(jié)的垃圾分類知識(shí)帶來了極大的挑戰(zhàn)。目前針對(duì)垃圾的前端收集，國內(nèi)外已有一些公司研制出了具有分類功能的智能垃圾桶。例如，中國阿爾飛思公司研發(fā)的人工智能垃圾桶［4］，在用戶投入垃圾后，桶內(nèi)頂端的攝像頭拍攝照片自動(dòng)識(shí)別垃圾類別，然后將垃圾投放至相應(yīng)類別的垃圾桶。美國Clean Robotics公司研發(fā)的一款自動(dòng)垃圾分類機(jī)器人TrashBot［5］，其先通過攝像頭識(shí)別投入垃圾桶的垃圾，再通過智能算法將物品按類別歸到各自屬于廢物還是可回收類垃圾桶中。這兩款先進(jìn)的垃圾桶雖然都可以通過桶內(nèi)的視覺系統(tǒng)識(shí)別垃圾種類，并進(jìn)行垃圾分類投放，但這類一體化“封閉式”設(shè)計(jì)的智能垃圾桶存在諸多問題：①分類種類限制太大，一般只能實(shí)現(xiàn)二分類；②由于受內(nèi)部視覺檢測(cè)空間的限制，只允許投放小尺寸的垃圾物品；③視覺檢測(cè)裝置占用了很多的空間，垃圾桶的容量受到一定的限制，增加收集的頻次；④垃圾溢滿時(shí)，很難實(shí)現(xiàn)垃圾自動(dòng)的轉(zhuǎn)運(yùn)，需要人工打開垃圾箱取出溢滿的垃圾；⑤被智能垃圾桶所取代的傳統(tǒng)垃圾桶得不到充分利用。此外，在算法方面，目前基于深度學(xué)習(xí)的方法已被應(yīng)用于垃圾分類中［6-9］，但這些方法中所用到的網(wǎng)絡(luò)層數(shù)較淺，提取圖像高維特征的能力有限［10］，同時(shí)在訓(xùn)練網(wǎng)絡(luò)中使用單一的損失函數(shù)難以獲得更優(yōu)的模型［11］。

本文提出采用可分離式的機(jī)構(gòu)設(shè)計(jì)方案和云邊協(xié)同的電控系統(tǒng)設(shè)計(jì)方案，擴(kuò)展了垃圾分類種數(shù)和垃圾桶的容量，且便于垃圾轉(zhuǎn)運(yùn)。在此基礎(chǔ)上，應(yīng)用基于遷移學(xué)習(xí)的垃圾分類方法，提升了系統(tǒng)對(duì)圖像高維特征的提取能力。依托該平臺(tái)開展實(shí)驗(yàn)教學(xué)，推動(dòng)了教育技術(shù)的革新，更好地培養(yǎng)了學(xué)生工程實(shí)踐能力與創(chuàng)新意識(shí)。

1 智能垃圾分類實(shí)驗(yàn)平臺(tái)整體結(jié)構(gòu)

1.1 可分離式的機(jī)構(gòu)設(shè)計(jì)

智能垃圾分類實(shí)驗(yàn)平臺(tái)（以下簡稱為“實(shí)驗(yàn)平臺(tái)”）主要由視覺檢測(cè)分類模塊和多個(gè)桶蓋分離的智能垃圾桶模塊構(gòu)成，如圖1 所示。針對(duì)目前國內(nèi)外一體化智能垃圾桶存在的問題，實(shí)驗(yàn)平臺(tái)采用可分離式的設(shè)計(jì)方案，即“視覺檢測(cè)與智能桶分離”“桶蓋與桶身分離”。

（1）視覺檢測(cè)與智能桶分離。視覺檢測(cè)分類模塊主體結(jié)構(gòu)包含支架部分、檢測(cè)部分和控制箱，如圖2 所示。其中，支架部分由載物臺(tái)和支撐立柱組成，載物臺(tái)用于盛放被測(cè)物品，通過調(diào)節(jié)支撐立柱可確保檢測(cè)部分的識(shí)別范圍覆蓋整個(gè)載物臺(tái)；檢測(cè)部分由超聲傳感器和視覺攝像頭組成，超聲傳感器用于檢測(cè)視覺攝像頭與載物臺(tái)之間是否有待檢測(cè)的垃圾，攝像頭用于采集垃圾的圖像信息；控制箱內(nèi)部署實(shí)驗(yàn)平臺(tái)的電氣控制系統(tǒng)。

圖1 智能垃圾分類實(shí)驗(yàn)平臺(tái)

圖2 視覺檢測(cè)分類模塊結(jié)構(gòu)

通過具有獨(dú)立的支架部分的結(jié)構(gòu)設(shè)計(jì)，實(shí)現(xiàn)視覺檢測(cè)分類模塊與智能垃圾桶模塊分離，可使實(shí)驗(yàn)平臺(tái)具備以下優(yōu)點(diǎn)：①分類垃圾種類數(shù)不受限制，可以是2分類、4 分類，甚至更多類；②方便檢測(cè)和投放尺寸較大的垃圾物品；③不含視覺檢測(cè)的智能桶的垃圾容量增大，減少了收運(yùn)頻次；④垃圾分類過程可以實(shí)現(xiàn)可視化，有很好的引導(dǎo)和教育效果。

（2）桶蓋與桶身分離。智能垃圾桶模塊由分離的智能桶蓋結(jié)構(gòu)、伸縮支撐結(jié)構(gòu)及移動(dòng)垃圾桶3 部分組成，如圖3 所示。智能桶蓋結(jié)構(gòu)包含活動(dòng)蓋板、固定蓋板、紅外探測(cè)器和料位高度超聲探測(cè)器；伸縮支撐結(jié)構(gòu)包含伸縮立柱、開蓋電動(dòng)推桿、伸縮立柱頂推電動(dòng)推桿和T型立柱；移動(dòng)垃圾桶選用普通公共垃圾桶即可。

分離的智能桶蓋采用小蓋套大蓋的雙桶蓋設(shè)計(jì)，活動(dòng)蓋板的開蓋動(dòng)力由開蓋電動(dòng)推桿提供，開蓋電動(dòng)推桿上下運(yùn)動(dòng)時(shí)帶動(dòng)活動(dòng)蓋板繞轉(zhuǎn)軸翻轉(zhuǎn)，實(shí)現(xiàn)智能桶的自動(dòng)開、關(guān)蓋功能；固定蓋板通過連接伸縮立柱頂推電動(dòng)推桿進(jìn)行上下運(yùn)動(dòng)，實(shí)現(xiàn)自動(dòng)封蓋不同高度尺寸的垃圾桶。智能桶蓋內(nèi)側(cè)的料位高度超聲探測(cè)器用于實(shí)時(shí)監(jiān)測(cè)垃圾桶的剩余容量，紅外探測(cè)器則用于方便熟知垃圾類別用戶直接掃描開蓋投放垃圾。

圖3 智能垃圾桶模塊結(jié)構(gòu)

“桶蓋與桶身分離”設(shè)計(jì)的優(yōu)點(diǎn)體現(xiàn)在：①由于桶蓋是分離的，使得垃圾桶溢滿后可以很方便的轉(zhuǎn)運(yùn)；②可伸縮懸空智能桶蓋可以將容量為60 ～240 L的普通垃圾桶快速升級(jí)為智能垃圾桶，充分利用現(xiàn)有資源。

1.2 電控系統(tǒng)設(shè)計(jì)

實(shí)驗(yàn)平臺(tái)的電控系統(tǒng)采用“上位機(jī)+下位機(jī)”的硬件結(jié)構(gòu)［12］。其中，上位機(jī)選用樹莓派CM4，用于讀取并處理攝像頭采集的圖像信息和下位機(jī)上傳的數(shù)據(jù)信息；下位機(jī)基于STM32F103 芯片構(gòu)建控制器，用于采集傳感器的數(shù)據(jù)信息、執(zhí)行上位機(jī)回傳的策略指令，并控制機(jī)構(gòu)執(zhí)行相應(yīng)動(dòng)作。

在此基礎(chǔ)上，將每個(gè)垃圾分類實(shí)驗(yàn)平臺(tái)視作一個(gè)智能終端，依據(jù)物聯(lián)網(wǎng)架構(gòu)，開發(fā)云端服務(wù)平臺(tái)用于搭建卷積神經(jīng)網(wǎng)絡(luò)、訓(xùn)練垃圾分類模型；與此同時(shí)，樹莓派CM4 成為系統(tǒng)中的邊緣計(jì)算節(jié)點(diǎn)，運(yùn)行優(yōu)化后的垃圾分類模型，并將新采集的垃圾圖像信息上傳云平臺(tái)，以供擴(kuò)展垃圾圖像數(shù)據(jù)集。從而形成云邊協(xié)同的智能垃圾分類系統(tǒng)架構(gòu)，如圖4 所示。

圖4 云邊協(xié)同的智能垃圾分類系統(tǒng)架構(gòu)

當(dāng)用戶將待檢測(cè)的物品放置在載物臺(tái)上，超聲傳感器會(huì)檢測(cè)到位置信息的變化從而觸發(fā)視覺檢測(cè)裝置工作：電氣控制柜內(nèi)的樹莓派主控板調(diào)用視覺攝像頭對(duì)待檢測(cè)的垃圾物品進(jìn)行拍照，并運(yùn)行分類模型進(jìn)行預(yù)測(cè)，從而完成垃圾物品的檢測(cè)和識(shí)別任務(wù)，預(yù)測(cè)的垃圾分類結(jié)果及圖像信息最終會(huì)上傳云平臺(tái)。在此基礎(chǔ)上，通過下位機(jī)控制打開相應(yīng)類別的智能垃圾桶的活動(dòng)蓋板，并點(diǎn)亮該桶蓋的LED 燈帶，引導(dǎo)用戶進(jìn)行垃圾投放。此外，考慮到部分常見垃圾（例如礦泉水瓶、金屬易拉罐等）的類別歸屬為大眾所熟知，用戶可通過直接掃描每個(gè)智能桶蓋前端設(shè)置的紅外探測(cè)裝置，進(jìn)行開蓋投放。每次投放結(jié)束后，桶蓋下方的超聲傳感器回傳距離信息并計(jì)算桶內(nèi)剩余空間發(fā)送到上位機(jī)；當(dāng)垃圾桶接近溢滿時(shí)，上位機(jī)會(huì)將溢滿信息發(fā)送至管理中心或保潔員提醒及時(shí)清運(yùn)處理。

2 結(jié)合遷移學(xué)習(xí)的垃圾分類方法

2.1 構(gòu)建大規(guī)模垃圾圖像數(shù)據(jù)集

大數(shù)據(jù)是深度學(xué)習(xí)的基礎(chǔ)［13］。研究表明，深度學(xué)習(xí)計(jì)算的性能隨著訓(xùn)練數(shù)據(jù)的數(shù)量級(jí)呈線性增加的趨勢(shì)，數(shù)據(jù)量的大小直接影響深度學(xué)習(xí)的性能，數(shù)據(jù)量太小會(huì)導(dǎo)致訓(xùn)練出的模型泛化能力弱、容易過擬合，無法應(yīng)用到現(xiàn)實(shí)生活。許多圖像領(lǐng)域任務(wù)（如圖像分類、目標(biāo)檢測(cè)、圖像分割等）的完成，都離不開巨大的數(shù)據(jù)集。Razali等［14］自行采集的200 張垃圾圖像數(shù)據(jù)集（未公開）；Sakr等［15］自行采集的2 000 張垃圾圖像數(shù)據(jù)集（未公開）；Chu等［16］構(gòu)建的總數(shù)為2 527 張垃圾圖像數(shù)據(jù)集TrashNet（公開）。由此可見，目前公開的垃圾圖像數(shù)據(jù)集數(shù)據(jù)量少，無法滿足深度學(xué)習(xí)模型的訓(xùn)練要求，大規(guī)模生活垃圾目標(biāo)檢測(cè)圖像數(shù)據(jù)集成為應(yīng)用深度學(xué)習(xí)進(jìn)行垃圾分類的重大挑戰(zhàn)。

本課題組于2018 年開始進(jìn)行人工構(gòu)建垃圾圖像數(shù)據(jù)的工作，用于分類算法的研究。首先對(duì)課題組自行采集的真實(shí)垃圾圖片和從網(wǎng)上獲取的垃圾圖像數(shù)據(jù)集進(jìn)行整合，共得到33 萬張單物品垃圾圖像；然后組員們對(duì)其進(jìn)行人工清洗與分類，去除圖像模糊、類型重復(fù)及信息殘缺的數(shù)據(jù)；最終，經(jīng)人工數(shù)據(jù)清洗與分類，共篩選得到19 萬張的高質(zhì)量大規(guī)模單物品垃圾圖像數(shù)據(jù)集GarbageNet，包含10 個(gè)大類（廚余垃圾、可回收塑料、不可回收塑料、可回收紙、不可回收紙、金屬、電子產(chǎn)品、玻璃、紡織物、危險(xiǎn)有害垃圾）、34 個(gè)超類（見圖5）、767 個(gè)小類。

2.2 深度跨連接網(wǎng)絡(luò)的垃圾分類算法設(shè)計(jì)

為使實(shí)驗(yàn)平臺(tái)克服現(xiàn)有淺層卷積神經(jīng)網(wǎng)絡(luò)（CNN）垃圾分類方法存在的高維特征提取能力有限等問題，應(yīng)用基于深度跨連接網(wǎng)絡(luò)的垃圾分類算法，實(shí)現(xiàn)更深層次的特征提?。煌瑫r(shí)通過設(shè)計(jì)新的損失函數(shù)，進(jìn)一步提升垃圾分類的準(zhǔn)確率。

基于深度跨連接網(wǎng)絡(luò)的垃圾分類算法首先應(yīng)用深度跨連接網(wǎng)絡(luò)DenseNet［17］在大型數(shù)據(jù)集ImageNet 上預(yù)訓(xùn)練提高網(wǎng)絡(luò)的特征提取能力；然后在自行構(gòu)建的垃圾圖像數(shù)據(jù)集GarbageNet 上對(duì)網(wǎng)絡(luò)部分參數(shù)進(jìn)行微調(diào)，實(shí)現(xiàn)將網(wǎng)絡(luò)前期在ImageNet 上學(xué)習(xí)到的特征提取能力遷移到GarbageNet 上；在此基礎(chǔ)上，訓(xùn)練網(wǎng)絡(luò)的垃圾分類能力，在這部分訓(xùn)練中引入新的損失函數(shù)。具體步驟如下：

（1）搭建深度跨連接網(wǎng)絡(luò)DenseNet（配置見表1），初始化網(wǎng)絡(luò)模型參數(shù)，并在數(shù)據(jù)集ImageNet 訓(xùn)練全部網(wǎng)絡(luò)參數(shù)，直到網(wǎng)絡(luò)的特征提取能力達(dá)到最優(yōu)。

（2）將步驟（1）中訓(xùn)練好的網(wǎng)絡(luò)替換最后的全連接分類器，分類數(shù)由ImageNet 的1000 類變成GarbageNet的10 類；固定低層網(wǎng)絡(luò)參數(shù)，只允許訓(xùn)練高層的網(wǎng)絡(luò)參數(shù)，設(shè)經(jīng)過改進(jìn)的深度跨連接網(wǎng)絡(luò)為A。

圖5 34個(gè)超類包含的小類個(gè)數(shù)

表1 深度跨連接網(wǎng)絡(luò)的配置說明

（3）對(duì)圖片數(shù)據(jù)進(jìn)行預(yù)處理。根據(jù)DenseNet 的網(wǎng)絡(luò)配置，設(shè)置參數(shù)batch size =64，讀取64 個(gè)圖片數(shù)據(jù)和對(duì)應(yīng)的標(biāo)簽，通過隨機(jī)左右翻轉(zhuǎn)、隨機(jī)上下翻轉(zhuǎn)、隨機(jī)亮度和隨機(jī)飽和度，對(duì)圖片做數(shù)據(jù)增強(qiáng)；在此基礎(chǔ)上，將每個(gè)圖片的RGB 像素值進(jìn)行歸一化處理（在0 ～1 的范圍內(nèi)），之后將數(shù)據(jù)減去0.5、乘以2 使數(shù)據(jù)處于（-1，1）之間，以滿足激活函數(shù)要求。

（4）將步驟（3）中處理后的圖片數(shù)據(jù)輸入網(wǎng)絡(luò)A，通過網(wǎng)絡(luò)A前向傳播后得到維度為（64，10）的概率矩陣，每一行代表該圖片屬于10 個(gè)類別的概率。

（5）根據(jù)類別標(biāo)簽y和概率矩陣y^（網(wǎng)絡(luò)輸出）之間的交叉熵?fù)p失函數(shù)L（y，y^）= -∑ylgy^，計(jì)算總的損失函數(shù)［18］

式中：L（ymat，y^mat）是材質(zhì)交叉熵?fù)p失函數(shù)；ymat是材質(zhì)標(biāo)簽；y^mat是材質(zhì)概率；L（yrec，y^rec）是回收交叉熵?fù)p失函數(shù)；R為可回收類別集；U 為不可回收類別集；m為可回收類別數(shù)量；n為不可回收類別數(shù)量；yrec是回收標(biāo)簽；yR是可回收標(biāo)簽；yU是不可回收標(biāo)簽；y^rec是回收概率；pR是可回收概率；pU是不可回收概率；α是權(quán)重因子（用來分配兩個(gè)交叉熵?fù)p失的重要性），量綱為1。

通過反向傳播計(jì)算損失對(duì)每個(gè)參數(shù)的導(dǎo)數(shù)，進(jìn)而更新參數(shù)。其中，優(yōu)化器選擇帶動(dòng)量的SGD，動(dòng)量參數(shù)設(shè)置為0.9，初始學(xué)習(xí)率為0.01，每訓(xùn)練10 epoch下降為原來的0.1，weighted decay設(shè)置為0.000 04。

（6）重復(fù)步驟（1）～（5），直到網(wǎng)絡(luò)A在測(cè)試集上的性能不再提高為止。

基于深度跨連接網(wǎng)絡(luò)的垃圾分類算法在測(cè)試集中取得了97.2%的準(zhǔn)確率；與采用單一損失函數(shù)相比，雙交叉損失函數(shù)設(shè)計(jì)對(duì)準(zhǔn)確率提高了0.7%，如圖6所示。該算法的高準(zhǔn)確性是智能垃圾分類實(shí)驗(yàn)平臺(tái)可靠運(yùn)行的重要保障。

圖6 兩種算法準(zhǔn)確率對(duì)比圖

3 實(shí)驗(yàn)教學(xué)應(yīng)用

3.1 開發(fā)通用圖像分類模型實(shí)驗(yàn)架構(gòu)

為將最新的人工智能科研成果轉(zhuǎn)化為教學(xué)應(yīng)用，保證教學(xué)內(nèi)容與時(shí)俱進(jìn)，課題組依據(jù)“圖像處理”課程大綱，在實(shí)踐教學(xué)環(huán)節(jié)中引入智能垃圾分類實(shí)驗(yàn)平臺(tái)，使學(xué)生在了解深度學(xué)習(xí)理論知識(shí)的基礎(chǔ)上，通過設(shè)計(jì)垃圾分類程序，理解CNN 的網(wǎng)絡(luò)結(jié)構(gòu)和模型訓(xùn)練過程，并且有能力進(jìn)行實(shí)際工程應(yīng)用。

面向?qū)嶒?yàn)教學(xué)需求，課題組基于Python3.7&PyTorch1.1&TorchVision0.3. 0 環(huán)境，開發(fā)了一個(gè)通用圖像分類模型框架。該架構(gòu)集成了包含ResNet［19］、 DenseNet、 ResNeXt［20］、 MobileNet［21］、EfficientNet［22］5 種圖像分類常用網(wǎng)絡(luò)，同時(shí)可以根據(jù)需要利用TorchVision擴(kuò)展其他的分類算法。此外，該框架包含SVM、RF、MLP、KNN 4 種經(jīng)典分類器供學(xué)生實(shí)驗(yàn)使用，從而使學(xué)生掌握不同分類算法的特點(diǎn)及使用方法。

在此基礎(chǔ)上，為解決實(shí)驗(yàn)平臺(tái)數(shù)量有限、多組學(xué)生在1 套上位機(jī)運(yùn)行模型影響教學(xué)進(jìn)程的問題，課題組采用云計(jì)算的方式，將分類模型部署到云端，并基于Flask 框架將模型的推理過程封裝為1 個(gè)可調(diào)用的API（應(yīng)用程序接口）。具體步驟如下：

（1）云端配置模型運(yùn)行所需的運(yùn)行環(huán)境；

（2）采用Flask 框架構(gòu)建應(yīng)用實(shí)例（所有的云端API的響應(yīng)服務(wù)均由這個(gè)示例對(duì)象進(jìn)行處理）；

（3）將整個(gè)函數(shù)的操作封裝為一個(gè)類，模型的讀取過程作為類對(duì)象的私有化初始函數(shù)，算法的推理過程作為類成員函數(shù)；

（4）基于gunicorn 服務(wù)器和gevent 庫，構(gòu)建多線程的可調(diào)用服務(wù)API。

實(shí)驗(yàn)過程中，每組學(xué)生分配有特定的IP 地址，系統(tǒng)首先依據(jù)IP 地址調(diào)用API，將圖像上傳至云服務(wù)器；然后，云端調(diào)用相應(yīng)的分類模型進(jìn)行數(shù)據(jù)處理；最終，系統(tǒng)將處理得到的類別結(jié)果回傳到實(shí)驗(yàn)平臺(tái)上位機(jī)，即設(shè)備接收到云端返回的垃圾類別并執(zhí)行相應(yīng)控制指令，實(shí)驗(yàn)流程如圖7 所示。在此基礎(chǔ)上，以垃圾運(yùn)輸為主題，引導(dǎo)學(xué)生設(shè)計(jì)與實(shí)驗(yàn)平臺(tái)協(xié)作的垃圾轉(zhuǎn)運(yùn)機(jī)器人，從而拓展實(shí)驗(yàn)教學(xué)內(nèi)容，激發(fā)學(xué)生的創(chuàng)新意識(shí)。

3.2 基于遷移學(xué)習(xí)的實(shí)驗(yàn)內(nèi)容設(shè)計(jì)

實(shí)驗(yàn)內(nèi)容圍繞垃圾分類的主題開展。學(xué)生需掌握智能垃圾分類實(shí)驗(yàn)平臺(tái)的系統(tǒng)結(jié)構(gòu)以及“通用圖像分類模型實(shí)驗(yàn)架構(gòu)”的使用方法，并結(jié)合PyTorch圖像分類器例程，研習(xí)“基于深度跨連接網(wǎng)絡(luò)的垃圾分類算法”。在此基礎(chǔ)上，以組為單位，開發(fā)智能垃圾分類實(shí)驗(yàn)平臺(tái)的控制程序；同時(shí)，應(yīng)用遷移學(xué)習(xí)的方法，在云端構(gòu)建基于CNN的垃圾分類模型，并與經(jīng)典分類器的分類效果進(jìn)行對(duì)比。具體步驟如下：

圖7 實(shí)驗(yàn)流程示意圖

（1）準(zhǔn)備實(shí)驗(yàn)數(shù)據(jù)集。了解垃圾圖像數(shù)據(jù)集GarbageNet的數(shù)據(jù)結(jié)構(gòu)，并按照2∶1∶1的比例，將其劃分為訓(xùn)練數(shù)據(jù)集、驗(yàn)證數(shù)據(jù)集和測(cè)試數(shù)據(jù)集。

（2）對(duì)3 個(gè)數(shù)據(jù)集的圖像進(jìn)行裁剪，將大小調(diào)整為224 ×224，并對(duì)圖像進(jìn)行標(biāo)準(zhǔn)化處理，使其符合輸入神經(jīng)網(wǎng)絡(luò)所需的特定格式。

（3）應(yīng)用ImageFolder（加載圖像函數(shù)）和DataLoader（批量傳遞圖像函數(shù)）為每個(gè)數(shù)據(jù)集創(chuàng)建加載器。

（4）分析ResNet、DenseNet、ResNeXt、MobileNet、EfficientNet 各自的特點(diǎn)，從中自行選取一個(gè)基于ImageNet的預(yù)訓(xùn)練網(wǎng)絡(luò)B，并應(yīng)用TorchVision 完成加載。

（5）凍結(jié)B的部分卷積層，利用垃圾圖像訓(xùn)練數(shù)據(jù)集和驗(yàn)證數(shù)據(jù)集對(duì)其進(jìn)行訓(xùn)練，得到基于CNN的垃圾分類模型M。

（6）利用垃圾測(cè)試數(shù)據(jù)集檢驗(yàn)M 的圖像分類的準(zhǔn)確性。

（7）去掉M的全連接層，將提取到的特征保存為“.pkl”文件，并利用這些特征訓(xùn)練經(jīng)典分類器（SVM、RF、MLP、KNN），得到模型N。

（8）利用垃圾測(cè)試數(shù)據(jù)集檢驗(yàn)N 的圖像分類的準(zhǔn)確性。

（9）對(duì)比M和N的垃圾圖像分類準(zhǔn)確率，分析2種分類算法的特點(diǎn)。

（10）在云端部署相應(yīng)的分類模型，并設(shè)計(jì)垃圾分類實(shí)驗(yàn)平臺(tái)的控制策略。

此外，指導(dǎo)教師鼓勵(lì)學(xué)生研習(xí)“基于深度跨連接網(wǎng)絡(luò)的垃圾分類算法”的設(shè)計(jì)思路，從網(wǎng)絡(luò)結(jié)構(gòu)、模型參數(shù)、損失函數(shù)設(shè)計(jì)以及數(shù)據(jù)集選取等方面進(jìn)一步完善垃圾分類模型，提升分類準(zhǔn)確率。

4 結(jié) 語

基于機(jī)器視覺的智能垃圾分類實(shí)驗(yàn)平臺(tái)源于實(shí)際工程問題。通過可分離式的結(jié)構(gòu)設(shè)計(jì)，解決了分類垃圾種類數(shù)受限、垃圾桶溢滿后不易轉(zhuǎn)運(yùn)等問題；同時(shí)，依托實(shí)驗(yàn)平臺(tái)的云邊協(xié)同的控制系統(tǒng)架構(gòu)，開展了基于遷移學(xué)習(xí)的垃圾分類研究，取得良好的分類效果，10大類識(shí)別率達(dá)97.2%。在此基礎(chǔ)上，課程團(tuán)隊(duì)將科研成果轉(zhuǎn)化為教學(xué)應(yīng)用，保證實(shí)踐教學(xué)內(nèi)容與時(shí)俱進(jìn)，加深學(xué)生對(duì)專業(yè)知識(shí)的理解，激發(fā)學(xué)生的科研熱情，進(jìn)而探索工程引領(lǐng)人才培養(yǎng)的方法和路徑。