基于樹莓派Raspberry Pi的智能垃圾分類設(shè)計(jì)

莫慶煒，李宏順，張成發(fā)，龐承諾，潘有椿，王曉敏

（廣西民族師范學(xué)院 數(shù)理與電子信息工程學(xué)院，廣西崇左，532200）

0 引言

隨著社會(huì)經(jīng)濟(jì)發(fā)展水平不斷提升，人們的物質(zhì)需求越加提高，所產(chǎn)生的垃圾也更多?，F(xiàn)代科技不斷改革下，社會(huì)治理理念已發(fā)生轉(zhuǎn)變，許多國家已出臺(tái)垃圾分類相關(guān)政策，垃圾分類已是人們關(guān)注的熱點(diǎn)之一。對(duì)此，為踐行“環(huán)保、綠色、衛(wèi)生”的理念，結(jié)合當(dāng)下人工智能科技不斷地飛速發(fā)展下，本文設(shè)計(jì)一款智能垃圾分類系統(tǒng)，該系統(tǒng)是一款集信息處理、人工智能的一體化設(shè)計(jì)，實(shí)現(xiàn)垃圾分類功能，增強(qiáng)垃圾分類環(huán)保理念意識(shí)，讓垃圾得到合理的分類回收。

1 系統(tǒng)總體設(shè)計(jì)

本系統(tǒng)為軟件、硬件相結(jié)合，軟件部分為垃圾分類識(shí)別功能和UI界面的設(shè)計(jì)，硬件部分為樹莓派4B（Raspberry Pi 4B）開發(fā)板和顯示屏和PC端，整體系統(tǒng)結(jié)構(gòu)圖如圖1所示。

圖1 系統(tǒng)結(jié)構(gòu)圖

垃圾分類是一個(gè)目標(biāo)分類的任務(wù)，當(dāng)前在深度學(xué)習(xí)研究中獲得迅猛發(fā)展的圖像檢測(cè)是計(jì)算視覺的未來發(fā)展趨勢(shì)，現(xiàn)已運(yùn)用到各個(gè)領(lǐng)域，如自然語言處理、無人駕駛等并取得優(yōu)異成果[2]。深度學(xué)習(xí)毫無疑問是目標(biāo)分類的一種有效辦法。綜上所述，基于垃圾分類識(shí)別功能采用卷積神經(jīng)網(wǎng)絡(luò)結(jié)合OpenCv圖像識(shí)別功能時(shí)，選用的卷積神經(jīng)網(wǎng)絡(luò)（CNN）模型是LeNet-5模型，LeNet-5模型是深度學(xué)習(xí)里最經(jīng)典的一個(gè)模型，LeNet-5卷積神經(jīng)網(wǎng)絡(luò)模型是由Y.LeCun提出，首次在手寫數(shù)字上取得了很好地識(shí)別結(jié)果[3]，是一個(gè)比較簡潔的模型，通過TensorFlow構(gòu)建一個(gè)LeNet-5卷積神經(jīng)網(wǎng)絡(luò)模型，TensorFlow是一款靈活且移植性強(qiáng)的深度學(xué)習(xí)框架，相對(duì)比起PyTorch雖然沒有PyTorch的模型訓(xùn)練和學(xué)習(xí)更快速，但TensorFlow其功能更完善，部署LeNet-5模型到嵌入式終端更加方便，選用的垃圾分類數(shù)據(jù)集共有6萬張圖片，分為四大類分別有廚余、可回收、有害、其他這四類垃圾，四大類又分200個(gè)小類對(duì)垃圾信息作說明，嵌入式平臺(tái)采用樹莓派4B（Raspberry Pi 4B）開發(fā)板，PC端作為模型的訓(xùn)練平臺(tái)和程序的編寫，PC端平臺(tái)配置參數(shù)為處理器Intel(i3-10100)CPU頻率3.6GHz、內(nèi)存16GB，LeNet-5卷積神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練30回，訓(xùn)練好的LeNet-5模型對(duì)垃圾分類進(jìn)行特征提取與推理，結(jié)合OpenCV庫的圖片處理功能完成垃圾分類圖片識(shí)別，將訓(xùn)練好的模型和編寫好的程序部署到樹莓派平臺(tái)上，圖片結(jié)果顯示在PyQt5設(shè)計(jì)的UI界面上。

2 系統(tǒng)UI界面設(shè)置

UI界面系統(tǒng)在PC端平臺(tái)上開發(fā)，開發(fā)完成后可以部署到樹莓派平臺(tái)上，是基于PyQT5框架Python語言開發(fā)完成，UI界面設(shè)置由照片顯示、物品種類、物品名稱等七個(gè)小模塊構(gòu)成，其結(jié)構(gòu)如圖2所示。

圖2 系統(tǒng)UI界面結(jié)構(gòu)圖

用戶可以通過點(diǎn)擊上傳圖片將圖片上傳然后點(diǎn)擊開始識(shí)別來完成垃圾分類識(shí)別，識(shí)別成功后顯示在照片顯示模塊上，識(shí)別完后照片下面的模塊會(huì)對(duì)垃圾種類的信息進(jìn)行說明，提醒用戶使用合理的方式處理垃圾，結(jié)構(gòu)圖右上角的兩個(gè)模塊是顯示垃圾的種類、名稱，點(diǎn)擊系統(tǒng)設(shè)置功能可以對(duì)信息說明板塊的信息進(jìn)行修改。

3 基于樹莓派智能垃圾分類識(shí)別

垃圾分類識(shí)別過程由圖3所示分為輸入圖像、圖像預(yù)處理、圖像識(shí)別、顯示結(jié)果這四個(gè)過程，其中輸入圖像為上傳圖像，圖像預(yù)處理基于Python的OpenCV庫來開發(fā)完成，圖像預(yù)處理是來完成圖像識(shí)別的準(zhǔn)備工作，圖像識(shí)別是基于TensorFlow框架Python語言開發(fā)完成，圖像識(shí)別是垃圾分類識(shí)別的關(guān)鍵技術(shù)，識(shí)別結(jié)果顯示在系統(tǒng)UI界面上。垃圾分類識(shí)別過程如圖3所示。

圖3 垃圾分類識(shí)別過程

3.1 圖像預(yù)處理

OpenCV讀取圖片的時(shí)候，默認(rèn)讀取圖片BGR數(shù)據(jù)矩陣，因此將彩色圖轉(zhuǎn)為灰度圖可以加快處理速度，使用OpenCV庫里的cvtColor函數(shù)，原圖三通道經(jīng)過轉(zhuǎn)換灰度圖后變?yōu)閱瓮ǖ?，為了加快網(wǎng)絡(luò)訓(xùn)練速度，利用OpenCV庫的Normalize函數(shù)對(duì)輸入信號(hào)進(jìn)行歸一化處理，將像素值處理到0和1之間，處理后對(duì)信號(hào)進(jìn)行中值濾波使圖片噪點(diǎn)降低，為了方便提取圖片特征，除了灰度處理、歸一化處理和噪聲處理還需圖片分割處理，利用邊緣檢測(cè)算法將圖片進(jìn)行分割，將特征分割出來。

3.2 圖像識(shí)別

垃圾分類識(shí)別技術(shù)是使用計(jì)算機(jī)對(duì)垃圾圖片進(jìn)行識(shí)別并分類，利用計(jì)算機(jī)分析圖片信息并提取特征然后進(jìn)行分類，整個(gè)過程里計(jì)算機(jī)就像人腦一樣根據(jù)我們的設(shè)定執(zhí)行工作，這樣就能達(dá)到智能化。垃圾分類技術(shù)的關(guān)鍵技術(shù)點(diǎn)在于圖片識(shí)別，而卷積神經(jīng)網(wǎng)絡(luò)毫無疑問是最好的幫手。卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural networks,CNN）是一類受生物視覺感知機(jī)制啟示而創(chuàng)造的機(jī)器學(xué)習(xí)代表性網(wǎng)絡(luò)構(gòu)造，其研究源起20世紀(jì)80-90年代，最初出現(xiàn)的經(jīng)典卷積神經(jīng)網(wǎng)絡(luò)是Le Net-5。在21世紀(jì)，伴隨著深度學(xué)習(xí)理論的提出和數(shù)值計(jì)算設(shè)備的改良，卷積神經(jīng)網(wǎng)絡(luò)獲得了迅速發(fā)展，已經(jīng)證明在圖像識(shí)別和分類等領(lǐng)域非常有效。卷積神經(jīng)網(wǎng)絡(luò)像我們?nèi)四X一樣去感知事物，可以進(jìn)行特征提取和分類，其網(wǎng)絡(luò)是拓?fù)涫浇Y(jié)構(gòu)，有多個(gè)神經(jīng)元鏈接，卷積神經(jīng)網(wǎng)絡(luò)由輸入和輸出層以及多個(gè)隱藏層組成，隱藏層可分為卷積層，池化層、RELU層和全連通層，其運(yùn)作原理是將圖像進(jìn)行卷積運(yùn)算提取特征，然后激活函數(shù)、池化、最后將特征數(shù)值連接到全連接層進(jìn)行分類輸出。卷積網(wǎng)絡(luò)的核心思想是將：局部感受野、權(quán)值共享以及時(shí)間或空間亞采樣這三種結(jié)構(gòu)思想結(jié)合起來獲得了某種程度的位移、尺度、形變不變性。

LeNet-5網(wǎng)絡(luò)模型結(jié)構(gòu)：典型的CNN模型LeNet-5的結(jié)構(gòu)如圖4所示，由卷積層、池化層、全連接層組成。

圖4 LeNet-5卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖

輸入圖像數(shù)據(jù)為32×32大小的像素圖片，卷積層有6個(gè)卷積核，經(jīng)過卷積層6個(gè)卷積核對(duì)輸入層的圖片數(shù)據(jù)進(jìn)行卷積運(yùn)算，得到6個(gè)28×28像素大小的特征圖，經(jīng)過池化層，將6個(gè)28×28的特征圖下采樣，得到6個(gè)14×14的特征圖，經(jīng)過第二個(gè)卷積層，將上一層的6個(gè)14×14的特征圖進(jìn)行卷積運(yùn)算得到16個(gè)10×10的特征圖，經(jīng)過第二個(gè)池化層，將16個(gè)10×10的特征圖下采樣，得到16個(gè)5×5的特征圖，最后連接的是兩個(gè)全連接層，兩個(gè)全連接層分別有120、84個(gè)神經(jīng)元，最后經(jīng)過輸出層，得出0到1的概率值，最接近1的值為識(shí)別結(jié)果。

3.3 構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)模型

垃圾分類識(shí)別上采用Tensorflow框架構(gòu)建了一個(gè)CNN卷積神經(jīng)網(wǎng)絡(luò)開展訓(xùn)練，用傳統(tǒng)的LeNet-5網(wǎng)絡(luò)模型結(jié)構(gòu)其識(shí)別率會(huì)縮小，會(huì)在原模型上做修改，這個(gè)神經(jīng)網(wǎng)絡(luò)由兩層卷積和兩層池化所構(gòu)成，整個(gè)結(jié)構(gòu)如圖5所示。

圖5 CNN卷積神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)

輸入層為經(jīng)過圖像預(yù)處理的垃圾分類識(shí)別圖片，處理的圖片會(huì)變?yōu)榇笮?24的灰度圖，輸入層圖片信號(hào)尺度變換后到卷積層，卷積層有三個(gè)大小為3×3的卷積核，32個(gè)輸出通道，在卷積后對(duì)數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理，使其減少計(jì)算量，在這里使用的是Relu激活函數(shù)，池化層為最大池化層，將特征圖大小減半，經(jīng)過兩層的卷積和池化操作后經(jīng)過Flatten層，F(xiàn)latten層的作用是將特征圖壓成一維圖，繼而將特征拉直之后送入到兩個(gè)全連接層進(jìn)行分類，全連接層有128個(gè)神經(jīng)元，輸出層使用Softmax函數(shù)得到概率值，接近1的值為識(shí)別結(jié)果。

3.4 LeNet-5模型訓(xùn)練

LeNet-5模型將會(huì)訓(xùn)練收集好的垃圾分類數(shù)據(jù)集，垃圾分類數(shù)據(jù)集分為廚余垃圾、有害垃圾、可回收垃圾、其余垃圾四大類，共6萬張圖片，其中數(shù)據(jù)集的25%作為驗(yàn)證集75%作為訓(xùn)練集，模型訓(xùn)練30回，訓(xùn)練結(jié)束之后，將會(huì)獲得訓(xùn)練生成的模型保留訓(xùn)練過程的折線圖，實(shí)驗(yàn)數(shù)據(jù)來源于基于樹莓派Raspberry Pi智能垃圾分類系統(tǒng)設(shè)計(jì)數(shù)據(jù)集如圖6所示。

圖6 Le Net-5模型訓(xùn)練折線圖

第一個(gè)表格為模型的準(zhǔn)確率的曲線變化，第二個(gè)表格為交叉熵?fù)p失函數(shù)的曲線變化，藍(lán)線和紅線分別為訓(xùn)練集合驗(yàn)證集，可以在表中看出，訓(xùn)練集的準(zhǔn)確度為0.98，驗(yàn)證集的準(zhǔn)確率為0.82，訓(xùn)練集的損失為0.1，驗(yàn)證集的損失為1.6，模型的準(zhǔn)確率和損失函數(shù)隨著epoch而變化，當(dāng)訓(xùn)練的次數(shù)增加準(zhǔn)確率就會(huì)越高損失度就會(huì)越低且逐漸趨于穩(wěn)定。

3.5 LeNet-5模型測(cè)試

在訓(xùn)練完后對(duì)LeNet-5模型做測(cè)試，測(cè)試結(jié)果以四個(gè)大類為結(jié)果，分別為廚余垃圾、有害垃圾、可回收垃圾、其余垃圾四類為數(shù)據(jù)準(zhǔn)確率，在測(cè)試完后結(jié)果保存在PC端記錄中，實(shí)驗(yàn)數(shù)據(jù)來源于基于樹莓派Raspberry Pi智能垃圾分類系統(tǒng)設(shè)計(jì)數(shù)據(jù)集，實(shí)驗(yàn)結(jié)果以圖7熱力圖所示。

圖7 測(cè)試結(jié)果熱力圖

在測(cè)試結(jié)果熱力圖中，越趨近于白色準(zhǔn)確率越高，其中以廚余垃圾準(zhǔn)確率最高，有害垃圾最低，準(zhǔn)確率都處于1到0.8分段中，在PC端記錄中LeNet-5模型的平均準(zhǔn)確率為0.822820。

4 環(huán)境搭建

4.1 Linux操作系統(tǒng)

Linux操作系統(tǒng)是一套免費(fèi)的使用和自由傳播的類Unix系統(tǒng)。Linux不僅系統(tǒng)性能穩(wěn)定，而且是開源軟件具有開放源碼、沒有版權(quán)、技術(shù)社區(qū)用戶多等優(yōu)點(diǎn)，靈活性高、功能強(qiáng)大、成本低。Ubuntu操作系統(tǒng)是Linux操作系統(tǒng)一支優(yōu)秀的分支。Ubuntu基于Linux內(nèi)核，是發(fā)行版本之一，Ubuntu是臺(tái)式機(jī)安裝中最常用的基于Linux的操作系統(tǒng)。Ubuntu提供友好的操作系統(tǒng)和穩(wěn)定針對(duì)普通計(jì)算機(jī)用戶的操作系統(tǒng)，易于安裝、簡單。由于總體設(shè)計(jì)方案需要樹莓派作為硬件設(shè)計(jì)，故選取Linux操作系統(tǒng)的分支Ubuntu操作系統(tǒng)，在搭建環(huán)境下方便許多，更為高效，便利。

4.2 樹莓派

本系統(tǒng)所采用的硬件為樹莓派4代B型主板2G版。樹莓派原名為Raspberry Pi，是一款嵌入式設(shè)備。它的大小有手掌心這么大，與常見的51單片機(jī)和STM32等這類的嵌入式設(shè)備相比，能完成相同的IO引腳控制之外，還能運(yùn)行相應(yīng)的操作系統(tǒng)，可以完成更復(fù)雜的任務(wù)管理與調(diào)度，能夠支持上層應(yīng)用的開發(fā)，為開發(fā)者提供了更廣闊的應(yīng)用空間。樹莓派的價(jià)格便宜、功耗小、體積小、資源豐富，能夠運(yùn)行人工智能算法，Python為樹莓派的主要編程語言，與常規(guī)的單片機(jī)相比，樹莓派顯得更加靈活，在人工智能方面優(yōu)勢(shì)較大。通過TensorFlow搭建LeNet-5模型進(jìn)行訓(xùn)練，訓(xùn)練好的模型部署在樹莓派平臺(tái)上，就可以得到一個(gè)簡潔高效的垃圾分類系統(tǒng)。

樹莓派選取的是Linux的Ubuntu系統(tǒng)，可以到樹莓派官網(wǎng)下載，準(zhǔn)備好一張SD卡，下載SD Card Formatter和Etcher軟件并安裝，使用SD Card Formatter軟件將SD卡進(jìn)行格式化，使用Etcher軟件寫入下載好的鏡像。樹莓派初次登錄選擇中國地區(qū)，進(jìn)入系統(tǒng)后安裝Python、Tensorflow、Pyqt5、Pillow、Opencv-Python、Matplotlib、Keras、虛擬環(huán)境等操作。

5 結(jié)果

將編寫好的Python程序文件部署到樹莓派平臺(tái)上，訓(xùn)練好的模型文件復(fù)制到程序文件路徑下，啟動(dòng)樹莓派，執(zhí)行程序文件結(jié)果顯示如圖8所示。

圖8 識(shí)別結(jié)果

6 結(jié)語

本設(shè)計(jì)以樹莓派4代B型主板為例來完成基于樹莓派Raspberry Pi 的智能垃圾分類設(shè)計(jì)，通過學(xué)習(xí)Python語言、卷積神經(jīng)網(wǎng)絡(luò)算法、樹莓派硬件、Linux操作系統(tǒng)、OpenCV圖像處理等相關(guān)專業(yè)知識(shí)來實(shí)現(xiàn)本方案的設(shè)計(jì)，界面UI設(shè)計(jì)使用的是PyQt5來完成，圖片識(shí)別方面利用卷積神經(jīng)網(wǎng)絡(luò)算法進(jìn)行訓(xùn)練推算，結(jié)合OpenCV圖形處理來完成識(shí)別，模型上還可以繼續(xù)進(jìn)行調(diào)整以提高精確度。除了總體設(shè)計(jì)的一些基礎(chǔ)功能，其他功能還可以繼續(xù)挖掘開發(fā)，在原有的基礎(chǔ)上添加硬件設(shè)計(jì)。本系統(tǒng)是人工智能與垃圾分類結(jié)合的一個(gè)設(shè)計(jì)，在未來的發(fā)展上人工智能是一個(gè)重要的學(xué)科，本設(shè)計(jì)作為一個(gè)人工智能的示例來學(xué)習(xí)。