基于YOLOv5的智能果蔬識(shí)別與成熟果蔬計(jì)數(shù)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)

鄭春紅

（青島職業(yè)技術(shù)學(xué)院信息學(xué)院，青島 266000）

0 引言

2022 年中央一號(hào)文件及“十四五”規(guī)劃中均明確提出要發(fā)展智慧農(nóng)業(yè)，推進(jìn)數(shù)字鄉(xiāng)村建設(shè)，農(nóng)業(yè)農(nóng)村部在《“十四五”全國農(nóng)業(yè)農(nóng)村信息化發(fā)展規(guī)劃》中也將發(fā)展智慧農(nóng)業(yè)作為農(nóng)業(yè)農(nóng)村信息化發(fā)展的首要任務(wù)。智慧農(nóng)業(yè)成為中國農(nóng)業(yè)現(xiàn)代化的重要方向。

傳統(tǒng)農(nóng)業(yè)的生產(chǎn)、管理過于粗獷化，不能更好地滿足社會(huì)發(fā)展的需要。發(fā)展基于人工智能的智能農(nóng)業(yè)，對(duì)農(nóng)業(yè)轉(zhuǎn)型發(fā)展具有促進(jìn)作用，可將粗放型農(nóng)業(yè)轉(zhuǎn)向精細(xì)化農(nóng)業(yè)。

近年來，智慧農(nóng)業(yè)逐漸成為中國農(nóng)業(yè)產(chǎn)業(yè)發(fā)展的主要方向，相關(guān)政策、技術(shù)、創(chuàng)新合作體系、社會(huì)參與度等方面得到不斷完善與提高。物聯(lián)網(wǎng)、大數(shù)據(jù)、信息通信技術(shù)、人工智能等數(shù)字化技術(shù)越來越多地融合到農(nóng)業(yè)生產(chǎn)和經(jīng)營(yíng)管理中［1］。

2021 年，潘梅［2］綜述了圖像識(shí)別技術(shù)在商品交易智能化、果蔬采摘機(jī)器人、智能冰箱中的應(yīng)用，這些應(yīng)用大多處于研究和試驗(yàn)階段，僅小范圍應(yīng)用于實(shí)際生產(chǎn)生活，要實(shí)現(xiàn)普及性應(yīng)用還需更深入的研究。2022 年，李寶生［3］設(shè)計(jì)了一種智能農(nóng)業(yè)溫室大棚遠(yuǎn)程監(jiān)控系統(tǒng)。該系統(tǒng)實(shí)現(xiàn)了基于WSN 和IP Camera 的溫室環(huán)境信息實(shí)時(shí)采集，利用物聯(lián)網(wǎng)技術(shù)和智能控制技術(shù)建立了基于B/S 模式的遠(yuǎn)程監(jiān)控平臺(tái)，并設(shè)計(jì)了智能手機(jī)的移動(dòng)客戶端應(yīng)用程序。2022年，張璐璐等［4］針對(duì)超市人工分類識(shí)別效率低和早期識(shí)別系統(tǒng)成功率不高等問題，為提高果蔬識(shí)別系統(tǒng)的準(zhǔn)確性，提出了一種基于人工干預(yù)微調(diào)的經(jīng)典神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)的識(shí)別分類方法，使用Halcon 與c#聯(lián)合，融合輸出果蔬的識(shí)別結(jié)果及重量等信息以及實(shí)現(xiàn)自助打碼，解決袋裝識(shí)別稱重問題。2022 年，趙海越［5］設(shè)計(jì)了一款基于YOLOv3-M 算法的智能果蔬計(jì)價(jià)設(shè)備，用于提高果蔬結(jié)算效率。通過測(cè)試，設(shè)備對(duì)于果蔬識(shí)別的正確率為96.33%,交易時(shí)間為4 s 左右，與傳統(tǒng)人工結(jié)算相比，設(shè)備有效地提高了結(jié)算效率。2022 年，黃梓宸［6］綜述了日本設(shè)施農(nóng)業(yè)采收機(jī)器人的研究應(yīng)用進(jìn)展，分析了基于農(nóng)機(jī)農(nóng)藝結(jié)合的茄科（番茄、茄子、青椒）、葫蘆科（黃瓜、瓜類水果）、蘆筍和草莓等10 種設(shè)施農(nóng)業(yè)采收機(jī)器人的采收技術(shù)，分析了農(nóng)業(yè)采收機(jī)器人面臨的科學(xué)問題及解決方案，總結(jié)了未來發(fā)展趨勢(shì)及對(duì)中國的啟發(fā)，為加速推進(jìn)中國設(shè)施農(nóng)業(yè)采收機(jī)器人的智慧化、智能化和產(chǎn)業(yè)化發(fā)展提供借鑒參考。

綜上所述，目前國內(nèi)果蔬識(shí)別應(yīng)用主要是超市中的智能果蔬計(jì)價(jià)，還有家電領(lǐng)域的智能冰箱，在日本，將果蔬識(shí)別應(yīng)用于智慧農(nóng)場(chǎng)的農(nóng)業(yè)采收機(jī)器人，為加速推進(jìn)中國設(shè)施農(nóng)業(yè)采收機(jī)器人的智慧化、智能化和產(chǎn)業(yè)化發(fā)展提供了借鑒。目前，國內(nèi)在智慧農(nóng)業(yè)方面，主要是利用物聯(lián)網(wǎng)技術(shù)和智能控制技術(shù)建立遠(yuǎn)程監(jiān)控平臺(tái)實(shí)現(xiàn)溫室大棚遠(yuǎn)程監(jiān)控，而對(duì)于成熟果實(shí)的識(shí)別、監(jiān)控系統(tǒng)，以及智能采摘等技術(shù)還亟待深入研究。

基于YOLOv5的智能果蔬識(shí)別與成熟果蔬計(jì)數(shù)系統(tǒng)，將人工智能技術(shù)應(yīng)用于農(nóng)業(yè)生產(chǎn)、銷售等領(lǐng)域，可以有效降本增效。在果蔬成熟采摘季，通過人工智能視覺技術(shù)監(jiān)測(cè)果實(shí)的數(shù)量和生長(zhǎng)位置，對(duì)統(tǒng)籌安排采摘工作有積極意義。通過人工智能視覺技術(shù)可以有效計(jì)算果實(shí)數(shù)量與精確位置，對(duì)于未來結(jié)合機(jī)械臂實(shí)現(xiàn)無人采摘有重要的意義。

1 系統(tǒng)架構(gòu)

基于物聯(lián)網(wǎng)架構(gòu)，以Web 服務(wù)器和數(shù)據(jù)庫服務(wù)器作為云服務(wù)器，設(shè)計(jì)基于B/S（Browser/Server）架構(gòu)的智能果蔬識(shí)別與計(jì)數(shù)系統(tǒng)。該系統(tǒng)的任務(wù)是通過攝像頭采集果蔬圖片信息，系統(tǒng)為用戶提供識(shí)別果蔬類別、計(jì)算成熟果蔬數(shù)量等功能。用戶可以通過PC 端和Android 端訪問這些服務(wù)。

通過攝像頭實(shí)時(shí)采集果蔬圖片，上傳到服務(wù)器端，服務(wù)器端對(duì)圖片進(jìn)行分析，將分析后的結(jié)果（果蔬類別、成熟數(shù)量等）記錄到數(shù)據(jù)庫，并返回到客戶端。這樣可以實(shí)現(xiàn)通過攝像頭監(jiān)控農(nóng)場(chǎng)中果蔬的生長(zhǎng)狀態(tài)，為果蔬生長(zhǎng)監(jiān)控提供智能化管理，同時(shí)也為后續(xù)研究機(jī)械臂智能采摘提供重要基礎(chǔ)。

智能果蔬識(shí)別與計(jì)數(shù)系統(tǒng)主要包括四層架構(gòu)，分為應(yīng)用層、Web 服務(wù)層、數(shù)據(jù)庫和AI 服務(wù)層。系統(tǒng)架構(gòu)如圖1所示。

圖1 智能果蔬識(shí)別與計(jì)數(shù)系統(tǒng)架構(gòu)

應(yīng)用層包括Android 移動(dòng)端和Web 瀏覽器端應(yīng)用。Android 移動(dòng)端可以通過攝像頭采集果蔬照片并提交給服務(wù)器端進(jìn)行識(shí)別，識(shí)別后的結(jié)果在Android 移動(dòng)端展示。Web 瀏覽器端可以獲取攝像頭采集的果蔬照片并進(jìn)行識(shí)別，識(shí)別后的結(jié)果在Web端通過網(wǎng)頁的形式展示。

Web 服務(wù)層主要是處理Android 移動(dòng)端和Web 瀏覽器端應(yīng)用的請(qǐng)求，并將請(qǐng)求中的圖片發(fā)送給AI 服務(wù)層進(jìn)行識(shí)別，然后將識(shí)別的類別和最小矩形坐標(biāo)等結(jié)果繪制到圖片上，再返回給Android移動(dòng)端和Web瀏覽器端進(jìn)行展示。

各組間臨床資料的對(duì)比發(fā)現(xiàn)，在年齡、性別比例等方面均無顯著差異，每組中均為男性比例高于女性，差異有統(tǒng)計(jì)學(xué)意義（P＜0.05），組3糖尿病比例高于其余3組，差異有統(tǒng)計(jì)學(xué)意義（P＜0.05），組4高血壓比例和SBP均高于其余3組，差異有統(tǒng)計(jì)學(xué)意義（P＜0.05）。表1為左室?guī)缀涡螒B(tài)對(duì)比，可以發(fā)現(xiàn)，組1、組2及組4均呈向心性重構(gòu)，而組3呈離心性重構(gòu)，差異有統(tǒng)計(jì)學(xué)意義（P＜0.05）；組3AVA大于組1、組2，與組4差異無統(tǒng)計(jì)學(xué)意義（P＞0.05）。由表3及圖1與圖2可以發(fā)現(xiàn)，各組左室縱軸收縮功能均小于對(duì)照組（P＜0.05），但組1優(yōu)于組2、組3，與組4差異無統(tǒng)計(jì)學(xué)意義（P＞0.05）。見表1、表2。

數(shù)據(jù)庫用于存放Web 服務(wù)層獲得的果蔬類別和數(shù)量等信息，便于后期的統(tǒng)計(jì)和管理。

AI 服務(wù)層是在服務(wù)器上，基于YOLOv5 算法，自行訓(xùn)練的果蔬目標(biāo)檢測(cè)模型。將訓(xùn)練好的權(quán)重下載并部署到Web 服務(wù)器，供Web 服務(wù)層調(diào)用。

2 基于YOLOv5訓(xùn)練果蔬檢測(cè)模型

2.1 數(shù)據(jù)采集

到農(nóng)場(chǎng)、蔬菜大棚等實(shí)際農(nóng)業(yè)環(huán)境中采集果蔬照片，本系統(tǒng)共采集五類果蔬照片，包括石榴、草莓、圣女果、板栗、橙子。每類果蔬照片采集數(shù)量不少于100張。

2.2 數(shù)據(jù)標(biāo)注

通過Labelimg 數(shù)據(jù)標(biāo)注軟件對(duì)采集到的每張圖片進(jìn)行標(biāo)注，對(duì)采集到的果蔬圖片中成熟的果蔬進(jìn)行標(biāo)注。

2.3 數(shù)據(jù)預(yù)處理

對(duì)標(biāo)注好的數(shù)據(jù)進(jìn)行預(yù)處理，生成用于模型訓(xùn)練的訓(xùn)練集和用于測(cè)試的測(cè)試集。

2.4 模型訓(xùn)練與評(píng)估

YOLOv5 是一種比YOLOv4 更快、更準(zhǔn)確的實(shí)時(shí)目標(biāo)檢測(cè)模型，YOLOv5在檢測(cè)和定位任務(wù)上表現(xiàn)出色，可以較好地處理比較大的數(shù)據(jù)集，用于實(shí)時(shí)應(yīng)用中。它采用了一種精簡(jiǎn)的架構(gòu)，能夠提供較高的實(shí)時(shí)檢測(cè)精度，并且可以構(gòu)建靈活的模型，從而使模型能夠更加精確地檢測(cè)和定位物體。

本系統(tǒng)在服務(wù)器部署YOLOv5算法，將預(yù)處理的數(shù)據(jù)集作為輸入，進(jìn)行模型的訓(xùn)練和評(píng)估。

3 智能果蔬識(shí)別與計(jì)數(shù)系統(tǒng)

圖2 系統(tǒng)功能結(jié)構(gòu)

3.1 Android移動(dòng)端應(yīng)用的設(shè)計(jì)與實(shí)現(xiàn)

Android 移動(dòng)端應(yīng)用需要用戶登錄后使用，登錄界面如圖3 所示。用戶輸入用戶名和密碼后進(jìn)入應(yīng)用界面，如圖4 所示。在應(yīng)用界面可以選擇拍照或選取相冊(cè)中的圖片進(jìn)行識(shí)別，如圖5 所示。

圖3 登錄界面

圖4 應(yīng)用界面

圖5 拍照或相冊(cè)選取

該系統(tǒng)可以識(shí)別五類果蔬的種類，并能對(duì)成熟的果蔬數(shù)量進(jìn)行分類計(jì)數(shù)。通過Android 移動(dòng)端攝像頭拍照或選取相冊(cè)照片后，點(diǎn)擊“識(shí)別”按鈕，即可通過網(wǎng)絡(luò)將圖片發(fā)送到服務(wù)端進(jìn)行識(shí)別，服務(wù)端將識(shí)別后的果蔬類別、成熟數(shù)量結(jié)果返回到Android 客戶端進(jìn)行展示，用戶即可看到識(shí)別結(jié)果。識(shí)別結(jié)果如圖6所示。

3.2 Web服務(wù)端應(yīng)用的設(shè)計(jì)與實(shí)現(xiàn)

Web 服務(wù)端應(yīng)用需要用戶登錄后使用，登錄界面如圖7 所示。管理員輸入用戶名和密碼后，進(jìn)入管理界面的實(shí)時(shí)數(shù)據(jù)監(jiān)控頁面，實(shí)時(shí)顯示當(dāng)前用戶數(shù)量、管理果蔬種類、每類果蔬成熟數(shù)量，如圖8所示。

圖7 Web服務(wù)端登錄界面

圖8 Web服務(wù)端數(shù)據(jù)監(jiān)控界面

管理員在服務(wù)端也可以通過上傳圖片進(jìn)行果蔬類別和成熟數(shù)量的檢測(cè)，如圖9所示。

圖9 Web服務(wù)端果樹類別與成熟數(shù)量計(jì)數(shù)界面

管理員可以對(duì)用戶、檢測(cè)記錄進(jìn)行管理，如圖10所示。

圖10 Web服務(wù)端管理界面

4 應(yīng)用前景

智慧農(nóng)業(yè)是中國農(nóng)業(yè)現(xiàn)代化的重要方向，也是農(nóng)業(yè)發(fā)展的必然趨勢(shì)?；赮OLOv5的智能果蔬識(shí)別與成熟果蔬計(jì)數(shù)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)將人工智能與農(nóng)業(yè)相結(jié)合，探索農(nóng)業(yè)數(shù)字化的可行性。

我國發(fā)展智慧農(nóng)業(yè)需因地制宜，結(jié)合產(chǎn)業(yè)發(fā)展現(xiàn)狀與國外先進(jìn)經(jīng)驗(yàn)。本系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)，借鑒農(nóng)業(yè)發(fā)達(dá)國家發(fā)展智慧農(nóng)業(yè)的經(jīng)驗(yàn)，結(jié)合地方農(nóng)業(yè)生產(chǎn)實(shí)際，可對(duì)接農(nóng)企實(shí)現(xiàn)個(gè)性化的數(shù)據(jù)采集、模型定制，提高農(nóng)場(chǎng)運(yùn)營(yíng)效率。

本系統(tǒng)可以應(yīng)用于果蔬等農(nóng)作物的成熟度智能監(jiān)控和計(jì)數(shù)，能為農(nóng)場(chǎng)管理人員、種植人員提供智能化管理，輔助決策。

5 結(jié)語

本文基于目前國內(nèi)外在智慧農(nóng)業(yè)方向的研究現(xiàn)狀，分析國內(nèi)在成熟果實(shí)的識(shí)別、監(jiān)控系統(tǒng)、智能采摘等技術(shù)研究的迫切性，設(shè)計(jì)并實(shí)現(xiàn)了基于YOLOv5的果蔬識(shí)別與成熟果蔬計(jì)數(shù)系統(tǒng)。

通過到農(nóng)業(yè)環(huán)境采集五類果蔬圖片，并進(jìn)行成熟果蔬標(biāo)注、數(shù)據(jù)預(yù)處理，基于YOLOv5訓(xùn)練果蔬識(shí)別與成熟果蔬計(jì)數(shù)模型，該模型已完成服務(wù)器端部署并進(jìn)行了測(cè)試，測(cè)試結(jié)果表明該系統(tǒng)訓(xùn)練的模型精度（Precision）可達(dá)96.99%，召回率（Recall）可達(dá)96.5%，模型對(duì)采集到的圖片進(jìn)行果蔬類別及成熟度數(shù)量計(jì)算的時(shí)間小于2 s。

該系統(tǒng)主要分為Android 移動(dòng)端應(yīng)用與Web服務(wù)端應(yīng)用。用戶可以通過Android 移動(dòng)端攝像頭設(shè)備實(shí)時(shí)采集農(nóng)場(chǎng)中果蔬照片并進(jìn)行種類與成熟度數(shù)量檢測(cè)，管理員可以通過Web 服務(wù)端應(yīng)用實(shí)時(shí)監(jiān)控用戶數(shù)量、果蔬種類、每類果蔬檢測(cè)數(shù)據(jù)等信息，輔助決策；管理員也可以對(duì)用戶、識(shí)別檢測(cè)結(jié)果進(jìn)行管理。

未來，該系統(tǒng)將進(jìn)一步擴(kuò)大需求，結(jié)合機(jī)械臂等智能硬件設(shè)備實(shí)現(xiàn)識(shí)別檢測(cè)后的智能采摘。