基于輕量化改進(jìn)YOLOv5的蘋果樹產(chǎn)量測定方法

李志軍 楊圣慧 史德帥 劉星星 鄭永軍

摘要：果樹測產(chǎn)是果園管理的重要環(huán)節(jié)之一，為提升蘋果果園原位測產(chǎn)的準(zhǔn)確性，本研究提出一種包含改進(jìn)型YOLOv5果實檢測算法與產(chǎn)量擬合網(wǎng)絡(luò)的產(chǎn)量測定方法。利用無人機(jī)及樹莓派攝像頭采集摘袋后不同著色時間的蘋果果園原位圖像，形成樣本數(shù)據(jù)集;通過更換深度可分離卷積和添加注意力機(jī)制模塊對YOLOv5算法進(jìn)行改進(jìn)，解決網(wǎng)絡(luò)中存在的特征提取時無注意力偏好問題和參數(shù)冗余問題，從而提升檢測準(zhǔn)確度，降低網(wǎng)絡(luò)參數(shù)帶來的計算負(fù)擔(dān);將圖片作為輸入得到估測果實數(shù)量以及邊界框面總積。以上述檢測結(jié)果作為輸入、實際產(chǎn)量作為輸出，訓(xùn)練產(chǎn)量擬合網(wǎng)絡(luò)，得到最終測產(chǎn)模型。測產(chǎn)試驗結(jié)果表明，改進(jìn)型YOLOv5果實檢測算法可以在提高輕量化程度的同時提升識別準(zhǔn)確率，與改進(jìn)前相比，檢測速度最大可提升15.37%，平均mAP最高達(dá)到96.79%;在不同數(shù)據(jù)集下的測試結(jié)果表明，光照條件、著色時間以及背景有無白布均對算法準(zhǔn)確率有一定影響;產(chǎn)量擬合網(wǎng)絡(luò)可以較好地預(yù)測出果樹產(chǎn)量，在訓(xùn)練集和測試集的決定系數(shù)R分別為0.7967和0.7982，均方根誤差RMSE分別為1.5317和1.4021 kg，不同產(chǎn)量樣本的預(yù)測精度基本穩(wěn)定;果樹測產(chǎn)模型在背景有白布和無白布的條件下，相對誤差范圍分別在7%以內(nèi)和13%以內(nèi)。本研究提出的基于輕量化改進(jìn)YOLOv5的果樹產(chǎn)量測定方法具有良好的精度和有效性，基本可以滿足自然環(huán)境下樹上蘋果的測產(chǎn)要求，為現(xiàn)代果園環(huán)境下的智能農(nóng)業(yè)裝備提供技術(shù)參考。

關(guān)鍵詞：蘋果原位測產(chǎn);深度學(xué)習(xí);果實檢測;BP神經(jīng)網(wǎng)絡(luò);YOLOv5

中圖分類號：S252+.9文獻(xiàn)標(biāo)志碼：A文章編號：202105-SA005

引用格式：李志軍，楊圣慧，史德帥，劉星星，鄭永軍.基于輕量化改進(jìn)YOLOv5的蘋果樹產(chǎn)量測定方法[J].智慧農(nóng)業(yè)（中英文），2021，3（2）： 100-114.

LI Zhijun， YANG Shenghui， SHI Deshuai， LIU Xingxing， ZHENG Yongjun. Yield estimation method of apple tree based on improved lightweight YOLOv5[J]. Smart Agriculture， 2021， 3（2）： 100-114. （in Chinese with English abstract）

1引言

果樹產(chǎn)量測定不但可以幫助果農(nóng)掌握果樹的生長情況、估算果園的整體產(chǎn)值，而且可以為合理安排收獲提供定量依據(jù)[1]。傳統(tǒng)的果樹測產(chǎn)方法主要依靠人工目測清點，不僅對測產(chǎn)人員的經(jīng)驗有較高要求，而且勞動強(qiáng)度大、精度較低[2]。

為實現(xiàn)蘋果測產(chǎn)流程的自動化，學(xué)者開始利用機(jī)器視覺等技術(shù)進(jìn)行相關(guān)研究，主要集中在利用該技術(shù)從果樹圖像提取出果實個數(shù)等信息[3-5]，而基于圖像信息估測果樹產(chǎn)量的研究仍需進(jìn)一步深入。程洪等[6]提出將果實區(qū)域比例、果實個數(shù)比、小面積果實比例、果實樹葉比等作為特征輸入，建立神經(jīng)網(wǎng)絡(luò)的方法擬合果樹產(chǎn)量。

Crtomir等[7]從果樹撿果結(jié)束到果實收獲期內(nèi)，采集“Golden Delicious”和“Braebum”兩種蘋果樹圖像數(shù)據(jù)，以果實個數(shù)為輸入，產(chǎn)量為輸出構(gòu)建人工神經(jīng)網(wǎng)絡(luò)進(jìn)行模型的訓(xùn)練和測試。該方法需要進(jìn)行多組數(shù)據(jù)的采集，因此僅適用于接近或已經(jīng)位于成熟期的蘋果果樹測產(chǎn)。Roy等[8]提出了一種基于顏色識別蘋果的半監(jiān)督聚類方法，以及一種利用空間屬性從具有任意復(fù)雜幾何形狀的蘋果簇中估計數(shù)量的無監(jiān)督聚類方法，將其集成為一個完整的端到端計算機(jī)視覺系統(tǒng)，使用單個攝像機(jī)捕獲的圖像作為輸入，輸出果園的預(yù)測產(chǎn)量，在不同數(shù)據(jù)集上的準(zhǔn)確度為91.98%～94.81%。

基于深度學(xué)習(xí)的目標(biāo)檢測算法可以快速檢測出目標(biāo)數(shù)量，其主要分為兩類，一類是以YOLO（You Only Look Once）系列[9-12]和SSD（Single Shot MultiBox Detector）系列[13-15]為代表的一階段檢測算法，該類算法具有較快的檢測速度，但是精度相對偏低;另一類是以區(qū)域卷積神經(jīng)網(wǎng)絡(luò)（Region-CNN，R-CNN）系列[16-18]為代表的二階段檢測算法，其檢測精度較高，缺點是實時性差。YOLOv5憑借其較快的檢測速度以及良好的檢測精度得到了研究人員的青睞[19，20]。具體來看，YOLOv5在數(shù)據(jù)的輸入端增加了Mosaic數(shù)據(jù)增強(qiáng)、自適應(yīng)錨框計算、自適應(yīng)圖片縮放等操作;特征提取網(wǎng)絡(luò)為基于CSPNet[21]的CSPDarknet53，可以在一定范圍內(nèi)降低內(nèi)存損耗;處理輸出部分采用FPN[22]和PANet[23]結(jié)構(gòu)，可以加快各層級之間的信息流通。

本研究以自然環(huán)境下的蘋果為研究對象，通過對YOLOv5檢測算法進(jìn)行輕量化改進(jìn)，考慮摘袋后不同著色時間、不同光照條件以及背景有無白布對結(jié)果的影響進(jìn)行數(shù)據(jù)分析;融合產(chǎn)量擬合網(wǎng)絡(luò)，建立蘋果樹測產(chǎn)模型，將圖像數(shù)據(jù)作為輸入，估測蘋果樹產(chǎn)量，為果實收獲期合理安排采摘人員提供參考，為現(xiàn)代果園環(huán)境下的智能農(nóng)業(yè)裝備提供技術(shù)參考。

2數(shù)據(jù)采集與處理

2.1圖像數(shù)據(jù)采集

原位圖像在山東省煙臺市棲霞市官道鎮(zhèn)姚莊村山東通達(dá)現(xiàn)代農(nóng)業(yè)集團(tuán)有限公司果園基地（北緯37°16′，東經(jīng)120°64′）采集，蘋果品種為“煙富3號”，摘袋后著色16～22d采摘果實。采集設(shè)備為自制的四旋翼無人機(jī)（圖1），搭載樹莓派4B作為圖像采集與存儲核心，其CPU為Cortex-A72@1.5GHz，GPU為Broadcom VideoCore VI，運行內(nèi)存8GB，存儲容量128G。攝像頭（Raspberry Pi Camera V2），像素為500萬，采集頻率為30Hz，影像最大光圈為F2.35，焦距為3.15 mm，視場角為65°。

為降低其他果樹產(chǎn)生的干擾，采用長4m、高3m的白色幕布為背景，跟隨無人機(jī)移動（如圖1（c）所示）。圖像采集時無人機(jī)飛行高度為1.5 m，距離果樹1.2 m，在晴天時采集順光、側(cè)光、逆光三個角度的有白色背景與自然條件圖像，作為測產(chǎn)模型的訓(xùn)練及在自然環(huán)境下的應(yīng)用效果驗證。

著色1d的蘋果顏色呈現(xiàn)青綠色，與果樹葉片顏色較為接近;8d時開始上色，顏色呈現(xiàn)淡紅色;著色15d即可完全上色。不同著色時間的數(shù)據(jù)，便于對本研究提出的果實檢測算法進(jìn)行泛化能力測試。圖像采集日期為2020年10月3日至17日，每隔7 d采集一次圖像，采集時間為上午10點至下午4點，共采集到蘋果著色1d、著色8d、著色15 d的三組數(shù)據(jù)，在果實著色16d時采集果樹產(chǎn)量數(shù)據(jù)（圖2）。

2.2圖像數(shù)據(jù)預(yù)處理

2.2.1數(shù)據(jù)清洗

為降低重復(fù)圖片數(shù)量以及無果實圖片對模型訓(xùn)練的干擾，使用人工篩選的方法對采集圖像進(jìn)行數(shù)據(jù)清洗，即刪除因無人機(jī)懸停造成的重復(fù)圖片以及無人機(jī)姿態(tài)調(diào)整過程中不含蘋果的圖片。數(shù)據(jù)清洗后，著色1d、8d和15d部分?jǐn)?shù)據(jù)如圖3所示。利用不同著色時間采集的不同光照條件數(shù)據(jù)，分析不同著色時間以及不同光照條件數(shù)據(jù)對檢測算法的影響。圖像數(shù)據(jù)包含果樹整體圖像以及局部圖像，檢測算法在工作過程中只迭代訓(xùn)練標(biāo)注過的果實區(qū)域。本研究無人機(jī)拍攝的整體圖像與局部圖像果實區(qū)域大小相近、分布相似，故將整體與局部圖像作為訓(xùn)練數(shù)據(jù)可以使算法在不損失檢測準(zhǔn)確率的同時提高其泛化能力。

利用不同時間點采集的背景無白布數(shù)據(jù)，與背景有白布數(shù)據(jù)進(jìn)行對比分析，驗證本研究提出檢測算法的實際應(yīng)用效果，背景無白布下不同時間點采集的部分蘋果圖片如圖4所示。

2.2.2數(shù)據(jù)集劃分與標(biāo)注

數(shù)據(jù)清洗后，著色1d、8d和15d數(shù)據(jù)各保留1000張。從背景有白布數(shù)據(jù)中隨機(jī)挑選300張圖片作為測試集1，并將測試集1分為順光、側(cè)光和逆光三個子集，每個子集包含100張圖片;從背景無白布數(shù)據(jù)中挑選300張作為測試集2，不分光照條件子集;剩下的圖片均作為訓(xùn)練集數(shù)據(jù)。

采用人工劃分方法，在labelling軟件中對目標(biāo)果實進(jìn)行框選，包含目標(biāo)框的位置坐標(biāo)、類別等信息，標(biāo)注結(jié)果如圖5（第104頁）所示。

標(biāo)注完成后，將樣本數(shù)據(jù)集制作成標(biāo)準(zhǔn)PASCAL. VOC2012格式的數(shù)據(jù)集，圖片及目標(biāo)框數(shù)量如表1所示。

2.3產(chǎn)量數(shù)據(jù)采集

產(chǎn)量數(shù)據(jù)于2020年10月18日9：00—17：00采集，此時蘋果著色16 d。采集時對單株果樹進(jìn)行編號，在每株果樹收獲前，使用無人機(jī)拍攝當(dāng)前果樹圖像;收獲后，將單株果實放置在同一個框中，使用電子秤對蘋果進(jìn)行稱重，去掉框的重量即可得到單株果樹產(chǎn)量。得到數(shù)據(jù)共93組，每組數(shù)據(jù)包含果樹圖像以及相應(yīng)產(chǎn)量，其中60組用于產(chǎn)量擬合網(wǎng)絡(luò)訓(xùn)練，13組用于產(chǎn)量擬合網(wǎng)絡(luò)測試，10組用于背景有白布的測產(chǎn)模型驗證，10組用于背景無白布的測產(chǎn)模型驗證。將不同產(chǎn)量數(shù)據(jù)集數(shù)據(jù)繪制成散點圖，如圖6所示。果實數(shù)量與果樹產(chǎn)量之間呈現(xiàn)一定的線性相關(guān)性，并且果實平均重量在250～280 g之間，表明該果園的果樹長勢較好，果樹個體之間無明顯差異。

3蘋果樹測產(chǎn)模型

3.1模型總體結(jié)構(gòu)

本研究提出的果樹測產(chǎn)模型分為果實檢測算法和產(chǎn)量擬合網(wǎng)絡(luò)兩部分，如圖7所示。果實檢測算法利用改進(jìn)型Y0L0v5對輸入的果樹圖像進(jìn)行目標(biāo)檢測，輸出圖像中果實數(shù)量以及所有果實邊界框總面積;產(chǎn)量擬合網(wǎng)絡(luò)負(fù)責(zé)將上述算法的輸出作為當(dāng)前網(wǎng)絡(luò)的輸入，利用BP神經(jīng)網(wǎng)絡(luò)擬合果樹產(chǎn)量。檢測算法部分使用圖像訓(xùn)練集、擬合網(wǎng)絡(luò)部分使用產(chǎn)量訓(xùn)練集分開進(jìn)行訓(xùn)練，訓(xùn)練完成后，可實現(xiàn)在測產(chǎn)模型中輸入果樹圖像即可直接輸出相應(yīng)的果樹產(chǎn)量。

3.2改進(jìn)型YOLOv5果實檢測算法

3.2.1基于輕量化改進(jìn)的YOLOv5

YOLOv5模型起源于YOLO，該算法在輸出層回歸目標(biāo)框的位置坐標(biāo)及其所屬類別具有良好的檢測速度。YOLO算法的核心思想是將輸入圖片劃分為7×7個網(wǎng)格，目標(biāo)中心所在的網(wǎng)格負(fù)責(zé)預(yù)測該目標(biāo)。每個網(wǎng)格負(fù)責(zé)預(yù)測2個目標(biāo)框，該目標(biāo)框回歸位置坐標(biāo)以及預(yù)測置信度值[24]。設(shè)定一個置信度閾值，濾除置信度較低的目標(biāo)框，并對保留的框進(jìn)行非極大值抑制（Non- Maximum Suppression， NMS）處理，得到最終的預(yù)測效果，如圖8所示。

然而，傳統(tǒng)的YOLOv5網(wǎng)絡(luò)參數(shù)量較大，且在提取過程中存在無注意力偏好問題，即對不同重要程度的特征采用相同的加權(quán)方式。因此，本研究提出將YOLOv5特征提取網(wǎng)絡(luò)中的標(biāo)準(zhǔn)卷積更換為輕量化的深度可分離卷積，并且基于深度可分離卷積[25]和視覺注意力機(jī)制提出一個池化注意力模塊（Pooling Block Attention Module，PBAM），將該模塊添加到Y(jié)OLOv5網(wǎng)絡(luò)中解決無注意力偏好問題。PBAM利用先壓縮后擴(kuò)張的方式，將淺層特征采樣到的關(guān)鍵點進(jìn)行增強(qiáng)學(xué)習(xí)，并且該模塊引入了類似殘差單元的結(jié)構(gòu)，保證了網(wǎng)絡(luò)在較深的情況下不會出現(xiàn)梯度消失或是梯度爆炸的問題;該模塊輸出特征圖與輸入特征圖分辨率保持一致，在不更改網(wǎng)絡(luò)結(jié)構(gòu)的前提下，PBAM可以嵌入到任意網(wǎng)絡(luò)結(jié)構(gòu)中，具有結(jié)構(gòu)簡單、使用方便等優(yōu)勢，通過建立通道間的相互依賴關(guān)系，從而達(dá)到自適應(yīng)校準(zhǔn)通道間相應(yīng)特征的目的。圖9為改進(jìn)后的YOLOv5算法框圖，其中，紅框為本研究改進(jìn)部分。

融合后的YOLOv5算法不僅可以利用深度可分離卷積減少注意力機(jī)制模塊帶來的計算壓力，而且可以將卷積計算得到的淺層特征圖抽取為重要信息更多的深層特征圖，進(jìn)一步提取關(guān)鍵信息，提升算法的整體檢測效果。

3.2.2損失函數(shù)計算

YOLOv5的損失函數(shù)由邊界框置信度損失（L）、類別損失（L）以及坐標(biāo)損失（L）三部分構(gòu)成，改進(jìn)后的YOLOv5算法僅深化了網(wǎng)絡(luò)深度，對以上函數(shù)并無影響，不需要構(gòu)建新的損失函數(shù)。其中置信度損失和類別損失采用交叉熵的方法進(jìn)行計算，如公式（1）～（3）所示。

L-L+L+L（1）

（2）

其中，S為劃分的網(wǎng)格數(shù)量，個;B為每個網(wǎng)格預(yù)測邊界框數(shù)量，個;為判斷第i個網(wǎng)格的第j個邊界框是否有需要預(yù)測的目標(biāo);為判斷第i個網(wǎng)格的第j個邊界框是否有不需要預(yù)測的目標(biāo);λ和λ為網(wǎng)格有無目標(biāo)的權(quán)重系數(shù);C，為預(yù)測目標(biāo)和實際目標(biāo)的置信度值;c為邊界框預(yù)測的目標(biāo)類別;p（c）為第i個網(wǎng)格檢測到目標(biāo)時，其所屬c的預(yù)測概率，%;為第i個網(wǎng)格檢測到目標(biāo)時，其所屬c的實際概率，%。

本研究采用L作為邊界框坐標(biāo)的損失函數(shù)，如公式（4）～（6）所示。

（4）

（5）

（6）

其中，A為真實框的面積，像素;B為預(yù)測框的面積，像素;C為A和B的最小外接矩形面積，像素。

3.3產(chǎn)量擬合網(wǎng)絡(luò)

由于果實檢測數(shù)量以及邊界框面積與估測產(chǎn)量之間的函數(shù)映射關(guān)系并不明確，屬非線性函數(shù)關(guān)系特征，因此本研究采用BP神經(jīng)網(wǎng)絡(luò)作為果實產(chǎn)量擬合部分，提升模型整體對任意復(fù)雜模式的分類能力與多維函數(shù)映射能力。由于BP網(wǎng)絡(luò)的輸入包含了邊界框面積，因此圖像拍攝的距離與相機(jī)的參數(shù)就顯得尤為重要。本研究在圖像采集時，保持采集平臺與果樹的距離不變，并且固定相機(jī)的參數(shù)，保證測產(chǎn)的準(zhǔn)確性。

本研究采用3層全連接層、1層ReLU激活層和1層Sigmoid激活層完成網(wǎng)絡(luò)結(jié)構(gòu)的搭建，網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)如圖10所示。BP網(wǎng)絡(luò)的輸入神經(jīng)元數(shù)量為2個，分別對應(yīng)改進(jìn)型YOLOv5果實檢測算法輸出的果實數(shù)量（個）以及邊界框總面積（像素）;輸出神經(jīng)元的數(shù)量為1個，對應(yīng)圖像中的果樹產(chǎn)量。在隱藏層中加入ReLU或Sigmoid激活函數(shù)，可以在一定程度上增加神經(jīng)網(wǎng)絡(luò)的非線性因素，加快算法訓(xùn)練速度，并且可以解決反向傳播時梯度消失問題，有效降低過擬合發(fā)生的概率。

隱藏層神經(jīng)元數(shù)量的確定沒有明確的理論方法，因此本研究先由經(jīng)驗公式確定初始值，如公式（7）所示;再根據(jù)網(wǎng)絡(luò)訓(xùn)練過程中的誤差表現(xiàn)選取最優(yōu)值。最終的隱藏層神經(jīng)元數(shù)量為15個或11個，如圖10所示。

（7）

其中，N為隱藏層節(jié)點數(shù)量，個;m為輸入神經(jīng)元數(shù)量，個;n為輸出神經(jīng)元數(shù)量，個;a為1～10之間的常數(shù)。

利用BP網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)擬合的主要步驟如下。

（1）數(shù)據(jù)歸一化。為保證性能的穩(wěn)定性，分別對果實數(shù)量、邊界框面積以及果樹產(chǎn)量進(jìn)行輸入樣本的歸一化處理。通過除以歸一化系數(shù)，將輸入特征和輸出產(chǎn)量歸一到0～1之間。

（2）BP網(wǎng)絡(luò)訓(xùn)練?？煞譃樗牟剑紫?，初始化網(wǎng)絡(luò)權(quán)重;其次，數(shù)據(jù)正向傳播;再次，誤差反向傳播;最后，網(wǎng)絡(luò)權(quán)重與神經(jīng)網(wǎng)絡(luò)元偏置調(diào)整。

（3）數(shù)據(jù)反歸一化。為獲取果樹產(chǎn)量對應(yīng)的常量，需要對預(yù)測值進(jìn)行反歸一化。將預(yù)測數(shù)據(jù)乘以對應(yīng)的歸一化系數(shù)，將該數(shù)據(jù)重新映射到原始區(qū)間，得到最終產(chǎn)量。

3.4模型訓(xùn)練

模型訓(xùn)練分為兩個階段，第一階段為果實檢測，通過訓(xùn)練目標(biāo)檢測算法，預(yù)測圖片中果實數(shù)量及邊界框總面積;第二階段為產(chǎn)量預(yù)測，基于BP神經(jīng)網(wǎng)絡(luò)擬合數(shù)據(jù)集的果實數(shù)量、邊界框面積和產(chǎn)量。

采用PyTorch深度學(xué)習(xí)框架進(jìn)行模型的搭建，系統(tǒng)硬件配置為AMD Ryzen7 4800H CPU@2.9GHz處理器，6 GB NVIDIA GeForce GTX 1660Ti GPU，16 GB運行內(nèi)存，512 GB SSD硬盤容量，訓(xùn)練和測試所用的操作系統(tǒng)為Windows 10，64位系統(tǒng)。代碼編譯器為PyCharm2019.3.3社區(qū)版，并且配置了CUDA 10.2和cuDNN 7.6.5進(jìn)行GPU加速工作。

4算法測試與試驗

4.1果實檢測算法性能分析

本研究選取平均準(zhǔn)確率（mAP）作為算法的整體評價指標(biāo)。查準(zhǔn)率（P）是指被預(yù)測為正例的樣本中實際為正樣本的比例，查全率（R）是指實際為正例的樣本中被預(yù)測為正樣本的比例，根據(jù)查準(zhǔn)率和查全率之間的關(guān)系可以繪制查準(zhǔn)率一查全率曲線（P-R曲線）。所有類別的準(zhǔn)確率（AP）是指曲線與坐標(biāo)軸圍成區(qū)域的面積，求出所有類別的4P并取均值，可得各類別的mAP，計算如公式（8）～（11）所示。

（8）

（9）

（10）

（11）

其中，TP為正樣本預(yù)測正確的數(shù)量，個;FN為負(fù)樣本預(yù)測錯誤的數(shù)量，個;FP為正樣本預(yù)測錯誤的數(shù)量，個;TN為負(fù)樣本預(yù)測正確的數(shù)量，個;p（r）為不同查準(zhǔn)率r下對應(yīng)的查全率p;AP為第i類的檢測準(zhǔn)確率;N為類別數(shù)量，個。

為驗證本研究提出的改進(jìn)型YOLOv5果實檢測算法的可行性，需要對特征提取網(wǎng)絡(luò)中單獨更換深度可分離卷積、單獨嵌入注意力機(jī)制模塊、融合深度可分離卷積和注意力機(jī)制模塊的YOLOv5算法與未改進(jìn)的YOLOv5算法進(jìn)行檢測速度、平均準(zhǔn)確率性能測試，性能測試完成后進(jìn)行背景有白布以及背景無白布數(shù)據(jù)測試。

（1）檢測速度算法測試。本研究對算法檢測多張圖片的速度進(jìn)行記錄，并取其均值，對比試驗結(jié)果如表2所示，包括以改進(jìn)前算法檢測速度為基礎(chǔ)不同改進(jìn)版本算法的相對提升率。其中YOLOv5s、YOLOv5m、YOLOv51和YOLOv5x分別是YOLOv5的4個不同深度和寬度的網(wǎng)絡(luò)結(jié)構(gòu)，其參數(shù)量依次遞增。

單獨更換深度可分離卷積，使算法的檢測速度明顯提升，提升幅度為11.26%～17.28%。單獨嵌入注意力機(jī)制模塊會對計算速度有一定影響，但是影響較小，與改進(jìn)前YOLOv5算法檢測速度基本持平。融合深度可分離卷積和注意力機(jī)制模塊后，與單獨更換深度可分離卷積相比，算法會增加部分計算負(fù)擔(dān)，降低部分檢測速度;檢測速度最快為31.44ms，與改進(jìn)前相比提升最大15.37%。上述結(jié)果表明，單獨更換深度可分離卷積帶來計算速度的提升較大;融合注意力機(jī)制模塊后，與改進(jìn)前的算法相比仍具有較快的檢測速度優(yōu)勢。

（2）平均準(zhǔn)確率算法測試。本研究對算法檢測多張圖片的mAP進(jìn)行記錄，對比試驗結(jié)果如表3所示，包括以改進(jìn)前算法平均準(zhǔn)確率為基礎(chǔ)不同改進(jìn)版本算法的絕對提升率。

改進(jìn)前的YOLOv5算法在不同結(jié)構(gòu)下的mAP分別是89.83%、90.75%、92.07%和93.44%，除了改進(jìn)后單獨更換深度可分離卷積YOLOv5s的檢測準(zhǔn)確率低于90%，其余結(jié)構(gòu)均在90%以上，該結(jié)果表明YOLOv5擁有較好的模型結(jié)構(gòu)以及檢測效果，對自然環(huán)境下的蘋果檢測具有較好的適用性。單獨更換深度可分離卷積會使算法損失少量準(zhǔn)確率，與改進(jìn)前相比，損失率基本控制在1%以內(nèi)。不同結(jié)構(gòu)下算法最高準(zhǔn)確率與最低準(zhǔn)確率最大相差4.35%，出現(xiàn)在單獨嵌入注意力機(jī)制模塊的YOLOv5算法檢測中，在該種改進(jìn)方式下，檢測準(zhǔn)確率與改進(jìn)前相比最大可提升3.56%，平均提升3.17%。通過在算法結(jié)構(gòu)中嵌人注意力機(jī)制模塊，有助于將卷積計算得到的淺層特征圖抽取為重要信息更多的深層特征圖，學(xué)習(xí)通道間的相關(guān)性，把特征圖中重要的特征增強(qiáng)，次要的特征減弱，對關(guān)鍵信息進(jìn)行更進(jìn)一步的提取，有效提升算法的整體檢測效果。融合后的YOLOv51和YOLOv5x檢測準(zhǔn)確率均超過95%，其中YOLOv5x的檢測準(zhǔn)確率達(dá)到96.27%，為測試結(jié)果最高。以上結(jié)果均表明改進(jìn)后的Y0L0v5算法具有較高的檢測準(zhǔn)確率。

（3）背景有白布算法測試。在自然光照條件下，太陽光作為主要的光源，不同的拍攝角度會在一定程度上影響目標(biāo)檢測的mAP。本研究選取了不同時間點下不同光照角度的蘋果圖像作為樣本數(shù)據(jù)集，對改進(jìn)后的YOLOv5模型進(jìn)行迭代訓(xùn)練，目標(biāo)檢測效果如圖11。

順光拍攝的照片明亮清晰，不會出現(xiàn)明顯的光影變化;側(cè)光拍攝的照片層次分明，物體有較為明顯的輪廓;逆光拍攝的照片陰暗模糊，容易出現(xiàn)曝光不足。本研究針對上述不同數(shù)據(jù)集，并且與YOLOv5、YOLOv3、SSD等模型進(jìn)行對比實驗，各模型檢測結(jié)果如表4所示。

改進(jìn)的YOLOv5在各種不同的光源和時間點的數(shù)據(jù)中，全部得到了最好的檢測結(jié)果。最高mAP出現(xiàn)在著色15d側(cè)光數(shù)據(jù)集，達(dá)到96.79%，在不同數(shù)據(jù)集中表現(xiàn)均優(yōu)于YOLOv5、YOLOv3、SSD，在不同測試集中平均mAP為93.30%，說明改進(jìn)YOLOv5算法具有較好的檢測性能;所有算法在側(cè)光條件下檢測效果最好，在逆光條件下檢測效果最差的原因是：逆光下樹葉與果實的顏色較暗，果實邊緣不夠清晰，容易造成混淆，增加目標(biāo)檢測難度;算法效果隨著色時間提高，原因在于著色1d果實顏色與樹葉顏色較為接近，呈現(xiàn)出綠色，容易誤識別，而第15d果實顏色較為鮮艷，可以明顯與周圍葉片區(qū)分開，檢測準(zhǔn)確率較高。

（4）背景無白布算法測試。為驗證改進(jìn)型YOLOv5果實檢測算法在自然環(huán)境下的應(yīng)用效果，對無白色背景的著色1d、8d和15d蘋果圖像進(jìn)行測試，結(jié)果如圖12。

結(jié)果可知，算法均可完成檢測任務(wù)，對近處的果實識別率較高。由于近處的蘋果區(qū)域面積較大，呈現(xiàn)特征較多，算法對其預(yù)測的置信度較高;遠(yuǎn)處的蘋果在圖像上占據(jù)的像素點數(shù)量較少，呈現(xiàn)的特征較少，識別置信度受到影響。

表5為無白布背景下的算法mAP對比結(jié)果，與背景有白布的算法檢測準(zhǔn)確率相比，在不同著色時間的數(shù)據(jù)集下均有一定的準(zhǔn)確度損失。但是對于果樹測產(chǎn)而言，需要測定的是距離攝像頭較近的果樹產(chǎn)量，利用算法過濾背景中的果樹果實，減少背景果實對其產(chǎn)量的影響，因此在該背景下并不是檢測準(zhǔn)確率越高越好。本研究的果實檢測算法恰能滿足識別近處蘋果、濾除遠(yuǎn)處蘋果的要求，可適用于背景無白布的果實檢測。

4.2產(chǎn)量擬合網(wǎng)絡(luò)性能分析

采用表6中的相關(guān)參數(shù)評估產(chǎn)量擬合網(wǎng)絡(luò)的性能。相關(guān)系數(shù)R和決定系數(shù)R用于衡量預(yù)測產(chǎn)量和實際產(chǎn)量之間的相關(guān)程度，數(shù)值越大表明二者的相關(guān)性越好;均方根誤差RMSE用來衡量預(yù)測產(chǎn)量和實際產(chǎn)量之間的誤差，其值越小表明精確度越高;平均絕對誤差MAE和平均絕對百分比誤差MAPE能夠反映預(yù)測產(chǎn)量偏離實際產(chǎn)量的程度，數(shù)值越小，表明二者差別越小，擬合效果越好。在訓(xùn)練集和測試集上預(yù)測產(chǎn)量和實際產(chǎn)量的R分別為0.8979和0.8864，R分別為0.7967和0.7982，表明果實數(shù)量、邊界框面積和產(chǎn)量之間線性相關(guān)程度較高，曲線擬合較好。

對于訓(xùn)練集樣本，RMSE為1.5317 kg，MAE為1.1259 kg，MAPE為6.3372%;對于測試集樣本，RMSE為1.4021 kg，MAE為1.0253 kg，MAPE為6.2524%。

基于樣本訓(xùn)練集建立的產(chǎn)量擬合網(wǎng)絡(luò)，在測試集上的對比結(jié)果如圖13所示?？梢?，該模型可以較好地預(yù)測出果樹產(chǎn)量，對于不同產(chǎn)量樣本的預(yù)測精度基本穩(wěn)定，具有較好的魯棒性。通過測試結(jié)果可知該模型可適用于自然環(huán)境下果樹收獲前的產(chǎn)量測定。

4.3測產(chǎn)模型測試

（1）背景有白布的測產(chǎn)模型性能測試。用本研究提出的蘋果樹測產(chǎn)模型，以產(chǎn)量驗證集中背景有白布的果樹圖像作為輸入，輸出該株果樹的預(yù)測產(chǎn)量。由表7所示的相對誤差可見，測產(chǎn)模型相對誤差的絕對值取值范圍為3.05%～6.13%。在對10組數(shù)據(jù)的預(yù)測過程中，僅有第7組的誤差稍大，總體相對誤差范圍基本在7%以內(nèi)。表明提出的果樹測產(chǎn)模型對于輸入背景有白布的果樹圖像，有著較好的產(chǎn)量預(yù)測效果;可以通過果實檢測算法和產(chǎn)量擬合網(wǎng)絡(luò)的協(xié)調(diào)工作，學(xué)習(xí)到圖像數(shù)據(jù)以及產(chǎn)量數(shù)據(jù)的重要特征，輸出相應(yīng)的預(yù)測產(chǎn)量。

（2）無白布背景的測產(chǎn)模型性能測試。為驗證本研究提出的測產(chǎn)模型在自然環(huán)境下的應(yīng)用效果，選用產(chǎn)量驗證集中圖像背景無白布的數(shù)據(jù)集作為模型輸入，輸出該株果樹的預(yù)測產(chǎn)量，經(jīng)過計算后得到表8所示的相對誤差。

與背景有白布的測試結(jié)果相比，背景無白布的測產(chǎn)模型相對誤差偏大，絕對值的取值范圍為8.28%～12.71%。出現(xiàn)這一現(xiàn)象的主要原因在于背景中有其他果樹果實的干擾，產(chǎn)量擬合網(wǎng)絡(luò)在預(yù)測產(chǎn)量時會將檢測到的果實均判定為當(dāng)前果樹果實，導(dǎo)致結(jié)果出現(xiàn)一定的偏差。但是，背景果樹中僅有部分特征較多的蘋果會被識別，大部分蘋果由于距離較遠(yuǎn)，在圖像中占據(jù)的像素點較少，檢測算法不能識別，因此造成的影響不大，相對誤差總體范圍在13%以內(nèi)。上述結(jié)果表明，本研究提出的測產(chǎn)模型具有良好的精度和有效性，并且在不同背景下的測產(chǎn)魯棒性較好，可適用于自然環(huán)境下的蘋果樹產(chǎn)量測定。

5結(jié)論

本研究提出了一種蘋果樹測產(chǎn)模型，融合產(chǎn)量擬合網(wǎng)絡(luò)和改進(jìn)型YOLOv5果實檢測算法，結(jié)合數(shù)據(jù)集預(yù)處理，對模型進(jìn)行了訓(xùn)練和應(yīng)用，結(jié)論如下。

（1）通過更換深度可分離卷積和添加注意力機(jī)制模塊改進(jìn)的YOLOv5蘋果檢測網(wǎng)絡(luò)，解決網(wǎng)絡(luò)中存在的特征提取時無注意力偏好問題和參數(shù)冗余問題。以圖像數(shù)據(jù)集為輸入，得到估測果實數(shù)量以及邊界框面總積。測試結(jié)果表明，該算法可以在提高輕量化程度的同時提升準(zhǔn)確率，與改進(jìn)前相比，檢測速度最大可提升15.37%，平均mAP最高達(dá)到96.79%，在不同數(shù)據(jù)集下的測試結(jié)果表明光照條件、著色時間以及背景有無白布均對算法準(zhǔn)確率有一定影響。

（2）以估測果實數(shù)量與邊界框面積為輸入、實際產(chǎn)量為輸出，訓(xùn)練產(chǎn)量擬合網(wǎng)絡(luò)，測試結(jié)果表明，產(chǎn)量擬合網(wǎng)絡(luò)訓(xùn)練集和測試集的R分別為0.7967和0.7982，RMSE分別為1.5317和1.4021 kg，測產(chǎn)誤差較小。

（3）將果實檢測算法和產(chǎn)量擬合網(wǎng)絡(luò)融合得到最終的測產(chǎn)模型。試驗結(jié)果表明，果樹測產(chǎn)模型在背景有白布和無白布的條件下，相對誤差范圍分別在7%以內(nèi)和13%以內(nèi)，證明本研究建立的蘋果園原位測產(chǎn)模型具有較好的精度和魯棒性。如增加更多的樣本作為數(shù)據(jù)輸入，可進(jìn)一步提高目標(biāo)的識別度和測產(chǎn)的準(zhǔn)確性。

參考文獻(xiàn)：

[1]黑龍江省佳木斯農(nóng)業(yè)學(xué)校，江蘇省蘇州農(nóng)業(yè)學(xué)校.果樹栽培學(xué)總論[M].北京：中國農(nóng)業(yè)出版社，2009.

Jiamusi Agricultural. School of Heilongjiang province， Suzhou Agricultural. School of Jiangsu province. General. introduction to fruit cultivation[M]. Beijing： China Agriculture Press， 2009.

[2]王少敏，張毅，高華軍，等.蘋果套袋栽培技術(shù)[M].濟(jì)南：山東科學(xué)技術(shù)出版社，2006.

WANG S， ZHANG Y， GAO H， et al. Apple bagging cultivation technology[M]. Jinan： Shandong Science and Technology Press， 2006.

[3] PAPAGEORGIOU E I， AGGELOPOULOU K D， GEMTOS T A， et al. Yield prediction in apples using fuzzy cognitive map learning approach[J]. Computers and Electronics in Agriculture， 2013， 91： 19-29.

[4] AGGELOPOULOU A D， BOCHTIS D， FOUNTAS S，et al. Yield prediction in apple orchards based on image processing[J]. Precision Agriculture， 2011， 12（3）：448-456.

[5] ZHOU R， DAMEROW L， SUN Y， et al. Using colour features of cv.'Gala' apple fruits in an orchard in image processing to predict yield[J]. Precision Agriculture， 2012， 13（5）：568-580.

[6]程洪，DAMEROW L， BLANKE M，等.基于樹冠圖像特征的蘋果園神經(jīng)網(wǎng)絡(luò)估產(chǎn)模型[J].農(nóng)業(yè)機(jī)械學(xué)報，2015， 46（1）： 14-19.

CHENG H， DAMEROW L， BLANKE M， et al. Ann model for apple yield estimation based on feature of tree image[J]. Transactions of the CSAM， 2015， 46（1）： 14-19.

[7] CRTOMIR R， CVELBAR U， TOJNKO S， et al. Application of neural. networks and image visualization for early predicted of apple yield[J]. Erwerbs-Obstbau， 2012， 54（2）： 69-76.

[8] ROY P， KISLAY A， PLONSKI P， et al. Vision-based preharvest yield mapping for apple orchards[J]. Computers and Electronics in Agriculture， 2019， 164： ID 104897.

[9] REDMON J， DIVVALA S， GIRSHICK R， et al. You only look once： Unified， real-time objectdetection[C]//The IEEE Conference on Computer Vision and Pattern Recognition. Piscataway， New York， USA： IEEE， 2016： 779-788.

[10] REDMON J， FARHADI A. YOLO9000： Better， faster， stronger[C]// The IEEE Conference on Computer Vision and Pattern Recognition. Piscataway， New York， USA： IEEE， 2017： 7263-7271.

[11] REDMON J， FARHADI A. YOLO v3： An incremental. improvement[EB/OL]. 2018. arXiv： 1804.02767vl.

[12] BOCHKOVSKIY A， WANG C， LIAO H. YOLOv4： Optimal. speed and accuracy of object detection[EB/OL]. 2020. arXiv： 2004.10934.

[13] LIU W， ANGUELOV D， ERHAN D， et al. SSD： Single shot multibox detector[C]// European Conference on Computer Vision. Cham， Switzerland： Springer，2016： 21-37.

[14] ZHANG S， WEN L， BIAN X， et al. Single-shot refinement neural. network for object detection[C]// The IEEE Conference on Computer Vision and Pattern Reco-gnition. Piscataway， New York， USA： IEEE， 2018： 4203-4212.

[15] WANG D， ZHANG B， CAO Y， et al. SFSSD： Shallow feature fusion single shot multibox detector[C]// International. Conference in Communications， Signal. Processing， and Systems. Cham， Switzerland： Springer， 2019： 2590-2598.

[16] GIRSHICK R， DONAHUE J， DARRELL T， et al. Rich feature hierarchies for accurate object detection and semantic segmentation[C]// The IEEE Conference on Computer Vision and Pattern Recognition. Piscataway，New York， USA： IEEE， 2014： 580-587.

[17] GIRSHICK R. Fast R-CNN[C]// Proceedings of the IEEE International. Conference on Computer Vision. Piscataway， New York， USA： IEEE， 2015： 1440-1448.

[18] REN S， HE K， GIRSHICK R， et al. Faster R-CNN： Towards real-time object detection with region proposal. networks[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence， 2017， 39（6）： 1137-1149.

[19]周偉鴻，朱思霖.基于深度學(xué)習(xí)技術(shù)的智慧考場方案的應(yīng)用探究[J].信息技術(shù)與信息化，2020（12）： 224-227.

ZHOU W， ZHU S. Research on the application of smart examination room solutions based on deep learning technology[J]. Information Technology and Informatization， 2020（12）： 224-227.

[20]王洋.改進(jìn)YOLOv5的口罩和安全帽佩戴人工智能檢測識別算法[J].建筑與預(yù)算，2020（11）： 67-69.

WANG F. Artificial. intelligence detection and recognition algorithm for masks and helmets based on improved YOLOv5[J]. Construction and Budget， 2020 （11）： 67-69.

[21] WANG C Y， LIAO H Y M， YEH I H， et al. CSPNet： A new backbone that can enhance learning capability of CNN[C]// The IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops. Seattle， WA， USA： CVPRW， 2020： 390-391.

[22] LIN T Y， DOLLAR P， GIRSHICK R， et al. Feature pyramid networks for object detect-ion[C]// The IEEE Conference on Computer Vision and Pattern Recognition. Piscataway， New York， USA： IEEE， 2017： 2117- 2125.

[23] LIU S， QI L， QIN H， et al. Path aggregation network for instance segmentation[C]// The IEEE Conference on Computer Vision and Pattern Recognition. Piscataway， New York， USA： IEEE， 2018： 8759-8768.

[24]李德鑫，閆志剛，孫久運.基于無人機(jī)視覺的河道漂浮垃圾分類檢測技術(shù)研究[J/OL].金屬礦山：1-11.[2021-06-20]. http：//kns.cnki.net/kcms/detail/34.1055.TD.20210608.1117.005.html.

LI D， YAN Z， SUN J. Study on classification and detection technology of river floating garbage based on UAV vision[J/OL]. Metal. Mine： 1-11. [2021-06-20].http：//kns.cnki.net/kcms/detail/34.1055.TD.20210608.1117.005.html.

[25] SIFRE L， MALLAT S. Rigid-motion scattering for texture classification[J]. Computer Science， 2014， 3559： 501-515.

Yield Estimation Method of Apple Tree Based on Improved Lightweight YOLOv5

LI Zhijun1，2， YANG Shenghui1，2， SHI Deshuai1，2， LIU Xingxing1，2， ZHENG Yongjun1，2*

（1. College of Engineering. China Agricultural. University， Beijing 100083， China; 2. Yantai Institute of China Agricultural. University. Yantai 264670， China）

Abstract： Yield estimation of fruit tree is one of the important works in orchard management. In order to improve the accuracy of in-situ yield estimation of apple trees in orchard， a method for the yield estimation of single apple tree， which includes an improved YOLOv5 fruit detection network and a yield fitting network was proposed. The in-situ images of the apples without bags at different periods were acquired by using an unmanned aerial. vehicle and Raspberry Pi camera， formed an image sample data set. For dealing with no attention preference and the parameter redundancy in feature extraction， the YOLOv5 network was improved by two approaches： 1） replacing the depth separable convolution， and 2） adding the attention mechanism module， so that the computation cost was decreased. Based on the improvement， the quantity of fruit was estimated and the total. area of the bounding box of apples were respectively obtained as output. Then， these results were used as the input of the yield fitting network and actual. yields were applied as the output to train the yield fitting network. The final. model of fruit tree production estimation was obtained by combining the improved YOLOv5 network and the yield fitting network. Yield estimation experimental. results showed that the improved YOLOv5 fruit detection algorithm could improve the recognition accuracy and the degree of lightweight. Compared with the previous algorithm， the detection speed of the algorithm proposed in this research was increased by up to 15.37%， while the mean of average accuracy （mAP） was raised up to 96.79%. The test results based on different data sets showed that the lighting conditions， coloring time and with white cloth in background had a certain impact on the accuracy of the algorithm. In addition， the yield fitting network performed better on predicting the yield of apple trees. The coefficients of determination in the training set and test set were respectively 0.7967 and 0.7982. The prediction accuracy of different yield samples was generally stable. Meanwhile， in terms of the with/without of white cloth in background， the range of relative error of the fruit tree yield measurement model was respectively within 7% and 13%. The yield estimation method of apple tree based on improved lightweight YOLOv5 had good accuracy and effectiveness， which could achieve yield estimation of apples in the natural. environment， and would provide a technical. reference for intelligent agricultural. equipment in modem orchard environment.

Key words： apple in-situ yield estimation; deep learning; fruit detection; BP neural. network; YOLOv5

（登陸www.smartag.net.cn免費獲取電子版全文）

作者簡介：李志軍（1996—），男，碩士研究生，研究方向為智能農(nóng)業(yè)裝備。E-mail：335022969@qq.com。

*通訊作者：鄭永軍（1973—）男，博士，教授，研究方向為智能農(nóng)業(yè)裝備。電話：13810868016。E-mail：zyj@cau.edu.cn。