基于EfficientDet-D1的草莓快速檢測及分類

張小花，李浩林，李善軍，張文峰，冼鎮(zhèn)鴻

1.仲愷農(nóng)業(yè)工程學(xué)院自動(dòng)化學(xué)院，廣州 510225；2.廣東省農(nóng)產(chǎn)品冷鏈運(yùn)輸與物流工程技術(shù)研究中心，廣州 510225；3.仲愷農(nóng)業(yè)工程學(xué)院機(jī)電工程學(xué)院，廣州 510225；4.華中農(nóng)業(yè)大學(xué)工學(xué)院/國家柑橘保鮮技術(shù)研發(fā)專業(yè)中心，武漢 430070；5.粵港澳大灣區(qū)農(nóng)產(chǎn)品數(shù)字物流研究中心，廣州 510225

草莓是世界廣泛種植的漿果類果實(shí)，其采摘過程繁瑣、勞累，大大增加了人工成本。草莓自動(dòng)采摘機(jī)器人能夠應(yīng)對更加復(fù)雜的作業(yè)對象和作業(yè)環(huán)境，替代大量人工操作，并取得較好的作業(yè)效果。基于計(jì)算機(jī)視覺的草莓成熟度檢測方法為實(shí)現(xiàn)草莓的自動(dòng)化采摘提供了應(yīng)用基礎(chǔ)，是目前研究熱點(diǎn)之一。賈宗維等[1］使用改進(jìn)U-Net 網(wǎng)絡(luò)對大棚草莓進(jìn)行果實(shí)識別，其識別精度為96.05%，MIOU 值為89.41，有效解決了遮擋問題。劉小剛等[2］采用基于卷積神經(jīng)網(wǎng)絡(luò)對草莓進(jìn)行識別，識別精度達(dá)97.14%，召回率為94.46%，該方法對密集復(fù)雜場景有良好的魯棒性。許麗建[3］使用傳統(tǒng)的圖像處理方法，利用多尺度增強(qiáng)方法對圖像進(jìn)行增強(qiáng)處理，然后通過顏色差值分類方法對草莓成熟程度進(jìn)行分類，從而確定草莓成熟程度。覃磊等[4］提出了一種基于RGB顏色相似度的成熟草莓圖像分割算法（CSBASED RSIS），將每個(gè)像素點(diǎn)和提取到的草莓主顏色比和相似度進(jìn)行分割。但是由于草莓生長環(huán)境復(fù)雜，受到枝葉遮擋果實(shí)以及光線強(qiáng)度不斷變化等因素的影響，傳統(tǒng)的圖像處理方法的速度及準(zhǔn)確率已不能滿足人們的需要。蔣浩等[5］提出了基于高光譜圖像多光譜參數(shù)的草莓成熟度識別方法，通過提取草莓樣本的ROI 的平均光譜來計(jì)算8 個(gè)成熟度參數(shù)，并結(jié)合fisher 線性變換判斷不同級別得成熟度，計(jì)算平均識別正確率為95.21%。王雪光等[6］提出了基于K-Mean 聚類成熟草莓圖像分割方法，通過在Lab 彩色模式下將K均值聚類用于成熟草莓圖像的分割，然后初始化3個(gè)聚類中心進(jìn)行K 均值聚類的迭代算法計(jì)算歐式幾何最小距離來對草莓成熟度進(jìn)行識別。趙玲等[7］通過HIS顏色空間下計(jì)算草莓圖像H分量的均值和方差，然后通過建立BP 神經(jīng)網(wǎng)絡(luò)，將H 分量的均值、方差和草莓紅色著色面積之比作為網(wǎng)絡(luò)的輸入，以預(yù)測成熟度。上述方法受限于傳統(tǒng)機(jī)器視覺算法的局限性，草莓顏色特征提取需要大量人力完成，且模型參數(shù)調(diào)整復(fù)雜，模型優(yōu)化難度大，在復(fù)雜環(huán)境下魯棒性較差，且檢測效率低下。

近年來隨著人工智能技術(shù)的發(fā)展，以卷積神經(jīng)網(wǎng)絡(luò)為主干特征提取網(wǎng)絡(luò)的目標(biāo)檢測算法在圖像識別領(lǐng)域得到廣泛關(guān)注[8-9］。Zhou 等[10］利用深度學(xué)習(xí)對通過航空成像（UAV）及近地成像2 種圖片采用YOLOv3 模型對草莓花及不同階段的草莓果實(shí)成熟度的檢測，其平均精度分別為0.88 和0.89，對于完全成熟的草莓，其平均精度分別為0.93 和0.94。但其使用網(wǎng)絡(luò)層數(shù)過于復(fù)雜，占用比較龐大的計(jì)算資源，在室外草莓種植自然環(huán)境下，終端嵌入式設(shè)備無法對草莓進(jìn)行實(shí)時(shí)檢測。EfficientDet算法由Google團(tuán)隊(duì)2020 年提出，該算法推理效率高、檢測效果較好，且在嵌入式設(shè)備終端可以對目標(biāo)進(jìn)行實(shí)時(shí)高效檢測，此算法適應(yīng)不同的約束條件，同時(shí)滿足精度與效率的高要求[11］，相對于二階目標(biāo)檢測如Faster-RCNN 具有比較快速的檢測速度[12］，而相對于其他一階目標(biāo)檢測如YOLO 系列，具有更高的精度[13］。EfficientDet 算法已在小麥麥穗[14］、蘋果花[15］的識別上得到了應(yīng)用，目前鮮見其在果實(shí)識別相關(guān)方面的研究。本研究提出以EfficientNet 輕量級網(wǎng)絡(luò)為基礎(chǔ)的EfficientDet 算法，考察其在草莓快速識別檢測方面的效果，旨在為實(shí)現(xiàn)應(yīng)用農(nóng)業(yè)機(jī)器人對成熟草莓快速檢測和采摘提供參考。

1 材料與方法

1.1 圖像采集與數(shù)據(jù)集構(gòu)建

本試驗(yàn)所采集的數(shù)據(jù)來自廣東省廣州市從化區(qū)某大型草莓種植園，其采用大棚地壟式種植方式。該草莓園地理位置經(jīng)緯度為東經(jīng)113°55′，北緯23°64′，采樣當(dāng)天天氣晴。試驗(yàn)使用的圖像采集設(shè)備為華為榮耀9X 手機(jī)后置攝像頭。試驗(yàn)將已掛果的草莓植株作為采集對象，其中成熟草莓為新鮮紅色，未成熟的草莓為綠色或者粉色。試驗(yàn)共采集了自然環(huán)境中的草莓圖像636 張，為提高數(shù)據(jù)集的容量，使用Python 腳本從網(wǎng)上隨機(jī)爬取各類草莓圖像1 000 張，總數(shù)共計(jì)1 636 張?jiān)紙D像，成熟草莓樣本為594 張，未成熟草莓樣本為1 042 張，按8∶1∶1 劃分為訓(xùn)練集（1 309）、驗(yàn)證集（162）、測試集（165），如表1所示。本試驗(yàn)使用的標(biāo)記工具為LabelImg 圖像處理軟件，并通過人工手動(dòng)對草莓位置進(jìn)行標(biāo)記。將識別數(shù)據(jù)分為成熟草莓和未成熟草莓2種類別，得到包含圖片基本信息的XML文件。

表1 草莓樣本數(shù)分布情況Table 1 Distribution of strawberry samples

1.2 數(shù)據(jù)增強(qiáng)

為提高EfficientNet 網(wǎng)絡(luò)模型的泛化力和魯棒性，本研究采用訓(xùn)練線上數(shù)據(jù)增強(qiáng)方法增加草莓樣本數(shù)量，為提高網(wǎng)絡(luò)模型泛化能力和魯棒性，避免網(wǎng)絡(luò)因訓(xùn)練樣本不足導(dǎo)致過擬合。采用90°、?180°、45°翻轉(zhuǎn)和使用銳化來模擬自然環(huán)境下光線差異進(jìn)行圖像增強(qiáng)，如圖1所示。圖像銳化過程使用高通濾波方法，如公式（1）。

其中，g(μ，ν)為銳化后結(jié)果，F(xiàn)(x，y)表示原圖像，H(μ?x+1，ν?y+1)表示沖激響應(yīng)。

圖1 中銳化1 的沖激響應(yīng)陣列kernele，銳化2 的沖激響應(yīng)陣列kernelf，如式（2）~（3）。

圖1 數(shù)據(jù)增強(qiáng)方法Fig.1 Data augmentation method

1.3 EfficientDet算法分析

EfficientDet 屬于一階目標(biāo)檢測算法，系統(tǒng)地研究了目標(biāo)檢測神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的設(shè)計(jì)選擇，并提出了幾個(gè)關(guān)鍵的優(yōu)化以提高效率。首先提出了1 種加權(quán)雙向特征金字塔網(wǎng)絡(luò)（BiFPN），該網(wǎng)絡(luò)能夠簡單快速地融合多尺度特征；其次提出了1 種復(fù)合縮放方法，該方法可以同時(shí)對所有主干網(wǎng)絡(luò)、特征網(wǎng)絡(luò)和預(yù)測網(wǎng)絡(luò)的分辨率、深度和寬度進(jìn)行統(tǒng)一縮放。Effi?cientDet 的主干特征提取網(wǎng)絡(luò)是EfficientNet，特征融合網(wǎng)絡(luò)采用了BiFPN網(wǎng)絡(luò)。

1.4 EfficientNet網(wǎng)絡(luò)分析

EfficientDet 的主干網(wǎng)絡(luò)EfficientNet，如圖2 所示，其核心思想是尋找兼顧速度與精度的模型縮放方法，利用殘差神經(jīng)網(wǎng)絡(luò)增大網(wǎng)絡(luò)的深度，獲得更深層語義信息。

圖2 EfficientDet主干特征提取網(wǎng)絡(luò)Fig.2 EfficientDet backbone feature extraction network

EfficientNet 是由16 個(gè)移動(dòng)翻轉(zhuǎn)瓶頸卷積（MB?Conv）、2 個(gè)Conv、1 個(gè)全局平均池化（Global Average Pooling）和1 個(gè)全連接層（Full Connect）組成。其創(chuàng)新性提出組合縮放系數(shù)，用單一的組合縮放系數(shù)?，同時(shí)縮放寬度w、深度d和圖片分辨率r，其縮放基數(shù)分別為α，β，γ，如公式（4）所示。

首先，將圖像輸入EfficientNet 主干特征提取網(wǎng)絡(luò)，通過7 次下采樣得到不同深度的語義信息，分別獲得P1~P7 層，其中｛P3，P4，P5，P6，P7｝具有較深的語義信息，然后將其輸入進(jìn)BiFPN網(wǎng)絡(luò)里進(jìn)行上采樣。

多尺度特征融合的目標(biāo)是聚合不同分辨率的特征，F(xiàn)PN（featurized image pyramids，特征金字塔網(wǎng)絡(luò)）能解決目標(biāo)檢測在物體大小差異十分明顯的問題[16］。FPN 引入自頂向下的路徑來融合從3 級到7級的多尺度特征；PANet（path aggregation network，路徑集合網(wǎng)絡(luò)）在FPN 頂部增加1 個(gè)額外的自底向上通路[17］；BiFPN 為EfficientDet 目標(biāo)檢測模型的加強(qiáng)特征提取網(wǎng)絡(luò)，基于PANet網(wǎng)絡(luò)改進(jìn)而來，其特點(diǎn)是具有更好的準(zhǔn)確性和效率權(quán)衡。BiFPN 使用雙向交叉尺度連接（Cross-Scale Connections），刪去連接P7_in 與P3_in 中間節(jié)點(diǎn)，將每個(gè)雙向（自頂向下和自下而上）路徑視為1 個(gè)特征網(wǎng)絡(luò)層，并多次重復(fù)同一層以實(shí)現(xiàn)更高級別的特征融合（圖3）。

圖3 加強(qiáng)特征提取網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 Strengthen feature extraction network structure

在BiFPN 網(wǎng)絡(luò)結(jié)構(gòu)添加了快速歸一化特征加權(quán)融合（fast normalized fusion），其公式如式（5）所示，在提取草莓圖片多通道深層語義特征效率更高，對草莓顏色特征進(jìn)行提取更加有效。

其中，wi是可學(xué)習(xí)權(quán)重，可以是標(biāo)量（每個(gè)特征）、向量（每個(gè)通道）或多維張量（每個(gè)像素）。Ini為第i層輸入圖像，?為常數(shù)，一般取0.000 1。每個(gè)規(guī)格化權(quán)重的值也在0 和1 之間。經(jīng)過EfficientNet 采樣得出｛P3_in，P4_in，P5_in，P6_in，P7_in｝5 層深度語義信息，然后輸入BiFPN 網(wǎng)絡(luò)，通過交叉尺度連接和快速歸一化 融合后得到｛P3_out，P4_out，P5_out，P6_out，P7_out｝，Conv 是用于特征處理的卷積操作，Pi_in為自上而下路徑第i層輸入特征，Pi_td為自上而下路徑第i層中間特征，Pi_out 是自上而下路徑第i層輸出特征,如公式(6)所示。

1.5 試驗(yàn)方法

1）試驗(yàn)環(huán)境平臺(tái)。操作系統(tǒng)：Windows 10 專業(yè)版64 位操作系統(tǒng)；CPU：Intel Xeon Silver 4210×2，10 核20 線程，最大睿頻2.82 GHz；GPU 為GeForece RTX 3090，顯存24 GB；內(nèi)存64 GB；深度學(xué)習(xí)框架：PyTorch 1.9，進(jìn)行網(wǎng)絡(luò)搭建、訓(xùn)練、驗(yàn)證和測試。

2）步驟。首先將采集到的原始草莓圖像進(jìn)行預(yù)處理，并逐一標(biāo)記圖像中草莓的位置。然后以標(biāo)記圖像作為輸入，對EfficientDet 系列模型以及兩類目標(biāo)檢測中的經(jīng)典算法YOLO 系列的v3 和v4 以及Faster-RCNN 進(jìn)行訓(xùn)練，得到各自算法的草莓識別模型。最后進(jìn)行對比分析，其具體對比思路為：Effi?cientDet 算法內(nèi)部進(jìn)行性能分析與比較，同時(shí)算法外部 對 比EfficientDet、YOLO 和Faster-RCNN 3 種 模型的識別結(jié)果，最終得出試驗(yàn)結(jié)論（圖4）。

圖4 試驗(yàn)整體流程Fig.4 The overall flow of experiment

1.6 模型訓(xùn)練

本研究采用了遷移學(xué)習(xí)的思想，預(yù)測權(quán)重使用官方權(quán)重，根據(jù)EfficientDet 的不同版本，圖片輸入尺寸分 別 為（512，512）、（640，640）、（768，768）、（896，896）、（1 024，1 024）、（1 280，1 280）、（1 408，1 408）、（1 536，1 536）。先將圖片轉(zhuǎn)換為RGB 圖像，防止灰度圖在預(yù)測時(shí)候報(bào)錯(cuò)，訓(xùn)練時(shí)候?qū)W習(xí)率選取0.001，2次訓(xùn)練所使用的優(yōu)化器為Adam，權(quán)重衰退為0.000 5，損失函數(shù)由兩部分組成，分別是Focal Loss 和Smooth Loss。在訓(xùn)練過程中，分為兩部分的訓(xùn)練迭代，每部分的迭代次數(shù)是50 次，共100 次。訓(xùn)練完第1 個(gè)迭代次數(shù)后，進(jìn)行凍結(jié)訓(xùn)練，凍結(jié)前一部分的權(quán)重，把算力資源放在第2迭代部分訓(xùn)練。本研究使用EfficientDet 模型可以直接對草莓測試集原圖進(jìn)行輸入訓(xùn)練。

1.7 評價(jià)指標(biāo)

由于EfficientDet 的模型參數(shù)量隨版本數(shù)增加而增多，所需要顯卡顯存越大，導(dǎo)致訓(xùn)練難度越來越大。本研究對EfficientDet-D0 和EfficientDet-D1 進(jìn)行內(nèi)部對比試驗(yàn)，從而選取符合機(jī)器人采摘精度與速度的最佳版本。為了對比度高，本研究選擇YO?LOv3、YOLOv4、Faster-RCNN 與已選最佳版本進(jìn)行對比，并選用了平均精度（avearge precision，PA）、平均精度均值（mean avearge precision，PmA）、召回率（recall，R）、對數(shù)平均誤測率（LAMR）、損失率（loss rate）對所有試驗(yàn)算法進(jìn)行評估[14］，進(jìn)行評估前需要定義以下的參數(shù)。

TP（true positive）：正確檢驗(yàn)框，表示已標(biāo)定的預(yù)測框與標(biāo)簽框匹配。FP（false positive）：誤檢框，表示將背景預(yù)測成為物體的框。FN（false negative）：漏檢框，表示原本需要檢測到物體的框，沒有檢測出來。TN（ture negative）：正確背景，表示本身是背景，然后模型也沒有檢測出來。目標(biāo)檢測常見的評價(jià)指標(biāo)包括正確率（precision，P）、召回率（R）、平均精度（PA）、平均精度均值（PmA）及F1分?jǐn)?shù)，公式如下：

公式（7）~（11）中，GTs表示標(biāo)簽值，物體的類別與邊框位置的4 個(gè)真值，total（GTs）表示所有數(shù)據(jù)的標(biāo)簽總數(shù)。k是類別標(biāo)簽數(shù)值，如試驗(yàn)中分為成熟草莓和未成熟草莓2 種標(biāo)簽值。F1分?jǐn)?shù)是分類問題中的重要指標(biāo)，是精度和召回率的調(diào)和平均數(shù)。

2 結(jié)果與分析

嵌入式設(shè)備主要以CPU 進(jìn)行計(jì)算，處理器多以intel 至強(qiáng)、ARM 為平臺(tái)。本試驗(yàn)為模擬嵌入式終端設(shè)備推斷硬件環(huán)境，選用Intel Xeon CPU，模型通過GPU 訓(xùn)練完得到模型權(quán)重，再通過CPU 進(jìn)行推斷計(jì)算，經(jīng)過對比試驗(yàn)后，得出5 種算法的各評價(jià)指標(biāo)以及識別草莓圖片時(shí)間。選取了EfficientDet-D0和Ef?ficientDet-D1 版本，與YOLOv3、YOLOv4 及Faster-RCNN 進(jìn)行對比。將165 張測試集圖片逐張輸入至不同算法進(jìn)行檢測時(shí)間測試，每種算法都使用相同的測試集，記錄每張圖片平均檢測時(shí)間。將在同一算法下所有圖片的檢測相加再除以165 得每種算法的平均檢測時(shí)間。試驗(yàn)結(jié)果顯示，F(xiàn)aster-RCNN 的平均預(yù)測時(shí)間為23.4 s，YOLOv3、YOLOv4 的平均預(yù)測時(shí)間分別為2.23、1.22 s，EfficientDet-D0 和Effi?cientDet-D1檢測時(shí)間分別為0.32、0.34 s。由于Fast?er-RCNN 是二階目標(biāo)檢測，速度遠(yuǎn)遠(yuǎn)低于一階目標(biāo)檢測。EfficientDet、YOLO 系列是一階目標(biāo)檢測，對比之下，EfficientDet 具有更大優(yōu)勢，YOLOv3 與YO?LOv4 的檢測速度相比，YOLOv4速度比YOLOv3快1.01 s，但是相對于EfficientDet-D0慢約10%，而Effi?cientDet-D1 檢查平均時(shí)間比EfficientDet-D0 快0.02 s。在相同CPU 實(shí)驗(yàn)平臺(tái)上，EfficientDet 的D0、D1兩個(gè)版本相對于YOLO 的v3、v4 檢測速度更快，而Faster-RCNN不能滿足移動(dòng)端實(shí)時(shí)檢測需求。

不同算法對成熟和未成熟的草莓檢測效果如圖5 所示。從圖5 可知，EfficientDet 在檢測成熟草莓和未成熟草莓時(shí)，正確得分率均高于其余3 種算法，在相同光照背景復(fù)雜度情況下，EfficientDet 的對數(shù)平均誤測率（LAMR）均小于1%。EfficientDet 處理目標(biāo)遮擋和非目標(biāo)遮擋效果高于YOLOv3、YOLOv4、Faster-RCNN。在成熟草莓檢測中，F(xiàn)aster-RCNN、YOLOv3、YOLOv4 3種算法對目標(biāo)果實(shí)包裹框不完整，而且交并比（IoU）明顯低于EfficientDet系列。在未成熟草莓檢測過程中，這4 種算法的交并比（IoU）高于成熟草莓檢測時(shí)。而YOLOv4 在混合草莓檢測與未成熟草莓檢測中均存在漏檢現(xiàn)象，可見YO?LOv4 在多目標(biāo)復(fù)雜背景下檢測效果并不理想。總體來看，EfficientDet檢測效果高于其余3種算法。

圖5 5種檢測算法效果圖Fig.5 Effect diagram of five detection algorithms

表2 為成熟草莓算法檢測性能結(jié)果，由表2 可知，EfficientDet-D1 除了召回率低于Faster-RCNN外，各項(xiàng)評價(jià)指標(biāo)均優(yōu)于其他算法，其次是Efficient?Det-D0，且二階目標(biāo)檢測算法Faster-RCNN 各項(xiàng)指標(biāo)參數(shù)均高于一階目標(biāo)檢測算法YOLO系列。

表2 成熟草莓檢測的不同算法各項(xiàng)評價(jià)指標(biāo)對比Table 2 Comparison of evaluation indicators of different algorithms for the detection of ripe strawberries %

未成熟草莓算法檢測性能結(jié)果（表3）顯示，不同算法檢測未成熟草莓的目標(biāo)檢測算法評價(jià)指標(biāo)均高于其檢測成熟草莓算法的評價(jià)指標(biāo)。經(jīng)試驗(yàn)得到Ef?ficientDet-D1 的PA和F1達(dá)100%，在5 種 算 法 中 最高，其次是EfficientDet-D0。二階目標(biāo)檢測算法Faster-RCNN 評價(jià)指標(biāo)仍高于YOLO 系列，YO?LOv4 在檢測未成熟草莓時(shí)其PA值低于檢測成熟草莓的PA值。試驗(yàn)結(jié)果顯示5 種算法的PmA，以EfficientDet-D1 最高，達(dá)97.50%，其次是Efficient?Det-D0，達(dá)96.71%，YOLOv3 的PmA為89.51%，F(xiàn)aster-RCNN 為 96.71%，YOLOv4 的PmA為69.02%，在成熟草莓檢測中YOLOv4 的PmA在5 種算法中最低。

表3 未成熟草莓檢測的不同算法各項(xiàng)評價(jià)指標(biāo)對比Table 3 Comparison of evaluation indicators of different algorithms for the detection of unripe strawberries %

3 討 論

針對自然環(huán)境下成熟草莓快速識別，本研究將YOLOv3、YOLOv4、Faster-RCNN 3 種目標(biāo)檢測算法與EfficientDet 算法進(jìn)行比較，結(jié)果表明，YO?LOv3、YOLOv4、Faster-RCNN 的 平 均 精 度 均 值（PmA）分別為89.51%、56.573%、96.54%。Efficient?Det-D0 的PmA為96.71%，EfficientDet-D1 的PmA為97.5%。且在視頻測試中，EfficientDet-D1 平均視頻幀數(shù)為23.4 幀/s，EfficientDet-D0 平均視頻幀數(shù)為22.3 幀/s，比Faster-RCNN 高出1.4%，基本與YO?LOv3和v4視頻測試幀數(shù)持平，符合視頻實(shí)時(shí)檢測需求。進(jìn)行圖片測試時(shí)，平均預(yù)測時(shí)間用時(shí)最短的是EfficientDet，平均用時(shí)0.23 s，其次是YOLOv3、YO?LOv4 和Faster-RCNN。經(jīng)過性能測試比較，均高于其他算法，適合于草莓快速檢測及分類。

EfficientDet 采用輕量主干網(wǎng)絡(luò)EfficientNet，YOLOv3 和YOLOv4 采 用DarkNet，F(xiàn)aster-RCNN采用VGG16 主干網(wǎng)絡(luò)，網(wǎng)絡(luò)參數(shù)量龐大，浮點(diǎn)運(yùn)算率占用大，其余3 種算法不適宜于嵌入式邊緣端檢測。本研究提出以EfficientDet-D1 草莓快速檢測及分類算法，解決了傳統(tǒng)目標(biāo)檢測成熟草莓算法檢測精度低和魯棒性差的問題，滿足嵌入式草莓分揀系統(tǒng)的視覺要求，此外也可以為其他水果分揀系統(tǒng)提供檢測思路。