采用輕量級網(wǎng)絡(luò)MobileNetV2的釀酒葡萄檢測模型

李國進，黃曉潔，李修華，艾矯燕

（廣西大學電氣工程學院，南寧 530004）

0 引 言

采收是水果產(chǎn)業(yè)中的一個重要環(huán)節(jié)，但目前中國的果實采摘作業(yè)基本依靠人工完成，需要耗費大量的勞動力，造成果園生產(chǎn)成本較高[1]。要實現(xiàn)水果采摘作業(yè)自動化，首要解決的問題是對果實目標快速、精確識別與定位。高效的果實目標檢測方法是實現(xiàn)果實產(chǎn)量估計、精準農(nóng)業(yè)和自動化采摘的關(guān)鍵技術(shù)之一。基于傳統(tǒng)機器學習或當代深度學習的果實檢測模型很少充分考慮到目標檢測的實時性，不能很好地滿足葡萄采摘機器人快速識別與定位葡萄果實的需求。因此，利用計算機視覺快速、準確地檢測果園場景下的葡萄，研發(fā)葡萄采摘機器人具有較大的應(yīng)用價值與重要的現(xiàn)實意義。

近年來，國內(nèi)外許多研究者提出了不同的目標識別與定位算法，完成對果園場景下的葡萄檢測任務(wù)[2-6]。馬本學等[7]運用不同顏色空間、閾值分割法及形態(tài)學運算識別不同顏色和光照強度下的葡萄，在晴天順光、晴天逆光與夜間3種條件下，綠色葡萄的識別率分別為93.3%、86.7%和96.7%，紫色葡萄的識別率分別為90.0%、83.3%和96.7%，但該方法未考慮到陰雨天氣條件下的葡萄識別。Rodrigo等[8]采用定向梯度直方圖作為形狀描述子，利用局部二進制模式獲取紋理信息，最后通過支持向量分類器對葡萄進行分類，葡萄檢測的準確率為88.61%，召回率為80.34%，但該方法的泛化性不高。羅陸鋒等[9]提出一種基于改進K-means聚類圖像分割、輪廓分析與幾何約束建模相結(jié)合的雙串疊貼葡萄目標識別算法，對疊貼葡萄識別的成功率達88.89%，算法處理每張圖像的時間在0.59～0.68 s之間，識別速度較慢。Thiago等[10]采用掩碼區(qū)域卷積神經(jīng)網(wǎng)絡(luò)（Mask Regions with Convolutional Neural Network，Mask R-CNN）算法完成對田間葡萄的實例分割，在交并比（Intersection over Union，IoU）閾值為0.5的條件下，獲得的F1分數(shù)為0.847，但該算法要求對數(shù)據(jù)集圖像中的葡萄以像素點為單位進行標注，標注工作十分耗時，且實時性一般。此外，基于深度學習的其他各類果實的目標檢測算法依次被提出[11-13]。Tian等[14]采用密集網(wǎng)絡(luò)改進YOLOv3算法的低分辨率特征提取卷積層，用于檢測不同生長階段的蘋果，獲得的F1分數(shù)為81.7%，每幅圖像的平均檢測時間為0.304 s，檢測速度較低。閆建偉等[15]將Faster R-CNN算法中的感興趣區(qū)域池化改進為感興趣區(qū)域校準的區(qū)域特征聚集方式，算法對11類刺梨果實檢測的F1分數(shù)為87.50%～94.99%，平均速度為0.2 s/幅，未達到實時檢測速度。

上述果實檢測方法未能很好地平衡檢測精度與速度，因而適用性不強。為了保證檢測方法具有較高精度的同時，還具備更高的實時檢測速度，實現(xiàn)葡萄果實高效的機器采摘，本研究提出了基于輕量級網(wǎng)絡(luò)MobileNetV2的釀酒葡萄檢測模型，該模型對YOLOv3算法的骨干網(wǎng)絡(luò)、多尺度檢測模塊和YOLO損失函數(shù)進行改進，在檢測葡萄的速度和精度上擁有較高的性價比，可應(yīng)用于田間釀酒葡萄果實機器采摘的快速視覺檢測。

1 材料與方法

1.1 葡萄圖像數(shù)據(jù)集

本研究采用公開的田間釀酒葡萄實例分割數(shù)據(jù)集（Wine Grape Instance Segmentation Dataset，WGISD）[16]作為試驗對象。該數(shù)據(jù)集由300幅葡萄圖像和300個用矩形框標注了4 432串葡萄的標注文件構(gòu)成。其圖像拍攝于2017年4月27日和2018年4月27日，在巴西圣保羅的瓜斯帕里酒莊內(nèi)的葡萄園采集。葡萄品種分別為霞多麗、品麗珠、赤霞珠、長相思和席拉。使用Canon EOS REBEL T3i DSLR型相機（日本）和Motorola Z2 Play型智能手機（巴西）距離葡萄1～2 m進行拍攝，前者拍攝了240幅包含5個品種的分辨率為2 048×1 365像素的葡萄圖像，后者拍攝了60幅只包含除了席拉以外4種類別的葡萄圖像，分辨率為2 048×1 536像素。WGISD數(shù)據(jù)集的基本信息如表1所示。部分葡萄數(shù)據(jù)集圖像如圖1所示，其中包含了不同天氣條件下和不同顏色的葡萄。

表1 葡萄數(shù)據(jù)集基本信息Table 1 General information about the grape dataset

1.2 輕量化葡萄檢測網(wǎng)絡(luò)構(gòu)建

對于果實類的目標檢測算法，應(yīng)綜合考慮算法檢測目標的準確性和實時性，以滿足采摘機器人進行高效采摘作業(yè)的需求。為了更加快速、準確地檢測出田間的葡萄，實現(xiàn)葡萄果實高效的機器采摘，降低人工采摘作業(yè)造成的高成本，本研究提出WGDM葡萄檢測模型。該模型首先采用在圖像識別上具有模型小、速度快和精度高的輕量級網(wǎng)絡(luò)MobileNetV2[17]作為骨干網(wǎng)絡(luò)進行特征提取，在基本不影響檢測精度的同時可大幅度提高檢測速度、減小目標檢測模型和浮點運算量，并參照Res2Net[18]和文獻[19-20]提出的損失函數(shù)的思想分別對多尺度檢測模塊和損失函數(shù)進行改進，進一步提高目標檢測的準確性。

1.2.1 骨干網(wǎng)絡(luò)的選擇

本研究采用MobileNetV2網(wǎng)絡(luò)作為改進的骨干網(wǎng)絡(luò)，完成對葡萄圖像的目標特征快速提取任務(wù)。MobileNetV2網(wǎng)絡(luò)是基于MobileNetV1網(wǎng)絡(luò)[21]的改進，其繼續(xù)沿用了MobileNetV1網(wǎng)絡(luò)中的深度可分離卷積（Depthwise Separable Convolutions，DSC），并引入包含線性瓶頸塊的倒殘差模塊，有效提高了應(yīng)用在移動端的圖像分類和檢測任務(wù)的精度。

深度可分離卷積由深度卷積（Depthwise Convolution，DWConv）操作和逐點卷積（Pointwise Convolution，PWConv）操作組成。前者是在輸入的每個通道維度上執(zhí)行單個卷積核大小為3×3的卷積操作，后者通過執(zhí)行卷積核大小為1×1的標準卷積操作組合所有輸入通道維度上的特征而構(gòu)建改進的特征。標準卷積的計算量與DSC相差k2倍（k為卷積核大?。obileNetV2網(wǎng)絡(luò)使用k=3（即3×3 DSC），因此在不犧牲精度的條件下，其計算量僅為標準卷積的1/9～1/8。

對低維度卷積層做修正線性單元（Rectified Linear Unit，ReLU）激活函數(shù)運算，很容易造成特征信息的丟失；而在高維度卷積層進行ReLU激活函數(shù)運算，可以減少信息的丟失。因此，MobileNetV2網(wǎng)絡(luò)在瓶頸塊的低維度卷積層中不使用激活函數(shù)，即采用線性瓶頸層，在其他層采用MobileNetV1網(wǎng)絡(luò)中提出的更適合量化網(wǎng)絡(luò)的ReLU6激活函數(shù)，防止非線性層破壞太多的特征信息。

MobileNetV2網(wǎng)絡(luò)的瓶頸塊結(jié)構(gòu)如圖2所示，其中的倒殘差模塊主要用于促進多層特征信息的有效傳遞，增強網(wǎng)絡(luò)的特征提取能力。倒殘差模塊的輸入首先經(jīng)過卷積核大小為1×1的卷積進行通道擴張，然后使用卷積核大小為3×3的深度卷積提取特征，最后通過線性瓶頸層中卷積核大小為1×1的逐點卷積，將通道維度進行壓縮。當MobileNetV2網(wǎng)絡(luò)中使用的瓶頸塊數(shù)＞1時，瓶頸塊中包含倒殘差模塊，否則不含倒殘差模塊。

MobileNetV2網(wǎng)絡(luò)的具體參數(shù)如表2所示。其中，步長在瓶頸塊中指第一個深度卷積層使用的步長，其他未定義情況下使用的步長為1。

?

1.2.2 多尺度檢測模塊改進

為了更有效地進一步提取小目標的葡萄特征，本研究借鑒Res2Net模塊的思想[18]，并將Res2Net模塊的快捷連接修改為串聯(lián)拼接，以獲取更多的葡萄特征，由此得到的M-Res2Net模塊用于替換多尺度檢測模塊中的部分卷積層，加強網(wǎng)絡(luò)的多尺度特征提取能力，從而提高小目標識別的精度。Res2Net模塊、M-Res2Net模塊分別如圖3a、3b所示，其中Conv1×1的通道維度為C，Conv3×3的通道維度為C/4。在M-Res2Net模塊中，輸入特征圖X0經(jīng)過Conv1×1操作后被分為通道維度（即特征圖個數(shù)）相等的4組特征圖X1、X2、X3和X4；X1輸入到Conv3×3操作進行特征提取得到特征圖Y1，而Y1和X2同時輸入到另一個Conv3×3操作后輸出特征圖Y2；以此類推，可得到特征圖Y3；最后將特征圖Y1、Y2、Y3、Y4（即X4）和輸入X0進行串聯(lián)拼接后輸出。M-Res2Net模塊的輸出特征圖Y含有2C個特征圖，特征圖個數(shù)是Res2Net模塊輸出的2倍，因而特征信息更豐富。

1.2.3 定位損失函數(shù)改進

由于目標檢測任務(wù)需要解決目標的分類和定位問題，所以在網(wǎng)絡(luò)的訓練過程中，必須平衡分類損失和定位損失。針對WGDM模型訓練中出現(xiàn)定位損失函數(shù)相對分類損失函數(shù)較大并且定位不準確的問題，在YOLO損失函數(shù)[22]中，采用平衡損失函數(shù)[19]作為改進的定位損失函數(shù)，在分類和定位之間實現(xiàn)更加平衡的訓練，從而提高目標定位的準確性。平衡損失函數(shù)Lbl1定義如式（1）所示：

式中x為預測邊界框坐標與真實標記邊界框坐標的差值。

為縮小模型性能在訓練與測試階段產(chǎn)生的差距，在定位損失函數(shù)中除了使用平衡損失外，增加IoU損失函數(shù)，促進模型檢測準確率的提升。IoU、IoU損失函數(shù)LIoU和改進的定位損失函數(shù)LNloc定義如式（2）～（4）所示：

式中b1和b2分別為用于定位目標的2個矩形邊界框。

1.2.4 WGDM網(wǎng)絡(luò)結(jié)構(gòu)

WGDM網(wǎng)絡(luò)將YOLOv3算法[23]中的DarkNet53網(wǎng)絡(luò)替換為MobileNetV2網(wǎng)絡(luò)，并在多尺度檢測模塊中，將3組卷積核大小為1×1、3×3的卷積層改為M-Res2Net模塊。原始的YOLOv3網(wǎng)絡(luò)結(jié)構(gòu)和本研究提出的WGDM網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。在WGDM網(wǎng)絡(luò)中，輸入圖像經(jīng)過MobileNetV2網(wǎng)絡(luò)進行特征提取后，輸出32個分辨率為76×76像素、96個分辨率為38×38像素和320個分辨率為19×19像素3種尺度的特征圖；在改進的多尺度檢測模塊中通過3組M-Res2Net模塊、一系列Conv1×1、Conv3×3操作、2倍上采樣和串聯(lián)拼接等操作，實現(xiàn)相鄰尺度的特征融合和多尺度預測。

YOLO檢測過程包括模型訓練和測試階段。在訓練階段，WGDM模型將網(wǎng)絡(luò)輸出的預測框信息與輸入的真實標記框信息建立損失函數(shù)，并通過訓練極小化損失函數(shù)。在測試階段，模型對輸入的每張測試集圖像進行預測，輸出包含目標類別和位置的預測框信息，完成對田間葡萄的目標識別與定位任務(wù)。

1.3 試驗平臺與模型參數(shù)設(shè)置

本試驗采用Python 3.7.4環(huán)境下的PaddlePaddle 1.8.4深度學習開發(fā)框架，計算機配置為Intel Xeon(R) Gold 6271C CPU、英偉達Tesla V100顯卡、2.6 GHz主頻和32 GB內(nèi)存。使用的操作系統(tǒng)為Ubuntu16.04.10，NVIDIA 418.67驅(qū)動，CUDA 10.1版本。

在模型訓練階段，使用的9個錨框大小分別為25×29、33×41、29×59、53×47、41×65、42×87、59×79、55×117和80×140像素，設(shè)定網(wǎng)絡(luò)中的動量優(yōu)化器的動量大小為0.9，衰減系數(shù)為0.000 5，訓練迭代次數(shù)為9 000次，初始學習率為0.001，使用余弦學習率策略更新學習率，目標類別數(shù)為1，每個迭代訓練輸入的樣本數(shù)（即批次大?。?6，并從多尺度集{320，352……608}中隨機選擇一個尺度作為輸入圖像的大小進行訓練。在測試階段，輸入圖像的分辨率為608×608像素，批次大小為8，IoU閾值為0.5，類別分數(shù)閾值為0.133。

1.4 模型評價指標

本試驗采用目標檢測中常用的F1分數(shù)[24]、平均精度（Average Precision，AP）、浮點運算量[25]（Floating-point operations，F(xiàn)LOPs）、每幅圖像的平均檢測時間和網(wǎng)絡(luò)結(jié)構(gòu)大小作為模型的評價指標。其中，F(xiàn)1分數(shù)為平衡準確率（Precision，P，正確預測框在所有預測框中所占的比例）與召回率（Recall，R，正確預測框在所有真實標記框中所占的比例）的度量函數(shù)。準確率P、召回率R和F1分數(shù)的計算如式（5）～（7）所示：

式中TP表示模型預測正確的預測框數(shù)量；PT表示所有預測框數(shù)量；GT表示所有真實標記框數(shù)量。

AP的計算方式與準確率和召回率有關(guān)。根據(jù)每一個不同的R值（包括0和1），選取其大于或等于該R值時所對應(yīng)的最大P值，得到P-R曲線，然后通過式（8）近似計算P-R曲線下的面積作為AP值[26]。

式中N表示數(shù)值不相等的召回率個數(shù)；Ri表示第i個召回率。

2 結(jié)果與分析

2.1 WGDM葡萄檢測消融研究試驗結(jié)果

消融研究試驗是為驗證各種改進策略對目標檢測模型產(chǎn)生的有效性而采取的一系列試驗。為展示模型采用每個改進方法的有效性，本研究以遞增的方式利用測試集的58幅葡萄圖像進行驗證，結(jié)果如表3所示。其中，模型A表示原始YOLOv3算法；模型B表示在原始YOLOv3算法中采用輕量級網(wǎng)絡(luò)MobileNetV2替換DarkNet53網(wǎng)絡(luò)作為骨干網(wǎng)絡(luò)；模型C表示在方法B的基礎(chǔ)上，在多尺度檢測模塊中采用了Res2Net模塊；模型D表示在模型B的基礎(chǔ)上，在YOLOv3算法的多尺度檢測模塊中采用了M-Res2Net模塊；本研究提出的WGDM模型在模型D的基礎(chǔ)上，采用平衡損失和IoU損失函數(shù)作為改進的定位損失函數(shù)。與模型A相比，模型B雖然檢測葡萄的F1分數(shù)降低了0.006 3，但是平均精度提高了0.73個百分點，浮點運算量和網(wǎng)絡(luò)結(jié)構(gòu)分別為模型A的27.34%和36.60%，平均檢測一幅葡萄圖像的時間反為模型A的48.15%。模型C模型的浮點運算量、網(wǎng)絡(luò)結(jié)構(gòu)、平均檢測時間達到了最小，分別為9.55×109、41 MB和6.06 ms，但平均精度與模型A、B相差較大；模型D通過采用本研究提出的M-Res2Net模塊獲取更多的葡萄特征，與模型C相比，雖然浮點運算量和網(wǎng)絡(luò)結(jié)構(gòu)大小分別增加了5.9×108和3 MB，但F1分數(shù)和平均精度分別提高了0.010 7和2.57個百分點。本研究提出的WGDM模型浮點運算量和網(wǎng)絡(luò)結(jié)構(gòu)較小，平均精度僅比方法D低了0.42個百分點，而召回率和F1分數(shù)達到最高，分別為84.82%和0.856 3，表明其更好地平衡了檢測精度、浮點運算量、網(wǎng)絡(luò)結(jié)構(gòu)大小和檢測速度。

表3 不同模型消融研究試驗結(jié)果Table 3 Ablation study of different models

2.2 不同模型檢測葡萄結(jié)果

在測試階段，采用本研究提出的WGDM模型利用葡萄測試集的圖像進行測試，其中檢測葡萄目標的可視化過程如圖5所示，不同自然場景葡萄串檢測的部分結(jié)果如圖6所示。由圖5可知，MobileNetV2網(wǎng)絡(luò)對輸入的葡萄圖像進行了初步的特征提取，輸出的3種不同尺寸的特征圖只包含了局部的特征識別信息；而隨著改進的多尺度檢測模塊的進一步特征提取，網(wǎng)絡(luò)獲取了包括葡萄位置的全局特征信息，最終經(jīng)過YOLO層預測輸出帶有類別和位置信息的葡萄圖像；說明了提出的WGDM模型能夠有效檢測出葡萄目標。

由圖6可知，本研究提出的WGDM模型對于不同天氣、不同光照、顏色和形狀等條件下的葡萄圖像，均具有較準確的識別和定位效果。

為驗證本研究模型的可行性和有效性，在相同的試驗條件下，采用SSD[27]、YOLOv3、YOLOv4[28]和Faster R-CNN[29]4種不同模型對葡萄數(shù)據(jù)集進行訓練與測試，其檢測性能與本研究模型WGDM的比較如表4所示。由于模型的浮點運算量（即FLOPs）與輸入圖像分辨率相關(guān)，根據(jù)輸入圖像分辨率的最大值（800×800像素）和最小值（1 333×1 333像素），可計算出Faster R-CNN模型的浮點運算量范圍為66.14×109～185.11×109。由表4可知，YOLOv3模型檢測葡萄的準確率最高，為88.15%；SSD模型的召回率最低，只有79.94%；YOLOv4模型的召回率最高，為85.53%，準確率卻最低，為77.75%；而本研究提出的WGDM模型獲得的F1分數(shù)最高，達到了0.856 3，說明了本研究模型更好地平衡了檢測的準確率與召回率。另外，SSD模型的平均精度僅有73.05%，模型浮點運算量較大，而其檢測速度較快，網(wǎng)絡(luò)結(jié)構(gòu)較小；YOLOv3模型的平均精度較高，為80.10%，但其網(wǎng)絡(luò)結(jié)構(gòu)最大，同YOLOv4模型一樣為235 MB；YOLOv4和Faster R-CNN模型的平均精度和檢測速度較低，其復雜的網(wǎng)絡(luò)結(jié)構(gòu)可能不適用于單一類別的葡萄目標檢測，并且Faster R-CNN模型平均每幅圖像的檢測時間為164.49 ms，檢測速度最慢；本研究提出的WGDM模型的平均精度為81.20%，檢測一幅圖像的平均耗時為6.29 ms，比SSD、YOLOv3、YOLOv4分別減少了4.91、7.75、14.84和158.20 ms，說明其檢測的實時性更佳，并且浮點運算量僅有10.14×109，網(wǎng)絡(luò)結(jié)構(gòu)大小只有44 MB。與其他4種主流的目標檢測模型相比，本研究提出的WGDM模型在檢測的精度、速度、浮點運算量與網(wǎng)絡(luò)結(jié)構(gòu)大小方面都具有更大的優(yōu)勢，能夠滿足對葡萄果實的高效檢測任務(wù)。

表4 不同檢測模型性能對比Table 4 Performance comparison of with different detection models

SSD、YOLOv3、YOLOv4、Faster R-CNN和本研究的WGDM幾種模型對于文件名為CFR_1666.jpg的圖像（簡稱圖像1）和文件名為SVB_1959.jpg的圖像（簡稱圖像2）的檢測結(jié)果如表5所示。由表5可知，在圖像1和圖像2兩幅圖像中，YOLOv3模型能正確檢測出的葡萄數(shù)量最少，為29串；YOLOv4模型沒有漏檢葡萄，但其錯誤檢測出的葡萄數(shù)量最多，為10串；本研究提出的WGDM模型雖然漏檢了一串葡萄，但能正確檢測出的葡萄數(shù)量最多，達到了32串，并且沒有錯誤檢測葡萄，說明其檢測葡萄目標效果更好。

表5 不同模型葡萄圖像檢測結(jié)果對比Table 5 Detection results of grape images with different models

3 結(jié) 論

1）本研究針對果園場景下的葡萄，提出了一種基于輕量級網(wǎng)絡(luò)的釀酒葡萄檢測模型（Wine Grape Detection Model，WGDM）。采用目標識別速度快、精度高的MobileNetV2網(wǎng)絡(luò)完成對葡萄圖像的特征提取，加強多層特征信息的有效傳遞和減小模型計算量，增大了目標檢測速度；在多尺度檢測模塊中將部分卷積層改為M-Res2Net模塊，使模型獲取更多的葡萄特征，并在定位損失函數(shù)中使用平衡損失函數(shù)和交并比（Intersection over Union，IoU）損失函數(shù)，在保持高速度檢測的同時，提高了目標識別精度。

2）提出的WGDM模型最終在釀酒葡萄測試集上獲得81.20%的平均精度，F(xiàn)1分數(shù)為0.856 3，平均每幅葡萄圖像的檢測時間僅需6.29 ms，浮點運算量僅有10.14×109，網(wǎng)絡(luò)結(jié)構(gòu)大小為44 MB，均優(yōu)于單發(fā)檢測器（Single Shot Detector，SSD）、YOLOv3、YOLOv4和快速區(qū)域卷積神經(jīng)網(wǎng)絡(luò)（Faster Regions with Convolutional Neural Network，F(xiàn)aster R-CNN）模型。

本研究提出的WGDM模型對于重疊面積超過一半的葡萄串的定位還不夠理想，今后將深入研究如何提高嚴重重疊的小目標檢測性能。