基于改進(jìn)YOLOv4的蘋果采摘機(jī)器人樹枝障礙物深度識別

摘要：為識別特征不明顯的樹枝，尤其是機(jī)械手進(jìn)行蘋果采摘時(shí)遮擋住蘋果位置的樹枝，提出了一種結(jié)合語義分割和YOLOv4來獲取樹枝語義骨架，以及識別出樹枝位置框的方法。采用語義分割劃分樹枝矩形包絡(luò)的方法，剔除影響樹枝識別效果的小樹枝和分支，再用labelImg和labelme工具對數(shù)據(jù)集進(jìn)行標(biāo)注；對訓(xùn)練的網(wǎng)絡(luò)模型添加了3層最大池化層，并在回歸損失方面對YOLOv4的CIOU回歸損失函數(shù)進(jìn)行了改進(jìn)，提出了針對復(fù)雜特征、適范圍提高預(yù)測準(zhǔn)確率的置信度相關(guān)函數(shù)BIOU。結(jié)果表明，改進(jìn)的YOLOv4網(wǎng)絡(luò)模型訓(xùn)練遮擋蘋果位置樹枝的F1和AP分別比原始網(wǎng)絡(luò)訓(xùn)練全部樹枝高出20.00個(gè)百分點(diǎn)和23.36個(gè)百分點(diǎn)，獲得訓(xùn)練效果更好的數(shù)據(jù)集和樹枝識別網(wǎng)絡(luò)。

關(guān)鍵詞：樹枝識別；YOLOv4；語義分割；數(shù)據(jù)集訓(xùn)練；BIOU邊框回歸損失函數(shù)

中圖分類號：TP391.4" " " " "文獻(xiàn)標(biāo)識碼：A

文章編號：0439-8114（2024）08-0010-07

DOI：10.14088/j.cnki.issn0439-8114.2024.08.003 開放科學(xué)（資源服務(wù)）標(biāo)識碼（OSID）：

Depth recognition of branch obstacles of apple picking robot based on improved YOLOv4

HUANG Zhe1，2a， TANG Shi-xi2b， SHEN Guan-dong2a， GAO Xin-yue1， WANG Shi-lian2b

（1.School of Mechanical and Power Engineering， Nanjing Tech University， Nanjing" 211816， China；2a. Academy of Art and Design； 2b.Acedemy of Information Engineering， Yancheng Teachers University， Yancheng" 224000， Jiangsu， China）

Abstract：In computer vision， it was difficult to train and recognize objects with unclear features， and improve the detection in many fields. In order to identify the branches with less obvious characteristics， mainly the branches that covered the apple position when the manipulator picked the apple， a method to obtain the branch semantic skeleton and identify the branch position box by combining semantic segmentation and YOLOv4 algorithm was proposed. Before using the data set for training， the method of semantic segmentation to divide the rectangular envelope of branches， eliminate the small branches and branches that affected the effect of branch recognition， and then label the data set with labelimg and labelme tools was used； Three layers of maximum pooling layer were added to the trained network model， and the CIOU of YOLOv4 was improved in terms of regression loss. A confidence correlation function BIOU was proposed to improve the prediction accuracy according to the complex characteristics and suitable range. The final experiment showed that the F1 and AP of the tree branches with occluded apple positions trained by the improved YOLOv4 network model were 20.00 precentage and 23.36 precentage higher than those of all the trees trained by the original network.

Key words： branch recognition； YOLOv4； semantic segmentation； dataset training； BIOU frame regression loss function

隨著信息技術(shù)的發(fā)展，人口紅利的消失，機(jī)械化農(nóng)業(yè)的發(fā)展達(dá)到關(guān)鍵時(shí)期，而果樹的種植方式及生產(chǎn)模式較多，果園建設(shè)、果樹種植標(biāo)準(zhǔn)化程度較低，果園內(nèi)環(huán)境復(fù)雜［1，2］、障礙物頗多，存在著一定的安全隱患，不適合采摘機(jī)器人的識別與采摘作業(yè)。

目前，中國運(yùn)用于農(nóng)業(yè)檢測的機(jī)器人［3，4］，主要采用激光傳感器檢測、雷達(dá)傳感器檢測、機(jī)器視覺傳感器檢測等方法［5］。研究針對蘋果采摘過程中，對采摘影響最大的蘋果樹樹枝，選取其作為識別對象。在計(jì)算機(jī)視覺領(lǐng)域，樹枝識別類屬于目標(biāo)檢測，傳統(tǒng)的目標(biāo)檢測方法首先需要提取圖像中待識別物的顏色、紋理和邊緣等特征［6，7］，然后通過算法模型訓(xùn)練目標(biāo)，從而達(dá)成檢測目的，如 HOG（Histogram of oriented gradient）、SIFT（Scale-invariant feature transform）、SURF（Speeded up robust features）和 Canny等［8-11］算法。兩大類典型的深度學(xué)習(xí)目標(biāo)檢測算法，分別是基于區(qū)域推薦（Region proposal）和基于回歸的目標(biāo)檢測，基于區(qū)域推薦代表性的有R-CNN［12］、Fast R-CNN［13］、Faster-RCNN［14］等算法，另一類基于回歸的算法是利用端到端的方法，其代表性的算法有YOLO（You only look once）［15］系列、SSD（Single shot multiBox detector）［16］系列等。

2012年，呂繼東［17］提出蘋果采摘機(jī)器人視覺測量與避障控制研究，其主要通過圖像分割方法剝離樹枝，采用視覺識別定位進(jìn)行感知避障；He等［18］采用ResNet-44全卷積網(wǎng)絡(luò)以提高識別精度，并且簡化模型；蔣镕圻等［19］提出一種改進(jìn)YOLOv4的小目標(biāo)檢測算法，解決了小目標(biāo)檢測精度低以及漏檢率高等問題；王金鵬等［20］提出了一種輕量級卷積神經(jīng)網(wǎng)絡(luò)YOLOv4-LITE火龍果檢測方法，實(shí)現(xiàn)火龍果的高精度自動(dòng)化檢測；2022年，李文婧等［21］提出了一種基于改進(jìn)YOLOv4的植物葉莖交點(diǎn)目標(biāo)檢測研究，在保證檢測精度的前提下提高了檢測速度，有效檢測了葉莖交點(diǎn)目標(biāo)。

目前，已有的采摘障礙物識別主要針對的是大目標(biāo)樹干，沒有單獨(dú)提出對具備不同形狀樹枝的識別方法，本研究使用YOLOv4網(wǎng)絡(luò)結(jié)構(gòu)為基礎(chǔ)，針對樹枝特征識別做出了特有的改進(jìn)，并通過對比試驗(yàn)運(yùn)用于遮擋住蘋果的樹枝檢測。

1 材料與方法

1.1 數(shù)據(jù)的采集

樹枝的獲取渠道為購買仿真蘋果樹和購買經(jīng)處理的蘋果樹枝。使用高清手機(jī)等設(shè)備拍攝距離0.2～1.2 m不同自然環(huán)境下的樹枝圖像，拍攝角度為環(huán)繞樹枝的任一隨機(jī)方向，共采集圖片860張，圖像包括室內(nèi)外的各類天氣情況，包括光線充足與光線不足的不同狀況；同時(shí)通過CSDN獲取400張包含樹枝或蘋果的照片，從中挑選出350張，所得照片集總數(shù)為1 210張。

1.2 數(shù)據(jù)集的準(zhǔn)備

樹枝數(shù)據(jù)集需準(zhǔn)備兩份，分別用于YOLOv4和語義分割平臺(tái)。使用labelImg工具對一份數(shù)據(jù)集進(jìn)行標(biāo)注，標(biāo)注完存儲(chǔ)xml文件，供YOLOv4平臺(tái)使用，為確保數(shù)據(jù)集的訓(xùn)練與預(yù)測效果，使用隨機(jī)分類的算法把數(shù)據(jù)集劃分為90%的訓(xùn)練集及驗(yàn)證集和10%的測試集，其中訓(xùn)練集中含邊框樣本為5 195個(gè)，驗(yàn)證集邊框樣本個(gè)數(shù)592個(gè)，測試集邊框樣本為662個(gè)。另一份數(shù)據(jù)集使用labelme工具標(biāo)注，標(biāo)注生成json類型文件，利用算法將json文件轉(zhuǎn)為xml文件，存儲(chǔ)后供語義分割平臺(tái)使用，用隨機(jī)分類算法把這份數(shù)據(jù)集劃分成9∶1比例的訓(xùn)練集和驗(yàn)證集，所得訓(xùn)練集含邊框樣本5 569個(gè)，驗(yàn)證集含邊框樣本604個(gè)。最終樹枝數(shù)據(jù)集樣本情況如表1所示。

1.3 數(shù)據(jù)集的預(yù)處理

由于樹枝特征差異性較大，多為不規(guī)則形狀，在深度學(xué)習(xí)的訓(xùn)練中，缺乏相似性訓(xùn)練效果較差，并且樹枝的顏色多為褐色或黑色，在陰暗條件下缺少了顏色特征難以識別，因此需要將待識別樹枝進(jìn)行預(yù)處理。如圖1所示，使用labelImg對圖中所有樹枝進(jìn)行標(biāo)注時(shí)，標(biāo)注為樹枝的矩形框內(nèi)摻雜了其余樹枝的分支，同時(shí)會(huì)有復(fù)雜背景（樹葉、天空）被框進(jìn)標(biāo)注框里，并且同一根樹枝也會(huì)有不同的背景，樹枝自身顏色與深暗色背景混合，或不同背景加大特征提取難度，都會(huì)影響訓(xùn)練效果。考慮到增強(qiáng)特征提取和提高訓(xùn)練效果，本研究把全部樹枝集的范圍縮小到遮擋住蘋果的部分樹枝集如圖1、圖2所示。圖1中樹枝復(fù)雜的背景通過人為標(biāo)注被劃分為多個(gè)相似的背景，使目標(biāo)樹枝的背景為單一的紅色，相似度高的背景對訓(xùn)練效果可以有較大提升，外形特征也只有矩形包絡(luò)一種，對此類樹枝標(biāo)注成一份新的樹枝集。

蘋果采摘需要避開樹枝時(shí)，樹枝的小分支不會(huì)單獨(dú)對采摘造成影響，真正需要識別的是遮擋住蘋果的樹枝主干，在標(biāo)注前，如圖3所示先利用語義分割剔除掉部分樹枝的假分支和小分叉，即使用labelme標(biāo)注，使其包絡(luò)為簡單的矩形形狀，以此解決樹枝特征不明顯的問題，其次對一些不會(huì)對蘋果采摘機(jī)械手造成影響的細(xì)樹枝進(jìn)行劃分，數(shù)據(jù)集中還要保證足夠多顏色特征不明顯的樹枝參與訓(xùn)練，避免不同場景樹枝無法預(yù)測的情況，利用圖2的labelImg對遮擋住蘋果的一部分樹枝進(jìn)行標(biāo)注，得出含遮擋蘋果的樹枝圖片829張，含邊框樣本3 783個(gè)。

2 障礙物識別算法與關(guān)鍵技術(shù)

2.1 YOLOv4算法模型

YOLO是一種將目標(biāo)檢測算法當(dāng)成回歸任務(wù)解決的one-stage（一步走）算法，將圖片分為S×S個(gè)單元格，每個(gè)單元格負(fù)責(zé)檢測落到各單元格上的物體，最后網(wǎng)絡(luò)的輸出維度與單元格個(gè)數(shù)、預(yù)測物體種類個(gè)數(shù)有關(guān)。YOLOv4相較于YOLOv3而言，更好地結(jié)合了速度和精度，在預(yù)測框長寬比和目標(biāo)框長寬比的數(shù)據(jù)對比方面，使用CIOU計(jì)算損失值，相應(yīng)的損失值為（1-CIOU）。

[CIOU=IOU-ρ2b，bgtc2-αυ] （1）

式中，[ρ2b，bgt]為預(yù)測框和真實(shí)框中心點(diǎn)的歐式距離；c為預(yù)測框和真實(shí)框的最小閉包區(qū)域的對角線距離。

[α=υ1-IOU+υ] （2）

[υ=4π2arctanωgt?gt-arctanω?2] （3）

2.2 PSPNet語義分割模型

語義分割屬于圖像像素級的分類，通過給圖像每一個(gè)像素點(diǎn)分類，完成對物體包絡(luò)的預(yù)測。PSPNet語義分割模型采用PSP模塊，將特征層劃分成不同大小的網(wǎng)格，每個(gè)網(wǎng)格內(nèi)部分別進(jìn)行平均池化，以便獲取更好的全局信息。PSPNet采用Resnet或MobileNet作為主干特征提取網(wǎng)絡(luò)，在加強(qiáng)特征提取結(jié)構(gòu)里采用PSP模塊，訓(xùn)練時(shí)所用的損失包含了交叉熵?fù)p失和Dice Loss，與Dice Loss相關(guān)的Dice系數(shù)通常用于計(jì)算兩個(gè)樣本的相似度，取值范圍在0到1之間。Dice系數(shù)（s）如式（4）所示，相應(yīng)的Dice損失值為（1-Dice）。

[s=2X?YX+Y] （4）

2.3 樹枝檢測模型的結(jié)合與改進(jìn)

由于訓(xùn)練模型種類只有樹枝一種，且樹枝屬于特征較不明顯的物體，需要結(jié)合YOLOv4和語義分割兩種模型，利用兩次深度學(xué)習(xí)對樹枝進(jìn)行提取特征與識別。對于算法的優(yōu)化，在特征提取網(wǎng)絡(luò)方面，樹枝的紋理特征較為復(fù)雜，因此在YOLOv4網(wǎng)絡(luò)內(nèi)添加三層最大池化層強(qiáng)化卷積神經(jīng)網(wǎng)絡(luò)，以此來提高對樹枝特征的提取效果，三層池化層尺寸分別為5×5、9×9和13×13，樹枝的檢測模型如圖4所示。對于圓柱體狀樹枝模型的位置邊框預(yù)測為：

[bx=σ（tx）+cxby=σ（ty）+cybw=pwetwb?=p?et?] （5）

式中，[bx]、[by]、[bw]、[b?]為邊界框bbox相對于特征圖的距離和大??；[tx]、[ty]、[tw]、[tw]為檢測網(wǎng)絡(luò)實(shí)際的學(xué)習(xí)目標(biāo)；[cx]、[cy]為特征網(wǎng)格圖的左上角頂點(diǎn)坐標(biāo)；[pw]、[p?]為預(yù)設(shè)先驗(yàn)框落到特征圖上的寬和高。

獲得邊框位置后，需要計(jì)算樹枝的回歸損失，由于樹枝特征較為特殊，部分樹枝的模型訓(xùn)練置信度都會(huì)達(dá)到峰值，定義了一種基于YOLOv4樹枝預(yù)測邊框與真實(shí)框的邊框回歸損失函數(shù)BIOU（Branch IOU），最終僅顯示置信度在0.5以上的樹枝預(yù)測框，不同程度地提高樹枝預(yù)測的置信度，增強(qiáng)預(yù)測效果。BIOU公式如式（6）所示。樹枝相應(yīng)的損失[BLoss=1-BIOU]。

[BIOU=CIOU+1-cosCIOU，CIOU∈（0.5，0.6]CIOU+1-cos （CIOU）2，CIOU∈（0.6，0.7]CIOU+1-cos （CIOU）4，CIOU∈（0.7，0.8]CIOU+1-cos （CIOU）8，CIOU∈（0.8，0.9]CIOU" " " " " " " " " " " " " " " " " " " ，CIOU∈（0.9，1]] （6）

為提高語義分割對樹枝集的訓(xùn)練效果，更好地對樹枝包絡(luò)做出劃分，同樣針對語義分割用于計(jì)算樣本相似度的Dice系數(shù)，也根據(jù)范圍作出了固定比例的增大，用于增強(qiáng)語義骨架識別效率較低的部分樹枝，改進(jìn)后的Dice系數(shù)如式（7）所示。語義分割訓(xùn)練樹枝的損失[DiceLOSS′=1-s]。

[s=14X?Y5（X+Y），s∈（0.5，0.6]13X?Y5（X+Y），s∈（0.6，0.7]12X?Y5X+Y，s∈（0.7，0.8]11X?Y5X+Y，s∈（0.8，0.9]2X?YX+Y，s∈（0.9，1]] （7）

3 模型設(shè)計(jì)

3.1 檢測平臺(tái)

本研究搭配的測試環(huán)境為torch1.2.0，使用CUDA10.0版本和Cudnn7.4版本的深度網(wǎng)絡(luò)加速庫，測試框架為CSPDarkNet、SPP和PANet，所使用的處理器為AMD RYZEN7 4800H，八核、十六線程，顯卡型號為NIVIDIA GeForce GTX 1650。

3.2 樹枝網(wǎng)絡(luò)訓(xùn)練與檢測

樹枝在YOLOv4平臺(tái)的檢測流程如圖5所示。本研究采用結(jié)合模型、改進(jìn)并對比的方式，使用網(wǎng)絡(luò)模型進(jìn)行對比試驗(yàn)。首先將樹枝的二維信息收集為數(shù)據(jù)集，使用labelImg和labelme軟件標(biāo)注數(shù)據(jù)集，通過語義分割提取骨架上的端點(diǎn)和分支點(diǎn)作為匹配特征點(diǎn)，訓(xùn)練需預(yù)處理的部分?jǐn)?shù)據(jù)集，去除假分支以及遮擋恢復(fù)處理，再通過YOLOv4識別算法對目標(biāo)識別物進(jìn)行訓(xùn)練，然后提取樹枝的形狀和顏色特征，并采用基于特征的立體匹配算法進(jìn)行匹配。分別采用YOLOv4算法對所有樹枝集進(jìn)行訓(xùn)練、YOLOv4算法對遮擋蘋果樹枝集訓(xùn)練、改進(jìn)后的YOLOv4對所有樹枝集訓(xùn)練、改進(jìn)后的YOLOv4對遮擋蘋果樹枝集訓(xùn)練4種方法訓(xùn)練網(wǎng)絡(luò)模型，當(dāng)訓(xùn)練的損失無限趨近于最小值時(shí)完成訓(xùn)練，在訓(xùn)練完成的網(wǎng)絡(luò)模型中輸入測試樣本進(jìn)行預(yù)測，得到樹枝的識別框位置和預(yù)測結(jié)果。

3.3 模型測試

為評價(jià)網(wǎng)絡(luò)模型對樹枝訓(xùn)練效果，使用了精確度（Precision）、AP（Average precision）、F1（F1 score）和召回率（Recall）來定義訓(xùn)練效果的好壞。精確度Precision、AP、F1和Recall的公式為：

[P=TPTP+FP] （8）

[AP=01P（R）dR] （9）

[F1=2PRP+R] （10）

[R=TPTP+FN] （11）

式中，P為預(yù)測準(zhǔn)確度；TP為真實(shí)的正樣本數(shù)量；FP為虛假的正樣本數(shù)量；FN為虛假的負(fù)樣本數(shù)量；R為召回率Recall。

分別使用原始的YOLOv4損失函數(shù)、改進(jìn)后的BIOU損失函數(shù)、語義分割以及微調(diào)后的語義分割訓(xùn)練樹枝網(wǎng)絡(luò)模型，訓(xùn)練時(shí)間分別為7.2、6.8、4.2、4.3 h。采用BIOU損失函數(shù)在訓(xùn)練集上的Loss曲線，如圖6的BIOU_train_loss曲線所示，在驗(yàn)證集上的Loss曲線如圖6中BIOU_val_loss曲線所示；采用YOLOv4 Loss的模型在訓(xùn)練集上和驗(yàn)證集上的Loss曲線分別由圖6中YOLOv4_train_loss曲線和YOLOv4_val_loss曲線所示；語義分割在訓(xùn)練集上和驗(yàn)證集上的Loss曲線由圖7中yuyi_train_loss曲線以及yuyi_val_loss所示；微調(diào)后的語義分割在訓(xùn)練集上的Loss曲線如圖7的Byuyi_train_loss所示，在驗(yàn)證集上的Loss曲線如圖7中Byuyi_val_loss所示。

圖6、圖7均是100次Epoch后的損失值變化曲線，用來對訓(xùn)練模型進(jìn)行評估，每一次Epoch保存一次權(quán)重。由圖6可以看出，采用BIOU損失函數(shù)訓(xùn)練的模型在訓(xùn)練集上的擬合程度要優(yōu)于YOLOv4，而YOLOv4在驗(yàn)證集上50次Epoch后便趨于穩(wěn)定，BIOU驗(yàn)證集損失未進(jìn)入BIOU損失函數(shù)的改動(dòng)范圍內(nèi)，略有小幅波動(dòng)。語義分割訓(xùn)練損失值較小，基于樹枝模型對Dice系數(shù)的改動(dòng)并未使損失值造成較大變化，改進(jìn)前后的模型都在60次Epoch以后逐漸收斂。

4 試驗(yàn)結(jié)果與分析

為最大限度識別出遮擋住蘋果的樹枝，并對改進(jìn)后網(wǎng)絡(luò)模型的效果做出驗(yàn)證，分別使用YOLOv4對全部樹枝、改進(jìn)后的YOLOv4對全部樹枝、YOLOv4對遮擋住蘋果的樹枝、改進(jìn)后的YOLOv4對遮擋住蘋果的樹枝4種不同的訓(xùn)練方式，比較不同模型在不同數(shù)據(jù)集上訓(xùn)練的優(yōu)劣程度，最終根據(jù)F1、AP、精確度、召回率以及預(yù)測效果，挑選出最優(yōu)的樹枝訓(xùn)練模型和數(shù)據(jù)集。

4.1 使用YOLOv4對不同數(shù)據(jù)集的檢測結(jié)果

以YOLOv4為基礎(chǔ)網(wǎng)絡(luò)，對全部樹枝數(shù)據(jù)集和被蘋果遮擋樹枝數(shù)據(jù)集的所有參數(shù)進(jìn)行訓(xùn)練，使用YOLOv4的預(yù)訓(xùn)練權(quán)重開始訓(xùn)練，特征提取效果最為明顯，獲得較好的網(wǎng)絡(luò)訓(xùn)練結(jié)果，避免權(quán)值過大、隨機(jī)的情況發(fā)生。YOLOv4原始網(wǎng)絡(luò)對兩個(gè)數(shù)據(jù)集的訓(xùn)練結(jié)果如表2所示。全部樹枝的數(shù)據(jù)集由于特征差異巨大，且容易有影響預(yù)測效果的小分支，所以訓(xùn)練效果不理想，其中遮擋住蘋果的樹枝集用YOLOv4原始網(wǎng)絡(luò)訓(xùn)練后，F(xiàn)1比全部樹枝集高出18.00個(gè)百分點(diǎn)，AP提升25.71個(gè)百分點(diǎn)，精確度提升20.30個(gè)百分點(diǎn)，召回率高出14.43個(gè)百分點(diǎn)。

4.2 使用改進(jìn)前后的YOLOv4對不同數(shù)據(jù)集的檢測結(jié)果

由于樹枝的特征提取不同于其他具備明顯特征的物體，在損失函數(shù)上進(jìn)行了微調(diào)，使樹枝訓(xùn)練效果和預(yù)測概率得以提升，改進(jìn)損失函數(shù)的目的在于彌補(bǔ)特征提取無法提取完全的缺陷，最終預(yù)測的預(yù)測概率大于某一固定值時(shí)，提升其概率值，大于此固定值越接近1的樣本，改進(jìn)的損失函數(shù)對其概率值的提升越小。用改進(jìn)后的YOLOv4對兩個(gè)樹枝集進(jìn)行訓(xùn)練，并添加原始YOLOv4網(wǎng)絡(luò)訓(xùn)練遮擋蘋果樹枝做對比，結(jié)果如表3所示。改進(jìn)后YOLOv4訓(xùn)練遮擋蘋果樹枝的F1如圖8所示，比原始網(wǎng)絡(luò)訓(xùn)練遮擋蘋果的樹枝提升了2.00個(gè)百分點(diǎn)，改進(jìn)后的AP如圖9所示，提升了3.93個(gè)百分點(diǎn)，改進(jìn)后精確度如圖10所示，提升了2.03個(gè)百分點(diǎn)，改進(jìn)后召回率如圖11所示，提升了1.43個(gè)百分點(diǎn)。

4.3 改進(jìn)后的YOLOv4對不同數(shù)據(jù)集的預(yù)測效果

由表2、表3可以看出，改進(jìn)后的YOLOv4對于樹枝集的檢測結(jié)果優(yōu)于原始YOLOv4網(wǎng)絡(luò)，選用改進(jìn)后的YOLOv4網(wǎng)絡(luò)，加載損失值最小的權(quán)值文件對預(yù)測集進(jìn)行識別。圖12和圖13展示了對部分預(yù)測集的預(yù)測效果，遮擋住蘋果的樹枝在訓(xùn)練時(shí)背景是蘋果，特征提取效果明顯優(yōu)于全部投入訓(xùn)練的樹枝集，預(yù)測為樹枝的置信度大多在0.95以上，全部訓(xùn)練的樹枝集類似未經(jīng)加強(qiáng)此類特征提取，無法將所有樹枝識別出來，并且識別準(zhǔn)確率較低，大多數(shù)能識別的樹枝置信度僅在0.8以下，甚至在0.5以下。結(jié)果表明，針對樹枝微調(diào)損失函數(shù)對YOLOv4做出改進(jìn)，在遮擋住蘋果的樹枝集上訓(xùn)練效果最好，并且在識別準(zhǔn)確率上具有明顯優(yōu)勢。

5 結(jié)論

1）針對蘋果采摘機(jī)器人對遮擋住蘋果的樹枝提出了識別方法，用語義分割去除樹枝小分支的方法，對樹枝集做了預(yù)處理，優(yōu)化了樹枝特征不明顯的問題。

2）通過改進(jìn)YOLOv4模型，提出了一種適用于樹枝的BIOU邊框回歸損失函數(shù)，微調(diào)后，當(dāng)預(yù)測置信度達(dá)0.5以上時(shí)，更多地提高了置信度較低樣本的識別率，小范圍提高了置信度較高樣本的識別率。

3）為驗(yàn)證提出方法的可行性，以F1、AP、精確度和召回率為判別依據(jù)，通過改進(jìn)前后的網(wǎng)絡(luò)對不同數(shù)據(jù)集進(jìn)行對比試驗(yàn)，表明遮擋蘋果的樹枝集訓(xùn)練效果明顯優(yōu)于全部樹枝集，對于遮擋住蘋果的樹枝集，改進(jìn)后的YOLOv4模型檢測的F1、AP、精確度和召回率分別達(dá)91.00%、90.51%、90.14%和91.43%，分別比原始YOLOv4模型高出2.00個(gè)百分點(diǎn)、3.93個(gè)百分點(diǎn)、2.03個(gè)百分點(diǎn)和1.43個(gè)百分點(diǎn)，增強(qiáng)了對樹枝集的訓(xùn)練效果，提高了識別準(zhǔn)確率。

參考文獻(xiàn)：

［1］ 胡友呈.自然環(huán)境下柑橘采摘機(jī)器人的目標(biāo)識別與定位方法研究［D］.重慶：重慶理工大學(xué)，2018.

［2］ 趙 勻，武傳宇，胡旭東，等.農(nóng)業(yè)機(jī)器人的研究進(jìn)展及存在的問題［J］.農(nóng)業(yè)工程學(xué)報(bào)，2003，19（1）：20-24.

［3］ 李玉林，崔振德，張 園，等.中國農(nóng)業(yè)機(jī)器人的應(yīng)用及發(fā)展現(xiàn)狀［J］.熱帶農(nóng)業(yè)工程，2014，38（4）：30-33.

［4］ 林 歡，許林云.中國農(nóng)業(yè)機(jī)器人發(fā)展及應(yīng)用現(xiàn)狀［J］.浙江農(nóng)業(yè)學(xué)報(bào)，2015，27（5）：865-871.

［5］ 張 舜，郝泳濤.基于深度學(xué)習(xí)的障礙物檢測研究［J］.電腦知識與技術(shù)，2019，15（34）：185-187.

［6］ 蔡舒平，孫仲鳴，劉 慧，等.基于改進(jìn)型YOLOv4的果園障礙物實(shí)時(shí)檢測方法［J］.農(nóng)業(yè)工程學(xué)報(bào)，2021，37（2）：36-43.

［7］ 向海濤，鄭加強(qiáng)，周宏平.基于機(jī)器視覺的樹木圖像實(shí)時(shí)采集與識別系統(tǒng)［J］.林業(yè)科學(xué)，2004，40（3）：144-148.

［8］ DALAL N，TRIGGS B. Histograms of oriented gradients for human detection［A］. IEEE Computer Society Conference on Computer Vision amp; Pattern Recognition［C］.IEEE，2005.

［9］ LOWE D G. Distinctive image features from scale-invariant keypoints［J］.International journal of computer vision，2004，60（2）：91-110.

［10］ BAY H， ESS A，TUYTELAARS T. Speeded-up robust features （SURF）［J］.Computer vision amp; image understanding， 2008，110（3）：346-359.

［11］ DERICHE R.Using Canny’s criteria to derive a recursively implemented optimal edge detector［J］. International journal of computer vision，1987，1（2）：167-187.

［12］ GIRSHICK R，DONAHUE J，DARRELL T，et al. Rich feature hierarchies for accurate object detection and semantic segmentation［A］.Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition［C］.2014.580-587.

［13］ GIRSHICK R. Fast R-CNN［C］//Proceedings of the IEEE International Conference on Computer Vision，2015：1440-1448.

［14］ REN S， HE K， GIRSHICK R，et al.Faster R-CNN：Towards real-time object detection with region proposal networks［J］.IEEE Transactions on Pattern Analysis amp; Machine Intelligence，2017，" 39（6）：1137-1149.

［15］ REDMON J，DIVVALA S，GIRSHICK R，et al.You only look once：Unified，real-time object detection［A］. Computer Vision amp; Pattern Recognition［C］.IEEE，2016.

［16］ LIU W，ANGUELOV D，ERHAN D，et al. SSD：Single shot multiBox detector［A］.European Conference on Computer Vision［C］. Springer International Publishing，2016.

［17］ 呂繼東.蘋果采摘機(jī)器人視覺測量與避障控制研究［D］.江蘇鎮(zhèn)江：江蘇大學(xué)，2012.

［18］ HE K， ZHANG X， REN S， et al.Deep Residual Learning for Image Recognition［A］.IEEE Conference on Computer Vision and Pattern Recognition （CVPR）［C］.IEEE，2016：770-778.

［19］ 蔣镕圻，彭月平，謝文宣，等.嵌入scSE模塊的改進(jìn)YOLOv4小目標(biāo)檢測算法［J］.圖學(xué)學(xué)報(bào)，2021，42（4）：546-555.

［20］ 王金鵬，高 凱，姜洪喆，等.基于改進(jìn)的輕量化卷積神經(jīng)網(wǎng)絡(luò)火龍果檢測方法 ［J］.農(nóng)業(yè)工程學(xué)報(bào)，2020，36（20）：218-225.

［21］ 李文婧，徐國偉，孔維剛，等.基于改進(jìn)YOLOv4的植物葉莖交點(diǎn)目標(biāo)檢測研究［J］.計(jì)算機(jī)工程與應(yīng)用，2022，58（4）：221-228.

基金項(xiàng)目：江蘇省重點(diǎn)研發(fā)計(jì)劃（產(chǎn)業(yè)前瞻與關(guān)鍵核心技術(shù)）重點(diǎn)項(xiàng)目（BE2021016）

作者簡介：黃 哲（1997-），男，江蘇南通人，在讀碩士研究生，主要從事工業(yè)信息與智能化研究，（電話）18018020273（電子信箱）hz1535987494@163.com；通信作者，唐仕喜（1975-），男，江蘇鹽城人，副教授，碩士生導(dǎo)師，主要從事工業(yè)信息與智能化研究，（電子信箱）tsxpublic@163.com。