基于yolov3的梨實(shí)時(shí)分類抓取方法

陸澤楠　孫松麗　朱文旭

摘要：隨著農(nóng)業(yè)機(jī)械化水平的不斷提高，分類機(jī)器人逐漸步入農(nóng)業(yè)生產(chǎn)中。本文以深度學(xué)習(xí)理論為基礎(chǔ)，將神經(jīng)網(wǎng)絡(luò)與機(jī)器視覺相結(jié)合，提出了基于yolov3模型的梨實(shí)時(shí)分類方法，分類平均準(zhǔn)確率達(dá)到98.7%，并準(zhǔn)確得出相對(duì)坐標(biāo)位置，為分類機(jī)器人提供良好抓取點(diǎn)。該分類方法具有良好的泛化能力和實(shí)時(shí)性，農(nóng)業(yè)生產(chǎn)自動(dòng)化提供良好平臺(tái)。

Abstract： With the continuous improvement of the level of agricultural mechanization， classification robots have gradually entered agricultural production. Based on deep learning theory， this paper combines neural network and machine vision， and proposes a real-time pear classification method based on yolov3 model. The average classification accuracy rate reaches 98.7%， and the relative coordinate position is accurately obtained， which provides a good grasp for the classification robot grab points. The classification method has good generalization ability and real-time performance， and provides a good platform for agricultural production automation.

關(guān)鍵詞：梨;分類識(shí)別;深度學(xué)習(xí);yolov3;自動(dòng)化

Key words： pear;classification recognition;deep learning;yolov3;automation

中圖分類號(hào)：TP24? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 文章編號(hào)：1006-4311（2020）14-0280-03

0? 引言

隨著農(nóng)業(yè)機(jī)械化水平的不斷提高，分類機(jī)器人逐漸步入農(nóng)業(yè)生產(chǎn)中。梨實(shí)時(shí)識(shí)別技術(shù)是分類機(jī)器人的重要組成部分，主要依靠計(jì)算機(jī)視覺完成。由于自然環(huán)境下光照、相簇梨等干擾因素的差異，傳統(tǒng)識(shí)別方法難以滿足該條件下的識(shí)別泛化性和實(shí)時(shí)性。近年來，深度學(xué)習(xí)作為人工智能的重要算法，在計(jì)算機(jī)視覺領(lǐng)域引起了突破性的變革。在深度學(xué)習(xí)模型下進(jìn)行梨的分類識(shí)別，不僅準(zhǔn)確率得以大幅提升，而且單次識(shí)別時(shí)間能達(dá)到0.01ms以下，滿足生產(chǎn)需求。

1? 數(shù)據(jù)集的準(zhǔn)備與制作

1.1 原始圖片的采集

本文針對(duì)不同環(huán)境下的成熟梨果實(shí)進(jìn)行實(shí)時(shí)識(shí)別研究，圖像樣本采集自果園及部分網(wǎng)站，采集環(huán)境基于不同天氣條件、不同光照條件等，對(duì)不同果實(shí)狀態(tài)和不同果實(shí)大小的梨果實(shí)進(jìn)行圖像采集，結(jié)合爬蟲得到的部分圖片，共采集原始圖片1630張，并從中隨機(jī)選擇1300張作為原始訓(xùn)練集，230張作為原始測(cè)試集，100張作為驗(yàn)證集。

1.2 數(shù)據(jù)集的制作

首先，對(duì)實(shí)地采集的樣本進(jìn)行圖像預(yù)處理，其中，為了降低卷積操作帶來的巨大運(yùn)算量，提高訓(xùn)練速度，通過opencv雙線性插值法將所有樣本的分辨率降低為416×416，為了提高對(duì)逆光等極端光照條件下的柑橘特征學(xué)習(xí)能力，對(duì)該環(huán)境下的原始訓(xùn)練樣本采用自適應(yīng)直方圖均衡化處理，部分低質(zhì)量圖像進(jìn)行舍棄。其次，數(shù)據(jù)擴(kuò)增可以提高識(shí)別模型的魯棒性與泛化性，本文對(duì)隨機(jī)抽取的部分原始訓(xùn)練樣本和原始測(cè)試樣本進(jìn)行水平、垂直和對(duì)角鏡像，以及±45°旋轉(zhuǎn)操作。最后，對(duì)擴(kuò)增后的訓(xùn)練集和測(cè)試集中的柑橘果實(shí)進(jìn)行特征框標(biāo)注，標(biāo)注軟件為Colabeler，其中，對(duì)于像素面積低于20×20、被遮擋重疊區(qū)域面積大于40%的梨果實(shí)不做標(biāo)注，對(duì)存在多個(gè)果實(shí)的圖像進(jìn)行依次標(biāo)注，驗(yàn)證樣本不做標(biāo)注。圖片處理流程如圖1所示。

經(jīng)過圖像預(yù)處理、數(shù)據(jù)擴(kuò)增和樣本標(biāo)注等操作，獲得試驗(yàn)所需的訓(xùn)練集、測(cè)試集和驗(yàn)證集，具體信息如表1所示。

1.3 分類識(shí)別模型

目前目標(biāo)檢測(cè)領(lǐng)域的深度學(xué)習(xí)方法主要分為兩類：two stage的目標(biāo)檢測(cè)算法;one stage的目標(biāo)檢測(cè)算法。two stage是先由算法生成一系列作為樣本的候選框，再通過卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行樣本分類，此類典型算法有R-CNN系列（R-CNN、Fast R-CNN、Faster R-CNN）。one stage則不用產(chǎn)生候選框，直接將目標(biāo)邊框定位的問題轉(zhuǎn)化為回歸問題處理，這種端對(duì)端的算法結(jié)構(gòu)的檢測(cè)速度大于前者，此類典型算法有YOLO系列和SSD系列。正是由于兩種方法的差異，在性能上也有不同，前者在檢測(cè)準(zhǔn)確率和定位精度上占優(yōu)，后者在算法速度上占優(yōu)。

考慮目標(biāo)檢測(cè)的實(shí)時(shí)性及分類精度的需求，本文選用yolov3模型作為梨實(shí)時(shí)識(shí)別的基礎(chǔ)模型，并對(duì)其改進(jìn)。

2? 試驗(yàn)與分析

2.1 試驗(yàn)平臺(tái)

本試驗(yàn)平臺(tái)主要配置為：Nvidia Geforce RTX2060 6G GPU，Intel corei7-9700k CPU，16GB RAM，Ubuntu16.04操作系統(tǒng)，Python3.6.0語言，CUDA10.0并行計(jì)算架構(gòu)，Cudnn9.1深度神經(jīng)網(wǎng)絡(luò)加速庫(kù)，Darknet深度學(xué)習(xí)框架。

2.2 模型參數(shù)配置

通過在性能與速度兩方面對(duì)比tiny darknet與Darknet-53，本文采用Darknet-53作為整體模型的backbone網(wǎng)絡(luò)。遷移學(xué)習(xí)可以降低模型訓(xùn)練時(shí)的過擬合問題和計(jì)算量，因此，為加快梯度的收斂速度，獲得低泛化誤差的初始模型，本文采用darknet53.conv.74預(yù)訓(xùn)練模型作為本試驗(yàn)的初始權(quán)重模型。Darknet-53框架下yolov3識(shí)別模型如圖2所示。

yolov3識(shí)別模型的總損失函數(shù)包括定位損失（bbox預(yù)測(cè)）、置信度損失（confidence_loss）以及類別預(yù)測(cè)損失三部分?？杀硎緸椋?/p>

xy_loss = K.sum（xy_loss）/mf

wh_loss = K.sum（wh_loss）/mf

confidence_loss = K.sum（confidence_loss）/mf

class_loss = K.sum（class_loss）/mf

loss += xy_loss + wh_loss + confidence_loss + class_loss

本文采用修改后的yolov3-pear.cfg訓(xùn)練優(yōu)化算法：初始學(xué)習(xí)率為0.08，權(quán)重衰減正則系數(shù)為0.0005，學(xué)習(xí)率策略為steps，學(xué)習(xí)率變動(dòng)步長(zhǎng)為30000，學(xué)習(xí)率變動(dòng)因子0.1。批處理大小為32，動(dòng)量項(xiàng)為0.9，最大迭代步數(shù)為50000，每迭代10000次保存一次訓(xùn)練模型。訓(xùn)練過程的損失圖如圖3所示，采用遷移學(xué)習(xí)方法，損失值快速收斂于0.1～0.2之間。

2.3 試驗(yàn)評(píng)價(jià)指標(biāo)

通過采集訓(xùn)練過程中的輸出參數(shù)：Region Avg IOU、Class、Obj、No Obj、.5R、.75R、count等，對(duì)其進(jìn)行可視化分析，作為試驗(yàn)試驗(yàn)評(píng)價(jià)指標(biāo)。其中交并集之比IOU（Intersection over Union）一個(gè)衡量模型檢測(cè)特定的目標(biāo)好壞的重要指標(biāo)，其定義為：IOU = Area of Overlap/Area of Union。本試驗(yàn)IOU結(jié)果如圖4所示，最終趨于0.9～0.95之間，說明矩形框跟目標(biāo)重合度較高，符合要求。

通過試驗(yàn)分析，選擇輸出模型yolov3-pear_30000.weights作為最終模型，將驗(yàn)證集輸入到模型中，驗(yàn)證識(shí)別性能。以下是部分識(shí)別結(jié)果，其分類精準(zhǔn)度高，并準(zhǔn)確輸出坐標(biāo)信息。

[（'circle'，0.9996659755706787，（248.02967834472656，

241.03109741210938，303.18804931640625， 275.822021484

375））];

[（'long'，0.9999970197677612，（433.10748291015625，414.2

956848144531，816.3567504882812， 724.862060546875））]

2.4 結(jié)果分析

將驗(yàn)證集的圖像樣本輸入到訓(xùn)練所得的yolov3-pear_30000.weights模型中，定性分析模型的分類識(shí)別性能。針對(duì)不同果實(shí)狀態(tài)、不同大小果實(shí)、不同光源條件等環(huán)境下的果實(shí)識(shí)別結(jié)果如圖5所示，取得了較好的效果，但也呈現(xiàn)出該模型對(duì)小目標(biāo)識(shí)別的不足，可能有以下原因造成：①針對(duì)小目標(biāo)學(xué)習(xí)的樣本量不足;②本試驗(yàn)將被遮擋重疊面積超過40%的果實(shí)目標(biāo)放棄標(biāo)注。

3? 結(jié)論

本文采用深度學(xué)習(xí)理論對(duì)梨果實(shí)分類識(shí)別展開了研究，通過修改后yolov3模型進(jìn)行訓(xùn)練試驗(yàn)，并進(jìn)行驗(yàn)證，結(jié)果表明：在Darknet-53網(wǎng)絡(luò)下，使用yolov3-pear.cfg訓(xùn)練優(yōu)化算法能得到分類能力較高的模型yolov3-pear_30000.weights，并在最終分類使用中擁有較好的實(shí)時(shí)性和準(zhǔn)確性，為分類機(jī)器人的分類抓取提供了良好的前提。

參考文獻(xiàn)：

[1]徐東云.耕種規(guī)模與農(nóng)機(jī)具的使用狀況探析[J].價(jià)值工程，2012，31（30）：313-315.

[2]陳林求忠.論如何加強(qiáng)農(nóng)機(jī)的安全管理[J].農(nóng)業(yè)開發(fā)與裝備，2020（03）：43.

[3]朱雪慧.機(jī)械化助推藜麥產(chǎn)業(yè)發(fā)展探討——以天祝藏族自治縣為例[J].南方農(nóng)機(jī)，2020，51（05）：4，6.