改進YOLOv3網(wǎng)絡提高甘蔗莖節(jié)實時動態(tài)識別效率

李尚平，李向輝，張 可，李凱華，袁泓磊，黃宗曉

改進YOLOv3網(wǎng)絡提高甘蔗莖節(jié)實時動態(tài)識別效率

李尚平1，李向輝1，張 可2，李凱華1，袁泓磊1，黃宗曉2

（1. 廣西民族大學信息科學與工程學院，南寧 530006； 2. 廣西大學機械學院，南寧 530004）

為推廣甘蔗預切種良種、良法種植技術，結(jié)合甘蔗預切種智能橫向切種機的開發(fā)，實現(xiàn)甘蔗切種裝置對蔗種特征的連續(xù)、動態(tài)智能識別。該文通過甘蔗切種機黑箱部分內(nèi)置的攝像機連續(xù)、動態(tài)采集整根甘蔗表面數(shù)據(jù)，采用改進的YOLOv3網(wǎng)絡，建立智能識別卷積神經(jīng)網(wǎng)絡模型，通過拍攝裝置內(nèi)部的攝像頭對輸入識別系統(tǒng)的整根甘蔗的莖節(jié)圖像特征進行實時定位與識別，并比對識別信息，及時更新莖節(jié)數(shù)據(jù)，識別、標記出莖節(jié)位置，再經(jīng)過數(shù)據(jù)處理得到實時的莖節(jié)信息，輸送到多刀數(shù)控切割臺進行實時切割。經(jīng)過訓練及試驗測試，結(jié)果表明：經(jīng)過訓練及試驗測試，模型對莖節(jié)的識別的準確率為96.89%，召回率為90.64%，識別平均精度為90.38%，平均識別時間為28.7 ms，與原始網(wǎng)絡相比平均精確度提升2.26個百分點，準確率降低0.61個百分點，召回率提高2.33個百分點，識別時間縮短22.8 ms，實現(xiàn)了甘蔗蔗種的連續(xù)、實時動態(tài)識別，為甘蔗預切種智能橫向切種機的開發(fā)提供數(shù)據(jù)基礎。

卷積神經(jīng)網(wǎng)絡；機器視覺；模型；YOLOv3網(wǎng)絡；甘蔗莖節(jié)；識別定位

0 引 言

甘蔗作為一種重要的熱帶經(jīng)濟作物，與中國國家發(fā)展，人民生活息息相關。然而甘蔗種植生產(chǎn)仍然面臨諸多問題，目前中國使用的甘蔗種植機主要為實時切種式甘蔗種植機，該機型存在使用勞動強度大、播種不均勻、耗蔗種多等問題[1]。近年來，先進的種植技術提出了甘蔗預切種的良法種植技術，即利用優(yōu)良甘蔗品種按要求切段，經(jīng)過蔗種篩選，消毒處理等后再種植。該方法便于機械化種植，具有出芽率高、用種少、甘蔗產(chǎn)量高以及種植成本低的特點。這種方法首先需要進行甘蔗的預切種，基于這個生產(chǎn)需求，開發(fā)甘蔗預切種智能橫向切種機，需要對甘蔗莖節(jié)等特征進行快速、有效地識別定位，并能夠在短時間內(nèi)輸出結(jié)果，以便進行甘蔗蔗種的工廠化生產(chǎn)。

目前針對甘蔗的莖節(jié)識別工作還停留在單根或者基本的圖像處理與識別方面，對于整根甘蔗圖像進行快速處理的方法還很缺乏。如黃亦其等[2]研究了基于局部均值的甘蔗莖節(jié)識別方法，通過對圖像進行均值濾波，在HSV顏色空間的分量上進行圖像分割等處理，然后在G-B色差分量圖上以一定步長沿中心橫向移動，計算平均灰度值，從而找到最大灰度值對應位置確定為莖節(jié)位置，該方法只針對一段的甘蔗進行處理，并且結(jié)果受選定的步長與固定模板寬度影響，識別率為90%，時間為0.48 s。陸尚平等[3]探討了基于機器視覺的甘蔗莖節(jié)特征提取與識別方法，對甘蔗蔗段的圖像的HSV顏色空間中分量與分量圖像進行不同處理，然后將2個圖像進行與運算合成，對合成圖劃分區(qū)域并提取不同特征，之后使用支持向量機的方法處理甘蔗莖節(jié)與節(jié)間部分信息，獲取甘蔗莖節(jié)位置，莖節(jié)數(shù)與位置的平均識別率分別為94.11%與91.52%，單幅圖像算法執(zhí)行時間為0.76 s，該方法仍沒有針對整根甘蔗的處理。張衛(wèi)正等[4]基于圖像處理的甘蔗莖節(jié)識別與定位，通過背景轉(zhuǎn)換、中值濾波并通過閾值獲取甘蔗二值化圖像，之后采用圖像分割，圖像翻轉(zhuǎn)以及計算圖像中像素值的方法，得到莖節(jié)位置，處理的莖節(jié)圖像數(shù)據(jù)為單節(jié)且沒有處理整根，時間為0.3 s。張衛(wèi)正等[5]基于高光譜成像技術進行甘蔗莖節(jié)識別與定位方法研究，通過圖像采集裝置上方的光譜儀進行數(shù)據(jù)收集，提取莖節(jié)特征波段建立模型，對莖節(jié)進行識別，但是識別范圍僅限于甘蔗莖節(jié)周圍區(qū)域，并不能識別整根。韋相貴[6]也探討基于智能算法的甘蔗定位切割方法，通過改進的粒子群算法優(yōu)化支持向量機模型，對甘蔗圖像進行識別，模型可以對圖片進行分段識別。王盛等[7]進行基于計算機視覺識別技術的甘蔗種植機械化研究，通過模糊聚類算法對莖節(jié)進行識別定位，識別率為80%。張東紅等基于圖像處理的甘蔗莖節(jié)識別與蔗芽檢測[8]，通過圖像處理得到莖節(jié)位置，多節(jié)識別率80%，識別時間為0.507 s。

目前，基于甘蔗莖節(jié)識別研究的情況[9-11]和甘蔗莖節(jié)識別算法還不能實現(xiàn)甘蔗切種的智能化及機械化，以及滿足日常生產(chǎn)需求。卷積神經(jīng)網(wǎng)絡[12-17]已被證明在圖像識別和分類等領域非常有效，不僅在日常生活中的人臉識別[18]，車牌識別[19]等方面效果卓著[20]，而且在農(nóng)業(yè)領域，已開始應用在植物葉片分類[21]、果實識別[22-24]、動物個體識別[25-26]以及農(nóng)作物病蟲害識別[27-29]等方面，為卷積神經(jīng)網(wǎng)絡在甘蔗表面特征的識別提供了理論參考。

根據(jù)自主開發(fā)的甘蔗切種機的切種需求，需對整根甘蔗進行特征快速識別，本文提出使用改進的YOLOv3網(wǎng)絡對甘蔗特征識別定位處理。通過網(wǎng)絡訓練建立甘蔗莖節(jié)的識別模型，在原始網(wǎng)絡識別定位準確率與速度的基礎上，進一步提高識別檢測速度以及識別率，對切種機拍攝裝置采集的數(shù)據(jù)進行實時處理，對動態(tài)傳輸?shù)膫魉玩溕系母收徇M行莖節(jié)特征信息識別定位，并把實際數(shù)據(jù)傳輸給后續(xù)的切種裝置，進行實時切種，對整根甘蔗進行快速實時地識別處理，結(jié)合課題組設計的智能甘蔗切種機系統(tǒng)其他部分，使整個切種過程實現(xiàn)機械化、智能化，以期提高甘蔗切種機生產(chǎn)效率，減少人工的勞動強度與時間，為甘蔗預切種的工廠化生產(chǎn)提供研究基礎。

1 基于改進YOLOv3網(wǎng)絡模型及識別原理

1.1 YOLOv3網(wǎng)絡

YOLOv3網(wǎng)絡是J Redmon，A Farhadi于2018年提出的一種物體識別定位算法YOLO的改進版本[30]。比YOLOv2網(wǎng)絡[31]更加準確，與其他網(wǎng)絡[32-34]相比，YOLOv3網(wǎng)絡具有識別定位速度更快，識別率高等特點。YOLOv3網(wǎng)絡通過不同尺度的特征圖計算損失函數(shù)，分別檢測不同大小的目標。損失函數(shù)如式（1）所示。

式中為莖節(jié)真實預測框置信度，^表示模型預測值，為模型輸出，為模型輸出總數(shù)，為樣本，為樣本總數(shù)，、為預測框的寬與高，、為預測框中心點坐標，表示莖節(jié)置信度，為類別即莖節(jié)，為忽略的預測框。損失函數(shù)第一部分對預測框的中心坐標進行計算，優(yōu)化、的預測值；第二部分計算優(yōu)化預測框的寬與高；第三部分優(yōu)化莖節(jié)置信度，并減少計算量；第四部分計算類別損失，損失函數(shù)計算過程中使用二元交叉熵，用表示。損失函數(shù)在不同尺度的特征圖上計算損失，并在模型訓練過程中使用了ADAM算法[35]優(yōu)化網(wǎng)絡損失函數(shù)并對參數(shù)進行更新。

1.2 改進YOLOv3網(wǎng)絡

鑒于原始YOLOv3網(wǎng)絡層數(shù)較多，為進一步提高網(wǎng)絡識別定位速度，本文在原有網(wǎng)絡基礎上做出修改，減少網(wǎng)絡層數(shù)，改變最后輸出層的特征圖尺寸，并減少anchors數(shù)量，由9個減少為6個，達到提升識別速度的效果。具體方式通過減少殘差結(jié)構，構建改進網(wǎng)絡，網(wǎng)絡主要結(jié)構如圖1所示，將原始網(wǎng)絡中殘差結(jié)構3與殘差結(jié)構4的殘差塊數(shù)量減為原來的1/4，并刪減掉殘差結(jié)構5，網(wǎng)絡共減少70層。在正向傳播過程中，padding模式中的same模式通過設置卷積步長為1，使得進行卷積操作后的輸出與輸入尺寸相同，valid表示進行卷積操作時對輸入數(shù)據(jù)不進行填充，通過與卷積操作的步長共同作用，使得運算后特征圖維度減半。模型中各卷積層使用L2參數(shù)正則化對權重矩陣進行正則化，并在每個批次的訓練上對前一層的輸出進行規(guī)范化，使其數(shù)據(jù)均值接近0，標準差為1，從而達到加速收斂、控制過擬合、降低網(wǎng)絡對初始權重不敏感并允許網(wǎng)絡使用較大的學習率的目的，并使用LeakyRelu函數(shù)作為激活函數(shù)。為了擴大網(wǎng)絡對圖像特征的提取數(shù)量，網(wǎng)絡通過跳層將網(wǎng)絡早期特征數(shù)據(jù)與多次降維后采集的特征數(shù)據(jù)進行連接。數(shù)據(jù)經(jīng)過4次步長為2的卷積層降維后，通過卷積運算得到第一個輸出，特征圖尺寸為26×26，將第一個輸出值前的卷積運算結(jié)果通過上采樣與50層的輸出結(jié)合，經(jīng)過卷積運算得到特征圖尺寸為52×52的輸出，之后將第二個輸出值前的卷積運算結(jié)果通過上采樣與32層的輸出結(jié)合，經(jīng)過卷積運算得到第三個輸出，特征圖尺寸為104×104。網(wǎng)絡在最后輸出層使用linear函數(shù)作為激活函數(shù)。改進的YOLOv3網(wǎng)絡正向傳播過程如圖2所示。

圖1 改進的YOLOv3網(wǎng)絡主要結(jié)構

圖2 改進的YOLOv3網(wǎng)絡正向傳播過程

2 網(wǎng)絡訓練

2.1 樣本選取

樣本選取廣西甘蔗生產(chǎn)協(xié)同創(chuàng)新中心廣西大學扶綏甘蔗育種基地出產(chǎn)的甘蔗良種，甘蔗生長期約為6～8個月，甘蔗平均直徑為30 mm，共3批，每批約180根甘蔗。在課題組自主開發(fā)的甘蔗預切種式智能橫向切種機的拍攝裝置下進行圖像采集。

2.2　圖像采集與預處理

本課題組自主設計制作的甘蔗預切種智能橫向切種機整體結(jié)構如圖3a所示，切種機整體由4部分構成，圖中顯示其中3部分，分別為切種機液壓裝置，切種機切種裝置以及切種機拍攝裝置。拍攝裝置對甘蔗圖像進行采集，如圖3b所示，裝置內(nèi)設有鏈式甘蔗蔗種連續(xù)傳送機構，傳送機構由一臺57步進電機驅(qū)動，甘蔗通過傳送系統(tǒng)可連續(xù)、依次橫向送入圖像采集系統(tǒng)進行圖像采集，傳送系統(tǒng)由步進電機驅(qū)動、PLC控制，傳送速度在0.01～0.5 m/s范圍內(nèi)，可根據(jù)需要連續(xù)調(diào)整送進速度。

圖3 試驗平臺

根據(jù)傳送速度對甘蔗圖像清晰度影響的統(tǒng)計試驗，如果傳送速度太低，影響效率，如速度太快，會影響圖像的清晰度。在0.1 m/s的蔗種傳送速度、以及平均光照度在430.7 lx時，系統(tǒng)具有最好的識別精度，因此本試驗采用傳送速度為0.1 m/s。通過內(nèi)置于視頻采集裝置上方的攝像頭采集視頻數(shù)據(jù)，攝像頭在傳送鏈所在平面上方約1.5 m處，使用RMONCAM1080P攝像頭G200無畸變型，采集視頻圖像尺寸為1 920×1 080像素，視頻幀率為20 幀/s。將采集的視頻圖像數(shù)據(jù)截圖并進行標記，生成模型訓練所需的訓練集、驗證集與測試集。試驗采用拍攝裝置采集的整根的甘蔗圖片650張，莖節(jié)數(shù)量約12 000個，分別作為訓練集450張，驗證集50張，測試集150張，訓練集，驗證集與測試集圖片分辨率為416×416像素。

2.3 試驗軟件與硬件

本文處理平臺為臺式機電腦，處理器為AMD2700X，主頻為3.7 GHz，8 G內(nèi)存，顯卡GeForce GTX 1060 6 G。運行環(huán)境為Windows 10，程序使用python編寫，調(diào)用Keras、OpenCV等庫并在Spyder上運行。

2.4 試驗流程

通過構建不同結(jié)構的改進YOLOv3網(wǎng)絡，將訓練用數(shù)據(jù)集輸入網(wǎng)絡進行訓練，訓練過程每6張圖片作為一個批次輸入網(wǎng)絡，訓練過程根據(jù)驗證集數(shù)據(jù)保留最優(yōu)模型，訓練完成后通過測試集進行模型性能測試，與原始網(wǎng)絡測試結(jié)果進行對比，選取效果最優(yōu)的模型作為甘蔗莖節(jié)識別模型，并對模型識別情況分析，通過對識別后的數(shù)據(jù)分析處理，進一步完善改進的YOLOv3的甘蔗莖節(jié)動態(tài)識別方法。試驗流程如圖4所示。

圖4 試驗流程圖

2.5 模型測試與評估

在機器學習領域，模型性能評估可以根據(jù)模型的準確率、召回率以及模型的平均精確度AP進行評價。AP值為準確率以及召回率構成的P-R曲線的面積，準確率為測試模型中預測的實際正樣本與預測的正樣本（包括被錯誤預測為正樣本的負樣本）的比值，表示模型的預測結(jié)果中真實正樣本的比例；而召回率為模型預測的真實正樣本數(shù)量與樣本中的真實正樣本數(shù)量的比值，表示模型預測的正樣本占實際正樣本數(shù)量的比例，具體計算如式（2）、（3）以及（4）所示，其中：TP為被檢測到的正樣本，即被正確檢測到的莖節(jié)樣本數(shù)；TN為被檢測到的負樣本數(shù)，即沒有框選的甘蔗其他部分；FN為被檢測為負樣本的正樣本數(shù)，即沒有被檢測的莖節(jié)數(shù)；FP為被檢測為正樣本的負樣本數(shù)，即被檢測為莖節(jié)的甘蔗其他區(qū)域。為精確率下降點個數(shù)。通過準確率、召回率以及AP值可以準確表示模型的性能。

3 試驗結(jié)果分析

將驗證集與訓練集輸入網(wǎng)絡中進行訓練，在對網(wǎng)絡進行訓練過程中，經(jīng)過4 000次迭代，得到訓練集與驗證集損失函數(shù)下降曲線，如圖5所示。從圖中可以看出在網(wǎng)絡迭代訓練過程中，500次迭代附近，驗證集損失函數(shù)變化開始放緩，在2 000次迭代以后，訓練集損失函數(shù)繼續(xù)呈現(xiàn)下降趨勢，而驗證集已不再下降，在45左右浮動，表明在2 000次迭代后，網(wǎng)絡對于訓練數(shù)據(jù)出現(xiàn)過擬合現(xiàn)象，從而確定網(wǎng)絡訓練迭代次數(shù)為2 000次。訓練過程中網(wǎng)絡根據(jù)驗證集損失函數(shù)保留最優(yōu)權重等參數(shù)。

圖5 甘蔗莖節(jié)識別損失函數(shù)曲線

3.1 模型的性能分析

根據(jù)實際切種需要，為了能夠獲取切刀位置，需對莖節(jié)完成定位，本文通過從150張測試圖片中隨機選取10組100張測試圖片進行測試計算，圖片包含多種光照強度以及甘蔗表面泥土等因素的照片。測試莖節(jié)平均每組1 734個，改進模型識別莖節(jié)目標平均每組1 622個，其中50個目標為FP，1 571目標為TP，原始模型識別莖節(jié)目標平均每組1 570個，其中39個目標為FP，1 531目標為TP。模型的測試性能可由AP值，準確率值以及召回率值表示。由于值與值之間的關系當一個值變大時，另一個將變小，本文要得到兩個的平衡點，所以根據(jù)實際切種需求。通過設置不同的score值與IoU值測試結(jié)束后得到的最優(yōu)模型，10組模型性能試驗平均值對比如表1所示，平均AP值為90.38%，平均值為96.89%，平均值為90.64%，平均識別時間為28.7 ms。相對于原始網(wǎng)絡，平均AP提高2.26個百分點，平均值降低0.61個百分點，平均值提高2.33個百分點，識別時間減少22.8 ms。

表1 2種模型測試對比

3.2 方法比較

各種莖節(jié)識別方法對比如表2所示。通過試驗得到的數(shù)據(jù)與其他莖節(jié)識別方法的比較，本文方法具有速度快，平均精確度高的特點，在莖節(jié)每幅圖片中能識別整根莖節(jié)特征，并且完成圖片中所有莖節(jié)的識別用時最短。試驗環(huán)境為實際切種條件下，具有較高的實用性。

表2 甘蔗莖節(jié)識別方法對比

3.3 識別結(jié)果分析

經(jīng)過10組測試試驗，平均精確度AP為90.38%，平均每組1 734個目標，其中1 571個莖節(jié)目標被識別出來，163個莖節(jié)沒有識別出來。試驗結(jié)果如圖6所示。測試圖片中大方框為模型標記的莖節(jié)位置，小方框為人工標記的莖節(jié)位置，框內(nèi)有斜線的為模型預測的錯誤莖節(jié)位置。通過對測試圖片的分析，模型測試結(jié)果如圖6a所示；未識別的莖節(jié)，即FN的情況，用圓圈表示，如圖6b所示；識別率為90.38%的原因中，一是部分莖節(jié)沒有被識別出來，即FN，數(shù)量占大部分；二是因為莖節(jié)其他部分被識別為莖節(jié)，并且主要為網(wǎng)絡在莖節(jié)附近區(qū)域的識別錯誤，即FP，如圖6c所示。

對于以上情況，在實際切種過程中，識別定位系統(tǒng)通過對實時視頻數(shù)據(jù)進行處理，對單根甘蔗跟蹤識別定位，更新莖節(jié)信息以減少實際識別過程中的FN，提高識別率；對于FP的情況，在每根甘蔗識別完成后，對莖節(jié)數(shù)據(jù)進行整合，根據(jù)甘蔗生長情況，本文根據(jù)預測框的坐標信息設置閾值為5像素值，當兩個莖節(jié)預測框中心點之間的距離小于閾值時，比對莖節(jié)預測框的概率值，舍棄小的莖節(jié)預測框，從而達到減小FP的目的，通過10組試驗，準確率提高1%。莖節(jié)之間距離計算公式為式（5），其中，c為相鄰莖節(jié)預測框之間距離，u、u分別為2個相鄰莖節(jié)預測框中心點橫坐標，為預測框總數(shù)。

c=u?u(1≤<≤)（5）

圖6 識別結(jié)果分析

3.4 識別時間分析

根據(jù)識別定位網(wǎng)絡的性質(zhì)，在數(shù)據(jù)輸入網(wǎng)絡前，輸入圖片都被轉(zhuǎn)換為固定尺寸，整個模型對圖片的識別處理時間主要由2部分構成，一部分是模型對輸入圖片的尺寸處理時間，另一部分為網(wǎng)絡模型對圖片的識別處理時間。其中網(wǎng)絡模型對圖片的識別處理時間恒定，只與網(wǎng)絡規(guī)模有關，并不受輸入圖片尺寸影響。通過對1 000張圖片試驗測試，改進網(wǎng)絡在圖片處理速度上明顯高于原始網(wǎng)絡，時間縮短約23 ms。在實際切種過程中，切刀只能處理1根甘蔗信息，傳送鏈上同時收集的多根甘蔗數(shù)據(jù)沒有使用，因此根據(jù)實際需要，在保證識別的情況下，對采集的圖像數(shù)據(jù)，保持橫向尺寸，截取圖像中間部分區(qū)域。通過設置輸入圖片尺寸從1 920×149像素逐漸增大到1 920×1 080像素，進行尺寸處理時間的統(tǒng)計，結(jié)果如圖7所示，橫坐標為圖片縱向尺寸，縱坐標為模型縮放圖像的處理時間，隨著輸入圖像尺寸的增加而增大，時間由7 ms逐漸增大到35 ms。為了提高識別定位系統(tǒng)整體處理速度，采用對輸入圖像進行預處理的方法，裁剪圖像中間部分，使其尺寸為1 920×150像素，可以使尺寸變化時間減少約28 ms，達到提升整體處理速度目的。

圖7 輸入圖片尺寸與識別系統(tǒng)處理時間的關系

4 結(jié) 論

本文提出了基于改進的YOLOv3網(wǎng)絡的甘蔗莖節(jié)特征識別方法。本方法通過減少中間卷積層構成的殘差結(jié)構數(shù)量，改變輸出特征圖尺寸以及減少anchors數(shù)量，對原始網(wǎng)絡進行改進，在甘蔗莖節(jié)特征識別速度以及識別率方面得到提高，并通過對改進網(wǎng)絡的輸出數(shù)據(jù)進行分析計算，進一步提高方法的準確率。

1）通過試驗測試，基于改進的YOLOv3網(wǎng)絡的莖節(jié)定位識別模型平均精確度達到90.38%，平均識別時間28.7 ms，相對于原始網(wǎng)絡，時間縮短22.8 ms，平均精確度提高2.26個百分點，表明改進的YOLOv3網(wǎng)絡可以應用于實際的甘蔗切種機中，實現(xiàn)實時快速準確地識別與定位。

2）根據(jù)試驗情況，在網(wǎng)絡輸出后增加數(shù)據(jù)處理部分，整合模型輸出數(shù)據(jù)，根據(jù)甘蔗生長情況，對甘蔗莖節(jié)預測框中心坐標進行計算，剔除錯誤預測框，使得準確率值提高1%。

3）為進一步提高切種機整體處理速度，將攝像裝置拍攝的視頻數(shù)據(jù)，通過預處理到1 920×150像素，使得整體處理時間縮短約28 ms。

[1]劉慶庭，莫建霖，李廷化，等. 我國甘蔗種植機技術現(xiàn)狀及存在的關鍵技術問題[J]. 甘蔗糖業(yè)，2011(5)：52－58.

[2]黃亦其，黃體森，黃媚章，等. 基于局部均值的甘蔗莖節(jié)識別[J]. 中國農(nóng)機化學報，2017，38(2)：76－80.

Huang Yiqi, Huang Tisen, Huang Meizhang, et al. Recognition of sugarcane nodes based on local mean[J]. Journal of Chinese Agricultural Mechanization, 2017, 38(2): 76－80. (in Chinese with English abstract)

[3]陸尚平，文友先，葛維，等.基于機器視覺的甘蔗莖節(jié)特征提取與識別[J]. 農(nóng)業(yè)機械學報，2010，41(10)：190－194.

Lu Shangping, Wen Youxian, Ge Wei, et al. Recognition and features extraction of sugarcane nodes based on machine vision[J]. Transactions of the Chinese Society for Agricultural Machinery, 2010, 41(10): 190－194. (in Chinese with English abstract)

[4]張衛(wèi)正，董壽銀，齊曉祥，等.基于圖像處理的甘蔗莖節(jié)識別與定位[J]. 農(nóng)機化研究，2016，38(4)：217－221，257.

Zhang Weizheng, Dong Shouyin, Qi Xiaoxiang, et al. The identification and location of sugarcane internode based on image processing[J]. Journal of Agricultural Mechanization Research, 2016, 38(4): 217－221, 257. (in Chinese with English abstract)

[5]張衛(wèi)正，張偉偉，張煥龍，等.基于高光譜成像技術的甘蔗莖節(jié)識別與定位方法研究[J]. 輕工學報，2017，32(5)：95－102.

Zhang Weizheng, Zhang Weiwei, Zhang Huanlong, et al. Research on identification and location method of sugarcane node based on hyperspectral imaging technology[J]. Journal of Light Industry, 2017, 32(5): 95－102. (in Chinese with English abstract)

[6]韋相貴.基于智能算法的甘蔗定位切割方法[J]. 江蘇農(nóng)業(yè)科學，2016，44(4)：394－398.

[7]王盛，李明.基于計算機視覺識別技術的甘蔗種植機械化研究[J]. 農(nóng)機化研究，2017，39(6)：198－201.

Wang Sheng, Li Ming. Mechanization of sugarcane planting based on computer vision identification technology[J]. Journal of Agricultural Mechanization Research, 2017, 39(6): 198－201. (in Chinese with English abstract)

[8]張東紅，吳玉秀，陳晨.基于圖像處理的甘蔗莖節(jié)識別與蔗芽檢測[J]. 洛陽理工學院學報：自然科學版，2019，29(2)：67－72.

Zhang Donghong, Wu Yuxiu, Chen Chen. Sugarcane stem section identification and sugarcane bud detection based on image processing[J]. Journal of Luoyang Institute of Science and Technology: Natural Science Edition, 2019, 29(2): 67－72. (in Chinese with English abstract)

[9]陸尚平. 基于機器視覺的甘蔗莖節(jié)識別與蔗芽檢測研究[D]. 武漢：華中農(nóng)業(yè)大學，2011.

Lu Shangping. Research on Sugarcane Internodes and Sugarcane Buds Identification Based on Machina Vision[D]. Wuhai: Huazhong Agricultural University, 2011. (in Chinese with English abstract)

[10]張圓圓，何永玲，王躍飛，等.顏色空間圖像處理技術在蔗節(jié)識別上的應用[J]. 農(nóng)機化研究，2020，42(1)：231－236.

Zhang Yuanyuan, He Yongling, Wang Yuefei, et al. Application of color space image processing technology in sugarcane node recognition[J]. Journal of Agricultural Mechanization Research, 2020, 42(1): 231－236. (in Chinese with English abstract)

[11]石昌友，王美麗，劉欣然，等.基于機器視覺的不同類型甘蔗莖節(jié)識別[J]. 計算機應用，2019，39(4)：1208－1213.

Shi Changyou, Wang Meili, Liu Xinran, et al. Node recognition for different types of sugarcanes based on machine vision[J]. Journal of Computer Applications, 2019, 39(4): 1208－1213. (in Chinese with English abstract)

[12]Lecun Y, Bottou L, Bengio Y, et al. Gradient-based learning applied to document recognition[J]. Proceedings of the IEEE, 1998, 86(11): 2278－2324.

[13]Krizhevsky A, Sutskever I, Hinton G E. ImageNet classification with deep convolutional neural networks[C]// International Conference on Neural Information Processing Systems. 2012.

[14]Simonyan K, Zisserman A. Very deep convolutional networks for large-scale image recognition[R]. arXiv: 1409.1556, 2014.

[15]He K, Zhang X, Ren S, et al. Deep residual learning for image recognition[C]//Proceedings of the IEEE conference on computer vision and pattern recognition, 2016: 770—778.

[16]Ren S, He K, Girshick R, et al. Faster R-CNN: Towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2015, 39(6): 1137－1149.

[17]Redmon J, Divvala S, Girshick R, et al. You only look once: unified, real-time object detection[R]. arXiv: 1506.02640, 2015.

[18]Xiong C, Zhao X, Tang D, et al. Conditional convolutional neural network for modality-aware face recognition[C]// 2015 IEEE International Conference on Computer Vision (ICCV). IEEE Computer Society, 2015.

[19]Zhao Z, Yang S, Ma X. Chinese license plate recognition using a convolutional neural network[C]// Computational Intelligence and Industrial Application, 2008. PACIIA '08. Pacific-Asia Workshop on. IEEE, 2009.

[20]余永維，殷國富，殷鷹，等. 基于深度學習網(wǎng)絡的射線圖像缺陷識別方法[J]. 儀器儀表學報，2014，35(9)：2012－2019.

Yu Yongwei, Yin Guofu, Yin Ying, et al. Defect recognition for radiographic image based on deep learning network[J]. Journal of Instrumentation, 2014, 35(9): 2012－2019. (in Chinese with English abstract)

[21]龔丁禧，曹長榮. 基于卷積神經(jīng)網(wǎng)絡的植物葉片分類[J].計算機與現(xiàn)代化，2014(4)：12－15，19.

Gong Dingxi, Cao Changrong. Plant leaf classification based on CNN[J]. Computer and Modernization, 2014(4): 12－15, 19. (in Chinese with English abstract)

[22]薛月菊，黃寧，涂淑琴，等. 未成熟芒果的改進YOLOv2識別方法[J]. 農(nóng)業(yè)工程學報，2018，34(7)：173－179.

Xue Yueju, Huang Ning, Tu Shuqin, et al. Immature mango detection based on improved YOLOv2[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(7): 173－179. (in Chinese with English abstract)

[23]傅隆生，馮亞利，Elkamil Tola，等.基于卷積神經(jīng)網(wǎng)絡的田間多簇獼猴桃圖像識別方法[J]. 農(nóng)業(yè)工程學報，2018，34(2)：205－211.

Fu Longsheng, Feng Yali, Elkamil Tola, et al. Image recognition method of multi-cluster kiwifruit in field based on convolutional neural networks[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(2): 205－211. (in Chinese with English abstract)

[24]趙德安，吳任迪，劉曉洋，等.基于YOLO深度卷積神經(jīng)網(wǎng)絡的復雜背景下機器人采摘蘋果定位[J]. 農(nóng)業(yè)工程學報，2019，35(3)：164－173.

Zhao Dean, Wu Rendi, Liu Xiaoyang, et al. Apple positioning based on YOLO deep convolutional neural network for picking robot in complex background[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(3): 164－173. (in Chinese with English abstract)

[25]胡志偉，楊華，婁甜田，等.基于全卷積網(wǎng)絡的生豬輪廓提取[J]. 華南農(nóng)業(yè)大學學報，2018，39(6)：111－119.

Hu Zhiwei, Yang Hua, Lou Tiantian, et al. Extraction of pig contour based on fully convolutional networks[J]. Journal of South China Agricultural University, 2018, 39(6): 111－119. (in Chinese with English abstract)

[26]趙凱旋，何東健.基于卷積神經(jīng)網(wǎng)絡的奶牛個體身份識別方法[J]. 農(nóng)業(yè)工程學報，2015，31(5)：181－187.

Zhao Kaixuan, He Dongjian. Recognition of individual dairy cattle based on convolutional neural networks[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(5): 181－187. (in Chinese with English abstract)

[27]楊國國，鮑一丹，劉子毅. 基于圖像顯著性分析與卷積神經(jīng)網(wǎng)絡的茶園害蟲定位與識別[J]. 農(nóng)業(yè)工程學報，2017，33(6)：156－162.

Yang Guoguo, Bao Yidan, Liu Ziyi. Localization and recognition of pests in tea plantation based on image saliency analysis and convolutional neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(6): 156－162. (in Chinese with English abstract)

[28]劉媛. 基于深度學習的葡萄葉片病害識別方法研究[D]. 蘭州：甘肅農(nóng)業(yè)大學，2018.

Liu Yuan. Research on Methods for Grape Leaf Disease Recognition Based on Deep Learning[D]. Lanzhou: Gansu Agricultural University, 2018. (in Chinese with English abstract)

[29]張建華，孔繁濤，吳建寨，等.基于改進VGG卷積神經(jīng)網(wǎng)絡的棉花病害識別模型[J]. 中國農(nóng)業(yè)大學學報，2018，23(11)：161－171.

Zhang Jianhua, Kong Fantao, Wu Jianzhai, et al. Cotton disease identification model based on improved VGG convolution neural network[J]. Journal of China Agricultural University, 2018, 23(11): 161－171. (in Chinese with English abstract)

[30]Redmon J, Farhadi A. YOLOv3: An incremental improvement[R]. arXiv:1804.02767, 2018.

[31]Redmon J, Farhadi A. YOLO9000: Better, faster, stronger[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). IEEE, 2017: 6517－6525.

[32]Liu W, Anguelov D, Erhan D, et al. Ssd: Single shot multiBox detector[C]//European conference on computer vision. Spinger, Cham, 2016: 21－37.

[33]Fu C Y, Liu W, Ranga A, et al. DSSD: Deconvolutional single shot detector[R]. arXiv:1701.06659, 2017.

[34]Lin T Y , Goyal P , Girshick R , et al. Focal loss for dense object detection[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2017, 1: 2999-3007.

[35]Kingma D P, Ba J. Adam: A method for stochastic optimization[R]. arXiv:1412.6980, 2014.

Increasing the real-time dynamic identification efficiency of sugarcane nodes by improved YOLOv3 network

Li Shangping1, Li Xianghui1, Zhang Ke2, Li Kaihua1, Yuan Honglei1, Huang Zongxiao2

(1.,,530006,; 2.,530004,)

To popularize the technology of sugarcane pre-cutting seed, and cultivation with good method, combine with the development of intelligent transverse sugarcane pre-cutting seed-cutting machine, and realize the continuous and dynamic intelligent recognition of sugarcane seed characteristics by sugarcane seed-cutting device, in this study, an intelligent recognition convolution neural network model based on improved YOLOv3 network was established by continuously and dynamically collecting the surface data of the whole sugarcane through the camera built in the black box of the sugarcane cutting machine. The real-time location and recognition of the image features of the whole sugarcane cane nodes in the input recognition system was carried out by the camera inside the system. Compared with the recognition information, the improved network timely updated the sugarcane nodes data, identified and marked the position of the sugarcane nodes, and then got real-time sugarcane nodes information through data processing, which was transmitted to the multi-tool cutting table for real-time cutting. In this paper, based on the improved YOLOv3 network, a sugarcane nodes recognition system was established. The image acquisition was carried out by the camera in the sugarcane cutting system. The video data of sugarcane was collected before the training of this network, and then the image data was processed to establish training set, validation set and test set. The training data sets of different improved models were tested and the best model was selected as the model in this paper. Through the training and test, the measured results showed that the recognition accuracy of the model for sugarcane nodes was 96.89%, the recall rate was 90.64%, average recognition accuracy AP was 90.38%, and the average recognition time of pictures was 28.7 ms. Compared with the original network, the AP was improved by 2.26percentage point, the accuracy was decreased by 0.61percentage point, and the recognition time was shortened by 22.8 ms. At present, the recognition of sugarcane nodes still remained in single or basic image processing and recognition, and there was still a lack of fast processing methods for the whole sugarcane image. In this study, we proposed to use the improved YOLOv3 network to recognize and locate sugarcane features, and to establish the recognition model of sugarcane nodes through network training. On the basis of the accuracy and speed of the original network identification and location, the speed of identification, detection and the recognition rate were further improved. The whole sugarcane can be identified and processed quickly in real time, which can meet the needs of various sugarcane seed cutting. Combining with the other parts of the intelligent sugarcane cutting machine system designed by our research group, the whole cutting process can be mechanized and intellectualized, which can greatly improve the quality of sugarcane cutting, reduce the labor intensity and time, and greatly improve the production efficiency. It provides a research basis for the industrialized production of sugarcane pre-cutting and realizes the sugarcane production. Continuous and real-time dynamic identification of sugarcane seeds lays the application foundation for the development of intelligent transverse cutting machine for sugarcane pre-cutting.

convolutional neural network; machine vision; models; YOLOv3 network; sugarcane nodes; identification

李尚平，李向輝，張 可，李凱華，袁泓磊，黃宗曉. 改進YOLOv3網(wǎng)絡提高甘蔗莖節(jié)實時動態(tài)識別效率[J]. 農(nóng)業(yè)工程學報，2019，35(23)：185－191.doi：10.11975/j.issn.1002-6819.2019.23.023 http://www.tcsae.org

Li Shangping, Li Xianghui, Zhang Ke, Li Kaihua, Yuan Honglei, Huang Zongxiao. Increasing the real-time dynamic identification efficiency of sugarcane nodes by improved YOLOv3 network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(23): 185－191. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2019.23.023 http://www.tcsae.org

2019-07-12

2019-10-27

廣西科技重點研發(fā)計劃（桂科AB16380199）

李尚平，博士，教授，博士生導師，研究領域：農(nóng)業(yè)機械化工程。Email：spli501@vip.sina.com

10.11975/j.issn.1002-6819.2019.23.023

TP391.4

A

1002-6819(2019)-23-0185-07