基于YOLO網(wǎng)絡(luò)的幼苗分揀系統(tǒng)設(shè)計(jì)

吳 超，張 成，吳柯錦，劉俊安，姚建新

(常州機(jī)電職業(yè)技術(shù)學(xué)院，江蘇 常州 213164)

0 引言

幼苗栽培整理系統(tǒng)技術(shù)主要用于提高生產(chǎn)力、統(tǒng)一經(jīng)營(yíng)管理，在國(guó)內(nèi)有很大的發(fā)展空間。但幼苗盤(pán)的搬運(yùn)和分揀主要由人工完成，降低了農(nóng)業(yè)自動(dòng)化程度。目前，國(guó)內(nèi)育苗場(chǎng)因標(biāo)準(zhǔn)不統(tǒng)一，幼苗盤(pán)的搬運(yùn)作業(yè)機(jī)械化程度仍然不高，其整理方式以人力為主，自動(dòng)化程度低且增加了勞動(dòng)成本。國(guó)外設(shè)施農(nóng)業(yè)發(fā)達(dá)的國(guó)家對(duì)幼苗的整理裝置研究較多，荷蘭通過(guò)控制農(nóng)業(yè)機(jī)器人對(duì)幼苗進(jìn)行逐個(gè)整理，但是這些系統(tǒng)復(fù)雜、價(jià)格昂貴，很難在小規(guī)模農(nóng)企中廣泛應(yīng)用，因而急需一種適合我國(guó)國(guó)情的機(jī)械設(shè)備代替人工操作，實(shí)現(xiàn)幼苗的快速識(shí)別與整理，進(jìn)而與幼苗盤(pán)搬運(yùn)系統(tǒng)相結(jié)合，提高效率，降低勞動(dòng)成本。

1 分揀系統(tǒng)總體設(shè)計(jì)

基于YOLO網(wǎng)絡(luò)的幼苗分揀系統(tǒng)主要包括幼苗根部識(shí)別和機(jī)械手控制兩部分，樹(shù)苗的根部識(shí)別是通過(guò)攝像頭采集圖像，把采集好的圖像經(jīng)過(guò)YOLOv5[1]算法檢測(cè)，得出抓取點(diǎn)位置，提取坐標(biāo)定位，然后把坐標(biāo)定位數(shù)值，送給機(jī)械臂，接著控制M1魔術(shù)師機(jī)械手[2]，運(yùn)行到相應(yīng)的幼苗根部上方，抓取幼苗，改變位置。

通過(guò)視覺(jué)系統(tǒng)圖像的采集、YOLO網(wǎng)絡(luò)檢測(cè)數(shù)據(jù)分析，得出苗木的抓取點(diǎn)位姿信息，結(jié)合相應(yīng)算法獲取苗木當(dāng)前狀態(tài)，將信息傳遞給機(jī)械手[3]，機(jī)械手根據(jù)獲取到的位姿信息對(duì)苗木的姿態(tài)進(jìn)行調(diào)整，得出符合栽培要求的狀態(tài)。

通過(guò)流水線(xiàn)來(lái)識(shí)別幼苗的根部，通過(guò)對(duì)其位姿的檢測(cè)做出相應(yīng)的反饋到機(jī)械手，機(jī)械手根據(jù)信號(hào)對(duì)幼苗進(jìn)行整理以達(dá)到理想效果。

分揀系統(tǒng)以越疆科技M1機(jī)械臂為主要硬件平臺(tái)[4]，結(jié)合機(jī)器視覺(jué)設(shè)計(jì)了軟件系統(tǒng)并對(duì)不同的工件進(jìn)行了分揀實(shí)驗(yàn)驗(yàn)證，在實(shí)際的生產(chǎn)中具有較高的理論指導(dǎo)和應(yīng)用價(jià)值。分揀系統(tǒng)總體設(shè)計(jì)思路如圖1所示。

圖1 分揀系統(tǒng)總體設(shè)計(jì)思路

2 定位設(shè)計(jì)

識(shí)別圖像中的多個(gè)目標(biāo)和坐標(biāo)提取是系統(tǒng)對(duì)圖像進(jìn)行預(yù)處理的目的。攝像頭采集到的圖像由越疆科技的視覺(jué)識(shí)別系統(tǒng)完成。

樹(shù)苗坐標(biāo)并不能直接作為工件的定位坐標(biāo)，需要將其從像素坐標(biāo)系轉(zhuǎn)換到檢測(cè)的實(shí)際定位坐標(biāo)，坐標(biāo)轉(zhuǎn)換原理如圖2所示。

圖2 坐標(biāo)轉(zhuǎn)換原理

系統(tǒng)需要先進(jìn)行坐標(biāo)定位，標(biāo)定出圖像在實(shí)際定位中的比例，機(jī)器人通過(guò)通信工作進(jìn)行抓取處理。

2.1 樹(shù)苗根部位置定位

機(jī)器視覺(jué)處理采用DobotVisionStudio。算法平臺(tái)繼承機(jī)器視覺(jué)軟件，首先，在完成樹(shù)苗分析以后，需要對(duì)樹(shù)苗的位置進(jìn)行定位，求取樹(shù)苗根部位置的二值圖像。

2.2 YOLOv5算法原理

YOLOv5是一種單階段目標(biāo)檢測(cè)算法，主要包括輸入端、基準(zhǔn)端、頸部網(wǎng)絡(luò)端、頭部網(wǎng)絡(luò)端。

(1)輸入端：是指模型訓(xùn)練階段的一些基本方法，包括Mosaic數(shù)據(jù)增強(qiáng)、自適應(yīng)錨框計(jì)算、自適應(yīng)圖片縮放等。

(2)基準(zhǔn)端：主要包括Focus，CSP兩種結(jié)構(gòu)。

(3)頸部連接端：在基準(zhǔn)網(wǎng)絡(luò)與輸出層之間會(huì)有一些參數(shù)修改，所以會(huì)插入一些層，在YOLOv5中添加了FPN+PAN結(jié)構(gòu)。

(3)頭部網(wǎng)絡(luò)端：錨框機(jī)制主要改進(jìn)的是訓(xùn)練時(shí)的損失函數(shù)GIOU_Loss以及預(yù)測(cè)框篩選的DIOU_NUMS。其中，GIOU_Loss GIoU是源自IoU的一種邊框預(yù)測(cè)的損失計(jì)算方法，在目標(biāo)檢測(cè)等領(lǐng)域，需要對(duì)預(yù)測(cè)邊框與實(shí)際標(biāo)注邊框進(jìn)行對(duì)比，計(jì)算損失。原理如圖3所示。

圖3 YOLOv5算法原理

在經(jīng)典的NMS中，得分最高的檢測(cè)框和其他檢測(cè)框逐一算出對(duì)應(yīng)的IOU值，并將該值超過(guò)NMS threshold的框全部過(guò)濾掉?？梢钥闯?，在經(jīng)典N(xiāo)MS算法中，IOU是最重要的因素。

但是在實(shí)際應(yīng)用場(chǎng)景中，當(dāng)兩個(gè)不同物體挨得很近時(shí)，由于IOU值比較大，往往經(jīng)過(guò)NMS處理后，只剩下對(duì)應(yīng)的檢測(cè)框，導(dǎo)致漏檢的錯(cuò)誤情況發(fā)生。

基于此，DIOU-NMS不僅考慮IOU，還考慮兩個(gè)框中心點(diǎn)之間的距離。如果兩個(gè)框之間的IOU和距離比較大，可能會(huì)認(rèn)為這是兩個(gè)物體的框而不會(huì)被過(guò)濾掉。公式如下：

(1)

2.3 YOLOv5目標(biāo)檢測(cè)原理

首先輸入圖像，運(yùn)用自適應(yīng)圖像縮到規(guī)定大小的范圍，然后劃分網(wǎng)絡(luò)，分別預(yù)測(cè)目標(biāo)邊框，預(yù)測(cè)目標(biāo)所屬類(lèi)別，經(jīng)過(guò)運(yùn)算經(jīng)行置信度評(píng)分；其次對(duì)閾值進(jìn)行比較，如果不是特別大的抑制，繼續(xù)輸出目標(biāo)邊界框和標(biāo)注目標(biāo)類(lèi)型以及置信度評(píng)分，否則就舍棄邊框，YOLOv5目標(biāo)檢測(cè)流程如圖4所示。

3 機(jī)器人抓取流程

機(jī)器人抓取程序思路：PC機(jī)與相機(jī)建立通信聯(lián)系，傳送帶傳送樹(shù)苗到指定的拍照位置，視覺(jué)處理獲取位置，數(shù)據(jù)傳送給機(jī)器人，機(jī)器人運(yùn)動(dòng)到點(diǎn)，然后抓取樹(shù)枝，調(diào)整樹(shù)枝位置到合適的角度，然后傳送帶送走樹(shù)枝。循環(huán)執(zhí)行機(jī)器人抓取流程如圖5所示。

圖5 機(jī)器人抓取流程

4 結(jié)語(yǔ)

目前，農(nóng)業(yè)用的樹(shù)苗分揀精確識(shí)別依舊面臨很多問(wèn)題，如移動(dòng)平臺(tái)采集圖像成像質(zhì)量不佳；在陰雨、大霧等氣候條件惡劣情況下，容易受煙、霧、不良光照干擾，從而丟失目標(biāo)紋理細(xì)節(jié)，對(duì)目標(biāo)部位識(shí)別造成困難。以上問(wèn)題需要對(duì)圖像進(jìn)行針對(duì)性的預(yù)處理，完成圖像增強(qiáng)和重建等工作。在實(shí)驗(yàn)測(cè)試中還發(fā)現(xiàn)，傳送帶在速度較快，多重目標(biāo)識(shí)別情況下漏檢、錯(cuò)檢概率明顯增加，說(shuō)明在復(fù)雜背景下的檢測(cè)識(shí)別能力還有提升空間。