基于YOLOv5算法的名優(yōu)茶采摘機(jī)器人*

代云中 ， 蔣天宸 ， 楊 威 ， 楊 昕 ， 楊新茂 ， 劉 楊 ， 文宏康

（1.宜賓職業(yè)技術(shù)學(xué)院智能制造學(xué)院，四川 宜賓 644003；2.電子科技大學(xué)航空航天學(xué)院，四川 成都 611731）

0 引言

名優(yōu)茶采摘原料要求是“獨(dú)芽、無黑頭、無發(fā)酵”以及“一芽一葉、一芽?jī)扇~、一芽三葉”等，采摘時(shí)間為1~2天，及時(shí)采摘才能凸顯名優(yōu)茶的顏色、氣味、口感[1-2]。文獻(xiàn)[3]的市場(chǎng)調(diào)研表明，名優(yōu)茶（特級(jí)茶）的市場(chǎng)均價(jià)約為1 200 元/kg，兩葉/三葉的市場(chǎng)均價(jià)為100 元/kg。研究表明，名優(yōu)茶雖然價(jià)格高，但是銷量好，是更受廣大人民喜愛的品質(zhì)，但采摘不及時(shí)會(huì)造成產(chǎn)量低的情況出現(xiàn)[4-5]。

人工采摘名優(yōu)茶一般每人每天工作8 h左右，最多也只能采摘2 kg~3 kg的茶葉，勞動(dòng)強(qiáng)度大且工作效率低，特別到了春茶季節(jié)，葉芽不及時(shí)采摘將影響成品茶的質(zhì)量[6-8]。名優(yōu)早春茶具有較高的實(shí)用性與經(jīng)濟(jì)價(jià)值，名優(yōu)茶采摘仍多為人工采摘，存在采摘效率低、采摘不及時(shí)等問題，給茶農(nóng)帶來了巨大的損失，采摘效率低成為名優(yōu)茶產(chǎn)業(yè)高質(zhì)量發(fā)展的瓶頸[8-10]。隨著人工智能、高速GPU大容量芯片、云計(jì)算、智能技術(shù)等一系列學(xué)科和技術(shù)的交互與衍生，使機(jī)器自動(dòng)采摘名優(yōu)茶成為可能。

針對(duì)人工采摘名優(yōu)茶成本高且效率低的問題，非常有必要設(shè)計(jì)一種高效的智能采摘系統(tǒng)和采摘方法。本文基于人工智能、傳感器、云服務(wù)器等技術(shù)，提出了一種基于圖像識(shí)別的名優(yōu)茶智能采摘系統(tǒng)及方法，很好地解決了人工采茶效率低且成本高的問題[11-12]。

1 名優(yōu)茶智能采摘系統(tǒng)

本文提出的基于YOLOv5算法的智能采摘機(jī)器人主要包括數(shù)據(jù)獲取單元、服務(wù)器、控制單元、電機(jī)驅(qū)動(dòng)器、滑臺(tái)、末端名優(yōu)茶機(jī)械采摘手、通信單元。

整個(gè)名優(yōu)茶智能采摘系統(tǒng)工作過程如圖1所示。其中，數(shù)據(jù)獲取單元用于獲取一個(gè)區(qū)域的名優(yōu)茶圖像信息和距離信息，并將獲取的信息傳至服務(wù)器。在收到獲取的信息后，服務(wù)器對(duì)獲取的圖像信息進(jìn)行圖像識(shí)別，將識(shí)別結(jié)果符合要求的信息的距離信息轉(zhuǎn)換為坐標(biāo)信息并發(fā)送給控制單元?？刂茊卧獙⒆鴺?biāo)信息轉(zhuǎn)換為可變脈寬PWM信號(hào)，并將PWM信號(hào)發(fā)送給電機(jī)驅(qū)動(dòng)器。然后電機(jī)驅(qū)動(dòng)器根據(jù)PWM信號(hào)控制滑臺(tái)向多軸進(jìn)行移動(dòng)，并在信號(hào)指示位置控制機(jī)械手進(jìn)行名優(yōu)茶的采摘和收集[1-2]。

圖1 系統(tǒng)工作流程示意圖

在整個(gè)系統(tǒng)中，數(shù)據(jù)采集單元與服務(wù)器、服務(wù)器與控制單元、控制單元與電機(jī)驅(qū)動(dòng)器、電機(jī)驅(qū)動(dòng)器與滑臺(tái)通過通信模塊實(shí)現(xiàn)數(shù)據(jù)傳輸。數(shù)據(jù)采集單元通過USB免驅(qū)動(dòng)的雙目測(cè)距同步模組進(jìn)行圖像的獲取，通過激光測(cè)距模組來獲取圖像的位置信息。

服務(wù)器對(duì)獲取的圖像信息進(jìn)行識(shí)別，將識(shí)別結(jié)果符合要求的信息的距離信息轉(zhuǎn)換為坐標(biāo)信息，在將位置信息發(fā)送給控制單元前，將圖像劃分為N個(gè)區(qū)域，并計(jì)算獲取N個(gè)區(qū)域中心的坐標(biāo)信息，其中N為機(jī)械手的數(shù)量。在每個(gè)所述區(qū)域內(nèi)，通過蟻群算法計(jì)算獲取機(jī)械手的行進(jìn)路徑坐標(biāo)[3-4]。

控制單元包括三個(gè)PWM接口。機(jī)械手通過紅外感應(yīng)器來感應(yīng)名優(yōu)茶并控制刀片靠攏完成名優(yōu)茶的采摘。系統(tǒng)包含一個(gè)供電單元，供電單元設(shè)置有2個(gè)12 V/2 A的電池，串聯(lián)后由24 V轉(zhuǎn)12 V的直流轉(zhuǎn)換器進(jìn)行降壓輸出。

2 名優(yōu)茶智能采摘機(jī)器人設(shè)計(jì)

本課題提出的名優(yōu)茶采摘機(jī)器人如圖2（a）所示，采用可獨(dú)立運(yùn)動(dòng)且無重疊工作區(qū)域的2組采摘裝置。2組獨(dú)立的單芽采摘裝置組裝為一個(gè)整體后，用4支帶有輪子的支腿連接，整個(gè)設(shè)計(jì)采用輕質(zhì)的鋁合金框架結(jié)構(gòu)，質(zhì)量?jī)H約20 kg，制造成本較低且便于搬運(yùn)。單組采摘裝置如圖2（b）所示，包括上層的雙目攝像頭，下層的采摘裝置，X、Y、Z軸的運(yùn)動(dòng)裝置以及搭載在Z軸的單芽采摘手，以此完成名優(yōu)茶的智能采摘。

圖2 總體機(jī)械設(shè)計(jì)圖

3 基于圖像識(shí)別的茶葉智能采摘方法

課題組還設(shè)計(jì)了一種基于圖像識(shí)別的名優(yōu)茶智能采摘方法，該方法包括以下步驟：

步驟A，通過數(shù)據(jù)獲取單元獲取設(shè)定區(qū)域的名優(yōu)茶及其三維坐標(biāo)，并將其上傳至服務(wù)器。

步驟B，服務(wù)器通過圖像識(shí)別算法識(shí)別圖像內(nèi)是否為可采摘的名優(yōu)茶，再將位置信息轉(zhuǎn)換為坐標(biāo)信息，并將坐標(biāo)信息上傳至控制單元。

步驟C，控制單元將坐標(biāo)信息轉(zhuǎn)換為PWM信號(hào)，并傳給電機(jī)驅(qū)動(dòng)器。

步驟D，根據(jù)PWM信號(hào)控制滑臺(tái)向多軸進(jìn)行移動(dòng)，并在信號(hào)指示位置控制機(jī)械手進(jìn)行名優(yōu)茶的采摘和收集。

4 系統(tǒng)具體實(shí)施細(xì)節(jié)

系統(tǒng)服務(wù)器將識(shí)別結(jié)果符合要求的信息的距離信息轉(zhuǎn)換為坐標(biāo)信息的具體步驟為：服務(wù)器通過YOLOv5算法對(duì)圖像進(jìn)行識(shí)別，判斷圖像是否為可采摘的名優(yōu)茶，如果判斷結(jié)果為不是可采摘的名優(yōu)茶，則進(jìn)行下一區(qū)域的圖像獲?。蝗绻袛嘟Y(jié)果為是可采摘的名優(yōu)茶，則提取圖像的位置信息，并將圖像的位置信息轉(zhuǎn)換為坐標(biāo)信息。接著將具體坐標(biāo)發(fā)送給機(jī)器人，控制機(jī)器人采摘手運(yùn)動(dòng)到目標(biāo)名優(yōu)茶位置完成采摘[7]。

把雙目攝像頭視覺拍攝范圍內(nèi)的茶葉分成不同的采摘區(qū)域。2區(qū)是指將采摘區(qū)域分成2個(gè)獨(dú)立的采摘區(qū)域，每個(gè)區(qū)域均有獨(dú)立的機(jī)械采摘手進(jìn)行采摘。4區(qū)則是指將采摘區(qū)域分成4個(gè)獨(dú)立的采摘區(qū)域。本文提出的智能采摘手的分區(qū)采用2區(qū)，在不影響采摘質(zhì)量的前提下，可有效節(jié)約硬件成本。

為了實(shí)現(xiàn)茶葉機(jī)械采摘手依次將采摘區(qū)域內(nèi)的名優(yōu)茶完全采摘，需要對(duì)名優(yōu)茶的采摘路徑進(jìn)行規(guī)劃，本文采用了蟻群算法作為采摘路徑的規(guī)劃算法。在實(shí)現(xiàn)蟻群規(guī)劃算法時(shí)，需要先將雙目攝像頭獲得的所有名優(yōu)茶坐標(biāo)數(shù)據(jù)進(jìn)行歸一化處理，再對(duì)整個(gè)采摘區(qū)域進(jìn)行2分區(qū)。本文的采摘區(qū)域分區(qū)原理是使名優(yōu)茶采摘區(qū)域內(nèi)的名優(yōu)茶數(shù)量相等或者分區(qū)后的采摘區(qū)域面積基本相同。首先，初始化蟻群算法中的參數(shù)，然后進(jìn)行解空間構(gòu)建，接著采用貪婪法則計(jì)算下一個(gè)需要采摘的名優(yōu)茶位置。實(shí)現(xiàn)一次循環(huán)后，會(huì)得出一個(gè)最優(yōu)解，然后將信息素進(jìn)行全局更新，再進(jìn)行下一次迭代，迭代次數(shù)加1，從而重新開始求解新一輪的最優(yōu)解。當(dāng)?shù)螖?shù)達(dá)到了設(shè)定值，將得到的最優(yōu)解進(jìn)行輸出，從而完成路徑規(guī)劃[6]。

基于GPU芯片的視覺圖像處理與運(yùn)動(dòng)控制系統(tǒng)技術(shù)路線如圖3所示。首先，采用英偉達(dá)GeForce RTX30系列的GPU對(duì)雙目攝像頭拍攝的茶葉圖像進(jìn)行降噪、灰度化、分割等預(yù)處理，對(duì)分割完的茶葉圖片形態(tài)進(jìn)行分類，確定名優(yōu)茶采摘對(duì)象為單芽，同時(shí)確定名優(yōu)茶的X、Y坐標(biāo)；其次，通過蟻群規(guī)劃算法確定目標(biāo)區(qū)域內(nèi)各名優(yōu)茶的采摘順序，根據(jù)得出的目標(biāo)葉芽X、Y坐標(biāo)控制采摘手X、Y軸步進(jìn)電機(jī)運(yùn)動(dòng)到目標(biāo)葉芽位置，同時(shí)觸發(fā)激光測(cè)距儀測(cè)出目標(biāo)區(qū)域各個(gè)葉芽與采摘手的距離，得出目標(biāo)葉芽的Z坐標(biāo)；最后，根據(jù)目標(biāo)葉芽的Z坐標(biāo)控制Z軸步進(jìn)電機(jī)運(yùn)動(dòng)到目標(biāo)葉芽位置完成采摘。

圖3 基于GPU芯片的視覺圖像處理與運(yùn)動(dòng)控制系統(tǒng)技術(shù)路線

5 基于YOLOv5算法的名優(yōu)茶識(shí)別實(shí)驗(yàn)

基于TensorFlow和OpenCV圖像處理的軟件開發(fā)方法及YOLOv5算法，采集了名優(yōu)茶的圖像，形成了名優(yōu)茶的圖像數(shù)據(jù)庫(kù)，并對(duì)數(shù)據(jù)庫(kù)圖像進(jìn)行了初步分析。采用YOLOv5算法對(duì)名優(yōu)茶進(jìn)行人工智能識(shí)別的實(shí)驗(yàn)圖如圖4所示。

圖4 茶葉名優(yōu)茶目標(biāo)及其驗(yàn)證中心點(diǎn)

6 結(jié)論

課題組設(shè)計(jì)了一種基于圖像識(shí)別的名優(yōu)茶智能采摘系統(tǒng)及方法，并對(duì)采用YOLOv5算法對(duì)名優(yōu)茶進(jìn)行人工智能識(shí)別的過程進(jìn)行了實(shí)驗(yàn)，與現(xiàn)有技術(shù)相比，主要有以下幾個(gè)優(yōu)點(diǎn)：

1）由控制單元、滑臺(tái)、機(jī)械手組合而成的名優(yōu)茶智能采摘機(jī)器人能顯著提高名優(yōu)茶采摘的效率。

2）通過YOLOv5算法進(jìn)行圖像識(shí)別，提高了名優(yōu)茶采摘的準(zhǔn)確度。

3）使用服務(wù)器進(jìn)行圖像識(shí)別和數(shù)據(jù)處理的方式，降低了單個(gè)設(shè)備的價(jià)格，有利于推廣。

4）通過服務(wù)器進(jìn)行復(fù)雜數(shù)據(jù)處理的方式，可以配備大量操作設(shè)備，適合大規(guī)模采摘，縮短大面積采摘的時(shí)間。

5）通過路徑規(guī)劃和紅外感應(yīng)的方式，可以降低對(duì)不能采摘的名優(yōu)茶的損壞。