草莓采摘機器人研究現(xiàn)狀及發(fā)展趨勢

洪翌鈞

（中南大學(xué)，長沙 410006）

草莓是世界上栽培面積較廣的水果，生長周期長，生產(chǎn)管理環(huán)節(jié)多，以鮮食為主，具有極高的營養(yǎng)價值。草莓具有獨特的植物學(xué)特征和栽培要求，在全球不同國家和地區(qū)，其栽培模式、經(jīng)營規(guī)模等差異很大。目前，我國草莓種植方式主要分為高壟栽培和高架栽培。高壟栽培草莓一般壟面為35 ～40 cm，壟高為30 cm，壟距為80 ～100 cm，壟溝為25 ～30 cm，株距為20 cm左右。高架栽培草莓一般支架高度為1.1 ～1.5 cm，單雙行種植均可。依據(jù)無土栽培槽寬度而定，草莓間距為20 ～30 cm。

我國是最大的草莓生產(chǎn)國，2022 年全年草莓產(chǎn)量達(dá)到320 萬t。近年來，草莓已成為我國水果產(chǎn)業(yè)中發(fā)展最快的領(lǐng)域，經(jīng)濟和社會效益顯著提升，不僅促進了農(nóng)民增收，而且作為適宜農(nóng)業(yè)旅游、觀光采摘的水果，促進了第一、第二、第三產(chǎn)業(yè)的融合發(fā)展。但是，目前我國的草莓生產(chǎn)機械化總體水平偏低，草莓生產(chǎn)對人工的依賴非常嚴(yán)重。近年來，隨著科技的發(fā)展，草莓生產(chǎn)逐漸走向智能化和機械化。草莓采摘機器人的研制極大地降低了人力成本，提高了采摘效率，推動了草莓種植業(yè)的規(guī)?；l(fā)展。

1 研究現(xiàn)狀

1.1 采摘執(zhí)行裝置研究現(xiàn)狀

目前，國內(nèi)草莓采摘機器人在采摘執(zhí)行裝置方面大多采用切斷或扭斷果梗的方式。高義虎采用夾持果實并割斷草莓梗的采摘方式，利用機械爪夾持草莓，應(yīng)用切割機構(gòu)切斷果梗并自動回位待機，以備下一次運行。該執(zhí)行機構(gòu)體積小，可保持靈活性，并可深入草莓種植區(qū)[1]。程勝鵬采用4 自由度的機械手，末端執(zhí)行裝置左夾爪裝有刀片，右夾爪開有凹槽，由舵機驅(qū)動夾爪閉合，可在夾持果梗的基礎(chǔ)上剪斷果梗[2]。王糧局設(shè)計的采摘執(zhí)行機構(gòu)，利用攏果繩將果實從復(fù)雜環(huán)境中攏出，由電機帶動齒輪和齒條機構(gòu)實現(xiàn)夾指閉合，完成果柄的剪切和夾持[3]。

1.2 行走機構(gòu)研究現(xiàn)狀

當(dāng)前，國內(nèi)行走裝置設(shè)計多為適用于高架栽培模式的輪式底盤和履帶式底盤，也有針對地壟采用導(dǎo)軌機構(gòu)的設(shè)計。陳俊丞根據(jù)高架栽培草莓大棚內(nèi)通道平整，適合輪式底盤通行運動的情況，采用麥克納姆輪底盤，具有良好的平穩(wěn)性和可靠性，能夠有效適應(yīng)環(huán)境[4]。李贇釗等研究的跨壟式行走機構(gòu)適合壟作草莓，驅(qū)動電機位于機構(gòu)上部載物臺，豎直方向傳動采用鏈傳動[5]。驅(qū)動時通過齒輪傳動、傳動軸和鏈傳動將動力傳遞給輪軸，實現(xiàn)輪子旋轉(zhuǎn)、機構(gòu)行走。李長勇等采用履帶式行走機構(gòu)設(shè)計，車體的驅(qū)動源為直流減速電機，并與驅(qū)動輪連接，而驅(qū)動輪與履帶嚙合[6]。該行走機構(gòu)具有承載能力強、穩(wěn)定性好、環(huán)境適應(yīng)能力強等優(yōu)點。王糧局采用導(dǎo)軌機構(gòu)，驅(qū)動電機固定在多機械臂安裝座上，電機軸和齒輪連接，齒條和導(dǎo)軌固定連接，使得多機械臂安裝座和直線軌道發(fā)生相對位移。

1.3 識別定位系統(tǒng)研究現(xiàn)狀

現(xiàn)階段，國內(nèi)對草莓采摘機器人草莓識別定位方法的研究較多且方向各有不同。陳俊丞采用YOLO 識別算法，通過雙目攝像頭建立三維坐標(biāo)系，對草莓圖像進行二值化處理。先尋找像素形心，再采用局部自適應(yīng)閾值二值化處理，最終定位草莓質(zhì)心。彭志鴻等采用基于OpenCV 圖像處理庫的草莓識別方法，通過高斯模糊、二值化等算法處理后，在二維圖像平面內(nèi)識別草莓質(zhì)心坐標(biāo)并進行標(biāo)定[7]。馬科展選取Mask-RCNN 作為神經(jīng)網(wǎng)絡(luò)框架，優(yōu)化后的草莓識別模型草莓檢測準(zhǔn)確率和召回率分別達(dá)到90.14%和98.68%[8]。對于輸出結(jié)果，結(jié)合深度圖像獲得草莓的局部點云，通過特征計算與完整點云模板進行匹配，得到草莓真實位置及姿態(tài)，與未遮擋草莓的質(zhì)心和主軸偏差小于1 mm 和1°，與遮擋情況草莓的質(zhì)心和主軸偏差小于6 mm 和6°。

2 存在的問題

2.1 采摘執(zhí)行裝置結(jié)構(gòu)設(shè)計仍有待完善

成熟草莓肉質(zhì)柔軟多汁，極易受損。目前，草莓采摘機器人的采摘執(zhí)行方式包括切斷、扭斷等多種形式，最終的采摘方式多為夾持，而夾持機械爪采摘柔性極差，易損傷草莓果實和枝葉。由于草莓生長呈簇狀分布，機械爪夾持對識別精度要求較高，只能實現(xiàn)單枚草莓采摘，不僅增加了采摘難度，而且降低了采摘效率。另外，草莓植株枝葉茂密，種植間隔小，而草莓采摘機器人多使用多自由度機械臂，不僅容易出現(xiàn)碰撞問題，造成機體損壞和草莓植株損傷，而且會因為機械臂自由度過多導(dǎo)致的振動和誤差降低采摘效率。

2.2 草莓果實識別及定位影響因素難以排除

草莓采摘環(huán)節(jié)中，最重要的是對果實的識別與定位。對果實識別與定位的精確性將影響草莓采摘機器人的行走和采摘執(zhí)行裝置的運行，進而影響采摘草莓的品質(zhì)。識別的成功率受到多方因素影響。首先，草莓種植環(huán)境的光照、草莓植株葉片遮擋等，將會直接影響攝像頭捕捉圖像的質(zhì)量，對識別工作造成極大干擾。草莓采摘機器人行進過程中，葉片遮擋和多草莓果實重疊，可能造成檢測目標(biāo)丟失而更換采摘目標(biāo)，但若頻繁出現(xiàn)此問題將嚴(yán)重降低草莓采摘的成功率和效率。其次，草莓種植環(huán)境地形造成的機器人行進過程機身振動、機械臂運動時產(chǎn)生的自身振動、末端執(zhí)行機構(gòu)采摘時造成的草莓植株和果實晃動，以及可能存在的草莓果實掉落，將導(dǎo)致捕捉圖像模糊、識別效果差，果實采摘效率低。最后，草莓采摘依賴識別處理后的定位，而識別過程中可能存在草莓自身黑斑或表皮傷疤、上層葉片陰影、多草莓果實重疊等問題，干擾草莓三維坐標(biāo)建立和形心捕捉，影響采摘。

3 研究設(shè)想及發(fā)展趨勢

3.1 采摘執(zhí)行與收集裝置改進設(shè)想

國內(nèi)末端執(zhí)行機構(gòu)多以機械爪夾持剪切并通過機械手運送，可以考慮將機械爪改進為包含攏果裝置和夾剪果柄裝置的采摘執(zhí)行機構(gòu)。在攏果繩將草莓從枝葉中攏出后，利用剪切機構(gòu)完成草莓梗的剪切工作，省去機械臂夾持搬運剪切后草莓果實的過程。在機械剪切裝置下方設(shè)置柔性碗狀采集器和柔性管道，在完成剪切后使草莓能夠自由落入采集器，并沿管道進入收集箱，以減少夾持搬運過程中機械爪柔性差及機械臂運行振動對草莓表皮的損傷，同時可實現(xiàn)多草莓采摘。需注意，由于壟作草莓果實離地面較近，難以收集，故此設(shè)計方法的草莓采摘僅適用于高架草莓采摘，并不適用于壟作草莓采摘。

3.2 草莓識別定位系統(tǒng)設(shè)想

目前，深度學(xué)習(xí)在農(nóng)業(yè)領(lǐng)域的應(yīng)用已成為主流。深度學(xué)習(xí)應(yīng)用于草莓采摘識別，通過數(shù)據(jù)處理提取特征具備更好的泛化能力?？紤]草莓目標(biāo)檢測的模型輕量化、快速、準(zhǔn)確、實時等需求，文章采用YOLOv5+DeepSORT，利用YOLO 識別算法檢測速度快的優(yōu)勢，配合跟蹤算法DeepSORT 實現(xiàn)實時跟蹤草莓采摘。

3.2.1 YOLOv5 算法簡介

YOLOv5 算法是一種基于深度學(xué)習(xí)的目標(biāo)檢測算法，開發(fā)者為Ultralytics 團隊的Glenn Jocher。與其他算法相比，YOLOv5 具有檢測速度快、準(zhǔn)確率高、模型輕量化、易于部署和使用等優(yōu)點，其調(diào)用、訓(xùn)練和預(yù)測都十分方便，能夠在資源有限的嵌入式設(shè)備上實現(xiàn)高效的目標(biāo)檢測。在近幾年的應(yīng)用經(jīng)驗中，YOLOv5 相當(dāng)優(yōu)秀，是YOLO 系列中發(fā)展較為完備且使用相對廣泛的一個版本，適合草莓的采摘識別。YOLOv5 共包含5 個版本的目標(biāo)檢測網(wǎng)絡(luò)，本設(shè)計選擇YOLOv5s 的網(wǎng)絡(luò)結(jié)構(gòu)。相比其他網(wǎng)絡(luò)，YOLOv5s占空間更小，更適合部署在移動設(shè)備上，而且推理速度更快，適用于草莓采摘作業(yè)的實時檢測。

3.2.2 DeepSORT 算法簡介

DeepSORT 是基于目標(biāo)檢測的多目標(biāo)跟蹤算法。目標(biāo)檢測算法的優(yōu)劣影響該算法跟蹤的效果。該算法在為每個對象分配身份標(biāo)識號（Identity Document，ID）的同時能夠跟蹤對象。DeepSORT 算法是SORT算法的升級，在SORT 算法的基礎(chǔ)上引入深度學(xué)習(xí)，通過添加外觀信息，采用級聯(lián)匹配和重疊度（Intersection over Union，IoU）匹配，減少目標(biāo)ID 切換次數(shù)，提高跟蹤效率。該算法的具體流程：運行卡爾曼濾波對軌跡進行預(yù)測；使用匈牙利算法對Detections 與Confirmed 狀態(tài)的軌跡進行級聯(lián)匹配，獲得Unmatched Tracks、Unmatched Detections 和Matched Tracks；對Unmatched Tracks、Unmatched Detections 和Tentative狀態(tài)的軌跡使用匈牙利算法進行IoU 匹配，獲得新的Unmatched Tracks、Unmatched Detections 和Matched Tracks；卡爾曼濾波對Matched Tracks 狀態(tài)進行更新；刪除Unmatched Tracks 的Tentative 狀態(tài)；Unmatched Tracks 的Confirmed 狀態(tài)大于max-age 則刪除，小于max-age 則初始化為新的軌跡。

本設(shè)計增加使用目標(biāo)跟蹤算法DeepSORT 而非僅僅使用目標(biāo)檢測算法YOLOv5 的原因如下。草莓植株枝葉較多，草莓果實藏于植株枝葉之間，而草莓采摘作業(yè)時草莓采摘機器人對草莓的捕捉是一個實時檢測的過程。在機器人識別判斷要采摘的草莓并向目標(biāo)移動的過程中，由于枝葉的存在，極有可能出現(xiàn)目標(biāo)草莓部分或完全被遮擋的情況，導(dǎo)致檢測器失效。此時攝像頭檢測范圍內(nèi)若存在其他草莓，可能會將其他草莓誤判為原目標(biāo)采摘草莓，從而產(chǎn)生頻繁轉(zhuǎn)換采摘目標(biāo)的問題，嚴(yán)重影響采摘效率。此時若增加目標(biāo)跟蹤算法，跟蹤器將為出現(xiàn)在檢測范圍內(nèi)的每個草莓分配一個ID，同時跟蹤草莓的位置并保持高速運行。即使出現(xiàn)目標(biāo)采摘草莓被遮擋的情況，采摘機器人仍能預(yù)測目標(biāo)采摘草莓出現(xiàn)的位置并跟蹤判斷其坐標(biāo)，避免頻繁轉(zhuǎn)換采摘目標(biāo)。同時，跟蹤器的識別判斷速度通?？煊跈z測器，更適用于實時的草莓采摘作業(yè)。

3.3 未來發(fā)展趨勢

草莓植株枝葉較多，種植間距較小，因此對草莓采摘機器人提出了小型化要求，以降低植株枝葉的影響。壟作草莓由于其生長環(huán)境的特殊性，對采摘機器人行走避障能力提出了較高要求。因?qū)嶋H采摘過程中的多方環(huán)境因素影響，人們對草莓果實的檢測識別提出了較高要求，促使基于深度學(xué)習(xí)的視覺系統(tǒng)研究成為主流研究方向。市面上果實采摘機器人大多用于，降低采摘作業(yè)的勞動強度和勞動成本。因此，草莓采摘機器人的研究必將向著硬件結(jié)構(gòu)合理化、視覺系統(tǒng)智能化與高效化、控制系統(tǒng)自動化發(fā)展，并根據(jù)市場和環(huán)境的實際需求不斷改進，以期實現(xiàn)實用化目標(biāo)。

4 結(jié)語

通過草莓采摘執(zhí)行與收集裝置的結(jié)構(gòu)改進，將機械爪改進為包含攏果裝置和夾剪果柄裝置的采摘執(zhí)行機構(gòu)，減少夾持搬運過程中機械爪柔性差及機械臂運行振動損傷草莓表皮的情況，同時實現(xiàn)多草莓采摘。在以往的研究中，草莓識別定位系統(tǒng)均采用單一算法，文章提出基于YOLOv5 算法和DeepSORT 算法聯(lián)合應(yīng)用于優(yōu)化草莓識別定位系統(tǒng)的設(shè)想，融合運用結(jié)構(gòu)改進和識別定位系統(tǒng)，可為草莓采摘機器人的深入研究提供有益參考。