基于視覺識別的柔性機(jī)械爪采摘機(jī)器人設(shè)計

袁天旺 康朋飛 陳祥 董超 王向東

摘要：在國家“鄉(xiāng)村振興”“科技助農(nóng)”政策的號召下，科技不斷帶動農(nóng)業(yè)的發(fā)展，提高農(nóng)業(yè)生產(chǎn)效率，文章對農(nóng)業(yè)采摘機(jī)器人進(jìn)行了研究測試，并將其投入實地果實采摘。文章提出了基于視覺識別的柔性機(jī)械爪采摘機(jī)器人設(shè)計，其結(jié)構(gòu)主要由樹莓派主板、6自由度機(jī)械臂及柔性機(jī)械爪構(gòu)成?；贠pen CV為框架開發(fā)的CNN神經(jīng)網(wǎng)絡(luò)算法系統(tǒng)可以通過果實的顏色、形狀，判斷其在三維空間的位置及成熟度，從而完成采摘作業(yè)。該設(shè)計通過解決采摘業(yè)的自動化采摘以及單一采摘等問題，響應(yīng)國家科技助農(nóng)計劃，促進(jìn)鄉(xiāng)村振興戰(zhàn)略。

關(guān)鍵詞：采摘機(jī)器人；Open CV；樹莓派；科技助農(nóng)

中圖分類號：TP242中圖分類號文獻(xiàn)標(biāo)志碼：A文獻(xiàn)標(biāo)志碼

0 引言

近年來，隨著工業(yè)的迅速發(fā)展，世界各國均面臨人口老齡化問題，農(nóng)業(yè)勞動力逐漸向其他行業(yè)轉(zhuǎn)移，勞動力不僅成本高，而且比較缺乏。果實采摘作業(yè)是果實生產(chǎn)中最耗時、最費力的一個環(huán)節(jié)，人工在果實采收期存在很大的采摘壓力，人工采摘效率低下［1-2］。利用科技代替農(nóng)業(yè)采摘的研究越來越受到關(guān)注，而通過機(jī)器人來解放農(nóng)業(yè)生產(chǎn)勞動力已成為一項重要科技研究。

解決農(nóng)業(yè)采摘效率低的問題迫在眉睫，本文為此專門設(shè)計了一種基于視覺識別的柔性機(jī)械爪采摘機(jī)器人。本設(shè)計主要由控制系統(tǒng)、移動裝置、采摘執(zhí)行器、柔性機(jī)械爪、供電裝置、視覺系統(tǒng)及驅(qū)動系統(tǒng)組成。采摘機(jī)器人以樹莓派微型硬件作為核心控制器件，實現(xiàn)了識別、判斷、采摘、移動及避障為一體的自動化采摘［3］。

1 整體結(jié)構(gòu)設(shè)計

本項目設(shè)計了一種基于視覺識別的柔性機(jī)械爪采摘機(jī)器人，以樹莓派（Raspberry Pi4 Computer，Model B 4GB RAM）作為核心模塊進(jìn)行控制，通過履帶運動的方式，在農(nóng)業(yè)中自動采摘。以O(shè)pen CV為框架開發(fā)的CNN神經(jīng)網(wǎng)絡(luò)算法系統(tǒng)，通過6自由度機(jī)械爪代替人工采摘，不但在機(jī)械結(jié)構(gòu)和識別算法上具有自主創(chuàng)新性，而且可以通過雙目攝像頭及二自由度云臺來判斷不同類型果實的位置及成熟度，并用柔性機(jī)械爪進(jìn)行精準(zhǔn)采摘。另外，通過多種傳感器配合，該機(jī)器人具有遠(yuǎn)端操控監(jiān)視系統(tǒng)以及自動避障功能，操作更加方便，利于農(nóng)民使用，整體結(jié)構(gòu)框架如圖1所示。

2 硬件設(shè)計

2.1 機(jī)械結(jié)構(gòu)

本文設(shè)計的基于視覺識別的柔性機(jī)械爪采摘機(jī)器人，其總機(jī)械結(jié)構(gòu)主要由3部分組成，分別為履帶移動小車部分、機(jī)械臂部分及柔性機(jī)械爪部分。其機(jī)械結(jié)構(gòu)如圖2所示。

2.1.1 履帶移動小車部分

該履帶移動小車由兩側(cè)的動力履帶、4個擺臂履帶和車架平臺連接而成。小車的動力來源由4個減速電機(jī)提供，減速電機(jī)由12 V鉛蓄電池供電，其運動形式由主控制板控制，能夠?qū)崿F(xiàn)前進(jìn)、后退及轉(zhuǎn)彎行走等功能。本小車的4個擺臂履帶發(fā)揮著重要的作用，可以輕松通過土塊石頭等障礙物，具有良好的適應(yīng)性。

2.1.2 機(jī)械臂部分

該采摘機(jī)器人的機(jī)械臂采用6自由度機(jī)械臂，其應(yīng)用廣泛，具有靈敏度高、運動范圍大、兼容性強等特點，基本可以實現(xiàn)360°無死角運行。該機(jī)械臂由步進(jìn)電機(jī)控制，可以提高機(jī)械臂的精度，從而提高工作效率。

2.1.3 柔性機(jī)械爪部分

該機(jī)器人的機(jī)械爪采用柔性三爪，它與剛性機(jī)械爪相比具有高切合性、高穩(wěn)定性及高可靠性等優(yōu)勢。該柔性機(jī)械爪的自身重量548 g，抓取范圍為10～150 mm，抓取重量大約為3 kg，控制電壓為12～24 V，抓取頻率40次每分鐘，可抓取圓柱、圓球、條形、長方、易碎、易損等物品［4］。柔性機(jī)械爪如圖3所示。

柔性機(jī)械爪由硅膠材質(zhì)制成，具有仿生特性，可以根據(jù)果實的不同外形來改變抓取特性。其優(yōu)點是增加了手爪與果實之間的貼合度，解決機(jī)械爪因果實形狀怪異而無法抓取的問題，增加了機(jī)械爪工作的穩(wěn)定性與可靠性，最重要的是避免了對抓取相對較軟的果實產(chǎn)生損壞，極大地提高了采摘的成功率［5］。

對于氣動和電動動力來源的選擇，發(fā)現(xiàn)電動裝置作為機(jī)械爪動力來源有較可靠的優(yōu)勢。相同指標(biāo)下，電動裝置可抓取更重的物體，而且對于整個系統(tǒng)而言便于系統(tǒng)間協(xié)調(diào)作業(yè)，提高了整體性能的穩(wěn)定性。通過增加機(jī)械指的數(shù)目，可以實現(xiàn)對不同類型大小、形態(tài)、重量等指標(biāo)特點果實的準(zhǔn)確抓取。電動三爪相對果徑較小的果實（d<5 cm）抓取時，更加適應(yīng)表面貼合，從而成功摘取。對于較大果實，電動四爪電動更能輕易對其進(jìn)行采摘。使用多套裝置，可實現(xiàn)對不同種類果實的采摘，解決了單一果實的采摘。

2.2 控制模塊

該采摘機(jī)器人的控制部分主要由樹莓派4B主板、電機(jī)驅(qū)動拓展板、雙目攝像頭、HC-SR04超聲波測距傳感器及OLED顯示屏模塊組成，其組成關(guān)系如圖4所示。

電源采用12 V直流電，主控板為樹莓派，通過樹莓派微型硬件控制系統(tǒng)可以引導(dǎo)采摘機(jī)器人完成識別、定位、抓取、放置任務(wù)的高度協(xié)同的自動化流程。電機(jī)驅(qū)動拓展板主要控制機(jī)械臂中的步進(jìn)電機(jī)及履帶小車的減速直流電機(jī)，從而控制整個機(jī)器人的運動和抓取。當(dāng)采摘機(jī)器人通過雙目攝像頭對果實進(jìn)行框架定位時，移動履帶平臺可結(jié)合田間路況進(jìn)行追蹤。采摘機(jī)器人借助超聲波傳感器HC-SR04對外界進(jìn)行測距，最終完成避障功能。OLED顯示屏可以顯示采摘機(jī)器人的電量及采摘數(shù)，方便農(nóng)民使用，同時還可以通過和手機(jī)電腦移動終端設(shè)備進(jìn)行連接，可根據(jù)當(dāng)前環(huán)境進(jìn)行路徑規(guī)劃，調(diào)用移動履帶平臺進(jìn)行避障操作。

3 系統(tǒng)設(shè)計

3.1 主程序設(shè)計

整個流程如圖5所示，將采摘機(jī)器人放入作業(yè)環(huán)境，首先雙目攝像頭開始識別周圍環(huán)境，當(dāng)掃描到所需采摘果實時，樹莓派將調(diào)用Open CV，之后攝像頭進(jìn)行初始化，將視頻幀使用Open CV進(jìn)行檢索，通過CNN神經(jīng)網(wǎng)絡(luò)判斷視頻幀中水果的輪廓與顏色，之后驅(qū)動小車接近水果，此時雙目攝像頭計算目標(biāo)與小車的距離，從而控制機(jī)械臂移動執(zhí)行采摘作業(yè)并將目標(biāo)放入果籃，重復(fù)以上流程直到視頻幀中無所需目標(biāo)為止，最終結(jié)束作業(yè)。

3.2 核心算法設(shè)計

Open CV 是一個開源的計算機(jī)視覺庫，它提供了很多函數(shù)，這些函數(shù)非常高效地實現(xiàn)了計算機(jī)算法［6］。本采摘機(jī)器人通過CNN神經(jīng)網(wǎng)絡(luò)實現(xiàn)對水果的正確識別，CNN為BP神經(jīng)網(wǎng)絡(luò)的一種變體，將圖片的像素值經(jīng)過一系列處理（卷積、池化），之后輸出值作為特征訓(xùn)練模型，通過此方法可以保留圖片的多維信息，提高模型分類的精度。為了訓(xùn)練CNN進(jìn)行特征提取，并且將搜集到的水果圖片進(jìn)行預(yù)訓(xùn)練，通過 VGG-16 等架構(gòu)進(jìn)行訓(xùn)練。將圖片中的信息輸入CNN網(wǎng)絡(luò)模型獲得特征圖［7］，之后再將視頻幀傳入神經(jīng)網(wǎng)絡(luò)，將其與特征圖進(jìn)行對比，最終找出視頻幀中所包含的水果框架。

經(jīng)典的CNN由3種結(jié)構(gòu)組成：卷積層、池化層、全連續(xù)層。其中，卷積層用于提取圖像中的局部特征，即使用一個過濾器（卷積核）來過濾圖像的各個小區(qū)域，從而得到這些小區(qū)域的特征值，卷積層原理如圖6所示。

在經(jīng)過卷積層后，圖像依然很大，為了進(jìn)一步降低數(shù)據(jù)維度，需要在池化層進(jìn)行進(jìn)一步降維。在池化層中將會對圖片進(jìn)行下采樣，通過池化層處理后，可以使計算速度更快，同時也能防止過擬合的情況，池化層原理如圖7所示。

在經(jīng)過若干次卷積層和池化層的處理后，圖像的信息已經(jīng)通過抽象使得特征信息含量足夠高，將這些數(shù)據(jù)傳入全連接層進(jìn)行處理，通過全連接層分類即可得出結(jié)果。

通過CNN神經(jīng)網(wǎng)絡(luò)識別，找出水果對應(yīng)的位置后，需要對水果進(jìn)行成熟度判斷，絕大部分水果在成熟狀態(tài)和未成熟狀態(tài)會有很明顯的不同，可通過色調(diào)和飽和度的不同輕易地判斷出果實的成熟度情況?？梢砸怨麑嵆墒鞎r的色調(diào)和飽和度的范圍定義一個數(shù)值區(qū)間函數(shù)，將水果分為成熟和未成熟兩類，最后保留成熟的水果框架。

在確定水果在畫面中的框架位置后，需要判斷水果離小車的距離，可以通過雙目攝像頭［8］測距，從而獲得水果離小車的距離，其空間位置測量過程如圖8所示。

點c為需要測距的水果，A，B為兩個攝像頭，點K、點L分別是待測水果C在相機(jī)A、B傳感器上的成像點，t為相機(jī)焦距，則n即為水果離小車的距離。

由公式可得，在獲得GK-IL即視差的情況下，便可計算出水果與小車的距離，之后獲取到水果的相對空間位置，便可用機(jī)械臂對水果進(jìn)行精準(zhǔn)抓取。

4 測試與結(jié)果

4.1 實驗?zāi)康?/p>

為了測試采摘機(jī)器人的機(jī)械臂、履帶底盤、視覺識別與柔性機(jī)械爪高度配合的能力，本文將對采摘機(jī)器人的3種重要指標(biāo)進(jìn)行測試，最終得到采摘完成率。對此設(shè)計出下列實驗，來測試該采摘機(jī)器人。

4.2 實驗過程

選取草莓進(jìn)行實地測試，此次實驗的柔性機(jī)械爪采用電動三爪。

首先在草莓種植大棚中隨機(jī)選取13個1 m2的草莓種植區(qū)域，其中草莓總數(shù)約為450個，包含了成熟與未成熟、形狀大小各異的草莓，之后使用本文設(shè)計的采摘機(jī)器人對草莓進(jìn)行實地采摘實驗。實驗測試數(shù)據(jù)如表1所示。

經(jīng)調(diào)查分析得到采摘作業(yè)中的誤差如下：

（1）其中成熟草莓未能識別的原因有以下幾種：①草莓葉片對草莓的遮擋，視覺識別系統(tǒng)無法對草莓進(jìn)行正確識別判斷；②形狀怪異，通過與自建的數(shù)據(jù)庫進(jìn)行比對，沒有與之匹配的樣本參照；③其他客觀原因。

（2）柔性機(jī)械爪對草莓抓取不成功的原因有以下幾種：①葉片干擾；②草莓形狀過大或過小，機(jī)械爪未抓穩(wěn)，導(dǎo)致草莓脫落；③其他客觀原因，如識別鏡頭被污染導(dǎo)致定位偏移。

（3）機(jī)械爪對草莓抓取成功有破損的原因有：①草莓存在壞果；②采摘運輸中擦傷草莓；③其他客觀原因。

4.3 實驗結(jié)果

本次實地實驗測試了采摘機(jī)器人的3個重要指標(biāo)，而實驗最終得到的采摘完成率由識別精度、抓取精度及機(jī)械爪可靠性這3個指標(biāo)決定，從而求出本文采摘機(jī)器人的采摘完成率為75.3%。采摘完成率綜合表現(xiàn)了本采摘機(jī)器人采摘作業(yè)與適應(yīng)采摘環(huán)境的良好性能，充分檢驗了采摘機(jī)器人對果實采摘的可靠性，整體具有人工及其他機(jī)器人無法比擬的優(yōu)勢，具有比較可觀的前景方向。計算結(jié)果具體為：

果實機(jī)器人采摘完成率=識別精度×抓取精度×抓取成功未破損率=75.3%。

5 結(jié)語

本文設(shè)計了一種基于視覺識別的柔性機(jī)械爪采摘機(jī)器人，以樹莓派作為核心控制模塊，通過履帶運動的方式，在農(nóng)業(yè)中自動采摘。機(jī)械爪采用柔性機(jī)械爪增加與果實之間的貼合度，從而避免了對抓取相對較軟的果實產(chǎn)生損壞，使采摘成功未破損率達(dá)到95.8%?；贠pen CV及6自由度機(jī)械爪代替人工采摘，不但在機(jī)械結(jié)構(gòu)和識別算法上具有自主創(chuàng)新性，而且可以通過雙目攝像頭及二自由度云臺來判斷不同類型果實的位置及成熟度，從而使識別成功率達(dá)到85.7%，使采摘成功率達(dá)到91.7%。另外，通過多種傳感器配合，具有遠(yuǎn)端操控監(jiān)視系統(tǒng)以及自動避障功能，使其操作更加方便，利于農(nóng)民使用，使采摘完成率達(dá)到75.3%，大大提高了采摘行業(yè)的效率，為響應(yīng)國家科技助農(nóng)計劃、促進(jìn)鄉(xiāng)村振興戰(zhàn)略貢獻(xiàn)了力量。

參考文獻(xiàn)

［1］張文翔，張兵園，貢宇，等.果蔬采摘機(jī)器人機(jī)械臂研究現(xiàn)狀與展望［J］.中國農(nóng)機(jī)化學(xué)報，2022（9）：232-237，244.

［2］郭思臣，王昊杰，謝叢，等.蘋果采摘機(jī)器人的研發(fā)與相關(guān)問題［J］.大眾標(biāo)準(zhǔn)化，2022（14）：115-117.

［3］任雪林.設(shè)施農(nóng)業(yè)采摘機(jī)器人控制系統(tǒng)研究與設(shè)計［D］.重慶：重慶三峽學(xué)院，2022.

［4］于有河，李建，周燕，等.氣壓驅(qū)動仿生柔性機(jī)械臂的設(shè)計［J］.機(jī)電信息，2022（17）：23-26.

［5］于豐華，周傳琦，楊鑫，等.日光溫室番茄采摘機(jī)器人設(shè)計與試驗［J］.農(nóng)業(yè)機(jī)械學(xué)報，2022（1）：41-49.

［6］王壯飛，盧海林，耿文濤，等.基于OpenCV的水果采摘機(jī)器人目標(biāo)檢測與定位系統(tǒng)研究［J］.電子技術(shù)與軟件工程，2022（2）：137-140.

［7］任鈺.基于Faster R-CNN的小目標(biāo)檢測研究與應(yīng)用［D］.安慶：安慶師范大學(xué)，2022.

［8］孔圣文，馬平帥，丁永賢.基于樹莓派的雙目攝像系統(tǒng)設(shè)計與制作［J］.現(xiàn)代信息科技，2022（16）：104-106，109.

（編輯 王雪芬）