基于嵌入式技術(shù)的智能采摘機器人設(shè)計

李芳LI Fang；李霞LI Xia

（①北京經(jīng)濟管理職業(yè)學(xué)院，北京 100102；②北京城市學(xué)院，北京 100102）

0 引言

隨著水果種植規(guī)?；s化、人工成本的上漲和社會人口老齡化，智能采摘機器人的應(yīng)用將會在農(nóng)業(yè)中得到大量推廣，它可在室內(nèi)外多種復(fù)雜環(huán)境下，高效、精準(zhǔn)地完成果實目標(biāo)檢測、位置確定、成熟度判斷和快速摘取功能，不僅能夠節(jié)省人力成本，還能夠提高生產(chǎn)效率。

目前市場上有多款水果采摘類機器人產(chǎn)品，主要為“荔枝采摘機器人”、“蘋果采摘機器人”等，能夠完成無損采摘，快速精準(zhǔn)摘取，雙目立體視覺定位，適應(yīng)復(fù)雜環(huán)境等，但采摘產(chǎn)品比較單一，應(yīng)用缺乏普遍性?；谇度胧郊夹g(shù)的智能采摘機器人，通過直流電機、顏色傳感器、TX2中心處理器以及YOLO算法等能夠識別隨機位置的果實，綜合判斷確定果實的成熟度、利用機械臂對果實進(jìn)行快速高效的精準(zhǔn)采摘。同時能夠?qū)崿F(xiàn)整體對采摘機器人多方向，少路徑，節(jié)時間的運動控制，實現(xiàn)平穩(wěn)移動智能避障，降低功耗成本，提升采摘效率和工作穩(wěn)定性。

1 系統(tǒng)的整體設(shè)計

整個機器人系統(tǒng)分上層和下層兩層設(shè)計，上層系統(tǒng)可以向下層系統(tǒng)傳輸數(shù)據(jù)，對下層系統(tǒng)的功能進(jìn)行控制。上層系統(tǒng)主要負(fù)責(zé)數(shù)字圖像信息的采集與機器人步進(jìn)控制，包括樹莓派為主體的數(shù)據(jù)采集處理模塊和51開發(fā)板與各種測距傳感器、無線透傳構(gòu)成的機械臂模塊。下層系統(tǒng)RM-A板為主體，連接無線透傳、測距傳感器、繼電器、電調(diào)、全向輪等實現(xiàn)步進(jìn)控制，負(fù)責(zé)控制機器人按照指定的姿態(tài)進(jìn)行移動，控制推桿電機的升降。（圖1）

圖1 系統(tǒng)整體設(shè)計圖

上層系統(tǒng)：分為數(shù)字圖像信息的采集與處理、果實采摘（機械臂）的控制兩個部分，分別使用樹莓派和51板實現(xiàn)。

①數(shù)字圖像信息的采集與處理部分：由樹莓派連接顯示器、USB攝像頭、無線透傳模塊組成。樹莓派通過USB接口連接攝像頭，用于爪子、果實位置的檢測；樹莓派連接顯示器，用于顯示經(jīng)過樹莓派處理后的圖像位置信息，便于監(jiān)測智能采摘機器人的工作狀態(tài)。無線透傳模塊用于向RM-A開發(fā)板傳輸當(dāng)前果實的位置信息數(shù)據(jù)，由下層系統(tǒng)處理后確定機器人應(yīng)當(dāng)行進(jìn)的方向；樹莓派通過串口連接果實采摘控制模塊，提供果實和爪子的位置信息傳遞，由該模塊確定采摘過程。

②果實采摘（機械臂）的控制部分：由51板連接爪子舵機、云臺舵機、超聲波測距傳感器、紅外測距傳感器和無線透傳模塊組成。爪子用于抓取果實，云臺用于收集果實。51開發(fā)板通過串口接收樹莓派的數(shù)據(jù)，利用D-H參數(shù)法計算出云臺和爪子的移動數(shù)據(jù)，并由PWM控制舵機，實現(xiàn)云臺和爪子的移動。超聲波測距傳感器、前紅外傳感器和下紅外傳感器對爪子與果實的相對位置進(jìn)行準(zhǔn)確定位，控制握爪時機，對樹莓派得出的位置信息進(jìn)行補充。無線透傳模塊向下層系統(tǒng)傳遞果實與爪子的距離信息，從而控制智能采果機器人的移動距離。

下層系統(tǒng)：使用一個RM-A 32開發(fā)板作為處理單元，實現(xiàn)步進(jìn)控制與系統(tǒng)通信。

①在系統(tǒng)間的通信上，RM-A開發(fā)板通過串口連接兩個無線透傳模塊，用于接收上層系統(tǒng)傳遞的數(shù)據(jù)。

②在步進(jìn)控制的實現(xiàn)上，RM-A開發(fā)板通過UART協(xié)議連接一個測距傳感器，通過距離控制實現(xiàn)避障，配合IMU姿態(tài)閉環(huán)，實現(xiàn)步進(jìn)控制算法。RM-A開發(fā)板通過CAN總線連接底盤，底盤包含四個電調(diào)，分別連接4個電機和全向輪，步進(jìn)控制算法通過CAN總線傳輸電機運轉(zhuǎn)速率，使得機器人能夠平穩(wěn)地移動。

RM-A開發(fā)板通過IO口連接繼電器，開發(fā)板可以向繼電器提供5V電壓，從而控制推桿電機的升降。整個下層系統(tǒng)采用電壓為24V的RM電池進(jìn)行供電。

2 主要功能模塊介紹

2.1 目標(biāo)檢測模塊

目標(biāo)檢測模塊主要是由USB攝像頭、顯示器和無線透傳模塊組成。通過軟硬件協(xié)同部署，用攝像頭采集果實圖片，經(jīng)過顏色傳感器采集圖片顏色，并通過TX2中心處理器綜合判斷的方式確定果實的成熟程度，并判斷是否執(zhí)行采摘動作。在快速識別果實位置的過程中，優(yōu)化并應(yīng)用YOLO算法，檢測速度相對較快，背景誤檢數(shù)量少了一半，能夠迅速識別果實位置并為精準(zhǔn)摘取做準(zhǔn)備。

TX2中心處理器主要負(fù)責(zé)對整個系統(tǒng)數(shù)據(jù)進(jìn)行處理和判斷，它采用NVIDIA推出的Jetson TX2。Jetson TX2具有多個多媒體流引擎，可通過卸載傳感器采集和分發(fā)來為其Pascal GPU提供數(shù)據(jù)。這些多媒體引擎包括六個專用MIPI CSI-2攝像頭端口，每個通道的帶寬高達(dá)2.5 Gb/s，雙圖像服務(wù)處理器（ISP）的處理速度為1.4gigapixels/s，以及支持H.265的4K視頻編解碼器每秒60幀。

2.2 測距模塊

在智能采果機器人中使用了超聲波測距、雷達(dá)測距、紅外測距三種測距模塊，這里重點介紹超聲波測距和雷達(dá)測距。

2.2.1 超聲波測距模塊

超聲波測距使用HC-SR04模塊，該模塊性能穩(wěn)定，測量距離精準(zhǔn)，盲區(qū)小。用于機器人機械臂測距。

本模塊使用方法簡單，一個控制口發(fā)一個10μs以上的高電平，就可以在接收口等待高電平輸出。有高電平輸出就開啟定時器計時，當(dāng)接口輸出變?yōu)榈碗娖綍r讀定時器的值，得到此次測距的時間，即可得出距離。多次測量求平均值，即可測量出機械臂的移動值。

2.2.2 激光雷達(dá)測距模塊

采用TFmini小型激光雷達(dá)功能模塊實現(xiàn)機器人底座移動合理避障，該模塊成本低、體積小和功耗低，對于室外強光、不同溫度、不同反射率等不同環(huán)境下的適應(yīng)性較強。另外采用了串口連接，信息傳輸速度快。（圖2）

圖2 激光雷達(dá)測距模塊連接圖

該模塊在室內(nèi)工作時：探測目標(biāo)為90%反射率，有效探測距離為12m；探測目標(biāo)10%反射率，有效探測距離5m；在室外工作時：普通日照（照度70klux以下），有效探測距離7m；夏天烈日下（照度100klux）或者室外黑色背景板，有探測距離為3m。注：所有距離參數(shù)均為與探測物正對情況下。

圖3 激光雷達(dá)模塊測量的有效距離

2.3 舵機控制模塊

舵機控制模塊主要用來控制機械臂的旋轉(zhuǎn)，用來采摘果實和收集果實。通過51板輸出PWM控制舵機工作。

控制信號由接收機的通道進(jìn)入信號調(diào)制芯片，獲得直流偏置電壓。它內(nèi)部有一個基準(zhǔn)電路，產(chǎn)生周期為20ms，寬度為1.5ms的基準(zhǔn)信號，將獲得的直流偏置電壓與電位器的電壓比較，獲得電壓差輸出。電壓差的正負(fù)輸出到電機驅(qū)動芯片決定電機的正反轉(zhuǎn)。當(dāng)電機轉(zhuǎn)速一定時，通過級聯(lián)減速齒輪帶動電位器旋轉(zhuǎn)，使得電壓差為0，電機停止轉(zhuǎn)動。

3 數(shù)據(jù)的采集與處理

3.1 數(shù)據(jù)采集設(shè)計

智能采果機器人采集的數(shù)據(jù)集主要是用來實現(xiàn)果實目標(biāo)檢測、成熟度的判斷和采摘。包括果實目標(biāo)檢測中：攝像頭采集的原始圖像數(shù)據(jù)、YOLO算法中的訓(xùn)練集和測試集、樹莓派處理后的果實位置信息以及動態(tài)的機械臂爪子位置信息；采摘過程中：舵機和機械臂的移動數(shù)據(jù)、果實與機械臂爪子的距離數(shù)據(jù)；成熟度判斷中的顏色數(shù)據(jù)信息、果實成熟度數(shù)據(jù)等等。

3.2 數(shù)據(jù)處理設(shè)計

首先通過攝像頭采集原始圖片數(shù)據(jù)，進(jìn)行顏色識別后經(jīng)過顏色傳感器采集對應(yīng)顏色，得到果實成熟度數(shù)據(jù)由TX2實現(xiàn)綜合判斷后待采果實。然后利用YOLO算法得到果實目標(biāo)檢測后的位置信息數(shù)據(jù)，再分別傳送給機械臂控制部分和機器人移動控制部分。機械臂部分由51開發(fā)板接受果實位置信息，由超聲波和紅外傳感器完善位置數(shù)據(jù)，再用算法計算出舵機和機械臂爪子移動數(shù)據(jù)，最后動態(tài)向下傳遞果實與機械臂爪子的距離數(shù)據(jù)，具體數(shù)據(jù)處理過程如圖4所示。

圖4 數(shù)據(jù)處理流程

YOLO算法處理圖像簡單直接，基本由以下幾個步驟完成：①將輸入圖像調(diào)整為448×448；②在圖像上運行單個卷積網(wǎng)絡(luò)；③由模型的置信度對所得到的檢測進(jìn)行閾值處理。YOLO預(yù)測流程簡單，速度很快。在Titan X GPU上基礎(chǔ)版可以達(dá)到45幀/s，快速版可以達(dá)到150幀/s。因此，YOLO可以實現(xiàn)實時檢測。

4 解決的技術(shù)難點

在智能采果機器人的設(shè)計中，主要考慮了4個技術(shù)難點，具體技術(shù)難點及解決方法如下：

4.1 成熟度判斷技術(shù)難點

在果實采摘過程中，如何判斷果實成熟度是一個廣泛存在的技術(shù)難點，影響到采摘質(zhì)量、生產(chǎn)效率和產(chǎn)品的落地使用價值。因此采用攝像頭與顏色傳感器共同識別方法判斷果實成熟度。通過攝像頭的拍攝圖片對果實的顏色進(jìn)行識別，之后再經(jīng)過顏色傳感器來采集對應(yīng)的顏色，并通TX2中心處理器實現(xiàn)綜合判斷的方式，以實現(xiàn)果實的成熟程度的確定。

4.2 果實目標(biāo)檢測技術(shù)難點

在智能采摘過程中，果實位置檢測是一個基礎(chǔ)性的核心技術(shù)問題，然而在復(fù)雜多樣環(huán)中提高檢測目標(biāo)的準(zhǔn)確率和提取準(zhǔn)確的位置信息具有難度。在核心算法上采用優(yōu)化的YOLO算法，檢測速度更快，能夠?qū)崿F(xiàn)處理流媒體視頻。背景誤檢數(shù)量少了一半。能更快速度識別果實位置，做到精準(zhǔn)摘取。通過無線透傳模塊傳輸果實位置信息，超聲波測距傳感器、紅外傳感器對機械臂爪子與果實的相對位置進(jìn)行準(zhǔn)確定位，控制握爪時機，對樹莓派得出的位置信息進(jìn)行補充。

4.3 協(xié)同運動控制技術(shù)難點

整個采摘的完成，包括步進(jìn)運動控制和采摘動作控制，同時要實現(xiàn)兩個運動在采摘過程的協(xié)同控制，而兩個維度的運動協(xié)同控制是采摘成果的關(guān)鍵保障，否則將難以高效完成采摘。采用分層設(shè)計，上層系統(tǒng)實現(xiàn)數(shù)據(jù)采集和機械臂控制，并將數(shù)據(jù)傳輸?shù)较聦酉到y(tǒng)，下層系統(tǒng)實現(xiàn)步進(jìn)控制。利用軟硬協(xié)同設(shè)計思想，由傳感器、高效目標(biāo)檢測算法經(jīng)樹莓派處理獲取并確定爪子和代采果實位置的數(shù)據(jù)，并利用無線透傳傳輸數(shù)據(jù)到上層系統(tǒng)中的機械臂控制部分（51開發(fā)板）和下層系統(tǒng)（RM-A開發(fā)板）。

4.4 復(fù)雜環(huán)境適用技術(shù)難點

實際采摘環(huán)境可能是相當(dāng)復(fù)雜的，溫度、反射率、室外光強等等對于機械控制數(shù)據(jù)的采集計算有很大影響。對此，將HC-SR04模塊用于測距，此模塊性能穩(wěn)定，測度距離精準(zhǔn)，模塊高精度，盲區(qū)小。同時利用TFmini小型激光雷達(dá)模組，在保證成本、小體積、低功耗基礎(chǔ)上，提高對不同溫度、光強、反射率環(huán)境下端適用性。

5 結(jié)語

智能采摘機器人雙重判斷果實成熟度方法、使用YOLO目標(biāo)檢測算法以及基于嵌入式技術(shù)以實現(xiàn)步進(jìn)抓取協(xié)調(diào)控制。整個系統(tǒng)采用分層的方式設(shè)計，上層模塊向下層模塊傳輸數(shù)據(jù)，對下層模塊的功能進(jìn)行控制。它可在室內(nèi)外多種復(fù)雜環(huán)境下，高效、精準(zhǔn)地完成果實目標(biāo)檢測、位置確定、成熟度判斷和快速摘取功能，為我國農(nóng)業(yè)的自動化發(fā)展增值賦能。