基于樹莓派深度學(xué)習的采摘機器人

覃書波 胡美婧 陳昌熙

摘? 要：為解決采摘機器人在抓取中的目標識別、位置定位及系統(tǒng)控制方面準確率低，自主能力差等問題。提出一種基于深度學(xué)習的采摘機器人，該機器人系統(tǒng)以樹莓派為主控核心，結(jié)合舵機和多種傳感器組等模塊，通過建立機器人運動學(xué)模型，實現(xiàn)從關(guān)節(jié)到末端執(zhí)行機構(gòu)的映射，采用視覺技術(shù)建立目標識別與定位模型，通過視覺反饋來控制機器人。試驗結(jié)果表明，該機器人具有較高的識別能力與定位準確率，并具有較高的控制效率。

關(guān)鍵詞：采摘機器人；深度學(xué)習；運動學(xué)模型；LeNet卷積神經(jīng)網(wǎng)絡(luò)；PID算法

中圖分類號：TP242? ? 文獻標識碼：A? 文章編號：2096-4706（2023）01-0154-05

Picking Robot Based on Deep Learning of Raspberry Pie

QIN Shubo1， HU Meijing2， CHEN Changxi3

（1.School of Electrical and Information Engineering， Anhui University of Science and Technology， Huainan? 232001， China;

2.School of Earth and Environment， Anhui University of Science and Technology， Huainan? 232001， China;

3.School of Computer and Engineering， Anhui University of Science and Technology， Huainan? 232001， China）

Abstract： In order to solve the problems of low accuracy and poor autonomy of picking robot in aspects of target recognition， position positioning and system control in grasping， a type of picking robot based on deep learning is proposed. The robot system takes raspberry pie as control core， combined with the steering gear and a variety of sensor modules， through the establishment of the robot kinematics model， achieves the mapping from the joint to the end of the actuator. The vision technology is adopted to establish the target identification and positioning model， and it controls the robot through the visual feedback. The experimental results show that the robot has higher recognition ability and positioning accuracy， and has higher control efficiency.

Keywords： picking robot; deep learning; kinematic model; LeNet convolutional neural network; PID algorithm

0? 引? 言

作為農(nóng)業(yè)生產(chǎn)大國，我國每年的果蔬產(chǎn)量巨大。果蔬的采摘必然成為一項重大任務(wù)，傳統(tǒng)采摘方式仍然處于人工采摘階段，不僅需要投入大量的人力物力還會存在人為因素造成的采摘不及時，誤摘等現(xiàn)象，從而導(dǎo)致采摘成本的增加，效率的下降[1]。

近年來，自動化技術(shù)和人工智能技術(shù)迅猛發(fā)展，農(nóng)業(yè)采摘也順勢由傳統(tǒng)的人工采摘轉(zhuǎn)變?yōu)闄C械采摘，人工智能的進步，使得越來越多的機器人、機械臂應(yīng)用到農(nóng)業(yè)采摘中，極大地提高了農(nóng)業(yè)生產(chǎn)效率[2，3]。但利用機器人進行采摘的過程中，對目標對象的識別不準確，定位有誤差，以及控制不穩(wěn)定都會使采摘更困難，造成采摘效率的下降[4]。因此如何進一步提高采摘的效率成為眾多學(xué)者研究的一個熱點，目前，圖像處理技術(shù)的發(fā)展為農(nóng)業(yè)采摘機器人的設(shè)計提供了一大思路[5]，將圖像視覺技術(shù)嵌入到機器人采摘系統(tǒng)中，利用視覺反饋信息間接控制機器人的運動，使得機器人能夠根據(jù)目標對象顏色、位置等信息作出正確的指令，以此驅(qū)動機器人末端執(zhí)行器的準確運動。本文針對目前機器人在采摘過程中，存在的采摘準確率低、自主能力差等問題，提出了一種基于深度學(xué)習的采摘機器人，該機器人系統(tǒng)以樹莓派為主控核心，結(jié)合舵機和多種傳感器組等模塊，利用LeNet卷積神經(jīng)網(wǎng)絡(luò)對果實目標進行準確識別，采用避障算法進行準確定位，并利用PID算法來實現(xiàn)機器人的穩(wěn)定準確控制。最后通過別定位測試實驗可以看出，提出的采摘機器人能夠達到較高的識別定位精度，且能夠?qū)崿F(xiàn)高效的控制。說明將其應(yīng)用于農(nóng)業(yè)果實的采摘可以提高采摘效率和質(zhì)量，對于促進農(nóng)業(yè)智能化發(fā)展具有重要意義[6]。

1? 采摘機器人整體架構(gòu)設(shè)計

該采摘機器人的整體架構(gòu)設(shè)計由控制板、傳感器、舵機及其機械結(jié)構(gòu)組成，其系統(tǒng)包含四部分，即上位機（計算機）、下位機（控制板）、驅(qū)動元件（舵機）以及傳感器。整個系統(tǒng)結(jié)構(gòu)如圖1所示。

其中上位機具有強大的運算功能，主要完成目標對象圖像信息處理，機器人的運動控制策略，以及與控制器之間的通信監(jiān)測。下位機控制器主要是接收來自上位機的指令以及傳感器的信息，從而驅(qū)動機器人完成各項運動。驅(qū)動部分主要由舵機構(gòu)成，其功能是接收控制器的控制指令后帶動機器人末端執(zhí)行機構(gòu)的運行。傳感器主要獲取外部環(huán)境信息并傳送給控制器，另外驅(qū)動元件會將機器人的運動狀態(tài)反饋給控制器部分，從而實現(xiàn)機器人的準確運動控制。電源部分給控制板、舵機以及傳感器供電。

2? 采摘機器人系統(tǒng)硬件設(shè)計

該采摘機器人系統(tǒng)硬件主要部分包括控制器，舵機以及傳感器，其中傳感器又分為超聲波傳感器和深度相機。如圖2所示，給出了由SolidWorks畫出的機械臂結(jié)構(gòu)。

2.1? 控制板

控制器為整個硬件系統(tǒng)的核心部分，機器人末端機構(gòu)的運行離不開控制器的控制，該控制器的控制板采用了樹莓派及擴展板，其中下層擴展板為智能溫控風扇及RGB燈擴展板，由于機器人需要安裝很多舵機，發(fā)送很多指令，且在功能實現(xiàn)上有很多子線程，樹莓派CPU將完成很復(fù)雜的工作，因此需要設(shè)計它的散熱系統(tǒng)。上層擴展板為舵機和傳感器的擴展板，連接機械臂的總線舵機，由于只對樹莓派的物理引腳做了一個映射，所以通過樹莓派來直接控制它們。另外，樹莓派與散熱系統(tǒng)之間通過IIC協(xié)議通信，與舵機通過ttyAMA0串口通信。

2.2? 舵機

舵機為機器人系統(tǒng)的驅(qū)動機構(gòu)，它接收來自控制器的指令然后驅(qū)動機械臂末端執(zhí)行機構(gòu)的運行，該舵機使用的是Dynamixel，通信協(xié)議是通過主程序和舵機之間互相發(fā)送數(shù)據(jù)包來進行的，其數(shù)據(jù)包分為指令數(shù)據(jù)包和狀態(tài)數(shù)據(jù)包，主程序向舵機發(fā)送指令數(shù)據(jù)包，舵機做出相應(yīng)的動作并返回狀態(tài)數(shù)據(jù)包，其舵機協(xié)議是我們編碼的依據(jù)[7]。

2.3? 傳感器

2.3.1? 超聲波傳感器

該采摘機器人使用HC-SR04超聲波傳感器用來測距，它的Trig端發(fā)出超聲波，接觸到反射物后反射，被Echo端接收，通過記錄超聲波的發(fā)射時間和接收時間得到一個時間差，然后使用空氣中的聲速計算距離。如表1所示，給出了HC-SR04超聲波傳感器部分參數(shù)。

2.3.2? 深度相機

深度相機作為采摘機器人的視覺系統(tǒng)具有重要功能，它能夠獲得目標對象的圖像信息，然后將圖像特征信息傳輸給計算機進行圖像信息處理，從而實現(xiàn)目標物的識別與定位。本系統(tǒng)使用intel RealSense D415深度相機，該相機兼容樹莓派Linux系統(tǒng)。捕捉最遠距離可達到10 m，且在戶外陽光下也可以使用，支持輸出1 280×720分辨率的深度畫面。

3? 機械臂運動學(xué)建模

機械臂運動學(xué)研究基于D-H參數(shù)法進行建模，如表2所示，為該機械臂D-H參數(shù)。

機械臂的正運動學(xué)公式由相鄰連桿之間的變換矩陣推導(dǎo)得到位姿矩陣，并由解析法得出逆運動學(xué)公式：

其中：

a=-（l3+l4）sinθ3

b=（l3+l4）cosθ3+l2

c=-pxcosθ1-pysinθ1

為機械臂夾持器末端的固定結(jié)構(gòu)繞z軸的轉(zhuǎn)動向量[8]。

由上面參數(shù)在MATLAB仿真平臺上可獲得機械臂仿真模型以及Simulink仿真圖如圖3和圖4所示。

4? 采摘機器人總體軟件及各算法設(shè)計

4.1? 總體軟件架構(gòu)設(shè)計

機械臂的總體軟件結(jié)構(gòu)包括上位機中機械臂運動模型的搭建，視覺信息處理模塊，即卷積神經(jīng)網(wǎng)絡(luò)的設(shè)計，避障算法的運行，下位機中運動控制算法的運行以及實現(xiàn)通信協(xié)議。其軟件總體結(jié)構(gòu)如圖5所示。

圖5? 系統(tǒng)軟件總體架構(gòu)

系統(tǒng)在運行時，傳感器會獲得外部信息并通過通信協(xié)議傳輸給上位機，在上位機中實現(xiàn)目標圖像信息進行處理，并將指令發(fā)送至控制器，控制器將來自上位機的指令信息與來自傳感器的反饋信息進行相應(yīng)處理后，發(fā)送控制指令給驅(qū)動裝置，進而驅(qū)動機械臂的運行，完成各項指定功能。另外驅(qū)動機構(gòu)也會將機械臂的運行狀態(tài)反饋給控制器，實現(xiàn)了機械臂系統(tǒng)的閉環(huán)控制[9]。

對機器人的完整控制需要如下部分代碼來實現(xiàn)：舵機、傳感器與樹莓派的通信代碼（即驅(qū)動程序，有串口、USB和IIC等），數(shù)據(jù)處理代碼（用深度學(xué)習代碼處理攝像頭采集的數(shù)據(jù)），機器人的運動代碼（需要轉(zhuǎn)化為控制器中能夠運行的語言），功能實現(xiàn)代碼（能夠?qū)Y(jié)果做出反饋動作）。

4.2? 采摘機器人各算法設(shè)計

4.2.1? LeNet模型

機械臂與深度相機組成了該機器人系統(tǒng)中最為關(guān)鍵的手眼系統(tǒng)，目標對象信息由深度相機負責采集，傳送給上位機進行信息處理。在該系統(tǒng)中設(shè)計了LeNet卷積神經(jīng)網(wǎng)絡(luò)，其功能是對目標對象進行識別定位，以確定抓取目標的位置，然后經(jīng)過機械臂的逆運動學(xué)運算可獲得機械臂各關(guān)節(jié)角信息，并結(jié)合傳感器反饋信息實現(xiàn)了對目標物的精準抓取。

LeNet-5卷積網(wǎng)絡(luò)模型如圖6所示。它包括C1卷積層，S2池化層，C3卷積層，S4池化層，C5卷積層，F(xiàn)6全連接層和Output輸出層[10]。

通過卷積操作，增強了原信號特征，并降低了噪聲，而池化層操作利用了圖像局部相關(guān)性的原理，對圖像進行了子抽樣，減少了數(shù)據(jù)處理量的同時也保留了一定的有用信息。如表3所示，給出了LeNet網(wǎng)絡(luò)結(jié)構(gòu)具體參數(shù)。

4.2.2? 避障算法

為了實現(xiàn)采摘機器人的精準動作，其需要擁有較強的自主識別定位能力。因此，當機器人在遇到障礙物時，要能夠及時作出響應(yīng)，重新規(guī)劃路線以此越過障礙物。采摘機器人上的超聲波測距傳感器組能夠持續(xù)對環(huán)境進行實時探測，當遇到障礙物時會返回障礙物的距離信息[11]，同時，深度相機會將獲得的圖像信息反饋到上位機中，在上位機中利用傳感器獲取的信息進障礙物的三維重建，并規(guī)劃新的路徑，使得機器人能夠及時避開障礙物到達作業(yè)區(qū)域。

其中超聲波傳感器測距流程如圖7所示。

4.2.3? PID算法

采摘機器人在移動過程中，關(guān)節(jié)部分的角速度不斷變化，為了保證機器人不發(fā)生側(cè)翻，需要機器人具有較高的穩(wěn)定性。采用PID控制策略實現(xiàn)采摘機器人的穩(wěn)定控制[12]，當系統(tǒng)檢測到機器人關(guān)節(jié)力矩有較大變化時，會反饋給控制器，控制器通過PID控制對關(guān)節(jié)力矩誤差進行調(diào)節(jié)，進而調(diào)整電機的轉(zhuǎn)速來控制機器人關(guān)節(jié)。通過對關(guān)節(jié)力矩誤差的調(diào)節(jié)，逐漸降低控制誤差，以此實現(xiàn)機器人的精準穩(wěn)定控制。其反饋控制流程如圖8所示。

5? 實驗測試

為了驗證基于樹莓派深度學(xué)習的采摘機器人是否具有較高的目標識別和定位能力，以及控制效果，在實驗室環(huán)境下對該種機器人進行了多組實驗測試，分為對機器人的避障，自由度檢測，物體顏色識別，移動物體跟蹤測試，目標物體抓取五部分功能。得到的實驗測試結(jié)果如表4所示。

實驗結(jié)果表明，該機器人在運行過程中，可實現(xiàn)遇障礙物靜止、自主識別物體顏色與位置、自主抓取物體各項功能。進一步說明了基于深度學(xué)習的采摘機器人具有較高的識別定位能力，與較強的控制穩(wěn)定性和較高的控制準確性。

6? 結(jié)? 論

為了確保采摘機器人的采摘準確性和工作效率，本文在原有采摘機器人存在識別定位準確性差和控制效率低等問題基礎(chǔ)上，設(shè)計了一款基于樹莓派深度學(xué)習的采摘機器人。利用視覺圖像技術(shù)，優(yōu)化了傳統(tǒng)采摘機器人，完成了采摘機器人的總體結(jié)構(gòu)設(shè)計和硬件模塊設(shè)計，采用了LeNet卷積神經(jīng)網(wǎng)絡(luò)對果實進行識別，并設(shè)計了避障算法以及PID控制算法，然后在MATLAB平臺上搭建Simulink仿真模型，實現(xiàn)機器人的運動控制仿真實驗，最后通過對其抓取和避障實驗以及軌跡跟蹤測試證明了提出的采摘機器人能夠達到較高的識別率，定位精度，以及高效穩(wěn)定的控制。因此，將其應(yīng)用于農(nóng)業(yè)果實的采摘中可以提高采摘效率，對農(nóng)業(yè)生產(chǎn)的智能化發(fā)展具有重要意義。

參考文獻：

[1] 魯家皓.基于計算機圖像的采摘機器人結(jié)構(gòu)優(yōu)化研究 [J].農(nóng)機化研究，2022，44（6）：199-203.

[2] 任亞婧，張寧寧，徐媛媛，等.基于視覺識別的成熟蘋果識別及采摘定位系統(tǒng) [J].現(xiàn)代電子技術(shù)，2021，44（11）：73-77.

[3] 孔翰博，王克強，蔡肯，等.基于機器視覺的采摘機器人目標識別定位研究應(yīng)用進展 [J].電子技術(shù)與軟件工程，2022（10）：160-165.

[4] 周浩，唐昀超，鄒湘軍，等.農(nóng)業(yè)采摘機器人視覺感知關(guān)鍵技術(shù)研究 [J].農(nóng)機化研究，2023，45（6）：68-75.

[5] 朱明秀.采摘機器人水果檢測及定位研究——基于圖像處理和卷積神經(jīng)網(wǎng)絡(luò) [J].農(nóng)機化研究，2022，44（4）：49-53.

[6] 劉凱. 面向農(nóng)業(yè)環(huán)境的采摘機器人空間視覺感知與采摘控制方法研究 [D].桂林：桂林電子科技大學(xué)，2021.

[7] 胡可狄，于亞利，李帥，等.基于stm32的車輛調(diào)試自動控制系統(tǒng)設(shè)計 [J].電子制作，2022，30（3）：31-34.

[8] 陳愛波，寧淑榮，陳五一.基于MATLAB與SolidWorks的六自由度機器人聯(lián)合建模仿真 [J].機電技術(shù)，2014（6）：57-60.

[9] 吳蓬勃，張金燕，張冰玉，等.基于樹莓派的機械臂視覺抓取系統(tǒng)設(shè)計 [J].電子制作，2022，30（7）：23-25.

[10] 吳麗娜，王林山.改進的LeNet-5模型在花卉識別中的應(yīng)用 [J].計算機工程與設(shè)計，2020，41（3）：850-855.

[11] 張向珂.采摘機械手障礙信息探測及避障技術(shù)研究 [D].鎮(zhèn)江：江蘇大學(xué)，2010.

[12] 倪江楠，郭君揚.基于PID控制和ADAMS的快速移動采摘機器人設(shè)計 [J].農(nóng)機化研究，2023，45（2）：219-222.

作者簡介：覃書波（1999.02—），男，漢族，四川彭州人，本科在讀，研究方向：電氣工程及其自動化。

收稿日期：2022-08-29

基金項目：安徽省省級大學(xué)生創(chuàng)新創(chuàng)業(yè)訓(xùn)練計劃項目（S202110361119）