基于5G與人工智能技術(shù)的果品采摘機(jī)器人平臺設(shè)計(jì)

王越 康凱 武曦

(山西農(nóng)業(yè)大學(xué)果樹研究所，山西 太原 030031)

近年來隨著設(shè)施農(nóng)業(yè)、精準(zhǔn)農(nóng)業(yè)和高新技術(shù)的發(fā)展，各類果樹種植范圍不斷擴(kuò)大，特別是土地流轉(zhuǎn)加速了果業(yè)生產(chǎn)規(guī)?；⒓s化，果園人均管理面積大幅增加，導(dǎo)致了在短暫的果品采收期內(nèi)面臨時(shí)間緊、雇工難、良品率難以保證等問題。

目前國內(nèi)果品采摘作業(yè)基本上都是人工完成，采摘是生產(chǎn)鏈中最耗時(shí)、最費(fèi)力的環(huán)節(jié)之一。隨著果業(yè)的快速發(fā)展和種植面積迅速增長，所需勞動(dòng)力也越來越大，投入的人工成本也指數(shù)級增長。研究并裝備果品采摘機(jī)器人，實(shí)現(xiàn)果品采摘機(jī)械化、自動(dòng)化和智能化，降低人工成本，是果業(yè)發(fā)展中亟待解決的重要問題之一。

將5G通信技術(shù)和人工智能技術(shù)結(jié)合應(yīng)用于果品采摘機(jī)器人。果品采摘機(jī)器人平臺由基于SOM K-Means算法的果實(shí)串識別與定位、基于改進(jìn)型YOLO的復(fù)雜環(huán)境下果實(shí)串快速檢測、基于剪夾一體式無損傷果實(shí)串采摘末端執(zhí)行器和采摘機(jī)器人控制中心平臺4大模塊組成。每個(gè)模塊都采用最新技術(shù)及算法，并進(jìn)行大量數(shù)據(jù)的驗(yàn)證測試及現(xiàn)場環(huán)境測試，在不降低工作效率的前提下，實(shí)現(xiàn)采摘機(jī)器人在復(fù)雜環(huán)境下對輸入數(shù)據(jù)流(現(xiàn)場采集的果實(shí)、枝蔓等圖像)的快速響應(yīng)、處理、反饋、果實(shí)智能識別、實(shí)時(shí)精確定位及智能化高效采摘，如圖1所示。

圖1 基于5G與人工智能的果品采摘機(jī)器人構(gòu)架設(shè)計(jì)

1 基于SOM K-Means算法的果實(shí)識別與定位

以SOM神經(jīng)網(wǎng)絡(luò)為代表的機(jī)器學(xué)習(xí)領(lǐng)域快速發(fā)展，已廣泛應(yīng)用于語音識別和圖像識別等各個(gè)領(lǐng)域?；赟OM神經(jīng)網(wǎng)絡(luò)本身訓(xùn)練的預(yù)測準(zhǔn)確率置信區(qū)間，提出了一種使用K-Means加速和壓縮SOM神經(jīng)網(wǎng)絡(luò)的方法。通過將卷積過程中的輸入特征圖采用K-Means壓縮來減少計(jì)算量；通過將全連接層的權(quán)重壓縮來減少存儲量。所提方法對AlexNet網(wǎng)絡(luò)單個(gè)卷積層的計(jì)算量能降低2個(gè)數(shù)量級，加入合適的K-Means層，整個(gè)網(wǎng)絡(luò)的處理時(shí)間加速比能達(dá)到2.077，對網(wǎng)絡(luò)壓縮率達(dá)到8.7%。

針對部分樹種(山楂、核桃等)多個(gè)果實(shí)重疊時(shí)難以識別與定位的問題，采用一種基于RGB-D圖像和K-Means優(yōu)化的自組織映射(Self Organization Map，SOM)神經(jīng)網(wǎng)絡(luò)相結(jié)合的果實(shí)串識別與定位算法。利用RGB-D攝相機(jī)拍攝果實(shí)串圖像，對圖像進(jìn)行預(yù)處理，獲取果實(shí)串的輪廓信息；提取果品串輪廓點(diǎn)的平面和深度信息，篩選后進(jìn)行處理；將處理后的數(shù)據(jù)輸入到采用K-Means算法優(yōu)化的SOM神經(jīng)網(wǎng)絡(luò)中，得到點(diǎn)云聚類結(jié)果；根據(jù)聚類點(diǎn)，通過坐標(biāo)轉(zhuǎn)換得到世界坐標(biāo)信息，擬合得到各個(gè)果實(shí)串的位置和輪廓形狀。具體流程如圖2所示。

圖2 果實(shí)串識別與定位流程

采摘機(jī)器人對果實(shí)精準(zhǔn)定位非常重要，但是受圖像采集像素和采集光線等因素影響，故會(huì)帶一些線性定位誤差。在每次采摘圖像區(qū)域里設(shè)置2個(gè)標(biāo)準(zhǔn)參考點(diǎn)，通過平臺和算法對果實(shí)串識別與定位時(shí)，同時(shí)做一次標(biāo)準(zhǔn)參考點(diǎn)識別與定位，得出一個(gè)識別與定位基準(zhǔn)誤差，把該識別與定位基準(zhǔn)誤差補(bǔ)償?shù)綄麑?shí)串識別與定位里面去，從而實(shí)現(xiàn)對果實(shí)串識別與定位差分補(bǔ)償修正。

2 基于改進(jìn)型YOLO的復(fù)雜環(huán)境下果實(shí)串成熟度快速檢測

YOLO算法主要通過3步實(shí)現(xiàn)，將輸入圖像歸一化；卷積網(wǎng)絡(luò)特征提取，預(yù)測邊界框置信度；通過非極大值抑制算法過濾邊界框，得到最優(yōu)結(jié)果。利用YOLO算法對圖像中的目標(biāo)進(jìn)行特征提取分類識別，實(shí)現(xiàn)圖像特征提取和分類識別的自動(dòng)化，摒棄了傳統(tǒng)圖像識別過程中依靠手工標(biāo)注圖像特征的方法，其網(wǎng)絡(luò)結(jié)構(gòu)是在GoogleNet模型之上建立的。

為實(shí)現(xiàn)采摘機(jī)器人對果實(shí)串成熟度的快速、精確識別，采用一種改進(jìn)型多尺度YOLO算法(IMS-YOLO)。對YOLO網(wǎng)絡(luò)模型進(jìn)行篩選和改進(jìn),設(shè)計(jì)一種含有殘差模塊的Darknet-53主干網(wǎng)絡(luò)，同時(shí)融合多尺度檢測模塊，構(gòu)建一種復(fù)雜環(huán)境下果實(shí)串快速識別網(wǎng)絡(luò)模型。該網(wǎng)絡(luò)模型層數(shù)較少，但能夠提取更多特征信息，且采用多尺度檢測結(jié)構(gòu)，同時(shí)返回果實(shí)串的類別和預(yù)測框，以此提升果實(shí)串成熟度檢測速度和精度。

IMS-YOLO模型檢測精度高、速度快，可兼顧精度和實(shí)時(shí)性要求，在溫室復(fù)雜環(huán)境下可以滿足采摘機(jī)器人識別果實(shí)串成熟度的要求。IMS-YOLO檢測模型如圖3、圖4所示。

圖3 果實(shí)串快速檢測流程

圖4 IMS-YOLO模型

采摘機(jī)器人的果實(shí)成熟識別度和前面說的果品識別與定位一樣，都面臨采收環(huán)境因素的影響，也會(huì)產(chǎn)生稍許線性定位誤差。在每次采摘圖像區(qū)域里設(shè)置一個(gè)標(biāo)準(zhǔn)參考點(diǎn)，通過平臺和算法對果實(shí)成熟度識別，同時(shí)做一次標(biāo)準(zhǔn)參考點(diǎn)成熟度監(jiān)測，得出一個(gè)標(biāo)準(zhǔn)參考值，把標(biāo)準(zhǔn)參考值作為果實(shí)成熟度參考值，從而實(shí)現(xiàn)對成熟度識別進(jìn)行補(bǔ)償修正。

3 基于剪夾一體式無損傷果實(shí)串采摘末端執(zhí)行器

部分樹種果品成簇生長，人工采摘時(shí)先用手指夾持并固定串果母枝，然后剪切母枝并將串果取下。根據(jù)其采摘方式，并針對果實(shí)串低損、高效的機(jī)械化采摘，設(shè)計(jì)提出剪夾一體式結(jié)構(gòu)的果品采摘末端執(zhí)行器，并設(shè)計(jì)具有單動(dòng)力源驅(qū)動(dòng)、抗遮擋干擾能力和對果實(shí)串無損傷的剪夾一體式果品采摘末端執(zhí)行器。采摘時(shí)對果母枝采用剪切方式，夾持手可穩(wěn)定夾持果實(shí)串母枝，避免因旋轉(zhuǎn)切割造成果實(shí)及其周邊枝、葉受損。該末端執(zhí)行器由剪枝模塊、夾持模塊、動(dòng)力輸出模塊、機(jī)械臂連接組件4部分組成，如圖5所示。

圖5 末端執(zhí)行器整體結(jié)構(gòu)

設(shè)計(jì)的末端執(zhí)行器具有良好的夾持和負(fù)載能力，負(fù)載重量為100～800g，果實(shí)串母枝直徑為3～10mm。采摘時(shí)能快速剪切母枝并穩(wěn)定夾持果實(shí)，理想剪夾時(shí)間為3s，采摘成功率為80%～90%。

4 采摘機(jī)器人控制中心平臺

開發(fā)采摘機(jī)器人控制中心平臺，功能包括作業(yè)類型(如采摘、打老葉、噴藥等)，啟停，遠(yuǎn)程控制，行走方向(前進(jìn)、后退、轉(zhuǎn)彎)，部件監(jiān)測與報(bào)警(如電池電量)，光照度檢測，工作強(qiáng)度(如作業(yè)時(shí)間、采摘重量等)，統(tǒng)計(jì)報(bào)表等。

5 結(jié)論

在我國農(nóng)業(yè)自動(dòng)化裝備需求空間巨大，農(nóng)業(yè)機(jī)器人使用密度還處于極低水平。裝配基于5G與人工智能技術(shù)的果品采摘機(jī)器人，必將強(qiáng)有力地推動(dòng)果業(yè)的現(xiàn)代化與智能化，在改善生產(chǎn)條件、提高種植戶收入、降低生產(chǎn)成本、增強(qiáng)綜合生產(chǎn)能力等方面有重要意義。