智能移動式水果采摘機(jī)器人設(shè)計(jì)——基于機(jī)器視覺技術(shù)

孫承庭，胡　平

( 1.連云港職業(yè)技術(shù)學(xué)院 信息工程學(xué)院，江蘇 連云港　222006；2.南京工業(yè)大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，南京　211800)

?

智能移動式水果采摘機(jī)器人設(shè)計(jì)——基于機(jī)器視覺技術(shù)

孫承庭1，胡平2

( 1.連云港職業(yè)技術(shù)學(xué)院 信息工程學(xué)院，江蘇 連云港222006；2.南京工業(yè)大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，南京211800)

摘要：自動化和計(jì)算機(jī)智能控制行業(yè)的不斷發(fā)展，使得智能機(jī)器人在各個領(lǐng)域的應(yīng)用已經(jīng)十分普遍。目前，我國絕大部分水果采摘工作依然靠人工完成，隨著工人工資不斷攀升，人工采摘水果增加了果農(nóng)的經(jīng)濟(jì)成本，機(jī)器人在農(nóng)業(yè)領(lǐng)域方面的需求越來越迫切。為此，基于機(jī)器視覺技術(shù)設(shè)計(jì)了智能移動式水果采摘機(jī)器人，集可移動載體、機(jī)械手臂、夾持器、橫向移動機(jī)構(gòu)及智能控制模塊于一身，采用雙目立體視覺技術(shù)，實(shí)現(xiàn)了水果采摘機(jī)器人移動行走路徑的規(guī)劃、果實(shí)成熟度自動判斷及對成熟果實(shí)定位識別的功能。試驗(yàn)表明：所設(shè)計(jì)的采摘機(jī)器人采用視覺技術(shù)，機(jī)械結(jié)構(gòu)簡易，能夠克服氣候環(huán)境影響因素，運(yùn)行過程中性能穩(wěn)定、效率高、可靠性高、適應(yīng)能力強(qiáng)。

關(guān)鍵詞：采摘機(jī)器人；智能控制系統(tǒng)；機(jī)器視覺技術(shù)；識別定位

0引言

我國水果產(chǎn)業(yè)發(fā)展迅猛，種植面積和年產(chǎn)量雙居世界第一，是世界上水果生產(chǎn)的大國。在整個水果種植過程中，成熟水果的采摘耗時最長，勞動力需求最大；而隨著外出務(wù)工人員的增多，農(nóng)村勞動力人口下降，導(dǎo)致勞力成本上漲，果農(nóng)的生產(chǎn)成本增加，用工成本高嚴(yán)重制約著水果產(chǎn)業(yè)的發(fā)展。水果產(chǎn)業(yè)更深一步的發(fā)展，亟需控制生產(chǎn)成本、減少人工采摘；而在農(nóng)業(yè)生產(chǎn)上廣泛應(yīng)用智能采摘機(jī)器人，對于節(jié)省成本。提高生產(chǎn)率具有重要意義。在日、美、德等發(fā)達(dá)國家，由于勞動力人口的短缺，農(nóng)業(yè)智能機(jī)器人的使用已經(jīng)十分廣泛。我國作為水果生產(chǎn)大國，國家對采摘機(jī)械化的發(fā)展十分重視，采摘機(jī)器人對我國未來水果產(chǎn)業(yè)發(fā)展的作用十分重大。本文結(jié)合水果生產(chǎn)種植環(huán)境和實(shí)際采摘過程，基于機(jī)器視覺技術(shù)對水果采摘過程的試驗(yàn)研究，設(shè)計(jì)了智能水果采摘機(jī)器人樣機(jī)，實(shí)現(xiàn)農(nóng)業(yè)生產(chǎn)水果的智能采摘。采用雙目視覺技術(shù)的智能水果采摘機(jī)器人設(shè)計(jì)如圖1所示。

圖1　智能采摘機(jī)器人

1結(jié)構(gòu)設(shè)計(jì)

該機(jī)器人由機(jī)械結(jié)構(gòu)部分和電氣智能控制系統(tǒng)兩部分構(gòu)成。機(jī)械結(jié)構(gòu)包括可移動載體、機(jī)械手臂、夾持器和橫向滑動裝置；電氣智能控制系統(tǒng)主要包括工控計(jì)算機(jī)、伺服電機(jī)驅(qū)動、雙CCD攝像機(jī)、傳感器控制模塊、數(shù)據(jù)采集卡、GPIB卡、運(yùn)動控制卡、鋰電池供電箱、GPIB卡和控制系統(tǒng)，如圖2所示。

機(jī)械結(jié)構(gòu)部分是智能采摘機(jī)器人的硬件平臺，為機(jī)器人進(jìn)行成熟果實(shí)識別與采摘奠定了堅(jiān)實(shí)的基礎(chǔ)，其各個部件的作用各不相同，結(jié)合起來實(shí)現(xiàn)采摘機(jī)器人的自動控制。

可移動載體是智能機(jī)器人的基礎(chǔ)，是其他控制采集系統(tǒng)的平臺，智能采摘機(jī)器人的信號采集、電機(jī)驅(qū)動、傳感器模塊及智能控制系統(tǒng)都需要以可移動載體為載體?？梢苿虞d體采用履帶行走方式，履帶式移動載體與地面接觸面積大，受力面積大，給地面的壓力小，適合在松軟的果林路面上行進(jìn)。機(jī)器人行走裝置根據(jù)智能控制系統(tǒng)的指令進(jìn)行驅(qū)動，伺服電機(jī)采用直流供電。

機(jī)械手臂裝置采用采用多關(guān)節(jié)機(jī)械手臂，有3個主自由度，可以做轉(zhuǎn)動和移動的動作；再加上夾持器的X、Y軸轉(zhuǎn)動， 可以使夾持器到達(dá)臂長范圍的任何三維坐標(biāo)點(diǎn)。該機(jī)器人的機(jī)械手臂裝置韌性強(qiáng)、承受負(fù)載大、自身輕薄、靈活性高、到達(dá)指定位置誤差小，在整個采摘作業(yè)過程中，運(yùn)行速度適中，慣性較小，平穩(wěn)度非常高。

夾持器是采摘過程中作用最大的部件，是采摘機(jī)器人的手，水果的抓取收獲依靠其完成，可以根據(jù)命令直接執(zhí)行采摘任務(wù)。該設(shè)計(jì)中的夾持器最大工作角度為88°，采摘過程中夾緊力未270N，質(zhì)量為0.6kg，閉合時間為0.2s；裝置輕便，采摘角度大，耗時短，力度適中，不會給果實(shí)帶來機(jī)械損傷。

圖2　智能采摘機(jī)器人結(jié)構(gòu)二維圖

2目標(biāo)果實(shí)的識別分割和定位

采摘機(jī)器人進(jìn)行采摘作業(yè)的前提是先識別成熟果實(shí)及確定其三維位置，對果實(shí)成熟率的識別和定位極大程度地影響了采摘的成功率。采摘過程中，機(jī)器人的夾持器采用手環(huán)抱狀采摘的方式，夾持器的采摘位置主要依靠目標(biāo)果實(shí)的三維位置確定。三維圖像的視覺技術(shù)是采用兩個攝像機(jī)從不同的角度去對目標(biāo)果實(shí)拍攝成像，然后根據(jù)圖像采集卡將信息傳送至工控計(jì)算機(jī)，由其根據(jù)兩者的角度差異實(shí)現(xiàn)目標(biāo)果實(shí)的三維圖像；根據(jù)形成的三維圖像，智能采摘機(jī)器人可知道目標(biāo)果實(shí)的大小、三維形狀等，進(jìn)而實(shí)施準(zhǔn)確采摘。雙目視覺技術(shù)系統(tǒng)構(gòu)造結(jié)構(gòu)如圖3所示。

機(jī)器視覺系統(tǒng)主要包括工控計(jì)算機(jī)、LED燈源、專用光學(xué)鏡頭、CCD攝像機(jī)及數(shù)字圖像處理模塊等。工作時，系統(tǒng)由雙CCD攝像機(jī)將待測目標(biāo)轉(zhuǎn)化為數(shù)字圖像的電信號，然后傳送給PC機(jī)；PC機(jī)采用專用的圖像處理軟件，根據(jù)色彩和顏色，采用多種算法提取果實(shí)的特點(diǎn)；最后，根據(jù)設(shè)定的量化值和其他條件進(jìn)行準(zhǔn)確判斷。采摘機(jī)器人識別分割與定位的核心技術(shù)包括目標(biāo)果實(shí)分割識別與成熟度的判斷和目標(biāo)果實(shí)空間坐標(biāo)的計(jì)算兩個方面。

Fig.3　System structure of binocular vision technology

2.1　目標(biāo)果實(shí)分割識別及其成熟度的判斷

對目標(biāo)果實(shí)的正確采摘首先需要對目標(biāo)果實(shí)進(jìn)行正確的分割識別和判斷其成熟度，這樣采摘機(jī)器人才可以替代勞動人口進(jìn)行采摘作業(yè)。識別的首要任務(wù)是進(jìn)行果實(shí)圖像樣本的采集，需要依靠CCD攝像機(jī)拍攝完成，根據(jù)圖片信息建立完整的果實(shí)樣本；其次是建立顏色模型，采用分割技術(shù)將果實(shí)與其周圍生長環(huán)境分開，識別果實(shí)本體，并通過三原色RGB對比計(jì)算，判斷目標(biāo)果實(shí)的成熟度。 三原色RGB顏色模型如圖4所示。

圖4　三原色顏色模型

本文以蘋果采摘為例，介紹機(jī)器人對目標(biāo)果實(shí)利用自動閾值分割方法進(jìn)行切割識別。成熟的蘋果一般呈紅色，與周邊環(huán)境最大的差別就是顏色。因此，利用三原色RGB可以成功將目標(biāo)果實(shí)成功切割，而且圖像處理模塊可根據(jù)目標(biāo)果實(shí)的顏色，對比PC機(jī)數(shù)據(jù)庫中的成熟果實(shí)顏色樣本判斷出目標(biāo)果實(shí)的成熟度。

2.2　目標(biāo)果實(shí)空間坐標(biāo)的計(jì)算

人在拿物體的過程中，手朝著目標(biāo)物體移動，通過眼睛反饋手與物體的相對距離，然后不斷調(diào)整，最終能準(zhǔn)確地拿到目標(biāo)物體。然而，采摘機(jī)器人沒有人類的思維與反饋能力，需要建立傳感器與控制系統(tǒng)，使其模仿人類收獲作業(yè)的方法。采摘過程中，通過雙CCD攝像機(jī)獲取整株果樹的信息，然后傳送給圖像處理系統(tǒng)，利用三原色RGB顏色切割識別出目標(biāo)果實(shí)，并利用紅外光源和果實(shí)的外形，通過兩個攝像機(jī)同時獲取的圖像信息差別，準(zhǔn)確定位目標(biāo)果實(shí)相對于雙CCD攝像機(jī)的空間坐標(biāo)位置。目標(biāo)果實(shí)定位工作流程如圖5所示。

圖5　目標(biāo)果實(shí)空間坐標(biāo)定位流程圖

一個物體的空間坐標(biāo)確立，實(shí)質(zhì)是由視差值決定的。如圖6所示，物體是通過雙目視覺原理來定位的，在采摘過程中，根據(jù)攝像機(jī)的連線距離與物體和攝像機(jī)的角度確定目標(biāo)果實(shí)的視覺深度。

獲取目標(biāo)果實(shí)的視覺深度后，然后采用RBF網(wǎng)絡(luò)逼近算法，計(jì)算出質(zhì)點(diǎn)空間坐標(biāo)(X,Y,Z)，方便控制系統(tǒng)進(jìn)行收獲作業(yè)。

3控制系統(tǒng)設(shè)計(jì)

3.1　硬件設(shè)計(jì)

智能水果采摘機(jī)器人控制系統(tǒng)硬件以工控計(jì)算機(jī)為核心，處理雙目攝像圖的高清照片，利用圖像處理模塊識別和定位目標(biāo)果實(shí)，制定規(guī)劃可移動載體的路徑，并控制機(jī)械手臂進(jìn)行采摘作業(yè)。智能水果采摘機(jī)器人控制結(jié)構(gòu)如圖7所示。

圖6　雙目視覺識別圖

圖7　智能控制系統(tǒng)結(jié)構(gòu)圖

3.2　軟件設(shè)計(jì)

控制系統(tǒng)的硬件部分是整個采摘機(jī)器人正常運(yùn)作的平臺，而硬件部分準(zhǔn)確協(xié)調(diào)運(yùn)行依靠軟件部分的底層程序驅(qū)動。智能采摘機(jī)器人系統(tǒng)軟件運(yùn)行流程如圖8所示。

圖8　智能采摘機(jī)器人系統(tǒng)軟件流程示意圖

4智能水果采摘機(jī)器人路徑識別規(guī)劃

智能采摘機(jī)器人在果園內(nèi)作業(yè)時需要不斷移動。在移動過程中，需要有對障礙物檢測和避開的能力，要對機(jī)器人移動路徑進(jìn)行識別規(guī)劃，使其在園林中作業(yè)時能成功避開障礙物前進(jìn)，完成整個采摘收獲任務(wù)。智能水果采摘機(jī)器人行進(jìn)路徑規(guī)劃如圖9所示。

圖9　智能水果采摘機(jī)器人行進(jìn)路徑規(guī)劃圖

在整個收獲作業(yè)過程中，園林內(nèi)的障礙物信息是時刻變化的，需要把全局軌跡規(guī)劃和部分軌跡規(guī)劃結(jié)合起來；同時考慮全局已知障礙物和隨機(jī)出現(xiàn)的障礙物，并隨時根據(jù)紅外傳感器檢測運(yùn)動前方的障礙物，運(yùn)用路徑規(guī)劃算法，制定一條從開始采摘到結(jié)束完整的路徑規(guī)劃。采摘機(jī)器人以規(guī)劃路徑前進(jìn)，并不斷通過紅外傳感器接收運(yùn)動前方其他的動態(tài)障礙物；結(jié)合機(jī)器人的前進(jìn)速度判斷有碰撞的可能時，調(diào)用路徑規(guī)劃的算法再次進(jìn)行路徑規(guī)劃，自動避開前進(jìn)方向的障礙物，實(shí)現(xiàn)實(shí)時對前進(jìn)道路進(jìn)行軌道規(guī)劃。

5試驗(yàn)與結(jié)果分析

對成熟果實(shí)的成功采摘，是衡量智能采摘機(jī)器人的性能優(yōu)良的重要條件。本文在樹齡為5年的蘋果果園進(jìn)行成熟果實(shí)的采摘，并對果園中遮擋嚴(yán)重的蘋果做了一些整理，在機(jī)器人自主運(yùn)行的情況下進(jìn)行了采摘試驗(yàn)。智能采摘機(jī)器人采摘的試驗(yàn)結(jié)果如表1所示。

由表1可知：無論是晴天、陰天還是夜晚，智能采摘機(jī)器人均可自動控制自身正常移動，能準(zhǔn)確完成采摘作業(yè)并完成裝箱工作，可移動載體、機(jī)械手臂及夾持器在智能控制系統(tǒng)的調(diào)節(jié)下能實(shí)現(xiàn)協(xié)調(diào)工作。由表1可知：智能采摘機(jī)械人采摘目標(biāo)果實(shí)的成功率在3種條件下均可以達(dá)到85%以上，對單個目標(biāo)果實(shí)的采摘時間能控制在10s以內(nèi)，證明該智能機(jī)器人的采摘效果非常好，適合采摘作業(yè)過程中應(yīng)用。

表1　智能采摘機(jī)器人采摘試驗(yàn)結(jié)果

6結(jié)論

根據(jù)果農(nóng)對成熟水果的收獲作業(yè)要求，設(shè)計(jì)制造了基于機(jī)器視覺技術(shù)的智能移動式水果采摘機(jī)器人。該機(jī)器人將機(jī)器視覺技術(shù)與自動化技術(shù)融合在一起，機(jī)械結(jié)構(gòu)簡易、協(xié)調(diào)靈活、運(yùn)行速度快，可在作業(yè)前行過程中躲避障礙物強(qiáng)，識別目標(biāo)果實(shí)速度快，摘過果實(shí)的成功率高，實(shí)現(xiàn)了農(nóng)業(yè)采摘過程的機(jī)械智能化、自動化、無人化，具有十分寬廣的應(yīng)用前景。

參考文獻(xiàn)：

[1]馮青春,鄭文剛,姜凱,等.高架栽培草莓采摘機(jī)器人系統(tǒng)設(shè)計(jì)[J].農(nóng)機(jī)化研究,2012, 34(7):122-126.

[2]顧寶興,姬長英,王海青,等. 智能移動水果采摘機(jī)器人設(shè)計(jì)與試驗(yàn)[J].農(nóng)業(yè)機(jī)械學(xué)報(bào),2012(6):153-160.

[3]呂繼東,趙德安,姬偉,等.蘋果采摘機(jī)器人對振蕩果實(shí)的快速定位采摘方法[J].農(nóng)業(yè)工程學(xué)報(bào),2012(13):48-53.

[4]王麗麗,郭艷玲,王迪, 等.果蔬采摘機(jī)器人研究綜述[J].林業(yè)機(jī)械與木工設(shè)備,2009(1): 10-11,14.

[5]宋健,孫學(xué)巖,張鐵中, 等.開放式茄子采摘機(jī)器人設(shè)計(jì)與試驗(yàn)[J].農(nóng)業(yè)機(jī)械學(xué)報(bào),2009(1):143-147.

[6]陳進(jìn).機(jī)器人技術(shù)在農(nóng)業(yè)中的應(yīng)用—水果采摘機(jī)器人[J].四川農(nóng)機(jī),2009(6):32.

[7]王輝. 機(jī)器視覺技術(shù)在果園自動化中的應(yīng)用研究[D].北京：中國農(nóng)業(yè)機(jī)械化科學(xué)研究院,2011.

[8]戚利勇.黃瓜采摘機(jī)器人視覺關(guān)鍵技術(shù)及系統(tǒng)研究[D].杭州：浙江工業(yè)大學(xué),2011.

[9]呂繼東.蘋果采摘機(jī)器人視覺測量與避障控制研究[D].鎮(zhèn)江：江蘇大學(xué),2012.

[10]李占坤.果樹采摘機(jī)器人控制系統(tǒng)研究與設(shè)計(jì)[D]. 鎮(zhèn)江：江蘇大學(xué),2010.

[11]李小亮.基于振動機(jī)理的山核桃采摘樣機(jī)設(shè)計(jì)[D].杭州：浙江農(nóng)林大學(xué),2012.

[12]王鴻,顧金梅,李飛,等.溫室采摘車的機(jī)電液一體化設(shè)計(jì)[J].科技傳播,2014(22):170-171.

[13]方建軍. 移動式采摘機(jī)器人研究現(xiàn)狀與進(jìn)展[J]. 農(nóng)業(yè)工程學(xué)報(bào),2004(2):273-278.

[14]姬江濤,鄭治華,杜蒙蒙,等.農(nóng)業(yè)機(jī)器人的發(fā)展現(xiàn)狀及趨勢[J]. 農(nóng)機(jī)化研究,2014,36(2):1-4,9.

[15]畢昆,趙馨,侯瑞鋒,等.機(jī)器人技術(shù)在農(nóng)業(yè)中的應(yīng)用方向和發(fā)展趨勢[J].中國農(nóng)學(xué)通報(bào),2011,(4):469-473.

[16]姜麗萍,陳樹人.果實(shí)采摘機(jī)器人的研究綜述[J]. 農(nóng)業(yè)裝備技術(shù),2006(1):8-10.

[17]宋健,張鐵中,徐麗明,等.果蔬采摘機(jī)器人研究進(jìn)展與展望[J].農(nóng)業(yè)機(jī)械學(xué)報(bào),2006(5): 158-162.

[18]趙慶波.果樹采摘機(jī)器人控制與避障技術(shù)研究[D]. 鎮(zhèn)江：江蘇大學(xué),2008.

[19]崔玉潔,張祖立,白曉虎. 采摘機(jī)器人的研究進(jìn)展與現(xiàn)狀分析[J].農(nóng)機(jī)化研究,2007(2):4-7.

[20]宋健. 茄子采摘機(jī)器人結(jié)構(gòu)參數(shù)的優(yōu)化設(shè)計(jì)與仿真[J].機(jī)械設(shè)計(jì)與制造,2008(6):166-168.

[21]張水波.柑橘采摘機(jī)器人末端執(zhí)行器研究[D].杭州：浙江工業(yè)大學(xué),2011.

[22]張潔,李艷文.果蔬采摘機(jī)器人的研究現(xiàn)狀、問題及對策[J].機(jī)械設(shè)計(jì),2010(6):1-5.

[23]藍(lán)峰,蘇子昊,黎子明,等.果園采摘機(jī)械的現(xiàn)狀及發(fā)展趨勢[J].農(nóng)機(jī)化研究,2010，32(11):249- 252.

[24]湯修映,張鐵中.果蔬收獲機(jī)器人研究綜述[J]. 機(jī)器人,2005(1):90-96.

[25]趙勻,武傳宇,胡旭東,等.農(nóng)業(yè)機(jī)器人的研究進(jìn)展及存在的問題[J].農(nóng)業(yè)工程學(xué)報(bào),2003(1):20-24.

Design of Intelligent Mobile Fruit Picking Robot——Based on Machine Vision Technology

Sun Chengting1, Hu Ping2

(1.Information Engineering College, Lianyungang Technical College, Lianyungang 222006, China; 2.Computer Science and Technology, Nanjing University of Technology, Nanjing 211800，China)

Abstract：The deepening of industry automation and computer intelligent control makes the intelligent robot in various fields of application very widespread,the development of science and technology drives the development of society.China's vast most of the fruit picking work is still done manually.With the rapid development of China's social and economic, the wages of the workers continues to rise, manual picking fruit increased the fruit of economic cost and the demand of robot in the field of agriculture,so it is becoming more and more urgent. In this paper, based on machine vision technology design and research on the intelligent mobile fruit picking robot, and the mobile carrier, mechanical arm, clip holding device, it designed a horizontal moving mechanism and intelligent control module in a body, by using binocular stereo vision technology, the mobile robot's walking path planning, fruit maturity automatically judge and of mature fruit location recognition function for picking fruit. Experiments show that the design of the picking robot can overcome the impact of climate factors, by using visual technology with simple mechanical structure, operation process of stable performance, high efficiency, high reliability, adapt to ability.

Key words：picking robot; intelligent control system; machine vision technology; recognition and localization

中圖分類號：S225.93；TP391.41

文獻(xiàn)標(biāo)識碼：A

文章編號：1003-188X(2016)08-0179-05

作者簡介：孫承庭(1969-)，男，江蘇連云港人，副教授，碩士。通訊作者：胡平(1962-)，男，南京人，教授，碩士，(E-mail)fiberhome@126.com。

基金項(xiàng)目：國家自然科學(xué)基金項(xiàng)目(612030702)；江蘇省現(xiàn)代教育技術(shù)研究所課題(2012-R-21331)；連云港市科技支撐計(jì)劃項(xiàng)目(SH1110)

收稿日期：2015-07-30