農(nóng)業(yè)機(jī)器人并聯(lián)采摘臂視覺伺服控制*

薛 梁， 周 俊

(南京農(nóng)業(yè)大學(xué) 工學(xué)院 江蘇省農(nóng)業(yè)智能化裝備重點(diǎn)實(shí)驗(yàn)室，江蘇 南京 210031)

農(nóng)業(yè)機(jī)器人并聯(lián)采摘臂視覺伺服控制*

薛 梁， 周 俊

(南京農(nóng)業(yè)大學(xué) 工學(xué)院 江蘇省農(nóng)業(yè)智能化裝備重點(diǎn)實(shí)驗(yàn)室，江蘇 南京 210031)

介紹了一種基于視覺伺服的農(nóng)業(yè)機(jī)器人并聯(lián)采摘系統(tǒng)，該系統(tǒng)由視覺系統(tǒng)、上位機(jī)、下位機(jī)、并聯(lián)機(jī)構(gòu)等4部分組成。視覺系統(tǒng)采集目標(biāo)圖像并傳遞給上位機(jī)，上位機(jī)對(duì)圖像進(jìn)行處理，識(shí)別和定位目標(biāo)，計(jì)算并聯(lián)機(jī)構(gòu)的運(yùn)動(dòng)控制量，通過串口通信發(fā)送給下位機(jī)，下位機(jī)接收到控制量后，根據(jù)運(yùn)動(dòng)控制量驅(qū)動(dòng)繼電器模塊作相應(yīng)的開關(guān)動(dòng)作，完成并聯(lián)采摘臂的控制。實(shí)驗(yàn)證明：該系統(tǒng)對(duì)于實(shí)現(xiàn)農(nóng)業(yè)機(jī)器人采摘作業(yè)具有可行性。

視覺伺服； 農(nóng)業(yè)機(jī)器人； 采摘； 并聯(lián)機(jī)構(gòu)

0 引 言

我國(guó)是農(nóng)業(yè)大國(guó)，擁有眾多果蔬和農(nóng)副產(chǎn)品，大多數(shù)果蔬采摘都要由人工完成，而采摘作業(yè)辛苦勞累，環(huán)境惡劣[1]。農(nóng)業(yè)機(jī)器人應(yīng)運(yùn)而生，它的應(yīng)用可減輕工人勞動(dòng)強(qiáng)度，提高采摘效率[2，3]。視覺傳感器是重要的傳感器，為機(jī)器人提供外界環(huán)境信息[4]。采摘機(jī)構(gòu)是農(nóng)業(yè)機(jī)器人完成采摘作業(yè)的基礎(chǔ)性部件，其特點(diǎn)決定機(jī)器人采摘性能，因此，研究基于視覺傳感器的農(nóng)業(yè)機(jī)器人采摘系統(tǒng)具有重要意義。

視覺傳感器在各領(lǐng)域的應(yīng)用已經(jīng)相當(dāng)廣泛。楊福剛[5]利用視覺傳感器，實(shí)現(xiàn)了在線對(duì)輸液中異物和雜質(zhì)的檢測(cè)。杜東亮等人[6]運(yùn)用視覺傳感器采集煙葉圖像，根據(jù)煙葉顏色特征實(shí)現(xiàn)自動(dòng)分級(jí)。丁萌等人[7]通過安裝在無(wú)人機(jī)上的視覺傳感器獲得無(wú)人機(jī)與跑道邊緣的夾角，為無(wú)人機(jī)安全著陸提供幫助。日本Hayashi等人[8]利用視覺傳感器識(shí)別定位草莓位置，研制了草莓采摘機(jī)器人。南京農(nóng)業(yè)大學(xué)的顧寶興等人[9]使用視覺傳感器實(shí)現(xiàn)目標(biāo)蘋果的識(shí)別與定位，研制了一種智能移動(dòng)式水果采摘機(jī)器人。

目前,應(yīng)用較多的采摘臂是關(guān)節(jié)型串聯(lián)機(jī)械臂，但并聯(lián)機(jī)構(gòu)相比串聯(lián)機(jī)構(gòu)在農(nóng)業(yè)生產(chǎn)中具有獨(dú)特的優(yōu)勢(shì)，比如剛度好、響應(yīng)速度快、精度高且無(wú)累積誤差等[10]。正因?yàn)樯鲜鰞?yōu)點(diǎn)，使得并聯(lián)機(jī)構(gòu)可用于末端采摘口姿態(tài)的快速調(diào)整。本文設(shè)計(jì)了基于視覺伺服的并聯(lián)采摘系統(tǒng)，選取棉花作為典型的采摘對(duì)象，以攝像頭作為視覺傳感器，計(jì)算機(jī)作為上位機(jī)處理圖像，對(duì)目標(biāo)進(jìn)行識(shí)別定位，找到圖像中目標(biāo)位置信息與并聯(lián)采摘機(jī)構(gòu)運(yùn)動(dòng)控制量之間的對(duì)應(yīng)關(guān)系，計(jì)算出運(yùn)動(dòng)控制量，以串口通信將控制量發(fā)送給單片機(jī)，單片機(jī)通過繼電器模塊完成對(duì)并聯(lián)采摘機(jī)構(gòu)的運(yùn)動(dòng)控制。該視覺伺服的采摘臂可以廣泛應(yīng)用于采摘西紅柿，蘋果，草莓等果蔬。

1 并聯(lián)采摘機(jī)構(gòu)設(shè)計(jì)

本文在機(jī)器人機(jī)構(gòu)學(xué)相關(guān)研究成果的基礎(chǔ)上，根據(jù)農(nóng)業(yè)機(jī)器人采摘作業(yè)時(shí)采摘口位姿調(diào)整的需要，建立了可調(diào)整性強(qiáng)的3—SPS/S并聯(lián)機(jī)構(gòu)作為采摘時(shí)的姿態(tài)調(diào)整機(jī)構(gòu)，實(shí)現(xiàn)對(duì)目標(biāo)的快速采摘。

如圖1所示為3—SPS/S并聯(lián)采摘臂簡(jiǎn)圖，其主要由采摘口、3—SPS/S并聯(lián)機(jī)構(gòu)和固定支架組成。該3—SPS/S并聯(lián)機(jī)構(gòu)有固定平臺(tái)和運(yùn)動(dòng)平臺(tái)兩個(gè)平臺(tái)，3個(gè)均勻?qū)ΨQ分布的運(yùn)動(dòng)鏈分支分別與運(yùn)動(dòng)平臺(tái)和固定平臺(tái)組成球副連接，中間約束分支分別固定在運(yùn)動(dòng)平臺(tái)與固定平臺(tái)的中心，中間為球副連接。采摘口與運(yùn)動(dòng)平臺(tái)固定，固定支架與固定平臺(tái)連接。三個(gè)運(yùn)動(dòng)分支伸縮，可以實(shí)現(xiàn)固定在運(yùn)動(dòng)平臺(tái)上的采摘頭作出姿態(tài)的相應(yīng)調(diào)整。

圖1 3—SPS/S并聯(lián)采摘臂簡(jiǎn)圖

在采摘頭內(nèi)側(cè)固定安裝直徑5.5 mm、30萬(wàn)像素的內(nèi)窺鏡攝像頭，采摘系統(tǒng)硬件連接如圖2所示。

圖2 采摘系統(tǒng)硬件連接示意圖

2 視覺伺服系統(tǒng)

2.1 圖像采集和處理

本文實(shí)驗(yàn)所使用的棉花來(lái)自南京市江浦農(nóng)場(chǎng)，將攝像頭與PC相連，打開圖像采集程序，得到大小為320像素×240像素的原始圖像，如圖3(a)所示。由于攝像頭直接獲取的圖像包含大量無(wú)用背景，所以將原始圖像進(jìn)行恰當(dāng)?shù)奶幚硎窍乱徊竭M(jìn)行特征提取、識(shí)別和定位必不可少的重要環(huán)節(jié)。

如果直接處理RGB彩色圖像，計(jì)算量將會(huì)十分龐大，計(jì)算分析方法也會(huì)更加復(fù)雜，運(yùn)算時(shí)間大大增加。圖像灰度化后可以減少運(yùn)算數(shù)據(jù)量，加快后續(xù)處理速度，圖3(b)為灰度化后的圖像。棉花灰度值與其余背景的灰度值有明顯的差別，這就提供了基于閾值化處理來(lái)劃分區(qū)域的可操作性。經(jīng)過實(shí)驗(yàn)驗(yàn)證，當(dāng)閾值為128時(shí)處理效果最佳，不僅可以去除大量無(wú)用的背景信息，而且可以十分鮮明地突出目標(biāo)棉花區(qū)域和輪廓。閾值化后的圖像如圖3(c)所示。

在結(jié)構(gòu)元素選擇時(shí)，應(yīng)盡可能的使圖像中雜亂無(wú)章的背景小亮點(diǎn)去除，提高棉花區(qū)域在圖像中的可區(qū)分性，同時(shí)也要盡可能的使棉花區(qū)域輪廓與棉花實(shí)際輪廓相似，輪廓平滑度較好。經(jīng)過比較分析后，發(fā)現(xiàn)選用10×10的結(jié)構(gòu)元素對(duì)閾值化后的圖像進(jìn)行開閉運(yùn)算效果最好，圖像經(jīng)過開閉運(yùn)算后，背景中細(xì)微的干擾信息有明顯的消除，平滑了較大目標(biāo)輪廓邊界。開閉運(yùn)算后的圖像如圖3(d)所示。

圖3 圖像處理效果

2.2 目標(biāo)定位與控制策略

在攝像頭視場(chǎng)中往往會(huì)出現(xiàn)多個(gè)棉花，而采摘口的結(jié)構(gòu)形式?jīng)Q定了每次只能采摘一朵。由于攝像頭安裝在采摘口前端，且靠近棉花，通常待收獲棉花直徑相差不大，說明圖像中面積最大輪廓對(duì)應(yīng)的棉花距離采摘口最近，采摘機(jī)構(gòu)姿態(tài)調(diào)整量最小，采摘最為容易，優(yōu)先采摘該目標(biāo)棉花。圖4(a)中曲線區(qū)域?yàn)樵摲鶊D像中面積最大的棉花區(qū)域輪廓。

圖4 目標(biāo)輪廓區(qū)域

棉花輪廓復(fù)雜且不規(guī)則，直接求取其質(zhì)心坐標(biāo)比較困難，為了簡(jiǎn)便計(jì)算和提高運(yùn)算效率，作該輪廓的外接矩形，如圖4(b)所示。把矩形任意兩個(gè)對(duì)角坐標(biāo)代入式(1)，可以計(jì)算出該矩形中心點(diǎn)的坐標(biāo)，即為該朵棉花質(zhì)心坐標(biāo)

(1)

攝像頭采集的圖像坐標(biāo)原點(diǎn)位于圖像左上角，X軸水平向右，Y軸垂直向下，采摘算法的原理如圖5所示。攝像頭光軸中心位于圖像中心處，光心在圖像中坐標(biāo)為(160，120)。設(shè)計(jì)的采摘口位于攝像頭正下方40mm處，通過實(shí)驗(yàn)得到采摘口在圖像中對(duì)應(yīng)坐標(biāo)為(160，190)。

圖5 采摘算法原理圖

設(shè)棉花坐標(biāo)(x1,y1);采摘口坐標(biāo)(x2,y2);采摘口與棉花直線距離為d;采摘口和棉花的連線與X軸的夾角為ψ。那么通過式(2)可以計(jì)算出采摘口與棉花的距離d，通過式(3)可以計(jì)算出棉花和采摘口的連線與X軸的夾角ψ。距離d決定并聯(lián)采摘機(jī)構(gòu)彎曲的角度，表征并聯(lián)采摘機(jī)構(gòu)彎曲程度；夾角ψ決定采摘口彎曲方向，因?yàn)椴烧诳梢猿蛘麄€(gè)圓周的任意方向，必須同時(shí)給定彎曲的角度和方向才能實(shí)現(xiàn)目標(biāo)棉花的采摘

(2)

ψ=arctan[(y2-y1)/(x2-x1)]

(3)

圖6為采摘機(jī)構(gòu)彎曲方向和角度示意圖，將圓周360°等分成6份，每份60°，共定義6個(gè)方向，分別為0°，60°，120°，80°，240°，300°，用字符‘a(chǎn)’～‘f’代表這6個(gè)彎曲方向。設(shè)計(jì)的并聯(lián)機(jī)構(gòu)能夠彎曲的最大角度為24°，等分成3份，每份8°，定義為0°,8°,16°,24° 4種彎曲程度，當(dāng)計(jì)算出的彎曲角大于24°時(shí)，將其設(shè)置成24°，用字符‘g’～‘j’代表這4種彎曲程度。

圖6 采摘機(jī)構(gòu)彎曲方向和彎曲角度示意圖

彎曲方向和角度分別用字符表示后，由上位機(jī)發(fā)送給單片機(jī)，單片機(jī)接收后還原出相應(yīng)的彎曲方向和角度。初始時(shí)3根推桿為完全收縮狀態(tài)，1根推桿完全伸出，其余2根靜止，或者1根推桿靜止，另外兩根推桿完全伸出時(shí)彎曲角度最大。每根推桿分別由2個(gè)繼電器控制其伸縮，總共使用6個(gè)繼電器，他們的IN控制輸入引腳分別連接單片機(jī)P1.0～P1.5引腳，繼電器模塊低電平觸發(fā)，按要求對(duì)單片機(jī)P1.0～P1.5引腳分別賦值，完成相應(yīng)動(dòng)作。方向角與各桿狀態(tài)之間的對(duì)應(yīng)關(guān)系描述如表1所示。

給定P1引腳值只能確定運(yùn)動(dòng)方向，彎曲程度得由P1引腳值的保持時(shí)間決定。通過實(shí)驗(yàn)知道推桿整個(gè)行程在延時(shí)函數(shù)中對(duì)應(yīng)的時(shí)間參數(shù)為930，平均3等分：0°時(shí)時(shí)間參數(shù)值為0；8°時(shí)時(shí)間參數(shù)值為310；16°時(shí)時(shí)間參數(shù)值為620；24°時(shí)時(shí)間參數(shù)值為930，達(dá)到最大彎曲角。到達(dá)相應(yīng)角度后，令P1=0XFF關(guān)閉所有繼電器，等待采摘完成后，使并聯(lián)采摘機(jī)構(gòu)復(fù)位，等待下次采摘任務(wù)。

表1 方向角與各桿狀態(tài)的對(duì)應(yīng)關(guān)系

3 采摘實(shí)驗(yàn)

為了驗(yàn)證所提出的基于視覺伺服的農(nóng)業(yè)機(jī)器人并聯(lián)采摘機(jī)構(gòu)的有效性和可行性，搭建了并聯(lián)采摘臂實(shí)物如圖7所示。選取棉花作為實(shí)驗(yàn)對(duì)象，初始時(shí)采摘口靠近棉花，3根推桿全部處于完全收縮狀態(tài)。

圖7 并聯(lián)采摘臂實(shí)物圖

實(shí)驗(yàn)過程如下所述：運(yùn)行上位機(jī)程序采集棉花圖像，處理后得到最大棉花區(qū)域輪廓，計(jì)算出棉花質(zhì)心坐標(biāo)，得到采摘口與棉花之間的像素距離d和理論彎曲方向角β及需要彎曲的角度和方向，PC發(fā)送2個(gè)代表方向和角度的字符給單片機(jī)，單片機(jī)通過繼電器模塊驅(qū)動(dòng)并聯(lián)采摘機(jī)構(gòu)作出相應(yīng)調(diào)整。

本文在不同的場(chǎng)景中，進(jìn)行了5次實(shí)驗(yàn)，圖8為第1次實(shí)驗(yàn)的過程圖，表2列出了實(shí)驗(yàn)過程中采摘系統(tǒng)各參數(shù)的實(shí)驗(yàn)結(jié)果。

圖8 實(shí)驗(yàn)過程圖

圖8中可以觀察到：經(jīng)過并聯(lián)采摘機(jī)構(gòu)姿態(tài)調(diào)整后，以前偏離采摘口位置的目標(biāo)棉花，現(xiàn)在處于采摘口附近區(qū)域；表2中可以看到：以前采摘口與目標(biāo)棉花之間距離d較大，姿態(tài)調(diào)整后，它們之間的距離縮小。說明本文設(shè)計(jì)的基于視覺傳感器的農(nóng)業(yè)機(jī)器人并聯(lián)采摘系統(tǒng)對(duì)于目標(biāo)采摘是有效可行的。

表2 采摘系統(tǒng)實(shí)驗(yàn)結(jié)果

4 結(jié) 論

本文基于視覺傳感器設(shè)計(jì)了農(nóng)業(yè)機(jī)器人并聯(lián)采摘系統(tǒng)。視覺傳感器采集目標(biāo)圖像并傳遞給上位機(jī)，上位機(jī)對(duì)圖像進(jìn)行處理，識(shí)別和定位目標(biāo)，計(jì)算并聯(lián)機(jī)構(gòu)運(yùn)動(dòng)控制量，發(fā)送給下位機(jī)，下位機(jī)接收到控制量后驅(qū)動(dòng)繼電器模塊作相應(yīng)的開關(guān)動(dòng)作，完成并聯(lián)機(jī)構(gòu)的控制。實(shí)驗(yàn)證明，該系統(tǒng)對(duì)于實(shí)現(xiàn)農(nóng)業(yè)機(jī)器人采摘作業(yè)具有可行性。

[1] 宋 健,張鐵中,徐麗明,等.果蔬采摘機(jī)器人研究進(jìn)展與展望[J].農(nóng)業(yè)機(jī)械學(xué)報(bào),2006,37(5):158-162.

[2] 方建軍.移動(dòng)式采摘機(jī)器人研究現(xiàn)狀與進(jìn)展[J].農(nóng)業(yè)工程學(xué)報(bào),2004,20(2):273-278.

[3] 湯修映,張鐵中.果蔬收獲機(jī)器人研究綜述[J].機(jī)器人,2005,27(1):90-96.

[4] 何東健,張海亮,寧紀(jì)鋒,等.農(nóng)業(yè)自動(dòng)化領(lǐng)域中計(jì)算機(jī)視覺技術(shù)的應(yīng)用[J].農(nóng)業(yè)工程學(xué)報(bào),2002,18(2):171-175.

[5] 楊福剛.基于視覺傳感器的輸液中異物檢測(cè)系統(tǒng)設(shè)計(jì)[J].傳感器與微系統(tǒng),2010, 29(3):74-76.

[6] 杜東亮,毛鵬軍,王 俊,等.基于計(jì)算機(jī)視覺的煙葉自動(dòng)分級(jí)系統(tǒng)硬件設(shè)計(jì)[J].傳感器與微系統(tǒng),2008,27(4):77-79.

[7] 丁 萌,曹云峰.利用計(jì)算機(jī)視覺獲取無(wú)人機(jī)飛行姿態(tài)角[J].傳感器與微系統(tǒng),2007,26(11):65-68.

[8] Hayashi S,Shigematsu K,Yamamoto S,et al.Evaluation of a strawberry-harvesting robot in a field test[J].Biosystems Engineering,2010,105(2):160-171.

[9] 顧寶興,姬長(zhǎng)英,王海青,等.智能移動(dòng)水果采摘機(jī)器人設(shè)計(jì)與試驗(yàn)[J].農(nóng)業(yè)機(jī)械學(xué)報(bào),2012,43(6):153-160.

[10] 張艷偉,韋 斌,王 南,等.空間轉(zhuǎn)動(dòng)3—SPS—S并聯(lián)機(jī)構(gòu)運(yùn)動(dòng)學(xué)性能分析[J].農(nóng)業(yè)機(jī)械學(xué)報(bào),2012,43(4):212-215.

Visual servo control of parallel manipulator of agricultural robot*

XUE Liang, ZHOU Jun

(Key Laboratory of Intelligent Equipment for Agriculture of Jiangsu Province,College of Engineering，Nanjing Agricultural University,Nanjing 210031,China)

A kind of agricultural robot parallel picking system based on visual servo is presented,which is composed of 4 parts:the visual system, the upper computer,the lower computer and the parallel mechanism. Images of targets are acquired by the visual system and transfer to the upper computer.The upper computer processes images,and identifies and locates object,calculates motion control quantity of parallel mechanism,send the motion control quantity to the lower computer through the serial communication.According to the motion control quantity,the lower computer drives relay modules to finish corresponding switch action and complete parallel manipulator control.Experiments show that the system is feasible for the implementation of agricultural robot picking operation.

visual servo; agricultural robot; picking; parallel mechanism

10.13873/J.1000—9787(2017)05—0123—04

2016—06—22

國(guó)家自然科學(xué)基金資助項(xiàng)目(31471419);教育部博士點(diǎn)基金資助項(xiàng)目(20130097110043)

TP 391

A

1000—9787(2017)05—0123—04

薛 梁(1992-)，男，碩士,從事農(nóng)業(yè)機(jī)器人及模式識(shí)別工作。