采摘機(jī)器人運(yùn)動(dòng)目標(biāo)逼近方法研究—基于分裂迭代和模糊算法

王　娜，湯金金

(1.河南工業(yè)職業(yè)技術(shù)學(xué)院 機(jī)電自動(dòng)化學(xué)院，河南 南陽(yáng)　473000；2.濟(jì)源職業(yè)技術(shù)學(xué)院 機(jī)電工程系，河南 濟(jì)源　459000)

0　引言

為了適應(yīng)農(nóng)業(yè)的發(fā)展，減少勞動(dòng)成本，提高勞動(dòng)生產(chǎn)率，在水果采摘領(lǐng)域引入采摘機(jī)器人是當(dāng)前農(nóng)業(yè)研究的焦點(diǎn)問(wèn)題[1-2]。但是，由于采摘機(jī)器人的作業(yè)過(guò)程中受到風(fēng)力因素和枝葉之間的擾動(dòng)，作業(yè)環(huán)境變得異常復(fù)雜，要想采摘機(jī)器人得到長(zhǎng)足的發(fā)展，還需要解決很多關(guān)鍵問(wèn)題[3-5]。在果實(shí)采摘的過(guò)程中，無(wú)論采用何種機(jī)械采摘執(zhí)行末端，都不可避免地會(huì)造成水果振蕩。采用的一般方法是等待果實(shí)靜止后再執(zhí)行采摘，會(huì)大大地降低采摘效率[6-7]。為了適應(yīng)擾動(dòng)狀態(tài)下果實(shí)采摘的作業(yè)需求，需要設(shè)計(jì)果實(shí)運(yùn)動(dòng)目標(biāo)下的采摘方法[8]。幀間差分方法是最常用的運(yùn)動(dòng)目標(biāo)檢測(cè)方法，該方法采用時(shí)間間隔較短的兩幀圖像為依據(jù)，近似地認(rèn)為其背景的灰度值是不變的，只要檢測(cè)相對(duì)位置即可[9-13]。在目標(biāo)逼近時(shí)，進(jìn)行差分計(jì)算便可以鎖定果實(shí)目標(biāo)，特點(diǎn)是檢測(cè)速度快、計(jì)算效率高、對(duì)外界條件的適應(yīng)性好，將其應(yīng)用在采摘機(jī)器人的果實(shí)運(yùn)動(dòng)目標(biāo)逼近算法上將會(huì)發(fā)揮巨大的效用[14-18]。

1　基于運(yùn)動(dòng)目標(biāo)捕捉的采摘機(jī)器人設(shè)計(jì)

在視覺(jué)系統(tǒng)的設(shè)計(jì)上，同傳統(tǒng)的工業(yè)機(jī)器人相比較，農(nóng)業(yè)機(jī)器人的視覺(jué)系統(tǒng)設(shè)計(jì)要求更高。這是由于工業(yè)機(jī)器人的工作地點(diǎn)一般是固定的，而光線和作業(yè)環(huán)境也可以人為設(shè)置[19-20]；而采摘機(jī)器人的作業(yè)環(huán)境相對(duì)復(fù)雜，需要從復(fù)雜多變的氣候條件和作業(yè)環(huán)境中識(shí)別作業(yè)目標(biāo)，經(jīng)常會(huì)遇到目標(biāo)能見(jiàn)度差、目標(biāo)非靜止等問(wèn)題，且不同作物的特征形狀有所不同，其獲得空間信息的方法也有所不同。本次研究主要針對(duì)果實(shí)在采摘過(guò)程中遇到的振動(dòng)性造成采摘機(jī)器人不能準(zhǔn)確地識(shí)別目標(biāo)空間信息的問(wèn)題，采用虛擬仿真和試驗(yàn)相結(jié)合的方法，對(duì)采摘機(jī)器人整機(jī)進(jìn)行改進(jìn)。改進(jìn)后的采摘機(jī)器人設(shè)計(jì)基本框架如圖1所示。

圖1　整機(jī)設(shè)計(jì)總體框架

采摘機(jī)器人作業(yè)過(guò)程中會(huì)出現(xiàn)多種擾動(dòng)現(xiàn)象，最常見(jiàn)的是在采摘過(guò)程中由于風(fēng)力影響和枝葉之間的擾動(dòng)出現(xiàn)的果實(shí)運(yùn)動(dòng)[21]。因此，在設(shè)計(jì)時(shí)除了建立靜止果實(shí)的特征數(shù)據(jù)庫(kù)之外，還要考慮針對(duì)果實(shí)振動(dòng)過(guò)程的特征建立特征數(shù)據(jù)；在獲取空間坐標(biāo)時(shí)，可以采用幀間差分的方法，捕捉運(yùn)動(dòng)果實(shí)的實(shí)時(shí)特征，從而待采摘果實(shí)目標(biāo)的坐標(biāo)。運(yùn)動(dòng)目標(biāo)捕捉流程如圖2所示。

圖2　運(yùn)動(dòng)目標(biāo)捕捉流程

果實(shí)運(yùn)動(dòng)目標(biāo)的獲取主要采用高清攝像機(jī)攝取圖像的方法，通過(guò)圖像分析對(duì)果實(shí)目標(biāo)的空間信息進(jìn)行核算，從而獲取目標(biāo)的具體空間位置坐標(biāo)。對(duì)于運(yùn)動(dòng)圖像的檢測(cè)，最常用的是幀間差分方法。但這種方法在計(jì)算過(guò)程中會(huì)產(chǎn)生大量的子圖像，不利于圖像的捕捉和處理。因此，可以采用分裂迭代模糊聚類(lèi)的方法將圖像進(jìn)行分類(lèi)處理，從而得到準(zhǔn)確的目標(biāo)信息。

2　運(yùn)動(dòng)果實(shí)目標(biāo)捕捉和幀間差分迭代模糊控制算法

運(yùn)動(dòng)目標(biāo)圖像的逼近和靜止圖像的逼近有所不同。由于圖像的運(yùn)動(dòng)性，需要不斷地對(duì)實(shí)時(shí)視頻的各幀圖像進(jìn)行掃描分析[22-24]。假設(shè)圖像序列表示第k和k-1幀圖像的灰度值，分別為fk(x,y)、fk-1(x,y)，Dk(x,y)表示差分運(yùn)算結(jié)果，其表達(dá)式為

Dk(x,y)=

(1)

采用圖像幀間差分算法對(duì)運(yùn)動(dòng)果實(shí)圖像進(jìn)行處理時(shí)，經(jīng)常會(huì)出現(xiàn)空洞的現(xiàn)象[25]。這是由于目標(biāo)的運(yùn)動(dòng)性造成相鄰兩幀的運(yùn)動(dòng)果實(shí)相互重疊。因此，在實(shí)際進(jìn)行識(shí)別時(shí)可以在目標(biāo)周?chē)?huà)一個(gè)最小外接矩形，然后將處理后的圖像與第k幀圖像進(jìn)行相減，最終得導(dǎo)完整的目標(biāo)運(yùn)動(dòng)圖像區(qū)域。為了提高圖像的處理質(zhì)量和運(yùn)動(dòng)果實(shí)目標(biāo)逼近的精度，需要對(duì)圖像進(jìn)行去噪處理。因此，在幀間差分運(yùn)動(dòng)之前可以進(jìn)行迭代處理，其流程如圖3所示。

圖3　幀間差分和迭代處理

分裂迭代可以降低幀間差分運(yùn)算，降低噪聲影響。假設(shè)運(yùn)動(dòng)果實(shí)目標(biāo)的圖像M∈Rn×n，則稱(chēng)MB|C(B,C∈Rn×n)為一個(gè)分裂，將其相應(yīng)的記做(B,C)。假設(shè)Bk、Ck、Ek、Fk、Dk圖像數(shù)據(jù)為非負(fù)對(duì)角陣，且存在如下3個(gè)條件：

1)M=Bk+Ck，k=1,2,...,a.|Bk|=0;

2)Bk=Ek+Fk,k=1,2,...,a.|Ek|=0;

3)ak=1，Dk=I(n×n階單位陣)。

如果同時(shí)滿足以上3個(gè)條件，則稱(chēng)Bk、Ck、Ek、Fk,Dk為圖像M的二次多分裂。

在進(jìn)行幀間差分分裂迭代運(yùn)算后，會(huì)產(chǎn)生較多的分裂迭代子圖像，可以采用模糊分類(lèi)的方法，將圖像進(jìn)行分類(lèi)，最終逼近運(yùn)動(dòng)果實(shí)目標(biāo)，如圖4所示。

圖4　幀間差分分裂迭代模糊聚類(lèi)過(guò)程

本次將廣義鐘形函數(shù)引入到迭代分裂模糊聚類(lèi)算法中，其隸屬度函數(shù)為

(2)

其中，mi為聚類(lèi)中心；a、b為計(jì)算參數(shù)，其數(shù)值一般是正數(shù)。μ(x)為隸屬度函數(shù)；λ(x)為非隸屬度函數(shù)；π(x)為直覺(jué)指數(shù)π(x)，三者的關(guān)系式為

μ(x)+λ(x)+π(x)=1

(3)

通過(guò)模糊聚類(lèi)后，圖像運(yùn)動(dòng)后的位置將被確定。由此可以使采摘機(jī)器人實(shí)時(shí)逼近運(yùn)動(dòng)目標(biāo)，從而達(dá)到在外接擾動(dòng)的條件下精確鎖定果實(shí)目標(biāo)的目的。

3　采摘機(jī)器人運(yùn)動(dòng)果實(shí)目標(biāo)逼近實(shí)驗(yàn)測(cè)試

為了使分裂迭代和模糊控制方法在運(yùn)動(dòng)目標(biāo)的逼近上發(fā)揮效果，需要采用幀間差分算法對(duì)模型進(jìn)行驗(yàn)證[26]。虛擬場(chǎng)景采用軟件建模的方法，主要包括采摘機(jī)器人、運(yùn)動(dòng)果實(shí)目標(biāo)和果樹(shù)3部分，如圖5所示。

圖5　虛擬場(chǎng)景模型

虛擬場(chǎng)景的搭建有利于對(duì)算法的驗(yàn)證。利用虛擬實(shí)驗(yàn)場(chǎng)景，使用MatLab軟件可以方便地完成圖像處理和算法編程。通過(guò)對(duì)第2節(jié)中算法的編程，實(shí)現(xiàn)了基于分裂迭代和模糊算法的運(yùn)動(dòng)目標(biāo)幀間差分算法。

為了進(jìn)一步驗(yàn)證算法在實(shí)際操作中的可行性，采用PC處理機(jī)的形式，將硬件程序植入采摘機(jī)器人的控制系統(tǒng)中。通過(guò)試驗(yàn)測(cè)試(見(jiàn)圖6)，對(duì)采摘過(guò)程的成功率進(jìn)行了統(tǒng)計(jì)，并分析了存在采摘誤差的主要原因，如表1所示。

試驗(yàn)采摘了1 000個(gè)果實(shí)，采摘機(jī)器人總體采摘成功的概率為95.3%，成功率較高。采摘失敗的原因主要是由3點(diǎn)引起的，主要包括果實(shí)空間信息獲取失敗、果實(shí)分離失敗及果實(shí)目標(biāo)逼近失敗，而目標(biāo)逼近失敗的概率較低。

圖7表示采用虛擬軟件對(duì)果實(shí)運(yùn)動(dòng)圖像識(shí)別的結(jié)果。由識(shí)別結(jié)果可以看出：采用分裂迭代模糊聚類(lèi)的幀間差分方法，可以有效地對(duì)運(yùn)動(dòng)目標(biāo)進(jìn)行識(shí)別。其識(shí)別誤差統(tǒng)計(jì)如表2所示。

圖6　試驗(yàn)實(shí)際測(cè)試實(shí)物圖

失敗類(lèi)型失敗數(shù)量比例失敗原因果實(shí)空間信息獲取失敗435．2枝葉遮擋，光線不均勻果實(shí)分離失敗544．6枝條為新生長(zhǎng)枝條果實(shí)目標(biāo)逼近失敗221．2目標(biāo)空間計(jì)算錯(cuò)誤

圖7　果實(shí)運(yùn)動(dòng)圖像識(shí)別

誤差/mm果實(shí)數(shù)量百分比/%0～327527．53～636236．26～936336．3

由誤差統(tǒng)計(jì)結(jié)果可以看出：采用分裂迭代模糊聚類(lèi)的幀間差分方法，即便是外界存在擾動(dòng)，使果實(shí)圖像運(yùn)動(dòng)，圖像識(shí)別的效果和坐標(biāo)獲取的成功率都不會(huì)受到太大影響，因此相應(yīng)的空間坐標(biāo)獲取的誤差就會(huì)減小。

4　結(jié)論

待采摘果實(shí)的振蕩擾動(dòng)問(wèn)題是影響采摘機(jī)器人目標(biāo)定位不準(zhǔn)確的主要因素之一。如果等待果實(shí)靜止再采摘，將會(huì)大大影響水果采摘的效率。本設(shè)計(jì)采用的運(yùn)動(dòng)目標(biāo)逼近方法可以有效地解決這一問(wèn)題，從而提高了采摘機(jī)器人的作業(yè)質(zhì)量和作業(yè)效率。為了驗(yàn)證方法的可靠性，采用虛擬仿真和樣機(jī)試驗(yàn)分別對(duì)幀間差分的分裂迭代模糊聚類(lèi)算法進(jìn)行了驗(yàn)證，結(jié)果表明：利用該方法的果實(shí)成功采摘率較高，除了果實(shí)枝葉本身的影響因素之外，目標(biāo)定位信息對(duì)采摘失敗的影響因素較小。對(duì)采摘目標(biāo)定位誤差進(jìn)行統(tǒng)計(jì)發(fā)現(xiàn)：采用該方法獲取的運(yùn)動(dòng)果實(shí)目標(biāo)準(zhǔn)確，誤差較小，可以滿足高效采摘機(jī)器人的設(shè)計(jì)需求，是現(xiàn)代采摘機(jī)器人定位算法的一種新的突破，為采摘機(jī)器人高精度定位方法的設(shè)計(jì)提供了一種新的方案。

參考文獻(xiàn)：

[1]呂繼東,趙德安,姬偉,等.采摘機(jī)器人振蕩果實(shí)動(dòng)態(tài)識(shí)別[J].農(nóng)業(yè)機(jī)械學(xué)報(bào),2012,43(5)：174-178.

[2]熊俊濤,鄒湘軍,陳麗娟,等.采摘機(jī)械手對(duì)擾動(dòng)荔枝的視覺(jué)定位[J].農(nóng)業(yè)工程學(xué)報(bào),2012,28(14):36-41.

[3]王天健,吳振升,王暉,等.基于快速傅里葉變換的電力系統(tǒng)頻率實(shí)時(shí)計(jì)算方法[J].鄭州大學(xué)學(xué)報(bào):工學(xué)版,2011,32(3):81-84.

[4]寧志剛,程輝,龔學(xué)余,等.適用無(wú)線傳輸?shù)膱D像 ROI 提取及優(yōu)先編碼研究[J].南華大學(xué)學(xué)報(bào):自然科學(xué)版,2012,26(2):45-49.

[5]寧志剛, 楊恒, 楊玲,等.彩色序列車(chē)牌圖像超分辨率復(fù)原技術(shù)研究[J].自動(dòng)化儀表, 2013, 34(11):6-8.

[6]陳軍, 王虎, 蔣浩然,等.獼猴桃采摘機(jī)器人末端執(zhí)行器設(shè)計(jì)[J].農(nóng)業(yè)機(jī)械學(xué)報(bào),2012,43(10):151-154,199.

[7]崔永杰,蘇帥,呂志海,等.基于 Hough 變換的獼猴桃毗鄰果實(shí)的分離方法[J].農(nóng)機(jī)化研究,2012,34(12): 166-169.

[8]崔永杰,蘇帥,王霞霞,等.基于機(jī)器視覺(jué)的自然環(huán)境中獼猴桃識(shí)別與特征提取[J].農(nóng)業(yè)機(jī)械學(xué)報(bào),2013，44(5): 247-252.

[9]王輝,毛文華,劉剛,等.基于視覺(jué)組合的蘋(píng)果作業(yè)機(jī)器人識(shí)別與定位[J].農(nóng)業(yè)機(jī)械學(xué)報(bào),2012,43(12):165-170.

[10]魏澤鼎,賈俊國(guó),王占永.基于視覺(jué)傳感器的棉花果實(shí)定位方法[J].農(nóng)機(jī)化研究,2012,34(6):66-68,112.

[11]高春城.我國(guó)農(nóng)業(yè)發(fā)展的資源環(huán)境問(wèn)題與展望[J].當(dāng)代生態(tài)農(nóng)業(yè),2013,3(4):151-154.

[12]萬(wàn)寶瑞.當(dāng)前我國(guó)農(nóng)業(yè)發(fā)展的趨勢(shì)與建議[J].農(nóng)業(yè)經(jīng)濟(jì)問(wèn)題,2014,4(1):110-114.

[13]徐茂,鄧蓉.國(guó)內(nèi)外設(shè)施農(nóng)業(yè)發(fā)展比較[J].北京農(nóng)學(xué)院學(xué)報(bào),2014,29(2):75-79.

[14]趙其國(guó).當(dāng)前我國(guó)農(nóng)業(yè)發(fā)展中存在的深層次問(wèn)題及對(duì)策[J].生態(tài)環(huán)境學(xué)報(bào),2013,22(6):911-915.

[15]趙其國(guó),黃國(guó)勤,王禮獻(xiàn).中國(guó)生態(tài)安全、農(nóng)業(yè)安全及“三農(nóng)”建設(shè)研究[J].農(nóng)林經(jīng)濟(jì)管理學(xué)報(bào),2014,13(3): 237-243.

[16]袁挺,紀(jì)超,陳英,等.基于光譜成像技術(shù)的溫室黃瓜識(shí)別方法[J].農(nóng)業(yè)機(jī)械學(xué)報(bào),2011,42(S1):172-176.

[17]熊俊濤,鄒湘軍,陳麗娟,等.采摘機(jī)械手對(duì)擾動(dòng)荔枝的視覺(jué)定位[J].農(nóng)業(yè)工程學(xué)報(bào),2012,28(14):36-41.

[18]郭杰鋒,陳桂林.結(jié)構(gòu)元素選取對(duì)基于形態(tài)學(xué)紅外點(diǎn)目標(biāo)檢測(cè)的影響[J].半導(dǎo)體光電,2009,30(3): 469- 472.

[19]陳曦,譚冠政,江斌.基于免疫遺傳算法的移動(dòng)機(jī)器人實(shí)時(shí)最優(yōu)路徑規(guī)劃[J].中南大學(xué)學(xué)報(bào):自然科學(xué)版, 2008, 39(3):577-583.

[20]呂繼東,趙德安,姬偉,等.采摘機(jī)器人振蕩果實(shí)動(dòng)態(tài)識(shí)別[J].農(nóng)業(yè)機(jī)械學(xué)報(bào),2012,43(5):173-196.

[21]傅隆生,張發(fā)年,槐島芳德.獼猴桃采摘機(jī)器人末端執(zhí)行器設(shè)計(jì)與試驗(yàn)[J].農(nóng)業(yè)機(jī)械學(xué)報(bào), 2015,46(3):1-8.

[22]高浩,王虎,陳軍.獼猴桃采摘機(jī)器人的研究與設(shè)計(jì)[J].農(nóng)機(jī)化研究, 2013,35(2):73-76.

[23]紀(jì)超, 馮青春,袁挺,等.溫室黃瓜采摘機(jī)器人系統(tǒng)研制及性能分析[J].機(jī)器人,2011, 33(6):726-730.

[24]劉繼展,李萍萍,倪齊,等.番茄采摘機(jī)器人真空吸盤(pán)裝置設(shè)計(jì)與試驗(yàn)[J].農(nóng)業(yè)機(jī)械學(xué)報(bào),2010,41(10):170- 173,184.

[25]陸化珠,蔡健榮,孫力,等.基于超聲測(cè)距的柑橘收獲機(jī)器人應(yīng)急避障系統(tǒng)[J].農(nóng)機(jī)化研究,2011,33(12): 151-153.

[26]呂繼東,趙德安,姬偉.蘋(píng)果采摘機(jī)器人目標(biāo)果實(shí)快速跟蹤識(shí)別方法[J].農(nóng)業(yè)機(jī)械學(xué)報(bào), 2014,45(1):65-72.

ID:1003-188X(2018)04-0058-EA