枝上柑橘果實(shí)深度球截線識(shí)別方法

劉繼展 朱新新 袁 妍

(江蘇大學(xué)現(xiàn)代農(nóng)業(yè)裝備與技術(shù)教育部重點(diǎn)實(shí)驗(yàn)室，鎮(zhèn)江 212013)

枝上柑橘果實(shí)深度球截線識(shí)別方法

劉繼展 朱新新 袁 妍

(江蘇大學(xué)現(xiàn)代農(nóng)業(yè)裝備與技術(shù)教育部重點(diǎn)實(shí)驗(yàn)室，鎮(zhèn)江 212013)

針對(duì)柑橘果、葉、枝對(duì)象具有球體、片體和細(xì)柱體不同的三維幾何特征，提出一種識(shí)別柑橘果實(shí)的深度球截線方法。首先提出了球形果實(shí)特征提取的深度球截線方法的基本原理和關(guān)鍵參數(shù)，進(jìn)而分別針對(duì)枝上果、葉孤立和貼碰區(qū)域提出了孤立果實(shí)的特征提取算法和貼碰果實(shí)的特征提取算法，得到了復(fù)雜枝環(huán)境下的深度數(shù)據(jù)處理與果實(shí)識(shí)別策略，并綜合根據(jù)Intel RealSense F200型深度傳感器參數(shù)、柑橘果實(shí)尺寸、近景探測(cè)范圍、數(shù)據(jù)預(yù)處理與特征提取需要完成了深度球截線方法的參數(shù)確定。大量室內(nèi)試驗(yàn)結(jié)果表明，深度球截線方法對(duì)孤立果實(shí)提取的平均成功率為97.8%，貼碰區(qū)域內(nèi)果實(shí)提取的平均成功率為76%，而復(fù)雜枝環(huán)境的果實(shí)提取綜合成功率為63.8%。該深度球截線的識(shí)別方法僅利用有限的深度數(shù)據(jù)點(diǎn)，在保證原始數(shù)據(jù)精度的同時(shí)降低了運(yùn)算量和果實(shí)特征提取復(fù)雜性，能有效應(yīng)對(duì)果葉遮擋問(wèn)題，實(shí)現(xiàn)對(duì)貼碰果葉的有效區(qū)分，對(duì)柑橘果實(shí)具有良好的適應(yīng)性，為采摘機(jī)器人在復(fù)雜環(huán)境下的果實(shí)識(shí)別與定位提供了新的技術(shù)思路。

柑橘； 采摘； 識(shí)別； 深度信息； 球截線； 特征提取

引言

識(shí)別定位是采摘機(jī)器人的核心技術(shù)，而快速準(zhǔn)確地提取采摘目標(biāo)特征是果實(shí)識(shí)別的前提[1-3]。由于傳統(tǒng)的基于可見(jiàn)光圖像識(shí)別的定位方法在實(shí)時(shí)性、重疊對(duì)象分割和光照敏感性上存在著局限性，研究者陸續(xù)進(jìn)行了其他途徑的探索，其中利用深度信息進(jìn)行果實(shí)的識(shí)別定位成為研究熱點(diǎn)。

近年來(lái)，研究者開(kāi)展了利用激光掃描測(cè)距[4-5]、TOF成像[6-7]和RGB-D傳感器[8-10]等深度信息獲取手段進(jìn)行果實(shí)識(shí)別定位的研究。文獻(xiàn)[2，11-12]主要基于顏色特征進(jìn)行果實(shí)識(shí)別，深度信息主要用于輔助定位，未能有效發(fā)揮深度信息的優(yōu)勢(shì)以克服現(xiàn)有技術(shù)局限；而文獻(xiàn)[13-15]利用顏色與深度點(diǎn)云的匹配進(jìn)行三維重構(gòu)，進(jìn)而在三維空間中同時(shí)利用顏色與形狀特征完成果實(shí)的識(shí)別與定位，其融合重構(gòu)和果實(shí)分割算法復(fù)雜，實(shí)時(shí)性受到影響；文獻(xiàn)[16-20]則將深度信息還原為深度圖像，進(jìn)而利用二維圖像的邊緣輪廓提取算法完成果實(shí)分割，未能充分發(fā)揮真實(shí)深度數(shù)據(jù)的優(yōu)勢(shì)，導(dǎo)致“原始深度數(shù)據(jù)—圖像化—灰度數(shù)值計(jì)算—輪廓曲線提取—果實(shí)特征辨識(shí)”的分析處理過(guò)程復(fù)雜化，而且圖像化轉(zhuǎn)換產(chǎn)生的誤差導(dǎo)致相鄰對(duì)象的深度差異銳減，從而影響了目標(biāo)分割與識(shí)別的可靠性。

本文針對(duì)目前各類(lèi)基于深度信息實(shí)現(xiàn)果實(shí)識(shí)別方法的不足，提出柑橘果實(shí)識(shí)別的深度球截線方法并進(jìn)行試驗(yàn)驗(yàn)證。

1 基于深度球截線的果實(shí)特征提取方法

1.1 深度球截線特征提取方法的提出

柑橘植株的果實(shí)、葉片和枝干分別具有實(shí)球體、片體和細(xì)柱體的幾何特征(圖1)。根據(jù)幾何學(xué)關(guān)系(圖2)，當(dāng)以深度傳感器獲取植株冠層空間的三維深度點(diǎn)云數(shù)據(jù)(D、θ、φ)后，如以一定深度D為半徑的球面分別對(duì)具有實(shí)球體、片體和細(xì)柱體特征的果、葉、枝深度點(diǎn)云數(shù)據(jù)進(jìn)行切割計(jì)算，將分別獲得圓、曲線段和近似圓點(diǎn)3類(lèi)截線，進(jìn)而可根據(jù)截線特征差異實(shí)現(xiàn)果、葉、枝3類(lèi)對(duì)象的區(qū)分。

圖1 柑橘果實(shí)、葉、枝幾何特征與球面切割示意圖Fig.1 Geometric characteristics of citrus fruit, leaves and branches and sketch of spherical cutting1.實(shí)球體 2.深度球面 3.封閉圓 4.片體 5.曲線段 6.細(xì)柱體 7.近似圓點(diǎn)

1.2 深度球截線方法的理論模型

1.2.1球形果實(shí)的深度點(diǎn)云邊界

如圖2所示，當(dāng)三維深度傳感器對(duì)球形果實(shí)進(jìn)行探測(cè)時(shí)，可獲得深度點(diǎn)云數(shù)據(jù)的果實(shí)表面范圍為：由深度傳感器到果實(shí)表面的切點(diǎn)B所決定的近似球冠Z。

圖2 球形實(shí)體的深度球切割平面示意圖Fig.2 Schematic plan of spherical entity by depth-sphere cutting1.深度傳感器 2.截線 3.深度球面 4.最大深度球面 5.球形果實(shí)

其中最近點(diǎn)A具有被探測(cè)果實(shí)表面范圍內(nèi)的最小深度

DA=minDZ

(1)

而最遠(yuǎn)點(diǎn)則為從深度傳感器到果實(shí)表面的切點(diǎn)B，深度為

DB=maxDZ

(2)

1.2.2球形果實(shí)的深度球切割參數(shù)

如圖2所示，當(dāng)以深度傳感器為中心、以一定半徑的深度球面對(duì)球形果實(shí)進(jìn)行切割時(shí)，定義

L=DC-DA

(3)

式中L——球切深度，mm

DC——球切面到傳感器中心的深度，mm

圖2所示的幾何關(guān)系為

(4)

式中RC——截線圓半徑，mm

R——球形果實(shí)半徑，mm

將式(3)代入式(4)可得

(5)

由式(5)知，當(dāng)球形果實(shí)被深度球面切的越深，所獲得的截線圓越大。由可獲得深度點(diǎn)云數(shù)據(jù)的果實(shí)表面范圍所決定，其最大球切深度為

(6)

因而，球切深度L總不超過(guò)果實(shí)的半徑。而當(dāng)球切深度過(guò)小時(shí)，理論獲得的截線圓過(guò)小，同時(shí)考慮實(shí)際柑橘果實(shí)的形狀誤差和果皮表面粗糙性，難以保證獲得滿意的截線圓曲線。

1.2.3深度球截線的特征提取

當(dāng)柑橘果實(shí)被果、葉、枝等遮擋時(shí)，深度傳感器將無(wú)法獲得完整的表面點(diǎn)云，深度球切割方法亦無(wú)法獲得封閉的截線圓。綜合考慮柑橘枝、葉截線的近似圓點(diǎn)和曲線段與果實(shí)截線的封閉圓和非封閉圓的特征差異，引入截線的離心率和像素?cái)?shù)共同判斷的方法實(shí)現(xiàn)果實(shí)截線的判別函數(shù)關(guān)系

(7)

式中C(DC)——DC處利用深度球切割方法所獲得的對(duì)象截線

E——與截線各區(qū)域具有相同標(biāo)準(zhǔn)二階中心矩的橢圓離心率

AN——截線各連通域所包含深度像素點(diǎn)數(shù)

E0——E的閾值

AN0——AN的閾值

其中，橢圓離心率E可表示截線各連通區(qū)域的彎曲程度，在標(biāo)準(zhǔn)圓的離心率(0)和直線段的離心率(1)之間，利用離心率可有效濾除葉片對(duì)象；而考慮到柑橘果、葉、枝截線的尺寸差異，進(jìn)一步利用像素?cái)?shù)AN差異濾除枝、葉對(duì)象。

E0和AN0分別為截線各連通域的離心率閾值和像素?cái)?shù)閾值，由試驗(yàn)統(tǒng)計(jì)的果、葉截線的參數(shù)確定。當(dāng)截線滿足式(7)時(shí)，則剔除枝、葉截線干擾，篩選出柑橘果實(shí)的截線。

2 柑橘果實(shí)對(duì)象特征提取策略

2.1 枝上果實(shí)的深度點(diǎn)云特征與預(yù)處理

2.1.1前景、背景干擾信息剔除

枝上場(chǎng)景內(nèi)的柑橘果葉原始深度點(diǎn)云中包含了大量的前景、背景點(diǎn)云數(shù)據(jù)以及因在相機(jī)探測(cè)范圍外深度值被置為0的空洞噪聲。因此，以深度閾值對(duì)柑橘果實(shí)對(duì)象前景與背景進(jìn)行點(diǎn)云分割，從而剔除前景、背景的干擾信息并縮減數(shù)據(jù)量，為后續(xù)果實(shí)快速提取提供有利條件。

2.1.2點(diǎn)云聚類(lèi)與分類(lèi)

在枝上空間內(nèi)，具有細(xì)柱體特征的枝干在深度探測(cè)中呈現(xiàn)離散或連續(xù)的線類(lèi)點(diǎn)云，而柑橘果、葉與枝干連接呈現(xiàn)復(fù)雜的點(diǎn)云結(jié)構(gòu)，從而造成深度球截線方法無(wú)法實(shí)施。

為此，首先通過(guò)點(diǎn)云聚類(lèi)濾除枝干等的線類(lèi)點(diǎn)云與散點(diǎn)等干擾而獲得若干離散點(diǎn)云聚集區(qū)域，其中存在果、葉孤立和相互貼碰的不同情況，孤立的果、葉分別呈現(xiàn)出實(shí)球體和片體的幾何特征，而果葉相互貼碰連接呈現(xiàn)復(fù)雜的幾何結(jié)構(gòu)。為實(shí)現(xiàn)枝上果實(shí)的識(shí)別，根據(jù)點(diǎn)云數(shù)量閾值N0將其劃分為孤立區(qū)域與貼碰區(qū)域，從而針對(duì)孤立和貼碰兩類(lèi)不同區(qū)域中的果實(shí)給出相應(yīng)的特征提取策略。

2.2 孤立果實(shí)的特征提取算法

針對(duì)孤立點(diǎn)云區(qū)域，只需要通過(guò)深度球面的一次切割即可完成果實(shí)特征的提?。?/p>

(1)針對(duì)所有孤立區(qū)域，在其深度數(shù)據(jù)點(diǎn)內(nèi)搜尋各自的最近點(diǎn)A，并利用選定的球切深度L進(jìn)行球面切割獲取各截線。

(2)計(jì)算各截線離心率E和像素?cái)?shù)AN，以離心率閾值E0和像素?cái)?shù)閾值A(chǔ)N0作為柑橘果、葉截線的判斷依據(jù)，從而從孤立果、葉中完成對(duì)果實(shí)的識(shí)別。

2.3 貼碰果實(shí)的特征提取算法

如圖3所示，以2個(gè)果實(shí)的貼碰點(diǎn)云區(qū)域?yàn)槔紫人褜ぴ撡N碰區(qū)域的最近點(diǎn)A和最遠(yuǎn)點(diǎn)B，當(dāng)從最近點(diǎn)A起以固定球切深度L進(jìn)行深度球切割時(shí)，僅能提取到靠前的果實(shí)2的截線圓，而造成后方相貼碰果實(shí)3的漏判。為此，在A和B之間逐次增加球切深度

DCi=DA+iL(i=1,2,…；DCi

(8)

通過(guò)DCi的逐次切割從而獲得多個(gè)截線，進(jìn)而根據(jù)各截線的特征識(shí)別各果實(shí)。

圖3 貼碰區(qū)域中多次深度球切割示意圖Fig.3 Schematic diagram of multiple depth-sphere cutting in adhering area1.深度傳感器 2.靠近深度傳感器的果實(shí) 3.與果實(shí)2相貼碰的果實(shí)

在多次切割過(guò)程中，會(huì)出現(xiàn)同一果實(shí)被多次切割獲得不同截線圓的現(xiàn)象。如圖3所示，果實(shí)2被DC1和DC2兩次切割，通過(guò)增加兩相鄰果實(shí)截線的相對(duì)位置關(guān)系作為輔助判斷依據(jù)，從而避免被誤判為多個(gè)果實(shí)。

(9)

該逐次深度球切割的貼碰果實(shí)識(shí)別方法對(duì)果、葉貼碰的情況也同樣適用。

2.4 復(fù)雜枝環(huán)境的果實(shí)識(shí)別策略

綜合深度點(diǎn)云數(shù)據(jù)預(yù)處理、孤立與貼碰果實(shí)的提取算法，復(fù)雜枝環(huán)境的柑橘果實(shí)識(shí)別策略如圖4所示。

圖4 復(fù)雜枝環(huán)境的果實(shí)識(shí)別流程圖Fig.4 Flow chart of fruit recognition in complex on-branch environment

3 試驗(yàn)與結(jié)果分析

3.1 試驗(yàn)對(duì)象與材料

試驗(yàn)于2016年8月—11月在江蘇大學(xué)現(xiàn)代農(nóng)業(yè)裝備與技術(shù)教育部重點(diǎn)實(shí)驗(yàn)室進(jìn)行。試驗(yàn)所用柑橘品種為鎮(zhèn)江江心洲無(wú)核蜜桔，利用游標(biāo)卡尺分別測(cè)量100個(gè)成熟蜜桔果實(shí)的極直徑和赤道直徑，得到剔除畸形果的果實(shí)半徑R上、下限分別為29.66、19.32 mm。

如圖5所示，選擇Intel RealSense F200型傳感器作為深度信息的采集設(shè)備，采用Light Coding工作原理，其深度分辨率為640像素×480像素，水平方向探測(cè)角為73°，垂直方向探測(cè)角為59°，有效深度探測(cè)范圍為0.2～1.2 m。考慮到RealSense F200型傳感器個(gè)體差異，利用光滑平面為對(duì)象進(jìn)行傳感器有效探測(cè)范圍標(biāo)定，結(jié)果表明RealSense F200型可獲取的最小穩(wěn)定深度數(shù)據(jù)流為180 mm。此外，綜合柑橘果實(shí)尺寸和采摘機(jī)器人近景作業(yè)的需要，設(shè)定柑橘果實(shí)識(shí)別的近景探測(cè)范圍為180～600 mm，便于減小機(jī)器人視野內(nèi)柑橘對(duì)象的復(fù)雜度。

圖5 RealSense F200型傳感器Fig.5 RealSense F200 sensor

3.2 深度球截線方法的參數(shù)確定

3.2.1近景探測(cè)的數(shù)據(jù)預(yù)處理

(1)近景處理范圍

根據(jù)3.1節(jié)設(shè)定的近景探測(cè)范圍，以180～600 mm的距離閾值對(duì)場(chǎng)景內(nèi)柑橘對(duì)象的前景與背景進(jìn)行點(diǎn)云分割，分割后有效剔除了前景、背景的干擾信息，同時(shí)不同枝上場(chǎng)景內(nèi)對(duì)象的點(diǎn)云數(shù)量從307 200銳減至6 000～45 000，為后續(xù)果實(shí)快速提取提供了有利條件(圖6)。

圖6 枝上果葉深度點(diǎn)云的前景、背景剔除Fig.6 Foreground and background culling of depth point cloud on branch

(2)孤立與貼碰區(qū)域的劃分

如圖7所示，每一點(diǎn)云聚集區(qū)域內(nèi)的理論最大深度點(diǎn)數(shù)為

(10)

式中θ、φ——每一點(diǎn)云聚集區(qū)域所對(duì)應(yīng)的水平、豎直角，(°)

θ0、φ0——深度傳感器水平方向、垂直方向探測(cè)角，(°)

m、n——深度傳感器水平、豎直分辨率，像素

圖7 分割后的深度點(diǎn)云及其區(qū)域分類(lèi)Fig.7 Segmented depth point cloud and its classification

由RealSense F200型傳感器分別對(duì)單獨(dú)的柑橘果、葉進(jìn)行探測(cè)，統(tǒng)計(jì)發(fā)現(xiàn)當(dāng)DA為180 mm時(shí)，單個(gè)柑橘果、葉區(qū)域的深度點(diǎn)數(shù)分別在15 000和13 000以內(nèi)。而由式(10)可知，當(dāng)特定點(diǎn)云聚集區(qū)域距深度傳感器越遠(yuǎn)時(shí)，所對(duì)應(yīng)的水平與豎直角θ和φ越小，其點(diǎn)云深度點(diǎn)數(shù)也越小。故在近景探測(cè)范圍內(nèi)，根據(jù)讀取的每個(gè)點(diǎn)云聚集區(qū)域的DA，計(jì)算孤立與貼碰區(qū)域區(qū)分的深度點(diǎn)數(shù)閾值為

(11)

3.2.2深度球切割與特征提取

(1)球切截線圓上的深度點(diǎn)云數(shù)量

對(duì)柑橘果實(shí)進(jìn)行深度球切割實(shí)際獲得的為若干離散深度點(diǎn)，因而深度點(diǎn)云的數(shù)量決定了能否獲得理想的截線圓曲線，其計(jì)算式為

(12)

式中Na——柑橘果實(shí)截線圓上的深度點(diǎn)云個(gè)數(shù)

ka——柑橘果實(shí)的極半徑、赤道半徑、形狀誤差和果實(shí)表面粗糙性的安全系數(shù)，ka<1

將式(3)、(5)代入式(12)得

(13)

由式(13)可知，對(duì)特定的柑橘果實(shí)品種及尺寸、深度傳感器參數(shù)和近景探測(cè)范圍，必須保證一定的球切深度L才能獲得用于截線圓特征提取的足夠深度數(shù)據(jù)點(diǎn)云。

(2)離心率和像素?cái)?shù)

選擇100組不同尺寸和姿態(tài)的柑橘果、葉在近景探測(cè)范圍內(nèi)所獲得的完整與非完整深度球截線，利用Matlab分別計(jì)算相應(yīng)不同形態(tài)的果、葉、枝截線的離心率E和像素?cái)?shù)AN，統(tǒng)計(jì)得到完整與非完整柑橘果實(shí)截線離心率的上限閾值為0.85，而像素?cái)?shù)下限閾值為100。

(3)球切深度范圍

根據(jù)3.1節(jié)統(tǒng)計(jì)的柑橘果實(shí)半徑R和近景探測(cè)范圍確定DA的上下限，取安全系數(shù)ka為0.8，由式(13)可求得最小球切深度L為4.43 mm，取整為5 mm進(jìn)行果實(shí)的識(shí)別試驗(yàn)，以保證深度球截線方法能夠滿足近景處理范圍內(nèi)對(duì)柑橘果實(shí)識(shí)別的實(shí)際應(yīng)用需要。

3.3 試驗(yàn)方法

3.3.1孤立對(duì)象的提取

圖8 試驗(yàn)裝置和場(chǎng)景Fig.8 Test device and scene1.RealSense F200型傳感器 2.鉗口夾具 3.葉片 4.微型三腳架 5.三自由度支座 6.果實(shí) 7.枝干 8.落地三腳架

如圖8a所示，將RealSense F200型傳感器固定在微型三腳架上并保持傳感器平面與桌面垂直，在距離傳感器表面的近景范圍內(nèi)擺放果、葉對(duì)象。RealSense F200型傳感器通過(guò)USB接口與計(jì)算機(jī)相連，并利用Intel RealSense SDK工具包和Microsoft Visual Studio 2013軟件平臺(tái)進(jìn)行試驗(yàn)場(chǎng)景深度信息的采集。

為盡可能還原枝上柑橘果、葉的實(shí)際生長(zhǎng)狀態(tài)，利用三自由度支座和鉗口夾具活動(dòng)調(diào)節(jié)被夾持對(duì)象的姿態(tài)。選取8個(gè)新鮮的柑橘果實(shí)為試驗(yàn)對(duì)象，利用夾具分別對(duì)每個(gè)果實(shí)隨機(jī)調(diào)節(jié)使其呈現(xiàn)8種不同的位置姿態(tài)，共采集64個(gè)孤立果實(shí)場(chǎng)景的深度信息。而考慮到枝上葉片姿態(tài)的多樣性，選取6個(gè)新鮮的柑橘葉片為試驗(yàn)對(duì)象，并利用夾具隨機(jī)調(diào)節(jié)葉片使每個(gè)葉片呈現(xiàn)20種姿態(tài)，共采集120個(gè)孤立葉片場(chǎng)景的深度信息。進(jìn)而對(duì)獲得的184個(gè)孤立對(duì)象的深度數(shù)據(jù)分別應(yīng)用2.2節(jié)提出的孤立果實(shí)的特征提取算法，利用3.2.2節(jié)中得到的5 mm球切深度L獲得相應(yīng)深度球截線，并依據(jù)閾值E0為0.85和AN0為100進(jìn)行相應(yīng)孤立對(duì)象的判別。

3.3.2貼碰果實(shí)的識(shí)別

如圖8b所示，將RealSense F200型傳感器固定在落地三腳架上，在傳感器近景范圍內(nèi)將果、葉放置在盆栽柑橘枝干系統(tǒng)上。貼碰果、葉場(chǎng)景的深度信息采集同3.2.1節(jié)。此外，根據(jù)貼碰試驗(yàn)中盆栽枝干上果、葉的數(shù)量差異，將試驗(yàn)進(jìn)一步細(xì)分為單果單葉、單果兩葉、單果多葉和兩果一葉、兩果兩葉、兩果多葉6個(gè)貼碰類(lèi)別。

以新鮮柑橘果、葉為試驗(yàn)對(duì)象，首先通過(guò)改變果、葉懸掛在枝上的相對(duì)位置以呈現(xiàn)不同的姿態(tài)，其次又對(duì)每種姿態(tài)利用花盆底座以45°為間隔，原地水平旋轉(zhuǎn)各獲得8個(gè)姿態(tài)(圖8b)。貼碰試驗(yàn)共采集40個(gè)單果單葉、40個(gè)單果兩葉、40個(gè)單果多葉、32個(gè)兩果一葉、40個(gè)兩果兩葉和48個(gè)兩果多葉場(chǎng)景的深度信息。最后分別對(duì)每個(gè)深度信息用2.3節(jié)提出的貼碰果實(shí)的特征提取算法，利用5 mm的球切深度L多次切割獲得多個(gè)深度球截線，依據(jù)閾值E0為0.85和AN0為100連同果實(shí)半徑R的下限作為輔助判斷參數(shù)，以進(jìn)行相應(yīng)貼碰果實(shí)的識(shí)別。

3.3.3復(fù)雜枝環(huán)境的果實(shí)特征提取

試驗(yàn)布置參照?qǐng)D8b，每組場(chǎng)景以3～4個(gè)新鮮柑橘果實(shí)與葉片為對(duì)象，并通過(guò)果、葉相對(duì)位置的調(diào)節(jié)呈現(xiàn)果、葉孤立與貼碰共存的枝上復(fù)雜姿態(tài)，再對(duì)每組姿態(tài)通過(guò)花盆底座以45°為間隔，原地水平旋轉(zhuǎn)獲得8個(gè)不同姿態(tài)，共采集80個(gè)枝上復(fù)雜場(chǎng)景的深度信息。

對(duì)每個(gè)深度信息應(yīng)用2.4節(jié)所提出的復(fù)雜枝環(huán)境的果實(shí)識(shí)別策略，針對(duì)剔除枝干后的各點(diǎn)云聚集區(qū)域計(jì)算其最小深度DA，利用式(11)獲得相應(yīng)孤立與貼碰區(qū)域劃分的深度點(diǎn)數(shù)閾值N0，進(jìn)而對(duì)劃分出的孤立區(qū)域和貼碰區(qū)域分別應(yīng)用孤立和貼碰果實(shí)的特征提取算法以進(jìn)行果實(shí)的識(shí)別。

3.4 果實(shí)識(shí)別試驗(yàn)結(jié)果與分析

3.4.1孤立果實(shí)的識(shí)別

孤立果、葉的典型截線結(jié)果如圖9所示。其中63條果實(shí)截線被準(zhǔn)確識(shí)別，117條葉片截線被成功排除，總識(shí)別成功率為97.8%。

圖9 孤立果、葉及相應(yīng)深度球截線Fig.9 Fruit and leaf with corresponding transversals in isolated area

其中所出現(xiàn)的一條果實(shí)截線被漏判，是由于試驗(yàn)中鉗口夾具與被夾持柑橘果實(shí)的不當(dāng)布置造成干擾所導(dǎo)致(圖10a)，而其中3條葉片截線由于葉片彎曲相對(duì)嚴(yán)重而被誤判為果實(shí)(圖10b)。試驗(yàn)結(jié)果表明，對(duì)于孤立果、葉，單次深度球切割即可達(dá)到極高的識(shí)別成功率，而通過(guò)探測(cè)中的深度傳感器位姿變化有望進(jìn)一步降低誤判率。

圖10 孤立果、葉誤判截線Fig.10 Isolated fruit and leaf with misjudgment transversals

3.4.2貼碰果實(shí)的識(shí)別

圖11所示為典型果葉貼碰情況下多次深度球切割所判出的果實(shí)截線結(jié)果。

圖11 貼碰果葉與相應(yīng)判出為果實(shí)的深度球截線Fig.11 Success fruit transversals in adhering area1、2.單果單葉貼碰果實(shí)及其截線 3、4.兩果多葉貼碰中的果實(shí) 5、6.果實(shí)3、4的對(duì)應(yīng)截線

表1為不同類(lèi)果葉貼碰情況下柑橘果實(shí)識(shí)別效果。

表1 不同類(lèi)果葉貼碰情況下果實(shí)識(shí)別效果Tab.1 Success rate of fruit extraction in different types of touching fruits and leaves 個(gè)

單果單葉輕微貼碰時(shí)，果實(shí)識(shí)別成功率為92.0%，隨著相貼碰果、葉數(shù)量的增加識(shí)別成功率隨之下降，但兩果多葉嚴(yán)重貼碰時(shí)的果實(shí)識(shí)別成功率仍可達(dá)到57.7%。當(dāng)果實(shí)存在與葉片的輕微貼碰時(shí)，一部分經(jīng)深度球面切割仍可獲得完整的果實(shí)截線(圖11a)，另一部分經(jīng)深度球面切割盡管得到非封閉的截線，但其截線仍呈現(xiàn)出二分之一及以上近封閉圓的特征，利用離心率和像素?cái)?shù)的篩選仍然可被準(zhǔn)確判別為果實(shí)(圖11b)。

隨著葉片與果實(shí)的貼碰程度增加，截線的圓形特征驟降，多次深度球面切割均難以獲得符合離心率和像素?cái)?shù)判據(jù)的截線，因此，可能出現(xiàn)果實(shí)未成功判別的漏判現(xiàn)象(圖12a)。如表1所示，嚴(yán)重貼碰時(shí)的果實(shí)漏判率從少量貼碰時(shí)的6.6%驟增至25.8%。同時(shí)，當(dāng)視場(chǎng)角度內(nèi)葉片姿態(tài)恰巧經(jīng)深度球切割獲得封閉截線或嚴(yán)重彎曲截線時(shí)，則出現(xiàn)葉片被誤判為果實(shí)的現(xiàn)象(圖12b)。但此類(lèi)葉片恰巧姿態(tài)出現(xiàn)的概率較低，少量貼碰和嚴(yán)重貼碰時(shí)的葉片誤判率分別為3.3%和5.3%。

圖12 誤判與漏判現(xiàn)象Fig.12 Misjudgment and misdetection phenomenons1、2.嚴(yán)重貼碰的葉片和果實(shí) 3.漏判的果實(shí)截線 4.特殊姿態(tài)葉片 5.誤判為果實(shí)的葉片截線

3.4.3復(fù)雜枝上環(huán)境下的果實(shí)提取

圖13所示為典型果、葉孤立與貼碰并存的復(fù)雜枝環(huán)境下所判出的果實(shí)截線結(jié)果。對(duì)多果、葉復(fù)雜枝環(huán)境，柑橘的前背景快速剔除、區(qū)域聚類(lèi)劃分和單次、多次深度球切割均得以快速實(shí)現(xiàn)，果實(shí)識(shí)別的綜合成功率為63.8%。由枝上果實(shí)近景識(shí)別的視場(chǎng)范圍和前、背景剔除所決定，每幀點(diǎn)云數(shù)據(jù)內(nèi)被應(yīng)用深度球截線方法檢測(cè)的果、葉數(shù)量有限。

圖13 復(fù)雜枝上環(huán)境與相應(yīng)判出為果實(shí)的深度球截線Fig.13 Success fruit transversals in complex environment1.孤立果實(shí) 2、3.貼碰果實(shí) 4.孤立果實(shí)的截線 5、6.貼碰果實(shí)2、3的對(duì)應(yīng)截線

試驗(yàn)發(fā)現(xiàn)，深度球截線的枝上果實(shí)識(shí)別方法具有較為突出的優(yōu)勢(shì)：

(1)由于深度球面切割直接利用原始深度值進(jìn)行截線提取，有效利用了傳感器的原始數(shù)據(jù)精度并大大降低了果實(shí)特征提取過(guò)程的復(fù)雜性，算法極為簡(jiǎn)單便捷。

(2)本方法將冠層內(nèi)普遍存在的因果葉空間遠(yuǎn)近差異所導(dǎo)致的遮擋情況，利用點(diǎn)云聚類(lèi)方法將其劃分為孤立對(duì)象而得以準(zhǔn)確檢出，在少量貼碰下也能保證較高的識(shí)別率，因而對(duì)有效改善“重疊遮擋”問(wèn)題對(duì)果實(shí)識(shí)別的巨大困擾具有重要價(jià)值。

4 結(jié)論

(1)基于柑橘的果、葉、枝對(duì)象分別具有實(shí)球體、片體和細(xì)柱體的三維幾何特征與深度傳感器能夠采集對(duì)象深度點(diǎn)云的優(yōu)勢(shì)，提出一種柑橘果實(shí)識(shí)別的深度球截線方法，并分析了球切割參數(shù)對(duì)果實(shí)特征提取效果的影響。

(2)針對(duì)點(diǎn)云聚類(lèi)后得到的果、葉孤立和貼碰區(qū)域，分別提出了孤立果實(shí)的特征提取算法和貼碰果實(shí)的特征提取算法，并提出了復(fù)雜枝上環(huán)境中果、葉孤立與貼碰并存情況下的果實(shí)識(shí)別策略。

(3)試驗(yàn)結(jié)果顯示，深度球截線方法對(duì)孤立果實(shí)提取的平均成功率為97.8%，貼碰區(qū)域內(nèi)果實(shí)提取的平均成功率為76.0%，而復(fù)雜枝環(huán)境下果實(shí)提取的綜合成功率為63.8%。其中貼碰與復(fù)雜環(huán)境的對(duì)象過(guò)多或果、葉嚴(yán)重貼碰的情況會(huì)對(duì)果實(shí)提取的成功率造成影響。

(4)該深度球截線的識(shí)別方法僅依賴單一深度信息，能有效應(yīng)對(duì)果葉遮擋問(wèn)題，整體運(yùn)算量也小于傳統(tǒng)彩色信息，而且達(dá)到了較高的識(shí)別成功率。該方法為樹(shù)上果實(shí)的全天候?qū)崟r(shí)識(shí)別與定位作業(yè)提供了新思路。

1 苗中華，沈一籌，王小華，等.自然環(huán)境下重疊果實(shí)圖像識(shí)別算法與試驗(yàn)[J/OL].農(nóng)業(yè)機(jī)械學(xué)報(bào)，2016，47(6)：21-26.http:∥www.j-csam.org/jcsam/ch/reader/view_abstract.aspx?file_no=20160603&flag=1.DOI：10.6041/j.issn.1000-1298.2016.06.003.

MIAO Zhonghua，SHEN Yichou，WANG Xiaohua，et al.Image recognition algorithm and experiment of overlapped fruits in natural environment[J/OL].Transactions of the Chinese Society for Agricultural Machinery，2016，47(6)：21-26.(in Chinese)

2 王輝，毛文華，劉剛，等.基于視覺(jué)組合的蘋(píng)果作業(yè)機(jī)器人識(shí)別與定位[J/OL].農(nóng)業(yè)機(jī)械學(xué)報(bào)，2012，43(12)：165-170.http:∥www.j-csam.org/jcsam/ch/reader/view_abstract.aspx?file_no=20121230&flag=1.DOI：10.6041/j.issn.1000-1298.2012.12.030.

WANG Hui，MAO Wenhua，LIU Gang，et al.Identification and location system of multi-operation apple robot based on vision combination[J/OL].Transactions of the Chinese Society for Agricultural Machinery，2012，43(12)：165-170.(in Chinese)

3 司永勝，喬軍，劉剛，等.蘋(píng)果采摘機(jī)器人果實(shí)識(shí)別與定位方法[J].農(nóng)業(yè)機(jī)械學(xué)報(bào)，2010，41(9)：148-153.

SI Yongsheng，QIAO Jun，LIU Gang，et al.Recognition and location of fruits for apple harvesting robot[J].Transactions of the Chinese Society for Agricultural Machinery，2010，41(9)：148-153.(in Chinese)

4 JIMéNEZ A R，CERES R，PONS J L.A vision system basedon a laser range-finder applied to robotic fruit harvesting[J].Machine Vision and Applications，2000，11(6)：321-329.

5 馮娟，劉剛，司永勝，等.蘋(píng)果采摘機(jī)器人激光視覺(jué)系統(tǒng)的構(gòu)建[J].農(nóng)業(yè)工程學(xué)報(bào)，2013，29(增刊1)：32-37.

FENG Juan，LIU Gang，SI Yongsheng，et al.Construction of laser vision system for apple harvesting robot[J].Transactions of the CSAE，2013，29(Supp.1)：32-37.(in Chinese)

6 ZHU J，WANG L，YANG R，et al.Fusion of time-of-flight depth and stereo for high accuracy depth maps[C]∥2008.IEEE Conference on Computer Vision and Pattern Recognition，2008：1-8.

7 孫力，蔡健榮，李永平，等.基于TOF成像技術(shù)的柑橘實(shí)時(shí)識(shí)別與定位[J].江蘇大學(xué)學(xué)報(bào)：自然科學(xué)版，2013，34(3)：293-297.

SUN Li，CAI Jianrong，LI Yongping，et al.Real-time citrus recognition and location based on TOF image technology[J].Journal of Jiangsu University：Natural Science Edition，2013，34(3)：293-297.(in Chinese)

8 AS’ARI M A，SHEIKH U U，SUPRIYANTO E.3D shape descriptor for object recognition based on Kinect-like depth image[J].Image & Vision Computing，2014，32(4)：260-269.

9 ALHWARIN F，F(xiàn)ERREIN A，SCHOLL I.IR stereo Kinect：improving depth images by combining structured light with IR stereo[M]∥PRICAI 2014：Trends in Artificial Intelligence.Springer International Publishing，2014：409-421.

10 LEHNERT C，SA I，MCCOOL C，et al.Sweet pepper pose detection and grasping for automated crop harvesting[C]∥IEEE International Conference on Robotics and Automation，2016：2428-2434.

11 董建民，陳偉海，岳昊嵩，等.基于Kinect視覺(jué)系統(tǒng)的西紅柿自動(dòng)識(shí)別與定位[J].中國(guó)農(nóng)機(jī)化學(xué)報(bào)，2014，35(4)：169-173.

DONG Jianmin，CHEN Weihai，YUE Haosong，et al.Automatic recognition and location of tomatoes based on Kinect vision system[J].Journal of Chinese Agricultural Mechanization，2014，35(4)：169-173.(in Chinese)

12 BULANON D M，KATAOKA T.A fruit detection system and an end effector for robotic harvesting of Fuji apples[J].Agricultural Engineering International：The CIGR E-journal, 2010, 12(1)：203-210.

13 CHEN X，CHAUDHARY K，TANAKA Y，et al.Reasoning-based vision recognition for agricultural humanoid robot toward tomato harvesting[C]∥IEEE/RSJ International Conference on Intelligent Robots and Systems，2015.

14 麥春艷，鄭立華，孫紅，等.基于RGB-D相機(jī)的果樹(shù)三維重構(gòu)與果實(shí)識(shí)別定位[J/OL].農(nóng)業(yè)機(jī)械學(xué)報(bào)，2015，46(增刊)：35-40.http:∥www.j-csam.org/jcsam/ch/reader/view_abstract.aspx?file_no=2015S006&flag=1.DOI：10.6041/j.issn.1000-1298.2015.S0.006.

MAI Chunyan，ZHENG Lihua，SUN Hong，et al.Research on 3D reconstruction of fruit tree and fruit recognition and location method based on RGB-D camera[J/OL].Transactions of the Chinese Society for Agricultural Machinery，2015，46(Supp.)：35-40.(in Chinese)

15 NGUYEN T T.Structured light-based 3D reconstruction system for plants[J].Sensors，2015，15(8)：18587-18612.

16 NISSIMOV S，GOLDBERGER J，ALCHANATIS V.Obstacle detection in a greenhouse environment using the Kinect sensor[J].Computers & Electronics in Agriculture，2015，113：104-115.

17 LI D，XU L，TAN C，et al.Digitization and visualization of greenhouse tomato plants in indoor environments[J].Sensors，2015，15(2)：4019-4051.

18 宗澤，郭彩玲，張雪，等.基于深度相機(jī)的玉米株型參數(shù)提取方法研究[J/OL].農(nóng)業(yè)機(jī)械學(xué)報(bào)，2015，46(增刊)：50-56.http:∥www.j-csam.org/jcsam/ch/reader/view_abstract.aspx?file_no=2015S009&flag=1.DOI：10.6041/j.issn.1000-1298.2015.S0.009.

ZONG Ze，GUO Cailing，ZHANG Xue，et al.Maize plant type parameters extraction based on depth camera[J/OL].Transactions of the Chinese Society for Agricultural Machinery，2015，46(Supp.)：50-56.(in Chinese)

19 XIA C，WANG L，CHUNG B K，et al.In situ 3D segmentation of individual plant leaves using a RGB-D camera for agricultural automation[J].Sensors，2014，15(8)：20463-20479.

20 馮娟，劉剛，司永勝，等.基于激光掃描三維圖像的樹(shù)上蘋(píng)果識(shí)別算法[J/OL].農(nóng)業(yè)機(jī)械學(xué)報(bào)，2013，44(4)：217-222.http:∥www.j-csam.org/jcsam/ch/reader/view_abstract.aspx?file_no=20130438&flag=1.DOI：10.6041/j.issn.1000-1298.2013.04.038.

FENG Juan，LIU Gang，SI Yongsheng，et al.Apple fruit recognition algorithm based on laser scanning 3-D image[J/OL].Transactions of the Chinese Society for Agricultural Machinery，2013，44(4)：217-222.(in Chinese)

Depth-sphereTransversalMethodforon-branchCitrusFruitRecognition

LIU Jizhan ZHU Xinxin YUAN Yan

(KeyLaboratoryofModernAgriculturalEquipmentandTechnology,MinistryofEducation,JiangsuUniversity,Zhenjiang212013,China)

Considering the three-dimensional geometric characteristics of the fruit, leaf and branch objects of citrus are real sphere, slice and thin cylinder, and together with the advantage of depth sensors can collect the depth point cloud of the object.A method to recognize citrus fruits based on depth-sphere transversal was proposed.Firstly, the basic principle and the key parameters of the depth-sphere transversal method for spherical fruits feature extraction were proposed.Secondly, point cloud clustering and regional division method were used to obtain isolated and adhering area, and the feature extraction algorithms of isolated fruits and adhering fruits were put forward to fruit and leaf in isolated areas and fruits or leaves in touching areas, respectively.In addition, in-depth data processing and fruits recognition strategy of a complex environment were obtained.According to the Intel RealSense F200 depth sensor parameters, citrus fruit size, close-range detection range, data preprocessing and the requirements for feature extraction algorithm to determine the parameters of the depth-sphere transversal method were carried out.A large number of indoor tests results indicated that the average success rate was 98.4% by the depth-sphere transversal method in isolated area, and the average success rate was 76% in touching region, while the comprehensive success rate was 63.8% in complex environment.The depth-sphere transversal identification method only used the limited depth data points to ensure the accuracy of the original data and at the same time to reduce the amount of computation and the complexity of fruit feature extraction.This can effectively deal with the problem of fruit and leaf occlusion, and achieve the effective distinction between sticking fruits and leaves.The method had a good adaptability to the citrus fruit, which provided a new idea for robots to recognize and locate fruits in complex environment.

citrus; picking; recognition; depth information; sphere transversal; feature extraction

10.6041/j.issn.1000-1298.2017.10.004

TP391

A

1000-1298(2017)10-0032-08

2017-02-21

2017-03-24

國(guó)家自然科學(xué)基金項(xiàng)目(51475212)、江蘇省自然科學(xué)基金項(xiàng)目(BK20151339)、江蘇省高校自然科學(xué)研究重大項(xiàng)目(16KJA210002)和江蘇省高校優(yōu)勢(shì)學(xué)科建設(shè)工程項(xiàng)目(PAPD)

劉繼展(1976—)，男，研究員，博士生導(dǎo)師，主要從事農(nóng)業(yè)機(jī)器人研究，E-mail: liujizhan@163.com