番茄果實(shí)串采摘點(diǎn)位置信息獲取與試驗(yàn)

梁喜鳳，金超杞，倪梅娣，王永維

（1. 中國(guó)計(jì)量大學(xué)機(jī)電工程學(xué)院，杭州 310018；2. 樂(lè)清市委市政府農(nóng)村工作辦公室，樂(lè)清325600；3. 浙江大學(xué)生物系統(tǒng)工程與食品科學(xué)學(xué)院，杭州 310058）

0 引 言

農(nóng)業(yè)果蔬自動(dòng)收獲是實(shí)現(xiàn)農(nóng)業(yè)生產(chǎn)自動(dòng)化、智能化發(fā)展的重要環(huán)節(jié)，對(duì)降低生產(chǎn)成本，提高農(nóng)業(yè)作業(yè)的效率等具有重要意義。目前，國(guó)內(nèi)外學(xué)者對(duì)各類果實(shí)采摘機(jī)器人進(jìn)行了大量理論和試驗(yàn)研究。如日本Monta等[1-4]開發(fā)了葡萄、番茄、草莓等水果的自動(dòng)采摘機(jī)器人，主要由機(jī)械手、末端執(zhí)行器、視覺傳感器和行走裝置組成，能夠在溫室或野外自動(dòng)工作；Henten等[5]研究了黃瓜機(jī)器人的采摘環(huán)境與流程，包括移動(dòng)機(jī)構(gòu)、7DOF機(jī)械手、視覺系統(tǒng)、采摘手爪等，其視覺系統(tǒng)識(shí)別率達(dá)到 95%，成功采摘率為 80%。在果實(shí)識(shí)別和定位方面，張鐵中等針對(duì)黃瓜[6]、番茄[7]、茄子[8]、草莓[9]等多種果蔬收獲進(jìn)行了研究，在解決草莓的重疊問(wèn)題上，引入了BP網(wǎng)絡(luò)與聚類分割和分水嶺法，試驗(yàn)表明其方法具有通用性。熊俊濤等[10-11]提出了擾動(dòng)條件下荔枝的識(shí)別定位方法，通過(guò)搭建震蕩平臺(tái)模擬自然環(huán)境下的震蕩擾動(dòng)過(guò)程，利用聚類分割結(jié)合霍夫直線檢測(cè)求解坐標(biāo)點(diǎn)，試驗(yàn)表明，采摘點(diǎn)定位深度誤差小于6 cm，采摘點(diǎn)計(jì)算精度位于87.5%～97.5%之間，滿足末端執(zhí)行器采摘需求；同時(shí)進(jìn)行了自然環(huán)境中的微擾動(dòng)柑橘的識(shí)別，確定了擾動(dòng)果實(shí)采摘點(diǎn)，準(zhǔn)確率達(dá)85%[12]。郭艾俠等[13]提出了一種融合Harris與sift算法的荔枝采摘點(diǎn)計(jì)算與立體匹配方法，計(jì)算采摘點(diǎn)的匹配成功率可達(dá)89.55%。武濤等[14]提出的獼猴桃分割方法可以較好地將獼猴桃從背景中分離出來(lái)；羅陸鋒等[15]在葡萄串的采摘點(diǎn)定位研究過(guò)程中，將提取出的果梗邊緣圖通過(guò)Hough直線檢測(cè)的方法檢測(cè)出線段，并求出所有已檢測(cè)的線段與葡萄串的質(zhì)心垂線距離，根據(jù)生長(zhǎng)規(guī)則，與質(zhì)心距離最小線段的中心點(diǎn)被設(shè)定為采摘特征點(diǎn)，采摘點(diǎn)定位準(zhǔn)確率達(dá)88.33%；戚利勇[16]根據(jù)雙目視覺原理計(jì)算了黃瓜采摘點(diǎn)空間坐標(biāo)，相對(duì)于物距 500～750 mm，最大定位誤差 9.46 mm。王丹丹等[17]提出了基于平滑輪廓對(duì)稱軸算法的蘋果目標(biāo)采摘點(diǎn)定位方法，試驗(yàn)表明平滑輪廓算法可以提高定位精度和運(yùn)算效率。宋西平等[18]運(yùn)用機(jī)器視覺技術(shù)實(shí)現(xiàn)葡萄目標(biāo)從相機(jī)圖像獲取到采摘點(diǎn)三維空間數(shù)據(jù)計(jì)算的實(shí)現(xiàn)過(guò)程, 獲得了葡萄采摘點(diǎn)的三維坐標(biāo)，采摘點(diǎn)的X、Y、Z方向的最大位置誤差分別為1.216、2.588、1.851 mm，滿足機(jī)器人采摘定位的要求。梁喜鳳等[19]基于提取番茄果實(shí)串連通區(qū)域邊界的采摘點(diǎn)識(shí)別方法，對(duì)垂直向下的串番茄采摘點(diǎn)識(shí)別效果較好。Ruiz等[20]利用顏色分割法和細(xì)化算法確定柑桔果梗的長(zhǎng)度和采摘點(diǎn)的位置，成功率達(dá)到96.2%。Wang等[21]采用小波變換和K-均值聚類法進(jìn)行荔枝果實(shí)串在復(fù)雜自然環(huán)境中的識(shí)別和定位，識(shí)別定位效果良好，Wei等[22]研究了一種復(fù)雜農(nóng)業(yè)背景中提取成熟果實(shí)的方法，對(duì)番茄、石榴、草莓、柿子 4種果實(shí)進(jìn)行了試驗(yàn)，識(shí)別成功率達(dá)95%以上。

上述研究成果為果實(shí)采摘機(jī)器人開發(fā)奠定了堅(jiān)實(shí)的基礎(chǔ)，但現(xiàn)有針對(duì)番茄、黃瓜、獼猴桃等研究成果均是單果采摘進(jìn)行的，果實(shí)串采摘如葡萄，主要進(jìn)行了特有種植模式下提取采摘點(diǎn)的研究，而葡萄與鮮食番茄果實(shí)串形狀、果實(shí)分布等均不同，因此現(xiàn)有的果實(shí)采摘技術(shù)與方法不能直接用于番茄果實(shí)串采摘。

鮮食番茄是中國(guó)重要的果蔬之一，目前中國(guó)番茄的收獲基本都是靠人工采摘，通常對(duì)成熟番茄進(jìn)行逐個(gè)采摘。這種單果采摘方式存在勞動(dòng)力成本高、效率低、果實(shí)易損傷等問(wèn)題。近年來(lái)國(guó)內(nèi)外普遍種植一種新的番茄品種——串番茄[23]，這種番茄通常每穗有果實(shí)3～5個(gè)，當(dāng)果穗上最后一個(gè)果實(shí)進(jìn)入轉(zhuǎn)色期后整穗采摘、貯存、運(yùn)輸、銷售，番茄品種和種植模式的改變，為成串果實(shí)采摘提供了條件。成串采摘能夠提高采摘效率，降低收獲成本，采摘時(shí)機(jī)器人末端執(zhí)行器夾持果實(shí)串的果梗，而不需要直接接觸果實(shí)，能夠大大減少采摘過(guò)程中造成的果實(shí)損傷。果梗采摘點(diǎn)的位置準(zhǔn)確確定是采摘成功的關(guān)鍵，本文以番茄果實(shí)串為研究對(duì)象，研究番茄果實(shí)串果梗采摘點(diǎn)位置信息獲取方法。

1 番茄果實(shí)串圖像分割與質(zhì)心獲取

1.1 材料與方法

番茄果實(shí)串的單幅圖像采集于嵊州藍(lán)城農(nóng)業(yè)基地，單圖像處理時(shí)，利用Sony TX30數(shù)碼相機(jī)從果實(shí)串側(cè)面拍攝，采集圖像110幅，單幅圖像大小為1 920′1 440像素，為后期便于操作將原始圖像通過(guò)改變像素進(jìn)行圖像壓縮至800′800像素。

1.2 果實(shí)串圖像分割

為分析目標(biāo)果實(shí)串與背景顏色因子的差異，在RGB模型下，將果實(shí)串圖像劃分為成熟果實(shí)、果梗、未成熟果實(shí)和葉片區(qū)，提取番茄果實(shí)串各個(gè)區(qū)域的顏色因子，采用R-G分量差處理，部分?jǐn)?shù)據(jù)如表1所示。

表1 成熟番茄區(qū)域R-G顏色分量差值Table 1 Difference between R and G in mature tomato clusters

由表1可知，成熟果實(shí)串區(qū)域R-G分量差大于100，番茄果實(shí)串與背景差異最為顯著，且番茄果實(shí)串的R-G直方圖呈現(xiàn)雙峰分布。利用最大類間方差法（Otsu）[24-25]進(jìn)行目標(biāo)果實(shí)串分割。將番茄果實(shí)串R-G圖像從1到T劃分不同灰度等級(jí)[26]，圖像以t閾值為基準(zhǔn)劃分為2個(gè)區(qū)域X1={1,2, 3,…,t}和X2={t+1,t+2,t+3,…,T}（t為動(dòng)態(tài)閾值），設(shè)每個(gè)級(jí)別的灰度概率為

式中N代表整幅圖的總像素?cái)?shù)，ni是第i個(gè)像素的灰度值，整幅圖像的總平均灰度級(jí)為

2個(gè)區(qū)域X1和X2各自出現(xiàn)的概率為w1、w2，平均值為μ0、μ1，則背景和目標(biāo)之間的類間方差σB為

式中μr代表整幅圖像的平均灰度。t在[1,T]范圍內(nèi)依次取值，其中σB2取最大時(shí)的t值即Otsu算法的最佳閾值，即可獲得果實(shí)串分割圖像。但由于光照不均勻、果實(shí)串成熟度差別和背景中隨機(jī)干擾，以及部分殘留區(qū)域與成熟番茄果實(shí)串的顏色相近，造成果萼目標(biāo)區(qū)域存在孔洞。在番茄果實(shí)串圖像分割后，果實(shí)串圖像存在干擾因子，采用形態(tài)學(xué)閉運(yùn)算和腐蝕以及閾值法相結(jié)合的填充算法去除干擾，得到完整的番茄果實(shí)串圖像。目標(biāo)番茄果實(shí)串分割處理過(guò)程如圖1所示。

圖1 目標(biāo)果實(shí)串圖像分割過(guò)程Fig.1 Segmentation process of tomato fruit cluster image

1.3 番茄果實(shí)串質(zhì)心獲取

番茄果實(shí)串質(zhì)心提取的準(zhǔn)確性會(huì)影響后續(xù)果梗的感興趣區(qū)域（region of interesting，ROI）計(jì)算，此處質(zhì)心坐標(biāo)為二維圖像上的像素坐標(biāo)，描述果實(shí)串在圖像中的位置，果實(shí)串的質(zhì)心計(jì)算公式如下

式中x0和y0分別為果實(shí)串橫、縱的像素質(zhì)心坐標(biāo)，i代表番茄果實(shí)串區(qū)域內(nèi)第i個(gè)像素點(diǎn)，n表示整個(gè)番茄果實(shí)串區(qū)域包含的總的像素個(gè)數(shù)，xi和yi分別表示第i點(diǎn)的橫縱坐標(biāo)。果實(shí)串的質(zhì)心和外接矩形如圖2所示。

圖2 番茄果實(shí)串外接矩形區(qū)域和質(zhì)心Fig.2 Enclosing rectangle and centroid of tomato fruit cluster

2 果梗骨架提取與角點(diǎn)檢測(cè)

2.1 果梗ROI確定

為方便快速確定采摘點(diǎn)位置，減少與采摘點(diǎn)無(wú)關(guān)的區(qū)域?qū)δ繕?biāo)采摘點(diǎn)定位的影響，在果實(shí)串上方設(shè)定了果梗矩形感興趣區(qū)域，采摘點(diǎn)計(jì)算時(shí)，只對(duì)該區(qū)域的圖像進(jìn)行處理。

果梗的感興趣區(qū)域（ROI）由果梗和果實(shí)串的物理特性決定的。受到重力影響，果實(shí)串通常是懸垂向下生長(zhǎng)，因此當(dāng)從果實(shí)串側(cè)面拍攝時(shí)，果?？偸俏挥诠麑?shí)串的質(zhì)心上方；果實(shí)串的體積較大，呈現(xiàn)在二維圖像上的果梗橫坐標(biāo)介于果實(shí)串最大和最小橫坐標(biāo)之間；根據(jù)果梗的實(shí)測(cè)統(tǒng)計(jì)，果梗長(zhǎng)度有一定范圍，通常，一簇番茄果實(shí)串包含3～5個(gè)番茄，果梗長(zhǎng)度在52～78 mm之間，因此果?？v坐標(biāo)值位于一定區(qū)間范圍之內(nèi)?；谝陨霞s束條件，設(shè)定果梗的矩形感興趣區(qū)域的底邊與果實(shí)串的質(zhì)心相交且果實(shí)串質(zhì)心穿過(guò)底邊中線，對(duì)果實(shí)串與果梗關(guān)系的實(shí)測(cè)值與圖像坐標(biāo)進(jìn)行大量數(shù)據(jù)統(tǒng)計(jì)，獲得了果梗區(qū)域的計(jì)算方法

式中L與H分別為果梗矩形感興趣區(qū)域長(zhǎng)度和寬度，xmin和xmax分別代表了果實(shí)串外接矩形左右邊的橫坐標(biāo)的像素坐標(biāo)值，ymax和ymin代表了上下邊的縱坐標(biāo)像素?cái)?shù)值。

根據(jù)果實(shí)串的質(zhì)心和果串的輪廓邊界確定了 110組果實(shí)串果梗的矩形感興趣區(qū)域，其中4組如圖3所示。

圖3 果梗的矩形感興趣區(qū)域Fig.3 Rectangle region of interest of stems

由圖3可知，每個(gè)果實(shí)串果梗的感興趣區(qū)均被識(shí)別，且矩形區(qū)域包含了該果實(shí)串整個(gè)果梗。其余各組果梗感興趣區(qū)的識(shí)別情況類同。

2.2 果梗分離

將果梗感興趣區(qū)域的 RGB彩色通道圖轉(zhuǎn)換成 HSV通道圖，在H通道下，果梗和背景呈現(xiàn)不同的灰度級(jí)別。為了保留果梗的有效區(qū)域，去除背景，同時(shí)考慮算法的快速性和魯棒性，利用H分量灰度圖下像素之間的顏色灰度差異，分析直方圖，統(tǒng)計(jì)果實(shí)串、果梗、葉片三個(gè)區(qū)域H分量灰度平均值如圖4所示。

圖 4 果實(shí)串、果梗、葉片三個(gè)區(qū)域H分量平均灰度值Fig.4 Average value of H in fruit cluster, stem and leaf area

由圖4可知果實(shí)串、果梗、葉片區(qū)域H分量平均灰度值分別位于0～0.27，0.27～0.55，0.55～1.0之間。對(duì)果梗圖像二值化，設(shè)定果梗圖像的H分量灰度值如下

式中h為在(x,y)像素點(diǎn)的H分量數(shù)值，滿足條件的分量數(shù)值在對(duì)應(yīng)的 H灰度圖中的像素點(diǎn) (,)f x y灰度設(shè)為 255或0。

為降低果梗干擾噪聲對(duì)骨架連通關(guān)系的影響，通過(guò)形態(tài)學(xué)閉運(yùn)算和中值濾波、提取最大連通區(qū)域的方式降低果梗干擾因子，得到背景與果梗區(qū)分度更加顯著的果梗圖像，但是部分葉片與果梗連接，且顏色相近的部分干擾較難去除。在盡量減少圖像處理過(guò)程中果梗信息損失的情況下，進(jìn)一步通過(guò)逐行掃描像素并設(shè)定果梗像素寬度閾值的方式去除干擾，試驗(yàn)統(tǒng)計(jì)拍攝的果梗圖像中所占用的像素寬度發(fā)現(xiàn)（拍攝距離為1 m，果梗為垂直或近似垂直方向），目標(biāo)番茄果實(shí)串圖像果梗的像素寬度為40～85像素之間，故設(shè)定像素寬度大于85個(gè)像素點(diǎn)的橫向像素線段作為背景區(qū)域，并將這些背景區(qū)域的像素值設(shè)為0，逐行掃描之后的圖像被分成很多離散的區(qū)塊，由果梗的生長(zhǎng)規(guī)則可知，與非果梗零碎區(qū)域和部分干擾相比，果梗在圖像中各個(gè)部分區(qū)塊所占面積較大，根據(jù)統(tǒng)計(jì)數(shù)據(jù)，計(jì)算果梗區(qū)域面積，確定區(qū)塊的像素面積閾值為 800像素，去除小面積區(qū)域，從而得到唯一的果梗信息，如圖5所示。

圖5 番茄果實(shí)串果梗提取過(guò)程Fig.5 Extracting process of stem of tomato fruit cluster

2.3 果梗骨架提取

正常生長(zhǎng)的果梗具有類線性的特點(diǎn)，且在分布上具有角點(diǎn)的特性，為簡(jiǎn)化的果梗原有形狀，提取果梗核心信息，采用Zhang細(xì)化算法提取果梗的骨架。Zhang細(xì)化算法屬于迭代算法[27-28]中的一種，針對(duì)番茄果實(shí)串果梗的二值圖像，分2步進(jìn)行處理：

第一步，遍歷所有目標(biāo)區(qū)域的點(diǎn)，對(duì)滿足下面要求的像素點(diǎn)進(jìn)行標(biāo)記，其中N(P1)是P1鄰域內(nèi)非0的個(gè)數(shù)，S(P1)是以P2到P9為序時(shí)這些點(diǎn)的值從0到1變化的次數(shù)。

1）2≤N(P1)≤6

2）S(P1)=1

3）P2*P4*P6=0

4）P4*P6*P8=0

第二步，與第一步類似，滿足下面條件的點(diǎn)則刪除。

1）2≤N(P1)≤6

2）S(P1)=1

3）P2*P4*P8=0

4）P2*P6*P8=0

完成上述 2個(gè)步驟為一次算法，通過(guò)不斷循環(huán)迭代上述 2個(gè)步驟，直到?jīng)]有像素可以刪除，即可得到細(xì)化后的骨架。在二值圖像中，1表示前景像素值，0表示背景像素值，若一個(gè)點(diǎn)為1且該點(diǎn)的8連通鄰域內(nèi)存在至少一個(gè)點(diǎn)為0，則認(rèn)為該像素點(diǎn)處于目標(biāo)的邊緣[29]，果梗骨架提取結(jié)果如圖6所示。

由圖6可知，Zhang細(xì)化算法能夠完整地提取目標(biāo)果梗，雖然也有部分增生現(xiàn)象，比如果梗骨架分叉位置出現(xiàn)少量毛刺，但冗余分叉并不明顯，在保證連通性的情況下，盡可能地減少了毛刺產(chǎn)生的分叉，果梗骨架提取效果比較理想。

圖6 細(xì)化法提取的3個(gè)果梗骨架Fig.6 Stem skeletons abstracted by thinning algorithm

2.4 果梗角點(diǎn)檢測(cè)

角點(diǎn)的定義方式有2種：1）在一個(gè)鄰域內(nèi)，一個(gè)特征點(diǎn)擁有2個(gè)主方向；2）2邊緣交點(diǎn)定義為角點(diǎn)[30-31]。在提取果梗骨架基礎(chǔ)上，通過(guò) Harris算法進(jìn)行果梗角點(diǎn)檢測(cè)。具體步驟如下：

1）果梗圖像用I(x,y)進(jìn)行描述，圖像的梯度方向可以用Ix和Iy表示。

式中為張量積符號(hào)。

2）計(jì)算Ix和Iy的梯度乘積。

3）將2）得到的3個(gè)參數(shù)利用高斯函數(shù)做高斯加權(quán)操作，即可得到：

式中g(shù)(x)表示x的高斯函數(shù)，M(x,y)為協(xié)方差矩陣。

4）計(jì)算Harris中角點(diǎn)響應(yīng)R值，設(shè)定閾值，將小于閾值的R置零。

式中 traceM和 detM分別代表M的跡|A+C|和行列式|ACB2|，Harris角點(diǎn)計(jì)算過(guò)程中，經(jīng)驗(yàn)系數(shù)α的范圍在0.04～0.06之間[30]，本文取0.04。

5）通過(guò)3′3和5′5的模版，在鄰域內(nèi)非極大值抑制運(yùn)算，篩選出的鄰域極大值點(diǎn)即為角點(diǎn)，通過(guò)“+”號(hào)標(biāo)記角點(diǎn)，如圖7所示。

圖7 番茄果實(shí)串果梗的角點(diǎn)檢測(cè)Fig.7 Corner points detection of stems of tomato fruit clusters

由圖 7可知，由于果梗的枝梢分叉以及其生長(zhǎng)的不規(guī)則性，本文Zhang細(xì)化算法提取的骨架通過(guò)Harris算法檢測(cè)出來(lái)的角點(diǎn)較多，隨機(jī)選取的10組果梗角點(diǎn)檢測(cè)數(shù)據(jù)如表2所示。

表2 Harris檢測(cè)數(shù)據(jù)Table 2 Harris detection data

本次角點(diǎn)的檢測(cè)在 Windows7操作系統(tǒng)下，軟件為Matlab2012a，計(jì)算機(jī)型號(hào)：惠普G4，CPU：Intel酷睿雙核I5 3230 MHz，主頻：2.6 GHz，RAM：8 GB。從試驗(yàn)結(jié)果可以看出 Harris算法在本研究中能夠快速檢測(cè)角點(diǎn)，實(shí)現(xiàn)過(guò)程簡(jiǎn)單，計(jì)算時(shí)間短，小于200 ms。

2.5 果梗采摘特征點(diǎn)計(jì)算

番茄果實(shí)串果梗整體呈魚骨形態(tài)，采摘點(diǎn)的位置位于果梗上第一個(gè)果實(shí)分叉部位與植株主干之間，檢測(cè)的果梗骨架為其中軸線，結(jié)合采摘方法和果實(shí)串的生長(zhǎng)規(guī)則，為減小誤差，將第一個(gè)果實(shí)分叉點(diǎn)與植株主干之間檢測(cè)出的骨架角點(diǎn)按縱軸方向由大到小排序后，遵循從高到低的原則，選取5個(gè)角點(diǎn)并計(jì)算其像素坐標(biāo)平均值，計(jì)算的結(jié)果作為本文番茄串的采摘特征點(diǎn)，即

式中tx和ty分別為采摘點(diǎn)的橫縱坐標(biāo)值，（xi,yi）為各角點(diǎn)按照y值大小排序的坐標(biāo)值。

3 采摘點(diǎn)位置信息獲取試驗(yàn)與分析

3.1 試驗(yàn)方法與材料

為了驗(yàn)證基于果梗骨架角點(diǎn)方法進(jìn)行番茄果實(shí)串采摘點(diǎn)位置信息獲取的合理性，在溫室自然光照條件下，采集60幅番茄果實(shí)串及果梗圖像進(jìn)行采摘點(diǎn)信息獲取試驗(yàn)分析。

3.2 試驗(yàn)指標(biāo)判定

采摘特征點(diǎn)的坐標(biāo)標(biāo)記如圖 8所示，本文定義位置信息獲取成功和失敗的標(biāo)準(zhǔn)是：定位到的采摘特征點(diǎn)位于果梗范圍之內(nèi)為獲取成功，定位到分叉、背景或者主梗上端主桿的位置均判定為獲取失敗。

圖8 采摘點(diǎn)的位置信息獲取結(jié)果Fig.8 Position information acquisition results of the picking point on the stems

3.3 試驗(yàn)結(jié)果與分析

試驗(yàn)進(jìn)行了60組果梗采摘點(diǎn)位置信息獲取的數(shù)據(jù)分析，試驗(yàn)中位置獲取失敗案例為6組，成功率為90%。失敗原因：其中 1組是由于光照的影響，造成采摘點(diǎn)偏移到了主桿位置，如圖8d所示；3組試驗(yàn)圖像定位到了果梗分叉的地方，會(huì)造成后續(xù)機(jī)械裝置漏采的現(xiàn)象；2組試驗(yàn)圖像中的采摘點(diǎn)在背景區(qū)域，其原因是由于前期處理過(guò)程中，受大量葉片簇群的影響，造成提取出的果梗像素尺寸與原圖相差較大，從而使骨架發(fā)生偏差，最終計(jì)算得到的采摘點(diǎn)位置偏移了主梗。60組試驗(yàn)圖像的番茄串質(zhì)心和采摘特征點(diǎn)的橫縱坐標(biāo)像素值如圖9所示。

圖9 采摘點(diǎn)與果實(shí)串質(zhì)心坐標(biāo)數(shù)據(jù)對(duì)比Fig.9 x and y coordinates data comparison of picking point and centroid of tomato fruit clusters

由圖 9可知，質(zhì)心位置與采摘特征點(diǎn)的橫坐標(biāo)變化絕對(duì)差值位于 0～53像素之間，像素偏差平均為 21像素。質(zhì)心位置與采摘特征點(diǎn)縱坐標(biāo)的差異較大，兩者最大相差380像素，即采摘點(diǎn)與質(zhì)心在垂直方向距離較大，主要由于番茄植株本身主要是縱向生長(zhǎng)，果實(shí)串呈下垂姿態(tài)，垂直方向上兩者位置相差較大，而其質(zhì)心位置與采摘點(diǎn)橫向差距則較小。因此，采摘點(diǎn)位置相對(duì)果實(shí)串質(zhì)心具有相對(duì)穩(wěn)定的變化規(guī)律，以果實(shí)串質(zhì)心作為參考提取果梗感興趣區(qū)域，進(jìn)而實(shí)現(xiàn)采摘點(diǎn)位置信息獲取可行。

4 結(jié)論與討論

1）通過(guò)分量差處理，采用Otsu算法通過(guò)形態(tài)學(xué)閉運(yùn)算和腐蝕與閾值法相結(jié)合的填充算法能夠消除目標(biāo)果實(shí)串干擾信息，獲得完整的番茄果實(shí)串分割圖像。

2）根據(jù)提取的果實(shí)串圖像信息確定果梗的矩形感興趣區(qū)域，結(jié)合形態(tài)學(xué)閉運(yùn)算、閾值法、圖像降噪和中值濾波法，設(shè)定橫向像素寬度大于 85個(gè)像素點(diǎn)為背景區(qū)域，像素值設(shè)為0，確定果梗感興趣區(qū)域面積閾值為800像素，提取出單一的果梗圖像。

3）利用快速并行細(xì)化算法提取果梗骨架，Harris檢測(cè)方法檢測(cè)骨架的角點(diǎn)，選取位于果實(shí)串第一個(gè)果實(shí)分叉點(diǎn)與植株主干之間的果梗骨架角點(diǎn)，通過(guò)計(jì)算獲得采摘特征點(diǎn)位置信息，成功率為90%。

由于圖像拍攝角度的差別，果梗的骨架角點(diǎn)檢測(cè)會(huì)產(chǎn)生小幅度差別，對(duì)特征點(diǎn)計(jì)算有所影響，因此果實(shí)串采摘點(diǎn)位置信息提取的精確性有待進(jìn)一步研究。

[1]Monta M, Kondo N, Shibano Y. Agricultural robot in grape production system[C]// Proceedings of 1995 IEEE International Conference on Robotics and Automation. U.S.A: IEEE Publisher, 1995.

[2]Kondo N, Monta M, Fujiura T. Fruit harvesting robots in Japan[J]. Advances in Space Research the Official Journal of the Committee on Space Research, 1996, 18(1/2): 181－184.

[3]Kondo N. Fruit grading robot[C]// Proceedings of 2003 IEEE/ASME International Conference on Advanced Intelligent Mechatronics (AIM 2003), U.S.A: IEEE Publisher, 2003.

[4]Kondo N, Ninomiya Kazunori, Hayashi Shigehiko, et al. A new challenge of robot for harvesting strawberry grown on table top culture[C]// ASAE Annual International Meeting,Florida: Tampa Convention Center, 2005.

[5]Henten E J V, Hemming J, Tuijl B A J V, et al. An autonomous robot for harvesting cucumbers in greenhouses[J]. Autonomous Robots, 2002, 13(3): 241－258.

[6]袁國(guó)勇，張鐵中. 溫室黃瓜果實(shí)的模式識(shí)別與分割-利用Bayes分類判別模型[J]. 農(nóng)機(jī)化研究，2006(7)：150－153.Yuan Guoyong, Zhang Tiezhong. Pattern recognition and segmentation of greenhouse cucumber fruit-using Bayes classification discriminate model[J]. Agricultural Mechanization Research, 2006(7): 150－153. (in Chinese with English abstract)

[7]趙金英，張鐵中，楊麗. 西紅柿采摘機(jī)器人視覺系統(tǒng)的目標(biāo)提取[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2006，37(10)：200－203.Zhao Jinying, Zhang Tiezhong, Yang Li. Objective extraction of visual system of tomato picking robot[J]. Transactions of the Chinese Society for Agricultural Machinery, 2006, 37(10):200－203. (in Chinese with English abstract)

[8]劉長(zhǎng)林，張鐵中，楊麗. 茄子收獲機(jī)器人視覺系統(tǒng)圖像識(shí)別方法[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2008，39(11)：216－219.Liu Changlin, Zhang Tiezhong, Yang Li. Image recognition method for the harvesting robot visual system[J]. Transactions of the Chinese Society for Agricultural Machinery, 2008,39(11): 216－219. (in Chinese with English abstract)

[9]周天娟，張鐵中，楊麗，等. 基于數(shù)學(xué)形態(tài)學(xué)的相接觸草莓果實(shí)的分割方法及比較研究[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2007，23(9)：164－168.Zhou Tianjuan, Zhang Tiezhong, Yang Li, et al. Method of segmentation and comparative study of strawberry fruits based on mathematical morphology[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2007, 23(9): 164－168. (in Chinese with English abstract)

[10]熊俊濤，鄒湘軍，陳麗娟，等. 采摘機(jī)械手對(duì)擾動(dòng)荔枝的視覺定位[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2012，28(14)：36－41.Xiong Juntao, Zou Xiangjun, Chen Lijuan, et al. The visual orientation of the picking robot on the disturbance of litchi[J].Transactions of the Chinese Society of Agricultural Engineering(Transactions of the CSAE), 2012, 28(14): 36－41. (in Chinese with English abstract)

[11]Xiong Juntao, Lin Rui, Liu Zhen, et al. The recognition of litchi clusters and the calculation of picking point in a nocturnal natural environment[J]. Biosystems Engineering,2018, 166: 44－57.

[12]熊俊濤，鄒湘軍，彭紅星. 擾動(dòng)柑橘采摘的實(shí)時(shí)識(shí)別與采摘點(diǎn)確定技術(shù)[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2014，45(8)：38－43.Xiong Juntao, Zou Xiangjun, Peng Hongxing, et al. Realtime identification and picking point location of disturbance citrus picking[J]. Transactions of the Chinese Society for Agricultural Machinery, 2014, 45(8): 38－43. (in Chinese with English abstract)

[13]郭艾俠，熊俊濤，肖德琴，等. 融合Harris與sift算法的荔枝采摘點(diǎn)計(jì)算與立體匹配[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2015，46(12)：38－43.Guo Aixia, Xiong Juntao, Xiao Deqin, et al. Computation of picking point of Litchi and its binocular stereo matching based on combined algorithms of Harris and SIFT[J]. Transactions of the Chinese Society for Agricultural Machinery, 2015,46(12): 38－43. (in Chinese with English abstract)

[14]武濤，袁池，陳軍. 基于機(jī)器視覺的獼猴桃果實(shí)目標(biāo)提取研究[J]. 農(nóng)機(jī)化研究，2012，34(12)：21－26.Wu Tao, Yuan Chi, Chen Jun. Research on the extraction of fruit of kiwi fruit based on machine vision[J]. Agricultural Mechanization Research, 2012, 34(12): 21－26. (in Chinese with English abstract)

[15]羅陸鋒，鄒湘軍，熊俊濤，等. 自然環(huán)境下葡萄采摘機(jī)器人采摘點(diǎn)的自動(dòng)定位[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2015，31(2)：14－21.Luo Lufeng, Zou Xiangjun Xiong Juntao, et al. Automatic positioning of picking points of grape picking robot in natural environment[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015,31(2): 14－21. (in Chinese with English abstract)

[16]戚利勇. 黃瓜采摘機(jī)器人視覺關(guān)鍵技術(shù)及系統(tǒng)研究[D].杭州：浙江工業(yè)大學(xué)，2011.Qi Liyong. Cucumber Picking Robot Vision Key Technologies and Systems [D]. Hangzhou: Zhejiang University of Technology, 2011. (in Chinese with English abstract)

[17]王丹丹，徐越，宋懷波，等．基于平滑輪廓對(duì)稱軸法的蘋果目標(biāo)采摘點(diǎn)定位方法 [J]．農(nóng)業(yè)工程學(xué)報(bào)，2015，31(5)：167－174.Wang Dandan, Xu Yu, Song Huaibo, et a1. Localization method of picking point of apple target based on smoothing contour symmetry axis algorithm[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE),2015, 31(5): 167－174. (in Chinese with English abstract)

[18]宋西平，李國(guó)琴，羅陸鋒. 基于機(jī)器視覺的葡萄采摘點(diǎn)三維空間定位系統(tǒng)的研究[J]. 江蘇農(nóng)業(yè)科學(xué)，2016，44(7)：377－380.Song Xiping, Li Guoqin, Luo Lufeng. Localization system in 3-D space of picking point of grape based on machine vision[J]. Jiangsu Agricultural Science, 2016, 44(7): 377－380. (in Chinese with English abstract)

[19]梁喜鳳，章艷. 串番茄采摘點(diǎn)的識(shí)別方法[J]. 中國(guó)農(nóng)機(jī)化學(xué)報(bào)，2016，37(11)：131－134，149.Liang Xifeng, Zhang Yan. Recognition method of picking point for tomato clusters[J]. Journal of Chinese Agricultural Mechanization, 2016, 37(11): 131－134, 149. (in Chinese with English abstract)

[20]Ruiz L A, Molto E, Juste F, et al. Location and characterization of the Stem–Calyx area on oranges by computer vision [J]. Journal of Agricultural Engineering Research, 1996, 64(3): 165－172.

[21]Wang Chenglin, Zou Xiangjun, Tang Yunchao, et al.Localisation of litchi in an unstructured environment using binocular stereo vision[J]. Biosystems Engineering, 2016,145: 39－51.

[22]Wei Xiangqin, Jia Kun, Lan Jinhui, et al. Automatic method of fruit object extraction under complex agricultural background for vision system of fruit picking robot[J].Optik-International Journal for Light and Electron Optics,2014, 125(19): 5684－5689

[23]劉詩(shī)輝. 大棚串番茄高產(chǎn)高效栽培技術(shù)[J]. 上海蔬菜，2011(6)：32－33.Liu Shihui. High-yield, high-efficiency cultivation techniques for tomato in greenhouses[J]. Shanghai Vegetables, 2011(6):32－33. (in Chinese with English abstract)

[24]梁光明，孫即祥，馬琦，等. Otsu算法在Canny算子中的應(yīng)用[J]. 國(guó)防科技大學(xué)學(xué)報(bào)，2003，25(5)：36－39.Liang Guangming, Sun Jixiang, Ma Qi, et al. Application of otsu algorithm in canny operator[J]. Journal of National University of Defense Technology, 2003, 25(5): 36－39. (in Chinese with English abstract)

[25]胡敏，李梅，汪榮貴. 改進(jìn)的Otsu算法在圖像分割中的應(yīng)用[J]. 電子測(cè)量與儀器學(xué)報(bào)，2010，24(5)：443－449.Hu Min, Li Mei, Wang Ronggui. Application of improved Otsu algorithm in image segmentation[J]. Journal of Electronics & Measurements, 2010, 24(5): 443－449. (in Chinese with English abstract)

[26]戴天虹，吳以. 基于OTSU算法與數(shù)學(xué)形態(tài)學(xué)的木材缺陷圖像分割[J]. 森林工程，2014，30(2)：52－55.Dai Tianhong, Wu Yi. Wood defect image segmentation based on otsu algorithm and mathematical morphology[J].Journal of Forest Engineering, 2014, 30(2): 52－55. (in Chinese with English abstract)

[27]Zhang T Y, Suen C Y. A fast parallel algorithm for thinning digital patterns[J]. Communication of the ACM, 1984, 27(3):236－239

[28]吳選忠. Zhang快速并行細(xì)化算法的擴(kuò)展[J]. 福建工程學(xué)院學(xué)報(bào)，2006，4(1)：89－92.Wu Xuanzhong. Expanding of Zhang's parallel thinning algorithm[J]. Journal of Fujian Institute of Engineering, 2006,4(1): 89－92. (in Chinese with English abstract)

[29]賈挺猛，荀一，鮑官軍，等. 基于機(jī)器視覺的葡萄樹枝骨架提取算法研究[J]. 機(jī)電工程，2013，30(4)：501－504.Jia Tingmeng, Xun Yi, Bao Guanjun, et al. A study on the extraction of grape branch skeletons based on machine vision[J]. Electromechanical Engineering, 2013, 30(4): 501－504.(in Chinese with English abstract)

[30]孫向陽(yáng). 角點(diǎn)檢測(cè)及其在纖維識(shí)別中的應(yīng)用研究[D]. 上海：東華大學(xué)，2009.Sun Xiangyang. Corner Detection and its Application In Fiber Identification [D]. Shanghai: Donghua University, 2009.(in Chinese with English abstract)

[31]Olfa Haggui, Claude Tadonki, Lionel Lacassagne, et al.Harris corner detection on a NUMA manycore [J]. Future Generation Computer Systems, 2018, 88: 442－452.