果樹(shù)枝條識(shí)別與修剪點(diǎn)坐標(biāo)確定方法

摘要：為了實(shí)現(xiàn)休眠期果樹(shù)的修剪識(shí)別問(wèn)題，研究了基于語(yǔ)義分割的網(wǎng)絡(luò)模型識(shí)別修剪枝條與確定修剪點(diǎn)坐標(biāo)的方法。通過(guò)雙目相機(jī)搭建了視覺(jué)系統(tǒng)獲取果樹(shù)的數(shù)據(jù)集，采用分別融入預(yù)訓(xùn)練權(quán)重與CBAM（注意力機(jī)制）的VGG16和RestNet-50作為U-Net主干特征提取網(wǎng)絡(luò)的2種深度學(xué)習(xí)模型分割修剪枝條，同時(shí)獲取其效果并進(jìn)行對(duì)比。在獲得的分割圖像基礎(chǔ)上采用骨架提取和修剪點(diǎn)聚類(lèi)2種方法進(jìn)行修剪點(diǎn)坐標(biāo)的確定。結(jié)果表明，基于VGG16特征提取網(wǎng)絡(luò)的U-Net模型識(shí)別結(jié)果較好，該模型在測(cè)試集的平均交并比（MIOU）、平均像素準(zhǔn)確率（MPA）和訓(xùn)練時(shí)F分?jǐn)?shù)分別為84.80%、91.83%和92.679%。分割出人工模擬果樹(shù)的模型圖像，采用修剪點(diǎn)聚類(lèi)的方法，可以較快、實(shí)時(shí)地確定修剪點(diǎn)的二維坐標(biāo)，為實(shí)現(xiàn)修剪作業(yè)奠定基礎(chǔ)。

關(guān)鍵詞：枝條識(shí)別；修剪點(diǎn)坐標(biāo)；提取；預(yù)訓(xùn)練權(quán)重；CBAM（注意力機(jī)制）

中圖分類(lèi)號(hào)：S126；TP391.41" " " " "文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：0439-8114（2024）08-0039-08

DOI：10.14088/j.cnki.issn0439-8114.2024.08.008 開(kāi)放科學(xué)（資源服務(wù)）標(biāo)識(shí)碼（OSID）：

Identification of branches of fruit trees and determination of coordinates of pruning points

SONG Zhen-shuai1，ZHOU Yan 2，ZHONG Ling2，YI Jie1，SONG Long2， HE Lei2

（1.School of Aeronautical Engineering， Jiangsu Aviation Technical College， Zhenjiang" 212134，Jiangsu， China；2.Institute of Machinery and Equipment， Xinjiang Academy of Agricultural and Reclamation Science， Shihezi" 832000， Xinjiang，China）

Abstract：In order to realize the pruning recognition of dormant fruit trees， a network model based on semantic segmentation was studied to identify pruned branches and determine the coordinates of pruning points. A binocular camera was used to build a visual system to obtain the data set of fruit trees. VGG16 and RestNet-50， which were respectively integrated with pre-training weights and CBAM （attention mechanism）， were used as two deep learning models of U-Net backbone feature extraction network to segment pruned branches. At the same time， their effects were obtained and compared. Based on the obtained segmented image， two methods， skeleton extraction and pruning point clustering， were used to determine the coordinates of pruning points. The results showed that the U-Net model based on VGG16 feature extraction network had better recognition results. The mean intersection over union （MIOU）， mean pixel accuracy （MPA） and F scores during the training of the model were 84.80%， 91.83% and 92.679% respectively. By segmenting the model image of artificial simulated fruit trees and using the pruning point clustering method， the two-dimensional coordinates of pruning points could be determined quickly and in real time， which laid the foundation for pruning operations.

Key words： branches identification；coordinates of pruning points；extraction； pre-training weight；CBAM（attention mechanism）

近年來(lái)，隨著生活質(zhì)量水平的不斷提高，人們對(duì)果實(shí)需求量以及果實(shí)品質(zhì)的要求不斷提高，這使得果樹(shù)產(chǎn)業(yè)向機(jī)械化和有機(jī)化發(fā)展。在果樹(shù)種植機(jī)械化管理中，剪枝是技術(shù)性較強(qiáng)且比較耗費(fèi)工時(shí)的作業(yè)，但在果樹(shù)的生長(zhǎng)過(guò)程中，枝剪又是必不可少的重要環(huán)節(jié)。目前果樹(shù)的剪枝主要采用手鋸進(jìn)行手工操作，剪枝效率低，此外，隨著農(nóng)村勞動(dòng)力的轉(zhuǎn)移，農(nóng)村勞動(dòng)力老齡化和女性化，導(dǎo)致勞動(dòng)力短缺［1，2］，勞動(dòng)成本急劇增加，這對(duì)果樹(shù)產(chǎn)業(yè)的良好發(fā)展造成嚴(yán)重影響，因此，開(kāi)展果樹(shù)修剪機(jī)器人的相關(guān)研究，實(shí)現(xiàn)機(jī)械化、智能化修剪迫在眉睫［3］。

實(shí)現(xiàn)機(jī)械化、智能化修剪的過(guò)程中，果樹(shù)的枝干識(shí)別是自動(dòng)選擇修剪枝條研究的核心［4］。在農(nóng)業(yè)環(huán)境中，圖像分割和圖像識(shí)別具有較高的價(jià)值［5］，近幾年來(lái)，隨著計(jì)算機(jī)性能的突飛猛進(jìn)，圖像處理技術(shù)得到了迅速發(fā)展，使得果樹(shù)枝干識(shí)別的研究有較大的進(jìn)展。在國(guó)外，Amatya等［6］采取搭建的視覺(jué)系統(tǒng)對(duì)有葉子的荔枝樹(shù)進(jìn)行圖像采集，接著采用貝葉斯分類(lèi)的方法對(duì)圖像進(jìn)行四分類(lèi)，對(duì)樹(shù)干的識(shí)別率達(dá)89.2%。Tabb等［7］在室外不同的光照強(qiáng)度下獲取果樹(shù)圖像，并且利用藍(lán)色遮光板去除了復(fù)雜的果園背景，同時(shí)結(jié)合了超像素算法對(duì)果樹(shù)進(jìn)行了分割。Fernandes等［8］利用實(shí)例分割算法MaskR-CNN對(duì)樹(shù)形簡(jiǎn)單的葡萄樹(shù)潛在的修剪點(diǎn)進(jìn)行識(shí)別，并結(jié)合圖論算法最終確定枝條的修剪位置。

國(guó)內(nèi)，劉慧等［9］利用多個(gè)信息合并的方式，采用超像素的算法對(duì)樹(shù)干進(jìn)行了分割，準(zhǔn)確率為95.0%，分割的結(jié)果作為機(jī)器人路徑臂章作業(yè)的參照物。黃彪［10］利用基于色差的圖像分割獲取到間斷的枝條圖像，通過(guò)非合理間斷圖像的恢復(fù)獲取到枝條，進(jìn)而通過(guò)枝條中心坐標(biāo)軸求取枝條直徑、密度等來(lái)判斷切削枝條與切削點(diǎn)。嚴(yán)亞飛［11］將RGB顏色空間轉(zhuǎn)換到LAB顏色空間，通過(guò)K-means聚類(lèi)以及膨脹腐蝕等方法獲取到枸杞枝條的輪廓進(jìn)而三維重建獲取到枝條定位。賈挺猛等［12］通過(guò)顏色空間分析，選擇合適的顏色分量將圖片轉(zhuǎn)換成灰度圖，進(jìn)而獲取二值圖，利用骨架提取的方法獲得果樹(shù)的骨架以及修剪點(diǎn)。

文獻(xiàn)［6，7，9］主要針對(duì)果樹(shù)的主干進(jìn)行識(shí)別分割，沒(méi)有對(duì)果樹(shù)修剪枝條識(shí)別進(jìn)行研究，文獻(xiàn)［8，10-12］對(duì)果樹(shù)枝條分割進(jìn)行了探索，但在確定果樹(shù)枝條修剪點(diǎn)的過(guò)程中較為耗時(shí)，不能實(shí)時(shí)準(zhǔn)確地實(shí)現(xiàn)作業(yè)。本研究在用黑布遮擋梨樹(shù)復(fù)雜背景的情況下利用雙目相機(jī)進(jìn)行數(shù)據(jù)集采集，結(jié)合語(yǔ)義分割網(wǎng)絡(luò)模型對(duì)遮擋背景的梨樹(shù)圖像進(jìn)行分割，并采用兩種方法對(duì)分割結(jié)果圖像的枝條上進(jìn)行剪枝點(diǎn)的確定，從而實(shí)時(shí)準(zhǔn)確地獲得剪枝點(diǎn)二維坐標(biāo)，最終為剪枝點(diǎn)的獲取、修剪作業(yè)提供依據(jù)。

1 材料與方法

1.1 數(shù)據(jù)獲取

為了達(dá)到果樹(shù)枝條的識(shí)別與定位，必須進(jìn)行果樹(shù)枝條的圖像采集。本研究使用Bumblebee2雙目相機(jī)、1394a圖像采集卡進(jìn)行圖像采集，相機(jī)參數(shù)如表1所示，圖像為JPG格式，系統(tǒng)選用Win10系統(tǒng)，基于Python 3.6.13，Pytorch 1.7.0在編譯器Pycharm 2021開(kāi)發(fā)環(huán)境上對(duì)采集的圖像進(jìn)行調(diào)試和處理。

1.2 數(shù)據(jù)預(yù)處理與數(shù)據(jù)集構(gòu)造

梨樹(shù)前景圖像采用Labelme［13］軟件人工標(biāo)注，標(biāo)注完以后得到每幅圖片的json數(shù)據(jù)格式（圖2a），然后把數(shù)據(jù)轉(zhuǎn)換成PASCAL VOC數(shù)據(jù)集格式，并獲得對(duì)應(yīng)的掩膜圖像，圖2b中紅色表示為前景目標(biāo)，黑色為背景，將標(biāo)注完的300張圖像，按照9∶1的比例分為訓(xùn)練集和驗(yàn)證集（隨意的270張圖像用于模型的訓(xùn)練，30張圖片用于測(cè)試），用于模型的監(jiān)督訓(xùn)練。

1.3 UNet語(yǔ)義分割模型

Ronneberger等［14］采用U-Net結(jié)構(gòu)，并將其運(yùn)用到了醫(yī)學(xué)細(xì)胞分割中，在小樣本數(shù)據(jù)集上取得了優(yōu)異的性能。侯向丹等［15］使用融入注意力機(jī)制和預(yù)訓(xùn)練權(quán)重的RestNet-34作為U-Net的主干特征提取，在不同的數(shù)據(jù)集上進(jìn)行測(cè)試，并得到了對(duì)病變區(qū)域的圖像有良好視盤(pán)分割的性能。U-Net的誕生主要原因是可以對(duì)一些較少的樣本數(shù)據(jù)進(jìn)行訓(xùn)練［16］，本研究利用U-Net網(wǎng)絡(luò)模型對(duì)梨樹(shù)的枝干進(jìn)行分割，該模型整體框架是一個(gè)具有編碼-解碼的結(jié)構(gòu)，該結(jié)構(gòu)在對(duì)圖像進(jìn)行分類(lèi)時(shí)取得較好的效果，得以在農(nóng)業(yè)上廣泛應(yīng)用，但其特征提取網(wǎng)絡(luò)深度不夠，無(wú)法提供圖像更深層的語(yǔ)義特征，不能滿足精細(xì)化圖像特征提取［17］，因此，本研究利用融入了注意力機(jī)制和預(yù)訓(xùn)練權(quán)重的VGG16和RestNet-50特征提取網(wǎng)絡(luò)［18］分別對(duì)梨樹(shù)進(jìn)行圖像特征提取，得到圖像的高語(yǔ)義信息。在模型的編碼階段共進(jìn)行了4次下采樣，獲得5個(gè)有效特征層，這5個(gè)有效特征層與解碼器的特征進(jìn)行特征融合，并在第4個(gè)與第5個(gè)有效特征層后插入注意力機(jī)制（CBAM）使得有用信息被放大，不重要信息被消弱，同時(shí)對(duì)VGG16和RestNet-50特征提取網(wǎng)絡(luò)使用了預(yù)訓(xùn)練權(quán)重，為防止出現(xiàn)過(guò)擬合現(xiàn)象。在解碼器部分進(jìn)行雙線性插值，對(duì)下采樣的圖片進(jìn)行二倍還原以便于進(jìn)行特征融合，對(duì)最后融合的有效特征進(jìn)行1×1卷積并進(jìn)行像素點(diǎn)的分類(lèi)，將最終特征層的通道數(shù)調(diào)整為num-classes。同時(shí)本研究在原有U-Net沒(méi)有使用padding進(jìn)行補(bǔ)零填充的基礎(chǔ)上對(duì)網(wǎng)絡(luò)中3×3的卷積層進(jìn)行補(bǔ)零填充，使得每次的圖片大小不變，進(jìn)而獲得輸出圖像尺寸與輸入圖像尺寸的大小一致，VGG16-UNet語(yǔ)義分割模型分割過(guò)程如圖3所示。

1.4 模型訓(xùn)練與參數(shù)設(shè)置

為了進(jìn)一步提高模型的訓(xùn)練效果，減少訓(xùn)練時(shí)間，利用數(shù)據(jù)集（VOC12）的預(yù)訓(xùn)練權(quán)重以及注意力機(jī)制對(duì)模型進(jìn)行微調(diào)。具體步驟為：①利用預(yù)訓(xùn)練權(quán)重對(duì)U-Net模型進(jìn)行初始化。②凍結(jié)特征提取網(wǎng)絡(luò)的權(quán)值，并設(shè)置初始學(xué)習(xí)率0.02［19］，在訓(xùn)練中每完成一次迭代后，學(xué)習(xí)率變?yōu)樵瓉?lái)的0.92倍，進(jìn)而對(duì)后端網(wǎng)絡(luò)進(jìn)行訓(xùn)練。③初始學(xué)習(xí)率和衰減率保持不變，解凍特征提取網(wǎng)絡(luò)的權(quán)值，對(duì)整個(gè)模型的權(quán)值參數(shù)進(jìn)行微調(diào)訓(xùn)練。經(jīng)過(guò)多次試驗(yàn)，最終確定U-net模型的訓(xùn)練參數(shù)，如表2所示。模型訓(xùn)練的計(jì)算機(jī)處理器為Intel Core i7-9700，Nvidia GeForce GTX 1660 GPU，操作系統(tǒng)為Win10，以及Anaconda3和Python3.6為語(yǔ)言環(huán)境。

1.5 模型損失函數(shù)與評(píng)價(jià)指標(biāo)

本研究使用的損失函數(shù)由兩部分組成：交叉熵?fù)p失函數(shù)［20］和Dice Loss損失函數(shù)。交叉熵主要是用來(lái)表達(dá)神經(jīng)網(wǎng)絡(luò)輸入輸出的結(jié)果差異，交叉熵越小代表著輸入和輸出的結(jié)果就越接近。交叉熵?fù)p失函數(shù)如式（1）所示，其中，M表示類(lèi)別個(gè)數(shù)，ytrue是one-hot向量，如果該類(lèi)別和樣本的類(lèi)別相同取1，否則取0，ypred表示預(yù)測(cè)樣本屬于c的概率。

[L=-c=1Mytruelog（ypred）]" " " "（1）

Dice Loss是語(yǔ)義分割中常見(jiàn)的評(píng)價(jià)指標(biāo)，用來(lái)解決語(yǔ)義分割中正負(fù)樣本極度不平衡的場(chǎng)景［21］。Dice Loss來(lái)自Dice coefficient，通常用來(lái)評(píng)估兩個(gè)樣本相似性，其取值范圍在0到1之間，Dice coefficient的值越大表示越相似，定義公式如式（2）所示，其中，|X∩Y|表示X和Y的交集，|X|和|Y|分別表示預(yù)測(cè)值的像素點(diǎn)集和真實(shí)值的像素點(diǎn)集，當(dāng)X和Y高度重合時(shí)，為保證Dice coefficient的值在［0，1］，在分子上乘以2。

[Dice=2X?YX+Y]" " " " " "（2）

對(duì)于語(yǔ)義分割任務(wù)而言，|x|和|y|分別表示真實(shí)值和預(yù)測(cè)值?；贒ice coefficient，Dice Loss的計(jì)算公式如式（3）所示，Dice Loss的值越小，則代表分割網(wǎng)絡(luò)的效果越好。

[LDice=1-2|π2-θ?y||x|+|y|]" " " （3）

為了泛化本研究分割效果對(duì)冬季修剪枝條的分割效果以及與其他方法進(jìn)行分割結(jié)果的比較。本研究采用平均像素準(zhǔn)確率 （Mean pixel accuracy，MPA）如式（4），平均交并比（Mean intersection over union，MIOU）如式（5）以及F分?jǐn)?shù)（用Fscore表示）如式（6）來(lái)進(jìn)行評(píng)價(jià)，本試驗(yàn)共分為2類(lèi)，分別為背景和分割目標(biāo)，故式（4）、（5）中的k取值為2，pij表示本應(yīng)屬于i類(lèi)卻預(yù)測(cè)為j類(lèi)的像素點(diǎn)總數(shù)，pii表示真陽(yáng)性，pij表示假陽(yáng)性，pji表示假陰性；式（6）中Precision為準(zhǔn)確率，Recall為召回率。

[MPA=1k+1i=0kpiij=0kpij]" " " " " " " "（4）

[MIOU=1k+1i=0kpiij=0kpij+j=0kpji-pii] （5）

[Fscore=2×Precision×RecallPrecision+Recall]" （6）

2 試驗(yàn)結(jié)果分析與驗(yàn)證

2.1 不同特征提取網(wǎng)絡(luò)模型性能評(píng)估

不同特征提取網(wǎng)絡(luò)（VGG16和RestNet-50）的U-Net模型在訓(xùn)練集和驗(yàn)證集的損失值（Loss）曲線，如圖4所示。模型迭代訓(xùn)練100次后已收斂，利用RestNet-50網(wǎng)絡(luò)的U-Net模型損失值在訓(xùn)練集和驗(yàn)證集分別是0.099 8和0.082 3，而VGG16網(wǎng)絡(luò)的損失在訓(xùn)練集和驗(yàn)證集分別是0.077 9和0.062 0，并且比RestNet-50特征提取網(wǎng)絡(luò)收斂速度更快，表明該特征提取網(wǎng)絡(luò)具有更好的性能，同時(shí)也表明U-Net模型在訓(xùn)練過(guò)程中沒(méi)有出現(xiàn)過(guò)擬合現(xiàn)象。

利用不同的特征提取網(wǎng)絡(luò)對(duì)U-Net模型訓(xùn)練，得到不同的訓(xùn)練權(quán)重，分別在驗(yàn)證數(shù)據(jù)集上（訓(xùn)練過(guò)程中沒(méi)有出現(xiàn)過(guò)的數(shù)據(jù)）進(jìn)行測(cè)試，結(jié)果顯示，利用基于VGG16網(wǎng)絡(luò)作為特征提取的U-Net模型在驗(yàn)證集上以及F分?jǐn)?shù)的性能表現(xiàn)均優(yōu)于RestNet-50作為特征提取網(wǎng)絡(luò)的模型，如表3所示。

2.2 果樹(shù)枝干識(shí)別分析

利用不同網(wǎng)絡(luò)作為特征提取的U-Net模型得到的語(yǔ)義分割結(jié)果，如圖5所示，其中圖5a為果樹(shù)前景圖像，圖5b為真實(shí)標(biāo)簽，圖5c、5d為利用不同特征提取網(wǎng)絡(luò)的分割結(jié)果。其中紅色為枝干，黑色代表背景。圖5c的分割結(jié)果中，有部分修剪枝條沒(méi)有被完全分割。在圖5d的分割結(jié)果中有較小的修剪枝和噪音被識(shí)別，盡管在真實(shí)的標(biāo)簽中這些都被標(biāo)注為背景信息，但對(duì)接下來(lái)的研究影響不是很大，因此表明基于VGG16網(wǎng)絡(luò)作為特征提取的U-Net模型的性能較好，對(duì)果樹(shù)的分割具有較好的魯棒性。

3 修剪點(diǎn)坐標(biāo)確定方法

3.1 骨架提取獲取修剪點(diǎn)坐標(biāo)

在傳統(tǒng)的剪枝過(guò)程中，切削枝條的判別標(biāo)準(zhǔn)并不統(tǒng)一，本研究為了簡(jiǎn)化切削枝條的決策模型，提出了剪枝分界線與前景點(diǎn)的交點(diǎn)作為剪枝點(diǎn)的方法。首先對(duì)分割后的結(jié)果進(jìn)行骨架提取，進(jìn)而進(jìn)行后續(xù)研究，主要流程如圖6所示。

獲取模型分割結(jié)果后，對(duì)分割的枝干進(jìn)行骨架提取，通常利用Zhang細(xì)化算法、Hilditch細(xì)化算法和EightNeibor細(xì)化算法進(jìn)行骨架提取，提取結(jié)果如圖7所示。從圖中可以看出，Zhang細(xì)化算法存在枝干有骨刺的現(xiàn)象，而EightNeibor細(xì)化算法樹(shù)干部分沒(méi)有進(jìn)行骨架提取，Hilditch細(xì)化算法無(wú)骨刺生成而且細(xì)化后的骨架連通性好［22］，與其他兩種方法相比效果較好，因此選用Hilditch細(xì)化算法。

通過(guò)細(xì)化結(jié)果可知圖像的高度（H）、圖像的寬度（W），利用圖片的像素點(diǎn)從左側(cè)初始列開(kāi)始，以W/4為左側(cè)剪枝分界線，以圖片3×W/4為右側(cè)剪枝分界線，從而獲得剪枝分界線如圖8所示。

由圖9可知，獲取的剪枝點(diǎn)存在不滿足農(nóng)藝要求的點(diǎn)（圖10），此時(shí)修剪點(diǎn)在修剪枝條的端點(diǎn)，如轉(zhuǎn)換三維坐標(biāo)以后，機(jī)械臂進(jìn)行作業(yè)，此時(shí)機(jī)械臂將做無(wú)用功，達(dá)不到剪枝的效果，同時(shí)在進(jìn)行骨架提取的同時(shí)，細(xì)化算法耗費(fèi)的時(shí)間較長(zhǎng)，無(wú)法滿足實(shí)時(shí)提供二維修剪點(diǎn)的要求，進(jìn)而無(wú)法實(shí)現(xiàn)實(shí)時(shí)地獲取三維坐標(biāo)，滿足不了修剪果樹(shù)的作業(yè)要求。

3.2 修剪點(diǎn)聚類(lèi)獲取修剪點(diǎn)坐標(biāo)

因細(xì)化算法在提取前景過(guò)程中是將前景中每個(gè)像素點(diǎn)進(jìn)行循環(huán)，是對(duì)每個(gè)像素點(diǎn)進(jìn)行判斷，因此非常耗時(shí)，通常情況下是將數(shù)據(jù)采集模型分割結(jié)果以后，離線模式進(jìn)行細(xì)化算法，當(dāng)前景的像素點(diǎn)較多時(shí)，計(jì)算機(jī)會(huì)出現(xiàn)卡頓現(xiàn)象，不利于后面的作業(yè)研究，從而達(dá)不到實(shí)時(shí)求解出修剪點(diǎn)坐標(biāo)的目標(biāo)。因此，本研究提出了將剪枝分界線與枝干相交的點(diǎn)進(jìn)行迭代，進(jìn)而采用每個(gè)迭代點(diǎn)與聚類(lèi)點(diǎn)集合的均值點(diǎn)進(jìn)行距離判斷，判斷相交點(diǎn)屬于哪個(gè)聚類(lèi)，將聚類(lèi)集合中的點(diǎn)取平均值的方法獲取一個(gè)點(diǎn)，此點(diǎn)被認(rèn)為修剪點(diǎn)，并獲得剪枝點(diǎn)的坐標(biāo)，滿足較快、實(shí)時(shí)求解的要求，可以為后續(xù)修剪作業(yè)提供依據(jù)，主要流程如圖11所示。

為防止修剪點(diǎn)出現(xiàn)在枝干端點(diǎn)的情況，將以圖像的中心點(diǎn)為中心，獲取中心剪裁框，以圖片的W×2/3，H×2/3為邊長(zhǎng)獲得中心剪裁框，如圖12所示，修剪點(diǎn)將在中心剪裁框中進(jìn)行選取。

獲取剪枝分界線將以圖片的最左側(cè)列（第0列）為起始列，將W/4所在的列為左側(cè)剪枝分界線，以圖片3×W/4所在的列為右側(cè)剪枝分界線，左側(cè)、右側(cè)的剪枝分界線均在中心剪裁框中獲取，如圖13所示。

因沒(méi)有對(duì)果樹(shù)枝干進(jìn)行骨架提取，枝條與剪枝分界線的交點(diǎn)為多個(gè)并不是單一的像素的值，此時(shí)選擇將相交點(diǎn)逐個(gè)循環(huán)聚類(lèi)取均值（初始化聚類(lèi)里面只有第一個(gè)交點(diǎn)），通過(guò)每次聚類(lèi)的均值來(lái)判斷這些交點(diǎn)到均值點(diǎn)的距離，將設(shè)置一個(gè)閾值，當(dāng)距離小于這個(gè)閾值時(shí)此交點(diǎn)屬于上個(gè)聚類(lèi)，當(dāng)大于閾值時(shí)此交點(diǎn)為新的一個(gè)聚類(lèi)，閾值選擇為H/100。聚類(lèi)將為相交點(diǎn)的集合，當(dāng)集合中交點(diǎn)個(gè)數(shù)較多時(shí)表明剪枝分界線與枝干直徑較大的相交，為滿足農(nóng)藝要求將對(duì)該些點(diǎn)進(jìn)行舍棄。對(duì)滿足要求的聚類(lèi)集合進(jìn)行取均值，將每個(gè)聚類(lèi)的中心判斷為修剪點(diǎn)。因?yàn)樵谥行男藜艨蛞泊嬖谛藜糁l端點(diǎn)的情況出現(xiàn)，需要進(jìn)一步通過(guò)區(qū)域判斷是否修剪點(diǎn)為端點(diǎn)的情況。該區(qū)域的選擇為：當(dāng)為右側(cè)修剪點(diǎn)時(shí)，區(qū)域的起始列就是修剪點(diǎn)所處的列，左側(cè)修剪點(diǎn)時(shí)，這個(gè)區(qū)域的終止列就是這個(gè)點(diǎn)所處的列，列的移動(dòng)范圍皆為H/50，區(qū)域的行將以修剪點(diǎn)所在的行上下浮動(dòng)H/50，尋找該修剪點(diǎn)與這個(gè)區(qū)域內(nèi)前景（枝條）點(diǎn)的最大距離，如果距離小于W/50則認(rèn)為該修剪點(diǎn)為端點(diǎn)進(jìn)行舍棄，以右側(cè)修剪點(diǎn)為例，如圖14所示。

對(duì)誤差端點(diǎn)修正后，本算法對(duì)枝條距離較近的修剪點(diǎn)進(jìn)行過(guò)濾。當(dāng)聚類(lèi)取均值獲得中心點(diǎn)時(shí)，會(huì)出現(xiàn)兩個(gè)中心點(diǎn)距離較近，此時(shí)會(huì)進(jìn)行不必要的修剪，浪費(fèi)作業(yè)時(shí)間且增加危險(xiǎn)系數(shù)，因此需要對(duì)修剪點(diǎn)再次過(guò)濾，從而達(dá)到滿足機(jī)械臂修剪的作業(yè)要求，如圖15所示。

算法需滿足3個(gè)要求進(jìn)而獲得修剪點(diǎn)。具體要求：①通過(guò)剪枝分界線與枝干相交獲得相交點(diǎn)，如果相交點(diǎn)過(guò)多或?yàn)?時(shí)表明枝干直徑較大或沒(méi)有與枝干相交，進(jìn)而舍棄該相交點(diǎn)。②利用相交點(diǎn)聚類(lèi)獲得中心聚類(lèi)點(diǎn)（修剪點(diǎn)），對(duì)中心聚類(lèi)點(diǎn)進(jìn)行判斷修剪點(diǎn)是否為端點(diǎn)，進(jìn)而對(duì)修剪點(diǎn)判斷是否需要舍棄。③當(dāng)獲得修剪點(diǎn)時(shí)，判斷修剪點(diǎn)是否距離較近，如果修剪點(diǎn)距離較近，為避免機(jī)械臂作業(yè)時(shí)間較長(zhǎng)及危險(xiǎn)性，將對(duì)該修剪點(diǎn)進(jìn)行過(guò)濾。當(dāng)不滿足以上3個(gè)要求時(shí)，剪枝分界線將向樹(shù)干的方向即圖像中心軸的方向，以每次50像素點(diǎn)進(jìn)行縮進(jìn)去尋找滿足要求的修剪點(diǎn)，通過(guò)本研究算法，獲得二維坐標(biāo)點(diǎn)如表4所示。

4 小結(jié)

1）采用雙目相機(jī)視覺(jué)系統(tǒng)，對(duì)梨樹(shù)進(jìn)行數(shù)據(jù)采集，利用語(yǔ)義分割網(wǎng)絡(luò)模型對(duì)果樹(shù)的枝干進(jìn)行分割，在VGG16-UNet分割模型中果樹(shù)分割的平均準(zhǔn)確率MPA和平均交并比MIOU以及訓(xùn)練時(shí)F分?jǐn)?shù)分別為91.83%、84.80%和92.679%，并可以通過(guò)擴(kuò)增訓(xùn)練數(shù)據(jù)集的數(shù)量進(jìn)一步提高分割的準(zhǔn)確率。

2）對(duì)人工模擬果樹(shù)模型進(jìn)行驗(yàn)證，并通過(guò)骨架提取的方法對(duì)分割結(jié)果進(jìn)行二維坐標(biāo)的獲取，由于在骨架提取過(guò)程中耗費(fèi)時(shí)間較長(zhǎng)，不宜采用此方法獲取修剪點(diǎn)。采用修剪點(diǎn)聚類(lèi)的方法，通過(guò)對(duì)剪枝分界線與枝干相交的點(diǎn)進(jìn)行聚類(lèi)，實(shí)現(xiàn)了修剪點(diǎn)的確定，該方法計(jì)算量較小，可以求解出實(shí)時(shí)的二維坐標(biāo)?？蛇M(jìn)一步采用深度相機(jī)獲取修剪點(diǎn)的三維坐標(biāo)，為修剪點(diǎn)位置提供了數(shù)據(jù)基礎(chǔ)。

參考文獻(xiàn)：

［1］ 楊向飛. 西部農(nóng)村勞動(dòng)力轉(zhuǎn)移與農(nóng)村發(fā)展問(wèn)題研究［D］.蘭州：蘭州大學(xué)，2011.

［2］ 孟祥金，沈從舉，湯智輝，等.果園作業(yè)機(jī)械的現(xiàn)狀與發(fā)展［J］.農(nóng)業(yè)機(jī)械，2012（25）：114-117.

［3］ HE L，SCHUPP J. Sensing and automation in pruning of apple trees： A review［J］. Agronomy，2018，8（10）：211.

［4］ 王 靜，黃欣欣，郭棟梁，等.模擬機(jī)械修剪方式對(duì)桂味荔枝樹(shù)體生長(zhǎng)及坐果的影響［J］.果樹(shù)學(xué)報(bào)，2022，39（8）：1450-1458.

［5］ 沈 躍，莊珍珍，劉 慧，等.基于RealSense深度相機(jī)的多特征樹(shù)干快速識(shí)別方法［J］.農(nóng)業(yè)機(jī)械學(xué)報(bào)，2022，53（4）：304-312.

［6］ AMATYA S， KARKEE M， GONGAL AL， et al. Detection of cherry tree branches with full foliage in planar architecture for automated sweet-cherry harvesting［J］. Biosystems engineering，2016，146：3-15.

［7］ TABB A， MEDEIROS H. Automatic segmentation of trees in dynamic outdoor environments［J］. Computers in industry，2018，98：90-99.

［8］ FERNANDES M，SCALDAFERRI A，F(xiàn)IAMENI G，et al. Grapevine winter pruning automation： On potential pruning points detection through 2d plant modeling using grapevine segmentation［A］. 2021 IEEE 11th annual international conference on CYBER technology in automation，control，and intelligent systems（CYBER）［C］. Jiaxing：IEEE， 2021.13-18.

［9］ 劉 慧，朱晟輝，沈 躍，等.基于多特征融合的樹(shù)干快速分割算法［J］.農(nóng)業(yè)機(jī)械學(xué)報(bào)，2020，51（1）：221-229.

［10］ 黃 彪. 枇杷剪枝機(jī)器人關(guān)鍵技術(shù)的研究［D］.廣州：華南理工大學(xué)，2016.

［11］ 嚴(yán)亞飛. 智能枸杞采摘機(jī)器人枝條識(shí)別與定位關(guān)鍵技術(shù)研究［D］.合肥：合肥工業(yè)大學(xué)，2019.

［12］ 賈挺猛，荀 一，鮑官軍，等.基于機(jī)器視覺(jué)的葡萄樹(shù)枝骨架提取算法研究［J］.機(jī)電工程，2013，30（4）：501-504.

［13］ RUSSELL B C， TORRALBA A， MURPHY K P， et al. LabelMe： A database and web-based tool for image annotation［J］. International journal of computer vision，2008，77：157-173.

［14］ RONNEBERGER O，F(xiàn)ISCHER P，BROX T. U-Net： Convolutional networks for biomedical image segmentation［A］. Proceedings of the 18th medical image computing and computer-assisted intervention［C］. Munich， Germany： Springer， 2015.234-241.

［15］ 侯向丹，趙一浩，劉洪普，等.融合殘差注意力機(jī)制的UNet視盤(pán)分割［J］.中國(guó)圖象圖形學(xué)報(bào)，2020，25（9）：1915-1929.

［16］ 李 彧，余心杰，郭俊先.基于全卷積神經(jīng)網(wǎng)絡(luò)方法的玉米田間雜草識(shí)別［J］.江蘇農(nóng)業(yè)科學(xué)，2022，50（6）：93-100.

［17］ 黃林生，邵 松，盧憲菊，等.基于卷積神經(jīng)網(wǎng)絡(luò)的生菜多光譜圖像分割與配準(zhǔn)［J］.農(nóng)業(yè)機(jī)械學(xué)報(bào)，2021，52（9）：186-194.

［18］ HE K M， ZHANG X Y， REN S Q， et al. Deep residual learning for image recognition［A］. 2016 IEEE conference on computer vision and pattern recognition （CVPR）［C］. Las Vegas， NV， USA： IEEE，2016.

［19］ 馬保建，鄢金山，王 樂(lè)，等.基于語(yǔ)義分割的矮化密植棗樹(shù)修剪枝識(shí)別與骨架提?。跩］.農(nóng)業(yè)機(jī)械學(xué)報(bào)，2022，53（8）：313-319，442.

［20］ 楊信廷，劉蒙蒙，許建平，等.自動(dòng)監(jiān)測(cè)裝置用溫室粉虱和薊馬成蟲(chóng)圖像分割識(shí)別算法［J］.農(nóng)業(yè)工程學(xué)報(bào)，2018，34（1）：164-170.

［21］ 項(xiàng)建弘，徐 昊.基于深度學(xué)習(xí)的圖像語(yǔ)義分割算法研究［J］.計(jì)算機(jī)應(yīng)用研究，2020，37（S2）：316-317，320.

［22］ 何東健，宋子琪.基于熱紅外成像與骨架樹(shù)模型的奶牛眼溫自動(dòng)檢測(cè)［J］.農(nóng)業(yè)機(jī)械學(xué)報(bào)，2021，52（3）：243-250.

基金項(xiàng)目：兵團(tuán)重大科技項(xiàng)目（2021AA00503）；國(guó)家重點(diǎn)研發(fā)計(jì)劃項(xiàng)目（2017YFD07014）；新疆兵團(tuán)農(nóng)業(yè)領(lǐng)域重點(diǎn)科技公關(guān)項(xiàng)目（2018AB016）；江蘇航空職業(yè)技術(shù)學(xué)院院級(jí)課題（JATC24010114）

作者簡(jiǎn)介：宋振帥（1997-），男，山東臨沂人，碩士，主要從事圖像識(shí)別與分割研究，（電話）19190249234（電子信箱）1459588016@qq.com；通信作者，周 艷（1970-），四川大竹人，研究員，碩士生導(dǎo)師，博士，主要從事林果機(jī)械化研究，（電話）13325662014（電子信箱）806551889@qq.com。