休眠期果樹修剪機(jī)器人視覺感知系統(tǒng)研究現(xiàn)狀

關(guān)鍵詞：休眠期果樹；修剪機(jī)器人；剪枝；視覺感知系統(tǒng)；枝干識別；農(nóng)業(yè)機(jī)器人

0 引言

冬季果樹修剪通過去除多余的樹枝控制樹形結(jié)構(gòu)以達(dá)到增加后期產(chǎn)量的目的[1]。傳統(tǒng)的修剪是以人工修剪為主，但是人工剪枝過程靠自身的經(jīng)驗，隨意性較強(qiáng)，并且用工成本高，勞動強(qiáng)度大，修剪效率低。而機(jī)械化的整株幾何修剪主要針對帶葉果樹的粗剪，由于錯剪、漏剪比較嚴(yán)重，不適合休眠期果樹的精確剪枝。機(jī)器人修剪是一種選擇性修剪的方式，通過視覺定位剪枝點(diǎn)引導(dǎo)機(jī)械臂到達(dá)目標(biāo)位置完成修剪作業(yè)。果樹修剪機(jī)器人一般由視覺感知系統(tǒng)、末端執(zhí)行器、機(jī)械臂、控制系統(tǒng)及移動平臺等組成，目前研究的修剪機(jī)器人基本處于田間試驗階段，主要針對休眠期的果樹進(jìn)行剪枝。在機(jī)器人剪枝過程中，最關(guān)鍵的一步是對果樹枝干信息進(jìn)行獲取并識別出待修剪的枝條。因此，果樹修剪機(jī)器人首要解決果樹枝干的高精度信息獲取和快速準(zhǔn)確識別剪枝點(diǎn)的問題。本研究重點(diǎn)對果樹枝干的信息獲取與識別方法進(jìn)行總結(jié)歸納，分析修剪機(jī)器人視覺感知系統(tǒng)存在的問題，并指出其未來研究的方向。

1 信息獲取系統(tǒng)

修剪機(jī)器人首先要獲取高質(zhì)量的果樹枝干三維信息，通常利用立體視覺、激光雷達(dá)、深度相機(jī)等傳感設(shè)備獲取果樹枝干的三維信息。蔡健榮等[2]采用雙目視覺方法采集柑橘樹的左右圖像，通過左右視差獲得枝干的深度信息。WUC等[3]采集2幅無葉核桃樹圖像進(jìn)行重建，提取其骨架并結(jié)合軟件重建完整的核桃樹。胡少軍等[4]獲取果樹稀疏的圖像，利用交互式建模的方式重建樹的三維結(jié)構(gòu)，重建過程所需時間較長。TABBA等[5]利用在機(jī)械臂上安裝的RGB相機(jī)采集休眠期蘋果樹的圖像數(shù)據(jù)，融合分割及輪廓概率圖算法重建其三維模型，重建的平均時間8.47min，并提取修剪所需參數(shù)，如樹干長度、直徑和角度等信息。采用立體視覺重建果樹枝干三維模型時，不僅需要依賴果樹枝干具有豐富的紋理信息，還要克服復(fù)雜的自然光照環(huán)境影響。

激光雷達(dá)傳感器可以主動獲取果樹枝干的三維信息，并且光照對其影響較小。MEDEIROSH等[6]利用激光雷達(dá)傳感器（2D）獲取休眠期蘋果樹40幅不同視角下的三維點(diǎn)云，結(jié)合擬合、聚類等算法重建其三維模型，1h內(nèi)可以重建2棵樹，但重建過程復(fù)雜且重建結(jié)果誤差較大。BAIJ等[7]利用車載平臺搭載2D激光雷達(dá)采集無葉蘋果樹點(diǎn)云數(shù)據(jù)，并提取蘋果樹的形態(tài)參數(shù)，為后續(xù)蘋果樹的粗剪提供數(shù)據(jù)支持。吳志鵬等[8]通過搭建的點(diǎn)云獲取平臺采集休眠期棗樹兩側(cè)的稀疏點(diǎn)云，然后對兩幅點(diǎn)云進(jìn)行配準(zhǔn)并提取棗樹外部輪廓尺寸參數(shù)。許林云等[9]通過2D激光雷達(dá)搭建的移動平臺在室內(nèi)獲取休眠期銀杏樹的三維點(diǎn)云，結(jié)合配準(zhǔn)算法重建銀杏樹的完整枝干點(diǎn)云。2D激光雷達(dá)傳感器獲取的點(diǎn)云數(shù)據(jù)分辨率較低，重建后的果樹模型很難得到枝干的細(xì)節(jié)信息，而3D激光雷達(dá)設(shè)備相比于2D激光雷達(dá)，具有較高的分辨率。CHAKRABORTYM等[10]通過移動平臺搭載的3D激光雷達(dá)傳感器采集蘋果園的三維點(diǎn)云，通過聚類得到單棵蘋果的點(diǎn)云并提取樹冠的體積參數(shù)。同樣，MAHMUDMS等[11]利用3D激光雷達(dá)獲取帶葉蘋果樹的三維點(diǎn)云，根據(jù)采集的數(shù)據(jù)分析了蘋果樹冠層密度的分布情況。同時，許多研究人員利用激光掃描儀采集果樹更稠密的三維點(diǎn)云數(shù)據(jù)，KEIGHTLEYKE等[12]利用掃描儀（ILRIS3-6D）在室內(nèi)對休眠期葡萄樹進(jìn)行多視角點(diǎn)云獲取，結(jié)合白色圓球作為參考點(diǎn)以配準(zhǔn)得到較完整的葡萄樹模型，然后提取其幾何參數(shù)（樹高、體積），但整個重建及采集過程比較復(fù)雜。

相對于2D/3D激光雷達(dá)傳感器，深度相機(jī)的價格便宜并能夠獲取較稠密的三維點(diǎn)云，在采集果樹三維信息時得到了廣泛應(yīng)用。KARKEEM等[13]利用搭建的深度相機(jī)系統(tǒng)獲取多個角度的休眠期蘋果樹的點(diǎn)云信息，通過配準(zhǔn)算法得到蘋果樹較完整的三維點(diǎn)云，并對提取的樹骨架進(jìn)行分析以識別出待修剪的枝條。WANGQ等[14]采用2個KinectV1（結(jié)構(gòu)光原理）深度相機(jī)并間隔90°搭建了一套采集系統(tǒng)，能夠重建出較好的無葉荔枝樹的三維點(diǎn)云，但是在自然光照條件下重建荔枝樹的結(jié)果有待進(jìn)一步驗證。ELFIKYNM等[15]通過KinectV2（ToF原理）深度相機(jī)采集2幅休眠期蘋果樹前后的點(diǎn)云，并結(jié)合KinectFusion算法對果樹點(diǎn)云進(jìn)行部分重建。同樣，付昱興等[16]利用KinectV2分別采集無葉棗樹前后2幅點(diǎn)云信息，并結(jié)合標(biāo)定球方法對點(diǎn)云配準(zhǔn)，然后利用Alpha-shape算法對棗樹進(jìn)行表面重建，得到主要的枝干尺寸誤差控制在7%以內(nèi)。深度相機(jī)在室外環(huán)境下使用時，受自然光照影響比較大，因此在搭建視覺系統(tǒng)時需要額外的遮光措施。

2 識別方法

2.1 基于二維圖像的枝干識別方法

在非結(jié)構(gòu)化的果園環(huán)境下，準(zhǔn)確、快速地識別出果樹的枝干信息比較困難。黃彪等[17]對帶葉的枇杷樹圖像進(jìn)行枝干識別，準(zhǔn)確率達(dá)91.2%，然后提取其枝干的直徑及中心坐標(biāo)等信息，為后續(xù)剪枝提供數(shù)據(jù)依據(jù)。AMATYAS等[18]利用貝葉斯分類算法對采集的帶葉荔枝樹圖像進(jìn)行4分類，其中荔枝樹主干的分割準(zhǔn)確率89.2%。JIW等[19]采用顏色空域轉(zhuǎn)換算法對蘋果樹枝干圖像進(jìn)行處理，然后利用枝干之間的灰度值差異進(jìn)行分割，并分析了不同光照條件的識別情況，為后期蘋果自動采摘避障提供依據(jù)。TABBA等[20]通過藍(lán)色背景對復(fù)雜的果園環(huán)境信息進(jìn)行去除，利用圖像超像素算法區(qū)別于背景顏色對應(yīng)的區(qū)域，結(jié)合最大類間方差算法識別出果樹的枝干信息。劉慧等[21]采用超像素方法對帶葉的果樹圖像進(jìn)行處理，結(jié)合深度信息提高果樹枝干識別的準(zhǔn)確率，并與其他分割算法進(jìn)行對比，分割結(jié)果的召回率及準(zhǔn)確率都得到了提高。上述文獻(xiàn)都是利用傳統(tǒng)的算法對復(fù)雜背景下果樹枝干進(jìn)行識別，提出的算法通用性不強(qiáng)且處理過程比較煩瑣。

近幾年深度學(xué)習(xí)技術(shù)不斷發(fā)展，在二維圖像領(lǐng)域取得了巨大進(jìn)步，研究人員利用該技術(shù)對果樹枝干進(jìn)行識別。ZHANGJ等[22]利用R-CNN神經(jīng)網(wǎng)絡(luò)對于融合的RGB圖像和深度信息進(jìn)行特征提取，識別出休眠期蘋果樹的側(cè)枝，通過計算檢測框中心點(diǎn)位置擬合枝干的長度。楊長輝等[23]利用實例分割網(wǎng)絡(luò)MaskRCNN對復(fù)雜結(jié)構(gòu)的柑橘樹枝干進(jìn)行分割，平均準(zhǔn)確率98.15%，結(jié)合離散點(diǎn)擬合算法對枝干斷點(diǎn)進(jìn)行擬合。MAJEEDY等[24]利用目標(biāo)檢測FasterR-CNN神經(jīng)網(wǎng)絡(luò)（基于ResNet特征提取）對不同時期的葡萄樹進(jìn)行檢測，通過擬合檢測框的中心點(diǎn)坐標(biāo)確定在疏枝作業(yè)時的路徑軌跡。同樣，MAJEEDY等[25]利用不同的語義分割模型FCN和SegNet對休眠期葡萄樹圖像進(jìn)行分割，對得到的最好分割結(jié)果利用多項式擬合，以確定葡萄樹的枝干長度。馬保建等[26]利用語義分割網(wǎng)絡(luò)DeepLabV3+對去除背景的棗樹圖像進(jìn)行分割，得到棗樹的主干和修剪枝的像素，然后提取其修剪枝的骨架，為后續(xù)剪枝點(diǎn)的準(zhǔn)確定位提供依據(jù)。

崔永杰等[27]利用深度學(xué)習(xí)方法對不同生長階段的獼猴桃樹干進(jìn)行特征提取，探究不同的網(wǎng)絡(luò)層數(shù)對特征提取的影響，并以可視化的方式解釋特征提取的差異程度。ZHONGZ等[28]利用不同相機(jī)獲取荔枝樹圖像，采用深度學(xué)習(xí)YOLACT實例分割算法對圖像中的荔枝和枝干進(jìn)行識別，提取枝干的掩膜，通過最小二乘法進(jìn)行擬合，在擬合得到的枝干上確定采摘點(diǎn)，其識別準(zhǔn)確率89.7%。LINGC等[29]在自然環(huán)境下利用深度相機(jī)獲取柚子樹圖像，利用MaskR-CNN深度學(xué)習(xí)方法對圖像進(jìn)行分割得到背景、柚子和枝干3類語義信息，其中對于枝干的分割評價指標(biāo)F1分?jǐn)?shù)0.415。FOURIEJ等[30]利用卷積神經(jīng)網(wǎng)絡(luò)對空間結(jié)構(gòu)一致的無葉葡萄樹進(jìn)行枝干識別，確定需要修剪的葡萄樹枝。SONGZ等[31]基于不同特征提取網(wǎng)絡(luò)的DeepLabV3+深度學(xué)習(xí)模型對獼猴桃的圖像進(jìn)行語義分割，得到獼猴桃、樹干和鐵絲3類，并提取鐵絲的像素點(diǎn)，利用PPHT概率算法重建鐵絲線以引導(dǎo)末端執(zhí)行器進(jìn)行避障。CHENZ等[32]利用3種不同的語義分割網(wǎng)絡(luò)Pix2Pix、U-Net和DeepLabV3對部分遮擋的蘋果樹枝干進(jìn)行分割，分析不同模型對于不同遮擋程度的蘋果樹枝干分割效果，結(jié)果表明，DeepLabV3模型能夠更好地對蘋果樹枝干進(jìn)行分割。王輝等[33]利用MaskR-CNN算法對柑橘樹冠進(jìn)行分割，單株的分割準(zhǔn)確率95%，并與SegNet算法進(jìn)行對比，其準(zhǔn)確率提高5個百分點(diǎn)，為柑橘果園的自動化噴藥提供數(shù)據(jù)支撐。FERNANDESM等[34]基于不同層數(shù)的ResNet特征提取網(wǎng)絡(luò)的MaskR-CNN深度學(xué)習(xí)模型對采集的休眠期葡萄樹圖像進(jìn)行樹干和樹枝（藤條）的分割，結(jié)合圖方法確定樹干和樹枝的連接點(diǎn)，利用連接點(diǎn)和樹枝上的節(jié)點(diǎn)確定潛在的修剪位置。雖然基于深度學(xué)習(xí)的方法對果樹枝干及冠層分割結(jié)果較好，但是缺少枝干的空間位置信息，后續(xù)需要進(jìn)一步結(jié)合深度信息確定剪枝點(diǎn)位置。

2.2 基于三維點(diǎn)云的枝干識別方法

從點(diǎn)云中分割出果樹枝干能夠得到其空間信息，但大部分研究集中在利用傳統(tǒng)算法進(jìn)行果樹主干的識別。牛潤新等[35]對獲取的果園點(diǎn)云數(shù)據(jù)通過聚類方法去除地面和雜草等噪聲點(diǎn)，識別果樹主干的準(zhǔn)確率95.5%，為丘陵地形的機(jī)器人導(dǎo)航提供了參考。DEYD等[36]利用運(yùn)動恢復(fù)結(jié)構(gòu)算法（SFM）重建帶葉葡萄樹的點(diǎn)云信息，結(jié)合支持向量機(jī)（SVM）算法對提取的特征進(jìn)行3分類（樹葉、葡萄和樹枝），葡萄的分類準(zhǔn)確率98%，未提及其他兩類的識別精度。STRAUBJ等[37]通過運(yùn)動恢復(fù)結(jié)構(gòu)算法重建了9棵休眠期蘋果樹，結(jié)合隨機(jī)森林算法去除地面等噪聲點(diǎn)云，然后利用聚類算法和圖理論分析的方法識別蘋果樹樹干和枝干信息，整個算法流程較復(fù)雜。UNDERWOODJP等[38]通過移動機(jī)器人獲取整個蘋果園點(diǎn)云，然后采用半馬爾可夫算法對單棵樹進(jìn)行識別，得到每棵樹的位置，并分析了不同季節(jié)對定位誤差的影響。TAOY等[39]對獲取的蘋果樹點(diǎn)云首先進(jìn)行顏色特征和幾何特征的提取，然后基于支持向量機(jī)算法對提取的特征進(jìn)行3分類（蘋果、枝干和葉子），最后利用遺傳算法對分類結(jié)果進(jìn)一步優(yōu)化，枝干分類準(zhǔn)確率88.03%。DIGUMARTIST等[40]對帶葉樹點(diǎn)云提出了一種幾何特征提取方法，然后結(jié)合隨機(jī)森林算法對其進(jìn)行分類，得到了91%的樹干分類準(zhǔn)確率。

與果樹樹干識別相比，對于自動剪枝所需的修剪枝識別方法研究較少。KARKEEM等[41]對獲取的20幅單樹干休眠期蘋果樹點(diǎn)云利用ICP（IterativeClosestPoint）算法重建一棵完整的蘋果樹，然后利用鄰域規(guī)則分析其骨架，最后識別出樹干和修剪枝，其中修剪枝的識別精度77%。ELFIKYNM等[15]獲取單主干蘋果樹前后2幅點(diǎn)云并利用幾何特征進(jìn)行配準(zhǔn)得到完整的蘋果樹，利用RANSAC算法對樹干進(jìn)行擬合，并結(jié)合聚類算法識別出修剪枝，蘋果樹的主要修剪枝識別準(zhǔn)確率96%。YOUA等[42]利用圖方法分析U型櫻桃樹的三維點(diǎn)云數(shù)據(jù)，將其分為樹干、支撐干、頂枝和側(cè)枝4類，然后對29棵櫻桃樹的骨架進(jìn)行分析，結(jié)果表明，平均分類精度70%。上述對于果樹修剪枝識別的研究采用的是傳統(tǒng)的算法或者特定的規(guī)則，不僅通用性不強(qiáng)，而且設(shè)計的算法復(fù)雜度較高。隨著深度學(xué)習(xí)在三維點(diǎn)云領(lǐng)域取得較大的進(jìn)展，開始有研究人員利用深度學(xué)習(xí)方法對果樹修剪枝點(diǎn)云進(jìn)行識別，但是相關(guān)的文獻(xiàn)較少。MAB等[43]對重建的休眠期棗樹點(diǎn)云利用SPGNet神經(jīng)網(wǎng)絡(luò)識別出修剪枝，并利用聚類算法提取出單個修剪枝，為剪枝機(jī)器人的修剪作業(yè)提供定位參考。

3 存在問題

盡管國內(nèi)外研究人員對果樹修剪機(jī)器人視覺系統(tǒng)進(jìn)行了大量研究，并取得了一些研究進(jìn)展，但是搭建的視覺系統(tǒng)在自然環(huán)境下的性能不穩(wěn)定及泛化性差。首先，在自然光照環(huán)境下，獲取果樹枝干三維信息比較困難，現(xiàn)有的休眠期果樹三維重建算法實時性較差，更多研究局限于在實驗室內(nèi)進(jìn)行果樹重建，而在室外環(huán)境下重建的精度和穩(wěn)定性有待進(jìn)一步提高。其次，休眠期果樹樹形結(jié)構(gòu)比較復(fù)雜，枝干之間的顏色信息沒有差異，而且枝干之間相互遮擋，對于修剪枝的識別定位難度較大。在識別出果樹修剪枝的基礎(chǔ)上，對剪枝點(diǎn)進(jìn)行定位的相關(guān)研究較少；不同休眠期果樹的修剪策略不同，剪枝點(diǎn)的位置也不同，導(dǎo)致相關(guān)研究之間沒有參考價值。

4 未來展望

休眠期果樹修剪機(jī)器人的實際工作場景在自然環(huán)境下進(jìn)行，采集果樹枝干三維信息時受到不同光照情況的影響（晴天、陰天、順光、逆光等），造成枝干信息缺失嚴(yán)重。在自然環(huán)境下搭建遮光裝置并引入主動光源措施以減少自然光照變化對視覺系統(tǒng)的影響。考慮到果農(nóng)的經(jīng)濟(jì)成本和經(jīng)濟(jì)效益，修剪機(jī)器人在滿足作業(yè)要求的情況下，需降低成本，選用市場上價格低廉、性能較好的傳感器搭建視覺采集系統(tǒng)。深度學(xué)習(xí)方法在三維點(diǎn)云處理方面取得較大的突破，為非結(jié)構(gòu)環(huán)境下的復(fù)雜果樹枝干識別提供了可能性。由于不同果樹剪枝方法不同，如何準(zhǔn)確、快速定位剪枝點(diǎn)位置是果樹自動修剪研究的重點(diǎn)內(nèi)容。

5 結(jié)束語

目前果樹修剪機(jī)器人研究仍然處于初始階段。首先，實現(xiàn)修剪機(jī)器人的落地應(yīng)用還需結(jié)合農(nóng)藝方面的改進(jìn)，開展農(nóng)機(jī)農(nóng)藝相融合的宜機(jī)化種植模式研究。其次，構(gòu)建宜機(jī)化種植模式下休眠期果樹修剪機(jī)器人整機(jī)系統(tǒng)，提高剪枝效率。最后，機(jī)器換人能幫助果農(nóng)解決人手不足的問題，大大降低果樹修剪成本，進(jìn)一步促進(jìn)果樹種植產(chǎn)業(yè)的規(guī)?；c可持續(xù)發(fā)展。