李楊,董春旺,陳建能,賈江鳴
1.中國農(nóng)業(yè)科學院茶葉研究所,浙江 杭州 310008;2.浙江理工大學機械與自動控制學院,浙江 杭州 310018
中國是茶葉生產(chǎn)大國,茶葉種植面積大、分布廣、產(chǎn)量高。2021年,全國干毛茶產(chǎn)量和產(chǎn)值分別達到306.32 萬t 和2 928.14 億元,據(jù)統(tǒng)計,2021年我國生產(chǎn)茶葉86.17%在國內(nèi)消費,名優(yōu)茶作為產(chǎn)業(yè)價值的絕對擔當,對內(nèi)銷額貢獻率長期保持在70%~75%。茶產(chǎn)業(yè)屬于勞動密集型產(chǎn)業(yè),尤其采摘環(huán)節(jié)需耗費大量勞動力,其中名優(yōu)茶的人工采摘消耗占整個茶園管理用工的60%左右。近年來,農(nóng)業(yè)勞動力老齡化趨勢明顯加劇,招工難、用工貴已成為制約茶產(chǎn)業(yè)發(fā)展的瓶頸。因此,研究智能采茶技術(shù)對促進我國茶產(chǎn)業(yè)發(fā)展具有重要意義。
目前國內(nèi)外大宗茶機械化采摘主要采用往復切割的方式,屬于無差別采摘方法,存在茶葉芽葉完整率低、齊整度差(鮮葉組成復雜,老葉、老梗、碎片多)、后續(xù)加工品質(zhì)難以控制等問題,其主要用于大宗炒青綠茶、珠茶、烏龍茶、紅碎茶等原料的采摘。國內(nèi)主要采用單人手持式、雙人抬式等中小型采茶機。南京農(nóng)業(yè)機械化研究所以及錢爭光等、宋揚揚等還設(shè)計了多種試驗型中小型采茶機。對于乘坐式采茶機,日本的研究較早,已有一些商品化的產(chǎn)品,如落合、川崎等公司均有生產(chǎn)乘坐式采茶機。國內(nèi)對乘坐式采茶機研究起步相對較晚,南京農(nóng)業(yè)機械化研究所研發(fā)的4CJ-1500 型采茶機,其采用全液壓驅(qū)動和高地隙底盤設(shè)計。浙江工業(yè)大學設(shè)計了一種基于機器視覺的乘用式智能采茶機,初步提出了自動識別茶葉嫩芽和割刀自動調(diào)平控制方法。對于采用末端采摘執(zhí)行器的方式進行選擇性采摘的研究,國內(nèi)浙江理工大學、青島科技大學、四川農(nóng)業(yè)大學、長春理工大學等單位都做了初步的探索研究。
綜上,國內(nèi)外采茶機多采用往復切割方式采摘茶鮮葉,所采芽葉勻整度不高,易出現(xiàn)芽葉破損、誤采、漏采等現(xiàn)象。名優(yōu)茶對芽葉的嫩度和完整度有極高的標準(包括一芽、一芽一葉、一芽二葉),目前包括日本、印度在內(nèi)的產(chǎn)茶國其高檔優(yōu)質(zhì)茶原料仍依靠手工采摘。高檔名優(yōu)茶芽葉(包括一芽、一芽一葉、一芽二葉)采摘時葉梢細嫩、目標較小、相互間易遮擋,且生長的位置、姿態(tài)和密集程度不一,特別在微風和光照變換的非結(jié)構(gòu)化環(huán)境下機器采摘實現(xiàn)難度大。由于國內(nèi)飲茶習慣對名優(yōu)茶有著較高的要求,目前針對高檔名優(yōu)茶的智能采摘技術(shù)受到廣泛關(guān)注,本文對智能化采摘技術(shù)中的基于圖像處理的芽葉識別技術(shù)、末端采摘執(zhí)行器、智能控制系統(tǒng)等方面的國內(nèi)外研究現(xiàn)狀進行了分析,對智能采茶機的應用前景提出了展望,為后續(xù)的研究提供思路與借鑒。
實現(xiàn)自動化采茶,首先必須解決的是茶樹嫩芽的精準識別。近年來,隨著計算機技術(shù)的發(fā)展和應用,基于圖像處理的茶葉嫩芽的準確識別成為研究的熱點,其主要包括:基于顏色空間的傳統(tǒng)圖像處理算法、基于傳統(tǒng)機器學習的識別方法和基于深度學習的識別方法。
由于茶葉嫩芽與老葉、樹干存在明顯顏色差異,可利用顏色特征提取出圖像中的嫩芽區(qū)域,因此早期的茶葉嫩芽分割研究大多是基于顏色特征的?;陬伾臻g的傳統(tǒng)圖像處理算法,其主要過程包括圖像預處理、顏色特征選取與分割等步驟。
1.1.1 圖像預處理
圖像預處理是傳統(tǒng)圖像處理算法完成識別的重要步驟,目的是通過一些基本圖像處理方式盡可能改善圖像數(shù)據(jù),去除噪聲的影響,并增強某些重要的圖像特征,提高識別系統(tǒng)實時性以及精確性。常用的圖像處理算法包括均值濾波、中值濾波、低通濾波等。
吳雪梅等對比了均值濾波、高斯濾波、中值濾波、雙邊濾波等多種預處理方法,結(jié)果表明中值濾波法計算簡便,處理時間最短,去噪效果較好。黃海軍等使用偏微分方程去噪模型去除圖像中的噪點。為防止茶葉嫩芽灰度值較高的部分在濾波去噪時被處理掉,袁加紅等利用維納濾波和梯度增強術(shù)對圖像進行濾波去噪。由于中值濾波方法具有計算時間短、適用性強等優(yōu)點,目前采用此方法的研究最多。在背景較簡單的情況下,其濾波效果優(yōu)于均值濾波,但仍無法抑制嚴重的圖像噪聲。
1.1.2 顏色特征選取與分割
基于顏色空間的傳統(tǒng)圖像處理算法首先要進行顏色空間選取,由于直接獲得的彩色圖像大多是RGB圖像,在研究中為增加研究對象和背景間的差異,也會使用其他的,如HSⅠ、Lab、YⅠQ、YCbCr、HSV等顏色空間,通過直接使用某個顏色空間中的單個或幾個分量來區(qū)分嫩芽與背景,進而利用分割算法實現(xiàn)圖像分割。用色差法分割嫩芽與老葉及茶梗成為了其中一個主流方法,其中Zhang 等提出了一種基于改進分水嶺算法的茶芽自動分割新方法,通過分段線性變換增強G-B 成分,提高老葉和茶芽分化程度。試驗結(jié)果表明改進后的算法在100 個樣本的平均分割準確率為94.26%。周禮贊等利用灰度拉伸擴大G-B 色差圖對比度,然后應用迭代法獲取全局閾值,實現(xiàn)自然條件下茶葉嫩芽分割。Shao等使用HSⅠ顏色空間中的S因子對茶芽進行識別和分離。Bojie等采用HSV空間變換對圖片進行分割,通過設(shè)置閾值組合3 個通道分量的方法可以獲得嫩芽的圖像,實際應用效果良好。姚波等利用G-B 灰度圖結(jié)合直方圖閾值法實現(xiàn)了新茶(嫩芽與鮮梗)分割,對新茶二值圖像進行形態(tài)學腐蝕操作確定嫩芽與鮮梗的分割點,通過逐行掃描實現(xiàn)了自然環(huán)境下嫩芽與鮮梗的采摘點標記。還有一些研究利用不同顏色空間組合進行識別,如韋佳佳等研究了不同顏色組合對識別效果的影響,結(jié)果表明基于R-B和Ⅰ分量的識別方法在處理時間和識別率上較其他方法更優(yōu)。
常用的分割算法包括:閾值分割算法、顏色特征聚類分割算法、邊緣分割算法和區(qū)域生長分割算法。唐仙等研究了不同閾值分割方法〔直方圖法、迭代法、大津法(OTSU)〕的優(yōu)劣點,結(jié)果表明OTSU法用時最少。Ya通過對G和B的差異增強圖像進行OTSU 動態(tài)閾值分割,得到初始萌芽區(qū)域。以實地獲取的茶葉圖像為研究對象,提出了一種混合圖像分割算法。該算法使用改進的基于標記的分水嶺變換和基于統(tǒng)計的快速區(qū)域合并算法從茶葉圖像中分割茶芽。吳雪梅等提取嫩芽與老葉的G、G-B顏色信息進行背景分割,利用改進的最大方差自動取閾法計算G 和G-B 分量的分割閾值對圖像進行閾值分割,研究結(jié)果表明采用圖像的G、G-B分量差異能有效區(qū)分嫩芽和老葉,同時設(shè)定初始分割閾值可有效縮短計算時間,在相機與茶樹距離10 cm 時采用本算法,其識別率高達92%以上。
國內(nèi)外研究團隊在傳統(tǒng)圖像處理方法的基礎(chǔ)上,引入了新的思路和方法。如蔡麗萍等針對優(yōu)質(zhì)嶗山茶的種植及生長特點,通過設(shè)置藍光作為拍攝環(huán)境背景對一芽二葉嶗山茶的嫩梢識別、芽尖的特征提取及定位等進行了方法研究。方坤禮等提出一種新的彩色紋理圖像的分割技術(shù)(JBSEG),該技術(shù)克服了基于顏色和紋理的分割算法的局限性,基于邊緣檢測方向算子的幅值來調(diào)節(jié)JSEG,同時兼顧局部區(qū)域相似性和邊界非連續(xù)性。試驗表明該技術(shù)能更好地避免過分割現(xiàn)象的發(fā)生,同時結(jié)合超綠特征2R-G-B能有效分離茶葉中的嫩芽。
綜上所述,為避免光照變化帶來的影響,基于顏色空間的圖像分割算法在提取顏色分量時,一般提取如G分量、R-B分量、Ⅰ分量、b分量、S分量、Cb 分量以及綜合G 和G-B 分量等?;陬伾臻g的圖像分割算法,雖然廣泛應用于學術(shù)研究中,在茶葉相互遮擋較小的情況下具有較優(yōu)的識別效果,但當茶園環(huán)境中茶葉目標和背景相似且芽葉生長密集,對茶樹芽葉的檢測造成了困難。基于固定閾值的分割算法處理速度較快,但由于實際環(huán)境中自然光照強度不斷變化,因此很難滿足光照強度不斷變化下的分割要求,同時在逆光情況下,茶葉表面較暗,其與背景顏色的色差變小,較難直接分割。OTSU 法自動閾值法可以自動獲取茶葉分割閾值,且可滿足不同光照強度下的分割,但不能滿足圖像直方圖單峰分布下的分割。
為了進一步解決自然條件下茶葉分割易受老葉、樹枝、土壤等外界環(huán)境影響,茶葉互相遮擋與重疊的問題,后續(xù)研究中引入了機器學習的方法,通過提取并綜合各種特征樣本數(shù)據(jù)進行訓練來識別檢測,常見的嫩芽識別方法是基于顏色、紋理、形狀等特征,結(jié)合使用諸如K 均值(Kmeans)聚類法、支持向量機方法(SVM)、貝葉斯判別方法以及級聯(lián)分類器等。
張可等提出了K-means 的茶葉嫩芽分割方法,通過與傳統(tǒng)的顏色閾值分割方法比較,基于聚類的茶葉分割方法可有效抑制顏色閾值分割受光照的影響,且實現(xiàn)了自然光照下茶葉嫩芽有效分割。黃海軍等提出改進分水嶺算法的圖像分割方法,其通過OTSU 法和分水嶺算法對去噪后的圖像進行2 次分割,得到茶葉嫩葉的分割圖。結(jié)果表明:圖像第一次用OTSU 法和第二次用分水嶺算法進行分割,茶葉圖像中嫩葉均被很好地分割出來。王琨等基于顏色及區(qū)域生長實現(xiàn)茶葉嫩芽圖像分割。Shao 等采用改進的K-means算法對茶芽進行識別和分離,試驗結(jié)果表明,改進的K-means 算法對茶葉圖像中嫩葉的分割有很好的效果。吳雪梅等基于Lab 顏色模型中a 分量、b分量信息的K-means聚類法識別彩色圖像中的茶葉嫩芽,對比分析OTSU法和3個聚類中心的K-means 聚類法的目標識別效果和識別效率。結(jié)果表明,OTSU 法雖然可以完成嫩芽的識別,平均識別率在89%左右,但不能較好地保證分割后嫩芽的完整度?;贚ab顏色模型和K-means聚類法的識別算法能較好地區(qū)分嫩芽和背景,平均識別率達到94%左右,且能較好地保證分割后嫩芽的完整度,為智能采摘技術(shù)研究提供技術(shù)支持和理論基礎(chǔ)。Li 等設(shè)計了一種基于支持向量機的茶葉圖像自動識別方法。該方法從茶芽圖像中提取顏色和形狀紋理兩種圖像特征進行判別。采用RGB 模型提取顏色特征,利用LBP/C 算子提取芽葉的形狀和紋理特征。將提取的特征作為訓練樣本的特征向量,進行支持向量機模型訓練,得到支持向量機分類器,實現(xiàn)對茶芽圖像的識別。試驗結(jié)果表明,該方法的識別率、召回率和綜合評價指數(shù)均高于傳統(tǒng)方法,證明該方法具有較高的識別準確率。
綜合比較上述方法,K-means 聚類法原理比較簡單,容易實現(xiàn),可解釋度也比較強,但當樣本集規(guī)模大,算法收斂速度會變慢,對孤立點數(shù)據(jù)也較為敏感。支持向量機分類方法能解決小樣本、非線性的問題,但對核函數(shù)的高維映射解釋力不強。而基于傳統(tǒng)機器視覺的識別方法仍依賴圖像預處理與數(shù)據(jù)轉(zhuǎn)換,前期處理如不合理將會嚴重影響模型的精度。
基于深度學習的算法在復雜背景下具有較高的精度,為復雜背景下茶葉嫩芽的智能化采摘設(shè)備的研究提供了基礎(chǔ)。近年來,國內(nèi)外學者也通過基于深度學習的方法對茶葉的識別進行了開發(fā)與研究?;谏疃葘W習的算法可以分為3 類,分別是分類算法、目標檢測算法和語義分割算法。
基于深度學習的分類算法是對1 副圖像進行分類,判別出圖像是否是嫩芽或者識別圖像中的嫩芽的狀態(tài),如芽葉開面狀態(tài)、是否處于可采摘的狀態(tài)等。羅浩倫等提出了基于VGG16 卷積神經(jīng)網(wǎng)絡的茶葉嫩芽自動檢測方法,能夠有效減少特征選擇和重疊等對檢測結(jié)果的影響。呂軍等提出一種基于AlexNet卷積神經(jīng)網(wǎng)絡的茶葉嫩芽狀態(tài)識別方法,試驗結(jié)果表明該方法可有效識別自然光照下茶葉嫩芽狀態(tài)。Paranavithana 等基于CNN 開發(fā)了一個可以識別和預測茶芽是否適合采摘的模型。結(jié)果表明,CNN 模型對10 000 張圖像樣本的識別準確率為70.15%,而支持向量機(SVM) 和Ⅰnception V3 的識別準確 率 分別為65.86%和68.70%。因此,CNN 的分類表現(xiàn)更好,可以有效提高茶芽的分類效率。
在基于深度學習的目標檢測算法方面,許高建等選用了基于VGG-16、ResNet-50 和ResNet-101 特征提取網(wǎng)絡的Faster R-CNN 深度網(wǎng)絡模型,分別對茶葉嫩芽數(shù)據(jù)樣本進行訓練,同時,該方法與3 種相同特征提取網(wǎng)絡的SSD 深度網(wǎng)絡模型進行對比,為茶葉的智能化采摘提供了技術(shù)支撐。孫肖肖等提出了基于深度學習的茶葉嫩芽圖像目標檢測算法,其改進了YOLO 網(wǎng)絡架構(gòu),選用大尺度和中尺度檢測方法。Chen 等先使用Faster R-CNN 檢測茶葉芽葉區(qū)域,然后使用全卷積網(wǎng)絡FCN 實現(xiàn)對采摘點的定位,實現(xiàn)了茶樹芽葉的檢測和采摘點的2D 定位。Yang 等提出了一種利用改進的YOLO-v3深度卷積神經(jīng)網(wǎng)絡算法識別嫩芽采摘點的方法,并從預測幀中的芽葉的圖像中提取骨架,找到骨架的最低點來確定采摘點的位置。Chen 等提出了一種通過圖像增強和改進的融合SSD 開發(fā)了檢測新鮮茶芽的新方法,其通過基于RGB通道變換的圖像增強算法獲得增強圖像,該算法使用原始新鮮茶芽彩色圖像作為輸入。增強的圖像可以提供更多的輸入信息,其中新鮮茶芽區(qū)域的對比度增加,背景區(qū)域減少。結(jié)果表明,所提出的方法茶芽測試數(shù)據(jù)集平均準確率為83.9,具有良好的性能。
還有一些研究人員基于深度學習的語義分割算法對茶葉嫩芽進行分割,如Qian 等提出一種基于改進的深度卷積編碼器-解碼器網(wǎng)絡(TSSegNet)的茶芽分割新方法,通過綜合利用類內(nèi)緊湊性和類間可分離性,自動提取更具判別力的茶芽特征。結(jié)果表明,與其他深度架構(gòu)相比,所提出的方法具有較高的精度。臺灣大學的Lin等訓練了包括FCNs 和ENet 在內(nèi)的語義分割模型,以實現(xiàn)像素級別的茶行、粘蟲紙和人的自動分類。ENet模型的平均交并比為0.734,平均處理時間為每張圖像0.176 s。系統(tǒng)導航線的角度偏差為6.2°,距離為13.9個像素。
分析并綜合比較上述方法,基于深度學習的方法具有較好的識別效果,不僅能準確識別茶葉嫩芽,同時還可區(qū)分不同嫩芽的狀態(tài),其可滿足自然光照下茶葉嫩芽識別要求,實用性較好。但基于深度學習的方法依賴大樣本,同時檢測效率較低。因此還需要進一步開展茶樹芽葉檢測研究,增加芽葉圖像數(shù)量,開發(fā)速度更快、精度更高、穩(wěn)定性更優(yōu)的算法。
末端采摘執(zhí)行器是農(nóng)業(yè)機器人機械臂前端直接作用于采摘對象的部分,直接影響整體采摘性能,是采摘機器人的核心部件之一。由于農(nóng)產(chǎn)品種類多樣且特性各異,所以不同的采摘對象需要采用不同的采摘方式,設(shè)計不同的末端采摘執(zhí)行器。茶葉的采摘對象是芽葉而非果實,傳統(tǒng)的末端采摘執(zhí)行器難以適用,因此相關(guān)的研究人員針對茶葉嫩芽開發(fā)了新的末端采摘執(zhí)行器。如2014年秦廣明等研制了一種采摘手爪,收獲茶葉芽葉的完整率約為76.6%。范元瑞等提出了核心部件為Delta 并聯(lián)機構(gòu)的茶葉采摘機器人,通過對Delta并聯(lián)機構(gòu)進行運動學分析,推導出采摘機器人的運動學反解模型。利用單支鏈約束方程求解了采摘機器人的采摘空間,并基于MATLAB建立了采摘機器人工作空間模型,繪制了工作空間立體圖像。2018年郝淼等研制了一種能夠模仿人工“提手采”動作的仿生采摘指,并完成了氣力驅(qū)動與控制系統(tǒng)的設(shè)計,室內(nèi)初步試驗的采摘成功率近70%。許多設(shè)計了提采式夾持裝置,通過建立爪指尺寸與采摘力的數(shù)學模型,借助MATLAB 軟件進行了優(yōu)化設(shè)計,并通過ADAMS 動力學仿真驗證了優(yōu)化結(jié)果的正確性和合理性。2019年,尚凱歌提出了一種茶葉采摘機器人的總體構(gòu)思和結(jié)構(gòu)設(shè)計,對采茶機Delta并聯(lián)機器人機械結(jié)構(gòu)進行設(shè)計,運用解析法對其運動學正逆解進行推導解算,并對并聯(lián)機構(gòu)進行ADAMS 運動學正解仿真。為采茶機裝備并聯(lián)機構(gòu)樣機設(shè)計與制作提供理論依據(jù)。2021年,許麗佳等設(shè)計了一種可夾提式采摘茶葉嫩梢的末端執(zhí)行器,通過對其控制實現(xiàn)茶園采摘。試驗結(jié)果表明,一芽一葉的漏采率為2.8%、采摘完整率為91%;一芽二葉的漏采率<3%、采摘完整率為94%。
這些現(xiàn)有的茶葉采摘末端執(zhí)行器大多采用單純的機械式結(jié)構(gòu),基本沒有誤差補償能力,無法確保采摘成功率和嫩梢完整率。為解決此問題,浙江理工大學Zhu等人設(shè)計了一種基于負壓導向的名茶采摘末端執(zhí)行器。這種末端執(zhí)行器利用負壓以自上而下的方式引導茶芽,從而糾正它們的姿勢和空間位置。試驗結(jié)果表明,設(shè)計的末端執(zhí)行器具有偏差容限性能,可以提高拾取成功率,可為類似名茶采摘末端執(zhí)行器的設(shè)計提供參考。
由于茶葉嫩芽質(zhì)地較為柔軟,在茶園非結(jié)構(gòu)化及微風環(huán)境下易存在定位誤差和隨機誤差,因此為提高名優(yōu)茶芽葉采摘成功率和完整率,既要在采摘的同時做到不傷害嫩芽,也要采用合適的誤差補償方法,故需要研究具有容差能力的柔性末端采摘執(zhí)行器。同時,目前末端采摘執(zhí)行器均為單個,為了進一步提高效率,未來還需要研發(fā)設(shè)計多組芽葉末端采摘執(zhí)行結(jié)構(gòu)。
為了實現(xiàn)茶園機械對茶芽的自動采摘,智能控制系統(tǒng)必不可少。智能控制系統(tǒng)的功能主要包括行駛系統(tǒng)的控制和采摘裝置的控制。日本在茶園智能機械行駛系統(tǒng)控制上已有一些研究成果,如日本松元株式會社利用人工智能(AⅠ)和傳感器開發(fā)出在無人駕駛的情況下走動收獲茶葉的“無人采茶機”,并已開始銷售。
在采摘裝置的控制上,針對傳統(tǒng)往復切割式采收裝置,湯一平等設(shè)計了一種基于機器視覺的乘用式智能采茶機,提出了自動識別茶葉嫩芽和割刀自動調(diào)平控制方法,試驗表明該機可解決現(xiàn)有采茶機無選擇性切割老葉和嫩芽的弊端。還有一些研究針對采摘機械手進行控制,如辛文文對采茶機器人自動控制系統(tǒng)進行設(shè)計與分析,該控制系統(tǒng)依據(jù)TMS320F2812DSP 內(nèi)核實現(xiàn),以C 語言進行編寫,并置入DSP 控制板內(nèi),滿足串口通信與數(shù)據(jù)分析的伺服控制,確保了茶葉采摘的回收率與品質(zhì)。為了實現(xiàn)茶芽的自動采摘,浙江理工大學的Li 等開發(fā)了一種基于RGBD 相機圖像的算法用于茶葉采摘機器人檢測和定位田間茶芽。在這項研究中,首先為茶園中多個時期和品種收集的圖像建立了標簽標準。然后,使用YOLO 網(wǎng)絡在RGB-D 相機收集的RGB 圖像上檢測茶芽(一芽一葉)區(qū)域。此外,茶芽的檢測精度為93.1%,召回率為89.3%。為了實現(xiàn)采摘位置的三維(3D)定位,通過融合RGB-D相機捕獲的深度圖像和RGB圖像來獲取檢測到的目標區(qū)域的3D 點云。然后,使用點云預處理去除噪聲,并使用歐幾里德聚類處理和目標點云提取算法獲得茶芽的點云。最后,結(jié)合茶樹生長特征、點云特征和套筒采摘方案確定茶芽的3D采摘位置,初步解決了采摘點在田間可能不可見的問題。茶園茶芽定位和采摘試驗表明,茶芽采摘成功率為83.18%,每個目標的平均定位時間約為24 ms。Yang 等提出了一種基于計算機視覺的可模仿人手采摘的優(yōu)質(zhì)茶葉采摘機器人。機器人樣機由3部分組成:機械結(jié)構(gòu)(MS)、視覺識別系統(tǒng)(VRS)、運動控制系統(tǒng)(MCS)。根據(jù)全局相機獲取的整體茶葉圖像,首先利用PSO-SVM算法從老茶葉背景中提取嫩茶芽,并獲得它們在工作區(qū)域的初步坐標。MCS會根據(jù)枝條的坐標分布,調(diào)用改進的蟻群算法來規(guī)劃采摘路徑,尋找機械手的最優(yōu)平滑軌跡。一旦機械手到達要采摘的茶芽附近,安裝在機械手上的攝像頭就會快速拍攝到茶芽的圖像。然后采用改進的深度卷積神經(jīng)YOLOv3 模型來識別茶梗上的采摘定位。最后,安裝在機械手上的剪刀將采摘茶芽。對嫩茶芽提取、采摘點定位、最優(yōu)路徑規(guī)劃和軌跡平滑進行仿真和實驗室平臺實驗,結(jié)果表明PSO-SVM可以快速準確地提取嫩茶芽,無需大量數(shù)據(jù)和用于計算的內(nèi)存。改進后的YOLOv3 模型可以準確識別各種姿勢的茶芽采摘點。
目前針對采摘手控制系統(tǒng)所控制的末端采摘執(zhí)行器個數(shù)均為單個,此時的采摘效率仍不高,未來還需針對多個末端采摘執(zhí)行器、多機械臂協(xié)同控制系統(tǒng)進行研發(fā)。
在過去幾年,盡管智能采茶技術(shù)受到較多的關(guān)注,但目前國內(nèi)外針對高檔名優(yōu)茶采摘機器的研究剛起步,尚處于概念樣機試驗階段。在實際應用中仍然存在一些挑戰(zhàn),如當前農(nóng)業(yè)生產(chǎn)中存在著農(nóng)機農(nóng)藝結(jié)合不緊密的問題、嫩芽識別受光照影響較大、難以分割含與嫩芽顏色相近背景的圖像、葉子間的遮擋和重疊造成識別效果不理想等。相比較傳統(tǒng)的機器學習而言,目前基于深度學習的芽葉識別方法具有良好的應用前景,但需要大量的標記樣本進行訓練,且隨著網(wǎng)絡復雜程度的升高,硬件系統(tǒng)升級也是一個需要解決的問題。隨著機器視覺、人工智能技術(shù)的飛速發(fā)展,這為智能采茶機的研發(fā)提供了良好的基礎(chǔ)。未來的智能采茶機將會有以下發(fā)展趨勢。
目前茶芽識別和定位的難點在于茶葉種類和生長環(huán)境的多樣性、遮擋和重疊情況下茶葉嫩芽識別策略、動態(tài)干擾,以及算法穩(wěn)定性和通用性較差。未來應對不同品種、不同茶季、不同等級、不同產(chǎn)區(qū)、不同光照下的茶園茶葉圖像進行數(shù)據(jù)采集,實現(xiàn)茶葉圖像樣本的數(shù)據(jù)集擴充,豐富樣本的多樣性,建立多品種、多等級茶葉芽葉數(shù)據(jù)庫,提高算法普適性。
茶葉嫩芽質(zhì)地較為柔軟,常規(guī)末端采摘執(zhí)行器采摘易對嫩芽造成傷害。同時在茶園非結(jié)構(gòu)化及微風環(huán)境下易存在定位誤差和隨機誤差,因此既要在采摘的同時做到不傷害嫩芽,還要采用合適的誤差補償方法,故需要研究具有容差能力的柔性末端采摘執(zhí)行器。
針對茶葉采摘機械臂輕巧、柔順和高速的需求,可通過結(jié)構(gòu)輕量化設(shè)計和相應的運動控制算法實現(xiàn)采茶專用末端采摘執(zhí)行器及其控制系統(tǒng)。同時單個末端采摘執(zhí)行器效率過低,未來為進一步提高采摘效率,應研發(fā)多末端采摘執(zhí)行器以及高效控制系統(tǒng),實現(xiàn)多末端采摘執(zhí)行器任務分配和運動協(xié)同規(guī)劃,提高茶葉采摘效率。