摘要:
在復(fù)雜背景下精確識(shí)別茶葉嫩芽,是實(shí)現(xiàn)高端茶葉智能化采摘的關(guān)鍵技術(shù)之一。為實(shí)現(xiàn)高端茶葉機(jī)械化精準(zhǔn)采摘,設(shè)計(jì)一臺(tái)基于視覺(jué)的采茶樣機(jī),根據(jù)蛛式機(jī)械手采摘茶葉的路徑規(guī)劃,將機(jī)械手末端的移動(dòng)坐標(biāo)問(wèn)題轉(zhuǎn)換成靜平臺(tái)3個(gè)電機(jī)轉(zhuǎn)角問(wèn)題。針對(duì)YOLOv3算法進(jìn)行改進(jìn),采用EfficientNet網(wǎng)絡(luò)替代DarkNet-53網(wǎng)絡(luò)進(jìn)行特征提取,并利用目標(biāo)函數(shù)GIOU優(yōu)化損失函數(shù)。試驗(yàn)結(jié)果表明:改進(jìn)的YOLOv3算法在茶葉嫩芽識(shí)別方面,其準(zhǔn)確率達(dá)到86.53%,單張圖像平均識(shí)別時(shí)間為53 ms,相比傳統(tǒng)的YOLOv3算法,性能實(shí)現(xiàn)明顯的提升,可以達(dá)到預(yù)期目標(biāo),滿足機(jī)器采摘需求。
關(guān)鍵詞:智能采茶;YOLOv3算法;蛛式機(jī)械手;機(jī)器學(xué)習(xí);圖像識(shí)別
中圖分類(lèi)號(hào):S225.99; TP391.4
文獻(xiàn)標(biāo)識(shí)碼:A
文章編號(hào):2095-5553 (2024) 04-0199-07
收稿日期:2022年10月29日" 修回日期:2023年4月28日
基金項(xiàng)目:國(guó)家重點(diǎn)研發(fā)計(jì)劃基金資助項(xiàng)目(2018YFD0701002—03)
第一作者:馬志艷,男,1976年生,湖北武漢人,博士,副教授;研究方向?yàn)檗r(nóng)業(yè)信息化與智能化。E-mail: 79895417@qq.com
Research on key technologies of intelligent tea picking machine based on YOLOv3 algorithm
Ma Zhiyan1, 2, Li Hui1, Yang Guangyou1, 2
(1. Hubei University of Technology, Wuhan, 430068, China; 2. Hubei Province Agricultural Machinery
Equipment Intelligent Engineering Technology Research Center, Wuhan, 430068, China)
Abstract:
Accurate identification of tea shoots in a complex background is one of the key technologies to realize the intelligent picking of high-end tea. In order to realize the mechanized and precise picking of high-end tea, this paper designs a visual-based tea picking prototype, which converts the moving coordinate problem at the end of the manipulator into the corner problem of three motors of the static platform according to the path planning of the spider manipulator picking tea. The YOLOv3 algorithm is improved, the EfficientNet network is used instead of the DarkNet-53 network for feature extraction, and the objective function GIOU is used to optimize the loss function. The experimental results show that the improved YOLOv3 algorithm has an accuracy rate of 86.53% in tea bud recognition, and the average recognition time for a single image is 53 ms. Compared with the traditional YOLOv3 algorithm, the performance has been significantly improved, which can achieve the expected goal and meet the needs of machine picking.
Keywords:
intelligent tea picking; YOLOv3 algorithm; spider manipulator; machine learning; image recognition
0 引言
中國(guó)茶葉歷史悠久,文化底蘊(yùn)深厚,在茶葉的生產(chǎn)和消費(fèi)上居世界首位[1]。目前高端茶葉的采摘依舊是以人工采摘為主,隨著計(jì)算機(jī)視覺(jué)技術(shù)的不斷發(fā)展,茶葉嫩芽的智能識(shí)別技術(shù)也隨之不斷發(fā)展并取得了很多優(yōu)秀成果。汪建[2]基于改進(jìn)遺傳算法的神經(jīng)網(wǎng)絡(luò)識(shí)別茶葉,能較好地鑒定茶葉等級(jí);隨后,汪建等[3]將形狀參數(shù)配合改進(jìn)的神經(jīng)網(wǎng)絡(luò)算法,實(shí)現(xiàn)茶葉品質(zhì)的自動(dòng)識(shí)別。楊增福等[4]利用RGB顏色空間技術(shù),對(duì)圖像進(jìn)行分割和特征提取,獲得茶葉嫩芽圖像的邊緣,可以較好地識(shí)別茶葉嫩芽。譚和平等[5]通過(guò)提取灰度共生矩陣和Tamura方法提取茶葉嫩芽圖像的紋理特征,并通過(guò)BP神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)了茶葉分類(lèi)。在研究茶葉識(shí)別的過(guò)程中,部分學(xué)者將注意力轉(zhuǎn)向了茶葉病蟲(chóng)害的識(shí)別,如李博等[6]將神經(jīng)網(wǎng)絡(luò)搭配自動(dòng)模型剪枝算法,識(shí)別8種茶葉病蟲(chóng)害,平均準(zhǔn)確率達(dá)97.42%。葉榮等[7]使用自適應(yīng)空間特征融合(ASFF)技術(shù)改進(jìn)茶葉病害的多尺度特征融合,平均精度為92%。邵明[8]將Meyer分水嶺算法與一種基于統(tǒng)計(jì)學(xué)的快速區(qū)域合并算法融合成一種新算法,借鑒蔣帆[9]研究的光譜優(yōu)化圖像的方法,新的算法能夠迅速準(zhǔn)確地識(shí)別出茶葉嫩芽。王琨等[10]提取茶葉的顏色特征,基于CNN訓(xùn)練,取得了較高的識(shí)別率。吳梅雪等[11]將基于K-means聚類(lèi)算法的茶葉嫩芽識(shí)別算法[12],與Ostu最大方差自動(dòng)閾值法識(shí)別效果進(jìn)行對(duì)比,發(fā)現(xiàn)K-means具有更好的識(shí)別效果。陳妙婷[13]借鑒任磊等[14]研究出的PSO-SVM算法分割圖像,用YOLO算法訓(xùn)練處理后的圖像,用于茶葉的分類(lèi),其靜態(tài)檢測(cè)的準(zhǔn)確率達(dá)到了84%。孫肖肖[15]選用Ostu算法來(lái)分割圖像,突出茶葉嫩芽的特征,為復(fù)雜背景下茶葉嫩芽的智能化采摘機(jī)器人的研究提供了基礎(chǔ)。毛騰躍等[16]利用鮮葉的相對(duì)幾何特征與紋理特征基于SVM構(gòu)建鮮茶葉分類(lèi)器,對(duì)茶葉進(jìn)行分類(lèi),分類(lèi)準(zhǔn)確率達(dá)94.24%,取得了較好的分類(lèi)效果。姜苗苗等[17]借鑒丁?。?8]研究出的顏色對(duì)圖像分割影響的經(jīng)驗(yàn),利用顏色因子和圖像融合技術(shù)實(shí)現(xiàn)茶葉嫩芽圖像分割,將嫩芽與老葉區(qū)分開(kāi),平均分割準(zhǔn)確率為60.09%。Chen等[19]利用Faster R-CNN對(duì)4種茶葉進(jìn)行檢測(cè),并分析上采樣步長(zhǎng)對(duì)全卷積網(wǎng)絡(luò)的影響,準(zhǔn)確率為79.4%。
對(duì)于茶葉的智能采摘,本文設(shè)計(jì)一臺(tái)采茶機(jī),選用Delta蛛式機(jī)械手進(jìn)行采摘,并用YOLOv3算法和EfficientNet-YOLOv3算法訓(xùn)練數(shù)據(jù)集,利用算法模型來(lái)識(shí)別茶葉嫩芽。
1 智能采茶樣機(jī)
本文設(shè)計(jì)一臺(tái)智能采茶樣機(jī),如圖1所示,機(jī)架尺寸(長(zhǎng)×寬×高)是460 mm×460 mm×500 mm。
由于試驗(yàn)對(duì)象是茶葉嫩芽,在采摘過(guò)程中需要機(jī)械手具有運(yùn)動(dòng)慣量小、柔性強(qiáng)和重復(fù)定位精度高等特點(diǎn),因此選用蛛式機(jī)械手進(jìn)行采摘,其機(jī)械手中主動(dòng)臂長(zhǎng)200 mm,從動(dòng)臂長(zhǎng)400 mm,工作空間較小,工作節(jié)拍達(dá)210次/min,同時(shí)重復(fù)定位精度誤差僅為±0.8 mm。由于選用的是蛛式機(jī)械手,需要配備TB5128驅(qū)動(dòng)器,為保證機(jī)械手工作的穩(wěn)定性,將細(xì)分設(shè)置為16 r。為了調(diào)用算法模型,機(jī)器還配備一臺(tái)上位機(jī)并配置環(huán)境(Win10+Pytorch+Python3.6),視覺(jué)模塊配置了D435深度相機(jī),用以實(shí)時(shí)獲取圖像并傳入上位機(jī)進(jìn)行識(shí)別與定位。
整個(gè)采茶流程分為兩步:茶葉嫩芽的識(shí)別和采摘。識(shí)別過(guò)程由YOLOv3算法實(shí)現(xiàn),采摘過(guò)程是利用蛛式機(jī)械手進(jìn)行采摘,具體流程如圖2所示。
1.1 機(jī)械手末端運(yùn)動(dòng)學(xué)逆解
本文選用Delta蛛式機(jī)械手來(lái)實(shí)現(xiàn)茶葉的采摘,在視覺(jué)模塊檢測(cè)并定位出出茶葉嫩芽目標(biāo)后,需要控制機(jī)械手末端按規(guī)劃的路徑移動(dòng)到目標(biāo)點(diǎn)進(jìn)行摘取。關(guān)于機(jī)械手的運(yùn)動(dòng)控制,涉及機(jī)械手運(yùn)動(dòng)學(xué)的正逆解,對(duì)于正解,以動(dòng)平臺(tái)中心軸為Z軸建立坐標(biāo)系,其中OC1軸與Y軸重合,如圖3所示。當(dāng)確定機(jī)械手各臂的需求轉(zhuǎn)角時(shí),就可以求出3個(gè)從動(dòng)臂末端(B1,B2,B3)的坐標(biāo),進(jìn)而求出A1、A2和A3的坐標(biāo)。
對(duì)于從動(dòng)臂,設(shè)P點(diǎn)坐標(biāo)為(x0,y0,z0),則3個(gè)端點(diǎn)的坐標(biāo)分別為
B1=(x0+r,y0,z0)
B2=(x0-rsin30°,y0+rcos30°,z0)
B3=(x0-rsin30°,y0-rcos30°,z0)
同理可以推出主動(dòng)臂3個(gè)端點(diǎn)的坐標(biāo)
A1=(R,0,0)
A2=(-Rsin30°,Rcos30°,0)
A3=(-Rsin30°,-Rcos30°,0)
最后考慮二連桿結(jié)構(gòu)原理(圖4),可以求出機(jī)械臂的轉(zhuǎn)角
θ=L2AC+L2BC-L2A1A22LACLBC
式中:
LAC——AC桿的長(zhǎng)度;
LBC——BC桿的長(zhǎng)度;
LA1A2——
A1A2桿的長(zhǎng)度。
再根據(jù)驅(qū)動(dòng)器的設(shè)置將角度問(wèn)題換算成脈沖,由此可以建立脈沖和三維坐標(biāo)的關(guān)系式。
1.2 機(jī)械手末端運(yùn)動(dòng)學(xué)正解
對(duì)于正解,需要先預(yù)設(shè)C1、C2、C3三點(diǎn)的坐標(biāo),以此進(jìn)行推導(dǎo)。例如設(shè)C1點(diǎn)坐標(biāo)為(X1,Y1,Z1),則B1=(X1-LBCsinθ,Y1,Z1+LBCcosθ),同理可以推出B2和B3的坐標(biāo)。然后根據(jù)關(guān)系式PB1=PB2=PB3=r3,建立三元一次方程組進(jìn)行舍根,可以直接求出轉(zhuǎn)角θ。
2 改進(jìn)YOLOv3算法
整個(gè)YOLO算法的流程是:將數(shù)據(jù)集圖像導(dǎo)入算法進(jìn)行卷積,提取特征后訓(xùn)練出模型,利用模型和數(shù)據(jù)集中的測(cè)試集評(píng)估出模型的準(zhǔn)確率和召回率,具體流程如圖5所示。
2.1 數(shù)據(jù)集制作
本文從湖北省宜昌市五峰縣某茶園出芽期拍攝的茶葉圖像中挑出了423張,將其像素規(guī)范化為512像素×512像素。為提高模型的識(shí)別率,在訓(xùn)練之前,需要將這些圖像進(jìn)行降噪、直方圖均衡化等預(yù)處理來(lái)提高圖像的清晰度;為增加模型的魯棒性,需要采用翻轉(zhuǎn)、鏡像、變換顏色和變換飽和度等方法進(jìn)行數(shù)據(jù)增強(qiáng)(圖6)。經(jīng)過(guò)上述方法處理圖像后,可以將數(shù)據(jù)集擴(kuò)充到1 692張圖像,然后通過(guò)標(biāo)注工具Labelimg給圖像打上標(biāo)簽,并按照傳統(tǒng)的(訓(xùn)練集+驗(yàn)證集):測(cè)試集為7∶3的比例對(duì)圖像進(jìn)行分配處理,用于后期的模型訓(xùn)練和測(cè)試。
2.2 YOLOv3算法改進(jìn)
YOLOv3算法的工作流程主要分為特征提取、預(yù)測(cè)和后處理過(guò)程。YOLOv3在提取目標(biāo)圖像特征時(shí),通過(guò)聚類(lèi)算法獲得3組先驗(yàn)框(13×13,26×26,52×52),每組先驗(yàn)框又分大中小三種感受野,共9種先驗(yàn)框框(116×90、156×198、373×326、30×61、62×45、59×119、10×13、16×30、33×23),以此進(jìn)行多尺度檢測(cè)。
在預(yù)測(cè)之前,需要先將圖像分為S×S的網(wǎng)格,每個(gè)網(wǎng)格會(huì)預(yù)測(cè)B個(gè)邊界框(Bounding Box)以及邊界框的置信度(Confidence Score)。其中邊界框包含4個(gè)信息(x,y,w,h),(x,y)表示邊界框相對(duì)于網(wǎng)格中心的坐標(biāo),(w,h)是相對(duì)于整張圖像的寬度和高度;而置信度的計(jì)算如式(1)所示。
C′=Pr(0)×IOU
(1)
式中:
C′——置信度;
Pr(0)——目標(biāo)落在網(wǎng)格中的概率;
IOU——
交并比,預(yù)測(cè)的邊框和真實(shí)的邊框的交集和并集的比值。
如果目標(biāo)中心落在某一網(wǎng)格中,這一網(wǎng)格就對(duì)該目標(biāo)進(jìn)行預(yù)測(cè),最后根據(jù)預(yù)測(cè)出的置信度,通過(guò)非極大值抑制算法(NMS)去除冗余檢測(cè)框,保留最優(yōu)一個(gè)。
2.3 改進(jìn)特征提取網(wǎng)絡(luò)
在傳統(tǒng)YOLOv3算法中,特征提取網(wǎng)絡(luò)為DarkNet-53網(wǎng)絡(luò),該網(wǎng)絡(luò)結(jié)構(gòu)主要由卷積層和殘差模塊組成,沒(méi)有池化層和全連接層。從總體上來(lái)看,DarkNet-53結(jié)構(gòu)就是重復(fù)堆疊下采樣卷積+n×殘差塊(n為殘差塊的個(gè)數(shù))(圖7),共有52層卷積,其作用是增加不同尺度的融合輸出,而殘差模塊的作用是防止網(wǎng)絡(luò)層數(shù)過(guò)多時(shí),會(huì)出現(xiàn)梯度消失現(xiàn)象。
在改進(jìn)YOLOv3算法中,采用EfficientNet網(wǎng)絡(luò)作為特征提取網(wǎng)絡(luò),它是在傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上,縮放baseline模型,平衡深度、寬度和分辨率三個(gè)維度創(chuàng)造出來(lái)的,輸入的圖像依次經(jīng)過(guò)1個(gè)3×3的卷積,7個(gè)堆疊的MBConv結(jié)構(gòu),1個(gè)1×1的卷積、池化和全連接層,其核心便是這7個(gè)MBConv結(jié)構(gòu)(移動(dòng)翻轉(zhuǎn)瓶卷積),其結(jié)構(gòu)如圖8所示。MBConv結(jié)構(gòu)對(duì)輸入特征圖進(jìn)行卷積,通過(guò)堆疊提取圖像的深層特征,獲取特征圖全部像素點(diǎn)之間的信息。同時(shí)利用Droupout(丟棄法)丟棄一定的單元及其連接,降低噪音對(duì)特征提取的影響,以提升模型的泛化能力。
2.4 損失函數(shù)改進(jìn)
YOLOv3的損失函數(shù)是在YOLOv2的基礎(chǔ)上改進(jìn)的,其中邊界框損失(x、y、w、h)采用均方誤差MSE估算,置信度損失采用二分類(lèi)交叉熵,類(lèi)別損失采用多類(lèi)別交叉熵進(jìn)行計(jì)算,最后加到一起就可以組成最終的loss_function(損失函數(shù))了,也就是一個(gè)loss_function搞定端到端的訓(xùn)練。其計(jì)算如式(2)所示。
Loss=bbox_loss+conf_loss+prob_loss
(2)
式中:
Loss——損失函數(shù);
bbox_loss——邊界框損失;
conf_loss——置信度損失;
prob_loss——分類(lèi)損失。
傳統(tǒng)的YOLOv3算法計(jì)算損失函數(shù)時(shí),交并比IOU沒(méi)有考慮到框之間的距離,對(duì)于相交的框,IOU可以被反向傳播,即它可以直接用作優(yōu)化的目標(biāo)函數(shù)。但是非相交的,梯度將會(huì)為0,無(wú)法優(yōu)化,廣義交并比GIOU就可以解決這個(gè)問(wèn)題。GIOU的計(jì)算如式(3)所示。
GIOU=IOU-|C/(AUB)||C|
(3)
式中:
A、B——預(yù)測(cè)框和真實(shí)框;
C——兩框的最小閉包區(qū)。
由式(3)可知,GIOU的取值范圍為(-1,1],當(dāng)預(yù)測(cè)框與真實(shí)框距離越遠(yuǎn),GIOU值越接近-1;預(yù)測(cè)框與真實(shí)框距離越近,GIOU越接近0;當(dāng)預(yù)測(cè)框與真實(shí)框完全重合時(shí),GIOU為1。因此,相比于IOU,GIOU能夠更好地評(píng)價(jià)兩邊界框的重合度,其損失函數(shù)計(jì)算如式(4)所示。
GIOUloss=1-GIOU
(4)
由式(4)可知,GIOUloss(損失函數(shù))與GIOU呈反比例關(guān)系,因此網(wǎng)絡(luò)會(huì)朝著預(yù)測(cè)框與真實(shí)框重疊的部分優(yōu)化。
3 試驗(yàn)結(jié)果與分析
本試驗(yàn)先利用工控機(jī)配置環(huán)境,訓(xùn)練結(jié)束后將模型加載到檢測(cè)的代碼;然后在機(jī)器運(yùn)行過(guò)程中,RGB-D深度相機(jī)拍攝RGB實(shí)時(shí)圖像和深度圖像,工控機(jī)加載模型識(shí)別RGB圖像中的目標(biāo),同時(shí)通過(guò)對(duì)應(yīng)的深度圖像來(lái)獲取目標(biāo)嫩芽的深度坐標(biāo);最后將目標(biāo)坐標(biāo)傳輸?shù)綑C(jī)械手控制模塊進(jìn)行運(yùn)動(dòng)學(xué)逆解,按照規(guī)劃的路徑控制機(jī)械手末端的運(yùn)動(dòng),實(shí)現(xiàn)茶葉嫩芽的采摘。
3.1 模型訓(xùn)練
在完成制作茶葉嫩芽數(shù)據(jù)集和搭建環(huán)境(win10+pytorch+python3.6)的工作后,先用YOLOv3算法搭配DarkNet-53網(wǎng)絡(luò)訓(xùn)練數(shù)據(jù)集,再將YOLOv3算法搭配EfficientNet網(wǎng)絡(luò)訓(xùn)練數(shù)據(jù)集得到相應(yīng)的模型,利用模型預(yù)測(cè)茶葉圖像中嫩芽的位置,檢驗(yàn)?zāi)P褪欠裼行?;最后評(píng)估模型的準(zhǔn)確率和召回率,選取兩種模型的最優(yōu)結(jié)果并進(jìn)行對(duì)比,根據(jù)結(jié)果繪制出兩種模型的準(zhǔn)確率值隨訓(xùn)練次數(shù)的變化曲線;最后計(jì)算兩種模型預(yù)測(cè)單張圖片所需要的時(shí)間,檢驗(yàn)?zāi)P褪欠襁_(dá)到實(shí)時(shí)檢測(cè)的標(biāo)準(zhǔn)。
在這兩種組合的訓(xùn)練過(guò)程中,受限于硬件條件,初始試驗(yàn)的迭代次數(shù)選取50輪次,每次迭代生成一個(gè)模型文件,先將學(xué)習(xí)率降到最低10-5,然后不斷提升,根據(jù)準(zhǔn)確率和召回率的變化,選取最合適的學(xué)習(xí)率。對(duì)于傳統(tǒng)YOLOv3算法(特征提取網(wǎng)絡(luò)為DarkNet-53網(wǎng)絡(luò))的訓(xùn)練,在學(xué)習(xí)率處于最低時(shí),最優(yōu)模型的準(zhǔn)確率為61.54%,召回率為63.65%;當(dāng)學(xué)習(xí)率上升至10-3時(shí)準(zhǔn)確率達(dá)到78.91%,召回率達(dá)到84.94%;之后再提升學(xué)習(xí)率,準(zhǔn)確率卻有所降低;當(dāng)學(xué)習(xí)率為0.1時(shí),準(zhǔn)確率降到62.14%,召回率降到65.12%,具體數(shù)據(jù)如表1所示。
YOLOv3搭配DarkNet-53網(wǎng)絡(luò)訓(xùn)練結(jié)束后,將特征提取網(wǎng)絡(luò)更換為EfficientNet網(wǎng)絡(luò),試驗(yàn)流程與前面的相似,當(dāng)?shù)螖?shù)為35和學(xué)習(xí)率為10-3時(shí),準(zhǔn)確率為85.47%達(dá)到峰值;取得峰值后,將目標(biāo)函數(shù)IOU換成更適合茶葉檢測(cè)的GIOU,準(zhǔn)確率提升到86.53%,比傳統(tǒng)的算法準(zhǔn)確率高7.62%。從圖9可以看出,EfficientNet網(wǎng)絡(luò)訓(xùn)練出的模型,在準(zhǔn)確率方面整體上比DarkNet-53的高。因?yàn)樵囼?yàn)?zāi)康氖沁M(jìn)行茶葉的實(shí)時(shí)檢測(cè),故最后還需要計(jì)算模型預(yù)測(cè)單張圖片的時(shí)間,將模型導(dǎo)入算法后,計(jì)算出預(yù)測(cè)單張圖片所需要的時(shí)間約為53 ms,也就是1 s可以檢測(cè)約19張圖片,滿足實(shí)時(shí)檢測(cè)的要求。
3.2 試驗(yàn)結(jié)果分析
訓(xùn)練過(guò)程結(jié)束后,先進(jìn)行預(yù)測(cè)以檢驗(yàn)?zāi)P褪欠裼行?,選取了一部分茶葉嫩芽圖片的檢測(cè)結(jié)果進(jìn)行對(duì)比。圖10(a)和圖10(b)分別是算法改進(jìn)前后的模型檢測(cè)結(jié)果,可以看出改進(jìn)的算法,有更好的識(shí)別能力。而且根據(jù)圖10(c)和圖10(d)的兩幅圖的對(duì)比,圖10(c)有1個(gè)茶葉嫩芽沒(méi)有檢測(cè)出來(lái),可以看出改進(jìn)后的算法,對(duì)于漏檢情況也有所改善。
近年來(lái),多種機(jī)器學(xué)習(xí)算法被應(yīng)用于茶葉識(shí)別領(lǐng)域,顯示出不同的識(shí)別效果。從表2可以看出,SSD[20]算法的識(shí)別準(zhǔn)確率為58.35%,而Faster R-CNN算法的準(zhǔn)確率提升至66.88%。此外,K-Means[21]算法的識(shí)別準(zhǔn)確率進(jìn)一步提高到77.8%,YOLOv3算法達(dá)到了78.91%的識(shí)別率。本文通過(guò)對(duì)YOLOv3算法進(jìn)行改進(jìn),將識(shí)別準(zhǔn)確率提升至86.53%。對(duì)比分析表明,通過(guò)優(yōu)化算法結(jié)構(gòu)和參數(shù)調(diào)整,能有效提升模型對(duì)茶葉圖像的識(shí)別能力。本文的數(shù)據(jù)集和試驗(yàn)設(shè)置均公開(kāi)透明,以便于同行驗(yàn)證和進(jìn)一步的研究。
4 結(jié)論
1)" 本文設(shè)計(jì)基于視覺(jué)的智能采茶樣機(jī),利用蛛式機(jī)械手的特點(diǎn),采茶速度快,定位精度高,并且運(yùn)動(dòng)慣量小、柔性強(qiáng),避免采摘過(guò)程中對(duì)茶葉嫩芽造成損傷。計(jì)算分析機(jī)械手的正逆解,建立三維坐標(biāo)轉(zhuǎn)換成脈沖的關(guān)系式,簡(jiǎn)化上位機(jī)對(duì)于機(jī)械手移動(dòng)路徑的規(guī)劃。
2)" 為解決在茶葉采摘過(guò)程中茶葉嫩芽識(shí)別準(zhǔn)確率不夠的問(wèn)題,基于YOLOv3算法的特征提取網(wǎng)絡(luò)進(jìn)行研究,并通過(guò)YOLOv3搭配EfficientNet網(wǎng)絡(luò),模型的識(shí)別精度準(zhǔn)確率為86.53%,驗(yàn)證EfficientNet網(wǎng)絡(luò)在調(diào)節(jié)好寬度、深度和分辨率的平衡后,在特征提取方面比傳統(tǒng)特征提取網(wǎng)絡(luò)效果要好,并且單張圖片的預(yù)測(cè)時(shí)間為0.053 s,在不影響實(shí)時(shí)檢測(cè)的情況下,改進(jìn)后的YOLOv3模型能夠更準(zhǔn)確地識(shí)別復(fù)雜環(huán)境下的茶葉。
參 考 文 獻(xiàn)
[1] 吳華成. 茶葉褐色葉斑病的綜合防治技術(shù)[J]. 農(nóng)業(yè)與技術(shù), 2015, 35(16): 113-114.
[2] 汪建, 杜世平, 王開(kāi)明. 茶葉的計(jì)算機(jī)識(shí)別應(yīng)用研究[J]. 安徽農(nóng)業(yè)科學(xué), 2006, 34(10): 2139-2140.
Wang Jian, Du Shiping, Wang Kaiming. Research on application of computer vision in the identification of tea [J]. Journal of Anhui Agricultural Sciences, 2006, 34(10): 2139-2140.
[3] 汪建, 杜世平. 基于顏色和形狀的茶葉計(jì)算機(jī)識(shí)別研究[J]. 茶葉科學(xué), 2008(6): 420-424.
Wang Jian, Du Shiping. Identification investigation of tea based on HSI color space and figure [J]. Journal of Tea Science, 2008, 28(6): 420-424.
[4] 楊福增, 楊亮亮, 楊青, 等. 基于顏色和形狀特征的茶葉嫩芽識(shí)別方法[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào), 2009, 40(S1): 119-123.
Yang Fuzeng, Yang Liangliang, Yang Qing, et al. Recognition of the tea sprout based on color and shape features [J]. Transactions of the Chinese Society for Agricultural Machinery, 2009, 40(S1): 119-123.
[5] 譚和平, 徐海衛(wèi), 胡長(zhǎng)安, 等. 基于視覺(jué)詞袋模型的茶機(jī)智能化控制方法[J]. 中國(guó)測(cè)試, 2014, 40(6): 84-87.
Tan Heping, Xu Haiwei, Hu Chang’an, et al. Tea machine intelligent control method based on BOVW and BP neural network [J]. China Measurement amp; Test, 2014, 40(6): 84-87.
[6] 李博, 江朝暉, 洪石蘭, 等. 基于邊緣智能的茶葉病害識(shí)別[J]. 中國(guó)農(nóng)機(jī)化學(xué)報(bào), 2022, 43(6): 175-180.
Li Bo, Jiang Chaohui, Hong Shilan, et al. Tea leaf diseases recognition based on edge intelligence [J]. Journal of Chinese Agricultural Mechanization, 2022, 43(6): 175-180.
[7] 葉榮, 馬自飛, 高泉, 等. 基于改進(jìn)YOLOv5s-ECA-ASFF算法的茶葉病害目標(biāo)檢測(cè)[J]. 中國(guó)農(nóng)機(jī)化學(xué)報(bào), 2024, 45(1): 244-251.
Ye Rong, Ma Zifei, Gao Quan, et al. Target detection of tea disease based on improved YOLOv5s-ECA-ASFF algorithm [J]. Journal of Chinese Agricultural Mechanization, 2024, 45(1): 244-251.
[8] 邵明. 基于計(jì)算機(jī)視覺(jué)的龍井茶葉嫩芽識(shí)別方法研究[D]. 杭州: 中國(guó)計(jì)量學(xué)院, 2013.
Shao Ming. Research on computer vision based recognition methods of Longjing tea sprouts [D]. Hangzhou: China Jiliang University, 2013.
[9] 蔣帆. 基于高光譜和圖像技術(shù)的龍井茶葉品質(zhì)檢測(cè)方法研究[D]. 杭州: 浙江工業(yè)大學(xué), 2010.
Jiang Fan. Inspection of longjing tea quality by using multi-sensor information fusion based on hyper spectral analysis and image manipulation [D]. Hangzhou: Zhejiang University of Technology, 2010
[10] 王琨, 劉大茂. 基于深度學(xué)習(xí)的茶葉狀態(tài)智能識(shí)別方法[J]. 重慶理工大學(xué)學(xué)報(bào)(自然科學(xué)), 2015, 29(12): 120-126.
Wang Kun, Liu Damao. Intelligent identification for tea state based on deep learning [J]. Journal of Chongqing University of Technology (Natural Science), 2015, 29(12): 120-126.
[11] 吳梅雪, 唐仙, 張富貴, 等. 基于K-means聚類(lèi)法的茶葉嫩芽識(shí)別研究[J]. 中國(guó)農(nóng)機(jī)化學(xué)報(bào), 2015, 36(5): 161-164, 179.
Wu Xuemei, Tang Xian, Zhang Fugui, et al. Tea buds images identification based on lab color model and K-means clustering [J]. Journal of Chinese Agricultural Mechanization, 2015, 36(5): 161-164, 179.
[12] 李燦燦, 王寶, 王靜, 等. 基于K-means聚類(lèi)的植物葉片圖像葉脈提?。跩]. 農(nóng)業(yè)工程學(xué)報(bào), 2012, 28(17): 157-162.
Li Cancan, Wang Bao, Wang Jing, et al. Extracting vein of leaf image based on K-means clustering [J]. Transactions of the Chinese Society of Agricultural Engineering, 2012, 28(17): 157-162.
[13] 陳妙婷. 基于計(jì)算機(jī)視覺(jué)的名優(yōu)茶嫩芽識(shí)別與定位[D]. 青島:青島科技大學(xué), 2019.
Chen Miaoting. Recognition and location of high-quality tea buds based on computer vision [D]. Qingdao: Tsingtao University of Science amp; Technology, 2019.
[14] 任磊, 賴惠成, 陳欽政, 等. 基于改進(jìn)分水嶺的棉花圖像分割方法[J]. 計(jì)算機(jī)工程與應(yīng)用, 2012, 48(34): 207-211, 244.
Ren Lei, Lai Huicheng, Chen Qinzheng, et al. Cotton image segmentation method based on improved watershed [J]. Computer Engineering and Applications, 2012, 48(34): 207-211, 244.
[15] 孫肖肖. 基于深度學(xué)習(xí)的茶葉嫩芽檢測(cè)和葉部病害圖像識(shí)別研究[D]. 晉中: 山西農(nóng)業(yè)大學(xué), 2019.
Sun Xiaoxiao. The research of tea buds detection and leaf diseases image recognition based on deep learning [D]. Jinzhong: Shanxi Agricultural University, 2019.
[16] 毛騰躍, 黃印, 文曉國(guó), 等. 基于多特征與多分類(lèi)器的鮮茶葉分類(lèi)研究[J]. 中國(guó)農(nóng)機(jī)化學(xué)報(bào), 2020, 41(12):75-83.
Mao Tengyue, Huang Yin, Wen Xiaoguo, et al. Research on classification of fresh tea leaves based on multiple features and classifiers [J]. Journal of Chinese Agricultural Mechanization, 2020, 41(12): 75-83.
[17] 姜苗苗, 問(wèn)美倩, 周宇, 等. 基于顏色因子與圖像融合的茶葉嫩芽檢測(cè)方法[J]. 農(nóng)業(yè)裝備與車(chē)輛工程, 2020, 58(10): 44-47.
Jiang Miaomiao, Wen Meiqian, Zhou Yu, et al. Tea bud detection method based on color factor and image fusion [J]. Agricultural Equipment amp; Vehicle Engineering, 2020, 58(10): 44-47.
[18] 丁汀. 結(jié)合顏色和區(qū)域生長(zhǎng)的茶葉圖像分割算法研究[J]. 福建茶葉, 2017, 39(2): 31-32.
[19] Chen Y T, Chen S F. Localizing plucking points of tea leaves using deep convolutional neural networks [J]. Computers and Electronics in Agriculture, 2020, 171(9): 1-7.
[20] 王慧玲, 綦小龍, 武港山. 基于深度卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測(cè)技術(shù)的研究進(jìn)展[J]. 計(jì)算機(jī)科學(xué), 2018, 45(9): 18-26.
Wang Huiling, Qi Xiaolong, Wu Gangshan. Research progress of object detection technology based on convolutional neural network in deep learning [J]. Computer Science, 2018, 45(9): 18-26.
[21] 張景林. 基于K-Means和SVM耦合算法的茶葉圖像識(shí)別[J]. 泉州師范學(xué)院學(xué)報(bào), 2016, 34(6): 48-54.
Zhang Jinglin. Tea image recognition based on K-Means and SVM coupling algorithm [J]. Journal of Quanzhou Normal University, 2016, 34(6): 48-54.
中國(guó)農(nóng)機(jī)化學(xué)報(bào)2024年4期