茶葉嫩芽視覺識(shí)別與采摘點(diǎn)定位方法研究*

龍 樟, 姜 倩, 王 健, 朱泓霖, 李 波, 溫飛娟

(1.西南石油大學(xué) 工程學(xué)院,四川 南充 637001;2.西南石油大學(xué) 機(jī)器人工程與智能制造南充市重點(diǎn)實(shí)驗(yàn)室,四川 南充 637001)

0 引 言

茶葉采摘是茶葉生產(chǎn)過程中的重要環(huán)節(jié)，優(yōu)質(zhì)茶制茶要求采摘的鮮葉原料幼嫩、勻齊。隨著機(jī)器人技術(shù)的發(fā)展，研制采茶機(jī)器人是解決選擇性采摘茶葉嫩芽采摘效率低的重要手段[1]。而茶葉嫩芽識(shí)別及采摘點(diǎn)的定位是實(shí)現(xiàn)茶葉智能采摘的基礎(chǔ)。

目前，國內(nèi)外已初步開展了茶葉嫩芽識(shí)別和采摘點(diǎn)定位探索性研究[2～4]?，F(xiàn)有研究大多數(shù)研究集中于對(duì)茶葉嫩芽的識(shí)別，已得到了不錯(cuò)的識(shí)別效果，但大多基于深度學(xué)習(xí)方法，訓(xùn)練過程復(fù)雜，且對(duì)硬件要求高[5]；而對(duì)嫩芽采摘點(diǎn)的定位研究較少，僅有的研究也只針對(duì)單粒嫩芽進(jìn)行定位[6]，無法實(shí)現(xiàn)茶叢圖像下多粒嫩芽同時(shí)識(shí)別與定位需求，即無法滿足機(jī)器人高效采摘作業(yè)的路徑規(guī)劃要求。

針對(duì)以上問題，本文提出一種基于圖像處理的茶葉嫩芽識(shí)別與采摘點(diǎn)定位方法。首先采集茶叢圖像，并對(duì)茶叢圖像進(jìn)行特征分析，基于超綠特征對(duì)茶叢圖像進(jìn)行分割，結(jié)合形態(tài)學(xué)操作對(duì)基于超綠特征提取的分割算法進(jìn)行優(yōu)化，完成對(duì)嫩芽的識(shí)別；然后對(duì)分割后的嫩芽采用結(jié)合邊緣檢測和骨架化處理算法，實(shí)現(xiàn)對(duì)嫩芽采摘點(diǎn)的定位。

1 茶葉嫩芽特征分析

1.1 茶叢圖像的采集

茶叢圖像采集是茶葉嫩芽識(shí)別與定位的基礎(chǔ)，本文采用Vivo X6s手機(jī)作為圖像采集裝置，以Anaconda及OpenCV視覺庫作為圖像處理平臺(tái)。茶叢圖像質(zhì)量受相機(jī)拍攝姿態(tài)影響較大，相機(jī)位于水平姿態(tài)附近時(shí)，由于茶葉嫩芽的生長姿態(tài)各不相同，此時(shí)會(huì)出現(xiàn)嚴(yán)重的遮擋現(xiàn)象，不利于圖像分割[7]。當(dāng)相機(jī)位于豎直姿態(tài)附近時(shí)，嫩芽匯聚為一個(gè)近似圓，茶葉莖稈不能和葉片完全區(qū)分，無法獲取采摘點(diǎn)。當(dāng)相機(jī)拍攝角度范圍在40°～60°傾斜姿態(tài)時(shí)，嫩芽的輪廓既能保持完整清晰，遮擋情況也較少，有利于前景和背景區(qū)域區(qū)分開。因此，本文采用45°傾角在茶隴側(cè)面采集得到了如圖1(a)所示的茶叢圖像，并將采集到的圖像進(jìn)行壓縮預(yù)處理以備后續(xù)分析使用，在不影響圖片清晰度及嫩芽特征的情況下降低其分辨率，減少圖像處理的數(shù)據(jù)量。

1.2 茶叢圖像特征分析

茶叢圖像特征分析的目的是找出茶葉嫩芽與背景區(qū)分度大的特征，并以此作為嫩芽圖像分割的依據(jù)。顏色、形狀及紋理是圖像分析中最常用的特征[8,9]。顏色特征對(duì)圖像質(zhì)量、尺寸變化、旋轉(zhuǎn)和噪聲有較強(qiáng)的魯棒性[10]，且顏色特征是每個(gè)物體都具備的最直觀的視覺特征，因此本文采用RGB空間下顏色特征對(duì)茶叢圖像進(jìn)行分析。對(duì)圖1茶叢圖像在RGB空間中提取B,G,R分量和G-B分量，得到圖1(b)～圖1(e)所示各分量灰度圖像。

圖1 茶叢R,G,B分量灰度

由圖1可知，在R,G,B單通道圖像中茶葉嫩芽與背景的差異小，識(shí)別效果差；在圖1(e)G-B分量灰度圖中，嫩芽部分突出，與背景形成較大差異，能獲取良好的分割圖像，嫩芽識(shí)別效果明顯。

2 嫩芽圖像分割

由1.2節(jié)分析結(jié)果，在RGB空間中G-B分量灰度圖中嫩芽與背景區(qū)分度高，而超綠特征(2×G-B-R)分量在G-B分量的基礎(chǔ)上提高了綠色通道的權(quán)重，增加了與非綠色背景的對(duì)比度，可以使嫩芽和背景有更明顯的差別，在顏色特征中能更好地分割出嫩芽圖像，因此，本文采用基于超綠特征的嫩芽分割方法。

2.1 基于超綠特征的閾值分割

由相機(jī)采集的圖像一般都是RGB顏色模型[11]，使用圖像的超綠色法處理圖像的超綠特征計(jì)算公式為

(1)

經(jīng)過超綠特征變換后的目標(biāo)圖像，可采用的閾值分割方法較多，其中大津法(OTSU)基于最大類間方差自動(dòng)確定分割閾值，計(jì)算簡單，不受圖像亮度和對(duì)比度的影響[12]，按照?qǐng)D像的灰度特性，將圖像分成背景和前景兩部分，錯(cuò)分概率最小。

假設(shè)茶叢圖像有L個(gè)灰度級(jí)數(shù)，第i級(jí)灰度像素點(diǎn)數(shù)為Ni，圖像的像素總數(shù)為N，則第i級(jí)像素點(diǎn)的概率為Pi=Ni/N，假設(shè)分割閾值為k，圖像可以分為嫩芽C0類(灰度級(jí)為0～(k-1))與背景C1類(灰度級(jí)為k～(L-1))。則茶叢圖像的平均灰度為

(2)

C0類像素的平均灰度為

(3)

C1類像素的平均灰度為

(4)

最大類間方差計(jì)算式為

δ2(k)=w0(μ-μ0)2+w1(μ-μ1)2

(5)

式中w0為C0類像素比，w1為C1類像素比，閾值k在0～(L-1)中變化，δ2(k)最小時(shí)獲得最優(yōu)閾值。

對(duì)圖1(a)茶叢圖像進(jìn)行超綠特征提取，并進(jìn)行OTSU二值化，經(jīng)過色彩合并后得到嫩芽的分割圖像，如圖2所示，圖2(a)為OTSU分割后的二值圖像，圖2(b)為色彩合并后最終分割結(jié)果。

圖2 基于超綠特征圖像分割

2.2 基于形態(tài)學(xué)去噪

在有噪聲的情況下，分割結(jié)果非常雜亂，因此必須對(duì)圖像進(jìn)行濾波去噪[13]。開運(yùn)算能夠去除圖像中比結(jié)構(gòu)元素小的突刺，從而切斷區(qū)域間的細(xì)長連接；閉運(yùn)算可以把區(qū)域內(nèi)的微小缺口填充完整，把短細(xì)的斷口修補(bǔ)完整[14]。圖3(b),(c)分別為對(duì)超綠特征(2G-B-R)分量圖像進(jìn)行閉運(yùn)算和開運(yùn)算處理的結(jié)果，對(duì)比圖3(a)(2G-B-R)分量圖像原圖，可以看出形態(tài)學(xué)操作去除了噪聲，圖像整體變得比較平滑；對(duì)比圖3(b)和圖3(c)可以看出經(jīng)閉運(yùn)算處理后的圖像色調(diào)更加均勻，對(duì)后續(xù)分割處理更加有利。對(duì)圖3(b)和圖3(c)采用OTSU二值化后通過色彩合并，觀察分析分割結(jié)果可以看出，閉運(yùn)算去噪處理后得到的分割效果更好。

圖3 圖像形態(tài)學(xué)去噪處理

3 茶葉嫩芽采摘點(diǎn)定位

3.1 嫩芽采摘點(diǎn)定位方式

茶葉嫩芽采摘點(diǎn)的確定是茶葉智能化采摘的關(guān)鍵。根據(jù)茶葉產(chǎn)品檔次差異，可以將嫩芽的采摘類型分為單粒嫩芽、一芽一葉和一芽兩葉等，其中以一芽一葉和一芽兩葉使用面最廣，經(jīng)圖像分割得到的嫩芽圖像也以這兩種類型為主，因此,本文主要針對(duì)這兩種采摘類型進(jìn)行采摘點(diǎn)定位方法研究。在實(shí)際人工采摘中，采摘點(diǎn)位于兩節(jié)點(diǎn)(葉與茶梗連接點(diǎn))之間，如圖4(a)所示。

根據(jù)葉片數(shù)識(shí)別嫩芽整體及類型，并用識(shí)別框框出嫩芽整體，通過檢測識(shí)別框與茶梗的交點(diǎn)，將該位置設(shè)為采摘點(diǎn)。如圖4(b)所示，框中為嫩芽整體，茶梗與框交點(diǎn)即為茶葉采摘點(diǎn)。

圖4 采摘點(diǎn)定位方式

3.2 基于邊緣檢測及骨架提取的采摘點(diǎn)定位

對(duì)已分割的包含多個(gè)嫩芽的圖像進(jìn)行邊緣檢測和骨架提取，尋找嫩芽的最小外接矩形，并掃描矩形底部最下方的骨架點(diǎn)，將該點(diǎn)確定為茶葉嫩芽的采摘點(diǎn)。

邊緣檢測可以獲取嫩芽圖像的邊界信息。常用的邊緣檢測算子主要有一階微分算子,如Sobel,Robert和Prewitt等，以及二階微分算子Laplacian等，其中,Canny算子受噪聲干擾影響小，可以更好地檢測弱邊緣，檢測的邊界信息更清晰[15]，因此本文采用Canny算子進(jìn)行邊緣檢測。

對(duì)已分割的嫩芽圖像進(jìn)行骨架提取時(shí)，提取嫩芽圖像的像素點(diǎn)進(jìn)行拐點(diǎn)、彎曲點(diǎn)、方向點(diǎn)判斷，將不符合條件的像素點(diǎn)刪除，符合的進(jìn)行像素點(diǎn)連接，從而得到大致的骨架。為了便于觀察分析，取圖像分割所得的部分圖像進(jìn)行后續(xù)處理及分析，如圖5(a)所示。經(jīng)過對(duì)圖像進(jìn)行邊緣檢測和骨架化處理合并，得到的結(jié)果如圖5(b)所示。

將邊緣檢測結(jié)果進(jìn)行最小外接矩形提取，如圖5(c)所示，存在一些被遮擋的嫩芽不全干擾圖像，設(shè)定最小外接矩形面積閾值將其過濾，僅對(duì)嫩芽圖像完整的嫩芽進(jìn)行采摘點(diǎn)定位，如圖5(c)中①,②,③號(hào)嫩芽。因此，提取最小外接矩形與最下方的骨架交點(diǎn)位置即獲得嫩芽的采摘點(diǎn)像素位置。通過對(duì)采集的多幅茶叢圖像采用上述方法進(jìn)行采摘點(diǎn)定位研究，圖像處理結(jié)果表明,本文設(shè)計(jì)的方法能夠穩(wěn)定的確定采摘點(diǎn)在圖像中的位置。

圖5 嫩芽采摘點(diǎn)定位

4 結(jié)束語

本文針對(duì)優(yōu)質(zhì)茶智能采摘中的茶葉嫩芽識(shí)別與采摘點(diǎn)定位問題進(jìn)行了研究。以相機(jī)傾斜姿態(tài)獲取了茶叢圖像，研究了RGB空間下的茶叢嫩芽特征，并以G-B分量作為分析對(duì)象，基于此，提出了基于超綠特征的圖像分割方法，結(jié)合大津法獲得了良好的嫩芽分割圖像。在此基礎(chǔ)上，采用閉運(yùn)算對(duì)分割圖像進(jìn)行去噪處理，獲得了更好效果的分割圖像，之后提出了基于嫩芽整體識(shí)別框的嫩芽采摘點(diǎn)定位方法，設(shè)計(jì)了基于邊緣檢測及骨架提取的采摘點(diǎn)定位算法。實(shí)驗(yàn)結(jié)果表明:設(shè)計(jì)的方法能夠穩(wěn)定地識(shí)別嫩芽并實(shí)現(xiàn)采摘點(diǎn)在圖像中的定位，并具有較強(qiáng)的魯棒性。下一步工作將結(jié)合雙目立體視覺研究采摘點(diǎn)在三維空間下的實(shí)際坐標(biāo)位置，提高算法的實(shí)用性，并進(jìn)一步提升茶葉嫩芽識(shí)別與采摘點(diǎn)定位精度。