基于機(jī)器視覺(jué)的茶葉品種識(shí)別研究

江會(huì)權(quán)

（浙江農(nóng)林大學(xué)，浙江 杭州 200030）

1 引言

近十幾年來(lái)，隨著對(duì)名優(yōu)茶研究與提升的不斷深入，我們所面臨的挑戰(zhàn)在于如何更進(jìn)一步地確保茶葉品質(zhì)，而這種品質(zhì)的提升離不開(kāi)中國(guó)得天獨(dú)厚的地理位置和數(shù)千年的茶葉文化，尤其是在采摘環(huán)節(jié)，現(xiàn)代化、高效、高質(zhì)量的采摘和加工制造成為了至關(guān)重要的環(huán)節(jié)。本文從我國(guó)茶類發(fā)展現(xiàn)狀出發(fā)，針對(duì)其存在的問(wèn)題提出一些改進(jìn)建議，希望可以為今后相關(guān)方面提供參考意見(jiàn)。只有在解決這些問(wèn)題的前提下，中國(guó)的茶葉行業(yè)才能邁向更高的發(fā)展階段，讓全球目光聚焦于我們國(guó)家的茶文化，同時(shí)也能驚嘆于更加先進(jìn)的茶葉處理技術(shù)。因此本文將從茶葉采摘和加工兩個(gè)方面進(jìn)行分析探討，希望能為新時(shí)期下我國(guó)名優(yōu)茶生產(chǎn)提供一些參考意見(jiàn)。茶葉的品質(zhì)取決于其采摘和加工的時(shí)間，因此在特定的時(shí)間內(nèi)高效地采摘和加工是至關(guān)重要的，若采摘不及時(shí)，將會(huì)導(dǎo)致嫩芽老化。

2 茶葉識(shí)別系統(tǒng)構(gòu)建及預(yù)處理

2.1 機(jī)器視覺(jué)系統(tǒng)組成

2.1.1 相機(jī)的選擇。茶葉自主采摘機(jī)器人的機(jī)器視覺(jué)系統(tǒng)，專注于茶樹(shù)嫩芽的識(shí)別和精準(zhǔn)定位，是本課題研發(fā)的核心技術(shù)。由于茶園環(huán)境比較復(fù)雜，為了提高定位精度，必須選擇合適的傳感器來(lái)采集圖像數(shù)據(jù)，而傳統(tǒng)的基于雙目攝像頭的方法存在一定的局限性[1]。單目相機(jī)系統(tǒng)之所以備受青睞，是因?yàn)槠鋬r(jià)格親民、系統(tǒng)結(jié)構(gòu)簡(jiǎn)潔，同時(shí)還能節(jié)省大量安裝空間。

通過(guò)可調(diào)節(jié)的基線（雙目中心距），USB3.0可變基線的雙目視覺(jué)相機(jī)能夠根據(jù)工作環(huán)境的差異進(jìn)行相應(yīng)的調(diào)整。通過(guò)對(duì)攝像機(jī)參數(shù)和圖像采集算法的分析與研究，確定了系統(tǒng)所需要的標(biāo)定方法。因此，我們所選用的相機(jī)型號(hào)為HNY-CV-002，其實(shí)物圖如圖1所示，可供參考。

圖1 雙目攝像頭示意圖

圖2 中值濾波效果

圖3 周長(zhǎng)的計(jì)算示意

2.2 圖像平滑處理

中值濾波是一種將圖像中各個(gè)像素的灰度值進(jìn)行升序排列的技術(shù)，通過(guò)將中間的像素點(diǎn)替換為經(jīng)過(guò)處理的像素點(diǎn)，從而實(shí)現(xiàn)圖像處理的高效化。在圖像處理中經(jīng)常要用到中值濾波器來(lái)去除噪聲。為了消除圖像中的模糊和噪聲干擾，我們采用了中值濾波的方法。

2.3 圖像邊緣檢測(cè)

Sobel算子是一種離散差分工具，可用于近似計(jì)算圖像中各個(gè)點(diǎn)的灰度值。通過(guò)對(duì)不同大小、位置及方向上灰度差值進(jìn)行統(tǒng)計(jì)，得到其概率分布曲線。通過(guò)運(yùn)用該算法對(duì)圖像中的點(diǎn)進(jìn)行計(jì)算，將會(huì)得到相應(yīng)的灰度向量或其法向量。利用這些信息可得到像素點(diǎn)的梯度或斜率等參數(shù)，從而對(duì)一幅圖像進(jìn)行分割、特征提取以及目標(biāo)識(shí)別。在像素圖像邊緣檢測(cè)中，Sobel算子是一項(xiàng)至關(guān)重要的操作，它由兩組3x3的矩陣組成，分別為橫向和縱向，通過(guò)將其與圖像進(jìn)行平面卷積，我們可以得到橫向和縱向亮度差分的近似值。

所有像素點(diǎn)在圖片中的橫向和縱向灰度值均由以下公式計(jì)算得出，具體的計(jì)算方式如下所示：

在實(shí)際的工程運(yùn)算中，我們也可以采用Gx和Gy的絕對(duì)值相加等算法來(lái)近似計(jì)算它們的數(shù)值。本文主要研究了用一種新方法來(lái)實(shí)現(xiàn)邊緣檢測(cè)，即通過(guò)引入一個(gè)加權(quán)因子來(lái)提高圖像質(zhì)量。Sobel算子的獨(dú)特之處在于，它能夠通過(guò)計(jì)算權(quán)重差來(lái)處理像素點(diǎn)直接相鄰的四個(gè)方向，從而實(shí)現(xiàn)在邊緣出現(xiàn)峰值的情況下保留邊緣的目的。該算子應(yīng)用于圖像分割時(shí)，能很好地把背景區(qū)域與目標(biāo)區(qū)域分開(kāi)來(lái)，并且保留了原始信息。除了邊緣提取之外，該方法還具備一定的平滑性，能夠精準(zhǔn)地計(jì)算出邊緣方向向量。本文提出了一種新方法—基于梯度法的圖像邊緣檢測(cè)方法。該方法存在一個(gè)缺陷，即在全局范圍內(nèi)提取邊界的精度不盡如人意。

3 茶葉葉片識(shí)別與定位

3.1 幾何特征與形狀特征

3.1.1 周長(zhǎng)。對(duì)于周長(zhǎng)所分割的小圖像，其邊緣所包含的像素?cái)?shù)量是多少呢。它是衡量周長(zhǎng)大小是否準(zhǔn)確和合理的一個(gè)重要指標(biāo)[2]。通常情況下，周長(zhǎng)的計(jì)算方式有三種，如圖4-1所呈現(xiàn)。第一種是在原圖上截取一個(gè)寬度大于原尺寸的矩形作為初始圖片。其中圖（a）是初始圖像；圖（b）所示為一幅圖像，其周長(zhǎng)由一條加重線條所構(gòu)成的隙碼計(jì)算而得，該隙碼通過(guò)線條長(zhǎng)度的反饋來(lái)反映圖像的周長(zhǎng)；圖（c）由鏈碼來(lái)計(jì)算圖像周長(zhǎng)，鏈碼是圖邊界上的一條連線，若發(fā)生45度連線，則其距離以2為單位；圖中每一行都有一個(gè)像素對(duì)應(yīng)于該位置上的線段，每個(gè)線段代表一條邊。圖像（c）的統(tǒng)計(jì)基于對(duì)圖像邊緣的像素點(diǎn)數(shù)量進(jìn)行分析。對(duì)于一些復(fù)雜形狀的物體或紋理結(jié)構(gòu)的區(qū)域可以用這三種方法來(lái)實(shí)現(xiàn)周長(zhǎng)的提取與分析。雖然周長(zhǎng)的計(jì)算相對(duì)簡(jiǎn)單，但其效果卻主要取決于二值化所帶來(lái)的影響。

圖4 基于HSI空間的嫩芽分割效果

3.1.2 面積。計(jì)算面積是一種簡(jiǎn)單而實(shí)用的邊界計(jì)算方法，它通過(guò)計(jì)算面積相當(dāng)于統(tǒng)計(jì)區(qū)域內(nèi)像素點(diǎn)的數(shù)量，從而推導(dǎo)出嫩芽的面積規(guī)律[3]。對(duì)于學(xué)生來(lái)說(shuō)掌握起來(lái)并不容易，因此在教學(xué)中教師可以借助幾何畫板來(lái)幫助學(xué)生理解和記憶這一公式，提高教學(xué)質(zhì)量和效率。以下是具體的數(shù)學(xué)公式的計(jì)算方式：

3.2 特征提取算法

在特征提取流程的設(shè)計(jì)中，我們需要考慮兩個(gè)關(guān)鍵因素：一是采用適當(dāng)?shù)姆椒?，在一定的時(shí)間復(fù)雜度內(nèi)對(duì)特征子集進(jìn)行優(yōu)化，以確定最適合的特征子集；二則通過(guò)分析特征集合之間存在的聯(lián)系來(lái)選擇最佳特征集。對(duì)于特征子集的最優(yōu)狀態(tài)，我們需要進(jìn)行評(píng)估和判斷，以得出最佳結(jié)果。傳統(tǒng)上，特征提取流程的構(gòu)建通常采用“一次掃描”方式，即從數(shù)據(jù)庫(kù)中提取出一組數(shù)據(jù)作為訓(xùn)練集，然后利用這些訓(xùn)練集來(lái)完成后續(xù)的特征選擇工作[4]。在實(shí)際的特征判斷過(guò)程中，我們需要不斷地重復(fù)前兩個(gè)步驟，直到找到最優(yōu)方案為止。該方法不僅可以避免人工選擇特征向量的主觀性，同時(shí)還能夠減少計(jì)算量。在搜索的過(guò)程中，需要同時(shí)考慮到算法的時(shí)間復(fù)雜度和計(jì)算精度，以確保最終結(jié)果的準(zhǔn)確性和可靠性。

3.3 基于色彩空間的分割

3.3.1 圖像分割流程。HSI變換后，圖像呈現(xiàn)出明顯的分界線，使得閾值的設(shè)定變得更加容易，從而更容易地將嫩芽分離出來(lái)。

通過(guò)對(duì)實(shí)際嫩芽在圖像中的顏色表現(xiàn)進(jìn)行實(shí)際調(diào)試，并在不同通道中選擇多個(gè)閾值進(jìn)行綜合判定，我們成功地獲得了相對(duì)理想的嫩芽區(qū)域判定結(jié)果。

3.3.2 嫩芽特征分類。經(jīng)過(guò)圖像分割后的效果如圖4所示。

基于HSI和HSV色彩空間的比較，我們發(fā)現(xiàn)HSV色彩空間更適用于茶葉嫩芽的分割。在此基礎(chǔ)上，我們提取了嫩芽的幾種特征，并初步將其分為全開(kāi)面、半開(kāi)面、未開(kāi)面和不可采摘4種，具體情況見(jiàn)圖5。

圖5 自然環(huán)境下茶葉嫩芽四種狀態(tài)圖像

通過(guò)收集大量不同類型的芽葉數(shù)據(jù)，我們可以建立一個(gè)茶葉嫩芽狀態(tài)的識(shí)別模型，從而為提取嫩芽的幾何和形狀特征提供數(shù)據(jù)，并為實(shí)現(xiàn)茶葉嫩芽的自動(dòng)分割奠定基礎(chǔ)。

3.3.3 對(duì)特征子集進(jìn)行鑒別。特征子集的評(píng)價(jià)標(biāo)準(zhǔn)是基于對(duì)其貢獻(xiàn)參數(shù)的度量，這是一種用于判斷子集優(yōu)劣的指標(biāo)。本文提出了一種新的基于模糊綜合評(píng)判法的茶葉品質(zhì)評(píng)價(jià)模型。茶葉的品質(zhì)可以通過(guò)測(cè)量茶葉的距離和散布矩陣來(lái)判斷，這是兩種主要的判斷方法。散布矩陣測(cè)度是將不同產(chǎn)地的茶葉在空間上分布的差異性作為一個(gè)重要因素考慮在內(nèi)的一種評(píng)價(jià)方式。一種用于比較茶葉子集相似度的算法是距離測(cè)度，它利用了茶葉子集之間的距離來(lái)進(jìn)行度量。在對(duì)茶樣品進(jìn)行分析時(shí)，可以用這些距離來(lái)確定各茶樣中差異較大的部分。隨著茶葉子集之間的差異逐漸擴(kuò)大，它們之間的距離也會(huì)隨之增加，從而更有利于進(jìn)行分解。在對(duì)數(shù)據(jù)集中所有樣本的分類時(shí)，可以用一個(gè)概率函數(shù)去衡量其類別間差異程度。當(dāng)特征子集A和B之間的距離逐漸增大時(shí)，它們將被歸類為異類樣本，呈現(xiàn)出明顯的差異。在本文中，我們提出了利用概率距離測(cè)度對(duì)茶飲料的差異程度進(jìn)行度量的思想，并給出相應(yīng)的計(jì)算步驟。此外，概率距離度量也是一種相似度比較技術(shù)，它通過(guò)對(duì)各個(gè)子集之間的概率分布進(jìn)行分析，以反映它們的交叉和背離狀態(tài)。因此，在分類問(wèn)題中可以用概率距離測(cè)度進(jìn)行區(qū)分。常見(jiàn)的度量概率距離的方法包括散布、Bhattacharyya、Chernoff和Mahalanobis等。在生物信息學(xué)中，我們可以使用這些距離測(cè)度對(duì)目標(biāo)進(jìn)行分類。在本文中，我們將探討距離測(cè)度的概念，并詳細(xì)闡述其推導(dǎo)過(guò)程；以下所示為其運(yùn)算的數(shù)學(xué)公式：

其中ωA、ωB都是等待進(jìn)一步判斷的兩類、na、nb為兩類的樣本數(shù)，d(x_i,y_i)為兩個(gè)向量之間的距離。使用較多的距離計(jì)算有歐式距離和S階Minkowski測(cè)度。其計(jì)算公式為：

歐式距離公式：

通過(guò)上式可見(jiàn)，歐式距離計(jì)算其實(shí)是2階Minkowski測(cè)度。

3.4 茶葉自動(dòng)分割的設(shè)計(jì)與實(shí)現(xiàn)

在進(jìn)行圖像預(yù)處理的過(guò)程中，我們對(duì)彩色圖像進(jìn)行了轉(zhuǎn)換，將其轉(zhuǎn)化為灰度圖像和HSI色彩圖像，并對(duì)其進(jìn)行了輪廓檢測(cè)。在提取出輪廓后，我們使用閾值法分割出原圖像中的目標(biāo)物體，即獲取茶顆粒的三維模型。接著我們刪除背景，得到3D距離（300mm～1000mm），此處的距離采用我們使用英特爾Real SenseD435進(jìn)行拍攝時(shí)得到的最佳距離，再對(duì)圖像進(jìn)行輪廓檢測(cè)和Mask矩陣計(jì)算，從而得到輪廓中的區(qū)域點(diǎn)并將其拆分。

4 總結(jié)與展望

考慮到茶葉人工采摘過(guò)程的費(fèi)時(shí)費(fèi)力，本文運(yùn)用機(jī)器視覺(jué)技術(shù)對(duì)茶葉嫩芽進(jìn)行識(shí)別和定位，成功實(shí)現(xiàn)了嫩芽圖像的分割和采摘識(shí)別。該方法能夠?qū)崿F(xiàn)對(duì)茶葉進(jìn)行自動(dòng)分級(jí)和精確定位，為后續(xù)的茶葉加工奠定基礎(chǔ)。