基于LBP的特征融合猴魁茶葉葉尖和葉柄識(shí)別研究

米 福，陸佳平，孫 旋，方繼凡

（1.江南大學(xué) 機(jī)械工程學(xué)院，江蘇無(wú)錫 214122；2.黃山市猴坑茶業(yè)有限公司，安徽黃山 245700）

0 引言

將茶葉進(jìn)行自動(dòng)化生產(chǎn)，是當(dāng)前茶葉行業(yè)的趨勢(shì)。猴魁茶葉的傳統(tǒng)制作過(guò)程分為采摘、殺青、理?xiàng)l、捏尖、壓扁和烘干定形6個(gè)階段，茶葉成品的外形與捏尖息息相關(guān)［1-3］。捏尖是抓住茶葉的葉柄，然后將茶葉的葉尖旋轉(zhuǎn)兩圈半。為更好地完成捏尖工藝，需要識(shí)別自動(dòng)化生產(chǎn)線上每一根猴魁茶葉的葉尖和葉柄，然后統(tǒng)一葉尖和葉柄的排列方向，提高捏尖加工做形的效率。

目前有許多研究應(yīng)用圖像處理技術(shù)來(lái)識(shí)別茶葉的老葉和嫩葉，徐張群等［4］利用圖像處理中的形態(tài)學(xué)運(yùn)算和二值圖像標(biāo)記算法獲取茶葉鮮葉的數(shù)量和位置；吳雪梅等［5］利用基于圖像的顏色信息來(lái)區(qū)分茶葉的嫩葉與老葉；韋佳佳［6］利用形態(tài)學(xué)處理茶葉圖像識(shí)別茶葉嫩芽，然后采用質(zhì)心法確定嫩芽的中心位置。在茶葉分類方面，TANG等［7］利用LBP-GLCM結(jié)合的方法識(shí)別茶葉類別為一芽?jī)扇~、一芽一葉和一芽多葉；BORAH等基于茶葉紋理特征對(duì)茶葉進(jìn)行分類［8-9］。目前的研究主要集中于識(shí)別茶葉的嫩芽位置以及茶葉的等級(jí)分類。

為識(shí)別猴魁茶葉經(jīng)過(guò)殺青預(yù)搓條后的葉尖和葉柄，使用攝像頭采集茶葉圖像，在圖像預(yù)處理完成后，利用圖像處理技術(shù)完成對(duì)茶葉紋理信息和形狀信息的提取，對(duì)2種特征融合后得到的新特征運(yùn)用支持向量機(jī)（SVM）分類實(shí)現(xiàn)對(duì)葉尖和葉柄的區(qū)分。

1 圖像采集和預(yù)處理

1.1 圖像樣本選擇

選取清明節(jié)后殺青預(yù)搓條后的猴魁茶葉作為樣本，如圖1所示。猴魁茶葉葉尖部分呈橢圓形，葉柄部分比較細(xì)長(zhǎng)；葉尖部分紋理豐富，葉柄部分紋理較少；葉尖端和葉柄端顏色區(qū)分不明顯。因此基于顏色進(jìn)行葉尖和葉柄的區(qū)分效果不佳。

圖1 猴魁茶葉殺青搓條后的樣本Fig.1 Samples of Houkui tea after rubbing

1.2 圖像采集處理

采用?？低昅V-CA060-10GM/GC型相機(jī)，參數(shù)如表1所示。攝像頭為CMOS型傳感器，最大分辨率為3027×2048 DPI。用于采集猴魁茶葉的訓(xùn)練和測(cè)試樣本。

表1 相機(jī)參數(shù)Tab.1 Camera parameters

1.3 圖像的預(yù)處理

在VS2019中運(yùn)用OpenCV圖像處理技術(shù)，將相機(jī)采集到的猴魁殺青茶葉由彩色圖像轉(zhuǎn)化為灰色圖像，然后對(duì)圖像進(jìn)行濾波處理，以降低采集到圖片的噪聲。通過(guò)對(duì)濾波處理后的茶葉圖像進(jìn)行反二值化操作，進(jìn)行茶葉圖片形態(tài)學(xué)操作處理；然后進(jìn)行開(kāi)運(yùn)算處理，將茶葉從葉尖和葉柄的正中間分開(kāi)，提取茶葉的葉尖、葉柄ROI；最后分別提取茶葉整體輪廓、葉尖和葉柄的形狀參數(shù)。操作步驟如圖2所示。

圖2 茶葉預(yù)處理流程圖Fig.2 Flow chart of tea pretreatmen

1.3.1 圖片灰度化

將相機(jī)捕獲后的茶葉彩色圖片轉(zhuǎn)換成灰度圖片，利用灰度變換函數(shù)實(shí)現(xiàn)圖片從RGB顏色空間到灰度圖像的轉(zhuǎn)變，以減少后續(xù)圖像處理的計(jì)算量，提高運(yùn)行速度。RGB顏色空間轉(zhuǎn)換的計(jì)算如下式：

1.3.2 圖像反二值化

圖像反二值化操作是在灰度圖中設(shè)置1個(gè)閾值，將灰度圖中小于該閾值的灰度值設(shè)置為白色（255），將大于該閾值的灰度值設(shè)置為黑色（0），以便于后續(xù)對(duì)茶葉的形態(tài)學(xué)參數(shù)的提取。對(duì)茶葉進(jìn)行反二值化操作的結(jié)果如圖3所示。

圖3 茶葉的反二值化Fig.3 De-binarization of tea

1.3.3 提取圖像的ROI

使用ROI可以指定圖像中想要的目標(biāo)，減少處理時(shí)間，提升處理精度。提取茶葉葉尖和葉柄部分的ROI，獲取葉尖和葉柄的中間列數(shù)。分別用矩形區(qū)域提取葉尖和葉柄的ROI，如圖4、圖5所示。

圖4 茶葉左半邊ROIFig.4 ROI on the left half of the tea leaves

圖5 茶葉右半邊ROIFig.5 ROI on the right half of the tea leaves

1.3.4 形態(tài)學(xué)處理

對(duì)于二值化后的茶葉，圖片存在細(xì)小的毛刺。為消除這些小毛刺，并平滑茶葉的邊界，使用形態(tài)學(xué)上的開(kāi)運(yùn)算對(duì)二值化后的茶葉進(jìn)行處理。開(kāi)運(yùn)算是先腐蝕后膨脹的過(guò)程，膨脹是將目標(biāo)像素的值替換為卷積核覆蓋區(qū)域的局部最大值，腐蝕則相反［10］。

2 圖像的特征分析和分類方法

2.1 圖像的紋理特征分析

LBP（local binary pattern）特征最早由OJALA等［11］提出，用于描述圖像的紋理特征，具有旋轉(zhuǎn)不變性和灰度不變性等顯著優(yōu)點(diǎn)。LBP算子以一種巧妙的方式編碼局部圖案。局部二值圖案描繪像素點(diǎn)和像素點(diǎn)周圍的關(guān)系，原始的LBP定義在單個(gè)像素點(diǎn)的3×3鄰域內(nèi)，以這個(gè)鄰域的中心點(diǎn)像素作為比較值，從鄰域左上角的每個(gè)像素值開(kāi)始按照順時(shí)針?lè)较蛞来闻c鄰域中心點(diǎn)的像素相減，如果結(jié)果大于0，那么這個(gè)像素點(diǎn)的位置賦值為1；如果小于等于0，那么這個(gè)像素點(diǎn)的位置賦值為0。3×3的鄰域經(jīng)過(guò)與中心點(diǎn)的像素值比較后一共有8個(gè)繞鄰域的值，將這8個(gè)值按照順時(shí)針排列得到1個(gè)在0與255之間的數(shù)，一共有256種可能。計(jì)算過(guò)程如圖6所示。

圖6 經(jīng)典LBP模式計(jì)算過(guò)程Fig.6 The calculation process of the classical LBP mode

經(jīng)典的LBP在3×3的鄰域內(nèi)經(jīng)過(guò)計(jì)算變成8位的二進(jìn)制數(shù)，如式（2）、式（3）所示，再轉(zhuǎn)化為十進(jìn)制有256種，但是計(jì)算量過(guò)大。于是OJALA等［12］在此基礎(chǔ)上提出圓形LBP模式，將3×3推廣到任意鄰域，面積更大，適用范圍更廣。旋轉(zhuǎn)不變的LBP模式，將圓形LBP計(jì)算得到的二進(jìn)制進(jìn)行循環(huán)旋轉(zhuǎn)，找出其中的二進(jìn)制最小值，將此刻的最小LBP值作為該鄰域的LBP值。對(duì)于8個(gè)采樣點(diǎn)的LBP旋轉(zhuǎn)不變模式，LBP值一共有36種可能。

其中，（xc，yc）為像素的坐標(biāo)；p為領(lǐng)域內(nèi)的第p個(gè)像素；C為鄰域中心的像素；ip為第p個(gè)像素值；ic為鄰域中心的像素值。

等價(jià)LBP是OJALA對(duì)LBP降維的一種方法，當(dāng)某個(gè)LBP所對(duì)應(yīng)的二進(jìn)制數(shù)從0到1或從1到0最多有2次跳變時(shí)，該LBP所對(duì)應(yīng)的二進(jìn)制就稱為1個(gè)等價(jià)模式。對(duì)于3×3鄰域內(nèi)原來(lái)的8個(gè)采樣點(diǎn)，一共有256種可能，而等價(jià)模式的LBP減至58種，大幅降低LBP的種類，提高計(jì)算的效率。在猴魁茶葉的葉尖和葉柄識(shí)別中，運(yùn)用等價(jià)LBP分別計(jì)算茶葉左半部分和右半部分，結(jié)果如圖7所示。

圖7 猴魁茶葉的等價(jià)LBPFig.7 Uniform LBP of Houkui Tea

計(jì)算等價(jià)LBP特征向量，首先將計(jì)算好的等價(jià)LBP圖用小滑窗統(tǒng)計(jì)滑窗內(nèi)的等價(jià)LBP值；然后建立小滑窗內(nèi)直方圖。當(dāng)統(tǒng)計(jì)完成后，小滑窗滑向下一個(gè)圖片中的區(qū)域，建立下一個(gè)區(qū)域內(nèi)的LBP直方圖。當(dāng)整張圖片內(nèi)所有的區(qū)域直方圖建立完成后，將所有直方圖連起來(lái)得到整張圖片的等價(jià)LBP特征向量直方圖。

2.2 圖像的形狀特征分析

對(duì)于區(qū)分猴魁茶葉的葉尖和葉柄，僅用等價(jià)LBP值來(lái)提取紋理信息作為區(qū)分的依據(jù)并不完善。等價(jià)LBP只能夠完整表示葉尖和葉柄紋理的信息，茶葉的形狀信息也是作為區(qū)分的重要依據(jù)。茶葉葉尖和葉柄的形狀信息指標(biāo)有面積A、周長(zhǎng)C、直徑D、圓形度F和hu不變矩等［13］。

面積描述茶葉圖像輪廓線內(nèi)包含的所有像素個(gè)數(shù)；周長(zhǎng)表示茶葉圖像輪廓線上的像素總和；直徑是指與茶葉面積等價(jià)的最小圓直徑，計(jì)算如式（4）所示；圓形度在茶葉輪廓中用于描述葉片接近圓形的程度，計(jì)算如式（5）所示；hu矩是歸一化中心矩的線性組合。

hu矩有7個(gè)，隨著hu矩定義式中階數(shù)的增加，hu矩變得很小，故取h1和h2矩替代整個(gè)hu矩。h1的計(jì)算如式（6），h2的計(jì)算如式（7）所示。

其中，v20，v02和v11為歸一化中心矩。

定義細(xì)長(zhǎng)度T為茶葉的區(qū)域最小外接矩形的長(zhǎng)（L）和寬（S）之比，計(jì)算如下式所示：

定義矩形度R為茶葉的面積與茶葉區(qū)域外接最小矩形的面積之比。

將采集到的60張茶葉圖片進(jìn)行圖像處理，計(jì)算得到8個(gè)有關(guān)茶葉形狀特征平均值參數(shù)，如表2所示。

表2 茶葉葉尖和葉柄形狀特征參數(shù)Tab.2 Shape characteristic parameters of tea leaf tip and petiole

由表2可知，葉尖端面積比值大于葉柄端面積比值，葉尖端周長(zhǎng)比值接近于葉柄端比值，直徑比值也是葉尖端大于葉柄端。對(duì)于圓形度，葉尖端的比值比葉柄端更接近于1，表明茶葉的葉尖端更加圓整。h1矩和h2矩都是葉尖端小于葉柄端，對(duì)于矩形度比值則是葉柄端高于葉尖端，葉柄端的外形更接近于矩形，葉柄端的細(xì)長(zhǎng)度比值大于葉尖端。根據(jù)以上分析對(duì)比，利用形狀特征參數(shù)的不同，可以將茶葉的葉尖端和葉柄端進(jìn)行有效的區(qū)分。

2.3 支持向量機(jī)分類方法

支持向量機(jī)是一種在傳統(tǒng)機(jī)器學(xué)習(xí)上非常重要的分類算法，其基本形式是基于一系列的樣本對(duì)2類物體進(jìn)行區(qū)分。SVM的效果取決于選擇合適的核函數(shù)，將某個(gè)特定維度空間的數(shù)據(jù)映射到更高維的空間中去，這個(gè)空間也叫核空間［14-16］。在新的核空間中，線性分類器常?？梢哉业?類的分界函數(shù)。在OpenCV的SVM可用的核有線性核、多項(xiàng)式核、徑向基函數(shù)核、Sigmoid核、指數(shù)卡方分布核和直方圖交運(yùn)算核。對(duì)于處理數(shù)據(jù)中的離群點(diǎn)，SVM的優(yōu)點(diǎn)是當(dāng)數(shù)據(jù)有限時(shí)，可以獲得非常好的性能和準(zhǔn)確率。

3 試驗(yàn)設(shè)計(jì)與結(jié)果分析

3.1 試驗(yàn)設(shè)計(jì)

對(duì)于猴魁茶葉的葉尖和葉柄識(shí)別，首先采用Uniform LBP特征值和6個(gè)形狀特征進(jìn)行參數(shù)融合，得到1個(gè)新的包含茶葉紋理和形狀參數(shù)的融合特征向量；然后將新的融合特征利用SVM進(jìn)行大量數(shù)據(jù)訓(xùn)練；最后將訓(xùn)練好的SVM用于預(yù)測(cè)識(shí)別茶葉的葉柄和葉尖，得到葉尖和葉柄信息。識(shí)別的基本過(guò)程如圖8所示。

圖8 茶葉葉尖和葉柄的識(shí)別基本流程Fig.8 The basic process of identifying tea leaf tips and petioles

挑選200片清明節(jié)后的猴魁茶葉作為樣本，經(jīng)過(guò)圖像采集后，對(duì)茶葉圖片進(jìn)行圖像預(yù)處理，在OpenCV中分別獲取猴魁茶葉的葉尖端和葉柄端的形狀特征參數(shù)如面積A、直徑D、圓形度F、h1矩和h2矩，將這些形狀參數(shù)進(jìn)行歸一化處理后生成8維特征向量。另一方面對(duì)圖像采集后的茶葉提取ROI后，分別計(jì)算茶葉的葉尖端和葉柄端的等價(jià)LBP值。

首先運(yùn)用PCA降維方法把等價(jià)LBP特征向量降至28維；然后將形狀特征向量和降維后的等價(jià)LBP特征向量直接串聯(lián)起來(lái)作為新的融合特征向量，80%的樣本作為訓(xùn)練數(shù)據(jù)集，20%的樣本作為測(cè)試集，葉尖端對(duì)應(yīng)的特征向量賦值為+1，葉柄端對(duì)應(yīng)的特征向量賦值為0。利用訓(xùn)練好的SVM模型去預(yù)測(cè)測(cè)試集中的葉尖端和葉柄端的分類結(jié)果，實(shí)現(xiàn)對(duì)猴魁茶葉的葉尖端和葉柄端的區(qū)分。

為具有優(yōu)秀的實(shí)時(shí)性能和準(zhǔn)確率，便于將來(lái)在生產(chǎn)上應(yīng)用的實(shí)現(xiàn)，選擇SVM的核為徑向基函數(shù)核。SVM參數(shù)經(jīng)過(guò)以識(shí)別準(zhǔn)確率為目標(biāo)進(jìn)行優(yōu)化，經(jīng)過(guò)網(wǎng)格參數(shù)調(diào)優(yōu)法選擇后，核參數(shù)C=10，核參數(shù)gramma=0.6，核的類型為C-SVC。

3.2 試驗(yàn)結(jié)果分析

單獨(dú)利用等價(jià)LBP模式提取茶葉兩端的特征，用于SVM訓(xùn)練，葉尖和葉柄識(shí)別的準(zhǔn)確率為80.9%；而經(jīng)過(guò)融合之后得到的特征，利用SVM訓(xùn)練，最后得到的準(zhǔn)確率為98.5%。經(jīng)過(guò)紋理和形態(tài)特征的融合，使得新的特征具有不同維度的特點(diǎn)，能有效地提升訓(xùn)練準(zhǔn)確率。

將LBP特征和形狀特征融合后的新特征利用隨機(jī)森林來(lái)進(jìn)行茶葉葉尖和葉柄的區(qū)分，識(shí)別的精確率、召回率、準(zhǔn)確率和綜合評(píng)價(jià)指標(biāo)如表3所示。融合的新特征有效提高了茶葉葉尖和葉柄分類的準(zhǔn)確率，從不同的維度進(jìn)行分類更全面。對(duì)于分類方法，支持向量機(jī)比隨機(jī)森林分類的效果更好。融合的新特征加上SVM的方法根據(jù)綜合評(píng)價(jià)指標(biāo)得分也是最高，為0.987。基于LBP紋理特征和形態(tài)特征參數(shù)的方法識(shí)別猴魁茶葉的葉尖和葉柄也可以適用于其地茶葉，可以作為其他茶葉定制加工的參考。

表3 不同方法進(jìn)行識(shí)別效果對(duì)比Tab.3 Comparison of recognition effects of different methods

4 結(jié)語(yǔ)

本文針對(duì)猴魁茶葉做形的精細(xì)化加工要求，識(shí)別出猴魁茶葉葉尖和葉柄位置，為后續(xù)調(diào)換猴魁茶葉的位置提供基礎(chǔ)。首先利用攝像機(jī)采集茶葉的圖像；然后對(duì)圖像進(jìn)行預(yù)處理后提取形狀信息和紋理信息，將形狀特征和紋理特征融合；最后運(yùn)用SVM訓(xùn)練以新特征識(shí)別茶葉葉尖和葉柄，準(zhǔn)確率達(dá)到98.5%。結(jié)果表明新方法比單一紋理特征方法的準(zhǔn)確率提升了17.6%，可以有效地識(shí)別出猴魁茶葉的葉尖端和葉柄端。后續(xù)將進(jìn)一步計(jì)算猴魁茶葉的形心，研究調(diào)換猴魁茶葉的葉尖和葉柄位置，完成葉尖和葉柄方向的統(tǒng)一排列。