基于機(jī)器視覺(jué)技術(shù)對(duì)煙葉部位識(shí)別方法的研究*

謝先明，郭 濤，周俊成，黃人杰，高煥曄，劉 偉，婁元菲，江家洪

（1.貴州煙葉復(fù)烤有限責(zé)任公司湄潭復(fù)烤廠(chǎng)，貴州 遵義 564100；2.貴州大學(xué)煙草學(xué)院/貴州省煙草品質(zhì)研究重點(diǎn)實(shí)驗(yàn)室，貴州 貴陽(yáng) 550025；3.貴州中煙工業(yè)有限責(zé)任公司，貴州 貴陽(yáng) 550000）

外觀(guān)特征是煙葉工業(yè)分級(jí)的重要特征，當(dāng)前煙葉分級(jí)仍以人工分級(jí)方法為主，但人工分級(jí)對(duì)煙葉等級(jí)的判定受分級(jí)專(zhuān)家自身情緒的影響，判定結(jié)果也因此產(chǎn)生差異[1-3]。為避免主觀(guān)因素對(duì)煙葉等級(jí)判定的影響，采用煙葉圖像外觀(guān)信息提取與計(jì)算機(jī)處理，結(jié)合加工過(guò)程其他緯度數(shù)據(jù)，最大程度地體現(xiàn)煙葉分選和可視化表征上的基準(zhǔn)尺度不變性的優(yōu)勢(shì)[4-7]。在工業(yè)分級(jí)過(guò)程中，通常有三個(gè)主要外觀(guān)質(zhì)量因素，分別是“顏色的均勻度”“顏色的鮮亮程度”和“煙葉的油分”，而煙葉的形態(tài)特征、輪廓、顏色等信息是可以通過(guò)圖像提取而獲得的。對(duì)圖像的信息進(jìn)行提取、監(jiān)控及模式識(shí)別處理，為實(shí)際工業(yè)分級(jí)的機(jī)器視覺(jué)技術(shù)運(yùn)用提供了數(shù)據(jù)來(lái)源與理論基礎(chǔ)[8-12]。

1 材料與方法

1.1 材料與設(shè)備

1）煙葉樣本產(chǎn)地為貴州遵義，分別取上、中、下三個(gè)部位煙葉。上部煙包括B1F、B2F 和B3F 三個(gè)等級(jí)；中部煙包括C1F、C2F、C3F 和C4F 四個(gè)等級(jí)；下部煙包括X1F、X2F 和X3F 三個(gè)等級(jí)。每個(gè)等級(jí)取30片煙葉，共計(jì)300片煙葉樣本。

2）煙葉拍攝設(shè)備為FILR 相機(jī)（型號(hào)：BFS-PGE-200S6C-C，美國(guó)），拍攝照片像素為2 280*5 028，拍攝環(huán)境溫度為25 ℃。為保證更好地突出煙葉的顏色，拍攝在密閉環(huán)境下進(jìn)行，采用黑色背景板以保證拍攝不受外界光干擾。

1.2 試驗(yàn)方法

取貴州遵義產(chǎn)地原煙，首先由分級(jí)專(zhuān)家對(duì)煙葉進(jìn)行人工分級(jí)，而后取人工分級(jí)后的B1F、B2F、B3F、C1F、C2F、C3F、C4F、X1F、X2F、X3F 等級(jí)煙葉，采用煙葉密封拍攝裝置采集煙葉原始圖像。對(duì)煙葉圖像進(jìn)行預(yù)處理后，提取其煙葉圖像的顏色和形狀等特征信息，最后對(duì)煙葉顏色、形態(tài)特征與部位標(biāo)簽建立分類(lèi)模型。

1.2.1 煙葉顏色特征提取

先對(duì)采集的原始圖像進(jìn)行濾波處理，然后選擇合適的閾值對(duì)濾波后的圖像進(jìn)行二值化處理，分割出煙葉區(qū)域，分別提取煙葉的R 分量、G 分量和B 分量，并分別計(jì)算R 分量、G 分量和B 分量的均值和標(biāo)偏。之后將RGB（Red 紅，Green 綠，Blue 藍(lán)）顏色模型轉(zhuǎn)換成HSV（Hue色調(diào)，Saturation飽和度，Value亮度）模型，同時(shí)分別提取H 分量、S 分量和V 分量，并計(jì)算各分量的均值和標(biāo)偏。

R、G、B 各分量均值的計(jì)算方式：先把R、G、B（R、G、B 分別對(duì)應(yīng)圖像矩陣I 的第1 維、2 維、3 維）顏色數(shù)值的uint8 型矩陣轉(zhuǎn)換成double 型矩陣Rd、Gd、Bd。

設(shè)[m,n]為煙葉所在圖像矩陣的索引，煙葉所在區(qū)域的顏色為：

原始顏色數(shù)據(jù)R、G、B 的均值分別用M R、表示，其具體的計(jì)算公式如下，p是R向量的長(zhǎng)度：

原始顏色數(shù)據(jù)R、G、B 的標(biāo)準(zhǔn)偏差分別用stdR、表示，其具體的計(jì)算公式如下：

計(jì)算煙葉的HSV顏色，先把R、G、B按照如下的公式轉(zhuǎn)換成H（色調(diào)）、S（飽和度）、V（明亮度）。

HSV 顏色空間各分量的均值與標(biāo)準(zhǔn)偏差計(jì)算方式同RGB顏色空間各分量。

1.2.2 煙葉形態(tài)特征提取

先對(duì)采集的原始圖像進(jìn)行濾波處理，然后選擇合適的閾值對(duì)濾波后的圖像進(jìn)行二值化處理分割出煙葉區(qū)域，得到煙葉部分的連通區(qū)域，根據(jù)連通區(qū)域的像素位置獲取所述煙葉的面積、長(zhǎng)、寬和周長(zhǎng)。

1）煙葉面積計(jì)算。圖像二值化后，背景像素為0，煙葉區(qū)域像素為1，統(tǒng)計(jì)二值化圖像矩陣中像素為1 的數(shù)量記作S，那么S為煙葉圖像的面積。

2）煙葉長(zhǎng)寬計(jì)算。計(jì)算連通區(qū)域的最小外接矩形，將外接矩形的長(zhǎng)L 記作煙葉的長(zhǎng)度，外接矩形的寬W記作煙葉的寬度。

3）煙葉周長(zhǎng)計(jì)算。提取連通區(qū)域的輪廓，該輪廓為煙葉的輪廓，利用8 鄰域鏈碼跟蹤煙葉的輪廓，得到輪廓鏈碼，周長(zhǎng)的計(jì)算公式為：，其中，Nodd為8 鄰域鏈碼中奇數(shù)碼的數(shù)量，Neven為8 鄰域鏈碼中偶數(shù)碼的數(shù)量。8鄰域鏈碼示意圖如圖1 所示，圖中黑色的圓點(diǎn)表示二值化中像素為1 的點(diǎn)（輪廓上的任意一點(diǎn)），周?chē)? 個(gè)方向?yàn)辄c(diǎn)的鏈碼方向，如方向3 中也存在像素為1 的點(diǎn)，那么該點(diǎn)的8 鄰域編碼為3。

圖1 8 鄰域鏈碼示意圖

2 結(jié)果與分析

2.1 煙葉圖像預(yù)處理

由于采集的煙葉的原始圖像會(huì)存在一定的噪聲，因此采用濾波消除噪聲干擾，在進(jìn)行二值化處理的時(shí)候盡量提取煙葉所在區(qū)域。圖2 中（a）為原始煙葉圖像，（b）濾波后的灰度圖，（c）為二值化圖像。

圖2 圖像預(yù)處理

煙葉輪廓提取和最小外接矩形，如圖3所示。

圖3 輪廓提取和最小外接矩形

2.2 煙葉部位識(shí)別

將RGB 顏色模型和HSV 顏色模型各分量的均值和標(biāo)偏以及煙葉周長(zhǎng)、面積、長(zhǎng)和寬作為特征變量，共計(jì)16個(gè)特征變量。

將300 個(gè)樣本分成兩部分，其中210 個(gè)樣本作為訓(xùn)練集，另外90 個(gè)樣本作為測(cè)試集。將測(cè)試集中90個(gè)煙葉樣本16 個(gè)特征進(jìn)行主成分分析，前兩個(gè)主成分得分圖如圖4 所示。從圖4 可以看出，三個(gè)部位的煙葉重疊嚴(yán)重，利用主成分分析很難將它們區(qū)分開(kāi)。

圖4 90 個(gè)煙葉樣本16個(gè)特征的前兩個(gè)主成分得分圖

分別運(yùn)用Fisher線(xiàn)性判別分析（Fisher's Linear Discriminant Analysis,LDA）、樸素貝葉斯分類(lèi)器（Naive Bayesian Classifier）、支持向量機(jī)（Support Vector Machine,SVM）、K最近鄰（k-Nearest Neighbor,KNN）分類(lèi)算法和BP 神經(jīng)網(wǎng)絡(luò)進(jìn)行判別分析。圖5是采用LDA 對(duì)訓(xùn)練集進(jìn)行建模分析，90 個(gè)測(cè)試集樣本的前兩個(gè)得分圖，從圖中可以看出上部煙可以很好地區(qū)分開(kāi)，但是中部煙和下部煙重疊還是比較嚴(yán)重。

圖5 90 個(gè)煙葉樣本LDA 前兩個(gè)得分圖

采用不同分類(lèi)方法得到的預(yù)測(cè)結(jié)果如表1 所示，從結(jié)果上看樸素貝葉斯分類(lèi)器效果最好，正確率為88.89%。從表中還可以看出上部煙預(yù)測(cè)正確率最高，中部煙和下部煙預(yù)測(cè)正確率較上部煙偏低。

表1 不同分類(lèi)方法預(yù)測(cè)結(jié)果

3 討論

綜合已有相關(guān)研究，當(dāng)前大部分研究成果都是通過(guò)靜態(tài)采集方式對(duì)煙葉圖像進(jìn)行采集，經(jīng)計(jì)算機(jī)的處理獲得煙葉的外觀(guān)特征，但隨著對(duì)產(chǎn)區(qū)煙葉的深入研究及對(duì)分級(jí)要求的更加嚴(yán)格，對(duì)部位等級(jí)識(shí)別的精度也提出了更高要求[13]。通常情況下，煙葉特征會(huì)因?yàn)槟攴?、產(chǎn)區(qū)、品種、等級(jí)及貯存條件的不同而呈現(xiàn)差異，這些信息較大程度上能夠表現(xiàn)在煙葉的外觀(guān)差異上，產(chǎn)區(qū)也是導(dǎo)致煙葉特征差異的重要因素，相關(guān)問(wèn)題對(duì)實(shí)現(xiàn)煙葉自動(dòng)化批量檢測(cè)造成一定困難[14-15]。在識(shí)別過(guò)程中，受環(huán)境光線(xiàn)、拍攝設(shè)備穩(wěn)定性等因素的影響，增加了對(duì)圖像預(yù)處理的難度，也降低了圖像預(yù)處理結(jié)果的精確度和時(shí)效性[16-17]。此外，煙葉擺放的位置也對(duì)煙葉圖像采集質(zhì)量產(chǎn)生一定影響，易對(duì)采集圖顏色造成影響；而煙葉烘烤后產(chǎn)生的皺縮、壓痕和破損及煙葉表面病斑等，均會(huì)對(duì)煙葉形態(tài)的圖像采集及成像質(zhì)量產(chǎn)生不同程度的影響[18-19]。為獲得更有價(jià)值的煙葉特征，對(duì)煙葉的品質(zhì)進(jìn)行控制和嚴(yán)格的分級(jí)及貯存標(biāo)準(zhǔn)，有利于提高煙葉圖像信息提取的準(zhǔn)確性。

現(xiàn)有研究中，煙葉的部位及等級(jí)對(duì)煙葉加工過(guò)程中的加料和摻配均勻性有一定影響，進(jìn)而對(duì)最終卷煙產(chǎn)品的穩(wěn)定性產(chǎn)生影響。沿用人工評(píng)定的方式，在時(shí)效和判定結(jié)果的精準(zhǔn)度上仍會(huì)受專(zhuān)家的主觀(guān)因素影響。因此，基于機(jī)器視覺(jué)對(duì)煙葉外觀(guān)特征的提取，進(jìn)行煙葉部位識(shí)別的研究尤為重要。煙葉圖像中的顏色、長(zhǎng)度、寬度、面積和周長(zhǎng)等是計(jì)算機(jī)對(duì)煙葉部位進(jìn)行識(shí)別的重要判別信息。本研究表明，該方法對(duì)上部煙的識(shí)別準(zhǔn)確率最高，為88.89%，中部煙和下部煙的識(shí)別率較低，這表明貴州遵義煙區(qū)上部煙葉外觀(guān)特征提取更加明顯。