基于圖像處理與機器學(xué)習(xí)的初烤含青煙葉辨別及含青程度識別研究*

李 崢，徐志強**，張曉兵，林珈夷，鐘永健，徐均華，張趙鵬，焦得平

(1.浙江中煙工業(yè)有限責(zé)任公司 技術(shù)中心，浙江 杭州 310024；2.上海創(chuàng)和億電子科技發(fā)展有限公司，上海 200082)

由于田間農(nóng)藝管理措施不當，煙葉采收成熟度不足，或烘烤調(diào)制工藝與煙葉素質(zhì)不匹配等多方面原因，將導(dǎo)致初烤煙葉出現(xiàn)含青的現(xiàn)象[1，2].烤煙國標將含青煙葉歸為副組煙，外觀質(zhì)量表現(xiàn)較差，初烤煙葉按含青程度又分為微帶青和青黃兩種類型.含青煙由于營養(yǎng)物質(zhì)轉(zhuǎn)化不充分，內(nèi)在化學(xué)成分不協(xié)調(diào)，在煙葉評吸時表現(xiàn)出香氣質(zhì)差、香氣量少、青雜氣重、刺激性強等特點[3-5].含青煙葉由于吸食質(zhì)量差的特性很難配伍到葉組配方中，工業(yè)企業(yè)為保證卷煙產(chǎn)品感官評吸質(zhì)量的穩(wěn)定，在原料分選環(huán)節(jié)會嚴格把控含青煙葉混入正組煙葉的比例.

隨著交叉學(xué)科與檢測儀器的不斷發(fā)展與融合，近年來計算機圖像處理技術(shù)在農(nóng)業(yè)領(lǐng)域得到廣泛應(yīng)用[6-10].該項技術(shù)也逐步拓展到了煙葉生產(chǎn)中，例如：李增盛等[11]基于圖像處理技術(shù)提取烘烤過程中煙葉圖像的顏色特征和紋理特征，構(gòu)建了煙葉烘烤階段判別模型；潘治利等[12]利用圖像處理技術(shù)提取不同產(chǎn)區(qū)煙葉圖像特征，并進行歸類分析；史龍飛等[13]基于機器視覺技術(shù)提取不同成熟度煙葉圖像的顏色和紋理特征，實現(xiàn)煙葉成熟度的區(qū)分檢測.而目前關(guān)于初烤含青煙的研究大多只關(guān)注于含青煙葉的成因分析及對應(yīng)措施，缺少應(yīng)用計算機圖像處理技術(shù)辨別初烤含青煙葉，并識別含青程度的相關(guān)研究.而技術(shù)手段方面，支持向量機(SVM)因其解決非線性、高維數(shù)等問題的特有優(yōu)勢[12，14，15]，已被應(yīng)用于圖像處理識別領(lǐng)域.有大量研究[10，16，17]將圖像處理技術(shù)與SVM模型結(jié)合進行圖像的識別和分類，目前已形成較為成熟的配套使用體系.將圖像處理和機器學(xué)習(xí)技術(shù)綜合應(yīng)用于初烤煙葉圖像輔助識別，相對于傳統(tǒng)的人工作業(yè)，將大幅度提高選葉效率和準確率.

本研究首先通過含青程度參比樣的構(gòu)建和圖片采集，篩選出提取煙葉圖像含青區(qū)域的最優(yōu)顏色通道和顏色參數(shù)閾值范圍，之后基于SVM構(gòu)建烤煙含青程度識別模型，并進行訓(xùn)練和測試，以解決不同類型含青煙的識別問題，并提高識別的準確率和效率，實現(xiàn)不同含青程度煙葉的快速準確檢測，為智能化煙葉分級體系構(gòu)建提供部分研究數(shù)據(jù)支撐.

1 材料與方法

1.1 供試材料

供試烤煙品種為云煙87，含青煙葉樣品采集于云南、湖南、湖北、貴州、河南、廣西6個產(chǎn)煙省份，樣品產(chǎn)地具體涉及18個地市的41個縣(區(qū)).共收集2021年初烤煙葉樣品83份，每份 1.5 kg.供試材料按用途分為兩類，一類為含青程度參比樣，用于煙葉圖像處理方式選擇、含青區(qū)域顏色檢測通道確定、顏色通道檢測閾值篩選；另一類為模型訓(xùn)練及驗證樣品，用于搭建模型的學(xué)習(xí)數(shù)據(jù)庫，并驗證模型對含青煙葉類別識別的準確性.

1.2 試驗方法

1.2.1 含青程度參比樣制備

為保證參比樣含青程度梯度界限清晰，組織7名省級及以上煙葉分級技術(shù)能手，成立含青程度參比樣制作小組.依據(jù)煙葉支脈含青條數(shù)及葉面含青程度對各地市的樣品進行篩選.分選出含青程度依次遞增的煙葉17片構(gòu)成參比樣，經(jīng)Friedman檢驗和定向成對比較檢驗，相鄰梯度樣品間差異顯著，表明含青程度檔次劃分合理.

1.2.2 模型訓(xùn)練及驗證樣品

依據(jù)GB 2635—92烤煙分級標準，由上述評價小組對各地市的煙葉樣品按正組煙葉、微帶青、青黃3個檔次進行分選，篩選標準如表1所示.剔除不可用煙葉后，最終篩選出無病斑、蟲蛀、葉面完整的正組、微帶青、青黃煙葉各405片.

表1 正組及不同含青程度煙葉篩選標準

1.2.3 煙葉圖像采集

煙葉樣品的圖像采集處理作業(yè)在浙江中煙技術(shù)中心煙葉評級實驗室進行，圖像采集裝置為定制設(shè)備，由上海創(chuàng)和億公司生產(chǎn).裝置主體由暗箱、拍攝裝置、溫濕度平衡裝置組成.將單片煙葉放置于暗箱中，打開光源，由拍攝裝置進行煙葉圖像采集，相機拍攝角度與工作臺面垂直，以獲取完整的圖像信息.拍攝環(huán)境溫度 23 ℃、相對濕度75%.

1.2.4 煙葉圖像處理

為避免煙葉圖像中無關(guān)區(qū)域的干擾，需對圖像中除煙葉之外的區(qū)域進行剔除處理.背景與陰影等無關(guān)區(qū)域的剔除分析方法為：

1)尋找煙葉本身與無關(guān)區(qū)域的差異，比較煙葉圖像在RGB顏色空間、HSV顏色空間中各顏色通道的差異性.由于煙葉自身顏色與背景顏色存在明顯差異，分析發(fā)現(xiàn)HSV顏色空間中的S通道能夠輕易區(qū)分煙葉本身和無關(guān)區(qū)域.在S通道背景區(qū)域像素值為0，因此，提取煙葉本身的像素值范圍為S通道的1～255之間.通過設(shè)定提取煙葉本身的S閾值范圍，獲得煙葉的二值化圖像.

2)計算二值化圖像的所有連通區(qū)域，去除煙葉本身區(qū)域之外的所有小面積區(qū)域，獲得煙葉本身的二值化掩碼.

3)將提取煙葉的二值化掩碼轉(zhuǎn)換為RGB三通道圖像，其中RGB每個通道的像素值均為煙葉掩碼二值化單通道像素值.

4)將煙葉原圖與煙葉三通道掩碼進行矩陣乘法運算，獲得剔除無關(guān)區(qū)域的煙葉本身圖像.

1.2.5 主脈圖像提取

由于含青程度不僅與含青面積相關(guān)，也與含青位置相關(guān)，因此需要判定含青像素點是位于葉脈還是葉面.為準確獲取主脈的像素點位置坐標，進行了煙葉主脈圖像提取，具體方法為：

1)對背面透光圖像進行g(shù)amma校正，實現(xiàn)對圖像亮暗程度的調(diào)節(jié).gamma校正方法如下式：

Pf=255×(Pb/255)(1/G).

其中Pf為校正前的像素值，Pb為校正后的像素值，G為gamma校正因子，取值范圍一般為(0.01，7.99).經(jīng)篩選本方法G取0.2為最優(yōu)值.

2)提取校正后背面透光圖像的HSV顏色通道的V通道.

3)計算V通道圖像的最外層輪廓，并將V通道輪廓外的像素值賦值為255.

4)將V通道像素值進行聚類成3個簇，依次為葉脈、葉面、背景，像素值從低到高.根據(jù)聚類中心的像素值，提取葉脈.

5)計算上一步獲取葉脈區(qū)域的所有外部輪廓，保留最大的輪廓所在區(qū)域，將其作為最終的葉脈.由于葉面存在皺縮，尤其是上部煙葉，存在主脈被葉面部分遮擋的情況，此時保留最大連通區(qū)域后會丟失部分主脈區(qū)域.可通過提取煙葉骨架，判斷所有連通區(qū)域是否與骨架區(qū)域存在重疊，若有重疊，則該連通區(qū)域也為主脈.

1.2.6 煙葉含青區(qū)域檢測顏色通道選擇

由于含青煙葉樣本數(shù)量較大，為避免數(shù)據(jù)冗余，出現(xiàn)含青區(qū)域識別模糊、含青程度界限不明顯等情況.以制備的含青程度參比樣為分析對象，通過分析其在RGB、HSV、Lab、LUV這4個不同顏色空間的各個顏色參數(shù)單通道圖像中青色位置的像素值情況，最終確定Lab顏色空間的a通道和LUV顏色空間的U通道，在煙葉含青區(qū)域與非含青區(qū)域存在明顯差異，因此選取a、U兩個通道進行含青區(qū)域的表征.

1.2.7 煙葉含青程度識別模型的構(gòu)建

基于支持向量機(SVM)構(gòu)建煙葉樣品含青程度識別模型.SVM主要用于分類和回歸分析，是一種監(jiān)督式學(xué)習(xí)的方法.核函數(shù)選用rbf徑向基函數(shù)，擬合模型前啟用概率估計，不施加懲罰量，不限制迭代次數(shù)，按照誤差值確認停止模型擬合，所以max_iter設(shè)置為-1.懲罰因子c表征對誤差的寬容程度，其范圍從0.1～500進行網(wǎng)格搜索(GridSearchCV)，核函數(shù)中的參數(shù)g表征了模型的復(fù)雜程度，其最優(yōu)值選取從0.001～1范圍內(nèi)進行網(wǎng)格搜索.最終選取的最優(yōu)參數(shù)c為100，參數(shù)g為0.001.

1.3 軟件工具

建模、測試及分析是在Windows Server 2010操作系統(tǒng)下，使用軟件Python 3.9作為編程語言實現(xiàn)，并采用matplotlib 3.5.2庫實現(xiàn)數(shù)據(jù)可視化.Numpy 1.19和Pandas 1.4庫用于數(shù)據(jù)整理和分析.通過Scikit-learn庫中的Pipeline將數(shù)據(jù)標準化和模型訓(xùn)練串聯(lián)，避免數(shù)據(jù)泄露.

2 結(jié)果與分析

2.1 煙葉圖像背景剔除

由于煙葉樣品含青部分與其他部分的顏色表征參數(shù)存在差異，采用濾波處理會過濾一些青色像素值.為避免對后期圖像青色提取產(chǎn)生影響，未對圖片進行去噪聲和濾波處理.但為排除煙葉本身之外因素的干擾，對拍攝的原始煙葉圖像進行了背景剔除處理.由于煙葉原始圖像陰影干擾明顯，而透光圖像幾乎不存在陰影，因此，采用透光圖像對煙葉正面和背面圖像進行背景剔除.處理后的煙葉樣品圖像如圖1所示.

(a)剔除背景的煙葉原圖 (b)經(jīng)透光處理的煙葉正面圖像 (c)經(jīng)透光處理的煙葉背面圖像圖1 煙葉圖像的處理

2.2 主脈圖像提取

煙葉為典型異面葉[18]，主脈凸起部分位于葉片背面.從拍攝的煙葉圖片效果來看，在背面透光圖像中，可明顯地觀察到主脈，且顯示其與葉面存在明顯差異，因此可對背面透光圖進行處理以提取清晰完整的主脈圖像.提取后的主脈顯示情況如圖2所示.

圖2 主脈提取圖像

2.3 確定煙葉含青區(qū)域檢測的顏色通道

煙葉圖像在a通道和U通道分量值的顯示情況如圖3所示，為了準確表征含青程度的顏色特征，還需計算a、U兩個通道的百分位數(shù)特征.

(a)剔除背景的煙葉原圖 (b)煙葉樣品在a通道的分量值 (c)煙葉樣品在U通道的分量值圖3 煙葉在不同顏色通道分量的顯示

基于青色在a通道與U通道相對較明顯的結(jié)果，為從中選出最佳青色檢測顏色通道的分位值，計算17片參比樣煙葉相應(yīng)顏色通道的分位數(shù)與含青程度排序結(jié)果的相關(guān)性.將相關(guān)性最大的顏色通道分位值作為最終的煙葉含青區(qū)域檢測的道，具體步驟如下：

1)計算含青程度依次遞增的煙葉樣品在a、U兩個顏色通道的像素值分位數(shù)，分位數(shù)范圍分別為(0.1，0.01)，每一個分位數(shù)作為一個特征，總共得到200個分位數(shù)顏色特征.

2)計算所有分位數(shù)特征以及圖片序號在內(nèi)的相關(guān)系數(shù)矩陣，得到200×200的相關(guān)系數(shù)結(jié)果.

3)提取各分位數(shù)特征與含青煙葉參比樣排序結(jié)果的相關(guān)系數(shù)，相關(guān)系數(shù)統(tǒng)計情況如圖4所示.由圖4可知，a通道與含青程度的相關(guān)系數(shù)普遍且明顯高于U通道，因此確定Lab顏色空間的a通道為煙葉含青區(qū)域檢測通道.

圖4 a通道和U通道分位數(shù)特征與含青程度相關(guān)系數(shù)

4)將a通道和U通道分位數(shù)與含青程度的相關(guān)系數(shù)結(jié)果進行排序統(tǒng)計，并保留排名前10的分位數(shù)特征，結(jié)果如表2所示.

表2 a通道、U通道與含青程度相關(guān)系數(shù)排名前10的分位數(shù)特征

由表2可知，a通道分位數(shù)0.01，0.02，0.03，0.04，0.05，0.06，U通道分位數(shù)0.01，0.02，0.03，0.04，與含青程度的相關(guān)性較高.其中，a通道0.01分位數(shù)與含青程度的相關(guān)系數(shù)最大.因此，將a通道0.01分位數(shù)作為青色檢測的顏色通道.

2.4 確定煙葉含青區(qū)域檢測閾值

為了在Lab顏色空間的a通道更為準確地提取青色，需明確與含青程度相關(guān)性最高的顏色閾值(L1，L2).a通道顏色像素值范圍為(128，255)，結(jié)合實際煙葉圖像，設(shè)定青色像素值合理范圍為(128，145).對處于此范圍的顏色閾值進行窮舉，計算相應(yīng)閾值下的含青比例，并將結(jié)果與專家制備的參比樣順序進行相關(guān)分析，取相關(guān)性最高的合理閾值作為青色檢測的閾值.

窮舉偽碼為：

for L1 in range(128，145)：

for L2 in range(128，145)：

if L1 >= L2：

continue

各閾值范圍下參比樣的含青比例與煙葉含青程度順序的相關(guān)系數(shù)統(tǒng)計情況如表3所示.可知，相關(guān)程度達到顯著水平以上的閾值范圍共6組，其中青色檢測閾值(141，142)條件下，含青比例與含青程度的相關(guān)系數(shù)最高，因此確定煙葉含青區(qū)域檢測閾值范圍為(141，142).

表3 不同閾值范圍下含青比例與含青程度相關(guān)系數(shù)

2.5 含青程度識別模型測試

將篩選后的正組、微帶青、青黃煙葉樣本分別按照8∶2的比例劃分為訓(xùn)練集和測試集，采用Lab顏色模型的a通道0.01分位數(shù)為建模特征進行模型測試，模型對測試集的混淆矩陣如圖5所示.測試集243個樣本中，對于正組煙葉、微帶青煙葉、青黃煙葉的綜合分類準確率達到86.01%.從混淆矩陣圖可以看出，構(gòu)建的含青程度識別模型對正組煙葉和微帶青煙葉的區(qū)分能力較好.正組煙葉與微帶青煙葉的測試集有81個樣本，其中，正組煙葉預(yù)測準確率達到95.61%，微帶青煙葉預(yù)測準確率達到87.65%.模型對青黃煙葉的預(yù)測準確率為75.31%，其問題主要為青黃煙葉與微帶青煙葉識別界限不清晰，識別準確率有待提升.

圖5 模型在測試集上的混淆矩陣

3 結(jié)論與討論

含青煙葉的準確識別是煙葉分級領(lǐng)域的難點，本試驗在煙葉樣品整理過程中制備出一套含青程度參比樣，通過已知煙葉含青程度排序進行煙葉圖像處理方式的選擇，以及含青區(qū)域顏色檢測通道和檢測閾值的篩選，保證了從煙葉圖像中提取含青區(qū)域參數(shù)設(shè)置的合理性和科學(xué)性.煙葉正面透光圖像可全面反映葉脈、葉面的信息，因此針對煙葉正面透光圖像進行含青區(qū)域提取.考慮煙葉為典型異面葉，葉面正面和背面主脈圖像所呈現(xiàn)的信息不同，本文提出了一種通過煙葉背面透光圖像提取主脈圖像的方式.在實際煙葉生產(chǎn)中，對于煙葉等級的判定基本以葉片正面為主，并且在后續(xù)分析中發(fā)現(xiàn)，判斷煙葉含青程度的更佳方式是通過顏色通道的分位數(shù)來表征[19]，而分位數(shù)不存在位置信息，因此本試驗未對提取的主脈圖像進行單獨分析.

本試驗采用圖像處理提取識別微帶青煙葉和青黃煙葉的含青區(qū)域，并基于最優(yōu)顏色模型，采用SVM算法構(gòu)建不同含青程度煙葉的識別模型，模型對測試樣本的研究結(jié)果表明準確率達到86.01%.混淆矩陣圖顯示模型對正組煙葉和微帶青煙葉的識別準確率較高，而對于青黃煙葉的識別準確率相對偏低，識別錯誤表現(xiàn)為將部分青黃煙葉識別為微帶青葉.分析認為，與分級人員通過感官辨別含青程度的方式相比，由于存在像素和拍攝角度限制等問題，采用相機拍攝煙葉圖像提取含青區(qū)域較易引起圖像出現(xiàn)不同程度的失真情況[20]，后期應(yīng)將煙葉圖像與分級人員識別結(jié)果相結(jié)合進行再驗證，最大限度地保證煙葉圖像與分級人員感官的匹配，使煙葉圖像所反映的信息與實際煙葉相符度更高.此外，樣本的數(shù)量與代表性對模型的訓(xùn)練學(xué)習(xí)效果有著重要影響.由于不同產(chǎn)區(qū)煙葉外觀質(zhì)量存在明顯差異[21，22]，該模型的普適性有待進一步認證.本文所構(gòu)建的模型為基礎(chǔ)模型，后續(xù)可納入更多產(chǎn)地?zé)熑~的差異化特征，在模型搭建過程中進行遷移學(xué)習(xí)，使模型更具泛化能力，逐步提升模型的普適性和準確度.