基于BPNN和SVM的煙葉成熟度鑒別模型

謝濱瑤，祝詩平，黃華

西南大學(xué)工程技術(shù)學(xué)院，重慶 400716

成熟度是煙葉質(zhì)量品質(zhì)的重要指標(biāo)[1-2]。但目前煙葉生產(chǎn)中大多仍采用人工采收、肉眼鑒別成熟度的方法，很難保證準(zhǔn)確率與效率。因此，如何快速準(zhǔn)確鑒別煙葉成熟度是研究的熱點。美國學(xué)者Thomas等[3]將圖像處理技術(shù)應(yīng)用于煙葉研究，成功提取煙葉圖像特征。Dasari[4]利用深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)鑒別煙葉成熟度，準(zhǔn)確率為85.10%。相對于煙葉成熟度，國外學(xué)者對果蔬成熟度[5]的研究更多，國內(nèi)對煙葉成熟度的研究已有一些報道。汪強等[6]基于計算機視覺技術(shù)建立了SPAD值與煙葉成熟度的關(guān)系模型。SPAD計可即時測量植物葉綠素含量（SPAD值），但SPAD計屬單一波段反射儀器，反射率穩(wěn)定性差，易受環(huán)境因素影響。史龍飛等[7]研究了基于機器視覺技術(shù)鑒別煙葉成熟度，準(zhǔn)確率為93.67%。王杰等[8]研究了基于極限學(xué)習(xí)機鑒別煙葉成熟度，準(zhǔn)確率為96.43%。李青山等[9]研究表明基于高光譜參數(shù)鑒別煙葉成熟度是可行性的。高憲輝等[10]研究了通過顏色值指標(biāo)鑒別煙葉成熟度，準(zhǔn)確率為95.60%。

上述研究是將煙葉樣本通過采樣箱帶回實驗室，由固定光源拍攝成像，而不是采收環(huán)節(jié)中直接拍攝成像。本研究通過提取植株顏色特征和紋理特征，在采收現(xiàn)場直接拍攝成像，并建立基于BP神經(jīng)網(wǎng)絡(luò)的煙葉成熟度鑒別模型（Identification Model of Tobacco Leaf Ripeness Based on Back Propagation Neural Network，IMTLR-BPNN）和基于支持向量機的煙葉成熟度鑒別模型（Identification Model of Tobacco Leaf Ripeness Based on Support Vector Machine，IMTLRSVM）。

1 煙葉圖像采集

本試驗樣本從重慶市武隆區(qū)火爐鎮(zhèn)徐家村煙葉園區(qū)獲得，分別于2017年7月16日、7月30日分2次在種植現(xiàn)場植株上自然光照下直接拍攝整片下部煙葉，共采集圖像樣本324份。采集時間為傍晚17:30-18:30，此時光照均勻。由VGA-工業(yè)相機采集樣本，分辨率為1024*768。由火爐鎮(zhèn)煙草部門烤煙技術(shù)人員鑒別煙葉成熟度，最終結(jié)果為：未熟樣本171份，適熟樣本102份，過熟樣本51份。隨機選取總樣本的3/4作為訓(xùn)練集，共243份，余下1/4作為測試集，共81份。

2 圖像特征提取

2.1 目標(biāo)圖像提取

快速準(zhǔn)確地提取目標(biāo)圖像是快速鑒別成熟煙葉的基礎(chǔ)。通過雙三次插值算法將原圖像分辨率由1024×768壓縮為298×248。某煙葉樣本原始圖像經(jīng)壓縮后如圖1a所示。樣本的目標(biāo)區(qū)域為煙葉，顏色為綠色、黃色、以及不同程度的黃綠色。其背景區(qū)域大部分為褐色泥土，小部分為黑色地膜和綠色雜草。背景區(qū)域中除了極小部分與目標(biāo)區(qū)域顏色相近，絕大部分都與目標(biāo)區(qū)域的顏色相差較大。因此采用基于RGB顏色空間的彩色圖像分割算法[11]提取目標(biāo)圖像。

將原始壓縮圖像分解成R、G和B通道圖像，對其進行算術(shù)運算分別獲得圖像R+G+B、R+B、R+G、B+G、R-B、R-G、G-B、G-R、B-R和B-G，共10幅合成圖像，依次編號為C1～C10。按式（1）計算其相對對比度，某煙葉樣本結(jié)果如表1所示。

表1 合成圖像對比度Tab.1 The contrast ratio of composite image

式中CR為對比度，bL為目標(biāo)區(qū)域平均灰度值，aL為背景區(qū)域平均灰度值。

表1中C7目標(biāo)和背景區(qū)域的相對平均灰度值最大。因此，選取G-B圖像通過閾值分割算法[12]進行分割，得到的圖像如圖1b所示。目標(biāo)區(qū)域中的噪聲可通過孔洞填充算法[13]除去。背景區(qū)域中的噪聲較小，因此可以先對圖像進行腐蝕，除去噪聲點，然后通過膨脹處理，還原被腐蝕掉的目標(biāo)區(qū)域邊緣，得到煙葉目標(biāo)區(qū)域的二值圖像（用Q表示），如圖1c所示。煙葉目標(biāo)圖像按式（2）獲得，如圖1d所示。

式中·為點積運算；Q為目標(biāo)區(qū)域的二值圖像；NR, NG, NB分別為原始壓縮圖像的R、G、B三個分量圖像；MR, MG, MB分別為目標(biāo)圖像的R、G、B三個分量圖像，M為目標(biāo)圖像。

圖1 煙葉圖像分割過程Fig.1 Segmentation process of tobacco leaf image

2.2 顏色特征

分割得到的目標(biāo)圖像為RGB（紅、綠、藍(lán)）顏色模型，模型中的所有顏色可由R、G、B表示，其取值范圍為[0, 255]。RGB分別代表紅色、綠色和藍(lán)色，當(dāng)R、G、B均最小時，圖像顯示為黑色，當(dāng)R、G、B均最大時，圖像顯示為白色，當(dāng)R、B均較小，而G較大時，圖像顯示為綠色，當(dāng)B較小，而R、G均較大時，圖像顯示為黃色。

將目標(biāo)圖像的RGB顏色模型轉(zhuǎn)換為HSV（色調(diào)、飽和度、明度）顏色模型。H代表圖像的色調(diào)，取值范圍為[0°，360°]，當(dāng)H為60°時，圖像顯示為黃色，當(dāng)H為120°時，圖像顯示為綠色。S為圖像顏色的飽和度，取值范圍為[0，1]，S的值越大，圖像顏色越深。V為圖像顏色的明度，取值范圍為[0，1]，V的值越大，圖像顏色越明亮。計算所有樣本圖像的R、G、B、H、S和V值，不同成熟度煙葉顏色特征范圍如表2所示。

由表2可知，在RGB顏色模型中，未熟煙葉的G較大，而R、B均較小，說明煙葉此時為綠色，尚未成熟。隨著煙葉成熟度的增大，B變化不大，其值仍然較小，而R、G逐漸增大，表明隨著成熟度的增加，煙葉顏色逐漸由綠色變?yōu)辄S色。在HSV顏色模型中，隨著煙葉成熟度的增大，H值逐漸由118.10°減小為58.41°，說明煙葉的顏色由綠色逐漸轉(zhuǎn)變?yōu)辄S色。表明隨著成熟度的增大，煙葉會從綠色變?yōu)辄S色。隨著成熟度的增加，S、V值逐漸增大，說明隨著煙葉的成熟度的增大，煙葉顏色變深，主脈變亮。除B外，其余顏色特征均從不同角度描述了圖像的顏色信息，反映了煙葉在成熟過程中的顏色變化。

表2 不同成熟度煙葉的顏色特征值Tab.2 Color feature values of tobacco leaves with different maturity

2.3 紋理特征

存在某種空間關(guān)系的像素間聯(lián)合分布稱為灰度共生矩陣，記為Pδ，灰度級為L，則Pδ是一個L×L的矩陣。某元素Pδ（i，j）空間位置關(guān)系為δ=（Dx，Dy），選取水平方向，即δ=0。

能量是灰度共生矩陣元素值的平方和，反映了圖像紋理的粗細(xì)程度，其值越大，紋理越粗。按下式可計算目標(biāo)圖像的能量。

熵為圖像包含的信息量，反映圖像紋理復(fù)雜程度，其值越大，紋理越復(fù)雜。按下式可計算熵。

慣性矩也稱逆差矩，值越均勻，慣性矩越小。按下式可計算慣性矩。

相關(guān)性度量灰度共生矩陣在行或列方向上的相似程度，其值越大，紋理越一致。按下式可計算相關(guān)性。

式中：

計算所有樣本圖像的能量、熵、慣性矩和相關(guān)性的值，不同成熟度煙葉紋理特征范圍如表3所示。

表3 不同成熟度煙葉的紋理特征值Tab.3 Vein feature values of tobacco leaves with different maturity

由表3可知，隨著煙葉成熟度的增加，能量的值逐漸增大，說明未熟煙葉表面光滑，紋理較細(xì)，隨著成熟度的增加，煙葉葉片組織疏松，含水量適中，紋理變粗。煙葉從未熟到過熟，熵的值變小，表明煙葉的成熟度越高，圖像紋理越簡單。隨著煙葉成熟度的增加，慣性矩變大，說明煙葉的成熟度越高，紋理越均勻。煙葉由未熟成長為過熟，相關(guān)性增大，說明成熟煙葉紋理較一致。這些紋理特征從不同角度描述了圖像的紋理信息，反映了煙葉成熟過程中的紋理變化。

3 煙葉成熟度鑒別模型的建立

3.1 基于BP的煙葉成熟度鑒別模型（IMTLR-BPNN）

BP神經(jīng)網(wǎng)絡(luò)模型是一種前向多層反向傳播學(xué)習(xí)算法[14]。它根據(jù)預(yù)測誤差調(diào)整網(wǎng)絡(luò)權(quán)值，使預(yù)測輸出不斷逼近期望輸出。取R、G、H、S、V均值和能量ASM、熵ENT、慣性矩INE、相關(guān)性CORRL，共9個特征作為輸入。煙葉的成熟度作為輸出，未熟煙葉記為標(biāo)簽“1”，適熟煙葉記為標(biāo)簽“2”，過熟煙葉記為標(biāo)簽“3”。其網(wǎng)絡(luò)結(jié)構(gòu)圖如圖2所示。

隱含層的單元數(shù)按下式計算。

式中h、m、n依次為隱含層、輸入層、輸出層單元數(shù)，a為1～10之間的調(diào)節(jié)常數(shù)。經(jīng)過反復(fù)多次訓(xùn)練，發(fā)現(xiàn)當(dāng)a為2時，網(wǎng)絡(luò)收斂最快，效果最好，此時迭代步數(shù)為5。取m=9，n=1，a=2，則h=6，即隱含層的單元數(shù)為6。表示向上取整。

圖2 模型IMTLR-BPNN的網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 Network structure of model IMTLR-BPNN

訓(xùn)練集樣本的9個特征作為輸入，建立基于BP神經(jīng)網(wǎng)絡(luò)的煙葉成熟度鑒別模型IMTLR-BPNN。訓(xùn)練過程中，該模型的誤差變化曲線如圖3a所示。由圖可知，當(dāng)?shù)螖?shù)為5時，均方誤差逐漸收斂于零，說明該模型對應(yīng)的函數(shù)收斂較快且誤差較小。該模型對測試集中81份樣本進行20次預(yù)測，結(jié)果不穩(wěn)定，準(zhǔn)確率取平均值為93.83%。其中一次的預(yù)測結(jié)果如圖3b所示，43份未熟樣本全部預(yù)測正確；26份適熟樣本中有1份被錯誤預(yù)測為未熟樣本，1份被錯誤預(yù)測為過熟樣本；12份過熟樣本中有2份被錯誤預(yù)測為適熟樣本；共有4份樣本預(yù)測錯誤，準(zhǔn)確率為95.06%。

本試驗使用的計算機名為DESKTOP-3GIDB2N，Windows版本為Windows10教育版，系統(tǒng)類型為64位操作系統(tǒng)，處理器為Intel（R） Celeron（R） CPU G3930 @2.90GHz 2.90GHz。使用的軟件MATLAB版本為2017b。一份樣本圖像從壓縮到通過模型IMTLR-BPNN預(yù)測成熟度，用時約為0.339 s,其中壓縮用時約為0.138 s。

圖3 模型 IMTLR-BPNN的訓(xùn)練和輸出Fig.3 Training and output of model IMTLR-BPNN

3.2 基于SVM的煙葉成熟度鑒別模型（IMTLR-SVM）

支持向量機選擇與BP神經(jīng)網(wǎng)絡(luò)相同的輸入和輸出。輸入的數(shù)據(jù)歸一化后，利用粒子群（Particle Swarm Optimization，PSO）算法對支持向量機的參數(shù)進行優(yōu)化，訓(xùn)練集樣本用來訓(xùn)練支持向量機，得到模型IMTLR-SVM。

利用PSO優(yōu)化支持向量機的參數(shù)，其種群數(shù)為20，終止代數(shù)為100，支持向量機參數(shù)c范圍為[0.1,10000]，支持向量機參數(shù)g范圍為[0,1]，經(jīng)過PSO優(yōu)化后，參數(shù)c的最佳值為1062.65，參數(shù)g的最佳值為0.03。粒子群算法進化曲線如圖4a所示，各代平均適應(yīng)度的曲線在92%附近波動，各代最佳適應(yīng)度的曲線與最佳適應(yīng)度的曲線的波動較小，幾乎重疊，可知PSO優(yōu)化后的結(jié)果較好。該模型對測試集中81份樣本進行20次預(yù)測，準(zhǔn)確率穩(wěn)定，預(yù)測結(jié)果如圖4b所示。

圖4 模型IMTLR-SVM的訓(xùn)練和輸出Fig.4 Training and output of model IMTLR-SVM

由圖4b可知，43份未熟樣本全部預(yù)測正確，26份適熟樣本中有1份被錯誤預(yù)測為過熟樣本，12份過熟樣本中有1份被錯誤預(yù)測為適熟樣本，共有2份樣本被預(yù)測錯誤，準(zhǔn)確率為97.53%。一份樣本圖像從壓縮到通過模型IMTLR-SVM預(yù)測成熟度，用時約為0.337s。

3.3 比較研究

本文與已有文獻(xiàn)的準(zhǔn)確率、運行時間、樣品狀態(tài)比較如表4所示，IMTLR-SVM模型鑒別準(zhǔn)確率最高，達(dá)97.53%。IMTLR-BPNN及IMTLR-SVM預(yù)測煙葉成熟度的預(yù)測時間均很短，能滿足煙葉采收機快速鑒別的要求。因此通過機器視覺對煙葉成熟度進行快速鑒別是可行的。預(yù)測煙葉的成熟度是為了采收適熟煙葉，本文樣本圖像在種植現(xiàn)場植株上自然光照下直接拍攝得到，更接近采收機現(xiàn)場拍攝環(huán)境，更具實際意義。

表4 所建模型與現(xiàn)有模型的比較Tab.4 Comparison between existing models and the proposed model

4 結(jié)論

1）本文基于BP神經(jīng)網(wǎng)絡(luò)和支持向量機建立了煙葉成熟度鑒別模型IMTLR-BPNN和IMTLR-SVM，代替?zhèn)鹘y(tǒng)的肉眼鑒別。使得鑒別結(jié)果更準(zhǔn)確、用時更少、效率更高，提高了煙葉的經(jīng)濟效益。同時降低了對煙農(nóng)煙葉知識的要求。

2）模型IMTLR-SVM鑒別一份樣本圖像的成熟度用時約為0.337s。鑒別準(zhǔn)確率為97.53%，結(jié)果穩(wěn)定，表明模型IMTLR-SVM鑒別煙葉成熟度是有可行的。雖然本文只對下部煙葉進行了建模，但建模方法同樣適用于中部煙葉和上部煙葉。樣本圖像是在種植現(xiàn)場植株上自然光照下直接拍攝得到，與采收機的現(xiàn)場拍攝環(huán)境接近。SPAD計也是可以現(xiàn)場即時測量煙葉SPAD值，但需人工反復(fù)測量，再根據(jù)測量結(jié)果，人工鑒定煙葉成熟度。本文模型只需采集煙葉圖像，便可即時自動鑒別煙葉成熟度。因此模型IMTLR-SVM的建立為煙葉采收機提供了決策依據(jù)。

3）本文的樣本圖像是在特定時間段拍攝得到的，并且沒有研究多片煙葉重疊的情況。實際采收環(huán)節(jié)中，存在天氣、日光強度、多片煙葉重疊、拍攝角度等因素對鑒別準(zhǔn)確率的影響，還需進一步研究。