基于AdaBoost集成學(xué)習(xí)的煙絲組分識(shí)別

王小明 魏甲欣 馬 飛 王藝斌 許文武 靳亞偉 李 琪

(1. 河南中煙工業(yè)有限責(zé)任公司許昌卷煙廠，河南 許昌 461000；2. 南京焦耳科技有限責(zé)任公司，江蘇 南京 210000)

傳統(tǒng)的煙絲識(shí)別方法測(cè)定步驟復(fù)雜，檢測(cè)效率低下且測(cè)量誤差大。劉曉萍等[1]、胡立中等[2]提出了一種基于近紅外光譜的煙絲識(shí)別方法，但由于葉絲中混合較多其他的雜質(zhì)如煙末、煙梗、碎煙片等，而這些雜質(zhì)成分的紅外光譜信息與煙絲其他組分太過(guò)相似，差異性較小，會(huì)導(dǎo)致識(shí)別時(shí)誤差較大，不能很好地對(duì)煙絲進(jìn)行區(qū)分；高振宇等[3]提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的識(shí)別方法，但其在測(cè)試集上的準(zhǔn)確率相對(duì)來(lái)說(shuō)并未達(dá)到較高的水準(zhǔn)，而且模型泛化能力較低；鐘宇等[4]提出一種基于殘差神經(jīng)網(wǎng)絡(luò)的煙絲分類識(shí)別的方法，該方法相比于卷積神經(jīng)網(wǎng)絡(luò)方法在識(shí)別率上有了一定的提高，但對(duì)于一部分宏觀差異不明顯的煙絲的識(shí)別效果較差。

基于不同組分之間的煙絲在紋理、顏色、形狀上存在差異性，研究擬提出一種基于AdaBoost集成學(xué)習(xí)的煙絲識(shí)別方法，利用F-score特征選擇方法和AdaBoost集成學(xué)習(xí)方法對(duì)煙絲組分進(jìn)行識(shí)別，提取煙絲的紋理、顏色、形狀特征作為模型的輸入，通過(guò)F-score特征選擇方法降低特征維度，以SVM[5]作為基分類器，再利用AdaBoost集成學(xué)習(xí)方法，得到煙絲的分類模型，通過(guò)煙絲模型對(duì)煙絲進(jìn)行分類，旨在實(shí)現(xiàn)煙絲的快速準(zhǔn)確識(shí)別，提高煙絲的識(shí)別效率。

1 提出的方法

如圖1所示，通過(guò)煙絲結(jié)構(gòu)檢測(cè)系統(tǒng)采集煙絲的圖像，對(duì)圖像進(jìn)行預(yù)處理，分割出煙絲，再提取煙絲圖像的顏色、紋理、形狀特征，利用F-score特征選擇方法對(duì)特征數(shù)據(jù)進(jìn)行優(yōu)化選擇，通過(guò)AdaBoost集成學(xué)習(xí)方法得到煙絲的分類模型，并對(duì)煙絲的組分進(jìn)行判別統(tǒng)計(jì)。

圖1 基于AdaBoost集成學(xué)習(xí)的煙絲識(shí)別方法的流程示意圖Figure 1 Flowchart of cut tobacco recognition method based on AdaBoost ensemble learning

1.1 數(shù)據(jù)的獲取與預(yù)處理

煙絲結(jié)構(gòu)檢測(cè)系統(tǒng)的硬件平臺(tái)如圖2所示，主要由喂料機(jī)、煙絲輸送皮帶、可見光光源、光源控制器、高速CCD相機(jī)、采集卡、工控機(jī)、觸摸屏組成。

1.喂料裝置 2.風(fēng)選倉(cāng) 3.分散裝置 4.相機(jī)鏡頭 5.LED光源 6.高速皮帶機(jī) 7.收料倉(cāng)圖2 煙絲結(jié)構(gòu)檢測(cè)系統(tǒng)三維圖Figure 2 Three-dimensional diagram of cut tobacco structure detection system

利用工業(yè)相機(jī)分別采集了薄片絲、梗絲、葉絲的圖像，分辨率為8 192×8 000，3個(gè)等級(jí)分別對(duì)應(yīng)標(biāo)簽0，1，2。為了采集到每一片煙絲的特征，需要對(duì)圖像進(jìn)行分割[6]，分割出每一片煙絲。首先對(duì)圖像進(jìn)行預(yù)處理，對(duì)采集到的煙絲圖像進(jìn)行去除噪聲。去噪方式選用中值濾波法[7]，采用3×3的濾波窗口，以盡可能保存圖像的細(xì)節(jié)信息。由于煙絲圖像中的背景部分存在略微明顯的白色噪點(diǎn)，采用中值濾波可以取得較好的抑制效果。因?yàn)槿珠撝捣指畹男Ч⒉焕硐?，所以采用OTSU算法[8]，通過(guò)自動(dòng)計(jì)算最佳閾值來(lái)對(duì)煙絲進(jìn)行分割，提取煙絲的連通區(qū)域。通過(guò)對(duì)煙絲連通區(qū)域的外接矩形[9]，提取到每一片的煙絲圖像，方便之后的特征提取。如圖3所示。

圖3 煙絲圖像Figure 3 Image of cut tobacco

1.2 特征提取

1.2.1 紋理特征 紋理特征實(shí)際上是一種全局特征，通過(guò)對(duì)圖像區(qū)域內(nèi)灰度級(jí)變化的特征進(jìn)行量化得到的一個(gè)值。紋理特征具有旋轉(zhuǎn)不變性，且對(duì)噪聲有較強(qiáng)的抵抗能力。

灰度共生矩陣是利用條件概率來(lái)反映紋理特征，是相鄰像素之間的灰度相關(guān)性的表現(xiàn)，可以顯示出圖像在灰度空間分布的一些特性[10]。通常灰度共生矩陣的維數(shù)與圖像中的灰度級(jí)數(shù)相同[11]。

根據(jù)灰度共生矩陣可以計(jì)算出對(duì)比度、差異性、同致性、二階矩、能量、相關(guān)性，其數(shù)學(xué)表達(dá)式為：

(1)

(2)

(3)

(4)

(5)

(6)

(7)

(8)

(9)

(10)

式中：

Contrast——對(duì)比度；

Dissimilarity——差異性；

Homogeneity——同致性；

ASM——二階矩；

Enregy——能量；

Correlation——相關(guān)性；

ui——第i行的加權(quán)平均值；

uj——第j列的加權(quán)平均值；

i、j——灰度值；

k——灰度值的級(jí)數(shù)；

P(i,j)——灰度值i、j同時(shí)出現(xiàn)的概率。

1.2.2 LBP等價(jià)模式 為了更好地對(duì)煙絲進(jìn)行區(qū)分，引入紋理特征局部二值模式[12](Local Binary Pattern，LBP)。其是一種描述圖像局部紋理特征的算子，具有旋轉(zhuǎn)不變性[13]和灰度不變性[14]，可在一定程度上緩解光照變化帶來(lái)的影響。由于原始的LBP模式維數(shù)過(guò)大，為了提高效率，采用改進(jìn)后的LBP等價(jià)模式[15]。而且該模式也可以減少高頻噪聲帶來(lái)的干擾。

1.2.3 顏色特征 顏色特征是區(qū)分不同種類煙絲的重要特征之一。顏色矩是由Stricker等[16]提出的一種簡(jiǎn)單有效的顏色特征表示方法。由于顏色信息主要分布在低階矩中，所以用一階矩、二階矩和三階矩足以表達(dá)圖像的顏色分布，因此分別計(jì)算RGB顏色模型和HSV顏色模型各通道的一階矩、二階矩和三階矩作為煙絲的顏色特征。

一階矩、二階矩、三階矩的數(shù)學(xué)定義如下：

(11)

(12)

(13)

式中：

μi——顏色一階矩；

σi——顏色二階矩；

si——顏色三階矩；

Pij——第i個(gè)通道的第j個(gè)像素的強(qiáng)度值；

N——圖像中的像素個(gè)數(shù)。

1.2.4 形狀特征 以分散度、矩形度、圓形度反映煙絲的形狀特征。為了提取形狀特征，首先對(duì)彩色圖像做灰度化處理，轉(zhuǎn)為灰度圖，然后利用OTSU算法對(duì)灰度圖像進(jìn)行閾值化處理，得到二值圖，最后計(jì)算其輪廓。煙絲原圖如圖4所示。

圖4 煙絲原圖Figure 4 Original picture of cut tobacco

經(jīng)過(guò)OTSU算法閾值化處理后得到如圖5的二值圖的輪廓，計(jì)算輪廓像素個(gè)數(shù)為周長(zhǎng)L，輪廓包含的像素個(gè)數(shù)為面積S。由周長(zhǎng)和面積可得分散度：

圖5 煙絲二值圖Figure 5 Binary picture of cut tobacco

(14)

式中：

D——分散度；

L——輪廓像素個(gè)數(shù)的周長(zhǎng)；

S——輪廓包含的像素個(gè)數(shù)的面積。

如圖6所示，每個(gè)輪廓都包含了最小外接矩形。

圖6 煙絲最小外接矩形圖Figure 6 The minimum circumscribed rectangle of cut tobacco

矩形度的計(jì)算公式：

(15)

式中：

R——矩形度；

SMER——最小外接矩形面積；

S——輪廓包含的像素個(gè)數(shù)的面積。

圓形度計(jì)算公式：

(16)

式中：

R0——圓形度；

L——輪廓像素個(gè)數(shù)的周長(zhǎng)；

S——輪廓包含的像素個(gè)數(shù)的面積。

1.3 特征選擇

傳統(tǒng)的F-score方法是一種衡量特征在兩類之間分辨能力的方法，它能夠衡量特征在兩類之間的辨別力大小。但是此方法存在一定的局限性，只適用于兩類情況的特征選擇，不能直接應(yīng)用于多類問(wèn)題中的特征選擇。而改進(jìn)后的F-score方法[17]則解決了這一問(wèn)題。它既能夠衡量特征在兩類之間的辨別能力大小，也能夠衡量特征在多類之間的辨別力大小。因此選擇改進(jìn)后的F-score方法進(jìn)行特征選擇。改進(jìn)后的F-score特征選擇方法描述如下：

給定訓(xùn)練樣本集xk∈Rm,k=1,2,…,n，則訓(xùn)練樣本第i個(gè)特征的F-score定義為：

(17)

式中：

Fi——第i個(gè)特征的F-score；

xi——第i個(gè)特征在整個(gè)數(shù)據(jù)集上的平均值；

l——樣本類別數(shù)，l≥2；

nj——第j類的樣本個(gè)數(shù)(j=1，2，…，l0)。

改進(jìn)的F-score特征選擇方法基于類別可分準(zhǔn)則，F(xiàn)-score值越大，則該特征的分類辨別力越強(qiáng)，即類間越疏，類內(nèi)越密，分類的效果越好。圖7所示的多類情況即達(dá)到了理想效果。

圖7 多類情況Figure 7 Multiple cases

1.4 AdaBoost集成學(xué)習(xí)

AdaBoost集成學(xué)習(xí)算法是一種迭代算法，其核心思想是集合弱分類器構(gòu)成一個(gè)強(qiáng)分類器[18]。它是提升方法中最為廣泛的一種實(shí)現(xiàn)形式。它通過(guò)對(duì)個(gè)體分類器有序地訓(xùn)練來(lái)進(jìn)行提升，而且各個(gè)分類器的結(jié)果是互相關(guān)聯(lián)的，后一個(gè)分類器的分類過(guò)程會(huì)受到前一個(gè)分類器的影響，所以每一個(gè)分類器的權(quán)重不一樣，通過(guò)增加當(dāng)前基分類器錯(cuò)分樣本的權(quán)重，使得下一個(gè)基分類器去關(guān)注錯(cuò)分樣本，從而提高集成分類器的精度。

AdaBoost算法分類精度較高，能夠較為靈活地使用各種回歸分類模型來(lái)構(gòu)建弱學(xué)習(xí)器，不僅構(gòu)造相對(duì)簡(jiǎn)單，而且也不易發(fā)生過(guò)擬合的情況。因此，使用支持向量機(jī)作為基分類器，通過(guò)AdaBoost集成學(xué)習(xí)的方法對(duì)煙絲進(jìn)行分類。

2 AdaBoost集成學(xué)習(xí)方法的應(yīng)用試驗(yàn)

為了驗(yàn)證AdaBoost集成學(xué)習(xí)方法的可行性與效果，將其與人工識(shí)別、卷積神經(jīng)網(wǎng)絡(luò)方法[3]以及殘差神經(jīng)網(wǎng)絡(luò)方法[4]作了對(duì)比試驗(yàn)，并分析了是否使用F-score方法、SVM中使用到的核函數(shù)、特征的組合使用等參數(shù)設(shè)置來(lái)尋求最佳識(shí)別準(zhǔn)確率。

2.1 試驗(yàn)數(shù)據(jù)集和評(píng)測(cè)指標(biāo)

2.1.1 方法對(duì)比試驗(yàn)數(shù)據(jù)集 為了檢測(cè)AdaBoost集成學(xué)習(xí)方法的實(shí)際分類效果，其與人工識(shí)別、卷積神經(jīng)網(wǎng)絡(luò)方法和殘差神經(jīng)網(wǎng)絡(luò)方法對(duì)比是否具有優(yōu)越性，采用3組混合煙絲進(jìn)行試驗(yàn)。具體煙絲成分構(gòu)成如表1所示，第1組混合煙絲葉絲較多，第2組混合煙絲梗絲較多，第3組薄片絲較多。

表1 混合煙絲試驗(yàn)組Table 1 Experimental group of mixed cut tobacco g

2.1.2 參數(shù)擇優(yōu)試驗(yàn)數(shù)據(jù)集 為了對(duì)AdaBoost集成學(xué)習(xí)方法的參數(shù)進(jìn)行擇優(yōu)選取，選擇5組數(shù)據(jù)集進(jìn)行訓(xùn)練與測(cè)試，見表2。5組數(shù)據(jù)集均在不同批次的煙絲中進(jìn)行選取采集，具有一定的代表性。

表2 數(shù)據(jù)集樣本劃分Table 2 Data set sample division

2.2 不同方法對(duì)比

如表3～表5所示，人工識(shí)別方法的平均相對(duì)誤差較大，卷積神經(jīng)網(wǎng)絡(luò)方法和殘差神經(jīng)網(wǎng)絡(luò)方法雖然相對(duì)誤差較小，但與AdaBoost集成學(xué)習(xí)方法相比效果較差。主要原因是人工識(shí)別方法本身操作過(guò)于復(fù)雜，在多次測(cè)量時(shí)容易產(chǎn)生較大的誤差。而卷積神經(jīng)網(wǎng)絡(luò)法在實(shí)際操作中，訓(xùn)練集的正確率與測(cè)試集的準(zhǔn)確率相差較大，存在一定的“過(guò)擬合現(xiàn)象”，導(dǎo)致模型泛化能力較低，因此最終的識(shí)別率不理想。殘差神經(jīng)網(wǎng)絡(luò)法對(duì)比卷積神經(jīng)網(wǎng)絡(luò)法在識(shí)別的準(zhǔn)確率上確實(shí)有了明顯的提升，但是對(duì)于那些宏觀差異較小，區(qū)別程度不大的煙絲，比如部分薄片絲和葉絲，僅從外觀來(lái)看，肉眼很難區(qū)分，對(duì)于這一部分煙絲較難進(jìn)行正確識(shí)別，導(dǎo)致該方法的識(shí)別準(zhǔn)確率存在一定的局限性。AdaBoost集成學(xué)習(xí)方法在實(shí)際操作中對(duì)每一種煙絲樣本添加分類器進(jìn)行訓(xùn)練，并對(duì)那些識(shí)別錯(cuò)誤的樣本，通過(guò)降低其分類權(quán)值以提高煙絲識(shí)別的準(zhǔn)確率。通過(guò)試驗(yàn)，AdaBoost集成學(xué)習(xí)方法的相對(duì)誤差都≤5%，也驗(yàn)證了AdaBoost集成學(xué)習(xí)方法的準(zhǔn)確性與可行性。

表3 第1組混合煙絲識(shí)別率統(tǒng)計(jì)Table 3 Statistics of recognition rate of the first group of mixed cut tobacco %

表4 第2組混合煙絲識(shí)別率統(tǒng)計(jì)Table 4 Statistics of recognition rate of the second group of mixed cut tobacco %

表5 第3組混合煙絲識(shí)別率統(tǒng)計(jì)Table 5 Statistics of recognition rate of the third group of mixed cut tobacco %

2.3 參數(shù)擇優(yōu)

2.3.1 LBP特征維數(shù) 利用等價(jià)模式LBP對(duì)圖像進(jìn)行處理后，圖像的像素級(jí)會(huì)變?yōu)?9。統(tǒng)計(jì)圖像中每個(gè)像素級(jí)對(duì)應(yīng)的像素點(diǎn)個(gè)數(shù)，即求取直方圖特征，因此一張圖像的LBP特征共有59維。而在實(shí)際應(yīng)用中，還會(huì)對(duì)圖像進(jìn)行分塊，之后提取每一塊的LBP特征來(lái)增加特征的復(fù)雜性，使LBP特征更能代表圖像的每個(gè)部分的紋理信息。試驗(yàn)中，將未進(jìn)行分塊的原圖像分成2×1以及4×1的圖像分別提取LBP特征，其對(duì)應(yīng)的特征維數(shù)分別為59，118，236。如表6所示，當(dāng)圖像分成4塊，即特征維數(shù)為236時(shí)，準(zhǔn)確率最高。這可能是因?yàn)橄鄬?duì)于不分塊或者將圖像分成2塊，分成4塊后提取的LBP特征更容易提取圖像中的細(xì)微特征。而對(duì)圖像進(jìn)行更多的分塊不僅會(huì)增加提取特征的時(shí)間，而且過(guò)多的特征可能會(huì)造成冗余，加重了之后特征選擇的負(fù)擔(dān)。因此，將圖像分成4塊，LBP特征的維數(shù)為236維。

表6 LBP取不同特征維數(shù)時(shí)在測(cè)試集上的準(zhǔn)確率Table 6 Accuracy of LBP in test set with different featuredimensions %

2.3.2 F-score特征選擇 由表7可知，使用了F-score方法后，測(cè)試集的準(zhǔn)確率明顯提高，其平均準(zhǔn)確率比未使用F-score方法的高出5.9%。在選用煙絲顏色、紋理、形狀特征時(shí)，其特征維數(shù)會(huì)達(dá)到幾千甚至上萬(wàn)，但識(shí)別煙絲時(shí)，這些特征并不能全部被用上，而且有些特征可能還會(huì)存在一定的干擾，為了驗(yàn)證這些特征是否會(huì)存在干擾，需將特征維數(shù)進(jìn)行縮小，排除掉干擾特征，提高煙絲識(shí)別的準(zhǔn)確率。

表7 模型在測(cè)試集上的準(zhǔn)確率Table 7 Accuracy of the model on the test set %

2.3.3 SVM核函數(shù) 從表8可以看出，線性核函數(shù)的識(shí)別率較低，多項(xiàng)式核函數(shù)的識(shí)別率相對(duì)較高，但其與RBF核函數(shù)相比的識(shí)別率較低。核函數(shù)的本質(zhì)是特征轉(zhuǎn)換函數(shù)，是將數(shù)據(jù)映射到高維空間來(lái)解決在原始空間中線性不可分的問(wèn)題。線性核函數(shù)是最簡(jiǎn)單的核函數(shù)，是直接對(duì)兩個(gè)輸入特征向量的內(nèi)積進(jìn)行計(jì)算，使用起來(lái)簡(jiǎn)單高效，但僅適用于線性可分的數(shù)據(jù)集，就測(cè)試集的準(zhǔn)確率78.23%來(lái)看，線性核函數(shù)并不能對(duì)煙絲進(jìn)行有效的識(shí)別區(qū)分。而多項(xiàng)式核函數(shù)和RBF核函數(shù)都可以將數(shù)據(jù)擬合到復(fù)雜的多維平面，但多項(xiàng)式的參數(shù)選擇較為復(fù)雜，通過(guò)對(duì)數(shù)據(jù)集的實(shí)際準(zhǔn)確率統(tǒng)計(jì)，RBF核函數(shù)要略優(yōu)于多項(xiàng)式核函數(shù)，綜合考慮選用RBF核函數(shù)。

表8 各核函數(shù)模型在測(cè)試集上的準(zhǔn)確率Table 8 Accuracy of kernel function models in test set %

2.3.4 特征組合 表9展示了不同特征組成對(duì)于煙絲識(shí)別準(zhǔn)確率的影響。形狀上，薄片絲、梗絲和葉絲3種煙絲都有較為相似的部分，單從形狀很難進(jìn)行區(qū)分，所以形狀的識(shí)別準(zhǔn)確率很低。而通過(guò)肉眼觀察其顏色和紋理，三者確實(shí)存在一定的差異，但也存在極為相似的部分，所以單論紋理、顏色或形狀均不能很好地區(qū)分煙絲。當(dāng)選取不同特征進(jìn)行組合時(shí)，紋理和顏色特征組合的平均準(zhǔn)確率達(dá)到了92.10%，而紋理、顏色和形狀特征組合的平均準(zhǔn)確率達(dá)到了96.05%，因此，選用紋理、顏色、形狀3種特征提取。

表9 模型在訓(xùn)練集上選取不同特征做測(cè)試集的準(zhǔn)確率Table 9 The accuracy of the model in selecting different features on the training set for testing %

2.3.5 集成學(xué)習(xí)方法 邏輯回歸[19]、Voting[20]和AdaBoost 3種集成學(xué)習(xí)方法的處理過(guò)程較為相似，均可以對(duì)多特征的樣本數(shù)據(jù)進(jìn)行有效區(qū)分。利用這3種框架對(duì)5個(gè)數(shù)據(jù)集進(jìn)行驗(yàn)證。如表10所示，與邏輯回歸和Voting的集成學(xué)習(xí)方法相比，AdaBoost集成學(xué)習(xí)方法的準(zhǔn)確率是三者之中最高的。采用Adaboost算法進(jìn)行集成，可以更綜合地考慮每一個(gè)弱分類器的偏好，各分類器的級(jí)聯(lián)也更合理。因此，選用AdaBoost集成學(xué)習(xí)方法來(lái)進(jìn)行模型訓(xùn)練。

表10 不同集成學(xué)習(xí)方法的測(cè)試集準(zhǔn)確率Table 10 Test set accuracy of different ensemble learning methods %

3 結(jié)論

針對(duì)人工煙絲組分檢測(cè)效率低，步驟復(fù)雜的缺點(diǎn)，提出一種基于AdaBoost集成學(xué)習(xí)的煙絲分組識(shí)別方法。利用F-score特征選擇方法對(duì)特征進(jìn)行降維處理，并使用集成學(xué)習(xí)集成多個(gè)SVM，進(jìn)一步優(yōu)化特征選擇和分類性能，提高了模型的分級(jí)性能。與傳統(tǒng)方法相比，該方法能更快捷、方便，更安全、有效，而且識(shí)別率在95%以上。后續(xù)可以對(duì)煙絲特征的計(jì)算進(jìn)行優(yōu)化，提高計(jì)算精度，進(jìn)一步提高煙絲組分識(shí)別的準(zhǔn)確率。