煙葉自動分離及智能定級分揀系統(tǒng)的研究

李 婷,王 興,衛(wèi)玲芝,高 菲,張晉塬,王雨竹

(太原科技大學 計算機科學與技術學院，太原 030024)

0 引言

隨著煙草行業(yè)的飛速發(fā)展，國內(nèi)外對于煙葉分離和定級檢測技術的研究也在不斷地進行改進升級，由此形成了大量的研究成果。國外利用計算機視覺技術對煙葉進行定級判斷最早開始于20世紀80年代，1988年美國學者C.E.Thomas是最早提出利用計算機的圖像識別技術對煙草及其相關產(chǎn)品進行檢測定級的。隨后津巴布韋的一名學者G.Tattersfield提出根據(jù)煙葉的葉片結構、顏色以及殘傷度等外部特征對煙葉進行質量檢測和分組的研究。1997年，韓國學者H.K.Cho和K.H.Paek通過利用計算機視覺技術對煙葉進行檢測定級的方法進行了初步的嘗試[1]。雖然國內(nèi)利用圖像識別技術對煙葉進行檢測定級要落后于國外，但隨著圖像處理技術的日趨成熟，越來越多的技術運用到煙葉的分離和檢測定級中。王士鑫等人提出基于卷積神經(jīng)網(wǎng)絡(CNN)的煙葉檢測定級的方法，該方法通過選取合適的V3模型，結合卷積層和網(wǎng)絡層完成遷移學習，再利用多分類的模型選取交叉熵作為損失函數(shù)進行運算，最后再結合極值點的跳躍算法，對采集到的煙葉圖像進行識別分析[2]。韓力群等人提出一種利用人工智能的方法來模擬人類大腦信息處理結構的煙葉智能檢測定級系統(tǒng)，實驗結果證明該系統(tǒng)對煙葉分級的正確率可與人工分級相媲美[3]。姚學練等人提出首先利用主成分分析法(PCA)對煙葉進行降維處理，然后將多個降維的參數(shù)輸入到支持向量機(SVM)中，再利用遺傳算法(GA)對SVM模型的懲罰參數(shù)和核函數(shù)進行優(yōu)化，從而達到提高煙葉分級效率的目的[4]。綜合以上的國內(nèi)外的研究現(xiàn)狀來看，目前國內(nèi)外的研究大多是基于圖像識別技術對煙葉分級提出多種多樣的方法，但對于煙葉的分離的研究卻比較少，目前國內(nèi)的各大煙草廠仍然是以依靠人工進行煙葉的分離，機械化程度低，分離的效率也比較低?；诖耍疚奶岢鰧熑~自動分離及智能定級分揀系統(tǒng)的研究，借助機械化設備提高煙葉分離、分揀的效率，運用機器視覺技術提高煙葉分級的正確率，進而達到降低成本提高經(jīng)濟效益的效果。

1 系統(tǒng)設計

1.1 系統(tǒng)整體設計

煙葉自動分離及智能定級分揀系統(tǒng)主要由煙葉進料、煙葉松散震動、煙葉自動分離、煙葉自動排列、煙葉自動鋪平、煙葉智能檢測及定級判斷、煙葉智能分流分揀7個工段組成。系統(tǒng)結構如圖1所示 。

圖1 煙葉分離及智能定級分揀系統(tǒng)結構圖

1.2 系統(tǒng)工作原理

煙草作為卷煙產(chǎn)品的基礎，是我國重要的農(nóng)業(yè)經(jīng)濟作物之一，在我國國民經(jīng)濟中有著舉足輕重的地位。所以其煙葉質量的好壞將直接影響到煙草制品的優(yōu)劣等級，而且在工業(yè)生產(chǎn)中，不同的質量的煙葉往往會被用來制作成不同的煙草制品。國家標準只是簡單的從煙葉的葉片結構、成熟度、顏色、身份、油分、殘傷以及長度等7個方面作出了定量的描述，對于分級標準的描述仍然比較模糊。所以為了做好煙葉在收購階段的分級工作，提高煙草制品的質量和保障煙農(nóng)的切身利益，對煙葉進行快速客觀、科學合理的等級劃分是十分必要的。因此，本文為實現(xiàn)煙葉的自動化分離及智能化分級，設計了煙葉自動分離及智能定級分揀系統(tǒng)。人工將成捆煙葉搬運至上料傳送帶，成捆煙葉被送至震動倉進行初始化處理，通過電動漏斗控制煙葉下料量并形成煙葉小堆，傳送帶將煙葉小堆送至電動升降平臺，旋轉煙葉分離刷按層分離煙葉，被分離成單片的煙葉再依次經(jīng)過煙葉自動排列裝置和煙葉自動鋪平裝置，最后對鋪平后排列整齊的單片煙葉進行圖像采集和預處理，再根據(jù)提取出的圖像特征，借助基于寬度學習的卷積神經(jīng)網(wǎng)絡算法實現(xiàn)煙葉等級的智能識別，最終依據(jù)定級結果，煙葉分揀系統(tǒng)將煙葉分揀到等級相對應的回收箱中。

2 煙葉自動分離設計

2.1 煙葉特性分析

煙葉是一種柔性的物體，其性狀復雜且彼此纏繞交錯在一起，直接在成捆的煙葉中加以一定的外力將其強行扯開，分開成一片比較困難。而且煙葉從田間收獲后，需要經(jīng)過烘烤工序，使其水份降低。雖然在煙葉分級前會經(jīng)過回潮處理，但其韌性仍較差且烤后煙葉的恢復性值較小。而且葉片在烘烤之后，其凝膠彈性有所下降，而煙葉的彈性能夠在其拉力上有一定程度的體現(xiàn)[7]。據(jù)資料顯示，我國的煙葉拉力值主要在1.04～2.52 N之間，煙葉的厚度大部分在0.036～0.128 mm之間[8]。所以在煙葉分離過程中，需要考慮其容易產(chǎn)生的撕壞破裂的情況。為了確保煙葉的完整性，在設計煙葉分離裝置時需要考慮到煙葉的厚度、可承受的拉力等機械特征。

2.2 煙葉自動分離機構的工作原理

根據(jù)烘烤后煙葉的特性分析，并利用現(xiàn)有的條件模擬煙葉單片分離的過程，歸納總結出成捆煙葉分離成單片煙葉的過程。煙葉自動分離環(huán)節(jié)如圖2所示。人工將成捆的煙葉搬運到上料傳送帶上，上料傳送帶將成捆煙葉按照一定頻率送至震動倉進行初始化處理，震動倉做大振幅、低頻上、下往復運動，同時向震動倉中輸入干蒸汽氣體輔助松散，因為在這個環(huán)節(jié)產(chǎn)生的煙渣最多，所以在傳送帶下部放置吸塵器用于回收煙渣和粉塵。初步松散的煙葉通過電動漏斗控制煙葉下料量預先形成規(guī)格化的煙葉小堆，并將煙葉的方向自動調(diào)整水平以及煙葉根部朝向進料方向。進料傳送帶將煙葉小堆送至電動升降平臺，經(jīng)過電動升降平臺和自動升降隔板配合固定煙葉小堆，同時啟動旋轉煙葉分離刷組進行分層分離煙葉小堆，按照寬度1米的煙葉小堆，煙葉分離效率約每秒16片左右。落至一級出料傳送帶后煙葉被自動傳輸至下一環(huán)節(jié)處。由于煙葉落入一級出料傳送帶上時，煙葉的擺放不規(guī)則，所以通過煙葉自動排列裝置可將煙葉自動排列規(guī)整，然后再通過煙葉鋪平裝置將煙葉自動展平。最后通過二級出料傳送帶將煙葉傳送至下一環(huán)節(jié)設備處。一個周期的工作步驟完畢，重復之前的步驟，進行反復的煙葉自動分離。

圖2 煙葉自動分離環(huán)節(jié)示意圖

3 煙葉智能檢測定級

3.1 圖像采集

實現(xiàn)煙葉等級準確的識別和分級的重要前提條件是獲取到高質量的煙葉圖片，從而才能完成對煙葉圖像信息具體分析的任務。所以為了避免外部環(huán)境因素的干擾，更準確地采集到煙葉圖像，本文設計了煙葉圖像采集系統(tǒng)，如圖3所示。煙葉被傳送帶送至圖像采集區(qū)域后，攝像頭會快速拍下煙葉，并將拍攝到的圖像儲存到計算機中，借助PC機界面來對拍攝到的圖像給予實時、動態(tài)顯示。同時為了避免一次采集出現(xiàn)的圖像不穩(wěn)定性，系統(tǒng)會對同一片參考煙葉進行三次圖像采集，并將三次的圖像均錄入到系統(tǒng)中。除此之外，為了便于后期對煙葉的識別和準確分級，提高煙葉圖像采集的準確性，要避免外界光線進入到采集區(qū)域。

圖3 密閉煙葉像采集系統(tǒng)

3.2 圖像預處理

1)圖像濾波處理。當攝像頭采集完煙葉的圖像之后，通常情況下，由于煙葉圖像在采集過程往往會收到光照、拍攝角度、位置等各種環(huán)境因素的不良干擾，從而造成采集到的煙葉圖像質量不穩(wěn)定。因此為了提高煙葉圖像的質量，當攝像頭采集完煙葉的圖像之后，需要對采集到的煙葉圖像做進一步的預處理。通過對圖像做預處理的方式，主要是為了降低外部環(huán)境因素的影響，改進圖像的清晰度，減少圖像中無關信息的干擾，進而達到簡化圖像的目的。通過對研究圖像的各種方法的分析與比較，本文最終采用中值濾波的方法對采集到的煙葉圖像進行預處理，如圖4(b)所示。中值濾波法主要是將 當前圖像中的像素值替換為鄰域中每個點的中間值，并將這些數(shù)據(jù)放在二維模板中進行排序，由于隨機出現(xiàn)在圖像上的噪聲點往往會被排在數(shù)列的最前端或最末端，并不會出現(xiàn)在數(shù)列的中間位置，因此通過中值濾波的方法可以達到去除噪聲點，提高圖像清晰度的目的[6]。類似于一維，二維中值濾波的公式如下：

F(x,y)=med{g(x-m,y-n)，(m,n)∈W)}

(1)

其中:g(x,y)表示原始圖像，F(xiàn)(x,y)表示處理后的圖像，W為二維模板。

2)圖像二值化處理。為了進一步提取到煙葉的長度、寬度、面積等圖像的外觀特征信息，原始圖像在經(jīng)過中值濾波處理后，一般還需要對圖像做進一步的二值化處理。二值圖像其實就是由僅有“0”、“1”的二維矩陣構成的。二值化處理的過程是先使彩色的煙葉圖像變成灰度圖像，然后再將灰度圖像轉化為二值圖像。通常在將彩色圖像轉化為二值圖像的過程中，需要確定二值化時的閾值，需要先設定好一定的閾值，在轉化的過程中，系統(tǒng)會自動將像素大于或等于閾值的判斷為目標物，用白色顯示，則將小于閾值的像素全部重置為0，用黑色顯示。本文經(jīng)過分析與比較，選用迭代閾值實現(xiàn)煙葉圖像的二值化。如圖4(c)所示，煙葉的二值化圖像。

3)圖像分割處理。圖像分割是圖像預處理過程中一個非常重要的環(huán)節(jié)，也是實現(xiàn)去除煙葉圖像背景的重要方法，因為圖像分割質量的好壞會直接影響到下一環(huán)節(jié)煙葉特征提取的準確性。圖像分割其實就是把對圖像中感興趣的目標區(qū)域從背景中分割出來，而分割出來的目標區(qū)域就是后續(xù)進行圖像特征提取的目標對象。圖像分割技術多種多樣，本文選用閾值分割法來達到圖像分割的目的，閾值分割是一種簡單有效地分割算法，它的基本思想是根據(jù)圖像中目標與圖像背景之間灰度值的差別，選取一個適合的灰度值作為閾值，然后將圖像中所有的像素均與這個設定的閾值作比較，這樣圖像就會以閾值為界分成兩個部分，也就把圖像目標從圖像背景中分割出來了。這種對煙葉圖像的分割方法，不僅可以簡化煙葉圖像，還可以完成機器對煙葉數(shù)據(jù)信息的準確識別，有效降低機器學習的難度，提高分析的準確度。如圖4(d)所示，煙葉經(jīng)過分割處理后的圖像。

圖4 煙葉預處理圖像

3.3 圖像特征提取

3.3.1 煙葉顏色特征提取

煙葉的顏色是煙葉分級標準中的重要因素之一，由于人工分級是根據(jù)人的感官和視覺來完成的，而亮度對人視覺的影響要比顏色濃淡的影響更為顯著。所以在應用計算機視覺技術分析圖像時，需要通過建立更為符合人類視覺機制的顏色模型來實現(xiàn)煙葉顏色的準確量化，從而進行顏色分辨。通過比較分析各個顏色模型的特點，本文選用HSI顏色模型，因為HSI顏色空間更接近于人類的視覺機理，反映了人的視覺系統(tǒng)感知色彩的方式。

由于CCD攝像頭中的圖像存儲一般采用RGB模式，因此首先需要利用采集到的圖像分別提取出R分量、G分量、B分量，然后將RGB模式轉換為HSI模式，轉換公式如下：

(2)

(3)

(4)

(5)

因為現(xiàn)有的煙葉樣本數(shù)量有限，本文僅計算出部分等級的煙葉圖像的H、S、I分量的均值，用均值來表征顏色的特性。如表1所示。

表1 部分等級煙葉顏色特征分量

3.3.2 煙葉形狀特征提取

煙葉的形狀特征作為煙葉最為直觀的特征，是對煙葉等級進行判斷的重要依據(jù)。本文在獲得煙葉輪廓的基礎上，采用Opencv函數(shù)中cvBoxPoints算法對煙葉輪廓進行最小外接矩形擬合。根據(jù)算法找出煙葉輪廓最小外接矩形的4個點，然后再根據(jù)4個頂點的x,y坐標，分別計算出外接矩形的長度和寬度，分別記作L、W。則煙葉的長度比Y可以表示為：

Y=L/W

(6)

煙葉面積指的是煙葉圖像所占有的像素總數(shù)。求出煙葉內(nèi)所包含的所有像素點就是煙葉的面積。本文采用坐標法來計算煙葉的面積，即用條曲線沿著煙葉邊界圍一圈，求這條封閉曲線的積分，則煙葉的面積S可以表示為：

(7)

煙葉的破損率直接對應煙葉分級標準中的傷殘率，很大程度上決定了煙葉的等級和質量，破損率計算公式為：

(8)

3.3.3 煙葉紋理特征提取

煙葉的紋理特征可以從側面反映出煙葉各部位的內(nèi)部結構以及葉面的平坦程度等信息，對于煙葉的準確分級是至關重要的，因此將煙葉的紋理進行量化是一種重要的區(qū)域的描述方法。本文利用灰度共生矩陣來進行紋理提取。圖像的灰度共生矩陣主要反映圖像在灰度方向、間隔、變化程度等相關信息。共生矩陣是用兩個位置的像素的聯(lián)合概率密度來定義。聯(lián)合概率密度的表達式如下：

(9)

式中,d表示位移的距離，θ表示位移的方向。本文分別計算了0°、45°、90°和135°的4個共生矩陣，利用4個不同角度的共生矩陣計算圖像的能量、對比度、相關性等多個特征量，取平均值作為提取的紋理特征。

GLCM紋理特征參數(shù)計算如下：

葉片紋理的相關性：

(10)

葉片紋理的能量：

(11)

葉片紋理的熵：

(12)

葉片紋理的慣性：

(13)

式中，μ為均值，σ為標準差。

3.4 煙葉識別分級

深度學習是機器學習中常用的研究領域，而卷積神經(jīng)網(wǎng)絡是最常用的深度學習模型之一[11]。本文采用了基于寬度學習的卷積神經(jīng)網(wǎng)絡算法，該算法不僅可以對煙葉進行圖像識別以及特征值的采集，同時還可以解決煙葉識別過程中的快速跟蹤和快速識別問題。該算法應用隨機生成的卷積核和最大池化操作，對煙葉進行檢測定級。以下為卷積神經(jīng)網(wǎng)絡的運作過程：

1)首先將預處理后的圖像以矩陣的形式作為原始輸入，經(jīng)過卷積層的運算即原始圖像的像素和卷積核的線性組合，從而實現(xiàn)對圖像特征的提取。圖像的抽象表達式為：

(14)

2)隨后圖像被傳遞到池化層，對提取的特征數(shù)據(jù)進行最大池化操作，進一步降低特征的冗余性。卷積神經(jīng)網(wǎng)絡重復若干次卷積層和池化層的操作運算。

3)最后圖像進入全連接層，將二維特征向量轉化成一維特征向量，并由分類器完成對特征圖片的分類。全連接層的計算公式為：

(15)

4)最后通過輸出層，將數(shù)據(jù)信息轉化為相應的類別值輸出。

4 煙葉智能分流分揀設計

4.1 分揀裝置的工作原理

煙葉等級分揀裝置主要依靠于控制系統(tǒng)，當經(jīng)過識別后的煙葉隨傳送帶進入分揀系統(tǒng)后，首先會經(jīng)過分流輸送裝置被分流到多個分揀線體上同時進行分揀以提高分揀效率。當煙葉通過傳送帶旁邊的位置傳感器時，會觸發(fā)位置傳感器工作，傳感器將獲取到的煙葉位置信息傳遞給與計算機相連的控制系統(tǒng)，控制系統(tǒng)接受到傳遞的位置信號后會根據(jù)已經(jīng)獲得的煙葉等級信息，計算出煙葉到達指定分揀位置的時間，從而對電動排刷驅動機發(fā)出相應的控制指令，待煙葉到達時驅動機驅動旋轉電動排刷工作，將煙葉撥送到相對應的等級回收箱中。之后旋轉電動排刷回歸到原始位置等待控制系統(tǒng)發(fā)出新的命令。

設相鄰的兩個電動排刷之間的距離為L，傳送帶的運行速度為V，電動排刷以恒定角速度W轉動，煙葉在相鄰兩個排刷間的用時為t1,排刷將煙葉撥送到回收箱中來回轉動用時為t2,則有：

t1=L/V；W=π/t2

(16)

為了提高工作效率，使系統(tǒng)滿足在排刷回到原始位置時恰好下一個煙葉可到達指定位置，應使t1=t2。

4.2 分揀裝置的設計方案

本文設計的煙葉等級分揀裝置如圖5所示，該系統(tǒng)主要由分流輸送裝置、電動排刷、位置傳感器、電動排刷驅動機、傳送帶、煙葉等級回收箱等幾個部分組成。

圖5 煙葉等級分揀裝置圖

系統(tǒng)中的分流輸送裝置采用斜擺輪系統(tǒng)，斜擺輪系統(tǒng)并非是傳統(tǒng)的傳送帶，而是采用的一種小型全向的輪子，這給箱子等物品更加靈活的移動能力。這些小輪子由電腦控制，它們可以根據(jù)設定讓傳送帶上物品30°，45°和90°的方向改變。系統(tǒng)的分流輸送裝置如圖6所示。

圖6 分流輸送裝置

5 實驗結果與分析

5.1 煙葉自動分離模擬實驗

本文對煙葉分離模塊進行了實驗測試，驗證該系統(tǒng)對成捆煙葉的分離效果。

本次實驗選取3組成捆煙葉，每組煙葉均有90片，分別進行分離模擬實驗。實驗統(tǒng)計結果如表2所示。

表2 煙葉分離模擬實驗統(tǒng)計結果

從表2的統(tǒng)計結果中可以看出，第一組成功分離單片煙葉88片，第二組成功分離單片煙葉85片，第三組成功分離單片煙葉86片。3組的平均分離成功率達到95.98%，表明煙葉自動分離模擬實驗的效果較好，連續(xù)自動分離煙葉是可行的。

5.2 煙葉檢測分級模擬實驗

本文對煙葉檢測定級模塊進行了實驗測試，驗證該系統(tǒng)對煙葉準確定級的正確率。

本次實驗首先根據(jù)確定的神經(jīng)網(wǎng)絡結構和參數(shù)，以經(jīng)過預處理提取到的煙葉特征數(shù)據(jù)為樣本集，對神經(jīng)網(wǎng)絡模型進行訓練學習。訓練學習后，對測試樣本進行分級，結果如表3所示。

表3 測試樣本煙葉分級結果

由實驗結果可知，與分級員的評定結果相比較，總的識別率為95.83%，正確率在90%以上，預測時間為0.5 s。

6 結束語

模擬實驗結果表明，本文設計的煙葉自動分離及智能定級分揀系統(tǒng)通過調(diào)試和模擬實驗，設備運行穩(wěn)定，可以按照預想的設計將成堆煙葉先分離成小堆煙葉最后再分離成單片煙葉，且系統(tǒng)的分選效率較高。該系統(tǒng)通過圖像識別，可以很快的依靠煙葉的成熟度、色度、長度、殘傷等外觀因素快速完成檢測，單片煙葉的檢測速度約為0.5 s，后續(xù)的分級分揀過程約為0.5 s。每片煙葉的檢測分級周期約為1～1.5 s。通過以上分析可以看出，研究科學可靠的煙葉分離及智能分級分揀技術，開發(fā)簡單易操作的智能化系統(tǒng)，不僅可以提高煙葉分離、分級的水平和效率，還可以很好地滿足煙草工業(yè)生產(chǎn)的需求，進一步提高煙葉分離、分級、分揀的自動化與智能化。