基于深度學(xué)習(xí)的皖南煙區(qū)煙葉分級(jí)模型構(gòu)建與應(yīng)用研究

潘 敏 王志勇 李國歡

（安徽皖南煙葉有限責(zé)任公司，安徽宣城 242000）

煙葉原料是煙葉產(chǎn)業(yè)鏈的開端，煙葉原料質(zhì)量直接影響后期工業(yè)可用性。目前，我國煙葉分級(jí)主要采用人工分級(jí)方式， 分級(jí)精度低， 煙葉等級(jí)一致性差。為了解決當(dāng)前煙葉生產(chǎn)問題，亟須實(shí)現(xiàn)煙葉自動(dòng)化分級(jí)。 實(shí)現(xiàn)煙葉自動(dòng)化分級(jí)的關(guān)鍵主要是攻破煙葉分級(jí)模型研發(fā)和煙葉自動(dòng)化分級(jí)設(shè)備設(shè)計(jì)2 個(gè)問題。

基于機(jī)器視覺系統(tǒng)的煙葉分級(jí)識(shí)別可滿足分級(jí)的實(shí)時(shí)性和高效性。 機(jī)器視覺系統(tǒng)可以獲取目標(biāo)物的形態(tài)、像素分布、亮度和顏色等信息，將數(shù)字圖像處理的知識(shí)與模糊規(guī)則分類方法相結(jié)合，提取煙葉的形狀、顏色、紋理等特征，采用先分組、后分級(jí)的方法對(duì)煙葉進(jìn)行自動(dòng)分級(jí)[1-2]。張建平等[3]應(yīng)用計(jì)算機(jī)圖像處理技術(shù)和色度學(xué)理論，提出使用葉片的平均長寬比和平均葉尖角來描述葉片形狀特征。 本研究針對(duì)當(dāng)前煙葉人工分級(jí)的弊端，開展自動(dòng)化分級(jí)研究，研究煙葉分級(jí)模型的構(gòu)建，并設(shè)計(jì)煙葉自動(dòng)化分級(jí)設(shè)備，將理論與實(shí)際應(yīng)用充分結(jié)合，實(shí)現(xiàn)煙葉自動(dòng)化分級(jí)。

1 材料與方法

1.1 材料及儀器

1.1.1試驗(yàn)材料。供試材料是皖南地區(qū)2021 年煙葉，品種為云煙97，涉及B2F、C3F、X2F、X3F 4 個(gè)等級(jí)，各等級(jí)煙葉樣本分別有890、962、1 277、486 個(gè)，共計(jì)3 615 個(gè)煙葉樣本。

1.1.2儀器與設(shè)備。根據(jù)煙葉圖像采集試驗(yàn)需求，本研究定制了一臺(tái)機(jī)器視覺設(shè)備，其擁有符合國標(biāo)需求的光源、滿足圖像采集清晰度的相機(jī)鏡頭等，通過手動(dòng)上料方式進(jìn)行煙葉數(shù)據(jù)采集。 CCD 工業(yè)相機(jī)選用Sony 公司的TGX-2000 型，2 000 萬像素， 行頻5.8 fps，像元達(dá)到2.4 μm；采用高標(biāo)準(zhǔn)光學(xué)性能和高分辨率UST-MMD-X1625 型鏡頭，全視場分辨率可達(dá)140 lp/mm，保證圖像清晰度，最小畸變可達(dá)0.1%。

1.2 試驗(yàn)方法

1.2.1數(shù)據(jù)采集。 利用1.1.2 圖像采集裝置，開展單張煙葉圖像采集工作。 由于煙葉等級(jí)特征主要反映在正面，故本研究僅采集煙葉正面圖像，共3 615 張煙葉圖像作為試驗(yàn)數(shù)據(jù)。 采集到的各等級(jí)煙葉圖像如圖1 所示。

1.2.2分析方法。 具體的分析方法主要包括以下幾個(gè)方面的內(nèi)容。

（1）卷積神經(jīng)網(wǎng)絡(luò)及模型。卷積神經(jīng)網(wǎng)絡(luò)是一個(gè)多層非全連接的神經(jīng)網(wǎng)絡(luò)，在正向傳播過程中利用卷積層和池化層相互交替學(xué)習(xí)，提取原始數(shù)據(jù)的特征[4]；在反向傳播過程中利用梯度下降算法最小化誤差函數(shù)來調(diào)整參數(shù)，完成權(quán)值更新[5]。

在卷積層中，輸入數(shù)據(jù)與可訓(xùn)練的卷積核做卷積運(yùn)算，通過滑動(dòng)平移、加權(quán)求和的方式提取不同位置的特征，計(jì)算過程可表示為：

池化即為降采樣，假定池化窗口大小為n×n，取該窗口區(qū)域內(nèi)n×n 個(gè)特征值的最大（或平均）作為新的特征值， 將這些新的特征值按序排列后得到的新向量即為降維后池化層的輸出。 池化層特征向量的大小為上一層卷積層的1/n。池化層的計(jì)算過程可表示為：

卷積神經(jīng)網(wǎng)絡(luò)經(jīng)典模型有LeNet-5、VGG-16、GoogleNet（Inception-V3）、ResNet-50，其中：LeNet-5是用于手寫數(shù)字識(shí)別的卷積神經(jīng)網(wǎng)絡(luò)，有5 層卷積神經(jīng)網(wǎng)絡(luò)；VGG-16 簡化了卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)，全部使用3×3 的小型卷積核，使用Dropout 防止過擬合結(jié)構(gòu)，用Relu 激活函數(shù)代替sigmoid；GoogleNet（Inception-V3）引入Inception 模塊，使用密集結(jié)構(gòu)設(shè)計(jì)稀疏CNN，使用1×1 卷積核來降低計(jì)算量，全局均值池化層；ResNet-50 設(shè)計(jì)了殘差模塊解決網(wǎng)絡(luò)加深、梯度消失的問題，允許人們訓(xùn)練更深的網(wǎng)絡(luò)。

（2）圖像預(yù)處理。 ①圖像分割。 對(duì)于深度神經(jīng)網(wǎng)絡(luò)來說，如像素點(diǎn)過大的圖像訓(xùn)練起來耗時(shí)耗力，網(wǎng)絡(luò)無法達(dá)到擬合狀態(tài)。若直接調(diào)整圖像像素大小，會(huì)流失大量的煙葉紋理細(xì)節(jié)信息。 考慮到本研究中所采集的圖像，煙葉占圖片總面積的比例較小，故圖像前景背景分割是一種較合適的預(yù)處理手段。 圖像前景背景分割包括圖像灰度化、Canny 算子邊緣檢測、圖像二值化、圖像形態(tài)學(xué)運(yùn)算、目標(biāo)包圍輪廓計(jì)算、裁剪、分割等步驟。 通過上述步驟將感興趣區(qū)域（即煙葉）從背景中分割出來，最大限度地減少背景對(duì)圖像分類的干擾。②圖像特征縮放。對(duì)于深度學(xué)習(xí)網(wǎng)絡(luò)的訓(xùn)練和梯度下降算法來說，將特征值縮放到相同區(qū)間可以獲取性能更好的模型。 通過非線性變化歸一化，將圖像像素壓縮在[0，1]，有利于深度神經(jīng)網(wǎng)絡(luò)的收斂。 通過標(biāo)準(zhǔn)化處理，使訓(xùn)練數(shù)據(jù)服從標(biāo)準(zhǔn)正態(tài)分布，有利于網(wǎng)絡(luò)學(xué)習(xí)過程中權(quán)值的更新。本研究采用這2 種方法對(duì)數(shù)據(jù)進(jìn)行縮放。③圖像增強(qiáng)。本研究中圖像增強(qiáng)的方法使用旋轉(zhuǎn)、縮放、剪切變換、隨機(jī)放大、水平垂直隨機(jī)移動(dòng)，隨機(jī)產(chǎn)生煙葉圖像，擴(kuò)大神經(jīng)網(wǎng)絡(luò)訓(xùn)練集樣本數(shù)量，增加網(wǎng)絡(luò)對(duì)不同形態(tài)樣本的魯棒性。

（3）模型評(píng)價(jià)方法。通過訓(xùn)練集判別準(zhǔn)確率和測試集判別準(zhǔn)確率2 個(gè)指標(biāo)對(duì)本研究設(shè)計(jì)的模型進(jìn)行性能評(píng)估。 判別準(zhǔn)確率PA可表示為：

式（3）中：Nc為判別正確的樣本數(shù)；Nr為總樣品數(shù)。

2 結(jié)果與分析

2.1 圖像預(yù)處理

以一張B2F 等級(jí)煙葉為例，煙葉預(yù)處理過程如圖2 所示。

采集的煙葉圖像原始尺寸為5 184×3 456 像素，經(jīng)過灰度化、邊緣檢測、形態(tài)學(xué)運(yùn)算、煙葉輪廓提取、裁剪、像素填充[5]等步驟得到分割后的煙葉圖像。 將圖像縮放到適應(yīng)深度學(xué)習(xí)網(wǎng)絡(luò)的尺寸大小300×300像素。 對(duì)圖像進(jìn)行批量預(yù)處理，得到的圖像如圖3所示。

圖像預(yù)處理算法可以很好地分割出煙葉圖像，實(shí)現(xiàn)煙葉前景背景分割。 綜合考慮烘烤后的煙葉實(shí)際狀態(tài)以及拍攝的圖像信息，主要從標(biāo)準(zhǔn)差中心化（變暗）、白化、隨機(jī)角度旋轉(zhuǎn)、水平位置平移、豎直位置平移、錯(cuò)切變換、放縮操作、填充模式、水平翻轉(zhuǎn)、垂直翻轉(zhuǎn)等方面對(duì)煙葉圖像進(jìn)行增強(qiáng)。

2.2 建立基于深度學(xué)習(xí)的煙葉分級(jí)模型

深度學(xué)習(xí)網(wǎng)絡(luò)只有經(jīng)過大量數(shù)據(jù)訓(xùn)練才會(huì)有良好的分類表現(xiàn)。然而，本研究采集到的煙葉圖像數(shù)據(jù)量有限，故選取面向小型數(shù)據(jù)集模型構(gòu)建的方法——遷移學(xué)習(xí)來構(gòu)建煙葉分級(jí)模型。

2.2.1基于遷移學(xué)習(xí)構(gòu)建的皖南煙葉分級(jí)模型。 本研究采用的預(yù)訓(xùn)練網(wǎng)絡(luò)有LeNet-5、VGG-16、Google-Net（Inception-V3）、ResNet-50。 首先，將這些網(wǎng)絡(luò)在ImageNet 數(shù)據(jù)集訓(xùn)練好；其次，利用預(yù)訓(xùn)練網(wǎng)絡(luò)計(jì)算煙葉圖像的bottleneck（瓶頸）特征，并在網(wǎng)絡(luò)最后接上全連接層和分類器，利用煙葉圖像訓(xùn)練全連接層和分類器參數(shù)。

將煙葉圖像以4∶1 的比例劃分為訓(xùn)練集和測試集。 將訓(xùn)練集圖像通過圖像增強(qiáng)技術(shù)擴(kuò)充10 倍，得到訓(xùn)練集圖像為28 920 張、 測試集圖像為723 張。采用上述方式對(duì)模型進(jìn)行訓(xùn)練， 通過參數(shù)調(diào)節(jié)與優(yōu)化，建立的煙葉圖像等級(jí)識(shí)別模型預(yù)測結(jié)果如表1所示。

表1 煙葉分級(jí)模型結(jié)果 單位：%

2.2.2基于VGG-16 構(gòu)建的皖南煙葉分級(jí)模型。 通過上述模型對(duì)比試驗(yàn)，VGG-16 在煙葉分級(jí)任務(wù)中表現(xiàn)出色。 本研究對(duì)該模型的調(diào)優(yōu)主要采用了以下幾種方式：改變輸出神經(jīng)元節(jié)點(diǎn)個(gè)數(shù)；調(diào)節(jié)Epoch、Batchsize 參數(shù)，對(duì)比激活函數(shù)；網(wǎng)絡(luò)優(yōu)化器調(diào)優(yōu)。 固定輸出節(jié)點(diǎn)為4 個(gè)，通過大量試驗(yàn)對(duì)比，最終選取Epoch=500、Batchsize=16。在此參數(shù)設(shè)置下，表2 列出了不同網(wǎng)絡(luò)優(yōu)化器對(duì)模型結(jié)果的影響。 通過對(duì)比分析可知，采用Adagrad 優(yōu)化器時(shí)，模型的總體性能最好，訓(xùn)練集誤差約為10-3數(shù)量級(jí)，正確率約100%，模型在訓(xùn)練集上的擬合效果較好。 測試集正確率達(dá)到96%。

表2 優(yōu)化器對(duì)VGG-16 模型訓(xùn)練與測試效果的影響

2.3 煙葉分級(jí)自動(dòng)化設(shè)備設(shè)計(jì)

以煙葉分級(jí)模型構(gòu)建為基礎(chǔ)，結(jié)合光機(jī)電一體化技術(shù)等，研發(fā)煙葉分級(jí)自動(dòng)化裝備原型樣機(jī)，研究高效率上料機(jī)構(gòu)、煙葉圖像采集、煙葉等級(jí)高速識(shí)別系統(tǒng)與高通量煙葉分揀稱重系統(tǒng)于一體的技術(shù)設(shè)備，完成煙葉分級(jí)自動(dòng)化裝備原型樣機(jī)的研發(fā)。設(shè)備設(shè)計(jì)如圖4 所示。

3 結(jié)論與討論

本研究構(gòu)建了一種基于機(jī)器視覺技術(shù)與深度學(xué)習(xí)技術(shù)的皖南煙區(qū)煙葉分級(jí)模型。 運(yùn)用設(shè)計(jì)的煙葉預(yù)處理算法進(jìn)行煙葉分割，并通過遷移學(xué)習(xí)的方法對(duì)皖南煙區(qū)B2F、C3F、X2F、X3F 4 個(gè)等級(jí)煙葉圖像進(jìn)行建模。結(jié)果表明，基于預(yù)訓(xùn)練的VGG-16 模型在皖南煙區(qū)煙葉分級(jí)上的建模結(jié)果表現(xiàn)良好，模型預(yù)測能力較強(qiáng)。

結(jié)合煙葉模型分級(jí)算法，本研究設(shè)計(jì)了煙葉自動(dòng)化分級(jí)設(shè)備。該設(shè)備集上料、圖像采集、高速識(shí)別、分揀稱重于一體，可初步實(shí)現(xiàn)煙葉分級(jí)自動(dòng)化，提升煙葉分級(jí)工作效率，降低人員投入，提高煙葉分級(jí)質(zhì)量一致性。