中圖分類號(hào):TS493 文獻(xiàn)標(biāo)識(shí)碼:A 文章編號(hào):2095-5553(2025)08-0058-08
Abstract:To address theissue of smallandindistinguishable tobacco strands morphology among different types,a tobacco strandsclasification method basedon the improved MobileNetV2 was proposed in this study.The method employedMobileNetV2as the base network and introduceda multi-scale feature fusion moduletocapturerichdetailsof tobaccostrands.Excessive bottlenecks inthe backbone network wereremoved,and the clasifierwasredesigned toreduce networkdepth.Knowledgedistilationtechniqueswereincorporated,utilizingatransfer-learnedResNet5Onetwork to guide the trainingof themodified MobileNetV2 for lightweight model implementation.Experimentalresults demonstrated that the improvedMobileNetV2-based tobacco strands clasification method achieved an accuracyof 95.37% in recognizing various tobacco strands types,showing an 8.6% improvement over the baseline network. The parameter count was reduced to 0.62M ,a decrease of 1.61M compared to the baseline network.Furthermore,when compared to traditional classificationnetworks(GoogLeNet,AlexNet,ResNet50,VGG16),the proposed method exhibited higher accuracy in tobacco strands recognition with lower computational complexity.
Keywords:tobacco strands identification;deep learning;convolutionalneural network;knowledgedistilation;lightweight
0 引言
隨著各類煙草制品的需求量逐年攀升,煙草已經(jīng)成為全球性產(chǎn)業(yè)。葉絲、梗絲、膨脹煙絲和再造煙絲的配方比例是重要質(zhì)量指標(biāo),影響到卷煙制品的口感、香氣和煙霧的排放等性能。因此,實(shí)現(xiàn)高效快速的煙絲種類識(shí)別對(duì)進(jìn)一步提升煙草生產(chǎn)流程的煙支品質(zhì)、研制新型配方煙以及提高煙草生產(chǎn)設(shè)備的智能化水平和市場(chǎng)競(jìng)爭(zhēng)力都至關(guān)重要。
近年來(lái),機(jī)器視覺(jué)和深度學(xué)習(xí)相結(jié)合的圖像處理技術(shù)開(kāi)始廣泛應(yīng)用于農(nóng)業(yè)的檢測(cè)任務(wù)中,如作物害蟲(chóng)圖像分類[1]、果蔬分類、昆蟲(chóng)分類2等。隨后,基于機(jī)器視覺(jué)的深度學(xué)習(xí)技術(shù)在煙草及其制品的質(zhì)量檢測(cè)領(lǐng)域也被廣泛研究。He等3提出一種基于模糊識(shí)別算法的煙葉等級(jí)識(shí)別,通過(guò)提取煙葉的外形特征對(duì)樣本進(jìn)行分類。劉浩等4探究基于粒子群算法的反向傳播神經(jīng)網(wǎng)絡(luò)、極限學(xué)習(xí)機(jī)和基于遺傳算法的支持向量機(jī)3種模型對(duì)鮮煙成熟度的判別,為煙葉智能化采集提供技術(shù)支持。王士鑫等5針對(duì)煙葉分級(jí)提出一種新的卷積神經(jīng)網(wǎng)絡(luò),選取InceptionV3作為模型,將卷積層和網(wǎng)絡(luò)層進(jìn)行融合,將輸入的煙葉圖像經(jīng)過(guò)卷積池化操作后獲得特征信息,提高煙葉識(shí)別準(zhǔn)確率。焦方圓等6提出一種基于改進(jìn)VGG16網(wǎng)絡(luò)的煙葉分級(jí)模型,通過(guò)引入空洞卷積代替標(biāo)準(zhǔn)卷積,增加圖像的感受野,并將網(wǎng)絡(luò)中的ReLU激活函數(shù)改為L(zhǎng)eaky_ReLU函數(shù),有效提高煙葉分級(jí)的性能。
目前機(jī)器視覺(jué)在煙葉分級(jí)上的應(yīng)用相對(duì)成熟,而在煙絲分類上的應(yīng)用較少,這也吸引一批學(xué)者嘗試用機(jī)器視覺(jué)技術(shù)對(duì)煙絲分類進(jìn)行研究。但煙絲形態(tài)差異小且難以識(shí)別,給研究帶來(lái)一定的挑戰(zhàn)。高震宇等以LeNet網(wǎng)絡(luò)為基礎(chǔ)設(shè)計(jì)了煙絲組分識(shí)別模型。鐘宇等[8以殘差神經(jīng)網(wǎng)絡(luò)為基礎(chǔ),對(duì)模型的預(yù)訓(xùn)練權(quán)值、算法、學(xué)習(xí)率等進(jìn)行優(yōu)化,使其具有更高的識(shí)別率、泛化能力和魯棒性。周博等9利用太赫茲時(shí)域光譜技術(shù)對(duì)葉絲、梗絲、再造煙絲進(jìn)行分類識(shí)別,但并未研究形狀極其相似的葉絲和膨脹葉絲,存在一定的缺陷。Wang等[10]提出一種重疊煙絲種類識(shí)別方法,通過(guò)改進(jìn)MaskR—CNN增強(qiáng)網(wǎng)絡(luò)的特征提取能力,提高小目標(biāo)檢測(cè)性能。王小明等[1]提出一種基于AdaBoost集成學(xué)習(xí)的煙絲識(shí)別方法,通過(guò)研究不同煙絲在紋理、顏色和形狀的差異性,利用 F 一score特征選擇方法對(duì)煙絲的紋理、顏色和形狀特征進(jìn)行降維處理,然后以SVM作為基分類器,利用AdaBoost得到煙絲分類模型。
針對(duì)煙絲形態(tài)小且不同種類煙絲之間差異小、難以識(shí)別的問(wèn)題,本文從現(xiàn)場(chǎng)實(shí)際應(yīng)用出發(fā),提出一種改進(jìn)MobileNetV2的煙絲種類識(shí)別方法。該方法在MobileNetV2的基礎(chǔ)上增加改進(jìn)后的多尺度特征融合模塊,去除主干網(wǎng)絡(luò)中步距為1的bottleneck并對(duì)分類器進(jìn)行重新設(shè)計(jì),使用遷移學(xué)習(xí)后的ResNet50網(wǎng)絡(luò)對(duì)改進(jìn)后的MobileNetV2網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)指導(dǎo),并對(duì)比不同算法在煙絲種類識(shí)別上準(zhǔn)確率的差異。
1材料與方法
1.1系統(tǒng)采集裝置
圖像采集裝置由計(jì)算機(jī)、工業(yè)相機(jī)、鏡頭、環(huán)形光源、載物平臺(tái)、白色的平衡卡等硬件組成。相機(jī)選用的型號(hào)是??低?MV-CE100-30GC 1 000 萬(wàn)像素的工業(yè)相機(jī)。圖像采集使用MVS軟件,為了更好地顯示煙絲的顏色及紋理特征,設(shè)置其曝光時(shí)間為 1/100s 伽馬校正選擇sRGB模型,打開(kāi)自動(dòng)白平衡,同時(shí)拍照的背景選用白色平衡卡配合 5000K 的冷光源進(jìn)行拍攝,鏡頭與煙絲保持 30cm 的距離。
1.2 數(shù)據(jù)集制作
用圖像采集系統(tǒng)一共獲取6160張圖片,其中梗絲1520張、膨脹葉絲1560張、葉絲1550張、再造煙絲1530張,試驗(yàn)所用煙絲如圖1所示。將6160張煙絲圖像按照8:2的比例隨機(jī)劃分,4928張作為訓(xùn)練集,1232張作為測(cè)試集。
圖14種煙絲類型Fig.1 Four types of tobacco strands
1.3 圖像預(yù)處理
考慮到煙絲圖像過(guò)小的問(wèn)題,在將圖像進(jìn)行深度學(xué)習(xí)之前,還需對(duì)煙絲圖像進(jìn)行預(yù)處理操作,這樣可以減少后續(xù)對(duì)煙絲圖像特征提取的工作量以及圖像深度學(xué)習(xí)的時(shí)間,如圖2所示。
圖2圖像預(yù)處理流程 Fig. 2 Image preprocessing flowchart
將讀入的煙絲圖像進(jìn)行雙邊濾波處理,在保留圖像細(xì)節(jié)特征的情況下,對(duì)煙絲圖像中的噪聲進(jìn)行有效的抑制。將濾波后的圖像進(jìn)行灰度處理,再通過(guò)最大閾值法得到前景與背景的閾值,并利用得到的閾值將灰度圖轉(zhuǎn)為二值化圖像。再進(jìn)行輪廓篩選,剔除煙絲中存在的碎渣輪廓,對(duì)目標(biāo)輪廓截取最小外接矩形,確定煙絲主體所在區(qū)域即ROI區(qū)域。為獲得最好的識(shí)別效果,減小縮放操作造成的煙絲比例失真影響,將最小外接矩形根據(jù)長(zhǎng)寬均勻擴(kuò)充為正方形,最終將該正方形區(qū)域從原圖中裁剪出來(lái)。
2 模型構(gòu)建
2.1 MobileNetV2模型
MobileNetV2的模型結(jié)構(gòu)如表1所示。
表1MobileNetV2網(wǎng)絡(luò)結(jié)構(gòu)Tab.1MobileNetV2networkarchitecture
注:t表示擴(kuò)展因子,c表示輸出通道數(shù), Ωn 表示重復(fù)次數(shù),s表示卷積步長(zhǎng),k表示該模塊最終輸出通道數(shù)。
他網(wǎng)絡(luò)具有更小的體積、更少的計(jì)算量、更高的準(zhǔn)確率以及更快的速度,同時(shí)還能適應(yīng)多種應(yīng)用場(chǎng)景,例如目標(biāo)檢測(cè)、人臉識(shí)別、煙絲種類識(shí)別等。
MobileNetV2使用深度可分離卷積3來(lái)替代標(biāo)準(zhǔn)卷積,深度可分離卷積由深度卷積(DW)和逐點(diǎn)卷積(PW)兩部分組成,深度卷積對(duì)輸入數(shù)據(jù)的每個(gè)通道應(yīng)用單個(gè)固定的卷積核來(lái)提取通道內(nèi)的特征。用 1×1 逐點(diǎn)卷積對(duì)提取的特征進(jìn)行組合,并輸出最終結(jié)果,使用反向殘差結(jié)構(gòu),利用逐點(diǎn)卷積對(duì)輸人圖像升維,通過(guò) 3x 3的深度卷積提取各通道的特征,用逐點(diǎn)卷積進(jìn)行降維,反向殘差結(jié)構(gòu)還包括殘差連接分支,當(dāng)步長(zhǎng)為1時(shí),使用殘差連接來(lái)跨層傳遞信息;步長(zhǎng)為2時(shí),使用串聯(lián)結(jié)構(gòu)。采用線性瓶頸模塊替代非線性瓶頸,用線性卷積替代原始卷積并與ReLU函數(shù)組合,防止激活函數(shù)在低維轉(zhuǎn)換時(shí)過(guò)濾太多有效信息,從而提高分類性能。
2.2 MobileNetV2網(wǎng)絡(luò)改進(jìn)
由于煙絲粒徑小、色澤不均、紋理復(fù)雜、形態(tài)多樣等特點(diǎn),尤其是膨脹葉絲和葉絲,它們的相似度極高,給煙絲分類識(shí)別帶來(lái)巨大挑戰(zhàn)。MobileNetV2網(wǎng)絡(luò)識(shí)別準(zhǔn)確率僅有 86.77% ,無(wú)法滿足高精度煙絲識(shí)別任務(wù)的要求,故對(duì)MobileNetV2網(wǎng)絡(luò)進(jìn)行改進(jìn)來(lái)提升網(wǎng)絡(luò)性能,將綜合改進(jìn)的網(wǎng)絡(luò)命名為I—MobileNetV2—kd ,結(jié)構(gòu)如圖3所示。其中, α,β 表示權(quán)重, α+β=1 T 為溫度參數(shù), Ts 為溫度實(shí)際值。
2.2.1引入改進(jìn)的多尺度特征融合模塊
結(jié)合GoogLeNet網(wǎng)絡(luò)中的多尺度特征融合模塊[14(Inception),并借鑒MobileNetV2網(wǎng)絡(luò)中的深度可分離卷積思想對(duì)Inception 模塊加以改進(jìn),改進(jìn)后的模塊結(jié)構(gòu)如圖4所示,將普通卷積改為步長(zhǎng)為2、不帶殘差連接的串聯(lián)結(jié)構(gòu);并去除原有的最大池化分支;將原結(jié)構(gòu)中的4條支路減少至3條,一條由 1×1 逐點(diǎn)卷積組成,一條由 1×1 逐點(diǎn)卷積 3×3 深度卷積和 1× 1逐點(diǎn)卷積組成,一條由 1×1 逐點(diǎn)卷積、 .5×5 深度卷積和 1×1 逐點(diǎn)卷積組成,使用并行分支的結(jié)構(gòu)對(duì)輸人的特征進(jìn)行提取;因各分支輸出的特征圖大小維度一致,故將原拼接結(jié)構(gòu)改為各分支直接相加的方式后進(jìn)行輸出,在實(shí)現(xiàn)降低參數(shù)量的同時(shí)不影響準(zhǔn)確率。將改進(jìn)后的多尺度特征融合命名為I—Inception。
為使網(wǎng)絡(luò)獲取豐富的煙絲細(xì)節(jié)信息,考慮將改進(jìn)后的多尺度特征融合模塊放于網(wǎng)絡(luò)前端,方便提取圖像淺層特征,綜合考慮后,將改進(jìn)后的多尺度特征融合模塊放于第一層卷積和第一個(gè)瓶頸模塊之間。將引入改進(jìn)的多尺度特征融合模塊后的MobileNetV2網(wǎng)絡(luò)命名為M—MobileNetV2。
2.2.2 優(yōu)化主干網(wǎng)絡(luò)
為更好地利用主干網(wǎng)絡(luò)提取出煙絲細(xì)節(jié)特征,提升對(duì)煙絲種類的識(shí)別能力,對(duì)主干網(wǎng)絡(luò)和分類器部分重新進(jìn)行設(shè)計(jì)。在主干網(wǎng)絡(luò)部分,過(guò)多的bottleneck導(dǎo)致網(wǎng)絡(luò)深度增加,會(huì)丟失部分特征,淺層特征難以得到保存。因此,對(duì)bottleneck的設(shè)置進(jìn)行調(diào)整,從原始網(wǎng)絡(luò)中可以看出,使用步長(zhǎng)為1的bottleneck進(jìn)行重復(fù)操作,但并沒(méi)有縮小輸出尺寸,為保證網(wǎng)絡(luò)特征信息的有效傳遞,降低網(wǎng)絡(luò)深度,將步長(zhǎng)為1的bottleneck模塊刪去,并同時(shí)調(diào)整輸入輸出通道的數(shù)量,減少網(wǎng)絡(luò)的參數(shù)量與計(jì)算量。
為避免數(shù)據(jù)集中特征數(shù)不多,造成模型學(xué)習(xí)困難,對(duì)分類器也進(jìn)行重新設(shè)計(jì),先將bottleneck結(jié)束之后的 1×1 大小的Conv2d的輸出通道數(shù)由1280改為320。緊接著全局平均池化不做改動(dòng),將特征圖壓縮至 72×320 ,提取出每張?zhí)卣鲌D上最為明顯的特征點(diǎn)。全連接層是由320到4的連接,得到4種煙絲類別識(shí)別結(jié)果。將優(yōu)化主干網(wǎng)絡(luò)后的MobileNetV2網(wǎng)絡(luò)命名為O—MobileNetV2。
2.2.3 引入知識(shí)蒸餾
知識(shí)蒸餾[15是將一個(gè)復(fù)雜模型(通常稱為“教師模型\")的知識(shí)轉(zhuǎn)移給一個(gè)相對(duì)簡(jiǎn)單的模型(通常稱為“學(xué)生模型”),以減少小型模型的復(fù)雜度并提高推理速度,同時(shí)保持高準(zhǔn)確度。在知識(shí)蒸餾中,教師模型被用來(lái)生成軟標(biāo)簽。學(xué)生模型通過(guò)監(jiān)督學(xué)習(xí)的方式,學(xué)習(xí)這些軟標(biāo)簽,同時(shí)也會(huì)被監(jiān)督學(xué)習(xí)真實(shí)標(biāo)簽。這樣,學(xué)生模型既可以受到教師模型的指導(dǎo),又可以學(xué)習(xí)到真實(shí)標(biāo)簽的信息,從而獲得更優(yōu)良的性能。
將自建煙絲數(shù)據(jù)集在一些常見(jiàn)網(wǎng)絡(luò)上進(jìn)行訓(xùn)練,具體結(jié)果如表2所示??梢?jiàn),ResNet5O網(wǎng)絡(luò)的準(zhǔn)確率最高,MobileNetV2網(wǎng)絡(luò)的參數(shù)量、模型文件都是最小的,更加輕量化。因此,選取MobileNetV2為學(xué)生模型的基礎(chǔ)網(wǎng)絡(luò),ResNet5O為教師模型。將引入知識(shí)蒸餾后的MobileNetV2網(wǎng)絡(luò)命名為MobileNetV2—kd,結(jié)構(gòu)如圖5所示。
表2常用卷積神經(jīng)網(wǎng)絡(luò)對(duì)比 Tab.2 Comparison of commonly used convolutional neural networks
將使用預(yù)訓(xùn)練的ResNet5O網(wǎng)絡(luò)在ImageNet數(shù)據(jù)集上進(jìn)行訓(xùn)練,訓(xùn)練后將其遷移到自建的煙絲數(shù)據(jù)集上作為教師網(wǎng)絡(luò),傳遞其優(yōu)秀的特征表達(dá)能力,將MobileNetV2作為學(xué)生網(wǎng)絡(luò)。利用知識(shí)蒸餾原理,用教師網(wǎng)絡(luò)對(duì)學(xué)生網(wǎng)絡(luò)進(jìn)行訓(xùn)練,從而有效提高學(xué)生網(wǎng)絡(luò)的分類精度。
3 試驗(yàn)結(jié)果與分析
3.1試驗(yàn)平臺(tái)與參數(shù)設(shè)置
3.1.1 試驗(yàn)平臺(tái)
試驗(yàn)基于WindowslO操作系統(tǒng),選擇Pytorch深度學(xué)習(xí)框架作為訓(xùn)練和驗(yàn)證模型的主要工具,具體配置如表3所示。
表3試驗(yàn)平臺(tái)參數(shù)配置Tab.3 Experimental platform parameter configuration
3.1.2 參數(shù)設(shè)置
試驗(yàn)訓(xùn)練知識(shí)蒸餾溫度設(shè)置為10,使用交叉熵?fù)p失函數(shù),選用Adam優(yōu)化器,設(shè)置學(xué)習(xí)率為 0.000 1 訓(xùn)練批次為16、訓(xùn)練輪數(shù)為50。
3.2知識(shí)蒸餾中教師網(wǎng)絡(luò)與溫度的分析
3.2.1遷移學(xué)習(xí)對(duì)知識(shí)蒸餾中教師網(wǎng)絡(luò)的影響
為探究遷移學(xué)習(xí)對(duì)教師網(wǎng)絡(luò)的影響,從ResNet50網(wǎng)絡(luò)遷移前后煙絲的準(zhǔn)確率、損失值進(jìn)行驗(yàn)證。將訓(xùn)練集中的煙絲分別送入無(wú)遷移學(xué)習(xí)的ResNet5O網(wǎng)絡(luò)和有遷移學(xué)習(xí)的ResNet5O—TL網(wǎng)絡(luò)[16]中,對(duì)比結(jié)果如圖6所示。
由圖6(a)可知,ResNet5O—TL網(wǎng)絡(luò)最高準(zhǔn)確率為94.72% ,ResNet5O網(wǎng)絡(luò)最高準(zhǔn)確率為 91.96% 。ResNet5O—TL網(wǎng)絡(luò)剛開(kāi)始準(zhǔn)確率就高于 80% ,僅僅迭代幾輪準(zhǔn)確率就高達(dá) 90% ,而且后期的穩(wěn)定性和最終準(zhǔn)確率明顯優(yōu)于ResNet5O網(wǎng)絡(luò),準(zhǔn)確率提高2.76% ,煙絲分類的準(zhǔn)確率得到明顯提升。同時(shí),從圖6(b)可以明顯看出,使用遷移學(xué)習(xí)的網(wǎng)絡(luò)不僅損失值低,且損失值的收斂速度也很快。
3.2.2試驗(yàn)溫度對(duì)知識(shí)蒸餾的影響
在知識(shí)蒸餾中,溫度對(duì)試驗(yàn)?zāi)P推鹬P(guān)鍵作用[17]。如圖7所示,較高的溫度會(huì)使Softmax分布更為平滑,這使得模型更加容易進(jìn)行分類并減少其對(duì)特定類別的依賴性。另一方面,較低的溫度則會(huì)導(dǎo)致更尖銳的Softmax分布,這可能會(huì)增加模型對(duì)于特定類別的依賴性,從而降低其泛化能力。因此,選擇適當(dāng)?shù)臏囟葏?shù)極其重要。
圖7不同溫度參數(shù)概率分布 Fig.7Probabilitydistributionofdifferent temperatureparameter:
注:橫坐標(biāo)0、1、2、3分別表示梗絲、膨脹葉絲、葉絲、再造煙絲。
考慮到溫度會(huì)影響蒸餾效果,在不同的溫度下對(duì)同一個(gè)模型進(jìn)行訓(xùn)練,找到最佳溫度。首先,取試驗(yàn)溫度參數(shù) T 分別為1、5、10、20,然后,將ResNet50—TL網(wǎng)絡(luò)作為教師模型,將MobileNetV2網(wǎng)絡(luò)作為學(xué)生模型進(jìn)行訓(xùn)練,訓(xùn)練結(jié)果如表4所示,一味升高溫度并不能使準(zhǔn)確率一直上升,溫度過(guò)高準(zhǔn)確率反而下降。當(dāng)T=10 時(shí),網(wǎng)絡(luò)準(zhǔn)確率為 93.43% ,同時(shí)精確率、召回率等參數(shù)也是最優(yōu)的。所以,為保證后續(xù)試驗(yàn)效果最佳,選用的溫度參數(shù) T 均為 10 。
表4不同溫度試驗(yàn)結(jié)果Tab.4 Experimental results at different temperatures %
3.3 消融實(shí)驗(yàn)
采用消融實(shí)驗(yàn)對(duì)各種改進(jìn)網(wǎng)絡(luò)在同一自建煙絲數(shù)據(jù)集上進(jìn)行訓(xùn)練,并對(duì)其結(jié)果進(jìn)行分析。各模型所做改進(jìn)、準(zhǔn)確率值和參數(shù)量如表5所示,增加改進(jìn)多尺度特征融合模塊后的MobileNetV2,參數(shù)量?jī)H增加 0.03M 但準(zhǔn)確率提高 4.7% 。優(yōu)化主干網(wǎng)絡(luò)后的O—MobileNetV2網(wǎng)絡(luò)表現(xiàn)最為亮眼,參數(shù)量?jī)H有 0.58M 在大幅減少模型參數(shù)量的同時(shí)準(zhǔn)確率也提高 6.09% ,說(shuō)明MobileNetV2根據(jù)煙絲的實(shí)際特點(diǎn)進(jìn)行的優(yōu)化改進(jìn)是十分有效的,原網(wǎng)絡(luò)結(jié)構(gòu)存在復(fù)雜冗余的情況,阻礙了特征信息的流動(dòng),降低了識(shí)別能力。引人知識(shí)蒸餾后的MobileNetV2網(wǎng)絡(luò)準(zhǔn)確率提升 6.66% ,說(shuō)明引入知識(shí)蒸餾能夠很好地優(yōu)化原網(wǎng)絡(luò),進(jìn)一步提高煙絲復(fù)雜特征的提取能力。
綜合改進(jìn)后的網(wǎng)絡(luò)相比MobileNetV2參數(shù)量下降72. 20% ,準(zhǔn)確率提升 8.6% 。說(shuō)明借助教師網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)指導(dǎo)以及自身模型優(yōu)化之后,參數(shù)量大幅降低,識(shí)別能力得到極大提升。
表5消融實(shí)驗(yàn)結(jié)果 Tab.5Results of ablation experiment
各模型對(duì)煙絲分類的識(shí)別準(zhǔn)確率變化曲線和損失值變化曲線如圖8所示。由圖8(a)可知,MobileNetV2波動(dòng)最大,上升最為緩慢,且后續(xù)準(zhǔn)確率一直在 85% 附近上下波動(dòng),無(wú)法穩(wěn)定。M—MobileNetV2準(zhǔn)確率從一開(kāi)始就有了很大的提升,說(shuō)明多尺度特征融合模塊能夠充分地提取煙絲圖像中淺層的豐富多尺度特征。I—MobileNetV2—kd不超過(guò)5輪迭代,準(zhǔn)確率就能達(dá)到 90% 左右,相比其他模型收斂更快,后續(xù)也更加平穩(wěn)。由圖8(b)可知,改進(jìn)后的網(wǎng)絡(luò)在前10輪的損失值下降速度都很快,而I—MobileNetV2—kd的收斂速度明顯優(yōu)于其他網(wǎng)絡(luò),而且后續(xù)下降更平緩,波動(dòng)較少,模型表現(xiàn)更加穩(wěn)定。
3.4 不同模型對(duì)比
為驗(yàn)證所提出的基于改進(jìn)MobileNetV2煙絲種類識(shí)別方法的性能,選取一些常見(jiàn)的神經(jīng)網(wǎng)絡(luò)(GoogLeNet、AlexNet、ResNet5O、VGGl6)在自制煙絲數(shù)據(jù)集上進(jìn)行訓(xùn)練對(duì)比。
具體訓(xùn)練結(jié)果如圖9所示,MobileNetV2網(wǎng)絡(luò)收斂速度較快,但準(zhǔn)確率較低也不穩(wěn)定;GoogLeNet網(wǎng)絡(luò)計(jì)算效率高,但特征提取能力不佳,訓(xùn)練十幾輪后準(zhǔn)確率僅穩(wěn)定在 85% 左右;AlexNet網(wǎng)絡(luò)推行較早,細(xì)節(jié)特征提取能力不佳,最終準(zhǔn)確率也僅為 87% 左右;VGG16網(wǎng)絡(luò)因帶有龐大參數(shù)的全連接層,在煙絲數(shù)據(jù)集上表現(xiàn)不佳,準(zhǔn)確率均低于 85% ;ResNet50網(wǎng)絡(luò)在煙絲數(shù)據(jù)集上表現(xiàn)不錯(cuò),準(zhǔn)確率高達(dá) 92% ,但不如I-MobileNetV2—kd網(wǎng)絡(luò)準(zhǔn)確率穩(wěn)定且收斂速度快。試驗(yàn)證明,I—MobileNetV2—kd不僅準(zhǔn)確率高且收斂速度快,能夠更好地識(shí)別煙絲種類,有利于現(xiàn)場(chǎng)實(shí)際部署應(yīng)用。
所提出的I—MobileNetV2—kd模型不僅煙絲識(shí)別準(zhǔn)確率高還非常輕量化,選取MobileNetV2、ResNet5O—TL、Light—VGG[18]三種模型作為對(duì)比。如表6所示,分別從準(zhǔn)確率、參數(shù)量、模型文件大小以及單張圖像預(yù)測(cè)時(shí)間4個(gè)方面進(jìn)行詳細(xì)的比較,其中選取了單張預(yù)測(cè)時(shí)長(zhǎng)的原因是在深度學(xué)習(xí)用于煙絲圖像分類任務(wù)時(shí),預(yù)測(cè)時(shí)間是一個(gè)重要的指標(biāo),耗時(shí)過(guò)長(zhǎng)會(huì)影響現(xiàn)場(chǎng)的實(shí)際部署應(yīng)用。與原網(wǎng)絡(luò)相比,雖然I—MobileNetV2—kd的單張圖片預(yù)測(cè)時(shí)間增加0.037s,但其準(zhǔn)確率提升 8.6% ,參數(shù)量減少 72.2% ,模型大小降低 71.9% ,模型的準(zhǔn)確性和泛化性更好,能夠更好地滿足卷煙廠生產(chǎn)線的實(shí)際需求。ResNet5O—TL網(wǎng)絡(luò)模型參數(shù)量與模型大小最大,而且準(zhǔn)確率并沒(méi)有超過(guò) 95% 。Light—VGG模型總體性能有所提高,但不如I—MobileNetV2—kd輕量化。
表6各模型指標(biāo)對(duì)比 Tab.6 Comparison of various model indicators
3.5 混淆矩陣
為更加清晰地顯示各模型對(duì)每種煙絲的識(shí)別效果,圖10為不同改進(jìn)模型對(duì)應(yīng)分類結(jié)果的混淆矩陣??梢钥闯?,再造煙絲是最好識(shí)別的煙絲類型,除MobileNetV2正確識(shí)別為298張外,其余4種網(wǎng)絡(luò)能夠正確識(shí)別302張以上。MobileNetV2對(duì)其余3種煙絲的識(shí)別效果不佳,其中正確識(shí)別的膨脹葉絲只有263張,識(shí)別準(zhǔn)確率僅為 80.7% 。通過(guò)增加多尺度融合模塊,對(duì)梗絲、膨脹葉絲和葉絲的識(shí)別性能顯著提高;通過(guò)優(yōu)化主干網(wǎng)絡(luò),對(duì)膨脹葉絲和葉絲的識(shí)別性能有所提高;結(jié)合知識(shí)蒸餾方法,學(xué)習(xí)教師網(wǎng)絡(luò)知識(shí)后,對(duì)難以區(qū)分的膨脹葉絲和葉絲兩種煙絲識(shí)別性能繼續(xù)提高,正確張數(shù)分別為278張和298張,說(shuō)明學(xué)生網(wǎng)絡(luò)經(jīng)過(guò)改進(jìn)并結(jié)合知識(shí)蒸餾的學(xué)習(xí)后能夠有效提升識(shí)別性能。
3.6煙絲識(shí)別試驗(yàn)結(jié)果
為驗(yàn)證I—MobileNetV2—kd模型的準(zhǔn)確性和泛化能力,在測(cè)試集中隨機(jī)選擇梗絲、膨脹葉絲、葉絲和再造煙絲各100張,如圖11所示。
對(duì)所選擇的400張煙絲圖像進(jìn)行種類識(shí)別,識(shí)別結(jié)果如表7所示。在100張梗絲圖像中,梗絲的識(shí)別準(zhǔn)確率為 97% ;在100張膨脹葉絲圖像中,膨脹葉絲的識(shí)別準(zhǔn)確率為 95% ;在100張葉絲圖像中,葉絲的識(shí)別準(zhǔn)確率為 96% ;在100張?jiān)僭鞜熃z圖像中,再造煙絲的識(shí)別準(zhǔn)確率為 99% 。從而證明I—MobileNetV2—kd模型具有較好的泛化能力。
表7I—MobileNetV2—kd模型的煙絲識(shí)別結(jié)果
Tab.7 Tobacco strands recognition results of theI—MobileNetV2—kdmodel
4結(jié)論
1)針對(duì)煙絲形態(tài)小且不同種類煙絲之間差異小不易識(shí)別的問(wèn)題,提出一種基于改進(jìn)MobileNetV2的煙絲種類識(shí)別方法。該方法在MobileNetV2網(wǎng)絡(luò)中引入改進(jìn)的多尺度特征模塊,在降低參數(shù)量的同時(shí)不影響準(zhǔn)確率;減少主干網(wǎng)絡(luò)中步長(zhǎng)為1的bottleneck,并調(diào)整優(yōu)化器和最后的輸出通道數(shù),進(jìn)而提高模型對(duì)煙絲的識(shí)別能力;結(jié)合知識(shí)蒸餾技術(shù)使用遷移學(xué)習(xí)后的ResNet50網(wǎng)絡(luò)對(duì)改進(jìn)后的MobileNetV2網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)指導(dǎo),在提高準(zhǔn)確率的同時(shí)實(shí)現(xiàn)模型輕量化。
2)改進(jìn)后煙絲種類識(shí)別算法I—MobileNetV2—kd,有效解決煙絲形態(tài)小不易識(shí)別的問(wèn)題,實(shí)現(xiàn)對(duì)4種煙絲的準(zhǔn)確識(shí)別;I—MobileNetV2—kd的識(shí)別準(zhǔn)確率高達(dá) 95.37% ,參數(shù)量低至 0.62M ;與GoogLeNet、AlexNet、ResNet50、VGG16相比,準(zhǔn)確率分別提高6.97%.8.07%.3.37%.10.79% ,參數(shù)量分別降低5.38M,13.98M,22.88M,133.68M 試驗(yàn)結(jié)果表明,I—MobileNetV2—kd煙絲種類識(shí)別算法在實(shí)現(xiàn)輕量化的同時(shí)又提高了煙絲的識(shí)別準(zhǔn)確率,對(duì)卷煙廠的實(shí)際生產(chǎn)起到一定的指導(dǎo)意義。
參考文獻(xiàn)
[1]陳繼清,韋德鵬,龍騰,等.基于卷積神經(jīng)網(wǎng)絡(luò)的害蟲(chóng)分類[J].中國(guó)農(nóng)機(jī)化學(xué)報(bào),2022,43(11):188—194.Chen Jiqing,WeiDepeng,Long Teng,et al.Pest
classificatio based on convolutional neural network [J]. Journal of Chinese Agricultural Mechanization, 2022, 43(11):188—194.
[2]Amarathunga D C,Ratnayake M N,Grundy J,et al. Fine-grained image classification of microscopic insect pest species:Western flower thrips and plague thrips [J]. Computers and Electronics in Agriculture,2O22,203: 107462.
[3]He Y,Wang H,Zhu S,et al. Method for grade identification of tobacco based on machine vision [J]. Transactions of the ASABE,2018,61(5):1487-1495.
[4]劉浩,孟令峰,王松峰,等.基于機(jī)器視覺(jué)的烤煙鮮煙成 熟度判別模型優(yōu)選[J].中國(guó)農(nóng)機(jī)化學(xué)報(bào),2023,44(8): 118—124. Liu Hao,Meng Lingfeng,Wang Songfeng,et al. Optimizationoffreshflue-curedtobaccomaturity discrimination model based on machine vision [J]. Journal of Chinese Agricultural Mechanization,2O23,44(8): 118—124.
[5]王士鑫,云利軍,葉志霞,等.一種基于卷積神經(jīng)網(wǎng)絡(luò)的 煙葉分級(jí)處理算法[J].云南民族大學(xué)學(xué)報(bào)(自然科學(xué) 版),2020,29(1):65—69. Wang Shixin,Yun Lijun,Ye Zhixia,et al.A tobacco leaf grading processing algorithm based on convolutional neural network [J]. Journal of Yunnan Minzu University (Natural Sciences Edition),2020,29(1):65-69.
[6]焦方圓,申金媛,郝同盟.一種基于卷積神經(jīng)網(wǎng)絡(luò)的煙葉 等級(jí)識(shí)別方法[J].食品與機(jī)械,2022,38(2):222—227. Jiao Fangyuan, Shen Jinyuan,Hao Tongmeng. A method of tobacco leaf grade recognition based on convolutional neural network[J].Food amp;Machinery,2022,38(2): 222-227.
[7]高震宇,王安,董浩,等.基于卷積神經(jīng)網(wǎng)絡(luò)的煙絲物質(zhì) 組成識(shí)別方法[J].煙草科技,2017,50(9):68—75. Gao Zhenyu,Wang An,Dong Hao,et al. Identification of tobacco components in cut filler based on convolutional neural network [J]. Tobacco Science amp;.Technology, 2017,50(9): 68-75.
[8]鐘宇,周明珠,徐燕,等.基于殘差神經(jīng)網(wǎng)絡(luò)的煙絲類型 識(shí)別方法的建立[J].煙草科技,2021,54(5):82—89. Zhong Yu,Zhou Mingzhu,Xu Yan,et al. A method for identifying types of tobacco strands based on residual neural network [J]. Tobacco Science amp;.Technology,2021, 54(5):82-89.
[9]周博,朱文魁,王趙改,等.基于太赫茲時(shí)域光譜技術(shù)的 煙草組分識(shí)別[J].農(nóng)業(yè)工程學(xué)報(bào),2022,38(10): 310—316. Zhou Bo, ZhuWenkui, WangZhaogai,etal. Identification of tobacco materials based on terahertz time-domain spectroscopy[J]. Transactionsofthe Chinese Society of Agricultural Engineering, 2022, 38(10):310-316.
[10]Wang L, Jia K,F(xiàn)u Y,et al. Overlapped tobacco shred image segmentation andareacomputation usingan improved Mask R—CNN network and COT algorithm [J]. Frontiers in Plant Science,2023,14:1108560.
[11]王小明,魏甲欣,馬飛,等.基于AdaBoost集成學(xué)習(xí) 的煙絲組分識(shí)別[J].食品與機(jī)械,2022,38(3): 205—211. Wang Xiaoming,Wei Jiaxin,Ma Fei,et al. Identifrcation of cut tobacco components based on AdaBoost ensemble learning[J].Foodamp;Machinery,2022,38(3): 205—211.
[12]Gulzar Y. Fruit image classification model based on MobileNetV2 with deep transfer learning technique [J]. Sustainability,2023,15(3):1906.
[13]Dai Y,Li C,Su X,et al. Multi-scale depthwise separable convolution for semantic segmentation in street-road scenes[J].Remote Sensing,2023,15(10):2649.
[14]魯夢(mèng)瑤,周強(qiáng),姜舒文,等.基于深度學(xué)習(xí)與多尺度特征 融合的烤煙煙葉分級(jí)方法[J].中國(guó)農(nóng)機(jī)化學(xué)報(bào),2022, 43(1):158-166. Lu Mengyao, Zhou Qiang,Jiang Shuwen, etal. Flue-cured tobacco leaf grading method based on deep learning and multi-scale feature fusion [J]. Journal of Chinese Agricultural Mechanization,2022,43(1): 158-166.
[15]Arablouei R,Wang L,Phillips C,et al. In-situ animal behavior classification using knowledge distillation and fixed-pointquantization[J].SmartAgricultural Technology,2023,4:100159.
[16]WulF,Lin H. Effect of transfer learning on the performance of VGGNet—16 and ResNet—5O for the classification of organic and residual waste [J]. Frontiers in Environmental Science,2022,10:2129.
[17]劉坤香.基于知識(shí)蒸餾的泥石流災(zāi)害溝谷分類研究[D]. 昆明:云南師范大學(xué),2022. Liu Kunxiang. Study on gully classification of debris flow disaster based on knowledge distillation [D]. Kunming : Yunnan Normal University,2022.
[18]牛群峰,袁強(qiáng),靳毅,等.基于改進(jìn)VGG16卷積神經(jīng)網(wǎng) 絡(luò)的煙絲類型識(shí)別[J].國(guó)外電子測(cè)量技術(shù),2022, 41(9):149-154. Niu Qunfeng,Yuan Qiang,Jin Yi,et al.Identification of tobacco strandstypes basedon improved VGG16 convolutional neural network [J]. Foreign Electronic Measurement Technology,2022,41(9):149—154.