基于改進(jìn)EfficientNetv2模型的多品種南藥葉片分類方法

孫道宗，劉錦源，丁鄭，劉歡，彭家駿，謝家興，王衛(wèi)星

1.華南農(nóng)業(yè)大學(xué)電子工程學(xué)院（人工智能學(xué)院），廣州 510642；2.廣東省農(nóng)情信息監(jiān)測(cè)工程技術(shù)研究中心，廣州 510642

南藥是指長(zhǎng)江以南、南嶺以北地區(qū)包括湖南、江西、福建、臺(tái)灣等省區(qū)的全部或大部分地區(qū)所產(chǎn)的地道藥材，是我國(guó)傳統(tǒng)中藥材的重要組成部分。目前廣東省種植的藥材有60多種，其中具有鮮明地域特色的南藥種類有40余種，種植面積共約21萬hm2，年產(chǎn)量約115萬t，農(nóng)業(yè)產(chǎn)值約160億元［1］。在實(shí)際種植生產(chǎn)過程中，由于葉片的紋理復(fù)雜、背景的復(fù)雜性及藥材葉片與樹葉顏色和紋理的高度相似性，給南藥材的分類和分揀工作帶來一定困難。

對(duì)于復(fù)雜自然場(chǎng)景下的植物葉片目標(biāo)檢測(cè)和識(shí)別，近年來已取得一定進(jìn)展。朱黎輝等［2］將基于形狀和紋理特征的中藥圖像檢索方式融合模式識(shí)別技術(shù)及人機(jī)交互技術(shù)運(yùn)用到對(duì)中藥材圖像的檢索上，提取BLBP紋理特征和IHOG形狀特征并將2種特征進(jìn)行組合，該方法的平均準(zhǔn)確率達(dá)到93.56%。楊萬里等［3］提取了顏色、形態(tài)和紋理等85個(gè)表型參數(shù)進(jìn)行歸一化處理后，將表型數(shù)據(jù)與作物的生長(zhǎng)質(zhì)量作線性回歸分析，建立最優(yōu)預(yù)測(cè)模型。凌秀華等［4］對(duì)麥冬藥材的幾何形狀、顏色、紋理、橫切面各組織的面積分?jǐn)?shù)等特征進(jìn)行提取，實(shí)現(xiàn)有效鑒別不同產(chǎn)地麥冬藥材。陶歐等［5］通過分析18種中藥材不同樣本圖像的26個(gè)紋理特征數(shù)，采用樸素貝葉斯及BP神經(jīng)網(wǎng)絡(luò)2種建模方法和十折交叉驗(yàn)證，建立18種中藥材的判別模型，其準(zhǔn)確率達(dá)到90%。錢丹丹等［6］利用計(jì)算機(jī)視覺系統(tǒng)提取中藥飲片圖像的特征并輸入到樸素貝葉斯分類器，其綜合分類準(zhǔn)確率達(dá)到94%。藥材通過加工制成后的中藥飲片也可以利用深度學(xué)習(xí)進(jìn)行分類和識(shí)別訓(xùn)練，并建立模型［7］。模型提取到足夠的特征后，利用卷積神經(jīng)網(wǎng)絡(luò)對(duì)中藥材圖像進(jìn)行識(shí)別。

此前手工提取特征的方法容易受圖像噪聲、背景復(fù)雜性等影響，造成提取特征出現(xiàn)偏差。隨著深度學(xué)習(xí)理論的發(fā)展，基于學(xué)習(xí)的方法能夠自動(dòng)化提取數(shù)據(jù)特征，因此魯棒性更好［8］。Xu等［9］提出了1種新的用于中藥材識(shí)別的注意金字塔網(wǎng)絡(luò)APN（atten?tional pyramid networks）。APN可以自適應(yīng)地對(duì)不同特征尺度的中草藥圖像進(jìn)行建模，將其運(yùn)用至構(gòu)建好的中藥數(shù)據(jù)集上開展試驗(yàn)并獲得2%的性能提升。除了與圖像識(shí)別結(jié)合，深度學(xué)習(xí)也能夠和電子鼻技術(shù)進(jìn)行結(jié)合，在原有的深度卷積神經(jīng)網(wǎng)絡(luò)（DCNN）上進(jìn)行優(yōu)化，在卷積層和池化層上使用特殊的一維內(nèi)核，使其適合于電子鼻的數(shù)據(jù)，實(shí)現(xiàn)對(duì)多種類型的中藥材分類［10］。孫鑫等［11］利用卷積神經(jīng)網(wǎng)絡(luò)研究中藥飲片圖像識(shí)別，運(yùn)用Softmax函數(shù)來優(yōu)化CNN識(shí)別模型，在50種中藥飲片圖像中可實(shí)現(xiàn)70%的平均識(shí)別精度。Anvarkhah等［12］利用機(jī)器視覺技術(shù)，針對(duì)藥用植物種子的形態(tài)和顏色2種特征參數(shù)的組合，進(jìn)行識(shí)別和檢測(cè)研究，找出準(zhǔn)確率最優(yōu)的特征組合?；谏疃葘W(xué)習(xí)的草本植物自動(dòng)分類識(shí)別系統(tǒng)是根據(jù)葉片形狀來識(shí)別植物類型，其方法可以應(yīng)用至中藥材圖像信息庫，進(jìn)而建立更高效的、快速的藥材信息檢索方法［13］。Husin等［14］設(shè)計(jì)一種便捷高效的草本植物分類系統(tǒng)來提高分類效率，研究的重點(diǎn)在于中藥葉片的形狀和紋理特征的識(shí)別方法，識(shí)別準(zhǔn)確率達(dá)到98.9%。Sladojevic等［15］利用深度卷積網(wǎng)絡(luò)進(jìn)行植物病害識(shí)別，該模型的試驗(yàn)精度在91%～98%，單獨(dú)分類測(cè)試的平均精度為96.3%。

現(xiàn)有研究對(duì)藥材識(shí)別的方法多為提取特征后再輸入到卷積網(wǎng)絡(luò)得到分類結(jié)果，但是仍然存在識(shí)別準(zhǔn)確率不高、生成模型存儲(chǔ)空間較大的問題，對(duì)硬件設(shè)備要求較高而難以應(yīng)用到嵌入式或移動(dòng)式設(shè)備上。Tan等［16］在2019年發(fā)布了基于CNN的主干特征提取網(wǎng)絡(luò)EfficientNetv1，其使用基于強(qiáng)化學(xué)習(xí)［17-18］的神經(jīng)架構(gòu)搜索，將圖像輸入分辨率r、網(wǎng)絡(luò)的深度depth以及卷積核個(gè)數(shù)width 這3個(gè)參數(shù)進(jìn)行合理化配置，從而設(shè)計(jì)一個(gè)性能較好的主干網(wǎng)絡(luò)。相較于AlexNet、VGGNet、GoogleNet等經(jīng)典網(wǎng)絡(luò)，EfficientNetv1模型在ImageNet上有更高的精度，并且卷積網(wǎng)絡(luò)體量更小，速度更快。但EfficientNetv1網(wǎng)絡(luò)也存在一些不足，比如訓(xùn)練圖像要求的尺寸較大時(shí)，訓(xùn)練速度會(huì)非常慢，訓(xùn)練迭代周期較多時(shí)對(duì)硬件資源損耗較大；對(duì)每個(gè)stage的深度和寬度都是統(tǒng)一且同等放大，然而不同的stage在網(wǎng)絡(luò)的訓(xùn)練速度以及參數(shù)量的貢獻(xiàn)并不相同，因此，這種同等縮放存在不合理之處。EfficientNetv2［19］針對(duì)EfficientNetv1的不足進(jìn)行改進(jìn)，提出了改進(jìn)后的漸進(jìn)學(xué)習(xí)方法，該方法根據(jù)訓(xùn)練圖像的尺寸動(dòng)態(tài)調(diào)節(jié)正則方法。在模型縮放中采用非均勻的策略來解決同等縮放帶來的不合理問題，通過試驗(yàn)獲得結(jié)果與此前的網(wǎng)絡(luò)相比，訓(xùn)練速度和參數(shù)數(shù)量上都有一定的優(yōu)勢(shì)。

為進(jìn)一步提高分類網(wǎng)絡(luò)的泛用性，優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)，解決在復(fù)雜場(chǎng)景下南藥材快速、高精度識(shí)別問題，本研究選擇基于結(jié)構(gòu)復(fù)雜但精準(zhǔn)度較高的 Effici?enNetv2 網(wǎng)絡(luò)模型進(jìn)行改進(jìn)，在保持高識(shí)別準(zhǔn)確率前提進(jìn)一步下提升網(wǎng)絡(luò)的性能，旨在進(jìn)一步提高南藥材的分類準(zhǔn)確率和分揀效率。

1 材料與方法

1.1 南藥圖像數(shù)據(jù)集的制作和預(yù)處理

1）試驗(yàn)數(shù)據(jù)采集 。采樣的藥材基地包括位于廣州市天河區(qū)柯木塱的廣東省農(nóng)業(yè)技術(shù)推廣總站以及位于肇慶市高要區(qū)的南藥省級(jí)現(xiàn)代農(nóng)業(yè)產(chǎn)業(yè)園，涵蓋廣藿香（Pogostemon cablin）、沉香（Aquilaria sinen?sis（Lour.） Gilg）、巴戟天（Morinda officinalisHow）、何首烏（Fallopia multiflora）、化橘紅（Citri Grandis Exocarpium）、廣佛手（Citri sarcodactylisFructus），陳皮（Pericarpium Citri Reticulatae）和陽春砂（Amo?mum villosumLour）共8種南藥，如圖1所示。使用 SONY IMX386 1 200萬像素帶f/2.0光圈的攝像頭，距離每種葉片5～10 cm、拍攝時(shí)取景角度在?49°～66°，拍攝周期內(nèi)采集10次以上的數(shù)據(jù)，涵蓋晴天、陰天和雨天3種常見氣象情況，并且全部為室外情況，其光照強(qiáng)度范圍為50～1×108lx，共采集南藥葉片圖像2 466 張。圖像采集期間包含晴天、多云、陰天及小雨4種天氣情況，采集時(shí)段集中于09：00-12：00，拍攝方位涵蓋順光、側(cè)光、逆光、側(cè)順光和側(cè)逆光。

圖1 南藥葉片圖像樣本Fig.1 Leaf of southern medicine image samples

2）數(shù)據(jù)擴(kuò)增。為了提高訓(xùn)練過程的模型精確率和泛用性，本研究對(duì)訓(xùn)練樣本進(jìn)行數(shù)據(jù)擴(kuò)增處理，擴(kuò)增方法包含對(duì)比度增強(qiáng)、高斯噪聲、仿射變換、鏡面翻轉(zhuǎn)4種手段，擴(kuò)增效果如圖2所示。通過對(duì)訓(xùn)練樣本的擴(kuò)增處理，將廣藿香、沉香、巴戟天、何首烏、化橘紅、廣佛手、陳皮、陽春砂樣本數(shù)分別從309、304、308、304、304、297、320、320張擴(kuò)增至945、1 020、1 040、1 020、1 020、980、1 100、1 100張，整體數(shù)據(jù)集由原來的2 466張?jiān)黾又? 225張圖片，數(shù)量相較于擴(kuò)增前約提升3倍，防止模型出現(xiàn)過擬合現(xiàn)象，提高模型的泛化能力。

圖2 數(shù)據(jù)擴(kuò)增處理后的效果圖Fig.2 The effect picture after data amplification processing

3）數(shù)據(jù)預(yù)處理。由于擴(kuò)增后圖像樣本數(shù)量較大，為了進(jìn)一步提升網(wǎng)絡(luò)模型的訓(xùn)練速度、收斂性以及準(zhǔn)確率，對(duì)訓(xùn)練圖像數(shù)據(jù)集進(jìn)行預(yù)處理。本研究采用來自Pytorch官方的算法工具庫所提供trans?forms.Compose組件對(duì)南藥葉片圖像進(jìn)行張量化處理、歸一化處理和正態(tài)分布處理，其中transform.To?Tensor（）將輸入圖像數(shù)據(jù)原本（W（寬度），H（高度），C（通道數(shù)））的形狀轉(zhuǎn)換為（C，H，W）形狀的Tensor格式，在將所有數(shù)據(jù)除以255，歸一化到［0，1.0］；正態(tài)分布處理則調(diào)用transforms.Normalize方法。將RGB 3個(gè)通道上的均值都設(shè)為0.5，3個(gè)通道的標(biāo)準(zhǔn)差也設(shè)置為0.5，參數(shù)mean和std均以0.5的形式傳遞，使圖像的灰度歸一化在［0，1］，處理后的數(shù)據(jù)符合標(biāo)準(zhǔn)正態(tài)分布，模型更容易收斂。

1.2 改進(jìn)EfficientNetv2網(wǎng)絡(luò)模型的構(gòu)建

1） EfficientNetv2相較EfficientNetv1的改進(jìn)點(diǎn)。EfficientNetv2網(wǎng)絡(luò)中在原本EfficientNetv1網(wǎng)絡(luò)的淺層中引入了Fused-MBConv模塊，模塊結(jié)構(gòu)變化如圖3所示。由圖3可知，F(xiàn)used-MBConv是在原來的MBConv結(jié)構(gòu)基礎(chǔ)上，用1×1的卷積層替換了原本結(jié)構(gòu)中的1×1的卷積層和深度可分離3×3卷積層，該網(wǎng)絡(luò)模塊替換v1網(wǎng)絡(luò)淺層的MBConv層后進(jìn)行訓(xùn)練，能夠顯著提升訓(xùn)練速度。EfficientNetv2模型將原本EfficientNetv1中卷積核大小為5×5的部分全部用3×3代替、降低輸入/輸出通道增加倍率值的大小、移除EfficientNetv1中第8個(gè)stage，進(jìn)一步降低內(nèi)存訪問產(chǎn)生的開銷并提高訓(xùn)練速度。

圖3 MBConv 和Fused-MBConv的網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 Structure of MBConv and Fused-MBConv

2） 改進(jìn)EfficientNetv2網(wǎng)絡(luò)模型的構(gòu)建。Effi?cientNetv2網(wǎng)絡(luò)提供了S、M以及L 共3種初始模型，本研究選取最輕量的初始模型EfficientNetv2-S作為改進(jìn)基礎(chǔ)，該模型有44層網(wǎng)絡(luò)結(jié)構(gòu)，共分為7個(gè)階段。初始模型EfficientNetv2-S是原作提供的幾個(gè)初始模型中最輕量的1個(gè)，但是在訓(xùn)練時(shí)也存在運(yùn)算量較大、單次訓(xùn)練時(shí)間較長(zhǎng)、模型空間占用大的問題，因此對(duì)原有的網(wǎng)絡(luò)結(jié)構(gòu)層實(shí)行改進(jìn)操作。改進(jìn)后的EfficientNetv2-S模型結(jié)構(gòu)在模型的7個(gè)階段里，第一階段和最后一階段與原網(wǎng)絡(luò)結(jié)構(gòu)保持一致，通道數(shù)發(fā)生變化，其余的主要針對(duì)中間的第2～6階段部分進(jìn)行重新設(shè)計(jì)。網(wǎng)絡(luò)結(jié)構(gòu)改進(jìn)前后如圖4所示。圖4A中，Conv3×3即3×3卷積和 SiLU激活函數(shù)； BN即批歸一化層，SE=0.25表示使用了SE模塊，0.25表示SE模塊中首個(gè)全連接層的節(jié)點(diǎn)個(gè)數(shù)是輸入該MBConv模塊特征矩陣通道數(shù) 1/4，repeat即重復(fù)層數(shù)。將原本在前3個(gè)調(diào)用Fused-MBConv的階段調(diào)整為前2個(gè)階段使用Fused-MBConv，余下3～6這4個(gè)階段使用MBConv模塊，該改動(dòng)的原因是MB?Conv比Fused-MBConv有更小的擴(kuò)展比，而更小的擴(kuò)展比往往具有較少的內(nèi)存訪問開銷。因此，調(diào)整了Fused-MBConv的使用架構(gòu)，提高模型的感受野大小，降低模型復(fù)雜度和深度，從而進(jìn)一步提高模型的輕量化。

圖 4 改進(jìn)前后的EfficientNetv2-S網(wǎng)絡(luò)模型結(jié)構(gòu)對(duì)比圖Fig.4 Comparison of the structure of EfficientNetv2-S network model before and after improvement

第二步是將第5～17層的3×3卷積核替換為5×5卷積核，即圖4B中藍(lán)色標(biāo)記的部分，這一步是結(jié)合了EfficientNetv1的思想到改進(jìn)模型中。在初始的EfficientNetv2-S模型中大量使用3×3卷積核，導(dǎo)致感受野減小，從而迫使整個(gè)網(wǎng)絡(luò)需要增加更多卷積層進(jìn)行彌補(bǔ)來保證模型精度。將部分3×3卷積層替換為5×5卷積核既可以提高精度，也能減少卷積層數(shù)量。

在前兩步中，由于調(diào)整MBConv模塊數(shù)量和部分卷積層替換更大的5×5卷積核，使得整個(gè)網(wǎng)絡(luò)的感受野范圍得到提升，因此不需要依賴更多的卷積層來維持模型精度。根據(jù)初始模型的比例對(duì)網(wǎng)絡(luò)層數(shù)進(jìn)行縮減。按初始模型的比例將第4～6階段的6、9、15層縮減至3、3、4層，即圖4B中紅色字體標(biāo)記的repeat部分，進(jìn)一步降低模型的復(fù)雜度和冗余。經(jīng)過上述調(diào)整，整個(gè)網(wǎng)絡(luò)結(jié)構(gòu)從原來的44層縮減至19層。其中，將1～6階段共40層的3個(gè)Fused-MB?Conv+3個(gè)MBConv的網(wǎng)絡(luò)結(jié)構(gòu)，優(yōu)化為17層的2個(gè)Fused-MBConv+4個(gè)MBConv的網(wǎng)絡(luò)結(jié)構(gòu)，初始通道數(shù)由初始的24調(diào)整為16，最后在1×1卷積的全連接層作用下將特征圖進(jìn)行降維處理，降維后特征的分辨率沒有發(fā)生變化，但是通道數(shù)變?yōu)?60，改進(jìn)后的網(wǎng)絡(luò)結(jié)構(gòu)如表1所示。

表 1 改進(jìn)的EfficientNetv2-S的結(jié)構(gòu)Table 1 Improvement of EfficientNetv2-S architecture

3）引入Adam優(yōu)化算法。在EfficientNetv2-S中，采用的是固定步長(zhǎng)隨機(jī)梯度下降法（stochastic gradient descent， SGD）［20］。雖然該優(yōu)化算法對(duì)梯度要求相對(duì)較低，但在隨機(jī)選擇梯度的過程中會(huì)增加噪聲，導(dǎo)致權(quán)值更新比率會(huì)出現(xiàn)偏差。因此，引入自適應(yīng)矩估計(jì)（adaptive moment estimation），即Ad?am［21］優(yōu)化算法替代原先的SGD優(yōu)化算法?？梢杂糜?xùn)練數(shù)據(jù)的迭代來更新所用神經(jīng)網(wǎng)絡(luò)中的各個(gè)權(quán)重，在計(jì)算梯度的一階矩估計(jì)和二階矩估計(jì)時(shí)，Ad?am會(huì)為各個(gè)參數(shù)設(shè)置獨(dú)立的學(xué)習(xí)率。其算法更新規(guī)則如式（1）～（3）所示。

式（1）～（3）中，mt是計(jì)算歷史梯度的一階指數(shù)平滑值，vt是計(jì)算歷史梯度平方的一階指數(shù)平滑值，g指的是上一輪剛更新的梯度值，β1、β2是矩估計(jì)的指數(shù)衰減率，variable是指計(jì)算變量的更新值，rt為學(xué)習(xí)率，ε為除零誤差項(xiàng)，目的是避免除數(shù)變?yōu)?。文中的Adam優(yōu)化算法里，初始學(xué)習(xí)率是10-2，指數(shù)衰減率β1和β2分別是0.9和0.999，除零誤差項(xiàng)ε是10-8。

4）損失函數(shù)的選取。MultiMarginLoss函數(shù)適用于相似且復(fù)雜背景下的多分類任務(wù)，在具體訓(xùn)練過程中對(duì)網(wǎng)絡(luò)的收斂性有一定的提升。其表達(dá)式如式（4）所示。

在式（4）中，x為神經(jīng)網(wǎng)絡(luò)的輸出，y是真實(shí)的類別標(biāo)簽，N是類別標(biāo)簽數(shù)，yn的取值范圍為［0，C-1］，p值默認(rèn)取 1，margin值代表邊距，可人為設(shè)定閾值，一般取默認(rèn)值1。

1.3 改進(jìn)EfficientNetv2-S分類模型的訓(xùn)練與評(píng)估

1）模型的訓(xùn)練環(huán)境?；赑ython3.8編程語言的Pytorch深度學(xué)習(xí)框架，Ubuntu操作系統(tǒng)， 8核16線程的Intel E5-2620 的CPU，GPU為內(nèi)存12 GB的GTX TITAN X顯卡4張，調(diào)用CUDA平臺(tái)網(wǎng)絡(luò)訓(xùn)練過程實(shí)行加速，集成開發(fā)環(huán)境為Pycharm。

2）模型評(píng)價(jià)指標(biāo)。為了衡量模型的性能，本研究分別與初始提供的3類模型進(jìn)行參數(shù)量（parame?ters）和浮點(diǎn)運(yùn)算次數(shù)（FLOPs）指標(biāo)的對(duì)比，其中參數(shù)量用于衡量模型復(fù)雜度，F(xiàn)LOPs用于衡量模型運(yùn)算性能。除此之外，模型還采用單次驗(yàn)證法進(jìn)行模型性能的評(píng)估。具體操作如下：將數(shù)據(jù)集按8︰2的比例劃分為訓(xùn)練集和測(cè)試集，然后使用訓(xùn)練集對(duì)模型進(jìn)行指定迭代周期的訓(xùn)練，接著在測(cè)試集上進(jìn)行客觀評(píng)價(jià)指標(biāo)的計(jì)算。為了對(duì)訓(xùn)練出的模型進(jìn)行客觀評(píng)價(jià)，采用測(cè)試準(zhǔn)確率（test accuracy）、損失值（loss）、模型存儲(chǔ)空間大?。╩odel storage space）和平均訓(xùn)練時(shí)間（training time）等評(píng)價(jià)指標(biāo)。

3）網(wǎng)絡(luò)訓(xùn)練過程。初始模型EfficientNetv2-S在大型數(shù)據(jù)集ImageNet上進(jìn)行預(yù)訓(xùn)練后產(chǎn)生的模型權(quán)重文件，選取pre_EfficientNetv2-S.pth進(jìn)行遷移模型訓(xùn)練，通過遷移學(xué)習(xí)能夠提升神經(jīng)網(wǎng)絡(luò)模型的收斂性，進(jìn)一步提高模型分類的精確度。對(duì)于改進(jìn)Effi?cientNetv2-S模型在不同種類和不同超參數(shù)模型上的對(duì)比，采用單次驗(yàn)證法來訓(xùn)練和評(píng)估模型的性能。模型的訓(xùn)練流程如圖5所示。由圖5可知，整個(gè)網(wǎng)絡(luò)的訓(xùn)練過程具體描述為：在擴(kuò)增后的樣本量基礎(chǔ)上劃分訓(xùn)練集和測(cè)試集，并在 Pytorch 深度學(xué)習(xí)框架中，加載預(yù)訓(xùn)練模型，獲取與設(shè)定的批大小處理量相等數(shù)量的圖像。利用 Adam 優(yōu)化算法和學(xué)習(xí)率衰減機(jī)制對(duì)每個(gè)迭代次數(shù)（epoch）的學(xué)習(xí)率（learning rate）進(jìn)行相應(yīng)地調(diào)整，使其隨著迭代次數(shù)逐漸減小。每批次樣本在梯度下降時(shí)更新1次參數(shù)，迭代次數(shù)設(shè)置為100，批大小為32。在訓(xùn)練集上對(duì)改進(jìn) Efficient?Netv2-S進(jìn)行訓(xùn)練，并且MultiMarginLoss對(duì)分類概率值進(jìn)行優(yōu)化，在測(cè)試集上獲得每個(gè)迭代次數(shù)的模型測(cè)試結(jié)果。

圖 5 改進(jìn) EfficientNetv2-S模型訓(xùn)練流程圖Fig.5 Improved EfficientNetv2-S training flow chart

4）超參數(shù)優(yōu)化。學(xué)習(xí)率的大小會(huì)對(duì)模型的收斂速度有較大的影響，在Adam優(yōu)化算法中，學(xué)習(xí)率設(shè)定過低會(huì)使模型收斂速度放慢，甚至降低模型精確率。如果設(shè)定太高，梯度有一定概率會(huì)在最小值的范圍內(nèi)上下波動(dòng)，以至于可能出現(xiàn)無法收斂的情況。因此，需要對(duì)多個(gè)量級(jí)的學(xué)習(xí)率進(jìn)行試驗(yàn)和比較。試驗(yàn)中初始批大小設(shè)置為32［22］，盡可能通過較大的批大小處理量來改善收斂不穩(wěn)定的問題。選取比較的學(xué)習(xí)率值分別為0.01、0.001、0.000 1和0.000 01，觀察這4種學(xué)習(xí)率在模型訓(xùn)練中產(chǎn)生的損失值和準(zhǔn)確率的效果（圖6）。由圖6可見，當(dāng)學(xué)習(xí)率為0.000 01時(shí)，模型收斂速度相較其他學(xué)習(xí)率是最慢的，第100個(gè)周期時(shí)的準(zhǔn)確率為88.6%，均低于另外3種學(xué)習(xí)率的準(zhǔn)確效果。而學(xué)習(xí)率為0.01和0.000 1時(shí)則收斂速度較慢，到第20個(gè)周期，2個(gè)模型分別是0.422和0.429才開始趨近收斂。相較之下，學(xué)習(xí)率為0.001時(shí)，損失值下降地較快，收斂效果最好，損失值較低，說明學(xué)習(xí)率為0.001時(shí)具有更佳的效果，因此選擇學(xué)習(xí)率為0.001。

圖 6 學(xué)習(xí)率調(diào)節(jié)對(duì)準(zhǔn)確率（A）和損失值（B）的影響Fig.6 Influence of learning rate tuning on accuracy（A）and loss value（B）

2 結(jié)果與分析

2.1 不同優(yōu)化器處理的優(yōu)化效果

構(gòu)建復(fù)雜背景圖像的8種南藥葉片圖像數(shù)據(jù)集，通過超參數(shù)優(yōu)化確定了Adam優(yōu)化器的學(xué)習(xí)率為0.001后，設(shè)定迭代周期為100次，批大小為32，通過訓(xùn)練橫向?qū)Ρ萊prop、RMSprop、Adagrad以及SGD等4種優(yōu)化器的優(yōu)化效果，觀察不同優(yōu)化器下的訓(xùn)練準(zhǔn)確率和損失值結(jié)果（圖7）。由圖7可見，Adam優(yōu)化器在收斂性方面要好于另外4個(gè)優(yōu)化器，Adam優(yōu)化器的準(zhǔn)確率為99.12%，Adagrad、RMSprop和SGD分別為96.84%、97.40%和97.97%，三者較為接近，Rprop的準(zhǔn)確率最低，為41.23%。損失值方面，Adam優(yōu)化器為 0.002 17，Adagrad、RMSprop、SGD和Rprop分別為0.105 5、0.075 36、0.002 59和1.502，結(jié)果表明Adam優(yōu)化器優(yōu)化效果均優(yōu)于其他4個(gè)優(yōu)化器。

圖 7 不同優(yōu)化器下模型的準(zhǔn)確率（A）和損失值（B）Fig.7 Comparison of the results of accuracy（A） and loss values（B） of the model under different optimizers

2.2 網(wǎng)絡(luò)模型改進(jìn)后的效果

利用torchstat工具計(jì)算每個(gè)模型的參數(shù)量和浮點(diǎn)運(yùn)算次數(shù)以及訓(xùn)練時(shí)所占用內(nèi)存大小，將改進(jìn)Ef?ficientNetv2-S模 型 與EfficientNetv2-S、Efficient?Netv2-M、EfficientNetv2-L這3個(gè)模型進(jìn)行比較，其結(jié)果如表2所示。由表2可知，改進(jìn)后的Efficient?Netv2-S模型在參數(shù)量、運(yùn)算次數(shù)以及占用內(nèi)存大小等3個(gè)指標(biāo)都明顯優(yōu)于初始的3個(gè)模型，相較初始最輕量的EfficientNetv2-S模型在參數(shù)量和運(yùn)算次數(shù)方面都下降了約85%，表明改進(jìn)模型結(jié)構(gòu)在復(fù)雜度上有所下降，模型性能明顯提升。除了上述參數(shù)量和計(jì)算次數(shù)，在保持其他超參數(shù)、批大小、學(xué)習(xí)率、迭代周期等變量一致的基礎(chǔ)上，還比較了原始模型Effi?cientNetv2-S和改進(jìn)后的EfficientNetv2-S網(wǎng)絡(luò)模型在測(cè)試準(zhǔn)確率、損失值、模型空間存儲(chǔ)大小和訓(xùn)練時(shí)間等4個(gè)指標(biāo)的差異，進(jìn)一步觀察改進(jìn)后的網(wǎng)絡(luò)模型性能變化情況。本研究將南藥葉片圖像數(shù)據(jù)集按照 8︰2比例劃分為訓(xùn)練集和測(cè)試集，迭代次數(shù)為100，學(xué)習(xí)率和批大小分別取 0.001 和 32，則改進(jìn)前后模型的種類識(shí)別結(jié)果如圖8所示。由圖8可知，改進(jìn)后的EfficientNetv2-S模型在測(cè)試訓(xùn)練集的準(zhǔn)確率為99.12%，相較于初始網(wǎng)絡(luò)模型EfficientNetv2-S的97.97%，提升了約1.17%。損失值方面，改進(jìn)模型和初始模型分別為0.002 17和0.002 59，降低16.21%。從結(jié)果上看，改進(jìn)后的EfficientNetv2-S模型在準(zhǔn)確率和損失值兩方面比EfficientNetv2-S模型有小幅領(lǐng)先。從圖8也可看出，改進(jìn)后的EfficientNetv2-S模型的準(zhǔn)確率和損失值在收斂性上優(yōu)于初始的Effi?cientNetv2-S模型。

表2 不同模型的性能參數(shù)對(duì)比Table 2 Comparison of performance parameters of different models

圖 8 改進(jìn)前后模型的準(zhǔn)確率（A）和損失值（B）Fig.8 Accuracy rate（A） and loss value（B） of the model were compared before and after improvemt

2.3 不同神經(jīng)網(wǎng)絡(luò)模型的對(duì)比結(jié)果

利用復(fù)雜背景圖像的8種南藥葉片圖像數(shù)據(jù)集對(duì)改進(jìn)的 EfficientNetv2-S模型進(jìn)行訓(xùn)練，并與其他輕量級(jí)的網(wǎng)絡(luò)模型進(jìn)行對(duì)比。運(yùn)用遷移學(xué)習(xí)訓(xùn)練模型，以8︰2比例劃分為訓(xùn)練集6 580張和測(cè)試集1 645張，不同模型的預(yù)處理方式、優(yōu)化算法等基本設(shè)置保持相同，迭代次數(shù)100，學(xué)習(xí)率和批大小分別取0.001 和32，不同模型的種類識(shí)別結(jié)果對(duì)比見表 3。

由表3可知：（1）改進(jìn)的EfficientNetv2-S模型在單次的平均訓(xùn)練時(shí)間上與DenseNet121、ShuffleNet、RegNet 3個(gè)輕量級(jí)分類網(wǎng)絡(luò)相比差距在1.29%～5.19%，并且均低于80 s；與EfficientNetv1模型相比，訓(xùn)練時(shí)間減少79 s，縮短50.64%。在訓(xùn)練過程中還發(fā)現(xiàn)改進(jìn)后的EfficientNetv2-S模型收斂性和準(zhǔn)確性明顯高于其他模型，特別是相較RegNet的準(zhǔn)確性有明顯的優(yōu)勢(shì)（圖9）。（2）經(jīng)過改進(jìn)的EfficientNetv2-S模型在模型存儲(chǔ)空間上得到大幅壓縮，相比DenseNet121、RegNet和ShuffleNet模型存儲(chǔ)空間大小分別降低55.30%、21.26%和19.31%，模型存儲(chǔ)空間的輕量程度有一定的明顯優(yōu)勢(shì)。（3）改進(jìn)的Effi?cientNetv2-S模型在模型存儲(chǔ)空間和平均訓(xùn)練時(shí)間這2個(gè)指標(biāo)保持一致或領(lǐng)先的條件下，相較于Effi?cientNetv1模型，準(zhǔn)確率提高0.69%，損失值降低51.67%。改進(jìn)后的EfficientNetv2-S模型在模型存儲(chǔ)空間上相較于初始模型從79 742 kb下降到12 201 kb，降幅為84.70%，存儲(chǔ)空間優(yōu)化效果明顯，單次訓(xùn)練所耗費(fèi)的平均時(shí)間從147 s下降到77 s，模型訓(xùn)練時(shí)間下降47.62%，表明改進(jìn)的EfficientNetv2-S模型在保持高準(zhǔn)確率基礎(chǔ)上，能夠做到對(duì)空間存儲(chǔ)大小和訓(xùn)練時(shí)間的優(yōu)化，實(shí)現(xiàn)復(fù)雜分類網(wǎng)絡(luò)模型的輕量化。說明改進(jìn)的EfficientNetv2-S模型在保持高準(zhǔn)確度的情況下，還能進(jìn)一步降低模型損失值，并且在此條件下降低訓(xùn)練時(shí)間和模型存儲(chǔ)空間大小，其模型性能要明顯優(yōu)于EfficientNetv1模型。

圖9 不同模型的訓(xùn)練準(zhǔn)確率結(jié)果對(duì)比Fig.9 Comparison of the training accuracy of different models for species recognition

表3 不同模型的種類識(shí)別結(jié)果比較Table 3 Comparison of the results with different kinds of different mode

3 討論

本研究在解決目標(biāo)多分類問題時(shí)，原始模型采用交叉熵?fù)p失函數(shù)進(jìn)行模型優(yōu)化，使模型輸出逼近理想情況下的輸出結(jié)果。雖然交叉熵?fù)p失的收斂效果良好，但是仍然存在局限性：對(duì)于包含復(fù)雜背景信息的圖像，即葉片像素?cái)?shù)量明顯小于背景像素?cái)?shù)量時(shí)，會(huì)導(dǎo)致交叉熵?fù)p失函數(shù)中背景信息成分會(huì)占據(jù)主導(dǎo)，使網(wǎng)絡(luò)模型明顯偏向背景，導(dǎo)致識(shí)別效果有所下降［23］。

Goutham （http：//cs230.stanford.edu/projects_fall_2021/reports/103171653.pdf.）分別比較了MultiMar?gin損失函數(shù)和交叉熵?fù)p失函數(shù)對(duì)模型的影響，其結(jié)果顯示在準(zhǔn)確性方面MultiMarginLoss比交叉熵?fù)p失函數(shù)高0.62%～1.00%，并且，具有復(fù)雜背景的圖像信息熵較大，容易導(dǎo)致交叉熵不確定性增加，影響模型準(zhǔn)確性。而MultiMarginLoss是基于邊距的多分類合頁損失函數(shù)，不容易受到影響，因此采用MultiMar?ginLoss作為改進(jìn)EfficieNetv2-S模型的損失函數(shù)。在深度學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)領(lǐng)域中，要獲取最優(yōu)的權(quán)值結(jié)果，就需要優(yōu)化算法在網(wǎng)絡(luò)模型中損失函數(shù)，從而得到最小的損失函數(shù)值，而求解最優(yōu)化問題最常用的方法就是梯度下降算法。深度學(xué)習(xí)中常用的優(yōu)化算法包括SGD、RMSprop、Adam、Adguard等［24］。本研究提出引入Adam優(yōu)化器并進(jìn)行超參數(shù)優(yōu)化，獲取精度較高的學(xué)習(xí)率對(duì)模型進(jìn)行訓(xùn)練。

本研究提出一種基于改進(jìn)EfficientNetv2-S模型的南藥葉片種類識(shí)別方法，通過調(diào)整MBConv模塊結(jié)構(gòu)，替換部分卷積核，加載預(yù)訓(xùn)練權(quán)重進(jìn)行遷移學(xué)習(xí)，對(duì)模型的網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜度和冗余度進(jìn)行一定精簡(jiǎn)，實(shí)現(xiàn)輕量化目標(biāo)。將改進(jìn)后模型對(duì)多品種南藥葉片數(shù)據(jù)集進(jìn)行多組對(duì)照試驗(yàn)，結(jié)果顯示：與初始模型Effi?cientNetv2-S相比，改進(jìn)后的EfficientNetv2-S在參數(shù)量和計(jì)算次數(shù)都明顯下降，在對(duì)南藥葉片種類進(jìn)行識(shí)別的過程中，準(zhǔn)確率、損失值、訓(xùn)練時(shí)間、存儲(chǔ)空間大小等指標(biāo)明顯優(yōu)于初始模型，說明該改進(jìn)模型的識(shí)別準(zhǔn)確度較高，并且模型的復(fù)雜度和參數(shù)量下降，模型性能得到進(jìn)一步提升。與其他輕量級(jí)的分類網(wǎng)絡(luò)模型進(jìn)行橫向?qū)Ρ龋Y(jié)果表明，在準(zhǔn)確率方面，改進(jìn)Effi?cientNetv2-S要比另外3個(gè)輕量級(jí)分類網(wǎng)絡(luò)模型都有所提升，其中對(duì)比DenseNet121提升效果較為顯著。改進(jìn)EfficientNetv2-S分類模型能夠保持高精度識(shí)別效果的同時(shí)減少模型參數(shù)量，達(dá)到輕量化與高精度之間的平衡。

本研究采用卷積神經(jīng)網(wǎng)絡(luò)并對(duì)網(wǎng)絡(luò)模型進(jìn)行輕量化重構(gòu)，實(shí)現(xiàn)了在保持高精確率的同時(shí)進(jìn)一步降低模型復(fù)雜度和存儲(chǔ)空間，對(duì)于嵌入到移動(dòng)式設(shè)備或單

片機(jī)等對(duì)存儲(chǔ)空間和實(shí)時(shí)傳輸條件要求較高的環(huán)境而言有較好的適用性。該模型仍有進(jìn)一步改進(jìn)的空間，比如測(cè)試多種不同學(xué)習(xí)率衰減機(jī)制來確定更適合的更新梯度算法組合。對(duì)數(shù)據(jù)集方面如果能考慮到南藥葉片在更多氣候條件下的成像效果，再進(jìn)行訓(xùn)練和測(cè)試能夠進(jìn)一步提高模型的泛用性和魯棒性。