基于改進(jìn)權(quán)重衰減的EfficientNet食用菌圖像識(shí)別

姚芷馨 張?zhí)t 趙昀杰

(新疆農(nóng)業(yè)大學(xué)計(jì)算機(jī)與信息工程學(xué)院，新疆 烏魯木齊 830052)

中國(guó)是世界上最早進(jìn)行食用菌栽植的國(guó)家之一，擁有豐富的真菌物種資源，目前現(xiàn)已查明的真菌種類達(dá)1 500種以上，已知的食用菌有350多種，其中多屬擔(dān)子菌亞門，已人工訓(xùn)化栽培成功的有60多種[1]。但目前食用菌種類識(shí)別通常靠人工判斷，費(fèi)時(shí)、費(fèi)力、效率低，而且同一科屬性狀相似的識(shí)別出錯(cuò)率高。

近年來，計(jì)算機(jī)視覺技術(shù)在食用菌上的應(yīng)用研究越來越多，薛雨[2]利用機(jī)器視覺技術(shù)，針對(duì)食用菌的特征實(shí)現(xiàn)精準(zhǔn)、穩(wěn)定的信息采集，通過不同時(shí)段的檢測(cè)數(shù)據(jù)，對(duì)食用菌生產(chǎn)環(huán)境進(jìn)行了精確調(diào)節(jié)和控制，但只實(shí)現(xiàn)了對(duì)具有明顯形狀變化或顏色改變的食用菌進(jìn)行檢測(cè)，此方法更適用于實(shí)驗(yàn)室環(huán)境，對(duì)于自然環(huán)境中拍攝的食用菌有較大誤差；為快速有效地識(shí)別野生食用菌，林楠等[3]基于圖像處理方法和機(jī)器視覺技術(shù)，提出了一種改進(jìn)的顏色空間融合形態(tài)特征提取方法。

研究擬提出一種基于卷積神經(jīng)網(wǎng)絡(luò)的Y-Weight訓(xùn)練方法，通過控制有效學(xué)習(xí)率和權(quán)重范數(shù)來影響模型的泛化性能，以期為常規(guī)大型蔬菜市場(chǎng)和大型超市識(shí)別菌種提供幫助，減少人工識(shí)別的時(shí)間成本，提高工作效率，降低勞動(dòng)強(qiáng)度。

1 材料與方法

1.1 數(shù)據(jù)來源及范圍

通過在公共數(shù)據(jù)集Fungus[4]上以及自建數(shù)據(jù)集YMushroom上進(jìn)行訓(xùn)練。其中，由于Fungus數(shù)據(jù)集類別多樣，背景較為復(fù)雜，有各種各樣的背景造成干擾，因此選用不同科屬的12類具有明顯特征且圖片數(shù)量較多較均勻的食用菌進(jìn)行測(cè)試，共計(jì)1 093張圖片。其分布情況及部分示例如圖1所示。

圖1 Fungus(12)數(shù)據(jù)集分布Figure 1 Fungus (12) dataset distribution

自建數(shù)據(jù)集YMushroom是通過在常規(guī)蔬菜市場(chǎng)及大中型超市中調(diào)研，根據(jù)2020—2026年中國(guó)食用菌行業(yè)市場(chǎng)行情監(jiān)測(cè)及發(fā)展前景展望報(bào)告[5]中提供的市場(chǎng)銷售額、整體價(jià)格和機(jī)器手持采摘的成本等數(shù)據(jù)，挑選出最具經(jīng)濟(jì)價(jià)值的28種常見食用菌類(香菇、雙孢蘑菇、糙皮側(cè)耳、金針菇、黑木耳、銀耳、猴頭菇、毛頭鬼傘、姬松茸、茶薪菇、真姬菇、灰樹花、滑菇、刺芹側(cè)耳、蓋襄側(cè)耳、毛木耳、竹蓀、金頂側(cè)耳、大杯蕈、北冬蟲夏草、牛肝菌、松茸、雞樅、羊肚菌、榛蘑、雞油菌、紅菇、青岡菌)。

由于菌類生長(zhǎng)時(shí)間與生長(zhǎng)環(huán)境不同，需在不同時(shí)間段進(jìn)行采集。采集時(shí)間從2019年10月—2021年3月。采集設(shè)備分別采用兩種不同圖像處理方式的智能手機(jī)OPPO Find X2和HUAWEI榮耀Play4T，使用原相機(jī)設(shè)置為方形拍攝。參考Fungus數(shù)據(jù)集制定嚴(yán)格的采集標(biāo)準(zhǔn)(尺寸、圖像背景、干濕比例、光照強(qiáng)度、不同成熟度等)。其中新鮮食用菌與干貨食用菌保持1∶1的采集比例，每個(gè)種類的數(shù)據(jù)集數(shù)量基本保持均衡，并且保證了個(gè)體種類具有多樣性。因?yàn)椴杉臉颖驹蕉啵Ｐ偷挠?xùn)練精度就越高，所以28種常見食用菌平均每種采集了大約1 784張圖片，共計(jì)49 958張圖片。為提高模型運(yùn)行速度，將采集后的數(shù)據(jù)集經(jīng)過圖像處理統(tǒng)一壓縮為600像素×600像素大小，以此建立一個(gè)符合食用菌分類的大型數(shù)據(jù)集。將數(shù)據(jù)集按照常規(guī)訓(xùn)練進(jìn)行劃分，按照8∶1∶1的比例將其中80%的樣本(約39 966幅圖像)用作訓(xùn)練集，將10%的樣本(約4 996幅圖像)用作驗(yàn)證集，將剩余10%的樣本(約4 996幅圖像)用作測(cè)試集。之后為投入訓(xùn)練，需要將樣本圖像文件和對(duì)應(yīng)的標(biāo)簽文件轉(zhuǎn)換成HDF5格式文件(train.hdf5、val.hdf5、test.hdf5)，保存在固定文件夾中，以便隨時(shí)調(diào)用。自建數(shù)據(jù)集YMushroom分布情況及部分示例如圖2所示。

圖2 YMushroom數(shù)據(jù)集分布Figure 2 YMushroom dataset distribution

1.2 研究方法

(1)

(2)

當(dāng)模型縮放尺度保持不變時(shí)，權(quán)重向量的關(guān)鍵特征就只需要考慮其方向性。當(dāng)權(quán)重隨著step為t、learning rate為η的隨機(jī)梯度下降進(jìn)行更新時(shí)，下一次step的通道權(quán)重向量即為：

ωt+1=ωt-η?Lt(ωt)。

(3)

權(quán)重向量在方向上的step大小按比例變化，如式(4)所示。

(4)

因此，當(dāng)對(duì)所有層使用權(quán)重衰減然后進(jìn)行歸一化時(shí)，可以防止權(quán)重范數(shù)的無限增長(zhǎng)，從而維持權(quán)重方向的步長(zhǎng)保持不變，以此提高有效學(xué)習(xí)率。

1.2.2 權(quán)重范數(shù) 根據(jù)式(1)～式(4)可以看出，卷積層的權(quán)重衰減主要是通過約束權(quán)重向量范數(shù)來完成的。為了研究在訓(xùn)練期間權(quán)重向量范數(shù)的變化，不考慮卷積層的權(quán)重衰減，在ImageNet[6]上使用EfficientNet-B0進(jìn)行訓(xùn)練(100輪)，在卷積層中將權(quán)重范數(shù)固定為一個(gè)常數(shù)λ=0.000 1，而在權(quán)重衰減中并不使用定權(quán)范數(shù)，兩者的最佳學(xué)習(xí)率選擇也有所不同，通過使用網(wǎng)格搜索(grid search)[7]來確定學(xué)習(xí)率保證最佳性能。如圖3所示，兩者達(dá)到了同樣的top-1精度，這些結(jié)果表明批歸一化后的卷積層可以忽略權(quán)重衰減的影響。

圖3 Conv layers和Weight decay通過網(wǎng)格搜索后的top-1精度Figure 3 Top-1 accuracy of Conv layers and Weight decay after grid search

調(diào)整卷積層的權(quán)重范數(shù)是通過YWeight方法定義初始化速率為0，用V0表示。總的訓(xùn)練步數(shù)用t表示，初始值為0。用x表示訓(xùn)練樣本，用y表示對(duì)應(yīng)的標(biāo)簽，動(dòng)量momentum用μ表示，τ表示交叉熵?fù)p失函數(shù)。則訓(xùn)練速率計(jì)算公式如式(5)所示。

(5)

定義一個(gè)隨機(jī)的初始化權(quán)重向量W0，初始學(xué)習(xí)率用c表示，則有：

Wt+1=Wt-lr×ηt×Vt+1。

(6)

下一次的卷積層權(quán)重調(diào)整公式為：

(7)

1.2.3 全連接層 為研究權(quán)重衰減在全連接層中的作用，需要對(duì)上述卷積層權(quán)重衰減方法進(jìn)行改進(jìn)，首先保持其具有尺度不變性，使用普通的應(yīng)用權(quán)重歸一化的全連接層來代替原先的全連接層，其次設(shè)置λ原先的0.000 1變?yōu)?，最后使用WConv+FC來代替原先的WConv，如式(8)所示。

(8)

原先的全連接層與替換后維持尺度不變性的全連接層進(jìn)行對(duì)比，結(jié)構(gòu)如式(9)、式(10)所示。

FC(x;WFC)=xΤWFC，

(9)

(10)

(11)

(12)

在特征空間中，權(quán)重向量W的梯度為x，Wj表示其他類別向量，Wk表示標(biāo)簽類向量，方向從Wj到Wk，其偏角大小由pj和g決定，并且pj也通過softmax函數(shù)依賴于g。當(dāng)x是正確的分類時(shí)，g會(huì)持續(xù)增長(zhǎng)，pj會(huì)迅速減小并且梯度減弱。x更容易偏向于Wj和Wk之間的class boundary，這種不明確的特征空間容易在訓(xùn)練和測(cè)試之間發(fā)生偏移，導(dǎo)致泛化性不好。特征空間中訓(xùn)練和測(cè)試的偏移如圖4所示。

圖4 特征空間中訓(xùn)練和測(cè)試的偏移Figure 4 Offset of training and testing in feature space

(13)

使用限制了權(quán)值大小的YFC層代替NFC層，不改變其他超參數(shù)，通過權(quán)值選擇α的大小。總體來說，權(quán)重衰減通過約束全連接層的權(quán)重范數(shù)來影響cross-boundary risk，最終影響模型的泛化性能。通過使用YFC層可以恢復(fù)常規(guī)權(quán)重衰減的訓(xùn)練的準(zhǔn)確率。

1.2.4 訓(xùn)練時(shí)learning rate和α的調(diào)整 在1.2.2和1.2.3中介紹了兩種權(quán)重衰減的機(jī)制：① 討論有效學(xué)習(xí)率對(duì)除卷積層以外的歸一化之后的層的影響；② 對(duì)于全連接層FC，控制cross-boundary的影響。YFC將這兩種機(jī)制結(jié)合起來，通過控制超參數(shù)lr和α直接控制其效果，使用grid search網(wǎng)格搜索來確定不同lr和α對(duì)top-1的影響，通過窮舉[10]的方式針對(duì)每種可能的參數(shù)組合情況進(jìn)行訓(xùn)練，并對(duì)模型進(jìn)行評(píng)價(jià)，根據(jù)其評(píng)價(jià)結(jié)果將尋找到的top-1最大值時(shí)的參數(shù)取值情況進(jìn)行保存，視為最優(yōu)。

1.3 系統(tǒng)框架

1.3.1 MobileNetV2 MobileNet[11]網(wǎng)絡(luò)結(jié)構(gòu)是一種小巧而高效的CNN模型，不僅在準(zhǔn)確率和運(yùn)行速率之間做了折中，還采用了深度可分離卷積模塊[12-13]，并設(shè)置了兩個(gè)超參數(shù)(寬度乘法器和分辨率乘法器)，通過調(diào)整兩個(gè)超參數(shù)來滿足應(yīng)用需求。在ImageNet數(shù)據(jù)集上，MobileNet與VGG16的準(zhǔn)確率幾乎一樣，但參數(shù)量只有其1/32，計(jì)算量只有其1/27。MobileNetV2引入了Bottleneck結(jié)構(gòu)，將其設(shè)計(jì)成紡錘型，先放大到原來的6倍，最后再縮小，形成倒殘差模塊(Inverted Residual Block)。網(wǎng)絡(luò)主體結(jié)構(gòu)如表1所示。

1.3.2 EfficientNet-B0 EfficientNet[14-15]的主干網(wǎng)絡(luò)延續(xù)使用了MobileNetV2網(wǎng)絡(luò)中的MBConv模塊，使用SENet中的壓縮激勵(lì)模塊(squeeze and excitation)優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)。其中運(yùn)用到模型尺度化方法，在原始模型基礎(chǔ)上將通道數(shù)擴(kuò)大，加深模型深度[16-17]，之后擴(kuò)大輸入圖像分辨率，再放大基于通道數(shù)、深度、輸入圖像的組合尺度。EfficientNet模型尺度化方法如圖5所示。

表1 MobileNet主體結(jié)構(gòu)

圖5 EfficientNet模型尺度化方法Figure 5 Scaling method of EfficientNet model

模型尺度化方法首先執(zhí)行網(wǎng)格搜索，然后找到在固定資源約束下基線網(wǎng)絡(luò)(baseline)的不同縮放維度之間的關(guān)系[18]。其次找到每個(gè)維度適當(dāng)?shù)谋壤禂?shù)，最后應(yīng)用這些系數(shù)擴(kuò)大基線網(wǎng)絡(luò)，使模型達(dá)到預(yù)期的大小或資源要求。與傳統(tǒng)縮放方法相比，這種模型尺度化方法能夠提高模型的精度和運(yùn)行效率。

2 結(jié)果與分析

2.1 試驗(yàn)環(huán)境

硬件環(huán)境：NVIDIA Tesla P100-PCIE；顯存16 GB；顯存位寬4 096 bit；CUDA版本11.0。

軟件環(huán)境：Windows10操作系統(tǒng)；Python版本為3.6.13；Tensorflow版本為2.0；Keras版本為2.3.1。

2.2 訓(xùn)練方法

通過使用YWeight方法，在公共數(shù)據(jù)集Fungus和自建分類數(shù)據(jù)集YMushroom上進(jìn)行試驗(yàn)。訓(xùn)練時(shí)使用Stochastic Gradient Descent(SGD)隨機(jī)梯度下降算法[19]，保證不會(huì)陷入original-loss的奇點(diǎn)和minibatch-loss的奇點(diǎn)，decay設(shè)置為1E-006，momentum為0.9。使用一個(gè)周期的余弦退火策略(Cosine Annealing)，使學(xué)習(xí)率按照周期變化。由于學(xué)習(xí)率是神經(jīng)網(wǎng)絡(luò)訓(xùn)練中最重要的超參數(shù)之一，剛開始訓(xùn)練模型初始化權(quán)重是隨機(jī)的，若選擇了一個(gè)較大的學(xué)習(xí)率可能會(huì)導(dǎo)致模型震蕩，因此前4輪選用線性預(yù)熱(linear warmup)來進(jìn)行學(xué)習(xí)率的優(yōu)化，在預(yù)熱的小學(xué)習(xí)率下使模型慢慢趨于穩(wěn)定。除此之外，還使用了標(biāo)簽平滑(label smoothing)為0.1的正則化策略，通過soft one-hot來加入噪聲，防止過擬合現(xiàn)象，減少真實(shí)樣本標(biāo)簽的類別在計(jì)算損失函數(shù)時(shí)的權(quán)重。

2.3 性能評(píng)估指標(biāo)

評(píng)價(jià)模型的性能通常使用準(zhǔn)確率(Accuracy，A)、精度(Precision，P)、召回率(Recall，R)和F值(F-Score，F(xiàn))等指標(biāo)來進(jìn)行衡量，通常被用在二分類測(cè)試中。

準(zhǔn)確率被用來統(tǒng)計(jì)模型正確識(shí)別的量度，是正確預(yù)測(cè)(真陽性和真陰性)的個(gè)數(shù)占樣本總數(shù)的比例，也被稱作“蘭德精度”，其計(jì)算方法如式(14)所示。

(14)

式中：

TP——將正類預(yù)測(cè)為正類的樣本數(shù)，即真陽性；

TN——將負(fù)類預(yù)測(cè)為負(fù)類的樣本數(shù)，即真陰性；

FP——將負(fù)類預(yù)測(cè)為正類的樣本數(shù)，即假陽性；

FN——將正類預(yù)測(cè)為負(fù)類的樣本數(shù)，即假陰性。

精度用來計(jì)算與真實(shí)值的接近程度，即對(duì)正類預(yù)測(cè)的準(zhǔn)確性。其計(jì)算方法如式(15)所示。

(15)

召回率也被稱為靈敏度，為真陽性的數(shù)量占總體正類的比例。其計(jì)算方法如式(16)所示。

(16)

F值是綜合精度和召回率的一個(gè)判斷指標(biāo)，是精度和召回率的調(diào)和平均值。其計(jì)算方法如公式(17)所示。

(17)

(18)

(19)

(20)

2.4 YWeight方法與貝葉斯優(yōu)化對(duì)比分析

為證明YWeight方法的有效性，使用YWeight權(quán)重衰減和貝葉斯優(yōu)化(Bayesian Optimization，BO)兩種方法，在CIFAR-10數(shù)據(jù)集上使用ResNet50[20]網(wǎng)絡(luò)和MobileNetV2網(wǎng)絡(luò)進(jìn)行對(duì)比試驗(yàn)，結(jié)果見表2。將ResNet50訓(xùn)練120輪，MobileNet訓(xùn)練150輪，原始模型訓(xùn)練的top-1 精度為92.3%和91.41%，使用貝葉斯優(yōu)化進(jìn)行調(diào)參后訓(xùn)練的top-1精度為92.37%和91.53%，使用YWeight方法訓(xùn)練后的top-1精度為92.41%和91.58%。

表2 YWeight與BO試驗(yàn)結(jié)果

2.5 數(shù)據(jù)集試驗(yàn)結(jié)果分析

使用MobileNetV2和EfficientNet-B0兩種模型結(jié)構(gòu)進(jìn)行對(duì)比試驗(yàn)，分別在公共數(shù)據(jù)集Fungus和自建數(shù)據(jù)集YMushroom上進(jìn)行訓(xùn)練。選取這兩種網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行研究，是因?yàn)樵贗mageNet上，MobileNet在參數(shù)量是VGG16的1/32，計(jì)算量是VGG16的1/27的情況下，與VGG16幾乎達(dá)到了相同的精度。而選取EfficientNet網(wǎng)絡(luò)是因?yàn)槠溲永m(xù)了MobileNetV2中的MBConv模塊作為模型的主干網(wǎng)絡(luò)，同時(shí)還使用SENet中的squeeze and excitation方法對(duì)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行了優(yōu)化，在8個(gè)廣泛使用的數(shù)據(jù)集中都達(dá)到過比較先進(jìn)的精度。

通過在Fungus數(shù)據(jù)集上對(duì)比試驗(yàn)，發(fā)現(xiàn)將MobileNet與EfficientNet兩種網(wǎng)絡(luò)結(jié)構(gòu)通過YWeight方法控制學(xué)習(xí)率和權(quán)重范數(shù)后，對(duì)準(zhǔn)確率有一定的提升。使用YWeight方法在MobileNetV2網(wǎng)絡(luò)上進(jìn)行訓(xùn)練的模型命名為YWeight-MobV2，在EfficientNet-B0網(wǎng)絡(luò)上進(jìn)行訓(xùn)練的模型命名為YWeight-EffB0。

通過表3可以看出，當(dāng)lr為0.2，α為4.0E-005時(shí)，MobileNetV2的準(zhǔn)確率為82.71%，宏F值為81.47%；當(dāng)使用YWeight方法控制lr為0.4，α為8.0時(shí)，YWeight-MobV2的準(zhǔn)確率為83.59%，宏F值為82.34%。當(dāng)lr為0.35，α為4.0時(shí)，EfficientNet-B0的準(zhǔn)確率為86.84%，宏F值為85.61%；當(dāng)使用YWeight方法控制lr為0.5，α為8.0時(shí)，YWeight-EffB0的準(zhǔn)確率為87.62%，宏F值為86.29%。由此看出，對(duì)于樣本數(shù)量較少的Fungus數(shù)據(jù)集，在訓(xùn)練次數(shù)相同的情況下，通過YWeight方法控制不同的學(xué)習(xí)率以及權(quán)重范數(shù)，使MobileNetV2相比于原有模型識(shí)別準(zhǔn)確率提高了0.88%，宏F值提高了0.87%，使EfficientNet-B0識(shí)別準(zhǔn)確率提高了0.78%，宏F值提高了0.68%。可以看出，MobileNetV2網(wǎng)絡(luò)在使用YWeight方法后，展現(xiàn)了更大的進(jìn)步性，top-1準(zhǔn)確率和宏F值比EfficientNet-B0得到了更大的提升。EfficientNet-B0網(wǎng)絡(luò)相比于MobileNetV2網(wǎng)絡(luò)來說其參數(shù)較多，模型層數(shù)更深，運(yùn)行速度相對(duì)較慢，但top-1精度和宏F值相對(duì)較高。為更清晰直觀地了解訓(xùn)練中模型擬合的速度和收斂速度，截取在驗(yàn)證集上損失函數(shù)值的變化圖像進(jìn)行對(duì)比分析，如圖6所示。

表3 Fungus數(shù)據(jù)集上識(shí)別結(jié)果

圖6 Fungus驗(yàn)證集上各模型損失函數(shù)的變化曲線Figure 6 Variation curve of loss function of each model on Fungus verification set

在YMushroom數(shù)據(jù)集上進(jìn)行對(duì)比試驗(yàn)，使用YWeight方法在MobileNetV2網(wǎng)絡(luò)上進(jìn)行訓(xùn)練的模型命名為YWeight-MobV2，在EfficientNet-B0網(wǎng)絡(luò)上進(jìn)行訓(xùn)練的模型命名為YWeight-EffB0。

通過表4可以看出，當(dāng)lr為0.3，α為4.0時(shí)，MobileNetV2的準(zhǔn)確率為75.48%，宏F值為74.24%；當(dāng)使用YWeight方法控制lr為0.4，α為8.0時(shí)，YWeight-MobV2的準(zhǔn)確率為76.35%，宏F值為74.61%。當(dāng)lr為0.3，α為8.0時(shí)，EfficientNet-B0的準(zhǔn)確率為78.97%，宏F值為77.74%；當(dāng)使用YWeight方法控制lr為0.4，α為16.0時(shí)，YWeight-EffB0的準(zhǔn)確率為79.82%，宏F值為78.49%。由此看出，對(duì)于比較大型的YMushroom數(shù)據(jù)集，相比于原有模型，在訓(xùn)練次數(shù)相同的情況下，通過YWeight方法控制不同的學(xué)習(xí)率以及權(quán)重范數(shù)，使MobileNetV2識(shí)別準(zhǔn)確率提高了0.87%，宏F值提高了0.37%，使EfficientNet-B0識(shí)別準(zhǔn)確率提高了0.85%，宏F值提高了0.75%。可以看出，使用YWeight方法后EfficientNet-B0在top-1準(zhǔn)確率和宏F值的提升上更具進(jìn)步性，MobileNetV2的宏F值僅提升了0.37%，而EfficientNet-B0的宏F值提升了0.75%。因此，基于試驗(yàn)要求更高的精度，更適合選取EfficientNet網(wǎng)絡(luò)作為食用菌分類模型的主干網(wǎng)絡(luò)。4個(gè)模型在YMushroom驗(yàn)證集上的損失函數(shù)變化圖像如圖7所示。

表4 YMushroom數(shù)據(jù)集上識(shí)別結(jié)果

對(duì)比表3和表4、圖6和圖7發(fā)現(xiàn)，對(duì)于小型數(shù)據(jù)集Fungus，僅需150輪就能夠收斂，訓(xùn)練速度較快，但是對(duì)于大型數(shù)據(jù)集YMushroom則需要250輪才逐漸收斂，達(dá)到極值。證明不同的模型擁有不同的最優(yōu)lr，訓(xùn)練模型在相同的設(shè)置下也會(huì)有不同的訓(xùn)練結(jié)果，需要通過YWeight方法找到最優(yōu)的lr和α來提高模型性能。

圖7 YMushroom驗(yàn)證集上各模型損失函數(shù)的變化曲線Figure 7 Variation curve of loss function of each model on YMushroom verification set

3 討論

(1) 目前中國(guó)較先進(jìn)的菌菇研究方法大多是使用傳統(tǒng)的機(jī)器學(xué)習(xí)方法或者是層數(shù)較少的淺層神經(jīng)網(wǎng)絡(luò)來進(jìn)行圖像識(shí)別，例如VGG16、AlexNet等。文中使用的MobileNet以及EfficientNet均為較深層的卷積神經(jīng)網(wǎng)絡(luò)，在模型準(zhǔn)確率與運(yùn)行速率上都有很大的提升。

(2) 目前針對(duì)食用菌圖像分類的研究分類種數(shù)不超過20種，且大部分都是基于公共數(shù)據(jù)集來進(jìn)行網(wǎng)絡(luò)訓(xùn)練的，而試驗(yàn)對(duì)28種最常見的食用菌種類進(jìn)行了研究，通過1年的時(shí)間，進(jìn)行了不同環(huán)境、不同時(shí)間、不同拍攝設(shè)備的食用菌圖像采集，構(gòu)建了HDF5格式的大型食用菌數(shù)據(jù)集，共49 958張圖片，能夠使模型更好的訓(xùn)練。

(3) 大部分食用菌識(shí)別用到的網(wǎng)絡(luò)都是通過遷移學(xué)習(xí)來完成的，通過修改模型參數(shù)來達(dá)到更高的準(zhǔn)確率，而試驗(yàn)創(chuàng)新使用了一種權(quán)重衰減方法，在兩種網(wǎng)絡(luò)結(jié)構(gòu)上試驗(yàn)過后發(fā)現(xiàn)均適用，并且比原始的模型提高了準(zhǔn)確率和運(yùn)行效率。

4 結(jié)論

采用基于卷積神經(jīng)網(wǎng)絡(luò)的EfficientNet和MobileNet兩種網(wǎng)絡(luò)結(jié)構(gòu)，作為YWeight訓(xùn)練方法的食用菌圖像分類模型，在兩個(gè)數(shù)據(jù)集上進(jìn)行試驗(yàn)，對(duì)模型識(shí)別性能進(jìn)行對(duì)比分析，結(jié)果表明：

(1) 基于權(quán)重衰減策略，提出的訓(xùn)練方法YWeight方法，通過一種高效的、魯棒性的方法選擇超參數(shù)，通過約束全連接層的權(quán)重范數(shù)來影響cross-boundary，最終影響模型的泛化性能。試驗(yàn)證明通過調(diào)整超參數(shù)使模型在試驗(yàn)中找到了接近最優(yōu)的解，在公開數(shù)據(jù)集Fungus和自建數(shù)據(jù)集YMushroom中都展現(xiàn)了非常高效的模型準(zhǔn)確率，為食用菌自動(dòng)識(shí)別提供了便利。

(2) 研究中發(fā)現(xiàn)權(quán)重衰減對(duì)最后的全連接層具有影響，發(fā)現(xiàn)了一種新的機(jī)制來補(bǔ)充權(quán)重衰減對(duì)模型泛化性能的影響，YWeight方法是簡(jiǎn)單高效的，并且在大規(guī)模數(shù)據(jù)集上證明了其性能。

(3) 從檢測(cè)速度上看，基于YWeight方法的食用菌圖像分類模型能夠滿足常規(guī)蔬菜市場(chǎng)以及大型超市的實(shí)時(shí)識(shí)別要求。

(4) 由于數(shù)據(jù)集非常龐大，像素比較高，EfficientNet模型實(shí)時(shí)識(shí)別計(jì)算量較大，對(duì)設(shè)備要求比較高，今后可以嘗試其他更輕便高效的網(wǎng)絡(luò)進(jìn)行訓(xùn)練，進(jìn)一步提高食用菌識(shí)別性能。

(5) 試驗(yàn)訓(xùn)練時(shí)使用的是SGD優(yōu)化器，可以在每次迭代中使用一個(gè)樣本來更新參數(shù)，能夠提高在自建的大型數(shù)據(jù)集YMushroom上的訓(xùn)練速度。但是有可能達(dá)到局部最優(yōu)，在目標(biāo)函數(shù)為強(qiáng)凸函數(shù)時(shí)，SGD可能無法做到線性收斂，準(zhǔn)確率也會(huì)下降。因此，后續(xù)將繼續(xù)討論權(quán)重衰減在Momentum優(yōu)化器、Adam優(yōu)化器上應(yīng)用的優(yōu)點(diǎn)以及可能存在的問題，并研究學(xué)習(xí)率、權(quán)重衰減和動(dòng)量之間的聯(lián)系。