基于小數(shù)據(jù)集的改進(jìn)LeNet圖像分類模型研究

舒軍，楊露，陳義紅，楊莉，鄧芳

(1 湖北工業(yè)大學(xué) 太陽(yáng)能高效利用湖北省協(xié)同創(chuàng)新中心，武漢430068；2 武漢新特光電技術(shù)有限公司，武漢430205；3 湖北第二師范學(xué)院 計(jì)算機(jī)學(xué)院，武漢430025)

近年來(lái)，在計(jì)算機(jī)視覺領(lǐng)域中，圖像特征的提取及分類是極為重要的一個(gè)研究方向.卷積神經(jīng)網(wǎng)絡(luò)(CNN)不需要對(duì)數(shù)據(jù)進(jìn)行任何處理就可將其直接輸入至網(wǎng)絡(luò)模型中，根據(jù)圖像特征自動(dòng)學(xué)習(xí)，具有很強(qiáng)的魯棒性.因此，CNN逐漸成為醫(yī)學(xué)[1]、人臉[2]、工業(yè)應(yīng)用[3]、行人[4]等圖像識(shí)別領(lǐng)域中重要的方法之一，其中LeNet、AlexNet、VggNet和ResNet是近年應(yīng)用廣泛的幾種模型.

1998年卷積網(wǎng)絡(luò)專家YANN Lecun發(fā)表了第一個(gè)模型LeNet[5]，是CNN發(fā)展史上一個(gè)重大的里程碑.該模型將卷積的概念融入神經(jīng)網(wǎng)絡(luò)中，提出卷積-池化-全連接框架，為CNN發(fā)展奠定了基礎(chǔ).

2012年在ImageNet比賽上ALEX Krizhevsky等人使用AlexNet[6]分類模型打敗了SVM[7]并取得了第一名，讓CNN成為主流的分類方法.該模型延續(xù)了LeNet模型的框架，加入GTX 580 GPU來(lái)加速模型訓(xùn)練，提出Dropout的方法解決過(guò)擬合問(wèn)題.繼AlexNet之后，對(duì)CNN研究主要分為兩類，一類研究CNN模型的深度，另一類研究CNN模型的結(jié)構(gòu).

2014年牛津大學(xué)計(jì)算機(jī)視覺組和DeepMind公司發(fā)表了一種以模型深度聞名的VggNet[8]，對(duì)網(wǎng)絡(luò)深度與準(zhǔn)確率的關(guān)系做了詳細(xì)的研究.該模型通過(guò)堆疊3*3卷積的方法不斷地加深網(wǎng)絡(luò)，根據(jù)模型的深度可分為Vgg11，Vgg16，Vgg19等.實(shí)驗(yàn)驗(yàn)證加深模型的深度對(duì)提高分類準(zhǔn)確率有一定的影響.

2015年HE Kaiming 等人為解決模型加深難以訓(xùn)練的問(wèn)題提出了ResNet[9].該模型采用名為殘差的新型結(jié)構(gòu)，根據(jù)輸入和輸出的差別來(lái)學(xué)習(xí)訓(xùn)練網(wǎng)絡(luò)，有效的解決了在卷積網(wǎng)絡(luò)信息傳遞過(guò)程中信息丟失和模型訓(xùn)練的問(wèn)題.

目前圖像領(lǐng)域開源的數(shù)據(jù)集主要包括MNIST[5]，F(xiàn)ashion-MNIST[10]，ImageNet[11]，VisualQA[12]等.其中MINST和Fashion-MINST類別少，文件大小不超過(guò)100MB，本文歸類為小數(shù)據(jù)集類型.而ImageNet，VisualQA數(shù)據(jù)集類別多且文件大，本文歸類為大數(shù)據(jù)集.

將上述卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于小數(shù)據(jù)集上，LeNet模型存在準(zhǔn)確率低并且收斂速度慢的問(wèn)題，同時(shí)VggNet等模型出現(xiàn)過(guò)擬合現(xiàn)象.AlexNet、VggNet、ResNet相對(duì)LeNet有更深的網(wǎng)絡(luò)，運(yùn)算時(shí)占用內(nèi)存大，對(duì)硬件要求高.LeNet模型雖然效果最差，但是占用內(nèi)存小，對(duì)硬件條件要求低，對(duì)LeNet加以改進(jìn)，可以很好的解決分類問(wèn)題的同時(shí)節(jié)省了硬件成本，故本文選擇在LeNet基礎(chǔ)上改進(jìn)模型，提出一種改進(jìn)LeNet模型.該模型在小龍蝦數(shù)據(jù)集分類問(wèn)題上有明顯優(yōu)勢(shì)，在開源數(shù)據(jù)集MNIST和Fashion-MNIST上也有良好的表現(xiàn).

1 改進(jìn)LeNet模型

為了在小數(shù)據(jù)集上有好的分類能力，在LeNet模型基礎(chǔ)上主要做出如下改進(jìn).使用ReLU激活函數(shù)替換Sigmoid提高模型收斂速度.增加1*1卷積模塊，增加模型深度的同時(shí)能夠改變維度從而提高準(zhǔn)確率.分解5*5卷積和加入改進(jìn)Dropout方法來(lái)減少過(guò)擬合.

1.1 加快收斂速度

改進(jìn)LeNet模型中使用ReLU函數(shù)替換LeNet模型的Sigmoid函數(shù)，加快模型訓(xùn)練的收斂速度.

Sigmoid函數(shù)曲線以及函數(shù)的導(dǎo)數(shù)曲線圖見圖1，圖中實(shí)線表示函數(shù)曲線，虛線表示導(dǎo)數(shù)曲線.Sigmoid函數(shù)的優(yōu)點(diǎn)是將輸出映射在(0，1)之間，適用于二分類.在反向傳播求誤差梯度時(shí)需要對(duì)Sigmoid函數(shù)求導(dǎo)，但是Sigmoid函數(shù)存在當(dāng)x>0時(shí)，隨著輸入的不斷增大導(dǎo)數(shù)趨近于0，導(dǎo)致反向傳播過(guò)程中容易出現(xiàn)梯度消失模型收斂速度慢的問(wèn)題.

a) Sigmoid函數(shù)曲線；b) Sigmoid導(dǎo)數(shù)曲線圖1 Sigmoid函數(shù)以及導(dǎo)數(shù)曲線Fig.1 Curves of Sigmoid function and derivative

ReLU函數(shù)曲線以及函數(shù)的導(dǎo)數(shù)曲線圖見圖2.該函數(shù)當(dāng)x>0時(shí)導(dǎo)數(shù)值始終為1，反向傳播過(guò)程中不會(huì)出現(xiàn)梯度消失的情況，卷積神經(jīng)網(wǎng)絡(luò)收斂速度快.

a) ReLU函數(shù)曲線；b) ReLU導(dǎo)數(shù)曲線圖2 ReLU函數(shù)以及導(dǎo)數(shù)曲線Fig.2 Curves of ReLU function and derivative

1.2 提高準(zhǔn)確率

為提高模型分類準(zhǔn)確率，改進(jìn)LeNet模型中添加了1*1卷積模塊[13]，該模塊在本文中有以下三個(gè)特點(diǎn).

第一，增加模型深度.VggNet中堆疊3*3小卷積來(lái)不斷增加網(wǎng)絡(luò)深度，實(shí)驗(yàn)證明網(wǎng)絡(luò)深度對(duì)分類準(zhǔn)確率有正面影響.改進(jìn)LeNet模型通過(guò)添加1*1卷積模塊加深網(wǎng)絡(luò)，不僅能夠提高準(zhǔn)確率而且訓(xùn)練參數(shù)比3*3卷積少.

第二，增強(qiáng)模型非線性.卷積運(yùn)算由矩陣乘法運(yùn)算和加法組成，是線性運(yùn)算.處理圖像分類為非線性問(wèn)題，故卷積層之后通常需要加入非線性激活函數(shù)將線性運(yùn)算轉(zhuǎn)化為非線性.添加1*1卷積模塊可以保持圖片分辨率不變的條件下加強(qiáng)模型的非線性，從而提高模型提取特征的能力.

表1 3種卷積操作的參數(shù)計(jì)算表Tab.1 Parameter calculations of three convolution operations

第三，改變維度.在卷積核大小為10*10深度為10與卷積核大小為5*5深度為20做卷積操作時(shí)，中間分別做無(wú)1*1卷積操作、1*1卷積降維操作(即深度為5<10)、1*1卷積升維操作(即深度為15>10)，計(jì)算三種操作的參數(shù)計(jì)算量，結(jié)果由表1可見，1*1卷積通過(guò)改變維度既可以減少參數(shù)也可以增加參數(shù).根據(jù)需求合理使用1*1卷積能夠提高模型的識(shí)別率，當(dāng)模型加深參數(shù)較多導(dǎo)致過(guò)擬合時(shí)可以使用1*1卷積降維減少過(guò)擬合，當(dāng)模型分類準(zhǔn)確率低時(shí)可以使用1*1的卷積模塊升維增加模型復(fù)雜度.

1.3 減少過(guò)擬合

將數(shù)據(jù)集分為訓(xùn)練集和測(cè)試集.在訓(xùn)練集上測(cè)試的誤差稱為訓(xùn)練誤差，在測(cè)試集上測(cè)試的誤差稱為測(cè)試誤差.卷積神經(jīng)網(wǎng)絡(luò)模型不僅需要訓(xùn)練集誤差低而且要求測(cè)試集誤差低，這樣模型的泛化能力強(qiáng).過(guò)擬合是指訓(xùn)練誤差與測(cè)試誤差之間的差距太大.為解決過(guò)擬合問(wèn)題本文使用了Dropout和5*5卷積分解的方法.

1.3.1 加入Dropout

Dropout[14]是卷積神經(jīng)網(wǎng)絡(luò)中減少過(guò)擬合的一種方法，加入該方法后訓(xùn)練過(guò)程如下.第一次以概率p隨機(jī)刪除部分神經(jīng)元，得到新的網(wǎng)絡(luò)結(jié)構(gòu)，未改變的神經(jīng)元按梯度下降算法更新權(quán)重和偏置.第一次訓(xùn)練結(jié)束后，恢復(fù)刪除的神經(jīng)元.之后重復(fù)第一次訓(xùn)練過(guò)程和恢復(fù)神經(jīng)元的操作，直到訓(xùn)練結(jié)束.該方法能夠減少過(guò)擬合的原因有以下兩點(diǎn).

第一，平均擬合.Dropout方法隨機(jī)刪除神經(jīng)元導(dǎo)致每次訓(xùn)練網(wǎng)絡(luò)結(jié)構(gòu)不同，類似在訓(xùn)練不同的網(wǎng)絡(luò)，但是這些結(jié)構(gòu)之間共享權(quán)重，相當(dāng)于對(duì)不同的神經(jīng)網(wǎng)絡(luò)取平均.

第二，減少神經(jīng)元之間復(fù)雜的共適應(yīng)關(guān)系.由加入Dropout后的訓(xùn)練過(guò)程可知，即使相鄰的神經(jīng)元在訓(xùn)練中也可能不同時(shí)出現(xiàn)，因此權(quán)重的更新不再依賴于神經(jīng)元的相互作用，這阻止了一些特征僅在其他特定特征下有效.

在AlexNet中為了減少過(guò)擬合提出Dropout方法，使用Dropout圖由圖3可見.圖中C表示卷積，P表示池化，F(xiàn)c表示全連接，D表示Dropout.

圖3 AlexNet和改進(jìn)LeNet中Dropout使用對(duì)比圖Fig.3 Comparison of Dropout in AlexNet and improved LeNet

在改進(jìn)LeNet模型中調(diào)整Dropout層的位置和參數(shù)讓模型適應(yīng)小龍蝦分類問(wèn)題.位置上與AlexNet不同，改進(jìn)LeNet中將Dropout與卷積層相連，使用Dropout圖由圖3可見.概率p的選擇也進(jìn)行了相應(yīng)的調(diào)整，在1.4章節(jié)模型參數(shù)中具體介紹.雖然Dropout方法可以有效抑制過(guò)擬合，但是它的缺點(diǎn)就在于訓(xùn)練時(shí)間增加了3倍.

1.3.2 分解5*5卷積

除了使用Dropout的方法，本文還將LeNet模型中的5*5卷積分解為5*1和1*5卷積來(lái)減少過(guò)擬合，分解圖由圖4可見.通過(guò)將卷積從空間上分解為不對(duì)稱的卷積減少了1-(5+5)/5*5=60%的參數(shù)從而減少了過(guò)擬合.將1個(gè)卷積分解為2個(gè)卷積同時(shí)也增加了模型的深度，為模型增加了非線性，讓模型增強(qiáng)了提取特征的能力.

圖4 5*5卷積分解圖Fig.4 Convolutional decomposition

1.4 改進(jìn)LeNet模型框架

綜合上述觀點(diǎn)提出改進(jìn)LeNet，該模型包括9層卷積層，3層池化層，3層Dropout，1層全連接層，LeNet和改進(jìn)LeNet模型框架對(duì)比圖由圖5可見，改進(jìn)LeNet模型參數(shù)由表2可見.

圖5 LeNet和改進(jìn)LeNet的模型框架圖Fig.5 Framework of LeNet and improved LeNet

表2 改進(jìn)LeNet模型參數(shù)表Tab.2 Improved LeNet model parameters

1.5 模型的應(yīng)用

圖6 模型的應(yīng)用過(guò)程圖Fig.6 Application process of model

將改進(jìn)模型按圖6過(guò)程應(yīng)用于圖像分類項(xiàng)目中.首先將樣本根據(jù)需求分類.然后根據(jù)分類生成對(duì)應(yīng)的標(biāo)簽.做好標(biāo)記之后將數(shù)據(jù)集打亂，避免特殊情況出現(xiàn)，從而可以增強(qiáng)圖像分類模型的穩(wěn)定性.做好標(biāo)簽后生成訓(xùn)練集和測(cè)試集.生成訓(xùn)練批次即一次訓(xùn)練的圖片數(shù)量.之后構(gòu)建模型，這里的模型為改進(jìn)LeNet模型.準(zhǔn)備工作做好后訓(xùn)練模型各層的權(quán)重和偏置，訓(xùn)練到10000步停止.

2 實(shí)驗(yàn)與分析

將改進(jìn)LeNet模型分別在自制小龍蝦，MNIST和Fashion-MNIST等數(shù)據(jù)集上實(shí)驗(yàn)，實(shí)驗(yàn)環(huán)境如表3所示.

表3 實(shí)驗(yàn)環(huán)境表Tab.3 Experimental environment

2.1 小龍蝦數(shù)據(jù)集實(shí)驗(yàn)

近年來(lái)，小龍蝦在食品和藥品中使用安全問(wèn)題備受關(guān)注，自動(dòng)剔除生產(chǎn)線上受損嚴(yán)重的蝦和死蝦等有問(wèn)題的蝦具有重要研究意義.該實(shí)驗(yàn)選擇4300張龍蝦圖片作為樣本，樣本分為兩類，一類為bads(黑蝦和受損的蝦等)，另一類為goods(好的龍蝦).第一組實(shí)驗(yàn)通過(guò)對(duì)比訓(xùn)練時(shí)間，準(zhǔn)確率，過(guò)擬合等指標(biāo)來(lái)比較改進(jìn)LeNet模型與傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)模型.第二組實(shí)驗(yàn)為環(huán)境適應(yīng)性實(shí)驗(yàn)，通過(guò)改變龍蝦樣本的亮度，飽和度和方向來(lái)測(cè)試改進(jìn)的模型是否能夠適應(yīng)環(huán)境的改變.

2.1.1 改進(jìn)LeNet模型與各模型對(duì)比實(shí)驗(yàn)

(1)訓(xùn)練時(shí)間對(duì)比實(shí)驗(yàn)

表4 模型訓(xùn)練時(shí)間對(duì)比表Tab.4 Time comparison of model training

模型訓(xùn)練時(shí)間結(jié)果由表4可見.與LeNet模型相比，改進(jìn)LeNet訓(xùn)練時(shí)間增加36 min.主要原因有以下兩點(diǎn)：改進(jìn)LeNet模型網(wǎng)絡(luò)層數(shù)及各層的參數(shù)相對(duì)增加；改進(jìn)LeNet模型中增加了一種叫做Dropout的方法，該方法可以有效解決過(guò)擬合，但是訓(xùn)練時(shí)間增加3倍左右.與AlexNet相比，改進(jìn)LeNet訓(xùn)練時(shí)間有所減少，是因?yàn)楦倪M(jìn)的模型中卷積核的大小相比AlexNet要小，導(dǎo)致訓(xùn)練參數(shù)較少，而且AlexNet中也使用了Dropout的方法.與VggNet和ResNet相比，隨著VggNet和ResNet模型的逐漸增加，改進(jìn)LeNet模型所用時(shí)間相對(duì)減少.

(2)準(zhǔn)確率對(duì)比實(shí)驗(yàn)

a) LeNet；b) AlexNet；c) VggNet16；d) VggNet19；e) VggNet11；f) ResNet18；g) ResNet50；h) 改進(jìn)LeNet圖7 各模型準(zhǔn)確率對(duì)比圖Fig.7 Accuracy comparison

準(zhǔn)確率是評(píng)價(jià)一個(gè)模型好壞重要指標(biāo)之一，本文通過(guò)訓(xùn)練得到傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)模型與改進(jìn)LeNet模型的準(zhǔn)確率，結(jié)果圖由圖7可見.圖中實(shí)線表示訓(xùn)練集準(zhǔn)確率曲線，虛線表示測(cè)試集準(zhǔn)確率曲線.橫坐標(biāo)表示訓(xùn)練步數(shù)(迭代次數(shù))，縱坐標(biāo)表示準(zhǔn)確率.由圖可知對(duì)于訓(xùn)練集準(zhǔn)確率，與LeNet相比改進(jìn)LeNet提高15%，相比AlexNet等模型最終的準(zhǔn)確率幾乎相等都可以達(dá)到99.9%.對(duì)于測(cè)試集準(zhǔn)確率，改進(jìn)LeNet比各種經(jīng)典模型都高，模型測(cè)試分類識(shí)別能力更好.相比LeNet而言不僅訓(xùn)練集準(zhǔn)確率而且測(cè)試集準(zhǔn)確率改進(jìn)LeNet模型都要高出15%左右，驗(yàn)證了在改進(jìn)LeNet模型中增加1*1卷積模塊來(lái)增加模型分類準(zhǔn)確率的可行性.相比AlexNet等模型而言，在測(cè)試集準(zhǔn)確率上改進(jìn)的模型更高，驗(yàn)證了在改進(jìn)LeNet中使用一些方法減少過(guò)擬合的效果.

(3)過(guò)擬合對(duì)比實(shí)驗(yàn)

將訓(xùn)練誤差和測(cè)試誤差之差稱為過(guò)擬合程度，對(duì)比結(jié)果由表5可見.改進(jìn)LeNet模型中提出改進(jìn)Dropout和5*5卷積分解的方法，進(jìn)一步解決了過(guò)擬合的問(wèn)題.由表可知改進(jìn)LeNet模型過(guò)擬合程度比傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)模型過(guò)擬合程度小，模型的泛化能力更好.

表5 過(guò)擬合對(duì)比表Tab.5 Overfitting comparison

(4)收斂速度對(duì)比實(shí)驗(yàn)

為加快收斂速度，本文使用了ReLU激活函數(shù)來(lái)代替LeNet模型中的Sigmoid函數(shù)，由表6可見該方法成功解決了LeNet收斂速度慢的問(wèn)題.與AlexNet等模型相比雖然收斂速度會(huì)不同，但在都在10000步內(nèi)可以達(dá)到穩(wěn)定.

表6 收斂速度對(duì)比表Tab.6 Comparison of convergence rates

(5)GPU占用對(duì)比實(shí)驗(yàn)

由表7可見改進(jìn)LeNet模型占用GPU比LeNet模型增加19%.但相比AlexNet，VggNet和ResNet，改進(jìn)LeNet占用GPU明顯降低.改進(jìn)LeNet模型在訓(xùn)練過(guò)程中只占用54%的GPU，表明在硬件條件一般時(shí)，不會(huì)影響計(jì)算機(jī)的正常運(yùn)行，而VggNet等模型完全占用GPU，對(duì)硬件要求較高.

表7 GPU占用對(duì)比表Tab.7 Comparisons of GPU occupancy

2.1.2 環(huán)境適應(yīng)性實(shí)驗(yàn)

在工業(yè)現(xiàn)場(chǎng)中各種情況都可能對(duì)圖片樣本產(chǎn)生影響.本實(shí)驗(yàn)通過(guò)改變圖片的亮度，飽和度和方向來(lái)驗(yàn)證改變模型的適應(yīng)性.

(1)亮度對(duì)比實(shí)驗(yàn)

實(shí)驗(yàn)通過(guò)改變tensorflow中函數(shù)tf.image.adjust_brightness(image,brightness)的brightness參數(shù)來(lái)改變圖片的亮度，參數(shù)為0的表示沒有改變亮度的圖片數(shù)據(jù).對(duì)比改變亮度的數(shù)據(jù)和沒有改變亮度的數(shù)據(jù)，由表8可見改變圖片亮度，訓(xùn)練集準(zhǔn)確率變化在+0.29%～+0.34%之間，測(cè)試集準(zhǔn)確率變化在-0.31%～+0.24%之間，過(guò)擬合程度在+0.05%～+0.64%之間，從而驗(yàn)證了改進(jìn)LeNet模型對(duì)亮度適應(yīng)性良好.

表8 不同亮度結(jié)果對(duì)比表Tab.8 Comparisons of different brightness

(2)飽和度對(duì)比實(shí)驗(yàn)

實(shí)驗(yàn)通過(guò)改變tensorflow中函數(shù)tf.image.adjust_saturation (image, saturation_factor)的saturation_factor參數(shù)來(lái)改變圖片的飽和度，參數(shù)為0的表示沒有改變飽和度的圖片數(shù)據(jù).由表9可見改變圖片飽和度，訓(xùn)練集準(zhǔn)確率變化在-0.1%～+0.29%之間，測(cè)試集準(zhǔn)確率變化在-0.59%～+0.39%之間，過(guò)擬合程度在多少-0.3%～+0.71%之間，驗(yàn)證了改進(jìn)LeNet模型對(duì)飽和度適應(yīng)性良好.

表9 不同飽和度結(jié)果對(duì)比表Tab.9 Comparisons of different saturation

(3)方向?qū)Ρ葘?shí)驗(yàn)

實(shí)驗(yàn)通過(guò)改變tensorflow中的函數(shù)對(duì)圖片上下翻轉(zhuǎn)，左右翻轉(zhuǎn)，對(duì)角線翻轉(zhuǎn)來(lái)驗(yàn)證模型對(duì)各方向的適應(yīng)性.

表10 不同方向結(jié)果對(duì)比表Tab.10 Comparisons of different direction

由表10可見，訓(xùn)練集準(zhǔn)確率變化在+0.32%～+0.34%之間，測(cè)試集準(zhǔn)確率變化在-0.46%～-0.07%之間，過(guò)擬合程度在+0.4%～+0.78%之間，表明了改進(jìn)LeNet模型對(duì)各方向適應(yīng)性良好.

(4)組合對(duì)比實(shí)驗(yàn)

實(shí)驗(yàn)通過(guò)隨機(jī)組合改變亮度，飽和度和方向來(lái)驗(yàn)證改進(jìn)的模型是否可同時(shí)適應(yīng)多個(gè)條件的改變。由表11可見，訓(xùn)練集準(zhǔn)確率變化在+0.17%～+0.34%之間，測(cè)試集準(zhǔn)確率變化在-0.54%～+0.26%之間，過(guò)擬合程度在+0.08%～+0.75%之間，改進(jìn)LeNet模型對(duì)于隨機(jī)組合亮度、方向飽和度適應(yīng)性良好.

表11 不同組合結(jié)果對(duì)比表Tab.11 Comparisons of different combination

2.2 MNIST數(shù)據(jù)集實(shí)驗(yàn)

MNIST數(shù)據(jù)集來(lái)自美國(guó)國(guó)家標(biāo)準(zhǔn)與技術(shù)研究所.訓(xùn)練集共有60000張28*28的樣本，由250個(gè)不同人手寫的數(shù)字構(gòu)成，其中50%是高中學(xué)生，50%來(lái)自人口普查局的工作人員.測(cè)試集也是同樣比例的手寫數(shù)字?jǐn)?shù)據(jù)，包含10000張樣本.將改進(jìn)LeNet模型用于MNIST數(shù)據(jù)集，訓(xùn)練10000步最終實(shí)驗(yàn)結(jié)果由表12可見.

表12 MNIST數(shù)據(jù)集實(shí)驗(yàn)結(jié)果表Tab.12 MNIST dataset experiment results

2.3 Fashion-MNIST數(shù)據(jù)集實(shí)驗(yàn)

Fashion-MNIST數(shù)據(jù)集由德國(guó)時(shí)尚科技公司Zalando提供，包含了10類共7萬(wàn)個(gè)不同商品的正面圖片，圖片大小、格式等與MNIST完全一致.將改進(jìn)LeNet模型結(jié)構(gòu)用于該數(shù)據(jù)集，訓(xùn)練10000步最終結(jié)果由表13可見.

表13 Fashion-MNIST數(shù)據(jù)集實(shí)驗(yàn)結(jié)果表Tab.13 Fashion-MNIST dataset experiment results

3 結(jié)語(yǔ)

(1)本文基于小數(shù)據(jù)集提出一種改進(jìn)LeNet模型，該模型使用ReLU替換LeNet模型中Sigmoid，加入1*1的卷積，將LeNet模型中的5*5卷積分解為5*1和1*5卷積，并加入Dropout方法.

(2)在小龍蝦數(shù)據(jù)集上實(shí)驗(yàn)表明：該模型相比LeNet，AlexNet等傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)減少了過(guò)擬合情況，解決了LeNet識(shí)別準(zhǔn)確率低和收斂速度慢的問(wèn)題；改進(jìn)LeNet模型在圖像亮度，飽和度和方向等條件發(fā)生改變時(shí)具備良好的適應(yīng)性.

(3)在開源小數(shù)據(jù)集MNIST和Fashion-MNIST上驗(yàn)證了改進(jìn)LeNet模型良好的分類能力，因此可以推廣用于其它小型數(shù)據(jù)集.

(4)本文改進(jìn)的LeNet模型存在的問(wèn)題一：在識(shí)別小龍蝦圖像時(shí)，還有些圖片無(wú)法準(zhǔn)確識(shí)別，部分分錯(cuò)的圖像由圖8、圖9可見.待改進(jìn)的方法如下：通過(guò)結(jié)合GAN模型生成類似的小龍蝦圖片來(lái)增加圖片樣本從而提高識(shí)別的準(zhǔn)確率.

圖8 部分分錯(cuò)的好龍蝦樣本Fig.8 Partially misclassified crayfish samples of good

圖9 部分分錯(cuò)的壞龍蝦樣本Fig.9 Partially misclassified crayfish samples of bad

(5)本文改進(jìn)的LeNet模型存在的問(wèn)題二：目前只適用于類別少，文件小的數(shù)據(jù)集，不能夠準(zhǔn)確分類類別多、文件大的數(shù)據(jù)集.待改進(jìn)的方法如下：可以加深模型深度來(lái)增加模型對(duì)于大數(shù)據(jù)集的分類效果；可以通過(guò)結(jié)合強(qiáng)化學(xué)習(xí)算法Q-learning[15]設(shè)計(jì)出一種動(dòng)態(tài)分類算法來(lái)處理大數(shù)據(jù)集的分類問(wèn)題.