基于SqueezeNet和FractalNet混合模型的圖像分類(lèi)研究

王子牛 王許 高建瓴 陳婭先 吳建華

摘? 要： 針對(duì)傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)（如Lenet5）在圖像的多分類(lèi)任務(wù)中識(shí)別率不高、較新的卷積神經(jīng)網(wǎng)絡(luò)（如VGG16）在圖像的多分類(lèi)任務(wù)中待優(yōu)化的參數(shù)達(dá)到千萬(wàn)級(jí)別的問(wèn)題。采用將SqueezeNet神經(jīng)網(wǎng)絡(luò)與FractalNet神經(jīng)網(wǎng)絡(luò)相結(jié)合的方法。本文使用SqueezeNet神經(jīng)網(wǎng)絡(luò)中的Fire Module來(lái)減少模型的參數(shù)、FractalNet神經(jīng)網(wǎng)絡(luò)的基本架構(gòu)來(lái)保證神經(jīng)網(wǎng)絡(luò)模型的準(zhǔn)確度。結(jié)果顯示：在其它超參數(shù)基本相同的前提下，迭代40代時(shí)，DenseNet模型的測(cè)試集準(zhǔn)確度為79.92%，而混合模型的測(cè)試集準(zhǔn)確度為84.56% ，其待優(yōu)化的參數(shù)降至二百萬(wàn)個(gè)左右，故混合模型對(duì)數(shù)據(jù)的擬合能力更強(qiáng)，模型參數(shù)保持較低水平。

關(guān)鍵詞： SqueezeNet;FractalNet;DenseNet;圖像分類(lèi);混合模型;卷積神經(jīng)網(wǎng)絡(luò)

中圖分類(lèi)號(hào)： TP183? ? 文獻(xiàn)標(biāo)識(shí)碼： A? ? DOI：10.3969/j.issn.1003-6970.2019.10.011

本文著錄格式：王子牛，王許，高建瓴，等. 基于SqueezeNet和FractalNet混合模型的圖像分類(lèi)研究[J]. 軟件，2019，40（10）：4649

Image Classification Based on SqueezeNet and FractalNet Hybrid Model

WANG Zi-niu1， WANG Xu2， GAO Jian-ling2， CHENG Ya-xian2， WU Jian-hua

（1. Guizhou University， Guizhou 550000; 2. Guizhou University， School of Big Data and Information Engineering， Guizhou 550000）

【Abstract】： For the traditional convolutional neural network （such as Lenet5）， the recognition rate is not high in the multi-classification task of the image， and the newer convolutional neural network （such as VGG16） has to be optimized in the multi-classification task of the image. A method of combining the SqueezeNet neural network with the FractalNet neural network is employed. This paper uses the Fire Module in the SqueezeNet neural network to reduce the parameters of the model and the basic architecture of the FractalNet neural network to ensure the accuracy of the neural network model. The results show that under the premise that other superparameters are basically the same， the accuracy of the test set of the DenseNet model is 79.92% when the iteration is 40 generations， and the accuracy of the test set of the hybrid model is 84.56%， and the parameters to be optimized are reduced to two hundred. About 10，000 or so， the hybrid model has a stronger ability to fit the data， and the model parameters remain at a lower level.

【Key words】： SqueezeNet; FractalNet; DenseNet; Image classification; Hybrid model; Convolutional neural network

0? 引言

隨著科學(xué)技術(shù)的發(fā)展，計(jì)算機(jī)視覺(jué)日益成熟，然而在過(guò)去，卷積神經(jīng)網(wǎng)絡(luò)對(duì)圖像的分類(lèi)任務(wù)中一直追求準(zhǔn)確率而不在意神經(jīng)網(wǎng)絡(luò)模型的待優(yōu)化參數(shù)數(shù)目，雖然每年出來(lái)的卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)圖像分類(lèi)的準(zhǔn)確率逐年提高，但隨之而來(lái)的是待優(yōu)化參數(shù)的數(shù)目也逐年升高。2016年，F(xiàn)orrest N. Iandola， Song Han等人提出了SqueezeNet論文，該論文提到：同樣的精度，較小的CNN架構(gòu)提供至少三優(yōu)點(diǎn)[8-9]。（1）較小的CNN在分布式訓(xùn)練過(guò)程中需要跨服務(wù)器進(jìn)行更少的通信[3-6]。（2）較小的CNN需要更少的帶寬。（3）較小的CNN提供了在FPG內(nèi)存有限的硬件上部署的可行性[1]。2017年，Gustav Larsson， Michael Maire等人提出了FractalNet論文，認(rèn)為殘差不是建立深度網(wǎng)絡(luò)唯一的基礎(chǔ)和方法。深度卷積網(wǎng)絡(luò)中真正的關(guān)鍵所在訓(xùn)練過(guò)程中網(wǎng)絡(luò)關(guān)于信息的傳遞能力。采用了一種類(lèi)似student-teacher的學(xué)習(xí)機(jī)制，結(jié)合drop- path也能夠使得深度卷積神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練得非常好[2]。為了使卷積神經(jīng)網(wǎng)絡(luò)具有較高的識(shí)別率又使其待優(yōu)化的參數(shù)減少，本文提出了將SqueezeNet神經(jīng)網(wǎng)絡(luò)中的Fire Module與FractalNet神經(jīng)網(wǎng)絡(luò)的基本架構(gòu)相結(jié)合起來(lái)對(duì)圖像進(jìn)行多分類(lèi)處理。

1? SqueezeNet、FractalNet基本原理

1.1? SqueezeNet基本原理

為了保證卷積神經(jīng)網(wǎng)絡(luò)模型參數(shù)少、準(zhǔn)確性較好的研究目標(biāo)。在設(shè)計(jì)卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)時(shí)一般采用三個(gè)主要策略：策略一，使用1×1卷積核替換3×3卷積核;策略二，將輸入到3×3卷積核的通道數(shù)目減少;策略三，在網(wǎng)絡(luò)后期進(jìn)行降采樣[1]。

Fire模塊如圖一所示，F(xiàn)ire模塊中包括：squeeze層（其僅具有1×1卷積核）、e×pand層（其具有1×1和3×3的卷積核）。在Fire模塊中有三個(gè)可調(diào)整參數(shù)（超級(jí)參數(shù)）：s1×1、e1×1、e3×3，其中s1×1表示squeeze層（所有1×1）中的卷積核數(shù)目，e1×1表示expand層中1×1卷積核數(shù)目，e3×3表示expand層中的3×3卷積核數(shù)目。當(dāng)使用Fire模塊時(shí)，將s1×1大小設(shè)置為小于（e1×1+e3×3）的整數(shù)，因此squeeze層有助于將輸入通道的數(shù)目減少[1]。

1.2? FractalNet基本原理

Fractal，分形，來(lái)自于幾何學(xué)，所謂分形就是從多個(gè)層次、多個(gè)角度、多個(gè)組成成分來(lái)共同解決一個(gè)問(wèn)題。FractalNet就是一個(gè)這樣的結(jié)構(gòu)，它通過(guò)多個(gè)不同深度的網(wǎng)絡(luò)組合，來(lái)共同構(gòu)建網(wǎng)絡(luò)模型。淺層提供更迅速的回答、深層提供更準(zhǔn)確的回答。FractalNet的結(jié)構(gòu)可以看成由多個(gè)以下模塊組成[2]，其結(jié)構(gòu)如圖2所示。

可以看到每一個(gè)Fractal的模塊，實(shí)際上就是由多個(gè)淺層和深層的聯(lián)合而成，層的深度成2的指數(shù)型增長(zhǎng)。不同深度的輸出進(jìn)行聯(lián)合時(shí)采用的不是ResNet中使用的加法，而是一個(gè)求均值的操作，這樣做的目的實(shí)際是由于每個(gè)聯(lián)合層的輸入的個(gè)數(shù)可能不同，求均值的話可能起到一個(gè)類(lèi)似于歸一化的效果[2]。

2? SqueezeNet和FractalNet混合模型

利用SqueezeNet網(wǎng)絡(luò)中的fire模塊為基本單元，以FractalNet中的結(jié)構(gòu)為基本框架，構(gòu)建SqueezeNet和FractalNet混合模型?；締卧猣ire模塊中，通過(guò)squeeze層將輸入的圖片特征進(jìn)行進(jìn)行壓縮，通常將s1×1設(shè)置為特征通道數(shù)目的1/4或1/2，不進(jìn)行下采樣，圖片特征經(jīng)過(guò)squeeze層后實(shí)現(xiàn)了壓縮并將其送入到expand層，expand層中有兩類(lèi)卷積核分別為e1×1、e3×3，其卷積核數(shù)目設(shè)置為原圖片特征通道的一半，不進(jìn)行下采樣，由于圖片特征不是直接輸入到3×3的卷積核和1×1的卷積核中去而是經(jīng)過(guò)1×1的卷積核進(jìn)行特征的壓縮，故模型中的fire模塊可以減少整個(gè)神經(jīng)網(wǎng)絡(luò)的待優(yōu)化參數(shù)。混合模型的基本框架與FractalNet模型相似，采用分形結(jié)構(gòu) ，將fire基本單元進(jìn)行橫向堆疊、縱向擴(kuò)展，逐級(jí)提取圖片中的特征信息，橫向深的分支可以提取復(fù)雜的圖片特征信息，橫向淺的分支可以提取簡(jiǎn)單的圖片特征信息，分工合作，F(xiàn)ractalNet神經(jīng)網(wǎng)絡(luò)中的基本框架可以保證整個(gè)神經(jīng)網(wǎng)絡(luò)的準(zhǔn)確度?；旌夏Ｐ椭惺褂昧薆atch Normalization技術(shù)來(lái)防止因卷積神經(jīng)網(wǎng)絡(luò)導(dǎo)數(shù)過(guò)深而導(dǎo)致的梯度消失與梯度爆炸問(wèn)題，使用混合模型更容易訓(xùn)練，考慮到計(jì)算機(jī)算力的限制，并未大量使用Batch Normalization技術(shù)，而是橫向每經(jīng)過(guò)幾次3×3的卷積后設(shè)置一個(gè)Batch Normalization，做折中的處理。混合模型使用池化層來(lái)進(jìn)行降采樣，步長(zhǎng)strides=2，原圖片長(zhǎng)寬為32×32，經(jīng)過(guò)兩次降采樣處理，特征層的長(zhǎng)寬變?yōu)榱?×8?；旌夏Ｐ蜑榱吮苊獠捎萌B接層而產(chǎn)生大量的待訓(xùn)練的模型參數(shù)而采用Global Average Pooling（全局池化層）技術(shù)，保證待訓(xùn)練參數(shù)盡可能少，圖片特征經(jīng)全局池化層后輸入到softmax分類(lèi)器進(jìn)行分類(lèi)，根據(jù)特征信息計(jì)算出圖片屬于哪一類(lèi)。由于圖片分類(lèi)屬于分類(lèi)問(wèn)題故損失函數(shù)loss使用交叉熵進(jìn)行計(jì)算[10-11]。采用梯度下降法進(jìn)行混合模型的網(wǎng)絡(luò)參數(shù)優(yōu)化?；旌夏Ｐ偷木W(wǎng)絡(luò)結(jié)構(gòu)如圖5所示。

Conv 1×1 s=1

Conv 1×1 s=1 Conv 3×3 s=1

3? 實(shí)驗(yàn)結(jié)果與分析

3.1? 基本硬件配置和實(shí)驗(yàn)環(huán)境

硬件配置：實(shí)驗(yàn)采用一臺(tái)處理器為Intel（R）Core（TM）i5-4590 CPU @ 3.30GHz 3.30 GHz，安裝內(nèi)存（RAM）為8.00 GB的電腦。

本論文代碼實(shí)現(xiàn)采用的操作系統(tǒng)為Windows 7，采用python 3.6.5作為編程語(yǔ)言。本論文中網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)采用Google開(kāi)源的Tensorflow 1.8.0深度學(xué)習(xí)框架和keras 2.2.3深度學(xué)習(xí)框架進(jìn)行混合模型網(wǎng)絡(luò)設(shè)計(jì)并進(jìn)行實(shí)驗(yàn)。

3.2? 分類(lèi)圖像數(shù)據(jù)集

本實(shí)驗(yàn)采用的cifar-10數(shù)據(jù)集是做實(shí)驗(yàn)比較常用的分類(lèi)數(shù)據(jù)集，該數(shù)據(jù)集共有60000張彩色圖像，這些圖像的像素為32*32*3，分為10個(gè)類(lèi)，每個(gè)類(lèi)6000張圖。其中50000張用于訓(xùn)練集，5000張用于驗(yàn)證集，5000張用于測(cè)試集。數(shù)據(jù)集的十個(gè)類(lèi)別分別是：airplane、automobile、bird、cat、deer、dog、frog、horse、ship、truck。

3.3? 實(shí)驗(yàn)結(jié)果

本實(shí)驗(yàn)采用mini-batch策略進(jìn)行神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，每次送入32張圖片進(jìn)行訓(xùn)練，將所有的訓(xùn)練集全部訓(xùn)練一遍完需要1562個(gè)mini-batch，神經(jīng)網(wǎng)絡(luò)分類(lèi)器采用10分類(lèi)的softmax函數(shù)，整個(gè)混合模型的損失函數(shù)為loss='categorical_crossentropy'，本實(shí)驗(yàn)具體的超參數(shù)如表1所示。

本實(shí)驗(yàn)采用的對(duì)照組神經(jīng)網(wǎng)絡(luò)為DenseNet網(wǎng)絡(luò)，因?yàn)镈enseNet相比于ResNet對(duì)圖像的分類(lèi)有著更好的效果，是近年來(lái)分類(lèi)效果較好的神經(jīng)網(wǎng)絡(luò)之一，具有代表性。兩組卷積模型運(yùn)行的結(jié)果如表2所示。

DenseNet模型的訓(xùn)練過(guò)程效果圖如圖6所示，其損失函數(shù)變化如圖7所示。

由實(shí)驗(yàn)結(jié)果得，在DenseNet與混合網(wǎng)絡(luò)模型的在深度基本相當(dāng)?shù)臈l件下，DenseNet網(wǎng)絡(luò)訓(xùn)練迭代40代達(dá)到的準(zhǔn)確率與混合模型訓(xùn)練迭代16代所達(dá)

混合模型的訓(xùn)練過(guò)程效果圖如圖8所示，其損失函數(shù)如圖9所示

到的準(zhǔn)確率基本相同，準(zhǔn)確率為80%左右?；旌夏Ｐ陀?xùn)練迭代40代其準(zhǔn)確率達(dá)到84.56%，高于DenseNet模型。由圖6得，混合模型在開(kāi)始的前16代中，訓(xùn)練集的預(yù)測(cè)準(zhǔn)確率從0提升至80%左右，主要原因是在這個(gè)過(guò)程中損失函數(shù)的梯度值比較大，迭代時(shí)快速的向最優(yōu)點(diǎn)靠近，而代數(shù)從16至40代的過(guò)程中，整個(gè)訓(xùn)練集的預(yù)測(cè)準(zhǔn)確率從80%提高至88%，主要原因是在這個(gè)過(guò)程中越靠近最優(yōu)點(diǎn)的時(shí)候，損失函數(shù)的圖像越平坦，其梯度值就越小，迭代時(shí)以非常緩慢的速度向最優(yōu)點(diǎn)靠近。由表2中的實(shí)驗(yàn)結(jié)果，兩者在迭代次數(shù)相同的條件下，混合模型的準(zhǔn)確率要高于DenseNet模型，故混合模型相對(duì)于DenseNet網(wǎng)絡(luò)具有更強(qiáng)模型表達(dá)能力，其中主要的原因是混合網(wǎng)絡(luò)的結(jié)構(gòu)更加的復(fù)雜化，這樣帶來(lái)的好處就是模型的學(xué)習(xí)能力增強(qiáng)了，簡(jiǎn)單的特征提取與推理由深度較淺的網(wǎng)絡(luò)完成，復(fù)雜的特征提取與推理由深度較深的網(wǎng)絡(luò)完成，分工合作，共同完成任務(wù)。雖然混合模型網(wǎng)絡(luò)的結(jié)構(gòu)比較復(fù)雜，但其待優(yōu)化參數(shù)與DenseNet網(wǎng)絡(luò)的待優(yōu)化參數(shù)基本相當(dāng)甚至還低些，混合模型網(wǎng)絡(luò)的參數(shù)為2百萬(wàn)左右比傳統(tǒng)的VGG-16的千萬(wàn)級(jí)別的參數(shù)要低很多。由實(shí)驗(yàn)結(jié)果表明，混合模型的測(cè)試集損失函數(shù)值為0.6012，DenseNet模型的測(cè)試集損失函數(shù)值為0.6742，故混合模型對(duì)實(shí)驗(yàn)數(shù)據(jù)的擬合能力更好。

4? 總結(jié)

本論文提出的基于SqueezeNet和FractalNet混合模型對(duì)圖像分類(lèi)的神經(jīng)網(wǎng)絡(luò)。本實(shí)驗(yàn)利用SqueezeNet神經(jīng)網(wǎng)絡(luò)中的Fire Module來(lái)減少模型的參數(shù)，利用FractalNet神經(jīng)網(wǎng)絡(luò)的基本框架來(lái)保證神經(jīng)網(wǎng)絡(luò)模型的準(zhǔn)確度。實(shí)驗(yàn)證明混合模型神經(jīng)網(wǎng)絡(luò)相對(duì)于DenseNet神經(jīng)網(wǎng)絡(luò)來(lái)說(shuō)具有更強(qiáng)的模型表達(dá)能力和更低的方差。本次實(shí)驗(yàn)嘗試引入Inception-V4的思想將N*N的卷積核拆分成1*N和N*1的卷積核[7]，以此來(lái)進(jìn)一步降低整個(gè)神經(jīng)網(wǎng)絡(luò)的參數(shù)，但實(shí)驗(yàn)效果不理想，故不將3*3的卷積拆分成3*1和1*3的卷積。

本文提出的基于SqueezeNet和FractalNet混合模型網(wǎng)絡(luò)也同樣存在缺點(diǎn)和可以改進(jìn)的地方：（1）為了防止過(guò)擬合，本文采用的是L2正則化，可以嘗試另一種正則化方法，既使用dropout正則化進(jìn)行優(yōu)化。

參考文獻(xiàn)

[1]Forrest N. Iandola1， Song Han2， Matthew W. Moskewicz1， Khalid Ashraf1， William J. Dally2， Kurt Keutzer1 SQUEEZENET： ALEXNET-LEVEL ACCURACY WITH 50X FEWER PAR AMETERS AND <0.5MB MODEL SIZE Under review as a conference paper at ICLR 2017.

[2]Gustav Larsson， Michael Maire， Gregory Shakhnarovich Frac talNet： Ultra-Deep Neural Networks without Residuals arXiv： 1605. 07648v1 [cs.CV] 24 May 2016.

[3]李彥冬， 郝宗波， 雷航 卷積神經(jīng)網(wǎng)絡(luò)研究綜述 Journal of Computer Applications[J]. 計(jì)算機(jī)應(yīng)用， 2016， 36（9）： 2508- 2515， 2565.

[4]Gu J.， Wang Z， Kuen J， Ma L， Shahroudy A， Shuai B， et al. （2015）. Recent advances in convolutional neural networks. CoRR abs/1512.07108.

[5]Goodfellow， I， Bengio， Y， Courville， A， Bengio， Y. Deep learning （Vol. 1）. Cambridge： MIT press， 2016： p326-366.

[6]王聰興， 劉寶亮. 一種基于圖像處理的表面故障裂紋檢測(cè)系統(tǒng)[J]. 軟件， 2018， 39（5）： 144-150.

[7]Inception-v4， inception-Res Net and the impact of residual connections on learning. SZEGEDY C， IOFFE S， VANH OUCKEV. https：//arxiv.org/pdf/1602.07261.pdf.2016.

[8]李昊泉， 史夢(mèng)凡， 陳舒楠， 等. 卷積神經(jīng)網(wǎng)絡(luò)在案件分類(lèi)上的應(yīng)用[J]. 軟件 2019（04）： 222-225.

[9]杜冠軍， 佟國(guó)香. 一種新的混合演化多目標(biāo)優(yōu)化算法[J]. 軟件， 2019（2）： 6-10.

[10]張明軍， 俞文靜， 袁志， 等. 視頻中目標(biāo)檢測(cè)算法研究[J]. 軟件， 2016， 37（4）： 40-45.

[11]張玉環(huán)， 錢(qián)江. 基于兩種LSTM結(jié)構(gòu)的文本情感分析[J]. 軟件， 2018， 39（1）： 116-120.