基于輕量級(jí)特征融合卷積網(wǎng)絡(luò)的圖像分類算法

陳鑫華，錢雪忠，宋 威

（1.江南大學(xué)人工智能與計(jì)算機(jī)學(xué)院，江蘇無錫 214122；2.江南大學(xué)物聯(lián)網(wǎng)技術(shù)應(yīng)用教育部工程研究中心，江蘇 無錫 214122；3.江南大學(xué) 江蘇省模式識(shí)別與計(jì)算智能工程實(shí)驗(yàn)室，江蘇無錫 214122）

0 概述

深度學(xué)習(xí)是機(jī)器學(xué)習(xí)領(lǐng)域的研究熱點(diǎn)之一，卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）作為深度學(xué)習(xí)的代表算法，廣泛應(yīng)用于計(jì)算機(jī)視覺、自然語言處理、信息檢索、圖像識(shí)別和分類等領(lǐng)域［1］。隨著網(wǎng)絡(luò)規(guī)模擴(kuò)大，網(wǎng)絡(luò)結(jié)構(gòu)越來越復(fù)雜，因此，需要設(shè)計(jì)更輕量級(jí)的網(wǎng)絡(luò)模型應(yīng)用于深度學(xué)習(xí)的各個(gè)領(lǐng)域。

卷積網(wǎng)絡(luò)模型的輕量化改進(jìn)主要有淺層壓縮和深層壓縮兩個(gè)方向。淺層壓縮通過網(wǎng)絡(luò)剪枝、量化、編碼等方式對(duì)模型進(jìn)行壓縮。文獻(xiàn)［2］提出一種通道裁剪方法，通過判斷每層通道的靈敏度以逐層裁剪網(wǎng)絡(luò)模型，在VGG 網(wǎng)絡(luò)上參數(shù)壓縮了約80%，但通道裁剪是細(xì)粒度裁剪，能刪除大量通道并降低網(wǎng)絡(luò)性能。文獻(xiàn)［3］提出一種混合裁剪方法，結(jié)合核裁剪以及權(quán)重裁剪，通過對(duì)卷積核低秩分解，增加稀疏性以降低計(jì)算消耗，在精度降低很小的情況下，獲得較好的壓縮倍率，但稀疏網(wǎng)絡(luò)還沒有成熟的框架或硬件來支持，所以只能有限地提升速度。深層壓縮通過設(shè)計(jì)新的網(wǎng)絡(luò)模塊和改變網(wǎng)絡(luò)模型結(jié)構(gòu)來達(dá)到輕量化的效果。IANDOLA 等［4］提出SqueezeNet，利用Fire module 對(duì)輸入通道進(jìn)行壓縮和擴(kuò)張，減少了整個(gè)模型的參數(shù)量。文獻(xiàn)［5］提出ShuffleNet，將輸入通道進(jìn)行分組，并且為了加強(qiáng)各組間信息流通，提出混洗操作，將來自不同組的特征進(jìn)行重新排列。MEHTA 等［6］提出EspNet，將標(biāo)準(zhǔn)卷積分解為1×1 逐點(diǎn)卷積和空間金字塔空洞卷積，不僅增大了感受野還減少了計(jì)算量。但是過多增加分組卷積會(huì)增大內(nèi)存訪問成本，使得網(wǎng)絡(luò)結(jié)構(gòu)更復(fù)雜，導(dǎo)致研究成本和時(shí)間成本增大，從而限制輕量級(jí)卷積網(wǎng)絡(luò)應(yīng)用于移動(dòng)設(shè)備。

本文提出輕量級(jí)特征融合卷積神經(jīng)網(wǎng)絡(luò)MS-FNet。利用不同大小的卷積核對(duì)輸入特征圖進(jìn)行處理，加入空洞卷積和瓶頸結(jié)構(gòu)提取不同的特征，同時(shí)使用卷積層代替全連接層，以減少參數(shù)量并降低計(jì)算資源的消耗，提高網(wǎng)絡(luò)的分類精度和學(xué)習(xí)能力。

1 相關(guān)工作

傳統(tǒng)CNN 結(jié)構(gòu)通過簡單的堆疊卷積層和池化層來實(shí)現(xiàn)，然后不斷加深網(wǎng)絡(luò)層數(shù)來達(dá)到較高的精度。但這樣的網(wǎng)絡(luò)參數(shù)量十分龐大，易產(chǎn)生過擬合現(xiàn)象，不利于應(yīng)用，并且隨著網(wǎng)絡(luò)層數(shù)的加深，會(huì)發(fā)生梯度消失現(xiàn)象，網(wǎng)絡(luò)結(jié)構(gòu)的優(yōu)化也變得越來越困難。

Inception 模塊結(jié)構(gòu)［7］是GoogleMind 提出的一類高性能CNN，其特點(diǎn)是將傳統(tǒng)的卷積分解，使用不同尺度的卷積核來代替，將同一個(gè)輸入使用多種不同尺度卷積核來卷積運(yùn)算，再將運(yùn)算完成的結(jié)果進(jìn)行合并輸出，利用特征融合獲得比單一卷積核更豐富的特征，在有限的計(jì)算資源下使網(wǎng)絡(luò)的深度和寬度得到擴(kuò)充，也使網(wǎng)絡(luò)模型的分類結(jié)果更精確。Inception 模塊結(jié)構(gòu)如圖1 所示。

圖1 Inception 模塊結(jié)構(gòu)Fig.1 Structure of Inception module

HE、HUANG［8-9］等提出在網(wǎng)絡(luò)模塊中引入1×1卷積層形成瓶頸結(jié)構(gòu)，不僅能降低網(wǎng)絡(luò)參數(shù)量，還能提升網(wǎng)絡(luò)的計(jì)算效率。標(biāo)準(zhǔn)卷積層和瓶頸結(jié)構(gòu)卷積層結(jié)構(gòu)如圖2 所示。假設(shè)輸入輸出特征圖的數(shù)量N均為128，從圖2（a）可以看出，標(biāo)準(zhǔn)卷積層參數(shù)量P=128×3×3×128=147 456。從圖2（b）可以看出，瓶頸結(jié)構(gòu)卷積層的參數(shù)量P=128×1×1×32+32×3×3×32+32×1×1×128=17 408。

圖2 標(biāo)準(zhǔn)卷積與瓶頸結(jié)構(gòu)Fig.2 Standard convolution and bottleneck structure

通過計(jì)算可以看出，使用瓶頸結(jié)構(gòu)計(jì)算的參數(shù)量約為標(biāo)準(zhǔn)卷積層參數(shù)量的1/8。由于瓶頸結(jié)構(gòu)比標(biāo)準(zhǔn)卷積結(jié)構(gòu)更深，網(wǎng)絡(luò)的非線性表達(dá)能力也更強(qiáng)，因此通過瓶頸結(jié)構(gòu)既減少了網(wǎng)絡(luò)參數(shù)，又增加了網(wǎng)絡(luò)深度，提高了網(wǎng)絡(luò)的運(yùn)行效率。

在CNN 中卷積層之后一般會(huì)對(duì)特征圖進(jìn)行下采樣，導(dǎo)致信息丟失。針對(duì)這一問題，在網(wǎng)絡(luò)結(jié)構(gòu)中加入空洞卷積［10］，使得網(wǎng)絡(luò)模型參數(shù)和計(jì)算量不變的同時(shí)擴(kuò)大感受野，提高網(wǎng)絡(luò)性能。空洞卷積patch尺寸如式（1）所示：

其中：超參數(shù)r為每個(gè)像素之間填充r－1 個(gè)空格。假設(shè)卷積核尺寸為k×k，空洞卷積步長為r，則相當(dāng)于用于計(jì)算卷積的k2個(gè)數(shù)值分別從特征圖中相隔r－1的位置獲取，使得感受野從k×k變?yōu)閗+（r－1）×（k－1）。空洞卷積其實(shí)是一種特殊的數(shù)據(jù)采樣方式，使數(shù)據(jù)采樣由密集變?yōu)橄∈?，并不?huì)改變網(wǎng)絡(luò)參數(shù)，而是改變了輸入數(shù)據(jù)的采樣方式。因此，空洞卷積可以在網(wǎng)絡(luò)模型中無縫使用，不需要改變網(wǎng)絡(luò)模型的結(jié)構(gòu)，而且也不會(huì)增加額外的參數(shù)和計(jì)算量。

為加深網(wǎng)絡(luò)深度，SZEGEDY 等［11］提出卷積核分解思想，例如，將5×5 等大卷積核分解為2 個(gè)3×3卷積核，將n×n卷積核非對(duì)稱分解為1×n和n×1 的2 個(gè)連續(xù)卷積核。通過卷積核分解不僅能提升網(wǎng)絡(luò)的深度和寬度，而且有效降低了網(wǎng)絡(luò)的參數(shù)量和計(jì)算量。卷積核分解示意圖如圖3 所示。從圖3（a）可以看出，將5×5 卷積核分解為2 個(gè)連續(xù)的3×3 卷積核，由于5×5 卷積核有25 個(gè)參數(shù)，而2 個(gè)3×3 卷積核只有18 個(gè)參數(shù)，在達(dá)到相同卷積效果的同時(shí)，參數(shù)量降低了28%。從圖3（b）可以看出，將3×3 卷積核分解為1×3 卷積核和3×1 卷積核，3×3 卷積核有9 個(gè)參數(shù)，而分解后卷積核有6 個(gè)參數(shù)，在達(dá)到相同卷積效果的同時(shí)，參數(shù)量降低了33%。

圖3 卷積核分解示意圖Fig.3 Schematic diagram of convolutional kernel factorization

2 圖像分類方法改進(jìn)

2.1 融合模塊結(jié)構(gòu)

基于上述網(wǎng)絡(luò)模型結(jié)構(gòu)，本文網(wǎng)絡(luò)基于Inception 架構(gòu)的設(shè)計(jì)思路，采用模塊化設(shè)計(jì)，通過調(diào)整網(wǎng)絡(luò)模塊組件來增加卷積分支通道數(shù)以形成集成結(jié)構(gòu)。因此，本文提出MS-FNet 網(wǎng)絡(luò)模型，解決了CNN 單個(gè)卷積核提取特征不豐富、網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜、參數(shù)冗余的問題。融合模塊結(jié)構(gòu)如圖4 所示。

圖4 融合模塊結(jié)構(gòu)Fig.4 Structure of fusion module

在網(wǎng)絡(luò)設(shè)計(jì)中，網(wǎng)絡(luò)尺寸越大，參數(shù)越多，容易導(dǎo)致過擬合現(xiàn)象。文獻(xiàn)［12］提出如果把CNN 看作數(shù)據(jù)集的概率分布，那么將具有高度相關(guān)的輸出進(jìn)行聚類可以構(gòu)建最優(yōu)的網(wǎng)絡(luò)結(jié)構(gòu)。從圖4 可以看出，本文網(wǎng)絡(luò)融合模塊利用不同像素的特征來代表提取到不同的細(xì)節(jié)，然后將這些相關(guān)性較高的節(jié)點(diǎn)聚類連接到一起，相當(dāng)于在多個(gè)尺度上同時(shí)進(jìn)行卷積，搭建符合上述理論的多分支結(jié)構(gòu)。在本文融合模塊中，一部分選取了2 個(gè)3×3 卷積核代替原來的5×5 卷積核；另一部分選取了3×3 卷積核，并分別用1×3 和3×1 卷積核進(jìn)行替代，在每個(gè)卷積核前和池化操作后分別加入1×1 卷積核降低特征圖厚度。改進(jìn)后模塊的每個(gè)分支選用不同卷積核進(jìn)行處理，使提取的圖像特征更豐富，同時(shí)替代的卷積核在保證性能的同時(shí)能有效減少網(wǎng)絡(luò)參數(shù)。由于使用的卷積核尺寸較小，獲得感受野也小，因此通過引入空洞卷積來擴(kuò)大感受野且不增加額外的參數(shù)。

本文融合模塊的參數(shù)量F（i，n）和計(jì)算量Fl（i，n）如式（2）、式（3）所示：

其中：i為當(dāng)前卷積核序號(hào)；n為卷積核個(gè)數(shù)；k×k為當(dāng)前卷積核尺寸；Cin為輸入通道數(shù)；Cout為輸出通道數(shù)；Hi和Wi分別為輸出特征圖的高度和寬度。

2.2 全連接層處理

全連接層一般連接在CNN 的最后一個(gè)單層卷積層末端，這層的神經(jīng)元與前一層所有神經(jīng)元全部連接，其作用是整合網(wǎng)絡(luò)學(xué)習(xí)到的特征表達(dá)，然后全部輸入到分類器中，但會(huì)加大網(wǎng)絡(luò)參數(shù)使得網(wǎng)絡(luò)結(jié)構(gòu)變得冗余，占據(jù)網(wǎng)絡(luò)中絕大多數(shù)的計(jì)算開銷。例如，VGG-16［13］網(wǎng)絡(luò)模型中全部參數(shù)約1.4 億，而全連接層中的參數(shù)有1.24 億左右，約占網(wǎng)絡(luò)所有參數(shù)90%，使得網(wǎng)絡(luò)模型參數(shù)冗余，易造成過擬合現(xiàn)象且效率低。

為解決這個(gè)問題，研究人員提出利用全局平均池化或卷積操作的方式來代替全連接層。全局平均池 化（Global Average Pooling，GAP）由LIN 等［14］提出，其原理是對(duì)于輸出每個(gè)通道的特征圖中所有像素計(jì)算一個(gè)平均值，經(jīng)過GAP 后得到一個(gè)維度等于輸出類別數(shù)的特征向量，可以更好地將分類類別與最后一個(gè)卷積層的特征圖對(duì)應(yīng)起來。雖然通過GAP降低了參數(shù)量，緩解了過擬合現(xiàn)象，但是將網(wǎng)絡(luò)訓(xùn)練的壓力轉(zhuǎn)移到了前面的卷積層［15］，減緩了網(wǎng)絡(luò)整體的收斂速度。另一種方法是使用語義分割任務(wù)中的全卷積網(wǎng)絡(luò)［16］，該方法使用卷積層取代最后的全連接層，輸出一個(gè)特征圖，將特征圖轉(zhuǎn)換為原始輸入大小，通過上采樣實(shí)現(xiàn)分類。如果網(wǎng)絡(luò)最后是全連接層，輸入神經(jīng)元個(gè)數(shù)是固定的，可以反推出上層卷積層輸出也是固定的，繼續(xù)反推可知網(wǎng)絡(luò)的輸入分辨率是固定的；如果使用卷積層代替全連接層，網(wǎng)絡(luò)中只有卷積層，則網(wǎng)絡(luò)的輸出分辨率隨著輸入分辨率而得出，輸出特征圖中每個(gè)像素點(diǎn)都對(duì)應(yīng)輸入圖片的一個(gè)區(qū)域，保留了更多特征。由于卷積是局部連接，需要計(jì)算局部信息，全連接是計(jì)算全局信息，這樣可以減少計(jì)算量，使得網(wǎng)絡(luò)訓(xùn)練更加高效。

經(jīng)初步實(shí)驗(yàn)，網(wǎng)絡(luò)最后卷積層輸出特征圖尺寸為14×14×96，假設(shè)全連接層隱藏層節(jié)點(diǎn)為1 000，則使用全連接層的參數(shù)量約為1.8×107；當(dāng)直接使用14×14 的大卷積核對(duì)輸入特征圖進(jìn)行卷積操作后，參數(shù)量約為3.6×106，是全連接層的1/5，分類精度與全連接層相比提高1%左右；若將14×14 的大卷積核進(jìn)行分解，使用3×3 和4×4 的小卷積核代替，則參數(shù)量約為8.8×104，是全連接層的1/200，分類精度與使用14×14 卷積核相比只損失0.3%左右，且收斂速度更快，網(wǎng)絡(luò)模型泛化能力更強(qiáng)。

2.3 MS-FNet 網(wǎng)絡(luò)模型結(jié)構(gòu)

MS-FNet 網(wǎng)絡(luò)模型結(jié)構(gòu)如圖5 所示，采用模塊化設(shè)計(jì)方式將各模塊按照拓?fù)浣Y(jié)構(gòu)進(jìn)行有序連接，最終形成整體結(jié)構(gòu)。從圖5 可以看出，s表示步長，k表示卷積核尺寸，p表示池化窗口尺寸。首先，對(duì)網(wǎng)絡(luò)輸入進(jìn)行卷積池化操作，將提取到的特征進(jìn)行組合，從而增加下一層的輸出通道；然后，在每個(gè)融合模塊前后都使用1×1 卷積操作，對(duì)特征圖進(jìn)行降維或者升維操作，同時(shí)使用很小的計(jì)算量增加了一層非線性層，增強(qiáng)了級(jí)聯(lián)操作后特征圖的空間信息交流，實(shí)現(xiàn)不同感受野特征通道之間的特征融合；最后，使用逐層卷積代替全連接層進(jìn)行分類輸出。

圖5 MS-FNet 網(wǎng)絡(luò)模型結(jié)構(gòu)Fig.5 Structure of MS-FNet network model

評(píng)價(jià)算法時(shí)間性能的主要指標(biāo)是算法時(shí)間復(fù)雜度，假設(shè)本文MS-FNet 網(wǎng)絡(luò)模型輸入特征圖維數(shù)為n，則MS-FNet 模型整體的時(shí)間復(fù)雜度如式（4）所示：

其中：N為網(wǎng)絡(luò)的深度；i為第i層卷積層；M為輸出特征圖的尺寸；K為卷積核尺寸；Ni-1為前一層特征圖的維數(shù)；Ni為下一層特征圖的維數(shù)。

2.4 網(wǎng)絡(luò)收斂性分析

在每次卷積后都對(duì)特征圖進(jìn)行批歸一化［16］（Batch Normalization，BN）處理，經(jīng)過BN 層的數(shù)據(jù)均值為0，標(biāo)準(zhǔn)差為1，降低了特征間相關(guān)性，使網(wǎng)絡(luò)輸出規(guī)范到正態(tài)分布，防止出現(xiàn)梯度爆炸或梯度消失現(xiàn)象，加快網(wǎng)絡(luò)收斂，緩解了網(wǎng)絡(luò)過擬合現(xiàn)象。批歸一化處理如式（5）所示：

其中：μB和分別為輸出特征圖的均值和方差；xi為特征圖的序號(hào)；yi為經(jīng)過批歸一化處理后的輸出；γ和β分別為學(xué)習(xí)參數(shù)。

采用ReLU 激活函數(shù)來激活卷積層，使網(wǎng)絡(luò)收斂更快，防止梯度消失，增強(qiáng)特征稀疏性和非線性表達(dá)能力，其函數(shù)表示如式（6）所示：

本文網(wǎng)絡(luò)模型使用交叉熵?fù)p失函數(shù)衡量預(yù)測(cè)值與真實(shí)值的誤差，首先對(duì)網(wǎng)絡(luò)最后一層輸出通過softmax 求出屬于某類的概率yi，然后將yi和樣本的實(shí)際標(biāo)簽yi'做一個(gè)交叉熵，如式（7）、式（8）所示：

3 實(shí)驗(yàn)與分析

本文實(shí)驗(yàn)平臺(tái)為GTX1080Ti GPU，使用的深度學(xué)習(xí)框架為TensorFlow［17］，分別在MNIST、CIFAR-10和CIFAR-100 數(shù)據(jù)集上進(jìn)行測(cè)試，通過網(wǎng)絡(luò)的參數(shù)量和錯(cuò)誤率來驗(yàn)證本文MS-FNet 網(wǎng)絡(luò)模型的性能。

3.1 CIFAR-10 數(shù)據(jù)集實(shí)驗(yàn)

CIFAR-10 數(shù)據(jù)集共60 000 張RGB 三通道圖像，尺寸為32 像素×32 像素，其中50 000 張圖像用于訓(xùn)練，10 000 張圖像用于測(cè)試，數(shù)據(jù)集由10 類組成，每類均有5 000 張訓(xùn)練圖像和1 000 張測(cè)試圖像。在模型訓(xùn)練前，先對(duì)樣本進(jìn)行預(yù)處理，對(duì)每張圖像進(jìn)行隨機(jī)翻轉(zhuǎn)，設(shè)置隨機(jī)亮度變化和對(duì)比度變化，并且將圖像裁剪成28 像素×28 像素的尺寸，以提高樣本的利用率，使得樣本圖像既有隨機(jī)噪聲，還有數(shù)據(jù)增廣作用。在CIFAR-10 數(shù)據(jù)集上，采用batch 大小為128，使用Adam 優(yōu)化器，學(xué)習(xí)率設(shè)置為0.001。

在CIFAR-10 數(shù)據(jù)集，本文MS-FNet 網(wǎng)絡(luò)模型參數(shù)設(shè)置如表1 所示。MS-FNet 網(wǎng)絡(luò)模型每層操作產(chǎn)生的總參數(shù)量約為370 000。

表1 MS-FNet 網(wǎng)絡(luò)模型參數(shù)設(shè)置Table 1 Parameters setting of MS-FNet network model

在CIFAR-10 數(shù)據(jù)集上MS-FNet 網(wǎng)絡(luò)模型與其他網(wǎng)絡(luò)模型的實(shí)驗(yàn)結(jié)果對(duì)比如表2 所示。從表2 可以看出，在CIFAR-10 數(shù)據(jù)集上MS-FNet 網(wǎng)絡(luò)模型參數(shù)量僅 有 370 000，是 WideResNet 的 1/23，是SqueezeNet 的1/23，是FractalNet 的1/100。本 文MS-FNet 網(wǎng)絡(luò)模型的參數(shù)量遠(yuǎn)低于傳統(tǒng)CNN 模型，而MS-FNet 網(wǎng)絡(luò)模型錯(cuò)誤率只有6.19%。相對(duì)較低于其他模型，雖然WideResNet（寬度×4）和FractalNet的錯(cuò)誤率更低，但是它們的參數(shù)量大于MS-FNet 網(wǎng)絡(luò)模型。與DSENet（深度為40）和DSENet（深度為100）相比，在錯(cuò)誤率相對(duì)較低的情況下，MS-FNet 網(wǎng)絡(luò)模型大幅減少了網(wǎng)絡(luò)深度，簡化了網(wǎng)絡(luò)的復(fù)雜度。與經(jīng)典網(wǎng)絡(luò)模型和一些最新網(wǎng)絡(luò)模型相比，MS-FNet 模型具有更好的分類精度和泛化能力。

表2 在CIFAR-10數(shù)據(jù)集上不同網(wǎng)絡(luò)模型的實(shí)驗(yàn)結(jié)果對(duì)比Table 2 Experimental results comparison among different network models on CIFAR-10 data set

3.2 CIFAR-100 數(shù)據(jù)集實(shí)驗(yàn)

CIFAR-100 數(shù)據(jù)集包含60 000 張RGB 三通道圖像，尺寸為32 像素×32 像素，包含100 類，這100 類由20 個(gè)超類擴(kuò)展而成。每類分別包含500 張訓(xùn)練圖像和100 張測(cè)試圖像。

在CIFAR-100 數(shù)據(jù)集上網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)設(shè)置與CIFAR-10 數(shù)據(jù)集一致。采用的batch 大小為128，使用Adam 優(yōu)化器，學(xué)習(xí)率設(shè)置為0.001。CIFAR-100數(shù)據(jù)集上MS-FNet 網(wǎng)絡(luò)模型與其他網(wǎng)絡(luò)模型的實(shí)驗(yàn)結(jié)果對(duì)比如表3 所示。從表3 可以看出，MS-FNet 網(wǎng)絡(luò)模型的參數(shù)量是X-CNNS 的1/12，是DSENet（深度為100）的1/4，表明MS-FNet 網(wǎng)絡(luò)模型在達(dá)到相對(duì)較低錯(cuò)誤率的情況下，減少了網(wǎng)絡(luò)的參數(shù)量。

表3 CIFAR-100 數(shù)據(jù)集上不同網(wǎng)絡(luò)模型的實(shí)驗(yàn)結(jié)果對(duì)比Table 3 Experimental results comparison among different models on CIFAR-100 data set

3.3 MNIST 數(shù)據(jù)集實(shí)驗(yàn)

MNIST 數(shù)據(jù)集是手寫數(shù)據(jù)庫NIST 的子集，數(shù)據(jù)集中包含手寫數(shù)字0～9，其中每類數(shù)字均有6 000 張訓(xùn)練圖像和1 000 張測(cè)試圖像，每張圖像均為28 像素×28 像素的單通道圖像，共70 000 張圖像。由于MNIST 數(shù)據(jù)集較簡單，所以在MS-FNet 網(wǎng)絡(luò)模型的網(wǎng)絡(luò)參數(shù)設(shè)置上，減少了卷積層和融合模塊的數(shù)量，并且將特征圖通道數(shù)減小為單通道。采用的batch大小為50，使用Adam 優(yōu)化器，學(xué)習(xí)率設(shè)置為0.0001。

MNIST 數(shù)據(jù)集上本文MS-FNet 網(wǎng)絡(luò)模型與其他網(wǎng)絡(luò)模型的實(shí)驗(yàn)結(jié)果對(duì)比如表4 所示。從表4 可以看出，本文MS-FNet 網(wǎng)絡(luò)模型的錯(cuò)誤率僅0.42%，與其他網(wǎng)絡(luò)模型相比有所降低，說明本文MS-FNet網(wǎng)絡(luò)模型具有更好的分類能力。

表4 MNIST 數(shù)據(jù)集不同網(wǎng)絡(luò)模型的錯(cuò)誤率對(duì)比Table 4 Error rate comparison among different network models on MNIST data set

3.4 消融實(shí)驗(yàn)

本文MS-FNet 網(wǎng)絡(luò)模型的核心是瓶頸結(jié)構(gòu)和空洞卷積，在MNIST 數(shù)據(jù)集上進(jìn)行兩組消融實(shí)驗(yàn)分別對(duì)它們進(jìn)行比較并驗(yàn)證。第一組驗(yàn)證空洞卷積對(duì)MS-FNet 網(wǎng)絡(luò)模型性能的提升，第二組驗(yàn)證瓶頸結(jié)構(gòu)對(duì)MS-FNet 網(wǎng)絡(luò)模型性能的提升。

有空洞卷積和沒有空洞卷積結(jié)果對(duì)比如表5 所示。從表5 可以看出，在相同的實(shí)驗(yàn)環(huán)境和迭代次數(shù)下，使用空洞卷積比不使用空洞卷積的訓(xùn)練時(shí)間少，隨著訓(xùn)練迭代次數(shù)增多，使用空洞卷積和不使用空洞卷積網(wǎng)絡(luò)模型的訓(xùn)練時(shí)間都有所增加，錯(cuò)誤率均下降，但是使用空洞卷積比不使用空洞卷積網(wǎng)絡(luò)模型的錯(cuò)誤率略微下降。因此，在網(wǎng)絡(luò)模型中適當(dāng)添加空洞卷積可以加快網(wǎng)絡(luò)模型的訓(xùn)練速度，使網(wǎng)絡(luò)模型收斂快，從而提升網(wǎng)絡(luò)性能。

表5 有空洞卷積和沒有空洞卷積的實(shí)驗(yàn)結(jié)果對(duì)比Table 5 Experimental results comparison of dilated convolution and without dilated convolution

使用瓶頸結(jié)構(gòu)和不使用瓶頸結(jié)構(gòu)的實(shí)驗(yàn)結(jié)果如表6 所示。從表6 可以看出，在相同的實(shí)驗(yàn)環(huán)境和迭代次數(shù)下，隨著訓(xùn)練次數(shù)增多，使用瓶頸結(jié)構(gòu)和不使用瓶頸結(jié)構(gòu)網(wǎng)絡(luò)模型的訓(xùn)練時(shí)間都有所增加，而錯(cuò)誤率均下降，但是使用瓶頸結(jié)構(gòu)網(wǎng)絡(luò)模型的訓(xùn)練時(shí)間比未使用瓶頸結(jié)構(gòu)略微減少，錯(cuò)誤率也有所下降。因此，在網(wǎng)絡(luò)模型中適當(dāng)添加瓶頸結(jié)構(gòu)可以提升網(wǎng)絡(luò)模型訓(xùn)練速度，并且降低網(wǎng)絡(luò)模型錯(cuò)誤率。

表6 使用瓶頸結(jié)構(gòu)和不使用瓶頸結(jié)構(gòu)的實(shí)驗(yàn)結(jié)果對(duì)比Table 6 Experimental results comparison of bottleneck structure and without bottleneck structure

3.5 網(wǎng)絡(luò)性能分析

在CIFAR-10 數(shù)據(jù)集上不同方法的運(yùn)行效率如表7 所示。在CIFAR-100 數(shù)據(jù)集上不同方法的運(yùn)行效率如表8 所示。從表7 和表8 可以看出，在網(wǎng)絡(luò)最后采用卷積層的網(wǎng)絡(luò)模型每秒訓(xùn)練的樣本數(shù)量最多，每批次的訓(xùn)練時(shí)間最短，同時(shí)達(dá)到的錯(cuò)誤率也最低。說明采用卷積層代替全連接層網(wǎng)絡(luò)模型的表現(xiàn)能力和學(xué)習(xí)能力更強(qiáng)。

表7 在CIFAR-10 數(shù)據(jù)集上不同方法的運(yùn)行效率對(duì)比Table 7 Running efficiency comparison among different methods on CIFAR-10 data set

表8 在CIFAR-100 數(shù)據(jù)集上不同方法的運(yùn)行效率對(duì)比Table 8 Running efficiency comparison among different methods on CIFAR-100 data set

為了更直觀分析本文MS-FNet 網(wǎng)絡(luò)模型的網(wǎng)絡(luò)性能，在MNIST 數(shù)據(jù)集上全連接層、全局平均池化層和卷積層方法的準(zhǔn)確率曲線如圖6 所示。從圖6 可以看出，隨著迭代次數(shù)增加，3 種方法的準(zhǔn)確率都呈上升趨勢(shì)，但使用卷積層的準(zhǔn)確率上升最快，最終達(dá)到的準(zhǔn)確率也最高。全局平均池化層曲線比卷積層上升稍慢，但最終的準(zhǔn)確率與卷積層接近。全連接層曲線上升最緩慢，且最終準(zhǔn)確率值也最低。因此，使用卷積層代替全連接層的網(wǎng)絡(luò)模型能加快網(wǎng)絡(luò)的訓(xùn)練速度，有效提升其準(zhǔn)確率。

圖6 在MNIST 數(shù)據(jù)集上不同方法的準(zhǔn)確率曲線Fig.6 Accuracy curves of different methods on MNIST data set

在CIFAR-10 數(shù)據(jù)集上用不同方法處理的MSFNet 網(wǎng)絡(luò)模型交叉熵?fù)p失函數(shù)曲線如圖7 所示。在網(wǎng)絡(luò)模型的最后分別使用全連接層、全局平均池化層和卷積層3 種不同方法。通過這3 種方法的損失函數(shù)曲線分析MS-FNet 網(wǎng)絡(luò)模型的收斂能力。從圖7 可以看出，隨著迭代次數(shù)的增加，3 種方法的損失函數(shù)曲線都趨于收斂，然而全連接層曲線收斂于較高位置，而且下降最慢，全局平均池化層曲線比全連接層曲線下降快，收斂數(shù)值也更小，卷積層曲線下降最快，比全局平均池化層曲線收斂更小的數(shù)值。因此，使用卷積層代替全連接層使MS-FNet 網(wǎng)絡(luò)模型收斂更快，效果更好。

圖7 在CIFAR-10 數(shù)據(jù)集上不同方法的交叉熵?fù)p失曲線Fig.7 Cross entropy loss curves of different methods on CIFAR-10 data set

4 結(jié)束語

針對(duì)CNN 參數(shù)多和網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜的特點(diǎn)，本文設(shè)計(jì)輕量級(jí)特征融合卷積神經(jīng)網(wǎng)絡(luò)MS-FNet。通過多個(gè)分支不同大小的卷積核提取不同尺度的特征，以增加網(wǎng)絡(luò)寬度并提高魯棒性，同時(shí)使用卷積層代替?zhèn)鹘y(tǒng)的全連接層，減少網(wǎng)絡(luò)模型的參數(shù)量。實(shí)驗(yàn)結(jié)果表明，MS-FNet 網(wǎng)絡(luò)模型結(jié)構(gòu)合理，收斂速度快，在參數(shù)量遠(yuǎn)小于對(duì)比CNN 模型的情況下，錯(cuò)誤率較低且具有較強(qiáng)的泛化能力。后續(xù)將優(yōu)化MS-FNet 網(wǎng)絡(luò)模型的參數(shù)設(shè)置，進(jìn)一步提升網(wǎng)絡(luò)模型的學(xué)習(xí)能力。