改進(jìn)膠囊網(wǎng)絡(luò)的小樣本圖像分類算法

王飛龍，劉萍，張玲，李鋼+

1.太原理工大學(xué) 大數(shù)據(jù)學(xué)院，山西 晉中030600

2.太原理工大學(xué) 軟件學(xué)院，山西 晉中030600

在當(dāng)前人工智能不斷發(fā)展的時(shí)代，圖像處理扮演著舉足輕重的角色。圖像分類作為圖像處理的一個(gè)重要分支，促進(jìn)了大量行業(yè)的迅速發(fā)展。目前的圖像分類多數(shù)是基于大數(shù)據(jù)進(jìn)行的，然而在各行業(yè)中存在數(shù)據(jù)收集、清洗困難、噪音過多的問題，這使得多數(shù)行業(yè)只能提供少量有效的復(fù)雜圖像數(shù)據(jù)，導(dǎo)致圖像分類精度不高。針對(duì)小樣本復(fù)雜圖像的分類問題是當(dāng)前圖像處理領(lǐng)域研究的難點(diǎn)和熱點(diǎn)，伴隨深度學(xué)習(xí)技術(shù)的發(fā)展，學(xué)者們嘗試用神經(jīng)網(wǎng)絡(luò)來解決此類問題。

Lecun 等人提出了卷積神經(jīng)網(wǎng)絡(luò)模型LeNet-5，采用三層卷積、兩層全連接，運(yùn)用了tanh 激活函數(shù)，但tanh 激活函數(shù)存在冪運(yùn)算與梯度消失問題，無法有效對(duì)圖像進(jìn)行分類；Hinton 和Alex 隨后提出了AlexNet，增加了網(wǎng)絡(luò)規(guī)模，并使用了ReLU 激活函數(shù)，使計(jì)算復(fù)雜度降低，一定程度上解決了梯度消失的問題；Simonyan 等人在2014 年提出了VGGNet，簡(jiǎn)化了AlexNet 網(wǎng)絡(luò)結(jié)構(gòu)，驗(yàn)證了通過加深網(wǎng)絡(luò)深度可以提升模型性能；2016 年，He 等人提出殘差網(wǎng)絡(luò)（residual network，ResNet），解決了深度網(wǎng)絡(luò)難以訓(xùn)練的問題，加大了網(wǎng)絡(luò)深度；Szegedy 等人在2016 年提出了卷積分解的理念，在保證模型性能的前提下，降低了模型的參數(shù)量與計(jì)算量；Hu 等人在2018年提出了SENet（squeeze-and-excitation networks），利用了通道間的相關(guān)性來提升模型性能，卻屏蔽了空間相關(guān)性；2018 年，Redmon 等人在ResNet 的基礎(chǔ)上，提出了Darknet-53 架構(gòu)，該架構(gòu)引入殘差理念，并取消池化層，可以更加有效地提取特征，減少了特征損失。然而卷積神經(jīng)網(wǎng)絡(luò)通過不斷改進(jìn)雖然能更加有效提取圖像的特征圖譜，卻無法學(xué)習(xí)特征的空間相關(guān)性，只能通過大量樣本提升其泛化性。目前卷積神經(jīng)網(wǎng)絡(luò)針對(duì)復(fù)雜小樣本圖像的分類問題，主要是通過數(shù)據(jù)增強(qiáng)提升樣本數(shù)量或通過特征融合強(qiáng)化提取的特征等手段，效果卻并不理想。

Hinton 等人于2017 年提出了膠囊網(wǎng)絡(luò)（capsule network），將特征表征成向量，考慮了特征空間相關(guān)性，訓(xùn)練所需數(shù)據(jù)量也大幅減少，相比傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)，在Mnist、Fashion Mnist 等簡(jiǎn)單樣本數(shù)據(jù)集上可以使用更少的樣本獲得較好的分類效果，但在CIFAR 等復(fù)雜樣本數(shù)據(jù)集上表現(xiàn)效果不佳。這是由于膠囊網(wǎng)絡(luò)將圖像所有的信息都表征成向量，一方面增加了模型訓(xùn)練難度，另一方面保留了過多圖像細(xì)節(jié)特征，導(dǎo)致產(chǎn)生過擬合問題。2019 年，Zhang 等人提出了DCaps，在原始的膠囊網(wǎng)絡(luò)中加入了一個(gè)殘差塊并在CIFAR 數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，一定程度上減少了圖像中無用的細(xì)節(jié)特征，提高了膠囊網(wǎng)絡(luò)對(duì)復(fù)雜圖像的分類準(zhǔn)確率，提升效果卻并不顯著。

基于此，本文考慮了膠囊網(wǎng)絡(luò)的優(yōu)缺點(diǎn)，提出一種融合Darknet 與膠囊網(wǎng)絡(luò)的分類模型，本模型對(duì)小樣本圖像的分類準(zhǔn)確率遠(yuǎn)高于膠囊網(wǎng)絡(luò)、DCaps 和傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)。本文主要在以下方面進(jìn)行改進(jìn)：首先將Darknet網(wǎng)絡(luò)架構(gòu)進(jìn)行改進(jìn)，將圖像的淺層邊緣特征與深層語義特征進(jìn)行融合以最大程度地保留圖像中有用的細(xì)節(jié)特征，再通過膠囊網(wǎng)絡(luò)對(duì)特征進(jìn)行向量化表示，可以有效減少分類所需數(shù)據(jù)量，最后通過動(dòng)態(tài)路由實(shí)現(xiàn)圖像的分類；在模型的損失函數(shù)中加入網(wǎng)絡(luò)各層的L正則化損失項(xiàng)，減輕過擬合的現(xiàn)象，從而提高分類精度。

1 相關(guān)模型

1.1 膠囊網(wǎng)絡(luò)

根據(jù)相關(guān)研究可知卷積神經(jīng)網(wǎng)絡(luò)的池化操作會(huì)造成圖像有效特征的丟失；同時(shí)無法對(duì)特征進(jìn)行向量化表達(dá)，只能通過訓(xùn)練大樣本數(shù)據(jù)提升其泛化性能，導(dǎo)致在處理小樣本數(shù)據(jù)集時(shí)的分類效果急劇下降?；诖四z囊網(wǎng)絡(luò)提出使用向量代替網(wǎng)絡(luò)中的標(biāo)量神經(jīng)元，使得特征具有方向性，故可以用更少的數(shù)據(jù)獲取更多的信息來提升分類精度；其次在低層特征向量與高層特征向量之間引入動(dòng)態(tài)路由算法，使得低層的特征能被傳到高層的特征中加以利用來計(jì)算出目標(biāo)物體存在的概率。

膠囊網(wǎng)絡(luò)將提取的特征用膠囊單元（向量）進(jìn)行表示，膠囊單元的模長(zhǎng)表示物體存在的概率，方向表示實(shí)例參數(shù)，即實(shí)體特征的信息。

膠囊網(wǎng)絡(luò)采用了Margin Loss損失，如下所示：

其中，T表示類是否存在，=0.9，=0.1，為超參數(shù)，一般設(shè)置為0.5，||v||代表該膠囊單元屬于這個(gè)類別的概率。

膠囊網(wǎng)絡(luò)雖然一定程度解決了卷積神經(jīng)網(wǎng)絡(luò)的缺陷性，但是當(dāng)圖像太復(fù)雜時(shí)保留了圖像過多的細(xì)節(jié)特征，無法對(duì)圖像特征進(jìn)行有效的篩選，導(dǎo)致模型存在過擬合問題，致使其分類效果不佳，無法滿足分類需求。

1.2 Darknet

Darknet模型汲取了殘差的思想，避免了網(wǎng)絡(luò)退化問題。它由多個(gè)Darknet塊組成，每個(gè)Darknet塊由兩個(gè)卷積（卷積核分別為1×1與3×3）和一個(gè)殘差連接組成，且每?jī)蓚€(gè)Darknet塊之間都有一個(gè)單獨(dú)的卷積層，它們都是下采樣卷積，是將原有的輸入補(bǔ)0，再通過步長(zhǎng)為2，卷積核為3的卷積來實(shí)現(xiàn)，以此代替池化，避免局部信息的丟失，使模型可以更有效地提取圖像特征。

Darknet 模型能有效保留一類圖像的共有細(xì)節(jié)特征，避免過多保留圖像無用細(xì)節(jié)特征的特性可以彌補(bǔ)膠囊網(wǎng)絡(luò)的缺陷，因此本文將Darknet 融入膠囊網(wǎng)絡(luò)來處理小樣本數(shù)據(jù)集的分類問題。

2 本文模型

目前的深度學(xué)習(xí)模型一般都需要足夠多的數(shù)據(jù)量才能獲得較好的效果，在復(fù)雜小樣本數(shù)據(jù)集上的分類效果往往并不理想。因此，本文提出一種融合模型（如圖1 所示），本模型首先通過Darknet 模型提取圖像的有效特征，以此解決膠囊網(wǎng)絡(luò)保留過多圖像無用細(xì)節(jié)特征容易產(chǎn)生的過擬合問題；接著將提取的有效特征經(jīng)過膠囊網(wǎng)絡(luò)做進(jìn)一步處理，將特征表征成1×8 的二維向量，通過變換矩陣w與耦合系數(shù)c來激活高層膠囊：

圖1 膠囊網(wǎng)絡(luò)與Darknet融合模型結(jié)構(gòu)Fig.1 Fusion model structure of capsule network and Darknet

進(jìn)而通過squash 激活函數(shù)進(jìn)行非線性化處理，將輸出向量的模長(zhǎng)壓縮到0～1，的模長(zhǎng)代表屬于相應(yīng)類別的概率，向量本身表示特征的位置、姿態(tài)等信息，信息量更加豐富：

最后用動(dòng)態(tài)路由迭代實(shí)現(xiàn)最后的分類。本模型利用膠囊網(wǎng)絡(luò)對(duì)特征進(jìn)行向量化處理可以獲得有效特征的多視角空間信息，使模型可以使用更少的數(shù)據(jù)量獲得更高的分類準(zhǔn)確率。此外，模型整體沿用Darknet 步長(zhǎng)為2 的卷積代替池化，以此避免池化所帶來的信息缺失問題。

本模型為了防止Darknet提取的有效特征中某種特征權(quán)重過大造成模型產(chǎn)生過擬合的問題，在膠囊網(wǎng)絡(luò)的Margin Loss 損失函數(shù)后加入了網(wǎng)絡(luò)各層權(quán)重的L正則化損失項(xiàng)。損失函數(shù)公式如下所示：

其中，T表示類是否存在，=0.9，=0.1，為超參數(shù)，一般設(shè)置為0.5，||v||代表該膠囊單元屬于這個(gè)類別的概率，||w||為網(wǎng)絡(luò)各層權(quán)重的L正則化損失。

圖2 為未經(jīng)改進(jìn)初步調(diào)整后的Darknet 模型，為了讓模型適應(yīng)CIFAR數(shù)據(jù)集，在原模型的基礎(chǔ)上一定程度地減少了網(wǎng)絡(luò)深度，且在最后一層步長(zhǎng)為2 的卷積之前增加padding 操作以減少邊界信息丟失。圖3為改進(jìn)后的Darknet模型，該模型每個(gè)Darknet塊依然采用兩個(gè)傳統(tǒng)卷積加一個(gè)殘差單元，但是整個(gè)模型通過并列的特征提取器同時(shí)提取深層與淺層特征進(jìn)行融合，一列通過3×3 的卷積核大小與更深層次的網(wǎng)絡(luò)提取出有效的深層語義特征，另一列通過5×5 的卷積核大小與淺層的網(wǎng)絡(luò)提取出視野更寬廣的淺層邊緣特征，通過特征融合輸出16×16 的有效特征圖譜，同時(shí)保留圖像深層語義和淺層輪廓邊緣特征，融合后的特征圖譜獲得的特征信息量更多。圖4 為未經(jīng)改進(jìn)初步調(diào)整后的Darknet 模型提取的特征圖譜，特征圖只考慮了深層語義特征，卻沒有關(guān)注淺層輪廓邊緣的細(xì)節(jié)特征，無法顯示出相對(duì)完整的有效圖像信息，在數(shù)據(jù)量較少時(shí)容易造成過擬合問題；圖5 為改進(jìn)后的Darknet 模型提取的特征圖譜，不僅關(guān)注了深層語義特征，同時(shí)關(guān)注淺層輪廓邊緣特征，可以顯示相對(duì)完整的有效圖像信息，一定程度地減少過擬合。

圖2 未經(jīng)改進(jìn)的Darknet模型Fig.2 Unimproved Darknet model

圖3 改進(jìn)后的Darknet模型Fig.3 Improved Darknet model

圖4 未經(jīng)改進(jìn)的Darknet模型提取的特征圖譜Fig.4 Feature map extracted through unimproved Darknet model

圖5 改進(jìn)后的Darknet模型提取的特征圖譜Fig.5 Feature map extracted through improved Darknet model

3 實(shí)驗(yàn)及分析

3.1 實(shí)驗(yàn)數(shù)據(jù)

本模型采用CIFAR-10 數(shù)據(jù)集和CIFAR-100 數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)。CIFAR-10 和CIFAR-100 是8 000 萬個(gè)微型圖像數(shù)據(jù)集的標(biāo)記子集，如圖6 所示。

圖6 CIFAR 數(shù)據(jù)示例Fig.6 Example of CIFAR data

CIFAR-10數(shù)據(jù)集分為10個(gè)類別，由60000 張32×32 彩色圖像組成，每個(gè)類別包含6 000 張圖像，分為5 000 張訓(xùn)練圖像和1 000 張測(cè)試圖像，構(gòu)成大樣本數(shù)據(jù)集。CIFAR-100 分為100 個(gè)類別，每個(gè)類只包含600 張32×32 彩色圖像，分為500 張訓(xùn)練圖片和100張測(cè)試圖片，由于每個(gè)類的訓(xùn)練圖像數(shù)據(jù)較少，構(gòu)成小樣本數(shù)據(jù)集。本實(shí)驗(yàn)將CIFAR-10 與CIFAR-100 重新劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集，且未對(duì)數(shù)據(jù)集進(jìn)行其余的處理，其中CIFAR-10 分為訓(xùn)練集40 000 張圖像，每類4 000 張；驗(yàn)證集10 000 張，每類1 000 張；測(cè)試集10 000 張，每類1 000張。CIFAR-100 分為訓(xùn)練集40 000 張，每類400 張；驗(yàn)證集10 000 張，每類100 張；測(cè)試集10 000 張，每類100張。對(duì)比各種模型在CIFAR-10 與CIFAR-100 不同量級(jí)數(shù)據(jù)集下的準(zhǔn)確率，進(jìn)行分析。

3.2 參數(shù)優(yōu)化

本實(shí)驗(yàn)在Ubuntu18.04 的系統(tǒng)下進(jìn)行，CPU 為AMD R9-3900X，GPU 為單塊RTX-2080Ti，實(shí)驗(yàn)環(huán)境為Python3.6+Tensorflow1.14。

如無特殊說明，模型的參數(shù)設(shè)置為=50；學(xué)習(xí)率為0.000 1，衰減指數(shù)為0.98，每1 000 輪衰減一次；權(quán)重的初始化為截?cái)嗟恼龖B(tài)分布，均值=0，標(biāo)準(zhǔn)差=0.01。

本實(shí)驗(yàn)使用Cap-Dark 與Bi-Cap-Dark 測(cè)試了采用不同的方法在CIFAR-10 與CIFAR-100 數(shù)據(jù)集上對(duì)模型準(zhǔn)確率的影響，如表1、表2 所示。

表1 Cap-Dark 不同參數(shù)的分類準(zhǔn)確率Table 1 Classification accuracy of Cap-Dark with different parameters 單位：%

表2 Bi-Cap-Dark 不同參數(shù)的分類準(zhǔn)確率Table 2 Classfication accuracy of Bi-Cap-Dark with different parameters 單位：%

表1與表2中conv2d為普通卷積，seperable_conv2d為可分離卷積；relu 與selu 分別為卷積神經(jīng)網(wǎng)絡(luò)所采用的非線性激活函數(shù)；BN 為對(duì)每層網(wǎng)絡(luò)的輸入進(jìn)行批量歸一化；GN 為組歸一化，即先把輸入通道分成組，然后把每個(gè)組單獨(dú)拿出來進(jìn)行歸一化處理，最后把組歸一化之后的數(shù)據(jù)再進(jìn)行合并；L、L、L分別為不同的正則化項(xiàng)。

Cap-Dark 采用未改進(jìn)的Darknet 模型提取特征，Bi-Cap-Dark 采用改進(jìn)后的Darknet 模型提取特征。對(duì)比表1 與表2 的實(shí)驗(yàn)準(zhǔn)確率可以看出，在特征提取部分采用改進(jìn)后的Darknet 模型：在模型細(xì)節(jié)方面采用傳統(tǒng)卷積加relu 激活函數(shù)以及批量歸一化；在損失函數(shù)方面，將L正則化項(xiàng)加入到原有損失函數(shù)中，所得到的模型在CIFAR-100 小樣本數(shù)據(jù)集上的準(zhǔn)確率是最優(yōu)的，且在CIFAR-10 大樣本數(shù)據(jù)集下的準(zhǔn)確率同樣是最高的，證明了本模型具備良好的泛化性能。然而針對(duì)未改進(jìn)的Darknet 模型，單獨(dú)采用可分離卷積與組歸一化、selu激活函數(shù)以及損失函數(shù)中加入L與L正則化項(xiàng)都無法獲得較高的分類準(zhǔn)確率。

3.3 實(shí)驗(yàn)分析

為了體現(xiàn)本文所提出的新模型的性能，本文選用了典型的卷積神經(jīng)網(wǎng)絡(luò)模型ResNet50、Xception 以及膠囊網(wǎng)絡(luò)模型Capsule Network 與其改進(jìn)模型DCaps 分別在CIFAR-100 與CIFAR-10 數(shù)據(jù)集上進(jìn)行測(cè)試對(duì)比，對(duì)比所有模型在小樣本數(shù)據(jù)集和大樣本數(shù)據(jù)集下準(zhǔn)確率的變化，實(shí)驗(yàn)結(jié)果如表3 所示。

表3 不同模型分類準(zhǔn)確率Table 3 Classification accuracy of different models 單位：%

不同模型的實(shí)驗(yàn)均在Ubuntu18.04 的系統(tǒng)下進(jìn)行，CPU為AMD R9-3900X，GPU為單塊RTX-2080Ti，實(shí)驗(yàn)環(huán)境為Python3.6+Tensorflow1.14，其中DCaps的實(shí)驗(yàn)結(jié)果來自DCaps原始文獻(xiàn)，其余模型的分類準(zhǔn)確率均為重新實(shí)驗(yàn)的結(jié)果。

不同模型的參數(shù)設(shè)置均采用普通卷積加批量歸一化，非線性激活函數(shù)采用relu，正則化項(xiàng)使用L正則化項(xiàng)；且batch 設(shè)置為50；學(xué)習(xí)率為0.000 1，衰減指數(shù)為0.98，每1 000 輪衰減一次；權(quán)重的初始化為截?cái)嗟恼龖B(tài)分布，均值=0，標(biāo)準(zhǔn)差=0.01。

Cap-Dark-NR 為將Darknet 與膠囊網(wǎng)絡(luò)進(jìn)行融合，但未對(duì)Darknet 和損失函數(shù)進(jìn)行改進(jìn)。該模型在CIFAR-100 小樣本數(shù)據(jù)集上的分類準(zhǔn)確率明顯高于卷積神經(jīng)網(wǎng)絡(luò)模型與膠囊網(wǎng)絡(luò)模型，由于在小樣本數(shù)據(jù)集下，卷積神經(jīng)網(wǎng)絡(luò)無法有效關(guān)注特征空間信息，提取特征的信息量有限；膠囊網(wǎng)絡(luò)無法對(duì)圖像關(guān)鍵特征進(jìn)行有效篩選，過多關(guān)注圖像的無效特征信息導(dǎo)致過擬合問題；而通過Darknet 進(jìn)行特征提取可以對(duì)無效特征進(jìn)行過濾，再使用膠囊單元對(duì)有效特征進(jìn)行向量化表示可以增加特征空間信息量以提升分類準(zhǔn)確率。但在CIFAR-10 大樣本數(shù)據(jù)集下的分類準(zhǔn)確率略低于卷積神經(jīng)網(wǎng)絡(luò)模型，由于在大樣本數(shù)據(jù)集下卷積神經(jīng)網(wǎng)絡(luò)可以實(shí)現(xiàn)良好的泛化性，而Cap-Dark-NR 一方面忽略了圖像的淺層邊緣輪廓特征，另一方面沒有對(duì)網(wǎng)絡(luò)的權(quán)重加以限制，使得模型在大樣本數(shù)據(jù)集下的分類準(zhǔn)確率略低于卷積神經(jīng)網(wǎng)絡(luò)。證明了融合Darknet與膠囊網(wǎng)絡(luò)可以有效避免膠囊網(wǎng)絡(luò)無法對(duì)圖像的細(xì)節(jié)特征進(jìn)行有效篩選造成的分類效果不佳的問題，但是當(dāng)訓(xùn)練樣本加大時(shí)，模型的泛化性能有待提高。

Cap-Dark 為將Darknet 與膠囊網(wǎng)絡(luò)進(jìn)行融合且在損失函數(shù)中加入L正則化項(xiàng)，但未對(duì)Darknet 進(jìn)行改進(jìn)。該模型在CIFAR-100 小樣本的分類準(zhǔn)確率比Cap-Dark-NR 高0.05 個(gè)百分點(diǎn)；在CIFAR-10 大樣本下的分類準(zhǔn)確率比Cap-Dark-NR 高1.76 個(gè)百分點(diǎn)，卻依然略低于卷積神經(jīng)網(wǎng)絡(luò)模型，證明在損失中加入L正則化項(xiàng)能一定程度減少過擬合問題，卻依然無法彌補(bǔ)淺層輪廓邊緣特征缺失導(dǎo)致的準(zhǔn)確率下降的問題，模型泛化性能還需進(jìn)一步提升。

Bi-Cap-Dark 為將Darknet 與膠囊網(wǎng)絡(luò)進(jìn)行融合，并將Darknet改進(jìn)為并列的特征提取器且在損失函數(shù)中加入L正則化項(xiàng)，發(fā)現(xiàn)模型性能再次獲得明顯提升。本模型在小樣本數(shù)據(jù)集CIFAR-100 上的準(zhǔn)確率比膠囊網(wǎng)絡(luò)高28.51 個(gè)百分點(diǎn)，比DCaps高24.40 個(gè)百分點(diǎn)；同時(shí)在大樣本數(shù)據(jù)集CIFAR-10 的準(zhǔn)確率相比膠囊網(wǎng)絡(luò)高30.03 個(gè)百分點(diǎn)，且比DCaps高22.51 個(gè)百分點(diǎn)。對(duì)比膠囊網(wǎng)絡(luò)模型與其改進(jìn)版DCaps，本文所提模型在小樣本數(shù)據(jù)集與大樣本數(shù)據(jù)集上的分類準(zhǔn)確率得到了明顯的提高，證明了改進(jìn)后的模型整體泛化性能得到明顯提升，能有效處理小樣本數(shù)據(jù)集。這是由于模型采用改進(jìn)后的Darknet同時(shí)考慮了圖像的深層語義特征與淺層邊緣細(xì)節(jié)特征，避免了有效特征的缺失，可以相對(duì)完整地保留有效圖像信息，同時(shí)避免了膠囊網(wǎng)絡(luò)將圖像的全部細(xì)節(jié)特征表示成向量造成的分類效果不佳的問題；其次膠囊網(wǎng)絡(luò)對(duì)有效特征的向量化處理使得模型能更加有效地處理小樣本數(shù)據(jù)集，大幅提升了模型的泛化性能；最后在損失函數(shù)中加入L正則化項(xiàng)能有效避免模型的過擬合問題。

與卷積神經(jīng)網(wǎng)絡(luò)模型相比，本模型在小樣本數(shù)據(jù)集CIFAR-100 上的測(cè)試準(zhǔn)確率得到明顯提高，相比ResNet50 高21.57 個(gè)百分點(diǎn)，比Xception 高18.02 個(gè)百分點(diǎn)；在CIFAR-10 大樣本數(shù)據(jù)集上的測(cè)試準(zhǔn)確率相比ResNet50高2.29個(gè)百分點(diǎn)，比Xception高1.91個(gè)百分點(diǎn)。對(duì)比卷積神經(jīng)網(wǎng)絡(luò)模型，本文所提模型針對(duì)小樣本數(shù)據(jù)集的分類準(zhǔn)確率明顯提升，且在大樣本數(shù)據(jù)集下同樣獲得優(yōu)秀的分類效果，證明了本模型的泛化性能優(yōu)于傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)。這是由于ResNet50、Xception 等卷積神經(jīng)網(wǎng)絡(luò)雖然可以有效提取圖像深層語義細(xì)節(jié)特征，但是卷積網(wǎng)絡(luò)的平移不變性使得模型必須學(xué)習(xí)到不同觀測(cè)角度的濾波器，但這需要大量的訓(xùn)練數(shù)據(jù)來提高模型的泛化性能，缺少膠囊網(wǎng)絡(luò)的天然優(yōu)勢(shì)。

本文對(duì)不同損失函數(shù)以及不同特征提取器進(jìn)行對(duì)比，對(duì)比網(wǎng)絡(luò)各層權(quán)重的L正則化項(xiàng)與改進(jìn)前后的Darknet 特征提取器對(duì)模型分類準(zhǔn)確率的影響，實(shí)驗(yàn)結(jié)果如圖7、圖8 所示。圖7 為L(zhǎng)正則化項(xiàng)與不同特征提取器對(duì)CIFAR-10 數(shù)據(jù)集準(zhǔn)確率的影響，圖8為L(zhǎng)正則化項(xiàng)與不同特征提取器對(duì)CIFAR-100 數(shù)據(jù)集準(zhǔn)確率的影響，其中Cap-Dark-NR 為模型的損失函數(shù)中沒有加網(wǎng)絡(luò)各層權(quán)重L正則化項(xiàng)且特征提取器采用未改進(jìn)的Darknet 模型；Cap-Dark 為特征提取器采用未改進(jìn)的Darknet 模型，但在損失函數(shù)中加入網(wǎng)絡(luò)各層權(quán)重L正則化項(xiàng)；Bi-Cap-Dark 為既采用改進(jìn)的Darknet模型，又采用改進(jìn)后的損失函數(shù)。

圖7 CIFAR-10 消融實(shí)驗(yàn)分類準(zhǔn)確率Fig.7 Classification accuracy of CIFAR-10 in ablation experiments

圖8 CIFAR-100 消融實(shí)驗(yàn)分類準(zhǔn)確率Fig.8 Classification accuracy of CIFAR-100 in ablation experiments

Bi-Cap-Dark 在小樣本數(shù)據(jù)CIFAR-100 的分類準(zhǔn)確率比Cap-Dark-NR 高6.91 個(gè)百分點(diǎn)，比Cap-Dark高6.86 個(gè)百分點(diǎn)；在大樣本數(shù)據(jù)CIFAR-10 的分類準(zhǔn)確率比Cap-Dark-NR 高4.50 個(gè)百分點(diǎn)，比Cap-Dark高2.74 個(gè)百分點(diǎn)。通過對(duì)比實(shí)驗(yàn)，發(fā)現(xiàn)采用改進(jìn)的Darknet特征提取器且在損失中加入L正則化項(xiàng)的模型效果最優(yōu)。只在損失函數(shù)中加入L正則化項(xiàng)對(duì)大樣本數(shù)據(jù)的分類效果提升較為明顯，但對(duì)小樣本數(shù)據(jù)的分類效果并無明顯提升，這是由于在大樣本數(shù)據(jù)集下，雖然模型泛化能力相對(duì)較強(qiáng)，但是某一特征權(quán)重過大還是會(huì)對(duì)準(zhǔn)確率造成一定的影響，因而需要在損失函數(shù)中加入L正則化項(xiàng)來避免模型過擬合問題；然而在小樣本數(shù)據(jù)集下，由于本模型提取的有效細(xì)節(jié)特征過于單一，只關(guān)注深層語義特征而忽略了淺層邊緣特征，使得模型的泛化性相對(duì)較弱，因此只在損失函數(shù)中增加L正則化項(xiàng)依然不能有效提升模型泛化性能。然而在改變損失函數(shù)的基礎(chǔ)上再采用改進(jìn)后的Darknet 模型提取特征，可以豐富圖像的有效細(xì)節(jié)特征，使模型的泛化性得到明顯提升。通過圖7、圖8 發(fā)現(xiàn)，本模型的擬合速度快，容易訓(xùn)練，在30 個(gè)epoch 時(shí)，模型就趨于擬合。本模型可以大幅度提升小樣本數(shù)據(jù)集的分類準(zhǔn)確率；同時(shí)在大樣本數(shù)據(jù)集上的分類準(zhǔn)確率也獲得了一定程度的提升，證明了本模型具有良好的泛化性能。

4 結(jié)束語

目前的圖像分類模型中膠囊網(wǎng)絡(luò)可以對(duì)簡(jiǎn)單的小樣本數(shù)據(jù)集進(jìn)行有效分類，但在復(fù)雜的小樣本數(shù)據(jù)集上分類效果不佳。本模型針對(duì)膠囊網(wǎng)絡(luò)的缺陷進(jìn)行改進(jìn)，將Darknet 與膠囊網(wǎng)絡(luò)進(jìn)行融合，并對(duì)Darknet 進(jìn)行改進(jìn)，將圖像淺層邊緣特征與深層語義特征進(jìn)行融合，解決膠囊網(wǎng)絡(luò)關(guān)注過多的圖像細(xì)節(jié)特征，難以對(duì)圖像細(xì)節(jié)特征進(jìn)行有效篩選而造成的模型過擬合問題。在對(duì)小樣本數(shù)據(jù)集進(jìn)行分類時(shí)，本文模型相比膠囊網(wǎng)絡(luò)、DCaps、ResNet50、Xception分類準(zhǔn)確率提升明顯；且對(duì)大樣本數(shù)據(jù)的分類準(zhǔn)確率比原始的膠囊網(wǎng)絡(luò)及DCaps模型得到了明顯提高，同時(shí)對(duì)比ResNet50、Xception 分類準(zhǔn)確率也獲得了一定程度提升，證明了模型泛化性能良好。在未來的研究工作中，將在減少模型參數(shù)的數(shù)量上做進(jìn)一步研究。