CIRBlock：融合低代價(jià)卷積的輕量反向殘差模塊

余海坤，呂志剛，，王 鵬，李曉艷，王洪喜，李亮亮

1.西安工業(yè)大學(xué) 電子信息工程學(xué)院，西安 710021

2.西安工業(yè)大學(xué) 機(jī)電工程學(xué)院，西安 710021

3.西安工業(yè)大學(xué) 發(fā)展規(guī)劃處，西安 710021

近年，基于視覺(jué)的卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）已經(jīng)被廣泛應(yīng)用在目標(biāo)分類、目標(biāo)檢測(cè)等視覺(jué)任務(wù)中，并且已經(jīng)取得較好的效果?，F(xiàn)有的卷積神經(jīng)網(wǎng)絡(luò)模型在準(zhǔn)確率和泛化能力表現(xiàn)較好，但往往性能的提升，伴隨著網(wǎng)絡(luò)深度和寬度的升高、參數(shù)量變大、模型復(fù)雜度快速升高，最終導(dǎo)致模型難以在低算力設(shè)備部署。由于卷積神經(jīng)網(wǎng)絡(luò)本身就具有較高的計(jì)算和參數(shù)冗余性，設(shè)計(jì)較低復(fù)雜度并能保證特征提取能力的輕量級(jí)卷積神經(jīng)網(wǎng)絡(luò)成為近年來(lái)主流研究方向[1-3]。

目前人工設(shè)計(jì)的輕量級(jí)卷積神經(jīng)網(wǎng)絡(luò)已經(jīng)取得了令人矚目的成績(jī)，其主要目的在于設(shè)計(jì)更高效的網(wǎng)絡(luò)計(jì)算方式，包括對(duì)卷積操作和網(wǎng)絡(luò)架構(gòu)進(jìn)行改進(jìn)[4]，以此構(gòu)建輕量級(jí)卷積模塊和網(wǎng)絡(luò)架構(gòu)。Simonyan 等[5]在VGG中，將單層的大尺寸卷積替換為多層小卷積，在大幅減少網(wǎng)絡(luò)參數(shù)的同時(shí)仍能獲得相同的感受野，為網(wǎng)絡(luò)結(jié)構(gòu)的輕量化指明了方向；Chollet[6]提出的Xception及Howard等[7]提出的MobileNet 利用深度可分離卷積降低標(biāo)準(zhǔn)卷積模塊的復(fù)雜度；Ma等[8]提出ShuffleNetV2利用逐點(diǎn)分組卷積降低了逐點(diǎn)卷積的計(jì)算量，并利用通道混洗加強(qiáng)特征圖組間信息交流。上述工作極大地促進(jìn)了輕量級(jí)神經(jīng)網(wǎng)絡(luò)的發(fā)展。Sandler 等[9]提出MobileNetV2 和Howard等[10]提出的MobileNetV3受到廣泛應(yīng)用，二者均采用了反向殘差結(jié)構(gòu)和深度可分離卷積，采用點(diǎn)卷積形成的特征冗余結(jié)構(gòu)和深度卷積代替標(biāo)準(zhǔn)卷積，在保證網(wǎng)絡(luò)性能基礎(chǔ)上，大幅降低了運(yùn)算量和參數(shù)量，但較多的點(diǎn)卷積運(yùn)算仍然具有較大計(jì)算復(fù)雜度。而IGCNets[11]、IGCV2[12]、EspNetV2[13]、ANTNet[14]等提出采用分組點(diǎn)卷積來(lái)進(jìn)一步減少點(diǎn)卷積計(jì)算量，但分組卷積會(huì)破壞點(diǎn)卷積融合所有通道信息的能力，削減了點(diǎn)卷積原有的作用。而Han 等[15]提出的GhostNet 利用計(jì)算代價(jià)小的低代價(jià)操作從原始卷積的特征中挖掘特征，并將低代價(jià)操作引入到反向殘差結(jié)構(gòu)的所有點(diǎn)卷積中，降低了點(diǎn)卷積的計(jì)算量。但GhostNet 引入的低代價(jià)操作采用大尺寸深度卷積，并對(duì)每個(gè)點(diǎn)卷積都增加了深度，仍可進(jìn)一步優(yōu)化計(jì)算量。

為了在保證神經(jīng)網(wǎng)絡(luò)基礎(chǔ)模塊特征提取能力的同時(shí)，最大程度降低模塊復(fù)雜度，本文采用反向殘差結(jié)構(gòu)設(shè)計(jì)了一種新的輕量級(jí)卷積神經(jīng)網(wǎng)絡(luò)模塊（cheap inverted residuals block，CIRBlock），主要包括以下工作：（1）針對(duì)反向殘差的冗余計(jì)算進(jìn)行輕量設(shè)計(jì)，通過(guò)低代價(jià)操作和旁路信息特征復(fù)用降低模塊計(jì)算復(fù)雜度；（2）對(duì)輕量化后的結(jié)構(gòu)進(jìn)行特征通道信息增強(qiáng)設(shè)計(jì)，引入通道混洗、通道注意力和跨分支信息融合，設(shè)計(jì)出兩種步長(zhǎng)的輕量級(jí)模塊CIRBlock；（3）利用CIRBlock人工搭建了具有不同復(fù)雜度等級(jí)的分類模型CIRNet。在VGG16[5]架構(gòu)上的分類實(shí)驗(yàn)表明，本文提出的CIRBlock能夠在更低的參數(shù)量和計(jì)算量下，達(dá)到和現(xiàn)有輕量級(jí)模塊相當(dāng)?shù)姆诸惥?；基于CIRBlock 模塊搭建的CIRNet在多個(gè)分類數(shù)據(jù)集上獲得了比其他輕量級(jí)神經(jīng)網(wǎng)絡(luò)更優(yōu)的分類性能。

1 反向殘差結(jié)構(gòu)及已有改進(jìn)

MobileNetV2 中構(gòu)建了具有線性瓶頸的反向殘差塊（inverted residuals block，IRB）進(jìn)行特征提取，能夠在較低計(jì)算復(fù)雜度下進(jìn)行有效的特征提取，其結(jié)構(gòu)如圖1 所示。反向殘差結(jié)構(gòu)中主要采用了深度可分離卷積，而深度可分離卷積利用深度卷積（depthwise convolution，DW Conv）和點(diǎn)卷積（pointwise convolution，PW Conv）分別進(jìn)行單個(gè)通道內(nèi)的特征提取和所有通道的特征整合。

圖1 MobileNetV2的反向殘差結(jié)構(gòu)Fig.1 Inverted residuals block of MobileNetV2

標(biāo)準(zhǔn)的反向殘差結(jié)構(gòu)可以表示為：

則反向殘差結(jié)構(gòu)的三個(gè)變換中的卷積操作的參數(shù)量和計(jì)算量的比值為：

其中，t為第一個(gè)點(diǎn)卷積進(jìn)行升維的通道倍率，在原始的反向殘差結(jié)構(gòu)中一般取6，k為深度卷積的尺寸。由公式（6）（7）可見(jiàn)在網(wǎng)絡(luò)的大部分層，兩個(gè)點(diǎn)卷積比深度卷積具有更高的時(shí)間和空間復(fù)雜度，同時(shí)三個(gè)卷積的復(fù)雜度同升維的倍率t及輸入通道數(shù)呈正相關(guān)。如果通過(guò)降低t來(lái)降低計(jì)算量，會(huì)改變高維特征通道數(shù)，對(duì)特征多樣性會(huì)造成較大影響。MobileNetV3 中采用神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索針對(duì)每一層升維的倍率t進(jìn)行超參優(yōu)化，需要較為復(fù)雜的搜索過(guò)程來(lái)達(dá)到精度和復(fù)雜度平衡，沒(méi)有從本質(zhì)上對(duì)反向殘差結(jié)構(gòu)進(jìn)行優(yōu)化。同時(shí)反向殘差結(jié)構(gòu)的點(diǎn)卷積雖然結(jié)構(gòu)簡(jiǎn)單，但計(jì)算量相對(duì)較大，具有較大的壓縮空間。

現(xiàn)有許多工作利用分組卷積降低反向殘差結(jié)構(gòu)的點(diǎn)卷積的復(fù)雜度，但分組卷積阻隔了通道間信息交流，產(chǎn)生的特征圖不能表征所有輸入通道，影響網(wǎng)絡(luò)性能，且最終獲得的壓縮效益不高。而GhostNet 針對(duì)標(biāo)準(zhǔn)卷積特征映射的冗余性，基于部分原始標(biāo)準(zhǔn)卷積產(chǎn)生的特征映射，采用一系列低成本操作來(lái)替換原始的部分計(jì)算。具體地，GhostNet在其構(gòu)建的基礎(chǔ)模塊Ghost Block中將反向殘差結(jié)構(gòu)的兩個(gè)點(diǎn)卷積都替換為計(jì)算量更低的Ghost Module，保留了部分標(biāo)準(zhǔn)點(diǎn)卷積，并將剩余的計(jì)算以較低的計(jì)算代價(jià)完成。其中的低代價(jià)操作為3×3和5×5 深度卷積。雖然GhostNet 降低了點(diǎn)卷積的冗余計(jì)算，但其對(duì)升維點(diǎn)卷積和降維點(diǎn)卷積運(yùn)算都以相同比例替換為低成本模塊，并采用較大尺寸深度卷積作為低代價(jià)操作，仍有提升精度和降低計(jì)算量的空間。

2 輕量化卷積神經(jīng)網(wǎng)絡(luò)模塊設(shè)計(jì)

2.1 反向殘差結(jié)構(gòu)輕量設(shè)計(jì)

本文考慮到用于升維的點(diǎn)卷積具有較多冗余度，以及GhostNet設(shè)計(jì)的低代價(jià)操作的有效性，采用低代價(jià)升維變換C(J(·))取代升維變換G(·) 。其中J(·) 為融合變換，利用點(diǎn)卷積進(jìn)行所有輸入通道的融合；C(·) 為低代價(jià)擴(kuò)展變換，采用低代價(jià)操作進(jìn)行通道的擴(kuò)展。

其中，s為低代價(jià)升維變換的擴(kuò)展比，?為低代價(jià)操作，本文選擇的低代價(jià)操作是1×1深度卷積，即分組數(shù)等于輸入通道數(shù)的1×1分組卷積。對(duì)于降維變換I(·)，考慮到其將高維特征映射到低維空間，變換本身就需要有較大程度的信息損失，故不進(jìn)行修改。在輸出通道相同時(shí)，原始升維變換G(·) 和低代價(jià)升維變換C(J(·))中卷積的參數(shù)量和計(jì)算量之比為：

可見(jiàn)當(dāng)?shù)痛鷥r(jià)升維變換的擴(kuò)展比越高，用于升維的計(jì)算量越低，但低代價(jià)產(chǎn)生特征的多樣性也越低，會(huì)造成較大程度的精度損失，所以需要針對(duì)計(jì)算量和精度進(jìn)行相應(yīng)權(quán)衡。

本文按照當(dāng)輸入輸出通道大小相等時(shí)具有最小化內(nèi)存訪問(wèn)量的設(shè)計(jì)策略，將原始標(biāo)準(zhǔn)卷積產(chǎn)生的特征通道數(shù)設(shè)定為和輸入通道數(shù)相同，原始的點(diǎn)卷積操作將所有通道信息重新整合，生成的新特征圖和輸入具有相同的通道數(shù)，即，再利用低代價(jià)擴(kuò)展變換C(·) 對(duì)x′進(jìn)行通道的擴(kuò)展。此時(shí)低代價(jià)升維變換的擴(kuò)展比s和點(diǎn)卷積升維的倍率t相等，即s=t。若輸入通道數(shù)遠(yuǎn)大于6時(shí)，由公式（9）（10）可知，此時(shí)在相同的輸入通道數(shù)下，升維的倍率t即為采用低代價(jià)變換所取得的壓縮比。在GhostNet 中的研究表明低代價(jià)變換引入的比例過(guò)大會(huì)導(dǎo)致網(wǎng)絡(luò)性能的顯著下降，所以為了保證低代價(jià)升維變換的有效性，s和t的取值不能過(guò)大，因此在反向殘差結(jié)構(gòu)中會(huì)導(dǎo)致后續(xù)的降維階段的輸入輸出通道之比降低，影響反向殘差結(jié)構(gòu)的有效性。

為了解決降維前后的通道之比降低的問(wèn)題，同時(shí)進(jìn)一步對(duì)模塊進(jìn)行輕量化設(shè)計(jì)，本文引入旁路分支并進(jìn)行特征重用。即利用點(diǎn)卷積的部分輸出信息直接作為模塊輸出的一部分，來(lái)降低特征提取階段的深度卷積和降維階段的點(diǎn)卷積的輸出通道數(shù)，以保證降維操作前后的通道比值較大，保證反向殘差結(jié)構(gòu)的有效性。

具體地，首先本文復(fù)用的特征為僅經(jīng)過(guò)融合變換J(·) 的特征x′，為利用點(diǎn)卷積進(jìn)行通道信息融合的特征，從中選擇部分特征作為旁路，直接和反向殘差結(jié)構(gòu)的輸出在通道維度上拼接。則此時(shí)的輕量反向殘差結(jié)構(gòu)為：

旁路分支的引入減少了反向殘差結(jié)構(gòu)的輸出通道，則降低升維的倍率不會(huì)影響降維前后的通道之比，避免了低代價(jià)操作引入帶來(lái)的精度損失，保證反向殘差結(jié)構(gòu)的有效性。通過(guò)特征復(fù)用方便了梯度的反向傳播，使得網(wǎng)絡(luò)更容易訓(xùn)練。由公式（6）（7）可知，降低升維倍率、減少反向殘差結(jié)構(gòu)輸出通道均能夠較大程度降低模塊的參數(shù)量和計(jì)算量。本文提出的經(jīng)過(guò)輕量設(shè)計(jì)的反向殘差結(jié)構(gòu)如圖2所示。

圖2 反向殘差結(jié)構(gòu)輕量設(shè)計(jì)Fig.2 Lightweight inverted residuals block

圖2 中，input 和output 分別為模塊的輸入和輸出，Act代表激活函數(shù)，利用低代價(jià)升維變換C(J(·))來(lái)簡(jiǎn)化原始升維變換G(·) 的計(jì)算，并復(fù)用其中的融合變換J(·)中標(biāo)準(zhǔn)點(diǎn)卷積產(chǎn)生的特征圖作為輸出的一部分，減少原始反向殘差結(jié)構(gòu)的輸出通道，極大程度減少反向殘差結(jié)構(gòu)的計(jì)算代價(jià)，但存在通道信息交流不足的問(wèn)題，對(duì)精度產(chǎn)生影響。本文通過(guò)對(duì)特征通道信息進(jìn)行增強(qiáng)設(shè)計(jì)來(lái)彌補(bǔ)上述輕量設(shè)計(jì)帶來(lái)的精度損失[16]。

2.2 特征通道信息增強(qiáng)

本文基于對(duì)反向殘差結(jié)構(gòu)的輕量化設(shè)計(jì)，進(jìn)一步對(duì)特征通道信息進(jìn)行增強(qiáng)，加強(qiáng)通道間有效信息交流，以較低的計(jì)算代價(jià)獲得精度的提高。

SENet 中的實(shí)驗(yàn)表明在網(wǎng)絡(luò)的特定位置通過(guò)插入通道注意力模塊能夠?qū)νǖ佬畔⑦M(jìn)行增強(qiáng)，同時(shí)增加的額外計(jì)算代價(jià)較小[17]。本文考慮到SE通道注意力模塊會(huì)對(duì)特征進(jìn)行重標(biāo)定，無(wú)法在通道壓縮后進(jìn)行，故將通道注意力模塊插入到降維變換I(·) 前，把經(jīng)過(guò)特征提取后的特征作為SE 模塊的輸入，對(duì)通道的相關(guān)性進(jìn)行評(píng)估。定義通道評(píng)估函數(shù)M(·)，其輸出為長(zhǎng)度等于輸入通道數(shù)的一維向量。然后利用輸出的一維向量對(duì)SE模塊的輸入特征進(jìn)行歸一化操作Fscale(·,·)，挑選重要的特征通道進(jìn)行增強(qiáng)，使得有效特征通道信息進(jìn)一步增強(qiáng)，增強(qiáng)通道信息的有效性。

在不進(jìn)行下采樣和通道擴(kuò)展時(shí)模塊的輸入和輸出尺寸完全一致，可以將輸入直接和輸出進(jìn)行殘差連接，防止發(fā)生網(wǎng)絡(luò)退化。最終本文設(shè)計(jì)的步長(zhǎng)為1 的輕量級(jí)模塊CIRBlock的結(jié)構(gòu)如圖3（a）所示。

圖3 不同步長(zhǎng)的CIRBlock結(jié)構(gòu)圖Fig.3 CIRBlock structure diagram with different stride

對(duì)于需要進(jìn)行下采樣的模塊，會(huì)在特征提取深度卷積時(shí)進(jìn)行特征圖尺寸的改變，使得特征圖信息受到不可逆的損失，故本文針對(duì)下采樣模塊進(jìn)行了額外的增強(qiáng)設(shè)計(jì)。在下采樣模塊設(shè)計(jì)中，本文使得主分支和旁路分支具有相同的輸入特征，即旁路分支的信息不經(jīng)過(guò)通道選取，為x′的等價(jià)特征。每個(gè)分支都采用步長(zhǎng)為2的3×3深度卷積進(jìn)行下采樣特征提取。定義下采樣時(shí)的特征提取函數(shù)為H′(·)，在主分支中表示為，在旁路分支中表示為，則此時(shí)下采樣的本文設(shè)計(jì)的反向殘差結(jié)構(gòu)可以表示為：

旁路分支進(jìn)行下采樣操作后，還可以通過(guò)低代價(jià)擴(kuò)展變換C(·)，并和主分支信息進(jìn)行通道信息融合，進(jìn)一步加強(qiáng)主分支通道信息多樣性。則此時(shí)的中間特征x′′變?yōu)椋?/p>

本文所設(shè)計(jì)的步長(zhǎng)為2 的CIRBlock 結(jié)構(gòu)如圖3（b）所示。具體地，如圖4為步長(zhǎng)為2時(shí)，模塊的特征圖變換過(guò)程。從公式（16）可知，新增加的部分能夠充分利用主分支和旁路分支的特征提取結(jié)果，幾乎不引入額外的操作即可以利用兩個(gè)通道的信息來(lái)增強(qiáng)主分支的特征多樣性，以減少下采樣帶來(lái)的信息損失。本文設(shè)計(jì)的輕量反向殘差結(jié)構(gòu)通過(guò)對(duì)特征通道進(jìn)行信息增強(qiáng)，保證了輕量模塊的精度和泛化能力，從而實(shí)現(xiàn)速度和精度平衡。

圖4 步長(zhǎng)為2時(shí)的CIRBlock的特征圖變換Fig.4 Feature map transformation of CIRBlock with stride 2

本文和現(xiàn)有的設(shè)計(jì)方法不同，雖然采用1×1深度卷積引入了分組點(diǎn)卷積但是仍然利用融合變換J(·) 保留了點(diǎn)卷積融合所有通道信息的優(yōu)點(diǎn)，并且較大程度減少了參數(shù)量和計(jì)算量。相較于將所有的點(diǎn)卷積利用低代價(jià)操作替換，本文僅利用低代價(jià)操作進(jìn)行通道的擴(kuò)張，將冗余度較低的壓縮點(diǎn)卷積操作保留，保證高維到低維映射的有效性。此外旁路分支的引入能夠直接減少輸出通道數(shù)，并針對(duì)不同步長(zhǎng)的模塊進(jìn)行特征復(fù)用設(shè)計(jì)，進(jìn)一步增強(qiáng)通道的多樣性。

2.3 基于CIRBlock模塊的分類網(wǎng)絡(luò)CIRNet構(gòu)建

利用本文設(shè)計(jì)的CIRBlock通過(guò)堆疊進(jìn)行層和基礎(chǔ)骨干網(wǎng)絡(luò)的設(shè)計(jì)，不經(jīng)過(guò)復(fù)雜的參數(shù)調(diào)整和網(wǎng)絡(luò)架構(gòu)搜索，來(lái)進(jìn)一步驗(yàn)證CIRBlock 的有效性。本文所設(shè)計(jì)的CIR Layer 結(jié)構(gòu)如圖5 所示，其中第一個(gè)CIRBlock 的步長(zhǎng)由當(dāng)前層是否進(jìn)行下采樣決定，若進(jìn)行下采樣操作則步長(zhǎng)為2，采用如圖3（b）所示。

圖5 CIR Layer結(jié)構(gòu)圖Fig.5 Structure diagram of CIR Layer

CIR Layer 中的CIRBlock 的個(gè)數(shù)由參數(shù)n(n∈N*)決定。通過(guò)對(duì)CIR Layer的堆疊，本文所設(shè)計(jì)的分類網(wǎng)絡(luò)CIRNet的結(jié)構(gòu)如表1所示。

表1 CIRNet backbone結(jié)構(gòu)Table 1 Structure of CIRNet backbone

若輸入圖像尺寸較小，如32×32 像素的圖像數(shù)據(jù)，則骨干網(wǎng)絡(luò)第一個(gè)CIR Layer的步長(zhǎng)設(shè)置為1。本文的分類器利用全局平均池化層和一個(gè)全連接層替代多個(gè)全連接層，最后一個(gè)全連接層的輸出通道數(shù)為需要分類的種類數(shù)。

3 實(shí)驗(yàn)數(shù)據(jù)與結(jié)果分析

本文通過(guò)CIFAR[18]和Mini-ImageNet[19]分類數(shù)據(jù)集來(lái)驗(yàn)證所提方法在不同分辨率的自然場(chǎng)景下對(duì)常見(jiàn)物體分類實(shí)驗(yàn)的有效性，如表2所示為數(shù)據(jù)集簡(jiǎn)介。CIFAR為小尺寸自然場(chǎng)景標(biāo)準(zhǔn)彩色圖像分類數(shù)據(jù)集，本文采用CIFAR-10[18]和CIFAR-100[18]進(jìn)行輸入尺寸為32×32下不同分類數(shù)量的實(shí)驗(yàn)。Mini-ImageNet為大規(guī)模自然場(chǎng)景分類數(shù)據(jù)集ImageNet[20]的子集，常見(jiàn)物體類別多并比CIFAR數(shù)據(jù)集具有更大的輸入尺寸，更具工程應(yīng)用價(jià)值。本文在保證樣本分類均衡前提下，將原Mini-ImageNet的訓(xùn)練集和測(cè)試集重新按照8∶2進(jìn)行隨機(jī)劃分。

表2 本文采用的分類數(shù)據(jù)集Table 2 Classification dataset used in this paper

本文利用Pytorch（CUDA 11.2）和MMCV深度學(xué)習(xí)庫(kù)[21]，在配備Intel?CoreTMi7-9700 CPU和單張NVIDIA RTX 2080 super顯卡的主機(jī)上進(jìn)行各模型實(shí)驗(yàn)。在相同的數(shù)據(jù)集上均采用相同的預(yù)處理和訓(xùn)練策略進(jìn)行實(shí)驗(yàn)。采用SGD優(yōu)化器，動(dòng)量0.9，權(quán)重衰減1E-4，初始學(xué)習(xí)率0.1，consine 學(xué)習(xí)率策略，初始5 個(gè)輪次進(jìn)行warm up。在CIFAR-10 和CIFAR-100 數(shù)據(jù)集的batch size 為128，訓(xùn)練300個(gè)輪次后進(jìn)行測(cè)試，Mini-ImageNet數(shù)據(jù)集的batch size為32，訓(xùn)練100個(gè)輪次后測(cè)試。

在測(cè)試數(shù)據(jù)集對(duì)訓(xùn)練好的分類網(wǎng)絡(luò)進(jìn)行實(shí)驗(yàn)，分類精度為被正確分類的樣本數(shù)與總樣本數(shù)之比。分類網(wǎng)絡(luò)的理論復(fù)雜度指標(biāo)采用FLOPs和參數(shù)量，實(shí)際測(cè)試速度指標(biāo)采用在推理測(cè)試集時(shí)的平均幀率（frame per second，F(xiàn)PS）。

3.1 相同網(wǎng)絡(luò)架構(gòu)的輕量級(jí)模塊對(duì)比實(shí)驗(yàn)

本文所設(shè)計(jì)的輕量化卷積模塊CIRBlock可以方便地替換或插入到現(xiàn)有的網(wǎng)絡(luò)架構(gòu)上，以此輕量化現(xiàn)有網(wǎng)絡(luò)架構(gòu)。在CIFAR-10和CIFAR-100數(shù)據(jù)集上利用VGG16網(wǎng)絡(luò)架構(gòu)，將本文設(shè)計(jì)的CIRBlock 模塊和目前具有代表性的輕量級(jí)模塊進(jìn)行目標(biāo)分類對(duì)比實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如表3所示。

表3 VGG16使用不同卷積模塊在CIFAR實(shí)驗(yàn)結(jié)果對(duì)比Table 3 Comparison of experimental results of different module with VGG16 architectures in CIFAR

其中VGG16-normal為原始的VGG16網(wǎng)絡(luò)，VGG16-IRB為采用MobileNetV2的反向殘差塊替換原始的3×3標(biāo)準(zhǔn)卷積，VGG16-Ghost為采用GhostNet的Ghost Module替換標(biāo)準(zhǔn)卷積，VGG16-CIR 為利用本文所提的CIRBlock 替換標(biāo)準(zhǔn)卷積所得。通過(guò)實(shí)驗(yàn)可知，超參數(shù)s低代價(jià)升維變換的擴(kuò)展比對(duì)模塊的精度和復(fù)雜度影響較大，當(dāng)s=3 時(shí)能夠使得網(wǎng)絡(luò)的精度和復(fù)雜度達(dá)到更好的平衡，故本文設(shè)計(jì)的CIRBlock的s=3，此時(shí)CIRBlock在CIFAR數(shù)據(jù)集上，CIRBlock相比于反向殘差塊FLOPs減少58.1%，參數(shù)量減少55.5%，精度損失小于0.4%。本文所設(shè)計(jì)出的輕量級(jí)模塊CIRBlock無(wú)論是參數(shù)量還是計(jì)算量，均大幅低于MobileNet 系列的反向殘差結(jié)構(gòu)和GhostNet 所提的Ghost 輕量化卷積模塊，并且在精度上可以達(dá)到近似或超越的程度。

3.2 不同網(wǎng)絡(luò)架構(gòu)的輕量級(jí)分類網(wǎng)絡(luò)對(duì)比實(shí)驗(yàn)

將構(gòu)建的輕量級(jí)分類網(wǎng)絡(luò)CIRNet和現(xiàn)有的輕量級(jí)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行目標(biāo)分類對(duì)比實(shí)驗(yàn)，包括MobileNet系列、ShuffleNet 系列。表4 為不同網(wǎng)絡(luò)架構(gòu)在CIFAR-10 和CIFAR-100目標(biāo)分類數(shù)據(jù)集實(shí)驗(yàn)的結(jié)果。

表4 不同網(wǎng)絡(luò)架構(gòu)在CIFAR的實(shí)驗(yàn)結(jié)果對(duì)比Table 4 Comparison of experimental results of different network architectures in CIFAR

其中對(duì)MobileNetV3和ShuffleNetV2進(jìn)行不同寬度和深度的調(diào)整。從表4 可以看出本文設(shè)計(jì)的CIRNet 在兩個(gè)數(shù)據(jù)集上獲得最高的分類精度，參數(shù)量最低，計(jì)算量低于其他網(wǎng)絡(luò)取得最高分類精度的模型，體現(xiàn)本文設(shè)計(jì)的CIRNet能夠在精度和復(fù)雜度中達(dá)到較好的平衡。

考慮到CIFAR數(shù)據(jù)集的尺寸較小，其結(jié)果不能完全表征網(wǎng)絡(luò)的擬合能力，故本文在圖像尺寸為224×224的Mini-ImageNet上與現(xiàn)有輕量級(jí)卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行對(duì)比。同時(shí)為了保證對(duì)比的有效性，本文按照模型FLOPs劃分四個(gè)復(fù)雜度級(jí)別：75 MFLOPs以下、75～150 MFLOPs、150～250 MFLOPs 和250 MFLOPs 以上，測(cè)試了不同寬度和深度的現(xiàn)有網(wǎng)絡(luò)與本文所提的CIRNet在四個(gè)復(fù)雜度級(jí)別的分類精度和運(yùn)行速度，從而驗(yàn)證CIRBlock 在不同復(fù)雜度模型的有效性和魯棒性。在Mini-ImageNet數(shù)據(jù)集，不同網(wǎng)絡(luò)架構(gòu)的不同復(fù)雜度模型的實(shí)驗(yàn)對(duì)比結(jié)果如表5所示。

表5 不同網(wǎng)絡(luò)架構(gòu)在Mini-ImageNet的實(shí)驗(yàn)結(jié)果對(duì)比Table 5 Comparison of experimental results of different network architectures in Mini-ImageNet

表中加粗?jǐn)?shù)據(jù)為所處計(jì)算復(fù)雜度等級(jí)中最優(yōu)的分類精度和模型。其中CIRNet tiny、CIRNet small、CIRNetlarge為CIRNet通過(guò)僅調(diào)整網(wǎng)絡(luò)深度和寬度所得。對(duì)于上述CIRNet 的深度除CIRNet tiny 的CIR Layer3 中n=2，其余均按照表1 設(shè)置；網(wǎng)絡(luò)的不同寬度通過(guò)各層輸出通道數(shù)進(jìn)行改變?cè)O(shè)置，如表6所示。

表6 不同復(fù)雜度CIRNet的各層輸出通道對(duì)比Table 6 Comparison of output channel number at each layer of CIRNet with different complexity

從表5可見(jiàn)，本文提出的輕量級(jí)卷積神經(jīng)網(wǎng)絡(luò)CIRNet通過(guò)簡(jiǎn)單的深度和寬度調(diào)整設(shè)計(jì)，能夠在不同的復(fù)雜度級(jí)別取得最高的分類精度。特別的，本文構(gòu)建的CIRNet small在精度和GhostNet 1.5×相當(dāng)時(shí)，F(xiàn)LOPs僅為后者的33%。將各網(wǎng)絡(luò)架構(gòu)在不同計(jì)算量下獲得的最佳精度進(jìn)行對(duì)比，如圖6 所示，用來(lái)表征網(wǎng)絡(luò)架構(gòu)在不同等級(jí)計(jì)算復(fù)雜度的分類精度表現(xiàn)，在相同的分類精度下，取得更小的復(fù)雜度和更快的推理速度代表輕量級(jí)目標(biāo)分類模型的性能更優(yōu)。

由圖6可見(jiàn)，在Top-1精度取得76%左右時(shí)，本文的CIRNet的計(jì)算量?jī)H為現(xiàn)有網(wǎng)絡(luò)架構(gòu)的20%～40%。實(shí)驗(yàn)表明，本文所設(shè)計(jì)的輕量級(jí)卷積模塊通過(guò)簡(jiǎn)單堆疊所組成的目標(biāo)分類網(wǎng)絡(luò)模型，不經(jīng)過(guò)復(fù)雜的參數(shù)調(diào)整和神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索，在Mini-ImageNet 數(shù)據(jù)集上就能夠領(lǐng)先于現(xiàn)有的網(wǎng)絡(luò)架構(gòu)。

為了更好地說(shuō)明CIRNet的優(yōu)越性，在Mini-ImageNet數(shù)據(jù)集上，采用Grad CAM++和Guided Backpropagation方法可視化具有相同復(fù)雜度的不同網(wǎng)絡(luò)結(jié)構(gòu)的預(yù)測(cè)表現(xiàn)，最終可視化結(jié)果如圖7所示。其中圖7（a）和（l）分別為來(lái)自數(shù)據(jù)集的malamute 和carton 類的圖片，圖7（b）～（f）和（m）～（q）分別為MobileNetV2、MobileNetV3、ShuffleNetV2、GhostNet和CIRNet網(wǎng)絡(luò)的Guided CAM++可視化結(jié)果，圖7（g）～（k）和（r）～（v）為對(duì)應(yīng)網(wǎng)絡(luò)的Guided Backpropagation可視化結(jié)果。

圖7 Mini-ImageNet上不同模型的可視化結(jié)果Fig.7 Visualizations of different models on Mini-ImageNet

可以看到，在相同復(fù)雜度級(jí)別下，CIRNet 的Grad CAM++熱圖中顯示的區(qū)域相比于其他網(wǎng)絡(luò)結(jié)構(gòu)更為符合人對(duì)于該類別的主觀感受。如圖7（d）（e）（n）（o）均顯示對(duì)應(yīng)網(wǎng)絡(luò)對(duì)類別主體關(guān)注較片面，圖7（f）（p）（q）能夠較好地將前后景分離，并對(duì)顯著區(qū)域給予更多關(guān)注。其次在利用Guided Backpropagation 進(jìn)行可視化的結(jié)果中，CIRNet 的細(xì)節(jié)比其他網(wǎng)絡(luò)更清晰、粒度更細(xì)，可見(jiàn)CIRNet可以更好地關(guān)注與最后分類結(jié)果息息相關(guān)的區(qū)域。

4 結(jié)束語(yǔ)

本文首先分析了輕量級(jí)卷積神經(jīng)網(wǎng)絡(luò)常用的反向殘差結(jié)構(gòu)及其現(xiàn)有改進(jìn)的不足，對(duì)反向殘差結(jié)構(gòu)進(jìn)行輕量設(shè)計(jì)，得到復(fù)雜度更低的反向殘差模塊CIRBlock。其次為了恢復(fù)輕量設(shè)計(jì)帶來(lái)的性能損失，對(duì)不同步長(zhǎng)的模塊進(jìn)行通道信息增強(qiáng)設(shè)計(jì)，得到兩種步長(zhǎng)的CIRBlock。最后通過(guò)CIRBlock 人工堆疊構(gòu)建輕量級(jí)目標(biāo)分類網(wǎng)絡(luò)CIRNet。實(shí)驗(yàn)表明，在相同的VGG16 架構(gòu)上達(dá)到相當(dāng)?shù)姆诸惥葧r(shí)，使用CIRBlock 相比于其他輕量級(jí)模塊具有更低的計(jì)算代價(jià)和參數(shù)量。構(gòu)建出的不同計(jì)算復(fù)雜度等級(jí)的CIRNet，在圖像分類數(shù)據(jù)集CIFAR和Mini-ImageNet 上，相比于同等級(jí)計(jì)算量的其他輕量級(jí)分類網(wǎng)絡(luò)，均取得更高的分類準(zhǔn)確度。