基于特征復(fù)用的卷積神經(jīng)網(wǎng)絡(luò)模型壓縮方法

冀樹偉 楊喜旺 黃晉英 尹寧

摘 要：為了在不降低準(zhǔn)確率的前提下，減小卷積神經(jīng)網(wǎng)絡(luò)模型的體積與計算量，提出一種基于特征復(fù)用的卷積神經(jīng)網(wǎng)絡(luò)壓縮模塊——特征復(fù)用單元（FR-unit）。首先，針對不同類型的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，提出不同的優(yōu)化方法;然后，在對輸入特征圖進(jìn)行卷積操作后，將輸入特征與輸出特征進(jìn)行結(jié)合;最后，將結(jié)合后的特征傳遞給下一層。通過對低層特征的重復(fù)使用，使總的提取的特征數(shù)量不發(fā)生改變，以保證優(yōu)化后的網(wǎng)絡(luò)的準(zhǔn)確率不會發(fā)生改變。在CIFAR10數(shù)據(jù)集上進(jìn)行驗證，實驗結(jié)果表明，優(yōu)化后的VGG模型體積縮小為優(yōu)化前的75.4%，預(yù)測時間縮短為優(yōu)化前的43.5%;優(yōu)化后的Resnet模型體積縮小為優(yōu)化前的53.1%，預(yù)測時間縮短為優(yōu)化前的60.9%，且在測試集上的準(zhǔn)確率均未降低。

關(guān)鍵詞：卷積神經(jīng)網(wǎng)絡(luò);特征復(fù)用;網(wǎng)絡(luò)加速;模型壓縮

中圖分類號：TP183

文獻(xiàn)標(biāo)志碼：A

Abstract： In order to reduce the volume and computational complexity of the convolutional neural network model without reducing the accuracy， a compression method of convolutional neural network model based on feature reuse unit called FR-unit （Feature-Reuse unit） was proposed. Firstly， different optimization methods were proposed for different types of convolution neural network structures. Then， after convoluting the input feature map， the input feature was combined with output feature. Finally， the combined feature was transferred to the next layer. Through the reuse of low-level features， the total number of extracted features would not change， so as to ensure that the accuracy of optimized network would not change. The experimental results on CIFAR10 dataset show that， the volume of? Visual Geometry Group （VGG） model is reduced to 75.4% and the prediction time is reduced to 43.5% after optimization， the volume of Resnet model is reduced to 53.1% and the prediction time is reduced to 60.9% after optimization， without reducing the accuracy on the test set.

0 引言

在2012年，AlexNet[1]以Top-5錯誤率16.4%的顯著優(yōu)勢奪得了大規(guī)模視覺識別挑戰(zhàn)賽（Large Scale Visual Recognition Challenge， LSVRC）的冠軍，比第二名錯誤率降低了12.2%的成績，使得卷積神經(jīng)網(wǎng)絡(luò)（Convolution Neural Network， CNN）受到了廣泛的關(guān)注與研究。之后，各種卷積神經(jīng)網(wǎng)絡(luò)模型被不斷提出，如牛津大學(xué)計算機(jī)視覺組（Visual Geometry Group， VGG）提出的VGGNet[2]、Google提出的Inception Net[3]以及微軟研究院提出的Resnet[4]等，都刷新了AlexNet的記錄。深度學(xué)習(xí)[5]的研究發(fā)展極其迅速，從最初的圖像分類[1-6]，到之后的目標(biāo)檢測[7-8]、目標(biāo)跟蹤[9]等諸多方面都取得了非常矚目的成就[10]。

但是，這些模型由于較大的計算量，往往需要運行于GPU或高性能的CPU上。如擁有8層網(wǎng)絡(luò)層數(shù)的AlexNet有著60×106的參數(shù)量，運行一次需要1.5GFLOPS（每秒10億次的浮點運算數(shù)）的運算量，需要249MB的存儲空間。VGG16有著138×106的參數(shù)量，需要15.5GFLOPS的運算量，需要528.7MB的存儲空間。Resnet152有19.4×106的參數(shù)量，11.3GFLOPS的運算量，需要230.34MB的存儲空間。VGG模型[2]通過疊加小卷積核代替大卷積核，而Resnet[4]則通過1×1的卷積操作，對特征圖的通道數(shù)進(jìn)行了降維。這些操作均有效地降低了模型的參數(shù)量和計算量[1-2，4]。

1 傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)模型壓縮方法

傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)大多是由卷積層、池化層、激活層、全連接層等結(jié)構(gòu)反復(fù)堆疊而組成的。卷積層是卷積神經(jīng)網(wǎng)絡(luò)的核心部分，具有局部連接、權(quán)重共享等特點，這些特點使得卷積層的參數(shù)數(shù)量比全連接層少，但是計算量較大。計算量大導(dǎo)致前向傳播慢，推斷耗時長;參數(shù)量大則需要占用大量的存儲空間。模型的壓縮大多針對卷積層與全連接層來進(jìn)行優(yōu)化，常用的模型壓縮大多從以下三個方面入手[11]。

第一種方法為網(wǎng)絡(luò)的裁剪。由于深度神經(jīng)網(wǎng)絡(luò)中的參數(shù)是經(jīng)過多次訓(xùn)練得到的，往往存在著一定程度的冗余，所以通過某種方式裁剪掉冗余的參數(shù)可完成模型的壓縮。模型的裁剪，主要是針對已經(jīng)訓(xùn)練完畢的模型，定義一個模型參數(shù)重要性的判別依據(jù)，將不重要的網(wǎng)絡(luò)參數(shù)裁剪掉[12]。網(wǎng)絡(luò)剪枝[13-14]方法在卷積層與全連接層都比較適用，但是不同的方法側(cè)重點不一樣。常用的方法有：1）基于激活響應(yīng)熵的裁剪標(biāo)準(zhǔn)[15]，在驗證數(shù)據(jù)集上，統(tǒng)計卷積層每個通道的平均激活值分布，計算分布熵，將熵較小的通道所對應(yīng)的濾波器裁剪掉;2）將模型參數(shù)使用泰勒公式進(jìn)行展開[16]，將模型損失的變化以參數(shù)的函數(shù)來表示，來實現(xiàn)對模型參數(shù)重要性的評估，并將不重要的參數(shù)裁剪掉。

第二種方法是重新設(shè)計網(wǎng)絡(luò)結(jié)構(gòu)。模型的運行速度受以下三方面的影響：模型的參數(shù)量、網(wǎng)絡(luò)結(jié)構(gòu)與網(wǎng)絡(luò)的深度，因此，通過修改網(wǎng)絡(luò)結(jié)構(gòu)、調(diào)整模型參數(shù)量等，可以有效降低模型運行時間。例如模型網(wǎng)絡(luò)層的組合以及改變網(wǎng)絡(luò)的連接關(guān)系等。常用的有深度可分離卷積（depthwise separable convolution）等。

第三種方法為權(quán)重分解。通過將權(quán)重張量分解為兩個或者多個張量，來降低模型的計算量，如奇異值分解（Singular Value Decomposition， SVD）方法[17]，將矩陣分解為向量之間的乘積，來達(dá)到降低模型計算量與參數(shù)量的目的。

2.1 傳統(tǒng)的卷積操作

傳統(tǒng)卷積操作如下：輸入一個單通道或多通道的特征圖后，通過卷積核的卷積操作，得到一個單通道或多通道的特征圖。該次卷積操作結(jié)束后，將得到的特征圖傳給下一個卷積層或池化層。

因此，假設(shè)輸入通道數(shù)為I，輸出通道數(shù)為O，卷積核用C表示，n是卷積核大小，輸入為x，m是輸出的特征圖大小，B為偏置矩陣。輸出的單個神經(jīng)元y的計算為：

2.2 特征復(fù)用的卷積操作

傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)是一個遞進(jìn)的層級結(jié)構(gòu)，它通過用底層的卷積核提取基礎(chǔ)特征，用高層的卷積核提取抽象的特征來達(dá)到特征學(xué)習(xí)的目的。當(dāng)該網(wǎng)絡(luò)提取高階特征的時候，前面提取的比較基礎(chǔ)的特征就會被遺棄掉。而隨機(jī)深度網(wǎng)絡(luò)（Deep networks with stochastic depth）[18]與密集連通卷積網(wǎng)絡(luò)（Densely Connected Convolution Network， DCCN）[19]的出現(xiàn)，則展示了一種新的方法。該方法指出，網(wǎng)絡(luò)中的某一層可以不僅僅依賴于上一層的特征，也可以依賴于較淺層的基礎(chǔ)特征， 同時該方法也說明卷積神經(jīng)網(wǎng)絡(luò)中的卷積層存在一定的冗余。

本文的思路就是利用特征復(fù)用的思想，將前一層特征重復(fù)使用，以減少每次卷積操作所需提取的特征數(shù)量。該方法可以在不改變網(wǎng)絡(luò)總體特征提取數(shù)量的同時，來達(dá)到降低計算量和縮小模型體積的目的。

如圖1所示為傳統(tǒng)的卷積操作結(jié)構(gòu)，圖2為本文提出的特征復(fù)用的卷積操作結(jié)構(gòu)。圖中CONV是卷積層;POOL是池化層;FC是全連接層;CAT是連接操作，在特征圖通道這一維度上對特征圖進(jìn)行連接。圖2中方框內(nèi)為本文提出的一個基本的特征復(fù)用結(jié)構(gòu)單元（Feature-Reuse unit， FR-unit）。本文將串聯(lián)的多次卷積操作稱為卷積塊。FR-unit可進(jìn)行反復(fù)疊加，對卷積塊進(jìn)行優(yōu)化。

2.3 使用FR-unit對網(wǎng)絡(luò)的傳統(tǒng)卷積層進(jìn)行優(yōu)化

對于卷積神經(jīng)網(wǎng)絡(luò)中不同情況的卷積層，使用不同的優(yōu)化方式。

1）針對卷積神經(jīng)網(wǎng)絡(luò)最底層基礎(chǔ)特征的提取，不使用FR-unit進(jìn)行優(yōu)化。

2）針對網(wǎng)絡(luò)中的單次卷積，使用一個FR-unit進(jìn)行優(yōu)化。FR-unit中卷積的輸出通道數(shù)為（O-I）/2，其中，I、O為被優(yōu)化的卷積層的輸入通道數(shù)與輸出通道數(shù)。如圖3所示，使用一個卷積操作輸出為64的FR-unit對原卷積層進(jìn)行優(yōu)化。

3）針對網(wǎng)絡(luò)中的卷積塊，疊加與其卷積層數(shù)量相等的FR-unit來進(jìn)行優(yōu)化。FR-unit中卷積的輸出通道數(shù)為（O-I）/n，其中，I、O為被優(yōu)化的卷積塊的最初輸入通道數(shù)與最終輸出通道數(shù)，n為卷積塊中卷積層的數(shù)量。如圖4所示，使用兩個輸出為32通道的FR-unit對含有兩個卷積層的卷積塊進(jìn)行優(yōu)化。

4）針對網(wǎng)絡(luò)中的輸入和輸出通道數(shù)沒有發(fā)生改變的卷積塊。FR-unit中卷積的輸出通道數(shù)為（O-I）/n，如圖5所示，使用兩個輸出為256通道的FR-unit對含有兩個卷積層的卷積塊進(jìn)行優(yōu)化，然后使用1×1卷積對特征圖進(jìn)行通道降維。

3 實驗結(jié)果與分析

3.1 本文實驗配置

本文的實驗環(huán)境為CPU：i5-4210M，GPU：GTX960M，操作系統(tǒng)：Ubuntu16.04，深度學(xué)習(xí)框架：Pytorch0.3.1。為了加速訓(xùn)練，在訓(xùn)練時使用GPU訓(xùn)練。在測試時，在CPU上進(jìn)行預(yù)測時間的統(tǒng)計。

3.2 方法可行性實驗

為了驗證本文所提出的FR-unit結(jié)構(gòu)的有效性，在CIFAR10數(shù)據(jù)集上分別進(jìn)行特征復(fù)用單元針對單次卷積結(jié)構(gòu)、卷積塊與多個特征復(fù)用單元疊加等三方面的實驗。CIFAR10數(shù)據(jù)集包含60000張32×32的彩色圖片，共分為10個類別。每類含有訓(xùn)練圖像5000張，測試圖像1000張。

3.2.1 FR-unit對單次卷積結(jié)構(gòu)的優(yōu)化實驗

本實驗使用一個標(biāo)準(zhǔn)的卷積神經(jīng)網(wǎng)絡(luò)作為本次實驗的基礎(chǔ)網(wǎng)絡(luò)Basenet，然后使用FR-unit對Basenet中的卷積結(jié)構(gòu)進(jìn)行優(yōu)化，形成本文的特征復(fù)用網(wǎng)絡(luò) （Feature-Reuse net，以下簡稱FRnet）。由于本文主要是對卷積層進(jìn)行改進(jìn)，為了減少干擾，故將Basenet全連接層設(shè)為一層。雖然此設(shè)定會降低模型的準(zhǔn)確率與收斂的平穩(wěn)性，但是對網(wǎng)絡(luò)的對比并不會產(chǎn)生影響。

在CIFAR10數(shù)據(jù)集上，分別對Basenet和FRnet進(jìn)行訓(xùn)練，對比訓(xùn)練完畢后模型在測試集上的預(yù)測準(zhǔn)確率（acc），以及預(yù)測運行時間（time）。如表1所示，為本實驗中所使用的基礎(chǔ)網(wǎng)絡(luò)Basenet_A與特征復(fù)用網(wǎng)絡(luò) FRnet_A的模型參數(shù)。

其中Conv代表卷積層，參數(shù)3、32、3×3、1分別表示輸入通道、輸出通道、卷積核大小以及邊界擴(kuò)展。FRlayer代表本文的特征復(fù)用層，參數(shù)分別代表卷積操作的輸入通道數(shù)、輸出通道數(shù)、卷積核大小以及邊界擴(kuò)展。每個FRlayer層都會將卷積操作的輸入與輸出在通道維度上進(jìn)行連接，然后作為最后的輸出。

3.2.2 FR-unit對卷積塊結(jié)構(gòu)的優(yōu)化實驗

本實驗所使用網(wǎng)絡(luò)如表3所示，其中Basenet_B為一個標(biāo)準(zhǔn)的卷積神經(jīng)網(wǎng)絡(luò)，F(xiàn)Rnet_B為其對應(yīng)的優(yōu)化后的特征復(fù)用網(wǎng)絡(luò)。

3.2.3 不同數(shù)量FR-unit疊加的對比實驗

本次實驗通過針對不同輸出通道數(shù)的FR-unit結(jié)構(gòu)進(jìn)行比較，測試FR-unit輸出通道數(shù)與疊加次數(shù)對網(wǎng)絡(luò)運行速度和預(yù)測準(zhǔn)確率的影響。實驗所用網(wǎng)絡(luò)如表6所示。以FRlayer2層為例，C1網(wǎng)絡(luò)為2個輸出為32的FR-unit疊加，C2網(wǎng)絡(luò)為4個輸出為16的FR-unit疊加，C3網(wǎng)絡(luò)為8個輸出為8的FR-unit疊加。

對實驗結(jié)果數(shù)據(jù)分析可以看出，即使使用多次較少輸出通道的FR-unit疊加結(jié)構(gòu)，準(zhǔn)確率也并沒有顯著的變化，但是模型的訓(xùn)練時間與預(yù)測時間卻更長，模型的體積也更大，所以在使用FR-unit對模型進(jìn)行優(yōu)化時，還是建議使用等數(shù)量的FR-unit來優(yōu)化等數(shù)量卷積層數(shù)的卷積塊。

3.3 對VGG和Resnet的優(yōu)化實驗

3.3.1 使用FR-unit對VGG進(jìn)行優(yōu)化

本次實驗使用FR-unit對VGG16網(wǎng)絡(luò)進(jìn)行了優(yōu)化實驗。為適應(yīng)CIFAR10數(shù)據(jù)集，對VGG16模型結(jié)構(gòu)作了些許調(diào)整，去掉了原模型中的第五個池化層，并將第一個全連接層的輸入和輸出均改為了2048。VGG網(wǎng)絡(luò)參數(shù)與其對應(yīng)的FR_VGG網(wǎng)絡(luò)參數(shù)如表8所示，表中：Conv表示普通卷積操作;FR-unit表示本文提出的特征復(fù)用卷積單元;{}內(nèi)分別表示輸入通道、輸出通道、卷積核大小、卷積步長與邊界擴(kuò)展。

3.3.2 使用FR-unit對Resnet進(jìn)行優(yōu)化

本次實驗使用FR-unit對Resnet18網(wǎng)絡(luò)進(jìn)行了優(yōu)化實驗。為適應(yīng)CIFAR10數(shù)據(jù)集，對Resnet18結(jié)構(gòu)作了些許調(diào)整。Resnet網(wǎng)絡(luò)參數(shù)與其對應(yīng)的FR_Resnet網(wǎng)絡(luò)參數(shù)如表10所示。表中[]內(nèi)表示一個Resnet的殘差單元，Conv表示普通卷積操作。FR-unit表示本文提出的特征復(fù)用卷積單元。1×1、3×3表示卷積核大小，64、128等表示輸出通道數(shù)。

4 結(jié)語

本文提出了一種針對卷積層的特征復(fù)用的優(yōu)化結(jié)構(gòu)，即：在不降低總特征提取數(shù)量的同時，通過對已提取特征的重復(fù)使用，降低卷積層的卷積操作數(shù)量，來達(dá)到對卷積神經(jīng)網(wǎng)絡(luò)的加速和模型壓縮的目的。通過實驗得到如下結(jié)果：

結(jié)論1 本文所提出的FR-unit結(jié)構(gòu)對卷積神經(jīng)網(wǎng)絡(luò)卷積層有良好的壓縮作用。優(yōu)化后VGG與Resnet模型的體積分別縮小為優(yōu)化前的75.4%和53.1%;預(yù)測時間分別縮短為優(yōu)化前的43.5%和60.9%。

結(jié)論2 在使用FR-unit對網(wǎng)絡(luò)進(jìn)行優(yōu)化時，若選用多次較小輸出的FR-unit進(jìn)行疊加雖然可以使網(wǎng)絡(luò)模型更深，但是對于模型的性能并沒有明顯的提升，因此，還是建議選用等量的FR-unit對模型的卷積層進(jìn)行優(yōu)化。

結(jié)論3 使用FR-unit對網(wǎng)絡(luò)進(jìn)行優(yōu)化后，模型性能并沒有降低。主要原因是沒有改變模型整體的結(jié)構(gòu)：第一，雖然對網(wǎng)絡(luò)中結(jié)構(gòu)進(jìn)行了替換，但是提取的特征總數(shù)沒有發(fā)生改變;第二，該方法并未降低網(wǎng)絡(luò)的深度。

結(jié)論4 優(yōu)化后的模型具有良好的抗擬合性能。這是由于FR-unit在訓(xùn)練時，會結(jié)合低層的特征進(jìn)行學(xué)習(xí)，而不只依賴于最高階的一層。

參考文獻(xiàn) （References）

[1] KRIZHEVSKY A， SUTSKEVER I， HINTON G. ImageNet classification with deep convolutional neural networks [C]// Proceedings of the 25th International Conference on Neural Information Processing Systems. Piscataway， NJ： IEEE， 2012： 1097-1105.

[2] SERCU T， PUHRSCH C， KINGSBURY B， et al. Very deep multilingual convolutional neural networks for LVCSR [C]// Proceedings of the 2016 IEEE International Conference on Acoustics， Speech and Signal Processing. Piscataway， NJ： IEEE， 2016： 4955-4959.

[3] SZEGEDY C， LIU W， JIA Y， et al. Going deeper with convolutions [C]// Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE， 2015： 1-9.

[4] HE K， ZHANG X， REN S， et al. Deep residual learning for image recognition [C]// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Washington， DC： IEEE Computer Society， 2016： 770-778.

[5] LECUN Y， BENGIO Y， HINTON G. Deep learning [J]. Nature， 2015， 521（7553）： 436-444.

[6] ZEILER M D， FERGUS R. Visualizing and understanding convolutional networks [C]// ECCV 2014： Proceedings of the 2014 European Conference on Computer Vision. Berlin： Springer， 2014： 818-833.

[7] HARIHARAN B， ARBELAEZ P， ARBELAEZ R， et al. Simultaneous detection and segmentation[C]// ECCV 2014： Proceedings of the 2014 European Conference on Computer Vision. Berlin： Springer， 2014： 297-312.

[8] GIRSHICK R. Fast R-CNN [C]// Proceedings of the 2015 IEEE International Conference on Computer Vision. Piscataway， NJ： IEEE， 2015： 1440-1448.

[9] WANG N， YEUNG D Y. Learning a deep compact image representation for visual tracking [C]// Proceedings of the 26th International Conference on Neural Information Processing Systems. Piscataway， NJ： IEEE， 2013： 809-817.

[10] 周飛燕，金林鵬，董軍.卷積神經(jīng)網(wǎng)絡(luò)研究綜述[J].計算機(jī)學(xué)報，2017，40（6）：1229-1251.（ZHOU F Y， JIN L P， DONG J. Review of convolutional neural network [J]. Chinese Journal of Computers， 2017， 40（6）： 1229-1251.）

[11] 雷杰，高鑫，宋杰，等.深度網(wǎng)絡(luò)模型壓縮綜述[J].軟件學(xué)報，2018，29（2）：251-266.（LEI J， GAO X， SONG J， et al. Survey of deep neural network model compression [J]. Journal of Software， 2018， 29（2）： 251-266.）

[12] OBERMAN S F， FLYNN M J. Design issues in division and other floating-point operations [J]. IEEE Transactions on Computers， 1997， 46（2）： 154-161.

[13] SETIONO R， LIU H. Neural-network feature selector [J]. IEEE Transactions on Neural Networks， 1997， 8（3）： 654-662.

[14] 孔英會，朱成誠，車轔轔.復(fù)雜背景下基于MobileNets的花卉識別與模型剪枝[J].科學(xué)技術(shù)與工程，2018，18（19）：84-88.（KONG Y H， ZHU C C， CHE L L. Flower recognition in complex background and model pruning based on MobileNets [J]. Science Technology and Engineering， 2018， 18（19）： 84-88.）

[15] HU H， PENG R， TAI Y W， et al. Network trimming： a data-driven neuron pruning approach towards efficient deep architectures [J]. arXiv Preprint， 2016， 2016： arXiv.1607.03250.[2016-06-12]. https：//arxiv.org/abs/1607.03250

[16] ROSENBLUETH E. Point estimates for probability moments [J]. Proceedings of the National Academy of Sciences of the United States of America， 1975， 72（10）： 3812-3814.

[17] GOLUB G H， REINSCH C. Singular value decomposition and least squares solutions [J]. Numerische Mathematik， 1970， 14（5）： 403-420.

[18] HUANG G， SUN Y， LIU Z， et al. Deep networks with stochastic depth [C]// Proceedings of the 2016 14th European Conference on Computer Vision. Berlin： Springer， 2016： 646-661.

[19] HUANG G， LIU Z， van der MAATEN L， et al. Densely connected convolutional networks [C]// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE， 2017： 2261-2269.