基于中間圖特征提取的卷積網(wǎng)絡(luò)雙標(biāo)準(zhǔn)剪枝

程小輝，李 鈺，康燕萍

（1.桂林理工大學(xué) 信息科學(xué)與工程學(xué)院，廣西 桂林 541006；2.廣西嵌入式技術(shù)與智能系統(tǒng)重點(diǎn)實(shí)驗(yàn)室，廣西 桂林 541006）

0 概述

近年來(lái)，卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）在圖像識(shí)別、文本翻譯等領(lǐng)域應(yīng)用越來(lái)越廣泛，引起了國(guó)內(nèi)外諸多學(xué)者的關(guān)注。然而，卷積神經(jīng)網(wǎng)絡(luò)在計(jì)算和存儲(chǔ)上存在大量開(kāi)銷(xiāo)，尤其是近些年出現(xiàn)的大規(guī)模CNN 模型，如VGGNet［1］、GoogleNet［2］、ResNet［3］、AlexNet［4］等，網(wǎng)絡(luò)模型均存在巨量的參數(shù)，對(duì)設(shè)備的內(nèi)存和計(jì)算性能要求較高，難以在嵌入式等算力和存儲(chǔ)資源均有限的設(shè)備上部署［5］。文獻(xiàn)［6］指出，卷積神經(jīng)網(wǎng)絡(luò)的參數(shù)存在大量冗余權(quán)值。因此，對(duì)大型卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行壓縮極為重要［7］。

神經(jīng)網(wǎng)絡(luò)的壓縮方法主要包括低秩分解、量化、知識(shí)蒸餾、剪枝等［8-9］，其中，低秩分解是通過(guò)分解權(quán)重矩陣的方式來(lái)減少網(wǎng)絡(luò)的計(jì)算量。LI 等［10］提出一種基于內(nèi)核分解的算法，同時(shí)設(shè)計(jì)相關(guān)的微架構(gòu)，可以最大限度地優(yōu)化卷積網(wǎng)絡(luò)。量化算法以占用較少存儲(chǔ)空間的低精度參數(shù)權(quán)值來(lái)替代卷積神經(jīng)網(wǎng)絡(luò)中的高精度浮點(diǎn)型參數(shù)，目前最常見(jiàn)的是采用8 位整型參數(shù)來(lái)替代原有網(wǎng)絡(luò)中的32 位浮點(diǎn)型參數(shù)。HAN 等［11］提出基于量化和哈夫曼編碼的網(wǎng)絡(luò)壓縮方法，在AlexNet 網(wǎng)絡(luò)上獲得了35 倍的壓縮比。知識(shí)蒸餾的主要思想是通過(guò)大網(wǎng)絡(luò)訓(xùn)練小網(wǎng)絡(luò)，將大網(wǎng)絡(luò)的輸出作為小網(wǎng)絡(luò)的監(jiān)督信息，讓小網(wǎng)絡(luò)的準(zhǔn)確率逐漸逼近大網(wǎng)絡(luò)，從而達(dá)到模型剪枝的目的。針對(duì)ResNet 等多分支殘差網(wǎng)絡(luò)，AGHLI［12］提出了相應(yīng)的知識(shí)蒸餾架構(gòu)和損失函數(shù)，能夠在保持基線模型精度的情況下較好地壓縮模型結(jié)構(gòu)。

通過(guò)剪枝方法縮小網(wǎng)絡(luò)規(guī)模的方式在設(shè)備部署、應(yīng)用等方面更有普適性，因此，本文采用剪枝方法對(duì)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行壓縮。從剪枝粒度的角度可以將剪枝分成非結(jié)構(gòu)化剪枝（unstructured pruning）和結(jié)構(gòu)化剪枝（structured pruning）兩個(gè)大類(lèi)。其中，非結(jié)構(gòu)化剪枝直接對(duì)單體權(quán)重進(jìn)行剪枝，剪枝后模型的部署不易實(shí)現(xiàn)，結(jié)構(gòu)化剪枝則是通過(guò)修剪整個(gè)過(guò)濾器的方法對(duì)模型進(jìn)行剪枝，對(duì)硬件部署更為友好。

LI 等［13］根據(jù)卷積核的L1 范 數(shù)來(lái)衡量卷積核的重要性，通過(guò)裁剪L1 范數(shù)較小的卷積核來(lái)實(shí)現(xiàn)模型剪枝。HE 等［14］通過(guò)在歐氏空間中計(jì)算每個(gè)卷積核對(duì)應(yīng)的幾何中位數(shù)，將中心點(diǎn)附近的卷積核進(jìn)行裁剪，從而實(shí)現(xiàn)模型剪枝。文獻(xiàn)［15］所提出的CP 算法通過(guò)使用LASSO 回歸方式來(lái)完成對(duì)卷積神經(jīng)網(wǎng)絡(luò)通道的逐層剪枝。文獻(xiàn)［16］提出的剪枝方法采用計(jì)算權(quán)重的范數(shù)以保留BN 層偏置。文獻(xiàn)［17］提出一種融合卷積層和BN 層參數(shù)信息的動(dòng)態(tài)剪枝方法，引入注意力機(jī)制來(lái)評(píng)判卷積核的重要性。文獻(xiàn)［18］提出一種基于BN 層縮放因子和輸出的剪枝方法，對(duì)較小縮放因子匹配的通道進(jìn)行剪枝，并對(duì)剪枝后的整個(gè)網(wǎng)絡(luò)進(jìn)行微調(diào)。文獻(xiàn)［19］提出一種基于矩陣余弦相似度的剪枝方法，通過(guò)度量不同通道間的余弦相似度來(lái)對(duì)網(wǎng)絡(luò)進(jìn)行剪枝。除此之外，文獻(xiàn)［20-23］也都提出關(guān)于網(wǎng)絡(luò)剪枝的方法。然而，上述方法幾乎都采用固定的剪枝率對(duì)卷積層逐層進(jìn)行操作，忽略了卷積層之間存在的差異性，另一方面，對(duì)于模型權(quán)重過(guò)于重視而忽略了其在實(shí)際數(shù)據(jù)集或者應(yīng)用場(chǎng)景下的情況，從而在剪枝后造成較大的精度下降。

本文提出一種基于中間圖特征提取的雙標(biāo)準(zhǔn)卷積核剪枝算法，結(jié)合BN 層的gamma 因子和卷積核輸出的信息特征與實(shí)際標(biāo)簽之間的互信息，對(duì)卷積核的重要性進(jìn)行全局評(píng)測(cè)。同時(shí)，針對(duì)一些如VGG網(wǎng)絡(luò)全連接層參數(shù)冗余的情況，提出一種基于節(jié)點(diǎn)相似度和K-means++聚類(lèi)的全連接層剪枝算法。

1 卷積網(wǎng)絡(luò)的全連接層和卷積層剪枝方法

全連接層存在大量節(jié)點(diǎn)，占用較大的存儲(chǔ)空間，針對(duì)該問(wèn)題，本文提出一種基于節(jié)點(diǎn)相似度和K-means++聚類(lèi)的全連接層剪枝方法以及剪枝后的權(quán)重融合策略，按照指定剪枝率大幅裁剪全連接層的節(jié)點(diǎn)。

另外，本文提出一種基于中間圖特征提取的卷積核雙標(biāo)準(zhǔn)剪枝方法，結(jié)合卷積核輸出特征與樣本標(biāo)簽之間的互信息以及BN 層的縮放系數(shù)來(lái)衡量卷積核提取特征的能力，將其作為評(píng)判卷積核重要性的依據(jù)，對(duì)重要性較小的卷積核進(jìn)行裁剪。

1.1 基于相似度和K-means++聚類(lèi)的全連接層剪枝

考慮一個(gè)簡(jiǎn)單的三層全連接層網(wǎng)絡(luò)，如圖1 所示，3 個(gè)全連接層分別為L(zhǎng)ayer1、Layer2 和Layer3，其中，Layer1 的權(quán)重矩陣 為，節(jié)點(diǎn)S與節(jié)點(diǎn)Q以及節(jié)點(diǎn)P與節(jié)點(diǎn)Q之間的權(quán)重分別為，網(wǎng)絡(luò)的輸入為x。

圖1 三層全連接層網(wǎng)絡(luò)Fig.1 Network of three full connectivity layers

現(xiàn)在欲將節(jié)點(diǎn)S與節(jié)點(diǎn)P合并，即裁減掉節(jié)點(diǎn)P。在忽略偏置的情況下，節(jié)點(diǎn)S和節(jié)點(diǎn)P輸出的差值OutSP為：

其中：F(·)為激活函數(shù)，可以是ReLU或Sigmiod等函數(shù)。從式（1）可以看出，在不考慮輸入x的情況下，當(dāng)和十分接近時(shí)，輸出的差值可以近似看作0，而這也是P節(jié)點(diǎn)能被S節(jié)點(diǎn)近似代替的條件。對(duì)于同一全連接層i的權(quán)重和，本文通過(guò)計(jì)算兩者差值的L2 范數(shù)（即歐氏距離）來(lái)衡量?jī)蓚€(gè)向量的近似程度：

其中：Sim(，)表示向量和的相似度；L為wix和的長(zhǎng)度。通過(guò)式（2）能夠得到同一全連接層任意兩個(gè)權(quán)重向量之間的相似程度，然后根據(jù)節(jié)點(diǎn)之間的相似度進(jìn)行聚類(lèi)，對(duì)于每個(gè)類(lèi)的節(jié)點(diǎn)集合，只保留一個(gè)作為該類(lèi)的節(jié)點(diǎn)參與構(gòu)成剪枝后的新網(wǎng)絡(luò)結(jié)構(gòu)，稱(chēng)這個(gè)節(jié)點(diǎn)為代表節(jié)點(diǎn)。獲取代表節(jié)點(diǎn)的過(guò)程可以使用K-means++聚類(lèi)算法的思想來(lái)實(shí)現(xiàn)。K-means++是一種基于樣本集合劃分的聚類(lèi)算法，可以篩選出代表節(jié)點(diǎn)集合。

傳統(tǒng)的K-means 算法對(duì)初值具有很強(qiáng)的敏感性，K-means++算法在選擇初值時(shí)使用概率化選擇方法，以樣本的距離權(quán)值作為選擇依據(jù)，可以很好地避免原始K-means 算法對(duì)初值敏感的問(wèn)題。K-means++聚類(lèi)算法以N個(gè)數(shù)據(jù)作為輸入，將數(shù)據(jù)聚類(lèi)成k類(lèi)的結(jié)果R*作為輸出，其具體過(guò)程如下：

1）令t=0，隨機(jī)選擇一個(gè)數(shù)據(jù)點(diǎn)a1作為第一個(gè)中心。

2）對(duì)于其他數(shù)據(jù)點(diǎn)，計(jì)算其與當(dāng)前最近的已選擇聚類(lèi)中心的距離D(n)，根據(jù)D(n)計(jì)算每個(gè)數(shù)據(jù)點(diǎn)被選擇為下一個(gè)聚類(lèi)中心的概率P(n)。

3）選擇P(n)最大的節(jié)點(diǎn)作為下一個(gè)聚類(lèi)中心。

4）重復(fù)第2 步和第3 步，直至選擇出初始的k個(gè)聚類(lèi)中心at=a1，a2，…，ak。

5）對(duì)n中的每個(gè)樣本ni，計(jì)算其到聚類(lèi)中心的距離，并且據(jù)此進(jìn)行聚類(lèi)，得到聚類(lèi)結(jié)果Rt。

6）針對(duì)每個(gè)類(lèi)別aj，重新計(jì)算其聚類(lèi)中心，得到新的聚類(lèi)中心集合at+1。

7）判斷是否滿(mǎn)足停止條件，如果滿(mǎn)足，則令R*=Rt；否則，令t=t+1，返回第5 步。

文獻(xiàn)［21］分析，權(quán)重的L2 范數(shù)越大，其重要程度越高?；诖怂枷?，對(duì)于給定剪枝率的全連接層，可以計(jì)算當(dāng)前層每個(gè)節(jié)點(diǎn)與當(dāng)前層權(quán)重L2 范數(shù)最大的節(jié)點(diǎn)的相似度，將其作為分組結(jié)合的依據(jù)，以此保證該節(jié)點(diǎn)不被裁剪，然后基于K-means++聚類(lèi)算法和剪枝率來(lái)確定剪枝的分組集合，這樣可以在不設(shè)置閾值的情況下，基于確定的剪枝率完成對(duì)該全連接層的剪枝，而且能夠減少計(jì)算量。本文提出的基于相似度和K-means++聚類(lèi)的全連接層剪枝算法描述如算法1 所示。

算法1基于相似度和K-means++聚類(lèi)的全連接層剪枝算法

剪枝后網(wǎng)絡(luò)的精確度必然會(huì)受到影響，而且會(huì)隨著剪枝率的增加而提高。對(duì)于圖1，剪去節(jié)點(diǎn)P之后，將會(huì)影響當(dāng)前層以及下一層的權(quán)重，從而造成部分特征信息丟失，而這也是剪枝后準(zhǔn)確率下降的原因。通過(guò)權(quán)重融合的方法可以在一定程度上消除裁剪節(jié)點(diǎn)對(duì)網(wǎng)絡(luò)結(jié)構(gòu)的影響。

在采用權(quán)重補(bǔ)償?shù)那闆r下，對(duì)節(jié)點(diǎn)P進(jìn)行剪枝前后，Layer3 層任意節(jié)點(diǎn)Q所獲得的來(lái)自Layer2 層所有節(jié)點(diǎn)的特征值之差ValueQ的平方為：

設(shè)?=-，而F(·)的導(dǎo)數(shù) 不大于1，因此，由拉格朗日中值定理可知：

由Cauchy-Schwarz 不等式可知：

其中：x是與網(wǎng)絡(luò)結(jié)構(gòu)無(wú)關(guān)的輸入。通過(guò)式（2）可知，在和相似的情況下，Sim(，)≈0，即。因此，當(dāng)裁剪P節(jié)點(diǎn)時(shí)，可以通過(guò)將其權(quán)重融合到其他節(jié)點(diǎn)來(lái)彌補(bǔ)精度損失。

在已知某全連接層剪枝后的節(jié)點(diǎn)數(shù)以及節(jié)點(diǎn)聚類(lèi)結(jié)果的情況下，可以根據(jù)聚類(lèi)結(jié)果中所有子類(lèi)節(jié)點(diǎn)對(duì)于下一全連接層各個(gè)節(jié)點(diǎn)的權(quán)重，然后通過(guò)權(quán)重融合的方式去彌補(bǔ)裁剪該全連接層節(jié)點(diǎn)后所造成的精度損失。

圖2（a）和 圖2（b）分別為VGG16 網(wǎng)絡(luò)在CIFAR100［24］和CIFAR10［24］數(shù)據(jù)集上對(duì)全連接層采用不同剪枝策略時(shí)的準(zhǔn)確率對(duì)比，可以看到，與隨機(jī)剪枝相比，采用基于節(jié)點(diǎn)相似度和K-means++聚類(lèi)思想的剪枝策略能夠在剪去大量節(jié)點(diǎn)后依然保持較高的準(zhǔn)確率。相較于不進(jìn)行權(quán)重融合的剪枝，權(quán)重融合剪枝能夠在一定程度上彌補(bǔ)剪枝帶來(lái)的影響，當(dāng)分類(lèi)難度、剪枝比例更大時(shí)，權(quán)重融合方法對(duì)精度的補(bǔ)償效果更為明顯。

圖2 不同剪枝策略的準(zhǔn)確率對(duì)比Fig.2 Comparison of accuracy of different pruning strategies

1.2 基于中間圖特征提取的卷積層雙標(biāo)準(zhǔn)剪枝方法

本節(jié)提出一種新的卷積核重要性評(píng)估框架，使用卷積核輸出特征與樣本標(biāo)簽之間的互信息以及BN 層的縮放系數(shù)作為雙標(biāo)準(zhǔn)，衡量卷積核的特征提取能力，以此作為卷積核的重要程度評(píng)判指標(biāo)。然后將卷積核按照重要程度進(jìn)行排序，裁剪重要性較小的卷積核。使用這一框架可以裁減掉不重要的卷積核，從而達(dá)到對(duì)復(fù)雜模型進(jìn)行加速和壓縮的目的，使其適用于不帶殘差結(jié)構(gòu)的普通卷積神經(jīng)網(wǎng)絡(luò)以及帶有殘差結(jié)構(gòu)的殘差神經(jīng)網(wǎng)絡(luò)。

1.2.1 卷積核重要性評(píng)價(jià)指標(biāo)

互信息是衡量?jī)蓚€(gè)變量之間相關(guān)性的信息度量，廣泛應(yīng)用于圖像處理領(lǐng)域，尤其是圖像配準(zhǔn)任務(wù)。對(duì)于配準(zhǔn)多模圖像而言，互信息不需要對(duì)圖像進(jìn)行預(yù)處理而且魯棒性強(qiáng)，是一種經(jīng)典的相似性測(cè)度方法。對(duì)于兩個(gè)變量X和Y而言，其互信息計(jì)算公式如下：

其中：p(x，y)表示x和y的聯(lián)合概率；p(x)和p(y)分別表示x和y的邊緣概率。式（6）是概率層面上的互信息計(jì)算公式。

對(duì)于卷積神經(jīng)網(wǎng)絡(luò)的某一卷積層而言，結(jié)合文獻(xiàn)［25］提出的使用全局平均池化（GAP）層構(gòu)建網(wǎng)中網(wǎng)的思想，本文提出一種卷積核重要性評(píng)價(jià)框架，即在每個(gè)卷積核后放置一個(gè)全局平均池化層，得到這一層輸入對(duì)于該卷積核的特征，然后求解特征所對(duì)應(yīng)的真實(shí)標(biāo)簽之間的互信息，并且結(jié)合該通道對(duì)應(yīng)的BN 層縮放因子來(lái)判斷卷積核的重要性。

首先劃定一部分?jǐn)?shù)據(jù)作為計(jì)算卷積核與標(biāo)簽之間互信息的計(jì)算集E，將計(jì)算集E輸入到要剪枝的網(wǎng)絡(luò)中，對(duì)于某一卷積層，可以得到一個(gè)特征矩陣F∈RN×C×W×H，其中，N為計(jì)算集E所包含的數(shù)據(jù)量，C為該卷積層的通道數(shù)，W和H分別代表輸出特征矩陣的寬和高。

對(duì)于特征矩陣F，可以認(rèn)為是計(jì)算集E的圖像在經(jīng)過(guò)卷積后形成的“子圖”，即中間生成特征矩陣。全局平均池化層的工作機(jī)理如圖3 所示。全局平均池化層可以提取子圖在某一通道上對(duì)于計(jì)算集E圖像的特征向量，具有提取并且簡(jiǎn)化特征的作用，可以將原本的四維特征矩陣縮放到二維空間，然后基于計(jì)算集E和子圖通道輸出的特征向量完成互信息計(jì)算。

圖3 全局平均池化層Fig.3 Global average pooling layer

BN（Batch Normalization）層［26］一般放在卷積層后，用于對(duì)特征圖進(jìn)行歸一化，BN 層歸一化過(guò)程如式（11）～式（14）所示：

其中：D為數(shù)值集合，D={d1，2，…，m}；γ和β分別為可學(xué)習(xí)參數(shù)縮放因子和平移因子；數(shù)值集合E={e1，2，…，m}為批歸一化后的輸出。

式（11）和式（12）分別計(jì)算D的均值和方差，式（13）和式（14）分別為歸一化和重構(gòu)變換的過(guò)程。γ和β是可訓(xùn)練參數(shù)，在基礎(chǔ)模型的訓(xùn)練過(guò)程中，添加系數(shù)約束后每個(gè)卷積核對(duì)應(yīng)的γ參數(shù)會(huì)呈現(xiàn)分化趨勢(shì)，重要卷積核所對(duì)應(yīng)的γ參數(shù)會(huì)越大，不重要卷積核的γ參數(shù)會(huì)變小。BN 層進(jìn)行批量歸一化后，γ小的通道對(duì)應(yīng)的激活也會(huì)更小，修剪這樣的通道能夠在縮減網(wǎng)絡(luò)規(guī)模的同時(shí)盡可能地減小對(duì)網(wǎng)絡(luò)輸出的影響。

文獻(xiàn)［20］分析表明，BN 層的縮放因子γ與卷積層通道的重要性密切相關(guān)。根據(jù)此思想，結(jié)合互信息的特點(diǎn)，本文提出一種結(jié)合BN 層縮放因子與互信息的卷積核重要性衡量方法。對(duì)于某一卷積層的卷積核f，通過(guò)計(jì)算其與標(biāo)簽的互信息及所對(duì)應(yīng)的BN層縮放因子γ得出重要程度Im(f) ：

根據(jù)卷積核的重要程度，可以對(duì)卷積層進(jìn)行裁剪。本文提出的基于中間圖特征提取的卷積層雙標(biāo)準(zhǔn)剪枝算法描述如算法2 所示。對(duì)卷積神經(jīng)網(wǎng)絡(luò)卷積核進(jìn)行裁剪的具體過(guò)程如圖4 所示。

圖4 卷積核裁剪流程Fig.4 The clipping process of convolution kernel

算法2基于中間圖特征提取的卷積層雙標(biāo)準(zhǔn)剪枝算法

在CIFAR100 測(cè)試集上利用式（15）對(duì)已經(jīng)訓(xùn)練好的VGG16 卷積神經(jīng)網(wǎng)絡(luò)模型的卷積層進(jìn)行重要性計(jì)算，得到的結(jié)果如圖5 所示，圖中橫軸代表VGG16 模型的13 層卷積層，縱軸表示不同剪枝率下保留及裁減掉的節(jié)點(diǎn)分布，其中，越靠近圖像上方的卷積核重要程度越高。從圖5 可以看到，卷積核的重要性大體上隨著層次的加深呈遞減趨勢(shì)，處于網(wǎng)絡(luò)中間部分的卷積層的卷積核攜帶大量特征信息，而這也與經(jīng)驗(yàn)相符。將卷積核按照重要性進(jìn)行全局排序，根據(jù)設(shè)定的卷積層剪枝率的大小，裁剪重要程度較小的卷積核，便可達(dá)到對(duì)卷積神經(jīng)網(wǎng)絡(luò)卷積核進(jìn)行裁剪的目的。

圖5 不同剪枝率下裁剪的節(jié)點(diǎn)個(gè)數(shù)Fig.5 Number of cut nodes under different pruning rates

1.2.2 帶有殘差結(jié)構(gòu)的卷積網(wǎng)絡(luò)卷積核剪枝方法

與VGG 網(wǎng)絡(luò)不同，殘差網(wǎng)絡(luò)模型一般都含有殘差模塊（也就是shortcut），存在“分支”結(jié)構(gòu)。以ResNet網(wǎng)絡(luò)模型為例，其兩種主要的殘差模塊如圖6 所示。

圖6 兩種殘差模塊對(duì)比Fig.6 Comparison of two residual modules

本文所提基于卷積核互信息與縮放因子的卷積核剪枝方法同樣可以應(yīng)用于殘差網(wǎng)絡(luò)，但是需要進(jìn)行以下兩點(diǎn)補(bǔ)充：

1）對(duì)于Conv1、Conv1_1 和Conv2_1 而 言，直接采用本文所提卷積核剪枝方法進(jìn)行裁剪即可。

2）殘差結(jié)構(gòu)存在權(quán)重依賴(lài)，對(duì)于兩種殘差結(jié)構(gòu)而言，都要求分支1 的輸出通道和分支2 的輸出通道數(shù)量保持一致，因此，如果在同一層次內(nèi)，對(duì)于Conv2、Conv1_2 和Conv2_2，在剪枝時(shí)，取兩者通道的并集作為整個(gè)模塊的保留通道數(shù)。以殘差結(jié)構(gòu)2為例，分支1 的通道剪枝掩碼mask1={1，0，1，…，1，0}，分支2 的通道剪枝掩碼mask2={0，1，1，…，1，0}，其中，0 表示經(jīng)過(guò)重要性計(jì)算后該通道應(yīng)該舍棄，1 表示應(yīng)當(dāng)保留。因此，最終保留通道為mask1∪mask2={1，1，1，…，1，0}，即只要兩個(gè)分支 中有一個(gè)分支認(rèn)為該通道重要，裁剪便跳過(guò)該通道。

對(duì)于不同層之間，本文采用每層保留通道數(shù)中的最大值作為整個(gè)層次串聯(lián)模塊的保留通道數(shù)。

在CIFAR10 和CIFAR100 數(shù)據(jù)集上，對(duì)同時(shí)含有圖6 中兩種殘差結(jié)構(gòu)的殘差網(wǎng)絡(luò)ResNet34 進(jìn)行實(shí)驗(yàn)，結(jié)果如表1 所示。表2 為采用本文所提針對(duì)卷積核的剪枝方法，對(duì)ResNet34 網(wǎng)絡(luò)在CIFAR10上進(jìn)行60%剪枝前后ResNet34 網(wǎng)絡(luò)各卷積層的通道數(shù)變化情況，其中，含有“^”的數(shù)組表示圖5 中的殘差結(jié)構(gòu)2，含有該符號(hào)的元素表示圖5 中的殘差結(jié)構(gòu)2 的分支2 部分。從表2 可以看出，本文所提針對(duì)殘差網(wǎng)絡(luò)的基于互信息和BN 縮放因子的聯(lián)合剪枝算法，能夠在滿(mǎn)足殘差網(wǎng)絡(luò)權(quán)重依賴(lài)的情況下實(shí)現(xiàn)剪枝。除此之外，通過(guò)觀察ResNet34 剪枝前后保留通道數(shù)可以發(fā)現(xiàn)，相對(duì)于單分支網(wǎng)絡(luò)，殘差網(wǎng)絡(luò)由于加入了跨層連接，其剪枝掉的節(jié)點(diǎn)在各層的分布更加“均勻”。

表1 ResNet34 剪枝前后性能對(duì)比Table 1 Performance comparison of ResNet34 before and after pruning %

表2 ResNet34 剪枝前后通道數(shù)對(duì)比Table 2 Comparison of the number of channels on ResNet34 before and after pruning

2 實(shí)驗(yàn)結(jié)果與分析

2.1 實(shí)驗(yàn)設(shè)置

本文以Ubuntu18.04 系統(tǒng)、英偉達(dá)2080Ti 顯卡和i7-6700HQ CPU 為實(shí)驗(yàn)環(huán)境，將本文所提基于相似度和K-means++聚類(lèi)的全連接層剪枝算法與基于中間圖特征提取的卷積核雙標(biāo)準(zhǔn)剪枝算法，分別在CIFAR10 和CIFAR100 兩個(gè)數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)。CIFAR10 是深度學(xué)習(xí)中經(jīng)常使用的一種數(shù)據(jù)集，共包含60 000 張長(zhǎng)、寬均為32 像素的彩色圖片，總共分為10 類(lèi)，每類(lèi)含有6 000 張圖片，訓(xùn)練集總共為50 000 張圖片，測(cè)試集為10 000 張圖片。CIFAR100的圖片大小與CIFAR10 一致，測(cè)試集和訓(xùn)練集的數(shù)目也相同，但是分類(lèi)數(shù)量為100 類(lèi)。

對(duì)于不同算法的對(duì)比實(shí)驗(yàn)，在網(wǎng)絡(luò)結(jié)構(gòu)上采用VGG16 卷積神經(jīng)網(wǎng)絡(luò)與ResNet56 卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行實(shí)驗(yàn)。其中，VGG16 為傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)，ResNet56為帶有殘差的卷積神經(jīng)網(wǎng)絡(luò)。訓(xùn)練基準(zhǔn)網(wǎng)絡(luò)用于剪枝。對(duì)于VGG16，設(shè)定訓(xùn)練輪次為160，初始學(xué)習(xí)率為0.1，在訓(xùn)練輪次達(dá)到1/2 和3/4 時(shí)學(xué)習(xí)率分別變?yōu)樵瓉?lái)的1/10。對(duì)于ResNet56，設(shè)置訓(xùn)練輪次為200，其他設(shè)置與VGG16 相同。兩個(gè)網(wǎng)絡(luò)均使用SGD 優(yōu)化方法，采用交叉熵函數(shù)計(jì)算損失。在CIFAR10 和CIFAR100 上分別按照上述參數(shù)訓(xùn)練VGG16 和ResNet56 網(wǎng)絡(luò)得到基準(zhǔn)網(wǎng)絡(luò)，然后在基準(zhǔn)網(wǎng)絡(luò)的基礎(chǔ)上進(jìn)行剪枝。

實(shí)驗(yàn)中的對(duì)比算法包括：文獻(xiàn)［20］提出的PF 算法，即基于L1 范數(shù)的剪枝方法；文獻(xiàn)［14］提出的FPGM 算法，即基于幾何中位數(shù)的剪枝策略；文獻(xiàn)［27］提出的SFP 算法，即柔性剪枝策略；文獻(xiàn)［28］提出的Taylor 算法，即基于Taylor 展開(kāi)的剪枝標(biāo)準(zhǔn)；文獻(xiàn)［29］提出的VCNNP 算法，即基于變分貝葉斯的剪枝策略；文獻(xiàn)［15］提出的CP 算法，即基于LASSO回歸和最小二乘法的剪枝策略。

2.2 不同剪枝算法的比較

在CIFAR10 數(shù)據(jù)集上不同剪枝算法的比較結(jié)果如表3 所示。從表3 可以看出：

表3 在CIFAR10 數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果Table 3 Experimental results on CIFAR10 dataset %

1）對(duì)于單分支的卷積神經(jīng)網(wǎng)絡(luò)VGG16，本文所提針對(duì)卷積層和全連接層的剪枝算法，在剪枝率為60%的情況下分別能夠剪掉網(wǎng)絡(luò)94.5%的參數(shù)量和64.4%的計(jì)算量，而準(zhǔn)確率幾乎保持不變。相較PF等剪枝算法，本文算法因?yàn)榉謩e針對(duì)卷積層和全連接層進(jìn)行剪枝，在保持精度基本不變的情況下獲得了更大的參數(shù)量和FLOPs 的剪枝比例。

2）對(duì)于殘差網(wǎng)絡(luò)ResNet56，本文所提剪枝算法在剪枝率為40%時(shí)，能夠在保持精度僅下降0.19%的情況下裁減掉48.2%的參數(shù)量和46.7%的計(jì)算量，如果再犧牲不到1%的精度，能夠獲得60.7%的參數(shù)量裁剪率和57.6%和計(jì)算量裁剪率。隨著剪枝比例的提高，網(wǎng)絡(luò)保留的卷積核數(shù)量減少，但是帶來(lái)了精度上的損失。當(dāng)剪枝率設(shè)置為60%時(shí)，能夠獲得參數(shù)量減少71.3%和計(jì)算量減少66.0%的網(wǎng)絡(luò)模型，但是準(zhǔn)確率減少比例也達(dá)到了1.83%。

使用本文針對(duì)卷積層的聯(lián)合剪枝算法與針對(duì)全連接層的基于相似度和K-means++聚類(lèi)的剪枝算法，在CIFAR100數(shù)據(jù)集上與其他算法進(jìn)行對(duì)比實(shí)驗(yàn)，結(jié)果如表4所示。從表4可以看出：VGG16網(wǎng)絡(luò)能夠在裁減掉95.0%參數(shù)量和51.2%計(jì)算量的情況下保持準(zhǔn)確率基本不變；ResNet56在經(jīng)過(guò)大幅裁剪后準(zhǔn)確率僅下降很小幅度，在設(shè)置剪枝率為30%時(shí)，在準(zhǔn)確率、參數(shù)量和FLOPs上基本達(dá)到了平衡。盡管本文算法相對(duì)于PF算法在準(zhǔn)確率的減少比例上高了0.5%，但是獲得了更大的剪枝比例，在參數(shù)量和計(jì)算量的裁剪上比PF算法表現(xiàn)更好。當(dāng)剪枝比例設(shè)置為40%時(shí)，本文算法能夠裁減掉41.3%的參數(shù)量和61.2%的FLOPs，準(zhǔn)確率僅下降1.96%。

表4 在CIFAR100 數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果Table 4 Experimental results on CIFAR100 dataset %

相對(duì)于其他剪枝算法，本文所提算法能夠在準(zhǔn)確率下降幅度很小的情況下實(shí)現(xiàn)對(duì)參數(shù)量和計(jì)算量的大幅裁剪，這是因?yàn)楸疚牟扇〉尼槍?duì)卷積層的聯(lián)合剪枝算法，結(jié)合了網(wǎng)絡(luò)的權(quán)重參數(shù)和網(wǎng)絡(luò)在實(shí)際數(shù)據(jù)集應(yīng)用場(chǎng)景下的雙重表現(xiàn)。

2.3 剪枝前后通道數(shù)對(duì)比

在CIFAR10 數(shù)據(jù)集上，使用本文提出的剪枝算法在剪枝率為60%的情況下對(duì)VGG16 網(wǎng)絡(luò)進(jìn)行剪枝，剪枝前后各個(gè)卷積層的通道數(shù)對(duì)比情況如圖7所示。在CIFAR10 數(shù)據(jù)集上，使用本文算法在40%剪枝率下對(duì)ResNet56 進(jìn)行剪枝，剪枝前后各個(gè)卷積層模塊的通道數(shù)對(duì)比如表5 所示。

圖7 VGG16 剪枝前后通道數(shù)對(duì)比Fig.7 Comparison of the number of channels on VGG16 before and after pruning

表5 ResNet56 剪枝前后通道數(shù)對(duì)比Table 5 Comparison of the number of channels on ResNet56 before and after pruning

從圖7可以看出，對(duì)于VGG16卷積網(wǎng)絡(luò)而言，其淺層的卷積核蘊(yùn)含了大量的特征信息，而深層的卷積核攜帶的信息較少，對(duì)其進(jìn)行剪枝，不會(huì)對(duì)網(wǎng)絡(luò)結(jié)構(gòu)和精度產(chǎn)生較大影響。表5的結(jié)果也證明了這一點(diǎn)，ResNet56網(wǎng)絡(luò)呈現(xiàn)出和VGG16 網(wǎng)絡(luò)一樣的特征，即淺層網(wǎng)絡(luò)剪枝比例較小，深層網(wǎng)絡(luò)剪枝比例較大。

3 結(jié)束語(yǔ)

針對(duì)現(xiàn)有卷積神經(jīng)網(wǎng)絡(luò)參數(shù)量和計(jì)算量過(guò)大，較難在存儲(chǔ)能力和算力均有限的設(shè)備上進(jìn)行部署的問(wèn)題，本文提出一種新的卷積核重要性評(píng)估框架，使用卷積核輸出特征與樣本標(biāo)簽之間的互信息以及BN 層的縮放系數(shù)來(lái)衡量卷積核的特征提取能力，更好地兼顧權(quán)重在實(shí)際應(yīng)用數(shù)據(jù)集上的表現(xiàn)。在此基礎(chǔ)上，提出一種基于相似度和K-means++聚類(lèi)的全連接層剪枝算法，在確定的剪枝率下完成對(duì)網(wǎng)絡(luò)模型的優(yōu)化。實(shí)驗(yàn)結(jié)果表明，該算法在對(duì)模型進(jìn)行大幅剪枝的同時(shí)能夠保持較小的精度損失。下一步將分析剪枝后的權(quán)重優(yōu)化問(wèn)題并探索量化等網(wǎng)絡(luò)模型壓縮方法，在不損失準(zhǔn)確率的情況下更大幅度地壓縮卷積神經(jīng)網(wǎng)絡(luò)，使其能夠在端設(shè)備上進(jìn)行部署。