一種卷積神經(jīng)網(wǎng)絡(luò)的模型壓縮算法

包志強(qiáng)，程 萍，黃瓊丹，呂少卿

(西安郵電大學(xué)通信與信息工程學(xué)院，陜西 西安 710121)

0 引 言

近年來，卷積神經(jīng)網(wǎng)絡(luò)[1-3](Convolutional Neural Network, CNN)在目標(biāo)檢測[4-5]、圖像分類[6-7]等領(lǐng)域取得諸多重大的研究成果。這很大程度上要歸功于對網(wǎng)絡(luò)架構(gòu)的創(chuàng)新，雖然各種網(wǎng)絡(luò)結(jié)構(gòu)存在差異，但這些任務(wù)使用的是相似的優(yōu)化技術(shù)[8]。這些技術(shù)將每個權(quán)重視為單獨的個體并獨立更新，在CNN的訓(xùn)練方面取得了有限的進(jìn)展。而事實上，網(wǎng)絡(luò)權(quán)重之間有很大的聯(lián)系，卷積核在提取特征時總是存在著不必要的重疊[9-12]。

目前深度網(wǎng)絡(luò)模型壓縮與加速方法研究主要有以下幾個方向：

1)設(shè)計更精細(xì)的網(wǎng)絡(luò)結(jié)構(gòu)，直接提出新的卷積計算方式，從而減少參數(shù)，達(dá)到壓縮模型的效果，如SqueezeNet[13-14],以及修改網(wǎng)絡(luò)結(jié)構(gòu)ERFNet[15]。輕量級網(wǎng)絡(luò)ShuffleNet[16]，這種新的CNN架構(gòu)利用逐點群卷積和通道混洗操作使計算量大大降低。重新構(gòu)建新型網(wǎng)絡(luò)雖然可以降低模型大小，但對于網(wǎng)絡(luò)結(jié)構(gòu)的選擇，模型不同設(shè)計思路也不同，且其自身的模型壓縮也是一個難題。

2)核的稀疏化，是在訓(xùn)練過程中對權(quán)重更新以正則項進(jìn)行誘導(dǎo)，使卷積核更加稀疏，稀疏化后，裁剪更加容易。Jin等人[17]通過訓(xùn)練一個稀疏度較高的網(wǎng)絡(luò)降低網(wǎng)絡(luò)模型的計算量。Lebedev等人[18]對參數(shù)矩陣進(jìn)行稀疏化正則約束，在損失函數(shù)中添加正則項，使訓(xùn)練中的矩陣參數(shù)值逐漸趨于零。Wen等人[19]提出結(jié)構(gòu)化稀疏學(xué)習(xí)方法，通過對卷積核、卷積核形狀和網(wǎng)絡(luò)層數(shù)等學(xué)習(xí)一個稀疏結(jié)構(gòu)來降低計算能耗。稀疏化方法不需要預(yù)訓(xùn)練網(wǎng)絡(luò)，實現(xiàn)過程簡單，但模型性能對稀疏正則化系數(shù)較為敏感，故設(shè)置最優(yōu)的正則化系數(shù)比較困難。

3)模型裁剪,是目前模型壓縮中使用最多的方法，對于已訓(xùn)練好的網(wǎng)絡(luò)模型尋找一種有效的評價手段，剔除不重要的卷積核減少冗余。2015年，Han等人[20]將網(wǎng)絡(luò)裁剪的思想應(yīng)用到卷積神經(jīng)網(wǎng)絡(luò)上，在不損失網(wǎng)絡(luò)精度的前提下使網(wǎng)絡(luò)模型可移植到嵌入式設(shè)備上。Sun等人[21]提出一種基于神經(jīng)元激活相關(guān)性的重要性判別方法，由此來降低模型的復(fù)雜度，且在人臉識別任務(wù)上的效果很好。Yang等人[22]采用一種基于能量消耗的裁剪方式，對每層消耗的能量排序，優(yōu)先裁剪能耗大的層。

模型剪枝技術(shù)能夠較方便地對預(yù)訓(xùn)練模型選擇合適的評價標(biāo)準(zhǔn)，以尋找網(wǎng)絡(luò)中的冗余參數(shù)，且可以省去重新訓(xùn)練的成本。因此為了解決卷積層權(quán)重冗余問題，本文采用一種針對卷積層的模型剪枝壓縮方法，裁剪冗余參數(shù)，壓縮網(wǎng)絡(luò)，并且不會影響網(wǎng)絡(luò)的性能；同時，提出參數(shù)正交正則，促進(jìn)卷積核之間的正交化，提高訓(xùn)練的穩(wěn)定性。

1 卷積核相關(guān)性分析

1.1 卷積核性能評估

本文構(gòu)造一個含有3層卷積、2層全連接的CNN，其中卷積核參數(shù)設(shè)置見表1。為了評估每個卷積核對模型性能的重要性，分別計算第1、第3層卷積層刪除卷積核后測試集精度的下降量。繪制下降精度的分布結(jié)果如圖1與圖2所示。從圖中可觀察到，第3層大部分卷積核的重要性不到1%，而第1層分布范圍較廣，有些卷積核的重要性達(dá)到4.5%，近一半的卷積核的重要性約為1%。這表明即使是簡單的網(wǎng)絡(luò)也可以剪枝卷積核而不顯著影響性能。

圖1 第1層卷積核性能評估

圖2 第3層卷積核性能評估

表1 卷積核參數(shù)

1.2 卷積核相關(guān)性

實驗使用皮爾遜相關(guān)系數(shù)判斷同一層不同卷積核之間的相關(guān)性，皮爾遜相關(guān)系數(shù)可以度量2個量之間的線性相關(guān)程度。某一層的卷積核K∈Rk×k×Cin×Cout,k為卷積核大小，Cin、Cout分別為卷積核輸入與輸出的通道數(shù)，則該層卷積核數(shù)為Cin×Cout。在計算相關(guān)系數(shù)時，將每個二維卷積核拉伸成一維，則每個卷積核的參數(shù)量為k2。其計算方法如式(1)，ρKi,Kj的值介于-1與1之間。

(1)

(2)

(3)

(4)

2 訓(xùn)練策略

2.1 訓(xùn)練算法

網(wǎng)絡(luò)進(jìn)行一定數(shù)量的標(biāo)準(zhǔn)訓(xùn)練后，計算同一層不同卷積核參數(shù)間的皮爾遜相關(guān)系數(shù)，設(shè)置一定的相關(guān)系數(shù)閾值，刪除相關(guān)度較高的冗余參數(shù)，同時采用局部-全局微調(diào)策略，再循環(huán)以上操作繼續(xù)訓(xùn)練，直到網(wǎng)絡(luò)收斂到理想位置。訓(xùn)練策略的算法流程如圖3所示。

圖3 算法流程圖

具體的剪枝操作過程，以第1層卷積層為例，卷積核個數(shù)為32，即K1,K2,…,K32。在該層第1輪剪枝中，首先分別計算K1與K2,…,K32的皮爾遜相關(guān)系數(shù)，若該值大于設(shè)定閾值，則剪枝K2,…,K32中與K1相關(guān)度高的卷積核，且剪枝的卷積核不參與該層接下來的相關(guān)系數(shù)計算過程。同樣地，對上述剪枝操作的結(jié)果，再次分別計算K2與剪枝后的卷積核K3,…,K32的皮爾遜相關(guān)系數(shù)，根據(jù)閾值剪枝與K2相關(guān)度較高的卷積核，以此類推，直到完成該層第1輪剪枝，微調(diào)后，再對余下的卷積層進(jìn)行相同的剪枝操作。

2.2 局部-全局微調(diào)

為了平衡訓(xùn)練速度與測試精度，本文采用一種局部-全局微調(diào)的訓(xùn)練策略。當(dāng)每一層卷積核剪枝后，網(wǎng)絡(luò)通過少數(shù)迭代局部微調(diào)，以稍微恢復(fù)其性能。只有在最后一層被剪枝后，才通過較多的迭代全局微調(diào)，以恢復(fù)整體的性能。使用這種微調(diào)策略，可以大大減少整個網(wǎng)絡(luò)的訓(xùn)練時間，同時，也可以避免微調(diào)后的網(wǎng)絡(luò)在早期學(xué)習(xí)階段進(jìn)入局部最優(yōu)。

2.3 參數(shù)正交正則

訓(xùn)練過程中，為了誘導(dǎo)同層之間的卷積核保持正交，使卷積核之間的重疊信息保持最少，在模型原有的交叉熵?fù)p失函數(shù)基礎(chǔ)上，提出參數(shù)正交正則，替代L2正則化，增強(qiáng)參數(shù)的非相關(guān)性，約束過擬合，對權(quán)重更新進(jìn)行誘導(dǎo)，促進(jìn)核的稀疏化，更易于參數(shù)的裁剪。

在神經(jīng)網(wǎng)絡(luò)中，網(wǎng)絡(luò)的輸入與輸出的關(guān)系為y=WTx，當(dāng)W為實正交矩陣時，WWT=I，則存在‖y‖=‖x‖，這種線性變換稱為范數(shù)不變性，推導(dǎo)如式(5)，該式成立的條件為當(dāng)且僅當(dāng)WWT=I。

(5)

則可推導(dǎo)出每層卷積核的參數(shù)正交正則如式(6)：

(6)

其中，λ為正則化系數(shù)，Wi為某層卷積核的二維參數(shù)矩陣，Wi每一行表示每個卷積核的權(quán)重展開，I為單位矩陣，‖·‖F(xiàn)為矩陣的F范數(shù)。且當(dāng)WiWiT=I時，Wi為正交矩陣。

此時損失函數(shù)為交叉熵?fù)p失cross_entropy與參數(shù)正交正則損失之和，如式(7)。對于式中正則化系數(shù)λ值的確定，首先給定一個初始值1.0，根據(jù)驗證集的準(zhǔn)確率，調(diào)整合適的λ數(shù)量級，經(jīng)過多次實驗對比，λ的值最終確定為0.0001。

(7)

3 實驗結(jié)果及分析

3.1 運行環(huán)境

實驗運行的硬件環(huán)境為臺式計算機(jī)，配有主頻4.8 GHz的6核CPU、8 GB內(nèi)存、RTX3070顯卡。軟件環(huán)境為Python 3.5，深度學(xué)習(xí)框架為TensorFlow。

3.2 參數(shù)量及FLOPs

參數(shù)量以參數(shù)個數(shù)為度量標(biāo)準(zhǔn)，卷積核K∈Rk×k×Cin×Cout,k為卷積核大小，Cin、Cout分別為卷積核輸入與輸出的通道數(shù)，在不考慮偏置的情況下，卷積層的總參數(shù)量為k×k×Cin×Cout。經(jīng)過一定數(shù)量標(biāo)準(zhǔn)訓(xùn)練后，設(shè)置不同相關(guān)系數(shù)閾值可計算每個卷積層的冗余參數(shù)量。

卷積層的浮點操作計算量(Floating Point Operations, FLOPs)用來衡量卷積操作的復(fù)雜程度，即完成卷積操作需要執(zhí)行乘法和加法的次數(shù)。假設(shè)卷積核大小為kH×kW，輸出特征圖為Hout×Wout，Cin、Cout分別為卷積核輸入與輸出的通道數(shù)。一張輸出特征圖的計算量為Cin×kH×kW次乘法操作及Cin×kH×kW-1次加法操作，輸出通道數(shù)相當(dāng)于輸出Cout個特征圖，在不考慮偏置的情況下，卷積層的FLOPs為(2×Cin×kH×kW-1)×Cout×Hout×Wout。

3.3 實驗結(jié)果

實驗采用基于Python的TensorFlow[23]開源框架實現(xiàn)卷積層壓縮算法。構(gòu)造一個有3層卷積、2層全連接的CNN，利用該算法剪枝網(wǎng)絡(luò)模型，具體某一卷積層剪枝后的效果如圖4所示，圖中符號*表示卷積操作。

圖4 某一卷積層剪枝網(wǎng)絡(luò)圖

實驗中的批樣本數(shù)batch_size為100，學(xué)習(xí)率為0.01。為防止學(xué)習(xí)率過大，使得模型在收斂過程中來回擺蕩，故設(shè)置學(xué)習(xí)率衰減指數(shù)為0.99，使學(xué)習(xí)率隨著訓(xùn)練輪數(shù)不斷下降。表2中的實驗結(jié)果以選取相關(guān)系數(shù)閾值0.7為例，列舉了卷積層參數(shù)量及浮點操作計算量FLOPs的壓縮率。在計算參數(shù)量及FLOPs時，偏置的量忽略不計。從表2中壓縮率數(shù)值可知，隨著網(wǎng)絡(luò)深度的加深，卷積核之間的相關(guān)性越高，第3層卷積層參數(shù)壓縮率為68.5%，F(xiàn)LOPs壓縮率為47.6%，總體卷積層的壓縮率為39.1%, FLOPs可以減少19.8%。表3為原始網(wǎng)絡(luò)與每輪剪枝微調(diào)后網(wǎng)絡(luò)精度對比結(jié)果，圖5為網(wǎng)絡(luò)壓縮前后的損失值對比圖，可以發(fā)現(xiàn)經(jīng)過5輪裁剪后的網(wǎng)絡(luò)精度略高于原始網(wǎng)絡(luò)，且壓縮后的網(wǎng)絡(luò)可以使模型收斂到較小的誤差。

圖5 原始網(wǎng)絡(luò)與壓縮后的損失對比

表2 3層卷積層網(wǎng)絡(luò)的參數(shù)量及FLOPs壓縮率

表3 原始網(wǎng)絡(luò)與壓縮后的網(wǎng)絡(luò)精度對比

為了驗證該訓(xùn)練策略的通用性，實驗選取有5個卷積層的AlexNet[24]網(wǎng)絡(luò)訓(xùn)練MNIST數(shù)據(jù)集。表4分別列舉了AlexNet使用參數(shù)稀疏策略后卷積層參數(shù)量及FLOPs的壓縮情況。從表中數(shù)據(jù)可以看出，AlexNet卷積層的參數(shù)量壓縮率為53.2%，F(xiàn)LOPs的壓縮率為42.8%。AlexNet卷積層壓縮量達(dá)到一半以上，表明該訓(xùn)練策略同樣適用于復(fù)雜的網(wǎng)絡(luò)。

表4 5層卷積層網(wǎng)絡(luò)的參數(shù)量及FLOPs壓縮率

從以上實驗結(jié)果可以看出，訓(xùn)練良好的網(wǎng)絡(luò)模型易于裁剪而不降低精度，表明卷積核在提取特征時存在著大量不必要重疊。該訓(xùn)練策略不僅減少了學(xué)習(xí)特征過程中的重疊，減少卷積層計算成本，而且使模型的泛化能力進(jìn)一步提高。

4 結(jié)束語

本文觀察到大部分卷積核對網(wǎng)絡(luò)性能的貢獻(xiàn)度較小，且同一層卷積核之間存在聯(lián)系，提出一種針對卷積層的模型壓縮訓(xùn)練策略，改善卷積神經(jīng)網(wǎng)絡(luò)參數(shù)計算量大的現(xiàn)狀。根據(jù)皮爾遜相關(guān)系數(shù)剪枝參數(shù)，并采用局部-全局的微調(diào)方法調(diào)整網(wǎng)絡(luò)性能，同時在損失函數(shù)中添加參數(shù)正交正則，增強(qiáng)卷積核之間的非相關(guān)性，使卷積層提取的特征重疊信息保持最少。實驗結(jié)果顯示，在MNIST數(shù)據(jù)集上，使用該訓(xùn)練策略分別對具有3層卷積層的網(wǎng)絡(luò)及AlexNet網(wǎng)絡(luò)進(jìn)行訓(xùn)練，卷積核參數(shù)量及FLOPs在很大程度上得到了壓縮。同時改進(jìn)后的模型可以達(dá)到原網(wǎng)絡(luò)同樣高的精度，損失函數(shù)也可以收斂到理想的位置。

由于設(shè)備的限制，接下來的研究會進(jìn)一步補(bǔ)充實驗，將該壓縮算法應(yīng)用于更加復(fù)雜的網(wǎng)絡(luò)來驗證其性能。同時，尋求更加優(yōu)化的評判卷積核重要性的方法。