深度神經(jīng)網(wǎng)絡(luò)模型壓縮方法與進(jìn)展

賴葉靜 郝珊鋒 黃定江

摘要：深度神經(jīng)網(wǎng)絡(luò)（Deep Neural Network，DNN）模型通過巨大的內(nèi)存消耗和高計算量來實現(xiàn)強(qiáng)大的性能，難以部署在有限資源的硬件平臺上，通過模型壓縮來降低內(nèi)存成本和加速計算已成為熱點問題，近年來已有大量的這方面的研究工作，主要介紹了4種具有代表性的深度神經(jīng)網(wǎng)絡(luò)壓縮方法，即網(wǎng)絡(luò)剪枝、量化、知識蒸餾和緊湊神經(jīng)網(wǎng)絡(luò)設(shè)計：著重介紹了近年來具有代表性的壓縮模型方法及其特點;最后，總結(jié)了模型壓縮的相關(guān)評價標(biāo)準(zhǔn)和研究前景。

關(guān)鍵詞：深度神經(jīng)網(wǎng)絡(luò)壓縮：網(wǎng)絡(luò)剪枝;量化：知識蒸餾;緊湊神經(jīng)網(wǎng)絡(luò)

中圖分類號：TP391 文獻(xiàn)標(biāo)志碼：A DOI：10.3969/j，issn，1000-5641.202091001

0引言

近年來，深度神經(jīng)網(wǎng)絡(luò)（DNN）在許多領(lǐng)域取得了巨大的成功，包括但不限于目標(biāo)識別和檢測、語音識別、自然語言處理，這些成功依賴于更多的參數(shù)、更大更深的模型，例如，在VGG-16（VisualGeometry Group-16）網(wǎng)絡(luò)上訓(xùn)練ImageNet數(shù)據(jù)集得到的模型大小超過500 MB，參數(shù)數(shù)量高達(dá)138 357 544個，自2012年AlexNet出現(xiàn)并拿下當(dāng)年ImageNet競賽的冠軍后，深度神經(jīng)網(wǎng)絡(luò)在計算機(jī)視覺領(lǐng)域大放異彩，隨后出現(xiàn)的卷積神經(jīng)網(wǎng)絡(luò)模型數(shù)量大幅度增加，比如VGG、ResNet、DenseNet等，這些深度網(wǎng)絡(luò)模型在許多領(lǐng)域的實驗中表現(xiàn)良好，但在實際應(yīng)用中仍然受到時間和空間的限制，即使使用圖形處理單元（Graphics Processing Unit，GPU）或張量處理單元（Tensor Processing Unit，TPU）進(jìn)行加速，這些寬而深的網(wǎng)絡(luò)模型仍然不能滿足在許多應(yīng)用場景中的實時需求，與此同時，手機(jī)和邊緣設(shè)備等資源受限設(shè)備的數(shù)量每年都在增加，體積大、計算成本高的模型會消耗大量的計算資源，不適用于手機(jī)等移動設(shè)備，因此，在不影響深度網(wǎng)絡(luò)模型準(zhǔn)確度的前提下，模型壓縮是一個重要的研究問題。

實現(xiàn)模型壓縮的方法有很多，本文將這些方法分為4類：網(wǎng)絡(luò)剪枝、量化、知識蒸餾和緊湊神經(jīng)網(wǎng)絡(luò)設(shè)計，網(wǎng)絡(luò)剪枝主要通過設(shè)計一個標(biāo)準(zhǔn)去判斷參數(shù)的重要程度，再根據(jù)重要性去除冗余參數(shù)，量化減少表示每個權(quán)值和激活值所需的比特數(shù)，如二值化（1-bit）、int8量化（8-bit）等，知識蒸餾主要利用大型網(wǎng)絡(luò)的知識，并將其知識轉(zhuǎn)化到緊湊小型的學(xué)生模型中，緊湊神經(jīng)網(wǎng)絡(luò)通過設(shè)計一個特殊結(jié)構(gòu)的卷積核或緊湊卷積的計算單元，來降低模型的存儲和計算復(fù)雜度，表1簡要總結(jié)了4類神經(jīng)網(wǎng)絡(luò)壓縮方法的優(yōu)缺點和適用場景。

在模型壓縮和加速領(lǐng)域，涌現(xiàn)出了許多優(yōu)秀的綜述論文：文獻(xiàn)[7-8]對模型壓縮研究的進(jìn)展做了詳盡的調(diào)查分析，主要介紹了前幾年傳統(tǒng)的優(yōu)秀算法，但錯過了近年來許多重要并且有代表性的工作;文獻(xiàn)[9-10】將模型壓縮分為6個方向，并介紹了近年來提出的算法，與之前的綜述文獻(xiàn)不同，本文將模型壓縮分為4大類別，對過去幾年相關(guān)的研究進(jìn)展與具有代表性的方法進(jìn)行了了調(diào)查，并給出該領(lǐng)域內(nèi)評價準(zhǔn)則的具體計算方法，在先進(jìn)壓縮算法上綜合比較了圖像分類和目標(biāo)檢測兩個任務(wù)的性能，

本文后續(xù)結(jié)構(gòu)：第1章分別介紹4種模型壓縮方法，并著重介紹近年來涌現(xiàn)出的模型壓縮方法及其特點;第2章介紹模型壓縮的相關(guān)評價標(biāo)準(zhǔn)，并對當(dāng)下具有代表性的壓縮方法進(jìn)行性能評估;第3章對全文進(jìn)行總結(jié)并展望未來的研究熱點。

1模型壓縮算法

模型壓縮有許多優(yōu)秀的算法，并在各個領(lǐng)域有著廣泛的應(yīng)用，如Wang等提出的PeleeNet，通過設(shè)計高效的卷積方式并與移動設(shè)備硬件的運行庫結(jié)合，能夠?qū)σ苿釉O(shè)備上的目標(biāo)檢測、圖像分類等任務(wù)進(jìn)行實時預(yù)測，使用PeleeNet在iphone8上實現(xiàn)目標(biāo)檢測任務(wù)，可達(dá)到23.6 FPS（Frames PerSecond，每秒傳輸幀數(shù)），且準(zhǔn)確率較高，下面介紹4種具有代表性的深度網(wǎng)絡(luò)壓縮方法，并比較分析它們的優(yōu)點與不足。

1.1網(wǎng)絡(luò)剪枝

深度網(wǎng)絡(luò)模型中存在許多冗余和信息量較少的權(quán)值，網(wǎng)絡(luò)剪枝通過去除訓(xùn)練好的模型中冗余的參數(shù)，從而減小模型的體積，并加快模型的計算速度，壓縮模型的存儲空間，另外，剪枝也可以降低網(wǎng)絡(luò)的復(fù)雜度，解決過擬合的問題。

根據(jù)剪枝粒度級別的不同，網(wǎng)絡(luò)剪枝可分為4種剪枝粒度，如圖1所示，在最粗粒度的級別中，可以移去一個層（layer），被修剪的層如圖1a）中的陰影所示，第二個修剪粒度是特征圖/濾波器（feature map/filter），其中，特征圖是網(wǎng)絡(luò)輸出，濾波器是網(wǎng)絡(luò)中的參數(shù)，在剪枝的過程中，剪去一個特征圖等價于上一層的一個濾波器可以得到一個更薄的網(wǎng)絡(luò)，圖1b）中陰影部分表示被移除的濾波器，下一個修剪粒度是核（kernel），即修剪濾波器中的一個通道，如圖1c）所示，最細(xì)粒度的是修剪核內(nèi)的一個權(quán)重（weight），如圖1d）所示，核中陰影部分的零即是被修剪的權(quán)重參數(shù)，此剪枝粒度可以產(chǎn)生更稀疏的權(quán)重矩陣，這4種剪枝粒度可進(jìn)一步分為結(jié)構(gòu)化剪枝和非結(jié)構(gòu)化剪枝兩類，層間剪枝、特征圖剪枝和核剪枝是結(jié)構(gòu)化剪枝，核內(nèi)權(quán)重修剪（核內(nèi)剪枝）是非結(jié)構(gòu)化修剪。

早期的網(wǎng)絡(luò)剪枝方法多是非結(jié)構(gòu)化剪枝，LeCun等和Hassibi等分別在1990年和1993年提出了最優(yōu)化腦損失（0ptimal Brain Damage，OBD）和最優(yōu)化腦手術(shù)（optimal Brain Surgeon，OBS）方法，后者是前者的改進(jìn)，其基本思想是使用損失函數(shù)相對于權(quán)重的Hessian矩陣來度量網(wǎng)絡(luò)中核內(nèi)權(quán)重的重要性，從而刪除不重要權(quán)重，這兩個算法能在一定范圍內(nèi)提升準(zhǔn)確度，但時間代價較高，因此，不能在大型網(wǎng)絡(luò)上應(yīng)用，Zhang等提出了一種基于交替方向乘子法（Alternating Direction Methodof Multipliers，ADMM）的權(quán)值剪枝系統(tǒng)：首先將深度神經(jīng)網(wǎng)絡(luò)的權(quán)值剪枝問題轉(zhuǎn)化為具有指定稀疏性要求的組合約束的非凸優(yōu)化問題;然后利用ADMM將非凸優(yōu)化問題分解為兩個迭代求解的子問題，一個用隨機(jī)梯度下降法求解，另一個用解析法求解，該系統(tǒng)使得AlexNet和LeNet在ImageNet和MNIST數(shù)據(jù)集上的權(quán)重參數(shù)獲得了大幅度的壓縮，以上非結(jié)構(gòu)化剪枝往往使得層內(nèi)的權(quán)重矩陣變成稀疏矩陣，但并沒有減少計算量，而且對稀疏矩陣的加速計算需要特定的軟件庫或者硬件來支持，針對此問題，Ma等提出了PCONV方法，一種粗粒度結(jié)構(gòu)中的細(xì)粒度剪枝模式，包含模式化剪枝和連通性剪枝，模式化剪枝可以獲得filter不同的稀疏性，連通性剪枝進(jìn)一步對filter做核剪枝，獲得filter之間的稀疏性，此外，利用PCONV剪枝特性設(shè)計專門的編譯器，在具有代表性的大規(guī)模DNN上實現(xiàn)了高壓縮和較高的推理速度，除了設(shè)計特別的剪枝結(jié)構(gòu)、設(shè)計專有的編譯器，結(jié)構(gòu)化剪枝也可以克服非結(jié)構(gòu)化剪枝的缺點。

結(jié)構(gòu)化剪枝的主要的思想是將不重要的信道或者濾波器去除，并最小化重構(gòu)誤差，He等基于LASSOfLeast Absolute Shrinkage and Selection Operator）回歸的方法進(jìn)行信道選擇，再通過線性最小二乘法重構(gòu)網(wǎng)絡(luò)輸出，Chin等提出了學(xué)習(xí)卷積網(wǎng)絡(luò)不同層filter的全局排序，該排序用于獲得一組具有不同精度/延遲的卷積網(wǎng)絡(luò)架構(gòu);對于跨層的filter排序，通過學(xué)習(xí)分層的參數(shù)仿射變換替代以往的范數(shù)準(zhǔn)則來評判filter的重要性，Molchanov等使用一階和二階泰勒展開式來近似filter的貢獻(xiàn)，并逐層去除貢獻(xiàn)低的filter，這個方法可以應(yīng)用于任何類型的層，如殘差網(wǎng)絡(luò)的shortcut層，

Luo等提出的ThiNet框架，filter是否被剪去取決于下一層，而不是當(dāng)前層;在對第i層的filter進(jìn)行剪枝時，學(xué)習(xí)如何選擇i+1層通道數(shù)的某個子集輸入原網(wǎng)絡(luò)，并且逼近原來的輸出結(jié)果，此時第i層的filter也可以去除，在對某一層進(jìn)行剪枝后，通過最小化重建誤差進(jìn)行微調(diào)，但這個方法忽略了信道的鑒別能力，因此Zhuang等提出了一種用于深度神經(jīng)網(wǎng)絡(luò)壓縮的鑒別力感知通道修剪策略（Discrimination-aware Channel Pruning，DCP），將信道剪枝問題作為稀疏性優(yōu)化問題，同時考慮重構(gòu)誤差和信道鑒別能力，對于深層模型，由于傳播路徑長，其淺層往往具有很小的鑒別能力，為了提高中間層的鑒別能力，DCP把深層網(wǎng)絡(luò)分為p+1個階段，并在這p+1階段中引入額外的鑒別力感知損失函數(shù)Ls，p（w），考慮到鑒別力損失和重建損失，該策略關(guān)于信道選擇的聯(lián)合損失函數(shù)為。

結(jié)構(gòu)化剪枝常常使用范數(shù)評價指標(biāo)來評價某個filter是否重要，用范數(shù)評價filter時隱含了兩個條件：一是范數(shù)的方差要大;二是最小范數(shù)接近零，使用符合這兩個條件的范數(shù)作為評價filter的準(zhǔn)則，最后的重建誤差往往會比較低，但實際中，filter范數(shù)分布無法同時滿足這兩個條件，所以可以通過判斷兩個filter的相似性來判斷filter是否冗余，但判斷其相似性是比較困難的，所以，He等12引利用幾何中值fGeometric Median，GM）來判斷兩個filter間的相似性，幾何中值是在歐氏空間中點的中心估計，靠近該中心點的filter可以用遠(yuǎn)離該中心點的filter來近似表示，即可以剪去接近幾何中值的filter，而Lin等人發(fā)現(xiàn)即使輸入圖像的批大小（Barch Size）不同，但單個filter生成的多個特征圖的平均秩總是相等，高秩的特征圖往往包含更多的信息，所以可以剪去產(chǎn)生低秩特征圖的filter，這兩個方法與范數(shù)無關(guān)，不需滿足范數(shù)評價指標(biāo)的條件，但在CIFAR-10和ImageNet數(shù)據(jù)集上使用不同的網(wǎng)絡(luò)進(jìn)行剪枝，都可以在幾乎不損失準(zhǔn)確度的情況下獲得更高的壓縮率。

剪枝就是去除原網(wǎng)絡(luò)中不重要的權(quán)重，從另一個角度來看，被剪枝后的網(wǎng)絡(luò)結(jié)構(gòu)就是原網(wǎng)絡(luò)的一個子結(jié)構(gòu)，這跟神經(jīng)網(wǎng)絡(luò)搜索（Neural Architecture Search，NAS）很相似，所以剪枝也可以說是神經(jīng)網(wǎng)絡(luò)搜索的一個特例，它可以使得搜索空間變得更小，目前許多剪枝方法越來越偏向于神經(jīng)網(wǎng)絡(luò)搜索，剪枝方法和量化方法通?？梢越Y(jié)合使用。

1.2量化

網(wǎng)絡(luò)量化通過減少表示每個權(quán)值所需的比特數(shù)來壓縮原始網(wǎng)絡(luò)，通過這種方式，網(wǎng)絡(luò)中權(quán)值和激活值都被量化，并且浮點乘法累加操作（Multiplly Accumulate，MAC）可以被低比特的乘法累加操作代替，在二值化網(wǎng)絡(luò)和三值化網(wǎng)絡(luò)的情況下甚至不需要乘法，因此，使用低比特量化神經(jīng)網(wǎng)絡(luò)可以降低存儲和計算復(fù)雜度，同時，低比特量化也有利于面向神經(jīng)網(wǎng)絡(luò)芯片硬件的加速，每降低一比特通常更容易簡化硬件的設(shè)計，也可以設(shè)計出更精細(xì)的芯片，量化通過最小化量化誤差找到最優(yōu)量化器，相應(yīng)公式為。

其中，x表示全精度參數(shù)，qx（x）表示量化后的低比特參數(shù)，J（qx（x））表示全精度參數(shù)與二進(jìn)制參數(shù)之間的量化誤差。

量化方法可分為權(quán)重共享和低比特表示，具有代表性的權(quán)重共享方法通過聚類來現(xiàn)，Han等對每一層的權(quán)重矩陣使用K-Means聚類算法，并使用每個簇的質(zhì)心來表示權(quán)重矩陣中的值，因為相同簇的權(quán)值共享一個質(zhì)心，所以只需要存儲質(zhì)心的索引，并通過查找表獲得該索引對應(yīng)的值，最后通過梯度進(jìn)行微調(diào)就可減少精度損失，如圖3所示，另一種經(jīng)典的權(quán)重共享方法是使用散列函數(shù)進(jìn)行量化，Chen等使用哈希技巧將網(wǎng)絡(luò)連接權(quán)值隨機(jī)分組到散列桶中，每個散列桶中的網(wǎng)絡(luò)連接共享相同的權(quán)值參數(shù)，這些方法都屬于傳統(tǒng)的標(biāo)量量化方法，Stock等基于乘積量化（Product Quantization，PQ）提出了比特下降的向量量化方法，區(qū)別于以前的向量量化方法，該方法注重激活值的重要性，而不是權(quán)重的重要性，其原理是通過最小化域內(nèi)輸入的重建誤差，然后把未壓縮的神經(jīng)網(wǎng)絡(luò)作為教師網(wǎng)絡(luò)，把壓縮后的網(wǎng)絡(luò)作為學(xué)生網(wǎng)絡(luò)，在量化時只需要一組未標(biāo)記的數(shù)據(jù)，再使用字節(jié)對齊的碼書來存儲壓縮后的權(quán)重，通過這種方法可以在CPU上進(jìn)行有效的推理。

大量基于低比特量化的方法是基于二值化網(wǎng)絡(luò)的改進(jìn)工作，二值化方法使用1 bit對數(shù)據(jù)進(jìn)行量化，量化后的數(shù)據(jù)取值只有兩個可能的值：0（1）或+1.2016年，Courbariaux等提出BinaryConnect后，權(quán)重值和激活值分別二值化就成為一種有效的深度神經(jīng)網(wǎng)絡(luò)壓縮方法，通過二值化，可以將繁重的矩陣乘法運算替換為輕量級的異或運算和位計數(shù)運算，二值化的離散性和有限的表示能力，導(dǎo)致正向和逆向傳播中都存在嚴(yán)重的信息損失，在正向傳播中，當(dāng)權(quán)重值和激活值限制在兩個值時，模型的多樣性會大大下降，導(dǎo)致了精度大幅度下降，Qin等提出信息保留網(wǎng)絡(luò)（InformationRetention Network，IR-Net）來保留前向激活和后向梯度的信息，IR-Net分為兩個過程：首先通過均衡和標(biāo)準(zhǔn)化正向傳播的權(quán)重;同時最小化參數(shù)的量化誤差和最大化量化參數(shù)的信息熵，在沒有對激活值添加額外操作的同時，減少了權(quán)重和激活的信息損失，二值化常常使用符號函數(shù)作為量化函數(shù)，對符號函數(shù)進(jìn)行反向傳播會造成巨大的信息損失，所以在反向傳播中需要進(jìn)行梯度近似，為了保留反向傳播中損失函數(shù)的信息，IR-Net通過逐步逼近反向傳播中的符號函數(shù)來最小化梯度的信息損失，由該方法在CIFAR-10和ImageNet數(shù)據(jù)集上使用多個深度神經(jīng)網(wǎng)絡(luò)進(jìn)行的實驗可知，其比普通二值化方法獲得的精度更高。

除了二值化網(wǎng)絡(luò)，三值化和int8量化方法也是常見的低比特量化方法，Wang等提出了有效的兩步量化法（TWO-Step Quantization，TSQ）框架，將網(wǎng)絡(luò)量化問題分解為兩個步驟：第一，使用稀疏法對激活值進(jìn)行量化，只對重要的正值進(jìn)行量化，將其他不重要的值設(shè)為零;第二，假設(shè)經(jīng)過第一步量化激活值獲得的編碼是最優(yōu)的，則可以將最優(yōu)化問題表述為具有低位約束的非線性最小二乘回歸問題，并用迭代求解量化權(quán)重，Mellempud等提出了利用參數(shù)動態(tài)范圍內(nèi)的局部相關(guān)性來最小化量化對整體精度的影響的細(xì)粒度三元化方法，Zhu等基于誤差敏感的學(xué)習(xí)率調(diào)節(jié)和方向自適應(yīng)的梯度截斷方法解決了量化后的精度損失，表2給出了近年來在CIFAR10和ImageNet數(shù)據(jù)集上量化方法的性能對比，其中，w代表權(quán)重使用的比特位數(shù)，A代表激活值使用的比特位數(shù)，aCCToml代表預(yù)測概率最高的類別與真實類別相符的準(zhǔn)確率，aCCToD-5代表預(yù)測概率排名前五的類別中包含真實類別的準(zhǔn)確率。

當(dāng)使用低比特表示參數(shù)時，量化神經(jīng)網(wǎng)絡(luò)的精度與全精度神經(jīng)網(wǎng)絡(luò)相比下降了很多，這是由于網(wǎng)絡(luò)量化階段引入的噪聲使得梯度下降法難以收斂，當(dāng)使用非常低的位表示來量化權(quán)值和激活時，問題可能會更加嚴(yán)重，在對深度網(wǎng)絡(luò)模型（如ResNet）進(jìn)行較大的壓縮和加速時，若使用同時量化權(quán)值和激活值的網(wǎng)絡(luò)（如XNOR-Net），分類精度損失嚴(yán)重，此外，結(jié)構(gòu)化矩陣的限制可能會導(dǎo)致模型的偏差和精度的損失，因此，量化方法一般是與其他方法結(jié)合使用。

1.3知識蒸餾

在知識蒸餾中，使用寬而深的網(wǎng)絡(luò)訓(xùn)練得到的模型一般稱為教師模型（Teacher Model），比如VGG-16等;使用輕量化的網(wǎng)絡(luò)訓(xùn)練得到的模型一般稱為學(xué)生模型（student Model），比如MobileNet等，知識蒸餾的基本思想是將大型教師模型的軟知識提煉到較小的學(xué)生模型中，2015年，Hitton等首次提出了知識蒸餾的壓縮框架，該框架主要使用教師網(wǎng)絡(luò)的軟輸出對學(xué)生網(wǎng)絡(luò)進(jìn)行指導(dǎo)和懲罰，其中軟輸出可以提供更大的信息熵，提供更多原網(wǎng)絡(luò)的信息，為此，教師網(wǎng)絡(luò)的軟輸出被用作一個標(biāo)簽來訓(xùn)練和壓縮學(xué)生網(wǎng)絡(luò)，知識蒸餾過程如圖4所示，使用帶溫度T的softmax函數(shù)qi來生成每個類別的預(yù)測概率，公式為

知識蒸餾的目標(biāo)是將原網(wǎng)絡(luò)中具有代表性的知識轉(zhuǎn)移到另一個更小的神經(jīng)網(wǎng)絡(luò)中，通常是以最小化概率輸出之間的KL（Kullback-Leibler）散度為目標(biāo)建立教師網(wǎng)絡(luò)和學(xué)生網(wǎng)絡(luò)，但Tian等提出這一KL目標(biāo)忽略了教師網(wǎng)絡(luò)的重要知識結(jié)構(gòu)，并提出了對比學(xué)習(xí)方法，對比學(xué)習(xí)的關(guān)鍵思想是學(xué)習(xí)“正”對在某些度量空間中接近的表示，并將“負(fù)”對之間的表示分離開，實驗表明，該方法在各種知識轉(zhuǎn)移任務(wù)（包括單模型壓縮、集成蒸餾和跨模態(tài)轉(zhuǎn)移）上的性能都優(yōu)于知識蒸餾和其他最優(yōu)的蒸餾方法，有時甚至超過教師網(wǎng)絡(luò)與知識蒸餾的結(jié)合。

近年來，許多學(xué)者在知識蒸餾領(lǐng)域展開工作，以設(shè)計出更好的學(xué)生模型，學(xué)生模型不僅模仿老師的行為，還可以學(xué)習(xí)教師網(wǎng)絡(luò)以外的知識，從而超越教師模型，F(xiàn)urlanello等提出的重生神經(jīng)網(wǎng)絡(luò)（Born-Again Neural Networks，BAN），使得最后獲得的學(xué)生模型可以超越教師模型，與原來的方法不同，這種方法的目的不再是壓縮模型，而是將知識從教師模型轉(zhuǎn)移到具有相同能力的學(xué)生模型，如DenseNet作為教師模型、ResNet作為學(xué)生模型，在經(jīng)過BAN蒸餾后的ResNet，其測試錯誤率比原來的教師模型DenseNet更低，在教師模型收斂之后，初始化一個新的學(xué)生模型，然后，在滿足設(shè)置正確的預(yù)測標(biāo)簽和匹配教師模型輸出分布的雙重要求的同時，對學(xué)生模型進(jìn)行訓(xùn)練，Gao等提出的殘差知識蒸餾方法，引進(jìn)了助理fAssistant）的概念，即助理通過學(xué)習(xí)教師和學(xué)生之間的殘差來幫助學(xué)生獲取更多的知識。

基于知識蒸餾的方法可以壓縮更深更大的模型，并有助于顯著降低計算成本，而知識蒸餾大多數(shù)都是應(yīng)用于具有softmaX損失函數(shù)的分類任務(wù)，近年來，許多研究使用知識蒸餾的方法對目標(biāo)檢測、語義分割任務(wù)進(jìn)行壓縮，He等提出了一種有效的語義分割知識蒸餾方法，在不引入額外參數(shù)或計算的情況下，大幅度提高了學(xué)生模型的能力，并以更少的計算開銷獲得了更好的結(jié)果，此方法可以分為兩個階段：第一階段通過自編碼器將知識壓縮成緊湊的形式，目的是將教師網(wǎng)絡(luò)中的知識轉(zhuǎn)為更具代表性信息的壓縮空間;第二階段為了從教師網(wǎng)絡(luò)中獲取長期依賴關(guān)系，提出了親和蒸餾模型（Afflfinity Distillation Module），主要添加一個卷積層（稱為特征適配器）來解決教師模型和學(xué)生模型各自feature map不匹配的問題，知識蒸餾可以用于許多領(lǐng)域，比如自然語言處理、半監(jiān)督學(xué)習(xí)等，教師網(wǎng)絡(luò)的軟輸出可以對學(xué)生網(wǎng)絡(luò)進(jìn)行微調(diào)以獲得更好的精度。

1.4緊湊神經(jīng)網(wǎng)絡(luò)設(shè)計

隨著人們對神經(jīng)網(wǎng)絡(luò)原理的理解和在實踐中的驗證，神經(jīng)網(wǎng)絡(luò)模型的發(fā)展正朝更小卷積核、覆蓋更多特征信息、減少冗余的方向發(fā)展，與壓縮已經(jīng)訓(xùn)練好的模型相比，設(shè)計緊湊的神經(jīng)網(wǎng)絡(luò)是另一種方法，緊湊網(wǎng)絡(luò)設(shè)計主要針對卷積網(wǎng)絡(luò)設(shè)計一種更高效、計算復(fù)雜度更低的方法，在不損失網(wǎng)絡(luò)性能的情況下減少每秒浮點運算次數(shù)，并降低模型體積，基于此思想，設(shè)計高效的CNN結(jié)構(gòu)可以從不同的卷積核和卷積方式進(jìn)行設(shè)計，比如，在設(shè)計卷積核時，將全連接層換成全局平均池化層用小卷積核（1×1.3×3）替換大卷積核（5×5），在設(shè)計卷積方式時，使用分組卷積、深度可分離卷積、反卷積等方式替換原來的標(biāo)準(zhǔn)卷積方式，從而加快了網(wǎng)絡(luò)計算速度，減少了計算量。

Iandola等提出的SqueezeNet、Google團(tuán)隊提出的MobileNetVl-V3系列、Face++團(tuán)隊提出的ShuffleNetVl-V2系列都是近年來出現(xiàn)的并具有代表性的緊湊神經(jīng)網(wǎng)絡(luò)，其共同點是大量地使用了1×1小濾波器。

SqueezeNet由多個Fire Module、卷積層（conv）、采樣層（Pooling）和全連接層（Fully Connectedlayers，F(xiàn)C）組成，F(xiàn)ire Module的squeeze層用1×1的小濾波器替換原來的3×3濾波器，expand層組合使用1×1濾波器和3×3濾波器，減少了原始網(wǎng)絡(luò)的大濾波器（3×3），從而減少了網(wǎng)絡(luò)的參數(shù)量，該模型在可以達(dá)到AlexNet分類精度的同時，可將模型參數(shù)大小降至原來的1/50倍。

MobileNetVl提出深度分離卷積來代替原來的標(biāo)準(zhǔn)卷積計算，MobileNetVl將卷積運算分為depth-wise和point-wise，如圖5所示，在depth-wise中，每個濾波器只考慮一個通道，濾波器的數(shù)目等于輸入通道的數(shù)目，其中濾波器是一個3×3矩陣，point-wise運算與常規(guī)卷積運算非常相似，但使用的是1×1的小濾波器，經(jīng)過這兩個運算后，濾波器的參數(shù)將大大降低，MobileNetV2同樣采用了MVl的depth-wise和point-wise，并設(shè)計了Inverted Residuals來獲取更多的特征信息，以減少推理時間，由于在低維空間中增加非線性會破壞其特征，MV2在每一個塊fblock）中去除了Relu層，引入LinearBottlenecks，MobileNetV3則通過神經(jīng)結(jié)構(gòu)搜索獲得子網(wǎng)絡(luò)，并在MV2的block中添加了SENet增強(qiáng)模塊，使得網(wǎng)絡(luò)提取特征的能力大大增強(qiáng)，從而獲得了更高的準(zhǔn)確性。

ShuffleNetVl使用組卷積（Group Convolution）來降低模型參數(shù)大小，并使用通道混排（channelShuffle）增強(qiáng)各個特征圖的連接，ShuffleNetV2提出了4條指導(dǎo)性原則：①輸入輸出通道數(shù)相等會最小化內(nèi)存訪問成本;②組卷積數(shù)目過多將增加內(nèi)存訪問的次數(shù);③在多路結(jié)構(gòu)中，網(wǎng)絡(luò)碎片化降低了并行化程度;④元素級操作fElement-Wise Operators）不可忽略，基于以上4條原則對ShuffleNetVl進(jìn)行改進(jìn)，提升了準(zhǔn)確度和模型運行速度。

華為諾亞方舟團(tuán)隊的Han等提出了GhostNet模塊，對于每一個輸入，首先生成一組內(nèi)部特征圖，然后基于這組內(nèi)部的特征圖，使用一系列成本低廉的線性變換來生成許多Ghost特征圖，最后該Ghost特征圖和內(nèi)部特征圖的個數(shù)之和等于原始特征圖個數(shù)之和，并利用這些模塊，構(gòu)建了GhostbottleneckfG-bneck）和GhostNet，其中Ghost bottleneck類似于ResNet中的殘差塊，GhostNet則使用MobileNetV3作為基本體系架構(gòu)，并將MobileNetV3中的bottlenet換成G-bneck，在ImageNet分類中，GhostNet可以獲得比MNV3更高的精確度，Chen等人提出的Octave Convolution，基于自然圖像可以分為高頻和低頻兩部分的思想（經(jīng)過傅里葉變換后對應(yīng)的高低頻），將卷積層輸出的特征圖分為高低頻兩部分，將低頻的特征圖存儲在更小的張量中，減少空間冗余，表3給出了近年來緊湊神經(jīng)網(wǎng)絡(luò)方法在ImageNet數(shù)據(jù)集上實驗的性能對比，其中，Param代表網(wǎng)絡(luò)中的參數(shù)量大小，F(xiàn)LOPs（FloatingPoint of Operations）為浮點運算數(shù)。

緊湊神經(jīng)網(wǎng)絡(luò)采用緊湊的卷積核或改變卷積方式，大大減少了模型中的參數(shù)，降低了模型的大小，在輕量的語義分割、目標(biāo)檢測和分類模型上都有應(yīng)用，但由于其特殊的卷積核，難以和其他模型壓縮方法一起使用。

1.5其他深度神經(jīng)網(wǎng)絡(luò)壓縮算法

訓(xùn)練好的模型卷積核存在低秩特性，所以低秩分解也可用在模型壓縮中，主要通過矩陣或張量分解模型中的參數(shù)，如SVD（singular Value Decomposition）分解、Tucker分解和CP（canonical Polyadic）分解等，Jaderberg等使用低秩擴(kuò)展來加速卷積神經(jīng)網(wǎng)絡(luò)，主要觀點是利用存在于不同通道和濾波器之間的冗余，對已訓(xùn)練好的網(wǎng)絡(luò)進(jìn)行加速，并提出了兩種優(yōu)化方案，可以很容易地應(yīng)用于現(xiàn)有的CPU和GPU卷積框架：第一，將某一個通道進(jìn)行秩1分解，并學(xué)習(xí)M個濾波器基組后通過線性組合來近似原來的濾波器;第二，每個卷積層被分解為兩個常規(guī)卷積層的序列，但在空間域內(nèi)帶有矩形濾波器，所得近似結(jié)果需要的計算操作要少得多，在場景文本字符識別CNN訓(xùn)練中可以觀察到，分類精度僅下降1%，但加速率卻可以達(dá)到4.5×¹。

另外，各種壓縮方法也可以結(jié)合起來一起用，Han等13引提出的三階段方法，結(jié)合了剪枝和量化兩個方法：首先修剪值較小的連接，獲得一個稀疏化網(wǎng)絡(luò);再對剪枝后的網(wǎng)絡(luò)使用聚類的方法進(jìn)行量化，實現(xiàn)權(quán)值共享;經(jīng)過前兩個步驟后重新訓(xùn)練網(wǎng)絡(luò)以調(diào)整剩余的連接和量化質(zhì)心，最后使用哈弗曼編碼對網(wǎng)絡(luò)再進(jìn)一步壓縮，該壓縮方法在VGG-16上壓縮率高達(dá)49×，而準(zhǔn)確率卻沒有降低，Polino等結(jié)合量化和知識蒸餾對模型進(jìn)行壓縮，在量化的過程中加入知識蒸餾損失進(jìn)行訓(xùn)練，并使用量化后的權(quán)重計算梯度更新模型，但在量化神經(jīng)網(wǎng)絡(luò)中，對原始權(quán)重進(jìn)行量化的過程是離散的，因此梯度幾乎處處為0.這意味著不能使用量化函數(shù)進(jìn)行反向傳播，基于此問題，Polino等還提出了可微量化方法，通過隨機(jī)梯度下降優(yōu)化量化點的位置，該方法使得量化的淺層次學(xué)生模型可以達(dá)到與全精度教師模型相似的水平，同時可獲得高壓縮率并加速推理過程，Cai等提出了面向邊緣應(yīng)用的壓縮方法，根據(jù)網(wǎng)絡(luò)中各層權(quán)重的分布對權(quán)重進(jìn)行裁剪，并針對嵌入式設(shè)備的特性對權(quán)重和激活值采用定點量化的方法進(jìn)行量化，在降低計算量和存儲成本的同時幾乎達(dá)到了無損壓縮。

2評價準(zhǔn)則

衡量模型壓縮和加速質(zhì)量的標(biāo)準(zhǔn)是壓縮率、加速率和浮點運算數(shù)（FLOPs），假設(shè)p是原始模型M中參數(shù)的內(nèi)存成本，u*是壓縮模型M*的內(nèi)存成本，則模型的壓縮率Ф為

另外模型壓縮方法用在分類、目標(biāo)檢測和語義分割任務(wù)上時，根據(jù)數(shù)據(jù)集的不同會定義不同的評價準(zhǔn)則，如在分類任務(wù)中，小數(shù)據(jù)集CIFAR和MINST使用Top-1分類錯誤率，而大數(shù)據(jù)集ImageNet常使用Top-I和Top-5分類錯誤率，在目標(biāo)檢測或語義分割任務(wù)中，常使用平均精度（Average Precision，AP）來做評估，一般來說，壓縮后的方法與原模型的分類錯誤率相似，但參數(shù)減少、加速率增加、浮點運算操作數(shù)降低。

表4給出了近年來在數(shù)據(jù)集ImageNet上進(jìn)行圖像分類的壓縮方法性能對比，其中參數(shù)量（Param）為float32類型（4字節(jié)），從表4可以看出，對AlexNet和VGG-16這些大型神經(jīng)網(wǎng)絡(luò)進(jìn)行壓縮，幾乎沒有精度損失，甚至還會超過原來的精度，對ResNet-50這類原始參數(shù)本來就較小的網(wǎng)絡(luò)進(jìn)行壓縮，精度損失也不大。

表5給出了近年來在Microsoft COCO數(shù)據(jù)集上進(jìn)行目標(biāo)檢測任務(wù)的壓縮方法對比，其中AP（AveragePrecision）代表平均精度，AP0.5代表交并比（Intersection over Union，IoU）閾值為0.5時的AP值，AP0 75代表在IoU閾值為0.75時的AP值，在對目標(biāo)檢測模型進(jìn)行壓縮時，可以在骨干網(wǎng)絡(luò)（Backbone）使用以上介紹的4種主流方法進(jìn)行壓縮或者設(shè)計更小型的網(wǎng)絡(luò)結(jié)構(gòu)，從表5可以看出，EfficientDet-B0在Microsoft COCO 2017數(shù)據(jù)集上表現(xiàn)出了優(yōu)異的性能，并且參數(shù)量和FLOPs都降低了。

3總結(jié)和展望

本文主要對主流的基于深度神經(jīng)網(wǎng)絡(luò)壓縮的方法進(jìn)行了介紹：首先分析了需要模型壓縮的原因;其次，介紹了4種具有代表性的深度神經(jīng)網(wǎng)絡(luò)壓縮方法，即網(wǎng)絡(luò)剪枝、量化、知識蒸餾和緊湊網(wǎng)絡(luò)設(shè)計，并著重對近年來壓縮模型方法的性能進(jìn)行了分析;最后給出了模型壓縮的評估準(zhǔn)則，接下來對模型壓縮未來的發(fā)展和面臨的挑戰(zhàn)進(jìn)行展望。

深度網(wǎng)絡(luò)壓縮的基本目的是從網(wǎng)絡(luò)中提取有用的信息，并降低模型大小和參數(shù)量，從目前的研究結(jié)果來看，深度神經(jīng)網(wǎng)絡(luò)壓縮仍處于發(fā)展階段，壓縮方法本身的性能還有待提高，以下是一些值得研究和探索的方向。

（1）高效評估方法和剪枝率的選擇：剪枝技術(shù)評估卷積核或核內(nèi)權(quán)重參數(shù)的重要性仍然是比較簡單的方法，盡管近年來提出了許多評估方法，但普遍計算復(fù)雜、難度大，因此，如何定義更高效的方法來確定卷積核或其他參數(shù)的重要性，是未來值得探索的方向，另外，每一層的卷積參數(shù)分布是不同的，對每層的剪枝率的選擇也是未來可探索的方向。

（2）設(shè)計新的網(wǎng)絡(luò)結(jié)構(gòu)：模型量化后會改變數(shù)據(jù)的原始分布，在大型數(shù)據(jù)集和深度神經(jīng)網(wǎng)絡(luò)中模型性能損失大大增加，主要原因在于現(xiàn)在的網(wǎng)絡(luò)結(jié)構(gòu)不一定全都適合于量化操作，量化后保留的信息與全精度所保留的信息不一定相同，所以如何針對量化設(shè)計特定的網(wǎng)絡(luò)結(jié)構(gòu)也是值得研究的方向。

（3）多場景模型壓縮：目前的模型壓縮方法主要針對深度神經(jīng)網(wǎng)絡(luò)，而深度神經(jīng)網(wǎng)絡(luò)壓縮模型大多采用CNN，主要針對圖像分類場景，常見的神經(jīng)網(wǎng)絡(luò)場景還有遞歸神經(jīng)網(wǎng)絡(luò)fRecurrent NeuralNetwork，RNN）、長期短期記憶網(wǎng)絡(luò)（Long Short-Term Memory，LSTM）、強(qiáng)化學(xué)習(xí)、目標(biāo)檢測和生成式對抗網(wǎng)絡(luò)fGenerative Adversarial Networks，GAN）等，這些應(yīng)用場景需要的精度往往很高，現(xiàn)有的壓縮方法難以進(jìn)行高效的壓縮，所以在未來一段時間內(nèi)，有必要研究多場景下的模型如何進(jìn)行壓縮。

（4）端設(shè)備部署：邊緣設(shè)備和各種小型平臺（如自動駕駛汽車）的硬件和資源限制仍然是阻礙深度神經(jīng)網(wǎng)絡(luò)模型落地的主要原因，隨著模型壓縮方法的流行，對于分類任務(wù)的模型壓縮方法已經(jīng)得到了很大的發(fā)展，但對于常見的目標(biāo)檢測、語義分割等任務(wù)的研究還很少，所以如何在資源受限的邊緣設(shè)備中部署各種大模型，使得應(yīng)用真正落地，仍然是一個大挑戰(zhàn)。

（5）與自動機(jī)器學(xué)習(xí)（Automated Machine Learning，AutoML）結(jié)合：如在剪枝中，使用AutoML自動化地選擇修剪率，在量化中，AutoML根據(jù)量化前參數(shù)重要性大小來動態(tài)選擇量化的比特數(shù)。