• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于參數(shù)子空間和縮放因子的YOLO剪枝算法

    2021-02-05 03:03:04楊民杰梁亞玲杜明輝
    計算機工程 2021年2期
    關(guān)鍵詞:剪枝范數(shù)濾波器

    楊民杰,梁亞玲,杜明輝

    (華南理工大學(xué)電子與信息學(xué)院,廣州 510641)

    0 概述

    自2012年AlexNet[1]獲得ImageNet大型視覺識別比賽(ImageNet Large Scale Visual Recognition Competition,ILSVRC)冠軍以來,以AlexNet為代表的基于深度學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)受到廣泛關(guān)注并得到深入發(fā)展,一系列深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)相繼出現(xiàn),例如用于分類任務(wù)的Vgg[2]、GoogleNet[3]和ResNet[4]等網(wǎng)絡(luò)以及用于目標(biāo)檢測任務(wù)的Rcnn[5]、FastRcnn[6]、FasterRcnn[7]、YOLOv3[8]和SSD[9]等網(wǎng)絡(luò)。隨著神經(jīng)網(wǎng)絡(luò)逐漸加深,其應(yīng)用于視覺任務(wù)的網(wǎng)絡(luò)精度已逐漸接近甚至超過人類的視覺識別水平[10],而網(wǎng)絡(luò)模型占據(jù)的存儲空間、計算時長和計算量等均不斷增加,對嵌入式設(shè)備的計算性能提出更高要求,所需設(shè)備成本與電量能耗均增大。然而嵌入式設(shè)備在計算能力、存儲能力以及電量能耗等方面均有一定限制[10],為了在嵌入式設(shè)備中成功部署相關(guān)的深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò),需在保持神經(jīng)網(wǎng)絡(luò)分類或檢測精度的同時對其進(jìn)行壓縮。

    神經(jīng)網(wǎng)絡(luò)壓縮算法主要包括低秩近似算法、剪枝算法、量化算法、知識蒸餾算法和緊湊型網(wǎng)絡(luò)設(shè)計算法等。低秩近似算法是將稠密的滿秩矩陣表示為若干低秩矩陣的組合,低秩矩陣又分解為小規(guī)模矩陣的乘積,從而達(dá)到簡化的目的。文獻(xiàn)[11]提出一種線性組合卷積核基底算法,用f×1+1×f卷積核替代f×f卷積核進(jìn)行低秩近似。剪枝算法是通過修剪神經(jīng)網(wǎng)絡(luò)中冗余濾波器進(jìn)行網(wǎng)絡(luò)優(yōu)化,刪除神經(jīng)網(wǎng)絡(luò)權(quán)重矩陣中不重要的部分權(quán)重,僅保留有用部分,再重新對網(wǎng)絡(luò)進(jìn)行微調(diào)。量化算法是用低精度參數(shù)權(quán)值代替神經(jīng)網(wǎng)絡(luò)中32 bit的浮點型參數(shù)權(quán)值,目前大多數(shù)低精度的方案采用INT8型參數(shù)代替FP32型參數(shù),通過犧牲部分精度降低占用空間。知識蒸餾算法是指通過遷移學(xué)習(xí)將預(yù)先訓(xùn)練好的復(fù)雜網(wǎng)絡(luò)的輸出作為監(jiān)督信號去訓(xùn)練簡單的網(wǎng)絡(luò),以達(dá)到壓縮網(wǎng)絡(luò)的目的。緊湊型網(wǎng)絡(luò)設(shè)計算法是重新構(gòu)建可達(dá)到原精度的小型網(wǎng)絡(luò),例如MobileNet和ShuffleNet網(wǎng)絡(luò)。

    由于剪枝算法無需考慮應(yīng)用領(lǐng)域、網(wǎng)絡(luò)架構(gòu)和部署平臺,符合神經(jīng)網(wǎng)絡(luò)應(yīng)用于嵌入式平臺的實際需求,因此本文采用剪枝算法壓縮網(wǎng)絡(luò)?,F(xiàn)有關(guān)于剪枝算法的研究大部分基于圖像分類網(wǎng)絡(luò),但在人工智能應(yīng)用場景中,目標(biāo)檢測網(wǎng)絡(luò)的應(yīng)用領(lǐng)域更廣泛,在該網(wǎng)絡(luò)上進(jìn)行剪枝更困難。YOLO網(wǎng)絡(luò)是一種端到端的目標(biāo)檢測網(wǎng)絡(luò),屬于One-stage網(wǎng)絡(luò),One-stage網(wǎng)絡(luò)包括特征提取和訓(xùn)練分類器2個階段,而Two-stage網(wǎng)絡(luò)目標(biāo)檢測方法包括區(qū)域選擇、特征提取和訓(xùn)練分類器3個階段,該網(wǎng)絡(luò)進(jìn)行區(qū)域選擇后產(chǎn)生大量冗余的候選區(qū)域,會耗費較多推理時間。與Two-stage網(wǎng)絡(luò)相比,One-stage網(wǎng)絡(luò)耗時更短,因此YOLO網(wǎng)絡(luò)推理速度更快。在嵌入式設(shè)備端,推理速度是評價實用性的重要參考指標(biāo),YOLO網(wǎng)絡(luò)中的YOLOv3網(wǎng)絡(luò)與同樣作為Onestage的SSD網(wǎng)絡(luò)準(zhǔn)確率相同,但是其運算速度比SSD網(wǎng)絡(luò)快3倍[8],因此,本文選擇YOLOv3網(wǎng)絡(luò)來設(shè)計剪枝算法。

    剪枝算法分為結(jié)構(gòu)化剪枝算法和非結(jié)構(gòu)化剪枝算法。結(jié)構(gòu)化剪枝算法是通過從深度神經(jīng)網(wǎng)絡(luò)中剪去整個濾波器對網(wǎng)絡(luò)進(jìn)行簡化來減少推理時間。非結(jié)構(gòu)化剪枝是單獨對每一層參數(shù)剪枝,這會造成不規(guī)則內(nèi)存訪問情況,從而降低推理效率。文獻(xiàn)[12]利用二階泰勒公式展開并選擇參數(shù)進(jìn)行剪枝,將剪枝看做正則項來改善訓(xùn)練和泛化能力。文獻(xiàn)[13]根據(jù)神經(jīng)元連接權(quán)值大小修剪訓(xùn)練后網(wǎng)絡(luò)中不重要的連接,以減少網(wǎng)絡(luò)參數(shù)。上述研究均采用非結(jié)構(gòu)化剪枝算法基于單個權(quán)重進(jìn)行剪枝,剪枝后的網(wǎng)絡(luò)需配置專門的軟件或硬件來加速運行。為使剪枝后的網(wǎng)絡(luò)能在普適平臺上運行,文獻(xiàn)[14]引入結(jié)構(gòu)化稀疏性,每個卷積單元根據(jù)其對網(wǎng)絡(luò)在驗證數(shù)據(jù)集上準(zhǔn)確率的影響程度分配分值,通過去除分值低的卷積單元進(jìn)行剪枝,然而該方法耗時較長,僅適用于小模型。文獻(xiàn)[15]通過移除網(wǎng)絡(luò)中權(quán)重值在0附近的濾波器及其連接特征圖來降低計算成本,且無需稀疏卷積庫支持,但當(dāng)網(wǎng)絡(luò)的權(quán)重值的分布非常集中或者權(quán)重值大部分不在0附近時,該方法剪枝效果較差。

    文獻(xiàn)[16]利用批量歸一化(Batch Normalization,BN)層縮放因子γ在訓(xùn)練過程中衡量通道的重要性,去除不重要的通道壓縮模型提升計算速度。在此基礎(chǔ)上,本文提出一種利用參數(shù)子空間和縮放因子的YOLO剪枝算法,使用參數(shù)子空間避免卷積層濾波器權(quán)重剪枝范數(shù)標(biāo)準(zhǔn)差過大,采用雙準(zhǔn)則剪枝策略分別利用卷積層和BN層對YOLOv3網(wǎng)絡(luò)進(jìn)行剪枝。

    1 雙準(zhǔn)則剪枝算法

    剪枝算法的核心思想是尋找一種合適的評價指標(biāo)去除冗余濾波器?,F(xiàn)有剪枝算法大部分基于濾波器范數(shù)的大小,如果濾波器所產(chǎn)生對應(yīng)特征圖的L2范數(shù)接近0,則表明濾波器范數(shù)較小,該特征圖對網(wǎng)絡(luò)貢獻(xiàn)較少,即該濾波器對網(wǎng)絡(luò)的重要性較低。根據(jù)上述原理可對網(wǎng)絡(luò)中濾波器按照重要性排序,并刪除重要性較低的濾波器。該做法的前提是濾波器符合兩個理想條件:1)濾波器范數(shù)標(biāo)準(zhǔn)差較大;2)濾波器最小范數(shù)接近0。但是大部分濾波器不符合上述條件,特別是目標(biāo)檢測網(wǎng)絡(luò)濾波器。為此,本文提出基于參數(shù)子空間和BN層縮放因子雙準(zhǔn)則的剪枝算法,其具體流程如圖1所示。

    圖1 本文剪枝算法流程Fig.1 Procedure of the proposed pruning algorithm

    1.1 基于參數(shù)子空間的剪枝算法

    參數(shù)子空間是采用k均值聚類算法將卷積層濾波器聚類得到的不同子空間,在其中進(jìn)行剪枝可避免濾波器范數(shù)標(biāo)準(zhǔn)差較大以及濾波器最小范數(shù)接近0。k均值聚類算法是一種迭代求解的聚類分析算法,也是基于樣本集合劃分的聚類算法。該算法將樣本集合劃分為k個子集并構(gòu)成k個類,將n個樣本分到k個類中,每個樣本與其所屬類中心的距離最小且僅屬于1個類。k均值聚類算法的復(fù)雜度為O(mnk),m為樣本維數(shù)。k均值聚類算法的步驟為:1)隨機選取k個樣本作為k個類的中心,將樣本逐個指派到與其最近中心的類中,得到1個聚類結(jié)果;2)更新每個類的樣本均值作為新的類中心;3)重復(fù)步驟1和步驟2,直到收斂或符合停止條件(沒有(或最少)樣本被重新分配給不同的聚類、沒有(或最少)聚類中心發(fā)生變化、誤差平方和局部最?。橹?。

    k均值聚類算法以n個樣本集合X為輸入,以樣本集合的聚類C*為輸出,具體過程如下:

    4)如果迭代收斂或者符合停止條件,則輸出C*=C(t);否則令t=t+1,返回步驟2。

    在剪枝過程中,本文使用的YOLOv3網(wǎng)絡(luò)有較多連續(xù)的殘差結(jié)構(gòu),如果對殘差結(jié)構(gòu)的每一層進(jìn)行剪枝,則會造成部分網(wǎng)絡(luò)層的通道數(shù)不同,無法通過捷徑(shortcut)進(jìn)行相加運算,導(dǎo)致網(wǎng)絡(luò)不能正常運行。因此,本文避開殘差結(jié)構(gòu)中相連的卷積層進(jìn)行剪枝,但是這些卷積層參數(shù)量仍會隨著1×1卷積(conv)層通道數(shù)的減少而降低,如圖2和圖3所示。圖2為未剪枝的殘差結(jié)構(gòu),其中第一層參數(shù)量為128×256×1×1+128=32 896,第二層參數(shù)量為256×128×3×3+256=295 168。圖3為已剪枝的殘差結(jié)構(gòu),其中第一層參數(shù)量為37×256×1×1+37=9 509,第二層參數(shù)量為256×37×3×3+256=85 504??梢钥闯觯诒荛_相連卷積層進(jìn)行剪枝后,未剪枝的卷積層參數(shù)量會出現(xiàn)明顯下降,從而簡化算法并減少計算量。

    圖2 未剪枝的殘差結(jié)構(gòu)Fig.2 Residual structure without pruning

    圖3 剪枝后的殘差結(jié)構(gòu)Fig.3 Residual structure after pruning

    選擇非殘差結(jié)構(gòu)需要相加的卷積層,對每個卷積層的濾波器進(jìn)行k均值聚類分析,使用肘部法則確定每個卷積層的k值。k均值聚類是以最小化樣本與質(zhì)點平方距離誤差(loss)作為目標(biāo)函數(shù),若將各簇質(zhì)點與簇內(nèi)樣本點的平方距離誤差和稱為畸變程度,則一個簇的畸變程度越低表明簇內(nèi)結(jié)構(gòu)越緊密,一個簇的畸變程度越高表明簇內(nèi)結(jié)構(gòu)越松散?;兂潭韧ǔkS聚類類別的增加而減小,但對于有一定區(qū)分度的數(shù)據(jù)樣本,在k值達(dá)到某個臨界點時畸變程度將急劇減小,此時聚類性能較好?;诨兂潭鹊淖兓?,YOLOv3不同卷積層可訓(xùn)練不同k均值聚類模型,從而得到每個卷積層最適合的聚類類別數(shù)。圖4和圖5分別表示第63層和第103層卷積層在不同k值下各簇質(zhì)點與簇內(nèi)樣本點的平方距離誤差。

    圖4 第63層卷積層的聚類loss曲線Fig.4 Cluster loss curve of the 63rd convolution layer

    圖5 第103層卷積層的聚類loss曲線Fig.5 Cluster loss curve of the 103rd convolution layer

    由于本文在聚類分析前先將卷積層每個濾波器的權(quán)重進(jìn)行求和,再對求和后的權(quán)重進(jìn)行聚類分析,因此聚類分析針對單層網(wǎng)絡(luò)進(jìn)行,在單層網(wǎng)絡(luò)上使用肘部法則確定k值。使用該方法對每個卷積層用不同k值進(jìn)行聚類分析得到各卷積層聚類結(jié)果。計算卷積層每個聚類類別中濾波器的權(quán)重,將其按照由大到小排序,并根據(jù)一定比例去除權(quán)重較小的濾波器。本文使用基于參數(shù)子空間的方法對單層卷積層進(jìn)行剪枝實驗,剪枝率設(shè)置為50%,采用平均精準(zhǔn)度均值(Mean Average Precision,MAP)作為剪枝效果的評價指標(biāo)。圖6為第63層卷積層在不同k值下MAP的變化,可以看出,當(dāng)k為4時剪枝所得MAP值最大,k=4即為圖4中聚類loss曲線的畸變臨界點。圖7為第103層卷積層在不同k值下MAP的變化,可以看出,當(dāng)k為4時剪枝所得MAP值最大,k為4即為圖5中聚類loss曲線的畸變臨界點。由此可證明,使用肘部法則選出的k值有效。先用k均值聚類再根據(jù)權(quán)重排序進(jìn)行剪枝,可避免濾波器范數(shù)標(biāo)準(zhǔn)差較大以及濾波器最小范數(shù)接近0。

    圖6 第63層卷積層在不同k 值下的MAP變化曲線Fig.6 MAP variation curve of 63rd convolution layer with different k values

    圖7 第103層卷積層在不同k 值下的MAP變化曲線Fig.7 MAP variation curve of 103rd convolution layer with different k values

    1.2 基于BN層縮放因子的剪枝準(zhǔn)則

    由于BN層可有效防止梯度爆炸并加速網(wǎng)絡(luò)收斂,因此其被應(yīng)用于各種卷積層神經(jīng)網(wǎng)絡(luò)中,位于卷積層之后,以對卷積層后的特征圖完成歸一化操作。然而若BN層僅在卷積層后進(jìn)行歸一化,再直接將數(shù)據(jù)送入下一層進(jìn)行卷積計算,則網(wǎng)絡(luò)將無法學(xué)習(xí)輸出的特征分布。由于BN層后有ReLu激活層,若BN層后的特征圖數(shù)據(jù)大部分小于0,那么其經(jīng)過ReLu激活層后將失去大部分特征值,因此,BN層需通過優(yōu)化縮放系數(shù)γ和偏移系數(shù)β對數(shù)據(jù)進(jìn)行歸一化處理,使網(wǎng)絡(luò)能學(xué)習(xí)到輸出的特征分布。

    算法1BN層縮放因子剪枝算法

    在算法1中,μB和分別為輸入的均值和方差。卷積層每個濾波器均會產(chǎn)生1個特征圖,每個特征圖BN層在歸一化時有唯一的縮放系數(shù)γ與其對應(yīng),通過縮放值可選擇冗余的特征圖,再由特征圖選出冗余的濾波器,從而根據(jù)縮放系數(shù)大小來判斷濾波器的重要性。本文利用縮放系數(shù)γ從BN層角度更全面地判斷濾波器的冗余程度。

    1.3 雙準(zhǔn)則融合剪枝

    雙準(zhǔn)則融合剪枝是結(jié)合參數(shù)子空間和BN層縮放因子兩種剪枝算法去除冗余的濾波器以實現(xiàn)最精簡的網(wǎng)絡(luò)結(jié)構(gòu)。參數(shù)子空間剪枝算法是從卷積層角度尋找網(wǎng)絡(luò)中冗余的濾波器,BN層縮放因子剪枝算法是從BN層角度尋找不重要的濾波器,本文將原始YOLOv3網(wǎng)絡(luò)結(jié)構(gòu)通過上述兩種算法進(jìn)行剪枝,以最大化壓縮網(wǎng)絡(luò)。

    算法2雙準(zhǔn)則融合剪枝算法

    雙準(zhǔn)則融合剪枝算法將訓(xùn)練數(shù)據(jù)、原始YOLOv3網(wǎng)絡(luò)結(jié)構(gòu)和初始化權(quán)重以及剪枝率P為輸入,以剪枝后網(wǎng)絡(luò)為輸出,具體過程如下:

    1)原始YOLOv3網(wǎng)絡(luò)在訓(xùn)練數(shù)據(jù)上進(jìn)行訓(xùn)練。

    2)選取可剪枝的網(wǎng)絡(luò)卷積層。

    3)對選取的卷積層運用肘部法則,得到每個卷積層剪枝需要的k值。

    4)對選取的卷積層進(jìn)行聚類操作,得到參數(shù)子空間。

    5)在參數(shù)子空間進(jìn)行權(quán)重排序,根據(jù)剪枝率得到需要刪除的濾波器。

    6)在步驟2后,對每個卷積層的BN層縮放因子進(jìn)行排序,根據(jù)剪枝率得到需去除的濾波器。

    7)將步驟5和步驟6中得到的濾波器求并集。

    8)在步驟2后去除步驟7中的濾波器總和,得到精簡的網(wǎng)絡(luò)結(jié)構(gòu)。

    9)在訓(xùn)練數(shù)據(jù)上對新的網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行微調(diào),得到最終需要的網(wǎng)絡(luò)模型。

    10)若剪枝結(jié)果不理想,則重新選擇剪枝率并返回步驟5。

    在上述過程中,剪枝率由實驗獲得,在保持網(wǎng)絡(luò)精度下結(jié)合參數(shù)子空間和BN層縮放因子兩種剪枝方法可最大限度地壓縮網(wǎng)絡(luò)。

    2 實驗與結(jié)果分析

    將本文提出的基于參數(shù)子空間和BN層縮放因子的雙準(zhǔn)則剪枝算法(以下稱為本文雙準(zhǔn)則剪枝算法)與其他剪枝算法在CIFAR10分類數(shù)據(jù)集上的網(wǎng)絡(luò)精度和浮點計算量進(jìn)行對比,并將參數(shù)子空間剪枝算法、BN層縮放因子剪枝算法和本文雙準(zhǔn)則剪枝算法在YOLOv3網(wǎng)絡(luò)中得到的實驗結(jié)果進(jìn)行對比,以分析本文方法的剪枝性能。

    2.1 不同剪枝算法的對比

    將不同剪枝算法在CIFAR10數(shù)據(jù)集上實驗結(jié)果進(jìn)行對比,如表1所示(“—”表示數(shù)據(jù)不詳,60U40是雙準(zhǔn)則融合剪枝算法的剪枝率,其中60%的剪枝率屬于BN層縮放因子剪枝算法,40%的剪枝率屬于參數(shù)子空間剪枝算法)。可以看出,PF[17]算法的浮點計算量僅減少27.6%,網(wǎng)絡(luò)精度卻下降1.73%,這是因為該算法主要考慮濾波器權(quán)重的絕對值問題,默認(rèn)了權(quán)重分布需遵循濾波器范數(shù)標(biāo)準(zhǔn)差較大以及濾波器最小范數(shù)接近0這兩個條件,對剪枝網(wǎng)絡(luò)和數(shù)據(jù)有一定的限制。CP[18]算法采用LASSO回歸方式選擇剪枝通道,但由于是逐層剪枝,因此剪枝后的網(wǎng)絡(luò)精度下降較多。LCCT[19]算法由于在卷積結(jié)構(gòu)中加入LCCL加速卷積層,增加了訓(xùn)練難度,因此浮點計算量無明顯減少。SFP[20]算法采用動態(tài)剪枝方式,但由于其剪枝策略仍根據(jù)權(quán)重的范數(shù)并保留BN層的偏置系數(shù),因此造成剪枝精度隨機下降。AMFSF[10]算法引入注意力機制進(jìn)行剪枝,并采用范數(shù)計算注意力的重要性,但其會忽略部分剪枝細(xì)節(jié)從而降低網(wǎng)絡(luò)穩(wěn)定性。與其他算法相比,本文雙準(zhǔn)則剪枝算法從權(quán)重和BN層兩個角度進(jìn)行剪枝,在保證剪枝精度基本不變的情況下,其在ResNet56網(wǎng)絡(luò)中浮點計算量減少46.3%,在ResNet110網(wǎng)絡(luò)中浮點計算量減少45.6%。與其他剪枝算法相比,本文雙準(zhǔn)則剪枝算法在分類過程中具有較好的剪枝效果。

    表1 不同剪枝算法在CIFAR10數(shù)據(jù)集上實驗結(jié)果的對比Table 1 Comparison of experimental results of different pruning algorithms on CIFAR10 dataset

    2.2 YOLOv3剪枝效果對比

    本文以Ubuntu18.04軟件為實驗平臺,采用i9-9900K CPU和2080ti顯卡,使用Deer數(shù)據(jù)集,其中訓(xùn)練集有4 367張圖像,測試集有519張圖像。將參數(shù)子空間剪枝算法、BN層縮放因子剪枝算法和本文雙準(zhǔn)則融合剪枝算法在YOLOv3網(wǎng)絡(luò)中不同剪枝率下的剪枝效果進(jìn)行對比,結(jié)果如表2~表4所示(70U40是雙準(zhǔn)則融合剪枝算法的剪枝率,其中70%的剪枝率屬于BN層縮放因子剪枝算法,40%的剪枝率屬于參數(shù)子空間剪枝算法)??梢钥闯觯簠?shù)子空間剪枝算法可去除所選卷積層50%的濾波器,MAP值下降約0.029,計算時間從每張圖像0.010 3 s下降到每張圖像0.008 0 s,網(wǎng)絡(luò)參數(shù)量下降約50%;BN層縮放因子剪枝算法可去除所選卷積層80%的濾波器,MAP值僅下降約0.007,計算時間下降到每張圖像0.007 3 s,網(wǎng)絡(luò)參數(shù)量下降約80%;本文雙準(zhǔn)則剪枝算法的MAP值下降約0.032,計算時間下降到每張圖像0.006 6 s,網(wǎng)絡(luò)參數(shù)量下降約85%。

    表2 YOLOv3網(wǎng)絡(luò)中參數(shù)子空間剪枝算法在不同剪枝率下的實驗結(jié)果Table 2 Experimental results of parameter subspace pruning algorithm in YOLOv3 network at different pruning rates

    表3 YOLOv3網(wǎng)絡(luò)中BN層縮放因子剪枝算法在不同剪枝率下的實驗結(jié)果Table 3 Experimental results of BN layer scaling factor pruning algorithm in YOLOv3 network at different pruning rates

    表4 YOLOv3網(wǎng)絡(luò)中本文雙準(zhǔn)則融合剪枝算法在不同剪枝率下的實驗結(jié)果Table 4 Experimental results of double criteria fusion pruning algorithm in YOLOv3 network at different pruning rates

    3 結(jié)束語

    為保證目標(biāo)檢測YOLOv3網(wǎng)絡(luò)在嵌入式設(shè)備上正常運行,本文提出一種結(jié)合參數(shù)子空間和BN層縮放因子的雙準(zhǔn)則剪枝算法。采用參數(shù)子空間剪枝算法避免權(quán)重分布過于集中,使用BN層縮放因子剪枝算法去除不重要的濾波器,同時利用卷積層和BN層進(jìn)行剪枝以最大化壓縮網(wǎng)絡(luò)。實驗結(jié)果表明,與PF、CP等剪枝算法相比,該算法可保持較高網(wǎng)絡(luò)精度且計算量更少。下一步將對網(wǎng)絡(luò)量化進(jìn)行研究,在保證網(wǎng)絡(luò)精度的同時進(jìn)一步壓縮網(wǎng)絡(luò)并提升計算速度。

    猜你喜歡
    剪枝范數(shù)濾波器
    基于無擾濾波器和AED-ADT的無擾切換控制
    人到晚年宜“剪枝”
    基于YOLOv4-Tiny模型剪枝算法
    從濾波器理解卷積
    電子制作(2019年11期)2019-07-04 00:34:38
    開關(guān)電源EMI濾波器的應(yīng)用方法探討
    電子制作(2018年16期)2018-09-26 03:26:50
    基于加權(quán)核范數(shù)與范數(shù)的魯棒主成分分析
    矩陣酉不變范數(shù)H?lder不等式及其應(yīng)用
    剪枝
    天津詩人(2017年2期)2017-03-16 03:09:39
    基于TMS320C6678的SAR方位向預(yù)濾波器的并行實現(xiàn)
    一類具有準(zhǔn)齊次核的Hilbert型奇異重積分算子的范數(shù)及應(yīng)用
    国产爱豆传媒在线观看| 麻豆久久精品国产亚洲av| 内射极品少妇av片p| 日日摸夜夜添夜夜添小说| 国产色婷婷99| 精品人妻一区二区三区麻豆 | 男女床上黄色一级片免费看| 精品国产三级普通话版| 日韩成人在线观看一区二区三区| 老熟妇仑乱视频hdxx| 久久精品91蜜桃| 免费av不卡在线播放| 亚洲av二区三区四区| 搞女人的毛片| 午夜免费男女啪啪视频观看 | 国产精品一区二区免费欧美| 亚洲第一欧美日韩一区二区三区| 首页视频小说图片口味搜索| 亚洲精品456在线播放app | 亚洲最大成人中文| 久久精品国产综合久久久| 精品久久久久久久人妻蜜臀av| 人妻丰满熟妇av一区二区三区| 亚洲在线观看片| 欧美大码av| 一本精品99久久精品77| 欧美中文综合在线视频| 校园春色视频在线观看| 亚洲成a人片在线一区二区| 熟女人妻精品中文字幕| 亚洲精品影视一区二区三区av| 亚洲av一区综合| 亚洲无线在线观看| a级毛片a级免费在线| 日本免费a在线| 老鸭窝网址在线观看| 日韩有码中文字幕| 亚洲不卡免费看| 国产综合懂色| 欧美日韩亚洲国产一区二区在线观看| 国产亚洲欧美98| 成人鲁丝片一二三区免费| 性欧美人与动物交配| 老司机午夜十八禁免费视频| 免费看a级黄色片| 国产99白浆流出| 老汉色∧v一级毛片| 午夜福利高清视频| 动漫黄色视频在线观看| 不卡一级毛片| 悠悠久久av| 12—13女人毛片做爰片一| 午夜福利高清视频| 亚洲美女黄片视频| 久久精品国产自在天天线| 美女黄网站色视频| 欧美性猛交╳xxx乱大交人| 成人无遮挡网站| 成人鲁丝片一二三区免费| 高潮久久久久久久久久久不卡| 亚洲一区二区三区不卡视频| 国产伦一二天堂av在线观看| 怎么达到女性高潮| 亚洲人成网站在线播| 亚洲欧美精品综合久久99| 免费观看精品视频网站| 中文字幕av在线有码专区| 99久国产av精品| 在线观看日韩欧美| 日韩有码中文字幕| 两人在一起打扑克的视频| 热99re8久久精品国产| 一进一出抽搐动态| 亚洲国产精品成人综合色| 少妇裸体淫交视频免费看高清| 亚洲欧美日韩卡通动漫| 一个人观看的视频www高清免费观看| 91在线精品国自产拍蜜月 | 精品一区二区三区av网在线观看| 中文字幕人妻熟人妻熟丝袜美 | 精品乱码久久久久久99久播| 亚洲av免费在线观看| 国产av不卡久久| 90打野战视频偷拍视频| 日本a在线网址| 色播亚洲综合网| 国产精品久久视频播放| 1024手机看黄色片| 女警被强在线播放| 欧美3d第一页| 久久伊人香网站| 国产高清三级在线| 国产激情偷乱视频一区二区| 一级毛片高清免费大全| 国产伦在线观看视频一区| 国内精品一区二区在线观看| 女同久久另类99精品国产91| 22中文网久久字幕| 免费高清在线观看视频在线观看| 哪个播放器可以免费观看大片| 亚洲欧美成人综合另类久久久| 我的女老师完整版在线观看| 丰满人妻一区二区三区视频av| 国产精品三级大全| 美女xxoo啪啪120秒动态图| 青青草视频在线视频观看| 一个人观看的视频www高清免费观看| 婷婷色综合www| 国产麻豆成人av免费视频| 一级黄片播放器| 蜜桃亚洲精品一区二区三区| 老女人水多毛片| 80岁老熟妇乱子伦牲交| 高清视频免费观看一区二区 | 深爱激情五月婷婷| 国产成人a∨麻豆精品| 美女高潮的动态| 免费黄网站久久成人精品| 熟妇人妻不卡中文字幕| 免费黄网站久久成人精品| 国产成人a区在线观看| 国产伦理片在线播放av一区| 伦理电影大哥的女人| 三级经典国产精品| av在线蜜桃| 国产 一区精品| 日韩三级伦理在线观看| 成人漫画全彩无遮挡| 免费观看无遮挡的男女| av免费观看日本| 免费av毛片视频| 精品久久久久久久久av| 观看美女的网站| 男插女下体视频免费在线播放| 乱系列少妇在线播放| 亚洲国产成人一精品久久久| 观看免费一级毛片| 中文字幕av在线有码专区| 欧美最新免费一区二区三区| 国产免费一级a男人的天堂| 日本午夜av视频| 又粗又硬又长又爽又黄的视频| 日韩成人av中文字幕在线观看| 一区二区三区乱码不卡18| 99热全是精品| 久久精品国产鲁丝片午夜精品| 午夜免费观看性视频| 久久久久久久久久人人人人人人| 精品人妻偷拍中文字幕| 亚洲美女视频黄频| 青春草亚洲视频在线观看| 性色avwww在线观看| 日韩一区二区三区影片| 成人美女网站在线观看视频| 国内精品一区二区在线观看| 国产女主播在线喷水免费视频网站 | 少妇人妻一区二区三区视频| 99久久中文字幕三级久久日本| 亚洲最大成人av| 性插视频无遮挡在线免费观看| 免费黄色在线免费观看| 99久久人妻综合| 18+在线观看网站| 亚洲成人av在线免费| 蜜臀久久99精品久久宅男| 亚洲av男天堂| 欧美性感艳星| 毛片女人毛片| 午夜精品国产一区二区电影 | 最近的中文字幕免费完整| 亚洲精品乱码久久久v下载方式| 国产淫语在线视频| 免费看光身美女| 成人毛片a级毛片在线播放| 国产真实伦视频高清在线观看| 国产一区亚洲一区在线观看| 欧美一区二区亚洲| 在线 av 中文字幕| 晚上一个人看的免费电影| 可以在线观看毛片的网站| 日韩在线高清观看一区二区三区| 99视频精品全部免费 在线| 国产真实伦视频高清在线观看| 国产成人精品婷婷| 国产黄a三级三级三级人| 天美传媒精品一区二区| 99久国产av精品国产电影| 特大巨黑吊av在线直播| 国产伦精品一区二区三区四那| 白带黄色成豆腐渣| 中文字幕av成人在线电影| 免费av毛片视频| 色哟哟·www| 久久韩国三级中文字幕| 在线免费十八禁| 99久久人妻综合| 97超碰精品成人国产| 国产高清不卡午夜福利| 亚洲激情五月婷婷啪啪| 爱豆传媒免费全集在线观看| 天美传媒精品一区二区| 麻豆成人午夜福利视频| 亚洲国产成人一精品久久久| 久久久精品免费免费高清| 欧美xxⅹ黑人| 成年版毛片免费区| 91午夜精品亚洲一区二区三区| av免费在线看不卡| 一级毛片久久久久久久久女| 2021少妇久久久久久久久久久| 成人亚洲精品av一区二区| 亚洲丝袜综合中文字幕| 国内精品一区二区在线观看| 汤姆久久久久久久影院中文字幕 | 国产精品久久视频播放| 久久精品国产亚洲网站| 亚洲三级黄色毛片| 国产精品一区二区三区四区免费观看| 国产乱人视频| 日韩三级伦理在线观看| 六月丁香七月| 干丝袜人妻中文字幕| 久久久精品免费免费高清| 亚洲电影在线观看av| 国产精品国产三级国产av玫瑰| 亚洲欧美日韩卡通动漫| 在线免费十八禁| 中文在线观看免费www的网站| 日韩一区二区视频免费看| 精品熟女少妇av免费看| 久久精品夜夜夜夜夜久久蜜豆| 99九九线精品视频在线观看视频| 国产片特级美女逼逼视频| 老女人水多毛片| www.av在线官网国产| 街头女战士在线观看网站| a级毛片免费高清观看在线播放| 麻豆成人午夜福利视频| 老女人水多毛片| 人人妻人人澡人人爽人人夜夜 | 亚洲国产色片| 国产v大片淫在线免费观看| 国产精品99久久久久久久久| 日韩精品青青久久久久久| 亚洲国产欧美人成| 毛片女人毛片| 亚洲av成人精品一区久久| 美女脱内裤让男人舔精品视频| 国产av在哪里看| 精品久久久久久久久av| 亚洲四区av| 免费黄频网站在线观看国产| 久久久久久久久久久免费av| 亚洲国产精品sss在线观看| 亚洲欧洲日产国产| 好男人在线观看高清免费视频| 老师上课跳d突然被开到最大视频| 内射极品少妇av片p| 国产精品国产三级专区第一集| 亚洲av福利一区| 亚洲欧美清纯卡通| av在线老鸭窝| 精品国产露脸久久av麻豆 | 欧美日韩视频高清一区二区三区二| 亚洲精品第二区| 国产探花在线观看一区二区| 欧美三级亚洲精品| 亚洲怡红院男人天堂| 丝袜美腿在线中文| 亚洲av不卡在线观看| 黄色一级大片看看| 亚洲精品成人久久久久久| 深爱激情五月婷婷| 99热这里只有是精品在线观看| 国产激情偷乱视频一区二区| 边亲边吃奶的免费视频| 国产一区亚洲一区在线观看| 亚洲欧美清纯卡通| 欧美97在线视频| 国产高潮美女av| 亚洲欧洲日产国产| 久久久久网色| 日韩一区二区视频免费看| 国产永久视频网站| 久久久国产一区二区| 水蜜桃什么品种好| 夜夜爽夜夜爽视频| 在线天堂最新版资源| 国产男人的电影天堂91| 亚洲四区av| 老女人水多毛片| 亚洲av日韩在线播放| 天堂√8在线中文| 国产精品熟女久久久久浪| 青春草视频在线免费观看| 国产精品一区二区性色av| 色5月婷婷丁香| 国产毛片a区久久久久| 日韩av不卡免费在线播放| 国产男人的电影天堂91| 成人av在线播放网站| 亚洲三级黄色毛片| 人妻夜夜爽99麻豆av| 日韩大片免费观看网站| 欧美xxxx黑人xx丫x性爽| 最近最新中文字幕大全电影3| 日本免费在线观看一区| 色吧在线观看| 亚洲av免费高清在线观看| 夜夜爽夜夜爽视频| 国产永久视频网站| 欧美精品国产亚洲| 婷婷色综合www| 男女那种视频在线观看| 寂寞人妻少妇视频99o| 亚洲熟妇中文字幕五十中出| 精品一区二区三区视频在线| 男女那种视频在线观看| 免费av不卡在线播放| 人妻夜夜爽99麻豆av| 免费电影在线观看免费观看| 亚州av有码| 国产精品久久视频播放| av黄色大香蕉| 国产黄片美女视频| 99久久精品热视频| 午夜免费激情av| 尤物成人国产欧美一区二区三区| 国产老妇女一区| 美女黄网站色视频| 国产精品嫩草影院av在线观看| 精品一区二区三卡| 精品人妻偷拍中文字幕| 国产国拍精品亚洲av在线观看| 国产精品久久久久久精品电影小说 | 成年版毛片免费区| 亚洲怡红院男人天堂| 国产精品久久视频播放| 免费黄频网站在线观看国产| 亚洲av日韩在线播放| 一级a做视频免费观看| 又爽又黄无遮挡网站| 三级男女做爰猛烈吃奶摸视频| 国产精品国产三级国产av玫瑰| 久久国内精品自在自线图片| 成人综合一区亚洲| ponron亚洲| 国产精品爽爽va在线观看网站| 欧美成人精品欧美一级黄| 成人高潮视频无遮挡免费网站| 精品国产三级普通话版| 麻豆成人午夜福利视频| 人妻一区二区av| 久久久久精品久久久久真实原创| 97热精品久久久久久| 精品久久久噜噜| 免费看a级黄色片| 日韩av在线大香蕉| 极品少妇高潮喷水抽搐| 欧美xxⅹ黑人| 一级a做视频免费观看| a级毛色黄片| 久久久久久久久久久免费av| 国产精品国产三级国产av玫瑰| 国产片特级美女逼逼视频| 国产探花在线观看一区二区| 亚洲av国产av综合av卡| 噜噜噜噜噜久久久久久91| 久久久久久久大尺度免费视频| 久久久久久久久久人人人人人人| 九色成人免费人妻av| 青春草国产在线视频| 人人妻人人澡人人爽人人夜夜 | 国产一区二区三区av在线| 欧美一级a爱片免费观看看| 老司机影院成人| 国产一区二区亚洲精品在线观看| 身体一侧抽搐| 国产午夜精品论理片| 2022亚洲国产成人精品| 少妇猛男粗大的猛烈进出视频 | 尤物成人国产欧美一区二区三区| 日韩欧美 国产精品| 18禁在线播放成人免费| 国产91av在线免费观看| 国产免费福利视频在线观看| 免费大片18禁| 亚洲天堂国产精品一区在线| 22中文网久久字幕| 久久精品久久精品一区二区三区| 真实男女啪啪啪动态图| 亚洲真实伦在线观看| av卡一久久| 99热这里只有是精品50| 亚洲欧美日韩无卡精品| 欧美成人一区二区免费高清观看| 国产大屁股一区二区在线视频| 亚洲激情五月婷婷啪啪| 天美传媒精品一区二区| 日日啪夜夜爽| 亚洲精品乱码久久久久久按摩| 欧美激情在线99| 国产欧美日韩精品一区二区| 久久精品久久久久久噜噜老黄| 精品一区二区三区视频在线| 久久精品国产亚洲av涩爱| 黑人高潮一二区| 亚洲精品456在线播放app| 欧美日韩一区二区视频在线观看视频在线 | 中文字幕制服av| 国产高潮美女av| 两个人视频免费观看高清| 大又大粗又爽又黄少妇毛片口| 91aial.com中文字幕在线观看| 午夜福利视频1000在线观看| 久久久欧美国产精品| 日日撸夜夜添| 建设人人有责人人尽责人人享有的 | 尾随美女入室| 美女大奶头视频| 亚洲国产精品成人久久小说| 精品少妇黑人巨大在线播放| 日韩欧美三级三区| 久久久久性生活片| 国产一区有黄有色的免费视频 | 久久久久久久久大av| 简卡轻食公司| 色综合色国产| 色哟哟·www| 别揉我奶头 嗯啊视频| 久久久久久九九精品二区国产| 女人十人毛片免费观看3o分钟| 大又大粗又爽又黄少妇毛片口| 少妇人妻一区二区三区视频| 禁无遮挡网站| 欧美日本视频| 亚洲国产av新网站| 日韩成人av中文字幕在线观看| 成人鲁丝片一二三区免费| av在线亚洲专区| 男人舔奶头视频| 美女cb高潮喷水在线观看| 久久久久久久久久成人| 久久久久久伊人网av| 美女高潮的动态| 国产av码专区亚洲av| 乱人视频在线观看| 啦啦啦韩国在线观看视频| 久久国产乱子免费精品| 国产片特级美女逼逼视频| 国产精品不卡视频一区二区| 亚洲伊人久久精品综合| 天堂俺去俺来也www色官网 | 精品人妻视频免费看| 春色校园在线视频观看| 久久久久免费精品人妻一区二区| 一级片'在线观看视频| 亚洲不卡免费看| 国产黄频视频在线观看| 一本久久精品| 人妻制服诱惑在线中文字幕| 久久精品综合一区二区三区| 精品久久久久久久久久久久久| 亚洲欧美精品自产自拍| 精品午夜福利在线看| 欧美日韩亚洲高清精品| 日韩av不卡免费在线播放| 毛片女人毛片| 黄色日韩在线| 日本爱情动作片www.在线观看| 精品久久久久久久人妻蜜臀av| 国产 亚洲一区二区三区 | 麻豆精品久久久久久蜜桃| 亚洲第一区二区三区不卡| 天天躁日日操中文字幕| 91精品一卡2卡3卡4卡| 男女边吃奶边做爰视频| 亚洲在线自拍视频| 日韩中字成人| 国产中年淑女户外野战色| 日本-黄色视频高清免费观看| 日本av手机在线免费观看| 18+在线观看网站| 国产av不卡久久| 亚洲国产精品国产精品| 精华霜和精华液先用哪个| 国产黄色视频一区二区在线观看| 三级男女做爰猛烈吃奶摸视频| 日本爱情动作片www.在线观看| 亚洲人成网站在线观看播放| 亚洲国产欧美在线一区| 久久久久久久久久久丰满| 欧美日韩在线观看h| 三级毛片av免费| 亚洲电影在线观看av| 天天躁日日操中文字幕| 亚洲最大成人中文| 久久久精品94久久精品| 亚洲图色成人| 深夜a级毛片| 日韩 亚洲 欧美在线| 天堂中文最新版在线下载 | 男女下面进入的视频免费午夜| 少妇人妻精品综合一区二区| 在线天堂最新版资源| 女人十人毛片免费观看3o分钟| 亚洲欧美成人精品一区二区| 五月玫瑰六月丁香| 伊人久久国产一区二区| av免费观看日本| 久久99热6这里只有精品| 91午夜精品亚洲一区二区三区| 国语对白做爰xxxⅹ性视频网站| 国产成人一区二区在线| or卡值多少钱| 欧美97在线视频| 亚洲精品色激情综合| 国产91av在线免费观看| 2022亚洲国产成人精品| 人妻少妇偷人精品九色| 在线天堂最新版资源| 久久午夜福利片| 黄色配什么色好看| 国产精品精品国产色婷婷| 亚洲人成网站在线观看播放| 又粗又硬又长又爽又黄的视频| 国产综合懂色| 国产一区二区在线观看日韩| 又爽又黄无遮挡网站| 蜜臀久久99精品久久宅男| 国产美女午夜福利| 午夜福利网站1000一区二区三区| 亚洲最大成人手机在线| 国产白丝娇喘喷水9色精品| 久久精品久久精品一区二区三区| 欧美日本视频| 久久久久久久午夜电影| 国产日韩欧美在线精品| 99热网站在线观看| 99久久人妻综合| 草草在线视频免费看| 欧美高清性xxxxhd video| 欧美bdsm另类| 如何舔出高潮| 97人妻精品一区二区三区麻豆| 国产69精品久久久久777片| 亚洲真实伦在线观看| 在线免费观看不下载黄p国产| 国产永久视频网站| 最近2019中文字幕mv第一页| 久久热精品热| 简卡轻食公司| 男的添女的下面高潮视频| 午夜爱爱视频在线播放| 22中文网久久字幕| 水蜜桃什么品种好| 国产乱人视频| 免费在线观看成人毛片| 亚洲av中文av极速乱| 韩国av在线不卡| 午夜日本视频在线| 少妇人妻精品综合一区二区| 国产永久视频网站| 成年人午夜在线观看视频 | 国产欧美另类精品又又久久亚洲欧美| 久久久a久久爽久久v久久| 亚洲av男天堂| 国产一区有黄有色的免费视频 | 亚洲国产最新在线播放| 欧美日韩综合久久久久久| videossex国产| 久久久久久久久久人人人人人人| 一级毛片我不卡| 人体艺术视频欧美日本| 美女cb高潮喷水在线观看| 亚洲欧美一区二区三区黑人 | 亚洲精品久久午夜乱码| 国内精品一区二区在线观看| 色播亚洲综合网| 免费av不卡在线播放| 午夜老司机福利剧场| 精品熟女少妇av免费看| 国产精品熟女久久久久浪| 欧美精品一区二区大全| 国产中年淑女户外野战色| 亚洲真实伦在线观看| 麻豆av噜噜一区二区三区| av免费观看日本| 亚洲图色成人| 国产 亚洲一区二区三区 | 老师上课跳d突然被开到最大视频| 国产精品一及| 大又大粗又爽又黄少妇毛片口| 一级毛片电影观看| 亚洲,欧美,日韩| 成人午夜高清在线视频| 亚洲av二区三区四区| 插阴视频在线观看视频| 身体一侧抽搐| 97精品久久久久久久久久精品| 只有这里有精品99| 91精品国产九色| 热99在线观看视频| 国产成人a区在线观看| 97在线视频观看| 国产午夜精品论理片| 一个人免费在线观看电影| 女人久久www免费人成看片| 亚洲欧美清纯卡通| 日韩人妻高清精品专区| 国产精品一二三区在线看| 亚洲成人精品中文字幕电影| 亚洲av不卡在线观看| 免费av毛片视频| 亚洲丝袜综合中文字幕|