• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于遷移學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)通道剪枝

    2021-12-18 01:18:56馮敬翔
    計(jì)算機(jī)與現(xiàn)代化 2021年12期
    關(guān)鍵詞:剪枝卷積閾值

    馮敬翔

    (華北計(jì)算技術(shù)研究所,北京 100083)

    0 引 言

    自2012年AlexNet在ILSVRC挑戰(zhàn)賽中奪冠后,卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network)在視覺領(lǐng)域的單目標(biāo)檢測、多分類識別、視頻目標(biāo)檢測、圖像分割[1]等領(lǐng)域受到廣泛應(yīng)用,此后其發(fā)展總體趨勢向著網(wǎng)絡(luò)層級更深、參數(shù)規(guī)模更大的方向行進(jìn)。隨著智能應(yīng)用在邊緣端部署需求的擴(kuò)張,邊緣設(shè)備存儲空間、內(nèi)存大小、運(yùn)行功耗、實(shí)時(shí)性對于計(jì)算性能的限制,已經(jīng)成為卷積神經(jīng)網(wǎng)絡(luò)在邊緣端的實(shí)際部署瓶頸。為了能顯著縮減模型占用的資源和計(jì)算開銷,卷積神經(jīng)網(wǎng)絡(luò)壓縮相關(guān)算法的需求變得日益迫切。

    本文提出基于遷移學(xué)習(xí)方法來改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)稀疏化過程,探究針對基于BN層縮放因子的通道剪枝能否據(jù)此獲得更高的剪枝閾值,對其剪枝效果與迭代收斂性進(jìn)行研究驗(yàn)證,并從結(jié)構(gòu)搜索的觀點(diǎn)對實(shí)驗(yàn)結(jié)果進(jìn)行解釋。主要工作如下:

    1)從多分類大數(shù)據(jù)集向小數(shù)據(jù)集實(shí)現(xiàn)遷移,對比加載預(yù)訓(xùn)練權(quán)重初始化重新訓(xùn)練、與凍結(jié)部分卷積層參數(shù)微調(diào)對稀疏化效果產(chǎn)生的影響。

    2)對稀疏化后的通道按權(quán)重排序并剪枝,考察通道剪枝閾值選取容限,測試新形成網(wǎng)絡(luò)結(jié)構(gòu)的精度保持情況。

    3)進(jìn)一步地,利用迭代剪枝方法,探究模型精度保持極限與結(jié)構(gòu)收斂性。從而證明,遷移學(xué)習(xí)更易實(shí)現(xiàn)充分的權(quán)值稀疏化,利于剪枝迭代快速趨近至該搜索空間的一個網(wǎng)絡(luò)結(jié)構(gòu)局部最優(yōu)解。

    1 相關(guān)工作

    1.1 卷積神經(jīng)網(wǎng)絡(luò)剪枝

    卷積神經(jīng)網(wǎng)絡(luò)強(qiáng)大的特征采樣性能來自于大量的參數(shù)和復(fù)雜的多層結(jié)構(gòu),現(xiàn)代卷積神經(jīng)網(wǎng)絡(luò)也都多在經(jīng)典結(jié)構(gòu)上加深加寬來提高精度。如VGG[2]在AlexNet[3]的基礎(chǔ)上,將層數(shù)從8層增加到19層;GoogLeNet[4]增加到22層,采用模塊化(Inception結(jié)構(gòu))設(shè)計(jì),并采用平均池化(average pooling)代替了全連接;ResNet[5]則通過使用多個有參層來學(xué)習(xí)輸入輸出之間的殘差表示來取代一般輸入,維持深度增加對于準(zhǔn)確率的正收益,深度也從標(biāo)準(zhǔn)的152層甚至發(fā)展到上千層。

    如圖1所示,傳統(tǒng)剪枝方法分為baseline訓(xùn)練、剪枝、微調(diào)3個步驟。從剪枝粒度上,可分為非結(jié)構(gòu)化剪枝[6](unstructured pruning)和結(jié)構(gòu)化剪枝(structured pruning)這2大類。非結(jié)構(gòu)化剪枝即直接修剪單體權(quán)重(individual weights),形成的權(quán)重矩陣是稀疏的,不易實(shí)現(xiàn)通用易部署的壓縮和加速效果;結(jié)構(gòu)化剪枝是針對卷積核(filter)[7]、通道(channel)[8-9]或是層(layer)[10]進(jìn)行剪枝。卷積核剪枝工作方向上,文獻(xiàn)[11]改進(jìn)了基于卷積核權(quán)重排序進(jìn)行剪枝的策略,采用卷積核的正則項(xiàng)L1絕對值之和作為剪枝權(quán)重;層剪枝需要對完整的層級進(jìn)行裁剪,靈活性較差,精度風(fēng)險(xiǎn)較高,一般用于裁剪比較深的網(wǎng)絡(luò)結(jié)構(gòu)[12];通道剪枝是當(dāng)前結(jié)構(gòu)化剪枝方法中,研究最多、工程應(yīng)用最廣的。其運(yùn)行粒度較細(xì),適合傳統(tǒng)的機(jī)器學(xué)習(xí)框架,原模型結(jié)構(gòu)保留較好。

    圖1 傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)剪枝過程示意圖

    1.2 剪枝與網(wǎng)絡(luò)結(jié)構(gòu)搜索研究

    模型剪枝此前長期被認(rèn)為是去掉神經(jīng)網(wǎng)絡(luò)中對推理預(yù)測結(jié)果貢獻(xiàn)較低的參數(shù),降低通道和神經(jīng)元的數(shù)量,以達(dá)到縮減模型體積、降低存儲計(jì)算成本的目的[13]。近年來隨著相關(guān)領(lǐng)域理解加深,剪枝被重新認(rèn)知為一種網(wǎng)絡(luò)結(jié)構(gòu)搜索[14](Neural Architecture Search, NAS)行為,即通過剪枝發(fā)現(xiàn)一個高效的網(wǎng)絡(luò)結(jié)構(gòu),其針對目標(biāo)數(shù)據(jù)集表現(xiàn)得更好[15]。相關(guān)推論來自于對一些剪枝后得到的模型結(jié)構(gòu)初始化重訓(xùn)(train-from-scratch),其效果未必比微調(diào)(finetune)后的結(jié)果差[11,14]。在引入了優(yōu)化算法理論與流形學(xué)習(xí)(Manifold Learning)觀點(diǎn)后,NAS工作方向得以擴(kuò)充,不僅認(rèn)為剪枝模型結(jié)構(gòu)與參數(shù)確實(shí)存在解耦可能,同時(shí)探討了剪枝同結(jié)構(gòu)重訓(xùn)收斂速度差異與精度差異的產(chǎn)生原因[15-16]。文獻(xiàn)[17]將差異主要因素歸因?yàn)槌跏蓟鸬乃阉鞣较蚴諗坎町?,并提出了迭代中?quán)重多次初始化以糾正空間搜索趨向的方法;而文獻(xiàn)[18]作為對前者的后續(xù)研究,提出權(quán)重采用掩模(mask)部分初始化可能取得更好的效果,以證明剪枝得到的mask結(jié)構(gòu)本身具有一定的信息量,側(cè)面支持了NAS觀點(diǎn)的相關(guān)結(jié)論。此后工作則認(rèn)為,剪枝結(jié)構(gòu)再還原的性能差異可能來源于稀疏性(sparsity)、結(jié)構(gòu)化與否、模型復(fù)雜度、學(xué)習(xí)率設(shè)定等多個維度的原因[19],而后大量實(shí)驗(yàn)工作證明有一定稀疏度的結(jié)構(gòu)化剪枝,其產(chǎn)生的結(jié)構(gòu)重訓(xùn)是普遍可以還原精度的[20]。

    2 基于遷移學(xué)習(xí)的BN層縮放通道剪枝策略

    2.1 BN層縮放因子閾值通道剪枝

    為了探究遷移學(xué)習(xí)是否對稀疏化工作存在正向影響,本文采用一種泛用性強(qiáng)、易復(fù)現(xiàn)的剪枝方案,即引入BN層(Batch Normalization)尺度因子作為通道裁剪依據(jù)。在每個通道中加入一個縮放因子,與通道輸出相乘。統(tǒng)一初始化后,對BN層的縮放因子添加L1正則項(xiàng),通過聯(lián)合訓(xùn)練以實(shí)現(xiàn)因子稀疏化,然后在保證shortcut層級前后維度一致的前提下,按設(shè)定的閾值剪去縮放因子較小的通道。根據(jù)剪掉的通道,再統(tǒng)一剪去失去作用的卷積核并重構(gòu)全連接層,以形成新的模型結(jié)構(gòu)。

    引入縮放因子并初始化、重訓(xùn)、閾值剪枝的流程如圖2所示。

    圖2 BN通道剪枝過程中基于縮放因子篩選通道模型圖

    引入BN層通道因子后的損失函數(shù)如下:

    (1)

    其中,(x,y)代表訓(xùn)練數(shù)據(jù)和標(biāo)簽,W代表參數(shù)。前半部分是CNN原本的損失函數(shù),后半部分是引入的懲罰項(xiàng),λ是稀疏化因子用以平衡2項(xiàng)。

    而BN層激活值的均值和方差計(jì)算如下:

    (2)

    (3)

    則BN層輸出的計(jì)算過程可以表示為:

    (4)

    (5)

    其中的γ和β都是可以訓(xùn)練的BN層線性變換參數(shù)。選擇因數(shù)項(xiàng)作為縮放因子則既可以保持縮放效果不會被卷積層簡單學(xué)習(xí)直接恢復(fù),又不過度影響模型結(jié)構(gòu)。

    2.2 基于遷移學(xué)習(xí)的模型稀疏化

    前述引入g(γ)項(xiàng)的目的是在不影響L的可導(dǎo)性的前提下實(shí)現(xiàn)縮放因子稀疏化,g(γ)函數(shù)是縮放因子上的誘導(dǎo)懲罰項(xiàng),通過使用形如下式的L1正則化:

    (6)

    縮放因子分布的稀疏性(sparsity)將直接影響剪枝閾值的確定,即決定了通道剪枝可剪容限與精度保存能力。引入L1正則項(xiàng)形式的懲罰因子后,BN層引入的尺度因子將根據(jù)懲罰系數(shù)λ值不同程度向0趨近,其分布形式也會因λ值的選擇而不同。剪去縮放因子近似為0所對應(yīng)的輸出通道被認(rèn)為對模型精度傷害較小,因此希望剪枝時(shí)有更多的縮放因子集中在0附近。圖3為BN層縮放因子稀疏化前后、充分與否分布示意圖。

    圖3 BN層縮放因子稀疏化前后、充分與否分布示意圖

    剪枝過程中發(fā)現(xiàn),懲罰值λ依賴于人工選取,λ設(shè)置過小會使得稀疏化不充分而影響剪枝性能;λ過大會影響稀疏化后模型收斂與精度恢復(fù)。但是單純的更換λ值對于稀疏化效果的提升終究有限,相關(guān)工作也表明,數(shù)據(jù)集與模型復(fù)雜度確定,參數(shù)一旦訓(xùn)練形成可能就存在稀疏化能力的上限[19]。故而,在此嘗試?yán)眠w移學(xué)習(xí)方法形成其本身就更適合稀疏化的權(quán)重。

    同時(shí)使用遷移可能伴隨著其他收益。在訓(xùn)練過程中,懲罰項(xiàng)不可避免地將對精度的收斂造成負(fù)面影響,直至后續(xù)訓(xùn)練過程將正則化效果迭代平衡。所以總體精度趨勢會表現(xiàn)為先向下,后震蕩,再回升至最終收斂。

    本文在此嘗試引入遷移訓(xùn)練,對模型稀疏化過程產(chǎn)生一系列正面影響:

    1)精度起點(diǎn)更高。源模型的初始性能相對直接初始化重訓(xùn)好。

    2)精度回升更充分。模型稀疏化前后對于精度的影響更小。

    3)最終稀疏化程度高。稀疏訓(xùn)練收斂后縮放因子分布更向0集中。

    實(shí)驗(yàn)方法基于由多分類的大數(shù)據(jù)集向單目標(biāo)識別的小數(shù)據(jù)集遷移。對數(shù)據(jù)域D與任務(wù)T都不同的情況遷移存在一定風(fēng)險(xiǎn),遷移方法根據(jù)遷移目標(biāo)數(shù)據(jù)集與任務(wù)而異。

    如圖4,通過凍結(jié)源數(shù)據(jù)域(source domain)預(yù)訓(xùn)練模型的部分卷積層,訓(xùn)練剩下的卷積層與全連接層形成在目標(biāo)數(shù)據(jù)域(target domain)新任務(wù)的識別能力。遷移所凍結(jié)的卷積層數(shù)量不僅取決于模型結(jié)構(gòu),還依賴于源數(shù)據(jù)域與目標(biāo)域具體內(nèi)容。如果凍結(jié)全部卷積層后模型效果不佳,嘗試解鎖更多的卷積層,或只使用預(yù)訓(xùn)練模型參數(shù)作為初始值直接進(jìn)行重訓(xùn)。

    圖4 不同層級遷移方法網(wǎng)絡(luò)各層參數(shù)處理示意圖

    為了保證遷移后微調(diào)(finetune)效果,在此同時(shí)使用warm-up策略對初期學(xué)習(xí)率進(jìn)行調(diào)整,即初始學(xué)習(xí)率非常低,在前幾個epoch內(nèi)快速升高,然后在較長的迭代過程中逐漸下降。主要用于避免微調(diào)過程中初始學(xué)習(xí)率過大形成錯誤先驗(yàn),造成提前過擬合現(xiàn)象,以保持分布平穩(wěn)[21]。當(dāng)使用梯度下降法以學(xué)習(xí)率η在源數(shù)據(jù)集訓(xùn)練k次時(shí)的權(quán)重變化情況為:

    (7)

    遷移后對于目標(biāo)數(shù)據(jù)集進(jìn)行微調(diào)權(quán)重更新為:

    (8)

    3 實(shí)驗(yàn)與分析

    3.1 數(shù)據(jù)域介紹

    源數(shù)據(jù)域選自COCO數(shù)據(jù)集,COCO數(shù)據(jù)集全稱為Microsoft Common Objects in Context,最早由微軟進(jìn)行標(biāo)注整理,是當(dāng)前目標(biāo)識別、檢測等領(lǐng)域的一個較為權(quán)威可靠的多分類數(shù)據(jù)集,包含超過20萬張圖像。其中YOLOv3選用的80個類別當(dāng)中有超過50萬個目標(biāo)標(biāo)注,是最廣泛公開的目標(biāo)檢測數(shù)據(jù)庫,包括person、bicycle、bus、train、cat等。

    目標(biāo)數(shù)據(jù)域是Oxford的綜合人手?jǐn)?shù)據(jù)集,包含了4807張手部訓(xùn)練數(shù)圖像和821張測試圖像,總共標(biāo)注了13000余個手部實(shí)例。每張圖像標(biāo)注了所有人類可感知到的所有手,單個手部實(shí)例超過1500平方像素以保證可檢測訓(xùn)練。標(biāo)注以矩形坐標(biāo)邊界形式記錄,對人的姿勢或可見度與環(huán)境因素沒有任何限制[23]。

    3.2 迭代剪枝結(jié)構(gòu)搜索過程設(shè)計(jì)

    基于前述網(wǎng)絡(luò)結(jié)構(gòu)搜索(NAS)工作方向的觀點(diǎn),本文對YOLOv3網(wǎng)絡(luò)進(jìn)行剪枝壓縮,其過程如圖5所示,本文將其描述為一類優(yōu)化算法(Optimizer)過程。

    圖5 引入遷移策略的網(wǎng)絡(luò)空間結(jié)構(gòu)局部最優(yōu)解搜索過程

    實(shí)驗(yàn)設(shè)計(jì)利用本文提出引入的遷移策略形成NAS過程的不同初始化,一次通道剪枝過程可視為尋優(yōu)過程中的單次迭代,其迭代步長則直接由單次通道剪枝的閾值大小決定,即驗(yàn)證能否通過遷移并稀疏化形成不同的初始化狀態(tài),其在相同的迭代方向上是否可以收斂至一個相比直接訓(xùn)練剪枝潛能更好的局部最優(yōu)(local optimal)結(jié)構(gòu)。

    3.3 實(shí)驗(yàn)結(jié)果

    實(shí)驗(yàn)第一部分是比較使用2種遷移方案并測試稀疏化效果:1)加載yolov3.weight作為預(yù)訓(xùn)練權(quán)重,重新訓(xùn)練模型再進(jìn)行稀疏化,模型記為Retrain。2)凍結(jié)來自COCO數(shù)據(jù)集的全部卷積層權(quán)重,根據(jù)其精度回升與收斂情況微調(diào)并稀疏化,模型記為Frozen。兩者擬采用同樣的稀疏化懲罰值λ,暫取λ=0.001。訓(xùn)練和稀疏化epoch=300,受設(shè)備限制batch size=8。

    由表1可知,參數(shù)遷移程度比較高的Frozen方法對精度造成了輕微損害,但仍在可接受范圍內(nèi)。表2和表3給出了對Retrain方法不同閾值剪枝的測試結(jié)果。

    表1 不同層級遷移方法稀疏化后精度保持情況

    表2 λ=0.001下Retrain方法稀疏化后剪枝結(jié)果

    實(shí)驗(yàn)中,Retrain方法在未經(jīng)過微調(diào)時(shí),要求剪去65%的參數(shù)時(shí)即已經(jīng)發(fā)生了較大精度損害,閾值增大到70%時(shí)已經(jīng)完全失去識別能力。據(jù)此認(rèn)為當(dāng)前λ=0.001的懲罰值已經(jīng)不能對當(dāng)前模型實(shí)現(xiàn)充分稀疏化;表3中,當(dāng)增大稀疏化因子到λ=0.005時(shí),剪枝閾值范圍得以提高到較好水平:

    表3 λ=0.005下Retrain方法稀疏化后較好剪枝結(jié)果

    實(shí)驗(yàn)發(fā)現(xiàn),后續(xù)即使再調(diào)整λ參數(shù)也很難在保持精度的同時(shí)再提高剪枝閾值,基本可以認(rèn)為近似達(dá)到了當(dāng)前方法對模型參數(shù)的剪枝能力上限。然后考察Frozen的剪枝性能。

    從表4的結(jié)果觀察到,F(xiàn)rozen方法模型可剪去的參數(shù)量非常大,即Frozen方法在λ=0.001下已經(jīng)形成了非常強(qiáng)大的稀疏性,本文在保留網(wǎng)絡(luò)層級連接性的前提下,避免剪掉通道最高閾值,剪去約97.1%的參數(shù)時(shí)仍能保持精度。

    表4 λ=0.001下Frozen方法稀疏化后剪枝結(jié)果

    3.4 迭代剪枝收斂性驗(yàn)證

    實(shí)驗(yàn)第二部分將按照前述流程進(jìn)行迭代剪枝性能驗(yàn)證。本文采用閾值0.8為步長進(jìn)行剪枝迭代,并在第一次迭代后按λ=0.001的懲罰值稀疏化重訓(xùn)300 epoch,再做第二次閾值為0.8的剪枝迭代。

    表5中第二次剪枝迭代之后出現(xiàn)了一定的精度損害。為了保證精度恢復(fù)到正常水平,在此進(jìn)行了一次微調(diào),放到原始數(shù)據(jù)中訓(xùn)練100 epoch使精度回升。此時(shí)相比單次閾值剪枝極限參數(shù)量(676萬)又壓縮了不到1%,此后再迭代有較大精度風(fēng)險(xiǎn),而且在保留通道最高的閾值基礎(chǔ)上已經(jīng)很難繼續(xù)壓縮(再以較大精度損失仍可壓縮不超過2%),可以認(rèn)為至此已經(jīng)接近了迭代極限,且和單次剪枝收斂于近似同一個結(jié)構(gòu)最優(yōu)解。

    表5 Frozen方法迭代剪枝各步驟實(shí)驗(yàn)結(jié)果

    基于NAS過程觀點(diǎn),形成以下2個推論以解釋其收斂過程:

    1)在保持精度的前提下,迭代剪枝不能再輕易壓縮參數(shù)量時(shí),則可以證明當(dāng)前剪型趨近于模型結(jié)構(gòu)搜索空間中的一個局部結(jié)構(gòu)最優(yōu)解。

    2)模型收斂于同樣的局部最優(yōu)解所需輪次越少,證明搜索起點(diǎn)與尋優(yōu)方向越高效,即模型有效參量更少,稀疏化越充分。

    至此,可以認(rèn)定Frozen遷移方法確實(shí)能夠形成強(qiáng)稀疏性,剪枝所形成的結(jié)構(gòu)是對于這一數(shù)據(jù)集與任務(wù)域相對高效的結(jié)構(gòu)。基于遷移方法的稀疏化策略大大提高了通道剪枝的可行閾值,提供了良好的結(jié)構(gòu)搜索起點(diǎn),使其可以更快地收斂于網(wǎng)絡(luò)結(jié)構(gòu)搜索空間中的一個局部最優(yōu)解。

    3.5 橫向?qū)Ρ绕渌ǖ兰糁λ惴?/h3>

    在此,將本文利用遷移方法改進(jìn)后的BN通道剪枝方法與2種針對YOLOv3的閾值通道剪枝策略進(jìn)行對比。本文方法仍然記為Frozen。

    第一種對設(shè)計(jì)shortcut的卷積層也進(jìn)行了剪枝,剪枝采用每組shortcut中第一個卷積層的mask,使用5種mask實(shí)現(xiàn)5組shortcut相關(guān)卷積層剪枝,表6中記為Shortcut_mask;第二種用全局閾值篩選出各個卷積層的mask,再對mask取并集,歸并后再進(jìn)行剪枝,此方法相對激進(jìn),但在這個任務(wù)域上同樣表現(xiàn)良好,不同剪枝閾值記為Shortcut_merge_0.9和Shortcut_merge_0.95。

    表6 本文方法與其他閾值通道剪枝改進(jìn)方法對比

    可以看到本文使用遷移改進(jìn)基礎(chǔ)BN通道剪枝策略后,和一些針對性更強(qiáng)的剪枝方法相比依然有競爭力,在大體相當(dāng)?shù)木确秶鷥?nèi)壓縮率較為可觀。

    3.6 多數(shù)據(jù)集驗(yàn)證

    在充分驗(yàn)證遷移方法對于Oxford手部圖像數(shù)據(jù)集的權(quán)重稀疏化、剪枝閾值選取的改進(jìn)效果后,本文用同樣的方法對一些其他數(shù)據(jù)集進(jìn)行剪枝調(diào)試,并開啟混合精度來加速訓(xùn)練。

    驗(yàn)證的數(shù)據(jù)集包括,VOC 2012目標(biāo)檢測數(shù)據(jù)集,包含11530張圖片,來自20個分類;VisDrone無人機(jī)目標(biāo)檢測數(shù)據(jù)集,包含10209張靜態(tài)圖片,包含多個城市復(fù)雜環(huán)境在不同密度下的街景物體識別,檢測難度較高。表7為驗(yàn)證結(jié)果。

    表7 本文方法在其他數(shù)據(jù)集上驗(yàn)證結(jié)果

    3.7 實(shí)驗(yàn)結(jié)果分析

    本節(jié)針對實(shí)驗(yàn)結(jié)果成因進(jìn)行分析。通道剪枝存在一個基本假設(shè):BN層引入的縮放因子,能有效衡量通道輸出對于最終識別精度的貢獻(xiàn)度,剪去的參數(shù)是模型在目標(biāo)數(shù)據(jù)上低貢獻(xiàn)度的一種冗余(redundancy),即卷積神經(jīng)網(wǎng)絡(luò)的過參數(shù)化[24]。遷移方法本身是利用源域與目標(biāo)域之間的關(guān)聯(lián)性,把源域?qū)W到的知識遷移到目標(biāo)任務(wù)域或數(shù)據(jù)集[25]。實(shí)驗(yàn)從大而復(fù)雜的多分類數(shù)據(jù)集向小數(shù)據(jù)集遷移,所凍結(jié)的淺層權(quán)重是更加泛化(generalize)的輪廓、紋理特征采樣,微調(diào)并重新形成全連接層時(shí)對其中一部分顯然低相關(guān)的特征利用率較低,權(quán)重貢獻(xiàn)相比重新訓(xùn)練集中得多。此后的稀疏化過程利用了這一特性,正則項(xiàng)更容易使大部分的低貢獻(xiàn)特征受到懲罰并最終收斂到0附近,從而大大提升稀疏化效果,顯著提高通道剪枝閾值,實(shí)現(xiàn)更高的壓縮率。

    4 結(jié)束語

    在通道剪枝的研究方向上,本文嘗試用改變網(wǎng)絡(luò)結(jié)構(gòu)搜索初始化策略的方式,區(qū)別于對其尋優(yōu)迭代單步搜索優(yōu)化的方案,以引導(dǎo)其收斂于一個更易于剝離網(wǎng)絡(luò)中低效參數(shù)的局部最優(yōu)解。本文通過向基于BN層縮放因子的通道剪枝引入遷移學(xué)習(xí)方法,并對比了不同層級遷移策略對通道剪枝壓縮性能的影響。數(shù)據(jù)表明,本文方法在維持原模型精度在一定范圍內(nèi)的同時(shí),實(shí)現(xiàn)了更高壓縮率,并進(jìn)一步針對剪枝結(jié)構(gòu)搜索的收斂性與稀疏化性能進(jìn)行了實(shí)驗(yàn)推證。

    通道剪枝并非對于卷積神經(jīng)網(wǎng)絡(luò)部署優(yōu)化的最終壓縮手段,其壓縮效果也并非完全符合實(shí)際嵌入式智能應(yīng)用需求。本文的后續(xù)工作還包括但不僅限于:利用層剪枝方法壓縮層級結(jié)構(gòu)并降低推理開銷,利用量化手段進(jìn)一步壓縮邊緣端內(nèi)存占用與存儲體積等。

    猜你喜歡
    剪枝卷積閾值
    人到晚年宜“剪枝”
    基于3D-Winograd的快速卷積算法設(shè)計(jì)及FPGA實(shí)現(xiàn)
    基于YOLOv4-Tiny模型剪枝算法
    小波閾值去噪在深小孔鉆削聲發(fā)射信號處理中的應(yīng)用
    從濾波器理解卷積
    電子制作(2019年11期)2019-07-04 00:34:38
    基于自適應(yīng)閾值和連通域的隧道裂縫提取
    基于傅里葉域卷積表示的目標(biāo)跟蹤算法
    比值遙感蝕變信息提取及閾值確定(插圖)
    河北遙感(2017年2期)2017-08-07 14:49:00
    剪枝
    天津詩人(2017年2期)2017-03-16 03:09:39
    室內(nèi)表面平均氡析出率閾值探討
    精品久久国产蜜桃| 老女人水多毛片| 美女被艹到高潮喷水动态| 伊人久久精品亚洲午夜| 人人妻人人澡欧美一区二区| 欧美性感艳星| 国产中年淑女户外野战色| 又黄又爽又刺激的免费视频.| 一个人看视频在线观看www免费| 久久精品人妻少妇| 97在线视频观看| videossex国产| 一级av片app| 午夜视频国产福利| 2022亚洲国产成人精品| 久久久久久久午夜电影| a级毛色黄片| 天堂网av新在线| 国产老妇女一区| 最新中文字幕久久久久| 免费观看性生交大片5| 国产精品国产三级国产专区5o| 欧美潮喷喷水| 亚洲av国产av综合av卡| 偷拍熟女少妇极品色| 麻豆乱淫一区二区| 一个人看视频在线观看www免费| 国产亚洲5aaaaa淫片| 色综合站精品国产| 麻豆av噜噜一区二区三区| 欧美变态另类bdsm刘玥| 汤姆久久久久久久影院中文字幕 | 精品久久久久久久末码| 尤物成人国产欧美一区二区三区| 免费大片黄手机在线观看| 免费看a级黄色片| 欧美另类一区| 三级毛片av免费| 亚洲三级黄色毛片| 国产高潮美女av| 国产欧美另类精品又又久久亚洲欧美| 18禁裸乳无遮挡免费网站照片| 欧美高清性xxxxhd video| 天天一区二区日本电影三级| 最新中文字幕久久久久| 美女cb高潮喷水在线观看| 久久久久久久久久久丰满| 99久久九九国产精品国产免费| 日本色播在线视频| 69人妻影院| 久久精品久久久久久久性| 日韩在线高清观看一区二区三区| 久久99精品国语久久久| 国产高清有码在线观看视频| 亚洲精品乱码久久久v下载方式| 欧美激情久久久久久爽电影| 久久久成人免费电影| 少妇猛男粗大的猛烈进出视频 | 岛国毛片在线播放| 欧美日韩精品成人综合77777| 日韩成人av中文字幕在线观看| 亚洲人与动物交配视频| 国产精品国产三级国产专区5o| 1000部很黄的大片| 国产又色又爽无遮挡免| 春色校园在线视频观看| 超碰97精品在线观看| 99热这里只有是精品50| 亚洲成色77777| 天天躁夜夜躁狠狠久久av| 热99在线观看视频| 国产成人福利小说| 久久97久久精品| 成人av在线播放网站| 最近最新中文字幕大全电影3| 国产探花极品一区二区| 亚洲电影在线观看av| 国产av在哪里看| 国产精品久久久久久精品电影| 淫秽高清视频在线观看| 婷婷色综合www| 97精品久久久久久久久久精品| 欧美高清性xxxxhd video| 中文字幕人妻熟人妻熟丝袜美| 国产午夜精品一二区理论片| 国产伦一二天堂av在线观看| 午夜福利网站1000一区二区三区| 精品一区二区免费观看| 深爱激情五月婷婷| 日本一二三区视频观看| 婷婷色av中文字幕| 最近最新中文字幕大全电影3| 久久久欧美国产精品| 黄色配什么色好看| 日韩av在线免费看完整版不卡| 中文字幕av成人在线电影| 久久热精品热| av国产免费在线观看| 丝袜美腿在线中文| 国产乱人偷精品视频| 人体艺术视频欧美日本| 一级a做视频免费观看| 51国产日韩欧美| 国产又色又爽无遮挡免| 久久精品夜夜夜夜夜久久蜜豆| 性插视频无遮挡在线免费观看| 色尼玛亚洲综合影院| 亚洲国产高清在线一区二区三| 日韩三级伦理在线观看| 少妇熟女欧美另类| 岛国毛片在线播放| 精品一区二区免费观看| 国产黄频视频在线观看| 久久久久久久午夜电影| 国产亚洲一区二区精品| .国产精品久久| 最近最新中文字幕免费大全7| 国产精品嫩草影院av在线观看| 可以在线观看毛片的网站| 日韩av不卡免费在线播放| 舔av片在线| 国产单亲对白刺激| 九九在线视频观看精品| 搡老乐熟女国产| 婷婷色av中文字幕| 免费av不卡在线播放| 七月丁香在线播放| 久久人人爽人人片av| 国产精品99久久久久久久久| 日日撸夜夜添| 最近的中文字幕免费完整| 尾随美女入室| 亚洲av.av天堂| 日本欧美国产在线视频| 91狼人影院| 精品国产三级普通话版| 老司机影院成人| 小蜜桃在线观看免费完整版高清| 日本wwww免费看| 午夜免费激情av| 精品国内亚洲2022精品成人| 日本色播在线视频| 亚洲va在线va天堂va国产| 成人综合一区亚洲| av免费观看日本| 欧美zozozo另类| 国产在视频线在精品| 日本黄大片高清| 淫秽高清视频在线观看| 亚洲美女搞黄在线观看| 22中文网久久字幕| 久久精品久久精品一区二区三区| 联通29元200g的流量卡| 日韩中字成人| 久99久视频精品免费| 91狼人影院| 99久久精品热视频| 精品人妻熟女av久视频| 亚洲av二区三区四区| 国产成年人精品一区二区| 熟女人妻精品中文字幕| 国产黄片美女视频| 久久久精品欧美日韩精品| 中文字幕亚洲精品专区| 三级国产精品欧美在线观看| 成人漫画全彩无遮挡| 亚洲人成网站在线播| 免费观看av网站的网址| 日本av手机在线免费观看| 极品少妇高潮喷水抽搐| 午夜福利高清视频| 少妇裸体淫交视频免费看高清| 亚洲精品乱码久久久v下载方式| 两个人的视频大全免费| 美女xxoo啪啪120秒动态图| 欧美成人午夜免费资源| 国产免费福利视频在线观看| 少妇猛男粗大的猛烈进出视频 | 国产伦一二天堂av在线观看| 亚洲av福利一区| 能在线免费观看的黄片| 一级爰片在线观看| 伊人久久精品亚洲午夜| 欧美性感艳星| 干丝袜人妻中文字幕| 国产精品不卡视频一区二区| 午夜福利网站1000一区二区三区| 国产精品人妻久久久影院| 高清欧美精品videossex| av在线老鸭窝| 欧美不卡视频在线免费观看| 91久久精品电影网| 婷婷色综合大香蕉| videossex国产| 日韩欧美一区视频在线观看 | 我的老师免费观看完整版| 国产精品一区二区三区四区久久| av国产久精品久网站免费入址| 建设人人有责人人尽责人人享有的 | 十八禁国产超污无遮挡网站| 色综合色国产| 亚洲av在线观看美女高潮| 天堂俺去俺来也www色官网 | 日韩av在线免费看完整版不卡| 乱人视频在线观看| 国产美女午夜福利| 精品人妻一区二区三区麻豆| 白带黄色成豆腐渣| 成人国产麻豆网| 国产淫片久久久久久久久| 亚洲av中文字字幕乱码综合| 大话2 男鬼变身卡| 久久久久久久午夜电影| 国产精品久久久久久久久免| 大香蕉久久网| 国产欧美另类精品又又久久亚洲欧美| 97精品久久久久久久久久精品| 欧美日本视频| 街头女战士在线观看网站| 乱人视频在线观看| 天堂俺去俺来也www色官网 | 97超碰精品成人国产| 久久精品国产亚洲网站| 国产69精品久久久久777片| 黄色一级大片看看| 深夜a级毛片| 欧美一区二区亚洲| 在线 av 中文字幕| 国产欧美日韩精品一区二区| 国产精品综合久久久久久久免费| 在线观看一区二区三区| 国产欧美另类精品又又久久亚洲欧美| 韩国av在线不卡| 亚洲人成网站在线观看播放| 91午夜精品亚洲一区二区三区| 国产一区二区亚洲精品在线观看| 又爽又黄无遮挡网站| 成人亚洲精品av一区二区| 国产精品一区二区三区四区免费观看| 男女下面进入的视频免费午夜| 2021天堂中文幕一二区在线观| 国产不卡一卡二| 超碰av人人做人人爽久久| 日韩亚洲欧美综合| 国产黄a三级三级三级人| 午夜老司机福利剧场| 免费观看精品视频网站| 午夜日本视频在线| 国产成人福利小说| 毛片女人毛片| 99久久精品一区二区三区| 日本午夜av视频| 毛片女人毛片| 色5月婷婷丁香| 亚洲av男天堂| 国产片特级美女逼逼视频| 国产 一区 欧美 日韩| 国产黄片美女视频| 七月丁香在线播放| 男女视频在线观看网站免费| 嘟嘟电影网在线观看| 国产成人精品福利久久| 日本午夜av视频| 日韩av免费高清视频| 亚洲激情五月婷婷啪啪| 九九久久精品国产亚洲av麻豆| 啦啦啦中文免费视频观看日本| 国产精品一二三区在线看| 免费看不卡的av| 久久精品人妻少妇| 99九九线精品视频在线观看视频| 亚洲成人一二三区av| 国产成人精品福利久久| 日本wwww免费看| 一级毛片我不卡| kizo精华| 亚洲国产av新网站| 最后的刺客免费高清国语| 久久精品国产亚洲av天美| av天堂中文字幕网| 一本—道久久a久久精品蜜桃钙片 精品乱码久久久久久99久播 | 1000部很黄的大片| 亚洲精品乱久久久久久| 麻豆成人午夜福利视频| 国产免费又黄又爽又色| 久久久久久久久久黄片| 丝瓜视频免费看黄片| 人人妻人人澡欧美一区二区| 秋霞在线观看毛片| 国产乱人视频| av女优亚洲男人天堂| 插逼视频在线观看| 精品久久久久久久末码| 亚洲成色77777| 一夜夜www| 午夜免费男女啪啪视频观看| 日本猛色少妇xxxxx猛交久久| 伊人久久国产一区二区| 最新中文字幕久久久久| 国产91av在线免费观看| 久久精品久久久久久噜噜老黄| 国产精品国产三级国产专区5o| 91久久精品电影网| 国产人妻一区二区三区在| 免费观看在线日韩| 亚洲最大成人手机在线| 精品国产露脸久久av麻豆 | 国产午夜精品论理片| 2018国产大陆天天弄谢| 啦啦啦韩国在线观看视频| 日日撸夜夜添| 亚洲图色成人| 99久久精品热视频| 午夜精品国产一区二区电影 | 日韩大片免费观看网站| 又爽又黄a免费视频| 午夜日本视频在线| 69av精品久久久久久| 国产美女午夜福利| 2021少妇久久久久久久久久久| 精品国内亚洲2022精品成人| 91午夜精品亚洲一区二区三区| 国产综合精华液| 嘟嘟电影网在线观看| h日本视频在线播放| 爱豆传媒免费全集在线观看| 狂野欧美白嫩少妇大欣赏| 久久久久久久久久成人| 99热网站在线观看| 国产精品美女特级片免费视频播放器| 国产亚洲精品av在线| 日韩精品有码人妻一区| av国产久精品久网站免费入址| 久久精品熟女亚洲av麻豆精品 | 亚洲av.av天堂| 51国产日韩欧美| 国产毛片a区久久久久| 久久精品夜夜夜夜夜久久蜜豆| 久久久久网色| 人妻夜夜爽99麻豆av| 亚洲四区av| 国产老妇女一区| 好男人视频免费观看在线| 白带黄色成豆腐渣| 好男人视频免费观看在线| 亚洲色图av天堂| 成人午夜高清在线视频| 搞女人的毛片| 91在线精品国自产拍蜜月| 色5月婷婷丁香| 国产精品精品国产色婷婷| 波多野结衣巨乳人妻| 国产一区二区亚洲精品在线观看| 国产又色又爽无遮挡免| 欧美一区二区亚洲| 人妻制服诱惑在线中文字幕| 色播亚洲综合网| 欧美不卡视频在线免费观看| 国产高清有码在线观看视频| 国产黄片美女视频| 亚洲va在线va天堂va国产| 99视频精品全部免费 在线| 性色avwww在线观看| 九九在线视频观看精品| 在现免费观看毛片| 国产乱人视频| 天堂俺去俺来也www色官网 | 免费在线观看成人毛片| 国产精品国产三级专区第一集| 亚洲人与动物交配视频| 国产高潮美女av| 欧美日韩国产mv在线观看视频 | 精品久久久噜噜| 亚洲国产欧美在线一区| 国产淫语在线视频| 亚洲国产欧美人成| 尾随美女入室| av在线播放精品| 岛国毛片在线播放| 成人无遮挡网站| 全区人妻精品视频| 亚洲欧美中文字幕日韩二区| 男人舔奶头视频| 免费黄色在线免费观看| 久久99精品国语久久久| 18禁动态无遮挡网站| 久久久久精品久久久久真实原创| 狠狠精品人妻久久久久久综合| 国内揄拍国产精品人妻在线| 久久精品国产亚洲av天美| 亚洲伊人久久精品综合| 国产成人精品一,二区| 亚洲18禁久久av| 成年女人在线观看亚洲视频 | 99久久精品国产国产毛片| 国产精品一区二区在线观看99 | 国产一区二区三区综合在线观看 | av在线天堂中文字幕| 人人妻人人看人人澡| 男女边吃奶边做爰视频| 午夜视频国产福利| 视频中文字幕在线观看| 精品酒店卫生间| 精品久久久久久久末码| 大话2 男鬼变身卡| 亚洲精品第二区| 国产精品综合久久久久久久免费| 麻豆精品久久久久久蜜桃| 免费看a级黄色片| 51国产日韩欧美| 国产av码专区亚洲av| 777米奇影视久久| 日韩大片免费观看网站| 日韩亚洲欧美综合| 中国美白少妇内射xxxbb| 99久久精品热视频| 三级国产精品片| 精品国产露脸久久av麻豆 | 国产精品熟女久久久久浪| 国产一区二区三区综合在线观看 | 午夜久久久久精精品| av在线观看视频网站免费| 最近手机中文字幕大全| 国产精品人妻久久久久久| 亚洲av.av天堂| 特大巨黑吊av在线直播| 人妻夜夜爽99麻豆av| 六月丁香七月| 一个人看视频在线观看www免费| 2018国产大陆天天弄谢| 能在线免费观看的黄片| 国产片特级美女逼逼视频| 成人高潮视频无遮挡免费网站| 久久久久久伊人网av| 能在线免费观看的黄片| 国产探花极品一区二区| 夫妻午夜视频| 又爽又黄a免费视频| 久久国产乱子免费精品| 能在线免费观看的黄片| 大陆偷拍与自拍| 搡老妇女老女人老熟妇| 可以在线观看毛片的网站| 少妇丰满av| 麻豆av噜噜一区二区三区| 国产高潮美女av| 六月丁香七月| 欧美人与善性xxx| 色哟哟·www| av在线老鸭窝| 免费观看a级毛片全部| 亚洲欧美一区二区三区国产| 老司机影院毛片| 少妇裸体淫交视频免费看高清| 免费少妇av软件| 免费不卡的大黄色大毛片视频在线观看 | 中文在线观看免费www的网站| 黄片wwwwww| 高清毛片免费看| 99热网站在线观看| a级一级毛片免费在线观看| 中文资源天堂在线| 亚洲国产欧美人成| 黄色配什么色好看| 亚洲av免费高清在线观看| 午夜福利高清视频| 一级av片app| 免费观看a级毛片全部| 极品少妇高潮喷水抽搐| 激情五月婷婷亚洲| 成年版毛片免费区| 亚洲国产精品成人久久小说| 亚洲精品亚洲一区二区| 99热这里只有精品一区| 最近最新中文字幕免费大全7| 天堂网av新在线| 成人漫画全彩无遮挡| 久久久久国产网址| 国产亚洲精品久久久com| 人妻夜夜爽99麻豆av| 麻豆av噜噜一区二区三区| 日韩制服骚丝袜av| 可以在线观看毛片的网站| 日本av手机在线免费观看| 人体艺术视频欧美日本| 99热6这里只有精品| av免费观看日本| 十八禁国产超污无遮挡网站| 成人漫画全彩无遮挡| av福利片在线观看| 免费黄色在线免费观看| 国产伦精品一区二区三区视频9| 联通29元200g的流量卡| 日日干狠狠操夜夜爽| 欧美三级亚洲精品| 精品欧美国产一区二区三| 国产一级毛片七仙女欲春2| 男插女下体视频免费在线播放| 午夜久久久久精精品| av福利片在线观看| 一级二级三级毛片免费看| 免费人成在线观看视频色| 亚洲av.av天堂| 亚洲av在线观看美女高潮| 美女主播在线视频| 91精品国产九色| 五月伊人婷婷丁香| 欧美 日韩 精品 国产| 国产午夜精品久久久久久一区二区三区| 三级国产精品片| 黄片wwwwww| 国产综合懂色| 久久久国产一区二区| 国产淫语在线视频| 国产亚洲午夜精品一区二区久久 | 免费黄频网站在线观看国产| 日韩欧美三级三区| 亚洲人成网站高清观看| 五月玫瑰六月丁香| 精品一区二区三卡| 有码 亚洲区| 久久久欧美国产精品| 亚洲av电影在线观看一区二区三区 | 三级国产精品片| 深夜a级毛片| 成人二区视频| 日韩中字成人| 久久久久久久久久久丰满| 久久久久久伊人网av| 大又大粗又爽又黄少妇毛片口| 国产国拍精品亚洲av在线观看| 少妇的逼水好多| 18禁在线播放成人免费| 不卡视频在线观看欧美| 天美传媒精品一区二区| 99久久九九国产精品国产免费| 亚洲va在线va天堂va国产| 纵有疾风起免费观看全集完整版 | 黄色一级大片看看| 性色avwww在线观看| 两个人的视频大全免费| 在线免费观看不下载黄p国产| 亚洲av国产av综合av卡| 最近的中文字幕免费完整| 蜜臀久久99精品久久宅男| 国产精品伦人一区二区| 亚洲精品成人久久久久久| 女的被弄到高潮叫床怎么办| eeuss影院久久| 国产视频内射| 美女大奶头视频| 女的被弄到高潮叫床怎么办| 热99在线观看视频| 色尼玛亚洲综合影院| 国产精品国产三级国产av玫瑰| 免费观看精品视频网站| 最近视频中文字幕2019在线8| 亚洲在久久综合| 久久午夜福利片| 国产免费福利视频在线观看| 精品人妻熟女av久视频| 国产三级在线视频| 国产精品久久久久久久久免| 婷婷六月久久综合丁香| 日本一本二区三区精品| 夫妻午夜视频| 国产成人一区二区在线| 91久久精品国产一区二区成人| 三级男女做爰猛烈吃奶摸视频| 国语对白做爰xxxⅹ性视频网站| 日本黄大片高清| 三级毛片av免费| 亚洲欧洲国产日韩| 91精品一卡2卡3卡4卡| 性色avwww在线观看| 少妇人妻一区二区三区视频| 免费人成在线观看视频色| 性插视频无遮挡在线免费观看| 日日啪夜夜撸| 真实男女啪啪啪动态图| 成人午夜高清在线视频| 日韩精品青青久久久久久| 国产 一区 欧美 日韩| 免费观看性生交大片5| 22中文网久久字幕| 直男gayav资源| 青青草视频在线视频观看| 两个人的视频大全免费| 直男gayav资源| 青青草视频在线视频观看| 日韩欧美 国产精品| 伊人久久国产一区二区| 日本免费a在线| 国内少妇人妻偷人精品xxx网站| av黄色大香蕉| 欧美日韩视频高清一区二区三区二| 纵有疾风起免费观看全集完整版 | 国产精品无大码| 欧美潮喷喷水| 一级毛片我不卡| 婷婷色综合大香蕉| 人人妻人人看人人澡| 亚洲av免费高清在线观看| 日韩不卡一区二区三区视频在线| 久久亚洲国产成人精品v| 久久国内精品自在自线图片| 26uuu在线亚洲综合色| 国产精品不卡视频一区二区| 久久久久网色| 少妇丰满av| av在线亚洲专区| 午夜爱爱视频在线播放| 国产 亚洲一区二区三区 | 亚洲,欧美,日韩| 麻豆成人午夜福利视频|