• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于遷移學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)通道剪枝

    2021-12-18 01:18:56馮敬翔
    計(jì)算機(jī)與現(xiàn)代化 2021年12期
    關(guān)鍵詞:剪枝卷積閾值

    馮敬翔

    (華北計(jì)算技術(shù)研究所,北京 100083)

    0 引 言

    自2012年AlexNet在ILSVRC挑戰(zhàn)賽中奪冠后,卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network)在視覺領(lǐng)域的單目標(biāo)檢測、多分類識別、視頻目標(biāo)檢測、圖像分割[1]等領(lǐng)域受到廣泛應(yīng)用,此后其發(fā)展總體趨勢向著網(wǎng)絡(luò)層級更深、參數(shù)規(guī)模更大的方向行進(jìn)。隨著智能應(yīng)用在邊緣端部署需求的擴(kuò)張,邊緣設(shè)備存儲空間、內(nèi)存大小、運(yùn)行功耗、實(shí)時(shí)性對于計(jì)算性能的限制,已經(jīng)成為卷積神經(jīng)網(wǎng)絡(luò)在邊緣端的實(shí)際部署瓶頸。為了能顯著縮減模型占用的資源和計(jì)算開銷,卷積神經(jīng)網(wǎng)絡(luò)壓縮相關(guān)算法的需求變得日益迫切。

    本文提出基于遷移學(xué)習(xí)方法來改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)稀疏化過程,探究針對基于BN層縮放因子的通道剪枝能否據(jù)此獲得更高的剪枝閾值,對其剪枝效果與迭代收斂性進(jìn)行研究驗(yàn)證,并從結(jié)構(gòu)搜索的觀點(diǎn)對實(shí)驗(yàn)結(jié)果進(jìn)行解釋。主要工作如下:

    1)從多分類大數(shù)據(jù)集向小數(shù)據(jù)集實(shí)現(xiàn)遷移,對比加載預(yù)訓(xùn)練權(quán)重初始化重新訓(xùn)練、與凍結(jié)部分卷積層參數(shù)微調(diào)對稀疏化效果產(chǎn)生的影響。

    2)對稀疏化后的通道按權(quán)重排序并剪枝,考察通道剪枝閾值選取容限,測試新形成網(wǎng)絡(luò)結(jié)構(gòu)的精度保持情況。

    3)進(jìn)一步地,利用迭代剪枝方法,探究模型精度保持極限與結(jié)構(gòu)收斂性。從而證明,遷移學(xué)習(xí)更易實(shí)現(xiàn)充分的權(quán)值稀疏化,利于剪枝迭代快速趨近至該搜索空間的一個網(wǎng)絡(luò)結(jié)構(gòu)局部最優(yōu)解。

    1 相關(guān)工作

    1.1 卷積神經(jīng)網(wǎng)絡(luò)剪枝

    卷積神經(jīng)網(wǎng)絡(luò)強(qiáng)大的特征采樣性能來自于大量的參數(shù)和復(fù)雜的多層結(jié)構(gòu),現(xiàn)代卷積神經(jīng)網(wǎng)絡(luò)也都多在經(jīng)典結(jié)構(gòu)上加深加寬來提高精度。如VGG[2]在AlexNet[3]的基礎(chǔ)上,將層數(shù)從8層增加到19層;GoogLeNet[4]增加到22層,采用模塊化(Inception結(jié)構(gòu))設(shè)計(jì),并采用平均池化(average pooling)代替了全連接;ResNet[5]則通過使用多個有參層來學(xué)習(xí)輸入輸出之間的殘差表示來取代一般輸入,維持深度增加對于準(zhǔn)確率的正收益,深度也從標(biāo)準(zhǔn)的152層甚至發(fā)展到上千層。

    如圖1所示,傳統(tǒng)剪枝方法分為baseline訓(xùn)練、剪枝、微調(diào)3個步驟。從剪枝粒度上,可分為非結(jié)構(gòu)化剪枝[6](unstructured pruning)和結(jié)構(gòu)化剪枝(structured pruning)這2大類。非結(jié)構(gòu)化剪枝即直接修剪單體權(quán)重(individual weights),形成的權(quán)重矩陣是稀疏的,不易實(shí)現(xiàn)通用易部署的壓縮和加速效果;結(jié)構(gòu)化剪枝是針對卷積核(filter)[7]、通道(channel)[8-9]或是層(layer)[10]進(jìn)行剪枝。卷積核剪枝工作方向上,文獻(xiàn)[11]改進(jìn)了基于卷積核權(quán)重排序進(jìn)行剪枝的策略,采用卷積核的正則項(xiàng)L1絕對值之和作為剪枝權(quán)重;層剪枝需要對完整的層級進(jìn)行裁剪,靈活性較差,精度風(fēng)險(xiǎn)較高,一般用于裁剪比較深的網(wǎng)絡(luò)結(jié)構(gòu)[12];通道剪枝是當(dāng)前結(jié)構(gòu)化剪枝方法中,研究最多、工程應(yīng)用最廣的。其運(yùn)行粒度較細(xì),適合傳統(tǒng)的機(jī)器學(xué)習(xí)框架,原模型結(jié)構(gòu)保留較好。

    圖1 傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)剪枝過程示意圖

    1.2 剪枝與網(wǎng)絡(luò)結(jié)構(gòu)搜索研究

    模型剪枝此前長期被認(rèn)為是去掉神經(jīng)網(wǎng)絡(luò)中對推理預(yù)測結(jié)果貢獻(xiàn)較低的參數(shù),降低通道和神經(jīng)元的數(shù)量,以達(dá)到縮減模型體積、降低存儲計(jì)算成本的目的[13]。近年來隨著相關(guān)領(lǐng)域理解加深,剪枝被重新認(rèn)知為一種網(wǎng)絡(luò)結(jié)構(gòu)搜索[14](Neural Architecture Search, NAS)行為,即通過剪枝發(fā)現(xiàn)一個高效的網(wǎng)絡(luò)結(jié)構(gòu),其針對目標(biāo)數(shù)據(jù)集表現(xiàn)得更好[15]。相關(guān)推論來自于對一些剪枝后得到的模型結(jié)構(gòu)初始化重訓(xùn)(train-from-scratch),其效果未必比微調(diào)(finetune)后的結(jié)果差[11,14]。在引入了優(yōu)化算法理論與流形學(xué)習(xí)(Manifold Learning)觀點(diǎn)后,NAS工作方向得以擴(kuò)充,不僅認(rèn)為剪枝模型結(jié)構(gòu)與參數(shù)確實(shí)存在解耦可能,同時(shí)探討了剪枝同結(jié)構(gòu)重訓(xùn)收斂速度差異與精度差異的產(chǎn)生原因[15-16]。文獻(xiàn)[17]將差異主要因素歸因?yàn)槌跏蓟鸬乃阉鞣较蚴諗坎町?,并提出了迭代中?quán)重多次初始化以糾正空間搜索趨向的方法;而文獻(xiàn)[18]作為對前者的后續(xù)研究,提出權(quán)重采用掩模(mask)部分初始化可能取得更好的效果,以證明剪枝得到的mask結(jié)構(gòu)本身具有一定的信息量,側(cè)面支持了NAS觀點(diǎn)的相關(guān)結(jié)論。此后工作則認(rèn)為,剪枝結(jié)構(gòu)再還原的性能差異可能來源于稀疏性(sparsity)、結(jié)構(gòu)化與否、模型復(fù)雜度、學(xué)習(xí)率設(shè)定等多個維度的原因[19],而后大量實(shí)驗(yàn)工作證明有一定稀疏度的結(jié)構(gòu)化剪枝,其產(chǎn)生的結(jié)構(gòu)重訓(xùn)是普遍可以還原精度的[20]。

    2 基于遷移學(xué)習(xí)的BN層縮放通道剪枝策略

    2.1 BN層縮放因子閾值通道剪枝

    為了探究遷移學(xué)習(xí)是否對稀疏化工作存在正向影響,本文采用一種泛用性強(qiáng)、易復(fù)現(xiàn)的剪枝方案,即引入BN層(Batch Normalization)尺度因子作為通道裁剪依據(jù)。在每個通道中加入一個縮放因子,與通道輸出相乘。統(tǒng)一初始化后,對BN層的縮放因子添加L1正則項(xiàng),通過聯(lián)合訓(xùn)練以實(shí)現(xiàn)因子稀疏化,然后在保證shortcut層級前后維度一致的前提下,按設(shè)定的閾值剪去縮放因子較小的通道。根據(jù)剪掉的通道,再統(tǒng)一剪去失去作用的卷積核并重構(gòu)全連接層,以形成新的模型結(jié)構(gòu)。

    引入縮放因子并初始化、重訓(xùn)、閾值剪枝的流程如圖2所示。

    圖2 BN通道剪枝過程中基于縮放因子篩選通道模型圖

    引入BN層通道因子后的損失函數(shù)如下:

    (1)

    其中,(x,y)代表訓(xùn)練數(shù)據(jù)和標(biāo)簽,W代表參數(shù)。前半部分是CNN原本的損失函數(shù),后半部分是引入的懲罰項(xiàng),λ是稀疏化因子用以平衡2項(xiàng)。

    而BN層激活值的均值和方差計(jì)算如下:

    (2)

    (3)

    則BN層輸出的計(jì)算過程可以表示為:

    (4)

    (5)

    其中的γ和β都是可以訓(xùn)練的BN層線性變換參數(shù)。選擇因數(shù)項(xiàng)作為縮放因子則既可以保持縮放效果不會被卷積層簡單學(xué)習(xí)直接恢復(fù),又不過度影響模型結(jié)構(gòu)。

    2.2 基于遷移學(xué)習(xí)的模型稀疏化

    前述引入g(γ)項(xiàng)的目的是在不影響L的可導(dǎo)性的前提下實(shí)現(xiàn)縮放因子稀疏化,g(γ)函數(shù)是縮放因子上的誘導(dǎo)懲罰項(xiàng),通過使用形如下式的L1正則化:

    (6)

    縮放因子分布的稀疏性(sparsity)將直接影響剪枝閾值的確定,即決定了通道剪枝可剪容限與精度保存能力。引入L1正則項(xiàng)形式的懲罰因子后,BN層引入的尺度因子將根據(jù)懲罰系數(shù)λ值不同程度向0趨近,其分布形式也會因λ值的選擇而不同。剪去縮放因子近似為0所對應(yīng)的輸出通道被認(rèn)為對模型精度傷害較小,因此希望剪枝時(shí)有更多的縮放因子集中在0附近。圖3為BN層縮放因子稀疏化前后、充分與否分布示意圖。

    圖3 BN層縮放因子稀疏化前后、充分與否分布示意圖

    剪枝過程中發(fā)現(xiàn),懲罰值λ依賴于人工選取,λ設(shè)置過小會使得稀疏化不充分而影響剪枝性能;λ過大會影響稀疏化后模型收斂與精度恢復(fù)。但是單純的更換λ值對于稀疏化效果的提升終究有限,相關(guān)工作也表明,數(shù)據(jù)集與模型復(fù)雜度確定,參數(shù)一旦訓(xùn)練形成可能就存在稀疏化能力的上限[19]。故而,在此嘗試?yán)眠w移學(xué)習(xí)方法形成其本身就更適合稀疏化的權(quán)重。

    同時(shí)使用遷移可能伴隨著其他收益。在訓(xùn)練過程中,懲罰項(xiàng)不可避免地將對精度的收斂造成負(fù)面影響,直至后續(xù)訓(xùn)練過程將正則化效果迭代平衡。所以總體精度趨勢會表現(xiàn)為先向下,后震蕩,再回升至最終收斂。

    本文在此嘗試引入遷移訓(xùn)練,對模型稀疏化過程產(chǎn)生一系列正面影響:

    1)精度起點(diǎn)更高。源模型的初始性能相對直接初始化重訓(xùn)好。

    2)精度回升更充分。模型稀疏化前后對于精度的影響更小。

    3)最終稀疏化程度高。稀疏訓(xùn)練收斂后縮放因子分布更向0集中。

    實(shí)驗(yàn)方法基于由多分類的大數(shù)據(jù)集向單目標(biāo)識別的小數(shù)據(jù)集遷移。對數(shù)據(jù)域D與任務(wù)T都不同的情況遷移存在一定風(fēng)險(xiǎn),遷移方法根據(jù)遷移目標(biāo)數(shù)據(jù)集與任務(wù)而異。

    如圖4,通過凍結(jié)源數(shù)據(jù)域(source domain)預(yù)訓(xùn)練模型的部分卷積層,訓(xùn)練剩下的卷積層與全連接層形成在目標(biāo)數(shù)據(jù)域(target domain)新任務(wù)的識別能力。遷移所凍結(jié)的卷積層數(shù)量不僅取決于模型結(jié)構(gòu),還依賴于源數(shù)據(jù)域與目標(biāo)域具體內(nèi)容。如果凍結(jié)全部卷積層后模型效果不佳,嘗試解鎖更多的卷積層,或只使用預(yù)訓(xùn)練模型參數(shù)作為初始值直接進(jìn)行重訓(xùn)。

    圖4 不同層級遷移方法網(wǎng)絡(luò)各層參數(shù)處理示意圖

    為了保證遷移后微調(diào)(finetune)效果,在此同時(shí)使用warm-up策略對初期學(xué)習(xí)率進(jìn)行調(diào)整,即初始學(xué)習(xí)率非常低,在前幾個epoch內(nèi)快速升高,然后在較長的迭代過程中逐漸下降。主要用于避免微調(diào)過程中初始學(xué)習(xí)率過大形成錯誤先驗(yàn),造成提前過擬合現(xiàn)象,以保持分布平穩(wěn)[21]。當(dāng)使用梯度下降法以學(xué)習(xí)率η在源數(shù)據(jù)集訓(xùn)練k次時(shí)的權(quán)重變化情況為:

    (7)

    遷移后對于目標(biāo)數(shù)據(jù)集進(jìn)行微調(diào)權(quán)重更新為:

    (8)

    3 實(shí)驗(yàn)與分析

    3.1 數(shù)據(jù)域介紹

    源數(shù)據(jù)域選自COCO數(shù)據(jù)集,COCO數(shù)據(jù)集全稱為Microsoft Common Objects in Context,最早由微軟進(jìn)行標(biāo)注整理,是當(dāng)前目標(biāo)識別、檢測等領(lǐng)域的一個較為權(quán)威可靠的多分類數(shù)據(jù)集,包含超過20萬張圖像。其中YOLOv3選用的80個類別當(dāng)中有超過50萬個目標(biāo)標(biāo)注,是最廣泛公開的目標(biāo)檢測數(shù)據(jù)庫,包括person、bicycle、bus、train、cat等。

    目標(biāo)數(shù)據(jù)域是Oxford的綜合人手?jǐn)?shù)據(jù)集,包含了4807張手部訓(xùn)練數(shù)圖像和821張測試圖像,總共標(biāo)注了13000余個手部實(shí)例。每張圖像標(biāo)注了所有人類可感知到的所有手,單個手部實(shí)例超過1500平方像素以保證可檢測訓(xùn)練。標(biāo)注以矩形坐標(biāo)邊界形式記錄,對人的姿勢或可見度與環(huán)境因素沒有任何限制[23]。

    3.2 迭代剪枝結(jié)構(gòu)搜索過程設(shè)計(jì)

    基于前述網(wǎng)絡(luò)結(jié)構(gòu)搜索(NAS)工作方向的觀點(diǎn),本文對YOLOv3網(wǎng)絡(luò)進(jìn)行剪枝壓縮,其過程如圖5所示,本文將其描述為一類優(yōu)化算法(Optimizer)過程。

    圖5 引入遷移策略的網(wǎng)絡(luò)空間結(jié)構(gòu)局部最優(yōu)解搜索過程

    實(shí)驗(yàn)設(shè)計(jì)利用本文提出引入的遷移策略形成NAS過程的不同初始化,一次通道剪枝過程可視為尋優(yōu)過程中的單次迭代,其迭代步長則直接由單次通道剪枝的閾值大小決定,即驗(yàn)證能否通過遷移并稀疏化形成不同的初始化狀態(tài),其在相同的迭代方向上是否可以收斂至一個相比直接訓(xùn)練剪枝潛能更好的局部最優(yōu)(local optimal)結(jié)構(gòu)。

    3.3 實(shí)驗(yàn)結(jié)果

    實(shí)驗(yàn)第一部分是比較使用2種遷移方案并測試稀疏化效果:1)加載yolov3.weight作為預(yù)訓(xùn)練權(quán)重,重新訓(xùn)練模型再進(jìn)行稀疏化,模型記為Retrain。2)凍結(jié)來自COCO數(shù)據(jù)集的全部卷積層權(quán)重,根據(jù)其精度回升與收斂情況微調(diào)并稀疏化,模型記為Frozen。兩者擬采用同樣的稀疏化懲罰值λ,暫取λ=0.001。訓(xùn)練和稀疏化epoch=300,受設(shè)備限制batch size=8。

    由表1可知,參數(shù)遷移程度比較高的Frozen方法對精度造成了輕微損害,但仍在可接受范圍內(nèi)。表2和表3給出了對Retrain方法不同閾值剪枝的測試結(jié)果。

    表1 不同層級遷移方法稀疏化后精度保持情況

    表2 λ=0.001下Retrain方法稀疏化后剪枝結(jié)果

    實(shí)驗(yàn)中,Retrain方法在未經(jīng)過微調(diào)時(shí),要求剪去65%的參數(shù)時(shí)即已經(jīng)發(fā)生了較大精度損害,閾值增大到70%時(shí)已經(jīng)完全失去識別能力。據(jù)此認(rèn)為當(dāng)前λ=0.001的懲罰值已經(jīng)不能對當(dāng)前模型實(shí)現(xiàn)充分稀疏化;表3中,當(dāng)增大稀疏化因子到λ=0.005時(shí),剪枝閾值范圍得以提高到較好水平:

    表3 λ=0.005下Retrain方法稀疏化后較好剪枝結(jié)果

    實(shí)驗(yàn)發(fā)現(xiàn),后續(xù)即使再調(diào)整λ參數(shù)也很難在保持精度的同時(shí)再提高剪枝閾值,基本可以認(rèn)為近似達(dá)到了當(dāng)前方法對模型參數(shù)的剪枝能力上限。然后考察Frozen的剪枝性能。

    從表4的結(jié)果觀察到,F(xiàn)rozen方法模型可剪去的參數(shù)量非常大,即Frozen方法在λ=0.001下已經(jīng)形成了非常強(qiáng)大的稀疏性,本文在保留網(wǎng)絡(luò)層級連接性的前提下,避免剪掉通道最高閾值,剪去約97.1%的參數(shù)時(shí)仍能保持精度。

    表4 λ=0.001下Frozen方法稀疏化后剪枝結(jié)果

    3.4 迭代剪枝收斂性驗(yàn)證

    實(shí)驗(yàn)第二部分將按照前述流程進(jìn)行迭代剪枝性能驗(yàn)證。本文采用閾值0.8為步長進(jìn)行剪枝迭代,并在第一次迭代后按λ=0.001的懲罰值稀疏化重訓(xùn)300 epoch,再做第二次閾值為0.8的剪枝迭代。

    表5中第二次剪枝迭代之后出現(xiàn)了一定的精度損害。為了保證精度恢復(fù)到正常水平,在此進(jìn)行了一次微調(diào),放到原始數(shù)據(jù)中訓(xùn)練100 epoch使精度回升。此時(shí)相比單次閾值剪枝極限參數(shù)量(676萬)又壓縮了不到1%,此后再迭代有較大精度風(fēng)險(xiǎn),而且在保留通道最高的閾值基礎(chǔ)上已經(jīng)很難繼續(xù)壓縮(再以較大精度損失仍可壓縮不超過2%),可以認(rèn)為至此已經(jīng)接近了迭代極限,且和單次剪枝收斂于近似同一個結(jié)構(gòu)最優(yōu)解。

    表5 Frozen方法迭代剪枝各步驟實(shí)驗(yàn)結(jié)果

    基于NAS過程觀點(diǎn),形成以下2個推論以解釋其收斂過程:

    1)在保持精度的前提下,迭代剪枝不能再輕易壓縮參數(shù)量時(shí),則可以證明當(dāng)前剪型趨近于模型結(jié)構(gòu)搜索空間中的一個局部結(jié)構(gòu)最優(yōu)解。

    2)模型收斂于同樣的局部最優(yōu)解所需輪次越少,證明搜索起點(diǎn)與尋優(yōu)方向越高效,即模型有效參量更少,稀疏化越充分。

    至此,可以認(rèn)定Frozen遷移方法確實(shí)能夠形成強(qiáng)稀疏性,剪枝所形成的結(jié)構(gòu)是對于這一數(shù)據(jù)集與任務(wù)域相對高效的結(jié)構(gòu)。基于遷移方法的稀疏化策略大大提高了通道剪枝的可行閾值,提供了良好的結(jié)構(gòu)搜索起點(diǎn),使其可以更快地收斂于網(wǎng)絡(luò)結(jié)構(gòu)搜索空間中的一個局部最優(yōu)解。

    3.5 橫向?qū)Ρ绕渌ǖ兰糁λ惴?/h3>

    在此,將本文利用遷移方法改進(jìn)后的BN通道剪枝方法與2種針對YOLOv3的閾值通道剪枝策略進(jìn)行對比。本文方法仍然記為Frozen。

    第一種對設(shè)計(jì)shortcut的卷積層也進(jìn)行了剪枝,剪枝采用每組shortcut中第一個卷積層的mask,使用5種mask實(shí)現(xiàn)5組shortcut相關(guān)卷積層剪枝,表6中記為Shortcut_mask;第二種用全局閾值篩選出各個卷積層的mask,再對mask取并集,歸并后再進(jìn)行剪枝,此方法相對激進(jìn),但在這個任務(wù)域上同樣表現(xiàn)良好,不同剪枝閾值記為Shortcut_merge_0.9和Shortcut_merge_0.95。

    表6 本文方法與其他閾值通道剪枝改進(jìn)方法對比

    可以看到本文使用遷移改進(jìn)基礎(chǔ)BN通道剪枝策略后,和一些針對性更強(qiáng)的剪枝方法相比依然有競爭力,在大體相當(dāng)?shù)木确秶鷥?nèi)壓縮率較為可觀。

    3.6 多數(shù)據(jù)集驗(yàn)證

    在充分驗(yàn)證遷移方法對于Oxford手部圖像數(shù)據(jù)集的權(quán)重稀疏化、剪枝閾值選取的改進(jìn)效果后,本文用同樣的方法對一些其他數(shù)據(jù)集進(jìn)行剪枝調(diào)試,并開啟混合精度來加速訓(xùn)練。

    驗(yàn)證的數(shù)據(jù)集包括,VOC 2012目標(biāo)檢測數(shù)據(jù)集,包含11530張圖片,來自20個分類;VisDrone無人機(jī)目標(biāo)檢測數(shù)據(jù)集,包含10209張靜態(tài)圖片,包含多個城市復(fù)雜環(huán)境在不同密度下的街景物體識別,檢測難度較高。表7為驗(yàn)證結(jié)果。

    表7 本文方法在其他數(shù)據(jù)集上驗(yàn)證結(jié)果

    3.7 實(shí)驗(yàn)結(jié)果分析

    本節(jié)針對實(shí)驗(yàn)結(jié)果成因進(jìn)行分析。通道剪枝存在一個基本假設(shè):BN層引入的縮放因子,能有效衡量通道輸出對于最終識別精度的貢獻(xiàn)度,剪去的參數(shù)是模型在目標(biāo)數(shù)據(jù)上低貢獻(xiàn)度的一種冗余(redundancy),即卷積神經(jīng)網(wǎng)絡(luò)的過參數(shù)化[24]。遷移方法本身是利用源域與目標(biāo)域之間的關(guān)聯(lián)性,把源域?qū)W到的知識遷移到目標(biāo)任務(wù)域或數(shù)據(jù)集[25]。實(shí)驗(yàn)從大而復(fù)雜的多分類數(shù)據(jù)集向小數(shù)據(jù)集遷移,所凍結(jié)的淺層權(quán)重是更加泛化(generalize)的輪廓、紋理特征采樣,微調(diào)并重新形成全連接層時(shí)對其中一部分顯然低相關(guān)的特征利用率較低,權(quán)重貢獻(xiàn)相比重新訓(xùn)練集中得多。此后的稀疏化過程利用了這一特性,正則項(xiàng)更容易使大部分的低貢獻(xiàn)特征受到懲罰并最終收斂到0附近,從而大大提升稀疏化效果,顯著提高通道剪枝閾值,實(shí)現(xiàn)更高的壓縮率。

    4 結(jié)束語

    在通道剪枝的研究方向上,本文嘗試用改變網(wǎng)絡(luò)結(jié)構(gòu)搜索初始化策略的方式,區(qū)別于對其尋優(yōu)迭代單步搜索優(yōu)化的方案,以引導(dǎo)其收斂于一個更易于剝離網(wǎng)絡(luò)中低效參數(shù)的局部最優(yōu)解。本文通過向基于BN層縮放因子的通道剪枝引入遷移學(xué)習(xí)方法,并對比了不同層級遷移策略對通道剪枝壓縮性能的影響。數(shù)據(jù)表明,本文方法在維持原模型精度在一定范圍內(nèi)的同時(shí),實(shí)現(xiàn)了更高壓縮率,并進(jìn)一步針對剪枝結(jié)構(gòu)搜索的收斂性與稀疏化性能進(jìn)行了實(shí)驗(yàn)推證。

    通道剪枝并非對于卷積神經(jīng)網(wǎng)絡(luò)部署優(yōu)化的最終壓縮手段,其壓縮效果也并非完全符合實(shí)際嵌入式智能應(yīng)用需求。本文的后續(xù)工作還包括但不僅限于:利用層剪枝方法壓縮層級結(jié)構(gòu)并降低推理開銷,利用量化手段進(jìn)一步壓縮邊緣端內(nèi)存占用與存儲體積等。

    猜你喜歡
    剪枝卷積閾值
    人到晚年宜“剪枝”
    基于3D-Winograd的快速卷積算法設(shè)計(jì)及FPGA實(shí)現(xiàn)
    基于YOLOv4-Tiny模型剪枝算法
    小波閾值去噪在深小孔鉆削聲發(fā)射信號處理中的應(yīng)用
    從濾波器理解卷積
    電子制作(2019年11期)2019-07-04 00:34:38
    基于自適應(yīng)閾值和連通域的隧道裂縫提取
    基于傅里葉域卷積表示的目標(biāo)跟蹤算法
    比值遙感蝕變信息提取及閾值確定(插圖)
    河北遙感(2017年2期)2017-08-07 14:49:00
    剪枝
    天津詩人(2017年2期)2017-03-16 03:09:39
    室內(nèi)表面平均氡析出率閾值探討
    三级毛片av免费| 久久亚洲精品不卡| 亚洲专区字幕在线| 色av中文字幕| 性色av乱码一区二区三区2| 欧美日本亚洲视频在线播放| 日韩欧美在线乱码| 中文字幕精品亚洲无线码一区| 久久欧美精品欧美久久欧美| 久久精品成人免费网站| 两性午夜刺激爽爽歪歪视频在线观看 | 精品一区二区三区四区五区乱码| 午夜福利在线在线| 非洲黑人性xxxx精品又粗又长| 老司机靠b影院| 美女 人体艺术 gogo| 99久久久亚洲精品蜜臀av| 一级毛片高清免费大全| 精品日产1卡2卡| 欧美乱妇无乱码| 最近视频中文字幕2019在线8| 亚洲真实伦在线观看| 久热爱精品视频在线9| 国产成人精品久久二区二区免费| 欧美3d第一页| 69av精品久久久久久| 亚洲男人天堂网一区| 亚洲全国av大片| 国产乱人伦免费视频| 国产片内射在线| 91国产中文字幕| 国产免费av片在线观看野外av| 亚洲美女黄片视频| 国产久久久一区二区三区| 日韩大码丰满熟妇| 51午夜福利影视在线观看| 久久久久亚洲av毛片大全| 欧美日韩瑟瑟在线播放| 亚洲天堂国产精品一区在线| 麻豆国产av国片精品| 中文字幕人妻丝袜一区二区| 村上凉子中文字幕在线| 又黄又粗又硬又大视频| 国产片内射在线| 香蕉国产在线看| 久久精品影院6| 久久精品综合一区二区三区| 黄色女人牲交| 免费在线观看影片大全网站| 好看av亚洲va欧美ⅴa在| 高清在线国产一区| 操出白浆在线播放| 国产成人精品久久二区二区91| 久久天堂一区二区三区四区| 日韩免费av在线播放| 国产亚洲精品一区二区www| 国产精品亚洲av一区麻豆| 老鸭窝网址在线观看| 久久久久久大精品| 美女免费视频网站| 日韩中文字幕欧美一区二区| 脱女人内裤的视频| 国产精品自产拍在线观看55亚洲| 97人妻精品一区二区三区麻豆| 欧美成人午夜精品| 亚洲精品中文字幕在线视频| 好男人在线观看高清免费视频| 嫩草影院精品99| АⅤ资源中文在线天堂| 男女做爰动态图高潮gif福利片| 国产精品影院久久| 中文亚洲av片在线观看爽| 中文资源天堂在线| 亚洲 欧美一区二区三区| www国产在线视频色| 久久午夜亚洲精品久久| 精品国产乱码久久久久久男人| 亚洲精品美女久久久久99蜜臀| 国产主播在线观看一区二区| 亚洲真实伦在线观看| 亚洲一区二区三区色噜噜| 亚洲国产精品合色在线| 亚洲成av人片在线播放无| 精品一区二区三区av网在线观看| 亚洲av电影不卡..在线观看| x7x7x7水蜜桃| 一本久久中文字幕| 免费观看人在逋| 日本精品一区二区三区蜜桃| 日韩 欧美 亚洲 中文字幕| 婷婷精品国产亚洲av在线| 97碰自拍视频| 一级黄色大片毛片| 国产伦一二天堂av在线观看| 国产成人av激情在线播放| 精品午夜福利视频在线观看一区| 毛片女人毛片| 亚洲国产精品成人综合色| 亚洲无线在线观看| 九色成人免费人妻av| 精品国产美女av久久久久小说| 国产精品久久久久久亚洲av鲁大| 中文亚洲av片在线观看爽| 不卡av一区二区三区| 日韩大尺度精品在线看网址| 日本撒尿小便嘘嘘汇集6| 国产熟女午夜一区二区三区| 99国产精品一区二区蜜桃av| 亚洲av日韩精品久久久久久密| 亚洲18禁久久av| 美女午夜性视频免费| 少妇粗大呻吟视频| 亚洲精品中文字幕在线视频| 国产精品免费视频内射| 国产成+人综合+亚洲专区| 看片在线看免费视频| 亚洲第一电影网av| 99久久综合精品五月天人人| 久久精品国产99精品国产亚洲性色| 亚洲精品国产一区二区精华液| 好男人在线观看高清免费视频| 午夜免费激情av| 男女视频在线观看网站免费 | 国产成人av教育| 99riav亚洲国产免费| 亚洲av熟女| 亚洲欧美一区二区三区黑人| 黄色视频,在线免费观看| 91成年电影在线观看| 国产精品一区二区三区四区久久| 色综合亚洲欧美另类图片| 国内揄拍国产精品人妻在线| 中文字幕人成人乱码亚洲影| 五月伊人婷婷丁香| 在线免费观看的www视频| 国产亚洲精品第一综合不卡| 国产精品影院久久| 人人妻人人澡欧美一区二区| www.自偷自拍.com| 婷婷精品国产亚洲av在线| 亚洲真实伦在线观看| 亚洲自拍偷在线| 两个人的视频大全免费| ponron亚洲| 日本免费一区二区三区高清不卡| 亚洲一区二区三区色噜噜| 国产视频一区二区在线看| 国产视频一区二区在线看| 欧美日韩精品网址| 精品福利观看| 欧美乱码精品一区二区三区| 可以在线观看毛片的网站| 一级毛片精品| 亚洲在线自拍视频| 亚洲欧美日韩高清在线视频| 男女那种视频在线观看| 亚洲欧美日韩高清在线视频| 亚洲 欧美一区二区三区| 国产成人av激情在线播放| 欧美一级a爱片免费观看看 | 最好的美女福利视频网| 日韩欧美精品v在线| 日韩欧美精品v在线| 亚洲成人中文字幕在线播放| 午夜福利欧美成人| 中文字幕人成人乱码亚洲影| 亚洲自拍偷在线| 精华霜和精华液先用哪个| 伊人久久大香线蕉亚洲五| 婷婷精品国产亚洲av在线| 成人国产一区最新在线观看| 嫩草影视91久久| 老熟妇仑乱视频hdxx| 精品电影一区二区在线| 国产99白浆流出| 色哟哟哟哟哟哟| 色哟哟哟哟哟哟| 老司机靠b影院| 99久久久亚洲精品蜜臀av| 熟女电影av网| 不卡一级毛片| 精品国产亚洲在线| 我的老师免费观看完整版| 每晚都被弄得嗷嗷叫到高潮| 久久久久亚洲av毛片大全| 午夜福利18| 啦啦啦免费观看视频1| 日韩欧美一区二区三区在线观看| 美女免费视频网站| 久久精品国产亚洲av香蕉五月| 午夜a级毛片| 欧美午夜高清在线| 男女床上黄色一级片免费看| 国产一区二区激情短视频| 18禁美女被吸乳视频| 男女视频在线观看网站免费 | 国产精品野战在线观看| 一本大道久久a久久精品| 色老头精品视频在线观看| 亚洲色图av天堂| 色哟哟哟哟哟哟| av天堂在线播放| 一a级毛片在线观看| 丰满的人妻完整版| 日本精品一区二区三区蜜桃| 国产一区二区激情短视频| 国产精品日韩av在线免费观看| 视频区欧美日本亚洲| 日日干狠狠操夜夜爽| 欧美zozozo另类| 十八禁人妻一区二区| 好男人在线观看高清免费视频| 日韩有码中文字幕| 亚洲成a人片在线一区二区| 免费看日本二区| 亚洲国产中文字幕在线视频| 久久久久精品国产欧美久久久| 天堂影院成人在线观看| 午夜福利欧美成人| 精华霜和精华液先用哪个| 婷婷六月久久综合丁香| 十八禁网站免费在线| 久久久国产精品麻豆| 免费人成视频x8x8入口观看| 午夜福利视频1000在线观看| bbb黄色大片| 三级毛片av免费| 国产成人啪精品午夜网站| 啦啦啦韩国在线观看视频| 亚洲va日本ⅴa欧美va伊人久久| 黑人巨大精品欧美一区二区mp4| www.自偷自拍.com| 国产蜜桃级精品一区二区三区| 亚洲中文av在线| 亚洲一码二码三码区别大吗| 亚洲色图 男人天堂 中文字幕| 少妇的丰满在线观看| 亚洲av中文字字幕乱码综合| 亚洲av片天天在线观看| 免费无遮挡裸体视频| 大型黄色视频在线免费观看| 男人舔女人下体高潮全视频| АⅤ资源中文在线天堂| 亚洲七黄色美女视频| 午夜精品在线福利| 精品欧美一区二区三区在线| 99热这里只有是精品50| 无限看片的www在线观看| 日本黄大片高清| 巨乳人妻的诱惑在线观看| 老汉色av国产亚洲站长工具| 国产精品av久久久久免费| 人成视频在线观看免费观看| 欧美成人一区二区免费高清观看 | 亚洲全国av大片| 嫩草影视91久久| 久久99热这里只有精品18| 亚洲精品粉嫩美女一区| 亚洲av熟女| 一本一本综合久久| 成人国语在线视频| 国产在线精品亚洲第一网站| 又黄又粗又硬又大视频| 免费在线观看影片大全网站| 亚洲成人中文字幕在线播放| 九色成人免费人妻av| 国产精品久久久久久人妻精品电影| 欧美日韩福利视频一区二区| 欧美一级毛片孕妇| 50天的宝宝边吃奶边哭怎么回事| 色综合婷婷激情| 成人特级黄色片久久久久久久| 人人妻人人澡欧美一区二区| 99热只有精品国产| 免费人成视频x8x8入口观看| x7x7x7水蜜桃| 最新美女视频免费是黄的| 欧美日本视频| 国内精品一区二区在线观看| 国产爱豆传媒在线观看 | 很黄的视频免费| 正在播放国产对白刺激| 99久久99久久久精品蜜桃| 久久国产精品影院| 亚洲美女黄片视频| 国产欧美日韩精品亚洲av| 母亲3免费完整高清在线观看| 18禁黄网站禁片午夜丰满| 国产成人欧美在线观看| 午夜精品一区二区三区免费看| 激情在线观看视频在线高清| 此物有八面人人有两片| 久久精品影院6| 最近最新中文字幕大全免费视频| 免费看十八禁软件| 麻豆av在线久日| 在线观看美女被高潮喷水网站 | 久久人妻av系列| 一级毛片高清免费大全| 又黄又爽又免费观看的视频| 久久欧美精品欧美久久欧美| 久久天堂一区二区三区四区| а√天堂www在线а√下载| 麻豆国产av国片精品| 午夜久久久久精精品| 两性午夜刺激爽爽歪歪视频在线观看 | 欧美成人午夜精品| 久久久国产欧美日韩av| 亚洲精品美女久久av网站| 99国产精品一区二区蜜桃av| 91成年电影在线观看| 成人午夜高清在线视频| 中文字幕精品亚洲无线码一区| 成人亚洲精品av一区二区| 最新在线观看一区二区三区| www.精华液| 亚洲男人的天堂狠狠| 国产亚洲精品av在线| 麻豆久久精品国产亚洲av| 亚洲精品久久成人aⅴ小说| 久久中文字幕一级| 青草久久国产| 法律面前人人平等表现在哪些方面| 韩国av一区二区三区四区| 国内少妇人妻偷人精品xxx网站 | 日韩精品青青久久久久久| 亚洲国产欧洲综合997久久,| av超薄肉色丝袜交足视频| 久久精品国产99精品国产亚洲性色| 亚洲一区二区三区不卡视频| 18禁观看日本| 天堂√8在线中文| 久久九九热精品免费| 久久热在线av| 在线观看www视频免费| 国产欧美日韩一区二区三| 老鸭窝网址在线观看| 欧美中文综合在线视频| 老司机深夜福利视频在线观看| 国产男靠女视频免费网站| 国产一区二区激情短视频| 国产成人影院久久av| 成人18禁在线播放| 久久国产精品影院| 黄色视频不卡| 首页视频小说图片口味搜索| 99久久99久久久精品蜜桃| 人人妻,人人澡人人爽秒播| 欧美性猛交╳xxx乱大交人| 99热6这里只有精品| 波多野结衣巨乳人妻| 男人舔女人的私密视频| 亚洲精品美女久久久久99蜜臀| 国产亚洲av嫩草精品影院| 欧美日韩亚洲国产一区二区在线观看| 欧美性长视频在线观看| 亚洲自拍偷在线| 性色av乱码一区二区三区2| www国产在线视频色| 99国产精品一区二区三区| 久久人人精品亚洲av| 久久久国产精品麻豆| 黄色片一级片一级黄色片| 可以在线观看毛片的网站| 人妻夜夜爽99麻豆av| 欧美一区二区国产精品久久精品 | 国内久久婷婷六月综合欲色啪| 精品福利观看| 欧美黑人精品巨大| 欧美成人一区二区免费高清观看 | 成年免费大片在线观看| 午夜日韩欧美国产| 国产av在哪里看| 免费看美女性在线毛片视频| 久久久国产成人精品二区| 欧美日本视频| av中文乱码字幕在线| 制服丝袜大香蕉在线| 99热6这里只有精品| 欧美日本亚洲视频在线播放| 国产伦人伦偷精品视频| 久久久久国产一级毛片高清牌| 久久精品国产综合久久久| 日本五十路高清| 99国产综合亚洲精品| 欧美丝袜亚洲另类 | 日韩 欧美 亚洲 中文字幕| 少妇裸体淫交视频免费看高清 | 欧美日本视频| 国产成人系列免费观看| 99国产精品一区二区蜜桃av| 亚洲国产精品久久男人天堂| 国产亚洲av高清不卡| 亚洲18禁久久av| 18禁黄网站禁片午夜丰满| 女人爽到高潮嗷嗷叫在线视频| 亚洲美女黄片视频| 一级片免费观看大全| 国产在线精品亚洲第一网站| 黄色 视频免费看| 亚洲精品粉嫩美女一区| 国产区一区二久久| 激情在线观看视频在线高清| 久久精品国产清高在天天线| 国产精华一区二区三区| 一区二区三区国产精品乱码| 久久国产乱子伦精品免费另类| 69av精品久久久久久| 最新美女视频免费是黄的| 午夜视频精品福利| 在线观看美女被高潮喷水网站 | 中亚洲国语对白在线视频| 久久午夜综合久久蜜桃| 国产高清视频在线播放一区| 国产精品自产拍在线观看55亚洲| 精品欧美一区二区三区在线| 亚洲欧美精品综合一区二区三区| 久久天堂一区二区三区四区| 日韩有码中文字幕| 不卡av一区二区三区| 国产精品香港三级国产av潘金莲| 黄片大片在线免费观看| 一级毛片女人18水好多| 国产男靠女视频免费网站| 欧美日韩亚洲综合一区二区三区_| 欧美一级毛片孕妇| 欧美三级亚洲精品| 久久精品综合一区二区三区| 首页视频小说图片口味搜索| 国产精品免费视频内射| 深夜精品福利| 无人区码免费观看不卡| 在线十欧美十亚洲十日本专区| 免费av毛片视频| 在线观看免费午夜福利视频| 熟妇人妻久久中文字幕3abv| 日韩欧美一区二区三区在线观看| 好男人在线观看高清免费视频| 国产亚洲精品综合一区在线观看 | tocl精华| 亚洲专区字幕在线| 1024香蕉在线观看| 亚洲人与动物交配视频| 日本熟妇午夜| 亚洲,欧美精品.| 午夜老司机福利片| www.www免费av| 精品久久久久久久人妻蜜臀av| 国产成人系列免费观看| 国模一区二区三区四区视频 | 91国产中文字幕| 成人手机av| 国产伦在线观看视频一区| 免费av毛片视频| 亚洲人与动物交配视频| 国产精品一区二区三区四区免费观看 | 又黄又粗又硬又大视频| 国产精品一及| 热99re8久久精品国产| 欧美乱色亚洲激情| 亚洲av美国av| 久久久久久亚洲精品国产蜜桃av| 又紧又爽又黄一区二区| 九九热线精品视视频播放| 日韩欧美在线二视频| 999久久久国产精品视频| 国产成人精品无人区| 国产精品电影一区二区三区| 色噜噜av男人的天堂激情| 久9热在线精品视频| 亚洲欧美日韩东京热| 亚洲熟妇中文字幕五十中出| 欧美中文日本在线观看视频| 亚洲国产高清在线一区二区三| 久久中文字幕一级| xxx96com| 美女免费视频网站| 久9热在线精品视频| 曰老女人黄片| 欧美黄色片欧美黄色片| 久久久久久亚洲精品国产蜜桃av| 久久香蕉精品热| 午夜免费观看网址| 免费看十八禁软件| 在线国产一区二区在线| 亚洲精品久久成人aⅴ小说| 亚洲人成电影免费在线| 又黄又爽又免费观看的视频| 亚洲精品国产精品久久久不卡| 亚洲国产精品久久男人天堂| 日韩欧美国产一区二区入口| 国产成人影院久久av| 搞女人的毛片| 麻豆国产97在线/欧美 | 老熟妇乱子伦视频在线观看| 露出奶头的视频| 午夜精品一区二区三区免费看| 国产主播在线观看一区二区| 97超级碰碰碰精品色视频在线观看| 国产99白浆流出| 久久亚洲真实| 成人永久免费在线观看视频| 露出奶头的视频| 啦啦啦观看免费观看视频高清| 国产蜜桃级精品一区二区三区| 成人国语在线视频| 伊人久久大香线蕉亚洲五| 91国产中文字幕| av福利片在线观看| 18禁美女被吸乳视频| 国产成人精品久久二区二区免费| 欧美黑人欧美精品刺激| 国产精品 欧美亚洲| 日韩成人在线观看一区二区三区| 一进一出抽搐动态| 亚洲中文字幕日韩| cao死你这个sao货| 国产成+人综合+亚洲专区| 久久久久久国产a免费观看| 最近最新中文字幕大全电影3| 中文字幕人成人乱码亚洲影| 欧美丝袜亚洲另类 | www国产在线视频色| 欧美一区二区精品小视频在线| 日韩大码丰满熟妇| 亚洲色图av天堂| 亚洲欧美一区二区三区黑人| 国产亚洲精品av在线| 亚洲精品国产精品久久久不卡| 两个人看的免费小视频| 少妇被粗大的猛进出69影院| 色av中文字幕| 欧美av亚洲av综合av国产av| 免费在线观看亚洲国产| 999久久久国产精品视频| 亚洲欧美日韩高清专用| 日韩中文字幕欧美一区二区| 99久久无色码亚洲精品果冻| 不卡av一区二区三区| 淫秽高清视频在线观看| 国产激情欧美一区二区| 亚洲av美国av| 亚洲欧洲精品一区二区精品久久久| 成人三级黄色视频| 亚洲成a人片在线一区二区| 男人舔女人的私密视频| 欧美乱妇无乱码| 熟女电影av网| 1024视频免费在线观看| 成人国产综合亚洲| 99国产综合亚洲精品| 午夜日韩欧美国产| 国产一区二区在线av高清观看| 久久久精品大字幕| 国产精品一及| 高清在线国产一区| 草草在线视频免费看| 国产69精品久久久久777片 | 三级国产精品欧美在线观看 | 在线观看免费日韩欧美大片| 国产精品1区2区在线观看.| 日韩av在线大香蕉| 国内精品一区二区在线观看| 两个人视频免费观看高清| 超碰成人久久| 欧美日韩乱码在线| 又黄又粗又硬又大视频| 俄罗斯特黄特色一大片| 国产亚洲精品综合一区在线观看 | 欧美日韩亚洲国产一区二区在线观看| 亚洲中文字幕日韩| 亚洲av熟女| 成人国产综合亚洲| 免费人成视频x8x8入口观看| 99国产精品一区二区三区| 欧美日韩中文字幕国产精品一区二区三区| 久久精品国产99精品国产亚洲性色| 麻豆久久精品国产亚洲av| 亚洲成av人片免费观看| 久久精品亚洲精品国产色婷小说| 99久久综合精品五月天人人| 久久久久久人人人人人| 欧美色视频一区免费| 亚洲精品中文字幕在线视频| 久久午夜亚洲精品久久| 日本黄大片高清| 麻豆国产av国片精品| 久久国产精品影院| 国产精品 国内视频| 精品高清国产在线一区| 国产不卡一卡二| 久久天躁狠狠躁夜夜2o2o| 91老司机精品| 天天躁狠狠躁夜夜躁狠狠躁| 国产精品久久久久久人妻精品电影| xxx96com| 国产精品香港三级国产av潘金莲| tocl精华| 欧美日韩精品网址| 大型av网站在线播放| 亚洲欧美日韩东京热| 18禁美女被吸乳视频| www日本在线高清视频| 99久久无色码亚洲精品果冻| 日本成人三级电影网站| 给我免费播放毛片高清在线观看| 国产一级毛片七仙女欲春2| 香蕉国产在线看| 精品电影一区二区在线| 在线观看免费午夜福利视频| av天堂在线播放| 少妇的丰满在线观看| www日本黄色视频网| 国产精品 欧美亚洲| 国产私拍福利视频在线观看|