• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于懲罰函數(shù)泛化的神經(jīng)網(wǎng)絡(luò)剪枝算法研究

    2014-06-07 05:53:26王士同潘永惠
    計算機工程 2014年11期
    關(guān)鍵詞:懲罰

    熊 俊,王士同,潘永惠,包 芳

    (1.江南大學數(shù)字媒體學院,江蘇無錫214122;2.江陰職業(yè)技術(shù)學院計算機科學系,江蘇江陰214405)

    基于懲罰函數(shù)泛化的神經(jīng)網(wǎng)絡(luò)剪枝算法研究

    熊 俊1,王士同1,潘永惠2,包 芳2

    (1.江南大學數(shù)字媒體學院,江蘇無錫214122;2.江陰職業(yè)技術(shù)學院計算機科學系,江蘇江陰214405)

    神經(jīng)網(wǎng)絡(luò)的隱層數(shù)和隱層節(jié)點數(shù)決定了網(wǎng)絡(luò)規(guī)模,并對網(wǎng)絡(luò)性能造成較大影響。在滿足網(wǎng)絡(luò)所需最少隱層節(jié)點數(shù)的前提下,利用剪枝算法刪除某些冗余節(jié)點,減少隱層節(jié)點數(shù),得到更加精簡的網(wǎng)絡(luò)結(jié)構(gòu)。基于懲罰函數(shù)的剪枝算法是在目標函數(shù)后加入一個懲罰函數(shù)項,該懲罰函數(shù)項是一個變量為網(wǎng)絡(luò)權(quán)值的函數(shù)。由于懲罰函數(shù)中的網(wǎng)絡(luò)權(quán)值變量可以附加一個可調(diào)參數(shù),將單一懲罰函數(shù)項泛化為一類隨參數(shù)規(guī)律變化的新的懲罰函數(shù),初始懲罰函數(shù)可看作泛化后懲罰函數(shù)的參數(shù)取定值的特殊情況。實驗利用基于標準BP神經(jīng)網(wǎng)絡(luò)的XOR數(shù)據(jù)進行測試,得到隱層節(jié)點剪枝效果和網(wǎng)絡(luò)權(quán)值隨懲罰函數(shù)的泛化而發(fā)生變化,并從數(shù)據(jù)分析中得出具有更好剪枝效果及更優(yōu)網(wǎng)絡(luò)結(jié)構(gòu)的懲罰函數(shù)泛化參數(shù)。

    隱層節(jié)點;神經(jīng)網(wǎng)絡(luò);剪枝算法;懲罰函數(shù);泛化;XOR數(shù)據(jù)

    1 概述

    人工神經(jīng)網(wǎng)絡(luò)[1](Artificial Neural Network, ANN)是由大量的、簡單的處理單元(稱為神經(jīng)元)廣泛地互相連接而形成的復雜網(wǎng)絡(luò)系統(tǒng)。實踐表明,神經(jīng)網(wǎng)絡(luò)的性能與神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)有很大的關(guān)系,而隱層節(jié)點的選擇和調(diào)整是神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化研究中的一項重要內(nèi)容[2],若隱層節(jié)點數(shù)太少,則網(wǎng)絡(luò)可能根本不能訓練或網(wǎng)絡(luò)性能很差;若隱層節(jié)點數(shù)太多,雖然可使網(wǎng)絡(luò)系統(tǒng)誤差減小,但一方面使網(wǎng)絡(luò)訓練時間延長,另一方面訓練容易陷入局部極小點而得不到最優(yōu)點。在隱節(jié)點調(diào)節(jié)過程中,經(jīng)常利用剪枝算法[3]來調(diào)節(jié)網(wǎng)絡(luò)權(quán)值,進而刪除冗余節(jié)點,達到精簡網(wǎng)絡(luò)結(jié)構(gòu)、改進泛化的目的。

    目前常用的神經(jīng)網(wǎng)絡(luò)模型包括徑向基函數(shù)(Radial Basis Function,RBF)神經(jīng)網(wǎng)絡(luò)[4]、誤差反向傳播(Error Back-propagation Algorithm,EBP)網(wǎng)絡(luò)[5]、Hopfield網(wǎng)絡(luò)[6]等。其中,BP神經(jīng)網(wǎng)絡(luò)是最常用的神經(jīng)網(wǎng)絡(luò)模型。常用的剪枝算法有懲罰函數(shù)法[7]、靈敏度計算法[8]、相關(guān)性剪枝算法[9]等。 其中,懲罰函數(shù)法是使用最普遍的剪枝算法之一,只需在最小化目標函數(shù)后添加一個變量為網(wǎng)絡(luò)權(quán)值的懲罰函數(shù)。常見的懲罰函數(shù)有權(quán)消除懲罰項[7]、權(quán)衰減懲罰項[7]、拉普拉斯懲罰項[10]等。

    上述懲罰函數(shù)均可針對其中的網(wǎng)絡(luò)權(quán)值變量添加參數(shù)進行泛化,本文通過調(diào)整參數(shù)值得到基于傳統(tǒng)懲罰函數(shù)的新的懲罰函數(shù),從而對比分析泛化的懲罰函數(shù)構(gòu)造的剪枝算法對網(wǎng)絡(luò)隱節(jié)點的剪枝效果和網(wǎng)絡(luò)結(jié)構(gòu)的影響。

    2 神經(jīng)網(wǎng)絡(luò)

    2.1 基礎(chǔ)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

    在人工神經(jīng)網(wǎng)絡(luò)模型中,具有誤差反向傳播學習功能的多層前饋神經(jīng)網(wǎng)絡(luò)即BP神經(jīng)網(wǎng)絡(luò)[1],是目前應(yīng)用最廣泛且研究最深入的神經(jīng)網(wǎng)絡(luò)。BP神經(jīng)網(wǎng)絡(luò)一般由輸入層、輸出層和隱層三部分構(gòu)成。這里重點考慮隱層的神經(jīng)元個數(shù),實驗中利用具有單隱層的網(wǎng)絡(luò),并使用分類問題的XOR數(shù)據(jù)作為實驗數(shù)據(jù)。

    對于屬于2個不同類的N維向量x,假設(shè)有一個訓練數(shù)據(jù)集{xk,yd(k)},并且每個xk都對應(yīng)一個已知的yd(k)∈{0,1}。對于二分類問題[10],只需1個輸出神經(jīng)元,輸入神經(jīng)元個數(shù)與輸入向量維數(shù)相同為2。根據(jù)要求構(gòu)造的網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

    圖1 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

    該網(wǎng)絡(luò)的輸入輸出函數(shù)可表示為:

    其中,x是神經(jīng)網(wǎng)絡(luò)的輸入向量;y是神經(jīng)網(wǎng)絡(luò)對應(yīng)的輸出值;W1是連接輸入神經(jīng)元與隱層神經(jīng)元的權(quán)值向量;b1為初始偏移向量;W2是連接隱層和輸出層神經(jīng)元的權(quán)值向量;b2為輸出神經(jīng)元的權(quán)值初始偏移;C為一個用于調(diào)節(jié)隱層輸出值的系數(shù),選取C=10。神經(jīng)網(wǎng)絡(luò)隱層和輸出層的轉(zhuǎn)移函數(shù)f(·)和g(·)均采用標準Sigmoid激活函數(shù)。

    2.2 神經(jīng)網(wǎng)絡(luò)學習算法

    神經(jīng)網(wǎng)絡(luò)學習方式[10]有2種:有導學習和無導學習。有導學習又稱為監(jiān)督學習[10]。一般情況下,有導學習的訓練樣本是輸入輸出對:{xk,yd(k)},k=1,2,…,L,其中,xk為樣本輸入;yd(k)為期望的樣本輸出(教師信號)。神經(jīng)網(wǎng)絡(luò)訓練的目的是:根據(jù)一定的學習規(guī)則,通過調(diào)節(jié)各神經(jīng)元的自由參數(shù),使網(wǎng)絡(luò)輸出產(chǎn)生期望的值,即當輸入樣本為xk時,網(wǎng)絡(luò)輸出盡可能接近yd(k)。本文采用有導學習方式。無導學習稱為無監(jiān)督學習或自組織學習。無導學習不提供教師信號,而只規(guī)定學習規(guī)則,具體的學習內(nèi)容隨系統(tǒng)所處環(huán)境而定。

    有導學習和無導學習都要通過調(diào)整神經(jīng)元的自由參數(shù)(權(quán)值和偏移)實現(xiàn),假設(shè)單個神經(jīng)元當前的權(quán)值為w(t),神經(jīng)元學習算法的內(nèi)容是確定神經(jīng)元的權(quán)值調(diào)整量Δw(t),并得到權(quán)值調(diào)節(jié)公式,即:

    梯度下降法[10]是最常用的神經(jīng)網(wǎng)絡(luò)學習算法。假定神經(jīng)元權(quán)值修正的目標是極小化目標函數(shù)F(w(t)),根據(jù)梯度法基本原理,若g(t)=▽F(w(t))|w=w(t)表示F(w(t))在w=w(t)時的梯度,則Δw(t)=-ηg(t),η取較小的正數(shù)(稱為學習率),即權(quán)值修正量沿負梯度方向取較小值。

    2.3 BP神經(jīng)網(wǎng)絡(luò)

    BP算法也稱誤差反向傳播算法[1],通過誤差反向傳播校正來不斷調(diào)整網(wǎng)絡(luò)的權(quán)值和閾值,使網(wǎng)絡(luò)的誤差平方和最小。當一個樣本輸入網(wǎng)絡(luò),并產(chǎn)生輸出時,通過最小化所有網(wǎng)絡(luò)輸出的均方誤差來訓練網(wǎng)絡(luò)[11],均方誤差為各輸出單元誤差平方和,即:

    其中,L是訓練數(shù)據(jù)集中向量x的個數(shù)。

    由梯度下降法得到:

    輸入層到隱層的權(quán)值為w1(t),權(quán)值調(diào)整公式為:

    隱層到輸出層的權(quán)值為w2(t),權(quán)值調(diào)整公式為:

    3 基于懲罰函數(shù)的剪枝算法

    剪枝算法通過在訓練時刪除或合并某些節(jié)點或權(quán)值[4]以達到精簡網(wǎng)絡(luò)結(jié)構(gòu)、改進網(wǎng)絡(luò)性能的目的。在各種神經(jīng)網(wǎng)絡(luò)剪枝算法中,懲罰函數(shù)是其中最普遍使用的一種算法,使用懲罰函數(shù)剪枝算法對網(wǎng)絡(luò)進行一定次數(shù)的訓練,網(wǎng)絡(luò)中的某些權(quán)值將減小到零附近,如果一個隱節(jié)點的輸出權(quán)值接近0或小于某個閾值,就可以刪除該隱節(jié)點。

    通過在網(wǎng)絡(luò)目標函數(shù)中引入表示結(jié)構(gòu)復雜性的正則化項來達到降低網(wǎng)絡(luò)復雜性的目的[10]。對于神經(jīng)網(wǎng)絡(luò)中的分類問題,目標函數(shù)為:

    其中,E(w)代表該網(wǎng)絡(luò)的誤差平方和;C(w)是懲罰函數(shù),代表網(wǎng)絡(luò)的復雜性;λ是正則化參數(shù),代表模型復雜性的相對重要性。

    3.1 常用的懲罰函數(shù)

    常用的幾種懲罰函數(shù)具體如下:

    (1)權(quán)衰減

    其中,wi表示網(wǎng)絡(luò)中的每個權(quán)值。

    (2)拉普拉斯正則項

    其中,wi表示網(wǎng)絡(luò)中的每個權(quán)值。

    (3)權(quán)消除

    其中,wi表示網(wǎng)絡(luò)中的每個權(quán)值;w0為固定值,實驗中w0=0.1。

    3.2 正則化參數(shù)的動態(tài)修改方法

    剪枝算法中的正則化參數(shù)λ對神經(jīng)網(wǎng)絡(luò)的泛化能力有很大影響,且比較難以確定,一般采用動態(tài)修改策略[10]尋找正則化參數(shù),較大地改進了網(wǎng)絡(luò)的泛化能力。

    具體方法如下:學習過程中隨時檢測以下誤差量之間的關(guān)系:

    (1)E(t-1):前一次權(quán)值調(diào)節(jié)時的誤差。

    (2)A(t):當前時刻的加權(quán)平均誤差,定義為:

    其中,μ為接近1的濾波系數(shù)。

    (3)D:期望誤差值。如果沒有先驗知識,可設(shè)定D=0,此時算法也能較好地進行,但計算時間由計算次數(shù)限制,因此計算時間可能較長。

    在每次權(quán)值調(diào)節(jié)后,計算當前時刻的學習誤差E(t)和加權(quán)平均誤差A(t),并根據(jù)它們之間的關(guān)系對λ進行調(diào)節(jié),具體規(guī)則如下:

    (1)如果E(t)<E(t-1)或E(t)<D,則:

    此時存在以下2種情況:1)神經(jīng)網(wǎng)絡(luò)的訓練誤差正在下降;2)該誤差已經(jīng)小于目標函數(shù)值。這2種情況都是人們期待的,此時應(yīng)略微增加正則化的作用。

    (2)如果E(t)≥E(t-1),E(t)<A(t),且E(t)≥D,則:

    此時當前誤差有所上升(E(t)≥E(t-1)),但從長遠來說,訓練誤差仍在下降(E(t)<A(t))。此時應(yīng)該略微減少正則化的作用。

    (3)如果E(t)≥E(t-1),E(t)≥A(t),且E(t)≥D,則:

    其中,ρ為接近1的系數(shù)。

    此時不僅當前誤差在上升,而且從長遠來說,訓練誤差也在上升,所以,應(yīng)該較大幅度地減少正則化的作用。λ初始可以取0,隨后按上述規(guī)則動態(tài)調(diào)節(jié)。

    4 基于懲罰函數(shù)泛化的剪枝算法

    權(quán)衰減懲罰函數(shù)式(8)和拉普拉斯正則化項式(9)可泛化為:

    圖2 r取0.1,0.5,1.0和2.0時隨wi的變化曲線

    綜合以上2種懲罰函數(shù)的泛化情況和權(quán)消除懲罰函數(shù)的變化曲線,可以看出當r取不同參數(shù)時,C(w)中的某一項隨著權(quán)值wi的變化有各種變化趨勢,函數(shù)值范圍也有很大差異,而C(w)是懲罰函數(shù)剪枝算法的重點,所以,可以推測r取不同參數(shù)時,泛化的懲罰函數(shù)剪枝算法的性能也有所不同。

    圖3 隨的變化曲線

    5 實驗結(jié)果與分析

    實驗采用XOR數(shù)據(jù),XOR數(shù)據(jù)的輸入樣本x為4組二維向量:[0;1],[0;0],[1;1],[1;0];對應(yīng)的4組輸出y分別為1,0,0,1;已知對于XOR數(shù)據(jù),隱層至少需要2個神經(jīng)元才能很好地完成分類工作[12],設(shè)定初始隱層具有4個神經(jīng)元,所以,可以通過觀察隨著參數(shù)r的變化,泛化的懲罰函數(shù)剪枝算法將原始隱層4個神經(jīng)元剪除的情況,并通過分析剪枝后的網(wǎng)絡(luò)權(quán)值來評價泛化的懲罰函數(shù)剪枝算法對網(wǎng)絡(luò)結(jié)構(gòu)的影響。實驗運行環(huán)境為:CPU Inter雙核,2.1 GHz,2 GB內(nèi)存,Matlab2009a。

    在進行網(wǎng)絡(luò)剪枝時,輸出權(quán)值很小的神經(jīng)元可以被刪除[7]。在利用不同的剪枝方法進行剪枝時,關(guān)注的是迭代算法達到誤差要求或達到迭代次數(shù)時輸出權(quán)值的相對大?。?],實驗設(shè)定輸出權(quán)值小于最大輸出權(quán)值的10%的神經(jīng)元可以被刪除。雖然10%是主觀設(shè)定的,但是為這些泛化的懲罰函數(shù)剪枝設(shè)定了一個統(tǒng)一的閾值,剪枝剩下的神經(jīng)元個數(shù)就是用于構(gòu)造神經(jīng)網(wǎng)絡(luò)隱層的神經(jīng)元個數(shù)。

    網(wǎng)絡(luò)中所有的初始權(quán)值和偏移量均?。?0.5, 0.5]內(nèi)的隨機值,目標誤差取0.01,學習率取0.16,迭代次數(shù)取5 000,正則化參數(shù)調(diào)整時的濾波系數(shù)μ=0.92、ρ=0.95,正則化參數(shù)增量Δλ=5e-8。對于泛化函數(shù)各個參數(shù)取值,實驗利用完全相同的隨機初始權(quán)值,共進行20組實驗,每組采用不同的隨機權(quán)值,這些權(quán)值都是由相同的隨機函數(shù)生成。

    表1 泛化參數(shù)r的剪枝效果

    在表1中,每行表示20組實驗中,某個參數(shù)構(gòu)造的泛化函數(shù)算法將隱層4個節(jié)點剪枝到剩下1個、2個、3個和沒有實現(xiàn)剪枝即剩4個的組數(shù)。例如:當r=1.0時,有0組實驗網(wǎng)絡(luò)隱層4個節(jié)點在剪枝后剩1個,有1組實驗隱層節(jié)點在剪枝后剩2個,有4組剩3個,還有15組剩4個沒有實現(xiàn)剪枝。同時,列出權(quán)消除懲罰函數(shù)在相同條件下的實驗結(jié)果,如表2所示。

    表2 權(quán)消除懲罰函數(shù)的剪枝效果

    通過分析表1和表2中的各組數(shù)據(jù)可以發(fā)現(xiàn),當r>1.0時,網(wǎng)絡(luò)能達到剪枝效果并滿足構(gòu)造網(wǎng)絡(luò)最低要求即節(jié)點個數(shù)小于4并大于1的組數(shù)均為3組或4組;而當0.5<r<1.0時,節(jié)點個數(shù)小于4并大于1的組數(shù)為5組或6組;當r<0.5時,滿足要求的組數(shù)有明顯增多,最多的當r=0.4時達到11組,而且有3組能夠剪枝達到最優(yōu)的2個節(jié)點。由此可見,當r取小于0.5的數(shù)值時呈現(xiàn)更好的剪枝效果。

    在分析剪枝效果的同時,本文還研究了泛化的懲罰函數(shù)算法對網(wǎng)絡(luò)結(jié)構(gòu)的影響。如表3、表4所示為2組各個r取值構(gòu)造的泛化懲罰函數(shù)算法結(jié)束時,網(wǎng)絡(luò)的隱層到輸出層的權(quán)值數(shù)據(jù)。

    表3 第1組參數(shù)r訓練得到的神經(jīng)網(wǎng)絡(luò)隱層結(jié)構(gòu)及性能

    表4 第2組參數(shù)r訓練得到的神經(jīng)網(wǎng)絡(luò)隱層結(jié)構(gòu)及性能

    圖4 隨參數(shù)r的變化曲線

    6 結(jié)束語

    本文對懲罰函數(shù)剪枝算法中常用的懲罰函數(shù)進行泛化,以標準BP神經(jīng)網(wǎng)絡(luò)為模型,利用XOR數(shù)據(jù)為實驗數(shù)據(jù),探討了隨著懲罰函數(shù)參數(shù)的泛化,網(wǎng)絡(luò)剪枝效果和網(wǎng)絡(luò)結(jié)構(gòu)變化。實驗結(jié)果顯示,泛化后的懲罰函數(shù)隨著參數(shù)的變化,表現(xiàn)出了各種剪枝效果,訓練得出的網(wǎng)絡(luò)權(quán)值也有很大差異。實驗結(jié)果為選擇合適的懲罰函數(shù)參數(shù)構(gòu)造相應(yīng)的懲罰函數(shù)剪枝算法,以及建立更加精簡高效的神經(jīng)網(wǎng)絡(luò)提供了有利的依據(jù)。下一步工作將研究具有良好剪枝效果及參數(shù)構(gòu)造的懲罰函數(shù)算法對神經(jīng)網(wǎng)絡(luò)性能的影響。

    [1] 王士同,陳慧萍,趙躍華,等.人工智能教程[M].2版.北京:電子工業(yè)出版社,2006.

    [2] 馮宏偉,薛 蕾.基于HMM和新型前饋型神經(jīng)網(wǎng)絡(luò)的語音研究[J].計算機工程與設(shè)計,2010,31(24): 5324-5327.

    [3] Reed R.Pruning Algorithms:A Survey[J].IEEE Transactions on Neural Network,1993,4(5):740-747.

    [4] Ke Meng,Zhao Yangdong,Wang Dianhui,et al.A Selfadaptive RBF Neural Network Classifier for Transformer FaultAnalusis[J].IEEE Transactionson Power Systems,2010,25(3):1350-1360.

    [5] Jiang Huiyu,Dong Min,Yang Feng.Application of BP NerualNetwork into Predication of Nitrobenzene Compound in Toxicity[C]//Proceedings of the 2nd International Conference on Genetic and Evolutionary Computing.[S.l.]:IEEE Press,2008:170-173.

    [6] Pajares G.A Holfield Neural Network for Image Change Detection[J].IEEE Transactions on Neural Networks, 2006,17(5):1250-1264.

    [7] Zeng Huiwen,Trussell H J.Constrained Dimensionality Reduction Using a Mixed-Norm Penalty Function with Neural Networks[J].IEEE Transactions on Knowledge and Data Engineering,2010,22(3):365-380.

    [8] 費蕓潔,鄧 偉.一種基于靈敏度分析的神經(jīng)網(wǎng)絡(luò)剪枝算法[J].計算機工程與應(yīng)用,2007,43(7):34-35.

    [9] 宋清昆,郝 敏.基于改進相關(guān)性剪枝算法的BP神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)優(yōu)化[J].自動化技術(shù)與應(yīng)用,2006,25(12):3-4.

    [10] 魏海坤.神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計的理論與方法[M].北京:國防工業(yè)出版社,2005.

    [11] Liu Zilong,Liu Guozhong,Liu Jie.Adaptive Tracking Controller Using BP Neural Networks for a Class of Nonlinear Systems[J].Journal of Systems Engineering and Electronics,2004,15(4):598-604.

    [12] 李 季,嚴東超,趙虎城.基于動量因子技術(shù)的BP神經(jīng)網(wǎng)絡(luò)的改進算法及應(yīng)用[J].電氣應(yīng)用,2005,24(6):42-44.

    編輯 陸燕菲

    Study of Neural Network Pruning Algorithm Based on Generalization of Penalty Function

    XIONG Jun1,WANG Shitong1,PAN Yonghui2,BAO Fang2
    (1.College of Digital Media,Jiangnan University,Wuxi 214122,China;
    2.Department of Computer Science,Jiangyin Polytechnic College,Jiangyin 214405,China)

    The number of hidden layer and hidden layer node in neural network determines the size of the network and has a great influence on the performance of the network.Therefore,when the network contains the least hidden layer node number,pruning algorithm can be used to delete some redundant node,then the network is more simple.The pruning algorithm adds a penalty function to the target function,and the penalty function regards the weights of network as variable.It adds a variable parameter to the weights of network,so the simple penalty function can be generalized to a kind of new penalty function that changes as the parameter.The initial function can be treated as a special condition after the generalization of penalty function.Experiment tests the XOR data based on the BP neural network and sums up the effect of the generalization of penalty function on the pruning of the hidden layer node with neural network and the structure of the neural network.Then the parameters which can lead to better pruning effect and more optimal network structure are obtained from data in experiment.

    hidden layer node;neural network;pruning algorithm;penalty function;generalization;XOR data

    1000-3428(2014)11-0149-06

    A

    TP183

    10.3969/j.issn.1000-3428.2014.11.030

    熊 俊(1991-),男,碩士研究生,主研方向:人工智能,模式識別;王士同,教授、博士生導師;潘永惠,副教授、博士;包 芳,教授,博士。

    2013-11-26

    2014-01-18E-mail:jnxiongiun@163.com

    中文引用格式:熊 俊,王士同,潘永惠,等.基于懲罰函數(shù)泛化的神經(jīng)網(wǎng)絡(luò)剪枝算法研究[J].計算機工程,2014, 40(11):149-154.

    英文引用格式:Xiong Jun,Wang Shitong,Pan Yonghui,et al.Study of Neural Network Pruning Algorithm Based on Generalization of Penalty Function[J].Computer Engineering,2014,40(11):149-154.

    猜你喜歡
    懲罰
    “懲罰”等十三則
    雜文月刊(2020年12期)2020-04-01 20:36:05
    神的懲罰
    小讀者(2020年2期)2020-03-12 10:34:06
    Jokes笑話
    懲罰
    趣味(語文)(2018年1期)2018-05-25 03:09:58
    快播案:應(yīng)受懲罰的是作為抑或不作為?
    刑法論叢(2018年1期)2018-02-16 08:07:10
    “懲罰”爸爸
    真正的懲罰等
    懲罰孩子的四個前提
    海峽姐妹(2015年7期)2015-02-27 15:12:18
    航空信帶來的懲罰
    如此懲罰
    英語學習(2007年8期)2007-12-31 00:00:00
    欧美精品高潮呻吟av久久| 亚洲av美国av| 天堂动漫精品| 国产成人影院久久av| 首页视频小说图片口味搜索| 99精品在免费线老司机午夜| 精品电影一区二区在线| 亚洲精品粉嫩美女一区| 久99久视频精品免费| 精品久久久久久久久久免费视频 | 精品卡一卡二卡四卡免费| 亚洲午夜精品一区,二区,三区| 亚洲精品一卡2卡三卡4卡5卡| 变态另类成人亚洲欧美熟女 | 久久九九热精品免费| 国产熟女午夜一区二区三区| 午夜老司机福利片| 亚洲一区高清亚洲精品| 亚洲avbb在线观看| 美女福利国产在线| 手机成人av网站| 黄网站色视频无遮挡免费观看| 天天躁夜夜躁狠狠躁躁| 亚洲成人免费av在线播放| 日本精品一区二区三区蜜桃| 久久中文字幕一级| 男女免费视频国产| av网站免费在线观看视频| 精品久久久久久久毛片微露脸| 一本一本久久a久久精品综合妖精| 日韩欧美三级三区| 19禁男女啪啪无遮挡网站| 亚洲男人天堂网一区| 91精品三级在线观看| 久久香蕉国产精品| 国产精品自产拍在线观看55亚洲 | 亚洲专区字幕在线| 午夜激情av网站| 婷婷精品国产亚洲av在线 | 亚洲精品乱久久久久久| 欧美黄色淫秽网站| 精品第一国产精品| 不卡av一区二区三区| 热re99久久精品国产66热6| 国产野战对白在线观看| 国产一区有黄有色的免费视频| 日韩欧美一区二区三区在线观看 | 日本wwww免费看| 久久久久久亚洲精品国产蜜桃av| 国产aⅴ精品一区二区三区波| 搡老熟女国产l中国老女人| 国产精品久久久久成人av| 欧美日韩瑟瑟在线播放| 国产精品一区二区精品视频观看| 久久国产精品影院| 悠悠久久av| 午夜福利视频在线观看免费| 国产在线一区二区三区精| 如日韩欧美国产精品一区二区三区| 天天添夜夜摸| 麻豆av在线久日| 这个男人来自地球电影免费观看| 久久久国产成人精品二区 | 亚洲色图综合在线观看| 99久久99久久久精品蜜桃| 欧美性长视频在线观看| 欧美人与性动交α欧美软件| 757午夜福利合集在线观看| 久热爱精品视频在线9| 妹子高潮喷水视频| 婷婷成人精品国产| 在线观看www视频免费| 好男人电影高清在线观看| 99国产极品粉嫩在线观看| 村上凉子中文字幕在线| 在线观看一区二区三区激情| 丰满的人妻完整版| 欧美黑人欧美精品刺激| 在线天堂中文资源库| 国产欧美日韩一区二区三| 黄片小视频在线播放| 国产成人精品在线电影| 99热只有精品国产| 国产视频一区二区在线看| 女同久久另类99精品国产91| 老司机靠b影院| 一边摸一边抽搐一进一出视频| av不卡在线播放| 精品久久久久久久久久免费视频 | 亚洲在线自拍视频| www日本在线高清视频| 午夜两性在线视频| 久久精品熟女亚洲av麻豆精品| 大香蕉久久网| 亚洲九九香蕉| 视频在线观看一区二区三区| 成人三级做爰电影| 99国产精品99久久久久| 日本黄色视频三级网站网址 | 国产av又大| 欧美日韩成人在线一区二区| 中文欧美无线码| 亚洲一区高清亚洲精品| 91麻豆av在线| 欧美精品av麻豆av| 色综合婷婷激情| 色婷婷久久久亚洲欧美| 一边摸一边做爽爽视频免费| 午夜精品国产一区二区电影| 三上悠亚av全集在线观看| 亚洲精品国产区一区二| 女同久久另类99精品国产91| 又紧又爽又黄一区二区| 国产精品一区二区精品视频观看| 欧美成人午夜精品| 999久久久精品免费观看国产| 欧美亚洲日本最大视频资源| 男人舔女人的私密视频| 日韩欧美国产一区二区入口| 久久国产乱子伦精品免费另类| 亚洲国产看品久久| 久久久水蜜桃国产精品网| 黄片小视频在线播放| 国产亚洲欧美在线一区二区| 捣出白浆h1v1| 99riav亚洲国产免费| 亚洲精品国产色婷婷电影| 两性午夜刺激爽爽歪歪视频在线观看 | 久久亚洲精品不卡| 亚洲黑人精品在线| 欧美日韩亚洲国产一区二区在线观看 | 国产成人精品久久二区二区免费| 欧美精品啪啪一区二区三区| 精品人妻1区二区| 国产精品.久久久| 欧美色视频一区免费| 在线播放国产精品三级| 欧美乱色亚洲激情| 婷婷精品国产亚洲av在线 | 99国产精品99久久久久| 日本黄色视频三级网站网址 | 欧美日韩亚洲国产一区二区在线观看 | 亚洲一区高清亚洲精品| 欧美一级毛片孕妇| 老司机福利观看| 黄色怎么调成土黄色| 久久精品亚洲av国产电影网| 日韩成人在线观看一区二区三区| 亚洲男人天堂网一区| 久久精品国产亚洲av高清一级| 在线观看免费日韩欧美大片| 18禁裸乳无遮挡动漫免费视频| 脱女人内裤的视频| 亚洲va日本ⅴa欧美va伊人久久| 天天躁夜夜躁狠狠躁躁| 国产高清激情床上av| 国产亚洲欧美在线一区二区| 99国产精品一区二区蜜桃av | 欧美精品av麻豆av| 国产精品电影一区二区三区 | 十八禁网站免费在线| 天堂√8在线中文| 久久中文字幕人妻熟女| 一级片免费观看大全| 成年人黄色毛片网站| 久99久视频精品免费| 久久久久精品国产欧美久久久| 国产在视频线精品| 国产精品一区二区精品视频观看| 一级黄色大片毛片| 久久久久久人人人人人| 精品亚洲成国产av| 天天躁狠狠躁夜夜躁狠狠躁| 他把我摸到了高潮在线观看| 亚洲精品国产精品久久久不卡| 亚洲av欧美aⅴ国产| 亚洲人成电影免费在线| 少妇的丰满在线观看| 脱女人内裤的视频| 在线观看舔阴道视频| 丝袜美足系列| 国产在视频线精品| 亚洲精品一卡2卡三卡4卡5卡| 美女视频免费永久观看网站| 亚洲 国产 在线| 久久精品国产亚洲av香蕉五月 | 国产亚洲欧美精品永久| 国产精品亚洲av一区麻豆| 黄片播放在线免费| 亚洲av片天天在线观看| 两性午夜刺激爽爽歪歪视频在线观看 | 99re在线观看精品视频| 在线观看一区二区三区激情| 美女午夜性视频免费| 国产蜜桃级精品一区二区三区 | 久久久国产一区二区| 久久青草综合色| 香蕉久久夜色| 欧美日韩瑟瑟在线播放| 妹子高潮喷水视频| 欧美+亚洲+日韩+国产| 新久久久久国产一级毛片| 99精品欧美一区二区三区四区| 极品教师在线免费播放| 国产av又大| 黑人猛操日本美女一级片| 精品国内亚洲2022精品成人 | 天天躁夜夜躁狠狠躁躁| 一区福利在线观看| 一二三四社区在线视频社区8| 中文字幕人妻丝袜制服| 久久久久久久久久久久大奶| 性少妇av在线| 国产在线精品亚洲第一网站| 下体分泌物呈黄色| 飞空精品影院首页| 久久精品国产亚洲av香蕉五月 | 黑人欧美特级aaaaaa片| 精品国产国语对白av| 亚洲三区欧美一区| 成人av一区二区三区在线看| 欧美av亚洲av综合av国产av| av视频免费观看在线观看| 国内毛片毛片毛片毛片毛片| av网站免费在线观看视频| 国产精品美女特级片免费视频播放器 | 久久午夜亚洲精品久久| 精品欧美一区二区三区在线| 国内久久婷婷六月综合欲色啪| 女人爽到高潮嗷嗷叫在线视频| 婷婷成人精品国产| 人妻 亚洲 视频| 丝袜美腿诱惑在线| 成人黄色视频免费在线看| 最新在线观看一区二区三区| 国产激情欧美一区二区| 国产精品国产高清国产av | 精品一区二区三区四区五区乱码| 欧美另类亚洲清纯唯美| 色婷婷久久久亚洲欧美| 亚洲成人免费av在线播放| 少妇裸体淫交视频免费看高清 | 欧美 日韩 精品 国产| 国产不卡av网站在线观看| 一边摸一边做爽爽视频免费| 欧美精品啪啪一区二区三区| 12—13女人毛片做爰片一| 99国产精品免费福利视频| 1024视频免费在线观看| 大码成人一级视频| 精品久久久精品久久久| 老熟女久久久| 国产精品九九99| 后天国语完整版免费观看| 午夜久久久在线观看| 激情在线观看视频在线高清 | 亚洲熟妇中文字幕五十中出 | 91成年电影在线观看| 又大又爽又粗| 亚洲免费av在线视频| 午夜免费鲁丝| 麻豆乱淫一区二区| 国产一区有黄有色的免费视频| 国产精品九九99| 如日韩欧美国产精品一区二区三区| 成人影院久久| 国产亚洲精品久久久久久毛片 | 久久久久国产一级毛片高清牌| 亚洲精品久久午夜乱码| 在线观看www视频免费| 欧美老熟妇乱子伦牲交| av超薄肉色丝袜交足视频| 男人操女人黄网站| 久久影院123| 手机成人av网站| av线在线观看网站| 大香蕉久久网| 视频区图区小说| 99精品在免费线老司机午夜| 欧美日韩亚洲高清精品| 天堂动漫精品| 国产成人精品久久二区二区91| 很黄的视频免费| 精品国内亚洲2022精品成人 | 少妇粗大呻吟视频| ponron亚洲| 亚洲,欧美精品.| 亚洲九九香蕉| 男女之事视频高清在线观看| 久久人妻熟女aⅴ| 日韩大码丰满熟妇| 男人的好看免费观看在线视频 | 久久久精品区二区三区| 久久天堂一区二区三区四区| 欧美在线一区亚洲| 国产麻豆69| 我的亚洲天堂| 美女国产高潮福利片在线看| 成人国产一区最新在线观看| 男女床上黄色一级片免费看| 色精品久久人妻99蜜桃| 久久久久视频综合| 国精品久久久久久国模美| 久久国产精品影院| 啦啦啦免费观看视频1| 黄频高清免费视频| 亚洲精品国产色婷婷电影| 丝瓜视频免费看黄片| 成人免费观看视频高清| 一级作爱视频免费观看| 中文字幕高清在线视频| 一区福利在线观看| 后天国语完整版免费观看| 怎么达到女性高潮| 999精品在线视频| 午夜福利一区二区在线看| 国内毛片毛片毛片毛片毛片| 国产亚洲欧美98| 亚洲av成人一区二区三| 国产精品影院久久| 午夜亚洲福利在线播放| 99热国产这里只有精品6| 精品一区二区三区av网在线观看| 欧美成人午夜精品| 99精品欧美一区二区三区四区| 别揉我奶头~嗯~啊~动态视频| 久久人人爽av亚洲精品天堂| 国产亚洲精品久久久久久毛片 | 久久ye,这里只有精品| 在线观看免费视频日本深夜| 国产主播在线观看一区二区| 亚洲精华国产精华精| 大片电影免费在线观看免费| 9热在线视频观看99| 国产精品久久久av美女十八| 亚洲精品粉嫩美女一区| 一级片免费观看大全| 国产高清videossex| 亚洲精品成人av观看孕妇| 亚洲精品美女久久av网站| 日本wwww免费看| 咕卡用的链子| 亚洲第一av免费看| 欧美日韩视频精品一区| 久久精品亚洲精品国产色婷小说| 高清视频免费观看一区二区| 精品久久久久久电影网| 国产精品免费视频内射| 露出奶头的视频| 成人影院久久| 天天影视国产精品| 69精品国产乱码久久久| 久久精品亚洲熟妇少妇任你| 欧美日本中文国产一区发布| 老司机午夜福利在线观看视频| 国产高清视频在线播放一区| 亚洲国产欧美一区二区综合| 亚洲av成人一区二区三| 亚洲片人在线观看| 国产97色在线日韩免费| 老司机靠b影院| 嫁个100分男人电影在线观看| 欧美 亚洲 国产 日韩一| 亚洲久久久国产精品| 极品人妻少妇av视频| 日韩中文字幕欧美一区二区| 性色av乱码一区二区三区2| 成人精品一区二区免费| 无遮挡黄片免费观看| videosex国产| 正在播放国产对白刺激| 好男人电影高清在线观看| 18禁裸乳无遮挡免费网站照片 | 自拍欧美九色日韩亚洲蝌蚪91| 欧美日韩瑟瑟在线播放| 大香蕉久久网| 黄片播放在线免费| 人妻 亚洲 视频| aaaaa片日本免费| 欧美精品亚洲一区二区| 亚洲精品国产精品久久久不卡| 多毛熟女@视频| 国产精品影院久久| 久久午夜亚洲精品久久| 亚洲五月色婷婷综合| 视频区欧美日本亚洲| 夫妻午夜视频| 天天躁夜夜躁狠狠躁躁| 成人手机av| 亚洲午夜理论影院| 老汉色av国产亚洲站长工具| 国产精品永久免费网站| 欧美av亚洲av综合av国产av| 后天国语完整版免费观看| 亚洲国产精品合色在线| 国产免费现黄频在线看| 国产精品欧美亚洲77777| 亚洲伊人色综图| 欧美日韩视频精品一区| 亚洲av片天天在线观看| 老汉色av国产亚洲站长工具| 成熟少妇高潮喷水视频| 999久久久国产精品视频| tocl精华| www日本在线高清视频| 国产蜜桃级精品一区二区三区 | 三上悠亚av全集在线观看| 精品免费久久久久久久清纯 | 俄罗斯特黄特色一大片| 日日摸夜夜添夜夜添小说| 国产又色又爽无遮挡免费看| 夜夜夜夜夜久久久久| 悠悠久久av| 最新的欧美精品一区二区| 欧美精品亚洲一区二区| 亚洲欧美一区二区三区黑人| 中文字幕高清在线视频| 在线免费观看的www视频| 人妻久久中文字幕网| 99国产极品粉嫩在线观看| 国产成人影院久久av| av不卡在线播放| 亚洲av成人av| www.熟女人妻精品国产| 国产一区有黄有色的免费视频| 久9热在线精品视频| 欧美日韩av久久| 欧美日韩中文字幕国产精品一区二区三区 | 超色免费av| www日本在线高清视频| 亚洲av电影在线进入| 亚洲色图综合在线观看| 久久精品国产亚洲av香蕉五月 | 久久国产乱子伦精品免费另类| 免费看十八禁软件| 亚洲av成人一区二区三| 美女高潮喷水抽搐中文字幕| 免费在线观看亚洲国产| 亚洲自偷自拍图片 自拍| 中文字幕人妻丝袜一区二区| 高清av免费在线| 欧美+亚洲+日韩+国产| 久久精品亚洲av国产电影网| 久热爱精品视频在线9| 精品熟女少妇八av免费久了| 久久精品熟女亚洲av麻豆精品| 91麻豆av在线| 精品亚洲成a人片在线观看| 热99re8久久精品国产| 午夜精品国产一区二区电影| 国产av又大| 久久久精品区二区三区| 99riav亚洲国产免费| 中文亚洲av片在线观看爽 | 人妻久久中文字幕网| 亚洲伊人色综图| 亚洲成a人片在线一区二区| 99国产极品粉嫩在线观看| 一进一出抽搐动态| 天天躁夜夜躁狠狠躁躁| a级毛片在线看网站| 欧美激情久久久久久爽电影 | 18禁观看日本| 99精品久久久久人妻精品| 天天躁日日躁夜夜躁夜夜| 黑丝袜美女国产一区| 亚洲精品av麻豆狂野| 亚洲av美国av| 成年女人毛片免费观看观看9 | 天堂中文最新版在线下载| 国产在视频线精品| 精品国产乱码久久久久久男人| 欧美日韩国产mv在线观看视频| 老司机影院毛片| 成人精品一区二区免费| 亚洲第一青青草原| svipshipincom国产片| 国产精品香港三级国产av潘金莲| 精品一区二区三区四区五区乱码| 12—13女人毛片做爰片一| 嫁个100分男人电影在线观看| 成年版毛片免费区| 久久久国产精品麻豆| 精品一区二区三区av网在线观看| 一进一出好大好爽视频| 精品久久蜜臀av无| 黄色 视频免费看| 亚洲aⅴ乱码一区二区在线播放 | 国产精品久久久久久人妻精品电影| 国产激情欧美一区二区| 男女床上黄色一级片免费看| 正在播放国产对白刺激| av天堂在线播放| 免费在线观看黄色视频的| 侵犯人妻中文字幕一二三四区| 国产成人精品无人区| 在线国产一区二区在线| 精品乱码久久久久久99久播| 夫妻午夜视频| 搡老岳熟女国产| 中文字幕人妻丝袜制服| 男男h啪啪无遮挡| 高清视频免费观看一区二区| 夫妻午夜视频| 亚洲国产毛片av蜜桃av| 欧美色视频一区免费| 一边摸一边抽搐一进一出视频| 在线天堂中文资源库| 丰满人妻熟妇乱又伦精品不卡| 新久久久久国产一级毛片| 久9热在线精品视频| 女同久久另类99精品国产91| 天堂中文最新版在线下载| 国产成人精品久久二区二区免费| 亚洲久久久国产精品| 多毛熟女@视频| 亚洲欧美色中文字幕在线| 国产成人一区二区三区免费视频网站| 国产成人欧美| 久久午夜亚洲精品久久| 身体一侧抽搐| 国产精品偷伦视频观看了| 九色亚洲精品在线播放| 90打野战视频偷拍视频| 精品第一国产精品| 两个人免费观看高清视频| 国产国语露脸激情在线看| 日韩制服丝袜自拍偷拍| 后天国语完整版免费观看| 成年版毛片免费区| 69av精品久久久久久| 国产1区2区3区精品| 搡老岳熟女国产| 日本wwww免费看| 99久久人妻综合| 亚洲aⅴ乱码一区二区在线播放 | 香蕉丝袜av| 无限看片的www在线观看| 99国产精品一区二区蜜桃av | 十八禁人妻一区二区| 成人特级黄色片久久久久久久| 如日韩欧美国产精品一区二区三区| ponron亚洲| 十分钟在线观看高清视频www| 日本欧美视频一区| 夫妻午夜视频| 黄片小视频在线播放| 亚洲 欧美一区二区三区| 成人亚洲精品一区在线观看| 黑人操中国人逼视频| 中文字幕人妻丝袜制服| 女性被躁到高潮视频| 国产精品久久视频播放| 热re99久久精品国产66热6| 后天国语完整版免费观看| 超碰97精品在线观看| 午夜精品久久久久久毛片777| 成人国产一区最新在线观看| 极品人妻少妇av视频| 新久久久久国产一级毛片| 国产成人欧美在线观看 | 国产97色在线日韩免费| 亚洲国产毛片av蜜桃av| 成年女人毛片免费观看观看9 | 亚洲黑人精品在线| 97人妻天天添夜夜摸| 桃红色精品国产亚洲av| 国产精品亚洲一级av第二区| 超色免费av| 天堂俺去俺来也www色官网| 国产欧美日韩一区二区精品| 精品亚洲成a人片在线观看| 精品久久蜜臀av无| 一进一出好大好爽视频| 高潮久久久久久久久久久不卡| 国产三级黄色录像| 不卡av一区二区三区| 亚洲精品自拍成人| 成人特级黄色片久久久久久久| 美女 人体艺术 gogo| 十八禁高潮呻吟视频| 午夜久久久在线观看| 欧美黑人欧美精品刺激| 亚洲成人手机| 亚洲av熟女| 999久久久精品免费观看国产| 美女 人体艺术 gogo| 国产精品香港三级国产av潘金莲| 精品久久久久久久久久免费视频 | 久久狼人影院| 国产片内射在线| 亚洲精品美女久久av网站| 香蕉久久夜色| 最近最新免费中文字幕在线| 亚洲精品在线美女| 日本一区二区免费在线视频| 91成人精品电影| 欧美成人免费av一区二区三区 | 久久久久久久久久久久大奶| 国产亚洲av高清不卡| 99热国产这里只有精品6| 国产在线一区二区三区精| 自拍欧美九色日韩亚洲蝌蚪91| 少妇被粗大的猛进出69影院| 我的亚洲天堂| 欧美激情极品国产一区二区三区| 午夜91福利影院| 一级片免费观看大全| 身体一侧抽搐| 亚洲欧美激情综合另类| 美女午夜性视频免费| 亚洲情色 制服丝袜| 大陆偷拍与自拍| 亚洲一区中文字幕在线| 在线观看免费日韩欧美大片|