• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于懲罰函數(shù)泛化的神經(jīng)網(wǎng)絡(luò)剪枝算法研究

    2014-06-07 05:53:26王士同潘永惠
    計算機(jī)工程 2014年11期
    關(guān)鍵詞:懲罰

    熊 俊,王士同,潘永惠,包 芳

    (1.江南大學(xué)數(shù)字媒體學(xué)院,江蘇無錫214122;2.江陰職業(yè)技術(shù)學(xué)院計算機(jī)科學(xué)系,江蘇江陰214405)

    基于懲罰函數(shù)泛化的神經(jīng)網(wǎng)絡(luò)剪枝算法研究

    熊 俊1,王士同1,潘永惠2,包 芳2

    (1.江南大學(xué)數(shù)字媒體學(xué)院,江蘇無錫214122;2.江陰職業(yè)技術(shù)學(xué)院計算機(jī)科學(xué)系,江蘇江陰214405)

    神經(jīng)網(wǎng)絡(luò)的隱層數(shù)和隱層節(jié)點數(shù)決定了網(wǎng)絡(luò)規(guī)模,并對網(wǎng)絡(luò)性能造成較大影響。在滿足網(wǎng)絡(luò)所需最少隱層節(jié)點數(shù)的前提下,利用剪枝算法刪除某些冗余節(jié)點,減少隱層節(jié)點數(shù),得到更加精簡的網(wǎng)絡(luò)結(jié)構(gòu)?;趹土P函數(shù)的剪枝算法是在目標(biāo)函數(shù)后加入一個懲罰函數(shù)項,該懲罰函數(shù)項是一個變量為網(wǎng)絡(luò)權(quán)值的函數(shù)。由于懲罰函數(shù)中的網(wǎng)絡(luò)權(quán)值變量可以附加一個可調(diào)參數(shù),將單一懲罰函數(shù)項泛化為一類隨參數(shù)規(guī)律變化的新的懲罰函數(shù),初始懲罰函數(shù)可看作泛化后懲罰函數(shù)的參數(shù)取定值的特殊情況。實驗利用基于標(biāo)準(zhǔn)BP神經(jīng)網(wǎng)絡(luò)的XOR數(shù)據(jù)進(jìn)行測試,得到隱層節(jié)點剪枝效果和網(wǎng)絡(luò)權(quán)值隨懲罰函數(shù)的泛化而發(fā)生變化,并從數(shù)據(jù)分析中得出具有更好剪枝效果及更優(yōu)網(wǎng)絡(luò)結(jié)構(gòu)的懲罰函數(shù)泛化參數(shù)。

    隱層節(jié)點;神經(jīng)網(wǎng)絡(luò);剪枝算法;懲罰函數(shù);泛化;XOR數(shù)據(jù)

    1 概述

    人工神經(jīng)網(wǎng)絡(luò)[1](Artificial Neural Network, ANN)是由大量的、簡單的處理單元(稱為神經(jīng)元)廣泛地互相連接而形成的復(fù)雜網(wǎng)絡(luò)系統(tǒng)。實踐表明,神經(jīng)網(wǎng)絡(luò)的性能與神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)有很大的關(guān)系,而隱層節(jié)點的選擇和調(diào)整是神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化研究中的一項重要內(nèi)容[2],若隱層節(jié)點數(shù)太少,則網(wǎng)絡(luò)可能根本不能訓(xùn)練或網(wǎng)絡(luò)性能很差;若隱層節(jié)點數(shù)太多,雖然可使網(wǎng)絡(luò)系統(tǒng)誤差減小,但一方面使網(wǎng)絡(luò)訓(xùn)練時間延長,另一方面訓(xùn)練容易陷入局部極小點而得不到最優(yōu)點。在隱節(jié)點調(diào)節(jié)過程中,經(jīng)常利用剪枝算法[3]來調(diào)節(jié)網(wǎng)絡(luò)權(quán)值,進(jìn)而刪除冗余節(jié)點,達(dá)到精簡網(wǎng)絡(luò)結(jié)構(gòu)、改進(jìn)泛化的目的。

    目前常用的神經(jīng)網(wǎng)絡(luò)模型包括徑向基函數(shù)(Radial Basis Function,RBF)神經(jīng)網(wǎng)絡(luò)[4]、誤差反向傳播(Error Back-propagation Algorithm,EBP)網(wǎng)絡(luò)[5]、Hopfield網(wǎng)絡(luò)[6]等。其中,BP神經(jīng)網(wǎng)絡(luò)是最常用的神經(jīng)網(wǎng)絡(luò)模型。常用的剪枝算法有懲罰函數(shù)法[7]、靈敏度計算法[8]、相關(guān)性剪枝算法[9]等。 其中,懲罰函數(shù)法是使用最普遍的剪枝算法之一,只需在最小化目標(biāo)函數(shù)后添加一個變量為網(wǎng)絡(luò)權(quán)值的懲罰函數(shù)。常見的懲罰函數(shù)有權(quán)消除懲罰項[7]、權(quán)衰減懲罰項[7]、拉普拉斯懲罰項[10]等。

    上述懲罰函數(shù)均可針對其中的網(wǎng)絡(luò)權(quán)值變量添加參數(shù)進(jìn)行泛化,本文通過調(diào)整參數(shù)值得到基于傳統(tǒng)懲罰函數(shù)的新的懲罰函數(shù),從而對比分析泛化的懲罰函數(shù)構(gòu)造的剪枝算法對網(wǎng)絡(luò)隱節(jié)點的剪枝效果和網(wǎng)絡(luò)結(jié)構(gòu)的影響。

    2 神經(jīng)網(wǎng)絡(luò)

    2.1 基礎(chǔ)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

    在人工神經(jīng)網(wǎng)絡(luò)模型中,具有誤差反向傳播學(xué)習(xí)功能的多層前饋神經(jīng)網(wǎng)絡(luò)即BP神經(jīng)網(wǎng)絡(luò)[1],是目前應(yīng)用最廣泛且研究最深入的神經(jīng)網(wǎng)絡(luò)。BP神經(jīng)網(wǎng)絡(luò)一般由輸入層、輸出層和隱層三部分構(gòu)成。這里重點考慮隱層的神經(jīng)元個數(shù),實驗中利用具有單隱層的網(wǎng)絡(luò),并使用分類問題的XOR數(shù)據(jù)作為實驗數(shù)據(jù)。

    對于屬于2個不同類的N維向量x,假設(shè)有一個訓(xùn)練數(shù)據(jù)集{xk,yd(k)},并且每個xk都對應(yīng)一個已知的yd(k)∈{0,1}。對于二分類問題[10],只需1個輸出神經(jīng)元,輸入神經(jīng)元個數(shù)與輸入向量維數(shù)相同為2。根據(jù)要求構(gòu)造的網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

    圖1 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

    該網(wǎng)絡(luò)的輸入輸出函數(shù)可表示為:

    其中,x是神經(jīng)網(wǎng)絡(luò)的輸入向量;y是神經(jīng)網(wǎng)絡(luò)對應(yīng)的輸出值;W1是連接輸入神經(jīng)元與隱層神經(jīng)元的權(quán)值向量;b1為初始偏移向量;W2是連接隱層和輸出層神經(jīng)元的權(quán)值向量;b2為輸出神經(jīng)元的權(quán)值初始偏移;C為一個用于調(diào)節(jié)隱層輸出值的系數(shù),選取C=10。神經(jīng)網(wǎng)絡(luò)隱層和輸出層的轉(zhuǎn)移函數(shù)f(·)和g(·)均采用標(biāo)準(zhǔn)Sigmoid激活函數(shù)。

    2.2 神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法

    神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方式[10]有2種:有導(dǎo)學(xué)習(xí)和無導(dǎo)學(xué)習(xí)。有導(dǎo)學(xué)習(xí)又稱為監(jiān)督學(xué)習(xí)[10]。一般情況下,有導(dǎo)學(xué)習(xí)的訓(xùn)練樣本是輸入輸出對:{xk,yd(k)},k=1,2,…,L,其中,xk為樣本輸入;yd(k)為期望的樣本輸出(教師信號)。神經(jīng)網(wǎng)絡(luò)訓(xùn)練的目的是:根據(jù)一定的學(xué)習(xí)規(guī)則,通過調(diào)節(jié)各神經(jīng)元的自由參數(shù),使網(wǎng)絡(luò)輸出產(chǎn)生期望的值,即當(dāng)輸入樣本為xk時,網(wǎng)絡(luò)輸出盡可能接近yd(k)。本文采用有導(dǎo)學(xué)習(xí)方式。無導(dǎo)學(xué)習(xí)稱為無監(jiān)督學(xué)習(xí)或自組織學(xué)習(xí)。無導(dǎo)學(xué)習(xí)不提供教師信號,而只規(guī)定學(xué)習(xí)規(guī)則,具體的學(xué)習(xí)內(nèi)容隨系統(tǒng)所處環(huán)境而定。

    有導(dǎo)學(xué)習(xí)和無導(dǎo)學(xué)習(xí)都要通過調(diào)整神經(jīng)元的自由參數(shù)(權(quán)值和偏移)實現(xiàn),假設(shè)單個神經(jīng)元當(dāng)前的權(quán)值為w(t),神經(jīng)元學(xué)習(xí)算法的內(nèi)容是確定神經(jīng)元的權(quán)值調(diào)整量Δw(t),并得到權(quán)值調(diào)節(jié)公式,即:

    梯度下降法[10]是最常用的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法。假定神經(jīng)元權(quán)值修正的目標(biāo)是極小化目標(biāo)函數(shù)F(w(t)),根據(jù)梯度法基本原理,若g(t)=▽F(w(t))|w=w(t)表示F(w(t))在w=w(t)時的梯度,則Δw(t)=-ηg(t),η取較小的正數(shù)(稱為學(xué)習(xí)率),即權(quán)值修正量沿負(fù)梯度方向取較小值。

    2.3 BP神經(jīng)網(wǎng)絡(luò)

    BP算法也稱誤差反向傳播算法[1],通過誤差反向傳播校正來不斷調(diào)整網(wǎng)絡(luò)的權(quán)值和閾值,使網(wǎng)絡(luò)的誤差平方和最小。當(dāng)一個樣本輸入網(wǎng)絡(luò),并產(chǎn)生輸出時,通過最小化所有網(wǎng)絡(luò)輸出的均方誤差來訓(xùn)練網(wǎng)絡(luò)[11],均方誤差為各輸出單元誤差平方和,即:

    其中,L是訓(xùn)練數(shù)據(jù)集中向量x的個數(shù)。

    由梯度下降法得到:

    輸入層到隱層的權(quán)值為w1(t),權(quán)值調(diào)整公式為:

    隱層到輸出層的權(quán)值為w2(t),權(quán)值調(diào)整公式為:

    3 基于懲罰函數(shù)的剪枝算法

    剪枝算法通過在訓(xùn)練時刪除或合并某些節(jié)點或權(quán)值[4]以達(dá)到精簡網(wǎng)絡(luò)結(jié)構(gòu)、改進(jìn)網(wǎng)絡(luò)性能的目的。在各種神經(jīng)網(wǎng)絡(luò)剪枝算法中,懲罰函數(shù)是其中最普遍使用的一種算法,使用懲罰函數(shù)剪枝算法對網(wǎng)絡(luò)進(jìn)行一定次數(shù)的訓(xùn)練,網(wǎng)絡(luò)中的某些權(quán)值將減小到零附近,如果一個隱節(jié)點的輸出權(quán)值接近0或小于某個閾值,就可以刪除該隱節(jié)點。

    通過在網(wǎng)絡(luò)目標(biāo)函數(shù)中引入表示結(jié)構(gòu)復(fù)雜性的正則化項來達(dá)到降低網(wǎng)絡(luò)復(fù)雜性的目的[10]。對于神經(jīng)網(wǎng)絡(luò)中的分類問題,目標(biāo)函數(shù)為:

    其中,E(w)代表該網(wǎng)絡(luò)的誤差平方和;C(w)是懲罰函數(shù),代表網(wǎng)絡(luò)的復(fù)雜性;λ是正則化參數(shù),代表模型復(fù)雜性的相對重要性。

    3.1 常用的懲罰函數(shù)

    常用的幾種懲罰函數(shù)具體如下:

    (1)權(quán)衰減

    其中,wi表示網(wǎng)絡(luò)中的每個權(quán)值。

    (2)拉普拉斯正則項

    其中,wi表示網(wǎng)絡(luò)中的每個權(quán)值。

    (3)權(quán)消除

    其中,wi表示網(wǎng)絡(luò)中的每個權(quán)值;w0為固定值,實驗中w0=0.1。

    3.2 正則化參數(shù)的動態(tài)修改方法

    剪枝算法中的正則化參數(shù)λ對神經(jīng)網(wǎng)絡(luò)的泛化能力有很大影響,且比較難以確定,一般采用動態(tài)修改策略[10]尋找正則化參數(shù),較大地改進(jìn)了網(wǎng)絡(luò)的泛化能力。

    具體方法如下:學(xué)習(xí)過程中隨時檢測以下誤差量之間的關(guān)系:

    (1)E(t-1):前一次權(quán)值調(diào)節(jié)時的誤差。

    (2)A(t):當(dāng)前時刻的加權(quán)平均誤差,定義為:

    其中,μ為接近1的濾波系數(shù)。

    (3)D:期望誤差值。如果沒有先驗知識,可設(shè)定D=0,此時算法也能較好地進(jìn)行,但計算時間由計算次數(shù)限制,因此計算時間可能較長。

    在每次權(quán)值調(diào)節(jié)后,計算當(dāng)前時刻的學(xué)習(xí)誤差E(t)和加權(quán)平均誤差A(yù)(t),并根據(jù)它們之間的關(guān)系對λ進(jìn)行調(diào)節(jié),具體規(guī)則如下:

    (1)如果E(t)<E(t-1)或E(t)<D,則:

    此時存在以下2種情況:1)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練誤差正在下降;2)該誤差已經(jīng)小于目標(biāo)函數(shù)值。這2種情況都是人們期待的,此時應(yīng)略微增加正則化的作用。

    (2)如果E(t)≥E(t-1),E(t)<A(t),且E(t)≥D,則:

    此時當(dāng)前誤差有所上升(E(t)≥E(t-1)),但從長遠(yuǎn)來說,訓(xùn)練誤差仍在下降(E(t)<A(t))。此時應(yīng)該略微減少正則化的作用。

    (3)如果E(t)≥E(t-1),E(t)≥A(t),且E(t)≥D,則:

    其中,ρ為接近1的系數(shù)。

    此時不僅當(dāng)前誤差在上升,而且從長遠(yuǎn)來說,訓(xùn)練誤差也在上升,所以,應(yīng)該較大幅度地減少正則化的作用。λ初始可以取0,隨后按上述規(guī)則動態(tài)調(diào)節(jié)。

    4 基于懲罰函數(shù)泛化的剪枝算法

    權(quán)衰減懲罰函數(shù)式(8)和拉普拉斯正則化項式(9)可泛化為:

    圖2 r取0.1,0.5,1.0和2.0時隨wi的變化曲線

    綜合以上2種懲罰函數(shù)的泛化情況和權(quán)消除懲罰函數(shù)的變化曲線,可以看出當(dāng)r取不同參數(shù)時,C(w)中的某一項隨著權(quán)值wi的變化有各種變化趨勢,函數(shù)值范圍也有很大差異,而C(w)是懲罰函數(shù)剪枝算法的重點,所以,可以推測r取不同參數(shù)時,泛化的懲罰函數(shù)剪枝算法的性能也有所不同。

    圖3 隨的變化曲線

    5 實驗結(jié)果與分析

    實驗采用XOR數(shù)據(jù),XOR數(shù)據(jù)的輸入樣本x為4組二維向量:[0;1],[0;0],[1;1],[1;0];對應(yīng)的4組輸出y分別為1,0,0,1;已知對于XOR數(shù)據(jù),隱層至少需要2個神經(jīng)元才能很好地完成分類工作[12],設(shè)定初始隱層具有4個神經(jīng)元,所以,可以通過觀察隨著參數(shù)r的變化,泛化的懲罰函數(shù)剪枝算法將原始隱層4個神經(jīng)元剪除的情況,并通過分析剪枝后的網(wǎng)絡(luò)權(quán)值來評價泛化的懲罰函數(shù)剪枝算法對網(wǎng)絡(luò)結(jié)構(gòu)的影響。實驗運行環(huán)境為:CPU Inter雙核,2.1 GHz,2 GB內(nèi)存,Matlab2009a。

    在進(jìn)行網(wǎng)絡(luò)剪枝時,輸出權(quán)值很小的神經(jīng)元可以被刪除[7]。在利用不同的剪枝方法進(jìn)行剪枝時,關(guān)注的是迭代算法達(dá)到誤差要求或達(dá)到迭代次數(shù)時輸出權(quán)值的相對大小[7],實驗設(shè)定輸出權(quán)值小于最大輸出權(quán)值的10%的神經(jīng)元可以被刪除。雖然10%是主觀設(shè)定的,但是為這些泛化的懲罰函數(shù)剪枝設(shè)定了一個統(tǒng)一的閾值,剪枝剩下的神經(jīng)元個數(shù)就是用于構(gòu)造神經(jīng)網(wǎng)絡(luò)隱層的神經(jīng)元個數(shù)。

    網(wǎng)絡(luò)中所有的初始權(quán)值和偏移量均取[-0.5, 0.5]內(nèi)的隨機(jī)值,目標(biāo)誤差取0.01,學(xué)習(xí)率取0.16,迭代次數(shù)取5 000,正則化參數(shù)調(diào)整時的濾波系數(shù)μ=0.92、ρ=0.95,正則化參數(shù)增量Δλ=5e-8。對于泛化函數(shù)各個參數(shù)取值,實驗利用完全相同的隨機(jī)初始權(quán)值,共進(jìn)行20組實驗,每組采用不同的隨機(jī)權(quán)值,這些權(quán)值都是由相同的隨機(jī)函數(shù)生成。

    表1 泛化參數(shù)r的剪枝效果

    在表1中,每行表示20組實驗中,某個參數(shù)構(gòu)造的泛化函數(shù)算法將隱層4個節(jié)點剪枝到剩下1個、2個、3個和沒有實現(xiàn)剪枝即剩4個的組數(shù)。例如:當(dāng)r=1.0時,有0組實驗網(wǎng)絡(luò)隱層4個節(jié)點在剪枝后剩1個,有1組實驗隱層節(jié)點在剪枝后剩2個,有4組剩3個,還有15組剩4個沒有實現(xiàn)剪枝。同時,列出權(quán)消除懲罰函數(shù)在相同條件下的實驗結(jié)果,如表2所示。

    表2 權(quán)消除懲罰函數(shù)的剪枝效果

    通過分析表1和表2中的各組數(shù)據(jù)可以發(fā)現(xiàn),當(dāng)r>1.0時,網(wǎng)絡(luò)能達(dá)到剪枝效果并滿足構(gòu)造網(wǎng)絡(luò)最低要求即節(jié)點個數(shù)小于4并大于1的組數(shù)均為3組或4組;而當(dāng)0.5<r<1.0時,節(jié)點個數(shù)小于4并大于1的組數(shù)為5組或6組;當(dāng)r<0.5時,滿足要求的組數(shù)有明顯增多,最多的當(dāng)r=0.4時達(dá)到11組,而且有3組能夠剪枝達(dá)到最優(yōu)的2個節(jié)點。由此可見,當(dāng)r取小于0.5的數(shù)值時呈現(xiàn)更好的剪枝效果。

    在分析剪枝效果的同時,本文還研究了泛化的懲罰函數(shù)算法對網(wǎng)絡(luò)結(jié)構(gòu)的影響。如表3、表4所示為2組各個r取值構(gòu)造的泛化懲罰函數(shù)算法結(jié)束時,網(wǎng)絡(luò)的隱層到輸出層的權(quán)值數(shù)據(jù)。

    表3 第1組參數(shù)r訓(xùn)練得到的神經(jīng)網(wǎng)絡(luò)隱層結(jié)構(gòu)及性能

    表4 第2組參數(shù)r訓(xùn)練得到的神經(jīng)網(wǎng)絡(luò)隱層結(jié)構(gòu)及性能

    圖4 隨參數(shù)r的變化曲線

    6 結(jié)束語

    本文對懲罰函數(shù)剪枝算法中常用的懲罰函數(shù)進(jìn)行泛化,以標(biāo)準(zhǔn)BP神經(jīng)網(wǎng)絡(luò)為模型,利用XOR數(shù)據(jù)為實驗數(shù)據(jù),探討了隨著懲罰函數(shù)參數(shù)的泛化,網(wǎng)絡(luò)剪枝效果和網(wǎng)絡(luò)結(jié)構(gòu)變化。實驗結(jié)果顯示,泛化后的懲罰函數(shù)隨著參數(shù)的變化,表現(xiàn)出了各種剪枝效果,訓(xùn)練得出的網(wǎng)絡(luò)權(quán)值也有很大差異。實驗結(jié)果為選擇合適的懲罰函數(shù)參數(shù)構(gòu)造相應(yīng)的懲罰函數(shù)剪枝算法,以及建立更加精簡高效的神經(jīng)網(wǎng)絡(luò)提供了有利的依據(jù)。下一步工作將研究具有良好剪枝效果及參數(shù)構(gòu)造的懲罰函數(shù)算法對神經(jīng)網(wǎng)絡(luò)性能的影響。

    [1] 王士同,陳慧萍,趙躍華,等.人工智能教程[M].2版.北京:電子工業(yè)出版社,2006.

    [2] 馮宏偉,薛 蕾.基于HMM和新型前饋型神經(jīng)網(wǎng)絡(luò)的語音研究[J].計算機(jī)工程與設(shè)計,2010,31(24): 5324-5327.

    [3] Reed R.Pruning Algorithms:A Survey[J].IEEE Transactions on Neural Network,1993,4(5):740-747.

    [4] Ke Meng,Zhao Yangdong,Wang Dianhui,et al.A Selfadaptive RBF Neural Network Classifier for Transformer FaultAnalusis[J].IEEE Transactionson Power Systems,2010,25(3):1350-1360.

    [5] Jiang Huiyu,Dong Min,Yang Feng.Application of BP NerualNetwork into Predication of Nitrobenzene Compound in Toxicity[C]//Proceedings of the 2nd International Conference on Genetic and Evolutionary Computing.[S.l.]:IEEE Press,2008:170-173.

    [6] Pajares G.A Holfield Neural Network for Image Change Detection[J].IEEE Transactions on Neural Networks, 2006,17(5):1250-1264.

    [7] Zeng Huiwen,Trussell H J.Constrained Dimensionality Reduction Using a Mixed-Norm Penalty Function with Neural Networks[J].IEEE Transactions on Knowledge and Data Engineering,2010,22(3):365-380.

    [8] 費蕓潔,鄧 偉.一種基于靈敏度分析的神經(jīng)網(wǎng)絡(luò)剪枝算法[J].計算機(jī)工程與應(yīng)用,2007,43(7):34-35.

    [9] 宋清昆,郝 敏.基于改進(jìn)相關(guān)性剪枝算法的BP神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)優(yōu)化[J].自動化技術(shù)與應(yīng)用,2006,25(12):3-4.

    [10] 魏海坤.神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計的理論與方法[M].北京:國防工業(yè)出版社,2005.

    [11] Liu Zilong,Liu Guozhong,Liu Jie.Adaptive Tracking Controller Using BP Neural Networks for a Class of Nonlinear Systems[J].Journal of Systems Engineering and Electronics,2004,15(4):598-604.

    [12] 李 季,嚴(yán)東超,趙虎城.基于動量因子技術(shù)的BP神經(jīng)網(wǎng)絡(luò)的改進(jìn)算法及應(yīng)用[J].電氣應(yīng)用,2005,24(6):42-44.

    編輯 陸燕菲

    Study of Neural Network Pruning Algorithm Based on Generalization of Penalty Function

    XIONG Jun1,WANG Shitong1,PAN Yonghui2,BAO Fang2
    (1.College of Digital Media,Jiangnan University,Wuxi 214122,China;
    2.Department of Computer Science,Jiangyin Polytechnic College,Jiangyin 214405,China)

    The number of hidden layer and hidden layer node in neural network determines the size of the network and has a great influence on the performance of the network.Therefore,when the network contains the least hidden layer node number,pruning algorithm can be used to delete some redundant node,then the network is more simple.The pruning algorithm adds a penalty function to the target function,and the penalty function regards the weights of network as variable.It adds a variable parameter to the weights of network,so the simple penalty function can be generalized to a kind of new penalty function that changes as the parameter.The initial function can be treated as a special condition after the generalization of penalty function.Experiment tests the XOR data based on the BP neural network and sums up the effect of the generalization of penalty function on the pruning of the hidden layer node with neural network and the structure of the neural network.Then the parameters which can lead to better pruning effect and more optimal network structure are obtained from data in experiment.

    hidden layer node;neural network;pruning algorithm;penalty function;generalization;XOR data

    1000-3428(2014)11-0149-06

    A

    TP183

    10.3969/j.issn.1000-3428.2014.11.030

    熊 俊(1991-),男,碩士研究生,主研方向:人工智能,模式識別;王士同,教授、博士生導(dǎo)師;潘永惠,副教授、博士;包 芳,教授,博士。

    2013-11-26

    2014-01-18E-mail:jnxiongiun@163.com

    中文引用格式:熊 俊,王士同,潘永惠,等.基于懲罰函數(shù)泛化的神經(jīng)網(wǎng)絡(luò)剪枝算法研究[J].計算機(jī)工程,2014, 40(11):149-154.

    英文引用格式:Xiong Jun,Wang Shitong,Pan Yonghui,et al.Study of Neural Network Pruning Algorithm Based on Generalization of Penalty Function[J].Computer Engineering,2014,40(11):149-154.

    猜你喜歡
    懲罰
    “懲罰”等十三則
    雜文月刊(2020年12期)2020-04-01 20:36:05
    神的懲罰
    小讀者(2020年2期)2020-03-12 10:34:06
    Jokes笑話
    懲罰
    趣味(語文)(2018年1期)2018-05-25 03:09:58
    快播案:應(yīng)受懲罰的是作為抑或不作為?
    刑法論叢(2018年1期)2018-02-16 08:07:10
    “懲罰”爸爸
    真正的懲罰等
    懲罰孩子的四個前提
    海峽姐妹(2015年7期)2015-02-27 15:12:18
    航空信帶來的懲罰
    如此懲罰
    精品熟女少妇av免费看| 亚洲一区二区三区色噜噜| 亚洲,欧美,日韩| 免费一级毛片在线播放高清视频| 亚洲最大成人中文| 人妻夜夜爽99麻豆av| 深夜a级毛片| 精品午夜福利在线看| 亚洲最大成人av| 久久午夜福利片| 午夜爱爱视频在线播放| 国产精品久久电影中文字幕| 中文字幕av在线有码专区| 黄色欧美视频在线观看| 国产成人freesex在线| 国产一级毛片七仙女欲春2| 日产精品乱码卡一卡2卡三| 日日撸夜夜添| 亚州av有码| 国产精品乱码一区二三区的特点| 神马国产精品三级电影在线观看| 欧美人与善性xxx| 日韩在线高清观看一区二区三区| 六月丁香七月| 日韩欧美三级三区| 国产熟女欧美一区二区| 亚洲,欧美,日韩| 联通29元200g的流量卡| 精品无人区乱码1区二区| 噜噜噜噜噜久久久久久91| 免费不卡的大黄色大毛片视频在线观看 | 国产精品一区www在线观看| 最近手机中文字幕大全| 好男人视频免费观看在线| 国产精品久久久久久av不卡| 亚洲四区av| 欧美3d第一页| 国产单亲对白刺激| 欧美成人精品欧美一级黄| 美女高潮的动态| 精品久久久久久久久久免费视频| 婷婷亚洲欧美| 中文欧美无线码| 国内揄拍国产精品人妻在线| 嫩草影院新地址| 最近2019中文字幕mv第一页| 麻豆精品久久久久久蜜桃| 国产色爽女视频免费观看| 黄色配什么色好看| 亚洲精品亚洲一区二区| 亚洲av免费在线观看| av在线播放精品| 亚洲人与动物交配视频| 国产综合懂色| 夫妻性生交免费视频一级片| 男人舔女人下体高潮全视频| 日本av手机在线免费观看| 中国美女看黄片| 人妻少妇偷人精品九色| 啦啦啦观看免费观看视频高清| 欧美不卡视频在线免费观看| 国产精品无大码| 亚洲内射少妇av| 国产成人a∨麻豆精品| 桃色一区二区三区在线观看| 国产在视频线在精品| 成人永久免费在线观看视频| 国产亚洲5aaaaa淫片| 91麻豆精品激情在线观看国产| ponron亚洲| 看十八女毛片水多多多| 精品久久久久久久久久久久久| 偷拍熟女少妇极品色| 国产三级中文精品| 伦理电影大哥的女人| 欧美人与善性xxx| 久久鲁丝午夜福利片| 欧美最黄视频在线播放免费| 欧美潮喷喷水| 日韩欧美在线乱码| 成人永久免费在线观看视频| 欧美+日韩+精品| 国产精品乱码一区二三区的特点| 久久久久久久久久久免费av| 欧美区成人在线视频| 欧美人与善性xxx| 亚洲成人久久性| 久久99热这里只有精品18| 亚洲av第一区精品v没综合| 在线免费十八禁| 国产乱人偷精品视频| 免费看光身美女| 久久欧美精品欧美久久欧美| 91久久精品国产一区二区三区| 亚洲高清免费不卡视频| 亚洲精品乱码久久久v下载方式| 一级毛片aaaaaa免费看小| 女同久久另类99精品国产91| 欧美又色又爽又黄视频| 亚洲精品粉嫩美女一区| av女优亚洲男人天堂| 如何舔出高潮| 亚洲性久久影院| 免费观看在线日韩| 国产蜜桃级精品一区二区三区| 深爱激情五月婷婷| 国产日本99.免费观看| 一级毛片aaaaaa免费看小| 精品少妇黑人巨大在线播放 | 国产久久久一区二区三区| 国产午夜精品论理片| 日韩av不卡免费在线播放| 国产成人精品婷婷| 亚洲欧美中文字幕日韩二区| 99热这里只有是精品50| 成人毛片60女人毛片免费| 国产成年人精品一区二区| 天美传媒精品一区二区| 亚洲精品乱码久久久v下载方式| 伊人久久精品亚洲午夜| 色噜噜av男人的天堂激情| 嫩草影院新地址| 青春草国产在线视频 | 亚洲中文字幕日韩| 国产精品人妻久久久影院| 一边摸一边抽搐一进一小说| 最近最新中文字幕大全电影3| 国产白丝娇喘喷水9色精品| 国产真实伦视频高清在线观看| 日韩强制内射视频| 啦啦啦啦在线视频资源| 久久鲁丝午夜福利片| 成人三级黄色视频| 日日干狠狠操夜夜爽| 美女高潮的动态| 日日摸夜夜添夜夜添av毛片| 深夜a级毛片| 日韩精品有码人妻一区| 国产一区二区亚洲精品在线观看| 午夜激情福利司机影院| 黄色日韩在线| 国产精品,欧美在线| 国产老妇伦熟女老妇高清| 欧美日本视频| 日本黄大片高清| 国产一区二区在线av高清观看| av女优亚洲男人天堂| av在线亚洲专区| 一区福利在线观看| 国产亚洲精品久久久com| 久久这里有精品视频免费| 久久99精品国语久久久| 免费人成视频x8x8入口观看| 啦啦啦韩国在线观看视频| 欧美日本亚洲视频在线播放| 亚洲欧美清纯卡通| 亚洲国产日韩欧美精品在线观看| 91麻豆精品激情在线观看国产| 久99久视频精品免费| 国产成人一区二区在线| 国产一区亚洲一区在线观看| 精品日产1卡2卡| 在线观看免费视频日本深夜| 少妇的逼好多水| 又爽又黄无遮挡网站| 欧美最新免费一区二区三区| 中文字幕熟女人妻在线| 天堂影院成人在线观看| 亚洲真实伦在线观看| 久久韩国三级中文字幕| 国产午夜精品一二区理论片| 久久久成人免费电影| 男人和女人高潮做爰伦理| 国产亚洲精品av在线| 欧美日韩精品成人综合77777| 亚洲婷婷狠狠爱综合网| 国产精品不卡视频一区二区| av免费在线看不卡| 成人二区视频| 夜夜看夜夜爽夜夜摸| 国产一区二区亚洲精品在线观看| 精品久久久久久成人av| 中文字幕av成人在线电影| 激情 狠狠 欧美| 中文字幕免费在线视频6| 成人毛片60女人毛片免费| 少妇裸体淫交视频免费看高清| 久久久久久久久久久丰满| 91久久精品电影网| 一级毛片我不卡| 欧美高清成人免费视频www| 国产高清激情床上av| 好男人在线观看高清免费视频| 亚洲五月天丁香| av专区在线播放| 在线观看一区二区三区| 春色校园在线视频观看| 久久久国产成人精品二区| 麻豆精品久久久久久蜜桃| 亚洲国产日韩欧美精品在线观看| 中文字幕av成人在线电影| 男女啪啪激烈高潮av片| www日本黄色视频网| 久久久精品欧美日韩精品| 99riav亚洲国产免费| 久久草成人影院| 国产成人a区在线观看| 免费看光身美女| 亚洲欧美精品专区久久| 18禁在线播放成人免费| 少妇熟女欧美另类| 国产精品不卡视频一区二区| 久久人人精品亚洲av| 一个人免费在线观看电影| 蜜桃亚洲精品一区二区三区| 欧美激情国产日韩精品一区| 精品人妻视频免费看| 校园人妻丝袜中文字幕| 成人鲁丝片一二三区免费| 熟妇人妻久久中文字幕3abv| 精华霜和精华液先用哪个| 国产精品三级大全| 中文字幕人妻熟人妻熟丝袜美| 欧美+亚洲+日韩+国产| 日韩av在线大香蕉| 看片在线看免费视频| 男女做爰动态图高潮gif福利片| 成人性生交大片免费视频hd| 三级男女做爰猛烈吃奶摸视频| 一级毛片电影观看 | 亚洲精品乱码久久久v下载方式| 欧美+亚洲+日韩+国产| 国产精品久久视频播放| 欧美人与善性xxx| 亚洲熟妇中文字幕五十中出| av黄色大香蕉| 亚洲真实伦在线观看| 国内精品宾馆在线| 婷婷精品国产亚洲av| 黑人高潮一二区| 少妇的逼好多水| 国产一级毛片七仙女欲春2| 国产午夜福利久久久久久| 又粗又爽又猛毛片免费看| 亚州av有码| 国产人妻一区二区三区在| 波多野结衣巨乳人妻| 天堂网av新在线| 欧美不卡视频在线免费观看| 婷婷六月久久综合丁香| 美女内射精品一级片tv| 亚洲在线自拍视频| 国产女主播在线喷水免费视频网站 | av国产免费在线观看| 亚洲va在线va天堂va国产| 欧美成人一区二区免费高清观看| av专区在线播放| 99热网站在线观看| 91精品国产九色| 亚洲成人av在线免费| 免费av毛片视频| 99热这里只有是精品在线观看| 欧美激情国产日韩精品一区| 亚洲av.av天堂| 国产69精品久久久久777片| 国产女主播在线喷水免费视频网站 | 黄片无遮挡物在线观看| 美女国产视频在线观看| 欧美不卡视频在线免费观看| 中文字幕av成人在线电影| 日韩中字成人| 18禁在线播放成人免费| 一本一本综合久久| 中文字幕久久专区| 免费一级毛片在线播放高清视频| 白带黄色成豆腐渣| 我的女老师完整版在线观看| 麻豆乱淫一区二区| 欧美不卡视频在线免费观看| 国产成人精品婷婷| 晚上一个人看的免费电影| 国产白丝娇喘喷水9色精品| 欧美一区二区国产精品久久精品| 欧美色欧美亚洲另类二区| 久久久欧美国产精品| 国产精品久久久久久亚洲av鲁大| 性插视频无遮挡在线免费观看| 亚洲欧美日韩高清在线视频| 国产一级毛片七仙女欲春2| 精品国产三级普通话版| 岛国在线免费视频观看| 国产黄色视频一区二区在线观看 | 内地一区二区视频在线| 夜夜看夜夜爽夜夜摸| 天美传媒精品一区二区| 干丝袜人妻中文字幕| 91久久精品电影网| av女优亚洲男人天堂| 99视频精品全部免费 在线| 亚洲欧美日韩卡通动漫| 国产免费男女视频| 免费观看人在逋| 啦啦啦观看免费观看视频高清| 久久久久久久久大av| 国产精品蜜桃在线观看 | 春色校园在线视频观看| 中文亚洲av片在线观看爽| 99在线人妻在线中文字幕| 夜夜夜夜夜久久久久| 村上凉子中文字幕在线| 亚洲欧洲日产国产| 日本一二三区视频观看| 99久久九九国产精品国产免费| 男女做爰动态图高潮gif福利片| 能在线免费观看的黄片| 欧美不卡视频在线免费观看| 国产精品免费一区二区三区在线| 可以在线观看的亚洲视频| 少妇熟女aⅴ在线视频| 国产精品国产三级国产av玫瑰| 亚洲人与动物交配视频| 尾随美女入室| 亚洲一级一片aⅴ在线观看| 简卡轻食公司| 成人高潮视频无遮挡免费网站| 天堂√8在线中文| 色视频www国产| 国语自产精品视频在线第100页| www.色视频.com| 99在线视频只有这里精品首页| 国产亚洲av片在线观看秒播厂 | 亚洲成人中文字幕在线播放| 一级毛片我不卡| 中国美白少妇内射xxxbb| www.色视频.com| 秋霞在线观看毛片| 波野结衣二区三区在线| 国产一区二区激情短视频| 亚洲欧美精品综合久久99| 亚洲电影在线观看av| 免费观看人在逋| 国产成人a区在线观看| 91aial.com中文字幕在线观看| 日韩高清综合在线| 欧美高清成人免费视频www| 久久亚洲精品不卡| 亚洲av不卡在线观看| 91aial.com中文字幕在线观看| 国产日本99.免费观看| 亚洲av中文av极速乱| 国产美女午夜福利| 99国产极品粉嫩在线观看| 非洲黑人性xxxx精品又粗又长| 91午夜精品亚洲一区二区三区| 可以在线观看的亚洲视频| 一进一出抽搐gif免费好疼| 99久国产av精品国产电影| 国产极品精品免费视频能看的| 国产亚洲av嫩草精品影院| 国产高清不卡午夜福利| 一级毛片我不卡| 国产熟女欧美一区二区| 日韩亚洲欧美综合| 国产女主播在线喷水免费视频网站 | 国产精品av视频在线免费观看| 国产亚洲精品av在线| 一区福利在线观看| av黄色大香蕉| 深夜精品福利| 亚洲三级黄色毛片| 色哟哟·www| 联通29元200g的流量卡| 欧美性猛交黑人性爽| 国产色婷婷99| 99久久精品热视频| 一级av片app| 国产亚洲av嫩草精品影院| 精品日产1卡2卡| 成人亚洲欧美一区二区av| 26uuu在线亚洲综合色| 少妇裸体淫交视频免费看高清| 久久久久久久久久久丰满| 国产 一区精品| 国产精品美女特级片免费视频播放器| av.在线天堂| 欧美成人a在线观看| 久久亚洲国产成人精品v| 自拍偷自拍亚洲精品老妇| 一个人观看的视频www高清免费观看| 91精品一卡2卡3卡4卡| 长腿黑丝高跟| 国产黄色视频一区二区在线观看 | 国产精品国产高清国产av| 男人舔女人下体高潮全视频| 成人av在线播放网站| 女同久久另类99精品国产91| 波多野结衣高清作品| 99热全是精品| 人妻制服诱惑在线中文字幕| 成人特级av手机在线观看| 国产 一区 欧美 日韩| 91aial.com中文字幕在线观看| 日韩高清综合在线| 99久久精品一区二区三区| 99国产极品粉嫩在线观看| 色播亚洲综合网| 91精品一卡2卡3卡4卡| 九九久久精品国产亚洲av麻豆| 99热这里只有是精品在线观看| 成人亚洲欧美一区二区av| 97在线视频观看| 成人综合一区亚洲| 国内少妇人妻偷人精品xxx网站| 青春草亚洲视频在线观看| 天堂影院成人在线观看| 日韩一本色道免费dvd| 卡戴珊不雅视频在线播放| 免费一级毛片在线播放高清视频| 国产午夜精品久久久久久一区二区三区| 免费人成视频x8x8入口观看| 看片在线看免费视频| 少妇被粗大猛烈的视频| 亚洲精品国产av成人精品| 国产精品国产高清国产av| 高清日韩中文字幕在线| 欧美极品一区二区三区四区| 插逼视频在线观看| а√天堂www在线а√下载| 成人午夜精彩视频在线观看| 国产精品一区二区三区四区久久| 尤物成人国产欧美一区二区三区| 免费观看a级毛片全部| 精品人妻熟女av久视频| 变态另类成人亚洲欧美熟女| 97热精品久久久久久| 亚洲在久久综合| 深爱激情五月婷婷| 午夜免费男女啪啪视频观看| 国产精品免费一区二区三区在线| 老师上课跳d突然被开到最大视频| 26uuu在线亚洲综合色| 免费看av在线观看网站| 亚洲最大成人中文| 欧美性感艳星| 国产精品不卡视频一区二区| 色综合站精品国产| 亚洲av中文字字幕乱码综合| 久久精品国产清高在天天线| 欧美色视频一区免费| 国产亚洲精品av在线| 国产av不卡久久| 亚洲人成网站高清观看| 久久中文看片网| av卡一久久| 久99久视频精品免费| 国内精品一区二区在线观看| 免费看a级黄色片| 好男人在线观看高清免费视频| 你懂的网址亚洲精品在线观看 | 国产成人freesex在线| 亚洲真实伦在线观看| 男女视频在线观看网站免费| 看免费成人av毛片| 卡戴珊不雅视频在线播放| www.av在线官网国产| 女人十人毛片免费观看3o分钟| 国内精品一区二区在线观看| 狠狠狠狠99中文字幕| 国产精品99久久久久久久久| 国产亚洲91精品色在线| 乱码一卡2卡4卡精品| 日本与韩国留学比较| 少妇人妻精品综合一区二区 | 亚洲欧美成人综合另类久久久 | 女人被狂操c到高潮| 国产av在哪里看| 午夜激情福利司机影院| 午夜福利高清视频| 成人性生交大片免费视频hd| 日本黄大片高清| 国产亚洲av嫩草精品影院| 插逼视频在线观看| 国产成人影院久久av| 国产高清不卡午夜福利| 亚洲五月天丁香| 国语自产精品视频在线第100页| 亚洲aⅴ乱码一区二区在线播放| 国内精品一区二区在线观看| 亚洲最大成人手机在线| 村上凉子中文字幕在线| 国产亚洲av片在线观看秒播厂 | 欧美日本亚洲视频在线播放| 高清在线视频一区二区三区 | 99久久无色码亚洲精品果冻| av在线蜜桃| 亚洲成a人片在线一区二区| 草草在线视频免费看| 亚洲丝袜综合中文字幕| 欧美激情在线99| 精品一区二区三区人妻视频| 国产一级毛片在线| 国产精品一区二区三区四区久久| 国产精品99久久久久久久久| 禁无遮挡网站| 亚洲欧美日韩无卡精品| 国产日韩欧美在线精品| 免费大片18禁| 日本-黄色视频高清免费观看| 一级黄片播放器| 成人国产麻豆网| 中文字幕久久专区| av视频在线观看入口| 身体一侧抽搐| 亚洲精品456在线播放app| 免费电影在线观看免费观看| 亚洲无线观看免费| 国产成人影院久久av| 2022亚洲国产成人精品| 久久久久久久久久久丰满| 色综合站精品国产| av天堂中文字幕网| 麻豆乱淫一区二区| 久久中文看片网| 91狼人影院| 午夜福利视频1000在线观看| 人人妻人人澡欧美一区二区| 久久人妻av系列| 一级毛片久久久久久久久女| 久久精品91蜜桃| 国产日本99.免费观看| 亚洲av.av天堂| 欧美日本视频| 免费观看的影片在线观看| 国产亚洲5aaaaa淫片| 亚洲天堂国产精品一区在线| 18禁在线播放成人免费| 成年女人看的毛片在线观看| 久久草成人影院| 亚洲av成人av| 少妇熟女aⅴ在线视频| 国产淫片久久久久久久久| 少妇被粗大猛烈的视频| 国产精品野战在线观看| 欧美zozozo另类| 成人毛片60女人毛片免费| 精品日产1卡2卡| 亚洲精品粉嫩美女一区| 人人妻人人澡人人爽人人夜夜 | 久久综合国产亚洲精品| 天堂中文最新版在线下载 | 国产亚洲5aaaaa淫片| 国产又黄又爽又无遮挡在线| 综合色丁香网| 日韩欧美 国产精品| 亚洲美女搞黄在线观看| 国产一区二区三区在线臀色熟女| 变态另类成人亚洲欧美熟女| 久久99热6这里只有精品| 亚州av有码| 久久鲁丝午夜福利片| 亚洲成人久久爱视频| 久久久成人免费电影| 久久久久免费精品人妻一区二区| 国内精品宾馆在线| 26uuu在线亚洲综合色| 小蜜桃在线观看免费完整版高清| 一边摸一边抽搐一进一小说| 久久人人精品亚洲av| 黄色欧美视频在线观看| 免费搜索国产男女视频| 久久欧美精品欧美久久欧美| 中文字幕人妻熟人妻熟丝袜美| 一级毛片久久久久久久久女| 两个人的视频大全免费| 老司机福利观看| a级毛片免费高清观看在线播放| 三级男女做爰猛烈吃奶摸视频| 国产亚洲欧美98| 国产成人精品婷婷| 久久久久久久久久久免费av| a级毛色黄片| 国产精品一区二区三区四区久久| 人人妻人人看人人澡| 一个人免费在线观看电影| 网址你懂的国产日韩在线| 男人和女人高潮做爰伦理| 久久精品久久久久久噜噜老黄 | 村上凉子中文字幕在线| 黄色欧美视频在线观看| 性插视频无遮挡在线免费观看| 国产亚洲5aaaaa淫片| 欧美一级a爱片免费观看看| av视频在线观看入口| 男人舔奶头视频| 久久久久久久亚洲中文字幕| 91久久精品国产一区二区成人| 午夜福利在线在线| 午夜精品一区二区三区免费看| 国产精品久久久久久av不卡| 国产精品福利在线免费观看| 欧美最黄视频在线播放免费| 欧美xxxx黑人xx丫x性爽| 自拍偷自拍亚洲精品老妇| 99热精品在线国产| 在线观看午夜福利视频| av免费观看日本| 中文字幕av在线有码专区| 亚洲最大成人手机在线| 搡女人真爽免费视频火全软件| 亚洲无线观看免费| 国产人妻一区二区三区在| av免费在线看不卡| 国产精品国产高清国产av| 99热这里只有是精品在线观看| 一边亲一边摸免费视频|