一類乘性有理樣條權(quán)函數(shù)神經(jīng)網(wǎng)絡(luò)靈敏度分析

張代遠(yuǎn)，王雷雷

(1.南京郵電大學(xué) 計(jì)算機(jī)學(xué)院，江蘇 南京 210003;2.江蘇省無(wú)線傳感網(wǎng)高技術(shù)研究重點(diǎn)實(shí)驗(yàn)室，江蘇 南京 210003;3.南京郵電大學(xué) 計(jì)算機(jī)技術(shù)研究所，江蘇 南京 210003)

一類乘性有理樣條權(quán)函數(shù)神經(jīng)網(wǎng)絡(luò)靈敏度分析

張代遠(yuǎn)1,2,3，王雷雷1

(1.南京郵電大學(xué) 計(jì)算機(jī)學(xué)院，江蘇 南京 210003;2.江蘇省無(wú)線傳感網(wǎng)高技術(shù)研究重點(diǎn)實(shí)驗(yàn)室，江蘇 南京 210003;3.南京郵電大學(xué) 計(jì)算機(jī)技術(shù)研究所，江蘇 南京 210003)

樣條權(quán)函數(shù)神經(jīng)網(wǎng)絡(luò)是一種新型的神經(jīng)網(wǎng)絡(luò)，它克服了傳統(tǒng)神經(jīng)網(wǎng)絡(luò)收斂速度慢、初值敏感、局部極小的問(wèn)題。因其能精確學(xué)習(xí)給定的樣本，并且結(jié)構(gòu)簡(jiǎn)單、訓(xùn)練速度快，因此被廣泛關(guān)注。結(jié)合分子三次、分母一次的有理樣條函數(shù)和樣條權(quán)函數(shù)神經(jīng)網(wǎng)絡(luò)的優(yōu)勢(shì)，研究了分子三次、分母一次乘性有理樣條權(quán)函數(shù)神經(jīng)網(wǎng)絡(luò)，并對(duì)其靈敏度進(jìn)行了理論分析和實(shí)驗(yàn)仿真。通過(guò)理論分析和仿真可以看出，該神經(jīng)網(wǎng)絡(luò)具有分子三次、分母一次的有理樣條和樣條權(quán)函數(shù)神經(jīng)網(wǎng)絡(luò)的優(yōu)越特性，在一定擾動(dòng)范圍內(nèi)，該樣條權(quán)函數(shù)神經(jīng)網(wǎng)絡(luò)的靈敏度穩(wěn)定，具有很強(qiáng)的抗干擾能力。

樣條權(quán)函數(shù)；樣條插值；神經(jīng)網(wǎng)絡(luò)；靈敏度分析

0 引 言

隨著云計(jì)算、機(jī)器學(xué)習(xí)和大數(shù)據(jù)計(jì)算的蓬勃興起，人工神經(jīng)網(wǎng)絡(luò)理論和方法得到了更加廣泛的關(guān)注和應(yīng)用。但是傳統(tǒng)的BP算法往往存在局部極小、不收斂或者收斂速度慢、初值敏感等缺陷。這些缺陷極大限制了神經(jīng)網(wǎng)絡(luò)在實(shí)際工程中的應(yīng)用。許多學(xué)者對(duì)傳統(tǒng)的BP算法進(jìn)行了多方面的改進(jìn)，比如采用遺傳算法調(diào)整網(wǎng)絡(luò)參數(shù)[1]，優(yōu)化初始權(quán)值或者其他參數(shù)[2]等。但是這些改進(jìn)無(wú)法從根本上克服梯度下降類算法的缺點(diǎn)。文獻(xiàn)[3]提出了新的神經(jīng)網(wǎng)絡(luò)(樣條權(quán)函數(shù)神經(jīng)網(wǎng)絡(luò))及其訓(xùn)練算法，該算法能夠精確學(xué)習(xí)給定的樣本，克服了傳統(tǒng)算法(如BP算法等)存在的局部極小、收斂速度慢、初值敏感等缺點(diǎn)。由于樣條插值在曲線和平面設(shè)計(jì)中的重要作用，許多學(xué)者對(duì)其進(jìn)行了大量研究[4-5]，發(fā)現(xiàn)分子三次、分母一次的有理樣條[6]能夠很好地逼近目標(biāo)函數(shù)，而且通過(guò)選取適當(dāng)參數(shù)可以使其獲得很好的形狀控制能力[7]。

當(dāng)輸入樣本或者權(quán)值存在擾動(dòng)時(shí)，樣條權(quán)函數(shù)神經(jīng)網(wǎng)絡(luò)的輸出會(huì)發(fā)生變化。從理論上分析這些變化對(duì)于整個(gè)網(wǎng)絡(luò)系統(tǒng)產(chǎn)生的影響是很重要的。靈敏度作為神經(jīng)網(wǎng)絡(luò)的一個(gè)重要指標(biāo)，可以分析這些變化給系統(tǒng)帶來(lái)的影響，而且有不少學(xué)者對(duì)靈敏度或者神經(jīng)網(wǎng)絡(luò)靈敏度做過(guò)分析[8-11]。文中結(jié)合分子三次、分母一次的有理樣條函數(shù)和樣條權(quán)函數(shù)神經(jīng)網(wǎng)絡(luò)的優(yōu)勢(shì)，研究分子三次、分母一次乘性有理樣條權(quán)函數(shù)神經(jīng)網(wǎng)絡(luò)，利用文獻(xiàn)[10]中對(duì)靈敏度的定義，對(duì)其靈敏度進(jìn)行了分析。該神經(jīng)網(wǎng)絡(luò)具有分子三次、分母一次的有理樣條和樣條權(quán)函數(shù)神經(jīng)網(wǎng)絡(luò)的優(yōu)越特性，可以被廣泛應(yīng)用到工程實(shí)踐中。

1 分子三次、分母一次乘性有理樣條權(quán)函數(shù)神經(jīng)網(wǎng)絡(luò)

文獻(xiàn)[3]提出的樣條權(quán)函數(shù)神經(jīng)網(wǎng)絡(luò)，只有兩層。為了簡(jiǎn)單起見，這里引用多輸入單輸出的乘性樣條權(quán)函數(shù)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，如圖1所示。其中輸入樣本向量是m維，因此輸入端有m個(gè)節(jié)點(diǎn)，每個(gè)輸入端節(jié)點(diǎn)通過(guò)連接權(quán)前饋連接到所有乘法單元。對(duì)于多輸入多神經(jīng)輸出網(wǎng)絡(luò)，可以得到類似的網(wǎng)絡(luò)結(jié)構(gòu)[3]。

圖1 多輸入單輸出乘性樣條權(quán)函數(shù)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

從圖中可以看出，輸入向量x有m維，其中xi,i=1,2,…,m為m維輸入向量的第i個(gè)分量。假設(shè)有N+2個(gè)訓(xùn)練樣本，則xi的向量表示為：

(1)

那么對(duì)應(yīng)輸出節(jié)點(diǎn)的向量表示為：

(2)

(3)

乘積因子ρi表示每一個(gè)輸入端節(jié)點(diǎn)對(duì)相應(yīng)輸出的貢獻(xiàn)大小，ρi越大說(shuō)明輸入節(jié)點(diǎn)在網(wǎng)絡(luò)訓(xùn)練中對(duì)輸出的影響越大。近似權(quán)函數(shù)si(xi)由輸入向量xi和輸出向量fi決定，所以對(duì)應(yīng)的插值點(diǎn)為：

(4)

既然已經(jīng)得到了插值點(diǎn)，那么就可以通過(guò)數(shù)學(xué)上的插值方法精確通過(guò)這些插值點(diǎn)(樣本點(diǎn))，所以說(shuō)權(quán)函數(shù)神經(jīng)網(wǎng)絡(luò)是精確學(xué)習(xí)算法，就是說(shuō)經(jīng)過(guò)訓(xùn)練的網(wǎng)絡(luò)能夠精確“回想”起已經(jīng)學(xué)過(guò)的樣本。

插值理論方法豐富多彩，考慮到實(shí)際樣本可能會(huì)在極點(diǎn)附近，或者一些應(yīng)用中需要考慮形狀控制時(shí)，有理函數(shù)具有一定的優(yōu)勢(shì)。因此文中采用分子三次、分母一次有理樣條函數(shù)作為權(quán)函數(shù)，這與文獻(xiàn)[3]所采用的插值多項(xiàng)式是不同的。

根據(jù)文獻(xiàn)[6-7]，對(duì)分子三次、分母一次有理樣條函數(shù)給出如下定義：

(5)

(6)

(7)

其中

(8)

(9)

Δp=(fp+1-fp)/hp,αp,βp>0，為形狀控制參數(shù)。

2 分子三次、分母一次乘性有理樣條權(quán)函數(shù)神經(jīng)網(wǎng)絡(luò)靈敏度分析

2.1 靈敏度的統(tǒng)計(jì)學(xué)定義

對(duì)圖1所示的神經(jīng)網(wǎng)絡(luò)，統(tǒng)計(jì)靈敏度定義[10]為：

(10)

對(duì)于多個(gè)輸入樣本，假設(shè)第p個(gè)輸入樣本的靈敏度為Sp,p=0,1,…,N+1，通常，可以采用以下兩種方式來(lái)評(píng)價(jià)神經(jīng)網(wǎng)絡(luò)的統(tǒng)計(jì)靈敏度。

采用所有樣本中的最大靈敏度：

(11)

采用所有樣本的平均靈敏度：

(12)

2.2 模型逼近誤差和逼近噪聲誤差分析

(13)

根據(jù)上述的神經(jīng)網(wǎng)絡(luò)理論噪音誤差輸出值的運(yùn)算方法，對(duì)網(wǎng)絡(luò)輸出值的理論噪音誤差進(jìn)行具體分析。

先考慮輸出層第j個(gè)神經(jīng)元理論噪音輸出誤差。同樣地，假設(shè)第p個(gè)不含噪聲的標(biāo)準(zhǔn)輸入樣本為

在這種輸入情況下，第j個(gè)神經(jīng)元的理論輸出值為：

(14)

則第j個(gè)神經(jīng)元的理論噪音輸出誤差為：

(17)

因?yàn)棣膇p→0，所以

(18)

因此可得：

(19)

將Dip,Fip,δip代入式(19)可得：

(20)

(21)

而對(duì)于多輸入多輸出乘性樣條權(quán)函數(shù)逼近噪聲誤差的表達(dá)式，可以由式(21)增加反映輸出節(jié)點(diǎn)序號(hào)的加下標(biāo)j表示。

(22)

因此可得:

顯然，根據(jù)式(13)可知，多輸入多輸出的輸出層誤差可以表示成如下的矩陣形式：

(24)

此時(shí)可以將式(11)或式(12)中增加反映式(24)中行、列的下標(biāo)即可。這樣可以得到多維輸出神經(jīng)網(wǎng)絡(luò)靈敏度，因此根據(jù)式(10)、(11)、(12)、(24)就可以計(jì)算出分子三次、分母一次乘性有理樣條權(quán)函數(shù)神經(jīng)網(wǎng)絡(luò)的統(tǒng)計(jì)靈敏度。

3 仿真實(shí)驗(yàn)

下面進(jìn)行數(shù)值仿真實(shí)驗(yàn)，驗(yàn)證分子三次、分母一次乘性有理樣條權(quán)函數(shù)的靈敏度穩(wěn)定性。

R=(Y*-Y)/Y

(25)

其中，Y*表示沒(méi)有擾動(dòng)時(shí)的輸出；Y表示有擾動(dòng)時(shí)的目標(biāo)輸出。

靈敏度的實(shí)際仿真值采用數(shù)理統(tǒng)計(jì)[13]的方法求得，對(duì)不同組的擾動(dòng)利用式(21)計(jì)算網(wǎng)絡(luò)輸出層誤差，然后再統(tǒng)計(jì)出擾動(dòng)的標(biāo)準(zhǔn)差和網(wǎng)絡(luò)輸出層誤差的方差，按照式(10)計(jì)算靈敏度仿真值。平均相對(duì)誤差曲線和靈敏度曲線分別如圖2和圖3所示。

圖2 平均相對(duì)誤差曲線(學(xué)習(xí)曲線為x1=t,x2=2t)

圖3 靈敏度曲線(學(xué)習(xí)曲線為x1=t,x2=2t)

圖4 平均相對(duì)誤差曲線(學(xué)習(xí)曲線為x1=t2,x2=sin0.5t)

圖5 靈敏度曲線(學(xué)習(xí)曲線為x1=t2,x2=sin0.5t)

輸入維數(shù)對(duì)平均相對(duì)誤差的影響如表1所示。

表1 輸入維數(shù)對(duì)平均相對(duì)誤差的影響

從表1可以看出，當(dāng)輸入維數(shù)m≤1 000時(shí)，平均相對(duì)誤差非常小，即Z*非常接近Z。而根據(jù)UCIrvineMachineLearningRepository的數(shù)據(jù)，92%的數(shù)據(jù)集輸入屬性個(gè)數(shù)小于1 000，因此式(21)具有實(shí)用性和代表性。

4 結(jié)束語(yǔ)

文中將樣條權(quán)函數(shù)神經(jīng)網(wǎng)絡(luò)和分子三次、分母一次的有理樣條相結(jié)合，研究分子三次、分母一次乘性有理樣條權(quán)函數(shù)神經(jīng)網(wǎng)絡(luò)靈敏度。通過(guò)理論分析和仿真實(shí)驗(yàn)，表明當(dāng)擾動(dòng)在較寬的變化范圍內(nèi)，靈敏度值非常穩(wěn)定。在此擾動(dòng)范圍內(nèi)神經(jīng)網(wǎng)絡(luò)的仿真輸出與目標(biāo)樣本的理論輸出偏差很小，能與目標(biāo)樣本較好匹配。說(shuō)明當(dāng)樣本擾動(dòng)在一定范圍內(nèi)時(shí)，分子三次、分母一次乘性有理樣條權(quán)函數(shù)神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)泛化能力[14]不會(huì)受到外界噪聲的影響，即具有較強(qiáng)的抗干擾能力，可以廣泛應(yīng)用于工程實(shí)踐的各個(gè)領(lǐng)域。

[1]KhashmanA.Amodifiedbackpropagationlearningalgorithmwithaddedemotionalcoefficients[J].IEEETransactionsonNeuralNetworks,2008,19(11):1896-1909.

[2]WedgeD,IngramD,McLeanD,etal.Onglobal-localartificialneuralnetworksforfunctionapproximation[J].IEEETransactionsonNeuralNetworks,2006,17(4):942-952.

[3] 張代遠(yuǎn).神經(jīng)網(wǎng)絡(luò)新理論與方法[M].北京:清華大學(xué)出版社,2006.

[4]SunQ,BaoF,DuanQ.Shape-preservingweightedrationalcubicinterpolation[J].JournalofComputationalInformationSystems,2012,8(18):7721-7728.

[5]BaoF,SunQ,DuanQ.Pointcontroloftheinterpolatingcurvewitharationalcubicspline[J].JournalofVisualCommunication&ImageRepresentation,2009,20(4):275-280.

[6]DuanQ,DjidjeliK,PriceWG,etal.Arationalcubicsplinebasedonfunctionvalues[J].Computers&Graphics,1998,22(4):479-486.

[7]DuanQ,DjidjeliK,PriceWG,etal.Weightedrationalcubicsplineinterpolationanditsapplication[J].JournalofComputational&AppliedMathematics,2000,117(2):121-135.

[8] 張代遠(yuǎn).零代價(jià)函數(shù)條件下的前饋神經(jīng)網(wǎng)絡(luò)統(tǒng)計(jì)靈敏度分析[J].模式識(shí)別與人工智能,2004,17(4):510-515.

[9]ZhangD.Anewalgorithmoftrainingneuralnetworksbyorthogonalweightfunctionsandsensitivityanalysis[C]//Procof2012IEEE5thinternationalconferenceonadvancedcomputationalintelligence.[s.l.]:IEEE,2012:324-327.

[10]ChoiJY,ChoiCH.Sensitivityanalysisofmultilayerperceptronwithdifferentiableactivationfunctions[J].IEEETransactionsonNeuralNetworks,1992,3(1):101-107.

[11]LiCG,LiHF,ZhangYF,etal.Sensitivityanalysisofmultilayerperceptronbasedonelasticfunction[C]//Procofinternationalconferenceonmachinelearningandcybernetics.[s.l.]:IEEE,2010:1490-1493.

[12]ZhangDY,WangLL.Erroranalysisofneuralnetworkwithmultiplyneuronsusingrationalsplineweightfunctions[J].AppliedMechanicsandMaterials,2015,713-715:1716-1720.

[13]NgWWY,YeungDS,RanQ,etal.Statisticaloutputsensitivitytoinputandweightperturbationsofradialbasisfunctionneuralnetworks[C]//ProcofIEEEinternationalconferenceonsystems,manandcybernetics.[s.l.]:IEEE,2002:503-508.

[14]ZhangDY.Analysisofgeneralizationforanewkindofneuralnetwork[J].AdvancedMaterialsResearch,2013,760-762:2023-2027.

Sensitivity Analysis of Neural Network with Rational Spline Weight Functions Using Multiplicative Neurons

ZHANG Dai-yuan1,2,3,WANG Lei-lei1

(1.College of Computer,Nanjing University of Posts and Telecommunications,Nanjing 210003,China；2.Key Laboratory of Jiangsu High Technology Research for Wireless Sensor Networks,Nanjing 210003,China;3.Institute of Computer Technology,Nanjing University of Posts and Telecommunications,Nanjing 210003,China)

The neural network with spline weight function is a new kind of neural network,which overcomes many problems such as slow convergence speed,sensitive to initial value and local minima.It is widely concerned because of its accurate learning approach to given patterns,simple network topology,fast training speed and so on.Based on the advantage of neural network with spline weight function,the sensitivity of neural network with cubic numerator and linear denominator of rational spline weight functions using multiplicative neurons is discussed,and the accuracy of analytical results is verified by simulation.Both the theoretical analysis and simulation results show that when the disturbance is in a certain range,the sensitivity of this kind of spline weight function neural network is very stable,and is featured with strong noise resistance.

spline weight function;spline interpolation;neural network;sensitivity analysis

2016-01-05

2016-05-12

時(shí)間：2016-09-19

江蘇高校優(yōu)勢(shì)學(xué)科建設(shè)工程資助項(xiàng)目(yx002001)

張代遠(yuǎn)(1957-)，男，教授，博士，碩士生導(dǎo)師，研究方向?yàn)槿斯ぶ悄堋⒂?jì)算機(jī)體系結(jié)構(gòu)、計(jì)算機(jī)應(yīng)用等；王雷雷(1991-)，男，碩士研究生，研究方向?yàn)橹悄苡?jì)算技術(shù)與應(yīng)用。

http://www.cnki.net/kcms/detail/61.1450.TP.20160919.0841.038.html

TP301

A

1673-629X(2016)10-0050-05

10.3969/j.issn.1673-629X.2016.10.011