基于磨光函數(shù)的權(quán)值直接確定雙輸入BP神經(jīng)網(wǎng)絡(luò)

楊文光，田立勤，高艷輝

(1.華北科技學(xué)院 基礎(chǔ)部，北京東燕郊 101601；2.華北科技學(xué)院計(jì)算機(jī)學(xué)院，北京東燕郊 101601)

基于磨光函數(shù)的權(quán)值直接確定雙輸入BP神經(jīng)網(wǎng)絡(luò)

楊文光1，田立勤2，高艷輝1

(1.華北科技學(xué)院 基礎(chǔ)部，北京東燕郊 101601；2.華北科技學(xué)院計(jì)算機(jī)學(xué)院，北京東燕郊 101601)

利用磨光函數(shù)與采樣數(shù)據(jù)建立了雙輸入單輸出的權(quán)值直接確定的BP神經(jīng)網(wǎng)絡(luò)。改進(jìn)后的網(wǎng)絡(luò)依據(jù)訓(xùn)練數(shù)據(jù)重要性，選擇以數(shù)據(jù)為中心的磨光函數(shù)作為激勵(lì)函數(shù)，同時(shí)網(wǎng)絡(luò)結(jié)構(gòu)可以根據(jù)數(shù)據(jù)多少得到相應(yīng)的調(diào)整。根據(jù)誤差反向傳播學(xué)習(xí)算法得到了改進(jìn)后網(wǎng)絡(luò)的權(quán)值直接確定算法。在仿真中，利用2個(gè)不同的目標(biāo)函數(shù)驗(yàn)證了改進(jìn)算法的有效性與建模精度。實(shí)驗(yàn)結(jié)果表明，三次磨光函數(shù)建立的網(wǎng)絡(luò)性能優(yōu)于二次磨光函數(shù)建立的網(wǎng)絡(luò)。

磨光函數(shù)；權(quán)值確定；結(jié)構(gòu)優(yōu)化；仿真

0 引言

BP神經(jīng)網(wǎng)絡(luò)自1986年問世以來，在優(yōu)化計(jì)算、智能控制與人工智能方面發(fā)揮了巨大的作用。在處理相對復(fù)雜的數(shù)據(jù)過程中，傳統(tǒng)的BP神經(jīng)網(wǎng)絡(luò)往往存在迭代尋優(yōu)緩慢、易于陷入局部極值的缺陷。為了改進(jìn)傳統(tǒng)BP神經(jīng)網(wǎng)絡(luò)存在的不足，不同學(xué)者分別從激勵(lì)函數(shù)、網(wǎng)絡(luò)結(jié)構(gòu)、學(xué)習(xí)算法與引入動量項(xiàng)等方面對BP神經(jīng)網(wǎng)絡(luò)進(jìn)行了嘗試改進(jìn)，在學(xué)習(xí)效率、建模精度與不同應(yīng)用領(lǐng)域取得了較好的應(yīng)用結(jié)果[1-8]。然而，改進(jìn)后的學(xué)習(xí)算法仍然是需要迭代尋優(yōu)的，涉及的網(wǎng)絡(luò)結(jié)構(gòu)往往是固定不變的，這些設(shè)置要求仍然限制了BP神經(jīng)網(wǎng)絡(luò)的進(jìn)一步發(fā)展。事情上，網(wǎng)絡(luò)結(jié)構(gòu)應(yīng)該會隨著訓(xùn)練數(shù)據(jù)的多少進(jìn)行相應(yīng)的調(diào)整才能體現(xiàn)智能性；若做到實(shí)時(shí)快速建模與逼近，網(wǎng)絡(luò)各層間的權(quán)值應(yīng)該做到直接確定，這樣網(wǎng)絡(luò)的實(shí)時(shí)性就會非常好。文獻(xiàn)[9-11]在傳統(tǒng)BP神經(jīng)網(wǎng)絡(luò)基礎(chǔ)上利用極限思想將誤差反向傳播學(xué)習(xí)算法進(jìn)行了改進(jìn)得到了與之等價(jià)的權(quán)值直接確定算法，這為BP神經(jīng)網(wǎng)絡(luò)的發(fā)展提供了新的研究思路。文獻(xiàn)[12,13]在研究模糊系統(tǒng)的基礎(chǔ)上，充分考慮了訓(xùn)練數(shù)據(jù)的重要性，以訓(xùn)練數(shù)據(jù)中的部分?jǐn)?shù)據(jù)作為生成隸屬函數(shù)的源數(shù)據(jù)，給網(wǎng)絡(luò)結(jié)構(gòu)賦予了動態(tài)可調(diào)的特性，豐富和發(fā)展了權(quán)值直接確定算法。

文獻(xiàn)[13]研究了樣條函數(shù)在BP神經(jīng)網(wǎng)絡(luò)中的權(quán)值與結(jié)構(gòu)確定算法，網(wǎng)絡(luò)結(jié)構(gòu)可以進(jìn)行與訓(xùn)練數(shù)據(jù)一致的調(diào)整，獲得了較高的建模精度，但考慮到由三次樣條函數(shù)構(gòu)造的乘積型激勵(lì)函數(shù)的復(fù)雜性與數(shù)據(jù)空間分布的簡易性需求，本文將在磨光函數(shù)基礎(chǔ)上進(jìn)行網(wǎng)絡(luò)的進(jìn)一步改進(jìn)與簡化。

1 權(quán)值直接確定神經(jīng)網(wǎng)絡(luò)

磨光函數(shù)是適應(yīng)曲線的光滑擬合逼近要求產(chǎn)生的，它具有足夠的光滑性、保凹凸性，是一種構(gòu)造相對簡單、逼近性能相對較好的函數(shù)。在神經(jīng)網(wǎng)絡(luò)的構(gòu)造過程中，激勵(lì)函數(shù)、網(wǎng)絡(luò)結(jié)構(gòu)與學(xué)習(xí)算法是神經(jīng)網(wǎng)絡(luò)構(gòu)成的三大要素。鑒于磨光函數(shù)的優(yōu)良特性，下面將利用磨光函數(shù)與訓(xùn)練數(shù)據(jù)進(jìn)行有機(jī)的結(jié)合，進(jìn)行權(quán)值直接確定神經(jīng)網(wǎng)絡(luò)的拓展與豐富。充分考慮訓(xùn)練數(shù)據(jù)的重要性，依靠數(shù)據(jù)

與磨光函數(shù)生成激勵(lì)函數(shù)，利用逼近誤差函數(shù)進(jìn)行網(wǎng)絡(luò)結(jié)構(gòu)的權(quán)值直接確定優(yōu)化。

1.1 磨光函數(shù)與激勵(lì)函數(shù)

(1)

圖1 三次磨光函數(shù)

(2)

(3)

(4)

(5)

1.2 網(wǎng)絡(luò)結(jié)構(gòu)與權(quán)值確定

采用簡化的含有輸入層、隱含層與輸出層的三層BP神經(jīng)網(wǎng)絡(luò)，其基本網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示，輸入層到隱含層的權(quán)值設(shè)置為1，設(shè)隱含層到輸出層的權(quán)值向量為w=[w1,w2,…,wl]T，其中l(wèi)0=m0·n0，m0表示從m個(gè)x數(shù)據(jù)中提取的部分?jǐn)?shù)據(jù)，n0表示從n個(gè)y數(shù)據(jù)中提取的部分?jǐn)?shù)據(jù)。傳統(tǒng)的BP神經(jīng)網(wǎng)絡(luò)是利用誤差反向傳播學(xué)習(xí)算法結(jié)合訓(xùn)練數(shù)據(jù)不斷優(yōu)化權(quán)值向量w的，由于涉及多個(gè)權(quán)值與多次迭代，因此存在迭代尋優(yōu)效果不理想的問題。在網(wǎng)絡(luò)的訓(xùn)練建立過程中，被選擇出來的l組數(shù)據(jù)充當(dāng)了網(wǎng)絡(luò)構(gòu)建一組基，通過尋找恰當(dāng)?shù)臋?quán)值來表示其他數(shù)據(jù)，所以與圖2對應(yīng)的三層BP神經(jīng)網(wǎng)絡(luò)可以表示為：

(6)

其中，若第i個(gè)激勵(lì)函數(shù)σi(x,y)是按照下式生成的：

(7)

則稱公式(6)為基于三次磨光函數(shù)生成的BP神經(jīng)網(wǎng)絡(luò)。若第i個(gè)激勵(lì)函數(shù)σi(x,y)選擇下式形式：

圖2 雙輸入單輸出BP神經(jīng)網(wǎng)絡(luò)

(8)

則稱公式(6)為基于二次磨光函數(shù)生成的BP神經(jīng)網(wǎng)絡(luò)。

定義1[15]設(shè)X∈Rn×m，如果存在矩陣Y∈Rm×n，使得下列等式成立：

XYX=X,YXY=Y,(XY)T=XY,(YX)T=YX

則稱Y為X的廣義逆矩陣(偽逆)，記作Y=X+。

下面從l組訓(xùn)練數(shù)據(jù)(x1,y1,z11),…,(xi,yj,zij),…,(xm,yn,zmn)中選取l0組數(shù)據(jù)作為構(gòu)造隱含層激勵(lì)函數(shù)的源數(shù)據(jù)(l≥l0)，利用極限思想改進(jìn)BP學(xué)習(xí)算法可得權(quán)值直接確定算法。

w=(XTX)-1XTZ.

(9)

證明：根據(jù)誤差反向傳播學(xué)習(xí)算法，需要定義誤差函數(shù)

(10)

(11)

2 仿真驗(yàn)證

下面將使用配置為Intel(R)Core(TM)i5-2450M CPU 4.00GB內(nèi)存 64位操作系統(tǒng)的宏基筆記本進(jìn)行相關(guān)的仿真實(shí)驗(yàn)，選用的MATLAB軟件版本為7.5.0(R2007b)。選擇2個(gè)不同的目標(biāo)函數(shù)分別進(jìn)行磨光函數(shù)為二次與三次的建模實(shí)驗(yàn)，檢驗(yàn)基于采樣數(shù)據(jù)、磨光函數(shù)與權(quán)值直接確定算法的建模效果。設(shè)定輸入變量x∈[0,1]，輸入變量y∈[0,1]。

目標(biāo)函數(shù)1：z=xy

目標(biāo)函數(shù)2：z=ysin(x+y)exp(-y2)+1

以上仿真實(shí)驗(yàn)中，訓(xùn)練數(shù)據(jù)按照等間距從[0,1]×[0,1]中選取，步長為0.02，而隱含層神經(jīng)元激勵(lì)函數(shù)的構(gòu)造數(shù)據(jù)則按照步長為0.1從[0,1]×[0,1]中選取，以此檢驗(yàn)訓(xùn)練數(shù)據(jù)的逼近誤差，從圖4與圖6可以發(fā)現(xiàn)，三次磨光函數(shù)生成的網(wǎng)絡(luò)逼近精度優(yōu)于二次磨光函數(shù)生成的網(wǎng)絡(luò)。用于網(wǎng)絡(luò)結(jié)構(gòu)的構(gòu)造數(shù)據(jù)遠(yuǎn)遠(yuǎn)少于訓(xùn)練數(shù)據(jù)，當(dāng)增加網(wǎng)絡(luò)結(jié)構(gòu)的構(gòu)造數(shù)據(jù)時(shí)，網(wǎng)絡(luò)的逼近精度將會進(jìn)一步提高，在滿足誤差逼近精度要求的情況下，可以靈活選擇構(gòu)造網(wǎng)絡(luò)的數(shù)據(jù)數(shù)目，簡化了網(wǎng)絡(luò)的設(shè)計(jì)。

圖3 目標(biāo)函數(shù)1與三次磨光函數(shù)逼近模型

3 結(jié)論

作為應(yīng)用較為廣泛的BP神經(jīng)網(wǎng)絡(luò)，為了提高網(wǎng)絡(luò)的逼近性就需要在網(wǎng)絡(luò)結(jié)構(gòu)與學(xué)習(xí)算法方面進(jìn)行深入的研究。本文首先選擇二次與三次磨光函數(shù)作為BP神經(jīng)網(wǎng)絡(luò)的激勵(lì)函數(shù)，利用訓(xùn)練數(shù)據(jù)對激勵(lì)函數(shù)進(jìn)行改寫，使得隱含層神經(jīng)元個(gè)數(shù)可以按照設(shè)計(jì)要求進(jìn)行動態(tài)調(diào)整。然后，利用極限思想推導(dǎo)得到了特定隱含層激勵(lì)函數(shù)與訓(xùn)練數(shù)據(jù)結(jié)合下的權(quán)值直接確定算法。最后，將所設(shè)計(jì)的改進(jìn)BP神經(jīng)網(wǎng)絡(luò)用于雙輸入單輸出系統(tǒng)的建模中，仿真結(jié)果檢驗(yàn)了所提方法的有效性。這將為進(jìn)一步開展應(yīng)用研究提供可以借鑒的研究思路。

圖4 l>l0時(shí)三次與二次建模誤差

圖5 目標(biāo)函數(shù)2與三次磨光函數(shù)逼近模型

圖6 l>l0時(shí)三次與二次建模誤差

[1] 劉剛.一種綜合改進(jìn)的BP神經(jīng)網(wǎng)絡(luò)及其實(shí)現(xiàn)[J].武漢理工大學(xué)學(xué)報(bào),2002,24(10):57-60.

[2] 王卓，王艷輝，賈利民，等.改進(jìn)的BP神經(jīng)網(wǎng)絡(luò)在鐵路客運(yùn)量時(shí)間序列預(yù)測中的應(yīng)用[J].中國鐵道科學(xué),2005,26(2):127-131.

[3] 王美玲，王念平，李曉.BP神經(jīng)網(wǎng)絡(luò)算法的改進(jìn)及應(yīng)用[J].計(jì)算機(jī)工程與應(yīng)用,2009,45(3):47-48.

[4] 虞文勝.基于改進(jìn)BP神經(jīng)網(wǎng)絡(luò)的航空液壓油軟測量[J].計(jì)算機(jī)測量與控制,2016,24(3):21-24.

[5] 李澤秀，朱昱，鮮勇，等.彈道導(dǎo)彈飛行時(shí)間的BP神經(jīng)網(wǎng)絡(luò)控制方法[J].飛行力學(xué),2017,35(2):54-58.

[6] 劉文雅，潘潔.基于神經(jīng)網(wǎng)絡(luò)的馬尾松葉綠素含量高光譜估算模型[J].應(yīng)用生態(tài)學(xué)報(bào),2017,28(4):1128-1136.

[7] 陳海燕，戎曉力，林陽.礦區(qū)開采沉陷預(yù)計(jì)的改進(jìn)BP神經(jīng)網(wǎng)絡(luò)模型[J].金屬礦山,2017,490:119-122.

[8] 張憲紅，張春蕊.一種改進(jìn)的細(xì)胞神經(jīng)網(wǎng)絡(luò)圖像邊緣提取方法[J].暨南大學(xué)學(xué)報(bào)(自然科學(xué)與醫(yī)學(xué)版),2017,38(2):178-184.

[9] 張雨濃，勞穩(wěn)超，余曉填，等.兩輸入冪激勵(lì)前向神經(jīng)網(wǎng)絡(luò)權(quán)值與結(jié)構(gòu)確定[J].計(jì)算機(jī)工程與應(yīng)用,2012,48(15):102-106.

[10] 張雨濃，曲璐，陳俊維，等.多輸入Sigmoid激勵(lì)函數(shù)神經(jīng)網(wǎng)絡(luò)權(quán)值與結(jié)構(gòu)確定法[J].計(jì)算機(jī)應(yīng)用研究,2012,29(11):4113-4151.

[11] 肖秀春，張雨濃，姜孝華.MISO多元廣義多項(xiàng)式神經(jīng)網(wǎng)絡(luò)及其權(quán)值直接求解[J].中山大學(xué)學(xué)報(bào)(自然科學(xué)版)，2009，48(4):42-56.

[12] 楊文光，閆守峰，文小艷.雙輸入型模糊前向神經(jīng)網(wǎng)絡(luò)的構(gòu)建[J].湖南師范大學(xué)自然科學(xué)學(xué)報(bào),2013,36(3):33-38.

[13] 楊文光，鐘云香，李強(qiáng)麗，等.雙輸入樣條神經(jīng)網(wǎng)絡(luò)權(quán)值與結(jié)構(gòu)確定算法[J].中山大學(xué)學(xué)報(bào)(自然科學(xué)版),2014,53(3):61-66.

[14] 朱長青.數(shù)值計(jì)算方法及其應(yīng)用[M].北京：科學(xué)出版社，2006.

[15] 史榮昌，魏豐.矩陣分析[M].北京：北京理工大學(xué)出版社，2010.

Direct Determination of BP Neural Network with Dual-Input by Weights Based on Smoothing Function

YANG Wen-guang1,TIAN Li-qin2,GAO Yan-hui1

(1.DepartmentofBasicCurriculum,NorthChinaInstituteofScienceandTechnology,Yanjiao，101601,China; 2.SchoolofComputer,NorthChinaInstituteofScienceandTechnology,Yanjiao，101601,China)

The BP neural network with double input single output directly determined by weights，is constructed by using the smoothing function and the sampled data. Based on the importance of training data,the selected data are used as the center of the polishing function as an activation function.At the same time,the network structure can be adjusted according to the number of data.According to the error back propagation learning algorithm,the weights of the improved network are determined directly.In the simulation experiment,two different objective functions are used to verify the effectiveness of the improved algorithm and the accuracy of model.The experimental results show that the network performance established by cubic polishing function is better than that of quadratic polishing function.

smoothing function;weigh determination;structure optimization;simulation

2017-03-15

中央高?；究蒲袠I(yè)務(wù)費(fèi)(3142016023)，河北省科技計(jì)劃項(xiàng)目(162176438)，國家自然科學(xué)基金(61472137)

楊文光(1981-)，男，河北保定人，博士，華北科技學(xué)院基礎(chǔ)部副教授，現(xiàn)從事模糊系統(tǒng)、神經(jīng)網(wǎng)絡(luò)與智能信息處理等研究。E-mail：wenguang662003@aliyun.com.

TP183

A

1672-7169(2017)02-0107-05