基于序列輸入的神經(jīng)網(wǎng)絡(luò)模型算法及應(yīng)用

肖紅，李盼池

東北石油大學(xué)計(jì)算機(jī)與信息技術(shù)學(xué)院，黑龍江大慶 163318

基于序列輸入的神經(jīng)網(wǎng)絡(luò)模型算法及應(yīng)用

肖紅，李盼池

東北石油大學(xué)計(jì)算機(jī)與信息技術(shù)學(xué)院，黑龍江大慶 163318

為提高神經(jīng)網(wǎng)絡(luò)的逼近能力，提出一種基于序列輸入的神經(jīng)網(wǎng)絡(luò)模型及算法。模型隱層為序列神經(jīng)元，輸出層為普通神經(jīng)元。輸入為多維離散序列，輸出為普通實(shí)值向量。先將各維離散輸入序列值按序逐點(diǎn)加權(quán)映射，再將這些映射結(jié)果加權(quán)聚合之后映射為隱層序列神經(jīng)元的輸出，最后計(jì)算網(wǎng)絡(luò)輸出。采用Levenberg-Marquardt算法設(shè)計(jì)了該模型學(xué)習(xí)算法。仿真結(jié)果表明，當(dāng)輸入節(jié)點(diǎn)和序列長(zhǎng)度比較接近時(shí)，模型的逼近能力明顯優(yōu)于普通神經(jīng)網(wǎng)絡(luò)。

神經(jīng)網(wǎng)絡(luò)；序列神經(jīng)元；序列神經(jīng)網(wǎng)絡(luò)；算法設(shè)計(jì)

1 引言

在實(shí)際生物神經(jīng)系統(tǒng)的信息處理過(guò)程中，記憶和輸出不僅依賴于每種輸入信息的空間聚合，而且也依賴于輸入在時(shí)間上的累積效果[1]。傳統(tǒng)人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Networks，ANN）較好地模擬了生物神經(jīng)元的空間聚合、激勵(lì)、閾值等特性，但缺乏對(duì)時(shí)間延遲以及時(shí)間累積效果的描述。反映在實(shí)際應(yīng)用中，ANN一次只能接收一個(gè)幾何點(diǎn)式的向量輸入，而不能直接接收體現(xiàn)時(shí)間累積效果的矩陣式輸入。對(duì)于一個(gè)矩陣式的序列樣本，ANN通常將其中每個(gè)列向量看作單個(gè)樣本分多次接收，這種方法由于不能充分利用序列的整體特征，因此逼近能力受到影響。

在很多實(shí)際問(wèn)題中，系統(tǒng)的輸入通常為一個(gè)多維的離散序列，在數(shù)學(xué)上可用一個(gè)矩陣表示，例如股票的波動(dòng)過(guò)程、化學(xué)反應(yīng)中溶液濃度的變化過(guò)程等。用神經(jīng)網(wǎng)絡(luò)方法研究離散序列輸入系統(tǒng)的建模和仿真逐漸成為智能計(jì)算領(lǐng)域的研究熱點(diǎn)。目前的處理方法主要集中在與其他方法的融合和對(duì)網(wǎng)絡(luò)模型的改進(jìn)方面。例如，文獻(xiàn)[2-3]利用濾波器能夠消除數(shù)據(jù)噪聲的優(yōu)點(diǎn)，將前饋神經(jīng)網(wǎng)絡(luò)與非線性濾波方法相結(jié)合，分別采用擴(kuò)展卡爾曼濾波和無(wú)跡卡爾曼濾波訓(xùn)練網(wǎng)絡(luò)，并比較了二者的性能。文獻(xiàn)[4]提出了改進(jìn)的小波神經(jīng)網(wǎng)絡(luò)模型，通過(guò)在隱含層使用不同類型的小波函數(shù)作為激勵(lì)函數(shù)，較大程度地提高了網(wǎng)絡(luò)的預(yù)測(cè)能力。文獻(xiàn)[5]通過(guò)在標(biāo)準(zhǔn)小波神經(jīng)網(wǎng)絡(luò)中增加一個(gè)中間層，并使該層輸出作為輸出層權(quán)值，來(lái)提高普通小波神經(jīng)網(wǎng)的預(yù)測(cè)性能。針對(duì)自回歸整合滑動(dòng)平均（autoregressive integrated moving average，ARIMA）技術(shù)只能處理線性問(wèn)題，而神經(jīng)網(wǎng)絡(luò)具有較強(qiáng)的非線性逼近能力，文獻(xiàn)[6]提出了一種融合ARIMA的混合神經(jīng)網(wǎng)絡(luò)模型，應(yīng)用效果表明混合模型明顯優(yōu)于原模型。文獻(xiàn)[7]采用非線性時(shí)變進(jìn)化的粒子群優(yōu)化算法動(dòng)態(tài)優(yōu)化徑向基函數(shù)網(wǎng)絡(luò)的結(jié)構(gòu)及參數(shù)，結(jié)果表明該方法使預(yù)測(cè)精度有明顯的提高。文獻(xiàn)[8]提出一種基于五層神經(jīng)網(wǎng)絡(luò)的遞歸預(yù)測(cè)方法，其中三個(gè)隱含層均采用雙曲正切函數(shù)作為激勵(lì)函數(shù)，為提高收斂速度，采用L-M （Levenberg-M arquardt）方法訓(xùn)練網(wǎng)絡(luò)參數(shù)。網(wǎng)絡(luò)訓(xùn)練之后，通過(guò)將輸出反饋到輸入端，可以實(shí)現(xiàn)遞歸式的連續(xù)預(yù)測(cè)。文獻(xiàn)[9-12]提出了過(guò)程神經(jīng)網(wǎng)絡(luò)（Process Neural Networks，PNN）模型，文獻(xiàn)[13-15]提出了基于正交基展開的PNN算法，目前PNN模型在連續(xù)逼近及預(yù)測(cè)方面已經(jīng)獲得一些成功應(yīng)用，但由于該模型各維輸入均為連續(xù)函數(shù)，因此不便于直接處理離散逼近及預(yù)測(cè)問(wèn)題。

為了充分模擬生物神經(jīng)元的時(shí)間累積效果，以便提高傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的逼近能力，本文提出一種基于序列輸入的神經(jīng)網(wǎng)絡(luò)模型（Sequence Input-based Neural Networks，SINN），該模型的每個(gè)輸入樣本為多維離散序列，可表述為一個(gè)矩陣?；贚-M算法設(shè)計(jì)了該模型的學(xué)習(xí)算法。以太陽(yáng)黑子數(shù)年均值預(yù)測(cè)為例，仿真結(jié)果表明，當(dāng)輸入節(jié)點(diǎn)數(shù)和序列長(zhǎng)度比較接近時(shí)，該模型的逼近和預(yù)測(cè)能力明顯優(yōu)于普通神經(jīng)網(wǎng)絡(luò)。

2 基于序列輸入的神經(jīng)網(wǎng)絡(luò)模型

2.1 基于序列輸入的神經(jīng)元模型

對(duì)于n×q矩陣式樣本，普通神經(jīng)元將每一列視為單個(gè)樣本，而將整個(gè)矩陣視為q個(gè)n維樣本。為實(shí)現(xiàn)對(duì)矩陣式樣本的整體映射，本文提出序列神經(jīng)元模型，如圖1所示。

圖1 序列神經(jīng)元實(shí)際模型

圖中{xi(tr)}=[xi(t1)，xi(t2)，…，xi(tq)]，{wi(tr)}=[wi(t1)，wi(t2)，…，wi(tq)]，i=1，2，…，n。f為sigmoid函數(shù)。該模型可簡(jiǎn)化為圖2。

根據(jù)圖1，序列神經(jīng)元模型輸入輸出關(guān)系可按下式計(jì)算。

圖2 序列神經(jīng)元簡(jiǎn)化模型

2.2 基于序列輸入的神經(jīng)網(wǎng)絡(luò)模型

本文提出的序列輸入神經(jīng)網(wǎng)絡(luò)模型為三層結(jié)構(gòu)，隱層為序列神經(jīng)元，輸出層為普通神經(jīng)元，如圖3所示，圖中g(shù)為sigmoid函數(shù)。

圖3 基于序列輸入的神經(jīng)網(wǎng)絡(luò)模型

3 基于序列輸入的神經(jīng)網(wǎng)絡(luò)算法

3.1 算法原理

令輸入層n個(gè)節(jié)點(diǎn)，隱層p個(gè)節(jié)點(diǎn)，輸出層m個(gè)節(jié)點(diǎn)。給定L個(gè)學(xué)習(xí)樣本，其中第l(l=1，2，…，L)個(gè)樣本可表示為：

對(duì)應(yīng)輸出樣本為dl1，dl2，…，dlm。

根據(jù)序列神經(jīng)元的輸出式（2），第l個(gè)樣本的隱層輸出計(jì)算式為：

輸出層輸出計(jì)算式為：

令elk=dlk-ylk，根據(jù)梯度下降法，網(wǎng)絡(luò)權(quán)值調(diào)整的梯度計(jì)算式為：

令權(quán)值向量為：

誤差向量為：

構(gòu)成的雅可比矩陣為：

根據(jù)L-M算法，網(wǎng)絡(luò)權(quán)值的調(diào)整規(guī)則為：

其中t為迭代步數(shù)，I為單位矩陣，μt為一小正數(shù)，以使JT(xt)J(xt)+μtI可逆。

為便于描述算法終止條件，稱下式定義的Emax為網(wǎng)絡(luò)的逼近誤差。

其中m為輸出維數(shù)，L為樣本總數(shù)。

若逼近誤差小于等于預(yù)先設(shè)定的限定誤差，或迭代步數(shù)帶到預(yù)先設(shè)定的最大步數(shù)，則算法終止。

3.2 實(shí)施方案

步驟1模型初始化。包括：序列長(zhǎng)度、各層節(jié)點(diǎn)數(shù)，各層權(quán)值的迭代初值，限定誤差E，限定步數(shù)G。置當(dāng)前代數(shù)g=1。

步驟2按式（5）計(jì)算各層輸出，按式（15）調(diào)整網(wǎng)絡(luò)權(quán)值。

步驟3按式（16）計(jì)算逼近誤差Emax，若Emax＞E或g＜G，則g=g+1轉(zhuǎn)步驟2，否則轉(zhuǎn)步驟4。

步驟4保存各層權(quán)值，停機(jī)。

4 仿真對(duì)比

4.1 M ackey-G lass時(shí)間序列逼近

本節(jié)以M ackey-G lass數(shù)據(jù)逼近作為仿真對(duì)象，并與普通三層ANN對(duì)比，驗(yàn)證SINN的優(yōu)越性。M ackey-Glass序列樣本可由下式產(chǎn)生。

其中t是整數(shù)，x(0)∈(0，1)，a=0.2，b=0.1，τ=17。

為使對(duì)比公平，兩種算法采用相同的網(wǎng)絡(luò)結(jié)構(gòu)，且均采用L-M算法調(diào)整權(quán)值。由上式生成序列，仿真方案為用前面的m個(gè)數(shù)據(jù)，預(yù)測(cè)緊鄰其后的1個(gè)（即第m+1個(gè)）數(shù)據(jù)。因此兩種模型的輸出層均只有一個(gè)節(jié)點(diǎn)。為使對(duì)比充分，兩種模型隱層均取5，10，…，20個(gè)節(jié)點(diǎn)。樣本歸一化后的限定誤差取0.05，限定步數(shù)取100。兩種模型的初始權(quán)值均在(-1，1)中隨機(jī)選取，L-M算法的控制參數(shù)μt=0.05。ANN隱層和輸出層采用Sigmoid函數(shù)。

根據(jù)仿真方案，取預(yù)測(cè)長(zhǎng)度m=24。令SINN輸入節(jié)點(diǎn)為n，序列長(zhǎng)度為q，顯然，q反映在時(shí)間上的積累。為考察SINN的性能，即考察當(dāng)n和q滿足什么關(guān)系時(shí)，SINN的性能最佳，將SINN輸入節(jié)點(diǎn)n和序列長(zhǎng)度q分別取為表1所示的8種情況，顯然ANN的輸入節(jié)點(diǎn)只有m=24一種情形。

表1 兩種模型的輸入節(jié)點(diǎn)和序列長(zhǎng)度設(shè)置

為便于對(duì)比，首先定義收斂的概念。算法終止后，若逼近誤差小于限定誤差，稱算法收斂。

對(duì)于輸入節(jié)點(diǎn)和隱層節(jié)點(diǎn)的每種組合，分別用兩種模型仿真10次，并記錄每種模型的平均逼近誤差、平均迭代步數(shù)、平均收斂次數(shù)作為評(píng)價(jià)指標(biāo)。仿真結(jié)果表明，SINN3_8、SIQNN4_6、SIQNN6_4、SIQNN8_3這四種SINN的逼近能力明顯優(yōu)于ANN。兩種模型的訓(xùn)練結(jié)果對(duì)比如圖4～6所示。

圖4 平均逼近誤差對(duì)比

圖5 平均迭代步數(shù)對(duì)比

圖6 收斂次數(shù)對(duì)比

4.2 太陽(yáng)黑子數(shù)年均值預(yù)測(cè)

太陽(yáng)黑子是太陽(yáng)活動(dòng)中最基本、最明顯的活動(dòng)現(xiàn)象。太陽(yáng)黑子產(chǎn)生的帶電離子，可以破壞地球高空的電離層，使大氣發(fā)生異常，還會(huì)干擾地球磁場(chǎng)，從而使電訊中斷，因此研究太陽(yáng)黑子的變換規(guī)律有著重要的現(xiàn)實(shí)意義。本節(jié)利用觀測(cè)數(shù)據(jù)，采用SINN建立太陽(yáng)黑子的預(yù)測(cè)模型，并通過(guò)與ANN和PNN對(duì)比，驗(yàn)證SINN的優(yōu)越性。

4.2.1 構(gòu)造樣本數(shù)據(jù)

實(shí)驗(yàn)采用太陽(yáng)黑子的年度平均值序列作為仿真對(duì)象，從1749年至2007年，共計(jì)259個(gè)數(shù)據(jù)。該數(shù)據(jù)呈現(xiàn)高度非線性，致使常規(guī)預(yù)測(cè)模型很難湊效。其分布特征如圖7所示。

圖7 1749—2007年太陽(yáng)黑子數(shù)據(jù)

樣本數(shù)據(jù)的構(gòu)造方法是：用連續(xù)24年的數(shù)據(jù)預(yù)測(cè)其后1年的太陽(yáng)黑子數(shù)。例如用1749—1773年數(shù)據(jù)預(yù)測(cè)1774年的太陽(yáng)黑子數(shù)，以此類推。用1749—1948年共200年的數(shù)據(jù)構(gòu)造訓(xùn)練樣本集，完成模型訓(xùn)練。用余下的59個(gè)樣本作為測(cè)試集，以檢驗(yàn)?zāi)Ｐ偷念A(yù)測(cè)能力。

4.2.2 模型參數(shù)設(shè)置

本仿真將SINN與采用L-M算法的ANN和PNN對(duì)比。隱層均分別取10，11，…，25個(gè)節(jié)點(diǎn)。根據(jù)上節(jié)結(jié)果，僅考察SINN3_8、SINN4_6、SINN6_4、SINN8_3四種模型。限定誤差取0.05，限定步數(shù)取1 000。PNN輸入輸出均為一個(gè)節(jié)點(diǎn)，正交基采用24個(gè)Fourier基函數(shù)。

4.2.3 訓(xùn)練結(jié)果對(duì)比

對(duì)于隱層節(jié)點(diǎn)的每種取值，分別用ANN、PNN和四種SINN訓(xùn)練10次，并統(tǒng)計(jì)平均逼近誤差、平均迭代步數(shù)、收斂次數(shù)，作為評(píng)價(jià)指標(biāo)。訓(xùn)練結(jié)果對(duì)比如圖8～10所示。

圖8 平均逼近誤差對(duì)比

圖9 平均迭代步數(shù)對(duì)比

圖10 收斂次數(shù)對(duì)比

4.2.4 預(yù)測(cè)結(jié)果對(duì)比

下面考察SINN和PNN、ANN的預(yù)測(cè)性能對(duì)比。以隱層20個(gè)節(jié)點(diǎn)為例，將ANN、PNN和4種SINN分別用訓(xùn)練集訓(xùn)練10次，每次訓(xùn)練之后，不論是否收斂，立即用測(cè)試集預(yù)測(cè)，然后統(tǒng)計(jì)最大誤差Emax、誤差均值Eavg、誤差方差Evar這三項(xiàng)指標(biāo)的10次預(yù)測(cè)平均值，對(duì)比結(jié)果如表2所示，以SINN 4_6為例，對(duì)比曲線如圖11所示。

表2 預(yù)測(cè)指標(biāo)對(duì)比

圖11 SINN4_6和PNN、ANN的預(yù)測(cè)結(jié)果對(duì)比

4.3 仿真結(jié)果分析

綜合以上兩個(gè)仿真結(jié)果可知，當(dāng)輸入節(jié)點(diǎn)n和序列長(zhǎng)q比較接近時(shí)，SINN的逼近及預(yù)測(cè)能力明顯好于PNN和ANN。對(duì)此可作如下分析。SINN直接接收離散序列，通過(guò)兩次映射將輸入序列循環(huán)地映射為隱層序列神經(jīng)元的輸出，由于序列神經(jīng)元采用了更多可調(diào)的權(quán)值，所以SINN有更強(qiáng)的逼近能力。從SINN算法可以看出，輸入節(jié)點(diǎn)可以視為模式記憶的寬度，而序列長(zhǎng)度可以視為模式記憶的深度，當(dāng)寬度和深度適當(dāng)匹配時(shí)，SINN呈現(xiàn)出明顯優(yōu)于PNN和ANN的性能。對(duì)于PNN由于只能以深度方式獲取樣本信息，加之正交基展開帶來(lái)的截?cái)嗾`差，必然導(dǎo)致逼近能力下降。對(duì)于ANN，由于只能接收幾何點(diǎn)式的向量輸入，即只能以寬度方式而不能以深度方式獲取樣本信息，因此在ANN的信息處理過(guò)程中，不可避免地存在樣本信息的丟失，從而使逼近能力受到影響。

5 結(jié)論

本文提出了一種基于序列輸入的神經(jīng)網(wǎng)絡(luò)模型及算法。仿真結(jié)果揭示出，該模型可以使SINN從寬度和深度兩方面高效地獲取樣本信息，當(dāng)輸入節(jié)點(diǎn)和序列長(zhǎng)度比較接近時(shí)可明顯提高其逼近和泛化能力。

[1]Tsoi A C.Locally recurrent globally feed forward networks：a critical review of architectures[J].IEEE Transactions on Neural Networks，1994，7（5）：229-239.

[2]Wu X D，Wang Y N.Extended and Unscented Kalman filtering based feed-forward neural networks for time series prediction[J].Applied Mathematical Modelling，2012，36：1123-1131.

[3]Sven F C，Nikolaos K.Feature selection for time series prediction-A combined filter and wrapper approach for neural networks[J].Neurocomputing，2010，73：1923-1936.

[4]Zarita Z，Pauline O.Modified wavelet neural network in function approximation and its application in prediction of time-series pollution data[J].Applied Soft Computing，2011，11：4866-4874.

[5]Garba I，Peng H，Wu J.Nonlinear time series modeling and prediction using functional w eights wavelet neural network-based state-dependent AR model[J].Neurocomputing，2012，86：59-74.

[6]Durdu O F.A hybrid neural network and ARIMA model for water quality time series prediction[J].Engineering Applications of Artificial Intelligence，2010，23：586-594.

[7]Lee C M，Ko C N.Time series prediction using RBF neural networks with a nonlinear time-varying evolution PSO algorithm[J].Neurocomputing，2009，73：449-460.

[8]Hossein M.Long-term prediction of chaotic time series with multi-step prediction horizons by a neural network with Levenberg-Marquardt learning algorithm[J].Chaos，Solitons and Fractals，2009，41：1975-1979.

[9]何新貴，梁久禎，許少華.過(guò)程神經(jīng)元網(wǎng)絡(luò)的訓(xùn)練及其應(yīng)用[J].中國(guó)工程科學(xué)，2001，3（4）：31-35.

[10]He X G，Liang J Z.Procedure Neural Networks[C]//Proceedings of Conference on Intelligent Information Proceeding.Beijing：Publishing House of Electronic Industry，2000：143-146.

[11]何新貴，梁久禎.過(guò)程神經(jīng)元網(wǎng)絡(luò)的若干理論問(wèn)題[J].中國(guó)工程科學(xué)，2000，2（12）：40-44.

[12]Ye T，Zhu X F.The bridge relating process neural networks and traditional neural networks[J].Neurocomputing，2011，74：906-915.

[13]許少華，何新貴，李盼池.自組織過(guò)程神經(jīng)網(wǎng)絡(luò)及其應(yīng)用研究[J].計(jì)算機(jī)研究與發(fā)展，2003，40（11）：1612-1615.

[14]許少華，何新貴.徑向基過(guò)程神經(jīng)元網(wǎng)絡(luò)及其應(yīng)用研究[J].北京航空航天大學(xué)學(xué)報(bào)，2004，30（1）：14-17.

[15]許少華，何新貴.一種級(jí)聯(lián)過(guò)程神經(jīng)元網(wǎng)絡(luò)及其應(yīng)用研究[J].模式識(shí)別與人工智能，2004，17（2）：201-211.

XIAO Hong,LI Panchi

School of Computer&Information Technology,Northeast Petroleum University,Daqing,Heilongjiang 163318,China

To enhance the approximation capability of neural networks,a sequence input-based neural networks model, whose input of each dimension is a discrete sequence,is proposed.This model concludes three layers,in which the hidden layer consists of sequence neurons,and the output layer consists of common neurons.The inputs are multi-dimensional discrete sequences,and the outputs are common real value vectors.The discrete values in input sequence are in turn weighted and mapped,and then these mapping results are weighted and mapped for the output of sequence neurons in hidden layer,the networks outputs are obtained.The learning algorithm is designed by employing the Levenberg-Marquardt algorithm.The simulation results show that,when the number of the input nodes is relatively close to the length of the sequence, the proposed model is obviously superior to the common artificial neural networks.

neural networks;sequence neuron;sequence neural networks;algorithm design

A

TP18

10.3778/j.issn.1002-8331.1209-0260

XIAO Hong,LI Panchi.Algorithm and application of sequence input-based neural network model.Computer Engineering and Applications,2014,50（16）：62-66.

國(guó)家自然科學(xué)基金（No.61170132）；黑龍江省教育廳基金（No.11551015，No.11551017，No.12511009，No.12511012）。

肖紅（1979—），女，講師，研究領(lǐng)域?yàn)樯窠?jīng)網(wǎng)絡(luò)和優(yōu)化算法；李盼池（1969—），男，博士后，教授，研究領(lǐng)域?yàn)榱孔由窠?jīng)網(wǎng)絡(luò)和量子優(yōu)化算法。E-mail：lipanchi@vip.sina.com

2012-09-23

2012-12-06

1002-8331（2014）16-0062-05

CNKI網(wǎng)絡(luò)優(yōu)先出版：2012-12-20,http://www.cnki.net/kcms/detail/11.2127.TP.20121220.1652.002.htm l