基于小世界無標(biāo)度特征的回聲狀態(tài)小波網(wǎng)絡(luò)

王怡鷗， 丁剛毅， 劉天元， 劉來旸， 蒙軍， 侯安琨

(北京理工大學(xué) 軟件學(xué)院, 數(shù)字表演與仿真技術(shù)實(shí)驗(yàn)室， 北京 100081)

?

基于小世界無標(biāo)度特征的回聲狀態(tài)小波網(wǎng)絡(luò)

王怡鷗， 丁剛毅， 劉天元， 劉來旸， 蒙軍， 侯安琨

(北京理工大學(xué) 軟件學(xué)院, 數(shù)字表演與仿真技術(shù)實(shí)驗(yàn)室， 北京 100081)

針對(duì)儲(chǔ)備池的適應(yīng)性問題，提出了一種復(fù)合回聲狀態(tài)網(wǎng)絡(luò)模型(CESN). CESN依據(jù)增量生長(zhǎng)準(zhǔn)則構(gòu)建小世界無標(biāo)度進(jìn)化狀態(tài)儲(chǔ)備池，解除了儲(chǔ)備池譜半徑的限制. 同時(shí)，CESN將離散小波函數(shù)作為神經(jīng)元的激活函數(shù)，用Symlets小波函數(shù)替代部分儲(chǔ)備池神經(jīng)元的S型函數(shù)，Symlets小波函數(shù)的伸縮和平移變換特征豐富了動(dòng)態(tài)儲(chǔ)備池的狀態(tài)空間. 將CESN應(yīng)用于一些非線性時(shí)間序列逼近問題中，即NARMA系統(tǒng)、Henon映射和二氧化碳濃度預(yù)測(cè). 實(shí)驗(yàn)結(jié)果表明，在逼近高度復(fù)雜的非線性系統(tǒng)方面，CESN明顯優(yōu)于注入Symlets小波的經(jīng)典回聲狀態(tài)網(wǎng)絡(luò)(S-ESN)和具有高聚類系數(shù)的無標(biāo)度回聲狀態(tài)網(wǎng)絡(luò)(SHESN).

回聲狀態(tài)網(wǎng)絡(luò)；小世界；無標(biāo)度；小波函數(shù)；時(shí)間序列預(yù)測(cè)

遞歸神經(jīng)網(wǎng)絡(luò)(recurrent neural networks，RNNs)在理論上是一種理想的非線性時(shí)間序列預(yù)測(cè)模型，當(dāng)滿足某些假設(shè)條件的前提下，RNN能夠以任意的精度逼近任何非線性系統(tǒng). 然而，RNN算法的訓(xùn)練過程直接優(yōu)化網(wǎng)絡(luò)權(quán)值，存在收斂速度慢、計(jì)算代價(jià)大、訓(xùn)練效率低、易陷入局部最優(yōu)值等缺點(diǎn)，因此無法取得令人滿意的結(jié)果. 為了解決RNN中存在的這些問題，2001年，德國(guó)Bremen大學(xué)Jeager教授[1]提出一種新型的遞歸神經(jīng)網(wǎng)絡(luò)—回聲狀態(tài)網(wǎng)絡(luò)(echo state network，ESN). ESN最具代表性的特征是“動(dòng)態(tài)儲(chǔ)備池”，擁有大量隨機(jī)分布且稀疏連接的神經(jīng)元. 在ESN訓(xùn)練過程中，儲(chǔ)備池自身保持不變，只需通過簡(jiǎn)單的線性回歸或在線方法(如遞歸最小二乘法)對(duì)輸出連接權(quán)值矩陣進(jìn)行計(jì)算. 因此，ESN極大地簡(jiǎn)化了RNN高度復(fù)雜的學(xué)習(xí)過程. ESN廣泛應(yīng)用于許多領(lǐng)域，包括時(shí)間序列預(yù)測(cè)[2-5]、模式識(shí)別[6]、機(jī)器人控制[7]和噪聲建模[1]等.

目前，ESN已經(jīng)引起了國(guó)內(nèi)外研究者的高度重視，研究者們提出了各種各樣基于經(jīng)典ESN的改進(jìn)算法，如回聲狀態(tài)高斯過程[2]、最小復(fù)雜度ESN[8]、平衡的ESN[9]、基于循環(huán)儲(chǔ)備池的確定ESN[10]、連接ESN[11]等. 然而，這些改進(jìn)算法采用的神經(jīng)元激勵(lì)函數(shù)都是Sigmoid函數(shù)(又稱“S”型函數(shù))，而S型函數(shù)相互不正交，在函數(shù)逼近過程中，引入了大量冗余信息，網(wǎng)絡(luò)學(xué)習(xí)往往出現(xiàn)峽谷型誤差曲線，學(xué)習(xí)收斂速度緩慢. 針對(duì)此類問題，文獻(xiàn)[12]中采用Symlets小波神經(jīng)元部分取代部分S型神經(jīng)元，Symlets小波函數(shù)的伸縮和平移變換特征豐富了狀態(tài)儲(chǔ)備池的狀態(tài)空間，提高了回聲狀態(tài)網(wǎng)絡(luò)的記憶能力和預(yù)測(cè)能力，進(jìn)而提高了其對(duì)混沌時(shí)間序列的逼近能力. 文獻(xiàn)[10]中指出譜半徑越大，回聲狀態(tài)網(wǎng)絡(luò)對(duì)于與輸入反映的延遲就越長(zhǎng)，其記憶能力就越強(qiáng). 在這種情況下，回聲狀態(tài)網(wǎng)絡(luò)具有更好的非線性逼近能力. 但是，回聲狀態(tài)網(wǎng)絡(luò)譜半徑通常需要滿足0<λ<1，從而使其具有回聲狀態(tài)性能. 進(jìn)一步，文獻(xiàn)[3]中采用小世界無標(biāo)度的儲(chǔ)備池拓?fù)浣Y(jié)構(gòu)代替其隨機(jī)結(jié)構(gòu)，有效地解決了譜半徑的限制問題，同時(shí)極大地提高了回聲狀態(tài)網(wǎng)絡(luò)的非線性逼近能力. 考慮以上兩種ESN改進(jìn)策略的優(yōu)勢(shì)，調(diào)研了ESN狀態(tài)儲(chǔ)備池中同時(shí)引入小世界無標(biāo)度拓?fù)錂C(jī)構(gòu)和小波函數(shù)的可能性，本文提出了一種具有小世界無標(biāo)度結(jié)構(gòu)和離散小波特征的復(fù)合回聲狀態(tài)網(wǎng)絡(luò)—CESN，從而進(jìn)一步提高了ESN預(yù)測(cè)模型的非線性逼近性能.

1 ESN數(shù)學(xué)模型

作為一種典型的離散時(shí)間遞歸神經(jīng)網(wǎng)絡(luò)，回聲狀態(tài)網(wǎng)絡(luò)的模型結(jié)構(gòu)如圖1所示，其網(wǎng)絡(luò)結(jié)構(gòu)主要包括3個(gè)部分：輸入層、動(dòng)態(tài)儲(chǔ)備池和輸出層. 對(duì)比BP神經(jīng)網(wǎng)絡(luò)[13-14]等傳統(tǒng)神經(jīng)網(wǎng)絡(luò)，ESN動(dòng)態(tài)儲(chǔ)備池規(guī)模相對(duì)較大，通常擁有幾十、幾百甚至上千個(gè)神經(jīng)元. 回聲狀態(tài)網(wǎng)絡(luò)采用有監(jiān)督的方式進(jìn)行訓(xùn)練，其儲(chǔ)備池內(nèi)部狀態(tài)更新方程和網(wǎng)絡(luò)輸出方程分別為

(1)

(2)

式中：x(t)=(x1(t)，x2(t)，…，xN(t))表示在t時(shí)刻的N個(gè)儲(chǔ)備池狀態(tài)；u(t)=(u1(t)，u2(t)，…，uK(t))表示在t時(shí)刻注入儲(chǔ)備池的K個(gè)輸入單元，y(t)=(y1(t)，y2(t)，…，yL(t))表示在t時(shí)刻L個(gè)網(wǎng)絡(luò)線性輸出單元；Win、W、Wout、Wback分別表示儲(chǔ)備池的輸入連接權(quán)值矩陣、內(nèi)部連接權(quán)值矩陣、輸出連接權(quán)值矩陣和反饋連接權(quán)值矩陣，且維數(shù)滿足Win∈RN×K，W∈RN×N，Wout∈RL×(K+N)，Wback∈RN×L；f表示儲(chǔ)備池神經(jīng)元的激勵(lì)函數(shù)，通常為S型函數(shù).

在傳統(tǒng)ESN中，Win、W、Wback在初始化時(shí)隨機(jī)產(chǎn)生，并且在訓(xùn)練過程中保持不變，因此只有輸出連接權(quán)值矩陣Wout需要訓(xùn)練. 為了確保其回聲狀態(tài)性能(echostateperformance，ESP)，傳統(tǒng)ESN的W定義為

(3)

2 CESN

與Jeager教授提出的任何一個(gè)基于S型函數(shù)的完全隨機(jī)的ESNs[1]不同，本文提出了一種具有小世界無標(biāo)度結(jié)構(gòu)和離散小波特征的復(fù)合回聲狀態(tài)網(wǎng)絡(luò)(composite echo state networks， CESN). 該模型由3層組成：一個(gè)輸入層、一個(gè)新型儲(chǔ)備池拓?fù)浜鸵粋€(gè)輸出層，其結(jié)構(gòu)如圖2所示. 這個(gè)新型的動(dòng)態(tài)儲(chǔ)備池具有與小世界無標(biāo)度網(wǎng)絡(luò)有關(guān)的自然進(jìn)化特征：短平均路徑長(zhǎng)度、高聚類系數(shù)和分層分布式結(jié)構(gòu). 此外，儲(chǔ)備池中部分神經(jīng)元采用小波激勵(lì)函數(shù)代替S型(Sigmoid)激勵(lì)函數(shù)，從而在一定程度上能夠保證更高非線性逼近能力[12].

2.1 小世界無標(biāo)度儲(chǔ)備池

現(xiàn)在，給出CESN儲(chǔ)備池的自然生長(zhǎng)準(zhǔn)則. 事實(shí)上，小世界無標(biāo)度的聯(lián)合特征已被應(yīng)用到建模ESN. 而且，大量研究表明：具有小世界影響和無標(biāo)度分布的神經(jīng)網(wǎng)絡(luò)模型在逼近能力、記憶能力和同步性等方面具有很好的性能. 尤其文獻(xiàn)[3]，提出了一種具有小世界和無標(biāo)度聯(lián)合特征的改進(jìn)型ESN，可以有效地逼近高度復(fù)雜的非線性動(dòng)態(tài)系統(tǒng). 本文提出的CESN采用了與其類似的小世界無標(biāo)度儲(chǔ)備池結(jié)構(gòu)，但是CESN儲(chǔ)備池拓?fù)涫腔贛atlab產(chǎn)生的，并且產(chǎn)生的方式也有著本質(zhì)的不同. 其構(gòu)建過程描述如下：

① 在初始化過程中，定義儲(chǔ)備池有m個(gè)組(每個(gè)組對(duì)應(yīng)著小世界網(wǎng)絡(luò)拓?fù)浠蛘邿o標(biāo)度網(wǎng)絡(luò)拓?fù)?，同時(shí)假設(shè)其中有n個(gè)BA組，這就意味著該儲(chǔ)備池具有m-n個(gè)小世界組.

② 若儲(chǔ)備池規(guī)模為N，則每個(gè)組(除了最后一個(gè)組)神經(jīng)元數(shù)目是[N/M]，最后一個(gè)組神經(jīng)元數(shù)目是N-(m-1)×[N/M]，其中，[ ]表示向下取整運(yùn)算.

③n個(gè)BA組是通過增量生長(zhǎng)和優(yōu)先連接的方式來構(gòu)建的，具體過程如下：開始隨機(jī)產(chǎn)生一個(gè)由m0個(gè)節(jié)點(diǎn)構(gòu)成的小規(guī)模網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)，然后在每個(gè)時(shí)間間隔內(nèi)加入一個(gè)具有e0條邊的新節(jié)點(diǎn)，新增加的節(jié)點(diǎn)基于優(yōu)先連接的原則更趨向于連接網(wǎng)絡(luò)中度大的節(jié)點(diǎn)，其連接概率p(ki)依賴于被連接節(jié)點(diǎn)i的度ki，表示為

(4)

重復(fù)上述操作，直到無標(biāo)度網(wǎng)絡(luò)規(guī)模達(dá)到預(yù)定的要求，這樣就產(chǎn)生了一個(gè)BA組.

④m-n個(gè)SW組，組成m-n個(gè)小世界網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)，具體過程如下：首先，構(gòu)建一個(gè)最近鄰耦合網(wǎng)絡(luò)，該網(wǎng)絡(luò)中的節(jié)點(diǎn)按照環(huán)形進(jìn)行排列，而每個(gè)節(jié)點(diǎn)都與其鄰居節(jié)點(diǎn)i相連接，這里，i=1，2，…，k/2且k為偶數(shù). 然后，以概率p隨機(jī)化重連網(wǎng)絡(luò)中的某一條邊，即先固定一個(gè)節(jié)點(diǎn)，然后從剩余的節(jié)點(diǎn)中隨機(jī)選擇一個(gè)節(jié)點(diǎn)進(jìn)行連接.

⑤ 從每個(gè)組中，隨機(jī)選擇一個(gè)節(jié)點(diǎn)，使這些被選擇的節(jié)點(diǎn)相互連接，從而構(gòu)建了一個(gè)具有N個(gè)節(jié)點(diǎn)的小世界無標(biāo)度儲(chǔ)備池拓?fù)浣Y(jié)構(gòu).

2.2 Symlets離散小波神經(jīng)元

CESN的另外一個(gè)關(guān)鍵技術(shù)是向儲(chǔ)備池中注入小波神經(jīng)元. 小波神經(jīng)元與S型神經(jīng)元完全不同，CESN部分采用小波神經(jīng)元替代S型神經(jīng)元. 這些小波神經(jīng)元都是由同一個(gè)母小波產(chǎn)生的，具有多樣化的激勵(lì)函數(shù)，而且相互之間極為相似. 小波激勵(lì)函數(shù)使得儲(chǔ)備池神經(jīng)元具有良好的局部特性和變焦特性，可以在不增大儲(chǔ)備池規(guī)模的前提下，極大地?cái)U(kuò)展儲(chǔ)備池的狀態(tài)空間，這將有助于改善儲(chǔ)備池的非線性逼近能力. 本文選用Symlets小波作為母小波，表示為

(5)

對(duì)每一個(gè)小波神經(jīng)元使用不同的伸縮平移尺度，Symlets小波的派生小波函數(shù)系為

(6)

(7)

至此，完成了CESN的構(gòu)建.

3 實(shí)驗(yàn)結(jié)果分析

對(duì)提出的CESN進(jìn)行綜合的實(shí)驗(yàn)評(píng)估，主要考慮了兩個(gè)傳統(tǒng)的基準(zhǔn)任務(wù)和一個(gè)實(shí)際應(yīng)用，即：NARMA系統(tǒng)、Henon映射和二氧化碳(carbon dioxide， CO2)濃度預(yù)測(cè). 為了進(jìn)一步驗(yàn)證提出的CESN的優(yōu)越性，將其與注入Symlets小波的經(jīng)典回聲狀態(tài)網(wǎng)絡(luò)(S-ESN)和具有高聚類系數(shù)的無標(biāo)度回聲狀態(tài)網(wǎng)絡(luò)(SHESN)[7]進(jìn)行了比較，并且對(duì)CESN、S-ESN、SHESN使用同樣的參數(shù)配置，如表1所示.

表1 3種情形下的實(shí)驗(yàn)配置

采用標(biāo)準(zhǔn)均方根誤差(NRMSE)來度量預(yù)測(cè)精度，進(jìn)而評(píng)估不同模型的非線性逼近能力. NRMSE值越小，模型的預(yù)測(cè)精度越高，其非線性逼近能力越強(qiáng)，NRMSE的計(jì)算方式為

(8)

3.1 NARMA系統(tǒng)

NARMA系統(tǒng)[8]即非線性自回歸滑動(dòng)平均，是一種離散時(shí)間系統(tǒng)，其當(dāng)前輸出依賴于它的輸入和歷史輸出值. 一般而言，由于NARMA系統(tǒng)的非線性和長(zhǎng)期記憶能力，對(duì)其建模是相當(dāng)困難的. 實(shí)驗(yàn)中，采用10步NARMA系統(tǒng)進(jìn)行評(píng)估，其表達(dá)式為

(9)

式中s(t)、y(t)分別為在t時(shí)刻該系統(tǒng)的輸入和輸出.

該實(shí)驗(yàn)仿真中，使用的NARMA時(shí)間序列包括4 000個(gè)值，其中前2 000個(gè)值用于訓(xùn)練，其余2 000個(gè)值用于性能測(cè)試. 若儲(chǔ)備池規(guī)模以50為步長(zhǎng)從50變化到500，且譜半徑為0.7，小波神經(jīng)元比例為0.4，則在不同儲(chǔ)備池規(guī)模N的情況下，S-ESN、SHESN和CESN對(duì)于10-th步NARMA系統(tǒng)非線性逼近性能如圖3所示. 可以看出，除了N=250之外，CESN的非線性逼近性能明顯超過了S-ESN和SHESN，而且當(dāng)N=350時(shí)，CESN獲得最優(yōu)性能，此時(shí)αNRMSECESN=0.003 6.

若儲(chǔ)備池的譜半徑以0.1為步長(zhǎng)從0.1變化到1.5，且儲(chǔ)備池規(guī)模為50，小波神經(jīng)元的比例為0.3，則不同譜半徑λ條件下，S-ESN、SHESN和CESN對(duì)于10-th步NARMA系統(tǒng)的非線性逼近性能如圖4所示. 可以看出，當(dāng)λ>1時(shí)，CESN仍然具備令人滿意的非線性逼近性能. 尤其是當(dāng)λ∈[0.5，1.2]時(shí)，CESN的非線性逼近能力明顯優(yōu)于S-ESN和SHESN.

3.2 Henon映射

Henon映射[10]混沌過程是ESN的另一個(gè)典型基準(zhǔn)測(cè)試系統(tǒng)，該系統(tǒng)以其易于計(jì)算和有趣的混沌行為得到廣泛研究，其表達(dá)式為

(10)

Henon映射主要依賴參數(shù)a和b，令a=1.4，b=0.3以得到混沌特征，且在Henon映射系統(tǒng)中存在標(biāo)準(zhǔn)差的高斯白噪聲.

Henon映射時(shí)間序列長(zhǎng)度是6 000，其中前3 000個(gè)值用于訓(xùn)練，其余3 000個(gè)值用于性能測(cè)試. 若儲(chǔ)備池規(guī)模以50為步長(zhǎng)從100變化到550，且譜半徑為0.6，小波神經(jīng)元比例為0.4，則在不同的儲(chǔ)備池規(guī)模N的情況下，S-ESN、SHESN和CESN對(duì)于Henon映射的非線性逼近性能如圖5所示. 可以看出，除了N=400、450之外，CESN非線性逼近性能明顯超過了S-ESN和SHESN，而且當(dāng)N=500時(shí)，CESN可以得到最優(yōu)性能.

若儲(chǔ)備池規(guī)模為50，小波神經(jīng)元比例為0.5，則不同譜半徑λ條件下，S-ESN、SHESN和CESN對(duì)于Henon映射的非線性逼近性能如圖6所示. 可以看出，當(dāng)譜半徑λ∈[0.1，1.5]時(shí)，CESN的非線性逼近能力優(yōu)于S-ESN和SHESN，尤其當(dāng)λ≤0.6時(shí)，CESN的預(yù)測(cè)精度明顯高于其他兩種算法.

3.3 CO2濃度

實(shí)驗(yàn)數(shù)據(jù)來源于總碳柱觀察網(wǎng)絡(luò)(TCCON)[15]，該網(wǎng)絡(luò)是一個(gè)基于地表傅里葉變換的關(guān)于大氣成分的光譜分析網(wǎng)，通過反演計(jì)算獲得不同測(cè)量地點(diǎn)CO2、CH4、N2O等大氣成分的柱平均值. 在實(shí)驗(yàn)中，使用2004年6月-2015年5月的CO2濃度數(shù)據(jù)集，該CO2濃度時(shí)間序列包括1 800個(gè)數(shù)據(jù)，其中前900個(gè)數(shù)據(jù)用于訓(xùn)練，其余900個(gè)數(shù)據(jù)用于性能測(cè)試. S-ESN、SHESN和CESN的參數(shù)設(shè)置為：儲(chǔ)備池規(guī)模N=50，譜半徑λ=0.7，小波神經(jīng)元比例Rmix=0.5.

圖7～圖9分別給出了S-ESN、SHESN和CESN在不同時(shí)間步內(nèi)實(shí)際輸出和預(yù)測(cè)輸出的比較曲線及其誤差曲線. 可以看出，對(duì)比其他兩種方法，CESN具有更高的預(yù)測(cè)精度，這是由于圖9中CESN預(yù)測(cè)輸出可以更為準(zhǔn)確地跟隨其實(shí)際輸出，且S-ESN，SHESN，CESN的αNRMSE值分別為0.129 9、0.134 4和0.109 0.

4 結(jié) 論

本文提出了一種具有小世界無標(biāo)度結(jié)構(gòu)和離散小波特征的復(fù)合回聲狀態(tài)網(wǎng)絡(luò)(CESN). CESN的小世界無標(biāo)度儲(chǔ)備池解除了譜半徑必須滿足(0，1)的限制，當(dāng)譜半徑大于1時(shí)，CESN仍然能夠獲得較好的非線性逼近能力；同時(shí)，CESN引入Symlets小波函數(shù)替代部分儲(chǔ)備池神經(jīng)元的S型函數(shù)，豐富了動(dòng)態(tài)儲(chǔ)備池的狀態(tài)空間. 通過兩個(gè)傳統(tǒng)的基準(zhǔn)任務(wù)(NARMA系統(tǒng)、Henon映射)和一個(gè)實(shí)際應(yīng)用(CO2濃度預(yù)測(cè))的仿真實(shí)驗(yàn)表明，針對(duì)不同的儲(chǔ)備池規(guī)模和譜半徑，CESN的預(yù)測(cè)精度都明顯高于S-ESN和SHESN，即CESN對(duì)于高度復(fù)雜的非線性系統(tǒng)具有更好的非線性逼近能力.

[1] Jaeger H， Haas H. Harnessing nonlinearity: predicting chaotic systems and saving energy in wireless communication[J]. Science， 2004，5667(304):78-80．

[2] Chatzis S P， Demiris Y. Echo state Gaussian process[J]. IEEE Transactions on， Neural Networks， 2011，22(9):1435-1445．

[3] Deng Z， Zhang Y. Collective behavior of a small-world recurrent neural system with scale-free distribution[J]. Neural Networks， IEEE Transactions on， 2007，18(5):1364-1375．

[4] Holzmann G， Hauser H. Echo state networks with filter neurons and a delay&sum readout[J]. Neural Networks， 2010，23(2):244-256．

[5] Xia Y， Jelfs B， Van Hulle M M， et al. An augmented

echo state network for nonlinear adaptive filtering of complex noncircular signals[J]. IEEE Transactions on， Neural Networks， 2011，22(1):74-83．

[6] Ozturk M C， Principe J C. An associative memory readout for ESNs with applications to dynamical pattern recognition[J]. Neural Networks， 2007，20(3):377-390.

[7] Salmen M， Ploger P G. Echo state networks used for motor control[C]∥Proceedings of the 2005 IEEE International Conference on Robotics and Automation. [S.l.]: IEEE， 2005:1953-1958.

[8] Rodan A， Tiňo P. Minimum complexity echo state network[J]. IEEE Transactions on， Neural Networks， 2011，22(1):131-144．

[9] Koryakin D， Lohmann J， Butz M V. Balanced echo state networks[J]. Neural Networks， 2012，36:35-45.

[10] Sun X， Cui H， Liu R， et al. Modeling deterministic echo state network with loop reservoir[J]. Journal of Zhejiang University Science C， 2012，13(9):689-701．

[11] Chatzis S P， Demiris Y. The copula echo state network[J]. Pattern Recognition， 2012， 45(1): 570-577．

[12] Wang S， Yang X J， Wei C J. Harnessing non-linearity by sigmoid-wavelet hybrid echo state networks[C]∥The Sixth World Congress on Intelligent Control and Automation， WCICA 2006. [S.l.]: IEEE， 2006:3014-3018．

[13] 殷高方，張玉鈞，胡麗，等.BP神經(jīng)網(wǎng)絡(luò)水華預(yù)測(cè)模型的敏感性分析[J].北京理工大學(xué)學(xué)報(bào)，2012，32(12):1288-1293．

Yin Gaofan, Zhang Yujun, Hu Li, et al. Sensitivity analysis of BP neural network for Algal bloom prediction model[J]. Transations of Beijing Institute of Technology, 2012,32(12):1288-1293. (in Chinese)

[14] 金福生，牛振東，吳璠，等.基于BP神經(jīng)網(wǎng)絡(luò)的信譽(yù)欺騙檢測(cè)模型[J].北京理工大學(xué)學(xué)報(bào)，2012，32(1):62-66.

Jin Fusheng, Niu Zhendong, Wu Fan, et al. A cheating detection model for reputation system based on BP neural network[J]. Transactions of Beijing Institute of Technology, 2012,32(1):62-66. (in Chinese)

(責(zé)任編輯：劉芳)

Echo State Wavelet Network with Small-World Scale-Free Characteristics

WANG Yi-ou， DING Gang-yi， LIU Tian-yuan， LIU Lai-yang， MENG Jun， HOU An-kun

(Digital Performance and Simulation Technology Lab.， School of Software，Beijing Institute of Technology， Beijing 100081， China)

For adaptability problems of the reservoir, a composite echo state network (CESN) model was proposed. The small-world scale-free evolving state reservoir was constructed based on the incremental growth rules to relax the restriction for the spectral radius of the state reservoir. Moreover, discrete wavelet function was used as the activation function of neurons in CESN. The Symlets wavelet function was substituted for the fractional S-function of reservoir neurons, its dilation and translation features contributed to expanding the state space of dynamic reservoir. CESN can be applied to solve some approximation problems of nonlinear time series, which are the NARMA system, Henon map and the CO2concentration prediction. The experiment results show that CESN is able to significantly outperform the ESN with injected Symlets wavelet (S-ESN) and scale-free highly clustered echo state network (SHESN) in approximating highly complex nonlinear dynamics.

echo state network; small-world; scale-free; wavelet function; time-series prediction

2015-12-28

國(guó)家自然科學(xué)基金資助項(xiàng)目(61202243)；國(guó)家教育部高等學(xué)校博士學(xué)科點(diǎn)專項(xiàng)科研基金資助項(xiàng)目(20121101110037)；江西省自然科學(xué)基金資助項(xiàng)目(20151BAB207042)

王怡鷗(1990—)，女，博士生，E-mail:wangyiou90@163.com.

TP 301.6

A

1001-0645(2016)05-0502-06

10.15918/j.tbit1001-0645.2016.05.012