基于生物進(jìn)化的可恢復(fù)回聲狀態(tài)網(wǎng)絡(luò)模型

王怡鷗， 丁剛毅， 劉天元， 蒙軍， 沈晨

(北京理工大學(xué) 軟件學(xué)院 數(shù)字表演與仿真技術(shù)實(shí)驗(yàn)室，北京 100081)

?

基于生物進(jìn)化的可恢復(fù)回聲狀態(tài)網(wǎng)絡(luò)模型

王怡鷗， 丁剛毅， 劉天元， 蒙軍， 沈晨

(北京理工大學(xué) 軟件學(xué)院 數(shù)字表演與仿真技術(shù)實(shí)驗(yàn)室，北京 100081)

為解決回聲狀態(tài)網(wǎng)絡(luò)儲(chǔ)備池在遭受隨機(jī)故障和蓄意攻擊等復(fù)雜情況下的適應(yīng)性問(wèn)題，提出了一種具有生物進(jìn)化特征的可恢復(fù)回聲狀態(tài)網(wǎng)絡(luò)—3DP-RESN. 基于優(yōu)先匹配的復(fù)制、新增加連接的變異和新增加連接的死亡進(jìn)化策略，3DP-RESN能夠?qū)崿F(xiàn)從被破壞的網(wǎng)絡(luò)拓?fù)渲凶曰謴?fù). 將3DP-RESN、傳統(tǒng)ESN(CESN)和被破壞的ESN(DESN)應(yīng)用于NARMA系統(tǒng)、Henon映射和figure8這3種非線(xiàn)性時(shí)間序列逼近任務(wù). 實(shí)驗(yàn)結(jié)果表明，當(dāng)儲(chǔ)備池發(fā)生故障時(shí)，3DP-RESN對(duì)于3種時(shí)間序列的預(yù)測(cè)精度明顯優(yōu)于DESN，接近甚至高于未遭受儲(chǔ)備池故障的CESN，尤其在figure8實(shí)驗(yàn)中，3DP-RESN 與CESN、DESN相比，預(yù)測(cè)精度分別提高了30.56%和7.01%. 此外，3DP-RESN的短期記憶能力也接近于CESN，因此，3DP-RESN具有強(qiáng)大的自適應(yīng)恢復(fù)能力.

回聲狀態(tài)網(wǎng)絡(luò)；生物進(jìn)化；可恢復(fù)能力；時(shí)間序列預(yù)測(cè)

遞歸神經(jīng)網(wǎng)絡(luò)(recurrent neural networks， RNN)是一種有效的非線(xiàn)性逼近方法，但是RNN訓(xùn)練方式過(guò)于復(fù)雜，通常會(huì)出現(xiàn)慢收斂、過(guò)擬合和局部最優(yōu)解等問(wèn)題. 針對(duì)RNN中存在的問(wèn)題，Jaeger提出了一種改進(jìn)的遞歸神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)—回聲狀態(tài)網(wǎng)絡(luò)(echo state networks， ESN)[1]，其核心是一個(gè)由大量隨機(jī)稀疏連接神經(jīng)元組成的儲(chǔ)備池. 對(duì)比BP神經(jīng)網(wǎng)絡(luò)等[2-3]傳統(tǒng)神經(jīng)網(wǎng)絡(luò)，ESN的儲(chǔ)備池規(guī)模相對(duì)較大，通常擁有幾十、幾百甚至上千個(gè)神經(jīng)元，因此ESN具備強(qiáng)大的非線(xiàn)性映射能力. 目前，ESN被廣泛應(yīng)用于許多領(lǐng)域，如情感識(shí)別[4]、煤氣預(yù)測(cè)[5]、風(fēng)力預(yù)測(cè)[6]、光譜預(yù)測(cè)[7]、污水處理的跟蹤控制[8]等. 雖然已有大量文獻(xiàn)提出了關(guān)于經(jīng)典ESN的改進(jìn)算法[9-12]，但是，在這些ESN的改進(jìn)算法中，多數(shù)研究者將注意力放在了儲(chǔ)備池拓?fù)浣Y(jié)構(gòu)設(shè)計(jì)、神經(jīng)元類(lèi)型的選擇和線(xiàn)性回歸效果的改善上，到目前為止，很少有關(guān)于儲(chǔ)備池恢復(fù)機(jī)制研究的相關(guān)報(bào)告和文獻(xiàn)出現(xiàn). 實(shí)際上，儲(chǔ)備池和因特網(wǎng)、交通網(wǎng)絡(luò)、生物網(wǎng)絡(luò)等復(fù)雜網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)一樣，需要具備很強(qiáng)拓?fù)漪敯粜?，其網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)的可恢復(fù)性嚴(yán)重影響著網(wǎng)絡(luò)性能. 當(dāng)遭遇攻擊或運(yùn)行出錯(cuò)的時(shí)候，儲(chǔ)備池性能將嚴(yán)重惡化，甚至可能導(dǎo)致整個(gè)ESN運(yùn)行的中斷[13-14]，ESN健壯性問(wèn)題限制了其在實(shí)際工程中的應(yīng)用.

從自然選擇的角度來(lái)看，再生、變異和死亡可以體現(xiàn)生物進(jìn)化的內(nèi)在機(jī)制[15-19]，本文將該生物進(jìn)化機(jī)制引入ESN儲(chǔ)備池恢復(fù)過(guò)程中，從而使得當(dāng)儲(chǔ)備池遭受惡意攻擊或隨機(jī)故障時(shí)，儲(chǔ)備池能夠自適應(yīng)地恢復(fù)至原來(lái)的非線(xiàn)性逼近能力.

1 可恢復(fù)回聲狀態(tài)網(wǎng)絡(luò)模型

不同于Jaeger等[1]提出的隨機(jī)ESN及其改進(jìn)模型，本文提出了一種可恢復(fù)的回聲狀態(tài)網(wǎng)絡(luò)模型(restorable echo state network， RESN). RESN的結(jié)構(gòu)由3層組成：一個(gè)輸入層，一個(gè)可再生的進(jìn)化狀態(tài)儲(chǔ)備池和一個(gè)輸出層. 當(dāng)遭受隨機(jī)故障和惡意攻擊時(shí)，RESN有重建儲(chǔ)備池規(guī)模的能力. 在儲(chǔ)備池規(guī)?；謴?fù)狀態(tài)中，RESN儲(chǔ)備池具有優(yōu)先復(fù)制(preferential duplication)、變異(divergence)和死亡(death)的聯(lián)合自然進(jìn)化特征，因此稱(chēng)其為“3DP-RESN”.

許多研究表明，包括基因調(diào)控網(wǎng)絡(luò)在內(nèi)的很多生物網(wǎng)絡(luò)都可以通過(guò)復(fù)雜網(wǎng)絡(luò)建模實(shí)現(xiàn). 本文應(yīng)用生物進(jìn)化理論，重構(gòu)隨機(jī)連接儲(chǔ)備池的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)，圖1給出了基于3DP生物進(jìn)化機(jī)制的RESN模型(3DP-RESN).

1.1 神經(jīng)元復(fù)制

當(dāng)回聲狀態(tài)網(wǎng)絡(luò)儲(chǔ)備池拓?fù)浣Y(jié)構(gòu)受到隨機(jī)故障或者外部攻擊時(shí)，被破壞的神經(jīng)元將從整個(gè)儲(chǔ)備池拓?fù)浣Y(jié)構(gòu)中移除，包括該神經(jīng)元所擁有的連接(見(jiàn)圖1 (b))，此時(shí)，回聲狀態(tài)網(wǎng)絡(luò)無(wú)法正常工作. 3DP-RESN去除被破壞的神經(jīng)元，并在剩余神經(jīng)元中隨機(jī)選擇一個(gè)神經(jīng)元i進(jìn)行復(fù)制，得到的新神經(jīng)元將連接到與原來(lái)神經(jīng)元i相連的所有神經(jīng)元上(見(jiàn)圖1(c)).

該復(fù)制操作反復(fù)執(zhí)行，直到被破壞的儲(chǔ)備池恢復(fù)到原來(lái)的規(guī)模. 采用優(yōu)先復(fù)制策略，即度大的神經(jīng)元被優(yōu)先選擇復(fù)制，其復(fù)制概率p1表示為

(1)

式中ki表示神經(jīng)元i的度的大小.

1.2 變 異

從生物進(jìn)化的角度來(lái)看，變異意味著遺傳物質(zhì)的改變，這在生物網(wǎng)絡(luò)中是一種非常關(guān)鍵的進(jìn)化機(jī)制，可以有效地抑制負(fù)關(guān)聯(lián)性. 為了實(shí)現(xiàn)方便，在變異過(guò)程中，只考慮復(fù)制過(guò)程中新增加連接的變異(見(jiàn)圖1(d))，即新增神經(jīng)元連接權(quán)值的改變，如式(2)所示為

(2)

式中：p2表示神經(jīng)元之間連接變異概率；p3表示變異因子，變異因子決定了連接權(quán)值變化方向；r1、r2是隨機(jī)數(shù)，且r1∈(0，1)，r2∈(0，1). 可以看出，當(dāng)p2r1且p3≥r2時(shí)，連接權(quán)值發(fā)生變異，且連接權(quán)值趨向于變的更小；當(dāng)p2>r1且p3

1.3 死 亡

為了確保儲(chǔ)備池的稀疏性，需要執(zhí)行生物進(jìn)化理論中的死亡機(jī)制，也就是將新增加的一部分連接權(quán)值以死亡概率p4設(shè)置為0(見(jiàn)圖1(e))，表示為

(3)

式中，r3是隨機(jī)數(shù)且r3∈(0，1). 可以看出，當(dāng)p4

RESN的具體訓(xùn)練過(guò)程如下.

① 構(gòu)建一個(gè)回聲狀態(tài)網(wǎng)絡(luò)，Win、W、Wback通過(guò)隨機(jī)方式產(chǎn)生，譜半徑滿(mǎn)足λmax∈(0，1)以保證回聲狀態(tài)性能，同時(shí)選擇S型函數(shù)作為神經(jīng)元激勵(lì)函數(shù)；

② 隨機(jī)攻擊部分儲(chǔ)備池內(nèi)部神經(jīng)元，則被破壞的神經(jīng)元將從整個(gè)儲(chǔ)備池拓?fù)浣Y(jié)構(gòu)退出，同時(shí)自適應(yīng)解除被破壞神經(jīng)元與其他神經(jīng)元的連接；

③ 在剩余儲(chǔ)備池拓?fù)浣Y(jié)構(gòu)中，以概率p1選擇一個(gè)神經(jīng)元進(jìn)行復(fù)制，復(fù)制后的新節(jié)點(diǎn)將與原來(lái)節(jié)點(diǎn)的全部鄰居相連，重復(fù)復(fù)制操作直到儲(chǔ)備池恢復(fù)到原來(lái)未被破壞時(shí)的規(guī)模；

④ 以概率p2改變新增加連接的權(quán)值；

⑤ 以概率p4刪除新增加的連接. 至此得到了對(duì)儲(chǔ)備池進(jìn)行恢復(fù)之后的3DP-RESN的網(wǎng)絡(luò)模型.

2 實(shí)驗(yàn)仿真與性能評(píng)估

下面驗(yàn)證3DP-RESN的恢復(fù)能力，即檢驗(yàn)其能否從被破壞狀態(tài)恢復(fù)至未被破壞時(shí)的預(yù)測(cè)精度. 實(shí)驗(yàn)使用Matlab語(yǔ)言，通過(guò)執(zhí)行176次獨(dú)立的實(shí)驗(yàn)仿真，將不同迭代次數(shù)的3DP-RESN、傳統(tǒng)回聲狀態(tài)網(wǎng)絡(luò)(classical echo state network， CESN)和遭受破壞的回聲狀態(tài)網(wǎng)絡(luò)(destroyed echo state network， DESN)應(yīng)用于3種典型非線(xiàn)性時(shí)間序列——NARMA系統(tǒng)、Henon混沌映射和figure8識(shí)別任務(wù))，并比較預(yù)測(cè)結(jié)果. 實(shí)驗(yàn)參數(shù)配置如表1所示.

表1 實(shí)驗(yàn)參數(shù)配置

采用標(biāo)準(zhǔn)均方根誤差(normalized root mean square error， NRMSE)度量3DP-RESN模型的預(yù)測(cè)精度，即

(4)

2.1 NARMA系統(tǒng)

NARMA系統(tǒng)(即非線(xiàn)性自回歸滑動(dòng)平均)是一種離散時(shí)間系統(tǒng)，其當(dāng)前輸出依賴(lài)于歷史輸入/輸出值. 圖2給出了儲(chǔ)備池規(guī)模為100時(shí)，3DP-RESN、CESN、DESN對(duì)于10步NARMA系統(tǒng)的預(yù)測(cè)性能，其預(yù)測(cè)精度依賴(lài)于復(fù)制概率p1，變異概率p2∈[0，0.3]和死亡概率p4∈[0.4，0.6]，且p2和p4的變化步長(zhǎng)均為0.02. 從圖2可以看出，存在很多3DP-RESN的NRMSE值位于CESN的NRMSE值以下，這說(shuō)明3DP-RESN的預(yù)測(cè)精度優(yōu)于CESN，3DP-RESN實(shí)現(xiàn)了從被破壞回聲狀態(tài)網(wǎng)絡(luò)DESN的自適應(yīng)恢復(fù).

表2給出了不同評(píng)估模型的預(yù)測(cè)精度對(duì)于輸入尺度的敏感程度，其中參數(shù)設(shè)置為：N=100，p2=0.20，p4=0.55. 從表2可以看出，對(duì)于不同的輸入尺度，提出的3DP-RESN的預(yù)測(cè)精度同樣優(yōu)于CESN，也就是說(shuō)3DP-RESN在一定程度上防止了由于故障和攻擊造成的CESN預(yù)測(cè)性能退化.

表2 不同模型不同輸入尺度對(duì)于NARMA系統(tǒng)預(yù)測(cè)精度的比較

Tab.2 Comparison of prediction accuracy of different models with different input scales on NARMA system

輸入尺度CESNDESN3DP-RESN0.10.12700.22490.12070.20.12650.22390.11160.30.13130.22710.13000.40.14300.23090.14610.50.15790.23450.14250.60.17320.23840.15090.70.19660.24690.18350.80.21930.26250.16540.90.23250.29650.20181.00.24210.35740.2103

2.2 Henon映射

Henon映射混沌過(guò)程是一種離散動(dòng)態(tài)系統(tǒng)，且具有奇異吸引子的二維映射. 同樣，根據(jù)(p2，p4)的迭代變化，圖3給出了當(dāng)儲(chǔ)備池規(guī)模為100時(shí)，3DP-RESN、CESN、DESN對(duì)于Henon混沌映射的預(yù)測(cè)精度. 對(duì)于Henon映射，圖3中大多數(shù)3DP-RESN的σNRMSE在CESN誤差曲線(xiàn)附近波動(dòng)，說(shuō)明當(dāng)CESN遭受故障時(shí)，3DP-RESN可以恢復(fù)其非線(xiàn)性逼近能力.

表3給出了不同模型對(duì)于Henon映射在不同噪聲標(biāo)準(zhǔn)差ν環(huán)境的預(yù)測(cè)精度，3DP-ESN的進(jìn)化參數(shù)被設(shè)置為p2=0.2，p4=0.4. 由表3可以發(fā)現(xiàn)，對(duì)于具有不同噪聲標(biāo)準(zhǔn)差ν的Henon映射，3DP-ESN都具備強(qiáng)大的恢復(fù)能力.

表3 在不同的噪聲v條件下不同模型對(duì)于Henon映射預(yù)測(cè)精度的比較

Tab.3 Comparison of prediction accuracy of different models for different noisesvon Henon map

νCESNDESN3DP-RESN00.00130.00470.00020.0010.00280.00550.00260.0020.00490.00670.00490.0030.00710.00910.00680.0040.00910.01140.00890.0050.01150.01280.01070.0060.01340.01560.01330.0070.01560.01740.01500.0080.01790.02060.0183

2.3 Figure 8識(shí)別

在Figure8識(shí)別任務(wù)中，進(jìn)一步評(píng)估CESN、DESN和3DP-RESN對(duì)于學(xué)習(xí)復(fù)雜序列模式的有效性. 圖4給出了不同模型產(chǎn)生的Figure8軌跡圖.

當(dāng)遭受故障和攻擊時(shí)，回聲狀態(tài)網(wǎng)絡(luò)對(duì)Figure8的識(shí)別能力大大下降(見(jiàn)圖4(b)). 而通過(guò)基于生物進(jìn)化的儲(chǔ)備池恢復(fù)機(jī)制，3DP-RESN可以對(duì)Figure8圖形進(jìn)行恢復(fù)，得到圖4(c). 圖4(c)相似于回聲狀態(tài)網(wǎng)絡(luò)未遭受故障和攻擊時(shí)CESN產(chǎn)生的Figure8圖形(見(jiàn)圖4(a)). CESN、DESN和3DP-RESN的NRMSE分別為：0.427 2，0.662 7和0.357 1. 很明顯，3DP-RESN不僅實(shí)現(xiàn)了從被破壞ESN的性能恢復(fù)，且提高了7%的逼近精度. 結(jié)合圖5可以看出只要3DP-RESN的進(jìn)化參數(shù)設(shè)置合理，3DP-RESN就可以實(shí)現(xiàn)從DESN的性能恢復(fù).

2.4 3DP-RESN記憶能力評(píng)估

Jeager教授[1]定量分析了經(jīng)典回聲狀態(tài)網(wǎng)絡(luò)的短期記憶能力(memory capacity， MC). 他認(rèn)為短期記憶能力指的是ESN能夠恢復(fù)網(wǎng)絡(luò)輸入的能力. 這里，假設(shè)回聲狀態(tài)網(wǎng)絡(luò)由一個(gè)獨(dú)立同分布的輸入流驅(qū)動(dòng). 對(duì)于一個(gè)給定的延遲k來(lái)說(shuō)，當(dāng)輸入流…u(t-1)u(t)注入到ESN儲(chǔ)備池時(shí)，ESN的k-延遲記憶能力表示為

(5)

式中Cov和Var分別表示協(xié)方差和方差. 那么，ESN的短期記憶能力MC表示為

(6)

圖6給出3個(gè)模型的遺忘曲線(xiàn)及其相應(yīng)MC值，其中L為平方相關(guān)系數(shù)，即式(5)中的MCk. 提出的3DP-RESN被訓(xùn)練能夠記憶k(k=1，2，…，40)個(gè)輸入延遲單元. 實(shí)驗(yàn)參數(shù)配置：1個(gè)輸入單元，100個(gè)線(xiàn)性?xún)?chǔ)備池內(nèi)部單元和100輸出單元(每個(gè)k對(duì)應(yīng)一個(gè)輸出單元)，3DP-RESN進(jìn)化參數(shù)p2=0.4，p4=0.56. 這里，輸入信號(hào)服從[0，0.5]的均勻分布.

從圖6可知，當(dāng)ESN發(fā)生故障或遇到攻擊時(shí)，記憶能力急劇下降(見(jiàn)圖6(b))，MCDESN=27.4. 3DP-RESN可以恢復(fù)被破壞ESN的記憶能力，MC3DP-RESN=33.6，該值與未遭受破壞的CESN的短期記憶能力MCCESN=32.6非常相近.

3 結(jié) 論

提出了一種基于生物進(jìn)化理論的儲(chǔ)備池恢復(fù)機(jī)制:3DP-RESN. 利用增量增長(zhǎng)原則，建立新型狀態(tài)儲(chǔ)備池，該儲(chǔ)備池具有以下幾種自然進(jìn)化特征：基于優(yōu)先匹配的復(fù)制；新增加連接的變異；新增加連接的死亡. 本文將3DP-RESN應(yīng)用于NARMA系統(tǒng)、Henon映射和Figure8識(shí)別3種非線(xiàn)性時(shí)間序列，實(shí)驗(yàn)表明，提出的3DP-RESN能夠精確逼近復(fù)雜的非線(xiàn)性動(dòng)態(tài)系統(tǒng)，即可以從被破壞的經(jīng)典ESN中恢復(fù)甚至超越其原有預(yù)測(cè)精度. 同時(shí)從短期記憶能力的角度對(duì)3DP-RESN進(jìn)行評(píng)估，同樣驗(yàn)證了其良好的恢復(fù)性能.

[1] Jaeger H. The echo state approach to analyzing and training neural networks[C]∥German Nat. Res. Inst. Inform. Technol. Sankt Augustin， Germany: [s.n.], 2002:148.

[2] 殷高方，張玉鈞，胡麗，等.BP神經(jīng)網(wǎng)絡(luò)水華預(yù)測(cè)模型的敏感性分析[J].北京理工大學(xué)學(xué)報(bào)，2012，32(12):1288-1293.

Yin Gaofang, Zhang Yuyun, Hu Li, et al. Sensitivity analysis of BP neural network for algal bloom prediction mode[J]. Transactions of Beijing Institute of Technology, 2012,32(12):1288-1293. (in Chinese)

[3] 金福生，牛振東，吳璠，等.基于BP神經(jīng)網(wǎng)絡(luò)的信譽(yù)欺騙檢測(cè)模型[J].北京理工大學(xué)學(xué)報(bào)，2012，32(1):62-66，94.

Jin Fusheng, Niu Zhendong, Wu Fan, et al. A cheating detection model for reputation system based on BP neural network[J]. Transactions of Beijing Institute of Technology, 2012,32(1):62-66,94. (in Chinese)

[4] Trentin E， Scherer S， Schwenker F. Emotion recognition from speech signals via a probabilistic echo-state network[J]. Pattern Recognition Letters， 2015，66：4-12.

[5] Zhang L M， Hua C C， Tang Y G, et al. Ill-posed echo state network based on L-curve method for prediction of blast furnace gas flow[J]. Neural Processing Letters，2016，43(1):97-113.

[6] Xu X M， Niu D X， Fu M， et al. A multi time scale wind power forecasting model of a chaotic echo state network based on a hybrid algorithm of particle swarm optimization and tabu search[J]. Energies，2015，8(11):12388-12408.

[7] Yang L， Liang X D， Ma T， et al. Spectrum prediction based on echo state network and its improved form[C]∥2013 5th International Conference on Intelligent Human-Machine Systems and Cybernetics. Hangzhou， China: IEEE，2013:172-176.

[8] Bo Y C， Qiao J F. Heuristic dynamic programming using echo state network for multivariable tracking control of wastewater treatment process[J]. Asian Journal of Control，2015，17(5):1654-1666.

[9]Wang H S， Yan X F. Optimizing the echo state network with a binary particle swarm optimization algorithm[J]. Knowledge-Based Systems， 2015，86:182-193.

[10] Sun X， Cui H， Liu R， et al. Modeling deterministic echo state network with loop reservoir[J]. Journal of Zhejiang University Science C， 2012，13(9):689-701.

[11] Rodan A， Tino P. Minimum complexity echo state network[J]. IEEE Transactions on Neural Networks， 2011，22(1):131-144.

[12] Cui H Y， Feng C， Chai Y， et al. Effect of hybrid circle reservoir injected with wavelet-neurons on performance of echo state network[J]. Neural Networks， 2014，57:141-151.

[13] Jalili M. Error and attack tolerance of small-worldness in complex networks[J]. Journal of Informetrics，2011，5(3):422-430.

[14] Ghedini C G， Ribeiro C H. Rethinking failure and attack tolerance assessment in complex networks[J]. Physica A: Statistical Mechanics and Its Applications，2011，390(23):4684-4691.

[15] Wittkopp P J， Kalay G. Cis-regulatory elements: molecular mechanisms and evolutionary processes underlying divergence[J]. Nature Reviews Genetics，2012，13(1):59-69.

[16] Xu G， Guo C， Shan H， et al. Divergence of duplicate genes in exon-intron structure[J]. Proceedings of the National Academy of Sciences，2012，109(4):1187-1192.

[17] Peter I S， Davidson E H. Evolution of gene regulatory networks controlling body plan development[J]. Cell，2011，144(6):970-985.

[18] Gagnon A I， Blanchet F C M， Rochette S， et al. Transcriptional divergence plays a role in the rewiring of protein interaction networks after gene duplication[J]. Journal of Proteomics， 2013，81:112-125.

[19] Zomorrodi A R， Suthers P F， Ranganathan S， et al. Mathematical optimization applications in metabolic networks[J]. Metabolic Engineering， 2012，14(6):672-686.

(責(zé)任編輯：劉芳)

Restorable Echo State Network Based on Biological Evolution

WANG Yi-ou， DING Gang-yi， LIU Tian-yuan， MENG Jun, SHEN Chen

(Digital Performance and Simulation Technology Lab.， School of Software，Beijing Institute of Technology， Beijing 100081， China)

To solve adaptability problems of the reservoirs of echo state network in complicated conditions, such as suffering from random faults and deliberate attacks, a restorable echo state network with biological evolution characteristics—3DP-RESN was proposed. The 3DP-RESN was designed to be able to recover automatically from destroyed network topology based on the evolution strategies of preferentially matched duplication, newly added connection-oriented divergence and newly added connection-oriented death. In experiments, 3DP-RESN, classic ESN (CESN) and destroyed ESN (DESN) are applied to approximating three kinds of nonlinear time series, i.e., the NARMA system, Henon map and figure8. Experimental results show that, when reservoirs suffer from failure, for three kinds of time series, the prediction accuracy of 3DP-RESN significantly outperforms DESN, and is close to or even higher than that of CESN which has not suffered from failure. Especially in the experiment of figure8, compared with CESN and DESN, the prediction accuracy of 3DP-RESN is improved by 30.56% and 7.01% respectively. Besides, the short-term memory capacity of the 3DP-RESN is also close to that of CESN. Hence, 3DP-RESN can possess strongly adaptive self-recovery capacity.

echo state network; biological evolution; restorable capacity; time series prediction

2015-12-22

國(guó)家自然科學(xué)基金資助項(xiàng)目(61202243)；國(guó)家教育部博士點(diǎn)基金資助項(xiàng)目(20121101110037)

王怡鷗(1990—)，女，博士生，E-mail:wangyiou90@163.com.

TP 301.6

A

1001-0645(2016)11-1141-06

10.15918/j.tbit1001-0645.2016.11.009