面向突觸故障的回聲狀態(tài)網(wǎng)絡容錯方法研究

摘要： 在實際應用部署過程中，回聲狀態(tài)網(wǎng)絡中儲備池的內(nèi)部突觸容易受到應用系統(tǒng)故障的影響而發(fā)生故障，偏離預期的性能。因此，提出一個面向突觸故障的回聲狀態(tài)網(wǎng)絡容錯模型。分析模型中一些故障的突觸（權重擾動）的行為特征，考慮發(fā)生故障的實際場景，采用檢測機制檢測并定位這些故障的突觸，最后通過容錯策略使其恢復。仿真實驗結(jié)果表明，針對不同特點的時間序列數(shù)據(jù)，通過容錯性能評估、統(tǒng)計分布和短期記憶能力對比，提出的容錯模型是有效的。此外，通過數(shù)學理論推導證明出儲備池突觸故障容錯的邊界條件。

關鍵詞： 回聲狀態(tài)網(wǎng)絡； 突觸故障； 容錯性； 時間序列預測； 短期記憶能力

中圖分類號： TP18

文獻標志碼： A

文章編號： 1671-6841（2024）05-0039-08

DOI： 10.13705/j.issn.1671-6841.2023029

Research on Fault Tolerance Method for Echo State Networks

Oriented to Synapse Faults

SUN Xiaochuan 1，2， GAO Jiahui 1，2， WANG Yu 1，2， LI Yingqi 1，2

（1.College of Artificial Intelligence， North China University of Science and Technology， Tangshan

063210， China; 2.Hebei Key Laboratory of Industrial Perception， Tangshan 063210， China）

Abstract： During practical application deployment， the internal synapses of reservoirs in echo state networks were susceptible to failure and deviation from the expected performance due to application system failures. Therefore， a fault-tolerant model for synaptic faults in echo state networks was proposed. There were some faulty synapses （weight perturbations） in this model. Their behavioral characteristics were analyzed， the actual scenarios in which the failures occurred were considered. A detection mechanism was used to detect and locate these faulty synapses， and finally， they were recovered by a fault-tolerance strategy. The simulation results showed that the effectiveness of the fault-tolerance model was verified by fault-tolerance performance evaluation， statistical distribution， and short-term memory capacity comparison for time series data with different characteristics. In addition， the boundary conditions of fault tolerance for reservoir synapses failures were proved by mathematical theory derivation.

Key words： echo state network （ESN）; synapse fault; fault tolerance; time series prediction; short-term memory capacity

0 引言

回聲狀態(tài)網(wǎng)絡（echo state network，ESN）［1］是一種典型的儲備池計算模型，在時間序列預測、故障診斷、目標跟蹤等領域得到了廣泛應用［2-4］。在ESN的建模過程中，儲備池的適應性問題最具挑戰(zhàn)性。目前，很多研究旨在結(jié)構(gòu)方面的優(yōu)化［5-7］，以獲得更好的泛化性能。然而，在實際應用任務中，如果ESN沒有內(nèi)置的或經(jīng)過驗證的容錯能力，就會因為關鍵部分的錯誤而造成災難性的網(wǎng)絡故障。因此，容錯性實際上也應當是儲備池計算適應性問題的關鍵內(nèi)容，這在一定程度上決定了ESN在實際問題中的應用能力。

在實際應用中，復雜惡劣的環(huán)境（大氣輻射、放射性雜質(zhì)）、溫度變化、電壓不穩(wěn)定、底層半導體設備和硬件設備磨損老化等［8-10］因素都會導致軟件層面上的儲備池內(nèi)部組件（突觸）發(fā)生故障，即軟件故障，影響ESN的正常計算。為了確保ESN在出現(xiàn)錯誤時仍能正確運行，需要一個有效的容錯設計。

容錯理論的相關研究包括被動式和主動式容錯處理，且大多數(shù)方法集中于前饋型神經(jīng)網(wǎng)絡。例如，在被動方法中，增加冗余、改進學習/訓練算法和約束條件下的網(wǎng)絡優(yōu)化三類方法能夠提高神經(jīng)網(wǎng)絡固有的容錯能力。Zhao等［10］采用了四種基于算法容錯的方案用于卷積神經(jīng)網(wǎng)絡（convolutional neural network，CNN）中的卷積運算。該方案可以在卷積運算過程中檢測并糾正硬故障和軟故障，從而提高卷積層的故障容錯能力。馬曉港等［11］通過對CNN中冗余的關鍵神經(jīng)元進行復制來削弱故障神經(jīng)元對神經(jīng)網(wǎng)絡的影響。Dey等［12］將三個正則化器應用于多層感知器（multi-layer perception，MLP）網(wǎng)絡的訓練中，當出現(xiàn)鏈路故障、權重擾動時，三個正則化器通過懲罰系統(tǒng)誤差，改變突觸權重，從而使MLP具有魯棒性。實質(zhì)上，被動容錯技術沒有故障診斷、重新學習或重新配置的過程，無法確定故障具體位置，僅僅通過神經(jīng)網(wǎng)絡固有的冗余來掩蓋故障的影響，但這些故障仍然存在。

在主動方法中，低延遲故障檢測和恢復技術能夠確保神經(jīng)網(wǎng)絡的容錯性。Naeem等［13］結(jié)合尖峰時序相關塑性和Bienenstock Cooper Munro學習規(guī)則建立輸入-輸出之間的映射關系，當突觸出現(xiàn)功能障礙時通過自我修復維持正常的映射。Liu等［14］提出了一種選擇性神經(jīng)元重計算技術應用于人工神經(jīng)網(wǎng)絡的分類問題。該技術可以識別出誤差對結(jié)果沒有影響的情況，旨在對那些分類結(jié)果不可靠的神經(jīng)元進行重新計算、處理錯誤。主動容錯系統(tǒng)在面臨故障時，能夠通過自適應、再訓練或自我修復的機制及時給予補償，使神經(jīng)網(wǎng)絡從故障中恢復。可見，主動容錯方法將是神經(jīng)網(wǎng)絡容錯研究中有效的處理技術。

綜上，盡管國內(nèi)外學者在神經(jīng)網(wǎng)絡容錯問題上進行了大量卓有成效的工作，但大多研究集中于前饋型神經(jīng)網(wǎng)絡，針對反饋型神經(jīng)網(wǎng)絡的容錯研究相對較少，而反饋型神經(jīng)網(wǎng)絡在計算收斂速度、聯(lián)想記憶和優(yōu)化計算方面的應用具有更明顯的優(yōu)勢。鑒于此，本文擬開展儲備池計算框架下的故障容忍方法研究，從權重擾動故障的角度設計儲備池容錯策略，對于完善神經(jīng)網(wǎng)絡理論、發(fā)掘儲備池計算的應用潛力具有重要的價值和意義。最后，證明了儲備池故障的容錯能力，為構(gòu)建故障容錯機制的必要性提供了理論依據(jù)。

1 儲備池容錯模型結(jié)構(gòu)

本文提出了一種面向隨機突觸故障的回聲狀態(tài)網(wǎng)絡容錯模型（synapse random fault tolerated echo state network，SRFT-ESN）。具體地，構(gòu)造了一個ESN故障模型，儲備池的內(nèi)部存在一些有問題的突觸（權重擾動），考慮了三種發(fā)生故障的實際場景，并根據(jù)權重擾動的行為特征設計檢測機制來檢測并定位故障的突觸。最終利用容錯機制處理這些故障。

圖1給出了SRFT-ESN的總體結(jié)構(gòu)。類似于傳統(tǒng)的ESN，該模型由一個輸入層、一個儲備池和一個輸出層組成，包含K個輸入神經(jīng)元，N個儲備池神經(jīng)元和L個輸出神經(jīng)元。儲備池的狀態(tài)更新方程為

x（t+1）=f（Winu（t+1）+Wx（t）+Wbacky（t）），（1）

SRFT-ESN的輸出表達式為

y（t+1）=fout（Woutx（t+1）），（2）

其中：Win、W、Wback和Wout分別表示儲備池的輸入權重矩陣、內(nèi)部權重矩陣、反饋權重矩陣和輸出權重矩陣；u（t）∈RK和x（t）∈RN分別表示網(wǎng)絡輸入和儲備池神經(jīng)元在時間t的狀態(tài)；y（t）∈RL表示t時間的L維度的輸出；f（·）為儲備池的激活函數(shù)，通常為tanh； fout（·）表示identity激活函數(shù)。

訓練SRFT-ESN的目標是獲得最佳Wout，通常使用Moore-Penrose算法直接完成，即

Wout=X～Y=（XTX）-1XTY，（3）

其中：X=［x（1）， x（2）， …， x（nmax）］是儲備池的狀態(tài)矩陣，X～是X的廣義逆矩陣，Y=［y（1）， y（2）， …， y（nmax）］是輸出權重矩陣所對應的目標輸出。

然而，與傳統(tǒng)ESN不同的是，儲備池內(nèi)部存在一些相對獨立的故障突觸，如圖1中虛線所示的連接，其表現(xiàn)要么連接短路，要么連接受到外部干擾，權值偏離預期值?；谶@兩種情況，可以建模為權值始終卡死在Wmin=-1或Wmax=+1上［15］。因此，本文設計了一種再訓練的主動容錯策略，保證儲備池具備良好的映射能力。特別地，ESN的一個關鍵屬性是回聲狀態(tài)屬性（echo state property，ESP），它表征了有效的ESN動力學特性。而儲備池內(nèi)部權重矩陣的絕對值最大的特征值小于1時，ESN才具有ESP。由此可見，ESP與儲備池內(nèi)部狀態(tài)有直接關系。所以本文僅針對與ESN動力學特性有較大關系的內(nèi)部權重進行容錯分析。

2 儲備池突觸故障容錯機制

算法1給出了突觸隨機故障容錯處理的整體流程。考慮了突觸故障隨機發(fā)生在儲備池訓練前、訓練后，以及訓練前、后并存的情況，分別在這些階段進行故障檢測和容錯處理。其中，檢測故障時調(diào)用算法2；處理故障時，調(diào)用算法3。這里，對于隨機型的故障突觸，采用其權值+1來表征。具體地，在算法1中，對于初始化的ESN，通過兩層循環(huán)依次檢測每個突觸是否存在故障，若存在故障，返回true，否則返回false（算法2的第3～10行）。當返回true時，定位這些故障連接，并依次將對應的權值設置為0（算法3的第4～14行）。之后，進行模型的訓練和Wout的求解（算法1的第7～10行）。為了兼顧訓練后發(fā)生故障，繼續(xù)調(diào)用算法2、算法3進行檢測和修復。特別地，使用while循環(huán)不斷執(zhí)行訓練過程以及訓練后的容錯過程，直至訓練后的ESN經(jīng)過容錯處理后不再發(fā)生錯誤。

算法1 突觸的隨機故障容錯處理

輸入： 樣本數(shù)據(jù)u（t），y（t），儲備池大小N，譜半徑λ，Win，W，Wback，狀態(tài)收集時間T和沖洗時間T0。

輸出： 權重矩陣Wout。

1. 初始化ESN（隨機初始化ESN中的權重）

2. if 算法2→true then //故障檢測

3. 算法3；//容錯

4. end

5. while （true）

6. for t=T0 to T do //開始訓練

7. 根據(jù)公式（1）更新儲備池狀態(tài)；

8. 收集網(wǎng)絡狀態(tài)X和輸出Y

9. end

10. 根據(jù)公式（3）求解Wout；//結(jié)束訓練

11. if 算法2 → true then //故障檢測

12. 算法3；//容錯

13. else

14. break；//訓練后無故障

15. end

16.end

算法2 突觸隨機故障檢測方法

輸入： ESN。

輸出： true or false。

1. 從故障的ESN中獲取W和儲備池大小N

2. function flag=check（ESN）；

3. for i=1 to size N do

4. for j=1 to size N do

5. if W（i， j）=+1 then

6. 返回 true；

7. else

8. 返回 false；

9. end

10. end

11.end

算法3 突觸隨機故障容錯方法

輸入： 故障的ESN。

輸出： 正常的ESN。

1. 從故障的ESN中獲取W和儲備池大小N；

2. function 正常ESN=repair（ESN）；

3. 定義故障突觸收集數(shù)組eNode；

4. for i=1 to size N；//定位故障突觸

5. for j=1 to size N

6. if W（i， j）=+1 then

7. 將（i， j）添加到eNode；

8. end

9. end

10. end

10. for s=1 to size eNode //修復故障

12. （i， j）=eNode（s）；

13. W（i， j）=0；

14. end

3 儲備池突觸容錯能力證明

突觸是連接神經(jīng)元的傳輸介質(zhì)，要么正確傳輸信號，要么停止傳輸（崩潰）或者傳輸任意值（拜占庭故障）的信號。由于崩潰的突觸無法傳輸信息，因此，本節(jié)考慮神經(jīng)元、突觸分別發(fā)生拜占庭故障，在給出故障神經(jīng)元誤差上界的基礎上，推導出容忍的邊界條件，進一步證明故障的突觸與神經(jīng)元產(chǎn)生的誤差上界是等價的，最終，推導出容忍故障突觸的邊界條件，證明儲備池的故障容忍能力。

首先，根據(jù)突觸故障的行為特征，將其與神經(jīng)元產(chǎn)生的錯誤聯(lián)系起來。具體地，當神經(jīng)元i到神經(jīng)元j的突觸連接有故障時，會影響神經(jīng)元i傳輸?shù)臓顟B(tài)信息，為了表征此錯誤信息，通過神經(jīng)元j來傳播。為了證明，考慮儲備池狀態(tài)更新方程為

xini=∑Kk=1winkiuk+∑Nk=1wkix～k+∑Lk=1wbackkiy～k

xouti=f（xini）

Fres（U）=∑Ni=1xouti，（4）

其中：uk、xini和xouti分別是儲備池內(nèi)部神經(jīng)元的數(shù)據(jù)輸入、狀態(tài)輸入和狀態(tài)輸出；x～k和y～k分別是上一時刻儲備池神經(jīng)元k的狀態(tài)輸出和輸出層神經(jīng)元k的輸出；winki、wki和wbackki分別是儲備池神經(jīng)元i的輸入權重、內(nèi)部權重和反饋權重；U為任意輸入向量；Fres（·）為目標函數(shù)F（·）在連續(xù)映射空間C（［0， 1］d， ［0， 1］）中的ε-逼近，即

‖F(xiàn)（U）-Fres（U）‖<ε， U∈［0， 1］d。（5）

引用文獻［16］的推論，定義具有非最小儲備池的ESN由N個神經(jīng)元組成，可以容忍Nfail個拜占庭故障神經(jīng)元，并且能夠?qū)崿F(xiàn)ε-逼近（ε′≤ε），即Fres（·）可以算出F（·）的ε′-逼近，即

‖F(xiàn)（U）-Fres（U）‖<ε′。（6）

假設Ffail（·）表示出現(xiàn)Nfail個故障神經(jīng)元時神經(jīng)函數(shù)Fres（·）的剩余部分?；诜稊?shù)的三角不等式性質(zhì)，對于任何輸入向量U，有

‖F(xiàn)（U）-Ffail（U）‖≤‖F(xiàn)（U）-Fres（U）‖+

‖F(xiàn)res（U）-Ffail（U）‖。（7）

假設1 有界誤差假設。對于任意的輸入U，任意儲備池神經(jīng)元的實際輸出為xouti+λi，這里xouti是儲備池神經(jīng)元的真實輸出，λi是神經(jīng)元i的誤差，則儲備池神經(jīng)元的輸出在最壞的情況下存在一個統(tǒng)一的上界E∈R*+，即

xi+λi≤E， i∈［0， N］。

描述ESN容忍能力的引理、定理如下。

引理1 在儲備池中，有Nfail個神經(jīng)元受故障的影響，每個神經(jīng)元i向下一個所連接的正常神經(jīng)元發(fā)送包含誤差為λi的輸出xouti+λi，而不是預期的xouti。在這種情況下，對輸出影響的上界為

‖F(xiàn)res（U）-Fλ（U）‖≤NfailKwmE，

其中：Fres（U）是正常的神經(jīng)元函數(shù)；Fλ（U）為誤差λi的神經(jīng)元函數(shù)；wm是儲備池中最大的內(nèi)部權值；K為激活函數(shù)的調(diào)諧系數(shù)。具體地，sigmoid是ESN的非線性本質(zhì)，而普適性定理適用于該激活函數(shù)。本節(jié)將普適性定理的條件加到激活函數(shù)上，并認為sigmoid為K-Lipschitzian［16］。特別地，這里的誤差只傳送給正常的神經(jīng)元，而故障的神經(jīng)元僅傳送其本身的誤差。

證明 設Qfail為故障神經(jīng)元的集合，f（·）為sigmoid函數(shù)，儲備池的狀態(tài)輸出誤差為

‖F(xiàn)res（U）-Fλ（U）‖=‖∑i∈Qfailf［wi（x～i+λi）］‖，（8）

其中：wi表示與儲備池神經(jīng)元i對應的權重向量。注意，這里只考慮儲備池內(nèi)部神經(jīng)元的錯誤影響。則根據(jù)范數(shù)三角不等式性質(zhì)得到

‖F(xiàn)res（U）-Fλ（U）‖≤K∑i∈Qfail‖wi（x～i+λi）‖，（9）

應用假設1和wm的定義能夠獲得儲備池的總體狀態(tài)輸出誤差上限，表示為

‖F(xiàn)res（U）-Fλ（U）‖≤NfailKwmE，（10）

在最壞的故障情況下，輸入誤差達到最大值E，并且故障神經(jīng)元與具有最大權值wm相連時，上述約束是緊致的。

定理1 設ε和ε′是任意兩個正實數(shù)，且0＜ε′≤ε，儲備池容忍Nfail個拜占庭故障神經(jīng)元的上界為

Nfail≤（ε-ε′）/KwmE。

此外，若沒有額外約束條件，這個約束條件是緊致的。

證明 用Ffail表示儲備池中具有Nfail個拜占庭故障神經(jīng)元的總體輸出，F(xiàn)為連續(xù)的目標函數(shù)。利用引理1得到

‖F(xiàn)res（U）-Ffail（U）‖≤NfailKwmE，

結(jié)合公式（6）和（7）得到

‖F(xiàn)（U）-Ffail（U）‖≤ε′+NfailKwmE，

因此，為了保證

‖F(xiàn)（U）-Ffail（U）‖≤ε，

則最終得到的上界為

Nfail≤（ε-ε′）/（KwmE）。（11）

引理2 在儲備池中，神經(jīng)元i到神經(jīng)元j的突觸處產(chǎn)生的誤差值為λij，在最壞的情況下，等價于神經(jīng)元j的傳輸誤差為KE。

證明 從神經(jīng)元i到神經(jīng)元j突觸中的誤差值λij在神經(jīng)元j處產(chǎn)生一個接收和，記為xinλ，j，所用公式為

xinλ，j=∑Kk=1winkjuk+∑Nk=1，k≠iwkjx～k+

∑Lk=1wbackkjy～k+wijx～i+λij=

（∑Kk=1winkjuk+∑Nk=1wkjx～k+∑Lk=1wbackkjy～k）+λij，（12）

因此，通過激活函數(shù)的K-Lipschitzness，神經(jīng)元j的輸出誤差上限為

error=φ（xinλ，j）-φ（xinj）≤

Kxinλ，j-xinj=Kλij，（13）

最壞情況下，根據(jù)假設1，傳輸誤差λij為E。

定理2 為了保證儲備池的穩(wěn)健性，給出故障突觸數(shù)量的上界為

Nfail≤（ε-ε′）/KwmE，

同理，這個約束條件是緊致的。

證明 根據(jù)上述推理，首先，應用引理2，將儲備池中Nfail個突觸的失效等同于在最壞情況下儲備池中Nfail個神經(jīng)元的失效。然后，應用定理2，得出結(jié)果。

4 仿真實驗與性能分析

在本節(jié)的實驗中，對模型的容錯恢復性能進行了綜合評估。所使用的數(shù)據(jù)具有不同特點、不同領域的時間序列，包括Henon Map混沌時間序列［17］、非線性自回歸移動平均（nonlinear auto regressive moving average，NARMA）系統(tǒng)數(shù)據(jù)［18］、多重疊加振蕩器（multiple superimposed oscillators，MSO）時間序列［19］以及由轎車移動模式產(chǎn)生的下行蜂窩網(wǎng)絡流量數(shù)據(jù)［20］。本文分別從恢復性能評估、頻譜分析、統(tǒng)計分布比較、短期記憶能力（memory capacity，MC）的角度對SRFT-ESN的有效性、可靠性進行了驗證，并與功能良好的ESN（well-functioning ESN，WESN）進行了對比。

4.1 數(shù)據(jù)預處理與性能評估指標

在本文實驗中，使用的Henon Map、NARMA和MSO時間序列數(shù)據(jù)均為3 000條，轎車移動模式產(chǎn)生的網(wǎng)絡流量數(shù)據(jù)為2 992條。并且，取每種數(shù)據(jù)的前50%作為訓練集，后50%作為測試集。特別地，在SRFT-ESN模型中，突觸故障是隨機產(chǎn)生的，且產(chǎn)生的數(shù)量也是隨機的，但不超過總體數(shù)量的25%。此外，對NARMA系統(tǒng)數(shù)據(jù)、轎車移動模式產(chǎn)生的網(wǎng)絡流量數(shù)據(jù)進行預處理。對于前者，采用高斯平滑方法，在保留數(shù)據(jù)原有特征的同時，減少異常點和噪聲。對于后者，分別采用插值法、高斯平滑處理方法和線性min-max歸一化方法。具體地，用前一時刻數(shù)據(jù)填補下一時刻缺失的數(shù)據(jù)，之后用高斯平滑法來減輕波動和異常值的影響，最后用線性min-max歸一化方法將數(shù)據(jù)按比例縮放，統(tǒng)一映射到［0， 1］區(qū)間上。

為評估可恢復模型的預測性能，考慮了歸一化均方根誤差（normalized root mean square error，NRMSE）、平均絕對誤差（mean absolute error，MAE）和決定系數(shù)R2三個指標。

4.2 容錯性能分析

表1給出了SRFT-ESN在多種時間序列預測任務中的容錯性能評估結(jié)果。顯然，在NRMSE、MAE、R2性能指標上，SRFT-ESN均優(yōu)于WESN，意味著該模型不僅從故障模式中得到恢復，并且具有更好的非線性逼近能力，說明本文所提容錯方案具有高效性和可靠性。

圖2給出了SRFT-ESN的預測值和真實值的頻譜分析圖。從圖中可以看出，相較于原始模型，SRFT-ESN的預測結(jié)果與真實數(shù)據(jù)頻率下的幅度響應、噪聲頻譜（帶狀陰影）分布有更好的擬合（特別是在MSO、轎車產(chǎn)生的網(wǎng)絡流量預測任務中），說明在不改變拓撲結(jié)構(gòu)的情況下進行容錯，模型能夠得到較好的恢復，具有更好的非線性逼近性能。

為了進一步證明所提容錯策略的有效性和可靠性，從數(shù)學統(tǒng)計分析的角度對模型的預測性能進行評估。圖3給出了容錯模型預測輸出的經(jīng)驗累積分布函數(shù)（empirical cumulative distribution function，ECDF）分析圖。圖中x軸表示六個時間序列的真實值，y軸F（x）表示所有小于等于當前時間序列真實值的概率。從圖3可以看出，SRFT-ESN和WESN的ECDF曲線基本擬合，說明二者的預測數(shù)據(jù)分布相似，即在故障模式下，容錯模型已恢復到與原始模型相似的預測性能，證明了容錯方法的有效性。

圖4給出了兩種模型預測數(shù)據(jù)的小提琴對比圖。每個小提琴圖由一個箱型圖和位于其左右的密度跡線組成。在圖4（b）～（d）中，容錯模型與原始模型的預測輸出在密度分布軌跡、箱型圖中的中位數(shù)和四分位數(shù)上的信息具有一致性，說明二者具有相似的預測性能，驗證了模型從故障中得到修復。在圖4（a）中，SRFT-ESN的預測數(shù)據(jù)與真實數(shù)據(jù)的密度分布軌跡在整體上基本相似，僅在特殊值處略有偏差，并且二者在箱型圖上的信息基本一致，說明該模型不僅得到恢復，并且具有更好的預測性能。綜上，通過可恢復性能評估、頻譜分析以及統(tǒng)計分布對比結(jié)果可以得到，SRFT-ESN能夠恢復到原始的非線性逼近性能，甚至在一定程度上得到了提升，驗證了本文所提出的再訓練主動容錯方案的高效性和可靠性。

4.3 短期MC

最后，使用MC來驗證SRFT-ESN的可恢復性和有效性［15］，通過短時記憶（short-time memory，STM）來研究該模型的時間處理能力。一般來說，STM可以使輸入信號從以前的時間t開始重建。對于SRFT-ESN，設置延遲步長為k，即到達的輸入流{…， s（t-2）， s（t-1）， s（t）}產(chǎn)生s（t-k）的延遲任務。

則模型良好的擬合特性定義為

MCk=Cov2（s（t-k），yk（t））Var（s（t））Var（yk（t）），（14）

其中：s（t-k）表示在t時刻具有k延時輸入的預期輸出；yk（t）表示實際輸出；Cov（·）和Var（·）分別表示協(xié)方差和方差算子。

通過對所有MCk求和得到STM值，即

MC=∑kmaxk=1MCk。（15）

在STM評估試驗中，ESN的拓撲結(jié)構(gòu)為1-40-1，輸入延遲為k=1， 2， … ， 40。圖5給出了所提模型在預測任務中的遺忘曲線。在每個子圖中，SRFT-ESN與WESN均在延遲至10 s時表現(xiàn)出接近100%的記憶能力，之后，隨著延遲增加，記憶能力開始下降。顯然，容錯模型的記憶曲線比原始模型的記憶曲線下降趨勢緩慢，在某些延遲k上，前者的記憶能力高于后者。此外，還評估了容錯模型的STM值。在Henon Map、NARMA系統(tǒng)、MSO時間序列以及轎車移動軌跡產(chǎn)生的蜂窩網(wǎng)絡流量預測任務中，SRFT-ESN的STM值依次為17.8685、26.2105、24.2658、33.0667，WESN的STM值依次為15.9428、24.2738、23.2050、32.6785，可以看出，SRFT-ESN的STM在四類數(shù)據(jù)上均高于WESN，這也與圖5中的結(jié)果相對應，容錯模型的記憶能力得到提升，驗證了本文所提模型的有效性和可靠性。

5 結(jié)論

針對突觸故障會導致儲備池神經(jīng)元無法正常傳遞信息的問題，本文提出了一種面向突觸故障的回聲狀態(tài)網(wǎng)絡容錯模型。該模型中存在一些故障的突觸，考慮故障發(fā)生的實際場景，利用檢測機制檢測并定位故障的突觸，通過容錯策略使模型得到恢復。仿真實驗表明，所提容錯模型具有良好的恢復性能。

由于本文僅考慮了突觸發(fā)生故障的單一情況，并沒有將神經(jīng)元和突觸同時發(fā)生故障考慮在內(nèi)，而這種情況出現(xiàn)時對儲備池計算將造成嚴重的影響，因此，未來將設計一種能夠?qū)⒍咄瑫r容錯的ESN模型，以提升儲備池計算的可持續(xù)使用性。

參考文獻：

［1］ GAO R B， DU L， DURU O， et al. Time series forecasting based on echo state network and empirical wavelet transformation［J］. Applied soft computing， 2021， 102： 107111.

［2］ LI Z Q， TANAKA G. Multi-reservoir echo state networks with sequence resampling for nonlinear time-series prediction［J］. Neurocomputing， 2022， 467： 115-129.

［3］ ZHANG S H， SUN Z Z， WANG M， et al. Deep fuzzy echo state networks for machinery fault diagnosis［J］. IEEE transactions on fuzzy systems， 2020， 28（7）： 1205-1218.

［4］ YANG X F， ZHAO F. Echo state network and echo state Gaussian process for non-line-of-sight target tracking［J］. IEEE systems journal， 2020， 14（3）： 3885-3892.

［5］ HU R H， TANG Z R， SONG X Y， et al. Ensemble echo network with deep architecture for time-series modeling［J］.Neural computing and applications， 2021， 33（10）： 4997-5010.

［6］ LIU J X， SUN T N， LUO Y L， et al. Echo state network optimization using binary grey wolf algorithm［J］. Neurocomputing， 2020， 385： 310-318.

［7］ LI Y， LI F J. PSO-based growing echo state network［J］. Applied soft computing， 2019， 85： 105774.

［8］ LI W S， NING X F， GE G J， et al. FTT-NAS： discovering fault-tolerant neural architecture［C］∥2020 25th Asia and South Pacific Design Automation Conference. Piscataway：IEEE Press， 2020： 211-216.

［9］ 劉晶， 高立超， 孫躍華， 等. 基于知識和數(shù)據(jù)融合驅(qū)動的設備故障診斷方法［J］. 鄭州大學學報（理學版）， 2022， 54（2）： 39-46.

LIU J， GAO L C， SUN Y H， et al. Fault diagnosis method for equipment driven by knowledge and data fusion［J］. Journal of Zhengzhou university （natural science edition）， 2022， 54（2）： 39-46.

［10］ZHAO K， DI S， LI S H， et al. FT-CNN： algorithm-based fault tolerance for convolutional neural networks［J］. IEEE transactions on parallel and distributed systems， 2021， 32（7）： 1677-1689.

［11］馬曉港. 面向神經(jīng)網(wǎng)絡的故障注入與容錯研究［D］. 湖州：湖州師范學院， 2022.

MA X G. Research on fault injection and fault tolerance oriented to neural network［D］.Huzhou： Huzhou University， 2022.

［12］DEY P， NAG K， PAL T， et al. Regularizing multilayer perceptron for robustness［J］. IEEE transactions on systems， man， and cybernetics： systems， 2018， 48（8）： 1255-1266.

［13］NAEEM M， MCDAID L J， HARKIN J， et al. On the role of astroglial syncytia in self-repairing spiking neural networks［J］. IEEE transactions on neural networks and learning systems， 2015， 26（10）： 2370-2380.

［14］LIU S S， REVIRIEGO P， LOMBARDI F. Selective neuron re-computation （SNRC） for error-tolerant neural networks［J］. IEEE transactions on computers， 2022， 71（3）： 684-695.

［15］TORRES-HUITZIL C， GIRAU B. Fault and error tolerance in neural networks： a review［J］. IEEE access， 2017， 5： 17322-17341.

［16］EL MHAMDI E M， GUERRAOUI R. When neurons fail［EB/OL］（2017-06-02）［2023-01-16］.https：∥ieeexplore.ieee.org/stamp/stamp.jsp？tp=&arnumber=7967193.

［17］PENG Y X， SUN K H， HE S B. A discrete memristor model and its application in Hnon map［J］. Chaos， solitons & fractals， 2020， 137： 109873.

［18］WAHEEB W， GHAZALI R， SHAH H. Nonlinear autoregressive moving-average （NARMA） time series forecasting using neural networks［C］∥2019 International Conference on Computer and Information Sciences （ICCIS）. Piscataway： IEEE Press， 2019： 1-5.

［19］LI Y， LI F J. Growing deep echo state network with supervised learning for time series prediction［J］. Applied soft computing， 2022， 128： 109454.

［20］RACA D， QUINLAN J J， ZAHRAN A H， et al. Beyond throughput： a 4G LTE dataset with channel and context metrics［C］∥Proceedings of the 9th ACM Multimedia Systems Conference. New York： ACM Press， 2018： 460-465.