遞歸神經(jīng)網(wǎng)絡(luò)算法的穩(wěn)定性判定準(zhǔn)則

張艷邦，張　芬

（咸陽師范學(xué)院 數(shù)學(xué)與信息科學(xué)學(xué)院，陜西 咸陽 712000）

［數(shù)理科學(xué)與信息科學(xué)研究］

遞歸神經(jīng)網(wǎng)絡(luò)算法的穩(wěn)定性判定準(zhǔn)則

張艷邦，張芬

（咸陽師范學(xué)院 數(shù)學(xué)與信息科學(xué)學(xué)院，陜西 咸陽 712000）

討論了一類遞歸神經(jīng)網(wǎng)絡(luò)算法的穩(wěn)定性問題。給出了增廣的Lyapunov-Krasovskii泛函，考慮了更多激活函數(shù)的信息。在Lyapunov-Krasovskii導(dǎo)函數(shù)中引入了自由權(quán)矩陣，降低了保守性，同時(shí)結(jié)合凸組合理論，處理了時(shí)變時(shí)滯，得到了以線性矩陣不等式形式的穩(wěn)定性判定準(zhǔn)則，此判定準(zhǔn)則易于驗(yàn)證和推廣。數(shù)值例子和仿真驗(yàn)證了文中方法的可行性。

遞歸神經(jīng)網(wǎng)絡(luò)；時(shí)變時(shí)滯；穩(wěn)定性；Lyapunov-Krasovskii泛函

近年來，神經(jīng)網(wǎng)絡(luò)算法的研究已經(jīng)廣泛應(yīng)用到計(jì)算機(jī)科學(xué)各個(gè)領(lǐng)域，如模式識(shí)別，信息處理，聯(lián)想記憶處理等。由于信息傳遞的延遲性，時(shí)滯在神經(jīng)網(wǎng)絡(luò)中普遍存在，而且是影響算法收斂性的主要根源，因此，有關(guān)時(shí)滯神經(jīng)網(wǎng)絡(luò)算法穩(wěn)定性的研究吸引了廣大學(xué)者的注意［1-3］。

按照算法穩(wěn)定性與時(shí)滯大小的相關(guān)性，現(xiàn)有的時(shí)滯神經(jīng)網(wǎng)絡(luò)判定性準(zhǔn)則可分為時(shí)滯依賴和時(shí)滯獨(dú)立兩種類型。由于前者具有更弱的保守性，時(shí)滯依賴的穩(wěn)定性研究受到了更多的關(guān)注。Ari［4］研究了動(dòng)態(tài)時(shí)滯神經(jīng)網(wǎng)絡(luò)模型的魯棒穩(wěn)定性問題的，模型中非線性激活函數(shù)是范數(shù)有界，基于Lyapunov穩(wěn)定性理論和同胚映射定理，得到了一個(gè)時(shí)滯無關(guān)的充分條件。Huang等［5］給出了含有離散時(shí)滯和分布時(shí)滯的神經(jīng)網(wǎng)絡(luò)模型時(shí)滯依賴穩(wěn)定性判據(jù)，但是需要求解變分不等式。Kwon［6］等討論了含有區(qū)間時(shí)變時(shí)滯的靜態(tài)神經(jīng)網(wǎng)絡(luò)模型穩(wěn)定性問題，結(jié)合增廣的李雅普諾夫泛函提出了系統(tǒng)的穩(wěn)定性條件，最近，也有一些學(xué)者［7-8］研究了遞歸神經(jīng)網(wǎng)絡(luò)算法模型的穩(wěn)定性問題。

本文將討論含時(shí)滯遞歸神經(jīng)網(wǎng)絡(luò)算法的時(shí)滯依賴穩(wěn)定性問題。通過構(gòu)造Lyapunov-Krasovskii泛函，運(yùn)用自由權(quán)矩陣的方法并結(jié)合凸組合理論，以線性矩陣不等式形式給出了時(shí)滯依賴穩(wěn)定性判據(jù)，這些判據(jù)較易通過Matlab工具箱［9］驗(yàn)證。

1　問題描述

考慮如下含時(shí)變時(shí)滯的神經(jīng)網(wǎng)絡(luò)算法模型

其中y（·）=［y1（·）y2（·）…yn（·）］T是特征向量，g（·）=［g1（·）g2（·）…gn（·）］T表示神經(jīng)元激活函數(shù)，W=［W1，W2，…，Wn］T是特征關(guān)聯(lián)權(quán)矩陣，

J=［J1，J2，…，Jn］T表示偏移性。d（t）是時(shí)變時(shí)滯，并且滿足

其中h和μ是已知常數(shù)。

不失一般性，我們給出以下假設(shè)。

假設(shè)1神經(jīng)元激活函數(shù)g（·）有界，且滿足下式

根據(jù)激活函數(shù)的假設(shè)，神經(jīng)網(wǎng)絡(luò)算法模型存在一個(gè)平衡點(diǎn) y*，為了簡化計(jì)算，我們采用變換x（t）=y（t）-y*可以將模型（1）的平衡點(diǎn)轉(zhuǎn)移到坐標(biāo)原點(diǎn)，模型（1）轉(zhuǎn)化為

其中f（·）=［f1（·）f2（·）…fn（·）］，f（Wx（·））=g（W（x（·）+y*）+J）-g（Wy*+J）。

由假設(shè)1和fi（0）=0，可以得到

或者

在給出主要結(jié)論之前，我們給出以下引理

引理1［10］對任意實(shí)數(shù)矢量 a，b和矩陣R＞0有：

引理2［11］對于任意常數(shù)矩陣Ψ1和Ψ2，對稱矩陣Φ＜0，標(biāo)量h和函數(shù)h（t）:?+→［ ］0，h，若

滿足，當(dāng)且僅當(dāng)有

引理3［12］（Schur補(bǔ)）給定實(shí)常數(shù)矩陣S1、S2、 S3，其中，則，當(dāng)且僅當(dāng)

或者

2　神經(jīng)網(wǎng)絡(luò)算法穩(wěn)定性分析

定理1若假設(shè)1滿足，對給定的h、μ，若存在

對角陣

適當(dāng)維數(shù)的矩陣Si，Ti（i=1，2，…，6），使得下列線性矩陣不等式滿足

則算法模型（4）是漸近穩(wěn)定的。其中

證明：構(gòu)造如下的Lyapunov-Krasovskii泛函

其中

V（xt，t）沿模型（4）對t求導(dǎo)得

由假設(shè)（1）知

當(dāng)Ω+d（t）STN-1S+（h-d（t）TN-1T＜0時(shí)，（x，t）＜0，即等價(jià)于

由引理3知，式（26）和（27）與式（11）和（12）等價(jià)，所以算法模型（4）是漸近穩(wěn)定。

3　數(shù)值例子與仿真

考慮一個(gè)含有下列參數(shù)的時(shí)變遞歸神經(jīng)網(wǎng)絡(luò)算法模型，其參數(shù)矩陣為

圖1　算法模型中特征向量的軌跡曲線

激活函數(shù)f（x）=0.3||sin（x），取

則神經(jīng)元的激活函數(shù)滿足假設(shè)1，當(dāng)μ=1.2時(shí)，通過用文獻(xiàn)［9］中的Matlab LMI工具箱求解線性矩陣式（11）（12），求得最大時(shí)滯為h=5.432。應(yīng)用Simulink仿真得算法模型中特征向量的軌跡曲線如圖1所示。因此通過本例驗(yàn)證了所提方法的有效性。

4　結(jié)論

本文給出了時(shí)滯遞歸神經(jīng)網(wǎng)絡(luò)算法模型的穩(wěn)定性判據(jù)。通過構(gòu)造新穎的Lyapunov-Krasovskii泛函，基于線性矩陣不等式，同時(shí)引入自由權(quán)矩陣和結(jié)合凸組合理論得到了保守性較弱的系統(tǒng)穩(wěn)定性條件，最后，一個(gè)數(shù)值例子和仿真驗(yàn)證了本文方法的可行性。

［1］AHN C K，SONG M K.L2-L∞filtering for time-delayed switched Hopfield neural networks［J］.International Journal of Innovative Computing，Information and Control，2011，7 （4）：1831-1844.

［2］ZHANG Q，WEI X P，XU J.Global exponential stability for nonautonomous cellular neural networks with delays［J］. Physics LettersA，2006，351：153-160.

［3］AHN C K.Linear matrix inequality optimization approach to exponential robust filtering for switched Hopfield neural networks［J］.Journal of Optimization Theory and Applications，2012，154（2）：573-587.

［4］ARIK S.Dynamical analysis of uncertain neural networks with multiple time delays［J］.International Journal of Systems Science，2014，DOI：10.1080/00207721.2014.902158.

［5］HUANG B N，HUI G T，GONG D W，et al.A projection neural network with mixed delays for solving linear variational inequality［J］.Neurocomputing，2014，125：28-32.

［6］KWON O M，PARK M J，PARK J H，et al.New and improved results on stability of static neural networks with interval time-varying delays［J］.Applied Mathematics and Computation，2014，239：346-357.

［7］ZENG Z G，YU H，ZHENG W X.Multistability of recurrent neural networks with time-varying delays and the piecewise linear activation function［J］.IEEE Transactions on Neural Networks，2010，21（8）：1371-1377.

［8］WANG Z S，ZhANG H G，JIANG B.LMI-based approach for global asymptotic stability analysis of recurrent neural networks with various delays and structures［J］.IEEE Transactions on Neural Networks，2011，22（7）：1032-1045.

［9］GHAOUI E，ERIC F，VENKATARAMANAN B.Linear matrix inequalities in system and control theory［M］.SIAM，Philadelphia，1994.

［10］MAHMOUD M S.Resilient control of uncertain dynamical systems［M］.Springer，Berlin，2004.

［11］ZHANG Y J，YUE D，TIAN E G.New stability criteria of neural networks with interval time-varying delay:a piecewise delay method［J］.Applied Mathematics and Computation，2009，208：249-259.

［12］XU S，LAM J，HO D W C，et al.Delay-dependent exponential stability for a class of neural networks with time delays［J］.Journal of Computational and Applied Mathematics，2005，183（1）：16-28.

Stability Criteria for Recurrent Neural NetworksAlgorithm

ZHANG Yanbang，ZHANG Fen
（School of Mathematics and Information Science，Xianyang Normal University，Xianyang 712000，Shaanxi，China）

This paper discusses the convergence of a class of recurrent neural networks.First，the augmented Lyapunov-Krasovskii functional is given to consider more activation function information. Then an introduction is made of free weighting matrices to reduce the conservatism.And through combining the theory of convex combination to deal with time-varying delay，the stability criteria in the form of linear matrix inequality are easy to be verified and generalized.Finally，a numerical example and simulation results verify the feasibility of the proposed method.

recurrent neural network；time-varying delay；stability；Lyapunov-Krasovskii functional

O232

A

1672-2914（2015）04-0027-04

2015-05-10

陜西省教育廳科研計(jì)劃項(xiàng)目（14JK1797）；咸陽師范學(xué)院科研基金項(xiàng)目（14XSYK005，13XSYK009）。

張艷邦（1980-），男，河南商丘市人，咸陽師范學(xué)院數(shù)學(xué)與信息科學(xué)學(xué)院講師，博士，研究方向?yàn)闀r(shí)滯系統(tǒng)、計(jì)算機(jī)視覺。