動力學(xué)神經(jīng)網(wǎng)絡(luò)模型的構(gòu)建及其穩(wěn)定性研究

李立平　韓兵欣

摘 要： 針對靜態(tài)人工神經(jīng)網(wǎng)絡(luò)具有在反映系統(tǒng)動態(tài)行為時網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜、不能很好地反映系統(tǒng)動態(tài)性能的缺點，提出一種由帶有積分器和可調(diào)反饋系數(shù)的神經(jīng)元構(gòu)成的新型動力學(xué)神經(jīng)網(wǎng)絡(luò)模型。該網(wǎng)絡(luò)比以前的動態(tài)網(wǎng)絡(luò)即遞歸網(wǎng)絡(luò)或在此基礎(chǔ)上改進的網(wǎng)絡(luò)能更好地反映系統(tǒng)的動態(tài)性能，網(wǎng)絡(luò)的結(jié)構(gòu)更加簡單，訓(xùn)練過程加快，從而使系統(tǒng)能夠更好的運行。利用梯度下降法研究了該網(wǎng)絡(luò)的權(quán)值調(diào)整算法，并通過李雅普諾夫穩(wěn)定性判據(jù)討論了這種新型動力學(xué)神經(jīng)網(wǎng)絡(luò)的穩(wěn)定性條件。該網(wǎng)絡(luò)研究為反映系統(tǒng)的動力學(xué)行為提供了更好的模型結(jié)構(gòu)和理論算法，為神經(jīng)網(wǎng)絡(luò)的發(fā)展提供了新的研究方向。

關(guān)鍵詞： 動力學(xué)神經(jīng)網(wǎng)絡(luò)； 梯度下降法； 李雅普諾夫穩(wěn)定性判據(jù)； 權(quán)值調(diào)整算法

中圖分類號： TN711?34 文獻標(biāo)識碼： A 文章編號： 1004?373X（2017）03?0167?04

Construction of dynamics neural network model and its stability study

LI Liping1， HAN Bingxin2

（1. Shijiazhuang Tiedao University Sifang College， Shijiazhuang 051132， China； 2. Shijiazhuang Tiedao University， Shijiazhuang 050000， China）

Abstract： Since the static artificial neural network has the complicated network structure while reflecting on the system dynamic behavior， and can′t reflect on the system dynamic performance better， a new dynamics neural network model composed of the neuron with adjustable feedback coefficient and integrator is proposed. The new neural network can better reflect on the system dynamic performance than the previous dynamic network （recursion network） or the network improved on the basis of it， has simpler network structure and faster training process to make the system run better. The gradient descent method is used to study the weight adjustment algorithm of the network. The stability condition of the new dynamics neural network is discussed according to the Lyapunov stability criteria. The study of the network provides a better model structure and theory algorithm for reflecting on the system dynamics behavior， and a new research direction for the development of the neural network.

Keywords： dynamics neural network； gradient descent method； Lyapunov stability criteria； weight adjustment algorithm

鑒于傳統(tǒng)神經(jīng)網(wǎng)絡(luò)處理動態(tài)問題能力的不足，本文提出一種由帶有積分器和可調(diào)反饋系數(shù)的神經(jīng)元構(gòu)成的動力學(xué)神經(jīng)網(wǎng)絡(luò)，并研究了其穩(wěn)定性。此網(wǎng)絡(luò)能更好地處理時變輸入或輸出通過時延環(huán)節(jié)反饋到輸入的問題，可以不需要像靜態(tài)網(wǎng)絡(luò)那樣通過外時延環(huán)節(jié)反饋來描述動態(tài)系統(tǒng)，可以大大地簡化網(wǎng)絡(luò)模型。新型網(wǎng)絡(luò)中的積分環(huán)節(jié)可以時刻反應(yīng)輸出狀態(tài)以便于更好地實時檢測系統(tǒng)，而可調(diào)的反饋系數(shù)使網(wǎng)絡(luò)得到更好的訓(xùn)練。

1 動力學(xué)神經(jīng)網(wǎng)絡(luò)模型的建立

1.1 動力學(xué)神經(jīng)元模型

當(dāng)系統(tǒng)從一個穩(wěn)態(tài)向另一個穩(wěn)態(tài)轉(zhuǎn)變，尤其是在工況條件發(fā)生較大變化時，得到的穩(wěn)態(tài)模型將無法準(zhǔn)確地反映輸入與輸出之間的關(guān)系，而動態(tài)模型可以完成這一任務(wù)。

傳統(tǒng)動態(tài)網(wǎng)絡(luò)如遞歸網(wǎng)絡(luò)[1～5] 是通過在靜態(tài)網(wǎng)絡(luò)中加入延時單元，把以前的狀態(tài)存儲在延時單元中。此時可以看作是把時間信號轉(zhuǎn)變?yōu)榭臻g表示后再送給靜態(tài)的前饋網(wǎng)絡(luò)，將動態(tài)時間建模問題變?yōu)橐粋€靜態(tài)空間建模問題，可是這樣會增加網(wǎng)絡(luò)結(jié)構(gòu)的復(fù)雜程度。

本設(shè)計引入反饋使網(wǎng)絡(luò)成為一個動態(tài)系統(tǒng)，故提出了一種新的動力學(xué)神經(jīng)元模型，結(jié)構(gòu)圖如圖1所示。它本身帶有積分器和反饋環(huán)，使得神經(jīng)網(wǎng)絡(luò)能夠用微分方程來描述，微分方程能夠描述真正意義上的動力學(xué)行為，從而使動態(tài)神經(jīng)元構(gòu)成的動力學(xué)神經(jīng)網(wǎng)絡(luò)包含更多的信息，更接近于人腦的思維活動。

其中：

得到如下模型方程：

式中：[ui（t）]為[t]時刻神經(jīng)元[j]接收的來自神經(jīng)元[i]的信息輸入；[wji（t）]為神經(jīng)元的突觸連接系數(shù)或權(quán)重值；[fvt]為神經(jīng)元轉(zhuǎn)移函數(shù)；[xt]為輸出量。

1.2 動力學(xué)神經(jīng)網(wǎng)絡(luò)模型的構(gòu)建

由動態(tài)神經(jīng)元構(gòu)成的動力學(xué)神經(jīng)網(wǎng)絡(luò)如圖2所示。

2 動力學(xué)神經(jīng)網(wǎng)絡(luò)的理論算法推導(dǎo)研究

2.1 動力學(xué)神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)

確定動力學(xué)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)后，要通過輸入和輸出樣本集對網(wǎng)絡(luò)進行訓(xùn)練，即對網(wǎng)絡(luò)的閾值和權(quán)值進行學(xué)習(xí)和修正，使網(wǎng)絡(luò)實現(xiàn)給定的輸入輸出映射關(guān)系。

動力學(xué)網(wǎng)絡(luò)的學(xué)習(xí)過程[6～8]為：

（1） 輸入一組學(xué)習(xí)樣本，通過設(shè)置網(wǎng)絡(luò)結(jié)構(gòu)和前一次迭代的權(quán)值和閾值，從網(wǎng)絡(luò)的第一層向后計算神經(jīng)元的輸出。

（2） 對權(quán)值和閾值進行修改，從最后一層向前計算各權(quán)值和閾值對總誤差的影響梯度，據(jù)此對各權(quán)值和閾值進行修改。

（3） 步驟（1），（2）反復(fù)交替，直到網(wǎng)絡(luò)收斂為止。

一般反饋網(wǎng)絡(luò)的權(quán)值每次調(diào)整的規(guī)律是相同的，不是經(jīng)過反復(fù)學(xué)習(xí)獲得的，而是按一定規(guī)則進行設(shè)計，網(wǎng)絡(luò)權(quán)值一旦確定就不再改變，沒有權(quán)值調(diào)整的訓(xùn)練過程。而動力學(xué)神經(jīng)網(wǎng)絡(luò)的權(quán)值在調(diào)整時反饋系數(shù)是不斷變化的，權(quán)值的調(diào)整規(guī)律也是不斷變化的。

2.2 動力學(xué)神經(jīng)網(wǎng)絡(luò)的理論算法推導(dǎo)

目前對非線性動力學(xué)神經(jīng)網(wǎng)絡(luò)的研究已經(jīng)開始，對于不同的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)模型采取的算法也是不同的[9～10]。

帶有積分環(huán)節(jié)和反饋環(huán)節(jié)的動力學(xué)神經(jīng)網(wǎng)絡(luò)同BP網(wǎng)絡(luò)基本相近，當(dāng)帶有積分環(huán)節(jié)和反饋環(huán)節(jié)的動力學(xué)神經(jīng)網(wǎng)絡(luò)的關(guān)聯(lián)節(jié)點為0時，這時的動力學(xué)神經(jīng)網(wǎng)絡(luò)就是BP網(wǎng)絡(luò)，所以在考慮動力學(xué)神經(jīng)網(wǎng)絡(luò)的權(quán)值調(diào)整規(guī)則時可以借用BP算法。

動力學(xué)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)按照神經(jīng)元的[δ]學(xué)習(xí)規(guī)則即梯度下降法學(xué)習(xí)。學(xué)習(xí)由動態(tài)地改變網(wǎng)絡(luò)單元連接的權(quán)值來實現(xiàn)，當(dāng)權(quán)值達到特定要求后就轉(zhuǎn)到網(wǎng)絡(luò)的狀態(tài)動力學(xué)過程。

將動力學(xué)神經(jīng)網(wǎng)絡(luò)的誤差定義為：

3 動力學(xué)神經(jīng)網(wǎng)絡(luò)穩(wěn)定性的研究

一個控制系統(tǒng)最重要的特性要求莫過于它的穩(wěn)定性。系統(tǒng)是否穩(wěn)定以及怎樣改善其穩(wěn)定性是系統(tǒng)分析與設(shè)計的首要問題。

神經(jīng)網(wǎng)絡(luò)控制系統(tǒng)也必須滿足穩(wěn)定性要求。早在1892年，俄國數(shù)學(xué)家李雅普諾夫 （Lyapunov）就提出了判定系統(tǒng)穩(wěn)定性的方法[11?12]。李雅普諾夫第二法是借助于一個李雅普諾夫函數(shù)或直接對系統(tǒng)平衡狀態(tài)的穩(wěn)定性做出判斷，是從能量的觀點進行穩(wěn)定性分析的。

應(yīng)用此種方法判定動力學(xué)神經(jīng)網(wǎng)絡(luò)的穩(wěn)定性，最重要的是尋找一個李雅普諾夫函數(shù)[V（x），]然后根據(jù)[V（x）=dV（x）dt]的符號特征判別系統(tǒng)的穩(wěn)定性。對于動力學(xué)神經(jīng)網(wǎng)絡(luò)，若能找到一個正定的標(biāo)量函數(shù)[V（x），][V（x）]是小于零的，則網(wǎng)絡(luò)是漸近穩(wěn)定的。

證明：首先定義一個李雅普諾夫（Lyapunov）函數(shù)[V（n）=12e2（n）=12E]

若要判定網(wǎng)絡(luò)是否穩(wěn)定，需要判斷[V]的變化是不是小于零的，即[ΔV（n）<0]是否成立。

現(xiàn)在來分析滿足什么條件時，[ΔV（n）<0]。因為：

學(xué)習(xí)算法的穩(wěn)定性取決于學(xué)習(xí)速率因子[η]。當(dāng)[η]取較大值時，可以加快網(wǎng)絡(luò)的訓(xùn)練速度，但是如果[η]的值太大，會導(dǎo)致網(wǎng)絡(luò)的穩(wěn)定性降低和訓(xùn)練誤差增加。當(dāng)[η]較小時，算法自適應(yīng)過程較慢，算法記憶更多的過去數(shù)據(jù)，結(jié)果就更加精確。也就是說，算法的運行時間和學(xué)習(xí)速率因子成反比或者說學(xué)習(xí)速率因子的倒數(shù)就表示了算法的記憶容量。所以學(xué)習(xí)速率因子[η]應(yīng)在滿足式（26）的條件下取較大的值，保證收斂速率，隨著迭代次數(shù)的增加，[η]的值也應(yīng)該減小，以保證精度。

4 結(jié) 論

本文總結(jié)現(xiàn)存網(wǎng)絡(luò)的優(yōu)缺點，在此基礎(chǔ)上提出了一種新型的動力學(xué)神經(jīng)網(wǎng)絡(luò)模型，并進行了建模；利用梯度下降法研究了該網(wǎng)絡(luò)的權(quán)值調(diào)整算法，并通過李雅普諾夫穩(wěn)定性判據(jù)討論了這種新型動力學(xué)神經(jīng)網(wǎng)絡(luò)穩(wěn)定性的條件。此網(wǎng)絡(luò)結(jié)構(gòu)更加簡單，訓(xùn)練過程加快，從而使系統(tǒng)能夠更好的運行。本網(wǎng)絡(luò)研究為反映系統(tǒng)的動力學(xué)行為提供了更好的模型結(jié)構(gòu)和理論算法，為神經(jīng)網(wǎng)絡(luò)的發(fā)展提供了新的研究方向。

參考文獻

[1] MAO Z H， MASSAQUOI S G. Dynamics of winner?take?all competition in recurrent neural networks with lateral inhibition [J]. IEEE transactions on neural networks， 2007， 18（1）： 55?69.

[2] HOU Z G， GUPTA M M， NIKIFORUK P N， et al. A recurrent neural network for hierarchical control of interconnected dynamic systems [J]. IEEE transactions on neural networks， 2007， 18（2）： 466?481.

[3] TASSA Y， EREZ T. Least squares solutions of the HJB equation with neural network value?function approximators [J]. IEEE transactions on neural networks， 2007， 18（4）： 1031?1041.

[4] KIERIER R J. Design and implementation of multi?pattern ge?nerators in analog VLSI [J]. IEEE transactions on neural networks， 2006， 17（4）： 1025?1038.

[5] LIU P Z， HAN Q L. Discrete?time analogs for a class of conti?nuous?time recurrent neural networks [J]. IEEE transactions on neural networks， 2007， 18（5）： 1343?1355.

[6] 胡伍生.神經(jīng)網(wǎng)絡(luò)理論及其工程應(yīng)用[M].北京：測繪出版社，2006：30?38.

[7] 朱大奇.人工神經(jīng)網(wǎng)絡(luò)原理及應(yīng)用[M].北京：科學(xué)出版社，2006：7?20.

[8] 胡德文.神經(jīng)網(wǎng)絡(luò)自適應(yīng)控制[M].長沙：國防科技大學(xué)出版社，2006.

[9] 何燕玲.幾類神經(jīng)網(wǎng)絡(luò)模型的動力學(xué)行為研究[D].長沙：湖南大學(xué)，2006.

[10] YAN Keyu， ZHONG Shouming， YANG Jinxiang. Asymptotic properties of a dynamic neural system with asymmetric connection weights [J]. Journal of electronic science and technology of China， 2005， 3（1）： 78?86.

[11] 劉豹.現(xiàn)代控制理論[M].北京：機械工業(yè)出版社，2000：141?146.

[12] ZENG Zhigang， WANG Jun. Improved conditions for global exponential stability of recurrent neural networks with time?varying delays [J]. IEEE transactions on neural networks， 2006， 17（3）： 623?635.