時滯下憶阻突觸耦合Hopfield神經(jīng)網(wǎng)絡(luò)的動力學(xué)行為分析*

馬杰 高潔 獨(dú)盟盟 楊麗新

（陜西科技大學(xué)文理學(xué)院，西安 710021）

引言

在人工神經(jīng)網(wǎng)絡(luò)領(lǐng)域中，Hopfield神經(jīng)網(wǎng)絡(luò)一直是一類重要的神經(jīng)網(wǎng)絡(luò)模型，并且廣泛應(yīng)用于聯(lián)想記憶、模式識別、數(shù)據(jù)儲存、保密通信等各個領(lǐng)域［1］.換個方面，從動力學(xué)角度來看的話，Hopfield神經(jīng)網(wǎng)絡(luò)模型是一個復(fù)雜的非線性系統(tǒng)，有著豐富的動力學(xué)行為，而這些豐富的動力學(xué)特性對網(wǎng)絡(luò)有著重要的影響［2］.文獻(xiàn)［3］介紹了神經(jīng)動力學(xué)在各個領(lǐng)域的發(fā)展及應(yīng)用，以及利用神經(jīng)動力學(xué)來揭示神經(jīng)系統(tǒng)中的一些獨(dú)特現(xiàn)象和規(guī)律.

憶阻有著類似大腦神經(jīng)突觸在生物電信號激勵下的非線性電學(xué)特性，因此，憶阻可被用于模擬突觸，并用之來構(gòu)建憶阻型神經(jīng)網(wǎng)絡(luò).利用憶阻可實現(xiàn)神經(jīng)網(wǎng)絡(luò)模型連接權(quán)重的可變性，能夠有效地模擬神經(jīng)網(wǎng)絡(luò)的動力學(xué)行為［4-6］.根據(jù)法拉第電磁感應(yīng)定律，細(xì)胞內(nèi)外的帶電離子穿越細(xì)胞膜會產(chǎn)生電磁感應(yīng)效應(yīng).因此在傳統(tǒng)的神經(jīng)模型引入磁通變量并研究磁感應(yīng)對電活動模式的影響更具有實際意義.利用磁控憶阻器來實現(xiàn)神經(jīng)元磁通量與膜電位之間的耦合，進(jìn)一步來模擬神經(jīng)元間膜電位差引起的電磁感應(yīng)電流［7］.電磁感應(yīng)在調(diào)節(jié)神經(jīng)網(wǎng)絡(luò)的動態(tài)行為中起重要作用，而將憶阻突觸引入生物神經(jīng)網(wǎng)絡(luò)為揭示人腦神經(jīng)系統(tǒng)的記憶行為提供有用的線索［8］.

自突觸是神經(jīng)元連接自身的特殊結(jié)構(gòu)，這種自突觸通常稱為電性自突觸，其對神經(jīng)元膜電位的調(diào)制可以表示為Iout=r(x(t-τ)-x(t))，r表示反饋增益，τ表示信號傳遞過程中引發(fā)的時滯.電自突觸能夠影響神經(jīng)元的放電行為，甚至誘發(fā)一類周期性、混沌放電等現(xiàn)象，此外還可以調(diào)控神經(jīng)元網(wǎng)絡(luò)群體的電活動規(guī)律以及神經(jīng)元之間的遷移［9］.而神經(jīng)元之間的信息表達(dá)和信息傳遞是通過動作電位實現(xiàn)的，因此在實現(xiàn)過程中難免會出現(xiàn)延遲的行為，時滯不僅會影響神經(jīng)元系統(tǒng)的穩(wěn)定性，而且也會在某些條件下誘發(fā)出復(fù)雜的動力學(xué)行為，故在神經(jīng)網(wǎng)絡(luò)中引入時滯具有重要的意義［10］.文獻(xiàn)［11］研究了含時滯的憶阻耦合HR神經(jīng)元系統(tǒng)，討論了平衡點的局部穩(wěn)定性以及時滯對神經(jīng)元系統(tǒng)動力學(xué)行為產(chǎn)生的影響.在神經(jīng)形態(tài)中，多穩(wěn)定性對神經(jīng)元的記憶以及信息處理都有著顯著的影響，因此從動力學(xué)角度來闡述系統(tǒng)平衡點的穩(wěn)定性，有助于深入解釋神經(jīng)動力學(xué)方面對腦功能的影響.

本文在文獻(xiàn)［12］的基礎(chǔ)上加入時滯，構(gòu)建了一種由時滯誘發(fā)的四維憶阻HNN模型，在兩個神經(jīng)元之間引入了非理想憶阻突觸，探究零平衡點處系統(tǒng)的動力學(xué)，并且隨著時滯增加到一定程度時，系統(tǒng)只會誘導(dǎo)出周期解；分析系統(tǒng)隨憶阻耦合強(qiáng)度k產(chǎn)生的動力學(xué)行為變化，并且加入固定的時滯改變憶阻耦合強(qiáng)度來與無時滯時不同憶阻耦合強(qiáng)度下系統(tǒng)的動力學(xué)行為進(jìn)行比較，觀察系統(tǒng)的動力學(xué)行為變化規(guī)律；發(fā)現(xiàn)在不同的憶阻耦合強(qiáng)度下，系統(tǒng)存在著周期極限環(huán)、混沌吸引子等動力學(xué)行為.

1 數(shù)學(xué)模型與穩(wěn)定性分析

1.1 數(shù)學(xué)模型

磁控憶阻突觸的數(shù)學(xué)模型［12］：

其中，φ為憶阻內(nèi)部狀態(tài)變量，W(φ)=kφ為憶導(dǎo)函數(shù)表達(dá)式，k為非理想憶阻耦合強(qiáng)度，UEM為神經(jīng)元之間的膜電位差，IEM為神經(jīng)元1和神經(jīng)元2之間膜電位差作用于非理想憶阻突觸所產(chǎn)生的磁感應(yīng)電流.為了簡化分析，神經(jīng)元1和神經(jīng)元2保留完整的突觸連接，非理想憶阻突觸耦合位于神經(jīng)元1和神經(jīng)元2之間，電自突觸位于神經(jīng)元3上，基于文獻(xiàn)［12］的3神經(jīng)元HNN，將時滯加于神經(jīng)元3上，神經(jīng)元3僅與其他神經(jīng)元單向連接，則構(gòu)建的時滯下憶阻突觸耦合的4維HNN的表達(dá)式為：

其中，xi為第i個神經(jīng)元的狀態(tài)，k為非理想憶阻突觸的耦合強(qiáng)度，雙曲正切函數(shù)tanh(xi)表示從第i個神經(jīng)元電壓輸入的神經(jīng)元激活函數(shù)，系數(shù)aij表示突觸權(quán)重，也就是表示兩個相鄰神經(jīng)元之間的連接強(qiáng)度，r表示電自突觸.

原點（0，0，0，0）為系統(tǒng)的零平衡點，則在零平衡點附近的線性化系統(tǒng)的特征方程為：

1.2 穩(wěn)定性與Hopf分岔

為確定系統(tǒng)的穩(wěn)定性，首先考慮τ=0的情況，當(dāng)τ=0時，

根據(jù)Routh-Hurwitz判據(jù)可知，當(dāng)Δi＞0時系統(tǒng)穩(wěn)定，其中，

當(dāng)τ＞0時，若方程（3）有一對純虛特征根為λ=iw，則

分離實部與虛部，

則根據(jù)微分方程穩(wěn)定性與分岔理論［3］可知：當(dāng)Δi＞0時有：

1.若式（5）無正實根，則系統(tǒng)的零平衡點是全時滯局部漸進(jìn)穩(wěn)定.

2.若式（5）存在正實根，則存在某個常數(shù)τ0＞ 0，使得系統(tǒng)的零平衡點在τ∈ (0，τ0)內(nèi)是局部漸進(jìn)穩(wěn)定的，并且系統(tǒng)在τ=τ0發(fā)生Hopf分岔，產(chǎn)生周期運(yùn)動，其中τ0=min(τi，j).

2 數(shù)值算例

取系統(tǒng)參數(shù)為a11=-0.1，a12=0.6，a31=0.1，a21=0.15，a22=0.2，a23=0.05，r=-2，k=-0.5.此時經(jīng)過計算可得Δ1=3.9＞0，Δ2=18.436＞0，Δ3=53.438＞0，Δ4=45.367＞0.根據(jù)Routh-Hurwitz判據(jù)可知，系統(tǒng)的特征根均有負(fù)實部，那么零平衡點是局部漸進(jìn)穩(wěn)定的.當(dāng)τ＞0時，式（5）可寫為：

解得唯一正實根w=1.73191813，則由式（4）可得相應(yīng)的一組臨界時滯τj=0.605，4.232，...根據(jù)定理可知：當(dāng)τ∈[0，0.605]時，系統(tǒng)的零平衡點是漸進(jìn)穩(wěn)定的，而當(dāng)τ＞0.605時，系統(tǒng)的零平衡點是不穩(wěn)定的.因此，當(dāng)τ=0.605時，系統(tǒng)發(fā)生了Hopf分岔.

給定初始條件為（1.2，0.5，-1.2，0.3），當(dāng)時滯τ=0時，系統(tǒng)的響應(yīng)圖（系統(tǒng)的時間序列曲線）如圖2所示.由圖2可知，當(dāng)時滯τ=0時，此時系統(tǒng)在零平衡點處是漸近穩(wěn)定的.當(dāng)τ=0.55和τ=0.606時，系統(tǒng)的響應(yīng)圖如圖3所示.由圖3（a）可知，在τ=0.55時系統(tǒng)狀態(tài)收斂到零平衡點；在τ=0.606時，由圖3（b）可知系統(tǒng)在零平衡點失去穩(wěn)定性，出現(xiàn)了振蕩，這與定理的結(jié)論相一致.

圖1 基于非理想憶阻型突觸的HNN的連接拓?fù)銯ig.1 Connection topology of HNN based on non-ideal memristive synapse

圖2 τ=0時的系統(tǒng)響應(yīng)圖Fig.2 System response graph whenτ=0

圖3 τ=0.55及τ=0.606時的系統(tǒng)響應(yīng)圖Fig.3 The system response diagram whenτ=0.55andτ=0.606

3 時滯和憶阻耦合強(qiáng)度對系統(tǒng)動力學(xué)的影響

3.1 時滯對系統(tǒng)在平衡點穩(wěn)定性的影響

當(dāng)取系統(tǒng)參數(shù)為a11=-1，a12=4，a31=-5，a21=0.5，a22=-2，a23=3，r=0.5，k=-0.3時，系統(tǒng)給定初始值為（1.2，0.5，-1.2，0.3），做出不同時滯下系統(tǒng)的時間序列曲線以及x2-x3平面的相圖.

由圖4可知，當(dāng)時滯τ=0.2時，系統(tǒng)在平衡點（0，0，0，0）是不穩(wěn)定的，此時系統(tǒng)發(fā)生周期振蕩.如圖5所示，當(dāng)時滯為τ=0.8時，系統(tǒng)在平衡點（0，0，0，0）是局部漸進(jìn)穩(wěn)定的，此時系統(tǒng)響應(yīng)圖也表明系統(tǒng)在平衡點處是局部漸進(jìn)穩(wěn)定的.

圖4 τ=0.2時的系統(tǒng)響應(yīng)圖Fig.4 The system response diagram whenτ=0.2

圖5 τ=0.8時的系統(tǒng)響應(yīng)圖Fig.5 The system response diagram whenτ=0.8

當(dāng)時滯增加到τ=3.4時，圖6的系統(tǒng)響應(yīng)圖與相圖表明此時系統(tǒng)在平衡點處是局部漸進(jìn)穩(wěn)定的.由圖7可知，當(dāng)時滯τ=10時，系統(tǒng)在平衡點（0，0，0，0）是不穩(wěn)定的，此時系統(tǒng)發(fā)生周期振蕩.由圖8可知，當(dāng)時滯τ=13時，系統(tǒng)在平衡點（0，0，0，0）是不穩(wěn)定的，此時系統(tǒng)為概周期運(yùn)動.

圖6 τ=3.4時的系統(tǒng)響應(yīng)圖及在x2-x3平面的相圖Fig.6 The system response diagram whenτ=3.4and the phase diagram on thex2-x3plane

圖7 τ=10時的系統(tǒng)響應(yīng)圖及在x2-x3平面的相圖Fig.7 The system response diagram whenτ=10and the phase diagram on thex2-x3plane

圖8 τ=13時的系統(tǒng)響應(yīng)圖及在x2-x3平面的相圖Fig.8 The system response diagram whenτ=13and the phase diagram on thex2-x3plane

故由上可知，系統(tǒng)存在一組臨界時滯，當(dāng)改變時滯時系統(tǒng)在零平衡點處的狀態(tài)也會有所不同，因此，隨著時滯的改變，系統(tǒng)的動力學(xué)行為也隨之改變.隨著時滯從零增大，系統(tǒng)在穩(wěn)定平衡點、周期運(yùn)動之間發(fā)生有限次切換，相應(yīng)存在的一系列臨界時滯可由式（6）計算可得，并且在時滯增加到某個值之后，系統(tǒng)一直為周期運(yùn)動.

3.2 時滯下系統(tǒng)隨憶阻耦合強(qiáng)度變化的動力學(xué)

文獻(xiàn)［12］給出了無時滯時系統(tǒng)在不同憶阻耦合強(qiáng)度下會產(chǎn)生多個不穩(wěn)定平衡點，說明系統(tǒng)可以產(chǎn)生混沌吸引子，且易產(chǎn)生依賴于狀態(tài)初值的多穩(wěn)定現(xiàn)象.若在系統(tǒng)中某個神經(jīng)元加入固定的時滯，通過改變憶阻耦合強(qiáng)度k來觀察系統(tǒng)的動力學(xué)行為變化.給定系統(tǒng)參數(shù)為a11=1.5，a21=2.8，a22=1.2，a23=-20，a31=0.5，a12=-1.5，r=0.5.由于系統(tǒng)對初值非常敏感，給定系統(tǒng)不同的初值（0，10-4，0，0）與（0，-10-4，0，0），取不同的憶阻耦合強(qiáng)度k，觀察兩組初值在x1-x3平面相圖的變化.

系統(tǒng)無時滯時，圖9（a）為憶阻耦合強(qiáng)度k=0時，系統(tǒng)在平面的相圖，此時系統(tǒng)存在共存的周期極限環(huán)；當(dāng)憶阻耦合強(qiáng)度k=0.7時，如圖9（b）所示，此時系統(tǒng)存在共存的周期極限環(huán)和混沌吸引子；當(dāng)憶阻耦合強(qiáng)度k=-0.4時，如圖9（c）所示，此時系統(tǒng)存在混沌吸引子.

圖9 τ=0時不同憶阻耦合強(qiáng)度下系統(tǒng)在x1-x3平面的相圖Fig.9 Phase diagram of the system in thex1-x3plane withτ=0and different memristive coupling strengths

當(dāng)在系統(tǒng)中加入固定時滯τ=0.5，圖10（a）為憶阻耦合強(qiáng)度k=0時，系統(tǒng)在x1-x3平面的相圖，此時系統(tǒng)存在多周期極限環(huán)；當(dāng)憶阻耦合強(qiáng)度k=0.7時，如圖10（b）所示，此時系統(tǒng)存在周期極限環(huán)；當(dāng)憶阻耦合強(qiáng)度k=-0.4時，如圖10（c）所示，此時系統(tǒng)存在多周期極限環(huán).

圖10 τ=0.5時不同憶阻耦合強(qiáng)度下系統(tǒng)在x1-x3平面的相圖Fig.10 Phase diagram of the system in thex1-x3plane withτ=0.5and different memristive coupling strengths

在系統(tǒng)中加入固定時滯τ=2，圖11（a）為憶阻耦合強(qiáng)度k=0時，系統(tǒng)在x1-x3平面的相圖，此時系統(tǒng)存在周期極限環(huán)；當(dāng)憶阻耦合強(qiáng)度k=0.7時，如圖11（b）所示，此時系統(tǒng)存在周期極限環(huán)；當(dāng)憶阻耦合強(qiáng)度k=-0.4時，如圖11（c）所示，此時系統(tǒng)存在周期極限環(huán).

圖11 τ=2時不同憶阻耦合強(qiáng)度下系統(tǒng)在x1-x3平面的相圖Fig.11 Phase diagram of the system in thex1-x3plane withτ=2and different memristive coupling strengths

但是當(dāng)時滯增加到τ=5時，此時系統(tǒng)在不同的憶阻耦合強(qiáng)度下的動力學(xué)又發(fā)生了變化，并且系統(tǒng)由τ=2時存在的周期極限環(huán)變?yōu)楦鼮閺?fù)雜的多周期極限環(huán)、共存的周期極限環(huán)和混沌吸引子.

因此在系統(tǒng)無時滯時，系統(tǒng)的動力學(xué)行為是十分豐富的，例如存在混沌吸引子，共存的周期極限環(huán)和混沌吸引子等.但是給系統(tǒng)加入固定時滯后，在不同的憶阻耦合強(qiáng)度下系統(tǒng)的動力學(xué)行為也發(fā)生了改變.

4 總結(jié)

本文研究了含有時滯的憶阻突觸耦合型Hopfield神經(jīng)網(wǎng)絡(luò)，根據(jù)特征方程的根分布情況得到了系統(tǒng)在零平衡點處的穩(wěn)定性以及系統(tǒng)失穩(wěn)時發(fā)生Hopf分岔的時滯條件.探究了時滯以及憶阻耦合強(qiáng)度對系統(tǒng)動力學(xué)行為的影響，并通過數(shù)值模擬揭示了多種有趣的動力學(xué)現(xiàn)象，如混沌吸引子、周期極限環(huán)等.

圖12 τ=5時不同憶阻耦合強(qiáng)度下系統(tǒng)在x1-x3平面的相圖Fig.12 Phase diagram of the system in thex1-x3plane with andτ=5different memristive coupling strengths