憶阻自突觸Hopfield 神經(jīng)網(wǎng)絡的動力學分析與電路仿真

張學豐，彭良玉，彭代鑫

(湖南師范大學 物理與電子科學學院，湖南 長沙 410081)

人腦是目前已知最為復雜的非線性系統(tǒng)，它除了支配運動、感覺以外，還與認知、情感、行為、語言等高級神經(jīng)活動有關(guān)。對于人腦動態(tài)特性的研究，一般采用人工神經(jīng)網(wǎng)絡模型作為研究對象。Hopfield 神經(jīng)網(wǎng)絡(Hopfield Neural Network，HNN)是由多個神經(jīng)元構(gòu)成的一類重要的神經(jīng)網(wǎng)絡模型。由于HNN 存在特殊的非線性神經(jīng)元激活函數(shù)。因此，它可以模擬人腦產(chǎn)生復雜的動力學行為。2005 年，Korn 教授證實了人腦中存在混沌，這就為混沌動力學研究提供了一個全新的應用前景[1]。2017 年，Panahi 等[2]提出，人腦的神經(jīng)活動有時會從混沌轉(zhuǎn)變?yōu)橹芷冢@說明人腦總是處于有序和無序的交替過程中。目前已有大量關(guān)于神經(jīng)動力學的研究，并在HNN 中發(fā)現(xiàn)了一些復雜的非線性現(xiàn)象，如混沌、超混沌吸引子、隱藏吸引子和暫混沌行為等[3-5]。

憶阻器具有可編程性和突觸可塑性等特點，且與生物神經(jīng)元突觸有相似的特征。因此，科研人員使用憶阻器模擬神經(jīng)元的突觸，人為地控制神經(jīng)網(wǎng)絡的突觸權(quán)重系數(shù)來探討憶阻器對神經(jīng)網(wǎng)絡的動力學的影響。這就可以定量地分析憶阻突觸對神經(jīng)形態(tài)電路的電活動行為的影響。2014 年，李清都教授等[6]第一次用憶阻器模擬由兩個神經(jīng)元之間膜電差誘發(fā)的電磁感應效應，提出了一種具有超混沌吸引子的憶阻突觸Hopfield 神經(jīng)網(wǎng)絡(MHNN)模型，并說明了憶阻器在探索神經(jīng)網(wǎng)絡的動力學行為方面的重要作用。2017 年，包伯成教授團隊[7]提出了一種新型雙曲正切型憶阻器，同樣模擬由兩個神經(jīng)元之間突觸所造成的電磁感應效應，構(gòu)建了一種新型MHNN 模型，并發(fā)現(xiàn)該系統(tǒng)具有不對稱的共存吸引子。這說明新型憶阻器會使HNN 產(chǎn)生新的復雜動力學特性。2020 年，胡義華教授團隊[8]在三階HNN 中用兩個憶阻器模仿兩個突觸之間發(fā)生串擾的現(xiàn)象，并給出了HNN在突觸串擾下的數(shù)學模型，發(fā)現(xiàn)了該系統(tǒng)共存多穩(wěn)態(tài)現(xiàn)象。由此可見，憶阻突觸模擬器已成為構(gòu)建神經(jīng)網(wǎng)絡電路的重要組成部分。

上述文獻的創(chuàng)新之處在于用不同類型的憶阻器或不同數(shù)量的憶阻器模擬多個神經(jīng)元之間突觸的電磁感應效應及突觸串擾現(xiàn)象來研究憶阻器對HNN 的復雜動力學行為影響。這些工作都只考慮了憶阻突觸對神經(jīng)網(wǎng)絡的影響，而并未考慮神經(jīng)元自突觸對神經(jīng)網(wǎng)絡的影響。2017 年，北京師范大學的科研人員[9]發(fā)現(xiàn)神經(jīng)元自突觸在調(diào)節(jié)人腦的信號處理方面也發(fā)揮重要作用。2020 年，王春華教授團隊[10]在單欣德馬什-羅斯(Hindmarsh-Rose，HR)神經(jīng)元模型中引入了局部有源憶阻器來模擬神經(jīng)元的自突觸，發(fā)現(xiàn)該憶阻自突觸HR 神經(jīng)元存在多種放電模式和多穩(wěn)態(tài)特性。因此，憶阻自突觸也會對神經(jīng)網(wǎng)絡的動力學特性產(chǎn)生影響。受此啟發(fā)，本文在三階HNN 中引入一個非理想的磁控型憶阻器來設(shè)計一種憶阻自突觸Hopfield 神經(jīng)網(wǎng)絡(MAHNN)。該憶阻器被用來模擬第3 個神經(jīng)元自突觸所造成的電磁感應效應。在模型中引入憶阻控制參數(shù)來控制神經(jīng)元自突觸對神經(jīng)網(wǎng)絡電活動行為的影響。理論分析和數(shù)值仿真表明，該模型具有一對不穩(wěn)定的對稱鞍焦平衡點，可產(chǎn)生雙渦卷混沌吸引子、對稱共存單渦卷或周期吸引子，還可以產(chǎn)生暫混沌和混沌與周期交替等特殊動力學行為。除了數(shù)值仿真，本文還設(shè)計了MAHNN 的模擬仿真電路，并給出了相應的電路仿真結(jié)果。由于MAHNN 中混沌與周期交替現(xiàn)象正符合人腦的神經(jīng)活動有時會從混沌轉(zhuǎn)變?yōu)橹芷诘奶攸c。因此，研究MAHNN 可以對人腦神經(jīng)活動的研究提供一定的參考價值。從動力學角度去分析MAHNN 的電活動行為，有助于深入了解混沌與周期交替現(xiàn)象在人腦正?；顒雍头钦；顒拥确矫娴淖饔?，為理解人腦功能提供神經(jīng)動力學方面的解釋。

1 MAHNN 的建模與基本特性分析

1.1 MAHNN 的數(shù)學模型

2015 年，蔡少棠教授詳細地闡述了憶阻器理論，定義了非理想磁控型憶阻器的通用數(shù)學模型為:

式中:x表示磁通狀態(tài)變量;G(x)代表憶導函數(shù);v、i分別表示憶阻器兩端的電壓、流經(jīng)憶阻器的電流。

根據(jù)(1)式，設(shè)計一種非理想三次磁控型憶阻器模型，其表達式為:

式中:φ為憶阻器內(nèi)部的磁通量;W(φ)為憶導函數(shù)。

在文獻[11]三階HNN 的基礎(chǔ)上，將上述憶阻器用來模擬三階HNN 中神經(jīng)元3 自突觸所造成的電磁感應效應，并提出了一種MAHNN 模型，其連接拓撲結(jié)構(gòu)如圖1 所示。

圖1 MAHNN 的連接拓撲結(jié)構(gòu)Fig.1 Connection topology of MAHNN

由圖1 可知，引入憶阻自突觸的HNN 數(shù)學模型會發(fā)生相應的變化。用W(φ)=1+φ2替代神經(jīng)元3 自突觸權(quán)重系數(shù)，并引入?yún)?shù)k來控制自突觸耦合強度，得到MAHNN 的無量綱狀態(tài)微分方程組為:

1.2 耗散性分析

任意一個非線性系統(tǒng)要處于混沌狀態(tài)，該系統(tǒng)的散度?＜0[12]。對于(3)式，計算MAHNN 的散度公式為:

根據(jù)(3) 式 和(4) 式，得 到?=-4+1.5 sech2(x)+1.2 sech2(y)+k(1+φ2)sech2(z) 。由于0≤sech2(x) ≤1，0≤sech2(y) ≤1，0≤sech2(z) ≤1，因此，?≤-1.3+k(1+φ2) 。顯 然，-1.3+k1+(φ2)＜0，即控制參數(shù)k＜1.3，才能使該系統(tǒng)出現(xiàn)混沌吸引子。

1.3 平衡點的穩(wěn)定性分析

令(3)式等號左邊為0，求出方程的解，得到(3)式非線性系統(tǒng)所有的平衡點。

顯然，(5)式是四階超越方程組，需用MATLAB得出方程的全部解。(3)式表示的非線性系統(tǒng)在任意平衡點E-=(ξ1，ξ2，ξ3，ξφ) 的Jacobian 矩陣為:

觀察(5)式可知，無論k為何值時，(3)式非線性系統(tǒng)總是存在一個零平衡點E0=(0，0，0，0)。將E0=(0，0，0，0)代入(6)式，得到對應的特征方程為:

其中a1=1.3-k，a2=3.9-0.3k，a3=22.9-3.6k，a4=19.3-4.3k。

根據(jù)文獻[13]中提到的Routh-Hurwitz 判定準則，零平衡點E0穩(wěn)定的充分必要條件為:a1＞0，a1a2-a3＞0，a2a3-a1a4＞0，a4＞0。當滿足上述條件時，可以計算出-3.504＜k＜-2.488。此時E0是穩(wěn)定的。當k=-3 時，得出零平衡點的特征值λ1=-1.0000，λ2=-3.0447，λ3，4=-0.1277±0.8404i，此時E0是一個穩(wěn)定的平衡點。然而，當k=-0.3 時，λ1=1.4660，λ2=-1.0000，λ3，4=-1.0330±2.3134i，此時E0是一個不穩(wěn)定的鞍焦平衡點。

此外，選擇合適的k值，該非線性系統(tǒng)還存在兩個非零平衡點。在MATLAB 中，通過圖形分析法可以確定x、z的數(shù)值。繪制出h1x，(z) 和h2x，(z) 的局部圖形，兩條曲線的交點就是x、z的數(shù)值。再根據(jù)(5)式計算出y、φ的數(shù)值。

取k=-0.3 來繪制上述兩個二元函數(shù)的MATLAB 局部曲線圖，如圖2 所示。從圖中可以得到兩條曲線有三個交點:E0=(0，0，0，0)，E1=(-0.0220，-0.1753，2.8781，0.9937) 和E2=(0.0220，0.1753，-2.8781，-0.9937)。用函數(shù)eig得出E1和E2對應的特征值λ1，2=0.3157±2.0004i，λ3，4=-0.9879± 0.0861i。顯然，E1和E2是關(guān)于E0對稱的不穩(wěn)定的鞍焦平衡點，這與非線性系統(tǒng)(3)式關(guān)于原點對稱相對應。

圖2 兩個二元函數(shù)的局部曲線圖Fig.2 Local curves of two binary functions

2 MAHNN 的動力學分析

2.1 隨參數(shù)k 變化的動力學行為

在(3)式中，選擇參數(shù)-1≤k≤1 來分析MAHNN的動力學行為。分別設(shè)置狀態(tài)變量初值為(0，1，0，0)和(0，-1，0，0)。在MATLAB 仿真平臺中設(shè)定k以步長0.001 從-1 逐漸增加到1，繪制出該系統(tǒng)隨k變化的分岔圖和有限時間李氏指數(shù)圖如圖3 所示。圖3(a)中紅色“.”軌跡代表狀態(tài)初值為(0，1，0，0)的分岔圖，藍色“*”軌跡則代表(0，-1，0，0)的分岔圖。由圖3(a)可以看出該系統(tǒng)存在共存分岔行為。這說明隨狀態(tài)初值的變化，權(quán)值不變、參數(shù)不變的MAHNN會出現(xiàn)共存吸引子，而這種現(xiàn)象正是由該系統(tǒng)關(guān)于原點對稱引起的。從圖3(b)則可以看出:系統(tǒng)所處的狀態(tài)總是隨參數(shù)k變化而在周期與混沌之間變化。因此，可以直觀地從圖3 中選取各種動力學行為所對應參數(shù)值。

然而，從圖3 可以發(fā)現(xiàn)分岔圖和李氏指數(shù)圖并未完全對應，特別是參數(shù)-0.42＜k＜-0.37。從圖3(a)可知，該系統(tǒng)在此區(qū)間為混沌狀態(tài)。而根據(jù)圖3(b)可知，最大Lyapunov 指數(shù)L1在此區(qū)間等于0，表明MAHNN 非線性系統(tǒng)處于周期狀態(tài)。因此，在參數(shù)k處于-0.42＜k＜-0.37 時，系統(tǒng)狀態(tài)還需進一步分析。

圖3 隨控制參數(shù)k 變化的動力學分析。(a) 分岔圖;(b) 李氏指數(shù)圖Fig.3 Dynamic analysis with control parameter k.(a) Bifurcation diagram;(b) Lyapunov exponents diagram

下面給出不同k值下狀態(tài)變量x-z相圖如圖4所示。

圖4 中紅色實線、藍色虛線軌跡分別代表狀態(tài)初值為(0，1，0，0)和(0，-1，0，0)的相圖。顯然，隨著參數(shù)k的變化，MAHNN 的吸引子形狀和位置均會發(fā)生改變，進而呈現(xiàn)復雜多變的動力學行為。

圖4 典型x-z 相圖Fig.4 The typical phase portraits on x-z plane

2.2 暫混沌和混沌與周期相互交替出現(xiàn)的現(xiàn)象

在2.1 節(jié)中，已提到k在-0.42＜k＜-0.37，系統(tǒng)狀態(tài)需要進行詳細的分析。因此，增加仿真時間來確定系統(tǒng)狀態(tài)。設(shè)定該系統(tǒng)的仿真時間為20 ks，取k分別為-0.41 和-0.39 來具體分析該系統(tǒng)的動力學行為。

當k=-0.41 時，得到該系統(tǒng)狀態(tài)變量z的部分時域圖以及對應的x-z相軌跡圖如圖5 所示。

從圖5 可知，系統(tǒng)先從混沌狀態(tài)逐漸過渡到周期狀態(tài)，并最終穩(wěn)定在周期極狀態(tài)，即暫混沌現(xiàn)象。通過MATLAB 編程，計算出Lyapunov exponents 為:L1=0.0042，L2=-0.2111，L3=-0.4702，L4=-0.8787。依據(jù)文獻Lyapunov 維數(shù)計算方法[14]，得出DL=1.0199，表明該系統(tǒng)處在周期狀態(tài)。

圖5 暫混沌現(xiàn)象。(a) 時域圖;(b)x-z 相軌跡圖Fig.5 The phenomena of transitent chaos.(a)Time domain diagram;(b) x-z phase trajectory diagram

當k=-0.39 時，得到該系統(tǒng)狀態(tài)變量z的部分時域圖以及對應的x-z相軌跡圖如圖6 所示。

根據(jù)圖6 可知，系統(tǒng)先從周期狀態(tài)過渡到混沌狀態(tài)，經(jīng)過一段時間再過渡到另一種周期狀態(tài)，并且這兩種周期狀態(tài)轉(zhuǎn)換均是通過混沌狀態(tài)(過渡狀態(tài))來實現(xiàn)的。隨著時間演變，這種混沌與周期相互交替出現(xiàn)的現(xiàn)象會不斷循環(huán)往復地進行。通過MATLAB 編程，計算 出Lyapunov exponents 為:L1=0.0380，L2=-0.0001，L3=-0.6963，L4=-0.8913，計算出DL=2.0544，表明系統(tǒng)仍然處于混沌狀態(tài)。

圖6 混沌與周期相互交替出現(xiàn)的現(xiàn)象。(a)、(b)、(c)時域圖;(d)x-z 相軌跡圖Fig.6 The phenomena of chaos and cycle alternation.(a，b，c) Time domain diagram;(d) x-z phase trajectory diagram

然而，目前只在引入分數(shù)階局部有源憶阻器的憶阻Jerk 多穩(wěn)態(tài)混沌系統(tǒng)中發(fā)現(xiàn)有混沌與周期相互交替的現(xiàn)象[15]。這種混沌與周期相互交替的現(xiàn)象與經(jīng)常被發(fā)現(xiàn)的暫混沌、暫周期[16]有所不同。經(jīng)查閱文獻可知，這種獨特的現(xiàn)象在Hopfiled 混沌神經(jīng)網(wǎng)絡中還未出現(xiàn)過。

3 MAHNN 的電路設(shè)計及仿真

為驗證憶阻自突觸Hopfield 神經(jīng)網(wǎng)絡的復雜動力學行為，采用改進型模塊化電路的理念設(shè)計出MHANN 的模擬仿真電路如圖7 所示。該電路主要由四路模擬運算電路組成，分別實現(xiàn)公式(3)中的狀態(tài)變量x、y、z、φ的數(shù)學運算。該電路涉及到反相加法、反相積分、反相電路、憶阻器仿真電路和神經(jīng)元激活函數(shù)電路單元模塊。圖7 中藍色虛線圓內(nèi)的SC1、SC2、SC3代表神經(jīng)元激活函數(shù)-tanh(·)的子電路模塊[8]，SC4代表憶阻器仿真電路的子電路模塊。

該電路實現(xiàn)需要用到的電路元器件有集成運算放大器TL082CD，其供電電壓為±15 V，飽和電壓為±13.5 V，三極管MPS2222，模擬乘法器AD633，其增益為0.1。根據(jù)基爾霍夫電流定律，由仿真電路圖7可得到MAHNN 的電路狀態(tài)方程為:

圖7 MAHNN 的Multisim 仿真電路圖Fig.7 Multisim simulation circuit diagram of MAHNN

圖8 中Vx、Vy、Vz分別代表三個積分器電路電容上的電壓變量，Vφ代表憶阻器Memristor 內(nèi)部積分電路電容上的電壓變量，τ=RsC代表積分電路的時間常數(shù)。設(shè)置τ=0.1，固定電阻Rs=1 MΩ，電容C=C1=C2=C3=C4=0.1 μF，電阻R=10 kΩ。根據(jù)(3)式和(9)式，得出R1=Rs/1.5=666.67 kΩ，R2=Rs/2.8=357.14 kΩ，R3=Rs/0.5=2 MΩ，R4=Rs/1.5=666.67 kΩ，R5=Rs/1.2=833.33 kΩ，R6=Rs/20=50 kΩ。

在Multisim 的交互式仿真一欄設(shè)置初始值由用戶自定義，仿真最大步長為0.01 s。設(shè)置不同的初始值對系統(tǒng)進行仿真，即可得到用戶所需的不同數(shù)據(jù)。由于MAHNN 只受參數(shù)k和狀態(tài)初值的影響，因此仿真電路只需考慮開關(guān)S、電阻Rm和電容上的電壓對仿真結(jié)果的影響。開關(guān)S 在1 處接通，代表(9)式中1/Rm的系數(shù)為負，否則為正。電阻Rm=Rs/ |k| MΩ 是一個隨參數(shù)k變化的電阻。對(3)式進行數(shù)值仿真時，系統(tǒng)狀態(tài)初值(x0，y0，z0，φ0)=(0，±1，0，0)，因此設(shè)定4 個電容的電壓初值為(0 V，?1 V，0 V，0 V)。開關(guān)S 在1 處接通，分別取k為-1，-0.62，-0.3，-0.1，則 相 應 的Rm為1，1.61，3.33，10 MΩ，選擇開關(guān)S 與2 處接通，取k為0.4，1，則相應的Rm為2.5，1 MΩ。對比圖4 和圖8，Multisim 電路仿真的相軌跡圖與數(shù)值仿真相軌跡圖一致，說明了憶阻自突觸Hopfield 神經(jīng)網(wǎng)絡理論分析和仿真電路設(shè)計的正確性。

圖8 MAHNN 的Multisim 相圖Fig.8 Multisim phase portraits of MAHNN

5 結(jié)論

本文采用非理想磁控型憶阻器模擬3 階Hopfield神經(jīng)網(wǎng)絡的第3 個神經(jīng)元自突觸的電磁感應效應，提出了一種憶阻自突觸Hopfield 神經(jīng)網(wǎng)絡模型。理論分析和數(shù)值仿真表明，該模型在確定的憶阻控制參數(shù)下存在兩個不穩(wěn)定的對稱鞍焦平衡點，這可使該系統(tǒng)產(chǎn)生一對共存的混沌或周期吸引子。憶阻器獨特的非線性使得引入憶阻自突觸的HNN 還會出現(xiàn)混沌與周期交替的特殊現(xiàn)象，而這種現(xiàn)象目前只發(fā)現(xiàn)在引入分數(shù)階局部有源憶阻器的Jerk 混沌系統(tǒng)中。前者較后者的顯著區(qū)別在于它出現(xiàn)在人工神經(jīng)網(wǎng)絡中，而它的發(fā)現(xiàn)也正符合人腦的神經(jīng)活動有時會從混沌轉(zhuǎn)變?yōu)橹芷诘奶匦?。因此，研究憶阻自突觸神經(jīng)網(wǎng)絡可以為人腦神經(jīng)活動的研究提供一定的參考價值。從動力學角度分析憶阻自突觸神經(jīng)網(wǎng)絡的電活動，有助于深入了解混沌與周期交替現(xiàn)象在人腦正常和非正?；顒拥确矫娴淖饔茫瑸槿四X功能的理解提供神經(jīng)動力學方面的解釋，進而為治愈腦疾患者提供研究思路。最后，對MAHNN 模型進行模擬等效電路設(shè)計，并通過Multisim 電路仿真對其動力學行為進行了驗證。仿真結(jié)果與數(shù)值仿真基本吻合，驗證了MAHNN 理論設(shè)計的正確性。