憶阻自突觸Hopfield 神經(jīng)網(wǎng)絡(luò)的動(dòng)力學(xué)分析與電路仿真

張學(xué)豐，彭良玉，彭代鑫

(湖南師范大學(xué) 物理與電子科學(xué)學(xué)院，湖南 長沙 410081)

人腦是目前已知最為復(fù)雜的非線性系統(tǒng)，它除了支配運(yùn)動(dòng)、感覺以外，還與認(rèn)知、情感、行為、語言等高級神經(jīng)活動(dòng)有關(guān)。對于人腦動(dòng)態(tài)特性的研究，一般采用人工神經(jīng)網(wǎng)絡(luò)模型作為研究對象。Hopfield 神經(jīng)網(wǎng)絡(luò)(Hopfield Neural Network，HNN)是由多個(gè)神經(jīng)元構(gòu)成的一類重要的神經(jīng)網(wǎng)絡(luò)模型。由于HNN 存在特殊的非線性神經(jīng)元激活函數(shù)。因此，它可以模擬人腦產(chǎn)生復(fù)雜的動(dòng)力學(xué)行為。2005 年，Korn 教授證實(shí)了人腦中存在混沌，這就為混沌動(dòng)力學(xué)研究提供了一個(gè)全新的應(yīng)用前景[1]。2017 年，Panahi 等[2]提出，人腦的神經(jīng)活動(dòng)有時(shí)會(huì)從混沌轉(zhuǎn)變?yōu)橹芷?，這說明人腦總是處于有序和無序的交替過程中。目前已有大量關(guān)于神經(jīng)動(dòng)力學(xué)的研究，并在HNN 中發(fā)現(xiàn)了一些復(fù)雜的非線性現(xiàn)象，如混沌、超混沌吸引子、隱藏吸引子和暫混沌行為等[3-5]。

憶阻器具有可編程性和突觸可塑性等特點(diǎn)，且與生物神經(jīng)元突觸有相似的特征。因此，科研人員使用憶阻器模擬神經(jīng)元的突觸，人為地控制神經(jīng)網(wǎng)絡(luò)的突觸權(quán)重系數(shù)來探討憶阻器對神經(jīng)網(wǎng)絡(luò)的動(dòng)力學(xué)的影響。這就可以定量地分析憶阻突觸對神經(jīng)形態(tài)電路的電活動(dòng)行為的影響。2014 年，李清都教授等[6]第一次用憶阻器模擬由兩個(gè)神經(jīng)元之間膜電差誘發(fā)的電磁感應(yīng)效應(yīng)，提出了一種具有超混沌吸引子的憶阻突觸Hopfield 神經(jīng)網(wǎng)絡(luò)(MHNN)模型，并說明了憶阻器在探索神經(jīng)網(wǎng)絡(luò)的動(dòng)力學(xué)行為方面的重要作用。2017 年，包伯成教授團(tuán)隊(duì)[7]提出了一種新型雙曲正切型憶阻器，同樣模擬由兩個(gè)神經(jīng)元之間突觸所造成的電磁感應(yīng)效應(yīng)，構(gòu)建了一種新型MHNN 模型，并發(fā)現(xiàn)該系統(tǒng)具有不對稱的共存吸引子。這說明新型憶阻器會(huì)使HNN 產(chǎn)生新的復(fù)雜動(dòng)力學(xué)特性。2020 年，胡義華教授團(tuán)隊(duì)[8]在三階HNN 中用兩個(gè)憶阻器模仿兩個(gè)突觸之間發(fā)生串?dāng)_的現(xiàn)象，并給出了HNN在突觸串?dāng)_下的數(shù)學(xué)模型，發(fā)現(xiàn)了該系統(tǒng)共存多穩(wěn)態(tài)現(xiàn)象。由此可見，憶阻突觸模擬器已成為構(gòu)建神經(jīng)網(wǎng)絡(luò)電路的重要組成部分。

上述文獻(xiàn)的創(chuàng)新之處在于用不同類型的憶阻器或不同數(shù)量的憶阻器模擬多個(gè)神經(jīng)元之間突觸的電磁感應(yīng)效應(yīng)及突觸串?dāng)_現(xiàn)象來研究憶阻器對HNN 的復(fù)雜動(dòng)力學(xué)行為影響。這些工作都只考慮了憶阻突觸對神經(jīng)網(wǎng)絡(luò)的影響，而并未考慮神經(jīng)元自突觸對神經(jīng)網(wǎng)絡(luò)的影響。2017 年，北京師范大學(xué)的科研人員[9]發(fā)現(xiàn)神經(jīng)元自突觸在調(diào)節(jié)人腦的信號(hào)處理方面也發(fā)揮重要作用。2020 年，王春華教授團(tuán)隊(duì)[10]在單欣德馬什-羅斯(Hindmarsh-Rose，HR)神經(jīng)元模型中引入了局部有源憶阻器來模擬神經(jīng)元的自突觸，發(fā)現(xiàn)該憶阻自突觸HR 神經(jīng)元存在多種放電模式和多穩(wěn)態(tài)特性。因此，憶阻自突觸也會(huì)對神經(jīng)網(wǎng)絡(luò)的動(dòng)力學(xué)特性產(chǎn)生影響。受此啟發(fā)，本文在三階HNN 中引入一個(gè)非理想的磁控型憶阻器來設(shè)計(jì)一種憶阻自突觸Hopfield 神經(jīng)網(wǎng)絡(luò)(MAHNN)。該憶阻器被用來模擬第3 個(gè)神經(jīng)元自突觸所造成的電磁感應(yīng)效應(yīng)。在模型中引入憶阻控制參數(shù)來控制神經(jīng)元自突觸對神經(jīng)網(wǎng)絡(luò)電活動(dòng)行為的影響。理論分析和數(shù)值仿真表明，該模型具有一對不穩(wěn)定的對稱鞍焦平衡點(diǎn)，可產(chǎn)生雙渦卷混沌吸引子、對稱共存單渦卷或周期吸引子，還可以產(chǎn)生暫混沌和混沌與周期交替等特殊動(dòng)力學(xué)行為。除了數(shù)值仿真，本文還設(shè)計(jì)了MAHNN 的模擬仿真電路，并給出了相應(yīng)的電路仿真結(jié)果。由于MAHNN 中混沌與周期交替現(xiàn)象正符合人腦的神經(jīng)活動(dòng)有時(shí)會(huì)從混沌轉(zhuǎn)變?yōu)橹芷诘奶攸c(diǎn)。因此，研究MAHNN 可以對人腦神經(jīng)活動(dòng)的研究提供一定的參考價(jià)值。從動(dòng)力學(xué)角度去分析MAHNN 的電活動(dòng)行為，有助于深入了解混沌與周期交替現(xiàn)象在人腦正常活動(dòng)和非正?；顒?dòng)等方面的作用，為理解人腦功能提供神經(jīng)動(dòng)力學(xué)方面的解釋。

1 MAHNN 的建模與基本特性分析

1.1 MAHNN 的數(shù)學(xué)模型

2015 年，蔡少棠教授詳細(xì)地闡述了憶阻器理論，定義了非理想磁控型憶阻器的通用數(shù)學(xué)模型為:

式中:x表示磁通狀態(tài)變量;G(x)代表憶導(dǎo)函數(shù);v、i分別表示憶阻器兩端的電壓、流經(jīng)憶阻器的電流。

根據(jù)(1)式，設(shè)計(jì)一種非理想三次磁控型憶阻器模型，其表達(dá)式為:

式中:φ為憶阻器內(nèi)部的磁通量;W(φ)為憶導(dǎo)函數(shù)。

在文獻(xiàn)[11]三階HNN 的基礎(chǔ)上，將上述憶阻器用來模擬三階HNN 中神經(jīng)元3 自突觸所造成的電磁感應(yīng)效應(yīng)，并提出了一種MAHNN 模型，其連接拓?fù)浣Y(jié)構(gòu)如圖1 所示。

圖1 MAHNN 的連接拓?fù)浣Y(jié)構(gòu)Fig.1 Connection topology of MAHNN

由圖1 可知，引入憶阻自突觸的HNN 數(shù)學(xué)模型會(huì)發(fā)生相應(yīng)的變化。用W(φ)=1+φ2替代神經(jīng)元3 自突觸權(quán)重系數(shù)，并引入?yún)?shù)k來控制自突觸耦合強(qiáng)度，得到MAHNN 的無量綱狀態(tài)微分方程組為:

1.2 耗散性分析

任意一個(gè)非線性系統(tǒng)要處于混沌狀態(tài)，該系統(tǒng)的散度?＜0[12]。對于(3)式，計(jì)算MAHNN 的散度公式為:

根據(jù)(3) 式 和(4) 式，得 到?=-4+1.5 sech2(x)+1.2 sech2(y)+k(1+φ2)sech2(z) 。由于0≤sech2(x) ≤1，0≤sech2(y) ≤1，0≤sech2(z) ≤1，因此，?≤-1.3+k(1+φ2) 。顯 然，-1.3+k1+(φ2)＜0，即控制參數(shù)k＜1.3，才能使該系統(tǒng)出現(xiàn)混沌吸引子。

1.3 平衡點(diǎn)的穩(wěn)定性分析

令(3)式等號(hào)左邊為0，求出方程的解，得到(3)式非線性系統(tǒng)所有的平衡點(diǎn)。

顯然，(5)式是四階超越方程組，需用MATLAB得出方程的全部解。(3)式表示的非線性系統(tǒng)在任意平衡點(diǎn)E-=(ξ1，ξ2，ξ3，ξφ) 的Jacobian 矩陣為:

觀察(5)式可知，無論k為何值時(shí)，(3)式非線性系統(tǒng)總是存在一個(gè)零平衡點(diǎn)E0=(0，0，0，0)。將E0=(0，0，0，0)代入(6)式，得到對應(yīng)的特征方程為:

其中a1=1.3-k，a2=3.9-0.3k，a3=22.9-3.6k，a4=19.3-4.3k。

根據(jù)文獻(xiàn)[13]中提到的Routh-Hurwitz 判定準(zhǔn)則，零平衡點(diǎn)E0穩(wěn)定的充分必要條件為:a1＞0，a1a2-a3＞0，a2a3-a1a4＞0，a4＞0。當(dāng)滿足上述條件時(shí)，可以計(jì)算出-3.504＜k＜-2.488。此時(shí)E0是穩(wěn)定的。當(dāng)k=-3 時(shí)，得出零平衡點(diǎn)的特征值λ1=-1.0000，λ2=-3.0447，λ3，4=-0.1277±0.8404i，此時(shí)E0是一個(gè)穩(wěn)定的平衡點(diǎn)。然而，當(dāng)k=-0.3 時(shí)，λ1=1.4660，λ2=-1.0000，λ3，4=-1.0330±2.3134i，此時(shí)E0是一個(gè)不穩(wěn)定的鞍焦平衡點(diǎn)。

此外，選擇合適的k值，該非線性系統(tǒng)還存在兩個(gè)非零平衡點(diǎn)。在MATLAB 中，通過圖形分析法可以確定x、z的數(shù)值。繪制出h1x，(z) 和h2x，(z) 的局部圖形，兩條曲線的交點(diǎn)就是x、z的數(shù)值。再根據(jù)(5)式計(jì)算出y、φ的數(shù)值。

取k=-0.3 來繪制上述兩個(gè)二元函數(shù)的MATLAB 局部曲線圖，如圖2 所示。從圖中可以得到兩條曲線有三個(gè)交點(diǎn):E0=(0，0，0，0)，E1=(-0.0220，-0.1753，2.8781，0.9937) 和E2=(0.0220，0.1753，-2.8781，-0.9937)。用函數(shù)eig得出E1和E2對應(yīng)的特征值λ1，2=0.3157±2.0004i，λ3，4=-0.9879± 0.0861i。顯然，E1和E2是關(guān)于E0對稱的不穩(wěn)定的鞍焦平衡點(diǎn)，這與非線性系統(tǒng)(3)式關(guān)于原點(diǎn)對稱相對應(yīng)。

圖2 兩個(gè)二元函數(shù)的局部曲線圖Fig.2 Local curves of two binary functions

2 MAHNN 的動(dòng)力學(xué)分析

2.1 隨參數(shù)k 變化的動(dòng)力學(xué)行為

在(3)式中，選擇參數(shù)-1≤k≤1 來分析MAHNN的動(dòng)力學(xué)行為。分別設(shè)置狀態(tài)變量初值為(0，1，0，0)和(0，-1，0，0)。在MATLAB 仿真平臺(tái)中設(shè)定k以步長0.001 從-1 逐漸增加到1，繪制出該系統(tǒng)隨k變化的分岔圖和有限時(shí)間李氏指數(shù)圖如圖3 所示。圖3(a)中紅色“.”軌跡代表狀態(tài)初值為(0，1，0，0)的分岔圖，藍(lán)色“*”軌跡則代表(0，-1，0，0)的分岔圖。由圖3(a)可以看出該系統(tǒng)存在共存分岔行為。這說明隨狀態(tài)初值的變化，權(quán)值不變、參數(shù)不變的MAHNN會(huì)出現(xiàn)共存吸引子，而這種現(xiàn)象正是由該系統(tǒng)關(guān)于原點(diǎn)對稱引起的。從圖3(b)則可以看出:系統(tǒng)所處的狀態(tài)總是隨參數(shù)k變化而在周期與混沌之間變化。因此，可以直觀地從圖3 中選取各種動(dòng)力學(xué)行為所對應(yīng)參數(shù)值。

然而，從圖3 可以發(fā)現(xiàn)分岔圖和李氏指數(shù)圖并未完全對應(yīng)，特別是參數(shù)-0.42＜k＜-0.37。從圖3(a)可知，該系統(tǒng)在此區(qū)間為混沌狀態(tài)。而根據(jù)圖3(b)可知，最大Lyapunov 指數(shù)L1在此區(qū)間等于0，表明MAHNN 非線性系統(tǒng)處于周期狀態(tài)。因此，在參數(shù)k處于-0.42＜k＜-0.37 時(shí)，系統(tǒng)狀態(tài)還需進(jìn)一步分析。

圖3 隨控制參數(shù)k 變化的動(dòng)力學(xué)分析。(a) 分岔圖;(b) 李氏指數(shù)圖Fig.3 Dynamic analysis with control parameter k.(a) Bifurcation diagram;(b) Lyapunov exponents diagram

下面給出不同k值下狀態(tài)變量x-z相圖如圖4所示。

圖4 中紅色實(shí)線、藍(lán)色虛線軌跡分別代表狀態(tài)初值為(0，1，0，0)和(0，-1，0，0)的相圖。顯然，隨著參數(shù)k的變化，MAHNN 的吸引子形狀和位置均會(huì)發(fā)生改變，進(jìn)而呈現(xiàn)復(fù)雜多變的動(dòng)力學(xué)行為。

圖4 典型x-z 相圖Fig.4 The typical phase portraits on x-z plane

2.2 暫混沌和混沌與周期相互交替出現(xiàn)的現(xiàn)象

在2.1 節(jié)中，已提到k在-0.42＜k＜-0.37，系統(tǒng)狀態(tài)需要進(jìn)行詳細(xì)的分析。因此，增加仿真時(shí)間來確定系統(tǒng)狀態(tài)。設(shè)定該系統(tǒng)的仿真時(shí)間為20 ks，取k分別為-0.41 和-0.39 來具體分析該系統(tǒng)的動(dòng)力學(xué)行為。

當(dāng)k=-0.41 時(shí)，得到該系統(tǒng)狀態(tài)變量z的部分時(shí)域圖以及對應(yīng)的x-z相軌跡圖如圖5 所示。

從圖5 可知，系統(tǒng)先從混沌狀態(tài)逐漸過渡到周期狀態(tài)，并最終穩(wěn)定在周期極狀態(tài)，即暫混沌現(xiàn)象。通過MATLAB 編程，計(jì)算出Lyapunov exponents 為:L1=0.0042，L2=-0.2111，L3=-0.4702，L4=-0.8787。依據(jù)文獻(xiàn)Lyapunov 維數(shù)計(jì)算方法[14]，得出DL=1.0199，表明該系統(tǒng)處在周期狀態(tài)。

圖5 暫混沌現(xiàn)象。(a) 時(shí)域圖;(b)x-z 相軌跡圖Fig.5 The phenomena of transitent chaos.(a)Time domain diagram;(b) x-z phase trajectory diagram

當(dāng)k=-0.39 時(shí)，得到該系統(tǒng)狀態(tài)變量z的部分時(shí)域圖以及對應(yīng)的x-z相軌跡圖如圖6 所示。

根據(jù)圖6 可知，系統(tǒng)先從周期狀態(tài)過渡到混沌狀態(tài)，經(jīng)過一段時(shí)間再過渡到另一種周期狀態(tài)，并且這兩種周期狀態(tài)轉(zhuǎn)換均是通過混沌狀態(tài)(過渡狀態(tài))來實(shí)現(xiàn)的。隨著時(shí)間演變，這種混沌與周期相互交替出現(xiàn)的現(xiàn)象會(huì)不斷循環(huán)往復(fù)地進(jìn)行。通過MATLAB 編程，計(jì)算 出Lyapunov exponents 為:L1=0.0380，L2=-0.0001，L3=-0.6963，L4=-0.8913，計(jì)算出DL=2.0544，表明系統(tǒng)仍然處于混沌狀態(tài)。

圖6 混沌與周期相互交替出現(xiàn)的現(xiàn)象。(a)、(b)、(c)時(shí)域圖;(d)x-z 相軌跡圖Fig.6 The phenomena of chaos and cycle alternation.(a，b，c) Time domain diagram;(d) x-z phase trajectory diagram

然而，目前只在引入分?jǐn)?shù)階局部有源憶阻器的憶阻Jerk 多穩(wěn)態(tài)混沌系統(tǒng)中發(fā)現(xiàn)有混沌與周期相互交替的現(xiàn)象[15]。這種混沌與周期相互交替的現(xiàn)象與經(jīng)常被發(fā)現(xiàn)的暫混沌、暫周期[16]有所不同。經(jīng)查閱文獻(xiàn)可知，這種獨(dú)特的現(xiàn)象在Hopfiled 混沌神經(jīng)網(wǎng)絡(luò)中還未出現(xiàn)過。

3 MAHNN 的電路設(shè)計(jì)及仿真

為驗(yàn)證憶阻自突觸Hopfield 神經(jīng)網(wǎng)絡(luò)的復(fù)雜動(dòng)力學(xué)行為，采用改進(jìn)型模塊化電路的理念設(shè)計(jì)出MHANN 的模擬仿真電路如圖7 所示。該電路主要由四路模擬運(yùn)算電路組成，分別實(shí)現(xiàn)公式(3)中的狀態(tài)變量x、y、z、φ的數(shù)學(xué)運(yùn)算。該電路涉及到反相加法、反相積分、反相電路、憶阻器仿真電路和神經(jīng)元激活函數(shù)電路單元模塊。圖7 中藍(lán)色虛線圓內(nèi)的SC1、SC2、SC3代表神經(jīng)元激活函數(shù)-tanh(·)的子電路模塊[8]，SC4代表憶阻器仿真電路的子電路模塊。

該電路實(shí)現(xiàn)需要用到的電路元器件有集成運(yùn)算放大器TL082CD，其供電電壓為±15 V，飽和電壓為±13.5 V，三極管MPS2222，模擬乘法器AD633，其增益為0.1。根據(jù)基爾霍夫電流定律，由仿真電路圖7可得到MAHNN 的電路狀態(tài)方程為:

圖7 MAHNN 的Multisim 仿真電路圖Fig.7 Multisim simulation circuit diagram of MAHNN

圖8 中Vx、Vy、Vz分別代表三個(gè)積分器電路電容上的電壓變量，Vφ代表憶阻器Memristor 內(nèi)部積分電路電容上的電壓變量，τ=RsC代表積分電路的時(shí)間常數(shù)。設(shè)置τ=0.1，固定電阻Rs=1 MΩ，電容C=C1=C2=C3=C4=0.1 μF，電阻R=10 kΩ。根據(jù)(3)式和(9)式，得出R1=Rs/1.5=666.67 kΩ，R2=Rs/2.8=357.14 kΩ，R3=Rs/0.5=2 MΩ，R4=Rs/1.5=666.67 kΩ，R5=Rs/1.2=833.33 kΩ，R6=Rs/20=50 kΩ。

在Multisim 的交互式仿真一欄設(shè)置初始值由用戶自定義，仿真最大步長為0.01 s。設(shè)置不同的初始值對系統(tǒng)進(jìn)行仿真，即可得到用戶所需的不同數(shù)據(jù)。由于MAHNN 只受參數(shù)k和狀態(tài)初值的影響，因此仿真電路只需考慮開關(guān)S、電阻Rm和電容上的電壓對仿真結(jié)果的影響。開關(guān)S 在1 處接通，代表(9)式中1/Rm的系數(shù)為負(fù)，否則為正。電阻Rm=Rs/ |k| MΩ 是一個(gè)隨參數(shù)k變化的電阻。對(3)式進(jìn)行數(shù)值仿真時(shí)，系統(tǒng)狀態(tài)初值(x0，y0，z0，φ0)=(0，±1，0，0)，因此設(shè)定4 個(gè)電容的電壓初值為(0 V，?1 V，0 V，0 V)。開關(guān)S 在1 處接通，分別取k為-1，-0.62，-0.3，-0.1，則 相 應(yīng) 的Rm為1，1.61，3.33，10 MΩ，選擇開關(guān)S 與2 處接通，取k為0.4，1，則相應(yīng)的Rm為2.5，1 MΩ。對比圖4 和圖8，Multisim 電路仿真的相軌跡圖與數(shù)值仿真相軌跡圖一致，說明了憶阻自突觸Hopfield 神經(jīng)網(wǎng)絡(luò)理論分析和仿真電路設(shè)計(jì)的正確性。

圖8 MAHNN 的Multisim 相圖Fig.8 Multisim phase portraits of MAHNN

5 結(jié)論

本文采用非理想磁控型憶阻器模擬3 階Hopfield神經(jīng)網(wǎng)絡(luò)的第3 個(gè)神經(jīng)元自突觸的電磁感應(yīng)效應(yīng)，提出了一種憶阻自突觸Hopfield 神經(jīng)網(wǎng)絡(luò)模型。理論分析和數(shù)值仿真表明，該模型在確定的憶阻控制參數(shù)下存在兩個(gè)不穩(wěn)定的對稱鞍焦平衡點(diǎn)，這可使該系統(tǒng)產(chǎn)生一對共存的混沌或周期吸引子。憶阻器獨(dú)特的非線性使得引入憶阻自突觸的HNN 還會(huì)出現(xiàn)混沌與周期交替的特殊現(xiàn)象，而這種現(xiàn)象目前只發(fā)現(xiàn)在引入分?jǐn)?shù)階局部有源憶阻器的Jerk 混沌系統(tǒng)中。前者較后者的顯著區(qū)別在于它出現(xiàn)在人工神經(jīng)網(wǎng)絡(luò)中，而它的發(fā)現(xiàn)也正符合人腦的神經(jīng)活動(dòng)有時(shí)會(huì)從混沌轉(zhuǎn)變?yōu)橹芷诘奶匦?。因此，研究憶阻自突觸神經(jīng)網(wǎng)絡(luò)可以為人腦神經(jīng)活動(dòng)的研究提供一定的參考價(jià)值。從動(dòng)力學(xué)角度分析憶阻自突觸神經(jīng)網(wǎng)絡(luò)的電活動(dòng)，有助于深入了解混沌與周期交替現(xiàn)象在人腦正常和非正?；顒?dòng)等方面的作用，為人腦功能的理解提供神經(jīng)動(dòng)力學(xué)方面的解釋，進(jìn)而為治愈腦疾患者提供研究思路。最后，對MAHNN 模型進(jìn)行模擬等效電路設(shè)計(jì)，并通過Multisim 電路仿真對其動(dòng)力學(xué)行為進(jìn)行了驗(yàn)證。仿真結(jié)果與數(shù)值仿真基本吻合，驗(yàn)證了MAHNN 理論設(shè)計(jì)的正確性。