張學(xué)豐,彭良玉,彭代鑫
(湖南師范大學(xué) 物理與電子科學(xué)學(xué)院,湖南 長沙 410081)
人腦是目前已知最為復(fù)雜的非線性系統(tǒng),它除了支配運(yùn)動(dòng)、感覺以外,還與認(rèn)知、情感、行為、語言等高級神經(jīng)活動(dòng)有關(guān)。對于人腦動(dòng)態(tài)特性的研究,一般采用人工神經(jīng)網(wǎng)絡(luò)模型作為研究對象。Hopfield 神經(jīng)網(wǎng)絡(luò)(Hopfield Neural Network,HNN)是由多個(gè)神經(jīng)元構(gòu)成的一類重要的神經(jīng)網(wǎng)絡(luò)模型。由于HNN 存在特殊的非線性神經(jīng)元激活函數(shù)。因此,它可以模擬人腦產(chǎn)生復(fù)雜的動(dòng)力學(xué)行為。2005 年,Korn 教授證實(shí)了人腦中存在混沌,這就為混沌動(dòng)力學(xué)研究提供了一個(gè)全新的應(yīng)用前景[1]。2017 年,Panahi 等[2]提出,人腦的神經(jīng)活動(dòng)有時(shí)會(huì)從混沌轉(zhuǎn)變?yōu)橹芷?,這說明人腦總是處于有序和無序的交替過程中。目前已有大量關(guān)于神經(jīng)動(dòng)力學(xué)的研究,并在HNN 中發(fā)現(xiàn)了一些復(fù)雜的非線性現(xiàn)象,如混沌、超混沌吸引子、隱藏吸引子和暫混沌行為等[3-5]。
憶阻器具有可編程性和突觸可塑性等特點(diǎn),且與生物神經(jīng)元突觸有相似的特征。因此,科研人員使用憶阻器模擬神經(jīng)元的突觸,人為地控制神經(jīng)網(wǎng)絡(luò)的突觸權(quán)重系數(shù)來探討憶阻器對神經(jīng)網(wǎng)絡(luò)的動(dòng)力學(xué)的影響。這就可以定量地分析憶阻突觸對神經(jīng)形態(tài)電路的電活動(dòng)行為的影響。2014 年,李清都教授等[6]第一次用憶阻器模擬由兩個(gè)神經(jīng)元之間膜電差誘發(fā)的電磁感應(yīng)效應(yīng),提出了一種具有超混沌吸引子的憶阻突觸Hopfield 神經(jīng)網(wǎng)絡(luò)(MHNN)模型,并說明了憶阻器在探索神經(jīng)網(wǎng)絡(luò)的動(dòng)力學(xué)行為方面的重要作用。2017 年,包伯成教授團(tuán)隊(duì)[7]提出了一種新型雙曲正切型憶阻器,同樣模擬由兩個(gè)神經(jīng)元之間突觸所造成的電磁感應(yīng)效應(yīng),構(gòu)建了一種新型MHNN 模型,并發(fā)現(xiàn)該系統(tǒng)具有不對稱的共存吸引子。這說明新型憶阻器會(huì)使HNN 產(chǎn)生新的復(fù)雜動(dòng)力學(xué)特性。2020 年,胡義華教授團(tuán)隊(duì)[8]在三階HNN 中用兩個(gè)憶阻器模仿兩個(gè)突觸之間發(fā)生串?dāng)_的現(xiàn)象,并給出了HNN在突觸串?dāng)_下的數(shù)學(xué)模型,發(fā)現(xiàn)了該系統(tǒng)共存多穩(wěn)態(tài)現(xiàn)象。由此可見,憶阻突觸模擬器已成為構(gòu)建神經(jīng)網(wǎng)絡(luò)電路的重要組成部分。
上述文獻(xiàn)的創(chuàng)新之處在于用不同類型的憶阻器或不同數(shù)量的憶阻器模擬多個(gè)神經(jīng)元之間突觸的電磁感應(yīng)效應(yīng)及突觸串?dāng)_現(xiàn)象來研究憶阻器對HNN 的復(fù)雜動(dòng)力學(xué)行為影響。這些工作都只考慮了憶阻突觸對神經(jīng)網(wǎng)絡(luò)的影響,而并未考慮神經(jīng)元自突觸對神經(jīng)網(wǎng)絡(luò)的影響。2017 年,北京師范大學(xué)的科研人員[9]發(fā)現(xiàn)神經(jīng)元自突觸在調(diào)節(jié)人腦的信號(hào)處理方面也發(fā)揮重要作用。2020 年,王春華教授團(tuán)隊(duì)[10]在單欣德馬什-羅斯(Hindmarsh-Rose,HR)神經(jīng)元模型中引入了局部有源憶阻器來模擬神經(jīng)元的自突觸,發(fā)現(xiàn)該憶阻自突觸HR 神經(jīng)元存在多種放電模式和多穩(wěn)態(tài)特性。因此,憶阻自突觸也會(huì)對神經(jīng)網(wǎng)絡(luò)的動(dòng)力學(xué)特性產(chǎn)生影響。受此啟發(fā),本文在三階HNN 中引入一個(gè)非理想的磁控型憶阻器來設(shè)計(jì)一種憶阻自突觸Hopfield 神經(jīng)網(wǎng)絡(luò)(MAHNN)。該憶阻器被用來模擬第3 個(gè)神經(jīng)元自突觸所造成的電磁感應(yīng)效應(yīng)。在模型中引入憶阻控制參數(shù)來控制神經(jīng)元自突觸對神經(jīng)網(wǎng)絡(luò)電活動(dòng)行為的影響。理論分析和數(shù)值仿真表明,該模型具有一對不穩(wěn)定的對稱鞍焦平衡點(diǎn),可產(chǎn)生雙渦卷混沌吸引子、對稱共存單渦卷或周期吸引子,還可以產(chǎn)生暫混沌和混沌與周期交替等特殊動(dòng)力學(xué)行為。除了數(shù)值仿真,本文還設(shè)計(jì)了MAHNN 的模擬仿真電路,并給出了相應(yīng)的電路仿真結(jié)果。由于MAHNN 中混沌與周期交替現(xiàn)象正符合人腦的神經(jīng)活動(dòng)有時(shí)會(huì)從混沌轉(zhuǎn)變?yōu)橹芷诘奶攸c(diǎn)。因此,研究MAHNN 可以對人腦神經(jīng)活動(dòng)的研究提供一定的參考價(jià)值。從動(dòng)力學(xué)角度去分析MAHNN 的電活動(dòng)行為,有助于深入了解混沌與周期交替現(xiàn)象在人腦正常活動(dòng)和非正?;顒?dòng)等方面的作用,為理解人腦功能提供神經(jīng)動(dòng)力學(xué)方面的解釋。
2015 年,蔡少棠教授詳細(xì)地闡述了憶阻器理論,定義了非理想磁控型憶阻器的通用數(shù)學(xué)模型為:
式中:x表示磁通狀態(tài)變量;G(x)代表憶導(dǎo)函數(shù);v、i分別表示憶阻器兩端的電壓、流經(jīng)憶阻器的電流。
根據(jù)(1)式,設(shè)計(jì)一種非理想三次磁控型憶阻器模型,其表達(dá)式為:
式中:φ為憶阻器內(nèi)部的磁通量;W(φ)為憶導(dǎo)函數(shù)。
在文獻(xiàn)[11]三階HNN 的基礎(chǔ)上,將上述憶阻器用來模擬三階HNN 中神經(jīng)元3 自突觸所造成的電磁感應(yīng)效應(yīng),并提出了一種MAHNN 模型,其連接拓?fù)浣Y(jié)構(gòu)如圖1 所示。
圖1 MAHNN 的連接拓?fù)浣Y(jié)構(gòu)Fig.1 Connection topology of MAHNN
由圖1 可知,引入憶阻自突觸的HNN 數(shù)學(xué)模型會(huì)發(fā)生相應(yīng)的變化。用W(φ)=1+φ2替代神經(jīng)元3 自突觸權(quán)重系數(shù),并引入?yún)?shù)k來控制自突觸耦合強(qiáng)度,得到MAHNN 的無量綱狀態(tài)微分方程組為:
任意一個(gè)非線性系統(tǒng)要處于混沌狀態(tài),該系統(tǒng)的散度?<0[12]。對于(3)式,計(jì)算MAHNN 的散度公式為:
根據(jù)(3) 式 和(4) 式,得 到?=-4+1.5 sech2(x)+1.2 sech2(y)+k(1+φ2)sech2(z) 。由于0≤sech2(x) ≤1,0≤sech2(y) ≤1,0≤sech2(z) ≤1,因此,?≤-1.3+k(1+φ2) 。顯 然,-1.3+k1+(φ2)<0,即控制參數(shù)k<1.3,才能使該系統(tǒng)出現(xiàn)混沌吸引子。
令(3)式等號(hào)左邊為0,求出方程的解,得到(3)式非線性系統(tǒng)所有的平衡點(diǎn)。
顯然,(5)式是四階超越方程組,需用MATLAB得出方程的全部解。(3)式表示的非線性系統(tǒng)在任意平衡點(diǎn)E-=(ξ1,ξ2,ξ3,ξφ) 的Jacobian 矩陣為:
觀察(5)式可知,無論k為何值時(shí),(3)式非線性系統(tǒng)總是存在一個(gè)零平衡點(diǎn)E0=(0,0,0,0)。將E0=(0,0,0,0)代入(6)式,得到對應(yīng)的特征方程為:
其中a1=1.3-k,a2=3.9-0.3k,a3=22.9-3.6k,a4=19.3-4.3k。
根據(jù)文獻(xiàn)[13]中提到的Routh-Hurwitz 判定準(zhǔn)則,零平衡點(diǎn)E0穩(wěn)定的充分必要條件為:a1>0,a1a2-a3>0,a2a3-a1a4>0,a4>0。當(dāng)滿足上述條件時(shí),可以計(jì)算出-3.504<k<-2.488。此時(shí)E0是穩(wěn)定的。當(dāng)k=-3 時(shí),得出零平衡點(diǎn)的特征值λ1=-1.0000,λ2=-3.0447,λ3,4=-0.1277±0.8404i,此時(shí)E0是一個(gè)穩(wěn)定的平衡點(diǎn)。然而,當(dāng)k=-0.3 時(shí),λ1=1.4660,λ2=-1.0000,λ3,4=-1.0330±2.3134i,此時(shí)E0是一個(gè)不穩(wěn)定的鞍焦平衡點(diǎn)。
此外,選擇合適的k值,該非線性系統(tǒng)還存在兩個(gè)非零平衡點(diǎn)。在MATLAB 中,通過圖形分析法可以確定x、z的數(shù)值。繪制出h1x,(z) 和h2x,(z) 的局部圖形,兩條曲線的交點(diǎn)就是x、z的數(shù)值。再根據(jù)(5)式計(jì)算出y、φ的數(shù)值。
取k=-0.3 來繪制上述兩個(gè)二元函數(shù)的MATLAB 局部曲線圖,如圖2 所示。從圖中可以得到兩條曲線有三個(gè)交點(diǎn):E0=(0,0,0,0),E1=(-0.0220,-0.1753,2.8781,0.9937) 和E2=(0.0220,0.1753,-2.8781,-0.9937)。用函數(shù)eig得出E1和E2對應(yīng)的特征值λ1,2=0.3157±2.0004i,λ3,4=-0.9879± 0.0861i。顯然,E1和E2是關(guān)于E0對稱的不穩(wěn)定的鞍焦平衡點(diǎn),這與非線性系統(tǒng)(3)式關(guān)于原點(diǎn)對稱相對應(yīng)。
圖2 兩個(gè)二元函數(shù)的局部曲線圖Fig.2 Local curves of two binary functions
在(3)式中,選擇參數(shù)-1≤k≤1 來分析MAHNN的動(dòng)力學(xué)行為。分別設(shè)置狀態(tài)變量初值為(0,1,0,0)和(0,-1,0,0)。在MATLAB 仿真平臺(tái)中設(shè)定k以步長0.001 從-1 逐漸增加到1,繪制出該系統(tǒng)隨k變化的分岔圖和有限時(shí)間李氏指數(shù)圖如圖3 所示。圖3(a)中紅色“.”軌跡代表狀態(tài)初值為(0,1,0,0)的分岔圖,藍(lán)色“*”軌跡則代表(0,-1,0,0)的分岔圖。由圖3(a)可以看出該系統(tǒng)存在共存分岔行為。這說明隨狀態(tài)初值的變化,權(quán)值不變、參數(shù)不變的MAHNN會(huì)出現(xiàn)共存吸引子,而這種現(xiàn)象正是由該系統(tǒng)關(guān)于原點(diǎn)對稱引起的。從圖3(b)則可以看出:系統(tǒng)所處的狀態(tài)總是隨參數(shù)k變化而在周期與混沌之間變化。因此,可以直觀地從圖3 中選取各種動(dòng)力學(xué)行為所對應(yīng)參數(shù)值。
然而,從圖3 可以發(fā)現(xiàn)分岔圖和李氏指數(shù)圖并未完全對應(yīng),特別是參數(shù)-0.42<k<-0.37。從圖3(a)可知,該系統(tǒng)在此區(qū)間為混沌狀態(tài)。而根據(jù)圖3(b)可知,最大Lyapunov 指數(shù)L1在此區(qū)間等于0,表明MAHNN 非線性系統(tǒng)處于周期狀態(tài)。因此,在參數(shù)k處于-0.42<k<-0.37 時(shí),系統(tǒng)狀態(tài)還需進(jìn)一步分析。
圖3 隨控制參數(shù)k 變化的動(dòng)力學(xué)分析。(a) 分岔圖;(b) 李氏指數(shù)圖Fig.3 Dynamic analysis with control parameter k.(a) Bifurcation diagram;(b) Lyapunov exponents diagram
下面給出不同k值下狀態(tài)變量x-z相圖如圖4所示。
圖4 中紅色實(shí)線、藍(lán)色虛線軌跡分別代表狀態(tài)初值為(0,1,0,0)和(0,-1,0,0)的相圖。顯然,隨著參數(shù)k的變化,MAHNN 的吸引子形狀和位置均會(huì)發(fā)生改變,進(jìn)而呈現(xiàn)復(fù)雜多變的動(dòng)力學(xué)行為。
圖4 典型x-z 相圖Fig.4 The typical phase portraits on x-z plane
在2.1 節(jié)中,已提到k在-0.42<k<-0.37,系統(tǒng)狀態(tài)需要進(jìn)行詳細(xì)的分析。因此,增加仿真時(shí)間來確定系統(tǒng)狀態(tài)。設(shè)定該系統(tǒng)的仿真時(shí)間為20 ks,取k分別為-0.41 和-0.39 來具體分析該系統(tǒng)的動(dòng)力學(xué)行為。
當(dāng)k=-0.41 時(shí),得到該系統(tǒng)狀態(tài)變量z的部分時(shí)域圖以及對應(yīng)的x-z相軌跡圖如圖5 所示。
從圖5 可知,系統(tǒng)先從混沌狀態(tài)逐漸過渡到周期狀態(tài),并最終穩(wěn)定在周期極狀態(tài),即暫混沌現(xiàn)象。通過MATLAB 編程,計(jì)算出Lyapunov exponents 為:L1=0.0042,L2=-0.2111,L3=-0.4702,L4=-0.8787。依據(jù)文獻(xiàn)Lyapunov 維數(shù)計(jì)算方法[14],得出DL=1.0199,表明該系統(tǒng)處在周期狀態(tài)。
圖5 暫混沌現(xiàn)象。(a) 時(shí)域圖;(b)x-z 相軌跡圖Fig.5 The phenomena of transitent chaos.(a)Time domain diagram;(b) x-z phase trajectory diagram
當(dāng)k=-0.39 時(shí),得到該系統(tǒng)狀態(tài)變量z的部分時(shí)域圖以及對應(yīng)的x-z相軌跡圖如圖6 所示。
根據(jù)圖6 可知,系統(tǒng)先從周期狀態(tài)過渡到混沌狀態(tài),經(jīng)過一段時(shí)間再過渡到另一種周期狀態(tài),并且這兩種周期狀態(tài)轉(zhuǎn)換均是通過混沌狀態(tài)(過渡狀態(tài))來實(shí)現(xiàn)的。隨著時(shí)間演變,這種混沌與周期相互交替出現(xiàn)的現(xiàn)象會(huì)不斷循環(huán)往復(fù)地進(jìn)行。通過MATLAB 編程,計(jì)算 出Lyapunov exponents 為:L1=0.0380,L2=-0.0001,L3=-0.6963,L4=-0.8913,計(jì)算出DL=2.0544,表明系統(tǒng)仍然處于混沌狀態(tài)。
圖6 混沌與周期相互交替出現(xiàn)的現(xiàn)象。(a)、(b)、(c)時(shí)域圖;(d)x-z 相軌跡圖Fig.6 The phenomena of chaos and cycle alternation.(a,b,c) Time domain diagram;(d) x-z phase trajectory diagram
然而,目前只在引入分?jǐn)?shù)階局部有源憶阻器的憶阻Jerk 多穩(wěn)態(tài)混沌系統(tǒng)中發(fā)現(xiàn)有混沌與周期相互交替的現(xiàn)象[15]。這種混沌與周期相互交替的現(xiàn)象與經(jīng)常被發(fā)現(xiàn)的暫混沌、暫周期[16]有所不同。經(jīng)查閱文獻(xiàn)可知,這種獨(dú)特的現(xiàn)象在Hopfiled 混沌神經(jīng)網(wǎng)絡(luò)中還未出現(xiàn)過。
為驗(yàn)證憶阻自突觸Hopfield 神經(jīng)網(wǎng)絡(luò)的復(fù)雜動(dòng)力學(xué)行為,采用改進(jìn)型模塊化電路的理念設(shè)計(jì)出MHANN 的模擬仿真電路如圖7 所示。該電路主要由四路模擬運(yùn)算電路組成,分別實(shí)現(xiàn)公式(3)中的狀態(tài)變量x、y、z、φ的數(shù)學(xué)運(yùn)算。該電路涉及到反相加法、反相積分、反相電路、憶阻器仿真電路和神經(jīng)元激活函數(shù)電路單元模塊。圖7 中藍(lán)色虛線圓內(nèi)的SC1、SC2、SC3代表神經(jīng)元激活函數(shù)-tanh(·)的子電路模塊[8],SC4代表憶阻器仿真電路的子電路模塊。
該電路實(shí)現(xiàn)需要用到的電路元器件有集成運(yùn)算放大器TL082CD,其供電電壓為±15 V,飽和電壓為±13.5 V,三極管MPS2222,模擬乘法器AD633,其增益為0.1。根據(jù)基爾霍夫電流定律,由仿真電路圖7可得到MAHNN 的電路狀態(tài)方程為:
圖7 MAHNN 的Multisim 仿真電路圖Fig.7 Multisim simulation circuit diagram of MAHNN
圖8 中Vx、Vy、Vz分別代表三個(gè)積分器電路電容上的電壓變量,Vφ代表憶阻器Memristor 內(nèi)部積分電路電容上的電壓變量,τ=RsC代表積分電路的時(shí)間常數(shù)。設(shè)置τ=0.1,固定電阻Rs=1 MΩ,電容C=C1=C2=C3=C4=0.1 μF,電阻R=10 kΩ。根據(jù)(3)式和(9)式,得出R1=Rs/1.5=666.67 kΩ,R2=Rs/2.8=357.14 kΩ,R3=Rs/0.5=2 MΩ,R4=Rs/1.5=666.67 kΩ,R5=Rs/1.2=833.33 kΩ,R6=Rs/20=50 kΩ。
在Multisim 的交互式仿真一欄設(shè)置初始值由用戶自定義,仿真最大步長為0.01 s。設(shè)置不同的初始值對系統(tǒng)進(jìn)行仿真,即可得到用戶所需的不同數(shù)據(jù)。由于MAHNN 只受參數(shù)k和狀態(tài)初值的影響,因此仿真電路只需考慮開關(guān)S、電阻Rm和電容上的電壓對仿真結(jié)果的影響。開關(guān)S 在1 處接通,代表(9)式中1/Rm的系數(shù)為負(fù),否則為正。電阻Rm=Rs/ |k| MΩ 是一個(gè)隨參數(shù)k變化的電阻。對(3)式進(jìn)行數(shù)值仿真時(shí),系統(tǒng)狀態(tài)初值(x0,y0,z0,φ0)=(0,±1,0,0),因此設(shè)定4 個(gè)電容的電壓初值為(0 V,?1 V,0 V,0 V)。開關(guān)S 在1 處接通,分別取k為-1,-0.62,-0.3,-0.1,則 相 應(yīng) 的Rm為1,1.61,3.33,10 MΩ,選擇開關(guān)S 與2 處接通,取k為0.4,1,則相應(yīng)的Rm為2.5,1 MΩ。對比圖4 和圖8,Multisim 電路仿真的相軌跡圖與數(shù)值仿真相軌跡圖一致,說明了憶阻自突觸Hopfield 神經(jīng)網(wǎng)絡(luò)理論分析和仿真電路設(shè)計(jì)的正確性。
圖8 MAHNN 的Multisim 相圖Fig.8 Multisim phase portraits of MAHNN
本文采用非理想磁控型憶阻器模擬3 階Hopfield神經(jīng)網(wǎng)絡(luò)的第3 個(gè)神經(jīng)元自突觸的電磁感應(yīng)效應(yīng),提出了一種憶阻自突觸Hopfield 神經(jīng)網(wǎng)絡(luò)模型。理論分析和數(shù)值仿真表明,該模型在確定的憶阻控制參數(shù)下存在兩個(gè)不穩(wěn)定的對稱鞍焦平衡點(diǎn),這可使該系統(tǒng)產(chǎn)生一對共存的混沌或周期吸引子。憶阻器獨(dú)特的非線性使得引入憶阻自突觸的HNN 還會(huì)出現(xiàn)混沌與周期交替的特殊現(xiàn)象,而這種現(xiàn)象目前只發(fā)現(xiàn)在引入分?jǐn)?shù)階局部有源憶阻器的Jerk 混沌系統(tǒng)中。前者較后者的顯著區(qū)別在于它出現(xiàn)在人工神經(jīng)網(wǎng)絡(luò)中,而它的發(fā)現(xiàn)也正符合人腦的神經(jīng)活動(dòng)有時(shí)會(huì)從混沌轉(zhuǎn)變?yōu)橹芷诘奶匦?。因此,研究憶阻自突觸神經(jīng)網(wǎng)絡(luò)可以為人腦神經(jīng)活動(dòng)的研究提供一定的參考價(jià)值。從動(dòng)力學(xué)角度分析憶阻自突觸神經(jīng)網(wǎng)絡(luò)的電活動(dòng),有助于深入了解混沌與周期交替現(xiàn)象在人腦正常和非正?;顒?dòng)等方面的作用,為人腦功能的理解提供神經(jīng)動(dòng)力學(xué)方面的解釋,進(jìn)而為治愈腦疾患者提供研究思路。最后,對MAHNN 模型進(jìn)行模擬等效電路設(shè)計(jì),并通過Multisim 電路仿真對其動(dòng)力學(xué)行為進(jìn)行了驗(yàn)證。仿真結(jié)果與數(shù)值仿真基本吻合,驗(yàn)證了MAHNN 理論設(shè)計(jì)的正確性。