自適應(yīng)突觸神經(jīng)元簡(jiǎn)化模型的動(dòng)力學(xué)與電路實(shí)現(xiàn)

朱永鑫，徐 權(quán)，陳 墨，侯莉萍，包伯成

（常州大學(xué)微電子與控制工程學(xué)院,江蘇常州 213164）

1 引言

神經(jīng)元是神經(jīng)系統(tǒng)的基本組成單位，其放電活動(dòng)往往可以表現(xiàn)出豐富的動(dòng)力學(xué)行為［1，2］.無論對(duì)生物神經(jīng)元還是神經(jīng)網(wǎng)絡(luò)，研究其動(dòng)力學(xué)行為都是非常必要的［3］.神經(jīng)系統(tǒng)是生物傳遞信息的重要媒介，而神經(jīng)元之間的動(dòng)作電位則承擔(dān)著處理這些信息的職責(zé)［4］.在神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)或演化過程中，神經(jīng)元放電行為會(huì)受到時(shí)間和突觸的影響，它們同時(shí)發(fā)生且相互作用［5］.文獻(xiàn)［6］證實(shí)了顳下皮層自適應(yīng)神經(jīng)元在短時(shí)記憶過程中存在突觸的記憶痕跡.

人工神經(jīng)網(wǎng)絡(luò)的靈感來源于大腦中存在的神經(jīng)網(wǎng)絡(luò)［7，8］，它有著廣泛的應(yīng)用前景，例如數(shù)據(jù)存儲(chǔ)、信號(hào)檢測(cè)和溫度補(bǔ)償?shù)龋?］.在人工神經(jīng)網(wǎng)絡(luò)中，激活函數(shù)起到非常重要的作用，它有助于理解輸入、輸出的非線性和復(fù)雜映射關(guān)系［10］.近年來，越來越多的學(xué)者開始研究神經(jīng)網(wǎng)絡(luò)中激活函數(shù)的動(dòng)力學(xué)效應(yīng).Hikawa提出了以分段線性函數(shù)作為激活函數(shù)的新型數(shù)字脈沖神經(jīng)元，提高了學(xué)習(xí)的收斂速度和泛化能力［11］.Apicella等認(rèn)為可學(xué)習(xí)的、適應(yīng)性的激活函數(shù)可以提高神經(jīng)網(wǎng)絡(luò)的性能［12］.由此可見，激活函數(shù)是神經(jīng)元及人工神經(jīng)網(wǎng)絡(luò)的重要組成部分.

基于模擬電路或數(shù)字電路設(shè)計(jì)的電子神經(jīng)元，對(duì)人工神經(jīng)網(wǎng)絡(luò)的硬件實(shí)現(xiàn)具有重要意義［13～15］.由于一些神經(jīng)元涉及到復(fù)雜的非線性項(xiàng)，使得神經(jīng)元難以硬件電路實(shí)現(xiàn).根據(jù)目前報(bào)道的有關(guān)神經(jīng)元文獻(xiàn)中，大多數(shù)神經(jīng)元的激活函數(shù)為指數(shù)多項(xiàng)式函數(shù)和雙曲正切復(fù)合函數(shù)兩大類.指數(shù)多項(xiàng)式函數(shù)需要用到乘法器模塊，實(shí)現(xiàn)難度大；雙曲正切復(fù)合函數(shù)則需要多組電流鏡像模塊［16］，導(dǎo)致激活函數(shù)實(shí)現(xiàn)成本高、設(shè)計(jì)難度大、不易大規(guī)模電路實(shí)現(xiàn).該文在設(shè)計(jì)激活函數(shù)時(shí)，采用兩個(gè)簡(jiǎn)單函數(shù)分別對(duì)不同局部曲線特征進(jìn)行擬合，使得激活函數(shù)中電流鏡像模塊數(shù)量比文獻(xiàn)［16］中的減少了2組，有效降低了神經(jīng)元模型實(shí)現(xiàn)的復(fù)雜度，并且保留了自適應(yīng)突觸神經(jīng)元的主要?jiǎng)恿W(xué)特征.

2 神經(jīng)元數(shù)學(xué)模型

2.1 自適應(yīng)突觸神經(jīng)元

由輸入ui和輸出Vi構(gòu)成的單個(gè)神經(jīng)元，用一個(gè)狀態(tài)方程來描述神經(jīng)元的放電行為［14］

其中，τi是電路積分時(shí)間常數(shù)，Ii為外加刺激.式（1）的狀態(tài)方程僅適用于固定的神經(jīng)元連接情況，且Tij與時(shí)間常數(shù)無關(guān)，當(dāng)神經(jīng)元突觸與時(shí)間相關(guān)聯(lián)時(shí)，需要引入第二個(gè)方程來描述自適應(yīng)突觸神經(jīng)元.因此，一種具有自適應(yīng)突觸的單神經(jīng)元模型可簡(jiǎn)寫為

其中，u是膜電位，s是突觸變量，α是可變正參數(shù)，時(shí)間常數(shù)固定為1.此外，外加刺激為

根據(jù)文獻(xiàn)［16］，式（2）中兩個(gè)激活函數(shù)H1和H2所采用的擬合激活函數(shù)可以統(tǒng)一描述為

自適應(yīng)突觸神經(jīng)元模型中外加刺激幅值為A=1，雙曲正切函數(shù)的斜坡梯度為κ=5.通過Multisim 電路仿真軟件，可模擬出自適應(yīng)突觸神經(jīng)元在主要放電活動(dòng)（混沌狀態(tài)）時(shí)H（1ξ）和H（2ξ）的局部曲線特征如圖1（a）所示.因此，H（1ξ）的曲線特征是式（4）中激活函數(shù)H（ξ）的上升沿特征，而H（2ξ）的曲線特征則是式（4）中激活函數(shù)H（ξ）的右側(cè)下降沿特征，且兩個(gè)曲線特征都是單調(diào)、有界且光滑的.

圖1 激活函數(shù)局部曲線特征及其擬合曲線特征

可考慮采用兩個(gè)簡(jiǎn)單的非線性函數(shù)擬合神經(jīng)元在主要放電活動(dòng)時(shí)的局部曲線特征，實(shí)現(xiàn)激活函數(shù)的簡(jiǎn)化，其數(shù)學(xué)表達(dá)式為

MATLAB 數(shù)值仿真可得到式（5）中兩個(gè)擬合函數(shù)F（ξ）和G（ξ）的傳遞特性曲線，如圖1（c）、圖1（d）所示.比較圖1（a）、圖1（b），圖1（c）、圖1（d），結(jié)果說明F（ξ）和G（ξ）能夠較好地?cái)M合H（1ξ）和H（2ξ）在神經(jīng)元放電活動(dòng)時(shí)的主要曲線特征，即采用兩個(gè)簡(jiǎn)單的非線性函數(shù)代替原復(fù)雜激活函數(shù)的方法是可行的.因此，式（2）可改寫為

式（6）為所提出的自適應(yīng)突觸神經(jīng)元簡(jiǎn)化模型，后續(xù)分析中簡(jiǎn)稱為模型（6）.

2.2 平衡點(diǎn)及穩(wěn)定性分析

根據(jù)模型（6），可得到簡(jiǎn)化神經(jīng)元模型的平衡點(diǎn)表達(dá)式為

其中，η2=F（2η1）.由超越方程

可解出η1的值.

在平衡點(diǎn)S處的雅克比矩陣為

其中，F(xiàn)'和G'分別是F和G關(guān)于時(shí)間t的導(dǎo)數(shù)，且有

相應(yīng)地，特征多項(xiàng)式為

式（11）中，

可計(jì)算出式（11）的特征根為

以下列出了7種不同特征根情形，對(duì)應(yīng)了不同的平衡點(diǎn)穩(wěn)定性.

情形1：m1=0 且m2＞0.λ1和λ2都是純虛數(shù)，表明在S點(diǎn)處發(fā)生了Hopf分岔.

情形2：m1＞0且m2=0.λ1是零根，λ2是負(fù)實(shí)根，表明在S點(diǎn)處發(fā)生了折疊分岔.

情形3：m1＞0 且m2＜0.λ1是一個(gè)正實(shí)根，λ2是負(fù)實(shí)根，表明S點(diǎn)是不穩(wěn)定鞍點(diǎn).

情形4：m1＜0且m2＞0，m21-4m2≥0.λ1和λ2都是正實(shí)根，表明S點(diǎn)是不穩(wěn)定結(jié)點(diǎn).

情形5：m1＜0且m21-4m2＜0.λ1和λ2是一對(duì)實(shí)部為正的共軛復(fù)根，表明S點(diǎn)是不穩(wěn)定焦點(diǎn).

情形6：m1＞0，m2＞0且m21-4m2≥0.λ1和λ2都是負(fù)的實(shí)根，表明S點(diǎn)是穩(wěn)點(diǎn)結(jié)點(diǎn).

情形7：m1＞0，m2＞0 且m21-4m2＜0.λ1和λ2是一對(duì)實(shí)部為負(fù)的共軛復(fù)根，表明S點(diǎn)是穩(wěn)定焦點(diǎn).

設(shè)定時(shí)間t在（It）的一個(gè)周期內(nèi)從0到1變化，選取典型參數(shù)為α=2，κ=5，A=1和F=1，由特征根λ1，2確定的平衡點(diǎn)穩(wěn)定性可很好地刻畫出來，如圖2所示.其中，黃色、粉色、藍(lán)色和綠色線段分別代表著穩(wěn)定結(jié)點(diǎn)（Stable Node Point，SNP）、不穩(wěn)定結(jié)點(diǎn)（Unstable Node Point，UNP）、穩(wěn)定焦點(diǎn)（Stable Node Focus，SNF）和不穩(wěn)定焦點(diǎn)（Unstable Node Focus，UNF）.另外，由方框標(biāo)注出的穩(wěn)定性轉(zhuǎn)換點(diǎn)代表Hopf 分岔點(diǎn)（Hopf Bifurcation Point，HBP）.這里，情形3中的情況不存在，且不存在折疊分岔點(diǎn).由圖2可觀察到，當(dāng)時(shí)間t在一個(gè)完整的周期內(nèi)增加時(shí)，始終具有3 個(gè)平衡點(diǎn)，隨著時(shí)間變化，經(jīng)由Hopf 分岔，SNF轉(zhuǎn)變?yōu)閁NF，或者UNF轉(zhuǎn)變?yōu)镾NF.

圖2 簡(jiǎn)化神經(jīng)元模型隨時(shí)間變化的平衡點(diǎn)穩(wěn)定性

3 數(shù)值仿真

基于MATLAB ODE45算法（時(shí)間步長(zhǎng)為0.01），利用分岔圖和李雅普諾夫指數(shù)譜對(duì)模型（6）進(jìn)行動(dòng)力學(xué)分析［17］.

模型（6）中典型參數(shù)κ=5，A=1和F=1保持不變，參數(shù)α作為分岔參數(shù)且變化區(qū)間為［0，7］.當(dāng)初始值固定為（0，0）時(shí)，模型（6）中變量u的最大值分岔如圖3（a）及其李雅普諾夫指數(shù)譜如圖3（b）所示.不難觀察到，圖3中的分岔圖和李雅普諾夫指數(shù)所描述的動(dòng)力學(xué)行為是基本一致的.當(dāng)α從0開始逐漸增加時(shí)，模型（6）的運(yùn)行軌跡由周期1極限環(huán)出發(fā)，演變?yōu)槎嘀芷跔顟B(tài)，當(dāng)α=1.34時(shí)，由混沌危機(jī)進(jìn)入混沌狀態(tài)；當(dāng)α=4.92時(shí)，由切分岔進(jìn)入周期2極限環(huán)；當(dāng)α=5.28時(shí)，再次回到周期1極限環(huán).

圖3 模型(6)的分岔圖與李雅普諾夫指數(shù)譜

需說明的是，當(dāng)α=2.5 時(shí)，圖3 中的分岔圖為混沌狀態(tài)，而李雅普諾夫指數(shù)則為周期狀態(tài)，出現(xiàn)了兩者所描述的動(dòng)力學(xué)行為不一致的現(xiàn)象，這是由于模型（6）在此參數(shù)處存在瞬態(tài)混沌現(xiàn)象.選取四組典型狀態(tài)下的參數(shù)α的值，分別取1、1.2、2和5，數(shù)值仿真得到三組共存的多周期極限環(huán)和一組混沌雙渦卷吸引子的相平面圖，如圖4所示.

圖4 不同參數(shù)α?xí)r在u-s平面上的相軌圖

4 電路設(shè)計(jì)和實(shí)驗(yàn)驗(yàn)證

利用商用分立元器件，對(duì)自適應(yīng)突觸神經(jīng)元簡(jiǎn)化模型進(jìn)行模擬電路設(shè)計(jì).通過制作印刷電路板，將實(shí)驗(yàn)所需元器件焊接在印刷電路板上，由硬件實(shí)驗(yàn)驗(yàn)證數(shù)值仿真的正確性.

4.1 模擬電路設(shè)計(jì)

自適應(yīng)突觸神經(jīng)元簡(jiǎn)化模型所采用的兩個(gè)激活函數(shù)是由不同偏移量的雙曲正切函數(shù)表示的.利用文獻(xiàn)［18］可設(shè)計(jì)出所需激活函數(shù)的實(shí)現(xiàn)電路，如圖5（a）和5（b）所示.其中，電流源I0可由三極管對(duì)、三個(gè)電阻和一個(gè)輸入電壓等效實(shí)現(xiàn).特別是，圖5（b）中tanh（·）單元模塊的運(yùn)算放大器Ui的反向輸入端并聯(lián)了一個(gè)輸入偏置電壓V1，運(yùn)算放大器Uo2的反向輸入端并聯(lián)了一個(gè)輸出偏置電壓V2，通過此連接方式，構(gòu)建了模型（6）激活函數(shù)G（·）的電路模塊.

在激活函數(shù)電路模塊中，電阻參數(shù)R=10 kΩ、RF=2.6 kΩ、RC=1 kΩ、Rk=5 kΩ，輸入電壓E=15 V，電流源I0=1.10 mA，以及偏置電壓V1=1.5 V，V2=1 V.當(dāng)輸入電壓vi時(shí)，圖5（a）和5（b）中激活函數(shù)電路模塊的輸入-輸出關(guān)系可以描述為

其中，m=R/Rk=2、κ=RF/2RVT=5 V-1.因此，式（5）描述的簡(jiǎn)化激活函數(shù)是可以用商用分立元器件來實(shí)現(xiàn)的.

基于圖5（a）和5（b）所示的激活函數(shù)電路模塊，可設(shè)計(jì)出圖5（c）的自適應(yīng)突觸神經(jīng)元簡(jiǎn)化模型的主電路.與文獻(xiàn)［16］所設(shè)計(jì)的激活函數(shù)電路模塊相比，圖5 中的簡(jiǎn)化激活函數(shù)電路模塊節(jié)省了37 個(gè)電阻、8 個(gè)三極管、9 個(gè)運(yùn)算放大器、2 個(gè)偏置電壓，大大減少了實(shí)驗(yàn)成本以及實(shí)現(xiàn)電路的復(fù)雜度.以兩個(gè)積分通道中的電容電壓vu和vs為狀態(tài)變量，其電路方程描述為

圖5 自適應(yīng)突觸神經(jīng)元簡(jiǎn)化模型的模擬實(shí)現(xiàn)電路

令t'=RCt，進(jìn)行時(shí)間尺度變換，則工作頻率f=F（/RC）.外部輸入電壓可重寫為

實(shí)驗(yàn)中選取積分時(shí)間常數(shù)為RC=10 kΩ ×100 nF=1 ms.因此實(shí)際工作頻率為f=F（/RC）=1 kHz.另外，乘法器增益選取g1=g2=1.本次實(shí)驗(yàn)選取參數(shù)α=1、1.2、2和5作為例子，它們所對(duì)應(yīng)的理論阻值分別為Rα1=Rα2=10 kΩ、8.33 kΩ、5 kΩ和2 kΩ.

4.2 硬件實(shí)驗(yàn)驗(yàn)證

硬件實(shí)驗(yàn)采用精密可調(diào)電位器、貼片電阻、陶瓷電容、三極管MPS2222、運(yùn)算放大器（TL082CP 和AD711JN）、乘法器AD633 和±15 V 直流電壓源.根據(jù)圖5 原理圖，利用Altium Designer 繪制實(shí)驗(yàn)所需的印刷電路板.自適應(yīng)突觸神經(jīng)元簡(jiǎn)化模型的硬件實(shí)驗(yàn)電路板如圖6 所示.此外，在供電電壓源兩端并聯(lián)1 個(gè)100 nF的電容，起高頻濾波作用.

圖6 自適應(yīng)突觸神經(jīng)元簡(jiǎn)化模型的硬件實(shí)驗(yàn)電路板

通過數(shù)字示波器可以測(cè)試出簡(jiǎn)化激活函數(shù)電路模塊的傳輸特性曲線.在硬件實(shí)驗(yàn)測(cè)量中，F(xiàn)（·）模塊的RF為2.43 kΩ，RW（調(diào)節(jié)電流源I0）為9.35 kΩ；G（·）模塊的RF為2.57 kΩ，RW為10.27 kΩ.兩個(gè)電路模塊的參數(shù)不一致是硬件實(shí)驗(yàn)的寄生參數(shù)、測(cè)量誤差等因素所導(dǎo)致的.

將調(diào)好的簡(jiǎn)化激活函數(shù)電路模塊連接到積分通道主電路中，外接信號(hào)發(fā)生器所產(chǎn)生的正弦信號(hào)VI=sin（2000πt）V，以及連接±15 V 直流電壓源至各電路模塊中.當(dāng)Rα1和Rα2分別為四組阻值時(shí)（對(duì)應(yīng)于α=1、1.2、2 和5），實(shí)驗(yàn)捕獲的在vu-vs平面上的相軌圖如圖7 所示，實(shí)驗(yàn)結(jié)果與圖4 的數(shù)值仿真結(jié)果一致.同樣地，因寄生參數(shù)和測(cè)量誤差等因素的影響，Rα1和Rα2的實(shí)際阻值與理論阻值存在一定差異.

圖7 當(dāng)Rα1、Rα2為不同阻值時(shí)，實(shí)驗(yàn)捕獲的相軌圖

5 結(jié)論

自適應(yīng)突觸神經(jīng)元主要放電活動(dòng)時(shí)，兩個(gè)激活函數(shù)只呈現(xiàn)出局部曲線特征.基于激活函數(shù)的局部曲線特征，本文采用兩個(gè)簡(jiǎn)化激活函數(shù)擬合原有的激活函數(shù)，提出了一種自適應(yīng)突觸神經(jīng)元簡(jiǎn)化模型.簡(jiǎn)化模型有效降低了自適應(yīng)突觸神經(jīng)元的理論分析復(fù)雜度和硬件電路實(shí)現(xiàn)成本，且有利于大規(guī)模神經(jīng)網(wǎng)絡(luò)的集成電路設(shè)計(jì).本文闡述了平衡點(diǎn)穩(wěn)定性的演化機(jī)理，外部刺激的變化使得穩(wěn)定和不穩(wěn)定平衡態(tài)經(jīng)由Hopf分岔發(fā)生了轉(zhuǎn)移.數(shù)值仿真觀察到了自適應(yīng)突觸神經(jīng)元在不同參數(shù)時(shí)所呈現(xiàn)的豐富放電行為.最后，設(shè)計(jì)了模擬實(shí)現(xiàn)電路，制作了印刷電路板，并進(jìn)行了硬件實(shí)驗(yàn).實(shí)驗(yàn)結(jié)果與數(shù)值仿真完全一致，驗(yàn)證了該方案的可行性.