NbOx 憶阻神經(jīng)元的設(shè)計(jì)及其在尖峰神經(jīng)網(wǎng)絡(luò)中的應(yīng)用*

古亞娜 梁燕? 王光義 夏晨陽(yáng)

1) (杭州電子科技大學(xué)電子信息學(xué)院,杭州 310018)

2) (中國(guó)礦業(yè)大學(xué)電氣工程學(xué)院,江蘇省煤礦電氣與自動(dòng)化工程實(shí)驗(yàn)室,徐州 221116)

1 引言

自1971 年提出憶阻器的概念[1],到2008 年惠普實(shí)驗(yàn)室報(bào)道了憶阻器[2]的物理實(shí)現(xiàn),圍繞憶阻器的相關(guān)研究層出不窮.針對(duì)高效能計(jì)算面臨的存儲(chǔ)墻和功耗墻問(wèn)題,憶阻器由于其低功耗、納米級(jí)、可擴(kuò)展性和非易失性等特點(diǎn)[3-6],成為制造人工神經(jīng)元和突觸的理想候選者,在神經(jīng)形態(tài)計(jì)算領(lǐng)域具有巨大的應(yīng)用前景.

憶阻器分為無(wú)源憶阻器和局部有源憶阻器,無(wú)源憶阻器由于其電導(dǎo)可控性和非易失性,可以用來(lái)模擬生物突觸[7].局部有源憶阻器利用其負(fù)微分電阻(negative differential resistance,NDR)特性,可實(shí)現(xiàn)對(duì)無(wú)限小信號(hào)的放大,進(jìn)而具有將直流信號(hào)轉(zhuǎn)換為交流信號(hào)的能力,可用于構(gòu)建人工神經(jīng)元[8].

2014 年蔡少棠教授提出局部有源是復(fù)雜性的起源,復(fù)雜和豐富的動(dòng)力學(xué)行為僅出現(xiàn)在局部有源系統(tǒng)[9-12].局部有源憶阻器(locally-active memristor,LAM),不同于無(wú)源憶阻器,其直流電壓-電流(V-I)特性中一定存在NDR,即負(fù)斜率區(qū)域.研究表明,NbOx,TaOx,TiOx和VO2是一類可展現(xiàn)局部有源特性的憶阻材料[13].

目前,局部有源憶阻器的理論分析主要針對(duì)通用型LAM 的理論模型,對(duì)擴(kuò)展型LAM 器件的物理模型研究較少.文獻(xiàn)[14]根據(jù)蔡氏展開(kāi)定理提出了一種通用型LAM 的理論模型,并構(gòu)建了周期和混沌振蕩電路,采用小信號(hào)分析、Hopf 分岔分析等方法研究了LAM 小信號(hào)等效電路和振蕩電路.文獻(xiàn)[15]針對(duì)蔡氏結(jié)型憶阻器展開(kāi)了理論分析,并采用小信號(hào)分析等方法確定了二階振蕩電路的結(jié)構(gòu)及參數(shù)取值范圍,為壓控型LAM 振蕩電路的設(shè)計(jì)奠定了理論基礎(chǔ).

已有相關(guān)研究成果表明,LAM 可用于構(gòu)建人工神經(jīng)元,其具有全或無(wú)、動(dòng)作電位、尖峰周期振蕩等神經(jīng)行為.文獻(xiàn)[16]采用蔡氏結(jié)型憶阻器小信號(hào)等效電路參數(shù)精確定位其混沌邊緣的條件,并設(shè)計(jì)了基于蔡氏結(jié)型憶阻器的神經(jīng)元電路,驗(yàn)證了其具有的典型神經(jīng)形態(tài)行為.文獻(xiàn)[17]主要采用兩個(gè)納米級(jí)VO2LAM 和兩個(gè)電容構(gòu)建了HH (Hodgkin-Huxley)神經(jīng)元模型,實(shí)驗(yàn)結(jié)果表明其具有23 種神經(jīng)形態(tài)行為.文獻(xiàn)[18]中提出了一個(gè)非易失的LAM 數(shù)學(xué)模型,并將其應(yīng)用在HR (Hindmarsh-Rose)神經(jīng)元中,可產(chǎn)生四種共存的神經(jīng)脈沖行為.文獻(xiàn)[19]基于NbOxLAM 設(shè)計(jì)了一種LIF(leaky integrate-and-fire)神經(jīng)元,并將SFA (spike frequency adaptation) 行為整合到神經(jīng)元中,建立了相應(yīng)的自適應(yīng)神經(jīng)元模型.

神經(jīng)形態(tài)計(jì)算因其低能耗而受到了廣泛的關(guān)注[20],受大腦啟發(fā)的神經(jīng)形態(tài)硬件也已經(jīng)顯示出了在節(jié)能計(jì)算方面的巨大潛力.2017 年,文獻(xiàn)[21]提出了一種稱為記憶訓(xùn)練的憶阻器架構(gòu),用于在RRAM內(nèi)存中實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練.文獻(xiàn)[22]建立了一個(gè)全憶阻尖峰神經(jīng)網(wǎng)絡(luò)(256×5),并通過(guò)實(shí)驗(yàn)驗(yàn)證了其奧利維蒂的面部模式識(shí)別功能.

在眾多LAM 納米器件中,NbOxMott 憶阻器件在神經(jīng)形態(tài)計(jì)算中應(yīng)用較多[23,24].它的開(kāi)關(guān)行為可以通過(guò)與熱反饋效應(yīng)相關(guān)的弗倫克爾-普爾傳導(dǎo)機(jī)制解釋,但其物理模型的復(fù)雜性使得對(duì)其電路理論分析更加困難,同時(shí)也使得NbOx憶阻器在周期振蕩器、尖峰神經(jīng)元方面的應(yīng)用缺乏電路理論依據(jù),故對(duì)其物理模型的理論分析是至關(guān)重要的.

本文針對(duì)NbOx憶阻器的物理模型展開(kāi)了深入的理論研究,在第2 節(jié)中分析了NbOx憶阻器的直流V-I特性、小信號(hào)分析、頻率響應(yīng)以及Hopf分岔點(diǎn).第3 節(jié)中建立了一個(gè)基于NbOx憶阻器的二階電路,分析了二階電路的雅可比矩陣特征根的位點(diǎn)變化情況和二階電路振蕩的條件.第4 節(jié)在二階電路的基礎(chǔ)上添加了一個(gè)運(yùn)算放大器構(gòu)成尖峰神經(jīng)元,并設(shè)計(jì)了尖峰神經(jīng)網(wǎng)絡(luò),用于模式識(shí)別.

2 NbOx 憶阻器物理模型及其特性分析

NbOxLAM 具有電流控制的S 型NDR 特性,其開(kāi)關(guān)行為可以通過(guò)與熱反饋效應(yīng)相關(guān)的弗倫克爾-普爾式傳導(dǎo)機(jī)制來(lái)解釋,其電壓-電流關(guān)系被描述為[25]

其中vm表示憶阻器兩端的電壓;im表示通過(guò)憶阻器的電流;T是憶阻器內(nèi)部的溫度(狀態(tài)變量);R0,α0,α1和α2是模型的參數(shù);Cth和Γth分別表示熱電容和電導(dǎo);Tamb代表環(huán)境溫度.模型參數(shù)的取值為

2.1 捏滯曲線

蔡少棠教授在2011 年撰文提出,不管何種阻變材料或何種物理機(jī)制,二端器件只要能夠展現(xiàn)出捏滯曲線(pinched hysteresis loop,PHL)這一特征,就是憶阻器[26].之后他又于2013 年總結(jié)了憶阻器的三個(gè)典型特性[27].

當(dāng)憶阻器的激勵(lì)為v(t)=2 sin(2πft)正弦電壓信號(hào),頻率分別為1 MHz,10 MHz 和1 GHz 時(shí),S 型NbOxLAM 的vm-im特性曲線如圖1 所示.從圖1 中可以觀察到,S 型LAM 在一個(gè)零均值的正弦信號(hào)下,其PHL 分布在vm-im平面上的第一象限和第三象限.此外,圖1 還表明了PHL 的頻率依賴性:PHL 的閉合面積隨著頻率的增加而單調(diào)減小,最終收縮為一條直線.

圖1 S 型NbOx LAM響應(yīng) 于1 MHz,10 MHz,1 GHz 的正弦信號(hào)的捏滯曲線Fig.1.Pinch hysteresis curves of S-type NbOx LAM in response to sinusoidal signals at 1 MHz,10 MHz and 1 GHz.

2.2 直流電壓-電流特性

當(dāng)不同的直流電流I輸入NbOx憶阻器時(shí),可以得到憶阻器的一組電壓電流數(shù)據(jù),其直流V-I曲線如圖2(a)所示.圖2(a)電流掃描下的直流V-I圖具有連續(xù)的S 型NDR 行為.NDR 區(qū)域顯示為藍(lán)色區(qū)域,其中電流和電壓范圍分別為(0.004 A,0.072 A)和(0.1768 V,0.390 V).從NbOx憶阻器的直流V-I圖中可知,如果施加直流電流激勵(lì)I(lǐng)=I0,則有唯一的電壓值V0與其對(duì)應(yīng),靜態(tài)工作點(diǎn)為Q(V0,I0).但如果是直流電壓激勵(lì)V=V0,R=0,圖2(b)所示的圖解法表明V=V0與憶阻器S 型NDR 特性有三個(gè)交點(diǎn)Qa(V0,Ia),Q0(V0,I0)和Qb(V0,Ib).其中,Qa和Qb是穩(wěn)定的工作點(diǎn),Q0是不穩(wěn)定的工作點(diǎn)[28].當(dāng)串聯(lián)電阻R滿足一定條件時(shí)可使得NDR 區(qū)域內(nèi)的工作點(diǎn)Q0穩(wěn)定,圖2(b)中的紅色實(shí)線是負(fù)載線I=(VD-V)/R.

圖2 NbOx LAM 的直流V-I 圖 (a) 淺藍(lán)色部分是憶阻器的NDR 區(qū);(b) 紅色線是負(fù)載線,插圖為電壓偏置電路Fig.2.DC V-I plot of NbOx LAM:(a) The light blue part is the NDR region of the memristor;(b) the red line is the load line and the inset is the bias circuit with DC voltage supply.

參數(shù)I1,I2,V1和V2決定了產(chǎn)生振蕩的靜態(tài)工作點(diǎn)區(qū)間.因此,為了使該憶阻器產(chǎn)生振蕩行為,施加的直流電流激勵(lì)范圍是I1—I2,直流電壓激勵(lì)需滿足I1R+V1＜V＜I2R+V2.此外,串聯(lián)電阻R應(yīng)滿足其電導(dǎo)值小于工作點(diǎn)處的斜率,即

2.3 小信號(hào)分析

為了對(duì)NbOx憶阻器的局部有源特性展開(kāi)定量分析,采用局部線性化方法,即忽略在工作點(diǎn)處泰勒展開(kāi)式中的高階非線性項(xiàng).假設(shè)在直流工作點(diǎn)Q(V0,I0)處施加一個(gè)小信號(hào)電壓δV,產(chǎn)生響應(yīng)δT和δi.因此,憶阻器電壓vm、電流im和溫度T可表示為

其中V0=v(Q),T0=T(Q),I0=i(Q).因?yàn)槭窃谥绷鞴ぷ鼽c(diǎn)處對(duì)憶阻器進(jìn)行分析,所以關(guān)于狀態(tài)變量T的微分方程取值為0,即憶阻器在直流工作點(diǎn)處的狀態(tài)變量T0滿足

對(duì)憶阻器數(shù)學(xué)模型(1)式在工作點(diǎn)Q處進(jìn)行泰勒級(jí)數(shù)展開(kāi)可得

其中h(T0,V0)是定義NbOx憶阻器的狀態(tài)微分方程在工作點(diǎn)處的值,由于靜態(tài)工作點(diǎn)處的狀態(tài)變量是一定值,即狀態(tài)微分方程取值為0,故h(T0,V0)=0.然后對(duì)(5)式進(jìn)行拉普拉斯變換,令可以得到s域的泰勒級(jí)數(shù)展開(kāi)式:

其中參數(shù)a11,a12,b11,b12表示為

其中Lx=1/(a12b11),Ry=1/a11,Rx=—b12/(a12b11),取值由直流工作點(diǎn)決定.圖3 給出了h(V0,T)與溫度T的變化關(guān)系,曲線與x軸的交點(diǎn)是dT/dt=0 的點(diǎn),也叫平衡點(diǎn),P1和P3兩點(diǎn)的左邊dT/dt＞0,右邊dT/dt＜ 0,所以P1點(diǎn)和P3點(diǎn)是穩(wěn)定的平衡點(diǎn),同理P2點(diǎn)是不穩(wěn)定的平衡點(diǎn).另一方面,P1和P3點(diǎn)的斜率小于0,即b12＜ 0,P2點(diǎn)的斜率大于0,即b12＞ 0.所以可以得出,當(dāng)工作點(diǎn)處的小信號(hào)等效電路中的b12＞ 0 時(shí),該工作點(diǎn)是不穩(wěn)定的,當(dāng)工作點(diǎn)處的小信號(hào)等效電路中的參數(shù)b12＜ 0 時(shí),該工作點(diǎn)是穩(wěn)定的.

圖3 h (V0,T)與溫度T 的關(guān)系圖Fig.3.Relationship between h (V0,T) and temperature T.

將工作點(diǎn)Q(0.008 A,0.3003 V)處的取值代入,可以求得a11=0.0286,a12=4.3873 × 10—5,b11=1.2526 × 1011,b12=5.4481 × 107,可以看出所選取的工作點(diǎn)Q處的參數(shù)b12＞ 0,所以Q點(diǎn)是一個(gè)不穩(wěn)定的工作點(diǎn),需要電流激勵(lì)來(lái)使得工作點(diǎn)穩(wěn)定.將a11,a12,b11,b12的值代入(12)式,得到小信號(hào)等效電路中各個(gè)元件的取值分別為L(zhǎng)x=5.346 × 10—8H,Ry=8.266 Ω,Rx=—1.83 Ω,如圖4(a)所示.圖4(b)—(d)給出了不同工作點(diǎn)對(duì)應(yīng)的小信號(hào)等效電路的電路參數(shù)取值.藍(lán)色的曲線是電壓vm,電流im和等效電路中的三個(gè)線性元件之間的依賴關(guān)系,棕色的曲線是藍(lán)色曲線在vm-Rx,vm-Lx,vm-Ry平面上的投影,綠色曲線是在im-Rx,im-Lx,im-Ry平面上的投影,紅色曲線是在im-vm平面上的投影,除此之外,還給出了在NbOx憶阻器的NDR 區(qū)的等效元件結(jié)果,從局部放大圖中可以看出NDR 區(qū)域內(nèi),小信號(hào)等效元件Rx總為負(fù),小信號(hào)等效元件Lx和Ry總為正.其中,負(fù)電阻Rx可為憶阻振蕩電路提供能量,電感Lx使得憶阻器呈現(xiàn)感性.

圖4 (a) NbOx-Mott 憶阻器在工作點(diǎn)Q (0.008 A,0.3003 V)處的小信號(hào)等效電路模型;(b) Rx 對(duì)工作點(diǎn)的依賴性;(c) Lx 對(duì)工作點(diǎn)的依賴性;(d) Ry 對(duì)工作點(diǎn)的依賴性Fig.4.(a) Small-signal equivalent circuit model of NbOx-Mott memristor at the operating point Q (0.008 A,0.3003 V);(b) the dependence of Rx on the operating point;(c) the dependence of Lx on the operating point;(d) the dependence of Ry on the operating point.

由于NbOx憶阻器的小信號(hào)等效電路包含一個(gè)正電感,所以需要并聯(lián)電容來(lái)使電路以一定的頻率振蕩.為了確定并聯(lián)電容C的取值范圍,需要計(jì)算憶阻器導(dǎo)納的頻率響應(yīng)Y(iω,V0).

令s=iω可以得到憶阻器等效導(dǎo)納在工作點(diǎn)Q處的頻率響應(yīng)為

其中,實(shí)部和虛部分別為

在—1×108rad/s ＜ω＜ 1×108rad/s 范圍內(nèi),NbOxLAM 在I=0.008 A 處的實(shí)部和虛部的變化情況如圖5(a)所示.從圖5(a)可以觀察到,導(dǎo)納函數(shù)的虛部隨頻率的增大先增大再減小再增大,在ω＞ 0的范圍內(nèi)始終為負(fù).奈奎斯特如圖5(b)所示,當(dāng)實(shí)部為0 時(shí),|ω*|=8.68×107,該頻率為憶阻器在I=0.008 A 處的臨界振蕩頻率,在正的ω*處ImY(iω,V0)大于0,說(shuō)明憶阻器在振蕩頻率ω*=8.68×107處是感性的,因此,需要并聯(lián)電容補(bǔ)償導(dǎo)納的虛部,使復(fù)合電路的總導(dǎo)納虛部為零,可得并聯(lián)電容的臨界值C*滿足ω*C*+ImY(iω*,V)=0,即C*=0.524 nF,當(dāng)I=0.008 A 時(shí),滿足C＞C*電路才會(huì)產(chǎn)生振蕩,C*為該電路振蕩的Hopf 分岔點(diǎn).

圖5 (a) I=0.008 A 時(shí)的實(shí)部虛部的頻率響應(yīng);(b) 奈奎斯特圖Fig.5.(a) Frequency responses of the real and imaginary parts at I=0.008 A;(b) Nyquist plot.

3 基于NbOx 憶阻器的二階振蕩器

根據(jù)上述分析,由直流電流源、LAM 和補(bǔ)償電容器一起構(gòu)成的二階振蕩電路如圖6 所示.其中Cp為器件本身的寄生電容,電容值在100 pF左右[29],由于本文所采用的電容C取值為20 nF,遠(yuǎn)大于器件自身的電容效應(yīng),因此在電路分析時(shí)該器件的電容效應(yīng)可以忽略.基于基爾霍夫定律和電路元件的伏安關(guān)系,電路的狀態(tài)方程可以表示為

圖6 二階振蕩電路Fig.6.Second-order oscillator circuit.

3.1 Jacobian 矩陣的特征根

除了采用NbOx憶阻器小信號(hào)導(dǎo)納函數(shù)的頻率響應(yīng)來(lái)確定滿足二階電路振蕩條件外,還可以通過(guò)計(jì)算平衡點(diǎn)處雅可比矩陣特征根來(lái)判斷該平衡點(diǎn)的穩(wěn)定性,進(jìn)而確定Hopf 分岔點(diǎn).當(dāng)輸入的直流電流激勵(lì)I(lǐng)=0.008 A 時(shí),S 型LAM 的工作點(diǎn)為Q(0.30032 V,0.008 A),利用Jacobian 矩陣的特征值來(lái)分析在該工作點(diǎn)處產(chǎn)生振蕩的電容取值范圍.首先將電路的狀態(tài)微分方程式設(shè)置為0,可以得到振蕩系統(tǒng)的平衡點(diǎn)為(2317.136 K,0.1767 V).基于(16)式,二階振蕩電路的Jacobian 矩陣為

其中矩陣的元素分別為

采用MATLAB 進(jìn)行數(shù)值仿真分析,得到(17)式的特征根λ1和λ2在0.042 nF ＜C＜ 10 nF范圍內(nèi)的軌跡如圖7 所示,藍(lán)色和紅色曲線分別對(duì)應(yīng)λ1和λ2的軌跡,箭頭表示了電容增加時(shí)特征根的運(yùn)動(dòng)方向.Reλ＞ 0 的區(qū)域是二階電路的振蕩區(qū)域.從圖中可以看出,在C=0.524 nF 處出現(xiàn)了一對(duì)復(fù)共軛特征根,這是Hopf 分岔點(diǎn).在Hopf 分岔點(diǎn)的左側(cè),特征根的實(shí)部小于0,二階電路趨于穩(wěn)定平衡點(diǎn),反之處于振蕩狀態(tài).因此,該分析方法表明,如圖6 所示的電路可在工作點(diǎn)Q(0.3003 V,0.008 A)處對(duì)C＞0.524 nF 產(chǎn)生振蕩.

圖7 雅可比矩陣的特征值在0.042 nF ＜ C ＜ 10 nF 范圍內(nèi)的變化Fig.7.Variations of the eigenvalues of the Jacobian matrix for 0.042 nF ＜ C ＜ 10 nF.

3.2 振蕩行為分析

為了進(jìn)一步驗(yàn)證基于NbOxLAM 的二階振蕩電路的行為,對(duì)二階振蕩電路進(jìn)行了數(shù)值仿真.

當(dāng)電容C=0.3 nF,小于分岔點(diǎn)處的電容值,初始狀態(tài)為T(0)=0,vm(0)=0,電路的仿真結(jié)果如圖8(a)所示,憶阻器的T-im相圖如圖8(b)所示.電壓、電流和狀態(tài)變量(溫度T)的瞬態(tài)波形漸進(jìn)收斂于平衡態(tài)VS=0.3003 V,TS=701.5887 K,IS=0.008 A.這與理論計(jì)算結(jié)果一致.同樣,T-im平面上的相圖軌跡也收斂于穩(wěn)定點(diǎn)(701.5887 K,0.008 A).當(dāng)電容值大于分叉點(diǎn)處的電容值時(shí),如C=0.8 nF,初始條件不變,仿真結(jié)果如圖8(c)所示.從圖8(c)中可以看到,流過(guò)憶阻器的電流im的穩(wěn)定瞬態(tài)振蕩波形并非正弦信號(hào),而是類似于神經(jīng)元中的尖峰波形,圖8(d)中T-im平面的相圖軌跡為極限環(huán),圍繞穩(wěn)定點(diǎn)(701.5887 K,0.008 A)運(yùn)動(dòng).

圖8 當(dāng)I=0.008 A,C=0.3 nF 時(shí),NbOx LAM 的二階振蕩器的仿真結(jié)果 (a)電壓vm、狀態(tài)變量T 和電流im 的瞬態(tài)波形;(b)穩(wěn)定點(diǎn)的im-T 相圖;當(dāng)I=0.008 A,C=0.8 nF 時(shí),NbOx LAM 的二階振蕩器的仿真結(jié)果:(c)電壓vm、狀態(tài)變量T 和電流im 的瞬態(tài)波形;(d) 振蕩狀態(tài)的im-T 相圖Fig.8.Simulation results of the NbOx LAM second-order oscillator:(a) The transient waveforms of vm,T and im at I=0.008 A and C=0.3 nF;(b) the stable equilibrium on im-T phase plane at I=0.008 A and C=0.3 nF;(c) the transient waveforms of vm,T and im at I=0.008 A and C=0.8 nF;(d) the limit cycle on the im-T phase plane at I=0.008 A and C=0.8 nF.

3.3 激勵(lì)對(duì)尖峰個(gè)數(shù)的影響規(guī)律

如2.1 節(jié)所提到的,若是直流電流I激勵(lì),則NbOx憶阻器可以穩(wěn)定工作在該點(diǎn),在NDR 區(qū)不同的工作點(diǎn)對(duì)應(yīng)的二階電路的振蕩行為不同.本節(jié)主要研究在電流激勵(lì)的情況下,其幅值對(duì)二階電路振蕩行為的影響.

在構(gòu)成的二階電路中,固定并聯(lián)的電容值C=20 nF,輸入直流信號(hào),經(jīng)過(guò)仿真分析,輸入電流在(0.004 A,0.08 A)范圍內(nèi)增大,在一定時(shí)間內(nèi)如10 μs,憶阻器電流的尖峰個(gè)數(shù)隨之增加.圖9(a)給出了電流激勵(lì)為10,30 和50 mA 時(shí),流過(guò)憶阻器電流的時(shí)域圖,圖9(b)給出了輸入的電流激勵(lì)I(lǐng)從0.012 A 增加到0.08 A 時(shí),10 μs 內(nèi)憶阻器電流尖峰輸出個(gè)數(shù)n的情況.電流激勵(lì)越大,二階電路振蕩的頻率越大,這一結(jié)論也是第4 節(jié)將二階電路構(gòu)成神經(jīng)元搭建尖峰神經(jīng)網(wǎng)絡(luò)進(jìn)行模式識(shí)別的關(guān)鍵.

圖9 (a) 輸入的直流電流激勵(lì)取10,30 和 50 mA 時(shí),憶阻器電流的時(shí)域圖;(b) 不同電流激勵(lì)對(duì)應(yīng)的尖峰數(shù)量關(guān)系圖Fig.9.(a) The time-domain waveforms of im at different input DC current excitations of 10,30 and 50 mA;(b) the number of spikes corresponding to different current excitations.

4 用于模式識(shí)別的SNN

尖峰神經(jīng)網(wǎng)絡(luò)被稱為第三代神經(jīng)網(wǎng)絡(luò),旨在彌合神經(jīng)科學(xué)和機(jī)器學(xué)習(xí)之間的差距,使用最適合生物神經(jīng)元機(jī)制的模型來(lái)進(jìn)行計(jì)算.

4.1 NbOx 憶阻器神經(jīng)元電路

神經(jīng)元通常具有多種不同的振蕩模式[30],在NbOx憶阻器二階振蕩電路的基礎(chǔ)上,設(shè)計(jì)了基于NbOx憶阻器的神經(jīng)元電路,該電路在設(shè)計(jì)參數(shù)范圍內(nèi)具有相同的尖峰振蕩模式,如圖10 所示,其中基于AIST(AgInSbTe)材料的憶阻器用來(lái)模擬生物突觸功能[31],電壓信號(hào)Vik代表輸入信號(hào).NbOx憶阻器,電容以及運(yùn)算放大器共同構(gòu)成了神經(jīng)元,Ineuron是突觸陣列注入到神經(jīng)元的電流,vneuron是神經(jīng)元兩端的電壓,im是流過(guò)憶阻器的電流.從圖10可以看出,所設(shè)計(jì)的神經(jīng)元電路是在二階振蕩電路的基礎(chǔ)上添加了運(yùn)算放大器,目的是利用放大器的“虛短”和“虛斷”特性,使得神經(jīng)元的激勵(lì)電流為

圖10 基于NbOx 憶阻器的神經(jīng)元電路Fig.10.Neuron circuit based on NbOx memristor.

(22)式表明流過(guò)神經(jīng)元的電流Ineuron受輸入電壓和突觸權(quán)重的影響,GMk為第M列第k行對(duì)應(yīng)的電導(dǎo)值.此外,神經(jīng)元尖峰發(fā)放頻率與Ineuron有關(guān).因此,不同的輸入信號(hào)和權(quán)重組合將會(huì)對(duì)應(yīng)不同的尖峰頻率,使得該神經(jīng)元電路可用于構(gòu)建SNN 并實(shí)現(xiàn)模式識(shí)別.

為了驗(yàn)證該神經(jīng)元電路的有效性,令電容C取20 nF,輸入電壓Vi1=2 V,Vik=0 V (k=2,3,···n),對(duì)單一神經(jīng)元電路進(jìn)行仿真,仿真結(jié)果如圖11 所示.圖11(a)和圖11(b)中,憶阻突觸處于ON 狀態(tài)(憶阻值取100 Ω,即突出權(quán)重較大)時(shí),神經(jīng)元的輸入電流超出了神經(jīng)元的閾值,成功激活神經(jīng)元使其發(fā)放尖峰脈沖.圖11(c)和圖11(d)中,憶阻突觸處于OFF 狀態(tài)(憶阻值取100 kΩ,即突觸權(quán)重較小)時(shí),神經(jīng)元輸入電流很小,不足以激活輸出神經(jīng)元,即輸出不產(chǎn)生電流尖峰.

圖11 (a) 憶阻突觸處于ON 狀態(tài)時(shí),Vi1 和vm 時(shí)域圖;(b) 憶阻突觸處于ON 狀態(tài)時(shí),im 時(shí)域圖;(c) 憶阻突觸處于OFF 狀態(tài)時(shí),Vi1 和vm 時(shí)域圖;(d) 憶阻突觸處于OFF 狀態(tài)時(shí),im 時(shí)域圖Fig.11.(a) The time-domain waveforms of Vi1 and vm when the memristive synapse is at ON state;(b) the time-domain waveforms of im at ON state;(c) the time-domain waveforms of Vi1 and vm when the memristive synapse is at OFF state;(d) the timedomain waveforms of im at OFF state.

4.2 基于SNN 的數(shù)字模式識(shí)別

基于設(shè)計(jì)的NbOx憶阻器神經(jīng)元電路,構(gòu)建了一個(gè)25×10 的SNN 并用于數(shù)字模式識(shí)別.首先,確定每一種模式由5×5 像素塊構(gòu)成,如圖12 所示,其中黑色和白色像素代表兩種不同的輸入電壓取值,即黑色代表“1 V”,白色代表“0 V”.因此,輸入信號(hào)的個(gè)數(shù)為5×5=25,待識(shí)別的模式為數(shù)字0—9,共10 種模式,輸出神經(jīng)元的個(gè)數(shù)為10,那么SNN 網(wǎng)絡(luò)的大小為25×10.以數(shù)字“2”模式為例,輸入神經(jīng)元的電壓序列為“01110000100111001 00001110”(“1”代表1 V,“0”代表0 V).

圖12 5×5 的10 種數(shù)字模式Fig.12.10 digital patterns of 5×5.

基于輸入神經(jīng)元的電流越大,神經(jīng)元的脈沖輸出頻率越大以及脈沖觸發(fā)時(shí)間越早這一結(jié)論,本文將通過(guò)輸出神經(jīng)元的脈沖頻率以及觸發(fā)時(shí)間這兩種編碼方式實(shí)現(xiàn)模式識(shí)別.共有10 種數(shù)字模式,每一種模式由25 個(gè)像素塊構(gòu)成,則可以得到輸入網(wǎng)絡(luò)為10×25 的電壓矩陣.為了有效地實(shí)現(xiàn)模式識(shí)別,采用了離線訓(xùn)練方法得到SNN 憶阻權(quán)重取值.訓(xùn)練方法較簡(jiǎn)單,即不同的模式輸入下,僅有唯一一個(gè)的神經(jīng)元獲得的電流值最大,最大電流取值0.056 A,其余電流取0—0.04 A 中的任意值.當(dāng)電流參數(shù)取0.004 A 以下時(shí),神經(jīng)元不會(huì)振蕩,這樣的設(shè)計(jì)可以有效地保證識(shí)別結(jié)果的準(zhǔn)確性.例如:數(shù)字1 輸入SNN 時(shí),經(jīng)過(guò)權(quán)重矩陣后輸入到第一個(gè)輸出神經(jīng)元的電流是最大的,其余輸出神經(jīng)元的電流是小于最大值的隨機(jī)值,依次類推,數(shù)字0 輸入時(shí),經(jīng)過(guò)權(quán)重矩陣運(yùn)算后輸入至第10 個(gè)輸出神經(jīng)元的電流最大.

4.3 突觸實(shí)現(xiàn)電路

在MATLAB 上求解了滿足條件的25×10 的權(quán)重矩陣.原理方程由(23)式給出.i表示10 種模式中的每一個(gè)模式,j表示像素的數(shù)量,Vij表示每一種模式對(duì)應(yīng)的輸入電壓向量,Wji表示突觸陣列中的每一個(gè)電導(dǎo)值,Iii表示電壓向量與突觸權(quán)重矩陣運(yùn)算之后得到注入神經(jīng)元的電流值.

通過(guò)MATLAB 得到的滿足識(shí)別條件的權(quán)重矩陣包含正、負(fù)權(quán)重.對(duì)于正的權(quán)重,通過(guò)設(shè)置憶阻器的輸入電壓,可以得到不同的正突觸權(quán)值,而對(duì)于負(fù)的權(quán)重,則可以考慮構(gòu)建兩個(gè)憶阻器反向并聯(lián)電路來(lái)實(shí)現(xiàn).兩個(gè)雙極性憶阻器被設(shè)計(jì)成反向連接結(jié)構(gòu),它們之間阻值的差表示為突觸的權(quán)量.通過(guò)施加外加激勵(lì),可以改變權(quán)重憶阻的值,從而得到正、負(fù)和零突觸.采用AIST 憶阻器并聯(lián)仿真了該電路,證明能夠表示負(fù)、正和零的突觸權(quán)重.圖13給出了電壓激勵(lì)的突觸電路[32],輸入電壓注入到兩個(gè)憶阻器的連接點(diǎn),運(yùn)放A1和A2的輸出電壓分別為

圖13 電壓突觸電路實(shí)現(xiàn)Fig.13.Implementation of voltage synapse circuit.

其中支路電流信號(hào)表示為

可以得到電壓差方程為

通過(guò)分析可以看出,突觸權(quán)重表示為兩個(gè)憶阻器的電導(dǎo)之差:

在上述突觸計(jì)算中,所輸入的電壓和電流均是小于憶阻閾值,這樣可以保證在計(jì)算時(shí),憶阻器狀態(tài)不會(huì)發(fā)生改變.反之,當(dāng)所施加的信號(hào)大于閾值時(shí),可以對(duì)突觸權(quán)重進(jìn)行編程,即當(dāng)輸入的是正向編程電壓時(shí),憶導(dǎo)值GA減小的同時(shí),憶導(dǎo)值GB增大,導(dǎo)致突出權(quán)重電導(dǎo)減小.反之,當(dāng)施加負(fù)電壓信號(hào)時(shí),突觸權(quán)重電導(dǎo)增加.在上述編程過(guò)程中,由于兩個(gè)憶阻器的極性是相反的,所以無(wú)論所施加的信號(hào)是正還是負(fù),憶阻的變化始終是反向的,這樣不但可以加速權(quán)重編程運(yùn)算,而且在連續(xù)編程過(guò)程中可以始終保證得到正、零和負(fù)的突觸權(quán)重,而無(wú)需提前的符號(hào)設(shè)定.

綜上,構(gòu)建了一個(gè)25×10 的尖峰神經(jīng)網(wǎng)絡(luò),輸入為10 種不同模式的編碼電壓,突觸陣列由無(wú)源的憶阻器構(gòu)成,輸出神經(jīng)元部分采用4.1 節(jié)提出的基于NbOx憶阻神經(jīng)元,整體的SNN 結(jié)構(gòu)如圖14 所示.

圖14 由25×10 的突觸陣列以及10 個(gè)輸出神經(jīng)元構(gòu)成的尖峰神經(jīng)網(wǎng)絡(luò)Fig.14.A spiking neural network consisting of a 25×10 synaptic array and 10 output neurons.

4.4 識(shí)別結(jié)果

4.4.1 RC(Rated coded) SNN

RC SNN 是基于神經(jīng)網(wǎng)絡(luò)神經(jīng)元的輸出頻率進(jìn)行編碼識(shí)別,以數(shù)字“2”輸入網(wǎng)絡(luò)時(shí)的識(shí)別結(jié)果進(jìn)行說(shuō)明.由4.1 節(jié)可知數(shù)字“2”對(duì)應(yīng)的電壓輸入向量為:[0 1 1 1 0 0 0 0 1 0 0 1 1 1 0 0 0 0 1 0 0 1 1 1 0],單位是V,經(jīng)過(guò)求得的權(quán)重矩陣運(yùn)算,可得到經(jīng)過(guò)運(yùn)算放大器整合輸入到每一個(gè)輸出神經(jīng)元的電流向量為[11.5 57.3 5.5 35.3 15.9 30.8 7.8 29.4 16.2 26.5],單位是mA,可以看到輸入第二個(gè)神經(jīng)元的電流最大.

圖15(a)給出了數(shù)字2 輸入網(wǎng)絡(luò)時(shí)十個(gè)輸出神經(jīng)元中流過(guò)憶阻器的電流輸出時(shí)域圖,縱軸表示的是10 個(gè)輸出神經(jīng)元,從下到上分別表示神經(jīng)元1 到10,對(duì)應(yīng)輸入模式1,2,···,0,可以觀察到當(dāng)模式2 輸入網(wǎng)絡(luò)時(shí),輸出神經(jīng)元2 的電流頻率最大.圖15(b)給出了10 種模式輸入網(wǎng)絡(luò)時(shí)輸出頻率的結(jié)果,橫坐標(biāo)是10 種輸入模式,縱坐標(biāo)是10 個(gè)輸出神經(jīng)元,每一列表示一個(gè)輸入模式對(duì)應(yīng)的輸出結(jié)果,不同的顏色代表不同大小的頻率(右側(cè)的顏色條說(shuō)明了頻率和顏色的對(duì)應(yīng)關(guān)系),紅色代表頻率越大,藍(lán)色代表頻率越小.可以看出,每一種模式的輸入都對(duì)應(yīng)唯一一個(gè)輸出神經(jīng)元的電流脈沖頻率最大,與4.2 節(jié)所提出的預(yù)期一致,通過(guò)判斷哪一個(gè)輸出神經(jīng)元的脈沖頻率最大即可判斷輸入的是哪一種模式.

圖15 (a) 數(shù)字2 輸入尖峰神經(jīng)網(wǎng)絡(luò),10 個(gè)輸出神經(jīng)元的電流im 輸出時(shí)域圖;(b) 10 種模式輸入尖峰神經(jīng)網(wǎng)絡(luò)時(shí)各輸出神經(jīng)元輸出電流頻率的情況Fig.15.(a) The time-domain waveforms of im of 10 output neurons when“2”mode is input to SNN;(b) the output current frequencies of each output neuron when ten modes are input to the spiking neural network.

4.4.2 TC (Tempotral coded) SNN

TC SNN 是基于脈沖時(shí)間進(jìn)行編碼,這里提到的時(shí)間可以是首個(gè)脈沖的時(shí)間,也可以是整個(gè)輸出脈沖的時(shí)間.本文采用的方案是根據(jù)輸出神經(jīng)元的首個(gè)脈沖的觸發(fā)時(shí)間進(jìn)行識(shí)別,可以利用觸發(fā)器以及傳輸門來(lái)實(shí)現(xiàn)神經(jīng)元單脈沖輸出,如圖16 所示,該方案可以大大地減小神經(jīng)網(wǎng)絡(luò)的能耗,獲得更高的模式識(shí)別效率.電路實(shí)現(xiàn)原理:電路在初始狀態(tài)時(shí),D 觸發(fā)器的Q端為0,與傳輸門的控制端相連,使傳輸門導(dǎo)通,神經(jīng)元的輸出作為D 觸發(fā)器的時(shí)鐘信號(hào),當(dāng)神經(jīng)元觸發(fā)了第一個(gè)脈沖時(shí),D 觸發(fā)器開(kāi)始工作,Q從0 變?yōu)?,傳輸門關(guān)斷,沒(méi)有激勵(lì)信號(hào)輸入神經(jīng)元,從而不再產(chǎn)生尖峰脈沖,達(dá)到了只產(chǎn)生單一脈沖的目的.圖17 給出了在電容C取20 nF,輸入電壓為2 V,周期為10 μs 時(shí)的單脈沖實(shí)現(xiàn)結(jié)果以及沒(méi)有使用這一方案時(shí)的結(jié)果對(duì)比.

圖16 基于TC SNN 的神經(jīng)元電路Fig.16.Neuron circuit based on TC SNN.

圖17 (a) 單尖峰電路的仿真結(jié)果圖;(b) 未應(yīng)用單尖峰電路方案的仿真結(jié)果Fig.17.(a) The simulation results with the single-spike circuit;(b) the simulation results without the single-spike circuit.

與RC SNN 的識(shí)別一樣,同樣的輸入電壓矩陣和權(quán)重陣列,根據(jù)輸入神經(jīng)元電流不同,首先產(chǎn)生尖峰的時(shí)間不同來(lái)識(shí)別給定的10 種模式.以“2”模式的識(shí)別結(jié)果為例來(lái)說(shuō)明TC SNN 的識(shí)別結(jié)果.圖18(a)給出了“2”模式輸入時(shí)10 個(gè)輸出神經(jīng)元首個(gè)脈沖輸出的時(shí)域圖,圖18(b)給出了10 種模式輸入神經(jīng)網(wǎng)絡(luò)時(shí)所有輸出神經(jīng)元的輸出結(jié)果,紫色代表的時(shí)間最小,紅色代表的時(shí)間最大.綜上,當(dāng)輸入模式“1”時(shí),神經(jīng)元1 的輸出脈沖時(shí)間最早,依此類推,當(dāng)輸入模式為“0”時(shí),神經(jīng)元10 的輸出脈沖時(shí)間最早.即每種模式輸入網(wǎng)絡(luò)僅有一個(gè)輸出神經(jīng)元對(duì)應(yīng)的脈沖觸發(fā)時(shí)間最早,以此來(lái)達(dá)到一個(gè)識(shí)別的目的.

圖18 (a)“2”模式輸入SNN 時(shí),10 個(gè)輸出神經(jīng)元的電流時(shí)域圖;(b) 不同輸入模式對(duì)應(yīng)的神經(jīng)元輸出首個(gè)脈沖的時(shí)間Fig.18.(a) The time-domain waveforms of im of 10 output neurons when“2”mode is input to SNN;(b) the time of outputting the first pulse of neurons corresponding to different input modes.

5 總結(jié)

本文從電路理論的角度對(duì)NbOx-Mott 憶阻器進(jìn)行了深入的電路理論研究,通過(guò)DCV-I驗(yàn)證了NbOx憶阻器的基本特性,小信號(hào)導(dǎo)納的頻域分析,二階振蕩電路的Hopf 分岔點(diǎn)分析等為NbOx憶阻器在周期振蕩器,尖峰神經(jīng)元中的應(yīng)用提供了電路理論基礎(chǔ).此外,所設(shè)計(jì)的神經(jīng)元電路由于放大器的引入具有輸出頻率可控性,使得基于NbOx憶阻器的神經(jīng)元可以集成到脈沖神經(jīng)網(wǎng)絡(luò)中,實(shí)現(xiàn)了5×5 像素的10 種數(shù)字模式識(shí)別,提出了基于神經(jīng)元輸出電流的頻率和脈沖觸發(fā)時(shí)間兩種識(shí)別方式,并給出了在LTspice 中的仿真結(jié)果,結(jié)果表明,所構(gòu)建的25×10 的脈沖神經(jīng)網(wǎng)絡(luò),可以通過(guò)觀察輸出神經(jīng)元的憶阻器電流頻率和首個(gè)脈沖的激發(fā)時(shí)間實(shí)現(xiàn)數(shù)字0—9 的識(shí)別,滿足脈沖神經(jīng)網(wǎng)絡(luò)識(shí)別數(shù)字的預(yù)期目標(biāo).