禁忌學(xué)習(xí)神經(jīng)元模型的電路設(shè)計及其動力學(xué)研究*

陳 軍 李春光

1)(定西師范高等專科學(xué)校物理與電子工程學(xué)系，定西 743000)

2)(浙江大學(xué)信息與電子工程學(xué)系，杭州 310027)

禁忌學(xué)習(xí)神經(jīng)元模型的電路設(shè)計及其動力學(xué)研究*

陳 軍1)2)李春光

1)(定西師范高等?？茖W(xué)校物理與電子工程學(xué)系，定西 743000)

2)(浙江大學(xué)信息與電子工程學(xué)系，杭州 310027)

(2010年4月30日收到;2010年5月26日收到修改稿)

對禁忌學(xué)習(xí)混沌神經(jīng)元模型進行了詳細(xì)的電路設(shè)計，包括單神經(jīng)元、具有線性相似函數(shù)的雙神經(jīng)元以及具有二次相似函數(shù)的雙神經(jīng)元模型，并運用EWB(Electronic Workbench)電路仿真軟件對所設(shè)計的電路進行了仿真，研究了電路中的Hopf分叉和混沌等非線性動力學(xué)現(xiàn)象，通過與數(shù)值仿真結(jié)果的比對驗證了所設(shè)計電路的正確性與合理性.

禁忌學(xué)習(xí)，神經(jīng)元，電路設(shè)計，動力學(xué)

PACS:05.45.-a

1.引 言

作為大腦基本組成單元的神經(jīng)元可以產(chǎn)生復(fù)雜的動力學(xué)行為，如分叉和混沌等.在生物和人工神經(jīng)網(wǎng)絡(luò)的模型中，對非線性動力學(xué)的研究都十分重要.一方面，很多動力學(xué)現(xiàn)象，包括混沌，被認(rèn)為在腦信息處理和認(rèn)知功能等方面起著重要的作用［1］，可以為腦功能的理解提供神經(jīng)動力學(xué)方面的解釋;另一方面人工神經(jīng)網(wǎng)絡(luò)中的混沌現(xiàn)象也可在工程中得到廣泛應(yīng)用，如在優(yōu)化計算、保密通信、密碼學(xué)等方面.

近年來，神經(jīng)網(wǎng)絡(luò)中的分叉和混沌得到了廣泛研究.例如，文獻［2］研究了四個神經(jīng)元的混沌神經(jīng)網(wǎng)絡(luò);文獻［3］在具有三個神經(jīng)元的細(xì)胞神經(jīng)網(wǎng)絡(luò)中發(fā)現(xiàn)了混沌行為;文獻［4］發(fā)現(xiàn)了在三個神經(jīng)元的遲滯 Hopfield型神經(jīng)網(wǎng)絡(luò)中的混沌現(xiàn)象;文獻［5］對三維一般神經(jīng)網(wǎng)絡(luò)模型的混沌現(xiàn)象進行了考察;文獻［6—8］，對各種時滯神經(jīng)網(wǎng)絡(luò)的分岔和混沌行為進行了研究.基于神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的混沌現(xiàn)象的研究也有報道［9］.此外，在神經(jīng)元模型以及混沌神經(jīng)網(wǎng)絡(luò)的電路實現(xiàn)方面也有不少研究［10—12］.

禁忌學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)［13］是一種采用禁忌搜索算法［14，15］的思想進行全局優(yōu)化的神經(jīng)網(wǎng)絡(luò)模型.它通過不斷增加當(dāng)前網(wǎng)絡(luò)狀態(tài)鄰近的能量值去懲罰那些已經(jīng)被搜索過了的狀態(tài)，使得軌跡越過局部最小值而趨向于那些尚未被訪問區(qū)域，實現(xiàn)解空間的有效搜索.不像大多數(shù)基于神經(jīng)網(wǎng)絡(luò)的優(yōu)化方法，禁忌學(xué)習(xí)方法的目標(biāo)不是促使網(wǎng)絡(luò)收斂到最優(yōu)狀態(tài)或接近最優(yōu)解，而是使網(wǎng)絡(luò)在解空間中進行廣泛搜索.一個自然的問題是禁忌學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的搜索軌跡會具有什么特點呢?文獻［16］從非線性動力學(xué)的觀點對禁忌學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的狀態(tài)軌跡進行了研究，發(fā)現(xiàn)了其中的 Hopf分叉和混沌等動力學(xué)行為.

本文研究禁忌學(xué)習(xí)神經(jīng)元的電路設(shè)計問題，分別對單神經(jīng)元、具有線性相似函數(shù)的雙神經(jīng)元、以及具有二次相似函數(shù)的雙神經(jīng)元模型詳細(xì)進行了電路設(shè)計研究，同時運用 EWB(Electronic Workbench)軟件［17］對所設(shè)計的神經(jīng)元電路進行了仿真，并對電路中的Hopf分叉和混沌等非線性動力學(xué)現(xiàn)象進行了研究.

2.禁忌學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)模型

在許多優(yōu)化問題中利用Hopfield神經(jīng)網(wǎng)絡(luò)模型

通過最小化以下能量函數(shù)來求得問題的解

式中Vi=f(ui)，f(·)是激活函數(shù)，ui是第i個神經(jīng)元的狀態(tài)，Ci和Ri為正常數(shù)，Tij是第j個神經(jīng)元到第 i個神經(jīng)元的連接權(quán)，Ii表示對第 i個神經(jīng)元的輸入電流.

在禁忌學(xué)習(xí)中，能量E0在其當(dāng)前狀態(tài)的鄰域內(nèi)不斷增大.在t時刻，能量函數(shù)為

這里，懲罰項Ft(V)為

式中α和β是正常數(shù)，P(V，W)是向量V和W相似程度的度量，即相似函數(shù)，當(dāng)V=W時，P(V，W)最大.因此，搜索的結(jié)果若與那些已訪問過的狀態(tài)越接近，則懲罰項的值越大，這就使得搜索朝著未被訪問過的狀態(tài)進行.懲罰項中的指數(shù)項是為了防止積分增加到無窮大，并且對于已訪問過的狀態(tài)，再次搜索間隔的時間越短(t和s差值越小)，懲罰項的值也越大，這就使得網(wǎng)絡(luò)具有快速脫離局部極小點的能力.

在解決優(yōu)化問題時，記憶力衰退率 α和學(xué)習(xí)速率β必須小心地選擇.如果α太大，則已訪問過的狀態(tài)很可能被重新訪問;但如果它太小，網(wǎng)絡(luò)可能需要很長一段時間才能越過局部最小值.此外，β選擇必須以獲得尋找最低E0狀態(tài)和最小化的Ft(V)之間的平衡狀態(tài)為準(zhǔn).一個可能的相似函數(shù)P(V，W)定義為［13］

其中Vi和Wi分別是向量V和W的分量，對V而言，它是線性的，故稱為線性相似函數(shù).P1(V，W)的缺點是它對那些不靠近W的向量懲罰太大.一個更好的相似函數(shù)可選為［13］

這是一個二次相似函數(shù)，對V而言是二次的.它產(chǎn)生二次懲罰項Ft(V).

如果選擇線性相似函數(shù)，則神經(jīng)網(wǎng)絡(luò)的狀態(tài)方程［13］為

其中

所以，Ji滿足如下學(xué)習(xí)方程

如果選擇二次相似函數(shù)，則神經(jīng)網(wǎng)絡(luò)的狀態(tài)方程為

n為神經(jīng)元數(shù)目，當(dāng)i=j時，Sii(t)=0，故Sij(t)，i≠j及Ji(t)滿足如下學(xué)習(xí)方程:

3.禁忌學(xué)習(xí)神經(jīng)元模型的電路設(shè)計與仿真

我們參考了文獻［18—35］等，在本節(jié)中分別設(shè)計了單神經(jīng)元、具有線性相似函數(shù)的雙神經(jīng)元和二次相似函數(shù)的雙神經(jīng)元模型禁忌學(xué)習(xí)電路，并運用EWB軟件對其進行電路仿真，下邊分別加以介紹.

3.1.雙曲正切函數(shù)電路設(shè)計與仿真

在電路設(shè)計中，我們采用一個實現(xiàn)雙曲正切函數(shù)功能的更加實用的電路［10］，如圖1示.為了方便，我們稱之為tanh(·)模塊單元電路.

對圖1分析得出電路的狀態(tài)方程為

圖1 tanh(·)模塊單元電路圖

其中Vin和Vout分別為tanh(·)模塊單元電路的輸入電壓和輸出電壓，U1和U2為LM741型電子集成運算放大器，它與線性電阻、電容搭配完成電路的加、減運算，R1=R5=R6=R7=R8=10 kΩ，R2=520 Ω， R3=R4=1 kΩ，R10=R11=2 kΩ，R9=5 kΩ，Rw為1—10 kΩ范圍內(nèi)可變的電阻器，T1，T2，T3，T4為TN2219A型雙極型晶體三極管，其中，T3，T4，R9，R10，R11、RW組成的比例恒流源電流約為1.1 mA，E為電源，其電壓均為12 V，則(12)式的電路狀態(tài)方程變?yōu)?/p>

即實現(xiàn)函數(shù)f(x)=tanh(x)的功能.

此電路的設(shè)計我們用配對的雙極型三極管及電阻器件作為恒流源負(fù)載，實驗中 RW值可方便地改動，使整個實驗的可控制性得到改善，操作便利，同時降低實驗成本.我們采用 EWB軟件對電路進行仿真實驗，其結(jié)果如圖2所示.

圖2 tanh(·)仿真圖

3.2.單神經(jīng)元禁忌學(xué)習(xí)模型的電路設(shè)計與仿真

對單神經(jīng)元模型的禁忌學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)而言，在(6)，(7)式中取C=1，R=1、外部輸入量I=0，則有

這里，a，α和β都是正常數(shù).當(dāng)取a=1.6，β=0.5、函數(shù)f(x)=tanh(x)時，系統(tǒng)(14)轉(zhuǎn)化為

在EWB軟件環(huán)境下，為了將系統(tǒng)(15)轉(zhuǎn)化成電子電路，我們通過線性電阻、線性電容、電子集成運算放大器LM741和tanh(·)模塊單元電路等器件來設(shè)計實現(xiàn).其中運算放大器與線性電阻、電容搭配完成電路的加、減、微分及反相運算，tanh(·)模塊單元電路實現(xiàn)雙曲正切函數(shù)的功能，從而產(chǎn)生雙曲正切曲線，電源電壓均為12 V.根據(jù)系統(tǒng)(15)和電路基本原理以及各個元件的特性，轉(zhuǎn)換成相應(yīng)電路元件，其電路如圖3所示.電路中全部元器件均選用EWB(Multisim10)中理想的虛擬電子元件.根據(jù)理想運算放大器的基本特性，由圖3推導(dǎo)出系統(tǒng)(15)的電路數(shù)學(xué)模型如下:

令u1=x，u2=y，則系統(tǒng)(15)和(16)是等價的.

圖3 系統(tǒng)(15)的電路原理圖

在圖3的電路中，我們方便地改變可變電阻的值.當(dāng)Rp2=7.692 kΩ，Rw=14.286 kΩ，即對應(yīng)于系統(tǒng)(15)中α=0.7時，我們采用EWB仿真軟件，對設(shè)計電路進行仿真實驗，其結(jié)果如圖4所示，可見平衡點(0，0)是穩(wěn)定點.當(dāng)α減小，經(jīng)過臨界值 α0= 0.6時，平衡點失去了穩(wěn)定性，發(fā)生了Hopf分叉.改變電路中 Rp2和 Rw的阻值，使其分別為 5.051和500 kΩ，其對應(yīng)于改變系統(tǒng)(15)的α=0.02時，結(jié)果如圖5示，可見周期軌道是穩(wěn)定的.同樣，Rp2和Rw的阻值分別為6.667和20 kΩ，即α=0.5時，相位圖和波形圖如圖6所示.通過比較圖5和6，可知α=0.5比 α=0.02的周期長.這些結(jié)果都與文獻［16］中的理論相符合.

圖4 α=0.7時系統(tǒng)(15)的仿真實驗 (a)u1—u2(即x—y)相圖，(b)t—u1即(t—x)波形圖

圖5 α=0.02時系統(tǒng)(15)的仿真實驗 (a)u1—u2(即x—y)相圖，(b)t—u1即(t—x)波形圖

圖6 α=0.5時系統(tǒng)(15)的仿真實驗 (a)u1—u2(即x—y)相圖，(b)t—u1即(t—x)波形圖

3.3.線性相似函數(shù)的雙神經(jīng)元模型的電路設(shè)計

對線性相似函數(shù)的雙神經(jīng)元模型而言，令(6)和(7)式中參數(shù)C1=C2=1，R1=R2=10，I1=I2=0，α=0.1，β為可變參量，令矩陣的權(quán)T為

激活函數(shù) Vi=f(ui)=tanh(5ui)，則得如下四個方程:

同理，根據(jù)系統(tǒng)(17)和電路基本理論以及各個元件的特性，轉(zhuǎn)換成電路元件，則設(shè)計出的電路如圖7，圖中tanh(·)模塊單元電路、電子集成運算放大器和電源均與前面討論的相同，其電路的數(shù)學(xué)模型為

圖7 系統(tǒng)(17)的電路原理圖

電路中電容值和電阻值分別取C=1 μF，RC=1 MΩ，R=10 kΩ，R1=R3=R10=R13=100 kΩ，R6=R11=5 kΩ，R2=R4=R5=R7=R8=R9=1 kΩ，R12=20 kΩ，Rp1=Rp3=Rp5=Rp8=5.283 kΩ，Rp4= Rp6=5 kΩ，Rp2=Rp7為 3—12 kΩ范圍內(nèi)可變的電阻器，Rw1=Rw2為 1—120 kΩ范圍內(nèi)可變的電阻器.當(dāng)改變 Rp2，Rp7，Rw1和 Rw2的阻值，使 Rp2=Rp7=5.263 kΩ，Rw1=Rw2=100 kΩ，即對應(yīng)于系統(tǒng)(17)中β=0.1時，經(jīng)EWB仿真實驗，結(jié)果如圖8所示，分別為 u1—uj1，u2—uj1相圖和 u1的波形圖.當(dāng) Rp2=Rp7=6.667 kΩ，Rw1=Rw2=20 kΩ，即 β= 0.5時的實驗結(jié)果如圖9所示，這種情況下是有周期解的，但其解與β=0.1時的不同.當(dāng) Rp2=Rp7= 10 kΩ，Rw1=Rw2=10 kΩ即對應(yīng)于 β=1時，神經(jīng)網(wǎng)絡(luò)的軌道出現(xiàn)了混沌，如圖 10所示 u1—uj1，u2—uj1，u1—u2和 t—u1的二維混沌吸引的相平面圖和波形圖.

圖8 β=0.1時系統(tǒng)(17)的仿真實驗 (a)u1—uj1相圖，(b) u2—uj1相圖，(c)t—u1波形圖

圖9 β=0.5時系統(tǒng)(17)的仿真實驗 (a)u1—uj1相圖，(b) u2—uj1相圖，(c)t—u1波形圖

3.4.二次相似函數(shù)的雙神經(jīng)元模型的電路設(shè)計與仿真

對二次相似函數(shù)的雙神經(jīng)元模型，令模型(8)，(9)和(10)式中 C1=C2=1，R1=R2=10，I1=I2= 0，α=0.1，β=100，激活函數(shù) Vi=f(ui)= tanh(10ui)，矩陣的權(quán)T為

可得系統(tǒng)的狀態(tài)方程為

同理，系統(tǒng)模型(19)電路原理圖如圖11所示.圖中tanh(·)，LM741和電源與上述討論的相同.這里，為使系統(tǒng)(19)電路圖簡潔和實驗方便，將Integration模塊單元電路單獨形成為一個子電路，如圖12所示.模擬乘法器選為AD633JN，電路中其他參數(shù)取值為:R1=R2=R6=R7=R9=R11=R15=R16=R17=R22=R24=R25=1 kΩ，R3=Rp1=R10=Rp3= R18=100 kΩ，R4=R5=R8=Rp2=R12=R13=R19= R20=R23=Rp5=R26=R27=10 kΩ，R14=30 kΩ，R21=50 kΩ，R=Rp=10 kΩ，Rm=Rn=100 kΩ，Rc= 10 kΩ，C=1 μF.

運行EWB得到u1—uJ1，u1—u2，t—u1的相平面圖和波形圖，如圖13所示，此時神經(jīng)網(wǎng)絡(luò)狀態(tài)產(chǎn)生了混沌現(xiàn)象.

圖10 β=1時系統(tǒng)(17)的仿真實驗 (a)u1—uj1相圖，(b)u2—uj1相圖，(c)u1—u2相圖，(d)t—u1波形圖

圖11 系統(tǒng)(19)的電路原理

4.結(jié) 論

本文對禁忌學(xué)習(xí)神經(jīng)元模型進行了電路設(shè)計，推導(dǎo)出切實可行的電路參數(shù).在此基礎(chǔ)上利用EWB電路仿真軟件進行了仿真實驗研究.研究結(jié)果與文獻［16］中數(shù)值仿真結(jié)果的一致性驗證了所設(shè)計電路的正確性.嚴(yán)格來說，使用EWB進行的仿真仍然是一種數(shù)值仿真，但由于它使用的仿真模型直接來自于實際硬件電路模型，仿真結(jié)果與示波器從實際硬件電路得到的結(jié)果是十分相近的.這些工作為繼續(xù)研究非線性動力學(xué)系統(tǒng)電路設(shè)計及其應(yīng)用打下了良好的基礎(chǔ).

圖12 Integration模塊單元電路

圖13 系統(tǒng)(19)的仿真實驗 (a)相圖u1—uJ1，(b)u1—u2相圖，(c)t—u1波形圖

［1］Skarda C A，F(xiàn)reeman W J 1987 Behav.Brain Sci.10 161

［2］Das II P K，Schieve W C，Zeng Z J 1991 Phys.Lett.A 161 60

［3］Zou F，Nossek J A 1993 IEEE Trans.Circ.Sys.I 40 166

［4］Li C G，Yu J B，Liao X F 2001 Phys.Lett.A 285 368

［5］Das A，Das P，Roy A B 2002 Int.J.Bifurcat.Chaos 12 2271

［6］Li C G，Chen G R，Liao X F，Yu J B 2004 Eur.Phys.J.B 41 337

［7］Olien L，Belair J 1997 Phys.D 102 349

［8］Lu H T 2002 Phys.Lett.A 298 109

［9］Li C G，Liao X F，Yu J B 2003 Neurocomputing 55 731

［10］Duan S K，Liao X F 2007 Phys.Lett.A 369 37

［11］Kohno T，Aihara K 2005 IEEE Trans.on Neural Networks 16 754

［12］Takemoto T，Kohno T，Aihara K 2007 Int.J.Bifurcat.Chaos 17 459

［13］Beyer D A，Ogier R G 1991 Tabu Learning:A Neural Network Search Method forSolving NonconvexOptimization Problems (Singapore:Proc.of the IJCNN)p953

［14］Glover F 1989 ORSA J.Comput.1 190

［15］Glover F 1990 ORSA J.Comput.2 4

［16］Li C G，Chen G R，Liao X F，Yu J B 2005 Int.J.Bifurcat. Chaos 15 2633

［17］Wang G H 2008 Circuit Designing and Its Application of Multisim 10(Beijing:National Defense Industry Publishing House)p122 (in Chinese)［王冠華 2008 Multisim10電路設(shè)計及應(yīng)用(北京:國防工業(yè)出版社)第122頁］

［18］Conti M，Turchetti C 1994 IEEE Trans.Circuits Systems I 41 841

［19］Carrasco-Robles M，Serrano L 2009 Int.J.Cir.Theor.Appl. 37 613

［20］Liu L，Su Y C，Liu C X 2007 Acta Phys.Sin.56 1966(in Chinese)［劉 凌、蘇燕辰、劉崇新2007物理學(xué)報56 1966］

［21］Liu C X 2007 Acta Phys.Sin.56 6865(in Chinese)［劉崇新2007物理學(xué)報56 6865］

［22］Hu G S 2009 Acta Phys.Sin.58 3734(in Chinese)［胡國四2009物理學(xué)報56 3734］

［23］Jia H Y，Chen Z Q，Yuan Z Z 2009 Acta Phys.Sin.58 4469 (in Chinese)［賈紅艷、陳增強、袁著祉 2009物理學(xué)報 58 4469］

［24］Tang L R，Li J，F(xiàn)an B，Zhai M Y 2009 Acta Phys.Sin.58 785 (in Chinese)［唐良瑞、李 靜、樊 冰、翟明岳 2009物理學(xué)報58 785］

［25］Zhang R X，Yang S P 2009 Acta Phys.Sin.58 2957(in Chinese)［張若洵、楊世平2009物理學(xué)報58 2957］

［26］Cang S J，Chen Z Q，Wu W J 2009 Chin.Phys.B 18 1792

［27］Zhou P，Cao Y X，Cheng X F 2009 Chin.Phys.B 18 1394

［28］Wang H X，Cai G L，Miao S，Tian L X 2010 Chin.Phys.B 19 030509

［29］Liu L，Su Y C，Liu C X 2006 Acta Phys.Sin.55 3933(in Chinese)［劉 凌、蘇燕辰、劉崇新2006物理學(xué)報55 3933］

［30］Luo X H，Zhou W，Li R，Liang Y L，Lou M W 2009 Chin. Phys.B 18 2168

［31］Ma W Q，Yang C H 2005 Acta Phys.Sin.54 1064(in Chinese)［馬文麒、楊承輝2005物理學(xué)報54 1064］

［32］Cai G L，Tan Z M，Zhou W H，Tu W T 2007 Acta Phys.Sin. 56 6230(in Chinese)［蔡國梁、譚振梅、周維懷、涂文桃2007物理學(xué)報56 6230］

［33］Chen Z Y，Zhang X F，Bi Q S 2010 Acta Phys.Sin.59 2326 (in Chinese)［陳章耀、張曉芳、畢勤勝 2010物理學(xué)報 59 2326］

［34］Chen J F，Tian X J，Shan J D 2010 Acta Phys.Sin.59 2281(in Chinese)［陳菊芳、田小建、單江東2010物理學(xué)報59 2281］

［35］Zhang R X，Yang S P 2010 Chin.Phys.B 19 020510

PACS:05.45.-a

Circuit design of tabu learning neuron models and their dynamic behavior*

Chen Jun1)2)Li Chun-Guang
1)(Department of Physics and Electronic Engineering，Dingxi Teachers'College，Dingxi 743000，China)
2)(Department of Information Science and Electronic Engineering，Zhejiang University，Hangzhou 310027，China)

30 April 2010;revised manuscript

26 May 2010)

The circuit design and implementation of neuron models have attracted much attention in recent years due to its importance in both theoretical studies and applications.In this paper，we designed electronic circuits for the recently proposed tabu learning chaotic neuron model，including the circuit design of single tabu learning neuron，a two-neuron system with linear proximity function，as well as a two-neuron system with quadratic proximity function.We used the electronic workbench(EWB)software to perform simulations of the designed circuits.We also studied the nonlinear behavior，especially the Hopf bifurcation and chaos，of the designed circuits.The consistency between the nonlinear behavior in the designed circuits and that in the numerical simulations demonstrates the correctness of the circuits design.

tabu learning，neuron，circuit design，dynamics

*國家自然科學(xué)基金(批準(zhǔn)號:60871094)和全國優(yōu)秀博士學(xué)位論文作者專項資金(批準(zhǔn)號:2007B42)資助的課題.

*Project supported by the National Natural Science Foundation of China(Grant No.60871094)and the Foundation for the Author of National Excellent Doctoral Dissertation of China(Grant No.2007B42).