帶有高斯擾動的混沌神經(jīng)網(wǎng)絡(luò)及應(yīng)用

許楠, 劉桂陽 ,徐耀群

(1.黑龍江八一農(nóng)墾大學(xué) 信息技術(shù)學(xué)院，黑龍江 大慶 163319； 2.哈爾濱商業(yè)大學(xué) 系統(tǒng)工程研究所，黑龍江 哈爾濱 150028)

制造混沌神經(jīng)計算機一直是人們追求的目標(biāo)，然而由于元器件的不穩(wěn)定性，在一定情況下勢必會出現(xiàn)微小擾動從而對網(wǎng)絡(luò)模型產(chǎn)生影響，擾動的引入使得混沌神經(jīng)網(wǎng)絡(luò)具有更加復(fù)雜的動力學(xué)特性，同時對網(wǎng)絡(luò)的應(yīng)用產(chǎn)生一定影響，影響嚴重時會導(dǎo)致網(wǎng)絡(luò)失穩(wěn)，因此研究神經(jīng)網(wǎng)絡(luò)的抗擾動能力是有必要的。高斯函數(shù)是徑向基函數(shù)[1]的一種，同其他徑向基函數(shù)一樣存在寬度參數(shù)，本文在Chen’s混沌神經(jīng)網(wǎng)絡(luò)基礎(chǔ)上引入高斯函數(shù)擾動，對網(wǎng)絡(luò)內(nèi)部狀態(tài)進行改進，分析了混沌神經(jīng)元模型的動力學(xué)特性，以及寬度參數(shù)對擾動強弱的影響，在此基礎(chǔ)上研究混沌神經(jīng)網(wǎng)絡(luò)的抗擾動能力，并在引入高斯函數(shù)擾動情況下，利用該網(wǎng)絡(luò)解決旅行商最短路徑(traveling salesman problem，TSP)問題，仿真結(jié)果表明，網(wǎng)絡(luò)具有較高的抗擾動能力。

1 帶高斯擾動的暫態(tài)混沌神經(jīng)元模型

在Chen’s混沌神經(jīng)網(wǎng)絡(luò)模型基礎(chǔ)上[2]，加入由高斯函數(shù)構(gòu)成的擾動項，現(xiàn)將新模型的單個神經(jīng)元模型描述如下：

x(t)=1/(1+exp(-y(t)/ε0))

(1)

y(t+1)=ky(t)-z(t)(x(t)-I0)+f(y(t))

(2)

z(t+1)=(1-β)z(t)

(3)

f(u)=exp(-u2/δ2)

(4)

式中：ε0是輸出函數(shù)x(t)的陡度參數(shù)；神經(jīng)元的激勵函數(shù)x(t)選取Sigmoid函數(shù)；k為神經(jīng)隔膜的阻尼因子，0≤k≤1；y(t)為神經(jīng)元的內(nèi)部狀態(tài)，其t+1時刻狀態(tài)受到t時刻狀態(tài)影響；z(t)是自反饋連接項；f(u)為高斯函數(shù)，它用來作為內(nèi)部函數(shù)擾動項；δ是徑向基函數(shù)的擴展常數(shù)或稱寬度；β是退火參數(shù)，其值對z(t)有著決定性影響；I0為一正參數(shù)。

當(dāng)參數(shù)選取ε0=0.1，y(1)=0.5，z(1)=0.5，k=0.9，I0=0.45，δ=0.05固定不變時，分別選取β=0.003與β=0.002 5時神經(jīng)元的倒分岔圖和最大Lyapunov指數(shù)時間演化圖如圖1、2所示。

(a)神經(jīng)元倒分叉圖

(b)最大Lyapunov指數(shù)時間圖1 β=0.003時神經(jīng)元倒分叉圖與最大Lyapunov指數(shù)時間演化圖Fig.1 State bifurcation and the time evolution of the maximal Lyapunov exponent of the neuron when β=0.003

(a)神經(jīng)元倒分叉圖

(b)最大Lyapunov指數(shù)時間圖2 β=0.002 5時神經(jīng)元倒分叉圖與最大Lyapunov指數(shù)時間演化圖Fig.2 State bifurcation and the time evolution of the maximal Lyapunov exponent of the neuron when β=0.002 5

由圖1、2可知，加入了高斯擾動的混沌神經(jīng)元具有暫態(tài)混沌動力學(xué)行為，網(wǎng)絡(luò)的搜索及收斂快慢依賴于模擬退火參數(shù)β的值，β為0.003時收斂點在t為800處，β為0.002 5時收斂點在t為950處。由式(3)不難分析出：β越小，模擬退火溫度[3]z(t)下一時刻較上一時刻變化越不明顯，溫度降低較慢，這就使得混沌搜索能夠充分發(fā)揮作用，相對搜索時間較長，從而可以逃離局部極小點限制，找到全局最小點；β較大時，模擬退火溫度z(t)下一時刻較上一時刻變化明顯，溫度較低、較快，這使得收斂速度得以加快，但若β過大，進入平衡點太過迅速，易使搜索陷入局部極小點，而不能求得全局最優(yōu)解，因此應(yīng)適當(dāng)選取β值。

模擬退火參數(shù)β值對神經(jīng)元模型的影響可以通過數(shù)學(xué)推理得出：β取值范圍在0<β<1,通過式(3)不難看出z(t)是一個遞減過程，遞減速度由(1-β)控制，而(1-β)隨著β值的增大而減小，也就是說，β值越大，z(t)遞減得越快，β值越小，z(t)遞減得越慢，相對的模擬退火溫度冷卻較緩慢。

下面考查高斯函數(shù)的寬度參數(shù)δ對該神經(jīng)元動力學(xué)特性的影響。當(dāng)參數(shù)選取ε0=0.1，y(1)=0.5，z(1)=0.5，k=0.9，I0=0.45，β=0.003固定不變時，選取δ=0.07時神經(jīng)元的倒分岔圖和最大Lyapunov指數(shù)時間演化圖如圖3所示。

當(dāng)β=0.003時，δ=0.05的倒分岔圖和最大Lyapunov指數(shù)時間演化圖與圖3比較不難看出：δ=0.07混沌搜索進入穩(wěn)定狀態(tài)的位置是t為700左右，很明顯比δ=0.05時穩(wěn)定位置t為800左右搜索過程縮短，收斂點提前。說明δ越小加入到內(nèi)部狀態(tài)y(t)中的擾動就越大，從而影響了網(wǎng)絡(luò)混沌搜索的隨機性及軌道遍歷性[4]，隨機性可以保證大范圍搜索能力，軌道遍歷性使系統(tǒng)按自身的演化行為不重復(fù)地遍歷所有可能狀態(tài)，它具有使網(wǎng)絡(luò)避免陷入局部極小的能力求解能力，因此δ取值應(yīng)控制高斯函數(shù)所產(chǎn)生的擾動在一定范圍內(nèi)，才能使網(wǎng)絡(luò)能夠快速、有效的求解全局最小點。

(a)神經(jīng)元倒分叉圖

(b)最大Lyapunov指數(shù)時間圖3 δ=0.07時神經(jīng)元倒分叉圖與最大Lyapunov指數(shù)時間演化圖Fig.3 State bifurcation figure and the time evolution figure of the maximal Lyapunov exponent of the neuron when δ=0.07

由式(4)可以通過仿真試驗做出如圖4所示的高斯曲線。

圖4 δ=1與δ=2時的高斯曲線Fig.4 Gaussian function when δ=1 and δ=2

由該圖可以看出：寬度越小，高斯曲線數(shù)值在0值兩端變化越迅速，曲線較“陡峭”且趨向于垂直橫軸；寬度越大，高斯曲線數(shù)值在0值兩端變化緩慢，曲線較“平穩(wěn)”，趨向于弧線。這說明對于徑向基函數(shù)而言，寬度參數(shù)決定該函數(shù)的選擇性，寬度越小，函數(shù)的選擇性[5]越大，產(chǎn)生的擾動比較強烈；寬度越大，函數(shù)的選擇性降低，所產(chǎn)生的擾動相對而言不是很大，對網(wǎng)絡(luò)的求解能力影響減弱。

2 帶高斯擾動的混沌神經(jīng)網(wǎng)絡(luò)模型

根據(jù)上述帶有高斯擾動的混沌神經(jīng)元模型，構(gòu)造如下帶有高斯函數(shù)擾動的暫態(tài)混沌神經(jīng)網(wǎng)絡(luò)模型：

x(t)=1/(1+exp(-y(t)/ε0))

(5)

yi(t+1)=kyi(t)+f(y(t))+

(6)

zi(t+1)=(1-β)zi(t)

(7)

f(u)=exp(-u2/δ2)

(8)

網(wǎng)絡(luò)模型中i=1,2,…,n；xi(t)是由Sigmoid函數(shù)構(gòu)成的激勵函數(shù)；yi(t)為內(nèi)部狀態(tài)；k為神經(jīng)隔膜的阻尼因子，0≤k≤1，表示網(wǎng)絡(luò)記憶保留或遺忘內(nèi)部狀態(tài)的能力，其值越接近1越表明下一時刻內(nèi)部狀態(tài)變化不大，保留能力較強，其值越接近0表明下一時刻內(nèi)部狀態(tài)有很大變動，遺忘能力較強；zi(t)自反饋連接項，其值是不斷減小的，當(dāng)減小到趨近0值時，網(wǎng)絡(luò)將結(jié)束混沌搜索狀態(tài)，進入穩(wěn)定平衡狀態(tài)；β是模擬退火參數(shù)；wij為從神經(jīng)元j到神經(jīng)元i的連接權(quán)值，且wij=wji，wii=0；Ii為神經(jīng)元i的輸入偏差；γ為輸入的正的尺度參數(shù)，代表著能量函數(shù)對動態(tài)特性的影響，γ過大則能量函數(shù)影響太強，有可能無法得到暫態(tài)混沌現(xiàn)象，γ過小則能量函數(shù)影響太弱，有可能無法收斂到最優(yōu)解；I0為一正參數(shù)；f(u)為高斯函數(shù)，其中δ為寬度參數(shù)。

圖5 δ=0.03時內(nèi)部狀態(tài)y(t)隨迭代次數(shù)的變化曲線Fig.5 The curve for the change of y(t) when δ=0.03

圖6 δ=0.05時內(nèi)部狀態(tài)y(t)隨迭代次數(shù)的變化曲線Fig.6 The curve for the change of y(t) when δ=0.05

隨著時間t的推移，y(t)變化幅度越來越小，δ為0.03時，y(t)穩(wěn)定在0.06附近，而δ為0.05時，y(t)穩(wěn)定在0.1附近，不妨通過式(8)對此進行數(shù)學(xué)推導(dǎo)，δ越小，u2/δ2越大，exp(u2/δ2)越大，但是exp(-u2/δ2)卻反而越小，因此，δ越小，擾動項f(u)對內(nèi)部狀態(tài)改變會增強，而隨著時間的推移，內(nèi)部狀態(tài)會穩(wěn)定在較低值，由此，更能理解上述結(jié)果。

3 解決旅行商最短路徑問題(TSP)

旅行商最短路徑問題(TSP)[7]可描述為：給定n個城市以及每2個城市之間的距離，若要使旅行商經(jīng)過每個城市且各城市僅經(jīng)過一次，求最短路線。

所求最短路徑并滿足TSP問題約束條件的一個能量函數(shù)如式(9)描述。

(9)

式中：Vxi為神經(jīng)元輸出，代表第x個城市在第i次序上被訪問，dxy為城市x、y之間的距離。由于行列式的對稱性，系數(shù)A=B，一個全局最小的E值代表一條最短的有效路徑。本文采用以下經(jīng)典歸一化后的10個城市坐標(biāo)：(0.4, 0.443 9); (0.243 9, 0.146 3); (0.170 7, 0.229 3); (0.229 3, 0.71 6); (0.517 1,0.941 4); (0.873 2, 0.653 6); (0.687 8, 0.521 9); (0.848 8, 0.360 9); (0.668 3, 0.253 6); (0.619 5, 0.263 4)。該10城市最短路徑為2.677 6，路徑如圖7。

圖7 10個城市TSP問題的最優(yōu)解Fig.7 The optimal distance of 10 city TSP

當(dāng)取ε0=0.2，z(1)=0.5，k=0.88，I0=0.9，β=0.3，A=2，D=5，γ=0.6固定不變時，分別選取不同的寬度參數(shù)δ值，研究其對TSP求解的影響，表1是該情況下200次隨機分配初始值的仿真數(shù)據(jù)結(jié)果。

表1 在不同δ值條件下200次隨機分配初始值的試驗數(shù)據(jù)

由表1可以看出： 當(dāng)寬度參數(shù)δ的值在[0.676,0.710]時網(wǎng)絡(luò)的合法路徑比例均為100%，最優(yōu)路徑比例均在85%以上，說明δ若在此區(qū)間取值，擾動不是很強烈，不會對網(wǎng)絡(luò)的尋優(yōu)能力造成很大影響；但隨著δ取值的不斷減小，網(wǎng)絡(luò)的合法路徑以及最優(yōu)路徑比例均有所下降，說明隨著δ的減小，高斯函數(shù)產(chǎn)生的擾動越來越強烈，使網(wǎng)絡(luò)不能很好地利用混沌的全局遍歷特性，致使求解能力下降，尤其當(dāng)δ取值小于0.664時，合法路徑與最優(yōu)路徑比例下降迅速，因此，網(wǎng)絡(luò)的抗擾動能力隨著寬度值的減小而變?nèi)酢?/p>

除了徑向基函數(shù)的寬度參數(shù)外，神經(jīng)隔膜阻尼因子[8]k對網(wǎng)絡(luò)的尋優(yōu)能力也有很大影響，當(dāng)取ε0=0.2，z(1)=0.5，δ=0.7，I0=0.9，β=0.3，A=2，D=5，γ=0.6固定不變時，分別選取不同的k值，研究其對TSP求解的影響，表2是該情況下200次隨機分配初始值的仿真數(shù)據(jù)結(jié)果?？梢钥闯?，在δ及其他參數(shù)固定情況下，高斯函數(shù)形成的擾動作用于網(wǎng)絡(luò)，此時的網(wǎng)絡(luò)具有一定的抗干擾能力，但也較敏感依賴于神經(jīng)隔膜阻尼因子的取值，當(dāng)k值在[0.876,0.882]范圍內(nèi)時，網(wǎng)絡(luò)的合法路徑比例為100%，最優(yōu)路徑比例均在80%以上，但隨著k值的減小，合法路徑及最優(yōu)路徑比例均明顯下降，說明該網(wǎng)絡(luò)在內(nèi)部狀態(tài)記憶能力較強時，可以逃離極小點限制，而在內(nèi)部狀態(tài)遺忘能力較強時，網(wǎng)絡(luò)求解組合優(yōu)化問題的能力大大降低，網(wǎng)絡(luò)不易求得全局最優(yōu)解。

表2 在不同k值情況下200次隨機分配初始值的試驗數(shù)據(jù)

由表2上述仿真實驗結(jié)果，受到網(wǎng)絡(luò)模型各個參數(shù)的制約，某一參數(shù)改變會影響全局結(jié)果，這也是混沌神經(jīng)網(wǎng)絡(luò)的特性之一，即敏感依賴于網(wǎng)絡(luò)參數(shù)初值，因此上述結(jié)果是在其他參數(shù)值固定不變的情況下得出的優(yōu)化性能情況，并不具備普遍性，特在此說明。

4 結(jié)束語

本文將高斯擾動加入混沌神經(jīng)網(wǎng)絡(luò)的內(nèi)部狀態(tài)中，通過神經(jīng)元倒分岔圖以及Lyapunov指數(shù)演化圖，分析了其混沌動力學(xué)行為，說明了高斯函數(shù)的寬度參數(shù)對混沌行為的影響。在帶有高斯擾動的神經(jīng)元模型基礎(chǔ)上構(gòu)建混沌神經(jīng)網(wǎng)絡(luò)模型，通過簡化能量函數(shù)，模擬分析了內(nèi)部狀態(tài)隨著迭代次數(shù)的變化情況，說明了寬度參數(shù)值越小，對網(wǎng)絡(luò)的擾動就會越強烈。將該網(wǎng)絡(luò)模型應(yīng)用于求解TSP問題，通過仿真試驗可知，網(wǎng)絡(luò)具有較強的抗擾動能力，選取適當(dāng)參數(shù)值，且擾動不是很強烈的情況下，仍然能以85%以上的最優(yōu)路徑比例求得全局最優(yōu)解。

參考文獻:

[1]黃永聰，張旭，吳義純，等. 改進的徑向基函數(shù)網(wǎng)絡(luò)的研究及應(yīng)用[J]. 計算機技術(shù)與發(fā)展， 2010， 20(5): 164-167.

HUANG Yongcong, ZHANG Xu, WU Yichun, et al. Research and application of improved genetic algorithm- based RBFANN[J]. Computer Technology and Development，2010， 20(5): 164-167.

[2]CHEN L, AIHARA K. Chaotic simulated annealing by a neural network model with transient chaos[J]. Neural Networks, 1995, 8(6): 915-930.

[3]張慧，劉湘南，黃剛. 基于模擬退火遺傳算法的GMDH網(wǎng)絡(luò)模型[J]. 華中師范大學(xué)學(xué)報：自然科學(xué)版， 2013， 47(2): 24-28.

ZHANG Hui，LIU Xiangnan，HUANG Gang. The GMDH network model based on simulated annealing and genetic algorithm[J]. Journal of Huazhong Normal University: Natural Sciences Edition, 2013, 47(2): 24-28.

[4]HOPFIELD J. Neural networks and physical systems with emergent collective computational abilities[C]//Proceedings of the National Academy of Sciences. [S.l.], 1982, 79: 2554-2558.

[5]許楠，劉麗杰. 徑向基函數(shù)混沌神經(jīng)元系統(tǒng)及其應(yīng)用[J].計算機工程與應(yīng)用，2014, 50(4): 73-76.

XU Nan， LIU Lijie. RBF chaotic neuron system and its application[J]. Compter Engineering and Application, 2014， 50(4)： 73-76.

[6]徐耀群，何少平，張莉. 帶擾動的混沌神經(jīng)網(wǎng)絡(luò)研究[J]. 計算機工程與應(yīng)用， 2008, 44(36)： 66-69.

XU Yaoqun， HE Shaoping， ZHANG Li. Research on chaotic neural network with disturbance[J]. Compter Engineering and Application， 2008， 44(36)： 66-69.

[7]代桂平，王勇，侯亞榮. 基于遺傳算法的TSP問題求解算法及其系統(tǒng)[J]. 微計算機信息， 2010， 26(4): 15-17.

DAI Guiping， WANG Yong， HOU Yarong. A TSP solving algorithm and system based on genetic algorithm[J]. Microcomputer Information， 2010， 26(4): 15-17.

[8]徐耀群，楊雪玲. 一類具有反三角函數(shù)自反饋的混沌神經(jīng)網(wǎng)絡(luò)及其應(yīng)用[J]. 哈爾濱商業(yè)大學(xué)學(xué)報：自然科學(xué)版， 2010(3)： 72-76.

XU Yaoqun，YANG Xueling. A class of chaotic neural networks with anti-trigonometric function self-feedback and its application[J]. Journal of Harbin University of Commerce: Natural Sciences Edition，2010，6(3)： 72-76.