帶切比雪夫多項(xiàng)式的混沌神經(jīng)網(wǎng)絡(luò)研究

徐耀群，楊振華

(1.哈爾濱商業(yè)大學(xué) 計(jì)算機(jī)與信息工程學(xué)院，哈爾濱 150028; 2.哈爾濱商業(yè)大學(xué) 系統(tǒng)工程研究所，哈爾濱 150028)

Hopfield首次從動(dòng)力學(xué)系統(tǒng)的角度研究神經(jīng)網(wǎng)絡(luò)，開創(chuàng)性的將能量函數(shù)的極小解與網(wǎng)絡(luò)的平衡態(tài)進(jìn)行映射，使得神經(jīng)網(wǎng)絡(luò)尋優(yōu)過程與動(dòng)力學(xué)系統(tǒng)的演化問題相對(duì)應(yīng)，從而極大的推動(dòng)了神經(jīng)網(wǎng)絡(luò)在計(jì)算機(jī)科學(xué)中的應(yīng)用.但是由于Hopfield神經(jīng)網(wǎng)絡(luò)采用梯度下降策略，使得網(wǎng)絡(luò)在尋優(yōu)過程中非常容易陷入局部極小解和不可行解，限制了Hopfield神經(jīng)網(wǎng)路的優(yōu)化能力.許多學(xué)者[1-3]受生物神經(jīng)元混沌特性的啟發(fā)，將混沌動(dòng)力學(xué)[4-5]注入Hopfield神經(jīng)網(wǎng)絡(luò)中，使得神經(jīng)網(wǎng)絡(luò)利用混沌動(dòng)力學(xué)的全局遍歷性可以有效地避免網(wǎng)絡(luò)在尋優(yōu)過程中陷入局部極小解的問題，提高了網(wǎng)絡(luò)的優(yōu)化能力.近年來許多學(xué)者為了提高神經(jīng)網(wǎng)絡(luò)的優(yōu)化性能，在網(wǎng)絡(luò)的激活函數(shù)、引入自反饋項(xiàng)和退火策略等方面進(jìn)行創(chuàng)新研究.其中：Potapove[6]提出網(wǎng)絡(luò)在非單調(diào)遞增函數(shù)的作用下可以加速進(jìn)入混沌狀態(tài).Shuai[7]等提出神經(jīng)網(wǎng)絡(luò)的激活函數(shù)可以多樣化.何振亞等通過在激勵(lì)函數(shù)中引入暫態(tài)混沌和時(shí)變?cè)鲆嫣岢隽艘环N新的混沌神經(jīng)網(wǎng)絡(luò)模型.胡志強(qiáng)[8]等提出激活函數(shù)由變頻正弦函數(shù)與Sigmoid函數(shù)加權(quán)和的形式構(gòu)成的一種新的混沌神經(jīng)網(wǎng)絡(luò)。徐耀群[9]等提出了由Sigmoid函數(shù)和連續(xù)小波函數(shù)加和而成的激勵(lì)函數(shù)，并通過與Gauss函數(shù)的比較仿真驗(yàn)證了連續(xù)小波函數(shù)所具有的優(yōu)勢；葉永剛[10]等提出將較高的非線性度及較好的函數(shù)逼近能力的Legendre函數(shù)與Sigmoid的線性組合作為新的激勵(lì)函數(shù)，驗(yàn)證了模型的有效性.許楠[11]等提出了將反三函數(shù)引入到網(wǎng)絡(luò)的自反饋項(xiàng)中，提高了網(wǎng)絡(luò)的優(yōu)化性能.胡志強(qiáng)[12]等提出了一種通過網(wǎng)路的動(dòng)態(tài)演化過程來自適應(yīng)地調(diào)整網(wǎng)絡(luò)退火速率的混沌神經(jīng)網(wǎng)絡(luò).

本文利用較高逼近能力的切比雪夫多項(xiàng)式對(duì)網(wǎng)絡(luò)的自反饋權(quán)值進(jìn)行優(yōu)化，構(gòu)建了一種新的混沌神經(jīng)元模型.模型的混沌特性通過最大Lyapunov指數(shù)時(shí)間演化圖和倒分叉圖來進(jìn)行分析.模型的有效性通過旅行商問題和函數(shù)優(yōu)化問題的仿真實(shí)驗(yàn)進(jìn)行驗(yàn)證.

1 帶Chebyschev多項(xiàng)式的混沌神經(jīng)元網(wǎng)絡(luò)模型

1.1 Chebyschev多項(xiàng)式

切比雪夫多項(xiàng)式[13]來源于多倍角的余弦函數(shù)和正弦函數(shù)的展開式，是計(jì)算數(shù)學(xué)中的一類特殊函數(shù).第一類切比雪夫多項(xiàng)式是一組正交多項(xiàng)式，是微分方程(1-x2)y″-xy′+n2y=0的解.第一類切比雪夫多項(xiàng)式描述為：

(1)

當(dāng)n=1,2,3,5時(shí)，切比雪夫多項(xiàng)式的圖像如圖1所示.

圖1 T1, T2, T3, T4, T5圖像

1.2 單神經(jīng)元的混沌動(dòng)力學(xué)特性

將切比雪夫多項(xiàng)式引入到神經(jīng)網(wǎng)絡(luò)的內(nèi)部函數(shù)中構(gòu)建的新的混沌神經(jīng)元模型如下：

x(t)=1/(1+exp(-y(t)/ε0))

(2)

y(t+1)=ky(t)-z(t)f(x(t)-I0)

(3)

(4)

f(u)=cjTi(u),i=0,1,2…

(5)

z(t+1)=(1-β)z(t)

(6)

其中：x(t)是激活函數(shù)即神經(jīng)元在t時(shí)刻的輸出；I0為正參數(shù)；ε0為激活函數(shù)的陡度系數(shù)；y(t)為神經(jīng)元在t時(shí)刻的內(nèi)部狀態(tài)；k取值范圍為0≤k≤1,表示神經(jīng)元保留內(nèi)部狀態(tài)的能力；Tn(x)為切比雪夫多項(xiàng)式；f(u)為自反饋權(quán)值的優(yōu)化策略；z(t)是自反饋連接項(xiàng)；β是模擬退火參數(shù).

最大的Lyapunov指數(shù)的時(shí)間演化圖和倒置的分叉圖描述神經(jīng)元的混沌特性.由于混沌運(yùn)動(dòng)對(duì)初始值條件極為敏感，因此類似初始值產(chǎn)生的兩個(gè)軌道會(huì)隨時(shí)間推移呈指數(shù)級(jí)分離.Lyapunov指數(shù)是用于定量描述軌道分離的程度.Lyapunov指數(shù)的計(jì)算公式如下.

(7)

本文構(gòu)建的混沌神經(jīng)元模型中取f(u)=c1T1-c3T3，有：

(8)

(9)

在一維映射中，λL>0顯示相鄰軌道指數(shù)分離，運(yùn)動(dòng)軌道各部分不穩(wěn)定，處于混沌狀態(tài)，其值的大小表示混沌狀態(tài)的強(qiáng)度.λL<0表明相鄰的軌道運(yùn)動(dòng)最終移動(dòng)更近，相積收縮，運(yùn)動(dòng)穩(wěn)定.λL=0表明該模型處于穩(wěn)定性和混亂的關(guān)鍵值.

分析混沌神經(jīng)元的動(dòng)力學(xué)特性，如下設(shè)置參數(shù)：ε0=0.02，y(1)=0.1，z(1)=0.98，k=1，I0=0.57，β=0.001，c1=1，c2=-0.01.神經(jīng)元的最大Lyapunov指數(shù)時(shí)間演化圖和倒分叉圖如圖2～3所示.

圖2 c1=1,c2=-0.01時(shí)神經(jīng)元的倒分叉圖

圖3 c1=1,c2=-0.01時(shí)最大Lyapunov指數(shù)時(shí)間演化圖

為了研究對(duì)神經(jīng)元?jiǎng)恿W(xué)特性的影響，分別取c1=3，c2=-0.03和c1=10，c2=-0.1.神經(jīng)元的Lyapunov指數(shù)時(shí)間演化圖和倒分叉圖如圖4～7所示.

從圖2可以看出新構(gòu)建的單神經(jīng)元具有混沌特性，圖3、4顯示c1和c2影響神經(jīng)元混沌特性，隨著c1和c2的增大，神經(jīng)元混沌特性增強(qiáng)，退出混沌的時(shí)間延長.神經(jīng)元混沌狀態(tài)持續(xù)的時(shí)間直接影響網(wǎng)絡(luò)進(jìn)行尋優(yōu)的結(jié)果，混沌狀態(tài)持續(xù)時(shí)間較短會(huì)導(dǎo)致尋優(yōu)過程由于無法跳出局部極小值而找不到最優(yōu)解，而混沌狀態(tài)持續(xù)狀態(tài)過長，會(huì)延長尋優(yōu)過程，降低了算法的效率.因此選擇合適的混沌持續(xù)時(shí)間，可以避免在尋優(yōu)過程中陷入局部極小值的同時(shí)能縮短尋優(yōu)時(shí)間，提高了網(wǎng)絡(luò)的優(yōu)化能力.

圖4 c1=3,c2=-0.03時(shí)神經(jīng)元的倒分叉圖

圖5 c1=3,c2=-0.03時(shí)最大Lyapunov指數(shù)時(shí)間演化圖

圖6 c1=10,c2=-0.1時(shí)神經(jīng)元的倒分叉圖

圖7 c1=10,c2=-0.1時(shí)最大Lyapunov指數(shù)時(shí)間演化圖

1.3 帶切比雪夫多項(xiàng)式的暫態(tài)混沌神經(jīng)網(wǎng)絡(luò)

構(gòu)建如下暫態(tài)混沌神經(jīng)網(wǎng)絡(luò)模型：

x(t)=1/(1+exp(-yi(t)/ε0))

(10)

zi(t)f(xi(t)-I0)

(11)

zi(t+1)=(1-β)zi(t)

(12)

(13)

f(u)=cjTi(u),i=0,1,2…

(14)

其中：yi(t)是第i神經(jīng)元在t時(shí)刻的內(nèi)部狀態(tài)；xi(t)是激活函數(shù)即第i個(gè)神經(jīng)元在t時(shí)刻的輸出；zi(t)是自反饋連接項(xiàng)；f(u)為自反饋權(quán)值的優(yōu)化策略；Tn(x)為切比雪夫多項(xiàng)式；β是分段模擬退火參數(shù)；wij為神經(jīng)元j和i的權(quán)值，其中：wij=wji,wii=0；為激活函數(shù)的陡度系數(shù)；Ii為神經(jīng)元i的輸入偏差；k為神經(jīng)隔膜的阻尼因子，0≤k≤1，其反應(yīng)網(wǎng)絡(luò)記憶保留或遺忘內(nèi)部狀態(tài)的能力；γ為輸入的正的尺度參數(shù)；I0為一正參數(shù).

2 組合優(yōu)化問題的應(yīng)用

2.1 函數(shù)優(yōu)化中的應(yīng)用

取如下優(yōu)化函數(shù)[14]：

f(x1,x2)=(x1-0.7)2[(x2+0.6)2+0.1]+

(x2-0.5)2[(x1+0.4)2+0.15]

(16)

上述優(yōu)化函數(shù)的最小值為0；最小值點(diǎn)為(0.7,0.5)；局部極小值點(diǎn)為(0.6,0.4)與(0.6,0.5)。

取ε0=0.02，k=1，?=0.05，I0=0.57，β=0.005，y(1)=0.383，y(2)=0.283，z1=z2=0.98，c1=1，c2=-0.01.能量函數(shù)的時(shí)間演化圖如圖8所示，神經(jīng)元輸出值和時(shí)間演化圖如圖9所示.

其他參數(shù)與上述保持一致，取c1=3，c2=-0.03神經(jīng)元輸出值x1和x2時(shí)間演化圖如圖10所示.

圖8 c1=1,c2=-0.01時(shí)優(yōu)化函數(shù)的能量函數(shù)時(shí)間演化圖

圖9表示，程序在運(yùn)行700次左右時(shí)，網(wǎng)絡(luò)能找到最小值點(diǎn).說明構(gòu)建新的混沌神經(jīng)網(wǎng)路具有函數(shù)優(yōu)化的能力.為了進(jìn)一步研究參數(shù)c1，c2對(duì)網(wǎng)絡(luò)進(jìn)行函數(shù)優(yōu)化的影響，取c1=3,c2=-0.03進(jìn)行仿真實(shí)驗(yàn)，結(jié)果顯示程序運(yùn)行約1 000次左右，網(wǎng)絡(luò)退出混沌狀態(tài)達(dá)到平衡狀態(tài)，找到最小值點(diǎn).結(jié)合圖9、10，說明參數(shù)c1和c2直接影響網(wǎng)絡(luò)退出混沌狀態(tài)的時(shí)間，因此在實(shí)際應(yīng)用中，應(yīng)當(dāng)選擇合適的參數(shù)，來提高網(wǎng)絡(luò)的優(yōu)化能力.

圖9 c1=1,c2=-0.01時(shí)神經(jīng)元輸出值x1x2的時(shí)間演化圖

圖10 c1=3,c2=-0.03時(shí)神經(jīng)元輸出值x1x2的時(shí)間演化圖

2.2 10城市旅行商問題應(yīng)用

在組合優(yōu)化領(lǐng)域中，TSP[15]問題由于其求解難度較大，很多學(xué)者一直在尋找一種高效，符合實(shí)際的方法來解決此問題.TSP問題可以簡單描述為“尋找一條包含全部n個(gè)城市的最短環(huán)路，其中：每個(gè)城市必須有且只有一次被訪問”.(n-1)!/2是n個(gè)城市TSP問題可能的路徑數(shù).

本文將新構(gòu)建暫態(tài)混沌神經(jīng)網(wǎng)絡(luò)模型應(yīng)用于求解10城市的TSP問題，取能量函數(shù)為：

(17)

其中：xij指城市i在順序j時(shí)訪問，參數(shù)A=B，dik表示城市i與城市k的距離，最短的有效路徑等效為一個(gè)全局最小的能量值.選取文獻(xiàn)5中的歸一化后的10城市坐標(biāo)，如下：

(0.4,0.443 9);(0.243 9,0.146 3);(0.170 7,0.229 3);(0.229 3,0.716);(0.517 1,0.941 4);(0.873 2,0.653 6);(0.687 8,0.521 9);(0.848 8,0.360 9);(0.668 3,0.253 6);(0.619 5,0.263 4);此坐標(biāo)下滿足10城市TSP問題的最短路徑為2.677 6，如圖11所示.

圖11 10城市TSP最優(yōu)解

在新構(gòu)建的混沌神經(jīng)網(wǎng)絡(luò)模型中，采用切比雪夫多項(xiàng)式對(duì)網(wǎng)絡(luò)的自反饋權(quán)值進(jìn)行優(yōu)化，即f(u)=cjTi(u)，本文研究優(yōu)化策略中系數(shù)c對(duì)網(wǎng)絡(luò)求解旅行商問題的影響.在新的混沌神經(jīng)網(wǎng)絡(luò)模型中，取參數(shù)A=B=1，D=2.5，?=1，k=1，I0=0.57，ε0=0.02，z(1)=0.98，β1=0.003，β2=0.004，c1=-100c2，xij的初值在程序每次運(yùn)行時(shí)200次隨機(jī)在區(qū)間(-0.1,0.1)內(nèi)賦值.

在新構(gòu)建的混沌神經(jīng)網(wǎng)絡(luò)模型中，采用切比雪夫多項(xiàng)式對(duì)網(wǎng)絡(luò)的自反饋權(quán)值進(jìn)行優(yōu)化，即f(u)=cjTi(u)，本文研究優(yōu)化策略中系數(shù)c對(duì)網(wǎng)絡(luò)求解旅行商問題的影響.在新的混沌神經(jīng)網(wǎng)絡(luò)模型中，取參數(shù)A=B=1，D=2.5，?=1，k=1，I0=0.57，ε0=0.02，z(1)=0.98，β1=0.003，β2=0.004，c1=-100c2，xij的初值在程序每次運(yùn)行時(shí)200次隨機(jī)在區(qū)間(-0.1,0.1)內(nèi)賦值.

仿真結(jié)果如表1所示，結(jié)果表明此模型在上述參數(shù)的設(shè)置下求解10城市TSP問題性能較高.

表1 求解10城市旅行商的結(jié)果

由表1可以看出，當(dāng)c1取值小于2.0時(shí)，合法路徑和最優(yōu)路徑都較小，此時(shí)混沌神經(jīng)網(wǎng)絡(luò)尋優(yōu)性能較低.當(dāng)c1取值大于3.5時(shí)，最優(yōu)路徑較小，混沌神經(jīng)網(wǎng)絡(luò)不能很穩(wěn)定地收斂于最優(yōu)解.當(dāng)c1取值在2.8附近時(shí)，網(wǎng)絡(luò)求解組合優(yōu)化問題能力較高.

3 結(jié) 語

本文將較高逼近能力的切比雪夫多項(xiàng)式引入到混沌神經(jīng)網(wǎng)絡(luò)中，構(gòu)建了一種新的暫態(tài)混沌神經(jīng)網(wǎng)絡(luò)模型.模型的混沌動(dòng)力學(xué)特性通過最大Lyapunov指數(shù)時(shí)間演化圖和倒分叉圖來進(jìn)行分析.分析了指定參數(shù)對(duì)網(wǎng)絡(luò)混沌特性和網(wǎng)絡(luò)優(yōu)化性能的影響.模型的有效性通過旅行商問題和函數(shù)優(yōu)化問題的仿真實(shí)驗(yàn)進(jìn)行驗(yàn)證.通過仿真實(shí)驗(yàn)結(jié)果顯示，新構(gòu)建的暫態(tài)混沌神經(jīng)網(wǎng)路模型，具有很好的求解組合優(yōu)化的能力.