變頻正弦混沌神經(jīng)網(wǎng)絡(luò)及其應(yīng)用?

胡志強(qiáng) 李文靜 喬俊飛

1)(北京工業(yè)大學(xué)信息學(xué)部,北京 100124)

2)(計(jì)算智能與智能系統(tǒng)北京市重點(diǎn)實(shí)驗(yàn)室,北京 100124)

變頻正弦混沌神經(jīng)網(wǎng)絡(luò)及其應(yīng)用?

胡志強(qiáng)1)2)?李文靜1)2)喬俊飛1)2)

1)(北京工業(yè)大學(xué)信息學(xué)部,北京 100124)

2)(計(jì)算智能與智能系統(tǒng)北京市重點(diǎn)實(shí)驗(yàn)室,北京 100124)

(2017年1月4日收到;2017年2月7日收到修改稿)

針對(duì)暫態(tài)混沌神經(jīng)網(wǎng)絡(luò)全局尋優(yōu)能力受限的問(wèn)題,提出了一種基于腦電波生物機(jī)制的新型混沌神經(jīng)網(wǎng)絡(luò)模型——變頻正弦混沌神經(jīng)網(wǎng)絡(luò).該模型將變頻正弦函數(shù)和Sigmoid函數(shù)組合作為非單調(diào)激勵(lì)函數(shù),本文給出了該混沌神經(jīng)元的倒分岔圖及Lyapunov指數(shù)的時(shí)間演化圖,分析了其動(dòng)力學(xué)特性.進(jìn)一步將該模型應(yīng)用到非線性函數(shù)優(yōu)化和組合優(yōu)化問(wèn)題上,并分析了參數(shù)的變化規(guī)律.仿真實(shí)驗(yàn)證明變頻正弦混沌神經(jīng)網(wǎng)絡(luò)比暫態(tài)混沌神經(jīng)網(wǎng)絡(luò)及其他相關(guān)模型具有更好的全局尋優(yōu)能力.

混沌神經(jīng)網(wǎng)絡(luò),腦電圖,變頻正弦混沌神經(jīng)網(wǎng)絡(luò),組合優(yōu)化

1 引 言

Hopfield神經(jīng)網(wǎng)絡(luò)(Hopfield neural network,HNN)已被證明是解決優(yōu)化問(wèn)題的有力工具［1].HNN采用梯度下降法進(jìn)行尋優(yōu),極易陷入局部極小點(diǎn)或出現(xiàn)不可行解［2].Aihara等［3]在HNN結(jié)構(gòu)的基礎(chǔ)上引入負(fù)的自反饋,使其表現(xiàn)出混沌行為,提出混沌神經(jīng)網(wǎng)絡(luò)(chaotic neural network,CNN),利用混沌遍歷性、偽隨機(jī)性的特性實(shí)現(xiàn)不重復(fù)的全局搜索.但由于網(wǎng)絡(luò)參數(shù)固定,導(dǎo)致網(wǎng)絡(luò)無(wú)法穩(wěn)定,文獻(xiàn)[4]在Aihara等［3]研究的基礎(chǔ)上引入混沌模擬退火機(jī)制,使網(wǎng)絡(luò)的混沌行為呈指數(shù)衰減形式,最后退化為HNN,提出了暫態(tài)混沌神經(jīng)網(wǎng)絡(luò)(transiently chaotic neural network,TCNN),既利用了混沌的全局搜索能力,又使網(wǎng)絡(luò)最終得以穩(wěn)定.

TCNN采用的激勵(lì)函數(shù)是單調(diào)遞增的Sigmoid函數(shù),Shuai等［5]指出有效的激勵(lì)函數(shù)可取各種形狀,應(yīng)表現(xiàn)出非單調(diào)行為,并提出了奇對(duì)稱激勵(lì)函數(shù)的模型.Potapov和Ali［6]指出激勵(lì)函數(shù)采用非單調(diào)的函數(shù)可以使神經(jīng)元更容易產(chǎn)生混沌動(dòng)力學(xué)特性.基于以上理論,許多學(xué)者提出了具有非單調(diào)激勵(lì)函數(shù)的CNN.修春波等［7]將Gauss函數(shù)與Sigmoid函數(shù)加和組成非單調(diào)激勵(lì)函數(shù),提出了GS-CNN模型;徐耀群和孫明［8]將Shannon小波函數(shù)與Sigmoid函數(shù)加和組成非單調(diào)激勵(lì)函數(shù),提出了SSW-CNN模型;Yi等［9]將正弦函數(shù)與Sigmoid函數(shù)復(fù)合作為非單調(diào)激勵(lì)函數(shù),并加入時(shí)變?cè)鲆?提出了I-TCNN模型;Xu等［10]將逆多二次函數(shù)與Sigmoid函數(shù)加和組成非單調(diào)激勵(lì)函數(shù),提出了RBF-CNN模型;Zhang和Xu［11]將Morlet或Mexican Hat小波函數(shù)代替Sigmoid函數(shù),提出了MWCNN和MHWCNN模型.

以上學(xué)者所提出的具有非單調(diào)激勵(lì)函數(shù)的混沌神經(jīng)元模型,雖然都在一定程度上提高了CNN的全局搜索性能,但是大都缺乏一定的生物學(xué)機(jī)制,無(wú)法表征出神經(jīng)元激勵(lì)與響應(yīng)的頻幅關(guān)系,不能充分體現(xiàn)出復(fù)雜多變腦部活動(dòng)的非線性動(dòng)力學(xué)特征和具有更加豐富的混沌全局搜索性能.因此,本文基于腦電波由不同頻率的正弦信號(hào)疊加而成的生物機(jī)制,采用由變頻正弦(frequency conversion sinusoidal,FCS)函數(shù)與Sigmoid函數(shù)加權(quán)和的形式作為混沌神經(jīng)元的激勵(lì)函數(shù),提出了一種新的CNN模型——變頻正弦混沌神經(jīng)網(wǎng)絡(luò)(frequency conversion sinusoidal chaotic neural network,FCSCNN)模型.在對(duì)激勵(lì)函數(shù)非單調(diào)化的同時(shí),使其作用機(jī)制更加符合真實(shí)的生物神經(jīng)元特性.給出了FCS混沌神經(jīng)元的倒分岔圖和最大Lyapunov指數(shù)的時(shí)間演化圖,分析了其動(dòng)力學(xué)特性.將該新型CNN模型應(yīng)用于非線性函數(shù)優(yōu)化和組合優(yōu)化問(wèn)題中進(jìn)行仿真實(shí)驗(yàn),結(jié)果表明該模型具有較強(qiáng)的克服局部極小的能力.

2 FCS混沌神經(jīng)元模型

本文基于腦電波由不同頻率正弦信號(hào)疊加而成的生物機(jī)制,提出了一種FCS混沌神經(jīng)元模型.在腦電波中可以觀察到有節(jié)律和重復(fù)的神經(jīng)振蕩［12].研究表明,根據(jù)不同腦部活動(dòng)對(duì)應(yīng)腦電波的質(zhì)量和強(qiáng)度,可將腦電波分為α,β,δ,γ和θ波,五種不同腦電波的特點(diǎn)見(jiàn)表1［12?14].

表1 五種不同腦電波的特點(diǎn)Table 1.The characteristics of fi ve di ff erent brain waves.

由表1可知,不同腦電波形代表人腦的不同活動(dòng)狀態(tài),并且思維越活躍,腦電波的頻率越高,而幅值會(huì)越低.Sih和Tang［14]指出反映大腦思維活動(dòng)的腦電波由不同頻率的正弦信號(hào)疊加而成,思維所需的信息由神經(jīng)元產(chǎn)生不同頻率和幅值的腦電波來(lái)體現(xiàn).根據(jù)以上生物機(jī)制,定義FCS函數(shù)如下:

其中,u為函數(shù)自變量,用于表征腦部活動(dòng)的強(qiáng)弱;A為正弦函數(shù)的幅值,A(0)為幅值初值(0≤A(0)≤1);ε為正弦函數(shù)的陡度因子,用于表征正弦函數(shù)頻率的大小;ε(0)為陡度因子初值(ε(0)＞ 0);a,b均為正值參數(shù).圖1為A(0)=0.2,ε(0)=0.08,a=b=1時(shí)的FCS函數(shù)圖像.

圖1 FCS函數(shù)圖像Fig.1.The graph of FCS function.

由圖1可知,構(gòu)造的FCS函數(shù)可以表征腦部活躍度與腦電波的頻率、幅值分別成正比和反比的關(guān)系.TCNN的激勵(lì)函數(shù)為Sigmoid函數(shù),具有普遍的生物學(xué)依據(jù),但是并未能體現(xiàn)神經(jīng)元活躍度的特點(diǎn).借鑒文獻(xiàn)[5—11]的理論基礎(chǔ)和激勵(lì)函數(shù)的構(gòu)造方法,并結(jié)合以上生物學(xué)機(jī)制,將FCS函數(shù)與Sigmoid函數(shù)加權(quán)和作為混沌神經(jīng)元的激勵(lì)函數(shù).將激勵(lì)函數(shù)非單調(diào)化的同時(shí),使之更加符合真實(shí)生物神經(jīng)元的激活抑制以及腦神經(jīng)不同活躍狀態(tài)的特點(diǎn),提出了一種新的混沌神經(jīng)元模型——FCS混沌神經(jīng)元模型,描述如下:

其中,y(t)為神經(jīng)元內(nèi)部狀態(tài);x(t)為神經(jīng)元輸出;k為神經(jīng)隔膜的阻尼因子(0≤k≤1);ε1和ε2分別為Sigmoid函數(shù)S1和FCS函數(shù)S2的陡度參數(shù)(ε1,ε2＞ 0);c為FCS函數(shù)的比例系數(shù)(0≤ c≤ 1,c=0時(shí)為TCNN模型);I0為正值參數(shù);z(t)為自反饋連接權(quán)重(z(t)＞0);β為z(t)的退火衰減因子(0≤ β ≤1).當(dāng)ε1=0.08,A(0)=0.8,ε2(0)=0.02,a=6,b=1,c=0.25時(shí),S2(u)與f(u)函數(shù)圖像如圖2所示.

圖2 (網(wǎng)刊彩色)Sigmoid和Sigmoid+0.25FCS激勵(lì)函數(shù)曲線對(duì)比 (a)FCS函數(shù);(b)Sigmoid+0.25FCS激勵(lì)函數(shù)Fig.2.(color online)The comparison of activation function between Sigmoid and Sigmoid+0.25FCS:(a)FCS function;(b)Sigmoid+0.25FCS activation function.

圖3 (網(wǎng)刊彩色)a,b對(duì)應(yīng)于幅值和頻率的變化特性 (a)幅值A(chǔ)隨a的變化特性;(b)頻率1/ε隨b的變化特性Fig.3.(color online)The change characteristics of the amplitude and frequency with a,b:(a)The change characteristic of the amplitude A with a;(b)the change characteristic of the frequency 1/ε with b.

由圖2可知,加入FCS后的激勵(lì)函數(shù)表現(xiàn)出一定的非單調(diào)性,同時(shí)保持了Sigmoid函數(shù)的生物學(xué)特性.通過(guò)選取不同的A(0),ε2(0),a,b,c值,可以得到不同特點(diǎn)的非單調(diào)激勵(lì)函數(shù).ε2(0)越小,則正弦函數(shù)頻率越高;A(0)和c越大,則FCS函數(shù)的權(quán)重越大,這都將使得激勵(lì)函數(shù)非單調(diào)程度越大.固定其他參數(shù)不變,幅值A(chǔ)和頻率1/ε分別隨a,b的變化特性見(jiàn)圖3.

由圖3可知,a,b分別決定著幅值變化的寬度和頻率變化的陡度,a越大,幅值寬度越小,b越大,頻率陡度越明顯.由(7)式可知,ε2(0),b,u共同決定FCS波函數(shù)的頻率(f=1/2πε),其中b,ε2(0)分別控制頻段上下界值,FCS函數(shù)的頻段關(guān)系見(jiàn)表2.

由表2可知,FCS波頻段和范圍(0.497—100.311 Hz)與表1所列的腦電波頻段和范圍(0.5—100 Hz)一致,符合腦電波頻率的生物機(jī)制,其中0.0044≤ ε2(0)≤ 0.32,0.56≤ b≤ 1.8,|u|≤1.神經(jīng)元的動(dòng)力學(xué)特性可以根據(jù)倒分岔圖和最大Lyapunov指數(shù)來(lái)觀察和體現(xiàn).正的Lyapunov指數(shù)表示模型具有混沌行為,Lyapunov指數(shù)越大,表示混沌程度越高［7].Lyapunov指數(shù)定義如下:

由(8)—(11)式可得FCS混沌神經(jīng)元模型的Lyapunov指數(shù)計(jì)算公式.為了分析比較提出的FCS混沌神經(jīng)元模型的動(dòng)力學(xué)特性,選取適當(dāng)?shù)膮?shù),神經(jīng)元將會(huì)表現(xiàn)出暫態(tài)混沌的特性.選取參數(shù)k=1,β =0.005,ε1=0.02,I0=0.65,z(0)=0.8,A(0)=0.8,ε2(0)=0.04,a=b=1,c=0.25時(shí),FCS混沌神經(jīng)元與標(biāo)準(zhǔn)暫態(tài)混沌神經(jīng)元(c=0)的倒分岔圖和Lyapunov指數(shù)的時(shí)間演化圖分別如圖4和圖5所示.

由圖4和圖5可知,隨著自反饋連接權(quán)重z(t)的衰減,網(wǎng)絡(luò)均經(jīng)歷倒分岔過(guò)程,由混沌態(tài)逐漸向倍周期態(tài)退化直至穩(wěn)定在周期一點(diǎn)(不動(dòng)點(diǎn)).同樣參數(shù)條件下,FCS混沌神經(jīng)元比暫態(tài)混沌神經(jīng)元表現(xiàn)出更豐富的動(dòng)力學(xué)行為,具有更大更多的正值Lyapunov指數(shù),這些決定了新型混沌神經(jīng)元模型具備更好的全局尋優(yōu)能力.

圖4 FCS混沌神經(jīng)元的倒分岔圖及Lyapunov指數(shù)時(shí)間演化圖 (a)倒分岔圖;(b)Lyapunov指數(shù)圖Fig.4.The reversed bifurcation and Lyapunov exponents of the FCS chaotic neuron:(a)Reversed bifurcation;(b)Lyapunov exponents.

圖5 暫態(tài)混沌神經(jīng)元的倒分岔圖及Lyapunov指數(shù)時(shí)間演化圖 (a)倒分岔圖;(b)Lyapunov指數(shù)圖Fig.5.The reversed bifurcation and Lyapunov exponents of the transient chaotic neuron:(a)Reversed bifurcation;(b)Lyapunov exponents.

3 FCSCNN模型

利用上述FCS混沌神經(jīng)元模型,構(gòu)建得到如下FCSCNN模型:

其中,α為輸入正值比例參數(shù),wij為神經(jīng)元i和神經(jīng)元j之間的連接權(quán)值(wij=wji,wii=0),Ii是神經(jīng)元i的輸入閾值,其他參數(shù)定義同F(xiàn)CS混沌神經(jīng)元模型.FCSCNN模型結(jié)構(gòu)如圖6所示.

圖6FCSCNN模型結(jié)構(gòu)圖Fig.6.The structure chart of FCSCNN model.

由(12)—(17)式可知,基本網(wǎng)絡(luò)參數(shù)k,α,β,z(0),I0,ε1及FCS函數(shù)參數(shù)A(0),ε2(0),a,b,c均有取值范圍,但比較寬泛.參數(shù)的選擇對(duì)網(wǎng)絡(luò)的動(dòng)力學(xué)演化過(guò)程及尋優(yōu)性能有很大影響.選擇合適的模型參數(shù)可使網(wǎng)絡(luò)處于混沌狀態(tài),并表現(xiàn)出全局搜索能力,使網(wǎng)絡(luò)較快地找到最優(yōu)解.若選取不當(dāng),會(huì)使網(wǎng)絡(luò)無(wú)法出現(xiàn)混沌行為,還可能出現(xiàn)不收斂、收斂速度慢、搜索不到最優(yōu)解、出現(xiàn)不可行解等不良優(yōu)化效果.實(shí)際應(yīng)用中需要更具體的范圍及選擇方法.由于優(yōu)化問(wèn)題復(fù)雜性的差異及模型參數(shù)間的相互影響和敏感性,目前對(duì)于實(shí)際優(yōu)化問(wèn)題的模型參數(shù)選取通常采用試湊法和經(jīng)驗(yàn)值.為此,根據(jù)現(xiàn)有文獻(xiàn)研究,給出了更為具體的參數(shù)選擇方案.k反映記憶或遺忘內(nèi)部狀態(tài)的能力,其值過(guò)大會(huì)使網(wǎng)絡(luò)很快結(jié)束混沌態(tài),反之會(huì)增加迭代次數(shù),通常設(shè)置為經(jīng)驗(yàn)值0.9—1［7?10];α反映能量函數(shù)對(duì)神經(jīng)動(dòng)力的影響,使自反饋(混沌)項(xiàng)和梯度項(xiàng)達(dá)到某種平衡,其值過(guò)大混沌項(xiàng)作用相對(duì)較小,降低全局尋優(yōu)性能,反之能量函數(shù)不能充分影響網(wǎng)絡(luò)演化,將只在很小范圍內(nèi)搜索,根據(jù)實(shí)驗(yàn)分析及文獻(xiàn)[4,7—11,15—18]仿真實(shí)驗(yàn),其值設(shè)置在0.01—0.5具有較好的優(yōu)化性能;ε1決定Sigmoid函數(shù)的陡度,其值過(guò)大網(wǎng)絡(luò)收斂快,但準(zhǔn)確度下降,反之混沌全局搜索性能強(qiáng)(過(guò)于趨近0時(shí)反而無(wú)混沌行為),其值多設(shè)置0.001—0.1［16];對(duì)于I0的選擇,目前普遍選擇固定值,常用值為0.56或0.65;β,z(0)分別影響網(wǎng)絡(luò)的初始混沌程度和混沌項(xiàng)衰減速度,共同決定網(wǎng)絡(luò)的收斂速度,β越大網(wǎng)絡(luò)收斂快,但會(huì)降低尋優(yōu)的準(zhǔn)確率,而z(0)越大初始混沌運(yùn)動(dòng)越劇烈,但網(wǎng)絡(luò)收斂慢,對(duì)于復(fù)雜的中大規(guī)模的優(yōu)化問(wèn)題通常需要較小的β和較高的z(0).如何權(quán)衡準(zhǔn)確率和速度的關(guān)系,要根據(jù)優(yōu)化問(wèn)題的復(fù)雜度以及實(shí)際工程需要設(shè)定,并通過(guò)參數(shù)的設(shè)置和自適應(yīng)方法來(lái)實(shí)現(xiàn),這也是該研究方向需要解決的難點(diǎn)之一.

FCSCNN的優(yōu)化機(jī)制同HNN類似,都是將問(wèn)題的目標(biāo)函數(shù)映射為網(wǎng)絡(luò)的能量函數(shù),將網(wǎng)絡(luò)的動(dòng)力學(xué)演化過(guò)程視為目標(biāo)函數(shù)的尋優(yōu)過(guò)程,當(dāng)網(wǎng)路收斂到穩(wěn)定點(diǎn)時(shí),對(duì)應(yīng)的神經(jīng)元輸出即為所要求得優(yōu)化問(wèn)題的(最優(yōu)/次優(yōu))解.根據(jù)HNN優(yōu)化原理有如下規(guī)則:

不同的是FCSCNN能量函數(shù)E在(19)式表達(dá)上有個(gè)附加能量項(xiàng)H,H決定著混沌動(dòng)力的能量值,代表網(wǎng)絡(luò)在混沌搜索階段中混沌動(dòng)力的大?。?9].FCSCNN在初始粗搜索階段會(huì)利用混沌特性在相空間內(nèi)按照一定分形結(jié)構(gòu)進(jìn)行不重復(fù)的“自抑制”全局搜索,隨著z(t)的衰減,混沌動(dòng)力減弱,網(wǎng)絡(luò)將經(jīng)過(guò)倒分岔逐步退化到梯度收斂的細(xì)搜索階段［15].

其中,H是附加能量項(xiàng);i=1,2...,N,N為神經(jīng)元的個(gè)數(shù);wij為神經(jīng)元i和神經(jīng)元j之間的連接權(quán)值;xi為第i個(gè)神經(jīng)元的輸出;Ii是第i個(gè)神經(jīng)元的閾值;τi為第i個(gè)神經(jīng)元的時(shí)間常數(shù);f?1(.)為激活函數(shù)的反函數(shù).依據(jù)(18)式的修改規(guī)則可產(chǎn)生多種CNN模型.因此,H的形式?jīng)Q定了HNN能夠具有不同特點(diǎn)的混沌動(dòng)力行為,進(jìn)而衍生出不同的CNN模型,進(jìn)而HNN的能量曲面也就具有了暫態(tài)混沌的特點(diǎn),這也就是TCNN全局優(yōu)化機(jī)制的核心所在.

4 FCS模型在優(yōu)化問(wèn)題中的應(yīng)用

4.1模型在函數(shù)優(yōu)化中的應(yīng)用

選取以下優(yōu)化函數(shù):

函數(shù)f的最小值為0,最小值點(diǎn)為(0.7,0.5);局部極小點(diǎn)為(0.6,0.4),(0.6,0.5)和(0.7,0.4).在FCSCNN模型中,參數(shù)選取如下:k=1,α=0.1,β =0.01,ε1=0.05,I0=0.56,z1(0)=z2(0)=0.8,A(0)=0.4,ε2(0)=0.08,a=6,b=1,c=0.25. 隨機(jī)初始化x1,x2的值,FCSCNN模型優(yōu)化函數(shù)f的能量函數(shù)E的時(shí)間演化圖如圖7所示.

圖7 FCSCNN優(yōu)化函數(shù)f的能量函數(shù)E的時(shí)間演化圖Fig.7.The time evolution diagram of the energy function E for function optimization by FCSCNN.

當(dāng)網(wǎng)絡(luò)迭代800次時(shí)優(yōu)化函數(shù)的能量函數(shù)值為2.961×10?8,此時(shí),x1=0.69986,x2=0.50006.神經(jīng)元輸出x1,x2的時(shí)間演化圖如圖8所示.

由圖7和圖8可知:FCS神經(jīng)元輸出值x1,x2(目標(biāo)解)在前期的尋優(yōu)方式是具有混沌搜索的遍歷性、偽隨機(jī)性的特點(diǎn),在300步時(shí)已經(jīng)收斂到最優(yōu)解附近,這種快速、準(zhǔn)確的尋優(yōu)能力很好地證明了FCSCNN的函數(shù)優(yōu)化能力,最優(yōu)率為100%.為了更好地驗(yàn)證模型的優(yōu)化能力,選擇如下復(fù)雜的組合優(yōu)化問(wèn)題進(jìn)行實(shí)驗(yàn)分析.

圖8 FCS神經(jīng)元輸出值x1,x2的時(shí)間演化圖 (a)x1;(b)x2Fig.8.The time evolution diagram of FCS neuron output x1,x2:(a)x1;(b)x2.

4.2模型在組合優(yōu)化中的應(yīng)用

旅行商問(wèn)題(traveling salesman problem,TSP)描述如下:假定有個(gè)城市,給出它們的位置和相互距離,要求尋找一條閉合路徑,每個(gè)城市僅且被訪問(wèn)一次,回到起始城市,要求這條路徑的距離最短.

問(wèn)題對(duì)應(yīng)的目標(biāo)函數(shù)［4]為

則由(18)式得,描述求解TSP的FCS神經(jīng)元內(nèi)部狀態(tài)動(dòng)力學(xué)方程為

其中,xi0=xin,xin+1=xi1,xij為神經(jīng)元的輸出,它表示城市i于第j個(gè)被訪問(wèn);W1和W2分別為與約束和關(guān)于路徑長(zhǎng)度的代價(jià)函數(shù)對(duì)應(yīng)的耦合系數(shù);dij為城市i和城市j之間的距離.

選取10個(gè)城市歸一化后的坐標(biāo),取值分別為:(0.4000,0.4439);(0.2439,0.1463);(0.1707,0.2293); (0.2293, 0.7160); (0.5171, 0.9414);(0.8732, 0.6536); (0.6878, 0.5219); (0.8488,0.3609);(0.6683,0.2536);(0.6195,0.2634).已知滿足條件的最短路徑長(zhǎng)度為2.6776.在FCSCNN模型中,參數(shù)選取如下:k=1,α=0.05,β=0.01,ε1=0.05,I0=0.65,z(0)=0.8,A(0)=0.4,ε2(0)=0.08,a=6,b=1,c=0.25,W1=1,W2=1.隨機(jī)初始化xij的值,FCSCNN模型求解TSP時(shí)能量函數(shù)E和FCS單個(gè)神經(jīng)元x1,1輸出的時(shí)間演化圖及最優(yōu)路徑分別如圖9—圖11所示.

圖9 FCSCNN求解10城市TSP能量函數(shù)E時(shí)間演化圖Fig.9.The time evolution diagram of the energy function E for 10-city TSP by FCSCNN.

由圖9可知,能量函數(shù)的穩(wěn)定值為1.3388,對(duì)應(yīng)的最短路徑為2.6776,網(wǎng)絡(luò)能夠很好地解決TSP.為了更好地分析FCSCNN模型的優(yōu)化性能,固定參數(shù)k=1,α=0.05,β=0.01,ε1=0.05,I0=0.65,z(0)=0.8,W1=1,W2=1,取不同F(xiàn)CS函數(shù)參數(shù)和模型進(jìn)行分析試驗(yàn).隨機(jī)初始化xij的值,進(jìn)行2000次獨(dú)立實(shí)驗(yàn),每次獨(dú)立實(shí)驗(yàn)迭代1000步,結(jié)果列于表3和表4.

圖10 FCS神經(jīng)元x1,1輸出的時(shí)間演化圖Fig.10.The time evolution diagram of FCS neuron output x1,1.

圖11 10城市TSP歸一化坐標(biāo)的最短路徑 (a)初始路徑;(b)最優(yōu)路徑Fig.11.The optimal path in normalization of 10-city TSP:(a)Original route;(b)optimal path.

表3 不同參數(shù)下FCSCNN求解10城市TSP結(jié)果Table 3.The results of the FCSCNN with di ff erent parameters for 10-city TSP.

表4 不同網(wǎng)絡(luò)模型求解10城市TSP問(wèn)題結(jié)果Table 4.The results of the di ff erent models for 10-city TSP.

由表3可知,a值過(guò)大或過(guò)小(對(duì)應(yīng)于激勵(lì)函數(shù)的非線性度過(guò)小或過(guò)大,見(jiàn)圖3)都會(huì)使得最優(yōu)比率下降,其值為6時(shí)具有最好的優(yōu)化性能,而b值的變化對(duì)FCSCNN優(yōu)化性能影響并不明顯,這是由于a對(duì)激勵(lì)函數(shù)的非單調(diào)性起到更關(guān)鍵的決定作用.當(dāng)c.A(0)≤0.2時(shí),FCSCNN模型具有較好的優(yōu)化性能,當(dāng)c.A(0)＞0.3時(shí),模型的優(yōu)化能力變差,其原因激勵(lì)函數(shù)的非線性度過(guò)大影響到模型的穩(wěn)定性,網(wǎng)絡(luò)無(wú)法搜索到最優(yōu)解.ε2(0)值越小,優(yōu)化效果越好,且不會(huì)對(duì)模型的穩(wěn)定性產(chǎn)生影響.理論上,只要退火參數(shù)足夠小,最終都能夠找到最優(yōu)解.但是,在相同的演化步數(shù)下,對(duì)比才能夠體現(xiàn)出不同網(wǎng)絡(luò)的全局搜索能力.

由表4可知,提出的FCSCNN模型比其他幾種模型具有更好全局尋優(yōu)能力.為了進(jìn)一步檢驗(yàn)?zāi)Ｐ蛯?duì)于中大規(guī)模問(wèn)題的尋優(yōu)能力,選取30和75個(gè)城市TSP.已知滿足條件的最短路徑長(zhǎng)度如圖12所示,分別為4.237406和5.434474［17].隨機(jī)初始化xij的值,選取不同模型進(jìn)行200次獨(dú)立實(shí)驗(yàn),結(jié)果分別如表5和表6所列.

圖12 30和75城市TSP歸一化坐標(biāo)的最短路徑 (a)30城市;(b)75城市Fig.12.The optimal path in normalization of 30-city and 75-city TSP:(a)30-city;(b)75-city.

表5 不同網(wǎng)絡(luò)模型求解30城市TSP結(jié)果Table 5.The results of the di ff erent models for 30-city TSP.

表6 不同網(wǎng)絡(luò)模型求解75城市TSP問(wèn)題結(jié)果Table 6.The results of the di ff erent models for 75-city TSP.

由表4和表5可知,最優(yōu)解比率與城市數(shù)(問(wèn)題的復(fù)雜度)成反比.對(duì)于75城市的TSP,大多數(shù)算法最優(yōu)率均較低,甚至無(wú)法找到最優(yōu)解(the best solution,BS).因此,引入(23)式所示的評(píng)價(jià)指數(shù)J［18]評(píng)估不同模型的優(yōu)化性能.

其中,AV S為合法解的均值,GM為全局最優(yōu)解.J值越低,優(yōu)化性能越強(qiáng).

由表4—表6可知,對(duì)于不同規(guī)模的優(yōu)化問(wèn)題,在相同的模型參數(shù)條件下,提出的FCSCNN模型比HNN［1],TCNN［4],ITCNN［9]模型具有更高的最優(yōu)比率和精度,尤其對(duì)于能量曲面上具有多個(gè)局部極小點(diǎn)的中大規(guī)模優(yōu)化問(wèn)題,優(yōu)勢(shì)更為顯著.這是由于FCS函數(shù)不但增加了神經(jīng)元激勵(lì)函數(shù)的非單調(diào)程度,并且比傳統(tǒng)的正弦函數(shù)具有更豐富的變化特點(diǎn),這些都奠定了FCSCNN模型具有更好全局尋優(yōu)性能的動(dòng)力學(xué)基礎(chǔ).

5 結(jié) 論

本文將FCS函數(shù)和Sigmoid函數(shù)組合作為非單調(diào)激勵(lì)函數(shù),提出了一種新型CNN模型,即FCSCNN模型,通過(guò)繪制該混沌神經(jīng)元的分岔圖及最大Lyapunov指數(shù)時(shí)間演化圖可知該新型混沌神經(jīng)元模型具有暫態(tài)混沌動(dòng)力學(xué)特性,并比原模型混沌特性更為明顯,這給混沌搜索提供了更好的全局搜索性能.并且將提出的模型應(yīng)用到非線性函數(shù)優(yōu)化和組合優(yōu)化問(wèn)題上,同時(shí)分析了FCS函數(shù)參數(shù)對(duì)模型性能的影響,仿真實(shí)驗(yàn)證明了該模型的有效性和可行性.在參數(shù)自適應(yīng)選擇上還有待改進(jìn),也是下一步需要進(jìn)行的工作.

[1]Han G,Qiao J F,Han H G,Chai W 2014J.Control Decis.29 2085(in Chinese)[韓廣,喬俊飛,韓紅桂,柴偉2014控制與決策29 2085]

[2]Yu S J,Huan R S,Zhang J,Feng D 2014Acta Phys.Sin.63 060701(in Chinese)[于舒娟,宦如松,張昀,馮迪2014物理學(xué)報(bào)63 060701]

[3]Aihara K,Takabe T,Toyoda M 1990Phys.Lett.A144 333

[4]Chen L N,Aihara K 1995Neural Networks8 6

[5]Shuai J W,Chen Z X,Liu R T,Wu B X 1996Phys.Lett.A221 311

[6]Potapov A,Ali M K 2000Phys.Lett.A277 310

[7]Xiu C B,Liu X D,Zhang Y H,Tang Y Y 2005Acta Electron.Sin.33 868(in Chinese)[修春波,劉向東,張宇河,唐運(yùn)虞2005電子學(xué)報(bào)33 868]

[8]Xu Y Q,Sun M 2008Control Theory A25 574(in Chinese)[徐耀群,孫明2008控制理論與應(yīng)用25 574]

[9]Yi Z,Xu G J,Qin X Z,Jia Z H 2011Proc.Eng.24 479

[10]Xu Y Q,Xu N,Liu L J 2012Appl.Mech.Mater.151 532

從供應(yīng)來(lái)看，原材料價(jià)格持續(xù)高位，磷礦石供應(yīng)偏緊，磷酸二銨現(xiàn)貨供應(yīng)持續(xù)緊張。從需求來(lái)看，東北、西北地區(qū)冬儲(chǔ)剛需較旺，同時(shí)出口詢單積極性仍較高。在原料和市場(chǎng)需求支撐下，預(yù)計(jì)短期內(nèi)二銨價(jià)格高位維穩(wěn)，后期仍存小幅上漲，重點(diǎn)關(guān)注原料價(jià)格和冬儲(chǔ)進(jìn)展情況。

[11]Zhang J H,Xu Y Q 2009Nat.Sci.1 204

[12]Zhang Q H Y,Xie X P,Zhu P,Chen H P,He G G 2014Commun.Nonlinear Sci.19 2793

[13]Zhang X D,Zhu P,Xie X P 2013Acta Phys.Sin.62 210506(in Chinese)[張旭東,朱萍,謝小平,何國(guó)光 2013物理學(xué)報(bào)62 210506]

[14]Sih G C,Tang K K 2012Theor.Appl.Fract.Mec.61 21

[16]Qin K 2010Ph.D.Dissertation(Chengdu:University of Electronic Science and Technology of China)(in Chinese)[秦科2010博士學(xué)位論文(成都:電子科技大學(xué))]

[17]Zhao L,Sun M,Cheng J H,Xu Y Q 2009IEEE Trans.Neural Networks20 735

[18]Liu X D,Xiu C B 2007Neurocomputing70 2561

[19]Kwok T,Smith K A 1999IEEE Trans.Neural Networks10 978

PACS:05.45.Gg,07.05.Mh,87.55.deDOI:10.7498/aps.66.090502

Frequency conversion sinusoidal chaotic neural network and its application?

Hu Zhi-Qiang1)2)?Li Wen-Jing1)2)Qiao Jun-Fei1)2)

1)(Faculty of Information Technology,Beijing University of Technology,Beijing 100124,China)
2)(Beijing Key Laboratory of Computational Intelligence and Intelligent System,Beijing 100124,China)

4 January 2017;revised manuscript

7 February 2017)

The optimization performance of transiently chaotic neural network(TCNN)is a ff ected by various factors such as chaotic characteristic,model parameters,and annealing function,and its capacity of global optimization is limited.It is demonstrated that the non-monotonic activation function can generate richer chaotic characteristic than the monotonic activation function in the TCNN model.Besides,the activation function involving neurobiological mechanism can not only re fl ect the rich brain activity in brain waves,but also enhance the non-linear dynamic characteristic,which may further improve the global optimization ability.Hence,a novel chaotic neuron model is proposed with the non-monotonic activation function based on the neurobiological mechanisms from the electroencephalogram.

The electroencephalogram consists of fi ve brain waves(i.e.,α,β,δ,γ,and θ waves)which are de fi ned by the quality and intensity of brain waves with di ff erent frequency bands ranging from 0.5 Hz to 100 Hz.The brain wave with a higher frequency and a lower amplitude represents a more active brain.Researches demonstrate that the fi ve brain waves can be simpli fi ed into sinusoidal waves with di ff erent frequencies.Hence,a frequency conversion sinusoidal(FCS)function which has the consistent frequency range and features with brain waves is designed based on the above neurobiological mechanisms.Then a novel chaotic neuron model with non-monotonic activation function which is composed of the FCS function and sigmoid function,is proposed for richer chaotic dynamic characteristic.The reversed bifurcation and the Lyapunov exponent of the chaotic neuron are given and the dynamic system is analyzed,indicating that the proposed FCS neuron model owns richer chaotic dynamic characteristic than transiently chaotic neuron model due to its special non-monotonic activation function.

Based on the neuron model,a novel transiently-chaotic neural network—frequency conversion sinusoidal chaotic neural network(FCSCNN)is constructed and the basis of model parameter selection is provided as well.To validate the e ff ectiveness of the proposed model,the FCSCNN is applied to nonlinear function optimization and 10-city,30-city,75-city traveling salesman problem.The experimental results show that 1)the FCSCNN has a good performance under the condition of moderate a,smaller c.A(0)and ε2(0);2)on the basis of the appropriate model parameters,the FCSCNN has better global optimization ability and optimization accuracy than Hopfield neural network,TCNN,improved-TCNN due to its richer chaotic characteristic in complicated combinational optimization problem,especially in middle and large scale problem.

chaotic neural network,electroencephalogram,frequency conversion sinusoidal chaotic neural network,combination optimization

10.7498/aps.66.090502

?國(guó)家自然科學(xué)基金重點(diǎn)項(xiàng)目(批準(zhǔn)號(hào):61533002)、國(guó)家杰出青年科學(xué)基金(批準(zhǔn)號(hào):61225016)、國(guó)家自然科學(xué)基金青年科學(xué)基金(批準(zhǔn)號(hào):61603009)、中國(guó)博士后科學(xué)基金(批準(zhǔn)號(hào):2015M570910)、朝陽(yáng)區(qū)博士后研究基金(批準(zhǔn)號(hào):2015ZZ-6)和北京工業(yè)大學(xué)基礎(chǔ)研究基金(批準(zhǔn)號(hào):002000514315501)資助的課題.

?通信作者.E-mail:zacharyhu33@163.com

*Project supported by the Key Program of the National Natural Science Foundation of China(Grant No.61533002),the National Science Fund for Distinguished Young Scholars of China(Grant No.61225016),the Young Scientists Fund of the National Natural Science Foundation of China(Grant No.61603009),the China Postdoctoral Science Foundation(Grant No.2015M570910),the ChaoYang District Postdoctoral Research Foundation,China(Grant No.2015ZZ-6),and the Basic Research Foundation Project of Beijing University of Technology,China(Grant No.002000514315501).

?Corresponding author.E-mail:zacharyhu33@163.com