暫態(tài)混沌神經(jīng)網(wǎng)絡(luò)及其在優(yōu)化問題中的應(yīng)用研究

彭景斌　葉進(jìn)寶　王雪嬌

摘 要：為了分析研究暫態(tài)混沌神經(jīng)網(wǎng)絡(luò)特性及其優(yōu)化機制，在分析與研究暫態(tài)混沌神經(jīng)元模型基礎(chǔ)上,通過在Matlab軟件中編程仿真分析，比較神經(jīng)網(wǎng)絡(luò)的動力學(xué)特性及各參數(shù)對于網(wǎng)絡(luò)的尋優(yōu)過程影響。暫態(tài)混沌神經(jīng)網(wǎng)絡(luò)模型利用混沌所固有的隨機性和軌道遍歷性，在大范圍內(nèi)按其自身規(guī)律進(jìn)行搜索,搜索過程按混沌軌道遍歷,不受目標(biāo)函數(shù)限制,從而具有克服陷入局部極小的能力可有效地解決一系列組合優(yōu)化問題。這里根據(jù)網(wǎng)絡(luò)動力學(xué)特性合理選擇控制網(wǎng)絡(luò)參數(shù)，通過仿真很好地解決了非線性函數(shù)優(yōu)化問題和10個城市的TSP問題。相對于傳統(tǒng)參數(shù)選擇依靠經(jīng)驗使優(yōu)化結(jié)果更具說服力， 優(yōu)化結(jié)果令人滿意。從而有利于這種混沌神經(jīng)網(wǎng)絡(luò)在優(yōu)化問題中的推廣。

關(guān)鍵詞：暫態(tài)混沌神經(jīng)網(wǎng)絡(luò);優(yōu)化問題;非線性函數(shù)優(yōu)化;TSP

中圖分類號：TP183 文獻(xiàn)標(biāo)識碼：A 文章編號：1004－373X(2009)04－076－04

Transient Chaotic Neural Netwgork and Its Optimization ofthe Applied Research

PENG Jingbin1,2,YE Jinbao2,3,WANG Xuejiao3

(1.Hengyang Transport Machinery Co.Ltd.,Hengyang,421002,China;2.Hunan Sci.and Tech.Economy Trade Vocational College,Hengyang,421009,China;

3.University of South China,Hengyang,421001,China)

Abstract：For analysing and studing the characteristic and optimized mechanism of transient chaotic neural network,based on analysis of transient chaotic neuron model,through programming the simulation analysis in the Matlab software to compare the neural network dynamic characteristic and various parameters regarding the network optimization process influence.Transient chaotic neural network model by the chaos inherent in the use of random traversal of the track,and carries on the search in wide range according to its own rule,the search process,according to traverse chaotic orbit,free from restrictions on the objective function,which has overcome the local minimum The ability to effectively can solve a series of combinatorial optimization problems.The control network parameter is selected according to the network dynamic characteristic,through the simulation,problems of non－linear function optimization and 10 city TSP problems are solved.The optimization results is satisfied.And thus is conducive to such a chaotic neural network optimization problem in the promotion.

Keywords：transient chaotic neural network;optimization;non－liear function optimization;TSP

0 引 言

生物神經(jīng)網(wǎng)絡(luò)是一個非常復(fù)雜的非線性巨系統(tǒng),存在各種復(fù)雜的動力學(xué)行為,在生物學(xué)實驗中人們已觀察到人腦和動物神經(jīng)系統(tǒng)中的各種混沌行為。由于人工神經(jīng)網(wǎng)絡(luò)是對生物神經(jīng)網(wǎng)絡(luò)的模擬,因而深入研究人工神經(jīng)網(wǎng)絡(luò)中的復(fù)雜動力學(xué)(特別是混沌)對于提高人工神經(jīng)網(wǎng)絡(luò)的智能化程度具有重要意義。人工神經(jīng)網(wǎng)絡(luò)的一個重要應(yīng)用領(lǐng)域是用于優(yōu)化。神經(jīng)網(wǎng)絡(luò)的尋求穩(wěn)定平衡點的大規(guī)模并行計算能力對于優(yōu)化問題是強有力的工具,但由于其利用梯度下降的動力學(xué),因此在求解許多實際優(yōu)化問題時常陷入局部極小值。由于混沌具有遍歷性、隨機性、規(guī)律性的特點,混沌運動能在一定范圍內(nèi)按其自身的規(guī)律不重復(fù)地遍歷所有狀態(tài),因此,利用混沌變量進(jìn)行優(yōu)化搜索,無疑會比隨機搜索更為優(yōu)越?；煦鐒恿W(xué)為人們研究神經(jīng)網(wǎng)絡(luò)提供了新的契機,用神經(jīng)網(wǎng)絡(luò)研究或產(chǎn)生混沌以及構(gòu)造混沌神經(jīng)網(wǎng)絡(luò),混沌神經(jīng)網(wǎng)絡(luò)具有更加豐富和遠(yuǎn)離平衡點的動力學(xué)特性?；煦鐒恿W(xué)是以對初始條件的敏感性以及在相空間的不停運動為特征的,這一特點使得混沌成為很好地在狀態(tài)空間進(jìn)行搜索的機制,當(dāng)將其用于優(yōu)化時,它具有逃離局部極值的能力。正是基于這個機制,這里研究了暫態(tài)混沌神經(jīng)網(wǎng)絡(luò)模型和其優(yōu)化問題中的應(yīng)用,它具有暫態(tài)的混沌動力學(xué)行為,可以對狀態(tài)空間做暫時的搜索。

1 暫態(tài)混沌神經(jīng)元

混沌神經(jīng)元是標(biāo)定混沌神經(jīng)網(wǎng)絡(luò)的基本單位,對于單個神經(jīng)元的混沌特性的了解可為混沌神經(jīng)網(wǎng)絡(luò)提供必要前提和認(rèn)識基礎(chǔ)。在混沌神經(jīng)元的研究中,振蕩子是一種典型的研究對象,因為振蕩子或它們的組合可表現(xiàn)出豐富的混沌動力學(xué)行為，為了理解混沌神經(jīng)網(wǎng)絡(luò)的運行機理,在此以單個神經(jīng)元為例檢驗該網(wǎng)絡(luò)的混沌動力學(xué)行為。首先給出暫態(tài)混沌神經(jīng)網(wǎng)絡(luò)模型:

Иui(t+1)=kui(t)+αj≠1wijvj+θ-s1(k)〗-

gi(t)И

當(dāng)Е聯(lián)=0時單個神經(jīng)元的網(wǎng)絡(luò)模型：

Иu(t+1)=ku(t)－g(t)(1)

v(t)=11+exp{－μu(t)}(2)

gi(t)=(1－β)gi(t+1)(3)

η(t+1)=η(t)ln{e+λ}(4)И

在Matlab中仿真混沌神經(jīng)元模型進(jìn)行模擬仿真，對式（1）~式（4）隨機取參數(shù)Е=0.7,β=0.001,λ=0.006,μ=300Щ煦縞窬元內(nèi)部狀態(tài)的演變?nèi)鐖D1所示。

圖1 混沌神經(jīng)元狀態(tài)演化圖

對于這里的單個混沌神經(jīng)元的動力學(xué)特性和控制參數(shù)的演化過程進(jìn)行仿真與研究。

圖2、圖3是在式（1）~式（4）取參數(shù)k=0.9,β=0.001,λ=0.006，g(0)=0.08時單個神經(jīng)元的動力學(xué)特征和控制參數(shù)的退化曲線，可以看出式（1）~式（4）組成的網(wǎng)絡(luò)具有暫態(tài)混沌動力學(xué)的行為，隨著控制參數(shù)在時間上的不斷衰減，通過一個倍周期倒分叉過程，網(wǎng)絡(luò)將逐漸趨于穩(wěn)定的平衡點。

圖2 單個神經(jīng)元的動力學(xué)特征

圖3 控制參數(shù)的退化曲線

圖4、圖5中k=0.9,β=0.003,λ=0.006，g(0)=0.08，由于圖4，圖5相對于圖2和圖3只是β增大，但可以知道β增大有利于加速收斂，但優(yōu)化質(zhì)量會有所下降，從網(wǎng)絡(luò)的動態(tài)方程可知，β增大使能量函數(shù)對動態(tài)方程的影響增大，如影響過大，將不能產(chǎn)生充分地混沌動態(tài)；反之太小的β使能量函數(shù)的變化不能充分的影響動態(tài)的演變，從而搜索過程難以收斂到對應(yīng)最小能量值的最優(yōu)解，同時過分的混沌搜索將導(dǎo)致優(yōu)化過程變長。

圖4 單個神經(jīng)元的動力學(xué)特征

圖5 控制參數(shù)的退化曲線

圖6、圖7中k=0.9,β=0.001,λ=0.008，g(0)=0.08，由圖6，圖7相對于圖2和圖3只是λ增大，然而可以知道λ增大有利于加速收斂，但優(yōu)化質(zhì)量會下降，λ的大小反應(yīng)控制參數(shù)Z（t）的下降速率的快慢，過大的λ會使Щ煦綞態(tài)消失的過快，從而容易收斂到局部最小或非法狀態(tài)；反之混沌動態(tài)持續(xù)太久，將嚴(yán)重影響收斂速度。

圖6 單個神經(jīng)元的動力學(xué)特征

圖7 控制參數(shù)的退化曲線

圖8、圖9中k=0.9,β=0.001,λ=0.008，g(0)=0.10，由圖8和圖9相對于圖2和圖3只是Z(0)增大，但可以知道Z(0)減小有利于加速收斂，但算法收斂到次優(yōu)解的概率將增加，加快Z的下降速度，一旦混沌行為不充分則必然影響優(yōu)化性能；反之Z(0)過大將使得下降過程過慢，從而混沌對系統(tǒng)演化過程的影響過大，收斂必然緩慢。

圖8 單個神經(jīng)元的動力學(xué)特征

圖9 控制參數(shù)的退化曲線

2 暫態(tài)混沌神經(jīng)網(wǎng)絡(luò)

上述部分對單個無反饋神經(jīng)元的動力學(xué)特性和控制參數(shù)進(jìn)行了仿真與研究，下面系統(tǒng)地對混沌神經(jīng)網(wǎng)絡(luò)進(jìn)行研究。顯然暫態(tài)混沌神經(jīng)網(wǎng)絡(luò)有反饋項，而且還是許多單個的神經(jīng)元構(gòu)成，其構(gòu)成是將混沌機制引入到Hopfield神經(jīng)網(wǎng)絡(luò)中，構(gòu)造出具有自組織特性和克服局部極小能力的暫態(tài)混沌神經(jīng)網(wǎng)絡(luò)，其數(shù)學(xué)模型如下：

Иui(t+1)=kui(t)+αj≠1wijvj+θ-s1(K)〗-

gi(t)(5)

vi(t)=11+exp{－μui(t)}(6)

gi(t)=(1－β)gi(t+1)(7)

ηi(t)=ηi(t－1)ln{e+λ}(8)И

其中：式（5）為混沌神經(jīng)網(wǎng)絡(luò)的動態(tài)方程；式（6）為神經(jīng)網(wǎng)絡(luò)的激勵函數(shù)。ui和vj為神經(jīng)網(wǎng)絡(luò)在K時刻的輸入和輸出；wij為從第j個神經(jīng)元到第i個神經(jīng)元的連接權(quán)值；k為比例常數(shù)；θ為神經(jīng)元偏置；S1(K)，S2(K)為外加的混沌變量；β和λ為時變量gi(t)和ηi(t)У乃ゼ躋蜃印Hopfield神經(jīng)網(wǎng)絡(luò)離散型模型為：

Иui(K+1)=(1－Δtτ)ui(K)+Δtβ′［∑njwijvj(K)+θ］

=kui(K)+β［∑njwijvj(K)+θ］(9)И

比較混沌神經(jīng)網(wǎng)絡(luò)和Hopfield神經(jīng)網(wǎng)絡(luò)模型只是在Hopfield神經(jīng)網(wǎng)絡(luò)后面加上В璯i(t)項，變量gi(t)表示每個神經(jīng)元的抑制自反饋鏈接的強度，當(dāng)t→0,gi(t)→0,Щ煦縞窬網(wǎng)絡(luò)退化為神經(jīng)網(wǎng)絡(luò)暫態(tài)混沌神經(jīng)網(wǎng)絡(luò)模型綜合了隨機性和確定性算法的優(yōu)點。優(yōu)化過程分為基于混沌的“粗搜索”和基于Hopfield神經(jīng)網(wǎng)絡(luò)“細(xì)（梯度）搜索”兩個階段。粗搜索中的混沌搜索同時具有隨機性和軌道遍歷性，具有克服陷入局部極小的能力。隨機性保證大范圍搜索能力，軌道遍歷性使算法能按系統(tǒng)自身的行為不重復(fù)地遍歷所有可能狀態(tài)，有利于克服一般隨機算法中以分布遍歷性的機制搜索帶來的局限性。粗搜索過程結(jié)束，轉(zhuǎn)入HHN梯度搜索及細(xì)搜索階段，隨著粗搜索結(jié)束，系統(tǒng)方程中控制參數(shù)決定項的作用很弱，及暫態(tài)混沌動力行為消失后，網(wǎng)絡(luò)優(yōu)化過程基本按能量函數(shù)的梯度下降方向進(jìn)行。此時的行為類似于Hopfield神經(jīng)網(wǎng)絡(luò)尋優(yōu)過程。系統(tǒng)最終收斂于一個穩(wěn)定的平衡點，即收斂到全局意義下較滿意的解。

算法流程圖如圖10所示。

3 暫態(tài)混沌神經(jīng)網(wǎng)絡(luò)模型在優(yōu)化問題中的應(yīng)用

3.1 在函數(shù)優(yōu)化中的應(yīng)用

求解下述非線性優(yōu)化問題:

ИF(x)=(x1-0.8)2+

(x2-0.6)2И

目標(biāo)函數(shù)的全局最小點為：（0.8，0.6）；局部極小點為有3個：（0.7，0.5），（0.7，0.6），（0.8，0.5）。以min F(x)為網(wǎng)絡(luò)的能量函數(shù)進(jìn)行優(yōu)化求解并給定相應(yīng)的網(wǎng)絡(luò)參數(shù)和網(wǎng)絡(luò)初始值。

計算結(jié)果見表1。

表1 計算結(jié)果

全局最優(yōu)解對應(yīng)最優(yōu)解迭代次數(shù)

理論解0.000.8，0.6-

混沌解1.478E－0070.799，0.59990

在此給出網(wǎng)絡(luò)的神經(jīng)元的輸出X(t)隨時間的演化過程（隨時間變化）：如圖11所示。

圖10 優(yōu)化流程圖

圖11 神經(jīng)元1的輸出X1(t)和神經(jīng)元2的輸出X2（t）

兩個神經(jīng)元的輸出函數(shù)的初始狀態(tài)是不可預(yù)測的混沌運動，隨著非線性反饋強度的逐漸減弱，經(jīng)過短暫的分叉過程后，最終收斂到網(wǎng)絡(luò)的穩(wěn)定狀態(tài)（0.8，0.6）處。因此該網(wǎng)絡(luò)具有避免陷入局部極小值的能力，從而實現(xiàn)全局優(yōu)化。

3.2 應(yīng)用于TSP問題（10個城市TSP問題）

TSP問題是一類典型的組合優(yōu)化難題,它要求旅行商用最短的路徑走遍地圖上的n個城市而且只能訪問一次,最后回到起始點。TSP問題分為對稱TSP(dij=dji)和非對稱TSP(dij≠dji)。其中：dij表示城市i與城市j之間的距離；對稱TSP的可能路徑有(n-1)!/2條,非對稱的有(n-1)!條。顯然,用窮舉法來尋找最短路徑將花費大量的時間,而且若城市數(shù)量大，則該方法幾乎是無法解決TSP問題的。1985年,Hopfield與Tank構(gòu)造了TSP問題滿足所有限制條件的一個能量公式：

ИE=w12 i=1(∑njxij－1)2+∑nj=1(∑nixij－1)2〗

+w22∑ni=1∑nj=1∑nk=1(xkj+1+xkj－1)xijdikИ

同時,結(jié)合HNN算法成功地解決了TSP問題。但是對于10個城市的TSP問題,20次實驗中,只得到16次合法解,10次最優(yōu)解通過分析得到解決TSP問題的差分方程：

yij(t+1)=kyij(t)+α{－w1 i≠jxij(t)+

∑nk≠ixkj(t)〗－w2 k≠idik(xkj+1(t)+xkj－1)〗+

w1}-zi(t), i=1,2,…，n

對于10個城市的TSP問題,原始數(shù)據(jù)取自文,參數(shù)選取如下:k=0.9; W1=1;W2=1;I0=0.65;γ=100;z(0)=0.05;εi=250;變動β,λ,隨機選取初始值仿真120次得到表2的仿真結(jié)果。

表2 仿真結(jié)果

Е力婁霜ё鈑漚猹な目次優(yōu)解な目平均迭代ご問

0.020.060.011173320

0.020.040.011200289

0.020.040.024254

0.030.020.012241

從表2中取出1組數(shù)據(jù)Е=0.03，β=0.02，λ=0.01，神經(jīng)元輸出能量函數(shù)演化圖以及最優(yōu)路徑如圖12所示。

圖12 10個城市TSP最短路徑仿真圖

對圖12分析可以得到：模型中存在很多參數(shù)需要選取。輸入正比例系數(shù)Е劣跋斕代步數(shù)的多少與模型混沌動態(tài)性能,過小的α值使迭代步數(shù)增加,過大的α值則減弱模型混沌動態(tài)性能,故應(yīng)該仔細(xì)選取該參數(shù);β控制增益函數(shù)的衰減速率,這個參數(shù)將顯著影響尋優(yōu)過程的收斂速度,較小的β值將會加快收斂速度;較大的λ值會加快收斂速度但會使混沌動態(tài)消失過快,從而影響尋優(yōu)結(jié)果,較小的λ值會使混沌動態(tài)作用時間加長而使收斂速度變慢。

4 結(jié) 語

暫態(tài)混沌神經(jīng)網(wǎng)絡(luò)利用混沌所固有的隨機性和軌道遍歷性在大范圍內(nèi)按其自身規(guī)律進(jìn)行搜索,搜索過程按混沌軌道遍歷,不受目標(biāo)函數(shù)限制,從而具有克服陷入局部極小的能力。當(dāng)混沌搜索結(jié)束以后,網(wǎng)絡(luò)進(jìn)入類似Hopfield網(wǎng)絡(luò)的梯度搜索過程,由于混沌搜索為梯度搜索提供了一個好的位于全局最優(yōu)解附近的初始值,因而可以較快地獲得全局意義下的最優(yōu)解。通過實例仿真分析，比較暫態(tài)混沌神經(jīng)網(wǎng)絡(luò)在優(yōu)化方面顯示出了其優(yōu)化方面的優(yōu)勢和較好的發(fā)展前景。

參 考 文 獻(xiàn)

［1］Aihara K,Takabe T,Toyada M.Chaotic Neural Networks［J］.Phys.Letters A,1990,144(6/7):333－340.

［2］Nozawa H.Solutions ofthe Optimization Problem Using the Neural Network Model as a Globally Coupled Map［J］.Physica D,1994,75(1－3):179－189.

［3］張學(xué)義,胡仕誠,謝榮生,等.一種混沌神經(jīng)網(wǎng)絡(luò)及其在優(yōu)化計算中的應(yīng)用［J］.系統(tǒng)工程與電子技術(shù),2000,22(7)：69－71.

［4］王凌,鄭大鐘.一種基于退火策略的混沌神經(jīng)網(wǎng)絡(luò)優(yōu)化算法［J］.控制理論與應(yīng)用,2000,17(1):139－142.

［5］竇春霞,張淑清.基于混沌神經(jīng)網(wǎng)絡(luò)預(yù)測模型的最優(yōu)控制決策及應(yīng)用［J］.動力工程,2004,24(1):68－72.

［6］Chen Luonan,Aihara Kazuyuk.Global Searching Ability of Chaotic Neural Networks ［J］.IEEE Transactions on Circuits and System I:Fundamental Theory and Application,1999,46(8):974－993.

［7］竇春霞.基于混沌一神經(jīng)網(wǎng)絡(luò)模型最優(yōu)控制及應(yīng)用［J］.系統(tǒng)工程學(xué)報,2004,19(3):229－233.

［8］李薪宇,呂炳朝.暫態(tài)混沌神經(jīng)網(wǎng)絡(luò)中的模擬退火策略優(yōu)化［J］.計算機應(yīng)用,2005(10):198－200.

［9］周婷,賈振紅,劉秀玲.一種用于函數(shù)優(yōu)化的小波混沌神經(jīng)網(wǎng)絡(luò)［J］.計算機應(yīng)用,2007,27(12):2 910－2 912.

［10］高海昌,馮博琴,朱利.智能優(yōu)化算法求解TSP問題［J］控制與決策,2006(3):241－247.

［11］江亞東,蔣國強.基于混沌搜索的神經(jīng)網(wǎng)絡(luò)及在優(yōu)化問題中的應(yīng)用［J］.指揮技術(shù)學(xué)院學(xué)報,2001(2):68－70.

注：本文中所涉及到的圖表、注解、公式等內(nèi)容請以PDF格式閱讀原文。