回聲狀態(tài)網(wǎng)絡(luò)混沌跳頻碼預(yù)測方法

呂季杰，楊俊安，桂云川

(1.解放軍電子工程學(xué)院，安徽 合肥　230037;2.安徽省電子制約技術(shù)重點(diǎn)實(shí)驗(yàn)室，安徽 合肥　230037)

?

回聲狀態(tài)網(wǎng)絡(luò)混沌跳頻碼預(yù)測方法

呂季杰1,2，楊俊安1,2，桂云川1,2

(1.解放軍電子工程學(xué)院，安徽 合肥230037;2.安徽省電子制約技術(shù)重點(diǎn)實(shí)驗(yàn)室，安徽 合肥230037)

0引言

跳頻通信系統(tǒng)因其較強(qiáng)的抗偵察、抗截獲能力而被廣泛運(yùn)用于軍事通信。跳頻通信系統(tǒng)的核心就是跳頻碼序列，常見跳頻碼序列一般由移位寄存器產(chǎn)生，例如m序列、RS序列等。近幾年，隨著對混沌理論的不斷深入研究，利用混沌序列構(gòu)造性能更加優(yōu)良的跳頻碼成為業(yè)內(nèi)首選。文獻(xiàn)[1]研究指出，m序列、RS序列和混沌序列一樣都具有混沌特性，即非周期、連續(xù)寬帶頻譜、類似噪聲等特性。雖然具有混沌特性的跳頻碼多變復(fù)雜，但其本質(zhì)上仍按照特定的規(guī)律產(chǎn)生，這也為跳頻碼預(yù)測奠定了理論基礎(chǔ)。

為了準(zhǔn)確地預(yù)測跳頻碼，人們構(gòu)造了許多數(shù)學(xué)模型。支持向量機(jī)(Support Vector Machine)模型[2]建立在統(tǒng)計(jì)學(xué)理論和結(jié)構(gòu)風(fēng)險(xiǎn)最小的基礎(chǔ)上，根據(jù)樣本數(shù)據(jù)尋求唯一的全局最優(yōu)解，但其網(wǎng)絡(luò)不具備反饋結(jié)構(gòu)，缺乏記憶能力，降低了預(yù)測性能。貝葉斯網(wǎng)絡(luò)(Bayesian Network)[3]是基于概率推理的圖形化網(wǎng)絡(luò)，通過一些變量的信息來獲取其他變量的概率信息，達(dá)到預(yù)測的目的，但是貝葉斯網(wǎng)絡(luò)中各個(gè)狀態(tài)之間的概率關(guān)系較難獲取，且訓(xùn)練過程復(fù)雜，增大了預(yù)測的難度。人工神經(jīng)網(wǎng)絡(luò)(Artificial Neural Networks)也被廣泛運(yùn)用在混沌時(shí)間序列領(lǐng)域，其中徑向基網(wǎng)絡(luò)(Radial Basis Function Network)[4]是一種前向神經(jīng)網(wǎng)絡(luò)，結(jié)構(gòu)簡單，且在全局和局部都能很好的逼近最優(yōu)點(diǎn)，然而如果網(wǎng)絡(luò)隱節(jié)點(diǎn)較多，則會(huì)導(dǎo)致過擬合現(xiàn)象，網(wǎng)絡(luò)泛化性能變差；如果隱節(jié)點(diǎn)較少，則會(huì)導(dǎo)致欠擬合現(xiàn)象，網(wǎng)絡(luò)泛化能力同樣降低。傳統(tǒng)遞歸神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network)[5]也比較適合用于跳頻碼預(yù)測，但是其運(yùn)算量大，在預(yù)測過程中初始訓(xùn)練記憶也會(huì)逐漸消失，導(dǎo)致其在跳頻碼預(yù)測時(shí)出現(xiàn)準(zhǔn)確率低、預(yù)測時(shí)間長等不足，限制了其在跳頻碼預(yù)測上的應(yīng)用。本文針對上述問題，提出了回聲狀態(tài)網(wǎng)絡(luò)混沌跳頻碼預(yù)測方法。

1回聲狀態(tài)網(wǎng)絡(luò)

2001年Jager教授提出了回聲狀態(tài)網(wǎng)絡(luò)[6](Echo State Network)，克服了傳統(tǒng)遞歸神經(jīng)網(wǎng)絡(luò)的記憶減退、訓(xùn)練量大等問題，只訓(xùn)練輸出連接權(quán)，大大減少了計(jì)算量，同時(shí)由于網(wǎng)絡(luò)內(nèi)部存在一個(gè)由成百上千個(gè)神經(jīng)元稀疏連接的大型動(dòng)態(tài)儲備池，在數(shù)據(jù)訓(xùn)練過程中，通過改變網(wǎng)絡(luò)各權(quán)值矩陣的數(shù)值大小，達(dá)到記憶數(shù)據(jù)的目的，對于時(shí)間序列預(yù)測有更好的效果。

1.1回聲狀態(tài)網(wǎng)絡(luò)的數(shù)學(xué)模型

儲備池是網(wǎng)絡(luò)最重要的部分，由眾多神經(jīng)元稀疏連接而成,儲備池內(nèi)部狀態(tài)向量按式(1)進(jìn)行更新。

z(n+1)=f(Winx(n)+Wresz(n)+Wbacky(n))

(1)

回聲狀態(tài)網(wǎng)絡(luò)共有E個(gè)輸出，通過輸出連接權(quán)矩陣與網(wǎng)絡(luò)的內(nèi)部狀態(tài)、輸入以及輸出反饋相連接，令

q(n)=(zT(n),x(n),y(n))T∈RF+D+E

(2)

因此，網(wǎng)絡(luò)的輸出可以按式(3)給出的輸出方程計(jì)算

y(t+1)=Woutq(n)

(3)

式(3)中，Wout為輸出連接權(quán)矩陣。回聲狀態(tài)網(wǎng)絡(luò)中Win、Wres、Wback全部在網(wǎng)絡(luò)初始化階段產(chǎn)生，并在訓(xùn)練過程中保持不變，且網(wǎng)絡(luò)最終只需訓(xùn)練Wout，克服了傳統(tǒng)RNN網(wǎng)絡(luò)需要求時(shí)序偏微分所導(dǎo)致的計(jì)算復(fù)雜、運(yùn)算量大等問題，還有效地解決了前饋神經(jīng)網(wǎng)絡(luò)使用梯度下降法學(xué)習(xí)所導(dǎo)致的局部極小問題。

1.2回聲狀態(tài)網(wǎng)絡(luò)的訓(xùn)練算法

回聲狀態(tài)網(wǎng)絡(luò)具有大型動(dòng)態(tài)儲備池結(jié)構(gòu)，因此網(wǎng)絡(luò)有極強(qiáng)的構(gòu)建復(fù)雜動(dòng)力系統(tǒng)的能力。針對問題不同的需要，回聲狀態(tài)網(wǎng)絡(luò)訓(xùn)練算法分為離線算法和在線算法兩種。本文主要針對離線算法進(jìn)行研究，下面將離線算法介紹如下。

第一步：構(gòu)建一個(gè)儲備池網(wǎng)絡(luò)，并確保其符合“回聲狀態(tài)屬性”。

首先應(yīng)該確定內(nèi)部連接權(quán)、輸入連接權(quán)和反饋連接權(quán)矩陣。一旦這3個(gè)矩陣確定后，在整個(gè)網(wǎng)絡(luò)訓(xùn)練進(jìn)程中，這3個(gè)矩陣都會(huì)保持不變。

回聲狀態(tài)屬性跟內(nèi)部連接權(quán)矩陣Wres有關(guān)，然而直到現(xiàn)在仍沒有系統(tǒng)的理論體系確保網(wǎng)絡(luò)具有回聲狀態(tài)屬性。但是經(jīng)過反復(fù)研究實(shí)驗(yàn)，人們發(fā)現(xiàn)可以通過特定的方法產(chǎn)生內(nèi)部連接權(quán)矩陣，進(jìn)而提高網(wǎng)絡(luò)具有回聲狀態(tài)屬性的幾率。具體方法如下：

1)隨機(jī)產(chǎn)生一個(gè)稀疏矩陣W0，并確保這個(gè)矩陣所有權(quán)值的均值在0附近。

3)對W1進(jìn)行一定的縮放，得到最后的內(nèi)部連接權(quán)矩陣W，即W=αW1，在這里α<1。

第二步：將訓(xùn)練輸入和輸出樣本輸入加載到回聲狀態(tài)網(wǎng)絡(luò)中。

訓(xùn)練輸入、輸出樣本表示為(x(n),y(n),n=1,2,…,T)，當(dāng)訓(xùn)練樣本加載到網(wǎng)絡(luò)中去后，儲備池的動(dòng)力特性被激發(fā)出來，儲備池內(nèi)部狀態(tài)會(huì)依照式(1)不斷變化。但在n=0時(shí)，網(wǎng)絡(luò)各狀態(tài)通常不是確定的，本文選取時(shí)z(0)=0,y(0)=0為初始狀態(tài)。

第三步：淘汰儲備池初始的狀態(tài)記憶。

網(wǎng)絡(luò)剛開始運(yùn)轉(zhuǎn)時(shí)，網(wǎng)絡(luò)內(nèi)部的狀態(tài)可能并不是由網(wǎng)絡(luò)的輸入和輸出引發(fā)的，所以n=1,2,…,T0這段時(shí)間內(nèi)的網(wǎng)絡(luò)狀態(tài)記憶需要被淘汰掉，以便更好地反映輸入和輸出之間的關(guān)系。在T0之后，網(wǎng)絡(luò)基本達(dá)到穩(wěn)定狀態(tài)，將網(wǎng)絡(luò)輸入、內(nèi)部狀態(tài)和輸出以行向量形式(x(n),z(n),y(n))一并收集至矩陣H中。最終得到大小為(T-T0+1)×(D+F+E)的矩陣H;同時(shí)還需收集期望輸出的sigmoid轉(zhuǎn)置tanh-1d(n),以行向量的形式保存到矩陣G中，最終得到的矩陣G大小為(T-T0+1)×E。

第四步：計(jì)算輸出連接權(quán)矩陣

在回聲狀態(tài)網(wǎng)絡(luò)中，系統(tǒng)輸出向量可以用儲備池內(nèi)部狀態(tài)向量和輸出連接權(quán)矩陣線性表示。網(wǎng)絡(luò)對數(shù)據(jù)進(jìn)行學(xué)習(xí)，通過訓(xùn)練最終使系統(tǒng)輸出y(n)盡可能逼近期望輸出d(n)，如式(4)所示。

(4)

將上述逼近問題轉(zhuǎn)化為最小化問題，即求解最小化系統(tǒng)的均方誤差：

(5)

該最優(yōu)化問題最終轉(zhuǎn)化成求解逆矩陣。如式(6)所示。

(Wout)T=H-1G

(6)

將矩陣H的逆與矩陣G相乘，得到一個(gè)大小為(D+E+F)×E的矩陣(Wout)T，其第i列包含網(wǎng)絡(luò)中所有神經(jīng)元節(jié)點(diǎn)至第i個(gè)輸出單元的輸出連接權(quán)值。

經(jīng)過以上步驟即可完成對回聲狀態(tài)網(wǎng)絡(luò)的訓(xùn)練。當(dāng)利用回聲狀態(tài)網(wǎng)絡(luò)進(jìn)行預(yù)測時(shí)，先用訓(xùn)練數(shù)據(jù)對網(wǎng)絡(luò)進(jìn)行訓(xùn)練并將訓(xùn)練好的網(wǎng)絡(luò)保存。進(jìn)行預(yù)測時(shí)，將訓(xùn)練數(shù)據(jù)加載到訓(xùn)練好的網(wǎng)絡(luò)中，得到預(yù)測結(jié)果。

1.3儲備池的重要參數(shù)

儲備池是回聲狀態(tài)網(wǎng)絡(luò)最重要的組成部分，其參數(shù)選擇對網(wǎng)絡(luò)最終性能影響較大，需提前設(shè)定好。如何針對具體問題構(gòu)建一個(gè)優(yōu)良性能的儲備池是學(xué)術(shù)界一直研究的問題，但到現(xiàn)在為止，學(xué)術(shù)界仍沒有形成一個(gè)系統(tǒng)的方法。本文采用實(shí)驗(yàn)對比的方法對參數(shù)選取就行了研究，下面首先對儲備池的一些關(guān)鍵參數(shù)作簡要介紹。

1)儲備池內(nèi)部連接權(quán)矩陣譜半徑SR

SR指的是儲備池內(nèi)部連接權(quán)矩陣Wres所有特征值中的絕對值的最大值，記為δmax。上文的訓(xùn)練算法已提到，當(dāng)δmax<1時(shí)，網(wǎng)絡(luò)才具有回聲狀態(tài)屬性，確保網(wǎng)絡(luò)能正常運(yùn)行。

2)儲備池神經(jīng)元數(shù)量N

一般情況下，儲備池神經(jīng)元數(shù)量越多，網(wǎng)絡(luò)對非線性系統(tǒng)的逼近能力越強(qiáng)。然而如果神經(jīng)元數(shù)量過多，網(wǎng)絡(luò)可能產(chǎn)生過擬合問題，進(jìn)而導(dǎo)致網(wǎng)絡(luò)泛化能力下降。

3)儲備池輸入單元尺度IS

IS指儲備池的輸入數(shù)據(jù)連接到儲備池內(nèi)部神經(jīng)元之前需要相乘的一個(gè)系數(shù)。在處理實(shí)際問題中，樣本數(shù)據(jù)往往不能直接作為輸入信號直接加到儲備池，需要通過IS對樣本數(shù)據(jù)進(jìn)行適當(dāng)?shù)目s放滿足網(wǎng)絡(luò)輸入的需求。

4)儲備池稀疏程度SD

儲備池中神經(jīng)元數(shù)量眾多，關(guān)系復(fù)雜，然而并不是所有的神經(jīng)元之間都有聯(lián)系。SD指的就是相互之間有聯(lián)系的神經(jīng)元占總神經(jīng)元數(shù)(N)的百分比。

2基于回聲狀態(tài)網(wǎng)絡(luò)的跳頻碼預(yù)測方法

本文同時(shí)考慮到跳頻碼的混沌特性和回聲狀態(tài)網(wǎng)絡(luò)良好的逼近非線性系統(tǒng)的能力，將回聲狀態(tài)網(wǎng)絡(luò)引入到跳頻碼預(yù)測領(lǐng)域。通過上文的闡述可以知道，在利用回聲狀態(tài)網(wǎng)絡(luò)對跳頻碼進(jìn)行預(yù)測之前，有三個(gè)問題必須要考慮：第一是網(wǎng)絡(luò)的輸入輸出數(shù)據(jù)如何選?。坏诙莾涑貐?shù)的確定，即構(gòu)造適合于特定數(shù)據(jù)的儲備池；第三是如何衡量預(yù)測性能的優(yōu)劣。本節(jié)重點(diǎn)介紹網(wǎng)絡(luò)輸入輸出數(shù)據(jù)選取、預(yù)測性能的衡量標(biāo)準(zhǔn)以及基于回聲狀態(tài)網(wǎng)絡(luò)的跳頻碼預(yù)測算法流程。關(guān)于儲備池參數(shù)選取的問題，因?yàn)橐恢睕]有系統(tǒng)的解決方法，本文在4.2節(jié)處會(huì)根據(jù)仿真數(shù)據(jù)進(jìn)行實(shí)驗(yàn)比較，最終確定適合仿真數(shù)據(jù)的儲備池參數(shù)。

2.1網(wǎng)絡(luò)輸入輸出數(shù)據(jù)確定

(7)

本文使用改進(jìn)的C-C算法[7]對跳頻碼求解其最佳嵌入維數(shù)m和時(shí)間延遲τ,得到m和τ后，根據(jù)Takens嵌入定理，對整個(gè)跳頻碼進(jìn)行相空間重構(gòu)，即：

Gj=[yj,yj-τ,…,yj-(m-1)τ]

(8)

式(8)中，j=1,2,…,l,l=N-(m-1)τ。

根據(jù)Takens嵌入定理，如果選擇了合適的嵌入維數(shù)m和時(shí)間延遲τ，重構(gòu)相空間在嵌入空間的“軌線”就是微分同胚意義上的原系統(tǒng)的動(dòng)力學(xué)等價(jià)。即存在映射F，使得

yj+h=F(Gj)=F(yj,yj-τ,…yj-(m-1)τ)

(9)

這里的映射關(guān)系F就反映了從Gj到y(tǒng)j+h的一個(gè)變化的過程。通過網(wǎng)絡(luò)對數(shù)據(jù)的訓(xùn)練，最終確定映射關(guān)系F。本文對跳頻碼進(jìn)行單步預(yù)測，則h=1，即網(wǎng)絡(luò)訓(xùn)練的目標(biāo)就是盡量去逼近Gj和yj+1之間的映射關(guān)系。

通過上文的描述可以知道，在網(wǎng)絡(luò)訓(xùn)練時(shí)的輸入數(shù)據(jù)為相空間重構(gòu)后的跳頻碼矩陣，大小為1×m,輸出數(shù)據(jù)為預(yù)測目標(biāo)向量，大小為1×1。

2.2性能評估

本文中，使用預(yù)測準(zhǔn)確率和有效預(yù)測率兩個(gè)指標(biāo)對跳頻碼序列的預(yù)測性能做評測。

預(yù)測準(zhǔn)確率的均方根誤差RMSE表達(dá)式如下：

(10)

在歸一化的條件下，如果預(yù)測值和真實(shí)值偏差的絕對值在0.025以內(nèi)，則認(rèn)為對該點(diǎn)的預(yù)測是有效的，則有效預(yù)測率P[8]的表達(dá)式如下：

(11)

式(11)中，N為預(yù)測跳頻碼總點(diǎn)數(shù)，E為跳頻碼有效預(yù)測點(diǎn)數(shù)。

2.3基于回聲狀態(tài)網(wǎng)絡(luò)的跳頻碼預(yù)測流程

1)確定網(wǎng)絡(luò)的訓(xùn)練輸入和輸出矩陣。

通過2.1可以知道，根據(jù)具體的跳頻碼數(shù)據(jù)，利用C-C算法求得相應(yīng)的最佳嵌入維數(shù)m和時(shí)間延遲τ，對跳頻碼進(jìn)行相空間重構(gòu)。跳頻碼訓(xùn)練樣本長度以及預(yù)測步長需依照目標(biāo)任務(wù)要求來確定，最終得到網(wǎng)絡(luò)的輸入和輸出矩陣。

2)構(gòu)建網(wǎng)絡(luò)，確定儲備池參數(shù)。

經(jīng)過多次實(shí)驗(yàn)仿真，并將實(shí)驗(yàn)結(jié)果進(jìn)行對比。在一定范圍內(nèi)，選取能產(chǎn)生最優(yōu)儲備池的4個(gè)參數(shù)，構(gòu)建回聲狀態(tài)網(wǎng)絡(luò)。

3)利用訓(xùn)練數(shù)據(jù)激活儲備池，求取網(wǎng)絡(luò)的輸出連接權(quán)矩陣。

網(wǎng)絡(luò)構(gòu)建之后，將訓(xùn)練輸入輸出數(shù)據(jù)加載到網(wǎng)絡(luò)中，激活儲備池，并按照2.2節(jié)介紹的訓(xùn)練算法運(yùn)轉(zhuǎn)網(wǎng)絡(luò)，收集相關(guān)數(shù)據(jù)，并最終求得輸出連接權(quán)矩陣，保存訓(xùn)練完畢的網(wǎng)絡(luò)。

4)測試跳頻碼的預(yù)測。

選取預(yù)測任務(wù)所要預(yù)測原點(diǎn)前的一段跳頻碼數(shù)據(jù)，按照流程1)的方法重新確定測試輸入矩陣，并將數(shù)據(jù)加載到流程3)已訓(xùn)練好的網(wǎng)絡(luò)中去，得到相應(yīng)的預(yù)測結(jié)果。

具體預(yù)測流程框圖如圖2所示。

圖2　基于回聲狀態(tài)網(wǎng)絡(luò)的跳頻碼預(yù)測流程框圖Fig.2　The prediction process of frequency hopping codebased on echo state network

3仿真實(shí)驗(yàn)和算法評估

本實(shí)驗(yàn)使用的計(jì)算機(jī)CPU主頻4.6GHz，內(nèi)存1.5G，仿真平臺為MATLAB2009a。

3.1實(shí)驗(yàn)數(shù)據(jù)集

本文采用Logistic-Kent映射[9]、Lorenz系統(tǒng)中的x分量和MackeyGlass系統(tǒng)產(chǎn)生實(shí)驗(yàn)所需的跳頻碼。

3.1.1Logistic-Kent映射跳頻碼

Logistic-map表達(dá)式為：

x(k+1)=μx(k)(1-x(k))

(12)

式(12)中，3.75<μ≤4.0，0

Kent-map表達(dá)式為：

式(13)中，0<α<1，0≤y(l)≤1。

首先利用Logistic映射產(chǎn)生長度為X1的混沌序列Y1，接著再用Y1為Kent映射的初值產(chǎn)生X1個(gè)長度為X2的混沌序列，最后把X1個(gè)長度為X2的混沌序列連接在一起組成長度為X1×X2的混沌序列。通過級聯(lián)混沌映射可以產(chǎn)生更長的混沌序列。

按照文獻(xiàn)[9]方法產(chǎn)生碼長為100×1 000的跳頻碼，取初始參數(shù)μ=4.0，α=0.2，x(0)=0.3。將所得跳頻碼序列進(jìn)行歸一化處理，為防止初始值過于接近，舍棄初始的2 000個(gè)點(diǎn)，然后再取4 000個(gè)點(diǎn)，其中3 000個(gè)點(diǎn)用于訓(xùn)練，后1 000個(gè)點(diǎn)用于測試。

通過C-C算法求的跳頻碼序列延遲時(shí)間τ=1，嵌入維數(shù)m=3。對上述數(shù)據(jù)進(jìn)行相空間重構(gòu)，得到如下規(guī)模的數(shù)據(jù)樣本：訓(xùn)練輸入矩陣大小為2 998×3，訓(xùn)練輸出矩陣大小為2 998×1，測試輸入矩陣大小為998×3，測試輸出矩陣，即預(yù)測值矩陣大小為998×1。

3.1.2Lorenz系統(tǒng)跳頻碼

(14)

取參數(shù)σ=10，R=28，b=8/3，初始值向量為(-0.3,0.3,0.3)。用四階Runge-Kutta算法，步長h=0.01，共求解x分量10 000點(diǎn)數(shù)據(jù)，并對其進(jìn)行歸一化處理，舍棄初始的2 000個(gè)點(diǎn)，然后再取1 000個(gè)點(diǎn)作為仿真數(shù)據(jù)，其中前500點(diǎn)用于訓(xùn)練，后500點(diǎn)用于測試。

通過C-C算法求得跳頻碼序列延遲時(shí)間τ=12，嵌入維數(shù)m=3。對上述數(shù)據(jù)進(jìn)行相空間重構(gòu)，得到如下規(guī)模的數(shù)據(jù)樣本：訓(xùn)練輸入矩陣大小為476×3，訓(xùn)練輸出矩陣大小為476×1，測試輸入矩陣大小為476×3，測試輸出矩陣大小為476×1。

3.1.3Mackey Glass系統(tǒng)跳頻碼

(15)

取參數(shù)α=0.1，β=0.2，γ=10，初始值x(0)=1.2。用四階Runge-Kutta算法，步長h=0.01，共求解x分量10 000點(diǎn)數(shù)據(jù)，并對其進(jìn)行歸一化處理，舍棄初始的2 000個(gè)點(diǎn)，然后再取1 000個(gè)點(diǎn)作為仿真數(shù)據(jù)，其中前500點(diǎn)用于訓(xùn)練，后500點(diǎn)用于測試。

通過C-C算法求得跳頻碼序列延遲時(shí)間τ=6，嵌入維數(shù)m=3。對上述數(shù)據(jù)進(jìn)行相空間重構(gòu)，得到如下規(guī)模的數(shù)據(jù)樣本：訓(xùn)練輸入矩陣大小為488×3，訓(xùn)練輸出矩陣大小為488×1，測試輸入矩陣大小為488×3，測試輸出矩陣大小為488×1。

3.2儲備池參數(shù)選取

回聲狀態(tài)網(wǎng)絡(luò)性能的優(yōu)劣跟參數(shù)選取直接相關(guān)，根據(jù)特定的數(shù)據(jù)樣本挑選適合的儲備池參數(shù)也一直是回聲狀態(tài)網(wǎng)絡(luò)領(lǐng)域重難點(diǎn)問題。然而，人們到現(xiàn)在都未能研究出系統(tǒng)的理論分析解決這方面問題。本文以上述Lorenz系統(tǒng)的x分量為實(shí)驗(yàn)數(shù)據(jù)，研究儲備池參數(shù)如何選取。

3.2.1神經(jīng)元數(shù)量和譜半徑對網(wǎng)絡(luò)性能的影響

圖3為SD=0.125，IS=0.1的條件下，不同神經(jīng)元數(shù)量和譜半徑下均方根誤差比較。神經(jīng)元數(shù)量的取值范圍為[30,80]，步長為5，譜半徑的取值范圍為[0.1,0.9]，步長為0.1。從圖中可以看出，當(dāng)譜半徑一定時(shí)，隨著神經(jīng)元數(shù)量增加，均方根誤差基本上也在降低。所以神經(jīng)元數(shù)量越多，預(yù)測準(zhǔn)確度肯定會(huì)提高，然而這也會(huì)導(dǎo)致網(wǎng)絡(luò)訓(xùn)練速度變慢，運(yùn)行時(shí)間增長等問題，違背了回聲狀態(tài)網(wǎng)絡(luò)設(shè)計(jì)的初衷，神經(jīng)元數(shù)量可以進(jìn)行折中選擇。當(dāng)神經(jīng)元一定時(shí)，從圖中可以看出均方根誤差沒有特別大的起伏，所以針對這組數(shù)據(jù)，譜半徑的增減對預(yù)測誤差影響不大。

圖3　不同神經(jīng)元數(shù)量和譜半徑下預(yù)測性能的比較Fig.3　The comparison of prediction performance betweendifferent neuron and spectral radius value

3.2.2儲備池稀疏程度和輸入單元尺度對網(wǎng)絡(luò)性能的影響

圖4為SR=0.5，N=30的條件下，不同儲備池稀疏程度和輸入單元尺度下均方根誤差比較。儲備池單元尺度的取值范圍為[0.1,0.9]，儲備池稀疏度為[0.1,0.9]，兩者步長都為0.1。從圖中可以看出，當(dāng)輸入單元長度大于0.6后，無論稀疏度如何變化，均方根誤差基本都處于一個(gè)較低的水平。所以針對該數(shù)據(jù)，輸入單元尺度的取值只要大于0.6，稀疏度影響不大。

本文對Logistic-Kent映射和Mackey Glass系統(tǒng)跳頻碼作了同樣的實(shí)驗(yàn)分析，在這里就不一一贅述。

圖4　不同儲備池稀疏程度和輸入單元尺度下預(yù)測性能的比較Fig.4　The comparison of prediction performance betweendifferentsparsity degree and input scaling value

3.3實(shí)驗(yàn)結(jié)果和分析

根據(jù)上述實(shí)驗(yàn)結(jié)果，本文針對三種跳頻碼預(yù)測使用不同結(jié)構(gòu)的回聲狀態(tài)網(wǎng)絡(luò)。對于Logistic-Kent映射跳頻碼采用的網(wǎng)絡(luò)參數(shù)為SR=0.05，N=500，SD=0.02，IS=0.1。對于Lorenz系統(tǒng)跳頻碼采用的網(wǎng)絡(luò)參數(shù)為SR=0.9，N=80，SD=0.1，IS=0.7。對于Mackey-Glass系統(tǒng)跳頻碼采用的網(wǎng)絡(luò)參數(shù)為SR=0.85，N=90，SD=0.1，IS=0.5。

圖5至圖7分別表示三種跳頻碼實(shí)際序列和預(yù)測序列，從圖中可以看出，回聲狀態(tài)網(wǎng)絡(luò)能夠較好地預(yù)測出跳頻碼。

圖5　Logistic-Kent原始序列和預(yù)測序列Fig.5　The prediction results of logistic-kent mappingfrequency hopping codes

圖6　Lorenz原始序列和預(yù)測序列Fig.6　The prediction results of Lorenz system frequencyhopping codes

圖7　Mackey-Glass原始序列和預(yù)測序列Fig.7　The prediction results of Mackey-Glass systemfrequency hopping codes

為了進(jìn)一步凸顯本文所構(gòu)造回聲狀態(tài)網(wǎng)絡(luò)模型的預(yù)測效果，從預(yù)測均方誤差的角度做了對比分析，表1分別給出了不同方法RMSE預(yù)測對比結(jié)果?？梢?，回聲狀態(tài)網(wǎng)絡(luò)的預(yù)測效果相比較更有優(yōu)勢，預(yù)測均方根誤差最小。同時(shí)在有效預(yù)測率方面，Logistic-Kent映射跳頻碼有效預(yù)測率為99.2%，Lorenz系統(tǒng)和Mackey-Glass系統(tǒng)跳頻碼預(yù)有效預(yù)測率均為100%。

表1　三種跳頻碼的不同預(yù)測方法RMSE比較

跳頻碼序列預(yù)測不僅要注重準(zhǔn)確度，對時(shí)效性也有極高的要求。本文實(shí)驗(yàn)中，將訓(xùn)練好的網(wǎng)絡(luò)用于預(yù)測，Logistic-Kent映射跳頻碼平均每點(diǎn)預(yù)測耗時(shí)約為1.58 ms，Lorenz系統(tǒng)跳頻碼平均每點(diǎn)預(yù)測耗時(shí)約為0.72 ms，Mackey-Glass系統(tǒng)跳頻碼平均每點(diǎn)預(yù)測耗時(shí)約為0.66 ms。通過預(yù)測所耗時(shí)間可以看出，回聲狀態(tài)網(wǎng)絡(luò)能滿足500~1 000 h/s的中高速跳頻碼預(yù)測。

4結(jié)論

本文提出了回聲狀態(tài)網(wǎng)絡(luò)混沌跳頻碼預(yù)測方法。該方法在對跳頻碼相空間重構(gòu)的基礎(chǔ)上，利用回聲狀態(tài)網(wǎng)絡(luò)內(nèi)部動(dòng)態(tài)儲備池的循環(huán)記憶功能，通過調(diào)整各權(quán)值矩陣的數(shù)值大小達(dá)到記憶數(shù)據(jù)的目的，解決了混沌跳頻碼預(yù)測問題。仿真實(shí)驗(yàn)表明該方法對Logistic-Kent映射、Lorenz系統(tǒng)和Mackey-Glass系統(tǒng)三種混沌跳頻碼都有較好的預(yù)測效果，并與其他方法的實(shí)驗(yàn)結(jié)果進(jìn)行了比較，證明回聲狀態(tài)網(wǎng)絡(luò)在混沌跳頻碼預(yù)測方面的可行性及優(yōu)越性。本文還結(jié)合混沌跳頻碼預(yù)測問題，以具體仿真數(shù)據(jù)為切入口，討論了儲備池參數(shù)的選擇問題。在下一步的研究中，將會(huì)把重點(diǎn)放在如何選取儲備池參數(shù)上，尋求更一般的系統(tǒng)方法解決參數(shù)選擇問題，以便進(jìn)一步提高預(yù)測精度。

參考文獻(xiàn):

[1]郭雙冰,肖先賜.幾種跳頻碼的混沌動(dòng)力學(xué)特性及預(yù)測分析[J].系統(tǒng)工程與電子技術(shù),2000,22(12):29-32.

[2]黨建亮,張家樹.基于支持向量機(jī)的混沌跳頻碼預(yù)測[J]. 信號處理,2005,21(4A):122-125.

[3]Wang Wensheng, Yang Youlong,Li Yanying.Multi-step prediction of frequency hopping sequences based on Bayesian inference[C]//Information and Communications Technologies (IETICT 2013),Beijing:IET,2013:94-99.

[4]范越非,盧宏濤. 跳頻碼序列混沌預(yù)測的性能研究[J].計(jì)算機(jī)應(yīng)用與軟件,2011,28(8):83-86.

[5]WangYi, GuoWei.Frequency-hopping prediction based on the chaotic neural network[C]//Communication Technology, 2006. ICCT ′06.Guilin:ICCT,2006:1-4.

[6]HJaeger,The “ echo state” Approach to Analyzing and Training Recurrent Neural Networks[R].German:GMD German National Research Institute for Computer Science,2001.

[7]陸振波,蔡志明,姜可宇.基于改進(jìn)的C-C方法的相空間重構(gòu)參數(shù)選擇[J].系統(tǒng)仿真學(xué)報(bào), 2007, 19(11):2527-2530.

[8]霍思宇,混沌時(shí)間序列的預(yù)測方法研究[D].成都:電子科技大學(xué),2010.

[9]李文華,王智順,何振亞.用于跳頻多址通信的混沌跳頻碼[J].通信學(xué)報(bào),1996,17(6):12-16.

[10]黨建亮,張家樹.基于支持向量機(jī)的混沌跳頻碼預(yù)測[J].信號處理,2005,21(4A):122-125.

[11]張家樹,郭雙冰.混沌跳頻通信的非線性自適應(yīng)預(yù)測對抗[J].信號處理,2001,17(3):205-209.

[12]Takashi Kuremoto,Masanao Obayashi,Kunikazu Kobayashi,Takaomi Hirata,Shingo Mabu.Forecast Chaotic Time Series Data by DBNs[C]//Image and Signal Processing(CISP).Dalian:CISP,2014:1130-1135.

[13]Zhang Sichao,Liu Ping.Prediction of chaotic time series based on the relevance vector machine[C]//Advanced Computational Intelligence(ICACI). IEEE,2012:314-318.

[14]Gu Hong,Wang Hongwei.Fuzzy prediction of chaotic time series based on sigular value decomposition[J]. Applied Mathematics and Computation,2007,185(2):1171-1185.

摘要:針對現(xiàn)有跳頻碼預(yù)測方法存在的缺乏記憶能力、運(yùn)算量大、訓(xùn)練過程復(fù)雜等問題，提出了基于回聲狀態(tài)網(wǎng)絡(luò)的混沌跳頻碼預(yù)測方法。該方法在跳頻碼相空間重構(gòu)的基礎(chǔ)上，利用回聲狀態(tài)網(wǎng)絡(luò)內(nèi)部動(dòng)態(tài)儲備池的循環(huán)記憶功能，通過調(diào)整各權(quán)值矩陣的數(shù)值大小達(dá)到記憶數(shù)據(jù)的目的， 解決了跳頻碼預(yù)測的問題。仿真實(shí)驗(yàn)表明該方法對Logistic-Kent映射、Lorenz系統(tǒng)和Mackey-Glass系統(tǒng)三種混沌跳頻碼都有較好的預(yù)測效果，并與其他方法的實(shí)驗(yàn)結(jié)果進(jìn)行了比較，證明回聲狀態(tài)網(wǎng)絡(luò)在混沌跳頻碼預(yù)測方面的可行性及優(yōu)越性。

關(guān)鍵詞:跳頻碼預(yù)測；回聲狀態(tài)網(wǎng)絡(luò)；混沌跳頻碼

Chaotic Frequency Hopping Code Prediction Method Based on Echo State NetworkLü Jijie1,2, YANG Junan1,2, GUI Yunchuan1,2

(1. Electronic Engineering Institute of PLA, Hefei 230037, China；

2.Key Laboratory of Electronic Restriction, Hefei 230037, China)

Abstract:As for the problem of frequency hopping prediction such as the incapability of memorization, vast computation and complex training procedure, a new method for chaotic frequency hopping codes prediction based on the echo state network was proposed. The method, which was under the premise of the phase space reconstruction, solved the problem by taking the advantage of the cyclic memory function of dynamic reservoir and adjusting the numerical size of each weight matrix to achieve the purpose of memorizing data. The simulation experiments showed that the method achieved great prediction performance for the three chaotic frequency hopping codes generated by Logistic-Kent mapping, Lorenz and Mackey-Glass system respectively.

Key words:frequency hopping code prediction;echo state network; chaotic frequency hopping code

中圖分類號:TN914.4

文獻(xiàn)標(biāo)志碼:A

文章編號：1008-1194(2015)06-0092-07

作者簡介:呂季杰(1991—)，男，安徽郎溪人，碩士研究生，研究方向：信號處理，混沌預(yù)測。E-mail:Ljj615315@163.com。

*收稿日期:2015-05-26