利用互信息確定延遲時(shí)間的新算法

何鵬，周德云，黃吉傳，2

1.西北工業(yè)大學(xué)電子信息學(xué)院，西安 710129

2.中國(guó)人民解放軍駐成都飛機(jī)工業(yè)公司軍事代表室，成都 610092

利用互信息確定延遲時(shí)間的新算法

何鵬1，周德云1，黃吉傳1，2

1.西北工業(yè)大學(xué)電子信息學(xué)院，西安 710129

2.中國(guó)人民解放軍駐成都飛機(jī)工業(yè)公司軍事代表室，成都 610092

HE Peng,ZHOU Deyun,HUANG Jichuan.New algorithm for determining delay time by mutual information.Computer Engineering and Applications,2013,49（24）：8-10.

基于過(guò)程監(jiān)控?cái)?shù)據(jù)的故障診斷是保障復(fù)雜系統(tǒng)過(guò)程安全、避免重大事故的有效手段，復(fù)雜系統(tǒng)工作過(guò)程都可采集大量的數(shù)據(jù)，且這些信號(hào)通常表現(xiàn)為較強(qiáng)的非平穩(wěn)性和非線(xiàn)性，使得對(duì)其進(jìn)行故障特征的提取較為困難。傳統(tǒng)方法利用所有變量進(jìn)行診斷，計(jì)算時(shí)間長(zhǎng)且診斷精度低，增加了系統(tǒng)操作和維護(hù)的成本[1]。隨著非線(xiàn)性動(dòng)力學(xué)研究的不斷進(jìn)步，特別是將混沌時(shí)間序列信號(hào)的相空間重構(gòu)理論[2]應(yīng)用于設(shè)備故障診斷領(lǐng)域，可以從單變量的時(shí)間序列中獲取系統(tǒng)的有效性息，如相關(guān)維數(shù)[3]、Lyapunov指數(shù)[4]等動(dòng)力學(xué)指標(biāo)，揭示了故障的本質(zhì)，從全新的角度更深刻地認(rèn)識(shí)了復(fù)雜的非線(xiàn)性動(dòng)力系統(tǒng)的行為[5]。另外人們將相空間重構(gòu)理論廣泛地應(yīng)用于各種工程領(lǐng)域，如傳感觀(guān)測(cè)信息融合壓縮方法及其故障診斷[6]、電力負(fù)荷預(yù)測(cè)[7]等，均獲得了讓人意想不到的卓越效果。

1 相空間重構(gòu)

Takens[2]提出的相空間重構(gòu)方法往往作為對(duì)非線(xiàn)性時(shí)間序列進(jìn)行分析的第一步。其基本原理為：由于系統(tǒng)任何一個(gè)分量的演化都是由與之相互作用的其他分量所決定的，因此采用時(shí)間序列中某些固定的延遲時(shí)間的數(shù)據(jù)點(diǎn)作為重構(gòu)相空間的高維來(lái)處理，即X(n)=[x(n),x(n+τ),x(n+2τ),…,x(n+(m-1)τ)]，重構(gòu)出軌跡可以表征原混沌系統(tǒng)吸引子的動(dòng)力學(xué)特征，與其微分拓?fù)浣Y(jié)構(gòu)一致。Takens[2]已經(jīng)證明，對(duì)于一個(gè)無(wú)限長(zhǎng)的無(wú)噪聲時(shí)間序列，延遲時(shí)間τ的選取是任意的。然而在實(shí)際運(yùn)用中，采樣得到的時(shí)間序列必然是有限且含有噪聲的，此時(shí)恰當(dāng)選取參數(shù)m與τ對(duì)重構(gòu)質(zhì)量有著至關(guān)重要的影響。

選擇τ的基本思想是使原采樣序列和其延遲序列具有某種程度的獨(dú)立又不完全無(wú)關(guān)，從而可以將相鄰數(shù)據(jù)點(diǎn)x(n)和x(n+τ)可以作為相空間重構(gòu)中的獨(dú)立坐標(biāo)來(lái)處理。τ太小會(huì)造成相鄰分量之間的信息冗余，計(jì)算量劇增；τ太大會(huì)使相鄰坐標(biāo)完全獨(dú)立，無(wú)法獲取有效的信息來(lái)實(shí)現(xiàn)相空間重構(gòu)。

目前確定重構(gòu)最佳延遲時(shí)間τ的方法主要有三種：自相關(guān)函數(shù)法[8]、平均位移法[9]與互信息法[10]。其中自相關(guān)函數(shù)法主要選取序列自相關(guān)函數(shù)Rxx(τ)第一次降至0的值作為最佳延遲，該方法是對(duì)數(shù)據(jù)線(xiàn)性相關(guān)性的描述，本質(zhì)上不適合分析非線(xiàn)性情形；平均位移法屬于一種幾何方法，取平均位移函數(shù)的斜率降至初值的40%的值作為最佳延遲，具有一定的隨意性，理論性不強(qiáng)，并且該方法的結(jié)果與嵌入維數(shù)m的選取有關(guān)，與其構(gòu)成的聯(lián)合算法[11]需要反復(fù)實(shí)驗(yàn)，直到結(jié)果收斂一致為止，較為繁瑣。采用序列互信息函數(shù)的第一局部極小值作為最佳延遲的方法，理論基礎(chǔ)完善，且可獨(dú)立于嵌入維數(shù)m進(jìn)行單獨(dú)選取，較為理想。但在實(shí)際運(yùn)用中由于互信息的計(jì)算量大，難以編程實(shí)現(xiàn)等特點(diǎn)極大地限制了它的運(yùn)用。

2 計(jì)算序列間的互信息

從信息論[12]的角度出發(fā)，采用平均互信息量來(lái)計(jì)算采樣序列與其延遲序列的關(guān)聯(lián)程。在利用系統(tǒng)某一變量的觀(guān)測(cè)值作為時(shí)間序列來(lái)進(jìn)行相空間重建的過(guò)程中，取得的觀(guān)測(cè)點(diǎn)列為x(i)，i=1,2,…,N′，為分析x(n)和x(n+τ)之間的相關(guān)性，選取延遲量x(i+τ)構(gòu)成新的點(diǎn)列y(i)，通過(guò)計(jì)算x(i)和y(i)的互信息大小即可獲得其相關(guān)性，其中τ=n×t，t為采樣間隔時(shí)間，構(gòu)成點(diǎn)對(duì)總數(shù)為N，N=N′-n。

由于隨機(jī)變量X或Y的發(fā)生及兩者間的相關(guān)性，使其不確定性減少的熵稱(chēng)為互信息，計(jì)算表達(dá)式如下：

其中，P(xi)為事件xi單獨(dú)發(fā)生的概率，P(yj)為事件yj單獨(dú)發(fā)生的概率，P(xi,yj)為事件xi，yj同時(shí)發(fā)生的概率。

互信息的計(jì)算較為復(fù)雜，主要通過(guò)對(duì)X（橫軸），Y（縱軸）的不同劃分來(lái)進(jìn)行分類(lèi)，這里采用Fraser[10]提出的互信息算法，是在邊緣分布等概率的基礎(chǔ)上劃分網(wǎng)格，如圖1。

圖1 等概率劃分網(wǎng)格示意圖

其中，n=1,2,…,Zm，分別對(duì)應(yīng)該層劃分的某個(gè)網(wǎng)格(xi,yj)，Rm代表進(jìn)行的是第m層劃分。

得到計(jì)算系統(tǒng)互信息的遞推公式，設(shè)

其中網(wǎng)格是否稀疏采用χ2分布的相應(yīng)準(zhǔn)則來(lái)判斷。根據(jù)χ2分布累積分布函數(shù)的對(duì)照表，χ2分布可以用來(lái)測(cè)試隨機(jī)變量之間是否相互獨(dú)立，也可用來(lái)檢測(cè)統(tǒng)計(jì)模型是否符合實(shí)際要求。本文可以根據(jù)已經(jīng)設(shè)定的網(wǎng)格是否稀疏的閾值，然后對(duì)照分布函數(shù)的對(duì)照表，進(jìn)一步判斷網(wǎng)格是否稀疏，文獻(xiàn)[13]中也采取了類(lèi)似的判斷原則。

3 利用互信息確定延遲時(shí)間的改進(jìn)算法

從整體上說(shuō)，所有現(xiàn)實(shí)中的混沌運(yùn)動(dòng)系統(tǒng)都是耗散系統(tǒng)[14]，它們?cè)谙嗫臻g的軌線(xiàn)最終都要收縮到捕捉區(qū)中并形成吸引子，具有全局穩(wěn)定性。但是就局部來(lái)說(shuō)，吸引子內(nèi)部的運(yùn)動(dòng)又是不穩(wěn)定的，相鄰軌道之間相互排斥而按指數(shù)形式分離?；煦邕\(yùn)動(dòng)的吸引子是由軌線(xiàn)經(jīng)過(guò)大量的分離和折疊才形成的，把吸引子局部無(wú)限放大，可以發(fā)現(xiàn)，其內(nèi)部的結(jié)構(gòu)與形狀具有無(wú)窮層次的自相似結(jié)構(gòu)，即分形，其運(yùn)動(dòng)軌跡具有各態(tài)歷經(jīng)性。正是由于混沌吸引子的這些特性，在計(jì)算該系統(tǒng)互信息時(shí)，往往會(huì)出現(xiàn)波峰與波谷交疊的情形，如圖2所示。

圖2 R?ssler系統(tǒng)互信息函數(shù)

正是由于混沌運(yùn)動(dòng)的這種偽周期性，為快速尋找最佳的延遲時(shí)間τ提供了便利的條件。提出了一種逐步細(xì)化的方法來(lái)獲得非線(xiàn)性系統(tǒng)互信息的第一局部極小值：首先擴(kuò)大搜尋的范圍，將延遲時(shí)間參考值的間隔步長(zhǎng)設(shè)置得較大，例如若獲得的時(shí)間序列是對(duì)R?ssler方程：(a=0.15,b=0.2,c=10)的x分量進(jìn)行采樣，采樣間隔時(shí)間t=0.1 s，共得到4 096個(gè)點(diǎn)，那么首先選擇可行的τ值為1 s，2 s，3 s，…，8 s，9 s，10 s，步長(zhǎng)為1 s，獲得其互信息函數(shù)I與τ的關(guān)系如圖3所示。

圖3 R?ssler系統(tǒng)互信息函數(shù)(τ=0～1 s)

觀(guān)察圖3可知，第一個(gè)極值區(qū)間τ為0～0.2 s，下一步將τ的參考值固定在該區(qū)間內(nèi)，步長(zhǎng)縮小為0.1 s，獲得I與τ的關(guān)系如圖4所示。

圖4 R?ssler系統(tǒng)互信息函數(shù)(τ=0～0.2 s)

由圖4，明顯觀(guān)察得R?ssler系統(tǒng)互信息函數(shù)的第一局部極小值為τ=1.4，將其作為相空間重構(gòu)中的延遲時(shí)間。為驗(yàn)證提出算法的可行性，將其運(yùn)用于Lorenz方程：

(σ=16,r=45.9,b=4)，采樣間隔時(shí)間t=0.01 s，t的取值和非線(xiàn)性系統(tǒng)的非線(xiàn)性程度關(guān)系較大，對(duì)于非線(xiàn)性較弱的系統(tǒng)，一般取值為0.01；對(duì)非線(xiàn)性較強(qiáng)的系統(tǒng)，一般取值為0.001；對(duì)于未知的非線(xiàn)性系統(tǒng)，通常先取0.01，如果滿(mǎn)足要求再增加取值，如果不滿(mǎn)足要求，再降低取值。具體步驟如圖5所示。

由圖5結(jié)論，取得Lorenz系統(tǒng)重構(gòu)的延遲時(shí)間τ=0.1 s，與以往的結(jié)論一致[15]。

4 算法驗(yàn)證

為驗(yàn)證算法的有效性和可靠性，根據(jù)Takens[2]提出的嵌入定理，對(duì)R?ssler和Lorenz系統(tǒng)選取充分大的嵌入維(m=5)，利用互信息函數(shù)的第一局部最小值點(diǎn)所確定的延遲時(shí)間進(jìn)行相空間重構(gòu)，計(jì)算關(guān)聯(lián)維數(shù)[3，16]，與理論值進(jìn)行比較，計(jì)算的相對(duì)誤差均小于5%，證明了該參數(shù)選取的合理性。所得結(jié)論如表1所示。

5 結(jié)論

根據(jù)混沌系統(tǒng)本身具有的偽周期性和各態(tài)歷經(jīng)性，提出采用逐步細(xì)化的方法尋找混沌系統(tǒng)互信息函數(shù)的第一局部極小值作為相空間重構(gòu)中的延遲時(shí)間。該方法克服了互信息計(jì)算繁瑣、耗時(shí)較長(zhǎng)、難以編程實(shí)現(xiàn)等缺點(diǎn)，可以采用遞歸的方法逐步細(xì)化，直到τ的選取步長(zhǎng)（即精度）縮小到采樣間隔為止，實(shí)驗(yàn)結(jié)果表明該算法具有較高的可靠性，大大縮短了搜尋時(shí)間與計(jì)算復(fù)雜度，便于推廣利用。

圖5 利用互信息確定Lorenz系統(tǒng)延遲時(shí)間流程圖

表1 關(guān)聯(lián)維數(shù)計(jì)算結(jié)果

[1]劉樹(shù)林，張嘉鐘，徐敏強(qiáng)，等.基于小波包與神經(jīng)網(wǎng)絡(luò)的往復(fù)壓縮機(jī)故障診斷方法[J].石油礦場(chǎng)機(jī)械，2002，31（5）：1-3.

[2]Takens F.Detecting strange attractors in turbulence[C]//Rand D A，Young L S.Lecture Notes in Mathematics.New York：Springer-Verlag，1981：366-381.

[3]Castro R，Sauer T.Correlation dimension of attractors through interspike intervals[J].Phys Rev E，1997，55：287-290.

[4]Wolf A，Swift J B.Determining Lyapunov exponents from a time series[J].Phys D，1985，16（3）：285-317.

[5]Gans R F.When is cutting chaotic[J].Journal of Sound and Vibration，1995，188（1）：75-83.

[6]錢(qián)蘇翔，焦衛(wèi)東，楊世錫.基于獨(dú)立分量分析的傳感觀(guān)測(cè)信息融合壓縮方法及其在故障診斷中的應(yīng)用[J].中國(guó)電機(jī)工程學(xué)報(bào)，2006，26（5）：137-142.

[7]李春生，王耀南，陳光輝.基于互信息的組合預(yù)測(cè)模型及其在電力負(fù)荷預(yù)測(cè)中的應(yīng)用[J].湖南大學(xué)學(xué)報(bào)：自然科學(xué)版，2008，35（9）：58-61.

[8]Albano A M，Muench J，Schwartz C.Singular-value decomposition and the Grassberger-Procaccia algorithm[J].Physical Review A，1988，38（6）：3017-3026.

[9]Rosenstein M T，Collins J J，de Luca C J.Reconstruction expansion as a geometry-based framework for choosing proper delay times[J].Physica D，1994，73：82-98.

[10]Fraser A M，Swinney H L.Independent coordinates for strange attractors from mutual infromation[J].Physical Review A，1986，33（2）：1134-1140.

[11]王海燕，盛昭瀚.混沌時(shí)間序列相空間重構(gòu)參數(shù)的選取方法[J].中南大學(xué)學(xué)報(bào)，2000，30（5）：113-117.

[12]周萌清.信息理論基礎(chǔ)[M].北京：北京航空航天大學(xué)出版社，1993：11-56.

[13]張菁，樊養(yǎng)余，李慧敏，等.相空間重構(gòu)中延遲時(shí)間選取的新算法[J].計(jì)算物理，2011，28（3）：469-474.

[14]劉秉正，彭建華.非線(xiàn)性動(dòng)力學(xué)[M].北京：高等教育出版社，2004：143-150.

[15]Martinerie J M，Albano A M.Mutual information，strange attractors，and the optimal estimation of dimension[J].Phys Rev A，1992，45：7058-7064.

[16]Hentschel H G E，Ocaccia I.The infinite number of generalized dimensions of fractals and strange attractors[J].Physica D，1983，8：433-435.

HE Peng1,ZHOU Deyun1,HUANG Jichuan1，2

1.Electronic Information Institute,Northwestern Polytechnical University,Xi’an 710129,China
2.Military Representative Office of PLA Residing in Chengdu Aircraft Industry Corporation,Chengdu 610092,China

This paper analyzes different methods for determining delay time in state space reconstruction.Although the method of mutual information is more accurate,its computational process is quite cumbersome and time-consuming.So based on the pseudo-periodicity of chaotic attractor,it puts forward a new algorithm to refine delay time step by step using mutual information. The numerical experiment of R?ssler and Lorenz systems proves the reliability of this algorithm.

state space reconstruction;time series;delay time;mutual information;pseudo-periodicity

對(duì)比研究混沌時(shí)間序列相空間重構(gòu)中對(duì)延遲時(shí)間選取的各種算法，根據(jù)混沌吸引子所具有的偽周期性與各態(tài)歷經(jīng)的性質(zhì)，提出采用逐步細(xì)化的方法尋找系統(tǒng)互信息函數(shù)的第一局部最小值，作為最佳的延遲時(shí)間。克服了傳統(tǒng)互信息函數(shù)計(jì)算繁瑣、難以編程實(shí)現(xiàn)的缺點(diǎn)，兼具精確性與高效性。通過(guò)R?ssler和Lorenz系統(tǒng)的數(shù)值仿真結(jié)果驗(yàn)證了算法的可靠性。

相空間重構(gòu)；時(shí)間序列；延遲時(shí)間；互信息；偽周期性

A

TP301.6

10.3778/j.issn.1002-8331.1303-0426

航空科學(xué)基金（No.20115553021）。

何鵬（1984—），男，博士研究生，研究領(lǐng)域?yàn)橹悄芑笓]與控制工程；周德云（1964—），男，博士，教授，研究領(lǐng)域?yàn)轭A(yù)測(cè)控制、自適應(yīng)控制、智能控制理論及其應(yīng)用、復(fù)雜系統(tǒng)建模、航空武器系統(tǒng)工程等；黃吉傳（1980—），男，博士研究生，工程師，研究領(lǐng)域?yàn)楝F(xiàn)代火力控制理論。E-mail：hp17@163.com

2013-03-27

2013-07-29

1002-8331（2013）24-0008-03

CNKI出版日期：2013-09-26http://www.cnki.net/kcms/detail/11.2127.TP.20130926.1645.011.html