混沌時(shí)間序列的核自適應(yīng)濾波預(yù)測(cè)算法

劉 強(qiáng)， 王世元， 黃雪微， 王代麗

(西南大學(xué) 電子信息工程學(xué)院，重慶 400715)

混沌現(xiàn)象[1]是由不附加隨機(jī)因素的確定性非線(xiàn)性動(dòng)力學(xué)系統(tǒng)產(chǎn)生而來(lái)。實(shí)際應(yīng)用中，混沌信號(hào)往往受到不同程度的噪聲干擾，經(jīng)典的去噪預(yù)測(cè)方法主要有3類(lèi)：局部預(yù)測(cè)法[2]、全局預(yù)測(cè)法[3]、自適應(yīng)預(yù)測(cè)法[4]。其中，局部預(yù)測(cè)法利用局部數(shù)據(jù)特征擬合非線(xiàn)性函數(shù)，提高了處理速度；全局預(yù)測(cè)法利用全部數(shù)據(jù)的特征來(lái)表征非線(xiàn)性函數(shù)，對(duì)整個(gè)混沌信號(hào)的噪聲實(shí)現(xiàn)有效抑制；自適應(yīng)預(yù)測(cè)法自適應(yīng)地追蹤混沌的運(yùn)動(dòng)軌跡，通過(guò)簡(jiǎn)單配置參數(shù)確保了低數(shù)據(jù)量時(shí)仍然有較好預(yù)測(cè)精度。良好的去噪性能以及簡(jiǎn)單的參數(shù)配置使自適應(yīng)預(yù)測(cè)法得到廣泛應(yīng)用。

在自適應(yīng)濾波預(yù)測(cè)中，數(shù)據(jù)空間中的二階相似性度量是高斯噪聲環(huán)境下性能優(yōu)越的測(cè)量方法，如基于均方誤差(mean square error，MSE)[5]的仿射投影[6]和最小二乘法[7]。但是采用二階度量的自適應(yīng)預(yù)測(cè)方法在脈沖噪聲中的去噪性能顯著下降。為解決這些問(wèn)題，非二階相似度量方法被提出，如平均p階誤差(meanp-power error, MPE)準(zhǔn)則[8]，但一般情況下使用MPE準(zhǔn)則仍不能在脈沖條件下提供理想的濾波性能。近幾年，基于可再生核希爾伯特空間[5]的非線(xiàn)性度量方法成為研究熱點(diǎn)。作為信息理論[9]的代表，相關(guān)熵?fù)p失(correntropic loss, C-loss)[10]和廣義相關(guān)熵?fù)p失(generalized correntropic loss, GC-loss)[11-12]利用數(shù)據(jù)的高階統(tǒng)計(jì)量，成功地衍生出一些在脈沖噪聲情況下魯棒的自適應(yīng)濾波預(yù)測(cè)方法[4]。然而，熵?fù)p失性能曲面的非凸性導(dǎo)致其收斂性能較差。為提高熵?fù)p失性能，核風(fēng)險(xiǎn)敏感損失(kernel risk sensitive loss, KRS-loss)[13]因具有更好的性能曲面而被提出,然而KRS-loss在脈沖噪聲中并不具魯棒性。進(jìn)一步，廣義對(duì)數(shù)損失(generalized logarithmic loss, GL-loss)[14]被提出，用來(lái)抑制較大異常值的干擾。值得注意的是，在一些環(huán)境下，GL-loss比C-loss和KRS-loss具有更好的性能。

然而，采用上述度量的線(xiàn)性濾波器在復(fù)雜非線(xiàn)性混沌時(shí)間序列預(yù)測(cè)中都存在預(yù)測(cè)性能下降的問(wèn)題。核方法[5]能夠有效地解決非線(xiàn)性問(wèn)題，如極限學(xué)習(xí)機(jī)[15]和核自適應(yīng)濾波器(kernel adaptive filter, KAF)[5]。核方法的核心在于將原始空間中的內(nèi)積操作轉(zhuǎn)換到高維空間中，使用“核技巧”替換內(nèi)積操作，從而降低計(jì)算復(fù)雜度。典型的核自適應(yīng)算法包括核最小均方(kernel least mean squares, KLMS)算法[16-17]和核遞歸最小二乘(kernel recursive least squares, KRLS)算法[18]等。KRLS算法考慮先前的多個(gè)誤差，與基于隨機(jī)梯度下降的KLMS算法相比，該算法具有更快的收斂速度和更高的濾波精度。

值得注意的是，在KAF算法中隨著輸入的不斷增加，算法網(wǎng)絡(luò)尺寸會(huì)隨之線(xiàn)性增長(zhǎng)，最終導(dǎo)致巨大的計(jì)算和存儲(chǔ)開(kāi)銷(xiāo)。為抑制網(wǎng)絡(luò)尺寸的增長(zhǎng)，一些數(shù)據(jù)稀疏處理方法被提出來(lái)，比如稀疏化[5]和量化策略[17]。但是，使用這些稀疏處理方法仍然存在網(wǎng)絡(luò)尺寸次線(xiàn)性增長(zhǎng)問(wèn)題。相比之下，采用自適應(yīng)K-Means采樣[19]的Nystr?m映射[20]通過(guò)提前固定網(wǎng)絡(luò)尺寸，在時(shí)間和空間復(fù)雜度上都表現(xiàn)出了更大優(yōu)勢(shì)。

近年來(lái)，脈沖噪聲下的魯棒性濾波算法日益成為一重要研究領(lǐng)域。本文提出一種新的廣義對(duì)數(shù)核損失(generalized logarithmic kernel loss, GLKL)，目的在于提高GL-loss在某些非線(xiàn)性系統(tǒng)中的性能。為解決核方法帶來(lái)的網(wǎng)絡(luò)尺寸線(xiàn)性增長(zhǎng)問(wèn)題，將GLKL與K-Means采樣的Nystr?m映射和遞歸更新方式相結(jié)合，推導(dǎo)出一種新的魯棒算法，即NRMGLKL-KM算法。該算法與稀疏化核自適應(yīng)濾波算法相比具備更高的魯棒性，與其他典型魯棒核自適應(yīng)濾波預(yù)測(cè)算法相比,該算法具備更快的收斂速度和更高的濾波精度。

1 背景

1.1 廣義對(duì)數(shù)核損失的定義

為構(gòu)建魯棒性預(yù)測(cè)方法，GL-loss[14]作為兩個(gè)隨機(jī)變量X和Y的相似性度量被定義為

(1)

式中:α>0，p>0。式(1)在處理異常值時(shí)具有較強(qiáng)的魯棒性，已經(jīng)廣泛應(yīng)用于魯棒性算法研究。然而，在處理復(fù)雜的非線(xiàn)性系統(tǒng)問(wèn)題時(shí)，基于式(1)的線(xiàn)性濾波算法不具備較強(qiáng)的非線(xiàn)性濾波性能。

利用核方法，GLKL函數(shù)通過(guò)提取數(shù)據(jù)的不同階統(tǒng)計(jì)量，有效提升了在脈沖噪聲下非線(xiàn)性問(wèn)題的學(xué)習(xí)性能，GLKL定義如下:

dFX,Y(X,Y)。

(2)

(3)

經(jīng)驗(yàn)GLKL可以被描述為x=[x1,x2,…,xN]T和y=[y1,y2,…,yN]T之間的廣義“距離”。

1.2 相關(guān)性質(zhì)

關(guān)于GLKL的一些重要性質(zhì)如下所示。

性質(zhì)1：Lp(X,Y)是對(duì)稱(chēng)、正定且有界的。

證明：由于κσ(X,Y)=κσ(Y,X)，故有Lp(X,Y)=Lp(Y,X)，即Lp(X,Y)是對(duì)稱(chēng)的。當(dāng)0<κσ(X,Y)≤1,Lp(X,Y)是正定且有界的，即0

性質(zhì)2：當(dāng)σ足夠大時(shí)，有

Lp(X,Y)≈(2σ2)-p/2E[|X-Y|p]。

(4)

≈(2σ2)-p/2E[|X-Y|p]。

(5)

由性質(zhì)2可知，GLKL可以捕獲誤差的p階絕對(duì)值。當(dāng)σ=1時(shí)，GLKL可以視為MPE準(zhǔn)則。

(6)

設(shè)置σ和α的值均為1，圖1比較了在不同參數(shù)p下，GL-loss和GLKL的損失函數(shù)隨誤差變化的情況。從圖1可以得出：①當(dāng)誤差趨近于0時(shí)，p越大，GLKL曲線(xiàn)就越平滑，即GLKL對(duì)穩(wěn)態(tài)誤差有更好的平滑性；②與GL-loss相比，在誤差較大的情況下，GLKL的損失函數(shù)更平滑，即GLKL對(duì)大的異常值不敏感。

圖1 GL-loss與不同的p下GLKL的比較Figure 1 Comparison of GL-loss and GLKL with different p

2 算法推導(dǎo)

2.1 Nystr?m映射

(7)

式中：V=[λ1,λ2,…，λm]和D=diag[ζ1,ζ2,…,ζm]分別為矩陣W特征向量及其對(duì)應(yīng)的特征值所組成的矩陣。故G中的元素可以近似表示為

=z(ui)Tz(uj)。

(8)

式中：z(ui)為ui映射到高維特征空間的近似函數(shù)。從式(8)中可以看出，φ(u)作為一個(gè)無(wú)限維的隱式輸入，實(shí)際上可以用低維輸入z(u)來(lái)近似表示。

2.2 基于K-Means采樣的Nystr?m映射

Nystr?m映射中，核矩陣近似的精度主要取決于樣本點(diǎn)的選擇。K-Means方法作為一種經(jīng)典的聚類(lèi)方法，能夠抽取與原始數(shù)據(jù)的分布基本一致的數(shù)據(jù)，有效地提高Nystr?m近似精度。K-Means采樣是將給定的樣本集分成k個(gè)簇，并將每個(gè)簇的質(zhì)心作為樣本。

步驟2 將每個(gè)數(shù)據(jù)分類(lèi)到距離最近的一個(gè)簇中，即

(9)

步驟4 重復(fù)步驟2和步驟3，直到滿(mǎn)足收斂條件。

一般地，當(dāng)前質(zhì)心與上一次更新所獲得質(zhì)心之間的歐氏距離小于0.001時(shí)，終止聚類(lèi)過(guò)程。由于本文研究重點(diǎn)為在線(xiàn)學(xué)習(xí)，故此采樣過(guò)程只會(huì)發(fā)生在初始化階段?；诓蓸铀@得的樣本，本文提出以下魯棒K-Means采樣的Nystr?m遞歸最小廣義對(duì)數(shù)核損失算法，即NRMGLKL-KM。

2.3 基于K-Means采樣的Nystr?m遞歸最小廣義對(duì)數(shù)核損失算法

為使輸入數(shù)據(jù)自相關(guān)矩陣可逆，引入一個(gè)范數(shù)懲罰項(xiàng)，廣義對(duì)數(shù)核損失如下：

(10)

(11)

定義：

(12)

令式(11)等于0，得

(13)

基于指數(shù)衰減的數(shù)據(jù)窗口，Ri和Ψi的在線(xiàn)更新形式寫(xiě)為

(14)

進(jìn)一步，根據(jù)矩陣求逆引理，利用遞歸形式來(lái)計(jì)算式(13)中的Pi，即

(15)

將式(15)代入式(13)，權(quán)重更新可表示為

(16)

3 仿真

本實(shí)驗(yàn)通過(guò)Mackey-Glass(MG)混沌時(shí)間序列預(yù)測(cè)來(lái)驗(yàn)證算法的預(yù)測(cè)能力?；煦鐣r(shí)間序列的頻譜分布狀態(tài)十分豐富且能反映混沌系統(tǒng)中信號(hào)的激勵(lì)特征，由以下非線(xiàn)性延遲微分方程獲得：

(17)

式中：a=0.2，b=0.1，τ=30。為實(shí)現(xiàn)數(shù)據(jù)離散化，采樣周期設(shè)為6 s。式(17)中，時(shí)延參數(shù)τ越大，系統(tǒng)混沌程度越明顯。從混沌系統(tǒng)中提取序列[xi-7,xi-6,…,xi-1]T用于估計(jì)期望輸出di=xi。結(jié)合實(shí)際問(wèn)題，混沌序列中需引入噪聲干擾。

脈沖噪聲環(huán)境由兩個(gè)獨(dú)立的噪聲混合產(chǎn)生，表示為

vi=(1-bi)vx,i+bivy,i。

(18)

討論樣本數(shù)m對(duì)NRMGLKL-KM算法的性能影響，其中m的取值為[10,100]。圖2展示了不同維度m對(duì)應(yīng)的NRMGLKL-KM算法的穩(wěn)態(tài)誤差和平均消耗時(shí)間，其中穩(wěn)態(tài)誤差取最后100次迭代的mse均值，其他自由參數(shù)設(shè)置為γ=0.1、β=1、α=1、σ=1、p=10。從圖2中可以看出：①NRMGLKL-KM算法的平均消耗時(shí)間隨著m增大而增加；②在初始階段隨著m的增加，穩(wěn)態(tài)誤差下降比較明顯，當(dāng)m>50時(shí)，穩(wěn)態(tài)誤差的值幾乎無(wú)變化。因此，為了平衡濾波精度和時(shí)間消耗，在本例中m的取值為50。

圖2 在不同維度下NRMGLKL-KM算法的穩(wěn)態(tài)誤差和平均消耗時(shí)長(zhǎng)Figure 2 Steady-state error and averaged consumed time of the NRMGLKL-KM with different dimension

討論核寬σ對(duì)NRMGLKL-KM算法的濾波精度的影響。σ在區(qū)間[0.4,2.0]以0.2為間距取值，其他自由參數(shù)分別設(shè)置為m=50、p=10、α=1.5、γ=0.1、β=1。不同σ值對(duì)應(yīng)的NRMGLKL-KM算法的穩(wěn)態(tài)誤差如圖3所示，從圖3中可以發(fā)現(xiàn)，當(dāng)σ=1.0時(shí)獲得最佳濾波精度，在σ過(guò)大或者過(guò)小時(shí)均會(huì)導(dǎo)致濾波精度下降。

圖3 參數(shù)σ對(duì)NRMGLKL-KM性能的影響Figure 3 Influence of parameter σ on the performance of NRMGLKL-KM

討論參數(shù)p和α對(duì)NRMGLKL-KM算法性能的影響，其中p在區(qū)間[2,16]以2為間距取值，α在區(qū)間[0.5,4.0]以0.5為間距取值。不同p和α對(duì)應(yīng)NRMGLKL-KM算法的穩(wěn)態(tài)誤差如圖4所示，其他自由參數(shù)為m=50、σ=1、γ=0.1、β=1。從圖4中可以發(fā)現(xiàn)，隨著參數(shù)p的增大，穩(wěn)態(tài)誤差先下降后升高，并且在p=10的附近達(dá)到最優(yōu);α在一定程度上對(duì)所提算法的影響較低。因此，為了達(dá)到理想的性能，在本例中將NRMGLKL-KM算法的參數(shù)設(shè)置為m=50、σ=1、α=2、p=10、γ=0.1、β=1。

圖4 NRMGLKL-KM穩(wěn)態(tài)誤差隨p和α的變化Figure 4 Steady-state error of NRMGLKL-KM versus p and α

為驗(yàn)證NRMGLKL-KM算法在魯棒性和收斂性方面的優(yōu)勢(shì)，將NRMGLKL-KM算法與一些典型遞歸算法進(jìn)行比較，如：NysKRLS-KM[18]，KRMC[21]，NysKRMC[20]，KRMC-NC[21]。為達(dá)到理想的精度，對(duì)所有算法均設(shè)置了最優(yōu)參數(shù)，其中各算法中γ，β以及m的取值均為γ=0.1，β=1，m=50。仿真結(jié)果如圖5所示，所有算法的仿真結(jié)果數(shù)據(jù)和計(jì)算復(fù)雜度列于表1。從圖5可以看出，與其他典型算法相比，所提算法在脈沖噪聲中具有較高的魯棒性，同時(shí)還具備更快的收斂速度和更高的濾波精度。表1中i為當(dāng)前迭代次數(shù)，n為KRMC-NC在當(dāng)前迭代中的字典大小。因?yàn)閕和n的值最終會(huì)遠(yuǎn)大于m，所以相比于KRMC和KRMC-NC算法，所提算法具有更小的計(jì)算復(fù)雜度。同時(shí)從表1中可以發(fā)現(xiàn)，所提算法能夠在更短的時(shí)間內(nèi)達(dá)到比KRMC算法更高的濾波精度。

圖5 MG時(shí)間序列下不同算法的穩(wěn)態(tài)誤差比較Figure 5 Comparison of the steady-state error of different algorithms in MG time series prediction

表1 MG時(shí)間序列下不同算法的仿真結(jié)果及計(jì)算復(fù)雜度Table 1 Simulation results and computational complexity of different algorithms in MG time series prediction

4 結(jié)論

本文將原始空間中的廣義對(duì)數(shù)損失映射到再生核希爾伯特空間，提出了廣義對(duì)數(shù)核損失準(zhǔn)則(GLKL)，并給出了該準(zhǔn)則的若干性質(zhì)。GLKL準(zhǔn)則在混沌時(shí)間序列預(yù)測(cè)中能有效地消除脈沖干擾。同時(shí)，在提出的GLKL準(zhǔn)則中引入了K-Means采樣的Nystr?m映射，從而推導(dǎo)出一種新的基于K-Means采樣的Nystr?m遞歸最小GLKL預(yù)測(cè)方法，即NRMGLKL-KM算法。通過(guò)實(shí)驗(yàn)仿真確定自由參數(shù)對(duì)算法性能的影響，選擇最優(yōu)參數(shù)以提高濾波精度。除此之外，在脈沖噪聲環(huán)境下進(jìn)行混沌時(shí)間序列預(yù)測(cè)仿真。仿真結(jié)果表明：與稀疏化核自適應(yīng)濾波算法相比,所提算法在脈沖噪聲中具備更高的魯棒性，同時(shí),相比于他典型魯棒核自適應(yīng)濾波預(yù)測(cè)算法相比,該算法具備更快的收斂速度和更高的濾波精度。