非高斯沖激干擾下基于Softplus 函數(shù)的核自適應(yīng)濾波算法*

火元蓮 王丹鳳 龍小強(qiáng) 連培君 齊永鋒

1) (西北師范大學(xué)物理與電子工程學(xué)院, 蘭州 730000)

2) (西北師范大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院, 蘭州 730000)

1 引 言

傳統(tǒng)的線性自適應(yīng)濾波算法對(duì)于線性系統(tǒng)具有良好的跟蹤能力, 但是在解決諸如語(yǔ)音回聲消除、系統(tǒng)識(shí)別、時(shí)間序列預(yù)測(cè)等非線性輸入輸出的實(shí)際應(yīng)用時(shí)算法跟蹤性能會(huì)變差[1].最初對(duì)于非線性問(wèn)題的處理是將多個(gè)線性自適應(yīng)濾波器進(jìn)行串聯(lián), 其中最為經(jīng)典的例子是Hammerstein-Wiener模型[2], 但是這種處理模式實(shí)質(zhì)上仍然是單個(gè)濾波器的線性處理, 無(wú)法對(duì)更一般化的非線性系統(tǒng)進(jìn)行有效跟蹤.1968 年, Gabor[3]曾利用Volterra 序列來(lái)避免非線性濾波所面臨的問(wèn)題, 然而Volterra序列在實(shí)際應(yīng)用中計(jì)算復(fù)雜度隨階數(shù)以指數(shù)級(jí)運(yùn)算量增長(zhǎng)并且在脈沖噪聲環(huán)境下性能顯著下降[4].

極端學(xué)習(xí)機(jī)通過(guò)將輸入映射到高維空間, 使輸入數(shù)據(jù)在高維空間具有線性特性[5], 據(jù)此, 研究者們注意到了核方法是一種將線性算法擴(kuò)展到非線性層面的一種有力工具, 因此核方法在非線性自適應(yīng)濾波領(lǐng)域受到了極大重視.核方法的核心思想是將輸入數(shù)據(jù)通過(guò)所對(duì)應(yīng)的核函數(shù)映射到高維空間(希爾伯特空間), 然后采用核評(píng)價(jià)的方法去計(jì)算內(nèi)積.一般線性濾波算法在濾波過(guò)程中需要進(jìn)行內(nèi)積運(yùn)算, 這與核方法有一定的相似之處, 因此將線性濾波算法的內(nèi)積操作使用核變換到高維空間并在高維空間中使用核函數(shù)來(lái)代替內(nèi)積運(yùn)算操作, 這極大地降低了計(jì)算復(fù)雜度.最早將核方法應(yīng)用于自適應(yīng)濾波算法的是弗里班德·哈里森(Frieband Harrison)[6].而Liu 等[7]于2008 年成功將核方法應(yīng)用于最小均方算法并提出了核最小均方誤差(kernel least-mean-square algorithm, KLMS)算法, 該算法結(jié)構(gòu)簡(jiǎn)單易于實(shí)現(xiàn), 并且在解決非線性實(shí)際應(yīng)用問(wèn)題時(shí)比線性自適應(yīng)濾波算法性能更優(yōu).之后Engel 等[8]將遞歸最小二乘法擴(kuò)展到非線性領(lǐng)域提出了核遞歸最小二乘(kernel recursive least squares, KRLS)算法.Liu 等[9]又對(duì)KRLS 算法進(jìn)行了改進(jìn), 提出了擴(kuò)展的KRLS 算法, 首次實(shí)現(xiàn)了線性空間中的廣義非線性狀態(tài)模型[10?14].關(guān)于復(fù)雜系統(tǒng)的建模問(wèn)題, 分?jǐn)?shù)階微積分模型比整數(shù)階微積分模型更加準(zhǔn)確, 同時(shí)還能包含系統(tǒng)的遺傳和記憶效應(yīng)[15].Gao 和En[16]充分考慮了 α 穩(wěn)態(tài)噪聲分布, 提出了一種基于分?jǐn)?shù)低階統(tǒng)計(jì)準(zhǔn)則的核最小均方p 次冪(kernel least mean p-power, KLMP)算法.但上述算法都是基于均方誤差準(zhǔn)則假設(shè)在高斯環(huán)境下得出的一般性結(jié)論, 而實(shí)際在非高斯沖激干擾下均方誤差準(zhǔn)則會(huì)出現(xiàn)嚴(yán)重下降甚至可能失效, 于是研究者們又提出了各種改進(jìn)算法, 用以解決核自適應(yīng)濾波算法在非高斯沖激干擾下穩(wěn)定性不足的問(wèn)題.Dai 和Jin[17]提出的核仿射投影p 范數(shù)(kernel affine projection p-norm algorithm, KAPP)濾波算法利用最小波散(minimum dispersion, MD)準(zhǔn)則和仿射投影(affine projection, AP)算法實(shí)現(xiàn),進(jìn)一步提高了α 穩(wěn)定分布噪聲環(huán)境下的非線性自適應(yīng)濾波性能.李群生等[18]在核學(xué)習(xí)自適應(yīng)濾波算法基礎(chǔ)上提出了一種基于驚奇準(zhǔn)則的多尺度核學(xué)習(xí)仿射投影濾波算法(multi-scale kernel learning affine projection based on surprise criterion, SCMKAPA), 用于提高非線性信號(hào)的噪聲消除能力.

近年來(lái), 抗脈沖干擾的魯棒性自適應(yīng)濾波算法得到了廣泛的研究, 文獻(xiàn)[19]是在KLMP 基礎(chǔ)上提出的一種基于分?jǐn)?shù)低階統(tǒng)計(jì)誤差準(zhǔn)則[20]的抗非高斯沖激噪聲的核分式低次冪(kernel fractional lower power, KFLP)算法, 但KFLP 算法存在收斂速度慢的問(wèn)題.為了改進(jìn)KFLP 算法的收斂速度,本文提出了一種基于Softplus 函數(shù)的核自適應(yīng)濾波算法(SP-KFLP)應(yīng)用于非高斯噪聲環(huán)境,該算法將Softplus 函數(shù)與核分式低次冪準(zhǔn)則相結(jié)合, 利用輸出誤差的非線性飽和特性通過(guò)隨機(jī)梯度下降法更新權(quán)重.在系統(tǒng)辨識(shí)環(huán)境下將本文算法SP-KFLP 與KFLP, KLMS, S 型核分式低次冪 (sigmoid kernel fractional lower algorithm,S-KFLP) 算法、核最大相關(guān)熵(kernel maximum correntropy criterion, KMCC)算法進(jìn)行比較, 用伯努利高斯信號(hào)和非高斯沖激干擾作為輸入信號(hào)的仿真結(jié)果表明, 本文算法對(duì)脈沖干擾的魯棒性優(yōu)于KFLP 和KLMS 算法, 與S-KFLP 算法相比,SP-KFLP 算法收斂速度更快, 達(dá)到的穩(wěn)態(tài)偏差也更小.

2 核分式低次冪自適應(yīng)算法(KFLP)

2.1 系統(tǒng)識(shí)別模型

考慮如圖1 所示的非線性系統(tǒng)識(shí)別問(wèn)題, 在時(shí)刻n 處一般序列 un經(jīng)過(guò)未知非線性系統(tǒng), 假設(shè)未知系統(tǒng)系數(shù)和輸入信號(hào)被表示為wo=[w0,w1,wL?1]T和 un=[u1,un?1,··· ,un?L+1]T, 其中L 為濾波器長(zhǎng)度.由于實(shí)際系統(tǒng)本身存在一定的噪聲干擾, 假定觀測(cè)到的期望信號(hào) d (n) 被 附加噪聲 v (n) 破壞,其中 v (n) 是具有零均值和方差的額外背景噪聲.本文采用核自適應(yīng)濾波器控制濾波, 其中 φ (n) 是核映射函數(shù).則未知系統(tǒng)和自適應(yīng)濾波器的輸出之間的估計(jì)誤差為e(n)=d(n)?其 中wn=[wn,0,wn,1,··· ,wn,L?1]T表示自適應(yīng)濾波器在n 時(shí)刻的抽頭系數(shù).

圖1 系統(tǒng)識(shí)別模型Fig.1.System identification model.

2.2 KFLP 算法

核方法是一種尋找隱藏在未知非線性系統(tǒng)中的非線性關(guān)系的有效方法[19].核自適應(yīng)濾波器的輸入信號(hào)是將一般的信號(hào)數(shù)據(jù)經(jīng)過(guò)再生核變換到高維空間, 根據(jù)這個(gè)非線性映射得到了一種以線性方式跟蹤非線性系統(tǒng)的濾波方法.核方法的本質(zhì)是一個(gè)內(nèi)積運(yùn)算, 因此將算法表示為內(nèi)積形式時(shí), 可以直接用核函數(shù)代替內(nèi)積計(jì)算.Mercer 定理表明任意再生核 κ (u,u′) 可以擴(kuò)展如下[21]:

其中, ξi指的是相關(guān)特征值, φi指的是映射值, u 指的是一般性輸入信號(hào)在n 時(shí)刻的值, u′為下一時(shí)刻的輸入信號(hào).利用(1)式即可將輸入信號(hào)u 進(jìn)行變換產(chǎn)生 φ (u) , 且給定新的輸入序列φ(u)Tφ(u′)=κ(u,u′)[22].給定輸入序列 un以及期望序列 dn, 基于文獻(xiàn)[16]的核分式低次冪代價(jià)函數(shù):

給 定 φ (un) = φ (n) 作為核自適應(yīng)濾波器的輸入,e(n) 為系統(tǒng)的輸出誤差, wT(n)=w(n)T為核自適應(yīng)濾波器權(quán)重, p 為誤差低次冪.根據(jù)隨機(jī)梯度下降法, 將代價(jià)函數(shù)對(duì)抽頭系數(shù)求梯度可以得到KFLP 算法的權(quán)重更新公式為:

其中 μ 為步長(zhǎng).那么對(duì)于給定系統(tǒng), 濾波器輸出表示為:

3 基于Softplus 函數(shù)的核自適應(yīng)算法原理及性能

3.1 算法原理

本文提出的基于Softplus 函數(shù)的核自適應(yīng)濾波算法是將Softplus 函數(shù)與核分式低次冪算法的代價(jià)函數(shù)相結(jié)合從而構(gòu)造一個(gè)新的代價(jià)函數(shù), 一方面理論研究已經(jīng)表明誤差的低次冪可以抑制誤差變化較大引起的算法性能降低, 另一方面Softplus函數(shù)作為神經(jīng)網(wǎng)絡(luò)的激活函數(shù), 其理論表達(dá)式為log(1+ex), 利用此函數(shù)對(duì)x 求微分, 那么Softplus函數(shù)的導(dǎo)函數(shù)是 1 /(1+e?x) , 這與Sigmoid函數(shù)是一致的并且該函數(shù)呈對(duì)數(shù)變化, 計(jì)算速度相較于Sigmoid 函數(shù)更快.經(jīng)過(guò)以上啟發(fā)定義Softplus 函數(shù)為并將其與核分式低次冪代價(jià)函數(shù)結(jié)合, 構(gòu)造的新的代價(jià)函數(shù)為

根據(jù)(5)式, 當(dāng)有沖激噪聲干擾時(shí)該代價(jià)函數(shù)的梯度是趨于0 的, 這就有效地抑制了算法權(quán)重更新過(guò)程, 使本文算法的抗沖激性能在低次冪的基礎(chǔ)上進(jìn)一步增強(qiáng).然后將基于Softplus 函數(shù)的核自適應(yīng)代價(jià)函數(shù)根據(jù)最速下降法對(duì)權(quán)重向量 ω 求導(dǎo)得到:

因此, 利用負(fù)隨機(jī)梯度下降法可以得到算法的權(quán)重更新公式

將(6)式代入(7)式即可得到SP-KFLP 算法的權(quán)重更新公式:

令初始 ω (i)=0 , 經(jīng)過(guò)i 次迭代以后, 給自適應(yīng)濾波器一個(gè)新的輸入 u (n) 可以得出濾波器的輸出信號(hào), 本文算法選用的核函數(shù)為高斯核κ(u,u′)=exp(?h‖u ?u′‖2), h 為高斯核的核寬.高斯核類似于一個(gè)徑向基函數(shù), 可以無(wú)限逼近于任一條曲線.本文算法與一般的核自適應(yīng)濾波算法類似, 不同的是引入了一個(gè)Softplus 函數(shù)使算法的收斂速度、抗沖激干擾能力進(jìn)一步增強(qiáng).

3.2 算法收斂性能分析

本節(jié)主要解析描述所提出的SP-KFLP 算法的收斂性能, 首先推導(dǎo)了該算法的能量守恒關(guān)系然后給出了均方收斂的一個(gè)充分條件.一個(gè)非線性回歸系統(tǒng)為

其中誤差為

將(9)式代入(10)式,得到e (i)=ea(i)+v(i),其中 ea(i)=?(i ?1)Tφ(i)為先驗(yàn)誤差,?(i?1)是權(quán)重估計(jì)偏差，ωo(i)為最優(yōu)權(quán)重也就是非線性系統(tǒng)的沖激響應(yīng).將(7)式兩邊同時(shí)減去 wo(i) 得到:

定義一個(gè)后驗(yàn)誤差 ep(i)= ?(i)Tφ(i) , 將(11)式代入得到后驗(yàn)誤差的表達(dá)式為

根據(jù)(11)式和(12)式中的相等關(guān)系

得到關(guān)于 ? 的表達(dá)式

對(duì)(14)式兩邊利用 L2范數(shù)平方, 以及能量守恒關(guān)系可以得到:

(15)式為本文算法的能量守恒關(guān)系式, 將(12)式代入(15)式得到如下表達(dá)式:

對(duì)(16)式求期望, 即

即

通過(guò)(19)式得到SP-KFLP 算法的收斂性能在理論上滿足的充分條件為

由于式子難以計(jì)算, 通常以實(shí)驗(yàn)仿真為準(zhǔn).

4 算法仿真

為了進(jìn)一步說(shuō)明所提算法在非線性系統(tǒng)應(yīng)用中的有效性, 將SP-KFLP 算法與KFLP, KLMS,KMCC 和S-KFLP 算法的學(xué)習(xí)曲線進(jìn)行比較, 以驗(yàn)證本文算法在收斂速度和抗沖激干擾下的優(yōu)越性能.在以下的所有實(shí)驗(yàn)中將初始權(quán)重向量 ω0均設(shè)置為0 向量, 令步長(zhǎng) μ =0.5.因?yàn)橐话愕? 對(duì)自適應(yīng)濾波算法而言步長(zhǎng)越接近于1 收斂速度會(huì)越快, 但同時(shí)其穩(wěn)定性必然也會(huì)變差, 而實(shí)驗(yàn)發(fā)現(xiàn)本文算法步長(zhǎng)選擇0.5 是非常理想的值, 因此以下的仿真中SP-KFLP 算法步長(zhǎng)為0.5, 所有實(shí)驗(yàn)性能曲線由歸一化均方誤(normolized mean square error, NMSE)準(zhǔn)則得出.本文實(shí)驗(yàn)仿真條件是基于一個(gè)由線性模型與非線性模型組合而成的非線性系統(tǒng), 其中線性模型為 H (z)=1+0.2z?1, 非線性模型為 f (n)=x(n)?0.6x2(n) , 因此該非線性系統(tǒng)的期望輸出為 d (n)=x(n)?0.6x2(n)+v(n) , 其中 v (n) 為額外誤差, 本文采用高斯白噪聲與沖激噪聲組合的噪聲環(huán)境.一般的沖激噪聲可以被表示為伯努利-高斯過(guò)程[21], 由 q (n)=a(n)c(n) 表示, 其中c(n) 是一個(gè)伯努利過(guò)程且成功的概率為 pq, a (n) 是一個(gè)0 均值的高斯白噪聲過(guò)程, 且設(shè)定高斯核函數(shù)的核寬參數(shù) h =0.2.

4.1 誤差低次冪p 對(duì)SP-KFLP 算法性能影響

為了獲得合適的p 值, 首先考察不同的p 值對(duì)SP-KFLP 算法性能的影響, 實(shí)驗(yàn)假設(shè)存在非高斯沖激噪聲干擾, 令 pq=0.01.p 分別取0.9, 0.8,0.7, 0.6 時(shí)SP-KFLP 算法的歸一化學(xué)習(xí)曲線如圖2 所示.

從圖2 可以看出, 本文算法隨著p 值趨近于1 穩(wěn)定性能越來(lái)越好, 當(dāng)然偏離1 時(shí)收斂性能也隨之下降, 因?yàn)閜 值是基于分式低次冪準(zhǔn)則而出現(xiàn),它本身取值是小于1 的數(shù), 只兼顧了算法的穩(wěn)定性, 而且 p =0.6 的時(shí)候算法已經(jīng)相對(duì)很不穩(wěn)定了.因此, 本文將0.9 作為理想的p 值, 這在一定程度上減小了收斂速度過(guò)慢的問(wèn)題, 以下的所有仿真實(shí)驗(yàn)中p 值都為0.9.

4.2 Softplus 函數(shù)的陡度參數(shù) α 對(duì)SP-KFLP算法性能影響

為了找到合適的陡度參數(shù) α 進(jìn)而使得算法性能更優(yōu), 本文在非高斯沖激干擾下(pq=0.03), 令α值分別取1.0, 0.8, 0.5, 0.1 時(shí)對(duì)比了算法的歸一化均方誤差性能曲線, 如圖3 所示.

從圖3 可知, α 取值越大算法的收斂速度越快、穩(wěn)定性越好, 所以文中所有實(shí)驗(yàn)中 α 值均取1.由于代價(jià)函數(shù)采用誤差的低次冪, 需要一個(gè)新的參數(shù)來(lái)改變算法的收斂性能, 而本文算法采用Softplus函數(shù)的陡度參數(shù)來(lái)實(shí)現(xiàn)這一改變, 保證了算法具有較快的收斂速度.

4.3 本文算法與其他算法性能比較

將本文算法SP-KFLP 與傳統(tǒng)KLMS, KMCC,KFLP 和S-KFLP 算法用于未知系統(tǒng)的追蹤, 并就收斂性和抗沖激干擾性能進(jìn)行如下比較.

1) 5 種算法在高斯分布噪聲下的性能對(duì)比.實(shí)驗(yàn)中假設(shè)加性高斯白噪聲的均值為0、方差為0.02,5 種算法的NMSE 曲線如圖4 所示.從圖4 可以看出, 在高斯噪聲環(huán)境下本文算法與KFLP, SKFLP 算法均可以達(dá)到良好的收斂效果, 但本文的SP-KFLP 算法收斂速度比其他幾種算法的快,說(shuō)明本文算法具有更優(yōu)的收斂性能.

2) 在非高斯沖激噪聲中的性能比較.實(shí)驗(yàn)中假設(shè)存在3%的沖激噪聲, 即 pq=0.03.為提高KLMS 算法穩(wěn)定性, 參數(shù) μ 選擇為0.1, 其他同上面實(shí)驗(yàn)中參數(shù)的選擇, 實(shí)驗(yàn)結(jié)果如圖5 所示.從圖5可以看出, 本文的SP-KFLP 和KFLP, S-KFLP算法均具有很強(qiáng)的脈沖噪聲抑制能力, 但KLMS算法的脈沖噪聲抑制能力比較差, 而且SP-KFLP算法的收斂速度比KFLP, S-KFLP 算法快.

圖4 KLMS, KMCC, KFLP, S-FKLP 和 本 文SP-KFLP算法的比較Fig.4.Comparison of KLMS, KMCC, KFLP, S-FKLP and SP-KFLP algorithms in this paper.

圖5 非高斯干擾下的KFLP, KLMS, S-KFLP 與SP-KFLP算法比較Fig.5.Comparison of KFLP, KLMS, S-KFLP and SPKFLP algorithms under non-Gaussian interference.

圖6 在第600 次迭代過(guò)程中加入沖激噪聲時(shí)各算法性能對(duì)比Fig.6.Performance comparison of algorithms when impulsive noise is added in the 600th iteration.

3) 在高斯白噪聲環(huán)境(即 pq=0), 且在第600 次迭代時(shí)產(chǎn)生一個(gè)沖激噪聲的情況下本文的SP-KFLP 和其他算法的性能對(duì)比如圖6 所示.從圖6 中可以發(fā)現(xiàn), KFLP 算法收斂速度是快于KLMS 算法的, 此外在第600 次迭代時(shí)產(chǎn)生沖激噪聲, KLMS 算法不具有抗沖激噪聲的性能, 而本文算法相比于其他算法其收斂速度最快, 并且能有效地避免沖激噪聲的干擾.

綜上, SP-KFLP 算法在非高斯和非線性環(huán)境下具有良好的脈沖噪聲抑制能力和較快的收斂速度.

5 結(jié) 論

本文提出了一種非高斯噪聲環(huán)境下基于Softplus函數(shù)的核自適應(yīng)濾波算法, 該算法一方面利用Softplus 函數(shù)的非線性飽和特性來(lái)抑制沖激噪聲,另一方面將誤差的倒數(shù)作為權(quán)重向量更新公式的系數(shù), 保證了在誤差突然增大時(shí)該系數(shù)取值很小,進(jìn)而利用權(quán)重向量不更新的方法來(lái)抵制沖激噪聲.仿真結(jié)果表明所提算法提高了抗脈沖干擾能力的同時(shí)加快了彩色輸入信號(hào)的收斂速度, 也就是很好地兼顧了收斂速度和跟蹤性能穩(wěn)定誤差的矛盾, 并且在高斯噪聲下的性能也優(yōu)于傳統(tǒng)的核自適應(yīng)算法.