非高斯沖激干擾下基于Softplus 函數(shù)的核自適應(yīng)濾波算法*

火元蓮 王丹鳳 龍小強(qiáng) 連培君 齊永鋒

1) (西北師范大學(xué)物理與電子工程學(xué)院, 蘭州 730000)

2) (西北師范大學(xué)計算機(jī)科學(xué)與工程學(xué)院, 蘭州 730000)

1 引 言

傳統(tǒng)的線性自適應(yīng)濾波算法對于線性系統(tǒng)具有良好的跟蹤能力, 但是在解決諸如語音回聲消除、系統(tǒng)識別、時間序列預(yù)測等非線性輸入輸出的實際應(yīng)用時算法跟蹤性能會變差[1].最初對于非線性問題的處理是將多個線性自適應(yīng)濾波器進(jìn)行串聯(lián), 其中最為經(jīng)典的例子是Hammerstein-Wiener模型[2], 但是這種處理模式實質(zhì)上仍然是單個濾波器的線性處理, 無法對更一般化的非線性系統(tǒng)進(jìn)行有效跟蹤.1968 年, Gabor[3]曾利用Volterra 序列來避免非線性濾波所面臨的問題, 然而Volterra序列在實際應(yīng)用中計算復(fù)雜度隨階數(shù)以指數(shù)級運算量增長并且在脈沖噪聲環(huán)境下性能顯著下降[4].

極端學(xué)習(xí)機(jī)通過將輸入映射到高維空間, 使輸入數(shù)據(jù)在高維空間具有線性特性[5], 據(jù)此, 研究者們注意到了核方法是一種將線性算法擴(kuò)展到非線性層面的一種有力工具, 因此核方法在非線性自適應(yīng)濾波領(lǐng)域受到了極大重視.核方法的核心思想是將輸入數(shù)據(jù)通過所對應(yīng)的核函數(shù)映射到高維空間(希爾伯特空間), 然后采用核評價的方法去計算內(nèi)積.一般線性濾波算法在濾波過程中需要進(jìn)行內(nèi)積運算, 這與核方法有一定的相似之處, 因此將線性濾波算法的內(nèi)積操作使用核變換到高維空間并在高維空間中使用核函數(shù)來代替內(nèi)積運算操作, 這極大地降低了計算復(fù)雜度.最早將核方法應(yīng)用于自適應(yīng)濾波算法的是弗里班德·哈里森(Frieband Harrison)[6].而Liu 等[7]于2008 年成功將核方法應(yīng)用于最小均方算法并提出了核最小均方誤差(kernel least-mean-square algorithm, KLMS)算法, 該算法結(jié)構(gòu)簡單易于實現(xiàn), 并且在解決非線性實際應(yīng)用問題時比線性自適應(yīng)濾波算法性能更優(yōu).之后Engel 等[8]將遞歸最小二乘法擴(kuò)展到非線性領(lǐng)域提出了核遞歸最小二乘(kernel recursive least squares, KRLS)算法.Liu 等[9]又對KRLS 算法進(jìn)行了改進(jìn), 提出了擴(kuò)展的KRLS 算法, 首次實現(xiàn)了線性空間中的廣義非線性狀態(tài)模型[10?14].關(guān)于復(fù)雜系統(tǒng)的建模問題, 分?jǐn)?shù)階微積分模型比整數(shù)階微積分模型更加準(zhǔn)確, 同時還能包含系統(tǒng)的遺傳和記憶效應(yīng)[15].Gao 和En[16]充分考慮了 α 穩(wěn)態(tài)噪聲分布, 提出了一種基于分?jǐn)?shù)低階統(tǒng)計準(zhǔn)則的核最小均方p 次冪(kernel least mean p-power, KLMP)算法.但上述算法都是基于均方誤差準(zhǔn)則假設(shè)在高斯環(huán)境下得出的一般性結(jié)論, 而實際在非高斯沖激干擾下均方誤差準(zhǔn)則會出現(xiàn)嚴(yán)重下降甚至可能失效, 于是研究者們又提出了各種改進(jìn)算法, 用以解決核自適應(yīng)濾波算法在非高斯沖激干擾下穩(wěn)定性不足的問題.Dai 和Jin[17]提出的核仿射投影p 范數(shù)(kernel affine projection p-norm algorithm, KAPP)濾波算法利用最小波散(minimum dispersion, MD)準(zhǔn)則和仿射投影(affine projection, AP)算法實現(xiàn),進(jìn)一步提高了α 穩(wěn)定分布噪聲環(huán)境下的非線性自適應(yīng)濾波性能.李群生等[18]在核學(xué)習(xí)自適應(yīng)濾波算法基礎(chǔ)上提出了一種基于驚奇準(zhǔn)則的多尺度核學(xué)習(xí)仿射投影濾波算法(multi-scale kernel learning affine projection based on surprise criterion, SCMKAPA), 用于提高非線性信號的噪聲消除能力.

近年來, 抗脈沖干擾的魯棒性自適應(yīng)濾波算法得到了廣泛的研究, 文獻(xiàn)[19]是在KLMP 基礎(chǔ)上提出的一種基于分?jǐn)?shù)低階統(tǒng)計誤差準(zhǔn)則[20]的抗非高斯沖激噪聲的核分式低次冪(kernel fractional lower power, KFLP)算法, 但KFLP 算法存在收斂速度慢的問題.為了改進(jìn)KFLP 算法的收斂速度,本文提出了一種基于Softplus 函數(shù)的核自適應(yīng)濾波算法(SP-KFLP)應(yīng)用于非高斯噪聲環(huán)境,該算法將Softplus 函數(shù)與核分式低次冪準(zhǔn)則相結(jié)合, 利用輸出誤差的非線性飽和特性通過隨機(jī)梯度下降法更新權(quán)重.在系統(tǒng)辨識環(huán)境下將本文算法SP-KFLP 與KFLP, KLMS, S 型核分式低次冪 (sigmoid kernel fractional lower algorithm,S-KFLP) 算法、核最大相關(guān)熵(kernel maximum correntropy criterion, KMCC)算法進(jìn)行比較, 用伯努利高斯信號和非高斯沖激干擾作為輸入信號的仿真結(jié)果表明, 本文算法對脈沖干擾的魯棒性優(yōu)于KFLP 和KLMS 算法, 與S-KFLP 算法相比,SP-KFLP 算法收斂速度更快, 達(dá)到的穩(wěn)態(tài)偏差也更小.

2 核分式低次冪自適應(yīng)算法(KFLP)

2.1 系統(tǒng)識別模型

考慮如圖1 所示的非線性系統(tǒng)識別問題, 在時刻n 處一般序列 un經(jīng)過未知非線性系統(tǒng), 假設(shè)未知系統(tǒng)系數(shù)和輸入信號被表示為wo=[w0,w1,wL?1]T和 un=[u1,un?1,··· ,un?L+1]T, 其中L 為濾波器長度.由于實際系統(tǒng)本身存在一定的噪聲干擾, 假定觀測到的期望信號 d (n) 被 附加噪聲 v (n) 破壞,其中 v (n) 是具有零均值和方差的額外背景噪聲.本文采用核自適應(yīng)濾波器控制濾波, 其中 φ (n) 是核映射函數(shù).則未知系統(tǒng)和自適應(yīng)濾波器的輸出之間的估計誤差為e(n)=d(n)?其 中wn=[wn,0,wn,1,··· ,wn,L?1]T表示自適應(yīng)濾波器在n 時刻的抽頭系數(shù).

圖1 系統(tǒng)識別模型Fig.1.System identification model.

2.2 KFLP 算法

核方法是一種尋找隱藏在未知非線性系統(tǒng)中的非線性關(guān)系的有效方法[19].核自適應(yīng)濾波器的輸入信號是將一般的信號數(shù)據(jù)經(jīng)過再生核變換到高維空間, 根據(jù)這個非線性映射得到了一種以線性方式跟蹤非線性系統(tǒng)的濾波方法.核方法的本質(zhì)是一個內(nèi)積運算, 因此將算法表示為內(nèi)積形式時, 可以直接用核函數(shù)代替內(nèi)積計算.Mercer 定理表明任意再生核 κ (u,u′) 可以擴(kuò)展如下[21]:

其中, ξi指的是相關(guān)特征值, φi指的是映射值, u 指的是一般性輸入信號在n 時刻的值, u′為下一時刻的輸入信號.利用(1)式即可將輸入信號u 進(jìn)行變換產(chǎn)生 φ (u) , 且給定新的輸入序列φ(u)Tφ(u′)=κ(u,u′)[22].給定輸入序列 un以及期望序列 dn, 基于文獻(xiàn)[16]的核分式低次冪代價函數(shù):

給 定 φ (un) = φ (n) 作為核自適應(yīng)濾波器的輸入,e(n) 為系統(tǒng)的輸出誤差, wT(n)=w(n)T為核自適應(yīng)濾波器權(quán)重, p 為誤差低次冪.根據(jù)隨機(jī)梯度下降法, 將代價函數(shù)對抽頭系數(shù)求梯度可以得到KFLP 算法的權(quán)重更新公式為:

其中 μ 為步長.那么對于給定系統(tǒng), 濾波器輸出表示為:

3 基于Softplus 函數(shù)的核自適應(yīng)算法原理及性能

3.1 算法原理

本文提出的基于Softplus 函數(shù)的核自適應(yīng)濾波算法是將Softplus 函數(shù)與核分式低次冪算法的代價函數(shù)相結(jié)合從而構(gòu)造一個新的代價函數(shù), 一方面理論研究已經(jīng)表明誤差的低次冪可以抑制誤差變化較大引起的算法性能降低, 另一方面Softplus函數(shù)作為神經(jīng)網(wǎng)絡(luò)的激活函數(shù), 其理論表達(dá)式為log(1+ex), 利用此函數(shù)對x 求微分, 那么Softplus函數(shù)的導(dǎo)函數(shù)是 1 /(1+e?x) , 這與Sigmoid函數(shù)是一致的并且該函數(shù)呈對數(shù)變化, 計算速度相較于Sigmoid 函數(shù)更快.經(jīng)過以上啟發(fā)定義Softplus 函數(shù)為并將其與核分式低次冪代價函數(shù)結(jié)合, 構(gòu)造的新的代價函數(shù)為

根據(jù)(5)式, 當(dāng)有沖激噪聲干擾時該代價函數(shù)的梯度是趨于0 的, 這就有效地抑制了算法權(quán)重更新過程, 使本文算法的抗沖激性能在低次冪的基礎(chǔ)上進(jìn)一步增強(qiáng).然后將基于Softplus 函數(shù)的核自適應(yīng)代價函數(shù)根據(jù)最速下降法對權(quán)重向量 ω 求導(dǎo)得到:

因此, 利用負(fù)隨機(jī)梯度下降法可以得到算法的權(quán)重更新公式

將(6)式代入(7)式即可得到SP-KFLP 算法的權(quán)重更新公式:

令初始 ω (i)=0 , 經(jīng)過i 次迭代以后, 給自適應(yīng)濾波器一個新的輸入 u (n) 可以得出濾波器的輸出信號, 本文算法選用的核函數(shù)為高斯核κ(u,u′)=exp(?h‖u ?u′‖2), h 為高斯核的核寬.高斯核類似于一個徑向基函數(shù), 可以無限逼近于任一條曲線.本文算法與一般的核自適應(yīng)濾波算法類似, 不同的是引入了一個Softplus 函數(shù)使算法的收斂速度、抗沖激干擾能力進(jìn)一步增強(qiáng).

3.2 算法收斂性能分析

本節(jié)主要解析描述所提出的SP-KFLP 算法的收斂性能, 首先推導(dǎo)了該算法的能量守恒關(guān)系然后給出了均方收斂的一個充分條件.一個非線性回歸系統(tǒng)為

其中誤差為

將(9)式代入(10)式,得到e (i)=ea(i)+v(i),其中 ea(i)=?(i ?1)Tφ(i)為先驗誤差,?(i?1)是權(quán)重估計偏差，ωo(i)為最優(yōu)權(quán)重也就是非線性系統(tǒng)的沖激響應(yīng).將(7)式兩邊同時減去 wo(i) 得到:

定義一個后驗誤差 ep(i)= ?(i)Tφ(i) , 將(11)式代入得到后驗誤差的表達(dá)式為

根據(jù)(11)式和(12)式中的相等關(guān)系

得到關(guān)于 ? 的表達(dá)式

對(14)式兩邊利用 L2范數(shù)平方, 以及能量守恒關(guān)系可以得到:

(15)式為本文算法的能量守恒關(guān)系式, 將(12)式代入(15)式得到如下表達(dá)式:

對(16)式求期望, 即

即

通過(19)式得到SP-KFLP 算法的收斂性能在理論上滿足的充分條件為

由于式子難以計算, 通常以實驗仿真為準(zhǔn).

4 算法仿真

為了進(jìn)一步說明所提算法在非線性系統(tǒng)應(yīng)用中的有效性, 將SP-KFLP 算法與KFLP, KLMS,KMCC 和S-KFLP 算法的學(xué)習(xí)曲線進(jìn)行比較, 以驗證本文算法在收斂速度和抗沖激干擾下的優(yōu)越性能.在以下的所有實驗中將初始權(quán)重向量 ω0均設(shè)置為0 向量, 令步長 μ =0.5.因為一般地, 對自適應(yīng)濾波算法而言步長越接近于1 收斂速度會越快, 但同時其穩(wěn)定性必然也會變差, 而實驗發(fā)現(xiàn)本文算法步長選擇0.5 是非常理想的值, 因此以下的仿真中SP-KFLP 算法步長為0.5, 所有實驗性能曲線由歸一化均方誤(normolized mean square error, NMSE)準(zhǔn)則得出.本文實驗仿真條件是基于一個由線性模型與非線性模型組合而成的非線性系統(tǒng), 其中線性模型為 H (z)=1+0.2z?1, 非線性模型為 f (n)=x(n)?0.6x2(n) , 因此該非線性系統(tǒng)的期望輸出為 d (n)=x(n)?0.6x2(n)+v(n) , 其中 v (n) 為額外誤差, 本文采用高斯白噪聲與沖激噪聲組合的噪聲環(huán)境.一般的沖激噪聲可以被表示為伯努利-高斯過程[21], 由 q (n)=a(n)c(n) 表示, 其中c(n) 是一個伯努利過程且成功的概率為 pq, a (n) 是一個0 均值的高斯白噪聲過程, 且設(shè)定高斯核函數(shù)的核寬參數(shù) h =0.2.

4.1 誤差低次冪p 對SP-KFLP 算法性能影響

為了獲得合適的p 值, 首先考察不同的p 值對SP-KFLP 算法性能的影響, 實驗假設(shè)存在非高斯沖激噪聲干擾, 令 pq=0.01.p 分別取0.9, 0.8,0.7, 0.6 時SP-KFLP 算法的歸一化學(xué)習(xí)曲線如圖2 所示.

從圖2 可以看出, 本文算法隨著p 值趨近于1 穩(wěn)定性能越來越好, 當(dāng)然偏離1 時收斂性能也隨之下降, 因為p 值是基于分式低次冪準(zhǔn)則而出現(xiàn),它本身取值是小于1 的數(shù), 只兼顧了算法的穩(wěn)定性, 而且 p =0.6 的時候算法已經(jīng)相對很不穩(wěn)定了.因此, 本文將0.9 作為理想的p 值, 這在一定程度上減小了收斂速度過慢的問題, 以下的所有仿真實驗中p 值都為0.9.

4.2 Softplus 函數(shù)的陡度參數(shù) α 對SP-KFLP算法性能影響

為了找到合適的陡度參數(shù) α 進(jìn)而使得算法性能更優(yōu), 本文在非高斯沖激干擾下(pq=0.03), 令α值分別取1.0, 0.8, 0.5, 0.1 時對比了算法的歸一化均方誤差性能曲線, 如圖3 所示.

從圖3 可知, α 取值越大算法的收斂速度越快、穩(wěn)定性越好, 所以文中所有實驗中 α 值均取1.由于代價函數(shù)采用誤差的低次冪, 需要一個新的參數(shù)來改變算法的收斂性能, 而本文算法采用Softplus函數(shù)的陡度參數(shù)來實現(xiàn)這一改變, 保證了算法具有較快的收斂速度.

4.3 本文算法與其他算法性能比較

將本文算法SP-KFLP 與傳統(tǒng)KLMS, KMCC,KFLP 和S-KFLP 算法用于未知系統(tǒng)的追蹤, 并就收斂性和抗沖激干擾性能進(jìn)行如下比較.

1) 5 種算法在高斯分布噪聲下的性能對比.實驗中假設(shè)加性高斯白噪聲的均值為0、方差為0.02,5 種算法的NMSE 曲線如圖4 所示.從圖4 可以看出, 在高斯噪聲環(huán)境下本文算法與KFLP, SKFLP 算法均可以達(dá)到良好的收斂效果, 但本文的SP-KFLP 算法收斂速度比其他幾種算法的快,說明本文算法具有更優(yōu)的收斂性能.

2) 在非高斯沖激噪聲中的性能比較.實驗中假設(shè)存在3%的沖激噪聲, 即 pq=0.03.為提高KLMS 算法穩(wěn)定性, 參數(shù) μ 選擇為0.1, 其他同上面實驗中參數(shù)的選擇, 實驗結(jié)果如圖5 所示.從圖5可以看出, 本文的SP-KFLP 和KFLP, S-KFLP算法均具有很強(qiáng)的脈沖噪聲抑制能力, 但KLMS算法的脈沖噪聲抑制能力比較差, 而且SP-KFLP算法的收斂速度比KFLP, S-KFLP 算法快.

圖4 KLMS, KMCC, KFLP, S-FKLP 和 本 文SP-KFLP算法的比較Fig.4.Comparison of KLMS, KMCC, KFLP, S-FKLP and SP-KFLP algorithms in this paper.

圖5 非高斯干擾下的KFLP, KLMS, S-KFLP 與SP-KFLP算法比較Fig.5.Comparison of KFLP, KLMS, S-KFLP and SPKFLP algorithms under non-Gaussian interference.

圖6 在第600 次迭代過程中加入沖激噪聲時各算法性能對比Fig.6.Performance comparison of algorithms when impulsive noise is added in the 600th iteration.

3) 在高斯白噪聲環(huán)境(即 pq=0), 且在第600 次迭代時產(chǎn)生一個沖激噪聲的情況下本文的SP-KFLP 和其他算法的性能對比如圖6 所示.從圖6 中可以發(fā)現(xiàn), KFLP 算法收斂速度是快于KLMS 算法的, 此外在第600 次迭代時產(chǎn)生沖激噪聲, KLMS 算法不具有抗沖激噪聲的性能, 而本文算法相比于其他算法其收斂速度最快, 并且能有效地避免沖激噪聲的干擾.

綜上, SP-KFLP 算法在非高斯和非線性環(huán)境下具有良好的脈沖噪聲抑制能力和較快的收斂速度.

5 結(jié) 論

本文提出了一種非高斯噪聲環(huán)境下基于Softplus函數(shù)的核自適應(yīng)濾波算法, 該算法一方面利用Softplus 函數(shù)的非線性飽和特性來抑制沖激噪聲,另一方面將誤差的倒數(shù)作為權(quán)重向量更新公式的系數(shù), 保證了在誤差突然增大時該系數(shù)取值很小,進(jìn)而利用權(quán)重向量不更新的方法來抵制沖激噪聲.仿真結(jié)果表明所提算法提高了抗脈沖干擾能力的同時加快了彩色輸入信號的收斂速度, 也就是很好地兼顧了收斂速度和跟蹤性能穩(wěn)定誤差的矛盾, 并且在高斯噪聲下的性能也優(yōu)于傳統(tǒng)的核自適應(yīng)算法.