一種變尺度S型核分式低次冪自適應(yīng)濾波算法*

火元蓮 王丹鳳 龍小強(qiáng) 連培君 齊永鋒

1) (西北師范大學(xué)物理與電子工程學(xué)院, 蘭州 730000)

2) (西北師范大學(xué)計算機(jī)科學(xué)與工程學(xué)院, 蘭州 730000)

為了進(jìn)一步提高非線性自適應(yīng)濾波算法在非高斯沖激噪聲以及有色噪聲環(huán)境下的魯棒性, 提出了一種基于S型函數(shù)的變尺度核分式低次冪自適應(yīng)濾波算法, 該算法利用S型函數(shù)的非線性飽和特性和低階范數(shù)準(zhǔn)則來克服訓(xùn)練數(shù)據(jù)被非高斯沖激噪聲破壞時性能下降的問題, 并將S型函數(shù)與核分式低次冪算法的代價函數(shù)相結(jié)合后, 通過引入的變尺度因子來平衡和進(jìn)一步提高算法的收斂速度與穩(wěn)態(tài)誤差性能.仿真結(jié)果表明在不同噪聲環(huán)境的系統(tǒng)識別中, 所提算法相比其他核自適應(yīng)濾波算法的性能更優(yōu).

1 引 言

自適應(yīng)濾波[1]在自適應(yīng)控制、回聲消除、系統(tǒng)識別、信道均衡等領(lǐng)域有著重要作用, 也是近幾十年大量研究的熱點(diǎn).科學(xué)研究是為了更好地認(rèn)識客觀世界, 而客觀世界中各種物理量變化的表達(dá)概念就是波、信號等, 例如: 混沌是在相對論和量子力學(xué)之后的第三次關(guān)于物理基礎(chǔ)科學(xué)的革命, 其代表非線性動力學(xué)研究, 自適應(yīng)濾波技術(shù)在混沌系統(tǒng)識別[2]中應(yīng)用而生.柴金華和陳飛[3]研究了一種準(zhǔn)平行光干涉濾波型相控技術(shù), 利用濾波相關(guān)知識來解決相位差矯正問題.機(jī)器學(xué)習(xí)的發(fā)展也進(jìn)一步推進(jìn)了自適應(yīng)濾波算法的研究, 其利用參數(shù)的自適應(yīng)調(diào)整使得學(xué)習(xí)過程更加精確以及靈活.事實上, 傳統(tǒng)的自適應(yīng)濾波算法通常被理解為一個線性結(jié)構(gòu),例如廣受歡迎的最小化均方誤差[4]算法和歸一化最小均方誤差[5]算法.然而實際應(yīng)用中空間環(huán)境是不確定的, 這一定程度上限制了傳統(tǒng)濾波算法的性能.為了有效解決算法的適用性問題, 選擇合適的代價函數(shù)也就成為自適應(yīng)濾波算法設(shè)計的關(guān)鍵.它可以發(fā)現(xiàn)受非高斯噪聲以及有色噪聲污染的數(shù)據(jù)系統(tǒng)的期望結(jié)構(gòu).基于二階統(tǒng)計量的均方誤差(mean squared error, MSE)準(zhǔn)則因其低計算復(fù)雜度和凸性被廣泛用作代價函數(shù), 然而這種準(zhǔn)則下的自適應(yīng)濾波算法僅僅適用于高斯噪聲環(huán)境.非高斯噪聲背景下的信號檢測, 通常的做法是先對接收信號進(jìn)行非線性處理, 以抑制接收信號中的大幅值樣本, 然后再進(jìn)行匹配濾波處理[6].因此一旦環(huán)境發(fā)生改變, 基于MSE準(zhǔn)則的自適應(yīng)濾波算法性能將嚴(yán)重下降, 而且實際應(yīng)用中大部分為非高斯環(huán)境,其中包括沖激和有色噪聲信號.基于以上分析, 為解決基于均方誤差準(zhǔn)則算法存在的問題, 在過去的十幾年里大量的魯棒性估計模型被提出[7-12], 如基于梯度的最小平均四階[11]算法、遞歸最小p范數(shù)[13]算法和最小平均p功率[14]算法等.然而到目前為止, 以上提及的魯棒性自適應(yīng)濾波算法仍為線性自適應(yīng)濾波算法, 這些自適應(yīng)濾波算法的應(yīng)用仍然主要集中在線性參數(shù)濾波器上, 當(dāng)面對像非線性系統(tǒng)識別[15]和非線性時間序列預(yù)測[16]等實際的非線性問題時此類線性自適應(yīng)濾波算法性能出現(xiàn)嚴(yán)重下降.

針對該問題, 核方法因其具有凸性且較強(qiáng)的非線性建模能力被關(guān)注[17], 例如像支持向量機(jī)、高斯過程以及正則化網(wǎng)絡(luò)等[18].近年來核自適應(yīng)濾波算法(kernel adaptive filtering, KAF)作為一種高效的在線學(xué)習(xí)算法被廣泛研究, 簡單來說KAF是線性濾波在希爾伯特空間的實現(xiàn), 其將非線性問題在輸入空間中作為空間變換的凸優(yōu)化問題解決.傳統(tǒng)的自適應(yīng)濾波算法可被直接內(nèi)核化變?yōu)橄鄳?yīng)的KAF算法, 如核最小均方誤差(kernel least mean square, KLMS) 算法[19]、核仿射投影算法[20]和核遞歸最小二乘算法[21]等.然而這些非線性自適應(yīng)濾波算法也都是在假設(shè)高斯噪聲環(huán)境下產(chǎn)生的, 同樣不具備抗沖激性以及有色噪聲環(huán)境下的魯棒性.α穩(wěn)定分布是一種典型的非高斯分布噪聲, 具有顯著的尖峰脈沖特性, 其概率密度函數(shù)的衰減過程比高斯分布慢, 表現(xiàn)為較長的拖尾[22], Dai等[23]充分考慮了涉及α穩(wěn)定噪聲分布的長尾分布噪聲環(huán)境,提出了核仿射投影p范數(shù)(kernel affine projection p-norm, KAPP)算法, 該算法代價函數(shù)為誤差絕對值的p次冪, 當(dāng)p = 2時算法變?yōu)镵AP算法,當(dāng)p = 1時算法變?yōu)楹俗钚∑骄鵳功率(kernel least mean square p-power, KLMP)算法[24].文獻(xiàn)[24]提出的KLMP算法, 主要研究在低概率大幅度的非高斯重尾沖激噪聲環(huán)境中核自適應(yīng)濾波算法的性能.之后Dong等[25]在KLMP算法的啟發(fā)下, 提出了基于分?jǐn)?shù)低階統(tǒng)計誤差準(zhǔn)則的抗沖激噪聲核分式低次冪自適應(yīng)濾波(kernel fractional lower power, KFLP)算法, 然而低階統(tǒng)計量最大的缺點(diǎn)是相比于KLMS算法, 其收斂速度嚴(yán)重下降.

為了進(jìn)一步提高非線性自適應(yīng)濾波算法在非高斯噪聲以及有色噪聲環(huán)境下的魯棒性, 在文獻(xiàn)[26]的啟發(fā)下, 本文構(gòu)造了一種新的代價函數(shù)框架.將核分式低次冪算法的代價函數(shù)與Sigmoid函數(shù)框架相結(jié)合, 并且加入一個比例因子λ, 將該比例因子作為低次冪誤差的調(diào)節(jié)量使算法能夠兼顧收斂速度與穩(wěn)態(tài)誤差性能.同時考慮到合適的比例因子對算法性能的影響, 提出了基于S型函數(shù)的變尺度核分式低次冪自適應(yīng)濾波(variable scaling factor sigmoid kernel fractional lower power adaptive filtering algorithm, VS-SKFLP)算法來進(jìn)一步提高了算法的收斂速度與穩(wěn)態(tài)誤差, 并討論分析了算法的穩(wěn)定性能.由于S型函數(shù)的非線性飽和特性可以平滑掉脈沖干擾引起的擾動, 再結(jié)合含有比例因子的低階統(tǒng)計量使所提算法具有良好的性能, 在非線性系統(tǒng)識別和不同有色噪聲環(huán)境下的仿真結(jié)果表明, 本文算法比核最大相關(guān)熵算法(kernel maximum correntropy criterion, KMCC)、KLMS算法、和KFLP等其他核自適應(yīng)算法的性能更優(yōu).

2 VS-SKFLP算法原理

假定存在一非線性系統(tǒng)識別問題, 該未知系統(tǒng)必然存在被噪聲干擾的數(shù)據(jù), 其中噪聲干擾包括非高斯沖激噪聲和有色噪聲.在這種情況下利用誤差信號高階統(tǒng)計量的核自適應(yīng)濾波算法會遭受性能下降, 因此本文提出一種新的魯棒性代價函數(shù)框架.首先定義一個Sigmoid函數(shù)模型:

式中, J (e(i)) 是一個核自適應(yīng)濾波算法的代價函數(shù), 它是關(guān)于誤差的函數(shù).從(1)式可以看出當(dāng)算法的誤差值接近于0時該代價函數(shù) Si的值達(dá)到最小值; 當(dāng)算法遭遇非高斯沖激噪聲干擾時, 誤差突然劇增使代價函數(shù) Si的值接近于1, 這表明該函數(shù)模型與一般自適應(yīng)濾波算法代價函數(shù)結(jié)構(gòu)特性一致.據(jù)此, 基于該函數(shù)模型框架再利用低階誤差準(zhǔn)則來推導(dǎo)本文算法, 首先定義一個代價函數(shù)形式:

由(2)式可以看出, 接下來本文算法的關(guān)鍵是將J(e(i))的表達(dá)式推導(dǎo)出來.給定一個以輸入向量u為中心的Mercer[24]核 κ (u,·) 作為再生核, 通常使用的再生核包括多項式核和高斯核, 因為高斯核具有類似于徑向基網(wǎng)絡(luò)的無限逼近性, 所以本文算法采用高斯核作為再生核, 其定義為κ(u,u′)=exp(-h‖u-u′‖2).利用核方法將輸入信號通過再生核變換到高維空間, 并且根據(jù)Mercer定理任意再生核可以擴(kuò)展為

u=[u(n),u(n-1),···,u(n-L+1)]T

因此, 輸入向量通過非線性映射φ從輸入空間U變到希爾伯特空間, 得到映射后的信號φ(u)=[φ(u(n)),φ(u(n-1)),···,φ(u(n-L+1))]T, 根據(jù)(3)式得到φ(u(n))Tφ(u(n)′)=κ(u,u′) , 為方便表達(dá)令 φ (u(n))=φ(i).基于文獻(xiàn)[25]的代價函數(shù):

其中 d (i) 為期望信號, w (i) 為濾波器權(quán)重, p為代價函數(shù)的冪次, 將(4)式代入(2)式, 就得到了本文算法的代價函數(shù)為

將代價函數(shù)對權(quán)重向量w求導(dǎo):

根據(jù)負(fù)隨機(jī)梯度下降法更新濾波器權(quán)重向量得到本文算法的權(quán)重更新公式為

注意到映射φ是一個隱藏函數(shù), 只在算法迭代中體現(xiàn), μ是算法的步長因子.

因采用低階統(tǒng)計誤差準(zhǔn)則使算法收斂性降低,為了進(jìn)一步提高算法的收斂性, 對SKFLP算法再進(jìn)行改進(jìn).考慮到利用Sigmoid函數(shù)的非線性飽和特性和低階統(tǒng)計誤差可以提高算法的魯棒性, 那么也可以通過調(diào)整Sigmoid函數(shù)的陡度來提高算法的收斂性.基于此思想在(5)式中引入一個尺度因子 λ ＞0 , 該尺度因子用來控制 Si的陡峭程度, 那么(5)式變?yōu)?/p>

圖1 不同代價函數(shù)曲線Fig.1.Different cost function curves.

圖2 不同λ值對代價函數(shù)的影響Fig.2.Effect of different λ values on the cost function.

根據(jù)以上分析知變尺度因子類似于變步長策略, 保證算法的收斂性能以及穩(wěn)態(tài)誤差能夠同時提升.因此引入一種類似于文獻(xiàn)[27]中變步長方法的變尺度因子策略, 來代替尺度因子的手動設(shè)置.可得

其中 0 ＜β＜1 , γ ＞0 , β和γ是共同調(diào)節(jié) λ (i) 的常數(shù).將變尺度因子表達(dá)式代入(10)式便得到了VSSKFLP算法的權(quán)重更新公式:

為了說明參數(shù)β和γ對算法性能的影響以及后續(xù)仿真中的取值原則, 圖3(a)和圖3(b)所示為在固定 γ =0.001 、改變β以及固定 β =0.1 、改變γ的情況下VS-SKFLP算法學(xué)習(xí)曲線.從圖3(a)可以觀察到以下情況: 當(dāng) β =0.1 時, 相比于更小的β取值具有較快的收斂速度, 而相比于更大的β取值具有更低的穩(wěn)態(tài)誤差.從圖3(b)可以看出,并非所有取值都能達(dá)到好的學(xué)習(xí)效果, 當(dāng)γ取值太大時會使收斂速度過慢, 而取值太小時性能極其不穩(wěn)定, 只有當(dāng) γ =0.001 時算法性能達(dá)到最優(yōu).所以在本文中取 β =0.1 , γ =0.001.

圖3 不同參數(shù)β, γ下VS-SKFLP算法的學(xué)習(xí)曲線 (a) β取不同值; (b) γ取不同值Fig.3.Learning curves of VS-SKFLP algorithm with different parameters of β (a) and γ (b).

3 VS-SKFLP算法的性能分析

利用能量守恒關(guān)系, 來分析評價算法的收斂性能.假設(shè)存在一非線性系統(tǒng)模型:

其中 wo表示該未知非線性系統(tǒng)的沖激響應(yīng), v (i) 為干擾噪聲.那么算法的輸出誤差可以表示為

將(13)式代入(14)式, 即:

其 中 ea(i) 為先 驗 誤差, w ?(i-1)=wo-w(i-1) 為權(quán)重偏差.將(10)式兩邊同時減去 wo得到偏差的迭代表達(dá)式:

利用相等關(guān)系:

得到:

對(18)式兩邊二范數(shù)平方求期望得到能量關(guān)系:

解得

為了保證μ ＞ 0, 則存在

因此算法收斂的理論充分條件由(22)式確定.但在實際應(yīng)用中由于計算復(fù)雜, 一般以仿真值為準(zhǔn).

4 模擬仿真與結(jié)果分析

為了驗證本文所提VS-SKFLP算法的優(yōu)良性能, 將其與KFLP, KLMS, KMCC算法等其他核自適應(yīng)濾波算法在被非高斯噪聲干擾的非線性系統(tǒng)識別環(huán)境下進(jìn)行比較.實驗仿真條件為: 給定一個n時刻隨機(jī)輸入序列 { u(1),u(2),···,u(N)} , 該組數(shù)據(jù)經(jīng)過由線性模型和非線性模型組合而成的非線性系統(tǒng), 并被非線性信道噪聲干擾, 其中線性模型為 H (z)=1+0.2z-1, 輸出為x(n)=u(n)+0.2u(n-1) , 非線性模型為 g (n)=x(n)-0.6x(n)2,因此該非線性系統(tǒng)的期望輸出模型為d(n)=x(n)-0.6x(n)2+v(n) , 其中 v (n) 為額外噪聲.本文采用非高斯噪聲干擾和有色噪聲干擾兩種不同的額外噪聲來對算法進(jìn)行分析, 其中非高斯噪聲采用高斯噪聲與沖激噪聲相結(jié)合的形式產(chǎn)生.一般的沖激噪聲可以被表示為伯努利-高斯過程[24], 由q(n)=a(n)c(n) 表 示, c (n) 是一個伯努利過程,a(n)是一個零均值的高斯白噪聲過程, 且設(shè)定高斯核函數(shù)的核寬參數(shù) h =0.2.歸一化均方誤差性能曲線被用來評價算法性能, 為了使各算法在最理想的情況下進(jìn)行比較, 給出了不同算法的參數(shù)選擇, 如表1所列, 且各參數(shù)的選擇都是經(jīng)過交叉驗證所得.

表1 各算法參數(shù)設(shè)置Table 1.Parameter setting of each algorithm.

4.1 本文算法與其他核自適應(yīng)濾波算法性能比較

將本文算法VS-SKFLP與對比算法用于未知系統(tǒng)的追蹤, 并就收斂性和抗沖激干擾性能進(jìn)行如下比較.

1)在高斯分布噪聲下的性能對比.將本文算法VS-SKFLP與傳統(tǒng)的KLMS, KMCC, KFLP,SP-KFLP算法在高斯噪聲環(huán)境下進(jìn)行比較.實驗中假設(shè)加性高斯白噪聲(AWGN)的均值為0、方差為0.02, 五種算法的NMSE曲線如圖4所示.從圖4可以看出, 在高斯噪聲環(huán)境下, 除KMCC算法外本文算法與其他算法均可以達(dá)到良好的收斂效果, 但本文VS-SKFLP算法的收斂速度比其他幾種算法快, 說明本文算法具有更優(yōu)的收斂性能.

圖4 高斯噪聲環(huán)境下五種算法的性能比較Fig.4.Performance comparison of five algorithms in Gaussian noise environment.

2)在非高斯沖激噪聲中的性能比較.將本文的VS-SKFLP與KFLP, SP-KFLP共三種算法在非高斯沖激噪聲環(huán)境下進(jìn)行比較.實驗中假設(shè)存在3%的沖激噪聲, 即 pq=0.03.其他參數(shù)同上面實驗的選擇, 實驗結(jié)果如圖5所示.從圖5可以看出,KLMS算法的脈沖噪聲抑制能力相對較差, 而本文算法和KFLP算法均具有很強(qiáng)的脈沖噪聲抑制能力, 但本文VS-SKFLP算法的收斂速度比KFLP算法快.

3)高斯白噪聲環(huán)境(即 pq=0 )且在第600次迭代時產(chǎn)生一個沖激噪聲的情況下, 本文的VSSKFLP算法和其他兩種算法SP-KFLP, KFLP的性能對比.參數(shù)選擇同上面實驗, 結(jié)果如圖6所示.從圖6不難看出, 收斂性能基本和圖5的結(jié)論一致, 另外當(dāng)沖激噪聲產(chǎn)生時, KLMS算法不具有抗沖激噪聲的性能, 而本文算法相比于其他算法收斂速度最快, 并且能有效避免沖激噪聲干擾.

圖5 非高斯干擾下的KFLP, KLMS與VS-SKFLP算法性能比較Fig.5.Performance comparison of KFLP, KLMS and VSSKFLP algorithms under non-Gaussian interference.

圖6 在第600次迭代過程中加入沖激噪聲時各算法性能對比Fig.6.Performance comparison of various algorithms when impulse noise is added during the 600th iteration.

4.2 不同有色噪聲環(huán)境下算法性能比較

為進(jìn)一步驗證本文算法的魯棒性, 給出了非線性系統(tǒng)被不同有色噪聲干擾下的VS-SKFLP算法的追蹤性能.所謂有色噪聲是指序列沒有一個時刻是不相關(guān)的, 與高斯白噪聲相比其幅度譜基本一致, 即幅度大小表現(xiàn)相同但頻譜卻相差較大.如圖7為常見的幾種有色噪聲, 其中包括紅噪聲、藍(lán)噪聲、粉噪聲和Violet噪聲, 將這四種有色噪聲作為系統(tǒng)的額外噪聲 v (n) 對算法進(jìn)行驗證, 結(jié)果如圖8所示.

圖7 幾種常見的有色噪聲Fig.7.Several common colored noises.

圖8 不同有色噪聲環(huán)境下算法性能比較Fig.8.Performance comparison of algorithms in different colored noise environments.

從圖8可以看出, 本文算法對紅噪聲和Violet噪聲具有一定的魯棒性, 這表明本文算法在一定程度上是可以抵制有色噪聲的.但是當(dāng)噪聲為藍(lán)噪聲和粉噪聲時算法性能嚴(yán)重下降, 后續(xù)工作有待進(jìn)一步的改進(jìn).

5 結(jié) 論

基于低階統(tǒng)計準(zhǔn)則和Sigmoid函數(shù)的非線性飽和特性, 本文通過將核分式低次冪算法的代價函數(shù)嵌入S型函數(shù)來構(gòu)造了一種新的代價函數(shù)框架,并通過引入的變尺度因子, 進(jìn)一步有效地提高了核自適應(yīng)濾波算法在非高斯環(huán)境下的非線性系統(tǒng)追蹤性能.仿真結(jié)果表明, 與KLMS, KMCC, KFLP,SP-KFLP等其他核自適應(yīng)算法相比, 本文算法不論是在非高斯沖激噪聲下還是有色噪聲干擾下都具有良好的收斂性能和低穩(wěn)態(tài)誤差, 并且在有色噪聲環(huán)境下具有一定的魯棒性.當(dāng)然對于算法在粉噪聲和藍(lán)噪聲環(huán)境下性能下降的問題, 有待進(jìn)一步的研究與改進(jìn).