基于Sigmoid框架的非負最小均方算法

樊寬剛 邱海云

(江西理工大學(xué) 贛州 341000)

1 引言

自適應(yīng)算法廣泛應(yīng)用于自適應(yīng)控制、去噪、信道均衡和系統(tǒng)識別，其中應(yīng)用最為頻繁的是最小均方(Least Mean Square, LMS)和歸一化LMS[1]。然而在收斂速度和計算精度上，這兩種算法仍存在一些缺陷。為提高算法的性能，偏差補償[2–4]的概念引進了自適應(yīng)算法的數(shù)學(xué)模型，這一概念同時考慮輸入和輸出噪聲的影響，根據(jù)無偏準則來補償輸入噪聲引起的偏差，提高算法的收斂速率和計算精度。近年來，為更好地解決時間序列在線預(yù)測問題，核自適應(yīng)算法[5–8]概念也被提出，通過核函數(shù)將輸入數(shù)據(jù)映射到再生核希爾伯特空間(Reproducing Kernel Hilbert Space, RKHS)，進而將非線性問題轉(zhuǎn)換為線性問題進行分析，對于時間序列在線預(yù)測的應(yīng)用，自適應(yīng)算法的性能得到很大的改善。

在實際應(yīng)用中，由于系統(tǒng)內(nèi)在特性，需要在傳統(tǒng)數(shù)學(xué)模型上添加一些約束，其中非負約束問題[9,10]是近幾十年研究的一個熱點，研究最為廣泛的是非負最小均方[11](NonNegative Least Mean Square,NNLMS)。為了進一步提高NNLMS算法性能，以NNLMS為基礎(chǔ)的系列變體算法[12]被提出，對應(yīng)的算法性能分析也在相應(yīng)的論文中進行[13]。雖然上述的NNLMS類算法在大多數(shù)噪聲環(huán)境下有著良好的性能，但是性能分析和實驗仿真發(fā)現(xiàn)這些算法存在收斂不均衡和大系數(shù)迭代擴散兩大問題，為此加權(quán)非負最小均方(reweighted nonnegative least mean square)[14]和對數(shù)加權(quán)非負最小均方(Logarithmic Reweighting NonNegative Least Mean Square,LR-NNLMS)[15]被提出，這兩類算法有效地解決了在稀疏系統(tǒng)下收斂不均衡和大系數(shù)迭代擴散的問題。雖然上述的算法對于稀疏系統(tǒng)識別問題有著較好的性能，但是仍然未解決脈沖測量噪聲導(dǎo)致的算法失調(diào)問題。針對脈沖噪聲環(huán)境的解決方案有將廣義最大熵準則應(yīng)用在自適應(yīng)濾波而提出的GMCC算法[16]、使用步長縮放器(step-size scaler)的歸一化LMS[17,18]、Sigmoid類算法[19]和使用廣義對數(shù)代價函數(shù)導(dǎo)出的魯棒最小對數(shù)均方(Robust Least Mean Logarithmic Square, RLMLS)[20]等。上述的方法很好地解決了脈沖噪聲存在而引起的失調(diào)問題，但對于在非負約束下脈沖噪聲存在而引起的失調(diào)問題未得到解決。

根據(jù)以上分析，本文將以在脈沖噪聲環(huán)境下非負最小均方算法穩(wěn)定性問題為研究重點。將傳統(tǒng)非負代價函數(shù)嵌入Sigmoid框架得到新的代價函數(shù)能夠有效抑制脈沖噪聲影響，進而根據(jù)新的代價函數(shù)導(dǎo)出SNNLMS算法。此外，為了增強SNNLMS算法魯棒性，改進算法在稀疏系統(tǒng)識別問題上的缺陷，本文還提出了基于反比例函數(shù)的IP-SNNLMS算法。

2 Sigmoid框架的非負最小均方算法

2.1 Sigmoid框架

脈沖噪聲是較為常見的一種噪聲，表現(xiàn)特性是持續(xù)時間短但幅值大，所以當脈沖噪聲存在時，將造成大的估算誤差，進而破壞算法的穩(wěn)定性使其性能嚴重下降。本文利用Sigmoid函數(shù)[21]構(gòu)架特性抑制脈沖噪聲引起的大估算誤差，在非負約束下將代價函數(shù)嵌入Sigmoid構(gòu)架導(dǎo)出一種新的算法。

Sigmoid函數(shù)通用的表達式如(1)所示

其中，Sigmoid函數(shù)滿足d [S(x)]=S(x)(1 ?S(x))，易于求導(dǎo)。

根據(jù)文獻[11]可知，非負最小均方算法數(shù)學(xué)模型表示為

將式(2)中代價函數(shù)J (w)嵌入Sigmoid框架得到新的代價函數(shù)JSk(w)

式中， β為一正實數(shù)，用于控制代價函數(shù)閾值，是調(diào)整抑制噪聲效果的重要參數(shù)。下面給出兩種代價函數(shù)的曲線圖形，針對不同參數(shù)的函數(shù)曲線如圖1、圖2所示。

在圖1、圖2中，當估算誤差超過一定值時，代價函數(shù) JSk(w)梯度幾乎為零，通過圖2很明顯地能夠觀察到JSk(w)的取值為有限值。不同于圖1中的JSk(w)函 數(shù)曲線，JSk(w)值 不會隨著估算誤差ek無限增長。說明當存在大估算誤差時，代價函數(shù)的梯度將趨近于零，進而算法的穩(wěn)定性不會遭到破壞而導(dǎo)致失調(diào)。

取式(3)中JSk(w)表達式的偏導(dǎo)，偏導(dǎo)表達式為

圖1 代價函數(shù)J (w)的曲線

圖2 不同參數(shù)下代價函數(shù)J Sk(w)的曲線

式(4)分 為 Sk(1 ?Sk) 項 和?wJ(w)項，其 中?wJ(w)項為NNLMS算法中的代價函數(shù)偏導(dǎo)。當估算誤差 ek趨近于0時，Sk(1 ?Sk)項近似等于0.25。此時 ?wJSk(w) 與?wJ(w)近 似呈 線 性關(guān) 系，即Sigmoid構(gòu)架的代價函數(shù)在非脈沖噪聲環(huán)境下，導(dǎo)出的新算法仍然有NNLMS算法的良好性能。

2.2 Sigmoid非負最小均方算法(SNNLMS)

本文考慮輸入輸出具有以下線性模型特征的未知系統(tǒng)，算法信號模型表示為

其中，dk是 系統(tǒng)的輸出信號，nk表 示干擾噪聲。xk=[xn,xn?1,···,xn?L+1]為 系統(tǒng)的輸入信號，w0=[w1,w2,···,wL] 為 系統(tǒng)參數(shù)向量， L代表系統(tǒng)階數(shù)。其中，輸入信號xk和 輸出信號dk為已知數(shù)據(jù)。估算誤差ek表達式為

式中，w (k)代 表第k 次迭代后得到的對w0的估算向量，估算誤差 ek是用于衡量估算向量與系統(tǒng)參數(shù)向量之間偏差。聯(lián)合式(2)和式(3)即可得到SNNLMS算法模型，算法的數(shù)學(xué)模型為

文獻[11]中提出式(7)這類不等式優(yōu)化問題的解決方案，主要是通過使用KKT (Karush-Kuhn-Tucker)條件和不動點迭代算法(fixed-point iteration algorithm)得到優(yōu)化的迭代算法表達式。根據(jù)不等式數(shù)學(xué)模型式(7)得到迭代算法表達式為

其中，等式中 fj(w(k))項 是一個關(guān)于w (k)的隨機函數(shù)，且滿足fj(w(k))>0。 μ 為步長，是用于調(diào)節(jié)算法收斂速度和估算精度的正實數(shù)。由式(2)和式(6)可知傳統(tǒng)代價函數(shù)J (w)偏 導(dǎo)表示為?wJ(w)=?2xkek，將?wJ(w)代 入式(4)得到代價函數(shù)?wJSk(w)偏導(dǎo)為

用式(9)中的偏導(dǎo)等式取代迭代等式(8)中的偏導(dǎo)項，然后將得到的迭代等式寫成向量的形式，此時迭代式(8)將變成

式中， Dw(k)是 對角線上元素為w (k)的對角矩陣。由上述可知 f (w(k))是 一個關(guān)于w (k)的隨機函數(shù)向量，令函數(shù)fj(w(k))=0.5代入式(10)，整理迭代等式，即可得到SNNLMS算法表達式為

2.3 反比例Sigmoid非負最小均方算法(IP-SNNLMS)

通過2.2節(jié)中SNNLMS算法的數(shù)學(xué)模型的建立，導(dǎo)出的算法具備抑制脈沖噪聲影響的能力。由于算法迭代式(11)右邊第2項中w (k)的存在，SNNLMS算法迭代的收斂速率及算法穩(wěn)定性將會受到w (k)和系統(tǒng)參數(shù)向量的影響。如果系統(tǒng)參數(shù)向量 w0中存在零或極小值系數(shù)，則當算法迭代的估算誤差偏小時，受w (k)值的影響收斂速度會減慢甚至停滯，進而影響穩(wěn)態(tài)時的估算精度。如果系統(tǒng)參數(shù)向量w0中 的系數(shù)是較為分散的值，則步長μ 的選擇和迭代向量初始值的選擇都會受到影響。為了解決上述的這些問題，提高SNNLMS算法的魯棒性。本文引入了關(guān)于 w (k)的 反比例函數(shù)fj(w(k))，反比例函數(shù)的表達式為

其中 γ為一小正實數(shù)，為了保證函數(shù)分母不為零。用式(12)中的反比例函數(shù)取代式(10)中的f(w(k))項，則式(10)變?yōu)?/p>

下面通過曲線來比較2.2節(jié)模型中的gj(w(k))=wj(k)項 與本小節(jié)gj(w(k))項的函數(shù)特性，曲線圖形如圖3所示。

如圖3所示，SNNLMS算法中的 gj(w(k))項與wj(k)是 線性關(guān)系，所以無法抑制w (k)函數(shù)項對算法迭代的影響。圖3顯示，由反比例函數(shù)生成的gj(w(k))項 受w (k)值 影響幾乎可以忽略，當wj(k)到達一定值時gj(w(k))將近似等于1，此時迭代等式中w(k)函數(shù)項不會對算法迭代的收斂速率和估算精度造成明顯的影響。

整理上述的迭代式(13)，即可得到IP-SNNLMS算法迭代等式為

通過上述算法推導(dǎo)，IP-SNNLMS算法仍然具備抑制脈沖噪聲影響的能力，同時算法的改進也增強了算法魯棒性，抑制w (k)函數(shù)項對算法迭代收斂的影響。

圖3 不同參數(shù)下兩種算法的g j(w(k))項測試曲線

3 實驗仿真

本節(jié)通過計算機軟件仿真比較各類算法的性能，主要分為兩小節(jié)實驗，其中第3.1節(jié)實驗是仿真各類算法在脈沖噪聲環(huán)境下的性能，為了驗證SNNLMS算法在脈沖噪聲環(huán)境下的穩(wěn)定性。3.2節(jié)實驗是為了比較SNNLMS算法和IP-SNNLMS算法的性能。

3.1 SNNLMS算法在脈沖噪聲環(huán)境下的性能

在本小節(jié)實驗中輸入信號xk為 高斯白噪聲信號，背景噪聲設(shè)定為信噪比SNR=10 dB，系統(tǒng)輸入?yún)?shù)w0=[0.8,0.6,0.5,0.4,0.3,0.2,0.1,0,?0.1,?0.2]，初始的迭代向量選擇從單位均勻分布數(shù)據(jù)中隨機抽取。脈沖噪聲 gk是添加在有背景噪聲的輸出信號yk上 ，gk是 由gk=akuk獲 得，其中ak為P(w =0)=p的二項式分布，uk是 零均值的高斯分布且方差=1000。本小節(jié)實驗是為了研究提出的SNNLMS在脈沖噪聲環(huán)境下的性能，圖4—圖6將顯示SNNLMS,GMCC, SLMS和NNLMS的性能曲線。衡量算法性能是通過計算各個算法在迭代過程中的均方偏差(MSD)，計算公式為

本實驗在保證輸入向量和系統(tǒng)參數(shù)一致的前提下，進行各種算法的性能比較。其中圖4顯示在p=0時各算法的性能，即在非脈沖噪聲下的性能比較。各算法步長和對應(yīng)參數(shù)選擇已在圖例中標注。對于SNNLMS中參數(shù) β的選擇，在上述分析中β =0.1的圖形表現(xiàn)出良好的性能，所以在下面的實驗中設(shè)定SNNLMS中的參數(shù) β =0.1。圖5和圖6分別顯示在p 等于0.1和0.5的脈沖噪聲下的性能比較。

圖4 p =0時4種算法的性能曲線

圖5 p =0.1時4種算法的性能曲線

圖6 p =0.5時4種算法的性能曲線

對比圖4中的各算法曲線，在非脈沖噪聲下SNNLMS依然有著和NNLMS一樣良好的性能，同時這兩種算法在非負約束下有著比GMCC和SLMS更好的估算精度。通過觀察圖5和圖6可以發(fā)現(xiàn)，在脈沖噪聲存在時SNNLMS依然保持著良好的收斂速度和估算精度，而NNLMS在迭代過程中已經(jīng)失調(diào)。實驗結(jié)果說明SNNLMS能夠抑制脈沖噪聲造成的影響，保持非負算法的魯棒性。

3.2 SNNLMS和IP-SNNLMS性能比較

本小節(jié)實驗在稀疏系統(tǒng)下進行兩種算法的性能比較，衡量算法性能的參數(shù)與上述一致，通過計算在迭代過程中的均方偏差(Mean Square Displacement, MSD)。實驗分別在非脈沖噪聲和脈沖噪聲下進行，非脈沖噪聲是指背景噪聲為信噪比SNR=10 dB，脈沖噪聲添加方式和上述一樣且選擇p =0.1。對于IP-SNNLMS中參數(shù)γ 的選擇，在上述圖形分析中 γ =0.01的曲線表現(xiàn)出很好的性能，所以在下面實驗中設(shè)定參數(shù) γ =0.01。稀疏系統(tǒng)參數(shù)向量為

圖7顯示非脈沖噪聲下SNNLMS和IP-SNNLMS的性能比較，圖8為在脈沖噪聲( p =0.1)下兩種算法的性能比較。通過觀察圖7和圖8，很明顯地發(fā)現(xiàn)IP-SNNLMS在兩種噪聲環(huán)境下都有著更好的收斂速度和估算精度。本實驗說明IP-SNNLMS增強了算法在稀疏系統(tǒng)識別問題上的魯棒性，明顯地提高了算法的性能。

圖7 非脈沖噪聲下稀疏系統(tǒng)中兩類算法性能曲線

圖8 脈沖噪聲下稀疏系統(tǒng)中兩類算法性能曲線

3.3 算法容忍性分析和仿真參數(shù)對算法性能影響分析

首先研究不同強度的脈沖噪聲下算法性能，本小節(jié)中分別選擇不同的p 值(0.1, 0.2, 0.4, 0.6, 0.8)進行仿真。仿真實驗參數(shù)設(shè)置和3.1節(jié)實驗一致, 背景噪聲SNR=5 dB。圖9中曲線通過調(diào)節(jié)算法的步長μ使得各曲線收斂速度一致，各曲線其他參數(shù)的設(shè)置保持一致。圖9顯示隨著脈沖噪聲強度增加，SNNLMS算法的收斂精度和速率下降。對于低脈沖噪聲強度(p =0.1, 0.2, 0.4)，算法性能下降不明顯。但是當脈沖噪聲強度過大( p=0.6～0.8)時，將導(dǎo)致有效信號數(shù)據(jù)過少，使得算法精度和收斂速度明顯下降，需要大步長提高算法的收斂速度但將造成算法穩(wěn)定性下降。本小節(jié)所有實驗結(jié)果都通過100次獨立試驗得到。

其次，研究本文提出的SNNLMS算法在不同高斯噪聲強度下的性能。設(shè)置背景噪聲分別為SNR=10, 5, 1, 0, –5 dB, μ =0.028時，各曲線參數(shù)設(shè)置保持一致，脈沖噪聲強度設(shè)置在p=0.2。圖10給出了不同SNR的背景噪聲下算法性能曲線，觀察圖10可知隨著高斯噪聲強度增強算法收斂精度明顯降低，尤其在SNR=–5 dB時收斂精度下降至–15 dB，需要進一步改善輸入信號質(zhì)量。不同于脈沖噪聲的影響，算法的收斂速度沒有明顯的變化。

最后，本小節(jié)研究各仿真參數(shù)對SNNLMS算法性能的影響。圖11實驗參數(shù)設(shè)置同3.1節(jié)，背景噪聲SNR=5 dB。圖12實驗設(shè)置同3.2節(jié)，背景噪聲SNR=5 dB。圖11和圖12的曲線是在不同的脈沖噪聲強度下的仿真結(jié)果，其中圖11是不同 β值下的性能曲線，圖12是不同γ 值下IP-SNNLMS算法的性能曲線。圖11顯示 β值的選擇對穩(wěn)態(tài)精度有明顯的影響，參數(shù)β 選取0.1～0.8時，收斂精度誤差在3 dB，算法的性能變化不明顯。但當 β 值過大(β =1, 5)時算法的穩(wěn)態(tài)精度明顯下降。圖12顯示選擇過大的γ 值(γ =0.1, 0.5, 1, 2)時算法的穩(wěn)態(tài)精度明顯下降其收斂精度下降超過6 dB。由上述分析可知，3.1節(jié)和3.2節(jié)的仿真實驗 β 和γ 值分別設(shè)定為0.1和0.01，算法有著良好的性能。

圖9 不同脈沖噪聲強度下算法性能

圖10 不同高斯噪聲強度下算法性能

圖12 IP-SNNLMS算法不同γ 下穩(wěn)態(tài)精度曲線

4 結(jié)論

本文針對在脈沖噪聲環(huán)境下非負最小均方算法穩(wěn)定性問題，提出了將傳統(tǒng)非負代價函數(shù)嵌入Sigmoid構(gòu)架導(dǎo)出的SNNLMS算法。實驗證明SNNLMS算法提高了非負算法在脈沖噪聲下的魯棒性，能有效地抑制脈沖噪聲造成的影響。同時針對SNNLMS算法在稀疏系統(tǒng)識別問題上的局限性，本文通過加入反比例函數(shù)導(dǎo)出IP-SNNLMS算法。在稀疏系統(tǒng)識別實驗中，IP-SNNLMS算法有著更好的收斂速度和估算精度。仿真結(jié)果表明：(1)SNNLMS算法在脈沖噪聲中有著良好的性能。(2) IP-SNNLMS算法增強了在稀疏系統(tǒng)識別問題上的魯棒性，有著比SNNLMS算法更優(yōu)越的性能。(3)低脈沖噪聲的強度下，算法的收斂精度和收斂速度下降但是不明顯；當脈沖噪聲的強度過大( p=0.6, 0.8)時，算法的收斂精度和收斂速度明顯下降，需要大步長提高算法的收斂速度但將造成算法穩(wěn)定性下降。高斯噪聲強度增強明顯降低了算法的收斂精度，但不影響算法的收斂速度。 β 和γ 值的選擇對算法的性能有明顯的影響不能過大，過大的 β 和γ 值將導(dǎo)致算法收斂精度嚴重下降，實驗結(jié)果中 β =0.1 和γ =0.01時算法性能最佳。