加權(quán)l(xiāng)p 范數(shù)LMS 算法的稀疏系統(tǒng)辨識

劉遵雄，秦 賓，王樹成

華東交通大學(xué) 信息工程學(xué)院，南昌330013

1 引言

自適應(yīng)濾波器廣泛應(yīng)用于回波消除、噪聲對消、系統(tǒng)辨識、自適應(yīng)信道均衡等諸多領(lǐng)域中[1-5]。根據(jù)對輸入信號和參考信號的不同定義，自適應(yīng)濾波器應(yīng)用分為四種類型[6-7]：系統(tǒng)辨識、逆模型、預(yù)測和干擾消除。

自適應(yīng)濾波算法是自適應(yīng)濾波器設(shè)計的核心。常用的自適應(yīng)算法主要包括最小均方算法（LMS）、遞歸最小二乘方法（RLS）、神經(jīng)網(wǎng)絡(luò)算法[8-10]等，其中基于維納濾波器理論的LMS 算法由于其結(jié)構(gòu)簡單，計算復(fù)雜度度低，性能穩(wěn)定，易于實現(xiàn)等特點，仍是目前自適應(yīng)濾波理論中應(yīng)用最為廣泛的算法。但是在實際應(yīng)用中，許多待辨識的系統(tǒng)具有稀疏性，即沖擊響應(yīng)在時間域具有少量的非零值。對于稀疏系統(tǒng)辨識問題，LMS 算法無法很好解決，因為LMS算法沒有充分運用沖激響應(yīng)稀疏這一先驗知識。隨著LASSO[11]、壓縮感知（Compressive Sensing，CS）等稀疏理論技術(shù)研究的不斷深入和發(fā)展，在稀疏系統(tǒng)辨識方面相繼提出零吸引最小均方算法算法（ZA-LMS）[12]、加權(quán)零吸引最小均方算法（RZA-LMS）[13]、l0范數(shù)懲罰的LMS 算法[14]。文獻[15]首次提出加權(quán)l(xiāng)1范數(shù)懲罰求解最小化問題可以增強系統(tǒng)稀疏性。本文借鑒上述思想，提出了加權(quán)的lp(0 ＜p ≤1)范數(shù)懲罰的LMS 算法，并用于稀疏系統(tǒng)辨識，仿真結(jié)果驗證了該算法的有效性。

2 系統(tǒng)辨識模型

系統(tǒng)辨識在信號處理、通信和控制等領(lǐng)域里都有重要應(yīng)用，其實質(zhì)上是根據(jù)系統(tǒng)的輸入和輸出信號來估計或確定系統(tǒng)的特性以及系統(tǒng)的單位沖激響應(yīng)或傳遞函數(shù)。圖1是一個系統(tǒng)辨識問題的框圖。

圖1 系統(tǒng)辨識模型圖

一輸入信號x(t) 經(jīng)過一個未知系統(tǒng)h ，得到信號y′(t) ，由于疊加了環(huán)境噪聲v(t) ，實際可測量的信號d(t)=y′(t)+v(t)作為自適應(yīng)濾波器的參考信號，又稱為濾波器的期望信號。

定義輸入信號向量為：

則濾波器w 的輸出可寫為：

誤差信號定義為期望信號與濾波器輸出之間的差：

自適應(yīng)濾波器w 使用輸入信號x(t)和期望信號d(t)，用迭代的方法對未知系統(tǒng)h 進行辨識，當(dāng)算法收斂之后，w就是一個h 的估計。

3 算法描述

3.1 lp(0 ＜p ≤1)范數(shù)懲罰LMS 算法

針對一般稀疏系統(tǒng)的基于lp范數(shù)(0 ≤p ≤1)約束的自適應(yīng)算法核心思想，是根據(jù)未知系統(tǒng)的沖激響應(yīng)稀疏的特點，在更新濾波器抽頭權(quán)重的代價函數(shù)中施加稀疏性約束[12-14]。

研究表明，RZA-LMS 算法總體性能比ZA-LMS 算法有明顯優(yōu)勢，這是因為RZA-LMS 算法懲罰函數(shù)更接近l0范數(shù)懲罰。如果p 取值接近0 時，lp范數(shù)懲罰函數(shù)近似l0范數(shù)懲罰，有代價函數(shù)如下：

其中，||?||lp表示p 范數(shù)，λlp＞0 為控制lp范數(shù)影響大小的平衡因子。和RZA-LMS 代價函數(shù)相似，當(dāng)0 ＜p ＜1 時，代價函數(shù)具有共同的特性：非凸性、全局收斂性，以及相應(yīng)的運算法則。但是lp(0 ＜p ＜1)范數(shù)懲罰的最小均方算法表現(xiàn)出更好的性能。式（4）求梯度，根據(jù)最速下降法得到相應(yīng)權(quán)系數(shù)更新等式：

當(dāng)p=1 時，文獻[12]提出的零吸引最小均方算法（ZA-LMS）。系數(shù)向量更新等式為：

當(dāng)0 ＜p ＜1 時，為了防止當(dāng)輸入信號向量為零或很小時算法不穩(wěn)定，通常在上式中的分母上加上一個小的正常數(shù)ξlp，稱為正則參數(shù)。于是得到lp(0 ＜p ＜1) 范數(shù)懲罰的LMS 算法的系數(shù)向量更新等式為：

3.2 加權(quán)l(xiāng)p(0 ＜p ≤1)范數(shù)懲罰LMS 算法

解決最小化問題時，在代價函數(shù)中引入加權(quán)的l1范數(shù)懲罰可以得到很好的稀疏作用，這一方法在稀疏的信號恢復(fù)得到實際應(yīng)用?？紤]到通常沖擊響應(yīng)稀疏的特性，如果lp(0 ＜p ≤1)范數(shù)懲罰的LMS 算法中加入一個更新權(quán)值，那么在稀疏系統(tǒng)辨識中會得到較好的仿真效果。相應(yīng)的代價函數(shù)如下：

其中，λrlp＞0 為控制加權(quán)l(xiāng)p范數(shù)影響大小的平衡因子，更新權(quán)值：

ζrlp為設(shè)置的一個正則參數(shù)。

當(dāng)p=1時，加權(quán)l(xiāng)1范數(shù)懲罰LMS算法的系數(shù)更行等式：

加權(quán)l(xiāng)1范數(shù)懲罰LMS 算法代價函數(shù)和RZA-LMS 算法、lp范數(shù)懲罰的LMS 算法不同的是其具有凸函數(shù)性質(zhì)，保證在一定的范圍內(nèi)收斂于最小值。

當(dāng)0 ＜p ＜1，由最速下降法導(dǎo)出加權(quán)l(xiāng)p范數(shù)懲罰LMS算法系數(shù)向量更新方程：

其中，γrlp=μλrlp，ξrlp設(shè)定為正則參數(shù)。式（4）和（8）中，λlp、λrlp的值選擇影響懲罰LMS算法仿真實驗的結(jié)果，它們的選擇可以參考文獻[13]。加權(quán)l(xiāng)p范數(shù)懲罰LMS算法過程，如圖2。為了研究提出的稀疏懲罰LMS 算法，和已有的LMS、ZA-LMS 算法性能進行比較，通過仿真實驗得到結(jié)果。

圖2 加權(quán)l(xiāng)p 范數(shù)懲罰LMS 算法偽代碼

4 實驗分析

為了檢驗改進算法在系統(tǒng)辨識應(yīng)用中的收斂速度和穩(wěn)態(tài)誤差兩方面性能，本文設(shè)置了以下3 個仿真實驗。

實驗1 假設(shè)有限脈沖響應(yīng)長度N=16，輸入信號和觀測噪聲信號均為高斯白噪聲，方差分別為σx=1 ，σv=1E-3。情況一：設(shè)置第8 個抽頭權(quán)值為1，其他均為0，稀疏度1/16；情況二：情況一迭代200 次以后，隨機設(shè)置8 個抽頭權(quán)值非零，其他均為零，稀疏度8/16。5 個濾波器（LMS、ZA-LMS、lp(0 ＜p ＜1)范數(shù)懲罰LMS、加權(quán)l(xiāng)1范數(shù)懲罰LMS、加權(quán)l(xiāng)p(0 ＜p ＜1)范數(shù)懲罰LMS）各自運行200 次，其 中 lp范 數(shù) 中 p=1/2 ，其 他 參 數(shù) 設(shè) 置 μ=0.05 ，γZA=γlp=γrl1=γrlp=7.4E-4，ξlp=ζrlp=ζrl1=ξrlp=1。仿真實驗結(jié)果如圖3，從均方偏差MSD 結(jié)果可以看出，當(dāng)系統(tǒng)稀疏時（前200 次迭代），加權(quán)的lp(0 ＜p ≤1)懲罰LMS 算法要比經(jīng)典LMS 算法和lp(0 ＜p ≤1)懲罰的LMS 算法有較快的收斂速度和較小的均方偏差，并且p=1/2 時，加權(quán)的lp范數(shù)懲罰LMS 算法比加權(quán)l(xiāng)1范數(shù)懲罰性能更好。但是當(dāng)系統(tǒng)非稀疏時，盡管加權(quán)l(xiāng)p范數(shù)懲罰的LMS 算法有較快的收斂速度，但是均方偏差MSD 比一般LMS 算法有所不足。

圖3 白信號下算法收斂曲線

實驗2 當(dāng)p 接近于0 時，lp范數(shù)接近l0范數(shù)，越接近l0范數(shù)懲罰的函數(shù)，對于稀疏系統(tǒng)自適應(yīng)濾波器的性能表現(xiàn)越好。如圖4，p 分別取1/2 和3/4。當(dāng)系統(tǒng)稀疏時（前200次迭代），加權(quán)l(xiāng)1/2范數(shù)懲罰LMS 算法收斂速度和穩(wěn)態(tài)誤差都有相對優(yōu)勢，但是當(dāng)稀疏度有所提高時（后200 次迭代），加權(quán)l(xiāng)3/4范數(shù)懲罰LMS 算法和l3/4范數(shù)懲罰LMS 算法較其相對應(yīng)的算法表現(xiàn)出較小均方偏差MSD和較慢的收斂速度。

圖4 白信號下不同p 值的lp 懲罰LMS 算法收斂曲線

實驗3 已知有限脈沖響應(yīng)如圖5，長度N=256，5 個濾波器分別迭代2 000 次，個別參數(shù)設(shè)置μ=0.005 ，γZA=γlp=γrl1=γrlp=1E-6，其他條件設(shè)置如實驗1，仿真實驗結(jié)果如圖6。當(dāng)p 的取值不同時，得到仿真結(jié)果如圖7。從圖中可以看出，加權(quán)的lp(p=1/2) 范數(shù)懲罰的LMS 算法相比較已有的稀疏LMS 算法在收斂速度和穩(wěn)態(tài)誤差方面都有較好的表現(xiàn)，并且p 在一定范圍內(nèi)取值越小表現(xiàn)的更為突出。

圖5 稀疏系統(tǒng)的沖擊響應(yīng)

圖6 稀疏系統(tǒng)和白信號條件下算法收斂曲線

圖7 稀疏系統(tǒng)和白信號條件下不同p 值的lp-LMS算法收斂曲線

5 結(jié)論

針對稀疏的系統(tǒng)辨識問題，本文提出了一種改進的稀疏系統(tǒng)辨識方法——加權(quán)的lp(0 ＜p ≤1)范數(shù)懲罰LMS 算法。仿真實驗結(jié)果表明：對于稀疏的系統(tǒng)，改進算法的收斂性和穩(wěn)態(tài)性有明顯提高；在[1/2，1]范圍內(nèi)p 取值越小，自適應(yīng)濾波器的性能也就相對較好。 p 在（0，1/2）區(qū)間內(nèi)步長參數(shù)的選擇，將是下一階段的重點研究問題。

[1] Bershad N J，Bermudez J C M，Toumere J Y.Stochastic analysis of the LMS algorithm for system identification with subspace input[J].IEEE Transation on Signal processing，2008，56（3）：1018-1027.

[2] 劉艷玲，邱丙益，樊長江.基于LMS 算法的衛(wèi)星通信回波抵消方法[J].船舶電子工程，2007，27（6）：100-102.

[3] 孫永國.稀疏路徑回波對消自適應(yīng)并法的研究[D].成都：四川大學(xué)，2006.

[4] 陳立峰.自適應(yīng)聲回波抵消算法的研究與實現(xiàn)[D].廈門：廈門大學(xué)，2006.

[5] 趙亮，朱維慶，朱敏.一種用于水聲相干通信系統(tǒng)的自適應(yīng)均衡算法[J].電子與信息報，2008，30（3）：648-651.

[6] Haykin S.Adaptive filter theory[M].4th ed.Upper Saddle River，NJ：Prentice Hall，2002.

[7] Diniz P S R.自適應(yīng)濾波算法與實現(xiàn)[M].2版.劉郁林，景曉軍，譚剛兵，譯.北京：北京電子工業(yè)出版社，2004.

[8] Widrow B，Hoff M E.Adaptive switching circuits[C]//Proceedings of the IRE WESCON Conference，1960：96-104.

[9] 孫錦華，金力軍.幾種改進型RLS 算法在自適應(yīng)濾波系統(tǒng)中的應(yīng)用[J].重慶郵電學(xué)院學(xué)報，2003，15（3）：14-15.

[10] 翁玉麟，鄧長虹.自適應(yīng)神經(jīng)網(wǎng)絡(luò)模糊推理系統(tǒng)最優(yōu)參數(shù)的研究[J].計算機仿真，2005，22（8）：140-243.

[11] Fu W.Penalized regressions：the bridge versus the lasso[J].Journal of Computational and Graphical Statistics，1998，7（3）：397-416.

[12] 金堅，谷源濤，梅順良.用于稀疏系統(tǒng)辨識的零吸引最小均方算法[J].清華大學(xué)學(xué)報：自然科學(xué)版，2010，50（9）：1312-1315.

[13] Chen Y，Gu Y，Hero A O.Sparse LMS for system identification[C]//Proc of IEEE ICASSP，Taipei，Taiwan，China，Apr，2009：3125-3128.

[14] Gu Y，Jin J，Mei S.l0norm constraint LMS algorithm for sparse system identification[J].IEEE Signal Processing Letters，2009，16（9）：774-777.

[15] Candes E J，Wakin M B，Boyd S P.Enhancing sparsity by reweighted l1minimization[J].Journal of Fourier Analysis and Applications，2008，14（5）：877-905.