最大互相關(guān)熵多凸組合自適應(yīng)濾波算法

盧明飛 彭思愿 陳霸東*

①(西安交通大學(xué)人工智能與機(jī)器人研究所 西安 710049)

②(南洋理工大學(xué)電氣與電子工程學(xué)院 新加坡 639798)

1 引言

作為信息論學(xué)習(xí)領(lǐng)域的一種魯棒優(yōu)化準(zhǔn)則，最大互相關(guān)熵[1,2](Maximum Correntropy Criterion,MCC)近年來(lái)在數(shù)據(jù)分類、圖像處理、自適應(yīng)濾波等領(lǐng)域已經(jīng)成功得到廣泛應(yīng)用[3–7]。與基于最小均方誤差準(zhǔn)則(Minimum Mean Square Error, MMSE)的LMS (Least Mean Square), RLS(Recursive Least Mean)及其各類改進(jìn)自適應(yīng)濾波算法[8,9]相比，基于MCC準(zhǔn)則的算法在對(duì)抗非高斯噪聲(特別是重尾噪聲)方面具有更好的魯棒性[10]。而諸如無(wú)線通信、語(yǔ)音處理等實(shí)際工程應(yīng)用中，信號(hào)均受到不同程度的重尾噪聲污染[11]。因此，基于MCC準(zhǔn)則設(shè)計(jì)自適應(yīng)濾波器在相關(guān)領(lǐng)域是很好的選擇。

收斂速度與穩(wěn)態(tài)誤差之間的矛盾是自適應(yīng)濾波算法中存在的固有問(wèn)題，MCC濾波算法也不例外。在傳統(tǒng)基于MCC準(zhǔn)則的自適應(yīng)濾波算法中，步長(zhǎng)和核寬參數(shù)的選擇決定了算法的收斂速度、穩(wěn)態(tài)誤差和收斂穩(wěn)定性。為此，研究人員進(jìn)行了諸多改進(jìn)工作，提出了諸如變步長(zhǎng)MCC[12,13]、變核寬MCC[14,15]、多尺度核學(xué)習(xí)自適應(yīng)濾波[16]、混合MCC[17]等，取得了一定的成果。

凸組合的方式能夠充分發(fā)揮被組合獨(dú)立濾波算法各自的性能優(yōu)勢(shì)，同時(shí)保證算法收斂的平滑，在一定程度上降低參數(shù)選擇的難度。這一思想在LMS系列算法上最先得到應(yīng)用[18–20]。文獻(xiàn)[21]也提出了對(duì)不同步長(zhǎng)參數(shù)的兩個(gè)MCC濾波算法進(jìn)行凸組合的策略，成功將這一思想引入MCC自適應(yīng)濾波。文獻(xiàn)[22]進(jìn)一步提出了多凸組合LMS算法，取得了很好的效果。受此啟發(fā)，本文提出一種基于MCC準(zhǔn)則的多凸組合自適應(yīng)濾波算法，通過(guò)組合多個(gè)獨(dú)立MCC濾波算法，從而獲得濾波算法性能的提升。

本文對(duì)所提多凸組合MCC濾波算法進(jìn)行了理論分析，得出了其均值收斂的條件，并證明了該算法穩(wěn)態(tài)均方誤差可逼近被組合算法中的最小值。對(duì)所提算法進(jìn)行了仿真分析，結(jié)果表明，在面對(duì)高斯和非高斯噪聲以及噪聲環(huán)境突變時(shí)，所提算法均具有良好的收斂性能。

2 基于MCC準(zhǔn)則的自適應(yīng)濾波

2.1 MCC準(zhǔn)則

互相關(guān)熵(correntropy)是兩個(gè)隨機(jī)變量X、Y之間相似性的一種度量，其定義為[1]

其中， E (·)代 表期望，κ (·,·)是核函數(shù)(通常為某種徑向基核函數(shù))，F(xiàn)XY(x,y)是 隨機(jī)變量( X,Y)的聯(lián)合分布函數(shù)。本文中核函數(shù)采用高斯核

其中， σ >0是核寬參數(shù)。在實(shí)際應(yīng)用中，由于FXY(x,y)未知且采樣數(shù)據(jù)有限，可對(duì)互相關(guān)熵進(jìn)行經(jīng)驗(yàn)估計(jì)

針對(duì)自適應(yīng)濾波應(yīng)用場(chǎng)景，可以通過(guò)最大化期望信號(hào)和濾波器輸出之間的互相關(guān)熵(即相似度)來(lái)優(yōu)化算法參數(shù)，即采用最大互相關(guān)熵準(zhǔn)則(MCC)[1]

其中，en為 第n時(shí)刻期望信號(hào)與濾波輸出之間的誤差。針對(duì)隨機(jī)梯度濾波算法，通常采用以下瞬態(tài)MCC準(zhǔn)則

2.2 MCC準(zhǔn)則自適應(yīng)濾波

對(duì)于包含噪聲干擾的未知線性信道，輸入信號(hào)Xn經(jīng)信道傳輸后觀測(cè)到輸出信號(hào)為

其中，W?∈RN為信道權(quán)向量，vn為隨機(jī)加性噪聲。基于瞬態(tài)MCC準(zhǔn)則，推導(dǎo)自適應(yīng)濾波算法如下

其中，μ為步長(zhǎng)，f (·,·), en計(jì)算如下

2.3 雙凸組合MCC準(zhǔn)則濾波算法

文獻(xiàn)[21]提出雙凸組合MCC準(zhǔn)則濾波算法

其中，{ Wi,n}(i=1,2)為按照式(7)進(jìn)行獨(dú)立更新的兩個(gè)不同步長(zhǎng)MCC準(zhǔn)則濾波器權(quán)向量，凸組合參數(shù)?n計(jì)算如下

進(jìn)一步，ξn也 按照瞬態(tài)MCC準(zhǔn)則下梯度法優(yōu)化

3 多凸組合MCC自適應(yīng)濾波

3.1 算法結(jié)構(gòu)

本文提出使用m(m≥2)個(gè)MCC準(zhǔn)則濾波算法進(jìn)行凸組合形成多凸組合MCC自適應(yīng)濾波算法

其中， Wi,n(μi,σi)(i=1,2,···,m)表示按式(7)進(jìn)行更新的獨(dú)立濾波器權(quán)向量。m個(gè)獨(dú)立濾波器的步長(zhǎng)與核寬取滿足如下關(guān)系的不同值

組合參數(shù)計(jì)算如下

其中，f (·,·), ei,n參 照式(8)更新，en計(jì)算如下

顯然，式(14)定義的組合參數(shù)滿足以下條件

本文將上述多凸組合MCC準(zhǔn)則自適應(yīng)濾波算法簡(jiǎn)稱為MC-MCC(Multiple Convex combination of adaptive filters under MCC)。

3.2 算法討論

對(duì)MC-MCC算法中獨(dú)立濾波算法的個(gè)數(shù)m、步長(zhǎng)μ和核寬σ等參數(shù)進(jìn)行不同配置，則其可形成步長(zhǎng)凸組合MCC算法、核寬凸組合MCC算法等。

(1) 步長(zhǎng)凸組合MCC準(zhǔn)則自適應(yīng)濾波算法

設(shè)置式(12)中m=2，且為兩個(gè)獨(dú)立自適應(yīng)濾波算法選擇不同步長(zhǎng)和相同核寬，此時(shí)本算法即退化為步長(zhǎng)凸組合MCC準(zhǔn)則自適應(yīng)濾波算法(Convex combination of Step-sizes for two adaptive filters under MCC, CS-MCC[21])：(2) 核寬凸組合MCC準(zhǔn)則自適應(yīng)濾波算法

設(shè)置式(12)中m=2，且兩個(gè)獨(dú)立濾波算法選擇相同步長(zhǎng)和不同核寬，此時(shí)本算法即為一種新型核寬凸組合MCC準(zhǔn)則自適應(yīng)濾波算法(Convex Combination of kernel-widths for two adaptive filters under MCC, CW-MCC)：

(3) 多凸組合MCC準(zhǔn)則自適應(yīng)濾波算法

在本文算法的一般形式下，通過(guò)選擇多個(gè)不同參數(shù)( μi,σi)的濾波算法進(jìn)行凸組合，能夠充分發(fā)揮各獨(dú)立濾波算法的快收斂或低穩(wěn)態(tài)誤差優(yōu)勢(shì)，從而在很大程度上克服各獨(dú)立核自適應(yīng)濾波算法單獨(dú)使用時(shí)收斂速度和穩(wěn)態(tài)精度之間的固有矛盾。

當(dāng)m=2時(shí)，本算法是新的“步長(zhǎng)+核寬”凸組合MCC準(zhǔn)則自適應(yīng)濾波算法。當(dāng)然，(1)和(2)中獨(dú)立濾波算法個(gè)數(shù)大于2時(shí)，亦可以形成兩種新算法：步長(zhǎng)多凸組合MCC、核寬多凸組合MCC濾波算法，此處不再展開(kāi)描述。

4 理論分析

4.1 均值收斂性分析

定義信道估計(jì)誤差

結(jié)合式(12)和式(16)可得

此處，我們引入假設(shè)：

A-Ⅰ：輸入信號(hào){ Xn}是零均值獨(dú)立同分布高斯隨機(jī)信號(hào)；

A-Ⅱ：噪聲信號(hào){ vn}是零均值獨(dú)立同分布高斯隨機(jī)信號(hào)，且與{ Xn}相互獨(dú)立；

A-IV：{ f(σξ,en)} 與{ Xn}相互獨(dú)立；

A-V：E (f(σξ,en)) 存 在且有界，E (αi,n)存在。

依據(jù)A-III，對(duì)式(20)兩邊同時(shí)求期望可得

結(jié)合式(16)可得

根據(jù)文獻(xiàn)[2]，在A-Ⅰ～A-V假設(shè)下，μi選擇為

即可保證各獨(dú)立算法收斂于系統(tǒng)固有權(quán)向量滿足

結(jié)合式(22)和式(24)可得

綜上，只要滿足式(23)，MC-MCC算法估計(jì)的信道權(quán)向量將均值收斂于系統(tǒng)固有權(quán)向量。

4.2 穩(wěn)態(tài)均方誤差分析

采用超額均方誤差(Excess Mean-Square Error,EMSE)分析所提算法的穩(wěn)態(tài)性能。穩(wěn)態(tài)EMSE定義為

由式(14)可得

假設(shè)所選各獨(dú)立濾波算法全部滿足EMSE收斂條件，其穩(wěn)態(tài)EMSE有界且分別收斂至 Je,i。將所有獨(dú)立濾波算法編號(hào)作為一個(gè)集合：

據(jù)此，可將式(28)分兩種情況分析：

(1) 當(dāng)i ∈A1時(shí)：

從而可得

結(jié)合式(28)，可知

其中γi=μξE(fξ,n)E(?i,∞)， 由于μξ>0, E (fξ,n)>0,E(?i,∞)<0， 則 γi<0。故上述過(guò)程成立的條件為

(2) 當(dāng)i ∈A2時(shí)，與(1)同理可得

此時(shí)，γi=μξE(fξ,n)E(?i,∞)≥0，故上述過(guò)程成立的條件為

綜合式(35)和式(37)可得

進(jìn)而結(jié)合式(27)可得

假設(shè)A2中 元素個(gè)數(shù)不為1，則? i?∈A2，使得

根據(jù)柯西不等式，可知 Je,i?>Je，這與情況2矛盾，故假設(shè)不成立，即A2中只有1個(gè)元素

綜上所述，可得

進(jìn)而可得本算法穩(wěn)態(tài)EMSE滿足

由于本算法設(shè)置參數(shù)滿足式(13)，依據(jù)上述結(jié)論，則其穩(wěn)態(tài)E M S E 最終將趨近于獨(dú)立濾波算法1(i=1時(shí)，其穩(wěn)態(tài)EMSE最小)。關(guān)于單個(gè)MCC準(zhǔn)則自適應(yīng)濾波算法穩(wěn)態(tài)EMSE的理論分析可參考文獻(xiàn)[7]，此處不再贅述。

5 MC-MCC算法的工程化改進(jìn)

由于高斯核函數(shù)的特殊性，當(dāng)ξi,n絕對(duì)值較大時(shí)，αi,n的更新將趨于停滯。從實(shí)際工程應(yīng)用角度考慮，可以適當(dāng)限制αi,n和ξi,n為

設(shè)置 α+=0.99 ，ξ+按ξ+=0.5ln((m?1)α+/(1?α+))計(jì)算。

為了進(jìn)一步提升算法的瞬態(tài)性能，考慮對(duì)偏離組合權(quán)向量較遠(yuǎn)的獨(dú)立濾波器進(jìn)行修正。當(dāng)算法i同時(shí)滿足權(quán)重占比較小(αi,n<β) 和方向偏離較大(|angle(Wi,n,Wn)|>λ)兩個(gè)條件時(shí)，不再按照式(7)更新，替換為式(45)。

此處a ngle(Wi,n,Wn)可按式(46)計(jì)算

改進(jìn)后的算法簡(jiǎn)記為IMC-MCC。

6 仿真分析

本文使用NMSD (Normalized Mean Square Deviation) 評(píng)價(jià)算法收斂性能，其定義為[22]

6.1 MC-MCC算法性能仿真

實(shí)驗(yàn)環(huán)境設(shè)置如下：

(1) 系統(tǒng)輸入與噪聲信號(hào)按高斯分布隨機(jī)生成，輸入信號(hào)符合N (0,1)，信噪比設(shè)置為10 dB；

(2) 系統(tǒng)信道維度設(shè)置為5×1，權(quán)向量按N(0,1)隨機(jī)生成；

(3) 獨(dú)立濾波算法個(gè)數(shù)為4，各獨(dú)立濾波算法及組合參數(shù)優(yōu)化算法的參數(shù)設(shè)置見(jiàn)表1；

(4) 組合參數(shù)優(yōu)化算法的參數(shù)( μξ,σξ)選擇應(yīng)符合以下原則：須使由其決定的MCC準(zhǔn)則自適應(yīng)算法的收斂速度遠(yuǎn)大于各獨(dú)立濾波算法中最快的。

各獨(dú)立濾波算法及多凸組合濾波算法的對(duì)比仿真結(jié)果如圖1，圖2所示。結(jié)果表明，MC-MCC自適應(yīng)濾波算法具有以下特征：(1) 瞬態(tài)收斂速度始終能夠逼近當(dāng)前時(shí)刻收斂速度最快的被組合濾波算法；(2) 穩(wěn)態(tài)NMSD趨于被組合濾波算法的最小值。這與理論分析結(jié)論一致。

6.2 IMC-MCC算法性能仿真分析

改進(jìn)前后仿真對(duì)比如圖3，圖4所示，與原多凸組合算法相比，改進(jìn)措施大大提高了各被組合算法的收斂速度，進(jìn)而也使得改進(jìn)后的多凸組合濾波算法加速收斂。其中( β,λ,θ)=(0.8,0.05,0.8)。

6.3 雙凸組合算法性能仿真

多凸組合算法的優(yōu)勢(shì)已經(jīng)得到驗(yàn)證，本節(jié)進(jìn)一步驗(yàn)證算法退化為雙凸組合MCC準(zhǔn)則自適應(yīng)濾波算法時(shí)的N M S D 收斂性能。本實(shí)驗(yàn)擬對(duì)兩組MCC濾波算法(步長(zhǎng)及核寬參數(shù)選擇如表2)的多種組合進(jìn)行仿真對(duì)比，驗(yàn)證其收斂性能和穩(wěn)態(tài)精度。為了更加充分驗(yàn)證本文所提算法的工程應(yīng)用價(jià)值，本文選擇“高斯噪聲+非高斯噪聲”復(fù)合噪聲環(huán)境，并分別使用“混合高斯”和“α-Stable”兩種模型模擬實(shí)際工程中的非高斯噪聲。

表1 算法參數(shù)設(shè)置

圖1 算法收斂性能對(duì)比

圖2 算法凸組合參數(shù)收斂過(guò)程

圖3 改進(jìn)前后算法收斂過(guò)程對(duì)比

(1) 混合高斯噪聲環(huán)境試驗(yàn)

輸入信號(hào)、系統(tǒng)參數(shù)設(shè)置同6.1節(jié)，噪聲信號(hào)設(shè)置如式(48)。

其中，高斯噪聲為標(biāo)準(zhǔn)高斯分布N (0,1)，非高斯噪聲采用混合高斯，其分布函數(shù)為

表2所列參數(shù)自由組合的2種經(jīng)典MCC算法及其6種不同組合算法的對(duì)比仿真結(jié)果如圖5所示。結(jié)果表明，在只用2個(gè)獨(dú)立算法進(jìn)行凸組合的情況下，本文提出的算法可獲得優(yōu)于算法式(17)，式(18)的NMSD收斂性能：在高斯噪聲和非高斯噪聲以及噪聲環(huán)境突變條件下，IMC-MCC算法均具有較快的收斂速度和較高的穩(wěn)態(tài)精度。

(2) α-Stable噪聲環(huán)境試驗(yàn)

將式(48)中非高斯噪聲替換為α-Stable模型[23]

表2 算法參數(shù)設(shè)置

圖4 改進(jìn)前后算法組合參數(shù)收斂過(guò)程對(duì)比

圖5 各種組合算法收斂性能對(duì)比1

其中，α ∈(0,2]是特征參數(shù)，代表噪聲的重尾程度，β ∈[?1,1]為 對(duì)稱參數(shù)，γ >0決定噪聲的離散程度，而? ∞<δ <∞是位置參數(shù)。本試驗(yàn)中非高斯噪聲參數(shù)設(shè)置為 (α,β,γ,δ)=(1.2,0,0.1,0)，其余設(shè)置同本節(jié)試驗(yàn)(1))。

仿真結(jié)果如圖6所示，在“高斯+α-Stable噪聲(重尾噪聲)”組合環(huán)境下，本文提出的多凸組合MCC算法(m=2時(shí))在高斯噪聲段和非高斯噪聲段均可獲得較快收斂速度和較小穩(wěn)態(tài)NMSD。

圖6 各種組合算法收斂性能對(duì)比2

7 結(jié)論

本文提出了一類基于最大互相關(guān)熵準(zhǔn)則的多凸組合自適應(yīng)濾波算法，并根據(jù)工程應(yīng)用需求提出了改進(jìn)措施。通過(guò)理論分析，推導(dǎo)了算法的均值收斂條件和穩(wěn)態(tài)均方誤差。數(shù)字仿真實(shí)驗(yàn)發(fā)現(xiàn)，相比于傳統(tǒng)MCC、混合核寬MCC、步長(zhǎng)凸組合CS-MCC以及核寬凸組合CW-MCC等算法，本文提出的多凸組合MCC算法在對(duì)抗高斯和非高斯噪聲以及噪聲環(huán)境突變時(shí)，具有更靈活的適應(yīng)能力和更好的信道估計(jì)收斂性能。因此，本算法在信道估計(jì)、系統(tǒng)辨識(shí)等領(lǐng)域具有較大的工程應(yīng)用價(jià)值。