基于最大相關(guān)熵的分布式仿射投影算法

于和芳，郭 瑩

（沈陽工業(yè)大學(xué)信息科學(xué)與工程學(xué)院， 沈陽110870）

1 引 言

分布式網(wǎng)絡(luò)可應(yīng)用于醫(yī)療應(yīng)用、救災(zāi)管理、環(huán)境監(jiān)測等諸多領(lǐng)域[1-4]，將自適應(yīng)濾波算法[5-6]應(yīng)用到分布式網(wǎng)絡(luò)中，可以更加準(zhǔn)確地估計目標(biāo)并增強分布式網(wǎng)絡(luò)對環(huán)境變化的魯棒性。研究人員提出了許多分布式的自適應(yīng)濾波算法，例如分布式最小均方算法（Diffusion Least Mean Square， DLMS）[7]和分布式仿射投影算法（Diffusion Affine Projection Algorithm，DAPA）[8-10]。其中DLMS 算法結(jié)構(gòu)簡單，但對于有色輸入信號，其收斂速度會急劇下降。DAPA 算法是在DLMS 算法的基礎(chǔ)上將輸入信號重組，可有效地改善輸入為有色信號時算法的收斂性能。然而，傳統(tǒng)的DLMS 算法和DAPA 都是基于L2 范數(shù)優(yōu)化準(zhǔn)則開發(fā)的，在非高斯干擾下性能會嚴(yán)重下降。

為解決這一問題，一系列抑制非高斯噪聲的算法被提出。其中，文獻(xiàn)[11]～[15]用可變的步長來代替?zhèn)鹘y(tǒng)DAPA 算法中的固定步長，憑借自適應(yīng)步長選擇算法在低穩(wěn)態(tài)和快速收斂速度之間做出了較好的選擇。由仿真實驗可知，變步長分布式放射投影算法（Variable Step Size Diffusion Affine Projection Algorithm，VSS-DAPA）相比于傳統(tǒng)的DAPA，收斂速度更快，但穩(wěn)態(tài)更低。文獻(xiàn)[16]和[17]提出了基于兩種分布式策略的仿射投影符號算法（Diffusion Affine Projection Sign Algorithm， DAPSA），其中增強式策略估計了算法的抗脈沖干擾能力，增強了抗干擾能力，但是收斂速度較慢。最近，研究人員提出將最大相關(guān)熵準(zhǔn)則（MCC）應(yīng)用于自適應(yīng)濾波領(lǐng)域，提出了基于MCC 準(zhǔn)則的自適應(yīng)濾波算法[18-20]，構(gòu)造了一個新的代價函數(shù)來抑制脈沖噪聲。由于MCC 核函數(shù)的負(fù)指數(shù)項和核寬的作用，削弱了較大誤差對相關(guān)熵的影響，因此MCC 算法中不會出現(xiàn)由偏差較大引起的數(shù)值不穩(wěn)定問題，對脈沖噪聲具有較強的魯棒性。

基于上述研究，在此將最大相關(guān)熵準(zhǔn)則與分布式仿射投影算法相結(jié)合，提出一種以高斯核函數(shù)為基礎(chǔ)的最大相關(guān)熵算法。新算法大大降低了輸入信號的相關(guān)性，并能很好地抑制非高斯噪聲。

2 分布式仿射投影算法

在傳統(tǒng)的集中式網(wǎng)絡(luò)中，所有節(jié)點信息都需要傳輸?shù)揭粋€中心，然后由這個中心將數(shù)據(jù)處理結(jié)果共享并返回每個節(jié)點。這種協(xié)作需要一個強大的中央處理器，因此具有一定的局限性。改進(jìn)后的分布式網(wǎng)絡(luò)則沒有融合中心，每個節(jié)點分散在一定的地理環(huán)境范圍內(nèi)。通過對各節(jié)點采集的數(shù)據(jù)進(jìn)行局部處理，最終實現(xiàn)整個系統(tǒng)的信息處理。分布式網(wǎng)絡(luò)根據(jù)協(xié)作策略不同分為：擴散式、一致式和增量式。擴散網(wǎng)絡(luò)的信息交換過程與一致性相同，即每個節(jié)點可以與所有相鄰的代理進(jìn)行信息交換，但擴散策略優(yōu)于后兩種策略[21]。

仿射投影算法是利用數(shù)據(jù)重用的方法在傳統(tǒng)LMS 算法上做出的改進(jìn)算法。該算法將最近P 個輸入向量組合在一起，以P 作為仿射投影階數(shù)。在一個N 個節(jié)點的分布式網(wǎng)絡(luò)中，第k 個節(jié)點的輸入信號表示為uk(i)，數(shù)據(jù)重用后，輸入信號可寫成如下矩陣形式：

矩陣中的P 代表投影階數(shù)，M 為濾波器長度，i 表示時刻，［·］T為矩陣的轉(zhuǎn)置。

輸出信號yk(i)和期望信號dk(i)分別寫成矩陣形式表達(dá)式如下：

式中，w0為待估計的權(quán)值向量，M 為長度，vk(i)為信號中的加性干擾噪聲。

傳統(tǒng)的DAPA 算法是基于最小擾動原理（Principle of minimal disturbance）推導(dǎo)所得，一般是求解如下的受條件約束的最優(yōu)化問題：

節(jié)點k 通過與其通信組內(nèi)節(jié)點的中間權(quán)估計Φl(i)，利用拉格朗日乘子法對式(4)和(5)進(jìn)行推導(dǎo)，得基于ATC 式擴散策略[22]的DAPA 迭代算法的更新過程如下：

誤差向量表示為：

其中l(wèi) 為節(jié)點k 的鄰居節(jié)點，al，k為聯(lián)合系數(shù)，1。Nk表示與節(jié)點k 相連的所有節(jié)點的鄰域，當(dāng)l?Nk時，al，k=0。δI 為避免逆矩陣不滿秩的情況，δ 是一個極小的數(shù)，I 為M×M 的單位矩陣。μk為節(jié)點k 的步長參數(shù)。

上述DAPA 算法是基于L2 范數(shù)的自適應(yīng)濾波算法，在高斯噪聲下可以降低輸入信號的相關(guān)性，但在非高斯噪聲的干擾下會嚴(yán)重失調(diào)，為解決這一問題，在此提出一種基于最大相關(guān)熵的仿射投影算法。

3 基于最大相關(guān)熵的分布式仿射投影算法

3.1 最大相關(guān)熵準(zhǔn)則

相關(guān)熵是兩個隨機序列X 和Y 之間的非線性相似性度量，定義為：

其中E(·)表示期望運算符，x、y 是序列X、Y 中的元素，fXY(x，y)是X、Y 的聯(lián)合概率密度函數(shù)，κ(·)表示Mercer 核函數(shù)，其中最常用的Mercer 核函數(shù)是高斯核，定義為：

其中，σ＞0 表示核寬。

期望信號d(i)來自線性模型：

其中，w0為M×1 維待估計的未知參數(shù)向量，v(i)為背景噪聲，誤差信號為：

其中，w(i)是迭代到i 次時w0的估計。

在MCC 中，代價函數(shù)為：

3.2 DMCCAPA 算法

由于MCC 算法不能用于分布估計，故而在此提出DMCC 算法。DMCC 有兩種擴散策略，分別是先結(jié)合后自適應(yīng)的CTA（Combine-Then-Adapt)模式和先自適應(yīng)后結(jié)合的ATC（Adapt-Then-Combine)模式。ATC 可以比CTA 更快地遍歷所有節(jié)點[23]，此處選用ATC 策略展開討論。

DMCC 使用與MCC 相同的代價函數(shù)來抑制網(wǎng)絡(luò)中每個節(jié)點的脈沖噪聲。在具有N 個節(jié)點的分布式網(wǎng)絡(luò)中，待估計的未知向量為w0，k是M×1 維，節(jié)點k 在第i 次迭代時的局部測量值為｛dk(i)，Uk(i)｝，k=1，2，...， N，其中：

其中，vk(i)為背景噪聲，vk(i)和Uk(i)是相互獨立的。DMCC 是通過最大化節(jié)點k 的鄰居Nk內(nèi)的局部相關(guān)熵的線性組合來估計w0，k，DMCC 在節(jié)點k 處的代價函數(shù)為：

其中deg(k)表示節(jié)點k 的度（相鄰節(jié)點到節(jié)點k 鏈接的數(shù)目，包括代理k 自身）。

對式(14)關(guān)于wk求導(dǎo)：

因此，基于梯度法估計節(jié)點k 處w0，k的DMCC 算法可以表示為：

其中，Φk(i)為節(jié)點k 在i 時刻的中間估計值。

為了更好地理解本算法，將DMCCAPA 的算法規(guī)則歸納如下：

初始化： M=128，P=4，

對于每一次迭代i

4 仿真實驗

為了進(jìn)一步證明算法的有效性，對新提出的算法及其他的分布式自適應(yīng)濾波算法在不同的條件下進(jìn)行了仿真實驗。使各算法在同一收斂速度下對比各自的穩(wěn)態(tài)誤差：收斂速度相同時，得到穩(wěn)態(tài)越小，濾波算法的自適應(yīng)性越好，則表明在非高斯噪聲下算法具有較強的魯棒性。

4.1 噪聲環(huán)境

實驗采用的輸入uk(i)為有色信號，它是均值為零的高斯分布的白信號通過一階AR 系統(tǒng)得到的。一階系統(tǒng)為。并在輸出信號yk(i)=中加入測量噪聲。仿真實驗中噪聲分別為均值為零的白噪聲vk(i)和脈沖噪聲vk(i)，兩種噪聲模型分別如圖1 和圖2 所示。令其信噪比SNR=10×其中脈沖噪聲采用伯努利分布，也稱為(0，1)分布，寫成一個伯努利函數(shù)與高斯函數(shù)相乘的形式：vk(i)=χk(i)γk(i)，此處，χk(i)為伯努利分布，γk(i)為高斯分布。

4.2 性能指標(biāo)及參數(shù)設(shè)置

實驗中選用網(wǎng)絡(luò)均方誤差（Network Mean Square Deviation，NMSD）的收斂曲線來評價各算法的收斂性能[24]，定義為：

其中，NMSD 的值越大收斂性能越差；反之，該值越小表明自適應(yīng)濾波系統(tǒng)越接近待估計系統(tǒng)。

為便于計算，由表1 給出實驗中設(shè)置的參數(shù)。

表1 實驗參數(shù)設(shè)置

4.3 仿真結(jié)果及分析

輸入為有色信號，高斯噪聲環(huán)境下，對DLMS 算法、DAPA 算法、DPSA 算法、DMCCLMS 算法以及新提出的DMCCAPA 算法的收斂性能進(jìn)行對比分析。

當(dāng)環(huán)境為高斯噪聲時，設(shè)置信噪比SNR 為20dB，DLMS、DAPA、DPSA、DMCCLMS 及DMCCAPA算法的步長分別設(shè)置為0.2、0.15、0.08、0.002、0.001，其中DMCCLMS 和DMCCAPA 算法的核寬設(shè)為4。對比結(jié)果如圖3 所示?？梢姡咚乖肼曄螺斎霝橛猩盘枙r，DLMS 和DMCCLMS 算法受有色信號的影響，算法收斂速度較慢。而DAPA、DAPSA 算法以及DMCCAPA 算法利用數(shù)據(jù)重用，降低了有色輸入信號對算法的影響。注意到新提出的DMCCAPA 算法的收斂速度最快。

圖3 高斯噪聲下各算法仿真對比

非高斯噪聲下進(jìn)行的仿真結(jié)果如圖4。分別設(shè)置DLMS、DAPA、DPSA、DMCCLMS 以及DMCCAPA算 法 的 步 長 參 數(shù) 為0.3、0.2、0.075、0.003、0.0015。DMCCLMS 和DMCCAPA 算法的核寬設(shè)為4。由圖4可知，非高斯噪聲環(huán)境下，DLMS 和DAPA 算法徹底失調(diào)。DAPSA 采用符號算法對誤差信號進(jìn)行量化，對非高斯噪聲有一定的抗干擾能力，但量化后的誤差函數(shù)取值大幅受限，使得算法的穩(wěn)態(tài)誤差較大。而新提DMCCAPA 算法求誤差信號的最大相關(guān)熵，大大降低了非高斯噪聲的干擾，且收斂較快。對比這些算法在相同的收斂速度下，新算法穩(wěn)態(tài)誤差最小，具有較強的魯棒性。

圖4 脈沖噪聲下各算法仿真對比

5 結(jié) 束 語

基于對最大相關(guān)熵準(zhǔn)則的討論，以高斯核函數(shù)的DMCC 作為代價函數(shù)，提出一種基于DMCC 的仿射投影算法。在研究中借助了最大相關(guān)熵理論，作為一種基于信息熵理論的自適應(yīng)濾波算法，在非高斯噪聲下現(xiàn)實了較強的魯棒性。與DAPA 算法相結(jié)合，在輸入信號相關(guān)性較高的情況下，該算法能快速收斂。仿真結(jié)果表明，在非高斯噪聲下，DMCCAPA 算法具有更好的性能，具有較快的收斂速度和較小的穩(wěn)態(tài)誤差。