非高斯噪聲下基于Wilcoxon范數(shù)的變步長符號擴散式仿射投影算法

郭 瑩 于和芳 趙 璐 李 飛 劉振宇

(沈陽工業(yè)大學信息科學與工程學院 沈陽 110870)

1 引言

分布式自適應估計是一種多節(jié)點協(xié)作的信息處理方式，即傳感器網絡中的各個節(jié)點均通過自適應迭代方式參與計算，并按照特定的協(xié)作策略與鄰居節(jié)點進行信息交互，從而實現(xiàn)對感興趣參數(shù)的有效估計。在各種節(jié)點協(xié)作策略中擴散策略[1]更具靈活性和適應性，適于實現(xiàn)大規(guī)模網絡參數(shù)的自適應估計。因而，在救災管理、精確農業(yè)、電力系統(tǒng)建設等眾多領域[2–4]得到了廣泛應用。

根據輸入信號的特性不同，擴散式自適應估計算法可分為白輸入信號算法和有色輸入信號算法。最早提出的擴散式自適應估計算法—DLMS(Diffusion Least Mean Square)及其改進算法[5–7]就是在白輸入信號的假設之下得到的，對于有色輸入信號該類算法的性能退化嚴重。為此，各種針對有色輸入信號的算法相繼出現(xiàn)，擴散式仿射投影算法(Diffusion Affine Projection Algorithm,DAPA)[8,9]是其中之一，它是在DLMS的基礎上通過對輸入數(shù)據的重用來保證在輸入信號存在相關性時仍快速收斂。為了便于算法分析，DAPA算法簡單地假設系統(tǒng)加性噪聲為符合大數(shù)定理的高斯分布。但是，實際應用中往往會遇到由大氣、同信道干擾、節(jié)點失效等造成的具有脈沖特性的非高斯噪聲[10–16]，這類噪聲在幅度上的強脈沖性會導致傳統(tǒng)基于高斯假設的2階統(tǒng)計量算法發(fā)生性能退化甚至完全失效，而DAPA算法恰恰是基于2階統(tǒng)計量的，故其不適用于非高斯噪聲。抑制非高斯噪聲的方法大致可分為兩類：信息論法和穩(wěn)健統(tǒng)計量法。信息論法依據熵是局部相似性的度量而采用最大相關熵準則(Maximum Correntropy Criterion,MCC)[12,13]和最小誤差熵[14]抑制具有脈沖性的異常值即非高斯噪聲。穩(wěn)健統(tǒng)計量法是目前主流的非高斯噪聲抑制方法，用于擴散式自適應估計的穩(wěn)健統(tǒng)計量主要是M估計量和L1范數(shù)，該類方法通過求取某個非2階統(tǒng)計函數(shù)的最小化來獲得最優(yōu)估計[15–19]。實際上，在穩(wěn)健估計理論中還有另一種對抗異常值非常有效的估計量：R(Rank based estimator)估計量，其代價函數(shù)是通過對誤差值進行排序的評分函數(shù)來定義的。R估計量的優(yōu)點是計算量小且抗異常值能力強[20]，其中的Wilcoxon范數(shù)近年來得到了信號處理領域的廣泛關注，目前的研究主要集中在單節(jié)點的參數(shù)估計上：Majhi等人[21]將Wilcoxon范數(shù)作為代價函數(shù)提出Wilcoxon最小均方誤差算法(Wilcoxon Least Mean Square, WLMS)，實現(xiàn)了穩(wěn)健的系統(tǒng)辨識算法；Ban等人[22]提出了基于Wilcoxon范數(shù)的仿射投影算法(Wilcoxon Affine Projection Algorithm, WAPA)，通過最小化加權Wilcoxon范數(shù)來克服APA算法的不足；文獻[23]提出符號回歸Wilcoxon LMS算法(Sign-regressor Wilcoxon LMS)，獲得了更快的收斂速度；文獻[24]在塊最小二乘算法(Block Recursive Least Square, BRLS)中加入Wilcoxon范數(shù)，通過QR分解減少其計算量。Wilcoxon范數(shù)在分布式自適應網絡的應用起步較晚，最早出現(xiàn)的是由Kumar等人[25]于2016年提出的擴散最小Wilcoxon范數(shù)(Diffusion Minimum Wilcoxon Norm, DMWN)算法，該文分別在不同非高斯條件下對算法進行了驗證并給出了理論分析。

受上述文獻啟發(fā)，考慮到非高斯噪聲對DAPA類算法的影響，本文基于Wilcoxon范數(shù)對原代價函數(shù)進行了改進，得到了新的迭代方程，同時為提升算法的適應能力，基于最優(yōu)步長的上界提出了變步長策略，即通過建立步長與誤差信號之間的非線性關系打破固定步長的局限性，在收斂初始階段，采用大步長加快收斂速度；當接近收斂階段，保持步長不變。仿真實驗表明，本文新算法在非高斯噪聲和高斯噪聲環(huán)境下均表現(xiàn)出良好的性能。

文中用到的各種運算及其含義為：col{x1x2···xN}表 示將列向量x1x2···xN依次縱向組成一個列向量，[ ·]T表示求矩陣的轉置，s ign(·)表示符號運算， E[·]表 示求期望，d iag{·}表示產生對角矩陣，λmax(·)為 矩陣的最大特征值，INM為N ×M的單位||·為 向量的歐氏范數(shù)的平方，| ·|表示求絕對值，矩陣， X ?C表示求兩矩陣X和C的克羅內克積，med(·)表 示求中值，? 表示定義。

2 問題描述

2.1 系統(tǒng)模型

考慮一個由 N個節(jié)點組成的分布式網絡，所有與節(jié)點k 直接相連的鄰居節(jié)點集合記為Nk(包括節(jié)點k 自身在內)，其中的任意兩個鄰居節(jié)點l ,k通過融合系數(shù)clk實現(xiàn)信息交互。網絡中待估計的未知參數(shù)向量 w0是M ×1 維向量，uk(i) 是M ×1的輸入向量，則節(jié)點 k 在i時 刻的局部測量值為{ dk(i),uk(i)},k =1,2,···,N，它們之間的線性關系為

其中， M為濾波器長度，uk(i)=[uk(i) uk(i ?1) ···uk(i ?M +1)]T是M ×1 維的輸入向量。假設uk(i)和ηk(i)相 互獨立，ηk(i)為背景噪聲，在實際場景中它可能是符合高斯分布的高斯噪聲，也可能是不符合高斯分布的非高斯脈沖噪聲。本文采用混合高斯模型[13,16,19]來描述非高斯噪聲：

其中，χk(i)與 vk(i)是獨立同分布的零均值高斯白噪聲，方差分別為和, mk(i)=bk(i)vk(i)表 示非高斯噪聲，bk(i)為伯努利過程，其概率密度函數(shù)為 P [bk(i)=1]=pk, P [bk(i)=0]=1 ?pk,pk表 示在節(jié)點k 脈沖性噪聲發(fā)生的概率。相應地，ηk(i)的概率密度函數(shù)為

2.2 傳統(tǒng)的DAPA算法

擴散式策略有兩種實現(xiàn)形式，一是先融合再進行自適應的CTA(Combine-Then-Adapt)模式，二是先進行自適應再融合的ATC(Adapt -Then-Combine)模式。二者的基本結構相同，但融合和自適應的順序不同導致ATC模式比CTA模式能夠更快速地遍歷所有的節(jié)點，因此本文采用ATC模式[1]。

A T C 模式下擴散式自適應估計的節(jié)點k =1,2,···,N的迭代過程為

式中， f [Φl(i+1);l ∈Nk] 表示節(jié)點k 與其鄰居節(jié)點l間的融合函數(shù)，Nk表 示節(jié)點k 的所有鄰居節(jié)點的集合； ? Jk(wk(i)是代價函數(shù)的梯度，根據代價函數(shù)的不同可以得到不同算法的迭代過程。

DAPA算法在DLMS算法的基礎上對輸入數(shù)據進行重組，將P(稱為仿射投影階數(shù))個輸入向量組合形成輸入信號的 M ×P 維矩陣形式：Uk(i)=[uk(i) uk(i ?1) ··· uk(i ?P +1)]；期 望 信 號 表 示為dk(i) =Uk(i)+ηk(i)=[dk(i) dk(i ?1) ··· dk(i ?P +1)]； 噪聲向量表示為ηk(i)=[ηk(i) ηk(i ?1)··· ηk(i ?P +1)]。傳統(tǒng)的DAPA 算法在噪聲符合高斯分布的假設下，通過求解式(5)的最優(yōu)化問題來估計權向量w0。

由此可以看到，DAPA算法是一種2階統(tǒng)計量方法，在非高斯噪聲下必將失效。

3 本文提出的算法

3.1 迭代方程的推導

考慮到Wilcoxon的諸多優(yōu)點，本文基于Wilcoxon范數(shù)推導新的迭代方程。后驗誤差向量：

由于沖擊噪聲樣本對算法性能的影響發(fā)生在迭代過程中，因此為提高算法對非高斯噪聲的魯棒性，增加一個約束條件，從而最小化條件約束公式為

采用拉格朗日算子法求解上述優(yōu)化問題，有

對式(9)求關于wk(i)的偏導數(shù)并令其為零，同時考慮式(6)的Wilcoxon范數(shù)定義，得到

對式(8)的約束條件取等號，并將式(10)代入，得到

繼而可得

同時，考慮到Wilcoxon范數(shù)中評分函數(shù)的范替換為 φ(u)=sign(u ?0.5)，從而得到本文的迭代方程為

為進一步提高算法的適應性，本文采用步長可變策略，具體的推導過程見3.2節(jié)。

3.2 變步長的推導

所以

這里，

是關于 μk(i) 的函數(shù)。為使式(15)所示的從i時刻到i+1時 刻的均方差達到最小，? (μk(i))必須進行最小化計算。將? (μk(i))重寫為

將| |ηk(i)||1近 似為其期望：E [||ηk(i)||1]， 并考慮|ηk(i)|可看作為半正態(tài)分布[26]，得到

因此，

將式(19)的右邊定義為關于μk(i)的函數(shù)，并對其求關于μk(i)的導數(shù)，再令其為零，同時考慮到期望難以得到，首先設

式(20)中的 σηk可由文獻[26]的方法得到，然后采用滑動平均方法獲得可變步長：

γ(0 <γ<1) 是滑動系數(shù)，變步長的初值μk(0)=和分別是輸入信號和輸出信號的功率。非高斯的沖激噪聲樣本是以小概率隨機出現(xiàn)的，且具有很大的幅度，也就是說，強脈沖性的非高斯噪聲樣本不是經常出現(xiàn)的，同時考慮到在初始階段μk(i)比較大，所以步長選擇為 βk(i)，從而步長會根據a[(i ?1)]ek(i ?1)的變化而更新，而在接近穩(wěn)定階段就保持步長不變。當非高斯噪聲出現(xiàn)時，步長保持不變，以避免脈沖噪聲樣本對步長參數(shù)的負面影響。

4 實驗仿真

為驗證算法的有效性，這里將本文算法、

DLMS[5], DAPA[8], DSELMS[7], DMCC[13],DLMP[6]算法在系統(tǒng)辨識問題中所獲的結果進行了對比分析。待估計的系統(tǒng)為w0=rand(M,1)/norm[rand(M,1)] , r and(·)表示標準的均勻分布函數(shù)，M=20，系統(tǒng)所在的分布式網絡由20個節(jié)點組成，融合參數(shù)由Metropolis準則[1]獲取。本文分別對白信號和有色信號兩種輸入進行了仿真：白信號是均值為零，方差為的高斯白噪聲；有色信號由上述白信號經過1階AR系統(tǒng)得到。仿真中加性噪聲分別為：高斯噪聲和非高斯噪聲，高 斯 噪 聲 為 χk(i) ， 其 方 差 為σ,k; vk(i)是 與χk(i)獨立同分布的零均值高斯白噪聲，其方差為σ,k，二者相加組成非高斯噪聲 ηk(i)，如式(2)所示。仿真中取ζim=10000, pk=0.01。同時，定義信噪比為

NMSD的值越小意味著所估計的向量越逼近未知系統(tǒng)，所有結果均為50次獨立平均的結果。

4.1 輸入為白信號

(1) 背景噪聲為高斯噪聲

圖1所示為輸入為白高斯信號，背景噪聲為高斯噪聲時各算法的性能，DLMS, DSELMS, DMCC,DLMP, DAPA算法的步長分別為0.0038, 0.0066,0.2, 0.0072, 0.021。由圖1可以看到，在這種條件下本文算法仍可以收斂，但是性能不如其他算法，原因是本文算法是針對有色輸入和非高斯噪聲而提出的。

(2)背景噪聲為非高斯噪聲

圖2所示為在非高斯噪聲下這7種算法的NMSD曲線。實驗中設置DLMS, DSELMS, DMCC,DLMP, DAPA算法的步長分別為0.0038, 0.0066,0.2, 0.0068, 0.008?？梢钥吹?，DLMS和DAPA算法已經失效，其它幾種算法可以在非高斯噪聲下較好工作，本文算法由于是針對相關輸入信號而提出的，因此性能不如DSELMS和DMCC， 但與DSELMS相差不多，且遠遠優(yōu)于DLMP。

圖1 輸入為白高斯信號，各算法在高斯噪聲下的NMSD曲線

圖2 輸入為白高斯信號，各算法在非高斯噪聲下的NMSD曲線

4.2 輸入為有色信號

(1) 背景噪聲為高斯噪聲

圖3所示為輸入信號為有色信號，背景噪聲為高斯噪聲下各算法的性能曲線。DLMS, DSELMS,DMCC, DLMP, DAPA算法的步長分別為0.0023,0.0076, 0.56, 0.0072, 0.008。可以看到，盡管背景噪聲是高斯噪聲，但DLMS算法由于并未考慮輸入信號的相關性而導致性能較差，而DSELMS,DLMP, DMCC算法均是針對非高斯噪聲而提出的，且沒有輸入信號的相關性，因此性能也不理想。DAPA算法采用了信號重用策略減少了信號相關性的影響，因此在高斯噪聲下獲得的性能最好。但是，同時也看到，本文算法優(yōu)于DSELMS,DLMP及DMCC算法，與DAPA算法幾乎相同，這說明本文算法在高斯噪聲條件下也可很好地工作。

(2) 背景噪聲為非高斯噪聲

輸入信號為有色信號，背景噪聲為非高斯噪聲，并為進一步說明本文算法優(yōu)越性，考慮了系統(tǒng)突變的情況，即在 i=10000 時，待估計系統(tǒng)由w0突變?yōu)? w0，各算法的跟蹤性能如圖4所示。實驗中設置DLMS, DSELMS, DMCC, DLMP, DAPA算法的步長參數(shù)分別為0.0023, 0.0056, 0.75, 0.0071,0.008?？梢钥吹剑珼LMS算法和DAPA算法在非高斯噪聲下失調，不能跟蹤系統(tǒng)的變化，其他算法能夠正常收斂，而本文算法在信道改變之后仍保持收斂，且穩(wěn)態(tài)誤差最小即抑制非高斯噪聲的能力最強。

圖3 輸入為有色信號，各算法在高斯噪聲下的NMSD曲線

圖4 輸入為有色信號，各算法在非高斯噪聲下的跟蹤性能

5 結論

本文基于Wilcoxon范數(shù)改進了DAPA算法的代價函數(shù)，并考慮固定步長的局限，提出了具有較強魯棒性的擴散式自適應參數(shù)估計新算法。仿真結果表明，本文的新算法不僅能有效抑制非高斯噪聲的干擾，而且在高斯噪聲下也能獲得良好性能。在非高斯噪聲下，與現(xiàn)有一些針對非高斯噪聲而提出的方法相比，本文算法具有更好的性能。需要指出的是，本文算法的復雜度與文中所對比的算法要略高一些。