多任務(wù)自適應(yīng)網(wǎng)絡(luò)的非負參數(shù)向量辨識研究

王紫璇

摘 要：多任務(wù)自適應(yīng)網(wǎng)絡(luò)是指網(wǎng)絡(luò)中節(jié)點辨識的參數(shù)向量不完全相同的自適應(yīng)網(wǎng)絡(luò)。在一些物理現(xiàn)象中，網(wǎng)絡(luò)中的參數(shù)向量可能會受到非負性條件約束。然而，現(xiàn)有的多任務(wù)擴散式LMS算法只適用于辨識無約束的參數(shù)向量。為了解決這一問題，選用每個節(jié)點的誤差信號的三次方的絕對值作為代價函數(shù)，并利用KKT條件和隨機梯度下降法，推導(dǎo)出一種多任務(wù)非負三次方絕對值算法（MD-NNLMAT）。仿真結(jié)果表明，在相同的穩(wěn)態(tài)失調(diào)下，該算法比多任務(wù)非負最小均方算法（MD-NNLMS）有更快的收斂速度。

關(guān)鍵詞：多任務(wù);自適應(yīng)網(wǎng)絡(luò);非負性約束

中圖分類號：TN713文獻標識碼：A文章編號：1003-5168（2020）14-0014-04

Research on Nonnegative Parameter Vector Identification of Multitask Adaptive Network

WANG Zixuan

（Suzhou University，Suzhou Jiangsu 215006）

Abstract： Multitask adaptive network refers to an adaptive network in which the parameter vectors of node identification in the network are not exactly the same. In some physical phenomena， the parameter vectors in the network may be constrained by nonnegative conditions. However， the existing multitask diffusion LMS algorithm is only suitable for identifying unconstrained parameter vectors. In order to solve this problem， the absolute value of the cubic power of the error signal of each node is selected as the cost function， and the multitask diffusion nonnegative least mean absolute third （MD-NNLMAT） algorithm is derived using KKT conditions and stochastic gradient descent method. Simulation results show that under the same steady-state offset， the algorithm has a faster convergence rate than the multitask diffusion nonnegative least mean square （MD-NNLMS） algorithm.

Keywords： multitasking;adaptive network;nonnegative constraints

一直以來，傳統(tǒng)的自適應(yīng)濾波器理論側(cè)重于研究單個節(jié)點的辨識問題。近幾十年來，在計算機網(wǎng)絡(luò)、通信網(wǎng)絡(luò)、機器學(xué)習(xí)等多個領(lǐng)域，諸多學(xué)者致力于研究節(jié)點間信息的交互，而不是僅僅依靠節(jié)點自身的信息。在分布式自適應(yīng)網(wǎng)絡(luò)中，每個節(jié)點可以利用相鄰節(jié)點的交互信息進行獨立運算，這樣可以提高整個網(wǎng)絡(luò)辨識的準確性。根據(jù)節(jié)點的協(xié)作方式不同，人們可以將網(wǎng)絡(luò)分為遞增式、擴散式和概率擴散式三種自適應(yīng)網(wǎng)絡(luò)類型。基于各種結(jié)構(gòu)和自適應(yīng)濾波框架，人們提出了一系列分布式網(wǎng)絡(luò)算法。2013年，Chen等人提出了一系列多任務(wù)擴散式算法[1]。2016年，Shi提出了一種擴散式仿射投影（DAPA）算法[2]。這些算法有效地拓展了自適應(yīng)網(wǎng)絡(luò)的應(yīng)用范圍，提高了信號處理效果。

在一些物理現(xiàn)象中，如濃度場、人口統(tǒng)計等，多任務(wù)自適應(yīng)網(wǎng)絡(luò)中的參數(shù)向量需要滿足非負性約束。在非負性約束條件下，自適應(yīng)濾波算法本質(zhì)上是求解條件約束下的最優(yōu)化問題。2011年，Chen提出了非負最小均方（NNLMS）算法及其衍生出的一系列算法[3]，豐富了自適應(yīng)濾波器的理論。之后，其他學(xué)者又提出了指數(shù)非負最小均方（Exponential LMS）算法[4]、非負最小四階矩（Nonnegative Least Mean Forth，NNLMF）算法[5-6]以及基于零范數(shù)的非負最小均方（[l0]-NNLMS）算法[7]。

然而，現(xiàn)有的多任務(wù)擴散式LMS算法和多任務(wù)擴散式RLS算法只適用于辨識無約束的參數(shù)向量。因此，本文首先定義節(jié)點誤差三次方的絕對值為代價函數(shù)，然后利用KKT條件和隨機梯度下降法推導(dǎo)出多任務(wù)自適應(yīng)網(wǎng)絡(luò)的節(jié)點迭代算法。仿真結(jié)果表明，在高斯噪聲和均勻噪聲兩種噪聲環(huán)境下，該算法的性能都優(yōu)于多任務(wù)自適應(yīng)網(wǎng)絡(luò)的非負最小均方算法。

1 多任務(wù)自適應(yīng)網(wǎng)絡(luò)模型

圖1為多任務(wù)自適應(yīng)網(wǎng)絡(luò)節(jié)點示意圖，網(wǎng)絡(luò)的拓撲結(jié)構(gòu)為擴散式。該網(wǎng)絡(luò)分為四個簇，每個簇估計的參數(shù)向量相同，即[woi=woC1]，[i=1，2，3，4，5，6]，[woj=woC2]，[ j=7，8，9，10，11]，[wok=woC3]，[k=12，13，14，15]，[wol=woC4]，[l=16，17，18，19，20]，網(wǎng)絡(luò)中不同簇估計的參數(shù)向量是不同的，即[woC1≠woC2≠woC3≠woC4]，但它們之間存在某種相似性。

圖2為網(wǎng)絡(luò)節(jié)點參數(shù)向量自適應(yīng)辨識框圖。其中，未知系統(tǒng)的權(quán)向量為[w*=w*1，w*2，...w*MT]，[M]為系統(tǒng)的抽頭個數(shù)。系統(tǒng)的期望信號滿足以下條件：

[dn=xTnw*+zn] ? ? ? ? ? ? ? ? ? ? ? ? ? ?（1）

式中，[xn=xn，xn-1，...，xn-M+1T]為輸入向量;[zn]為測量噪聲。

自適應(yīng)系統(tǒng)的誤差信號可以表示為：

[en=dn-wTnxn] ? ? ? ? ? ? ? ? ? ? ? ? （2）

自適應(yīng)濾波算法正是通過最小化均方誤差來進行迭代更新，進而得到權(quán)值的。

2 算法推導(dǎo)

2.1 多任務(wù)自適應(yīng)網(wǎng)絡(luò)節(jié)點代價函數(shù)

在圖1所示的多任務(wù)自適應(yīng)網(wǎng)絡(luò)中，定義節(jié)點[k]的鄰域（包括[k]）為[Nk]，節(jié)點[k]所在的簇為[Ck]，在節(jié)點[k]的鄰域內(nèi)但不包含[k]的所有節(jié)點記為[N-k]。每個節(jié)點滿足信號模型[dkn=uTknw*+zkn]。

為了建立節(jié)點的代價函數(shù)[1]，對于相同簇內(nèi)的節(jié)點，定義聯(lián)合矩陣[C∈?20×20]，其每一個聯(lián)合參數(shù)[c?k]滿足以下條件：

[c?k≥0，k∈N??C?c?k=1， c?k=0 for k?N??C?] ? ? ? ? （3）

對于不同簇內(nèi)的節(jié)點，定義相似性矩陣[ρ∈?20×20]，其每一個相似性參數(shù)[ρk?]滿足以下條件：

[ρk?≥0，?∈Nk＼Ckρk?=1， ρk?=0 for ??Nk＼Ck] ? ? ? ?（4）

所以，網(wǎng)絡(luò)中某一節(jié)點的局部代價函數(shù)為：

[Jlockwk=?∈Nk?Ckc?kJwk+η?∈Nk＼Ckρk?wk-w?2] ?（5）

在文獻[1]中，[Jwk=Ed?n-xT?nwk2]。文獻[8]指出，在絕大多數(shù)信號噪聲情況下，選用誤差的三次方的絕對值作為代價函數(shù)要比均方誤差效果好。因此，本文選用[Jwk=Ed?n-xT?nwk3]作為代價函數(shù)。節(jié)點[k]所在的簇[Ck]在第[k]個節(jié)點處的代價函數(shù)可寫為：

[JCkwk=Jlockwk+?∈Ck＼kwl-wol2Rl] ? ? ? ? ? ? ?（6）

其中，[Rk=?∈Nk?Ckc?kRu，?+η?∈Nk＼Ckρk?IL]。對式（6）進行近似，得到[wk-wo?2Rl≈b?kwk-wo?2]。[b?k]為與第[k]個節(jié)點相關(guān)的非負性參數(shù)。采用文獻[1]中的方法進行近似簡化，最終可以得到節(jié)點[k]所在的簇[Ck]在第[k]個節(jié)點處的代價函數(shù)，可寫為：

[JCkwk=?∈Nk?Ckc?kJwk+η?∈Nk＼Ckρk?wk-w?2+?∈N-k?Ckb?kwk-wo?2] ? （7）

對于上式求梯度，并以瞬時值代替期望值，得到以下公式：

[?wJCkwk=-?∈Nk?C（k）c?ksigneke2kx?n+η?∈Nk＼Ckρk?wk-w?+?∈N-k?Ckb?kwk-wo?] ? ? ? （8）

其中，[ek=d?n-xT?nwk]。

2.2 非負自適應(yīng)濾波算法

在非負性約束下，一個未知系統(tǒng)的最優(yōu)估計[wo]滿足以下條件：

[wo=argminwJ（w）s.t. wi≥0，i∈1，2，...M] ? ? ? ? ? ? ? ? ? ? （9）

利用KKT條件，文獻[3]求解出非負自適應(yīng)濾波算法迭代公式，即

[wk（n+1）=wk（n）+μDwk（n）[-?wJC（k）（wk（n））]] ? ? ? ? （10）

其中，[Dwk（n）]表示以[wk（n）]的元素為對角元素的對角矩陣。將式（8）帶入式（10），可得：

[wkn+1=wkn+μDwkn?∈Nk?Ckc?ksignekek2nx?n ? ? ? ? ? ? ? ? ?-μηDwkn?∈Nk＼Ckρk?wkn-w?n ? ? ? ? ? ? ? ? ?-μDwkn?∈N-k?Ckb?kwkn-wo?] ? ? ? ?（11）

其中，[ek=d?n-xT?nwk]。

在分布式網(wǎng)絡(luò)中，常采用ATC策略對式（11）進行拆分[9]，可以得到如下迭代方程：

[ψkn+1=wkn+μDwkn?∈Nk?Ckc?ksignekek2nx?n ? ? ? ? ? ? ? ? ?-μηDwkn?∈Nk＼Ckρk?wkn-w?nwkn+1=ψkn+1-μDwkn?∈N-k?Ckb?kwkn-wo?] ? ? ? （12）

由于[wo?]是一個未知量，人們將[ψ?（n+1）]作為其估計值。同時，[ψk（n+1）]相比于[wkn]是節(jié)點[k]的權(quán)值的更優(yōu)估計，因此將[wkn]以[ψk（n+1）]代替。隨著迭代次數(shù)的增加，[ψk（n+1）]與[ψ?（n+1）]差別很小，為了減少計算量，將式（12）中的[Dwk（n）]舍去，可得：

[wkn+1=ψkn+1-μ?∈N-k?Ckb?kψkn+1-ψ?n+1 ? ? ? ? ? ? ? =1-μ?∈N-k?C（k）b?kψkn+1+μ?∈N-k?Ckb?kψ?n+1]（13）

定義

[akk?1-μ?∈N-k?C（k）b?ka?k?μb?k，?∈N-k?C（k）a?k?0，??Nk?C（k）] ? ? ? ? ? ? ? ? （14）

因此，最終的MD-NNLMAT算法為：

[ψkn+1=wkn+μDwkn?∈Nk?Ckc?ksignekek2x?n ? ? ? ? ? ? ? ? ?-μηDwkn?∈Nk＼Ckρk?wkn-w?nwkn+1=?∈Nk?Cka?kψ?n+1] ? ? ? （15）

其中，[ek=d?n-xT?nwk]。為了簡化系統(tǒng)聯(lián)合參數(shù)，取[a?k=ck?]。試驗中，聯(lián)合參數(shù)、相似性參數(shù)選取均采用平均法則，即[c?k=|N??C?|-1，k∈N??C?]，[ρ?k=|Nk＼Ck|-1，?∈Nk＼Ck]。

3 仿真試驗

采用MATLAB對算法進行仿真。選取如圖1所示的包含4個任務(wù)簇和20個節(jié)點的分布式網(wǎng)絡(luò)拓撲結(jié)構(gòu)。

在仿真中，未知系統(tǒng)的長度選為20，每一個節(jié)點都可以利用相鄰節(jié)點的信息進行運算，因而提升了整個網(wǎng)絡(luò)的魯棒性。因為相鄰簇之間存在相似性，因此使用線性模型[w*C?=w*+ΔwC?，?∈{1，2，3，4}]獲取簇[C?]的權(quán)值參數(shù)向量[10]。四個簇的權(quán)值參數(shù)向量取值如圖3所示。

從圖3可以看出，每一個簇選擇的參數(shù)向量不完全相同，但又包含相同的原始參數(shù)向量[w*]，說明這四個簇既是相似的，但又包含了不同，因此比較合理地反映了多任務(wù)自適應(yīng)網(wǎng)絡(luò)的參數(shù)取值情況。

定義輸入信號和系統(tǒng)噪聲的方差分別為[σ2x]和[σ2z]，輸入信號選取均值為0.5，標準差為0.1的高斯噪聲，系統(tǒng)噪聲分別選取為均值為0.05，標準差為1e-3的高斯噪聲和均勻噪聲。

采用歸一化均方偏差NMSD對算法的性能進行評估，所有的NMSD曲線為20次獨立試驗取平均的結(jié)果。其表達式為：

[NMSD=1N?=14k∈C?10log10wk-wo+C?wo+C?]（16）

其中，[wo+]為沒有負值的最優(yōu)解。由文獻[3]可知，經(jīng)過迭代，最優(yōu)解中沒有負值元素，即負值變?yōu)?。

試驗一：本試驗在高斯噪聲環(huán)境中，分別使用多任務(wù)非負最小均方算法（MD-NNLMS）和多任務(wù)非負最小三次方絕對值算法（MD-NNLMAT）進行仿真。為了方便進行對比，盡可能保證算法具有相同的穩(wěn)態(tài)失調(diào)，取[μMD-NNLMS=0.015]，[μMD-NNLMAT=0.024]，[η=0.001]。算法收斂性能如圖4所示?？梢钥闯?，當(dāng)兩種算法的穩(wěn)態(tài)失調(diào)相同時，MD-NNLMAT算法比MD-NNLMS算法收斂速度更快。

將收斂后各節(jié)點的權(quán)值取平均，與原始參數(shù)向量[w*]的非負形式進行比較，結(jié)果如圖5所示。

試驗二：本試驗在均勻噪聲環(huán)境中，分別使用多任務(wù)非負最小均方算法（MD-NNLMS）和多任務(wù)非負最小三次方絕對值算法（MD-NNLMAT）進行仿真。為了方便進行對比，盡可能保證算法具有相同的穩(wěn)態(tài)失調(diào)，取[μMD-NNLMS=0.015]，[μMD-NNLMAT=0.024]，[η=0.001]。算法收斂性能如圖6所示?？梢钥闯?，當(dāng)兩種算法的穩(wěn)態(tài)失調(diào)相同時，MD-NNLMAT算法比MD-NNLMS算法收斂速度更快。

將收斂后各節(jié)點的權(quán)值取平均，與原始參數(shù)向量[w*]進行比較，結(jié)果如圖7所示。可以看出，算法的迭代結(jié)果較接近準確結(jié)果。

4 結(jié)語

本文通過選取了節(jié)點新的代價函數(shù)，運用梯度下降法和KKT條件，推導(dǎo)出了一種多任務(wù)自適應(yīng)網(wǎng)絡(luò)的非負最小三次方絕對值（MD-NNLMAT）算法。仿真結(jié)果表明，在高斯噪聲和均勻噪聲情況下，MD-NNLMAT算法的性能都優(yōu)于MD-NNLMS算法。

參考文獻：

[1]Chen J，Richard C，Sayed A H.Multitask Diffusion Adaptation over Networks[J].IEEE Journal of Selected Topics in Signal Processing，2013（99）：1.

[2]Shi J，Ni J，Chen X.Variable step-size diffusion proportionate affine projection algorithm[C]//IEEE International Workshop on Acoustic Signal Enhancement.2016.

[3]Chen J，Richard C，Bermudez J C M，et al.Nonnegative Least-Mean-Square Algorithm[J].Signal Processing，2011（11）：5225-5235.

[4]Chen J，Richard C，Bermudez J C M，et al.Variants of Non-Negative Least-Mean-Square Algorithm and Convergence Analysis[J].IEEE Transactions on Signal Processing，2014（15）：3990-4005.

[5]Ni J，Yang J.Nonnegative least-mean-fourth algorithm[C]//5th IET International Conference on Wireless，Mobile and Multimedia Networks.2013.

[6]Ni J，Yang J，Chen J，et al.Stochastic behavior of the nonnegative least mean fourth algorithm for stationary Gaussian inputs and slow learning[J].Signal Processing，2016（128）：18-27.

[7]Zhao K，Ni J，Chen X.Improved nonnegative adaptive filtering algorithms[C]//IEEE International Workshop on Acoustic Signal Enhancement.2016.

[8]K Xiong，S Wang，B Chen.Robust Normalized Least Mean Absolute Third Algorithms[J].IEEE Access，2019（7）：10318-10330.

[9]Sayed A H.Diffusion Adaptation over Networks[J].Academic Press Library in Signal Processing，2012（5）：323-453.

[10]朱亞楠.魯棒自適應(yīng)網(wǎng)絡(luò)研究[D]蘇州：蘇州大學(xué)，2018.