多任務(wù)自適應(yīng)網(wǎng)絡(luò)的非負(fù)參數(shù)向量辨識(shí)研究

王紫璇

摘 要：多任務(wù)自適應(yīng)網(wǎng)絡(luò)是指網(wǎng)絡(luò)中節(jié)點(diǎn)辨識(shí)的參數(shù)向量不完全相同的自適應(yīng)網(wǎng)絡(luò)。在一些物理現(xiàn)象中，網(wǎng)絡(luò)中的參數(shù)向量可能會(huì)受到非負(fù)性條件約束。然而，現(xiàn)有的多任務(wù)擴(kuò)散式LMS算法只適用于辨識(shí)無(wú)約束的參數(shù)向量。為了解決這一問(wèn)題，選用每個(gè)節(jié)點(diǎn)的誤差信號(hào)的三次方的絕對(duì)值作為代價(jià)函數(shù)，并利用KKT條件和隨機(jī)梯度下降法，推導(dǎo)出一種多任務(wù)非負(fù)三次方絕對(duì)值算法（MD-NNLMAT）。仿真結(jié)果表明，在相同的穩(wěn)態(tài)失調(diào)下，該算法比多任務(wù)非負(fù)最小均方算法（MD-NNLMS）有更快的收斂速度。

關(guān)鍵詞：多任務(wù);自適應(yīng)網(wǎng)絡(luò);非負(fù)性約束

中圖分類號(hào)：TN713文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：1003-5168（2020）14-0014-04

Research on Nonnegative Parameter Vector Identification of Multitask Adaptive Network

WANG Zixuan

（Suzhou University，Suzhou Jiangsu 215006）

Abstract： Multitask adaptive network refers to an adaptive network in which the parameter vectors of node identification in the network are not exactly the same. In some physical phenomena， the parameter vectors in the network may be constrained by nonnegative conditions. However， the existing multitask diffusion LMS algorithm is only suitable for identifying unconstrained parameter vectors. In order to solve this problem， the absolute value of the cubic power of the error signal of each node is selected as the cost function， and the multitask diffusion nonnegative least mean absolute third （MD-NNLMAT） algorithm is derived using KKT conditions and stochastic gradient descent method. Simulation results show that under the same steady-state offset， the algorithm has a faster convergence rate than the multitask diffusion nonnegative least mean square （MD-NNLMS） algorithm.

Keywords： multitasking;adaptive network;nonnegative constraints

一直以來(lái)，傳統(tǒng)的自適應(yīng)濾波器理論側(cè)重于研究單個(gè)節(jié)點(diǎn)的辨識(shí)問(wèn)題。近幾十年來(lái)，在計(jì)算機(jī)網(wǎng)絡(luò)、通信網(wǎng)絡(luò)、機(jī)器學(xué)習(xí)等多個(gè)領(lǐng)域，諸多學(xué)者致力于研究節(jié)點(diǎn)間信息的交互，而不是僅僅依靠節(jié)點(diǎn)自身的信息。在分布式自適應(yīng)網(wǎng)絡(luò)中，每個(gè)節(jié)點(diǎn)可以利用相鄰節(jié)點(diǎn)的交互信息進(jìn)行獨(dú)立運(yùn)算，這樣可以提高整個(gè)網(wǎng)絡(luò)辨識(shí)的準(zhǔn)確性。根據(jù)節(jié)點(diǎn)的協(xié)作方式不同，人們可以將網(wǎng)絡(luò)分為遞增式、擴(kuò)散式和概率擴(kuò)散式三種自適應(yīng)網(wǎng)絡(luò)類型?；诟鞣N結(jié)構(gòu)和自適應(yīng)濾波框架，人們提出了一系列分布式網(wǎng)絡(luò)算法。2013年，Chen等人提出了一系列多任務(wù)擴(kuò)散式算法[1]。2016年，Shi提出了一種擴(kuò)散式仿射投影（DAPA）算法[2]。這些算法有效地拓展了自適應(yīng)網(wǎng)絡(luò)的應(yīng)用范圍，提高了信號(hào)處理效果。

在一些物理現(xiàn)象中，如濃度場(chǎng)、人口統(tǒng)計(jì)等，多任務(wù)自適應(yīng)網(wǎng)絡(luò)中的參數(shù)向量需要滿足非負(fù)性約束。在非負(fù)性約束條件下，自適應(yīng)濾波算法本質(zhì)上是求解條件約束下的最優(yōu)化問(wèn)題。2011年，Chen提出了非負(fù)最小均方（NNLMS）算法及其衍生出的一系列算法[3]，豐富了自適應(yīng)濾波器的理論。之后，其他學(xué)者又提出了指數(shù)非負(fù)最小均方（Exponential LMS）算法[4]、非負(fù)最小四階矩（Nonnegative Least Mean Forth，NNLMF）算法[5-6]以及基于零范數(shù)的非負(fù)最小均方（[l0]-NNLMS）算法[7]。

然而，現(xiàn)有的多任務(wù)擴(kuò)散式LMS算法和多任務(wù)擴(kuò)散式RLS算法只適用于辨識(shí)無(wú)約束的參數(shù)向量。因此，本文首先定義節(jié)點(diǎn)誤差三次方的絕對(duì)值為代價(jià)函數(shù)，然后利用KKT條件和隨機(jī)梯度下降法推導(dǎo)出多任務(wù)自適應(yīng)網(wǎng)絡(luò)的節(jié)點(diǎn)迭代算法。仿真結(jié)果表明，在高斯噪聲和均勻噪聲兩種噪聲環(huán)境下，該算法的性能都優(yōu)于多任務(wù)自適應(yīng)網(wǎng)絡(luò)的非負(fù)最小均方算法。

1 多任務(wù)自適應(yīng)網(wǎng)絡(luò)模型

圖1為多任務(wù)自適應(yīng)網(wǎng)絡(luò)節(jié)點(diǎn)示意圖，網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)為擴(kuò)散式。該網(wǎng)絡(luò)分為四個(gè)簇，每個(gè)簇估計(jì)的參數(shù)向量相同，即[woi=woC1]，[i=1，2，3，4，5，6]，[woj=woC2]，[ j=7，8，9，10，11]，[wok=woC3]，[k=12，13，14，15]，[wol=woC4]，[l=16，17，18，19，20]，網(wǎng)絡(luò)中不同簇估計(jì)的參數(shù)向量是不同的，即[woC1≠woC2≠woC3≠woC4]，但它們之間存在某種相似性。

圖2為網(wǎng)絡(luò)節(jié)點(diǎn)參數(shù)向量自適應(yīng)辨識(shí)框圖。其中，未知系統(tǒng)的權(quán)向量為[w*=w*1，w*2，...w*MT]，[M]為系統(tǒng)的抽頭個(gè)數(shù)。系統(tǒng)的期望信號(hào)滿足以下條件：

[dn=xTnw*+zn] ? ? ? ? ? ? ? ? ? ? ? ? ? ?（1）

式中，[xn=xn，xn-1，...，xn-M+1T]為輸入向量;[zn]為測(cè)量噪聲。

自適應(yīng)系統(tǒng)的誤差信號(hào)可以表示為：

[en=dn-wTnxn] ? ? ? ? ? ? ? ? ? ? ? ? （2）

自適應(yīng)濾波算法正是通過(guò)最小化均方誤差來(lái)進(jìn)行迭代更新，進(jìn)而得到權(quán)值的。

2 算法推導(dǎo)

2.1 多任務(wù)自適應(yīng)網(wǎng)絡(luò)節(jié)點(diǎn)代價(jià)函數(shù)

在圖1所示的多任務(wù)自適應(yīng)網(wǎng)絡(luò)中，定義節(jié)點(diǎn)[k]的鄰域（包括[k]）為[Nk]，節(jié)點(diǎn)[k]所在的簇為[Ck]，在節(jié)點(diǎn)[k]的鄰域內(nèi)但不包含[k]的所有節(jié)點(diǎn)記為[N-k]。每個(gè)節(jié)點(diǎn)滿足信號(hào)模型[dkn=uTknw*+zkn]。

為了建立節(jié)點(diǎn)的代價(jià)函數(shù)[1]，對(duì)于相同簇內(nèi)的節(jié)點(diǎn)，定義聯(lián)合矩陣[C∈?20×20]，其每一個(gè)聯(lián)合參數(shù)[c?k]滿足以下條件：

[c?k≥0，k∈N??C?c?k=1， c?k=0 for k?N??C?] ? ? ? ? （3）

對(duì)于不同簇內(nèi)的節(jié)點(diǎn)，定義相似性矩陣[ρ∈?20×20]，其每一個(gè)相似性參數(shù)[ρk?]滿足以下條件：

[ρk?≥0，?∈Nk＼Ckρk?=1， ρk?=0 for ??Nk＼Ck] ? ? ? ?（4）

所以，網(wǎng)絡(luò)中某一節(jié)點(diǎn)的局部代價(jià)函數(shù)為：

[Jlockwk=?∈Nk?Ckc?kJwk+η?∈Nk＼Ckρk?wk-w?2] ?（5）

在文獻(xiàn)[1]中，[Jwk=Ed?n-xT?nwk2]。文獻(xiàn)[8]指出，在絕大多數(shù)信號(hào)噪聲情況下，選用誤差的三次方的絕對(duì)值作為代價(jià)函數(shù)要比均方誤差效果好。因此，本文選用[Jwk=Ed?n-xT?nwk3]作為代價(jià)函數(shù)。節(jié)點(diǎn)[k]所在的簇[Ck]在第[k]個(gè)節(jié)點(diǎn)處的代價(jià)函數(shù)可寫(xiě)為：

[JCkwk=Jlockwk+?∈Ck＼kwl-wol2Rl] ? ? ? ? ? ? ?（6）

其中，[Rk=?∈Nk?Ckc?kRu，?+η?∈Nk＼Ckρk?IL]。對(duì)式（6）進(jìn)行近似，得到[wk-wo?2Rl≈b?kwk-wo?2]。[b?k]為與第[k]個(gè)節(jié)點(diǎn)相關(guān)的非負(fù)性參數(shù)。采用文獻(xiàn)[1]中的方法進(jìn)行近似簡(jiǎn)化，最終可以得到節(jié)點(diǎn)[k]所在的簇[Ck]在第[k]個(gè)節(jié)點(diǎn)處的代價(jià)函數(shù)，可寫(xiě)為：

[JCkwk=?∈Nk?Ckc?kJwk+η?∈Nk＼Ckρk?wk-w?2+?∈N-k?Ckb?kwk-wo?2] ? （7）

對(duì)于上式求梯度，并以瞬時(shí)值代替期望值，得到以下公式：

[?wJCkwk=-?∈Nk?C（k）c?ksigneke2kx?n+η?∈Nk＼Ckρk?wk-w?+?∈N-k?Ckb?kwk-wo?] ? ? ? （8）

其中，[ek=d?n-xT?nwk]。

2.2 非負(fù)自適應(yīng)濾波算法

在非負(fù)性約束下，一個(gè)未知系統(tǒng)的最優(yōu)估計(jì)[wo]滿足以下條件：

[wo=argminwJ（w）s.t. wi≥0，i∈1，2，...M] ? ? ? ? ? ? ? ? ? ? （9）

利用KKT條件，文獻(xiàn)[3]求解出非負(fù)自適應(yīng)濾波算法迭代公式，即

[wk（n+1）=wk（n）+μDwk（n）[-?wJC（k）（wk（n））]] ? ? ? ? （10）

其中，[Dwk（n）]表示以[wk（n）]的元素為對(duì)角元素的對(duì)角矩陣。將式（8）帶入式（10），可得：

[wkn+1=wkn+μDwkn?∈Nk?Ckc?ksignekek2nx?n ? ? ? ? ? ? ? ? ?-μηDwkn?∈Nk＼Ckρk?wkn-w?n ? ? ? ? ? ? ? ? ?-μDwkn?∈N-k?Ckb?kwkn-wo?] ? ? ? ?（11）

其中，[ek=d?n-xT?nwk]。

在分布式網(wǎng)絡(luò)中，常采用ATC策略對(duì)式（11）進(jìn)行拆分[9]，可以得到如下迭代方程：

[ψkn+1=wkn+μDwkn?∈Nk?Ckc?ksignekek2nx?n ? ? ? ? ? ? ? ? ?-μηDwkn?∈Nk＼Ckρk?wkn-w?nwkn+1=ψkn+1-μDwkn?∈N-k?Ckb?kwkn-wo?] ? ? ? （12）

由于[wo?]是一個(gè)未知量，人們將[ψ?（n+1）]作為其估計(jì)值。同時(shí)，[ψk（n+1）]相比于[wkn]是節(jié)點(diǎn)[k]的權(quán)值的更優(yōu)估計(jì)，因此將[wkn]以[ψk（n+1）]代替。隨著迭代次數(shù)的增加，[ψk（n+1）]與[ψ?（n+1）]差別很小，為了減少計(jì)算量，將式（12）中的[Dwk（n）]舍去，可得：

[wkn+1=ψkn+1-μ?∈N-k?Ckb?kψkn+1-ψ?n+1 ? ? ? ? ? ? ? =1-μ?∈N-k?C（k）b?kψkn+1+μ?∈N-k?Ckb?kψ?n+1]（13）

定義

[akk?1-μ?∈N-k?C（k）b?ka?k?μb?k，?∈N-k?C（k）a?k?0，??Nk?C（k）] ? ? ? ? ? ? ? ? （14）

因此，最終的MD-NNLMAT算法為：

[ψkn+1=wkn+μDwkn?∈Nk?Ckc?ksignekek2x?n ? ? ? ? ? ? ? ? ?-μηDwkn?∈Nk＼Ckρk?wkn-w?nwkn+1=?∈Nk?Cka?kψ?n+1] ? ? ? （15）

其中，[ek=d?n-xT?nwk]。為了簡(jiǎn)化系統(tǒng)聯(lián)合參數(shù)，取[a?k=ck?]。試驗(yàn)中，聯(lián)合參數(shù)、相似性參數(shù)選取均采用平均法則，即[c?k=|N??C?|-1，k∈N??C?]，[ρ?k=|Nk＼Ck|-1，?∈Nk＼Ck]。

3 仿真試驗(yàn)

采用MATLAB對(duì)算法進(jìn)行仿真。選取如圖1所示的包含4個(gè)任務(wù)簇和20個(gè)節(jié)點(diǎn)的分布式網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)。

在仿真中，未知系統(tǒng)的長(zhǎng)度選為20，每一個(gè)節(jié)點(diǎn)都可以利用相鄰節(jié)點(diǎn)的信息進(jìn)行運(yùn)算，因而提升了整個(gè)網(wǎng)絡(luò)的魯棒性。因?yàn)橄噜彺刂g存在相似性，因此使用線性模型[w*C?=w*+ΔwC?，?∈{1，2，3，4}]獲取簇[C?]的權(quán)值參數(shù)向量[10]。四個(gè)簇的權(quán)值參數(shù)向量取值如圖3所示。

從圖3可以看出，每一個(gè)簇選擇的參數(shù)向量不完全相同，但又包含相同的原始參數(shù)向量[w*]，說(shuō)明這四個(gè)簇既是相似的，但又包含了不同，因此比較合理地反映了多任務(wù)自適應(yīng)網(wǎng)絡(luò)的參數(shù)取值情況。

定義輸入信號(hào)和系統(tǒng)噪聲的方差分別為[σ2x]和[σ2z]，輸入信號(hào)選取均值為0.5，標(biāo)準(zhǔn)差為0.1的高斯噪聲，系統(tǒng)噪聲分別選取為均值為0.05，標(biāo)準(zhǔn)差為1e-3的高斯噪聲和均勻噪聲。

采用歸一化均方偏差NMSD對(duì)算法的性能進(jìn)行評(píng)估，所有的NMSD曲線為20次獨(dú)立試驗(yàn)取平均的結(jié)果。其表達(dá)式為：

[NMSD=1N?=14k∈C?10log10wk-wo+C?wo+C?]（16）

其中，[wo+]為沒(méi)有負(fù)值的最優(yōu)解。由文獻(xiàn)[3]可知，經(jīng)過(guò)迭代，最優(yōu)解中沒(méi)有負(fù)值元素，即負(fù)值變?yōu)?。

試驗(yàn)一：本試驗(yàn)在高斯噪聲環(huán)境中，分別使用多任務(wù)非負(fù)最小均方算法（MD-NNLMS）和多任務(wù)非負(fù)最小三次方絕對(duì)值算法（MD-NNLMAT）進(jìn)行仿真。為了方便進(jìn)行對(duì)比，盡可能保證算法具有相同的穩(wěn)態(tài)失調(diào)，取[μMD-NNLMS=0.015]，[μMD-NNLMAT=0.024]，[η=0.001]。算法收斂性能如圖4所示?？梢钥闯?，當(dāng)兩種算法的穩(wěn)態(tài)失調(diào)相同時(shí)，MD-NNLMAT算法比MD-NNLMS算法收斂速度更快。

將收斂后各節(jié)點(diǎn)的權(quán)值取平均，與原始參數(shù)向量[w*]的非負(fù)形式進(jìn)行比較，結(jié)果如圖5所示。

試驗(yàn)二：本試驗(yàn)在均勻噪聲環(huán)境中，分別使用多任務(wù)非負(fù)最小均方算法（MD-NNLMS）和多任務(wù)非負(fù)最小三次方絕對(duì)值算法（MD-NNLMAT）進(jìn)行仿真。為了方便進(jìn)行對(duì)比，盡可能保證算法具有相同的穩(wěn)態(tài)失調(diào)，取[μMD-NNLMS=0.015]，[μMD-NNLMAT=0.024]，[η=0.001]。算法收斂性能如圖6所示。可以看出，當(dāng)兩種算法的穩(wěn)態(tài)失調(diào)相同時(shí)，MD-NNLMAT算法比MD-NNLMS算法收斂速度更快。

將收斂后各節(jié)點(diǎn)的權(quán)值取平均，與原始參數(shù)向量[w*]進(jìn)行比較，結(jié)果如圖7所示?？梢钥闯觯惴ǖ牡Y(jié)果較接近準(zhǔn)確結(jié)果。

4 結(jié)語(yǔ)

本文通過(guò)選取了節(jié)點(diǎn)新的代價(jià)函數(shù)，運(yùn)用梯度下降法和KKT條件，推導(dǎo)出了一種多任務(wù)自適應(yīng)網(wǎng)絡(luò)的非負(fù)最小三次方絕對(duì)值（MD-NNLMAT）算法。仿真結(jié)果表明，在高斯噪聲和均勻噪聲情況下，MD-NNLMAT算法的性能都優(yōu)于MD-NNLMS算法。

參考文獻(xiàn)：

[1]Chen J，Richard C，Sayed A H.Multitask Diffusion Adaptation over Networks[J].IEEE Journal of Selected Topics in Signal Processing，2013（99）：1.

[2]Shi J，Ni J，Chen X.Variable step-size diffusion proportionate affine projection algorithm[C]//IEEE International Workshop on Acoustic Signal Enhancement.2016.

[3]Chen J，Richard C，Bermudez J C M，et al.Nonnegative Least-Mean-Square Algorithm[J].Signal Processing，2011（11）：5225-5235.

[4]Chen J，Richard C，Bermudez J C M，et al.Variants of Non-Negative Least-Mean-Square Algorithm and Convergence Analysis[J].IEEE Transactions on Signal Processing，2014（15）：3990-4005.

[5]Ni J，Yang J.Nonnegative least-mean-fourth algorithm[C]//5th IET International Conference on Wireless，Mobile and Multimedia Networks.2013.

[6]Ni J，Yang J，Chen J，et al.Stochastic behavior of the nonnegative least mean fourth algorithm for stationary Gaussian inputs and slow learning[J].Signal Processing，2016（128）：18-27.

[7]Zhao K，Ni J，Chen X.Improved nonnegative adaptive filtering algorithms[C]//IEEE International Workshop on Acoustic Signal Enhancement.2016.

[8]K Xiong，S Wang，B Chen.Robust Normalized Least Mean Absolute Third Algorithms[J].IEEE Access，2019（7）：10318-10330.

[9]Sayed A H.Diffusion Adaptation over Networks[J].Academic Press Library in Signal Processing，2012（5）：323-453.

[10]朱亞楠.魯棒自適應(yīng)網(wǎng)絡(luò)研究[D]蘇州：蘇州大學(xué)，2018.