引入動(dòng)量因子的雙自適應(yīng)自然梯度算法

劉輝　羅彬

摘要 為克服自然梯度算法收斂速度和穩(wěn)態(tài)誤差之間的矛盾，提出了一種引入動(dòng)量因子的雙自適應(yīng)自然梯度算法，該算法將動(dòng)量因子分別引入到自然梯度算法的步長(zhǎng)因子和分離矩陣中，并根據(jù)實(shí)時(shí)分離度自適應(yīng)調(diào)整動(dòng)量因子，從而在加快算法收斂速度的同時(shí)，降低穩(wěn)態(tài)誤差.仿真實(shí)驗(yàn)證明，提出的新算法的性能明顯優(yōu)越與固定步長(zhǎng)和自適應(yīng)步長(zhǎng)自然梯度算法.

關(guān)鍵詞動(dòng)量因子；分離度；自然梯度；收斂速度；穩(wěn)態(tài)誤差

中圖分類號(hào)TN9198文獻(xiàn)標(biāo)識(shí)碼A文章編號(hào)10002537（2015）01005404

盲源分離（Blind Source Separation）簡(jiǎn)稱BSS，是指在傳輸信道特性和源信號(hào)都無(wú)法準(zhǔn)確獲知的情況下，僅從觀測(cè)信號(hào)分離出源信號(hào)的過程[1].它廣泛應(yīng)用于生物醫(yī)學(xué)信號(hào)處理，語(yǔ)音信號(hào)識(shí)別，陣列信號(hào)處理，圖像處理及移動(dòng)通信等領(lǐng)域.

盲源分離算法可分為自適應(yīng)算法和批處理算法[2]，其中批處理算法是對(duì)所有已得數(shù)據(jù)進(jìn)行批處理，由于批處理充分利用了所有觀測(cè)樣本信息，所以分離精度優(yōu)于在線算法，但該算法在信源為超亞高斯混合分布或觀測(cè)樣本較少時(shí)分離精度有限，不適合數(shù)據(jù)的實(shí)時(shí)處理；自適應(yīng)算法是利用梯度對(duì)分離矩陣進(jìn)行串行更新，迭代逼近[3].常用的自適應(yīng)算法包括自然梯度算法、EASI算法、迭代求逆算法等，它們均屬于LMS算法，存在穩(wěn)態(tài)誤差和收斂速度之間的矛盾.本文在研究自然梯度算法的基礎(chǔ)上，將動(dòng)量因子引入到算法中，得到自適應(yīng)步長(zhǎng)的自然梯度算法，并通過引入動(dòng)量項(xiàng)，進(jìn)一步加快收斂速度，從而得出步長(zhǎng)因子和動(dòng)量項(xiàng)雙自適應(yīng)自然梯度算法[45].

1盲源分離概述

假設(shè)從m個(gè)傳感器接收到的信號(hào)為x（t），忽略傳輸延遲及噪聲影響，則接收信號(hào)和源信號(hào)可以表示為：

x（t）=As（t），

式中，x（t）=[x1（t），x2（t），…，xm（t）]T為觀測(cè)信號(hào)，s（t）=[s1（t），s2（t），…，sn（t）]T為源信號(hào)，A為M×N階滿秩混合矩陣[6]；盲源分離就是在僅知道觀測(cè)信號(hào)x（t）的情況下，分離或估計(jì)出源信號(hào)s（t）.

y（t）=Wx（t）=WAs（t）=Cs（t），

式中，y（t）是對(duì)源信號(hào)s（t）的估計(jì)，W為分離矩陣，C混合分離矩陣；盲源分離的目的就是使矩陣C接近于廣義排列矩陣，使得y（t）=s（t），從而達(dá)到分離目的[7].因此混合分離矩陣C與標(biāo)準(zhǔn)廣義排列矩陣的距離就可以作為評(píng)價(jià)算法優(yōu)劣的標(biāo)準(zhǔn)，定義盲源分離的性能標(biāo)準(zhǔn)常使用串音誤差PI作為評(píng)價(jià)標(biāo)準(zhǔn)[8].

PI=∑ni=1∑nk=1Cikmaxjcij-1+∑nj=1∑nk=1Ckjmaxjcji-1.

式中，maxjcij表示矩陣 C的第i行元素中最大值的絕對(duì)值；maxjcji表示第i列元素中的最大絕對(duì)值.PI值越小，說明分離效果越好，當(dāng)PI=0時(shí)，信號(hào)完全分離.

2引入動(dòng)量因子的雙自適應(yīng)自然梯度算法

2.1自適應(yīng)自然梯度算法

自然梯度算法是盲源分離的主要方法，它首次由Bell和Sejnowski提出，并經(jīng)Amari等人修正[9]，其更新矩陣W為：

W（k+1）=μ（k）[I-f（y）yT（k）]W（k）+W（k），

可以看出，學(xué)習(xí)步長(zhǎng)μ的大小直接影響分離效果，傳統(tǒng)自然梯度算法常采用固定步長(zhǎng)，這導(dǎo)致算法無(wú)法同時(shí)滿足穩(wěn)定性能和收斂速度的要求，解決這一矛盾的方法就是采用自適應(yīng)的步長(zhǎng)，使之與分離狀態(tài)相聯(lián)系，在分離的初始階段采用較大的步長(zhǎng)以加快收斂，在信號(hào)分離后采用較小的步長(zhǎng)，以提高分離信號(hào)的精度.

盲源分離的目的是尋找最優(yōu)分離矩陣，使得盲源分離處于穩(wěn)態(tài)時(shí)：

W（k+1）≈W（k）=Wopt，

由于W（k）不等于0，所以當(dāng)上式成立時(shí)，存在：

[I-f（y）yT（k）]→0，

因此，可以用[I-f（y）yT（k）]表示矩陣的分離狀態(tài)[11]，定義分離度sd（k）為：

sd（k）=‖I-f（y）yT（k）‖2F，

式中，‖·‖2F表示求矩陣的Frobonius范數(shù)，sd（k）的大小反映了分離的程度，當(dāng)sd（k）=0時(shí)，信號(hào)徹底分離，所以可用sd（k）作為調(diào)整步長(zhǎng)因子的參數(shù)，步長(zhǎng)更新為：

μk + 1 = ηk ×μk ，

ηk=1+γe-αsd（k），sd（k）>sd（k-1）11+βe-αsd（k），sd（k）

式中，η為動(dòng)量因子，控制步長(zhǎng)的變化；γ控制收斂速度，且0<γ<1；β控制穩(wěn)態(tài)誤差，且0<β<1；α為比例因子.

2.2雙自適應(yīng)自然梯度算法

本文從BP神經(jīng)網(wǎng)絡(luò)算法中加入動(dòng)量項(xiàng)使算法得到改進(jìn)受到啟發(fā)，為進(jìn)一步提高算法的分離效果，在自適應(yīng)自然梯度算法的基礎(chǔ)上引入動(dòng)量項(xiàng)，得到新的自然梯度算法：

W（k+1）=μ（k）[I-φ（y（k）T]W（k）+aΔW（k）+W（k）.

式中，a為動(dòng)量因子；ΔW（K）=W（k）-W（k-1）為動(dòng)量項(xiàng).為使算法收斂，a<1.可以看出，動(dòng)量因子的大小對(duì)算法的收斂性有很大的影響，文獻(xiàn)[12]研究表明，當(dāng)動(dòng)量因子取值較大時(shí)，收斂速度較快，但穩(wěn)態(tài)誤差也偏大，取值較小時(shí)，收斂速度變慢，穩(wěn)態(tài)誤差偏小.因此可采用動(dòng)態(tài)的動(dòng)量因子，使動(dòng)量因子也自適應(yīng)變化.

本文利用分離度sd（k）來(lái)控制動(dòng)量因子，通過sd（k）的逐步減小，自適應(yīng)的調(diào)整動(dòng)量因子a的取值，由于步長(zhǎng)μ作用于ΔW（K+1），動(dòng)量因子作用于ΔW（K），所以動(dòng)量因子用sd（k-1）來(lái)表示，a（n）與sd（k-1）的關(guān)系定義為：

a（n）=σ[1-eθ-sd（k-1）]，

式中，σ控制a（n）的大小，θ控制a（n）的正負(fù)，適當(dāng)?shù)厝ˇ戎?

構(gòu)造的動(dòng)量項(xiàng)不僅能在算法初期起加速收斂的作用，而且在穩(wěn)定階段，動(dòng)量項(xiàng)取負(fù)值，使穩(wěn)態(tài)誤差進(jìn)一步降低.綜上得出本文提出的引入動(dòng)量因子的雙自適應(yīng)自然梯度算法：

W（k+1）=μ（k）[I-φ（y（k）T]W（k）+a（n）ΔW（k）+W（k）.

新的算法通過將自適應(yīng)項(xiàng)ηk和a（n）分別加入到步長(zhǎng)因子和分離矩陣，進(jìn)一步加快算法的收斂速度，降低穩(wěn)態(tài)誤差.

3仿真實(shí)驗(yàn)

為驗(yàn)證本文提出算法的有效性，利用Matlab進(jìn)行仿真.實(shí)驗(yàn)采用的源信號(hào)分別為：

s1（t）=sign（sin（2π155t）），

s2（t）=sin（2π800t），

s3（t）=sin（2π90t），

s4（t）=sin（2π90t）sin（2π300t），

s5（t）為[-1，1]均勻分布的噪聲信號(hào).

其中，混合矩陣A在[-1，1]區(qū)間內(nèi)隨機(jī)生成的5階方陣，采樣點(diǎn)為4 000個(gè)，采樣頻率fs=104 Hz，初始矩陣W=0.5I，初始步長(zhǎng)統(tǒng)一采用0.005，非線性函數(shù)φ（y）=y3.經(jīng)驗(yàn)參數(shù)：σ=0.2，θ=1；分離前后的波形如圖1和圖2所示.

圖1混合信號(hào)圖2分離后的信號(hào)

Fig.1The mixed signals Fig.2The separated signals

算法的分離效果可以通過信干比（SIR）進(jìn)行評(píng)判，信干比表示分離信號(hào)與源信號(hào)的偏差，因此，盲源分離精度可以用SIR表示：

SIRi=10logsi2si-i2，

式中，si為源信號(hào)，i為對(duì)應(yīng)的分離信號(hào).SIR越大，說明分離效果越好.

為進(jìn)一步驗(yàn)證算法的優(yōu)越性，將本文提出的算法與固定步長(zhǎng)算法、步長(zhǎng)自適應(yīng)算法進(jìn)行比較.分別從收斂速度、串音誤差（PI）和信干比（SIR）分析算法的性能.其中算法的參數(shù)選擇：

（1） 固定步長(zhǎng)算法：μ0=0.005；

（2） 步長(zhǎng)自適應(yīng)算法：μ0=0.005，α=-1，β=0.4，γ=0.2.

經(jīng)過仿真，3種算法的信干比、最終串音誤差值和串音誤差變化曲線如表1、表2和圖3所示.

表13種算法的信干比

Tab.1The SIR of the three algorithms

算法s1s2s3s4

固定步長(zhǎng)42357 835.957 527.826 130.152 8

自適應(yīng)步長(zhǎng)35.986 732.142 138.501 235.650 1

本文算法37.254 134.126 738.287 435.658 1

表23種算法的最終PI值比較

Tab.2The final PI value for three algorithms

固定步長(zhǎng)自適應(yīng)步長(zhǎng)本文算法

2.055 40.558 20.394 2

圖33種算法串音誤差曲線對(duì)比圖

Fig.3The comparison of crosstalking error for three algorithms

由表1可以看到，本算法的分離精度較高，分離效果較好；由圖2可以定量地看出，本算法的收斂效果最好；由圖3可知，從收斂速度來(lái)看，本文提出的算法在初始階段有較快的收斂速度，在1 000次迭代左右時(shí)就達(dá)到穩(wěn)定值，收斂速度明顯快于另兩種算法；從分離效果來(lái)看，穩(wěn)定階段，本文算法的PI值最低，收斂曲線較平滑，其次是自適應(yīng)算法和固定步長(zhǎng)算法，這是由于算法采用了動(dòng)態(tài)的動(dòng)量因子控制步長(zhǎng)和分離矩陣，在均衡的過程中，隨著誤差的減小，動(dòng)量項(xiàng)取負(fù)值，從而減小了穩(wěn)態(tài)誤差.本文提出的算法能顯示出優(yōu)越性能.

4結(jié)束語(yǔ)

本文在自適應(yīng)自然梯度算法的基礎(chǔ)上，引入動(dòng)量因子，以實(shí)時(shí)分離效果為參數(shù)，自適應(yīng)調(diào)整步長(zhǎng)因子和動(dòng)量項(xiàng)，不斷優(yōu)化分離效果.構(gòu)成了一個(gè)雙自適應(yīng)自然梯度算法，通過仿真，驗(yàn)證了該算法有更好的收斂性能和穩(wěn)態(tài)誤差.

參考文獻(xiàn)：

[1]史習(xí)智.盲信號(hào)處理 [M].上海：上海交通大學(xué)出版社， 2008.

[2]COMMON P. Independent component analysis， a new concept [J]. Signal Processing， 1994，36（3）：287314.

[3]BARAK P， LUKAS P. Maximum likelihood blind source separation： A context sensitive generalization of ICA[J]. Neural Inf Process Syst， 1997，37（9）：613619.

[4]付衛(wèi)紅，楊小牛.改進(jìn)的基于變步長(zhǎng)自適應(yīng)的自然梯度盲源分離算法[J].華中科技學(xué)報(bào)， 2007，35（10）：1820.

[5]CHAMBERS J A， JAFARI M G， MELAUGHLIN S. Variable stepsize EASI algorithm for sequential blind source separation [J]. Electron Lett， 2004，40（6）：393394.

[6]侯春燕.基于盲源分離的自適應(yīng)噪聲控制及算法研究[D].哈爾濱：哈爾濱工程大學(xué)， 2008.

[7]ERDOGMUS D. Blind source separation using renys mutual information [J].Signal Process Lett IEEE， 2001（8）：174176.

[8]裴學(xué)廣.基于變步長(zhǎng)自然梯度算法的盲源分離[J].艦船電子對(duì)抗， 2007，30（4）：6568.

[9]許少華.一種改進(jìn)的雙鏈量子遺傳算法及其應(yīng)用[J].計(jì)算機(jī)應(yīng)用研究， 2010，27（6）：20902092.

[10]薛偉，楊小牛，張朝陽(yáng).一種改進(jìn)的加權(quán)多模盲均衡算法[J].系統(tǒng)仿真學(xué)報(bào)，2011，23（3）：451455.

[11]呂淑平，祝捷.一種改進(jìn)的自適應(yīng)混合神經(jīng)網(wǎng)絡(luò)盲分離算法[J].計(jì)算機(jī)應(yīng)用研究， 2013，30（4）：10551057.

[12]CICHOCHI A， UNBEHAUEN R. Robust neural networks with online learning for blind identification and blind separation of sources [J].IEEE Trans on Circuit and systems： Fundamental Theory and Applications， 1996，43（11）：894906.

[13]張艷萍，崔偉軒.引入動(dòng)態(tài)動(dòng)量因子的共軛梯度多模盲均衡算法[J].河南科技大學(xué)學(xué)報(bào)：自然科學(xué)版， 2013，34（3）：4045.

（編輯陳笑梅）