自適應(yīng)步長神經(jīng)網(wǎng)絡(luò)盲分離算法的研究與應(yīng)用

楊碩，劉小斌，楊建青

(1.甘肅農(nóng)業(yè)大學(xué)工學(xué)院，甘肅 蘭州　730070；2.蘭州工業(yè)學(xué)院汽車工程學(xué)院，甘肅 蘭州；730050)

?

自適應(yīng)步長神經(jīng)網(wǎng)絡(luò)盲分離算法的研究與應(yīng)用

楊碩1，劉小斌2，楊建青1

(1.甘肅農(nóng)業(yè)大學(xué)工學(xué)院，甘肅 蘭州730070；2.蘭州工業(yè)學(xué)院汽車工程學(xué)院，甘肅 蘭州；730050)

摘要：【目的】利用神經(jīng)網(wǎng)絡(luò)盲分離算法來解決含噪聲音信號盲分離問題.【方法】提出了一種改進(jìn)的自適應(yīng)步長混合神經(jīng)網(wǎng)絡(luò)算法，該算法可以很好的掌控步長因子函數(shù)的形狀，且在接近零點處步長變化緩慢，使性能更加優(yōu)越；同時針對神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的不足引入了遞歸結(jié)構(gòu)，通過與改進(jìn)的自適應(yīng)步長算法的結(jié)合達(dá)到更好的分離效果.【結(jié)果】通過在汽車發(fā)動機(jī)含噪聲音信號中的應(yīng)用，表明出該算法穩(wěn)定性、收斂性好，可靈活的控制了步長因子分離出發(fā)動機(jī)噪聲信號，達(dá)到較好的分離效果.

關(guān)鍵詞：盲分離；神經(jīng)網(wǎng)絡(luò)；自適應(yīng)步長

基于盲分離理論對含噪聲音信號去噪方法的研究引起了人們的極大關(guān)注.Lee等[1]提出了通過神經(jīng)網(wǎng)絡(luò)進(jìn)行獨立分量分析(independent component analysis，ICA)方法，在這基礎(chǔ)上其他研究者分別提出了聯(lián)合對角化算法，自然梯度算法，基于固定點快速迭代算法(FastICA)[2-4].綜上所述的方法在生物醫(yī)學(xué)、圖像處理、電路測試等領(lǐng)域有著廣泛的應(yīng)用，但針對含噪聲音信號盲分離的問題上，上述算法的優(yōu)勢性能則會下降，不能達(dá)到預(yù)期分離效果.Hyvarinen等和Cichocki等[5-6]分別提出了聯(lián)合最大似然估計法、基于累積量的方法來解決含噪聲音信號盲分離的問題，但這2種方法運(yùn)算繁瑣，收斂速率慢，并且存在一定的誤差，影響了盲分離的效果，本文針對上述算法存在的缺陷提出了一種改進(jìn)的步長自適應(yīng)神經(jīng)網(wǎng)絡(luò)盲分離算法，其算法既能減小誤差還可以靈活控制步長因子，提高了收斂速率.在改進(jìn)算法的基礎(chǔ)上，又將遞歸結(jié)構(gòu)引入其算法，這樣可使收斂速度更快，達(dá)到更好的分離效果.

1研究內(nèi)容與方法

為了能更好的將含噪聲音信號進(jìn)行分離，把整個分離過程分為2個層次，第1層為白化處理，第2層利用改進(jìn)的步長自適應(yīng)混合神經(jīng)網(wǎng)絡(luò)盲分離算法將白化信號進(jìn)行分離.

1.1神經(jīng)網(wǎng)絡(luò)盲分離數(shù)學(xué)模型

首先建立神經(jīng)網(wǎng)絡(luò)的數(shù)學(xué)模型，設(shè)m個獨立的聲源信號s(t)=[s1(t),…,sn(t)]T，經(jīng)過噪聲n(t)=[n1(t),n2(t),…,nm(t)]T混合，經(jīng)傳感器接受得到n個觀測信號x(t)=[x1(t),…,xm(t)]T，n≥m，其數(shù)學(xué)表達(dá)式如下：

x(t)=A[s(t)+n(t)]

(1)

(2)

1.2白化處理

W(t)=W0X(t)

(3)

(4)

2神經(jīng)網(wǎng)絡(luò)盲分離算法的改進(jìn)

2.1基于最小互信息的神經(jīng)網(wǎng)絡(luò)盲分離算法

經(jīng)過白化處理后，基于神經(jīng)網(wǎng)絡(luò)盲分離原理將含噪聲音信號看做多輸入多輸出的混合系統(tǒng)，其原理圖如圖1所示.

圖1　神經(jīng)網(wǎng)絡(luò)盲分離原理 Fig.1　The principle diagram of the neural blind source separation

通過神經(jīng)網(wǎng)絡(luò)原理圖可以將盲分離問題轉(zhuǎn)變成求逆神經(jīng)網(wǎng)絡(luò)系統(tǒng)，使得估計信號為

y(t)=[y1(t),y2(t)，…,yn(t)]T=Wx(t)

=WAs(t)=s(t)

(5)

其中W=[wij(t)](i=1,2,…,n;j=1,2,…,n)為權(quán)值矩陣.再利用聯(lián)合概率密度和邊緣概率密度乘積的KL( Kullback-Leibler)散度計算I(y):

(6)

對聯(lián)合概率密度py(y)與各分信號邊緣概率密度py(yi)存在的函數(shù)求導(dǎo)可知I(y)≥0，利用ICA的理論可以得出最小互信息的盲信號處理算法：

(7)

=-(W-T-f(y)xT)

(8)

其中：

f(y)=[f1(y1),f2(y2),…,fn(yn)]T

(9)

=W(t)+μ[I-f(y)yT]W(t)

(10)

其中μ為學(xué)習(xí)步長.

2.2自適應(yīng)步長神經(jīng)網(wǎng)絡(luò)盲分離算法

對于學(xué)習(xí)步長μ影響分離效果來說，減少步長因子則能提高算法收斂精度，反之則加快收斂速度與跟蹤速度[8].對于神經(jīng)網(wǎng)絡(luò)算法的收斂精度、收斂速度、跟蹤速度方面學(xué)習(xí)步長存在一定的矛盾.為了解決這一矛盾，覃景繁等[9]提出了基于Sigmoid函數(shù)的變步長LMS算法：

(11)

該算法既可以獲得獲得較快的收斂速度和跟蹤速度也可以獲得較小的穩(wěn)態(tài)誤差，但是在誤差函數(shù)接近零處不具有緩慢變化的特性，使得該算法在穩(wěn)態(tài)階段仍有較大補(bǔ)償變化[4].因此，本文提出了一種新的調(diào)整步長的函數(shù)：

(12)

其中，k,α>0并且可以控制μ(t)的形狀，β控制了μ(t)的取值范圍.

圖2為改進(jìn)自適應(yīng)步長函數(shù)在不同參數(shù)下的曲線圖，μ(t)為縱坐標(biāo)，e(t)為橫坐標(biāo).圖2-A在α=5，β=1的情況下，SVSLMS算法與本文改進(jìn)自適應(yīng)算法的對比曲線，經(jīng)過對比可以看出SVSLMS算法穩(wěn)定性失調(diào)，而改進(jìn)后的算法在接近零點處具有更好的穩(wěn)定性.圖2-B-D分別為γ、α、β取不同值時本文自適應(yīng)算法的步長因子曲線.從圖(2)的仿真可以看出，本文的改進(jìn)算法比SVSLMS算法的穩(wěn)定性更好且能靈活控制.由于該算法要應(yīng)用在含噪聲音信號中，含噪聲音信號及誤差函數(shù)未知，所以要找一個替代函數(shù).因此，改進(jìn)的自適應(yīng)步長算法具體步驟如下，首先進(jìn)行離散余弦變換：

Xdct(t)=DCT[X(t)]

(13)

其中，DCT[X(t)]為離散傅里葉變換函數(shù).

當(dāng)式(10)中[I-f(y)yT]趨近于零，收斂變化與于誤差變化特性相近，則誤差信號為：

(14)

W(t+1)=W(t)+2μ(t)e(t)D-1Xdct(t)

(15)

2.3步長自適應(yīng)混合神經(jīng)網(wǎng)絡(luò)盲分離算法

雖然利用步長自適應(yīng)算法可以減小誤差，并可控制步長因子提高收斂速度，較好的分離信號，但收斂速度仍不夠理想.本文將引用遞歸網(wǎng)絡(luò)，并利用本文改進(jìn)算法來控制兩種算法的學(xué)習(xí)步長，其原理如圖3.

圖2　改進(jìn)自適應(yīng)步長因子函數(shù)性能Fig.2　Improving the performance of adaptive step length factor function

圖3　自適應(yīng)步長混合神經(jīng)網(wǎng)絡(luò)盲分離原理Fig.3　The adaptive step length hybrid neural network blind separation principle

由圖3可知，含噪聲音信號為：

y(t)=W[x(t)-Vy(t)]=Wx(t)-WVy(t)

(16)

遞歸網(wǎng)絡(luò)權(quán)值矩陣V=[vij](i=1,2,…,n；j=1,2，…,n)，且vij≠0(1,2，…，n).由自然梯度原理可知，遞歸網(wǎng)絡(luò)權(quán)值可改寫為：

W(t+1)=W(t)+ΔW(t)

=W(t)+μ(t)[I-f(y)yT]W(t)

(17)

因此，求遞歸神經(jīng)網(wǎng)絡(luò)權(quán)值矩陣的計算方法如下：根據(jù)Jutten和 Hérault提出的遞歸神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)示意圖(圖4)，可得出y(t)=x(t)-Vy(t)，即y(t)=[I+V]-1x(t).

圖4　遞歸神經(jīng)網(wǎng)絡(luò)盲分離原理Fig.4　The principle diagram of the recursive neural network blind source sseparation

利用自然梯度算法得出，ΔV=-u(t)[I+V(t)][I-f(y)yT]，因此，該混合神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)權(quán)值矩陣可改寫為：

V(t+1)=V(t)+ΔV(t)

=V(t)-μ(t)[I+V(t)][I-f(y)yT]

(18)

其中式(15)(16)的步長因子μ(t)由式(11)確定，且可以得到新結(jié)構(gòu)的全局矩陣：

C=(I+WV)WA

(19)

3改進(jìn)算法在汽車發(fā)動機(jī)故障診斷中的應(yīng)用

本文將對汽車發(fā)動機(jī)發(fā)生故障時的含噪聲音信號作為試驗數(shù)據(jù).選取五菱宏光為被測汽車，發(fā)動機(jī)型號LMU，4氣缸，最大功率63kW，最大功率轉(zhuǎn)速6 000r/min.首先將被測發(fā)動機(jī)放在一個絕對安靜的房間里，人為設(shè)置使一個氣缸不工作，將傳感器放在距離被測發(fā)動機(jī)0.1m處進(jìn)行聲音采集，然后再次對氣缸不工作時的情況進(jìn)行聲音采集，但在采集過程中人為增添一些頻率、大小接近氣缸不工作時發(fā)動機(jī)的聲音，并作為分離信號，選取前1 200個采樣點作為源信號，步長因子按式(13)計算，選取β=0.1，α=10，γ=1，初始值μ(0)=0.01，分析可知自適應(yīng)步長取值范圍為[0,10]，曲線圖與圖2-cα=10時相同，由圖2-c可明顯的看出，當(dāng)e(t)的取值接近零時步長因子變化穩(wěn)定，當(dāng)e(t)增大時，步長因子變化幅度增大，進(jìn)而收斂速度較快.而步長取值范圍為[10,∞]當(dāng)時數(shù)值越大時，收斂性越不穩(wěn)定，因為收斂性代表著分離效果，意味著最終的分離效果不佳.通過多次實驗步長取值范圍在[0,10]時，改進(jìn)算法對本試驗分離效果最佳，達(dá)到對汽車故障診斷的實驗?zāi)康?圖5-8分別為含噪故障發(fā)動機(jī)聲音信號、自適應(yīng)步長算法分離噪聲后的信號、改進(jìn)的自適應(yīng)步長混合神經(jīng)網(wǎng)絡(luò)算法分離噪聲后的信號以及故障發(fā)動機(jī)聲音信號.通過圖6-8的對比可明顯的看出自適應(yīng)步長算法已經(jīng)有了明顯的分離效果，但改進(jìn)的自適應(yīng)步長混合神經(jīng)網(wǎng)絡(luò)算法分離效果更好，體現(xiàn)出其方法去噪分離的優(yōu)越性，通過對圖7與圖8的波形對比，經(jīng)過去噪后的波形與故障發(fā)動機(jī)聲音信號波形相似，對故障發(fā)動機(jī)的檢測提供了較好的判斷.

圖5　故障發(fā)動機(jī)含噪聲音信號Fig.5　The fault of engine noise signals

圖6　自適應(yīng)步長算法分離噪聲后的信號Fig.6　The adaptive step length after algorithm to separate the noise signal

圖7　改進(jìn)的自適應(yīng)步長混合神經(jīng)網(wǎng)絡(luò)算法分離噪聲后的信號Fig.7　The improved adaptive step length after the hybrid neural network algorithm to separate the noise signal

圖8　故障發(fā)動機(jī)聲音信號Fig.8　The fault engine sound signals

為了進(jìn)一步展示改進(jìn)算法的分離效果，圖9顯示了3種算法下曲線收斂的情況.從收斂速度上看，固定步長神經(jīng)網(wǎng)絡(luò)在240步左右收斂，自適應(yīng)步長神經(jīng)網(wǎng)絡(luò)提高到100步左右收斂，而改進(jìn)的自適應(yīng)步長混合神經(jīng)網(wǎng)絡(luò)則在20步左右就達(dá)到穩(wěn)定，收斂速度極快，因為收斂程度也就代表了分離效果，所以很明顯的看出改進(jìn)的自適應(yīng)步長混合神經(jīng)網(wǎng)絡(luò)分離效果最佳.

圖9　3種算法收斂速度比較Fig.9　The kinds of algorithm convergence speed

4結(jié)論

本文針對傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)算法中步長固定的不足提出了一種改進(jìn)的自適應(yīng)步長混合神經(jīng)網(wǎng)絡(luò)算法，該算法可靈活的控制步長因子，達(dá)到更快的收斂速度.通過試驗仿真，改進(jìn)算法收斂性能好，對分離含噪聲音信號的效果優(yōu)越，在對汽車發(fā)動機(jī)故障檢測的應(yīng)用起到了很好的效果.但在改進(jìn)算法中，對于不同的試驗數(shù)據(jù)的步長因子取值范圍不同且必須在一個固定的取值范圍內(nèi)其算法才可以有效應(yīng)用.因此，為了能不受步長因子取值范圍的影響使算法在其它領(lǐng)域中可進(jìn)行應(yīng)用，此算法還有待改進(jìn)和完善.

參考文獻(xiàn)

[1]Lee T W.Independent component analysis using an extended informax algorithm for mixed subgaussion and supergaussion sources[J].Neural Computation,1999,11(20):417-441

[2]葉重元，黃永東.小波閾值去噪算法的新改進(jìn)[J].計算機(jī)工程與應(yīng)用,2011,47(12):141-145

[3]任婕.含噪盲信號提取和分離技術(shù)研究[D].成都：電子科技大學(xué)，2012

[4]Hyvarinen A.Survey on independent component analysis[J].Neural Computing,1999,2(1):942-948

[5]Hyvarinen A.Gaussian moments for noisy independent compon- ent analysis[J].IEEE Signal Processing Letters,1990,6(6):145-147

[6]Cichocki A,Amari S.Adaptive blind signal and image processing-learning algorithms and applications[M].U S A：John Wiley & Sons Inc,2002

[7]張敬春，谷愛昱，王戰(zhàn)盟，等.基于盲分離的電機(jī)故障診斷[J].電力系統(tǒng)及其自動化學(xué)報,2006,18(4):67-70

[8]趙來娟，張仁陟，陳映江，等.遠(yuǎn)程控制精準(zhǔn)化灌溉系統(tǒng)中自適應(yīng)均衡技術(shù)仿真研究[J].甘肅農(nóng)業(yè)大學(xué)學(xué)報,2011,46(1):156-160

[9]覃景繁，韋崗.基于s型函數(shù)的變步長LMS自適應(yīng)濾波算法[J].無線電工程,1996,26(4):44-47

[10]孫娟，王俊，劉斌.基于相對誤差互相關(guān)函數(shù)的變步長LMS算法[J].系統(tǒng)工程與電子技術(shù),2008,30(12):2316-2320

[11]呂淑平,方興杰.基于獨立分量分析的自適應(yīng)在線算法[J].計算機(jī)應(yīng)用研究,2010,27(11):4140-4145

[12]Ichocki A，Unbehauen R.Robust neural networks with on-line learning for blind identification and blind separation of sources[J].IEEE Trans on Circuit and Systems I:Fundamental Theory and Applications,1996,43(11):894-906

[13]Cruces S,Castedo L,Cickocki A.Robust blind source separa-tion algorithms using cumulates[J].Neurocomputing,2002,49(1):87-118

[14]王宇，遲毅林，伍星，等.基于盲信號處理的機(jī)械噪聲監(jiān)測與故障診斷[J].振動與沖擊,2009,28(6):32-41

[15]牛亮，馬建倉.一種新的基于峰度的盲源分離開關(guān)算法[J].系統(tǒng)仿真學(xué)報,2005,17(1):125-188

[16]余華，吳文全，劉忠.自適應(yīng)步長EASI算法研究及改進(jìn)[J].艦船電子工程,2009,28(4):118-120

[17]張洪淵，賈鵬，史習(xí)智，等.確定盲分離中未知信號源個數(shù)的奇異值分解法[J].上海交通大學(xué)學(xué)報,2001,35(8):1155-1158

[18]叢豐裕，雷菊陽，許海翔，等.在線增強(qiáng)型復(fù)值混合信號盲分離算法研究[J].西安交通大學(xué)學(xué)報,2006,40(9):1070-1073

(責(zé)任編輯李辛)

Research and application of blind source separation algorithm of adaptative-step-size neural network

YANG Shuo1,LIU Xiao-bin2,YANG Jian-qing1

(1.College of Engineering,Gansu Agricultural University,Lanzhou 730070,China;2.College of Automotive Engineering,Lanzhou Institute of Technology,Lanzhou 730050,China)

Abstract：【Objective】 Blind source separation algorithm based on neural network was used to solve the problem of blind source separation of sound signal including noise.【Method】 An improved adaptive-step-size compound neural network algorithm was proposed,which can well control the shape of the step size factor function,the step size changed slowly near the zero making the performance more superior.At the same time,recursive structure was introduced aiming at the shortcomings of the neural network structure,which was combined with the improved adaptive step size algorithm to achieve better separating effect.【Result】 Application of the algorithm in automobile engine including noise signal showed good stability and convergence and it could control flexibly the step factor and separate engine noise signal achieving good separating effect.

Key words：blind source separation;neural network;self-adaptive step size

通信作者：劉小斌，男，教授，主要從事嵌入式系統(tǒng)開發(fā)、機(jī)電控制與系統(tǒng)仿真方面的教學(xué)與研究工作.E-mail:LZGZ_LXB@163.com

收稿日期：2015-04-07；修回日期：2015-04-27

中圖分類號：TP 301.6

文獻(xiàn)標(biāo)志碼：A

文章編號：1003-4315(2016)02-0155-06

第一作者：楊碩(1988-)，男，碩士研究生，主要從事電氣化與信息化方向的研究.E-mail:273449921@qq.com