變步長等變自適應盲源分離算法

陸建濤,成瑋,訾艷陽,

(西安交通大學機械制造系統(tǒng)工程國家重點實驗室, 710049, 西安)

?

變步長等變自適應盲源分離算法

(西安交通大學機械制造系統(tǒng)工程國家重點實驗室, 710049, 西安)

針對傳統(tǒng)盲源分離(BSS)算法采用固定步長難以同時兼顧收斂速度和穩(wěn)態(tài)誤差的難題,采用等變自適應盲源分離(EASI)算法,提出了一種基于分離指標的變步長等變自適應盲源分離算法(VS-SI)。該算法利用EASI收斂條件,構(gòu)造表征信號分離程度的分離指標,并設(shè)計帶遺忘因子的更新算法,以減小歷史數(shù)據(jù)誤差的影響,實現(xiàn)分離指標的自適應計算,并采用一個非線性單調(diào)遞增函數(shù)實現(xiàn)步長的自適應調(diào)節(jié)。通過與固定步長的自然梯度算法(FS-NG)、固定步長的EASI算法(FS-EASI)、步長指數(shù)衰減算法(EDS)和基于權(quán)重正交約束變步長算法(AS-WO)的性能進行對比,結(jié)果表明,在無噪聲和有噪聲兩種情況下,提出算法均有較快的收斂速度,最終性能指標分別減小了15%和20%以上,同時兼顧穩(wěn)態(tài)誤差和收斂速度,具有較好的數(shù)值魯棒性。

盲源分離;等變自適應盲源分離;分離指標;變步長;在線算法

盲源分離(BSS)是20世紀80年代迅速興起的研究領(lǐng)域,在通信、生物信號處理、故障診斷、圖像處理、語音識別等領(lǐng)域有突出作用[1-6]。BSS是在源信號和混疊參數(shù)未知的情況下,僅僅根據(jù)混合信號恢復源信號的過程[7]。BSS能分離振源的振動信息,為提取設(shè)備的故障特征和振動噪聲監(jiān)測控制提供技術(shù)依據(jù)。

BSS處理方法一般可分為兩種:批處理(BP)和自適應處理(AP)[8]。BP也稱離線處理,是指對已獲得的一組數(shù)據(jù)做統(tǒng)計學處理,每次使用一部分甚至是所有數(shù)據(jù)。因此,該類型算法可以獲得較快的收斂速度,往往十幾次迭代就會有較好的結(jié)果,如著名的Fast ICA算法、聯(lián)合近似對角化算法、四階盲辨識算法等。但是,BP算法往往需要很大的存儲空間,而且不適合時變系統(tǒng),不能快速追蹤系統(tǒng)的變化。AP算法所需存儲量小,能夠根據(jù)獲得的數(shù)據(jù)做遞歸式處理,又稱在線處理或?qū)崟r處理。AP算法具有單次遞歸計算量小、計算簡單和適合非平穩(wěn)環(huán)境等優(yōu)點。目前應用較為廣泛的BSS自適應處理算法有自然梯度算法、EASI和迭代反演ICA算法[9]。

收斂速度和穩(wěn)態(tài)誤差是評價AP算法性能的兩種重要指標。收斂速度越快,算法的追蹤速度就越快,就能夠快速追蹤信號的變化,而小的穩(wěn)態(tài)誤差是信號準確分離的前提。收斂速度和穩(wěn)態(tài)誤差相互矛盾,而步長是平衡兩者的重要參數(shù)[10]。傳統(tǒng)的BSS方法采用固定步長,當步長較大時,收斂速度快,但穩(wěn)態(tài)誤差較大;當步長較小時,可獲得較小的穩(wěn)態(tài)誤差,但所需時間較長[11]。文獻[12]提出按照指數(shù)衰減形式改變步長,獲得了較好的分離效果,但如果信號還未較好分離而步長已減小到較小值,則需要很長時間才能取得較好的結(jié)果。文獻[9]提出一種利用分離信號相關(guān)系數(shù)來調(diào)節(jié)步長的算法,將分離過程分為初始階段、捕獲階段和追蹤階段,在不同階段采用不同的策略來自適應改變步長,但是這種算法較為復雜,不適合對采樣頻率較大的信號做在線處理。文獻[13]提出一種基于分離矩陣正交性約束的自適應步長算法,在迭代過程中引入單步正交修正,并設(shè)計單步誤差估計函數(shù),得到較好的仿真結(jié)果。

本文通過分析EASI算法的收斂條件,得到信號分離程度的度量指標(分離指標),并利用該指標作為調(diào)節(jié)步長的依據(jù)。為了減小初始階段的誤差,采用一種帶遺忘因子的在線更新算法,實現(xiàn)分離指標的在線更新。最后,通過構(gòu)造一個非線性單調(diào)遞增函數(shù),實現(xiàn)步長的自適應選取。所提出的算法既有較快的收斂速度,又有較小的穩(wěn)態(tài)誤差,能夠快速準確的分離源信號。

1 BSS基本理論

若不考慮噪聲nt的干擾,線性瞬時混合BSS模型的混合過程和分離過程分別為

xt=Ast

(1)

yt=Wxt

(2)

則總的數(shù)學模型為

yt=WAst

(3)

式中:st為源信號向量;A為m×n混合矩陣;xt為混合信號(觀測信號)向量;W為待優(yōu)化的n×m分離矩陣;yt為分離信號向量。自適應BSS模型示意圖如圖1所示。

圖1 自適應BSS模型示意圖

線性瞬時混合模型的目的是通過調(diào)節(jié)分離矩陣W使得分離信號yt和源信號st盡可能相似,即優(yōu)化W使得WA=PΛ,其中P是一個廣義置換陣,Λ為對角陣。此時有yt=PΛst,此問題沒有唯一解,yt和st允許在排列次序和幅值上有所不同。

2 在線更新算法原理

從理論上講,評價獨立性最基本的準則是聯(lián)合概率分布可表示為各個分量邊緣概率分布的乘積,即

(4)

設(shè)p(y)、q(y)為隨機變量y的兩種概率密度,則兩者間的散度為

(5)

由式(5)可得,KL≥0,當且僅當p(y)=q(y)時,其值為0?；バ畔⒌亩x為

(6)

對式(6)分離矩陣W求導,可得自然梯度算法表達式為

(7)

式中:μt是迭代步長。當算法達到收斂時,有

(8)

式中:E[·]為求期望。由式(8)可知,算法達到收斂時,分離信號表現(xiàn)為高階不相關(guān)。分離矩陣W可分解為一個正交矩陣U和一個白化矩陣V的乘積[14],即

W=UV

(9)

白化過程即為去除二階相關(guān),使其相互正交。白化矩陣的更新如下

(10)

式中:zt是中間變量,且z=Vtxt。由于U是正交陣,則UUT=I,考慮一個小的攝動

(11)

為了在加入攝動后U仍保持正交性,有

(12)

忽略二階小量可得

(13)

由式(13)可知,ε應為斜對稱陣。由式(7)、式(10)和式(13),得EASI算法[14]為

(14)

由此可知,EASI算法不需要對原始數(shù)據(jù)進行球化處理,而將其和迭代過程合并,具有等變性。

3 自適應步長算法

3.1 分離指標的定義

由式(14)可知,當算法收斂時,有

(15)

由于

[I-YYT]T=I-YYT

(16)

[YφT(Y)-φ(Y)YT]T=-[YφT(Y)-φ(Y)YT]

(17)

故I-YYT為對稱陣,即可表示為下式的形式

(18)

YφT(Y)-φ(Y)YT為斜對稱陣,且其對角線元素為0,故可表示為下式的形式

(19)

由式(15)成立,可知式(18)和式(19)對應位置元素之和均為0,即

(20)

(21)

故當式(15)成立時,有下式成立

(22)

(23)

式中:‖·‖代表矩陣的任意范數(shù)。令

S=max(‖E[I-YYT]‖,

(24)

則S可作為算法收斂的度量指標,即可作為信號分離程度的一種度量。當S較大時,信號分離程度小,此時應使用較大的步長以加速收斂;當S較小時,表明信號已得到較好分離,此時步長應取較小值,以減小穩(wěn)態(tài)誤差;當S≈0時,步長取值接應近于0。

3.2 分離指標的在線更新

由于EASI算法為自適應處理算法,分離矩陣隨迭代次數(shù)增加自適應地更新,故要求步長自適應更新,則S應以在線更新的方式獲得。當有新數(shù)據(jù)時,只需修正原來的數(shù)值,而不需要重新利用所有數(shù)據(jù)進行計算。為了實現(xiàn)S的在線更新計算,令

(25)

(26)

(27)

3.3 步長自適應選取

步長在改善算法的收斂速度和穩(wěn)態(tài)誤差上起著關(guān)鍵作用。當步長較大時,收斂速率較快,但會導致較大的穩(wěn)態(tài)誤差,不能精確地分離源信號;當步長較小時,穩(wěn)態(tài)誤差較小,但需要較長的收斂時間,不能快速追蹤系統(tǒng)的變化。因此,合理選擇步長對改善算法性能至關(guān)重要。在分離過程的初期階段,分離信號的誤差較大,此時應采用較大的步長;在分離過程的后期,源信號已基本分離,此時應采用小的分離步長,以減小分離信號的穩(wěn)態(tài)誤差,增加信號分離的準確性。構(gòu)造一個非線性單調(diào)遞增函數(shù)實現(xiàn)分離指標到步長的映射如下

(28)

(29)

綜上,變步長EASI算法總體流程如圖2所示。

圖2 變步長EASI算法流程

4 仿真分析

4.1 無噪環(huán)境性能對比

仿真實驗分別利用FS-NG、FS-EASI、EDS[12]和AS-WO[13]4種算法與本文算法(VS-SI)進行對比分析,驗證本文算法的有效性和穩(wěn)定性。算法的性能指標用P來衡量,其表達式如下

(30)

式中:Cij為矩陣C的第(i,j)元素。通過200次獨立仿真實驗的P均值來評價算法的性能,通過其方差來評價算法的穩(wěn)定性。本文還采用P達到某些固定值(P為4、2、1)時所需的最小迭代次數(shù)以及最終的P(最后1 000個點的平均值)進行對比。仿真實驗的參數(shù):FS-NG和FS-EASI中μ=6.5×10-3;EDS算法中μ0=1.4×10-2,K0=5×102,Kd=1.5×10-3;AS-WO算法中μ0=1×10-2,β=0.998,ρ=0.02;本文算法VS-SI中μ0=1×10-2,α1=1×10-2,α2=5×10-3,η=0.99,式(24)中的范數(shù)取1-范數(shù)。源信號表達式如下

(31)

源信號采樣頻率為10 kHz,采樣時間為0.4 s,波形如圖3所示,其中s1(t)為幅值調(diào)制信號,s2(t)為相位調(diào)制信號,s3(t)為正弦信號,s4(t)為白噪聲信號。文中信號均為模擬信號,故其幅值單位為1。本文共進行200次獨立的仿真實驗,其中混合矩陣和信號s4(t)均為隨機產(chǎn)生。隨機挑選一組混合矩陣如下

(32)

其對應的混合信號如圖4所示。

圖3 源信號波形圖

圖4 混合信號波形圖

圖5為本文算法的分離信號的波形圖。對比圖3和圖5可知,除了信號的順序和幅值外,源信號已得到較好的恢復。圖6為VS-SI算法的步長隨迭代次數(shù)的變化趨勢圖,從中可以看出:在初始階段,分離信號誤差較大,步長快速增加到最大值(約為0.014);之后隨著分離過程進行,步長又迅速減小到約0.001,此時信號已基本分離;最后,在分離的后期,為了提高分離的精度,步長繼續(xù)緩慢地減小,直到在一個很小值附近波動。步長的變化趨勢表明了本文算法的正確性。

圖5 分離信號波形圖(無噪聲)

圖6 VS-SI算法步長隨迭代次數(shù)的變化(無噪聲)

圖7表示200次獨立仿真實驗所得P均值隨迭代次數(shù)的變化趨勢。從圖7可以看出:FS-NG收斂速度最慢,而且穩(wěn)態(tài)誤差較大;FS-EASI由于加入了分離矩陣正交的約束,故收斂速度較FS-NG快,但是由于步長為固定值這一限制,其穩(wěn)態(tài)誤差并未減小,反而略有增加;EDS通過指數(shù)衰減的方式改變步長,收斂速度比FS-EASI略有增加,但穩(wěn)態(tài)誤差有明顯的提高;AS-WO收斂速度較EDS快,但穩(wěn)態(tài)誤差稍遜;本文的VS-SI算法除最初誤差較大階段收斂速度稍遜AS-WO外,具有最快的收斂速度和最小的穩(wěn)態(tài)誤差值。以上分析表明了本文所提出算法的正確性和有效性。

圖7 不同算法P指標均值對比(無噪聲)

圖8為200次獨立仿真實驗所得P方差隨迭代次數(shù)的變化趨勢。從圖8可以看出,除最初始階段方差稍大于其他算法外,其余均明顯小于其他算法,表明本文算法具有較好的數(shù)值魯棒性。

圖8 不同算法P指標方差對比(無噪聲)

表1為P達到某一固定值時不同算法所需的最少迭代次數(shù)以及算法最終的P。從表中可知:FS-NG在P達到某一固定值時所需迭代次數(shù)最多,表明其收斂速率最低;FS-EASI算法所需的迭代次數(shù)約為FS-NG的50%,表明收斂速率提升近2倍;EDS較于前者,其最少迭代次數(shù)略有下降;AS-WO與EDS相比,P達到固定值所需的最少迭代次數(shù)均有較大的下降;VS-SI在P達到1時所需最少迭代次數(shù)約為AS-WO的60%,約為EDS和FS-EASI的50.6%,約為FS-NG的28.7%。從表1還可知,本文提出的算法具有最小的P終值,為0.166,與EDS和AS-WO相比分別下降了16.5%和56.7%。

表1 不同算法性能對比(無噪聲)

4.2 噪聲環(huán)境下性能對比

源信號采用如下形式

(33)

源信號的采樣頻率和采樣時間分別為10 kHz和0.4 s。通過200次獨立仿真實驗的P均值來評價算法的平均性能,通過其方差來評價算法的穩(wěn)定性。每次實驗中,混合矩陣A和s4均隨機產(chǎn)生,并在混合信號中加入信噪比(σ)為20 dB的噪聲,各種方法的參數(shù)保持不變。分離信號如圖9所示,可以看出,除幅值和順序外,源信號基本得到恢復。

圖9 分離信號波形圖(σ=20 dB)

圖10為σ=20dB時200次獨立仿真實驗所得P均值隨迭代次數(shù)的變化趨勢。從圖10可以看出,與其他方法對比,本文算法具有最快的收斂速度和最小的穩(wěn)態(tài)誤差值,表明本文算法在噪聲環(huán)境下的正確性和有效性。圖11為σ=20dB時200次獨立仿真實驗所得P的方差隨迭代次數(shù)的變化趨勢。從圖11可以看出,除最初始階段方差稍大于其他算法外,其余均小于其他算法,表明本文算法具有較好的數(shù)值魯棒性。表2為噪聲環(huán)境下不同算法的性能對比。從表中可知,本文算法在P=4和P=2時所需迭代次數(shù)最少;在P=1時所需迭代次數(shù)約為2 150,而其他的算法的P均大于1;本文算法的P終值為0.923,相比于FS-NG、FS-EASI、EDS和AS-WO分別下降了60.6%、68.2%、30.3%和22.4%,表明了本文算法的準確性和有效性。

圖10 不同算法P指標均值對比(σ=20 dB)

圖11 不同算法P指標方差對比(σ=20 dB)

P迭代次數(shù)FS-NGFS-EASIEDSAS-WOVS-SI4106052075043030021760×14707504901××××2150P終值2.3402.9001.3241.1880.923

注:“×”表示算法未達到要求。

5 結(jié) 論

本文通過分析EASI算法的收斂條件,得到表征信號分離程度的度量指標(分離指標S),進而提出一種基于S的步長自適應調(diào)節(jié)EASI算法。在分離的初始階段,提出的算法具有較大的步長,加快收斂速度,而在分離的后期,步長自適應地減小,降低穩(wěn)態(tài)誤差,提高收斂精度。仿真實驗中步長的變化趨勢驗證了算法的有效性。在有噪聲和無噪聲兩種情況下對所提算法進行性能分析,仿真實驗的P均值變化趨勢表明,相比于其他算法,本文提出的算法具有最快的收斂速度和最小的穩(wěn)態(tài)誤差,較好地解決了收斂速度和穩(wěn)態(tài)誤差之間的矛盾,獲得了較好的分離效果,而P方差趨勢對比圖表明提出的算法具有較好的魯棒性。

[1] LATHAUWER L D, CASTAING J. Tensor-based techniques for the blind separation of DS-CDMA signals [J]. Signal Processing, 2007, 87(2): 322-336.

[2] FORESTA F L, MAMMONE N, MORABITO F C. PCA-ICA for automatic identification of critical events in continuous coma-EEG monitoring [J]. Biomedical Signal Processing and Control, 2009, 4(3): 229-235.

[3] CHENG W, HE Z J, ZHANG Z S. A comprehensive study of vibration signals for a thin shell structure using enhanced independent component analysis and experimental validation [J]. Journal of Vibration and Acoustics, 2014, 136(4): 041011.

[4] MINH H Q, WISKOTT L. Multivariate slow feature analysis and decorrelation filtering for blind source separation [J]. IEEE Transactions on Image Processing, 2013, 22(7): 2737-2750.

[5] MAAZOUZI F, BAHI H. Type-2 fuzzy Gaussian mixture models for singing voice classification in commercial music production [J]. International Journal of Signal and Imaging Systems Engineering, 2013, 6(2): 111-118.

[6] 成瑋, 張周鎖, 何正嘉, 等. 基于獨立分量分析的潛艇振源貢獻量定量計算方法 [J]. 機械工程學報, 2010, 46(7): 82-95. CHENG Wei, ZHANG Zhoushuo, HE Zhengjia, et al. Quantitative calculation of vibration source contributions of submarines based on independent component analysis [J]. Journal of Mechanical Engineering, 2010, 46(7): 82-95.

[7] 成瑋, 張周鎖, 何正嘉. 降噪源分離技術(shù)及其在機械設(shè)備運行信息特征提取中的應用 [J]. 機械工程學報, 2010, 46(13): 128-134. CHENG Wei, ZHANG Zhoushuo, HE Zhengjia. Denoising source separation technique and its application in feature extraction of mechanical equipment running information [J]. Journal of Mechanical Engineering, 2010, 46(13): 128-134.

[8] 高穎, 李月, 楊寶俊. 變步長自適應盲源分離算法綜述 [J]. 計算機工程與應用, 2007, 43(19): 75-79. GAO Ying, LI Yue, YANG Baojun. Overview on variable step size techniques for on-line blind source separation [J]. Computer Engineering and Application, 2007, 43(19): 75-79.

[9] ZHANG X D, ZHU X L, BAO Z. Grading learning for blind source separation [J]. Science in China: Series F, 2003, 46(1): 31-44.

[10]NAKAJIMA H, NAKADAI K, HASEGAWAY, et al. Blind source separation with parameter-free adaptive step-size method for robot audition [J]. IEEE Transactions on Audio, Speech, and Language Processing, 2010, 18(6): 1476-1485.

[11]JAFARI M G, CHAMBERS J A, MANDIC D P. A novel adaptive learning rate sequential blind source separation algorithm [J]. Signal Processing, 2004, 84(4): 801-804.

[12]YANG H H. Serial updating rule for blind separation derived from the method of scoring [J]. IEEE Transactions on Signal Processing, 1999, 47(8): 2279-2285.

[13]TANG X J, ZHANG X F, YE J M. Adaptive step-size natural gradient ICA algorithm with weighted orthogonalization [J]. Circuits Systems and Signal Processing, 2014, 33(1): 211-221.

[14]YE J M, JIN H H, LOU S T, et al. An optimized EASI algorithm [J]. Signal Processing, 2009, 89(3): 333-338.

(編輯 杜秀杰)

Variable Step-Size Algorithm for Equivariant Adaptive Separation via Independence

(State Key Laboratory for Manufacturing System Engineering, Xi’an Jiaotong University, Xi’an 710049, China)

The traditional blind source separation algorithm can not well balance the convergence rate and the steady-state error due to the limitation of fixed step size. Based on equivariant adaptive separation via independence (EASI) algorithm, a variable step-size algorithm with separation indicator (VS-SI) for EASI is proposed. The separation indicator (S) is constructed to reveal the separation degree by analyzing the convergence condition of EASI. Then, the adaptive updating of theSwith forgetting factor is also designed to reduce the error effects of the previous data. A nonlinear monotone increasing function is proposed, which adaptively updates the step size. Compared with the fixed step-size natural gradient algorithm (FS-NG), the fixed step-size EASI algorithm, the exponential decay step-size algorithm and the adaptive step-size algorithm with weighted orthogonalization, the proposed algorithm is endowed with faster convergence rate, and the final performance indicator decreases more than 15% and 20% under noise-free and noisy conditions respectively. The proposed method can balance the convergence rate and the steady-state error with strong robustness.

blind source separation; equivariant adaptive separation via independence; separation indicator; variable step size; online algorithm

2015-05-12。

陸建濤(1990—),男,博士生;成瑋(通信作者),男,副教授。

國家自然科學基金資助項目(51305329);中國博士后科學基金資助項目(2013M532032,2014T70911);教育部高等學校博士學科點專項科研基金資助項目(20130201120040)。

時間:2015-09-13

10.7652/xjtuxb201512014

TH17

A

0253-987X(2015)12-0083-07

網(wǎng)絡(luò)出版地址:http:∥www.cnki.net/kcms/detail/61.1069.T.20150913.1823.004.html