四階累積量的fastICA算法穩(wěn)定性分析

梅鐵民,臧傳霞

(沈陽理工大學(xué) 信息科學(xué)與工程學(xué)院，遼寧 沈陽 110159)

四階累積量的fastICA算法穩(wěn)定性分析

梅鐵民,臧傳霞

(沈陽理工大學(xué) 信息科學(xué)與工程學(xué)院，遼寧 沈陽 110159)

為驗證基于四階累積量的fastICA算法的穩(wěn)定性，根據(jù)源信號的統(tǒng)計特性，對該算法進行理論分析，并利用仿真程序進行驗證。得出算法在源信號具有相同四階累積量的情況下，存在局部極值點，導(dǎo)致算法分離失敗。

ICA;四階累積量;fastICA;正交條件

獨立成分分析(independent component analysis，ICA)是一種信號處理的方法，要求從觀察到的信號中找到其內(nèi)在具有統(tǒng)計獨立和非高斯成分的一種盲分離方法，該方法以非高斯信號(或僅含有一個高斯信號)的混合信號為研究對象，有時也被稱作盲源分離。

20世紀(jì)90年代初期，法國學(xué)者Jutten等首次提出了ICA的概念[1]，當(dāng)時正是神經(jīng)網(wǎng)絡(luò)研究的高潮期，僅有一小部分學(xué)者在數(shù)據(jù)處理和壓縮上改進了ICA算法。1994年Comon等擴充ICA的概念[2]，描述和定義了盲源分離的基本假設(shè)。1995年，Bell等發(fā)表了ICA發(fā)展史上的里程碑式文獻，提出了一種基于神經(jīng)網(wǎng)絡(luò)方法的ICA算法[3]。ICA的極大似然估計法最先由Gaeta等提出[4]，并由Pearlmutter等改進。同時利用自然梯度方法的盲源分離算法開始形成[5]。Hyvarinen提出了基于隨機變量負熵最大化方法的ICA算法[6]，由于負熵不便于計算，Hyvarinen使用負熵的一種近似，并進一步得到了ICA的一類對比函數(shù)。Theis利用復(fù)數(shù)域上的Darmois-Skitovitch定理計算具有復(fù)數(shù)型隨機變量和系數(shù)ICA問題中的不確定性[7]，研究了復(fù)值ICA問題的唯一性和分離性。Tsai等人將一種隨機進化算法—粒子群優(yōu)化應(yīng)用于約束的ICA模型[8]，結(jié)果表明ICA算法能夠有效地檢測液晶顯示器玻璃基板中紋理圖像的缺陷。Masnadi-Shirazi等針對信號的平穩(wěn)性，提出了一種基于狀態(tài)的ICA算法[9]，利用該算法處理語音信號可以取得非常好的效果。經(jīng)過二十多年的發(fā)展，有關(guān)ICA的理論框架和相關(guān)算法已基本完善，但仍存在著一些根本性的問題沒有解決。

盲源分離是指僅從若干觀測到的混合信號中恢復(fù)出無法直接觀測的各個獨立原始信號的過程，是人工神經(jīng)網(wǎng)絡(luò)、統(tǒng)計信號處理及信息理論相結(jié)合而產(chǎn)生的方法。ICA是為解決盲源分離問題而逐漸發(fā)展起來的，已經(jīng)發(fā)展成為信號處理和數(shù)據(jù)分析的有力工具。將ICA用于解決盲源分離問題，能夠從觀測信號中恢復(fù)各源信號成分，所需僅僅是要求源信號相互統(tǒng)計獨立。

ICA實際上是一種尋優(yōu)過程，及如何使分離出的獨立成分最大限度地逼近各源信號。因此，ICA包括兩個主要方面：目標(biāo)函數(shù)和尋優(yōu)算法。進行ICA處理時的目標(biāo)函數(shù)主要包括最小互信息法、最大熵法以及最大似然估計法，均是衡量各成分獨立性的判據(jù)。通常選取的優(yōu)化算法均是梯度法[10-11]。

基于梯度計算的一系列ICA算法的收斂速度較慢，而且取決于學(xué)習(xí)因子選擇是否得當(dāng)，如果學(xué)習(xí)速率選取的不合適，會破壞收斂。因此，盲源分離過程中，需要尋求更可靠的學(xué)習(xí)算法?；诟唠A統(tǒng)計量，快速獨立成分分析(fastICA)算法[12]，是基于非高斯性最大化原則，使用固定點迭代理論尋找輸出的非高斯性最大值，該算法采用牛頓迭代算法對觀測變量的大量采樣點進行批處理。FastICA算法優(yōu)點是不存在學(xué)習(xí)因子的選擇，而且收斂速度快，可實現(xiàn)信號單一抽取。

本文主要對fastICA算法的穩(wěn)定性進行理論分析，分析算法是否能收斂到真正的信號分離點，并仿真驗證理論分析。

1 fastICA算法及其數(shù)學(xué)模型

圖1 fastICA原理框圖

觀測信號x(t)是由源信號s(t)=[s1(t),s2(t),…,sN(t)]T經(jīng)過混合矩陣A得到的：

x(t)=As(t)

(1)

對源信號s(t)有如下假設(shè)：

①s(t)中各成分是相互獨立的；

②s(t)是非高斯的；

③s(t)零均值，單位方差。

FastICA算法包含兩部分：預(yù)白化過程和分離過程輸出信號負熵絕對值最大化。預(yù)白化處理得到預(yù)白化信號z(t)=[z1(t),z2(t),…,zN(t)]T，與源信號的關(guān)系為

z(t)=Bx(t)=Qs(t)

(2)

式中B是白化矩陣，且Q=BA為一N×N未知正交矩陣，conv(z)=I。

W=[w1,w2,…,wN]為N×N分離矩陣，滿足正交約束條件,分離信號為

y(t)=WTz(t)

(3)

Hyvarinen利用四階累積量推導(dǎo)了fastICA算法[12]，多路信號抽取算法步驟：

(1)觀測信號預(yù)白化。

(2)初始化：k=0,W(0),且W(0)各列間正交歸一化。

(3)k=k+1，計算：

(4)對W(k)進行列正交歸一化。

(5)如果WT(k)W(k-1)接近單位矩陣，則結(jié)束；否則，返回(3)。

2 fastICA算法穩(wěn)定性分析

選取雙路信號混合盲分離進行算法穩(wěn)定性分析，分析混合模型與分離模型，由式(2)、式(3)知矩陣Q和W是二階正交矩陣，式(3)可寫成如下形式：

y(t)=Vs(t)

(4)

式中V=[vij]=WTQ是正交矩陣。

根據(jù)源信號的統(tǒng)計特性及四階累積量的性質(zhì)，分離系統(tǒng)輸出信號的四階累積量為

(5)

式中ki(i=1,2)為源信號的四階統(tǒng)計量。

認為源信號在同一時間被分離，fastICA算法等價于輸出信號累積量極值化，可描述為[13]

(6)

解方程組(6)得到第一路解(v11，v12)的八組解：

(7)

同樣得到第二路(v21，v22)的八組解為

(8)

式(7)與式(8)結(jié)果相同。

對存在的分離結(jié)果進行分析，觀察式(7)、式(8)解的形式知，前四個解是真的信號分離點，最后四個解不是信號分離點。而且后四個解的存在依賴于源信號的統(tǒng)計特性。接下來，討論源信號的統(tǒng)計特性對后四個解的影響。

1)如果源信號分別為超高斯亞高斯信號時，存在k1<0或k2<0，故式(7)與式(8)中后四個解不存在?？紤]到正交條件v11v21+v12v22=0，每組前四個解對應(yīng)信號分離的八種情況：

(9)

源信號能夠成功得到分離，不存在局部極值點。

2)如果源信號同為超高斯或亞高斯信號，且k1≠k2時，式(7)、(8)后四個解存在，但不滿足v11v21+v12v22=0，所以后四個解不是方程組(5)的解，此種情況下信號分離仍對應(yīng)式(9)中的結(jié)果。

3)如果源信號同為超高斯或亞高斯信號，且k1=k2，即源信號具有相同的四階統(tǒng)計量。式(7)與式(8)中后四個解存在且滿足v11v21+v12v22=0，但不是信號分離的點。這種情況下，存在局部極值點。

綜上所述，在某些特殊條件下，fastICA算法是不穩(wěn)定的，分離過程中，不能收斂到正確的信號分離點。

3 仿真

以上是對現(xiàn)有的fastICA算法穩(wěn)定性的理論分析，現(xiàn)對算法的穩(wěn)定性進行仿真，來驗證理論分析的正確性。應(yīng)用到的全局矩陣誤差函數(shù)[14]：

EI=-10log10

式中vij是全局矩陣V的元素。

仿真環(huán)境：Matlab7.0軟件、Windows XP操作系統(tǒng)、處理器AMD、頻率792kHz、內(nèi)存2G。

3.1 兩個具有不同四階累積量的獨立源信號

選取兩路語音信號作為超高斯信號，進行仿真。源信號s1、s2長度為L=24000，如圖2所示。混合矩陣A，分離矩陣W賦有初值。

其中混合矩陣A條件數(shù)為1.3265，分離矩陣W條件數(shù)為3.0230，算法分離過程中的波形圖，如圖2所示。

3.2 兩個具有相同四階累積量的獨立源信號

選取語音信號s1，如圖2a所示。s2是s1分塊的不同順序的組合，兩者的四階累積量相同，如圖3所示。

圖2 分離過程中各處理階段使用的波形

圖3 分離過程中各處理階段使用的波形

4 結(jié)論

基于四階累積量的fastICA算法收斂后存在非信號分離點，雙路源信號的混合-分離仿真證明了理論分析的正確性，在源信號四階統(tǒng)計量相同的條件下，fastICA算法不能收斂到正確的分離點。以后的工作是如何避免fastICA收斂到非信號分離點。

[1]Jutten C,Herault J.Blind separation of sources,part I:an adaptive algorithm based on neuromimetic architecture[J].Signal Processing,1991,24(1):1-10.

[2]Comon P,Jutten C,Herault J.Blind separation of source,part II :Problems statement[J].Signal Processing,1991,24(1):11-20.

[3]Bell A J,Sejnowski T J.An information maximization approach to blind separation and blind deconvolution[J].Neural computation,1995,7(6):1004-1034.

[4]Gaeta M,Lacoume J L.Source separation without a priori knowledge:the maximum likelihood solution[C].Proceeding of EUSIPCO’90,1990:621-624.

[5]Amari S.Netural gradient works efficiently in learning[J].Neural Computation,1998,10(2):251-276.

[6]Hyvarinen A.A family of fixed point algorithms for independent compentent analysis[C].Proceedings of ICASSP’97,1997:3917-3920.

[7]Theis F J.Uniqueness of complex and multidimensional independent component analysis[J].Signal Processing,2004,84(5):951-956.

[8]Tsai D M,Tseng Y H,Chao S M,et al.Independent component analysis based filter design for defect detection in low-contrast images[C].Proceedings of the 18th International Conference on Pattern Recognition,2006:231-234.

[9]Masnadi-Shirazi A,Rao B.Independent vector analysis incorporating active and inactive states[C].Proceedings of the 2009 IEEE International Conference on Acoustics,Speech,and Signal Processing,2009:1837-1840.

[10]Cardoso J F.Estimating equations for source separation[C].Proceedings of ICASSP’97,1997:3449-3452.

[11]Cichocki A,Unbehauen R.Robust neural networks with online learning for blind identification and blind separation of sources[J].IEEE Transactions on Circuits and Systems,1996,43(11):894-906.

[12]Hyvarnen A.Fast and robust fixed-point algorithms for independent component analysis[J].IEEE Transactions on Neural Networks,1999,10(3):626-634.

[13]梅鐵民.盲源分離理論與算法[M].西安：西安電子科技大學(xué)出版社，2013.

[14]梅鐵民.盲源信號分離時域與頻域算法研究[D].大連：大連理工大學(xué)，2006.

[15]Chang C,Ding Z,Yau S F,et al.A matrix-pencil approach to blind separation of colored non-stationary signals[J].IEEE Trans.on Signals Processing,2000,48(3):900-907.

StabilityAnalysisontheAlgorithmfastICA

MEI Tiemin,ZANG Chuanxia

(Shenyang Ligong University,Shenyang 110159,China)

In practice,fastICA does not converge to the correct point for some special cases,so the stability of fastICA algorithm is analyzed.Theoretical analysis shows that local convergence points exist.Simulation results are given to prove the conclusion.

ICA;fourth-order statistics;fastICA;orthogonal condition

2013-10-16

梅鐵民(1964—)，男，教授，博士，研究方向：自適應(yīng)信號處理.

1003-1251(2014)04-0048-05

TP391

A

馬金發(fā))