基于批處理和核函數(shù)的非線性盲源分離算法?

禹華鋼，高俊，黃高明

基于批處理和核函數(shù)的非線性盲源分離算法?

禹華鋼，高俊，黃高明

（海軍工程大學電子工程學院，武漢430033）

針對基于核函數(shù)的非線性盲源分離算法性能對核函數(shù)及其參數(shù)選擇依賴性強這一問題，提出采用批處理方法代替聚類和核主成分分析方法來構造低維近似子空間的正交基，以改進基于核函數(shù)的非線性盲源分離算法對核函數(shù)及其參數(shù)變化的穩(wěn)健性，并對這種改進的非線性盲源分離算法進行了完整的分析。通過仿真實驗，對分離信號與源信號求相似度，可以看到提出的基于批處理的非線性盲源分離算法能夠取得更穩(wěn)健、準確的分離效果。

信號處理；非線性盲源分離；核函數(shù)；聚類；批處理；相似度

1 引言

盲源分離（Blind Source Separation，BBS）是指在源信號和傳播信道參數(shù)未知的情況下，只利用傳感器陣的觀測數(shù)據(jù)來分離、提取源信號的過程。其在無線通信、雷達、聲納、語音信號處理、醫(yī)學信號處理、圖像處理等方面有著廣泛的應用前景和價值［1，2］，近年來，已成為信號處理和神經(jīng)網(wǎng)絡領域的一個研究熱點。

典型BSS問題主要是對線性瞬時混合的獨立源信號進行獨立成分分析，從而分離源信號。目前已出現(xiàn)了一大批性能良好的算法，如Infomax、JADE、FastICA［1］、TDSEP［3］、KICA［4］等。但在現(xiàn)實環(huán)境中，多傳感器的混合過程包含有非線性的成分。在實際情況中，非線性的混合非常普遍，對這種情況的研究顯得更為實際和重要。目前對非線性混合信號盲分離問題的研究較少并存在許多困難，已取得一些研究成果有Lee［5］的參數(shù)sigmoidal函數(shù)方法、Woo［6］等給出的神經(jīng)網(wǎng)絡方法、Valpola［7-8］的Bayesian總體學習方法、Ziehe［9］的時間解相關方法、Almeida［10］的基于互信息的MISEP方法和Zhang［11］的最小非線性失真的非線性ICA方法等。盡管這些方法各有特點，但總體性能還不能令人滿意。

考慮到大多數(shù)信號都是時間信號，Harmeling［12］結合核特征空間、構建低維近似子空間、TDSEP（Temporal Decorrelation Source SEParation）二階時間解相關盲源分離算法和源信號成分選擇，提出了KTDSEP非線性盲源分離算法，通過核函數(shù)映射將原空間中的非線性問題轉化為高維特征空間中的線性運算，再利用線性的方法進行分離，針對某一非線性混合，通過調整核函數(shù)的種類及其參數(shù)能取得很好的分離效果。文獻［12］中Harmeling采用聚類（Clustering）和核主成分分析（Kernel Principle Component Analysis，KPCA）的方法來構建低維近似子空間的正交基，作為空間F的低維表示。然而，當觀測數(shù)據(jù)的長度很大時，采用聚類和核主成分分析的方法在初始化過程中需要很大的存儲空間。通常只取其中一小部分觀測數(shù)據(jù)來進行計算，以至原觀測數(shù)據(jù)中包含的部分信息丟失，因此算法性能受核函數(shù)參數(shù)變化的影響較大，往往需要在已知非線性混合方式的情形下，對核函數(shù)的參數(shù)進行調整才能得到良好的分離效果。但是在實際情況中，非線性混合方式往往是未知的，如何提高算法對核函數(shù)參數(shù)的穩(wěn)健性至關重要。針對這一問題，本文采用批處理算法［13］來構造低維近似子空間，在核函數(shù)參數(shù)變化范圍內，對于超高斯和亞高斯信號的不同非線性混合方式均取得了良好的分離效果。該算法簡便并降低了計算復雜度和所需的存儲空間［13］。

2 基于批處理的KTDSEP非線性盲源分離算法

2.1 非線性盲源分離問題

非線性混合形式的數(shù)學模型可表示為

式中，x（t）=（x1（t），x2（t），…，xm（t））T（t=1，2，…，T）是m個混合信號矢量，s（t）=（s1（t），s2（t），…，sm（t））T（t=1，2，…，T）是m個未知的獨立源信號矢量（僅考慮源信號和混合信號個數(shù)相等的情況），fi（·）（i=1，2，…，m）為Rm到Rm的非線性可逆混合函數(shù)。非線性盲源分離問題就是根據(jù)觀測的混合信號x（t）（t=1，2，…，T）估計出獨立源信號矢量。

2.2 TDSEP線性盲源分離算法

對于線性混合，混合函數(shù)f可以簡化為混合矩陣A。做以下假設：混合矩陣A列滿秩；源信號之間是互不相關的，有不同的相關函數(shù)，但在時間上滿足相關性。在此假設的基礎上，可以得出TDSEP盲源分離算法如下：

根據(jù)假設，由于x（t）=As（t），混合信號x（t）的相關矩陣滿足：

對于源信號，根據(jù)假設2可得

和

都是非零元素不同的對角陣。取多個時間延遲τi（i =1，2，3，…，M），求矩陣W對Rs（τi）（i=1，2，3，…，M）進行同時對角化，則W=A＃，＃為混合矩陣A的廣義逆矩陣，則y（t）=Wx（t）即為分離信號。考慮到大部分自然界中信號都有顯著的時間結構，相對于基于高階統(tǒng)計量的盲源分離算法，基于信號時間特征的方法計算復雜度較低，更加穩(wěn)定，且不需要源信號滿足非高斯性。

2.3 基于批處理的KTDSEP盲源分離算法

核盲源分離的思想是首先通過非線性映射φ：Rm→F將觀測信號x（t）（t=1，2，…，T）映射到高維特征空間F，將原空間中的非線性問題轉化為高維特征空間中的線性運算，再在高維特征空間F進行線性盲源分離。但是直接對φ（xi）進行計算，計算量特別大，不符合實際要求，所以考慮采用“核技巧”的方法將其轉換為對Gram矩陣K進行運算，其中Kij=K（xi，xj）=〈φ（xi），φ（xj）〉。本文中使用常用的高斯核，即

K為T×T的矩陣，直接應用矩陣K來進行T維的盲源分離，計算量太大，而且不穩(wěn)定。文獻［12］中Harmeling采用聚類方法來構建低維近似子空間的正交基，作為空間F的低維表示。

設x（t）（t=1，2，…，T）對應高維特征空間的映射為φx：=（φ（x（1）），…，φ（x（T））），φv：=（φ（v1），…，φ（vd））為φx列空間的一組基向量，則

在此基礎上可以定義正交基Ξ：=φv（φTvφv）-1／2，從而可以直接將輸入數(shù)據(jù)映射到此正交基張成的高維特征子空間：

再根據(jù)核技巧，可以得到式（5）和式（6）：

然而，當觀測數(shù)據(jù)的長度較大時，采用聚類方法在初始化過程中需要很大的存儲空間。通常只取其中一小部分觀測數(shù)據(jù)來進行計算，以至原觀測數(shù)據(jù)中包含的部分信息丟失。所以本文采用批處理算法來構造低維近似子空間［13］，能有效提高計算效率和算法的穩(wěn)定性。

將數(shù)據(jù)分成多個批次，依次從觀測信號x（t）（t =1，2，…，T）選擇d個數(shù)據(jù)組成觀測信號子集SCi，i=1，2，…，c；c=T／d。分別計算Gram矩陣KSCi，從而可以計算平均Gram矩陣：

定義MSC為平均子集：

將式（7）、式（8）代入式（4）可得

再采用TDSEP算法，對x（t）（t=1，2，…，T）在高維特征空間的映射信號ψx（t）進行盲源分離。

定義對稱時移協(xié)方差矩陣

3 仿真實驗

為驗證本文算法的有效性，進行了一系列的仿真實驗。分別對亞高斯和超高斯信號的非線性混合進行盲源分離，將基于批處理的方法與基于聚類的方法進行比較。仿真實驗中使用常用的高斯核函數(shù)

k（x，x′）=exp（-‖x-x′‖2／2σ2）；對低維近似子空間維數(shù)的選擇，聚類算法中d=20，批處理算法中d=6。為了量化分離效果，采用分離信號與源信號的相似系數(shù)ξij來測試分離信號與源信號之間的相似度［14］。相似系數(shù)ξij的計算表達式為

3.1 亞高斯信號仿真實驗

兩路源信號如圖1所示，s1（t）=（6+sin（2π× 66 t／fs））·（cos（2π×1222 t／fs））（t=1，2，…，2000；fs=2000）為調幅信號，s2（t）=（cos（2π×100 t／fs））（t=1，2，…，2000；fs=2000）為正弦信號。采用式（12）的混合方式，兩路混合信號如圖2所示。

分別采用基于聚類和基于批處理的KTDSEP非線性盲源分離算法進行盲源分離。分離信號如圖3所示，可見取得了較好的分離效果。

取高斯核函數(shù)參數(shù)σ從1～10變化，依次對混合信號進行盲源分離，對分離信號與源信號求相似度，結果如圖4所示，可以看出批處理方法比聚類方法受高斯核函數(shù)參數(shù)σ變化的影響更小，不會出現(xiàn)大范圍的波動。

3.2 超高斯信號仿真實驗

兩路超高斯源信號如圖5所示，是從TIMIT數(shù)據(jù)庫中隨機抽取的聲音信號，分別為s1（t）=dr1-fetbo-sa2和s2（t）=dr2-mcewo-sx182。采用式（13）的混合方式，兩路混合信號如圖6所示。

采用KTDSEP非線性盲源分離算法進行盲源分離，分離信號如圖7所示，可見取得了較好的分離效果。取高斯核函數(shù)參數(shù)σ從1～10變化，依次對混合信號進行盲源分離，對分離信號與源信號求相似度，結果如圖8所示，可以看出當高斯核函數(shù)參數(shù)σ變化時，聚類方法的分離效果出現(xiàn)大范圍的波動，極不穩(wěn)定，而批處理方法的分離效果相對穩(wěn)定，且分離效果整體上優(yōu)于聚類方法。

4 結論

核方法是非線性盲源分離算法中的重要分支之一，通過把混合信號映射到高維核特征空間，在核特征空間中構造一組正交基而將混合信號映射到此正交基所張成的低維近似子空間，從而把非線性混合信號盲源分離問題轉化為低維近似子空間的線性混合信號盲源分離問題。本文針對基于核函數(shù)的非線性盲源分離算法性能對核函數(shù)及其參數(shù)選擇依賴性強，往往需要在已知非線性混合方式的情形下，對核函數(shù)的參數(shù)進行調整才能得到良好的分離效果的問題，采用批處理算法來構造低維近似子空間。仿真結果表明，改進算法在核函數(shù)參數(shù)變化范圍內，對于超高斯和亞高斯信號的不同非線性混合方式均取得了良好的分離效果，具有良好的穩(wěn)健性，而且實現(xiàn)簡單，能充分滿足實際應用的要求。

［1］Hyv?rinenA，Karhunen J，Oja E.Independent Component Analysis［M］.New York：Wiley，2001.

［2］高鷹，姚振堅，李朝暉，等.基于廣義特征值和核函數(shù)的非線性盲分離算法［J］.系統(tǒng)工程與電子技術，2006，28（10）：1490-1493.

GAOYing，YAO Zhen-jian，LI Zhao-hui，et al.Algorithm for nonlinear blind source separation based on generalized eigenvalue decomposition and kernel feature space［J］. Systems Engineering and Electronics，2006，28（10）：1490 -1493.（in Chinese）

［3］Ziehe A，Müller K R.TDSEP-an efficient algorithm for blind separation using time structure［C］／／Proceedings of 1998 International Conference on Artifical Neural Networks. Springer，Berlin：［s.n.］，1998：675-680.

［4］Bach F，Jordan M.Kernel independent component analysis［J］.Journal ofMachine Learning Research，2002（3）：1-48.

［5］Lee TW，Koehler BU，Orglmeister R.Blind source separation of nonlinear mixing models［C］／／Proceedings of 1997 IEEE International Workshop on Neural Networks for Signal Processing.Amelia Island，F(xiàn)L，USA：IEEE，1997：406-415.

［6］WooW L，Knor L C.Blind restoration of nonlinearlymixed signals usingmultiplayer polynomial neural network［J］.IEE Proceedings of Vision Image and Signal Processing，2004，151（1）：51-61.

［7］Valpola H，Giannakopoulos X，Honkela A，et al.Nonlinear independent component analysis using ensemble learning：experiments and discussion［C］／／Proceedings of International Workshop on Independent Component Analysis and Blind Signal Separation.Helsinki，F(xiàn)inland：IEEE，2000：351-356.

［8］Valpola H，Oja E，Ilin A，etal.Nonlinearblind source separation by variational Bayesian learning［J］.IEICE Transactions on Fundamentals of Electronics，Communications and Computer Sciences，2003（3）：532-541.

［9］Ziehe A，Kawanabe M，Harmeling S.Blind separation of post-nonlinearmixtures using linearizing transformationsand temporal decorrelation［J］.Journal of Machine Learning Research，2003（4）：1319-1338.

［10］AlmeidaL B.MISEP-linear and nonlinear ICA based on mutual information［J］.Journal of Machine Learning Re-search，2003（4）：1297-1318.

［11］Zhang K，Chan LW.Minimal nonlinear distortion principle for nonlinear independent componentanalysis［J］.Journalof Machine Learning Research，2008（9）：2455-2487.

［12］Harmeling S，Ziehe A，Kawanabe M，etal.Kernel-based nonlinear blind source separation［J］.Neural Computation，2003（15）：1089-1124.

［13］Sun Z L，Huang D S，etal.Using batch algorithm for kernel blind source separation［J］.Neural Computation，2005，69（1-3）：273-278.

［14］Huang GM，Yang L X，He Z Y.Blind Source Separation Based on Generalized Variance［J］.Proceedings of Advances in Neural Networks，2006，1971：1153-1158.

YU Hua-gang was born in Shaodong，Hunan Province，in 1984.He received the B.S.degree and the M.S.degree from Naval University of Engineering in 2006 and 2008，respectively.He is currently working toward the Ph.D.degree.His research interests include blind signal processing，passive detection and wireless communications.

Email：yuhuagang103＠163.com

高俊（1957—），男，江蘇泰興人，1984年于海軍電子工程學院獲學士學位，1986年和1989年于北京理工大學分別獲工學碩士學位和博士學位，現(xiàn)為海軍工程大學教授、博士生導師，主要從事數(shù)字信號處理、數(shù)字通信、短波無線通信等；

GAO Junwasborn in Taixing，Jiangsu Province，in 1957.He received the B.S.degree from Naval Electronic College of Engineering，the M.S.degree and the Ph.D.degree from Beijing Institute of Technology in 1982，1986 and 1989，respectively.He is now a professor and also the Ph.D.supervisor.His research interests include signal processing，digital communications，HF communications.

Email：gaojunnj＠163.com

黃高明（1972—），男，湖南道縣人，1995年和1998年于海軍電子工程學院分別獲學士學位和工學碩士學位，2006年于東南大學獲博士學位，現(xiàn)為海軍工程大學教授、博士生導師、中國電子學會高級會員，主要從事雷達／電子戰(zhàn)信號處理、盲信號處理、無源探測、電子戰(zhàn)系統(tǒng)仿真與效能評估等。

HUANGGao-ming was born in Daoxian，Hunan Province，in 1972.He received the B.S.degree and the M.S.degree from Naval Electronic College of Engineering and the Ph.D.degree from Southeast University in 1995，1998 and 2006，respectively.He is now a professor and also the Ph.D.supervisor.His research interests include electronic warfare，blind signal processing，passive detection，EW system simulation and evaluation.Email：hgaom＠163.com

Nonlinear Blind Source Separation Algorithm Based on Batch and Kernel Function

YU Hua-gang，GAO Jun，HUANGGao-ming
（College of Electronic Engineering，Naval University of Engineering，Wuhan 430033，China）

To solve the problem that the performance ofnonlinear blind source separation algorithm based on kernel function is dependent on the kernel function and its parameters，this paper proposes using batchmethods to construct orthonormal basis for reduced dimension approximate subspace instead of clustering and KPCA methods.This improved nonlinear blind source separation algorithm based on batch and kernel feature space is investigated firstly，and then is used to improve the robustness to the variety of the kernel function and its parameters.The simulation results illustrate that the algorithm based on batch ismore robust and is relatively simple and effective.

signal processing；nonlinear blind source separation；kernel function；clustering；batch；resemble degree

TN911.7

A

10.3969／j.issn.1001-893x.2011.10.008

禹華鋼（1984—），男，湖南邵東人，分別于2006年和2008年獲海軍工程大學工學學士學位和工學碩士學位，現(xiàn)為海軍工程大學博士研究生，主要研究方向為盲信號處理、無源探測、無線通信；

1001-893X（2011）10-0035-06

2011-06-10；

2011-08-29

國家高技術研究發(fā)展計劃（863計劃）項目（2010AA7010422）

Fundation Item：The National High Technology Research and Development Program（863 Program）of China（2010AA7010422）