改進的參考獨立分量分析算法*

**

(東北電力大學 信息工程學院,吉林 132012)

?

改進的參考獨立分量分析算法*

趙立權**，徐儷月

(東北電力大學 信息工程學院,吉林 132012)

針對參考獨立分量分析收斂速度較慢的問題，提出了兩種基于改進的快速收斂牛頓迭代方法的參考獨立分量分析方法。該方法首先對觀測信號進行白化預處理，避免觀測信號矩陣求逆運算，減少了算法的計算量；然后采用修正的具有三階收斂速度的牛頓迭代方法對參考獨立分量分析的代價函數(shù)進行優(yōu)化，推導出快速收斂的參考獨立分量分析算法。仿真實驗結果表明，改進后的算法是有效的，算法收斂速度相對原算法提高了1.7倍，相對現(xiàn)有算法提高了1倍，而且誤差更小。

盲源分離；參考獨立分量分析；牛頓迭代；代價函數(shù)；收斂速度

1 引 言

獨立分量分析(Independent Component Analysis，ICA)是近年來發(fā)展并成熟起來的一種新的盲源分離技術。它是指在信源信號、信道參數(shù)未知的情況下，僅利用源信號之間相互統(tǒng)計獨立的性質來恢復出信源信號的各個相互獨立成分[1]。傳統(tǒng)的獨立分量分析通常先分離出所有的信源信號，然后根據(jù)實際需要人工選擇出感興趣的期望信號，隨著信源信號數(shù)量的增加，人工選擇信號的工作量也大幅度增加。在實際的盲源分離問題中，真正感興趣的源信號相對很少，因此可以充分利用感興趣源信號的某些先驗信息來提取感興趣的源信號，提高感興趣信號提取的效率。參考獨立分量分析(ICA with reference，ICA-R)正是在這樣的背景下提出的，它通過利用期望信號的先驗信息來提取所需要的獨立分量，是經(jīng)典獨立分量分析方法的一個擴展和發(fā)展方向[2-8]。目前，ICA-R已廣泛應用于醫(yī)學圖像和模式識別等領域[9-11]。ICA-R采用牛頓迭代方法對代價函數(shù)進行優(yōu)化，算法的收斂速度受牛頓迭代方法影響加大，為此，本文從優(yōu)化方法入手，采用具有三階收斂速度的改進牛頓迭代方法優(yōu)化代價函數(shù)，進而提高算法的收斂速度。

2 參考獨立分量分析

2.1傳統(tǒng)ICA算法

設x(t)=(x1(t),x2(t),…,xN(t))T為N維觀測信號，s(t)=(s1(t),s2(t),…,sM(t))T為M維未知的信源信號，A為N×M階滿秩混合矩陣(N≥M)，則ICA線性混合模型可表示如下[3]：

x(t)=As(t)

(1)

傳統(tǒng)ICA的目的就是尋求一個M×N維解混矩陣W，使得輸出的M維矢量的各分量盡可能相互統(tǒng)計獨立，即

y(t)=Wx(t)=WAs(t)=PDs(t)

(2)

式中,y(t)=(y1(t),y2(t),…,yM(t))T為源信號s(t)的估計信號，解混矩陣W為混合矩陣A的逆矩，P為M×M的置換矩陣，D為M×M的對角線矩陣。

2.2ICA-R算法

ICA-R算法的原理框圖如圖1所示[4]。圖中，x1(t),x2(t),…,xN(t)為N個輸入的混合信號；y1(t),y2(t),…,yL(t)為L(L

圖1 ICA-R原理框圖Fig.1 Functional block diagram of ICA-R

ICA-R將先驗信息作為約束條件融入到FastICA算法中，其代價函數(shù)為[2]

(3)

式中，y=wTx，J(y)為傳統(tǒng)ICA的負熵代價函數(shù)，ρ為一個正的常數(shù)，G()為非線性函數(shù)，v為零均值單位方差的高斯隨機變量，等式約束h(w)=0用來約束代價函數(shù)J(y)及權向量w有界，不等式約束g(w)=ε(y,r)-ξ≤0， 閾值ξ用來區(qū)別期望信號與其他信源信號。 通常ε(y,r)接近性度量可選：ε(y,r)=E{(y-r)2}為均方誤差度量或ε(y,r)=-E{yr}為瞬時相關度量。

(4)

(5)

(6)

(7)

μk+1=max{0,μk+γg(wk)}

(8)

λk+1=λk+γh(wk)

(9)

3 改進的ICA-R算法

(10)

為了提高算法的收斂速度，采用修正后的牛頓迭代方法對式(10)進行優(yōu)化。修正的牛頓迭代方法的具體表達式如下[12]：

(11)

采用式(11)對式(10)進行優(yōu)化求解可得改進的ICA-R算法Ⅰ：

(12)

(13)

(14)

采用式(14)求解式(10)可得改進的ICA-R算法Ⅱ:

(15)

(16)

改進的ICA-R算法迭代步驟如下：

(1)采用預處理方法對觀測信號進行白化處理；

(2)設置分離向量以及拉格朗日乘子的初始值；

(3)根據(jù)公式(12)、(13)或者公式(15)、(16)更新分離向量；

(4)根據(jù)公式(8)更新拉格朗日乘子；

(5)歸一化分離向量；

(6)迭代直到分離向量變化量小于閾值或者最大迭代次數(shù)，否則返回步驟3繼續(xù)迭代。

4 仿真實驗

為了驗證本文所提出算法的有效性，選取5個信號作為信源信號，信源信號的波形圖如圖2所示。

圖2 源信號的波形圖Fig.2 Waveform of source signals

圖中，s1為頻率是50 Hz的工頻信號，s2為頻率是150 Hz的三次諧波信號，s3為頻率是250 Hz的五次諧波信號，s4、s5分別為兩路隨機信號模擬不同噪聲源產生的噪聲。為了客觀分析算法的有效性，隨機產生了混合矩陣A:

信源信號經(jīng)過混合矩陣混合得到的5路觀測信號如圖3所示。

圖3 混合信號的波形圖Fig.3 Waveform of mixed signals

本文通過ICA-R算法和兩種改進的ICA-R算法進行實驗比較，驗證了本文算法的可行性及正確性。對于ICA-R算法，選取一個合適的參考信號尤為重要，本文算法的參考信號取為對期望信號s1進行符號運算后得到的序列[6]。將ICA-R算法及改進的兩種ICA-R算法分別利用參考信號對其相應的期望信號s1進行提取，輸出結果分別如圖4、圖5及圖6所示。從輸出波形可以看出,期望的基波信號和相應的分離信號波形基本相同，驗證了本文算法的有效性。

圖4 ICA-R原算法參考信號、期望信號和分離信號波形圖Fig.4 Waveform of reference signal,desired signal and estimated signal of the original ICA-R algorithm

圖5 改進的ICA-R算法I參考信號、期望信號和分離信號波形圖Fig.5 Waveform of reference signal,desired signal and estimated signal of the improved ICA-R I algorithm

圖6 改進的ICA-R算法II參考信號、期望信號和分離信號波形圖Fig.5 Waveform of reference signal,desired signal and estimated signal of the improved ICA-R II algorithm

為了定量比較算法的性能，選取兩個量化指標來評價算法的分離性能。

(1)IPI(Individual Performance Index)

其中,pj表示全局向量p=wTA的第j個元素。該指標越接近于0，說明算法的分離性能越好。

(2)信噪比(SNR)

SNR(dB)=10lg(σ2/m)

其中，σ2表示期望信號的方差，m表示期望源信號與估計信號之間的均方誤差。該指標值越大，說明算法的分離性能越好，分離精度越高。

運行ICA-R算法及兩種改進的ICA-R算法提取基波信號，得到的平均IPI值和平均SNR值及平均運行時間如表1所示。從表1可以看出，本文所提出的兩種改進算法可以正確提取出基波信號，較低的IPI值和較高的SNR值說明了本文的改進算法要比原有的ICA-R算法和文獻[4]算法的分離性能更理想，并且改進的算法Ⅰ相比改進的算法Ⅱ要稍好些；另外，由于改進的ICA-R算法是三階收斂的，從而降低了迭代次數(shù)，增加了收斂速度，減少了運行時間。因此可以證明，改進后的ICA-R算法誤差更小，收斂速度更快。

表1 平均IPI值、平均SNR值及平均運行時間Table 1 Average of IPI，SNR and run time

5 結 論

本文針對ICA-R算法二階收斂的特點，提出了兩種改進的ICA-R算法，使其滿足三階收斂，并且在相同的條件下，改進算法Ⅰ稍好于改進算法Ⅱ，兩種改進算法相對原ICA-R算法，收斂時所需時間更短，收斂速度更快，誤差更小。參考信號的選取直接影響算法的分離性能，因此如何利用信源先驗信息構建合適的參考信號是下一步研究的方向。

[1] Hyvarinen A. Independent component analysis: recent advances[J]. Philosophical Transactions of the Royal Society, A：Mathematical Physical and Engineering Sciences,2013, 371(1984): 1-19.

[2] Lu W,Rajapakse J C.ICA with reference[C]//Proceedings of the 3rd International Conference on Independent Component Analysis and Blind Source Separation.San Diego,California:IEEE,2001:120-125.

[3] Lu W, Rajapakse J C.ICA with reference[J]. NeuroComputing，2006，69(16-18)：2244-2257.

[4] Lin Qiu-hua，Zheng Yong-rui，Yin Fu-liang，et al.A fast algorithm for one-unit ICA-R[J].Information Sciences，2007，177(5)：1265-1275 .

[5] Li Changli, Li Guisheng,Yuli S. An improved method for independent component analysis with reference [J]. Digital Signal Processing, 2010,20(2):575-580.

[6] Zhang Zhi-Lin.Morphologically constrained ICA for extracting weak temporally correlated signals[J]. NeuroComputing，2008,71(6):1669-1679.

[7] 霍政權,李宏.參考獨立分量分析固定點算法[J].計算機應用研究,2011,28(1):134-136 HUO Zheng-quan, LI Hong. Fixed-point algorithm for independent component analysis with reference [J].Application Research of Computers,2011, 28(1): 134-136. (in Chinese)

[8] 張守成, 劉永凱. 一種基于峭度的一單元ICA-R固定點算法[J]. 計算機工程與應用，2012, 48(2):130-134. ZHANG Shou-cheng, LIU Yong-kai. Fxied-point algorithm based on kurtosis for one-unit ICA-R[J]. Computer Engineering and Applications,2012,48(2):130-134. (in Chinese)

[9] Li S,Lu H C,Ruan X,et al. Human body segmentation based on independent component analysis with reference at two-scale superpixel[J]. Image Processing, 2012,6(6): 770-777.

[10] Breuer L, Axer M, Dammers J. A new constrained ICA approach for optimal signal decomposition in polarized light imaging[J]. Journal of Neuroscience Methods,2013,220(1):30-38.

[11] Sun Zhanli,Lam Kin-Man. Depth Estimation of Face Images Based on the Constrained ICA Model[J]. Information Forensics and Security,2011,6(2):360-370.

[12] 張榮, 薛國民. 修正的三次收斂的牛頓迭代法[J]. 大學數(shù)學, 2005, 21(1): 80-82. ZHANG Rong, XUE Guo-min. Variants of Newton′s iteration method with third-order convergence[J]. College Mathematics, 2005, 21(1): 80-82.(in Chinese)

ZHAO Li-quan was born in Harbin, Heilongjiang Province, in 1982. He received the B.S. degree from Harbin University of Science and Technology and the Ph.D. degree from Harbin Engineering University in 2005 and 2009, respectively. He is now an associate professor and also the instructor of graduate students. His research concerns independent component analysis.

Email: zhao_liquan@163.com

徐儷月(1986—)，女，吉林省吉林市人，2009年于北華大學獲工學學士學位，現(xiàn)為東北電力大學碩士研究生，主要研究方向為參考獨立分量分析。

XU Li-yue was born in Jilin, Jilin Province, in 1986. She received the B.S. degree from Beihua University in 2009. She is now a graduate student. Her research concerns independent component analysis with reference.

本刊加入“萬方數(shù)據(jù)-數(shù)字化期刊群”等數(shù)據(jù)庫的聲明

為了適應我國信息化建設的需要，擴大作者學術交流渠道，實現(xiàn)科技期刊編輯、出版發(fā)行工作的電子化，推進科技信息交流的網(wǎng)絡化進程，本刊現(xiàn)已加入“萬方數(shù)據(jù)-數(shù)字化期刊群”、“中國學術期刊(光盤版)”、“中國期刊全文數(shù)據(jù)庫”、“中文科技期刊數(shù)據(jù)庫”等本刊封底所列數(shù)據(jù)庫以及“中國期刊網(wǎng)”、“中國學術期刊網(wǎng)”、“中國科技論文在線”、“蜘蛛網(wǎng)”等網(wǎng)站，本刊錄用發(fā)表的論文，將由編輯部統(tǒng)一納入上述數(shù)據(jù)庫和網(wǎng)站，進入因特網(wǎng)或光盤提供信息服務。本刊所付稿酬已包含著作權使用費和刊物內容上網(wǎng)服務報酬，不再另付。凡有不同意者，請事先聲明，本刊將作適當處理。

本刊編輯部

The Scientific Research Fundation of the Education Department of Jilin Province(No.201101110);The Scientific Research Fundation of the Education Department of Jilin City (No.2013635009)

ImprovedIndependentComponentAnalysiswithReferenceAlgorithms

ZHAO Li-quan, XU Li-yue

(College of Information Engineering, Northeast Dianli University, Jilin 132012,China)

To overcome the problem that independent component analysis with reference(ICA-R) has slower convergence speed, two improved independent component analysis with reference algorithms with faster convergence speed are proposed. The new algorithms use the method of pre-whitening to process the observed signals to avoid inverse operation of the matrix, and decrease computational time. Secondly,two modified Newton iterative methods with third order convergence are adopted to optimize the cost function of independent component analysis with reference, and deduce the improved independent component analysis with reference. Simulation results prove the efficiency of this new algorithm, and compared with the original algorithm and the other improved algorithm, the convergence speed of the proposed algorithms raises by 1.7 times and 1 time respectively with smaller error.

blind source separation;independent component analysis with reference；Newton iterative method；cost function;convergence speed

10.3969/j.issn.1001-893x.2014.01.011

趙立權，徐儷月.改進的參考獨立分量分析算法[J].電訊技術，2014,54(1):58-62.[ZHAO Li-quan, XU Li-yue. Improved Independent Component Analysis with Reference Algorithms[J].Telecommunication Engineering,2014,54(1):58-62.]

2013-10-10；

：2013-12-19 Received date:2013-10-10；Revised date：2013-12-19

吉林省科技發(fā)展計劃項目(201101110) ;吉林市科技發(fā)展項目(2013625009)

zhao_liquan@163.com Corresponding author：zhao_liquan@163.com

TN911.7

：A

：1001-893X(2014)01-0058-05

趙立權(1982—)，男，黑龍江哈爾濱人，2005年于哈爾濱理工大學獲工學學士學位，2009年于哈爾濱工程大學獲工學博士學位，現(xiàn)為副教授、碩士生導師，主要研究方向為獨立分量分析；

**< class="emphasis_bold">通訊作者：zhao_liquan@163.comCorrespondingauthor：zhao_liquan@163.com