公平神經(jīng)網(wǎng)絡(luò)的未知信源數(shù)盲分離算法

李凱，李慧，王啟志

（1.華僑大學(xué)機(jī)電及自動(dòng)化學(xué)院，福建廈門361021；

2.中國人民解放軍理工大學(xué)通信工程學(xué)院，江蘇南京210007）

公平神經(jīng)網(wǎng)絡(luò)的未知信源數(shù)盲分離算法

李凱1，李慧2，王啟志1

（1.華僑大學(xué)機(jī)電及自動(dòng)化學(xué)院，福建廈門361021；

2.中國人民解放軍理工大學(xué)通信工程學(xué)院，江蘇南京210007）

提出一種基于公平神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法.設(shè)置一個(gè)合理的信源數(shù)初始值，通過構(gòu)造的一個(gè)穩(wěn)定性判決器，能夠自適應(yīng)調(diào)整神經(jīng)網(wǎng)絡(luò)的維數(shù)，并估計(jì)出信源數(shù)真實(shí)值，從而使信源得以成功分離.理論分析表明，在其數(shù)學(xué)統(tǒng)計(jì)意義上縮減了訓(xùn)練時(shí)間；而計(jì)算機(jī)仿真結(jié)果表明，在其不同信源數(shù)條件下均能快速收斂.

超定盲分離；信源數(shù)；自適應(yīng)神經(jīng)網(wǎng)絡(luò)；穩(wěn)定性判決器

盲源分離（BSS）是指源信號(hào)和傳輸信道參數(shù)均未知的情況下，根據(jù)源信號(hào)的統(tǒng)計(jì)特性，僅由觀測(cè)信號(hào)來恢復(fù)或分離出源信號(hào)的過程.近年來，BSS已成為信號(hào)處理和神經(jīng)網(wǎng)絡(luò)領(lǐng)域的研究熱點(diǎn)，在數(shù)據(jù)通信［1］、語音識(shí)別、圖像恢復(fù)、生物醫(yī)學(xué)和故障檢測(cè)［2］等諸多領(lǐng)域都有廣泛應(yīng)用.雖然BSS的研究成果已經(jīng)相當(dāng)豐碩，但大多數(shù)相關(guān)文獻(xiàn)都假定信源數(shù)已知，然而實(shí)際應(yīng)用中信源數(shù)通常是未知的，所以研究未知信源數(shù)條件下的盲分離更具現(xiàn)實(shí)意義.獨(dú)立源數(shù)目未知的盲分離，主要研究的是超定條件下（接收天線數(shù)M大于信源數(shù)N）基于神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法［3－8］.1999年，Cichocki等［3］采用自然梯度算法和M× N維解混矩陣仿真實(shí)驗(yàn)表明：在收斂階段，網(wǎng)絡(luò)輸出由N個(gè)源信號(hào)的拷貝和M－N個(gè)冗余分量構(gòu)成，容易導(dǎo)致算法發(fā)散.冶繼民等［］分析認(rèn)為，解混矩陣在某一等價(jià)類中的冗余移動(dòng)是算法不能穩(wěn)定收斂的原因，并提出利用正交投影來消除引起冗余移動(dòng)的冗余分量.然而，Sun等［］卻巧妙地利用這種冗余分量造成的權(quán)值矩陣梯度振蕩來構(gòu)造一個(gè)穩(wěn)定性判決器，從而在分離算法的學(xué)習(xí)過程中，不斷地調(diào)整神經(jīng)網(wǎng)絡(luò)維數(shù)（即信源數(shù)估計(jì)值），使其逼近真實(shí)值，最終~N＝N.文獻(xiàn)［5－6］分別假定初始化階段的取值為最大值和最小值，即~N＝M和~N＝2，然而從數(shù)學(xué)角度來看，這種初始值的設(shè)置并不合理.基于此，本文提出一個(gè)更加公平的算法，即將神經(jīng)網(wǎng)絡(luò)維數(shù)的初始值設(shè)置為~N＝M／2（一般地，假設(shè)M為偶數(shù)），這樣兼顧了不同信源數(shù)條件下算法的收斂速度，并給出了基于穩(wěn)定性判決器的神經(jīng)網(wǎng)絡(luò)維數(shù)的調(diào)整方案.

1 基于神經(jīng)網(wǎng)絡(luò)的BSS原理

考慮無噪的線性瞬時(shí)混合模型：N個(gè)相互統(tǒng)計(jì)獨(dú)立的未知源信號(hào)s（t）＝［s1（t），…，sN（t）］T經(jīng)未知混合矩陣A＝［ai，j］∈RM×N的傳輸后，由M個(gè)接收天線觀測(cè)到混合信號(hào)x（t）＝［x1（t），…，xM（t）］T.BSS的任務(wù)是將觀測(cè)信號(hào)通過解混矩陣W＝［wi，j］∈RN×M后，使得輸出y（t）＝［y1（t），…，yN（t）］T是源信號(hào)s（t）的一個(gè)拷貝或估計(jì).用矩陣形式表示為

基于神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法能夠?qū)崟r(shí)分離混合信號(hào)，解混矩陣W（t）可視為神經(jīng)網(wǎng)絡(luò)的權(quán)值矩陣（即wi，j為各網(wǎng)絡(luò)節(jié)點(diǎn)在t時(shí)刻的權(quán)重），通過網(wǎng)絡(luò)的無監(jiān)督自適應(yīng)學(xué)習(xí)，使網(wǎng)絡(luò)輸出盡可能相互獨(dú)立.最早地，Herault和Jutten基于線性反饋網(wǎng)絡(luò)，取得了先驅(qū)性的工作成果［9－10］.之后，文獻(xiàn)［11］基于前饋網(wǎng)絡(luò)，提出了一種更為穩(wěn)健的Cichocki－Unbehauen算法，即

式（3）～（4）中：μ＞0為學(xué)習(xí)步長(zhǎng)（通常是一個(gè)比較小的數(shù)值）；激勵(lì)函數(shù)f（·）和g（·）為不同的非線性奇函數(shù)（典型的有f（y）＝y(tǒng)2sign（y），g（y）＝tanh（10y））；Λ＝［λi，j］為對(duì)角陣（一般取Λ＝I）.

2 信源數(shù)未知的BSS

2.1 穩(wěn)定性判決器

定義神經(jīng)網(wǎng)絡(luò)的權(quán)值矩陣（即解混矩陣）的梯度方差V為

那么，平均梯度方差U的計(jì)算式為

式（6）中：k＝1，2，…是U的時(shí)間索引.

根據(jù)信源數(shù)的估計(jì)值~N與真實(shí)值N之間的大小關(guān)系，描繪了3種不同狀態(tài)下值的變化曲線，如圖1所示.從圖1中可以看出：當(dāng)~N≤N時(shí)，U值在經(jīng)歷一段時(shí)間的增長(zhǎng)之后，將穩(wěn)定并保持在某一門限值之下；當(dāng)~N＞N時(shí)，U值將一直保持單調(diào)增長(zhǎng)趨勢(shì)、趨于無窮.依此，可以構(gòu)造一個(gè)穩(wěn)定性判決器.即觀測(cè)U值能否穩(wěn)定收斂，若不能收斂，則說明當(dāng)前的估計(jì)值大于真實(shí)值；若能收斂，則說明當(dāng)前的估計(jì)值小于或等于真實(shí)值.

圖1 3種狀態(tài)下U的變化曲線Fig.1 Curves of Uin three states

2.2 基于公平神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法

由于信源數(shù)未知，因此在分離算法的初始化階段應(yīng)為神經(jīng)網(wǎng)絡(luò)維數(shù)設(shè)置一個(gè)初始值.不同的初始值決定了不同的網(wǎng)絡(luò)維數(shù)調(diào)整方案，也影響了算法的收斂速度（即訓(xùn)練時(shí)間長(zhǎng)短）.從數(shù)學(xué)統(tǒng)計(jì)意義的角度考慮，令＝M／2，這比單純令＝M和＝2要更為公平.

文中提出的算法框架，如圖2所示.首先，定義一個(gè)門限經(jīng)驗(yàn)值ζ，以及一個(gè)觀測(cè)時(shí)間經(jīng)驗(yàn)值Tg.一旦初始值選定，將觀測(cè)Tg時(shí)間長(zhǎng)度內(nèi)平均梯度方差U隨時(shí)間的變化情況.若U（Tg）＞ζ（即U值無法收斂），可認(rèn)為＞N，因此需要逐步降低神經(jīng)網(wǎng)絡(luò)維數(shù)，然后令＝－1，再進(jìn)行新一輪Tg時(shí)間長(zhǎng)度內(nèi)的觀測(cè)過程，直至U值趨于穩(wěn)定；反之，若U（Tg）≤ζ（即U值收斂），可認(rèn)為≤N.為了進(jìn)一步判斷究竟是＜N還是＝N，需要增加神經(jīng)網(wǎng)絡(luò)維數(shù)，令＝＋1，再進(jìn)行新一輪Tg時(shí)間長(zhǎng)度內(nèi)的觀測(cè)過程，直至U值發(fā)散.在觀測(cè)階段，為了保證收斂速度，賦予學(xué)習(xí)步長(zhǎng)一個(gè)較大值，即k≤Tg時(shí)，μ＝0.05；觀測(cè)階段之后，為了保證收斂精度，賦予學(xué)習(xí)步長(zhǎng)一個(gè)較小值，即k＞Tg時(shí)，μ＝0.005.

圖2 本文所提出的算法框架圖Fig.2 Framework of the proposed algorithm

3 仿真結(jié)果和分析

為檢驗(yàn)該算法分離未知數(shù)目獨(dú)立源的性能，采用下面6個(gè)平穩(wěn)的、零均值的、獨(dú)立的亞高斯信號(hào)作為源信號(hào)［5］，即

當(dāng)采樣頻率為1kHz，采樣點(diǎn)數(shù)為6 000，其時(shí)域波形如圖3所示.混合矩陣A列滿秩，矩陣元素是分布在［0，1］上的隨機(jī)數(shù).其他仿真參數(shù)為：接收天線數(shù)M＝8；信源數(shù)的初始估計(jì)值為4；門限值ζ＝30；觀測(cè)時(shí)間Tg＝300個(gè)采樣點(diǎn).

將串音誤差PI作為算法分離性能的衡量指標(biāo)，即

圖3 6個(gè)源信號(hào)的時(shí)域波形圖Fig.3 Waveforms of six source signals

式（8）中：｛cpq｝＝WA，PI越小說明分離效果越好.

仿真包含2部分：一個(gè)是較大信源數(shù)N＝6，取式（7）中的全部6個(gè)信號(hào)；另一個(gè)是較小信源數(shù)N＝2，取式（7）中的前2個(gè)信號(hào).

在上述兩種信源數(shù)條件下，一次典型仿真過程中算法對(duì)信源數(shù)的估計(jì)曲線，如圖4所示.由圖4可知：經(jīng)歷一段短的訓(xùn)練時(shí)間后信源數(shù)均能被準(zhǔn)確地估計(jì)出來.

本文算法分離出的信號(hào)的時(shí)域波形圖（為了顯示清晰，僅給出了最后500個(gè)采樣點(diǎn)），如圖5所示.由圖5可知：輸出信號(hào)與源信號(hào)相比，雖然順序和幅度上存在不確定性，但是時(shí)域波形是一致的，因此分離是成功的.

本文算法與文獻(xiàn)［5］算法的PI曲線（取100次獨(dú)立仿真結(jié)果的平均），如圖6所示.兩種算法都是基于穩(wěn)定性判決器來逐步修正信源數(shù)估計(jì)值的.因此，對(duì)于令＝M的文獻(xiàn)［5］算法來說，其收斂所需的訓(xùn)練時(shí)間與（M－N）成正比例關(guān)系；相應(yīng)地，本文算法的訓(xùn)練時(shí)間與絕對(duì)值｜M／2－N｜成正比例關(guān)系.不難看出，本文算法更為公平，且對(duì)于比較小的信源數(shù)N，它在縮短訓(xùn)練時(shí)間方面的優(yōu)勢(shì)更加突出.圖6結(jié)果也印證了上述分析：當(dāng)N＝6時(shí)，兩種算法幾乎同時(shí)到達(dá)收斂狀態(tài)；當(dāng)N＝2時(shí)，本文算法的收斂速度顯著快于文獻(xiàn)［5］中算法，在收斂時(shí)PI值接近于0.

圖4 本文算法對(duì)信源數(shù)的估計(jì)曲線Fig.4 Curves of estimated source number by the proposed algorithm

圖5 本文算法分離出的信號(hào)的時(shí)域波形圖Fig.5 Time domain waveforms of separated signals by the proposed algorithm

圖6 兩種算法的PI性能曲線Fig.6 PI curves of the two algorithms

4 結(jié)束語

針對(duì)更符合實(shí)際的信源數(shù)未知的情況，探討了基于神經(jīng)網(wǎng)絡(luò)的超定盲信號(hào)分離.在Cichocki，Sun等研究的基礎(chǔ)上，通過賦予信源數(shù)合理的初始估計(jì)值、構(gòu)造穩(wěn)定性判決器，提出了一種基于公平神經(jīng)網(wǎng)絡(luò)的分離算法.該算法通過逐步修正信源數(shù)估計(jì)值，能夠準(zhǔn)確估計(jì)出信源數(shù)真實(shí)值；兼顧了不同信源數(shù)條件下算法的收斂速度，在數(shù)學(xué)統(tǒng)計(jì)意義上顯著縮減了訓(xùn)練時(shí)間，且無需預(yù)白化和數(shù)據(jù)降維，分離效果理想.因此，該算法優(yōu)勢(shì)突出，具有實(shí)用價(jià)值.

參考文獻(xiàn)：

［1］ ROUTTENBERG T，TABRIKIAN J.Blind MIMO－AR system identification and source separation with finite－alphabet［J］.IEEE Transactions on Signal Processing，2010，58（3）：990－1000.

［2］ 楊彥龍，程偉，常洪振.基于FSS－kernel BSS方法的機(jī)械故障診斷［J］.北京航空航天大學(xué)學(xué)報(bào)，2012，38（11）：1557－1561.

［3］ CICHOCKI A，KARHUNEN J，KASPRZAK W，et al.Neural networks for blind separation with unknown number of sources［J］.Neurocomputing，1999，24（1）：55－93.

［4］ YE Ji－min，ZHU Xiao－long，ZHANG Xian－da.Adaptive blind separation with an unknown number of sources［J］.Neural Computation，2004，16（8）：1641－1660.

［5］ LIU Chan－cheng，SUN T Y，LIN Chun－ling，et al.A self－organized neural network for blind separation process with unobservable sources［C］∥Intelligent Signal Processing and Communication Systems.Hong Kong：IEEE，2005：177－180.

［6］ SUN T Y，LIU Chan－cheng，HSIEH S T，et al.Blind separation with unknown number of sources based on autotrimmed neural network［J］.Neurocomputing，2008，71（10）：2271－2280.

［7］ SUN T Y，LIU Chan－cheng，TSAI S J，et al.Blind source separation with dynamic source number using adaptive neural algorithm［J］.Expert Systems with Applications，2009，36（5）：8855－8861.

［8］ LI Hui，SHEN Yue－h(huán)ong，XU Kun.Neural network with momentum for dynamic source separation and its convergence analysis［J］.Journal of Networks，2011，6（5）：791－798.

［9］ HERAULT J，JUTTEN C.Space or time adaptive signal processing by neural network models［C］∥AIP Conference Proceedings on Neural Network for Computing.New York：American Institute of Physics Inc，1986，151：206.

［10］ JUTTEN C，HERAULT J.Blind separation of sources，part（Ⅰ）：An adaptive algorithm based on neuromimetic architecture［J］.Signal Processing，1991，24（1）：1－10.

［11］ CICHOCKI A，UNBEHAUEN R.Robust neural networks with on－line learning for blind identification and blind separation of sources［J］.IEEE Trans on Circuits and Systems（Ⅰ）：Foudamental Theory and Applications，1996，43（11）：894－906.

Blind Separation Algorithm with Unknown Source Number Based on a Fair Neural Network

LI Kai1，LI Hui2，WANG Qi－zhi1
（1.College of Mechanical Engineering and Automation，Huaqiao University，Xiamen 361021，China；2.Institute of Communication Engineering，PLA University of Science and Technology，Nanjing 210007，China）

This paper proposes a fair neural－network－based algorithm.It initiates the estimatied source number to be a proper value，and constructs a stability discriminator，which can adjust dimensions of the nerual network and estimate the actual source number.Hence the algortihm is capable of separating sources sucessfully.Theoretical analysis indicates that it reduces the training time in mathematical statistical sense，and simulation results proves that it can converge quickly under different source number cases.

over－determined blind separation；source number；adaptive neural network；stability discriminator

TN 911.23

A

（責(zé)任編輯：黃曉楠 英文審校：楊建紅）

1000－5013（2014）01－0011－05

10.11830／ISSN.1000－5013.2014.01.0011

2013－04－11

王啟志（1971－），男，副研究員，主要從事復(fù)雜過程控制和智能控制的研究.E－mail：wangqz＠hqu.edu.cn.

福建省自然科學(xué)基金資助項(xiàng)目（A0640004）；華僑大學(xué)科研啟動(dòng)費(fèi)資助項(xiàng)目（13BS305）；華僑大學(xué)橫向科研資助項(xiàng)目（43201142）