基于神經(jīng)網(wǎng)絡(luò)的變速率非線性盲源分離ICA算法研究

張?zhí)扈?/p>

(無錫市廣播電視大學(xué)機(jī)電工程系， 江蘇 無錫 214011)

0 前 言

數(shù)字信號(hào)處理是當(dāng)今信息時(shí)代的一項(xiàng)核心技術(shù)，它在通信、計(jì)算機(jī)、圖像處理、語音識(shí)別等眾多領(lǐng)域得到了較為廣泛的應(yīng)用.數(shù)字信號(hào)處理中的一個(gè)關(guān)鍵部分是信號(hào)去噪，而盲源分離(Blind Source Separation, BSS)是近年來在信號(hào)去噪領(lǐng)域中的一個(gè)研究熱點(diǎn)[1-3].盲源分離是指不使用訓(xùn)練數(shù)據(jù)，在對(duì)信號(hào)系統(tǒng)沒有任何先驗(yàn)知識(shí)的情況下，對(duì)含有噪聲的原始信號(hào)進(jìn)行分離.由于盲源分離可以在缺乏訓(xùn)練序列，條件比較惡劣的通信環(huán)境中應(yīng)用，因此，盲源分離比一般的信號(hào)去噪方法擁有更為廣泛的應(yīng)用場(chǎng)合.當(dāng)信號(hào)系統(tǒng)屬于線性系統(tǒng)時(shí)，盲源分離的效果比較理想.但是由于實(shí)際的信號(hào)系統(tǒng)大多屬于非線性系統(tǒng)，這樣由線性模型得到的盲源分離效果就會(huì)產(chǎn)生較大的誤差，目前非線性盲源分離已經(jīng)開始逐漸取代線性盲源分離.2001年，Hyvarinen A等人提出了獨(dú)立成分分析(Independent Component Analysis, ICA)，獨(dú)立成分分析從出現(xiàn)到現(xiàn)在雖然時(shí)間不長，然而無論從理論上還是應(yīng)用上它正受到越來越多的關(guān)注[4,5].近年來，利用神經(jīng)網(wǎng)絡(luò)并通過獨(dú)立成分分析來實(shí)現(xiàn)盲源分離已經(jīng)引起了世界各國學(xué)術(shù)界以及通信業(yè)界的高度重視.傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)非線性盲源分離ICA算法的學(xué)習(xí)速率是固定的，當(dāng)系統(tǒng)的噪聲和迭代誤差較大時(shí)，迭代參數(shù)需要很長時(shí)間才能收斂，從而影響盲源分離的效果.根據(jù)信噪比和迭代誤差來調(diào)節(jié)學(xué)習(xí)速率，作者提出一種基于神經(jīng)網(wǎng)絡(luò)的變速率非線性盲源分離ICA算法，并將該算法應(yīng)用于圖像去噪中.仿真結(jié)果表明，與傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)非線性盲源分離ICA算法相比，該算法具有更好的盲源分離效果.

1 非線性盲源分離ICA算法的模型

ICA是一種用來從多變量(多維)統(tǒng)計(jì)數(shù)據(jù)里找到隱含的因素或成分的方法，被認(rèn)為是主成分分析(Principal Component Analysis, PCA)和因子分析(Factor Analysis, FA)的一種擴(kuò)展.對(duì)于盲源分離問題，ICA是指在只知道混合信號(hào)，而不知道源信號(hào)、噪聲以及混合機(jī)制的情況下，分離或近似地分離出源信號(hào)的一種分析過程.非線性盲源分離ICA方法主要是線性化ICA的擴(kuò)展，即在線性模型的基礎(chǔ)上引入非線性運(yùn)算.盲源分離算法的過程依次為線性模型求逆以及非線性模型求逆[6-8].在通信系統(tǒng)中，不同子信道之間的干擾以及器件等物理因素的干擾是用混合方程來描述的，非線性盲源分離ICA算法中的混合方程為：

(1)

式中，s=[s1,s2,…,sN]T為源信號(hào)；x=[x1,x2,…,xN]T為線性混合模型；t=[t1,t2,…,tN]T為非線性混合后的觀測(cè)信號(hào)；z=[z1,z2,…,zN]T為非線性解混合后的觀測(cè)信號(hào)；y=[y1,y2,…,yN]T為經(jīng)過線性解混合所得到的源信號(hào)的估計(jì)；f=[f1(x1),f2(x2),…,fN(xN)]T為非線性混合函數(shù)；g=[g1(t1),g2(t2),…,gN(tN)]T為非線性解混合函數(shù)；A為混合矩陣；W為分離矩陣.

非線性盲源分離ICA算法的結(jié)構(gòu)如圖1所示.

圖1 非線性盲源分離ICA算法的結(jié)構(gòu) 圖2 基于RBF函數(shù)的神經(jīng)網(wǎng)絡(luò)模型

2 傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)非線性盲源分離ICA算法

傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)非線性盲源分離ICA算法的主要思路是利用多層感知器網(wǎng)絡(luò)對(duì)非線性盲源分離ICA算法建立模型.研究表明，只要神經(jīng)網(wǎng)絡(luò)中的神經(jīng)元足夠多，該網(wǎng)絡(luò)就能以任意精度近似任何非線性函數(shù)[9].在神經(jīng)網(wǎng)絡(luò)中，最常用的是徑向基函數(shù)(Radial Basis Function, RBF)模型，基于RBF函數(shù)的神經(jīng)網(wǎng)絡(luò)模型如圖2所示.

在圖2中，神經(jīng)網(wǎng)絡(luò)中的RBF函數(shù)可以描述為：

y(t)=DK(t,p)

(2)

式中，p為隱含層參數(shù)，p=(a,b)，其中a和b為隱含層神經(jīng)元信息，a=[a1,a2,…,aN]T，b=[b1,b2,…,bN]T；D為權(quán)重向量；K(t,p)為神經(jīng)網(wǎng)絡(luò)的核函數(shù)，它有多種形式，最常見的是高斯形式，即：

(3)

盲源分離的目的是恢復(fù)源信號(hào)，所以如果非線性解混合函數(shù)g是非線性混合函數(shù)f的反函數(shù)，則問題就變得相對(duì)容易.但是由于f是未知的，所以不能直接求得g.為了能夠使得g近似f-1，需要引入衡量兩者近似的指標(biāo)函數(shù)，這可以采取最大互信息準(zhǔn)則[10].

設(shè)非線性解混合函數(shù)的表達(dá)式為：

y(t)=g(t,ω)

(4)

在式(4)中，需要確定參數(shù)族ω，使得g→f-1，這里的ω對(duì)應(yīng)于式(2)中的參數(shù)D、p，這可以通過最大互信息準(zhǔn)則計(jì)算得到.

3 基于神經(jīng)網(wǎng)絡(luò)的變速率非線性盲源分離ICA算法

在圖像去噪的過程中，圖像傳輸?shù)男旁氡仁且粋€(gè)重要的指標(biāo).當(dāng)信噪比較大時(shí)，由于噪聲圖像與原始圖像的誤差較小，因此可以采用較大的學(xué)習(xí)速率使得迭代的參數(shù)盡快收斂到理想值；當(dāng)信噪比較小時(shí)，由于噪聲圖像與原始圖像的誤差較大，因此可以采用較小的學(xué)習(xí)速率使得迭代的參數(shù)盡快收斂到理想值.另一方面，迭代誤差也應(yīng)該與學(xué)習(xí)速率有關(guān).當(dāng)?shù)`差較大時(shí)，應(yīng)該采用較大的學(xué)習(xí)速率，這樣迭代參數(shù)可以盡快到達(dá)理想?yún)?shù)；當(dāng)?shù)`差較小時(shí)，應(yīng)該采用較小的學(xué)習(xí)速率，這樣迭代參數(shù)可以較為精確地收斂到理想?yún)?shù).傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)非線性盲源分離ICA算法的學(xué)習(xí)速率是固定的，當(dāng)系統(tǒng)的噪聲和迭代誤差較大時(shí)，迭代參數(shù)需要很長時(shí)間才能收斂，從而影響圖像去噪的效果.為了提高圖像去噪的效果，需要對(duì)傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)非線性盲源分離ICA算法進(jìn)行改進(jìn).

基于神經(jīng)網(wǎng)絡(luò)的變速率非線性盲源分離ICA算法的步驟為：

第1步：基于RBF函數(shù)的神經(jīng)網(wǎng)絡(luò)模型，初始化參數(shù)D，a，b.

第2步：根據(jù)最大互信息準(zhǔn)則，按照式(5)來更新參數(shù)D，a，b：

(5)

式中，C(ω)為對(duì)照函數(shù)；u(Δ,SNR)為學(xué)習(xí)速率；Δ為迭代誤差；SNR為信噪比.

在式(5)中，u(Δ,SNR)的表達(dá)式為：

(6)

式中，SNR+和SNR-分別為信噪比的上界和下界；μ+和μ-分別為高低信噪比對(duì)于學(xué)習(xí)速率的貢獻(xiàn)成分；λ1、λ2、λ3分別為迭代誤差相對(duì)于學(xué)習(xí)速率的貢獻(xiàn)比率.

第3步：設(shè)定迭代誤差為：

(7)

則互信息加權(quán)誤差為：

(8)

式中，Δpri為前一次迭代時(shí)的Δ.

第4步：

如果δ<ε，停止迭代，否則，重復(fù)第2步到第4步，其中ε為預(yù)先給定的較小的正數(shù).

在圖像去噪的過程中，噪聲和圖像數(shù)據(jù)之間一般都是相互獨(dú)立的.傳統(tǒng)的去噪方法是將圖像數(shù)據(jù)和噪聲一樣對(duì)待，這會(huì)影響圖像去噪的效果.而基于神經(jīng)網(wǎng)絡(luò)的變速率非線性盲源分離ICA算法可以得到相互獨(dú)立的分量，并將獨(dú)立的噪聲數(shù)據(jù)從圖像數(shù)據(jù)中去除，從而保證了原始圖像的信息不被破壞.

4 仿真實(shí)驗(yàn)與結(jié)果分析

在通信系統(tǒng)中傳輸?shù)男盘?hào)采用標(biāo)準(zhǔn)的peppers(512×512)和Lena(512×512)作為原始圖像，分別如圖3和圖4所示.在Matlab軟件中對(duì)原始圖像加入均值μ=0，方差σ=10的高斯白噪聲，所得到的含噪圖像如圖5和圖6所示.基于RBF函數(shù)的神經(jīng)網(wǎng)絡(luò)模型，分別采用基于傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)非線性盲源分離ICA算法和基于神經(jīng)網(wǎng)絡(luò)的變速率非線性盲源分離ICA算法，對(duì)含噪圖像進(jìn)行去噪的仿真實(shí)驗(yàn)，去噪后的圖像分別如圖7～圖10所示.

圖3 peppers原始圖像 圖4 Lena原始圖像 圖5 peppers含噪圖像 圖6 Lena含噪圖像

為了對(duì)盲源分離的效果進(jìn)行定量描述，采用原始圖像和去噪后圖像的相關(guān)系數(shù)作為盲源分離效果的綜合評(píng)價(jià)指標(biāo).相關(guān)系數(shù)的定義為：

(9)

式中,DC為原始圖像系數(shù)矩陣的離散余弦變換；DC′為去噪后圖像系數(shù)矩陣的離散余弦變換.

改變高斯白噪聲的噪聲方差，采用原始圖像和去噪后圖像的相關(guān)系數(shù)作為去噪性能的綜合評(píng)價(jià)指標(biāo)，去噪后peppers圖像和Lena圖像的相關(guān)系數(shù)統(tǒng)計(jì)結(jié)果如表1所示.

表1 去噪后peppers圖像和Lena圖像的相關(guān)系數(shù)統(tǒng)計(jì)結(jié)果

通過圖3～圖10以及表1中數(shù)據(jù)的對(duì)比可以看出，由于引入了更為合理的學(xué)習(xí)速率，基于神經(jīng)網(wǎng)絡(luò)的變速率非線性盲源分離ICA算法去噪后的圖像顯得更清晰，在高斯白噪聲的噪聲方差不同時(shí)，所得到的相關(guān)系數(shù)比基于傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)非線性盲源分離ICA算法所得到的相關(guān)系數(shù)更大.由此說明，基于神經(jīng)網(wǎng)絡(luò)的變速率非線性盲源分離ICA算法具有更好的盲源分離效果.

5 結(jié)束語

針對(duì)傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)非線性盲源分離ICA算法中學(xué)習(xí)速率固定的缺陷，作者提出一種基于神經(jīng)網(wǎng)絡(luò)的變速率非線性盲源分離ICA算法，該算法的創(chuàng)新之處在于根據(jù)信噪比和迭代誤差來調(diào)節(jié)學(xué)習(xí)速率.最后將該算法應(yīng)用于圖像去噪中，實(shí)現(xiàn)了良好的盲源分離效果，這在非線性盲源分離技術(shù)的應(yīng)用領(lǐng)域具有一定的實(shí)用價(jià)值.

參考文獻(xiàn)

[1] Chan T H, Ma W K, Chi C Y,etal. A convex analysis framework for blind separation of non-negative sources[J]. IEEE Transactions on Signal Processing, 2008,56(10):5 120-5 134.

[2] Erdogan A T. A simple geometric blind source separation method for bounded magnitude sources[J].IEEE Transactions on Signal Processing, 2006,54(2):438-449.

[3] Sidiropoulos N D, Davidson T N, Luo Z Q. Transmit beamforming for physical-layer multicasting[J]. IEEE Transactions on Signal Processing, 2006,54(6):2 239-2 251.

[4] Hyvarinen A, Karhunen J, Oja E. Independent component analysis[M]. John Wiley & Sons, New York, 2001.

[5] Roberts S J, Everson R. Independent component analysis: principles and practice[M]. Cambridge University Press, United Kingdom, 2001.

[6] Zarzoso V, Comon P. Robust independent component analysis by iterative maximization of the kurtosis contrast with algebraic optimal step size[J]. IEEE Transactions on Neural Networks, 2010,21(2):248-261.

[7] Gao J B, Xu Z, Lin H,etal. Independent component analysis based semi-blind I/Q imbalance compensation for MIMO OFDM systems[J]. IEEE Transactions on Wireless Communications, 2010,9(3):914-920.

[8] Klemm M, Haueisen J, Ivanova G. Independent component analysis: comparison of algorithms for the investigation of surface electrical brain activity[J]. Medical and Biological Engineering and Computing, 2009,47(4):413-423.

[9] Diamantaras K I, Theodoridis S, Pitas I. Second order Hebbian neural networks and blind source separation[C]. Eusipco: European Signal Processing Conference, Rhodes, Greece, 1998:1 317-1 320.

[10] Bell A J, Sejnowski T J. An information-maximization approach to blind separation and blind deconvolution [J]. Neural Computation, 1995,7(6):1 129-1 159.