基于負(fù)熵的隨機(jī)雙梯度算法

盧中寧,初元紅

(1.鄭州輕工業(yè)學(xué)院計(jì)算機(jī)與通信工程學(xué)院, 中國(guó) 鄭州 450002; 2.黃河科技學(xué)院，中國(guó) 鄭州 450063)

基于負(fù)熵的隨機(jī)雙梯度算法

盧中寧1,初元紅2*

(1.鄭州輕工業(yè)學(xué)院計(jì)算機(jī)與通信工程學(xué)院, 中國(guó) 鄭州 450002; 2.黃河科技學(xué)院，中國(guó) 鄭州 450063)

隨機(jī)雙梯度算法是獨(dú)立分量分析中一個(gè)重要的學(xué)習(xí)算法，但該算法收斂速度慢,穩(wěn)態(tài)誤差大,不利于信號(hào)的準(zhǔn)確適時(shí)性處理．論文重點(diǎn)對(duì)隨機(jī)雙梯度算法進(jìn)行了改進(jìn)，提出一種基于負(fù)熵的隨機(jī)雙梯度算法．在改進(jìn)的算法中，用負(fù)熵來(lái)度量其中的隨機(jī)變量非高斯性，從而來(lái)克服峭度的不穩(wěn)健性．論文最后通過(guò)理論分析和仿真實(shí)驗(yàn)證明這種改進(jìn)的隨機(jī)雙梯度算法具有較好的分離效果且穩(wěn)定性高.

隨機(jī)雙梯度算法；獨(dú)立分量分析；負(fù)熵；峭度

獨(dú)立分量分析(ICA)依據(jù)獨(dú)立原則為多維觀察信號(hào)建立目標(biāo)函數(shù)，利用某種學(xué)習(xí)算法把這些信號(hào)分解成若干獨(dú)立成分以實(shí)現(xiàn)增強(qiáng)和恢復(fù)信號(hào)的目的，目前已成為一種十分有效的盲信號(hào)分離技術(shù)[1-2]．從這個(gè)定義可以看出，獨(dú)立分量分析算法由目標(biāo)函數(shù)和學(xué)習(xí)算法組成.不同的目標(biāo)函數(shù)、學(xué)習(xí)算法構(gòu)成的獨(dú)立分量分析算法不同[3-4]．一般來(lái)說(shuō)，處理對(duì)象確立了，目標(biāo)函數(shù)也就很容易確定了[5-6]．獨(dú)立分量分析算法的收斂速度、穩(wěn)定性也取決于所選擇的學(xué)習(xí)算法[7-8]．這使得學(xué)習(xí)算法的研究成為獨(dú)立分量分析中的一個(gè)中心任務(wù)．

目前在獨(dú)立分量分析中也出現(xiàn)了一些較優(yōu)秀的學(xué)習(xí)算法[9-12]．然而，在獨(dú)立分量分析中，不管最終選擇哪種學(xué)習(xí)算法，都要在最終的信號(hào)分析時(shí)具有較快的收斂速度和較小的穩(wěn)態(tài)誤差[13]．在眾多獨(dú)立分量分析的學(xué)習(xí)算法中，隨機(jī)雙梯度算法是在隨機(jī)梯度法、自然梯度法、相對(duì)梯度法基礎(chǔ)上進(jìn)行的一種改進(jìn)算法[14]，雖然性能較原始算法有很大程度上，但是它因采用峭度為目標(biāo)函數(shù)而易受大幅隨機(jī)脈沖干擾的影響．為此，論文重點(diǎn)對(duì)隨機(jī)雙梯度算法進(jìn)行改進(jìn)并進(jìn)行仿真對(duì)比實(shí)驗(yàn)．

1 隨機(jī)梯度算法

隨機(jī)梯度算法是獨(dú)立分量分析中一類較簡(jiǎn)單學(xué)習(xí)算法．例如獨(dú)立分量分析以公式(1)為目標(biāo)函數(shù)：

(1)

對(duì)式(1)進(jìn)行求導(dǎo)可得：

(2)

采用隨機(jī)梯度和隨機(jī)逼近，即可獲得隨機(jī)梯度ICA算法：

B(n+1)=B(n)+μ[B-T-Φ(y)xT].

(3)

該算法優(yōu)點(diǎn)在于：在波動(dòng)性較大的情況下，該算法能夠快速調(diào)整學(xué)習(xí)方向，使算法向正確方向行進(jìn)．然而，由于涉及到了矩陣優(yōu)化，且該矩陣一般是高階矩陣，這無(wú)疑大大增加了求解式(3)的計(jì)算量．而且，該算法收斂速度慢，同時(shí)還需要對(duì)迭代步長(zhǎng)的設(shè)置有較高的要求．如果迭代步長(zhǎng)設(shè)置不恰當(dāng)，那么該算法就很可能失去收斂性．

后來(lái)出現(xiàn)的自然梯度算法和相對(duì)梯度算法，都是對(duì)隨機(jī)梯度算法的改進(jìn)，這兩個(gè)算法本質(zhì)上基本一致．例如，以公式(1)為例，對(duì)其使用自然的梯度，即可獲得如下的自然梯度ICA算法：

B(n+1)=B(n)+μ[B(n)-T-Φ(y)xT]BT(n)B(n) =B(n)+μ[I-Φ(y)yT]B(n).

(4)

它們同隨機(jī)梯度算法缺點(diǎn)一樣，那就是矩陣逆的存在大大增加了求解的計(jì)算量．

2 隨機(jī)雙梯度算法

隨機(jī)雙梯度算法是在隨機(jī)梯度算法、自然梯度算法的基礎(chǔ)上進(jìn)行的改進(jìn)．

假設(shè)白化后的數(shù)據(jù)z(t)=[z1(t),…,zm(t)]中各分量相互獨(dú)立，也即E[z(t)z(t)T]=I，此時(shí)衡量測(cè)量信號(hào)輸出分量獨(dú)立性的準(zhǔn)則函數(shù)定義為

J(B)=J1(B)+σJ2(B).

(5)

隨機(jī)雙梯度算法一般使用輸出信號(hào)的高階累積量作為衡量測(cè)量信號(hào)輸出分量統(tǒng)計(jì)獨(dú)立性的準(zhǔn)則函數(shù)，也即采用峭度的平方作為衡量測(cè)量信號(hào)輸出分量統(tǒng)計(jì)獨(dú)立性的準(zhǔn)則函數(shù)．同四階矩陣相比，輸出信號(hào)的四階累積量更能完整地描述輸出信號(hào)的特征,因此一般就把輸出信號(hào)的四階累積量引入到準(zhǔn)則函數(shù)之中：

(6)

式(6)中J1(B)使用輸出信號(hào)的峭度作為分離準(zhǔn)則．

J2(B)=‖BBT-I‖.

(7)

式(7)中J2(B)表示分離矩陣要滿足正交性．

采用隨機(jī)梯度對(duì)J1(B)和J2(B)進(jìn)行如下優(yōu)化

▽J1(B)=-E[y4]E[y3]+3E[y3],

(8)

▽J2(B)=(BBT-I)B.

(9)

把式(8)和式(9)代入公式(5)即得

▽J(B)=-{E[y4]E[y3]+3E[y3]}z(t)-σ(BBT-I)B.

(10)

然后采用瞬時(shí)值來(lái)替代期望均值即可獲得分離矩陣B的更新公式：

B(t+1)=B(t)-α(y(t)7-3y(t)3)zT(t)-β(B(t)B(t)T-I)B(t).

(11)

因?yàn)樵撍惴ò?個(gè)隨機(jī)學(xué)習(xí)步長(zhǎng)α和β，因此其稱為隨機(jī)雙梯度算法．

3 隨機(jī)雙梯度算法的改進(jìn)

在隨機(jī)雙梯度算法中采用了峭度作為目標(biāo)函數(shù)，而由于峭度是不穩(wěn)定的，這就導(dǎo)致利用峭度尋找獨(dú)立分量時(shí)易受大幅度隨機(jī)脈沖干擾的影響．由于負(fù)熵不受大幅度隨機(jī)脈沖的影響，因此，論文將采用負(fù)熵來(lái)度量隨機(jī)變量的非高斯性以克服峭度的不穩(wěn)健性．

這里還用公式(5)作為衡量測(cè)量信號(hào)輸出分量獨(dú)立性的準(zhǔn)則函數(shù)，則用高階積累來(lái)近似表達(dá)負(fù)熵如下：

(12)

(13)

則可得分離矩陣的更新公式為

B(t+1)=B(t)+α(y(t)5-y(t)7+3y(t)3)zT(t)-β(B(t)B(t)T-I)B(t).

(14)

利用公式(14)進(jìn)行隨機(jī)變量的獨(dú)立性尋找時(shí)，該算法即為基于負(fù)熵的隨機(jī)雙梯度算法，也即本文提出的改進(jìn)算法．

下面為改進(jìn)算法的簡(jiǎn)單過(guò)程描述.

Step 1：初始化算法所需變量；

Step 2：利用u(t+1)=u(t)+η(t)[I-z(t)z(t)T]u(t)對(duì)觀測(cè)數(shù)據(jù)進(jìn)行白化處理；

Step 3：依據(jù)公式(15)求B(t+1)分離矩陣；

Step 4：令t=t+1，轉(zhuǎn)到Step 3，直到滿足設(shè)定的終止條件，算法結(jié)束．

4 仿真實(shí)驗(yàn)

在該仿真實(shí)驗(yàn)中，圖1和圖2為兩個(gè)獨(dú)立的語(yǔ)音信號(hào)s1和s2，對(duì)它們采用Matlab數(shù)學(xué)工具進(jìn)行混合以生成一個(gè)混合矩陣，從而獲得如圖3和圖4的兩個(gè)混合語(yǔ)音信號(hào)．利用本文所提的基于負(fù)熵的隨機(jī)雙梯度算法對(duì)圖3和圖4進(jìn)行分離結(jié)果如圖5和圖6所示，傳統(tǒng)隨機(jī)雙梯度算法對(duì)圖3和圖4進(jìn)行分離，結(jié)果如圖7和圖8所示．

圖1 原語(yǔ)音信號(hào)s1 圖2 原語(yǔ)音信號(hào)s2Fig.1 Original speech signal s1 Fig.2 Original speech signal s2

圖3 混合語(yǔ)音信號(hào)x1 圖4 混合語(yǔ)音信號(hào)x2Fig.3 Mixed speech signal x1 Fig.4 Mixed speech signal x2

圖5 本文算法分離后的語(yǔ)音信號(hào) 圖6 本文算法分離后的語(yǔ)音信號(hào)Fig.5 Separated speech signal by proposed algorithm Fig.6 Separated speech signal by proposed algorithm

圖7 傳統(tǒng)算法分離后的語(yǔ)音信號(hào) 圖8 傳統(tǒng)算法分離后的語(yǔ)音信號(hào)Fig.7 Separated speech signal by traditional algorithm Fig.8 Separated speech signal by traditional algorithm

為了進(jìn)一步證明本文算法性能的優(yōu)越性，下面給出這兩種算法下原語(yǔ)音信號(hào)與對(duì)應(yīng)分離信號(hào)之間的相關(guān)系數(shù).其結(jié)果如表1所示．

表1 兩種算法下原語(yǔ)音信號(hào)與分離信號(hào)的相關(guān)系數(shù)

從上述仿真實(shí)驗(yàn)結(jié)果來(lái)看，同傳統(tǒng)算法相比，論文所提的基于負(fù)熵的隨機(jī)雙梯度算法能夠分離出與原信號(hào)較為接近的信號(hào)，據(jù)此可知，本文改進(jìn)算法是可行的．

5 結(jié)束語(yǔ)

研究了傳統(tǒng)隨機(jī)雙梯度算法，指出其因采用峭度作為目標(biāo)函數(shù)而導(dǎo)致尋找獨(dú)立分量時(shí)易受大幅度隨機(jī)脈沖干擾影響方面的不足，提出利用負(fù)熵作為衡量信號(hào)量獨(dú)立性的構(gòu)想并給出一個(gè)改進(jìn)的隨機(jī)雙梯度算法，并通過(guò)仿真實(shí)驗(yàn)證明了該算法的有效性．

[1] 吳宏天,劉 輝.基于方差和峭度的模擬電路故障診斷[J].湖南師范大學(xué)自然科學(xué)學(xué)報(bào), 2011,34(5):32-36.

[2] 傅麗華,何燕子,朱 云.長(zhǎng)株潭核心區(qū)土地利用生態(tài)風(fēng)險(xiǎn)驅(qū)動(dòng)因子分析[J]. 湖南師范大學(xué)自然科學(xué)學(xué)報(bào), 2012,35(5):85-89.

[3] 易靈芝,龔會(huì)茹,沈建飛.基于相關(guān)因子的太陽(yáng)能光伏發(fā)電系統(tǒng)互補(bǔ)復(fù)合孤島檢測(cè)研究[J].湘潭大學(xué)學(xué)報(bào)：自然科學(xué)版, 2011,33(4):100-104.

[4] 趙知?jiǎng)? 陳 林, 王海泉. 基于獨(dú)立分量分析的實(shí)正交空時(shí)分組碼盲識(shí)別[J].通信學(xué)報(bào), 2012,33(11):1-7.

[5] 王冬冬.基于獨(dú)立分量分析的熱波檢測(cè)圖像增強(qiáng)[J].科學(xué)技術(shù)與工程, 2013,13(2):512-515.

[6] 楊俊美,余 華,韋 崗. 獨(dú)立分量分析及其在信號(hào)處理中的應(yīng)用[J].華南理工大學(xué)學(xué)報(bào):自然科學(xué)版, 2012,40(11):1-12.

[7] 呂淑平,方興杰. 基于獨(dú)立分量分析的自適應(yīng)在線算法[J].計(jì)算機(jī)應(yīng)用研究, 2010,27(11):4140-4143.

[8] 于 淼,王曰海,汪國(guó)富.基于獨(dú)立分量分析的跳頻通信抗梳狀阻塞干擾方法[J]. 解放軍理工大學(xué)學(xué)報(bào):自然科學(xué)版, 2012,13(6):593-598.

[9] 歐世峰,高 穎,趙曉暉.基于隨機(jī)梯度的變動(dòng)量因子自適應(yīng)白化算法[J].自動(dòng)化學(xué)報(bào), 2012,38(8):1370-1374.

[10] 王法松,張林讓.基于自然梯度的獨(dú)立子空間盲信號(hào)處理方法[J]. 南京大學(xué)學(xué)報(bào):自然科學(xué)版, 2011,47(4):420-425.

[11] 程 嬌,王曉凱,李 鋒.獨(dú)立分量分析可調(diào)速率相對(duì)梯度算法[J]. 信息與電子工程, 2010,8(2):207-211.

[12] 初銘暢,熊曉路,于 洋.因子分析在創(chuàng)新型科技人才競(jìng)爭(zhēng)力評(píng)價(jià)中的應(yīng)用[J]. 遼寧工業(yè)大學(xué)學(xué)報(bào):自然科學(xué)版, 2012,32(5):343-346.

[13] 張和發(fā),李立萍. 含噪獨(dú)立分量分析的期望最大化算法[J].電子科技大學(xué)學(xué)報(bào), 2012,41(4):527-531.

[14] 高 濤.組合2DFLDA監(jiān)督的非負(fù)矩陣分解和獨(dú)立分量分析的特征提取方法[J]. 計(jì)算機(jī)應(yīng)用研究, 2012,29(4):1588-1590.

(編輯 胡文杰)

Stochastic Dual-Gradient Algorithm Based on Negative Entropy

LUZhong-ning1,CHUYuan-hong2*

(1.School of Computer and Communication Engineering, Zhengzhou University of Light Industry, Zhengzhou 450002, China;2.Huanghe Science and Technology College, Zhengzhou 450063, China)

Stochastic dual-gradient algorithm is an important learning algorithm of independent component analysis, whose convergence speed is slow and steady-state error is large, which leads to inaccuracy in timely signal processing. Focusing on the improvement of stochastic dual-gradient algorithm, a stochastic dual-gradient algorithm based on negative entropy is proposed, in which negative entropy is used to measure the non-Gaussian of random variables and thus to overcome the kurtosis of robustness in the improved algorithm. By theoretical analysis and simulation experiments the paper finally proves that the improved Stochastic Dual-Gradient Algorithm has better separation effect and higher stability.

stochastic dual-gradient algorithm; independent component analysis; negative entropy; kurtosis

2013-04-23

國(guó)家自然科學(xué)基金資助項(xiàng)目(60970084)

*

,E-mail：chuyuanh@163.com

TP301.6

A

1000-2537(2014)04-0084-04