最優(yōu)加權(quán)隨機(jī)匯池網(wǎng)絡(luò)的自適應(yīng)算法研究

韓 博，景文騰，耿金花，段法兵

(青島大學(xué)復(fù)雜性科學(xué)研究所，山東 青島 266071)

0 引言

圖1 自適應(yīng)加權(quán)隨機(jī)匯池網(wǎng)絡(luò)模型

圖2 兩種自適應(yīng)算法迭代過(guò)程中信息的交換

1 模型與自適應(yīng)算法

1.1 模型

1.2 自適應(yīng)LMS算法

經(jīng)典的最速下降法自適應(yīng)過(guò)程中，設(shè)每一步權(quán)值向量的更新為

wk+1=wk-μJ(wk)

(1)

其中，μ為調(diào)整步長(zhǎng)的常數(shù)，它控制著算法的自適應(yīng)速度和穩(wěn)定性，J(wk) 為均方誤差的梯度。LMS算法利用瞬時(shí)誤差的平方作為J(wk)的估計(jì)，均方誤差的梯度為式(1)可以寫(xiě)成

(2)

(3)

對(duì)式(3)兩邊求期望，得到

(4)

(5)

(6)

1.3 自適應(yīng)Kalman-LMS算法

LMS算法只是注意到了權(quán)向量更新的方向，沒(méi)有控制每一步權(quán)均方偏差值的大小，注意到輸出誤差又可以寫(xiě)為

(7)

均方誤差可以重新表示為

(8)

(9)

最速下降法每一次迭代形式都遵循局部最優(yōu)路徑，但沒(méi)有遵循全局最優(yōu)路徑的解決方案。這里我們借鑒Kalman濾波，將標(biāo)量步長(zhǎng)2μk換成學(xué)習(xí)增益矩陣Gk[20]，這樣能夠既控制梯度下降的幅值還能控制其方向。因此權(quán)遞推公式(2)另寫(xiě)為

(10)

(11)

那么權(quán)誤差協(xié)方差矩陣

(12)

(13)

為使得每一步的Dk最小，求偏導(dǎo)?Dk/?gk并令其等于零可得[17]

(14)

把式(14)帶入式(12)可以得到權(quán)誤差協(xié)方差矩陣迭代公式：

(15)

上述Kalman-LMS算法總結(jié)如下：在當(dāng)前時(shí)間k，給定觀測(cè)量{yk,xk}，計(jì)算

1)最優(yōu)學(xué)習(xí)增益。由于權(quán)誤差協(xié)方差矩陣Pk為半正定矩陣，為了防止gk出現(xiàn)分母為零而產(chǎn)生錯(cuò)誤停止的情況，改進(jìn)為

其中，正則參數(shù)δ為一個(gè)大于零的很小的任意常數(shù)；

2)權(quán)向量

3)權(quán)誤差協(xié)方差矩陣

2 實(shí)驗(yàn)結(jié)果

為了具體地比較上述兩種自適應(yīng)算法，實(shí)驗(yàn)中選取輸入信號(hào)xk服從零均值高斯分布，網(wǎng)絡(luò)噪聲ηi選用均值為零的高斯白噪聲，節(jié)點(diǎn)的系統(tǒng)函數(shù)選取

并考慮異質(zhì)的系統(tǒng)節(jié)點(diǎn)函數(shù)[23]，平均分為兩組分別具有閾值θ=0和θ=0.5，每組的節(jié)點(diǎn)數(shù)目為M/2，這里注意的是上述分組方式可以是任意的。

圖3 LMS算法和Kalman-LMS算法權(quán)值w收斂過(guò)程

圖4 不同內(nèi)部噪聲強(qiáng)度下均方誤差變化情況

圖4給出隨著噪聲強(qiáng)度的變化，不同節(jié)點(diǎn)數(shù)目下兩種算法均方誤差的變化情況，可以看出，隨著噪聲強(qiáng)度的改變都出現(xiàn)了超閾值隨機(jī)共振現(xiàn)象，在一定的噪聲強(qiáng)度范圍內(nèi)均方誤差隨著噪聲強(qiáng)度的增大反而減小，均方誤差的最優(yōu)值出現(xiàn)在了非零噪聲強(qiáng)度處，即節(jié)點(diǎn)噪聲能夠改善加權(quán)隨機(jī)匯池網(wǎng)絡(luò)輸出性能。還可以看出，當(dāng)節(jié)點(diǎn)數(shù)目M較少時(shí)，Kalman-LMS算法(紅色實(shí)線)的均方誤差整體低于LMS算法(藍(lán)色虛線)的均方誤差，但隨著節(jié)點(diǎn)數(shù)目M的增加，兩種算法得到的均方誤差性能趨于一致，這是由于隨著節(jié)點(diǎn)數(shù)目增加，網(wǎng)絡(luò)結(jié)構(gòu)性能大幅度提升，算法間的差距變得不那么明顯。

3 結(jié)論

本文研究了最優(yōu)加權(quán)隨機(jī)匯池網(wǎng)絡(luò)中的兩類自適應(yīng)算法：LMS算法和Kalman-LMS算法，探究了非平穩(wěn)信號(hào)下自適應(yīng)加權(quán)隨機(jī)匯池網(wǎng)絡(luò)的估計(jì)性能。數(shù)值實(shí)驗(yàn)研究發(fā)現(xiàn)兩種算法是收斂的，并有效跟蹤信號(hào)的變化， 在不同節(jié)點(diǎn)數(shù)目的情況下，兩種自適應(yīng)算法的均方誤差都存在超閾值隨機(jī)共振現(xiàn)象，但是Kalman-LMS算法比LMS算法權(quán)值收斂速度更快且更穩(wěn)定，比較兩者的均方誤差發(fā)現(xiàn)Kalman-LMS算法的穩(wěn)健性較好。本文對(duì)于Kalman-LMS算法的收斂性理論證明沒(méi)有給出，對(duì)于輸入信號(hào)的許多非穩(wěn)態(tài)特性也沒(méi)有考慮，這些問(wèn)題值得進(jìn)一步探究。