多閾值隨機(jī)匯池網(wǎng)絡(luò)自適應(yīng)估計(jì)性能研究

景文騰，耿金花，韓 博，段法兵

(青島大學(xué)復(fù)雜性科學(xué)研究所，山東 青島 266071)

0 引言

1 模型與方法

1.1 多閾值隨機(jī)匯池網(wǎng)絡(luò)模型

圖1 多閾值自適應(yīng)加權(quán)隨機(jī)匯池網(wǎng)絡(luò)模型Fig.1 Model of adaptive weighted stochastic pooling network with multilevel

1.2 理論分析

1.2.1 閾值劃分及網(wǎng)絡(luò)輸出特征

在圖1的隨機(jī)匯池網(wǎng)絡(luò)模型中，將每個(gè)并行量化器執(zhí)行的運(yùn)算記為g(.)，即閾值函數(shù)，為了易于實(shí)現(xiàn)，可以選擇均勻地分布在[-1,1]的范圍內(nèi)2M+1個(gè)量化閾值

(1)

這里,j=-M,-M+1,…,0,…,M-1,M。那么當(dāng)xk+ηi,k∈[θ2j-1,θ2j+1)時(shí)，量化器輸出yi,k為

yi,k=g(xk+ηi,k)=j

(2)

此處定義θ-2M-1=-，θ2M+1=。每個(gè)量化器具有相同的輸入xk，設(shè)其概率密度函數(shù)為fX(x)，與獨(dú)立同分布的噪聲ηi,k相加，設(shè)噪聲的概率密度函數(shù)為fη(η)，均值為0，方差為依據(jù)式(1)和(2)，在k時(shí)刻，當(dāng)θ2j-1≤xk+ηi,k<θ2j+1時(shí)，量化器輸出yi關(guān)于輸入信號xk的條件分布為

(3)

這里Fη(·)為噪聲ηi,k的累積分布函數(shù)。

1.2.2 多閾值下的最優(yōu)權(quán)向量與均方誤差

(4)

(5)

(6)

將式(6)帶入式(5)，得最小均方誤差為

(7)

在多閾值情況下進(jìn)行具體分析，由式(3)可以得出條件均值和二階矩

(8)

(9)

那么相關(guān)向量Pxy中

(10)

(11)

協(xié)方差矩陣Cyy的對角元素Cii和非對角元素Cil分別為

(12)

(13)

這里i,l=1,2,…,N且i≠l。利用協(xié)方差矩陣特征值及特征向量的分析[14]，最優(yōu)權(quán)向量wo和最小均方誤差可以簡化為

(14)

(15)

1.2.3 多閾值隨機(jī)匯池網(wǎng)絡(luò)的Fisher信息

(16)

則網(wǎng)絡(luò)的Fisher信息量為

(17)

由Fisher信息量求出后，可據(jù)此得出均方誤差的下界

(18)

(19)

(20)

此處使用的節(jié)點(diǎn)數(shù)N為偶數(shù)，另外在n≠0的條件下還要滿足n和i同為奇數(shù)或偶數(shù)，節(jié)點(diǎn)數(shù)為奇數(shù)的情況同理，Pn|x為每個(gè)量化器的輸出的條件概率，可由式(3)得出。

2 實(shí)驗(yàn)分析

為探究多閾值情況下自適應(yīng)加權(quán)隨機(jī)匯池網(wǎng)絡(luò)的估計(jì)性能，這里考慮隨著閾值的數(shù)量增加網(wǎng)絡(luò)的估計(jì)性能變化。例如劃分為4級閾值時(shí)，M=2，當(dāng)xk+ηk∈(-,-0.6)，閾值函數(shù)輸出為-2，xk+ηk∈[-0.6,-0.2)，輸出為-1，xk+ηk∈[-0.2,0.2)，當(dāng)xk+ηk∈[0.2,0.6)，輸出為1，xk+ηk∈[0.6,)，輸出為2，同理可得其他閾值的情況。選取的輸入信號xk分別為均值為0，標(biāo)準(zhǔn)差σx為1的高斯信號以及在[-1,1]上服從均勻分布的信號，加性噪聲ηi,k選用均值為零，標(biāo)準(zhǔn)差ση的高斯白噪聲。由于已知網(wǎng)絡(luò)節(jié)點(diǎn)數(shù)對性能的影響[14]，網(wǎng)絡(luò)數(shù)目N=10，依據(jù)式(8)～(15)得到結(jié)果如圖2所示，由上自下分別對應(yīng)閾值2、4、10、40和100的均勻劃分方式。

注：由上自下分別對應(yīng)閾值2、4、10、40和100。圖2 均方誤差隨著輸入噪聲強(qiáng)度變化曲線Fig.2 Mean square error versus input noise levels for thresholds

由圖2可以看出，均方誤差隨著噪聲強(qiáng)度的變化存在隨機(jī)共振現(xiàn)象，在一非零的最優(yōu)噪聲強(qiáng)度下，均方誤差值為最小，且隨著閾值數(shù)目的增加，最小均方誤差值也在不斷減小，證實(shí)了閾值數(shù)目的增加與自適應(yīng)加權(quán)隨機(jī)匯池網(wǎng)絡(luò)的性能呈正相關(guān)關(guān)系。此外，圖2還表明當(dāng)閾值分級很多時(shí)(比如40級和100級)，曲線不再有明顯的彎曲弧度，隨機(jī)共振現(xiàn)象幾乎消失，在圖2b中，均勻分布的輸入信號對閾值數(shù)目的增加更為敏感，在8閾值及10閾值的時(shí)候，加入噪聲已經(jīng)不會產(chǎn)生隨機(jī)共振現(xiàn)象。這個(gè)原因是因?yàn)殡S著閾值劃分級的增加，數(shù)字信號能夠更加詳細(xì)地量化模擬信號的變化，信息損失減少，因此人為增加噪聲的方法只是在閾值劃分級別較少時(shí)起到有益作用。

為探究不同閾值級別情況下的均方誤差對于Fisher界的逼近情況，我們選取單閾值和多閾值兩種情況進(jìn)行分析。Fisher界即為Fisher信息量的倒數(shù)，任何無偏估計(jì)的方差至少要大于該界，也稱為C—R下界，達(dá)到了Fisher界的估計(jì)為最小均方誤差估計(jì)量。由文獻(xiàn)[21]可知Fisher信息量表達(dá)式為J(x)=Nfη(x)2/[P1|x(1-P1|x)]，如圖3所示。從圖3中可以看出多閾值較單閾值情況下的隨機(jī)匯池網(wǎng)絡(luò)的均方誤差更為接近Fisher界，從另一個(gè)方面印證了在最優(yōu)加權(quán)隨機(jī)匯池網(wǎng)絡(luò)中多閾值分級的優(yōu)越性。圖4進(jìn)一步研究了網(wǎng)絡(luò)節(jié)點(diǎn)數(shù)增加對Fisher界的逼近情況，將噪聲的標(biāo)準(zhǔn)差固定為0.6，可以看出，隨著網(wǎng)絡(luò)節(jié)點(diǎn)數(shù)的增加，均方誤差同樣隨著閾值分級增加不斷逼近Fisher界，但同時(shí)，均方誤差距Fisher界仍有較大距離，因?yàn)镕isher信息量的大小與節(jié)點(diǎn)數(shù)目呈正比，且最小均方誤差與Fisher界的距離還需要進(jìn)一步通過閾值劃分設(shè)計(jì)和噪聲優(yōu)化來改進(jìn)。

圖3 不同閾值情況下隨機(jī)匯池網(wǎng)絡(luò)的均方誤差與Fisher界隨噪聲強(qiáng)度的變化Fig.3 Fisher bounds and mean square error versus input noise levels for different thresholds

圖4 不同閾值下隨機(jī)匯池網(wǎng)絡(luò)的均方誤差與Fisher界隨網(wǎng)絡(luò)節(jié)點(diǎn)數(shù)目的變化Fig.4 Fisher bounds and mean square error versus network sizes for different threshold levels

3 結(jié)論與展望

本文研究了在多閾值自適應(yīng)加權(quán)隨機(jī)匯池網(wǎng)絡(luò)的信號估計(jì)性能，以均方誤差作為性能指標(biāo)，理論上推導(dǎo)出了多閾值網(wǎng)絡(luò)的最優(yōu)權(quán)向量、最小均方誤差和網(wǎng)絡(luò)輸出Fisher信息量表達(dá)式，實(shí)驗(yàn)結(jié)果表明隨著閾值劃分級別數(shù)量的增加，最小均方誤差不斷減小，當(dāng)閾值數(shù)量增大到一定數(shù)目，噪聲的有益性逐漸消失，因此人為加入噪聲的方法在閾值分級比較少的時(shí)候才能起到積極作用。本文主要考慮了區(qū)間[-1,1]上的均勻閾值劃分方案，沒有考慮隨機(jī)閾值、分組閾值以及閾值的區(qū)間可以優(yōu)化調(diào)整的情況。因此，在多閾值隨機(jī)匯池網(wǎng)絡(luò)的信號估計(jì)性能研究中，從理論上論證出隨機(jī)共振現(xiàn)象消失的原因以及推導(dǎo)噪聲有益性的充要條件值得我們進(jìn)一步深入探討。