最優(yōu)加權(quán)隨機(jī)匯池網(wǎng)絡(luò)的估計性能研究

， ，，，

(青島大學(xué) a.復(fù)雜性科學(xué)研究所；b.電子信息學(xué)院，山東 青島 266071)

0 引言

信息處理中經(jīng)常面臨兩種難題：隨機(jī)噪聲和有損壓縮。隨機(jī)噪聲經(jīng)常被視為信號處理的不利因素加以抑制，有損壓縮是允許信息壓縮過程中損失一定的信息，而這部分信息通常是冗余的或不相關(guān)的[1]。Zozor和McDonnell通過隨機(jī)網(wǎng)絡(luò)方法可以同時實現(xiàn)有損壓縮和降噪，并在該領(lǐng)域進(jìn)行了一系列研究，提出了隨機(jī)匯池網(wǎng)絡(luò)概念[2-4]。隨機(jī)匯池網(wǎng)絡(luò)是一種由多個并聯(lián)傳感器組成并接收同一個信號源饋入的網(wǎng)絡(luò)，輸入信號和測量過程噪聲同時被傳感器非線性壓縮，最后匯集至一個物理信道，網(wǎng)絡(luò)輸出為一維的參數(shù)估計響應(yīng)，此網(wǎng)絡(luò)也是冗余信息、有損壓縮和噪聲相互作用的一種網(wǎng)絡(luò)。隨機(jī)匯池網(wǎng)絡(luò)廣泛地存在于噪聲數(shù)模轉(zhuǎn)換器[3,5]，受體細(xì)胞、平行神經(jīng)元等生物傳感處理[6-8]、納米電子[9]、通信網(wǎng)絡(luò)[10]等系統(tǒng)中。Zozor和McDonnell等詳細(xì)研究了隨機(jī)匯池網(wǎng)絡(luò)中噪聲引起的超閾值隨機(jī)共振現(xiàn)象[2-4]，即隨機(jī)噪聲能夠使信號傳輸質(zhì)量或某些性能指標(biāo)提高的一種反直覺效應(yīng)。由于隨機(jī)匯池網(wǎng)絡(luò)本質(zhì)上是一種隨機(jī)信號估計器，因此超閾值隨機(jī)共振現(xiàn)象在信號估計、檢測和傳輸?shù)阮I(lǐng)域都得到了廣泛的關(guān)注，在生物醫(yī)學(xué)方面的耳蝸植入研究[16]、非線性檢測器[17]以及模數(shù)轉(zhuǎn)換電路設(shè)計[18-19]等方面取得了非常有實際應(yīng)用價值的進(jìn)展。

隨機(jī)匯池網(wǎng)絡(luò)的研究[2-4,11-19]局限于平穩(wěn)的隨機(jī)信號和噪聲環(huán)境，其譯碼方案需要知道輸入信號的先驗知識和噪聲的統(tǒng)計性能。而實際信號處理中，由于輸入信號的統(tǒng)計特性一般是未知的，這給隨機(jī)匯池網(wǎng)絡(luò)的應(yīng)用研究帶來巨大困難。本文建立一種更加廣泛的隨機(jī)匯池網(wǎng)絡(luò)模型，網(wǎng)絡(luò)節(jié)點(diǎn)并不局限于閾值型激活函數(shù)，同時考慮權(quán)系數(shù)和噪聲對信號譯碼性能的影響，以均方誤差[19]作為性能指標(biāo)，求得此模型的最優(yōu)權(quán)系數(shù)[21]，并進(jìn)一步以噪聲強(qiáng)度為變量進(jìn)行優(yōu)化，推導(dǎo)了自適應(yīng)最優(yōu)權(quán)系數(shù)以及估計信號與真實信號之間均方誤差的理論表達(dá)式。同時，考慮到統(tǒng)計信息在實際工程中經(jīng)常是未知的，本文給出了基于觀測數(shù)據(jù)的最優(yōu)權(quán)向量和均方誤差的最小二乘估計算法。理論和實驗都驗證了隨著隨機(jī)匯池網(wǎng)中節(jié)點(diǎn)數(shù)目的增加，該網(wǎng)絡(luò)的估計性能隨之提高，且均方誤差不斷逼近最小均方誤差估計器，充分反映了隨機(jī)噪聲優(yōu)化能力和自適應(yīng)最優(yōu)加權(quán)隨機(jī)匯池網(wǎng)絡(luò)的估計性能，在實際的非線性信號估計中具有重要的應(yīng)用價值。

圖1 博弈主體間的概念模型Fig.1 Model of adaptive weighted stochastic pooling network

1 模型與方法

1.1 隨機(jī)匯池網(wǎng)絡(luò)模型

1.2 理論分析

1.2.1 最優(yōu)權(quán)向量和均方誤差

將權(quán)系數(shù)wi,k表示為wk=w1,k,w2,k,…,wM,kT，列向量yk=y1,k,y2,k,…,yM,kT來表示系統(tǒng)函數(shù)g處理的隨機(jī)輸出信號。那么，隨機(jī)匯池網(wǎng)絡(luò)的輸出可以表示為

(1)

(2)

(3)

(4)

代入式(3)得到有關(guān)權(quán)向量的最小均方誤差

(5)

由于本文均考慮當(dāng)前時刻k且考慮穩(wěn)態(tài)的輸入信號和網(wǎng)絡(luò)噪聲，因此下面理論分析將k省略。在輸入輸出的相關(guān)向量為Pxy中Exyi可以計算為

(6)

協(xié)方差矩陣Cyy矩陣中的對角元素Cii可以表示為

非對角元素Cij可以表示為

Cyy=QΛQH

(7)

那么最優(yōu)權(quán)向量可表示為

(8)

(9)

(10)

當(dāng)M=情況下，均方誤差可以計算為

(11)

1.2.2 網(wǎng)絡(luò)節(jié)點(diǎn)數(shù)對模型性能的影響

Cyy為正定對稱矩陣，可被唯一地分解為一個下三角矩陣、一個對角陣和一個上角矩陣的積，即Cyy=LDLH，L是一個單位下三角矩陣，D=diagξ1,ξ2,…,ξM為一個對角陣，其元素必為正實數(shù)?？紤]到網(wǎng)絡(luò)節(jié)點(diǎn)數(shù)對矩陣階數(shù)的影響，對LDLH分解以階數(shù)遞歸的形式進(jìn)行分析，為方便接下來的論證，令C=Cyy，P=Pxy。將網(wǎng)絡(luò)節(jié)點(diǎn)數(shù)由m增加為m+1，相關(guān)矩陣

(12)

(13)

(14)

LmDmkm=Pm

(15)

可得km同樣具有最佳嵌套性質(zhì)。由式(15)得出最小均方誤差

(16)

由于矩陣L和矩陣D具有最佳嵌套性質(zhì)，式(16)可寫為

(17)

由式(17)可得，由于ξm>0，隨著模型節(jié)點(diǎn)數(shù)增大，使最小均方誤差減小，得到更好的估計精度。

2 實驗分析

在實際信號處理中，需要考慮到信號或噪聲的先驗知識可能是未知的情況，因此對于Pxy和Cyy的理論值需要利用觀測數(shù)據(jù)進(jìn)行估計。在可以獲得充分多的輸入信號xk和節(jié)點(diǎn)輸出yi,k的觀測數(shù)據(jù)的條件下，本文對自協(xié)方差Cyy中每一元素估計如下

(18)

(19)

(20)

實驗選取輸入信號xk服從高斯分布，其均值為零，標(biāo)準(zhǔn)差σx為1。噪聲ηi選用均值為零，標(biāo)準(zhǔn)差ση可調(diào)諧的高斯白噪聲，并且所有節(jié)點(diǎn)取相同的閾值函數(shù)

(21)

圖2 不同節(jié)點(diǎn)數(shù)目情況下均方誤差隨著輸入噪聲強(qiáng)度變化曲線Fig.2 Mean Square Error verus the noise level for different numbers of nodes

利用式(10)～(11)和(18)～(21)進(jìn)行計算，得出理論和實驗的均方誤差如圖2所示。

圖2中，虛線表示理論值，實線表示估計值，橫坐標(biāo)σ=ση/σx，可以清晰地看到，M≠1的情況下在一定噪聲強(qiáng)度內(nèi)MSE隨著噪聲的增加反而減小，產(chǎn)生了隨機(jī)共振現(xiàn)象。從圖2中還可以看出，本模型在輸入信號先驗知識未知的情況下，利用數(shù)據(jù)進(jìn)行估計的實驗結(jié)果和理論結(jié)果是一致的。圖2還給出了不同隨機(jī)匯池網(wǎng)絡(luò)的節(jié)點(diǎn)數(shù)目情況下，均方誤差隨著加入噪聲強(qiáng)度變化的曲線。1個節(jié)點(diǎn)下，沒有發(fā)生隨機(jī)共振現(xiàn)象。在多個節(jié)點(diǎn)下，如圖2所示，從5個，10個，100個的均方誤差變化情況中，可以發(fā)現(xiàn)這3組的均方誤差最優(yōu)值都位于非零噪聲強(qiáng)度處，即都出現(xiàn)了隨機(jī)共振現(xiàn)象。另外，從圖2中還可以明顯看出均方誤差的大小隨著節(jié)點(diǎn)數(shù)目的增加而減小，即節(jié)點(diǎn)數(shù)目越多，網(wǎng)絡(luò)的性能越好。依據(jù)式(11)，本文還給出了無窮大節(jié)點(diǎn)數(shù)目(M=)情況下均方誤差隨著噪聲強(qiáng)度的理論變化曲線，實驗數(shù)據(jù)是無法得到的，但是此理論結(jié)果告訴我們總可以利用具有充分大的節(jié)點(diǎn)數(shù)目的隨機(jī)匯池網(wǎng)絡(luò)來逼近這一極限。

3 結(jié)論

本文建立了一般的自適應(yīng)加權(quán)隨機(jī)匯池網(wǎng)絡(luò)模型，理論分析了權(quán)系數(shù)與噪聲兩個優(yōu)化因素下的均方誤差性能，得出自適應(yīng)最優(yōu)權(quán)系數(shù)及最小均方誤差的表達(dá)形式。考慮了信號和噪聲統(tǒng)計性未知的情況，實驗中利用最小二乘算法驗證理論分析。探究了網(wǎng)絡(luò)節(jié)點(diǎn)數(shù)目對模型均方誤差性能的影響，理論和實驗都證明了隨著節(jié)點(diǎn)數(shù)增加均方誤差性能能夠不斷提高。本文只對輸入平穩(wěn)信號的情況下隨機(jī)匯池網(wǎng)絡(luò)性能進(jìn)行了初步研究，對于非平穩(wěn)隨機(jī)信號和關(guān)于有色噪聲對隨機(jī)匯池網(wǎng)絡(luò)模型性能的影響等問題值得進(jìn)一步研究。