一種非局部連接的抗噪性儲備池構(gòu)建方法

吳一凡，陳云華，張 靈，陳平華

(廣東工業(yè)大學(xué)計算機(jī)學(xué)院，廣東廣州 510006)

1 引言

液體狀態(tài)機(jī)對比人工神經(jīng)網(wǎng)絡(luò)，具有抗噪性強(qiáng)、魯棒性強(qiáng)等優(yōu)勢，并在時序任務(wù)處理和多任務(wù)處理上具有一定的優(yōu)勢.但其在具有上述優(yōu)勢的同時，優(yōu)化也更難進(jìn)行[1].文獻(xiàn)[2]采用了脈沖時序可塑性算法(spike-timing-dependent plasticity，STDP)算法對儲備池進(jìn)行優(yōu)化，由于采用歐氏距離作為度量標(biāo)準(zhǔn)，而歐式距離無法對脈沖序列的相似性進(jìn)行有效刻畫，因此，該方法無法保證優(yōu)化的有效性.同時，采用脈沖時序依賴可塑性算法的進(jìn)行無監(jiān)督優(yōu)化也會導(dǎo)致儲備池對樣本產(chǎn)生依賴性，與儲備池本身高泛用性的理念不符.而文獻(xiàn)[3]則模仿深度神經(jīng)網(wǎng)絡(luò)，串聯(lián)了多個儲備池，儲備池間采用誤差梯度下降的方式進(jìn)行訓(xùn)練.由于脈沖神經(jīng)網(wǎng)絡(luò)所傳播的是脈沖信號，與人工神經(jīng)網(wǎng)絡(luò)的模擬信號有著本質(zhì)區(qū)別，導(dǎo)致在采用此類方法時需要對網(wǎng)絡(luò)信號進(jìn)行兩次的信號轉(zhuǎn)換，而在信號轉(zhuǎn)換時脈沖信號只會被保留頻率信息，因此這種優(yōu)化方式同樣不能保證優(yōu)化的有效性.還有部分文獻(xiàn)依據(jù)生物神經(jīng)系統(tǒng)內(nèi)抽象提取出的規(guī)律進(jìn)行儲備池[4]，此種儲備池的優(yōu)化方式所具有的生物真實性可媲美真實生物系統(tǒng)，可以反過來支持真實的生物神經(jīng)系統(tǒng)訓(xùn)練，但是這也導(dǎo)致優(yōu)化算法非常復(fù)雜.研究表明，在大腦中普遍存在功能柱的現(xiàn)象，不同的大腦區(qū)域分別負(fù)責(zé)不同的任務(wù)，而在各個功能柱間的非局部連接服從伽馬分布[5].為了提高儲備池的泛用性和抗噪性，同時避免復(fù)雜的優(yōu)化過程，本文模擬大腦中的這種非局部連接方式，采用伽馬分布來生成儲備池的權(quán)值，生成一個具有更高生物真實性、隱含功能柱結(jié)構(gòu)的儲備池.首先，通過對儲備池活動和儲備池進(jìn)行Lempel-Ziv復(fù)雜度分析，從理論上證明該種儲備池權(quán)值生成方式的優(yōu)勢;然后，通過與STDP和高斯分布等進(jìn)行對比實驗，證明本文采用伽馬分布生成的儲備池具有更高的準(zhǔn)確度和更強(qiáng)的抗噪性.

2 基于伽馬分布的儲備池權(quán)值生成及網(wǎng)絡(luò)Lempel-Ziv復(fù)雜度分析

通過對儲備池神經(jīng)元活動的直觀觀察，可以看出人工神經(jīng)網(wǎng)絡(luò)優(yōu)化方式并不適用于儲備池的優(yōu)化.本節(jié)將對比伽馬分布與其它分布及優(yōu)化方式的Lempel-Ziv復(fù)雜度，以此來從理論角度說明伽馬分布生成儲備池權(quán)值的優(yōu)越性.

2.1 基于伽馬分布的儲備池權(quán)值生成

現(xiàn)有的液體狀態(tài)機(jī)(liquid state machine，LSM)多采用均勻分布或正態(tài)分布來生成儲備池內(nèi)部連接的權(quán)值.然而，均勻分布或正態(tài)分布只是大腦中某些局部的內(nèi)部連接方式，實際上，在非局部的連接中，伽馬分布起著更重要的作用[5];并且，均勻分布和正態(tài)分布的通用性太強(qiáng)，使得針對特定應(yīng)用的網(wǎng)絡(luò)，在準(zhǔn)確率和生物真實性方面都有待提升.結(jié)合大腦中普遍存在的自組織現(xiàn)象所形成的功能柱[6]現(xiàn)象，本文采用大腦中各個局部間連接所采用的伽馬分布來生成儲備池的內(nèi)部連接，在提高生物真實性的前提下，同時注重泛用性和針對性.

本文采用LIF神經(jīng)元和靜態(tài)突觸來構(gòu)建儲備池.在這里靜息電位Vresting取0，閾值Vthresh取0.025 mV保持閾值與靜息電位間的差值.不在神經(jīng)元模型中引入外部噪聲，即Inoise=0.外部持續(xù)電流Iinject也設(shè)置為0.共采用200個神經(jīng)元構(gòu)建儲備池.不考慮神經(jīng)元間的相對位置，兩個神經(jīng)元間的連接概率為10%.根據(jù)文獻(xiàn)[1]，結(jié)合本文所用的儲備池神經(jīng)元數(shù)，網(wǎng)絡(luò)的權(quán)值大小應(yīng)在()之內(nèi).考慮到直接截斷標(biāo)準(zhǔn)伽馬分布所得權(quán)值會導(dǎo)致權(quán)值的分布與伽馬分布產(chǎn)生較大的偏差，本文采用調(diào)整標(biāo)準(zhǔn)差的方式來保證權(quán)值落在上述范圍之內(nèi)，即將伽馬函數(shù)的均值和標(biāo)準(zhǔn)差分別設(shè)置為0和0.98.伽馬分布的密度函數(shù)及均值和方差如下:

采用MATLAB內(nèi)置的伽馬分布函數(shù)來生成權(quán)值所需數(shù)據(jù).輸入與儲備池之間以10%的概率連接，連接權(quán)值采用[-1，1]的均勻分布.

2.2 網(wǎng)絡(luò)Lempel-Ziv復(fù)雜度分析

Lempel-Ziv復(fù)雜度，能幫助筆者更準(zhǔn)確的分析權(quán)值生成和優(yōu)化方式對于網(wǎng)絡(luò)的活動的影響，能一定程度上定量分析出網(wǎng)絡(luò)活動的復(fù)雜度，并據(jù)此分析網(wǎng)絡(luò)對輸入的敏感程度和記憶能力.Lempel-Ziv復(fù)雜度是由Lempel和Ziv提出來的[7]一種對離散信號序列復(fù)雜度進(jìn)行計算的方法，該方法將離散的信號轉(zhuǎn)化為有限的符號序列，通常情況下是二值的符號序列，然后計算該序列中新模式出現(xiàn)的速率來表征該序列的復(fù)雜度.

記二進(jìn)制序列為S，長度為n，將S 劃分為S(1，h1)S(h1+1，h2)S(h2+1，h3)…S(hn-1，hn).當(dāng)?S(hn-1，hn)S(hn，hn+1)時，稱為窮盡S的一個劃分，記為E(S).記cE=|E(S)|表示滿足E(S)劃分的子序列的數(shù)量.此時，將

稱作Lempel-Ziv復(fù)雜度.Lempel-Ziv復(fù)雜度越高，表示序列的多樣性和復(fù)雜性越高，越低表示序列的重復(fù)性周期性越強(qiáng).本文將計算儲備池網(wǎng)絡(luò)中神經(jīng)元的整體放電狀態(tài)的復(fù)雜度.

為使對比更具說服力，本文儲備池網(wǎng)絡(luò)的參數(shù)設(shè)置，采用與文獻(xiàn)[8]相同的值.參數(shù)設(shè)置完畢，向網(wǎng)絡(luò)輸入隨機(jī)值，并記錄網(wǎng)絡(luò)的活動.由于本文所用的脈沖神經(jīng)網(wǎng)絡(luò)可以直接記錄脈沖時間作為狀態(tài)，因此，在計算Lempel-Ziv復(fù)雜度時，可省去將連續(xù)變量轉(zhuǎn)變成二值變量的步驟.將包含脈沖的時間間隔記錄為1，將不包含脈沖的時間間隔記錄為0即可直接計算復(fù)雜度.

通過圖1(a)可以看出，使用伽馬分布生成的儲備池網(wǎng)絡(luò)的Lempel-Ziv復(fù)雜度遠(yuǎn)遠(yuǎn)低于另外兩種方式.并且，神經(jīng)元膜時間常數(shù)的變化幾乎不會對網(wǎng)絡(luò)的Lempel-Ziv復(fù)雜度產(chǎn)生影響.Lempel-Ziv復(fù)雜度低，說明基于伽馬分布生成的儲備池網(wǎng)絡(luò)對輸入的記憶能力非常強(qiáng)，對于輸入的敏感程度和受噪聲及小部分?jǐn)?shù)據(jù)損壞的影響非常小，即具有更強(qiáng)的抗噪性.同時，由于儲備池所產(chǎn)生的模式具有很強(qiáng)的周期性，能夠使用更為簡單的讀出函數(shù)來執(zhí)行任務(wù)，即對讀出函數(shù)的要求更低，線性讀出函數(shù)所能執(zhí)行的任務(wù)更豐富.

鑒于文獻(xiàn)[8]并沒有明確是哪種時間常數(shù)，同時為了進(jìn)一步探討該種網(wǎng)絡(luò)結(jié)構(gòu)對膜時間常數(shù)的敏感程度，增加針對突觸膜時間常數(shù)的實驗，實驗結(jié)果如圖1(b)所示.可以看到，在突觸膜時間常數(shù)小于0.04 s時，膜時間常數(shù)對Lempel-Ziv復(fù)雜度幾乎沒有影響，其后隨著膜時間常數(shù)的上升，Lempel-Ziv復(fù)雜度上升，在超過0.1 s后受限于模板本身的復(fù)雜度而趨于平緩.分析圖1不難得出，采用伽馬分布的前提下，神經(jīng)元膜時間常數(shù)對于Lempel-Ziv復(fù)雜度的影響很小，解決了脈沖神經(jīng)網(wǎng)絡(luò)普遍存在的參數(shù)難以調(diào)整的問題.而突觸膜時間常數(shù)的取值范圍要小于神經(jīng)元膜時間常數(shù)，在本文神經(jīng)元時間常數(shù)取0.01 s的前提下，遵循該取值范圍的突觸膜時間常數(shù)對Lempel-Ziv復(fù)雜度幾乎沒有影響.可以得出結(jié)論，采用伽馬分布生成儲備池，在提高網(wǎng)絡(luò)計算性能的前提下，還能大大的降低網(wǎng)絡(luò)的調(diào)參難度.

圖1 Lempel-Ziv復(fù)雜度隨不同膜時間常數(shù)的變化Fig.1 The Lempel-Ziv complexity with different time constants

3 網(wǎng)絡(luò)構(gòu)建與實驗結(jié)果分析

實驗使用軟件CSIM[9]在MATLAB 2018a上實現(xiàn).使用MNIST庫進(jìn)行實驗.實驗隨機(jī)選擇5000個訓(xùn)練樣本進(jìn)行訓(xùn)練，并用全部10000個測試樣本進(jìn)行測試.

3.1 儲備池構(gòu)建

3.1.1神經(jīng)元模型

脈沖神經(jīng)元模型有許多，例如Hodgkin-Huxley(HH)模型(式(4))、integrate-fire(IF)模型、Leaky-integrate and fire(LIF)模型(式(3))、resonate-and-fire(RF)模型、Izhikevich(IZH)模型等.其中HH模型是最精確的，其精確程度不僅僅局限于神經(jīng)元反應(yīng)，更體現(xiàn)在其反應(yīng)機(jī)制，從微觀的層面模擬了生物神經(jīng)元.HH模型在進(jìn)行模擬時效果很好，但是其缺點(diǎn)也很明顯，計算量大，速度慢.而IF神經(jīng)元和LIF神經(jīng)元是HH的一種簡化形式，保留了其大部分的反應(yīng)模式，去掉了微觀層面各種參數(shù)，去掉了神經(jīng)元反應(yīng)的細(xì)節(jié)，僅保留了其發(fā)放脈沖的反應(yīng)，大大的降低了計算量.LIF模型動力學(xué)方程為

其中:Vm為膜電位，Vresting為靜息電位，Rm為電阻，Isyn為后突觸動作電位，Iinject為外部持續(xù)電流，Inoise為外部噪聲，τ為膜時間常數(shù).輸入信號會累加在膜電位上，當(dāng)膜電位Vm大于閾值Vthresh時，神經(jīng)元形成一個動作電位即向外發(fā)放一個脈沖，然后膜電位重置為靜息電位.

HH模型動力學(xué)方程為

式中:C為膜電容，g為離子通道電導(dǎo)，E為對應(yīng)離子的逆轉(zhuǎn)電位，都是常數(shù);V 為膜電位;m，h，n為不同通道的激活參數(shù)和失活參數(shù);Iinject為外部輸入電流.可以看到HH模型的參數(shù)非常多，動力學(xué)方程非常的復(fù)雜.本文儲備池使用LIF神經(jīng)元模型，因其較容易實現(xiàn)且在保證脈沖發(fā)放仿真度的前提下參數(shù)較容易設(shè)置.同時，LIF神經(jīng)元的膜電位積累的過程能被充分的展現(xiàn)出來，而HH模型因其真實性太高，模擬過程中保留的是真實的動作電位，使得神經(jīng)元膜電位的活動看起來并不明顯.HH模型著重展示動作電位的真實情況，較容易觀察到發(fā)放的活動，但也導(dǎo)致膜電位的變化不夠明顯.而LIF神經(jīng)元則將動作電位簡化為膜電位的重置，著重展示發(fā)放前膜電位的積累情況，這使得在提取網(wǎng)絡(luò)狀態(tài)時，有充足的膜電位活動用以提取并進(jìn)行進(jìn)一步處理.

本文用在后續(xù)實驗中的LIF 神經(jīng)元的靜息電位Vresting取0，閾值Vthresh取0.025 mV 保持閾值與靜息電位間的差值.為了簡化計算，不在神經(jīng)元模型中引入外部噪聲，即Inoise=0.而外部持續(xù)電流Iinject，由于網(wǎng)絡(luò)并不需要其作為逃脫噪聲以維持活躍，故也設(shè)置為0.于是，神經(jīng)元模型為

3.1.2 儲備池神經(jīng)元個數(shù)及連接

本文選擇用200個神經(jīng)元來建立儲備池.為了保留更多的輸入信息，同時使輸入信號對儲備池產(chǎn)生更大的影響，構(gòu)建儲備池時使其中抑制性神經(jīng)元占20%而興奮性神經(jīng)元占80%[10].神經(jīng)元間的連接采用隨機(jī)的方式生成.因神經(jīng)元數(shù)較少，不考慮神經(jīng)元間的拓?fù)浣Y(jié)構(gòu).整個儲備池內(nèi)的神經(jīng)元以10%的概率連接，允許連接自身.各個神經(jīng)元間的連接采用同種突觸.

3.1.3 數(shù)據(jù)編碼方式

本文采用的編碼方式為把一張圖片編碼成一串脈沖，以脈沖發(fā)放時間點(diǎn)來傳遞信息.在進(jìn)行模擬前，需要先把手寫數(shù)字圖像轉(zhuǎn)化成脈沖信號.本文將每張圖片轉(zhuǎn)化為一個脈沖序列，以脈沖發(fā)放時間作為信號載體.先將灰度圖轉(zhuǎn)化為二值圖，然后將二值圖像按行排列成一個長行向量，按每1 ms編碼一個脈沖的間隔，在有非零像素值的相應(yīng)位置編碼一個脈沖.例如，第5個像素點(diǎn)處有非零像素值，則在5 ms處編碼一個脈沖.整個圖像最終被編碼成一個最大脈沖數(shù)為784的脈沖序列.脈沖序列會輸入到一個神經(jīng)元中，模擬時間為1 s，讓儲備池能夠有充分的時間在信號消失后產(chǎn)生“回聲”用于展示各個模式間的共同點(diǎn)和不同點(diǎn)[11].

3.2 突觸模型

式(6)為靜態(tài)突觸的模，其中:Vm為膜電位，A為縮放系數(shù)，tf為發(fā)放時間，τ為膜時間常數(shù).式(7)為動態(tài)突觸的模型，其中:U，D，F(xiàn)為動態(tài)突觸參數(shù)，Ak為后突觸動作電位，Δk表示第k個脈沖與第k+1個脈沖的間隔.初始狀態(tài)為u=U，R=1.本文實驗需要較快的儲備池變化速度，使用動態(tài)突觸模型可能造成過擬合的問題，故使用靜態(tài)突觸模型進(jìn)行實驗.

本文的突觸膜時間常數(shù)設(shè)置為神經(jīng)元膜時間常數(shù)的一半.后突觸動作電位選用指數(shù)函數(shù)形式(見式(6)).權(quán)值直接采用隨機(jī)的方式生成.在區(qū)間上生成一個均值0標(biāo)準(zhǔn)差0.98的伽馬分布.負(fù)的權(quán)值代表相反的神經(jīng)信號.權(quán)值的另一個作用是調(diào)整整個網(wǎng)絡(luò)的活動情況.權(quán)值整體絕對值越大網(wǎng)絡(luò)越活躍，變化速度越快，記憶時間越短.網(wǎng)絡(luò)活動程度的變化與權(quán)值的絕對值大小成指數(shù)相關(guān).當(dāng)權(quán)值絕對值太大時，網(wǎng)絡(luò)活動呈現(xiàn)混沌，需要對輸入進(jìn)行處理以控制混沌的軌跡.在這里避免混沌的出現(xiàn)，將權(quán)值的按比例縮小至權(quán)值譜半徑為1.網(wǎng)絡(luò)的輸入同樣由突觸傳遞入網(wǎng)絡(luò)中.連接輸入神經(jīng)元的突觸與儲備池突觸大部分參數(shù)一致，但采用不同的權(quán)值生成方式.輸入權(quán)值為(-1，1)區(qū)間上生成的一個標(biāo)準(zhǔn)正態(tài)分布.

3.3 讀出函數(shù)

在儲備池計算中，讀出函數(shù)的形式多種多樣，只要能夠?qū)涑刂械臓顟B(tài)提取并轉(zhuǎn)化成所需要的結(jié)果，都可以算作是讀出函數(shù).

本文讀出函數(shù)采用兩層的BP網(wǎng)絡(luò).隱藏層神經(jīng)元200，激活函數(shù)為sigmoid，輸出層10個神經(jīng)元，激活函數(shù)為softmax.網(wǎng)絡(luò)的訓(xùn)練采用量化共軛梯度法(scaled conjugate gradient，SCG)，代價函數(shù)為交叉熵代價函數(shù).因為讀出函數(shù)是一個傳統(tǒng)的BP神經(jīng)網(wǎng)絡(luò)，其信號要求為模擬信號，故儲備池的輸出也要是模擬信號，即頻率.這里采用標(biāo)準(zhǔn)非線性反應(yīng)函數(shù)r=tanh(Vm)來定義頻率，以此來提取儲備池的狀態(tài)并作為讀出函數(shù)的輸入.

3.4 實驗結(jié)果與分析

3.4.1 時間序列分類任務(wù)

分類任務(wù)采用泊松脈沖模板進(jìn)行.模板的長度為1 s，隨機(jī)生成150 Hz的泊松脈沖序列，并根據(jù)分類數(shù)決定模板數(shù)量.對每個模板的每個脈沖生成一個偏移量.偏移量在[-4，4]中采用正態(tài)分布生成.生成的各類模板總數(shù)為100個訓(xùn)練樣本、100個測試樣本，100個樣本中每類模板所占數(shù)量隨機(jī).這樣設(shè)置主要是為了在評測時序任務(wù)分類的同時評測網(wǎng)絡(luò)的抗噪性和魯棒性.

實驗采用線性的讀出函數(shù)WoutX=Ytarget來進(jìn)行分類任務(wù).統(tǒng)計10次獨(dú)立實驗的準(zhǔn)確率來作為最終的準(zhǔn)確率.圖2為不同儲備池內(nèi)部權(quán)值生成方式下的準(zhǔn)確率曲線.圖例中的均勻分布和伽馬分布為權(quán)值生成方式，STDP為生成后儲備池的優(yōu)化方式.

圖2 對隨機(jī)輸入脈沖串的識別準(zhǔn)確率Fig.2 Accuracy of random spike trains

可以看出，采用伽馬分布生成的儲備池在進(jìn)行二分類時，準(zhǔn)確率高達(dá)99.5%，遠(yuǎn)超均勻分布和均勻分布生成后使用突觸可塑性(synaptic time dependent plasticity，STDP)進(jìn)行優(yōu)化的儲備池.在類別數(shù)小于10時準(zhǔn)確率都比采用均勻分布和STDP優(yōu)化的儲備池高.而采用的樣本都是總數(shù)為100，樣本內(nèi)部各類別具體數(shù)量隨機(jī)的樣本.足以說明采用伽馬分布生成的儲備池的泛用性更高，魯棒性更強(qiáng)，對樣本的依賴性更小.STDP作依賴性更小.脈沖時序依賴可塑性算法作為一個具有高生物真實性的算法，利用其對儲備池進(jìn)行優(yōu)化后獲得的儲備池的性能，不如采用具有高度生物真實性的分布生成權(quán)值所構(gòu)建的儲備池，可見采用具有高生物真實性的分布進(jìn)行權(quán)值生成，對于提升儲備池性能非常重要.同時也說明了，不能對儲備池進(jìn)行隨意優(yōu)化，更不能通過不具生物真實性的方式對儲備池進(jìn)行優(yōu)化.

3.4.2 無噪聲數(shù)據(jù)分類

本節(jié)進(jìn)行的實驗使用的是數(shù)據(jù)庫的原始數(shù)據(jù)，沒有加入噪聲信號.采用MNIST，POSTURE和UCF-101三個數(shù)據(jù)庫進(jìn)行實驗，實驗均采用小樣本訓(xùn)練的方式進(jìn)行.對于MNIST，實驗從訓(xùn)練集中隨機(jī)選取5000個訓(xùn)練樣本進(jìn)行訓(xùn)練，不分類別，并用全部10000個測試樣本進(jìn)行測試.POSTURE數(shù)據(jù)庫隨機(jī)選取20%的樣本進(jìn)行訓(xùn)練，同樣不限制每一類樣本的數(shù)量，并用剩下的所有樣本作為測試集.對于UCF-101數(shù)據(jù)庫，隨機(jī)選擇其中的兩類，并在這兩類中各隨機(jī)選擇一個視頻進(jìn)行單樣本的訓(xùn)練，將每類剩下的所有樣本作為測試集.本文側(cè)重于展現(xiàn)儲備池的作用，因此在實驗時需要排除讀出函數(shù)的影響.本文的的讀出函數(shù)全部采用最簡單的兩層BP神經(jīng)網(wǎng)絡(luò)，并采用最原始的BP算法進(jìn)行訓(xùn)練，儲備池輸出的狀態(tài)信號直接作為網(wǎng)絡(luò)的輸入，輸出層采用競爭算法，10個神經(jīng)元分別代表十類.神經(jīng)網(wǎng)絡(luò)的訓(xùn)練通常能較快的收斂.無噪聲實驗的實驗結(jié)果如表1所示.其中的各種分布為生成儲備池權(quán)值所采用的分布，STDP則表示生成儲備池后采用STDP算法進(jìn)行優(yōu)化.

表1 無噪聲數(shù)據(jù)實驗結(jié)果Table 1 Accuracy without noise

可以看到，本文所構(gòu)建的液體狀態(tài)機(jī)效果是最好的.采用人工神經(jīng)網(wǎng)絡(luò)思想進(jìn)行優(yōu)化，只能提高生物真實性相對較低的高斯分布生成的儲備池，而且提升后的性能依然不如本文所采用的伽馬分布生成的儲備池.對于伽馬分布生成的儲備池，優(yōu)化后甚至?xí)蟹葱Ч?從表中可以看到，對于具有高度生物真實性的儲備池，基于人工神經(jīng)網(wǎng)絡(luò)的優(yōu)化思想，使用STDP來進(jìn)行優(yōu)化是不能保證有效性的.這也證明了儲備池的構(gòu)建和優(yōu)化方法需要保證其具有較高的生物真實性.

3.4.3 帶噪聲的數(shù)據(jù)分類

為了驗證網(wǎng)絡(luò)的抗噪性能，進(jìn)一步進(jìn)行噪聲數(shù)據(jù)實驗.實驗所用噪聲數(shù)據(jù)在MNIST基礎(chǔ)上生成.使用高斯分布來生成噪聲信號，并將噪聲信號加到原數(shù)據(jù)上作為測試樣本進(jìn)行測試.對噪聲信號的分類，采用伽馬分布生成權(quán)值的儲備池進(jìn)行.同樣采用在訓(xùn)練集中隨機(jī)選取的5000個原始訓(xùn)練樣本進(jìn)行訓(xùn)練，并采用全部的測試樣本添加噪聲信號后進(jìn)行測試.其中噪聲采用均值為0，方差為0.1，0.2的高斯分布來生成.實驗結(jié)果如表2所示.其中高斯分布和伽馬分布為生成儲備池所用的分布，STDP為生成后優(yōu)化的方式.

表2 噪聲數(shù)據(jù)實驗結(jié)果Table 2 Accuracy with noise

從表2可以看到，方差0.2以內(nèi)的噪聲對伽馬分布生成儲備池的正確率的影響在0.2%以內(nèi)，說明采用伽馬分布生成的儲備池有較強(qiáng)的抗噪性.而經(jīng)過STDP優(yōu)化的儲備池，在加入方差為0.1的噪聲后，準(zhǔn)確率就出現(xiàn)了0.4%的下降，更是在方差為0.2的噪聲信號加入后，驟降5%，抗噪性甚至不如某些使用具有生物真實性激活函數(shù)的人工神經(jīng)網(wǎng)絡(luò).進(jìn)一步說明了，儲備池的構(gòu)建和優(yōu)化要以生物真實性為主要依據(jù).

3.5 結(jié)果分析

目前大腦依然是世界上最復(fù)雜最精細(xì)的系統(tǒng)，本文算法的效果得益于其生物真實性.

本文算法訓(xùn)練所使用的只有隨機(jī)選取的5000個樣本.在采用伽馬分布生成儲備池權(quán)值的情況下，依然能達(dá)到93.45%的準(zhǔn)確率.而即使是卷積神經(jīng)網(wǎng)絡(luò)，在這種條件下也只有91%左右的準(zhǔn)確率.從LIF神經(jīng)元的活動方式可以看出，單一孤立的輸入和非常密集的輸入都會被自動的過濾掉.且在儲備池中，尤其是在輸入消失的時間段內(nèi)，充滿了稀疏的微回路的儲備池形成的是層層嵌套的篩選.這種能力最終會篩選出某種特定的模式，甚至在不需要訓(xùn)練的情況下能夠直接將不同的模式分開[12].在儲備池中，輸入壓制混沌現(xiàn)象主要是通過改變混沌的軌跡實現(xiàn)的，而不是直接改變其表現(xiàn)形式[13-14].這更進(jìn)一步證明了儲備池具有較強(qiáng)的抗噪性與魯棒性.而這些特性，皆由其生物真實性所帶來，隨著生物科學(xué)與混沌理論的進(jìn)步，可解釋性會越來越強(qiáng)，也會越來越可控.

4 總結(jié)與展望

為了增強(qiáng)對網(wǎng)絡(luò)的放電噪聲的抑制和對輸入信息的提取能力，本文保留了20%抑制性神經(jīng)元.并在此基礎(chǔ)上采用伽馬分布來生成儲備池內(nèi)部連接權(quán)值，以此來獲取一個具有強(qiáng)生物真實性，同時隱含功能柱概念的儲備池.通過理論分析及與其它常用分布和分簇自組織的方法進(jìn)行對比，得出使用伽馬分布所構(gòu)建的儲備池在進(jìn)行模式識別時具有更高的精度和更好的抗噪性能的結(jié)論.

本文使用時間序列分類任務(wù)來評價液體狀態(tài)機(jī)模型的性能.時間序列信息的處理能力是脈沖神經(jīng)元網(wǎng)絡(luò)最基本的能力，雖然它能夠代表網(wǎng)絡(luò)的性能，但是探究網(wǎng)絡(luò)對更復(fù)雜的任務(wù)的執(zhí)行情況更有價值.儲備池最大的優(yōu)勢是時序任務(wù)的實時處理能力及小樣本學(xué)習(xí)的能力，因此本文未來將使用實時采集的時序信號進(jìn)行進(jìn)一步研究.