脈沖神經(jīng)元序列學(xué)習(xí)方法的影響因素研究

徐 彥，楊 靜

（1.南京農(nóng)業(yè)大學(xué)信息科技學(xué)院，南京210095；2.北京師范大學(xué)珠海分校管理學(xué)院，廣東珠海519087）

·人工智能及識(shí)別技術(shù)·

脈沖神經(jīng)元序列學(xué)習(xí)方法的影響因素研究

徐 彥1，楊 靜2

（1.南京農(nóng)業(yè)大學(xué)信息科技學(xué)院，南京210095；2.北京師范大學(xué)珠海分校管理學(xué)院，廣東珠海519087）

遠(yuǎn)程有監(jiān)督方法（ReSuM e）通過計(jì)算神經(jīng)元運(yùn)行時(shí)的輸出脈沖和輸入脈沖的時(shí)間差調(diào)整突觸權(quán)值，是目前在理論基礎(chǔ)和實(shí)際應(yīng)用上都較出色的脈沖神經(jīng)元有監(jiān)督學(xué)習(xí)方法，但是當(dāng)期望輸出脈沖序列較長時(shí)，ReSuM e方法的學(xué)習(xí)精度較低。為解決該問題，分析影響ReSuM e方法性能的2個(gè)主要因素：在線、離線學(xué)習(xí)方式及學(xué)習(xí)過程中更新突觸權(quán)值時(shí)輸入脈沖的選取。在線學(xué)習(xí)精度一般高于離線學(xué)習(xí)，但是學(xué)習(xí)精度的差異隨著參數(shù)或者其他設(shè)置的不同有較大差別。針對輸入脈沖的選取，提出一種新的學(xué)習(xí)策略以改進(jìn)ReSuM e方法，該策略在計(jì)算權(quán)值調(diào)整幅度時(shí)綜合考慮期望輸出與實(shí)際輸出脈沖序列，從而避免增強(qiáng)與減弱權(quán)值時(shí)輸入脈沖出現(xiàn)重疊干擾。實(shí)驗(yàn)結(jié)果表明，新的學(xué)習(xí)策略可以有效提高ReSuMe方法的學(xué)習(xí)精度及其解決實(shí)際問題的能力。

脈沖神經(jīng)元；遠(yuǎn)程有監(jiān)督方法；脈沖序列學(xué)習(xí)；脈沖神經(jīng)網(wǎng)絡(luò)；脈沖反應(yīng)模型

1 概述

在生物神經(jīng)系統(tǒng)中，神經(jīng)元之間通過具有特定頻率和形態(tài)的脈沖序列來傳遞信息［1］。這些信息通過激發(fā)率和激發(fā)時(shí)間2種方式進(jìn)行編碼［2］。傳統(tǒng)人工神經(jīng)元模型可以看成是激發(fā)率編碼的一種近似。但是，僅使用激發(fā)率編碼會(huì)使得以精確激發(fā)時(shí)間表達(dá)的信息丟失。因此，更加接近真實(shí)神經(jīng)元運(yùn)行方式的脈沖神經(jīng)元和網(wǎng)絡(luò)被提出［3］。脈沖神經(jīng)元以脈沖激發(fā)時(shí)間作為輸入和輸出，可以更好地模擬生物神經(jīng)元，進(jìn)而可以更有效地模擬人的智能活動(dòng)。現(xiàn)已證明，脈沖神經(jīng)網(wǎng)絡(luò)具有比傳統(tǒng)人工神經(jīng)網(wǎng)絡(luò)更強(qiáng)的性能［4-5］。

在人工神經(jīng)網(wǎng)絡(luò)的研究中，有監(jiān)督學(xué)習(xí)理論一直都屬于核心研究內(nèi)容。脈沖神經(jīng)元與網(wǎng)絡(luò)的有監(jiān)督學(xué)習(xí)也是其研究領(lǐng)域中一個(gè)極重要的組成部分。以脈沖激發(fā)時(shí)間編碼的脈沖神經(jīng)網(wǎng)絡(luò)的有監(jiān)督學(xué)習(xí)是在一段運(yùn)行時(shí)間內(nèi)輸出神經(jīng)元通過學(xué)習(xí)能夠精確地在指定的時(shí)刻激發(fā)出脈沖。由于脈沖神經(jīng)元的運(yùn)行方式接近于真實(shí)的生物神經(jīng)元，而人們對生物神經(jīng)系統(tǒng)如何進(jìn)行有監(jiān)督學(xué)習(xí)的完整機(jī)理尚不清楚，因此脈沖激發(fā)時(shí)間編碼的脈沖神經(jīng)網(wǎng)絡(luò)有監(jiān)督學(xué)習(xí)方法研究有其自身的特點(diǎn)和難點(diǎn)。

脈沖神經(jīng)元有監(jiān)督學(xué)習(xí)方法的研究是實(shí)現(xiàn)更復(fù)雜的神經(jīng)網(wǎng)絡(luò)有監(jiān)督學(xué)習(xí)的基礎(chǔ)?；跁r(shí)間編碼的脈沖神經(jīng)元的有監(jiān)督學(xué)習(xí)就是具有多個(gè)輸入突觸的單個(gè)脈沖神經(jīng)元通過學(xué)習(xí)在期望時(shí)刻激發(fā)出脈沖，即脈沖序列，所以又稱為脈沖序列學(xué)習(xí)。為了更好地模擬真實(shí)神經(jīng)元，大多數(shù)研究者都致力于尋找具有生物學(xué)基礎(chǔ)的有監(jiān)督學(xué)習(xí)方法［6-7］。

文獻(xiàn)［8］提出一種稱為遠(yuǎn)程有監(jiān)督方法（Remote Supervised M ethod，ReSuM e）的脈沖神經(jīng)元有監(jiān)督學(xué)習(xí)方法。該方法由輸出脈沖序列與輸入脈沖序列結(jié)合時(shí)間相關(guān)可塑性（Spiking Tim ing Dependent Plasticity，STDP）規(guī)則［9］調(diào)整權(quán)值。ReSuM e方法具有明顯的優(yōu)點(diǎn)［10］，但是研究者最初提出的ReSuM e方法存在著一些問題，其中較大的不足是當(dāng)期望輸出脈沖序列的時(shí)間段較長時(shí)，ReSuM e方法的精度下降較快［11］，這直接影響了其解決復(fù)雜問題的能力。

針對ReSuMe方法進(jìn)行深入研究可以得到提高其學(xué)習(xí)性能的方法，并且對脈沖神經(jīng)網(wǎng)絡(luò)有監(jiān)督學(xué)習(xí)的研究具有較高的理論和實(shí)際價(jià)值。本文著重對ReSuM e方法學(xué)習(xí)時(shí)涉及的2個(gè)因素進(jìn)行研究：（1）ReSuM e方法以在線和離線方式學(xué)習(xí)時(shí)的神經(jīng)元性能差別；（2）初始ReSuM e方法權(quán)值調(diào)整時(shí)需要選取輸入脈沖。

2 脈沖反應(yīng)模型及ReSuM e方法

2.1 脈沖反應(yīng)模型

雖然ReSuMe方法并不限定于適用某一種特定的脈沖神經(jīng)元模型，但是本文以常用的脈沖反應(yīng)模型（Spiking Response Model，SRM）［1］作為研究對象。對于其他脈沖神經(jīng)元模型［1］，本文研究結(jié)果一樣適用。

在SRM模型中，神經(jīng)元的輸入為沿著眾多突觸傳輸?shù)缴窠?jīng)元的離散脈沖的到達(dá)時(shí)間，每一個(gè)脈沖到達(dá)后都會(huì)在神經(jīng)元內(nèi)部產(chǎn)生一個(gè)突觸后電位（Postsynaptic Potential，PSP），神經(jīng)元的內(nèi)部狀態(tài)即膜電位值（m embrane potential）為所有的輸入脈沖產(chǎn)生的PSP在其各自傳輸突觸權(quán)值影響下的總和。

假設(shè)神經(jīng)元有N個(gè)輸入突觸，第i個(gè)突觸有Gi個(gè)脈沖輸入，它們到達(dá)神經(jīng)元的時(shí)間集合記為，在當(dāng)前時(shí)刻t（＞0）之前最近的一次脈沖激發(fā)時(shí)刻為t（fr），則神經(jīng)元的膜電位表達(dá)式為：

其中，wi是神經(jīng)元第i個(gè)輸入突觸的權(quán)值。一個(gè)輸入脈沖產(chǎn)生的PSP由反應(yīng)函數(shù)ε（t）決定，本文中脈沖反應(yīng)函數(shù)表達(dá)式為：

其中，τ是決定反應(yīng)函數(shù)性態(tài)的時(shí)間延遲常數(shù)。

當(dāng)神經(jīng)元的膜電位在某個(gè)時(shí)刻由低到高超過激發(fā)閾值?，神經(jīng)元會(huì)在這個(gè)時(shí)刻激發(fā)出一個(gè)脈沖（本文用t（f）表示激發(fā)的脈沖及其激發(fā)時(shí)間），并且會(huì)進(jìn)入一個(gè)在短時(shí)期內(nèi)不會(huì)再次激發(fā)脈沖的過程，稱為絕對不應(yīng)期［12］。隨后神經(jīng)元會(huì)進(jìn)入稱為相對不應(yīng)期［12］的過程，這時(shí)膜電位值較低并且難于再次激發(fā)脈沖。膜電位表達(dá)式中的η（t-t（fr））描述相對不應(yīng)期的影響，函數(shù)η（t）的表達(dá)式為：

其中，τR是決定不應(yīng)期函數(shù)性態(tài)的延遲常數(shù)。本文中只考慮離當(dāng)前時(shí)刻最近的一個(gè)脈沖激發(fā)產(chǎn)生的不應(yīng)期影響而忽略更早的其他脈沖激發(fā)。本文中脈沖神經(jīng)元的參數(shù)設(shè)置如下：?=1，τ=7，τR=80。

2.2 ReSuM e方法的權(quán)值更新規(guī)則

脈沖神經(jīng)元的有監(jiān)督學(xué)習(xí)是依據(jù)輸入與輸出脈沖序列通過調(diào)整神經(jīng)元的突觸權(quán)值來實(shí)現(xiàn)的。ReSuM e方法的權(quán)值更新分為2個(gè)部分。

（1）權(quán)值的增強(qiáng)：當(dāng)神經(jīng)元運(yùn)行時(shí)遇到任何一個(gè)期望輸出脈沖所在的時(shí)間點(diǎn)td，就要在這個(gè)時(shí)間點(diǎn)根據(jù)輸入脈沖的時(shí)刻計(jì)算增強(qiáng)突觸權(quán)值，對于第i個(gè)輸入突觸，其權(quán)值wi的增強(qiáng)調(diào)整規(guī)則［10］為：

其中，td-1為td之前最靠近td的一個(gè)期望輸出脈沖。

（2）權(quán)值的減弱：當(dāng)神經(jīng)元在運(yùn)行過程中一旦激發(fā)出脈沖to，就要在這個(gè)實(shí)際輸出脈沖的時(shí)間點(diǎn)根據(jù)輸入脈沖的時(shí)刻計(jì)算減弱突觸權(quán)值，對于第i個(gè)輸入突觸，其權(quán)值wi的減弱調(diào)整規(guī)則［10］為：

其中，to-1為to之前最靠近to的一個(gè)實(shí)際輸出脈沖。

在式（4）、式（5）中的a是一個(gè)權(quán)值更新的常數(shù)，表示權(quán)值更新時(shí)一個(gè)恒定不變的更新量；β是學(xué)習(xí)速率。W（s）稱為學(xué)習(xí)窗口函數(shù)，它決定了根據(jù)輸入脈沖時(shí)刻與實(shí)際或者期望輸出脈沖時(shí)刻之間的間隔得到的權(quán)值更新幅度。

其中，A+是常數(shù)；τ+是決定學(xué)習(xí)窗口函數(shù)性態(tài)的時(shí)間延遲常數(shù)。本文實(shí)驗(yàn)中ReSuM e權(quán)值更新規(guī)則參數(shù)設(shè)置如下：a=0.001，A+=0.5，τ+=5。

已有研究結(jié)果顯示，ReSuM e方法調(diào)整突觸權(quán)值可以使神經(jīng)元以較高的精度激發(fā)出期望輸出脈沖序列。同時(shí)，ReSuM e方法具有較好的適用性，它可以適用于多種不同的脈沖神經(jīng)元模型［10］。另外，ReSuM e方法采用的作為權(quán)值調(diào)整基礎(chǔ)的STDP規(guī)則是生物神經(jīng)元突觸強(qiáng)度調(diào)整機(jī)制的理論總結(jié)，這使得ReSuM e方法具有十分明顯的生物學(xué)基礎(chǔ)。因此，無論在理論基礎(chǔ)還是實(shí)際應(yīng)用上ReSuM e方法都是目前較出色的脈沖神經(jīng)元有監(jiān)督學(xué)習(xí)方法。

在脈沖序列學(xué)習(xí)中，評價(jià)學(xué)習(xí)結(jié)果的好壞就是判斷神經(jīng)元在學(xué)習(xí)結(jié)束后實(shí)際激發(fā)的脈沖序列與期望輸出脈沖序列的接近程度。這實(shí)際上是度量2個(gè)脈沖序列之間的距離。本文采用基于相關(guān)性的度量C［13］來描述該距離：

其中，vd和vo分別為期望輸出脈沖序列和實(shí)際輸出脈沖序列與高斯低通濾波器作卷積（離散）之后得到的向量。等式中的分子是2個(gè)向量的內(nèi)積，分母是2個(gè)向量模的乘積。當(dāng)2個(gè)脈沖序列完全相同時(shí)C值為1，隨著它們的差別越來越大逐漸趨于0。

3 影響因素分析與學(xué)習(xí)策略的提出

3.1 在線與離線學(xué)習(xí)

已知傳統(tǒng)BP算法有2種常見的運(yùn)行方式，即在線方式和批處理方式［14］。這2種方式各有利弊，批處理方式可以消除樣本學(xué)習(xí)順序?qū)W(xué)習(xí)結(jié)果的影響，使得學(xué)習(xí)更加穩(wěn)定，而且更適合理論研究和并行處理；在線方式則需要更少的存儲(chǔ)空間，當(dāng)樣本順序正確時(shí)學(xué)習(xí)可以更快收斂，所以，通常性能更強(qiáng)。BP算法的這2種方式的區(qū)別為在線方式是在每一個(gè)訓(xùn)練樣本輸入網(wǎng)絡(luò)計(jì)算后立刻調(diào)整權(quán)值，而批處理方式則是當(dāng)所有樣本都計(jì)算完成后統(tǒng)一調(diào)整更新權(quán)值。

對于脈沖神經(jīng)元有監(jiān)督學(xué)習(xí)的ReSuM e方法，也可以討論類似2種學(xué)習(xí)方式在學(xué)習(xí)性能上的差異。根據(jù)ReSuM e方法的特點(diǎn)，神經(jīng)元突觸權(quán)值的調(diào)整可以按2種方式處理：（1）在神經(jīng)元運(yùn)行過程中遇到實(shí)際或期望輸出脈沖時(shí)立刻調(diào)整更新權(quán)值；（2）在神經(jīng)元運(yùn)行過程中遇到輸出脈沖時(shí)不立刻更新權(quán)值，而是在神經(jīng)元運(yùn)行完成后根據(jù)實(shí)際與期望輸出脈沖序列計(jì)算更新權(quán)值。本文稱第（1）種為在線學(xué)習(xí)方式，第（2）種為離線學(xué)習(xí)方式。

本文通過一組實(shí)驗(yàn)考察ReSuM e方法在這2種學(xué)習(xí)方式下性能。在實(shí)驗(yàn)中神經(jīng)元輸入與輸出脈沖序列的長度由短到長逐漸變化，而其他設(shè)置保持不變。神經(jīng)元有400個(gè)輸入突觸；輸入與期望輸出脈沖序列的激發(fā)率分別為10 Hz和100 Hz的Poisson序列；脈沖序列的長度在200 ms～3 200 ms內(nèi)以間隔200 ms逐漸增加。在每種長度下分別進(jìn)行50次實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如圖1所示。

圖1 初始ReSuM e方法基于在線和離線方式的學(xué)習(xí)效果對比

圖1（a）表示度量C可以達(dá)到的最大值在50次實(shí)驗(yàn)下的平均值及均方誤差；圖1（b）表示度量C達(dá)到最大值所需要的學(xué)習(xí)周期數(shù)在50次實(shí)驗(yàn)下的平均值以及均方誤差。由圖1（a）可知，在學(xué)習(xí)精度上，2種方式下ReSuM e方法呈現(xiàn)出相似的結(jié)果，即隨著期望輸出脈沖序列長度的增加精度會(huì)逐步降低，這也是脈沖序列學(xué)習(xí)的一個(gè)普遍規(guī)律。比較2種方式的學(xué)習(xí)精度，可以發(fā)現(xiàn)以在線方式運(yùn)行的精度在每一個(gè)序列長度下都高于離線方式。在400 m s～1 200 m s這一范圍內(nèi)在線方式的精度優(yōu)勢更加明顯。例如在序列長度為600 ms時(shí)，在線方式的度量為C=0.936，而離線方式的度量僅為C=0.686。隨著脈沖序列長度的增加，在線方式與離線方式下學(xué)習(xí)精度的差別越來越小。對于學(xué)習(xí)效率，由圖1（b）可知離線方式下ReSuM e方法達(dá)到最大學(xué)習(xí)精度需要的平均學(xué)習(xí)周期數(shù)要少于在線方式。但是對于脈沖序列學(xué)習(xí)，在學(xué)習(xí)周期數(shù)沒有巨大差別的情況下，學(xué)習(xí)精度的差別對于學(xué)習(xí)算法的實(shí)際應(yīng)用影響更大。

由這一組實(shí)驗(yàn)可以發(fā)現(xiàn)，對于ReSuM e方法，在線方式在學(xué)習(xí)精度上優(yōu)于離線方式。其原因?yàn)?，除了在線方式固有的性能優(yōu)勢之外，還有一個(gè)可能的原因來自于生物學(xué)基礎(chǔ)。脈沖神經(jīng)元的運(yùn)行方式仿照真實(shí)的生物神經(jīng)元，而生物神經(jīng)元是在有脈沖激發(fā)時(shí)按照一定的機(jī)制（如STDP）立刻調(diào)整突觸強(qiáng)度，即在線調(diào)整，所以，脈沖神經(jīng)元按照ReSuM e方法以在線方式進(jìn)行有監(jiān)督學(xué)習(xí)更加符合這一生物學(xué)規(guī)律，因此也獲得了更高的學(xué)習(xí)精度。

3.2 輸入脈沖的選取

ReSuM e方法的權(quán)值更新幅度是通過實(shí)際輸出或期望輸出脈沖與輸入脈沖之間的時(shí)間差經(jīng)過學(xué)習(xí)窗口函數(shù)計(jì)算得到的。在這些關(guān)鍵因素中期望輸出脈沖的時(shí)刻是固定的，實(shí)際輸出脈沖的時(shí)刻是由神經(jīng)元運(yùn)行產(chǎn)生的，這2個(gè)在計(jì)算權(quán)值更新的幅度時(shí)都不可更改。每個(gè)輸入突觸上輸入脈沖的時(shí)刻是固定的，學(xué)習(xí)過程中也不能更改。但是在每一個(gè)實(shí)際或者期望輸出脈沖之前需要考慮的輸入脈沖的個(gè)數(shù)，即在窗口函數(shù)計(jì)算中考慮的輸入脈沖個(gè)數(shù)是可以選擇的。

在初始的ReSuM e方法中，期望輸出脈沖序列與實(shí)際輸出脈沖序列在學(xué)習(xí)時(shí)是獨(dú)立的，即在遇到期望輸出脈沖增強(qiáng)權(quán)值時(shí)，增強(qiáng)幅度的計(jì)算只涉及輸入脈沖和當(dāng)前期望輸出脈沖，并且由于神經(jīng)元激發(fā)出脈沖之后存在不應(yīng)期［13］，考慮的輸入脈沖只位于當(dāng)前時(shí)刻和前一個(gè)期望輸出脈沖的時(shí)刻之間，如式（4）所示。對應(yīng)地，在遇到實(shí)際輸出脈沖減弱權(quán)值時(shí)只涉及輸入脈沖和當(dāng)前實(shí)際輸出脈沖，并且考慮的輸入脈沖只位于當(dāng)前時(shí)刻和前一個(gè)實(shí)際輸出脈沖的時(shí)刻之間，如式（5）所示。

如圖2所示，Si為一個(gè)脈沖神經(jīng)元的某一個(gè)輸入突觸，其上依時(shí)間次序傳輸?shù)竭_(dá)神經(jīng)元的輸入脈沖依次為…；神經(jīng)元的期望輸出脈沖序列為Sd，其中前3個(gè)期望輸出脈沖依次為；在某一次運(yùn)行過程中神經(jīng)元的實(shí)際輸出脈沖序列為So，其中前2個(gè)實(shí)際輸出脈沖為。

圖2 ReSuM e方法學(xué)習(xí)時(shí)輸入脈沖的選取

神經(jīng)元在這次運(yùn)行過程中，按照時(shí)間順序最先到達(dá)的是第1個(gè)期望輸出脈沖的時(shí)刻。按照ReSuM e方法，在這個(gè)時(shí)刻需要增強(qiáng)輸入突觸的權(quán)值。按照文獻(xiàn)［8］中提出的初始ReSuM e方法，此刻對于輸入突觸Si的權(quán)值wi計(jì)算增強(qiáng)幅度需要考慮之前的輸入脈沖。隨著神經(jīng)元的運(yùn)行到達(dá)第一個(gè)實(shí)際輸出脈沖的時(shí)刻，按照ReSuM e方法，在這個(gè)時(shí)刻需要減弱輸入突觸的權(quán)值，由初始ReSuM e方法，由于期望輸出和實(shí)際輸出脈沖序列在學(xué)習(xí)時(shí)互相獨(dú)立，此刻對于權(quán)值wi計(jì)算減弱幅度需要考慮的輸入脈沖為。神經(jīng)元的運(yùn)行到達(dá)第2個(gè)期望輸出脈沖的時(shí)刻，此刻對于權(quán)值wi計(jì)算增強(qiáng)幅度需要的輸入脈沖將不再考慮之前的，只需考慮位于和之間的。同樣地，對于后面的期望輸出脈沖的時(shí)刻以及實(shí)際輸出脈沖的時(shí)刻，計(jì)算增強(qiáng)和減弱權(quán)值wi時(shí)將分別只考慮位于和之間的以及位于和之間。

上文直觀地分析了初始的ReSuM e方法學(xué)習(xí)時(shí)在每一個(gè)輸出脈沖的時(shí)刻計(jì)算權(quán)值更新時(shí)輸入脈沖的選擇方式，這種方式下期望輸出脈沖和實(shí)際輸出脈沖之間互不干擾、相互獨(dú)立。圖1中的實(shí)驗(yàn)是按照這種方式進(jìn)行的，由在線方式的實(shí)驗(yàn)結(jié)果可知，這種方式下當(dāng)期望輸出脈沖序列長度較長時(shí)，ReSuM e方法的學(xué)習(xí)精度會(huì)有明顯下降。例如，當(dāng)脈沖序列的長度為600 ms時(shí)，學(xué)習(xí)精度可以達(dá)到度量C= 0.936，而當(dāng)序列長度為1 200 ms時(shí)，度量下降為C= 0.606。這就是初始ReSuM e方法性能上的一個(gè)不足。分析原因，在這種方式下，輸入脈沖對于期望輸出脈沖和實(shí)際輸出脈沖的計(jì)算是可以有重疊的。例如圖2中，對和的計(jì)算都考慮了，而這種重疊會(huì)導(dǎo)致對同一輸入突觸權(quán)值增強(qiáng)和減弱之間發(fā)生干擾，這種干擾在一定程度上影響了初始ReSuM e方法的學(xué)習(xí)精度。

為了提高學(xué)習(xí)精度，本文對ReSuM e方法進(jìn)行改進(jìn)，提出一種新的學(xué)習(xí)策略，該策略改變學(xué)習(xí)過程中遇到期望輸出脈沖或者實(shí)際輸出脈沖時(shí)計(jì)算權(quán)值更新幅度所考慮的輸入脈沖選擇。其關(guān)鍵是對期望與實(shí)際輸出脈沖在調(diào)整權(quán)值時(shí)選擇的輸入脈沖避免出現(xiàn)重疊。

在遇到期望輸出脈沖td增強(qiáng)權(quán)值時(shí)，權(quán)值增強(qiáng)幅度的計(jì)算選擇位于當(dāng)前期望輸出脈沖時(shí)刻和該時(shí)刻前最靠近該時(shí)刻的期望或?qū)嶋H輸出脈沖之間的輸入脈沖，其表達(dá)式為：

其中，td-1為td之前最靠近td的期望輸出脈沖；為 td之前最靠近td的實(shí)際輸出脈沖。

同樣地，在遇到實(shí)際輸出脈沖to減弱權(quán)值時(shí)選擇位于當(dāng)前實(shí)際輸出脈沖時(shí)刻和該時(shí)刻之前最靠近該時(shí)刻的期望或?qū)嶋H輸出脈沖之間的輸入脈沖，其表達(dá)式為：

其中，to-1為to之前最靠近to的期望輸出脈沖；d為to之前最靠近to的期望輸出脈沖。

由上述學(xué)習(xí)策略可知，其消除了初始ReSuM e方法在權(quán)值更新過程中期望輸出脈沖和實(shí)際輸出脈沖互不干擾的特點(diǎn)，無論是增強(qiáng)權(quán)值還是減弱權(quán)值都要綜合考慮期望與實(shí)際輸出脈沖。

4 實(shí)驗(yàn)與結(jié)果分析

通過實(shí)驗(yàn)驗(yàn)證ReSuM e方法的學(xué)習(xí)策略效果，為了表述方便，稱以本文提出的學(xué)習(xí)策略進(jìn)行學(xué)習(xí)的ReSuM e方法為改進(jìn)ReSuMe方法。前2組實(shí)驗(yàn)分別采用在線和離線方式運(yùn)行。實(shí)驗(yàn)設(shè)定和圖1的實(shí)驗(yàn)設(shè)定相同，即神經(jīng)元有400個(gè)輸入突觸；輸入與

期望輸出脈沖序列的激發(fā)率分別為10 Hz和100 Hz的Poisson序列；脈沖序列的長度在200 m s～3 200 m s內(nèi)以間隔200 m s逐漸增加。在每種長度下分別進(jìn)行50次實(shí)驗(yàn)，本節(jié)實(shí)驗(yàn)中用于考察實(shí)驗(yàn)結(jié)果的數(shù)據(jù)和圖1一致。實(shí)驗(yàn)結(jié)果分別如圖3和圖4所示。

圖3 改進(jìn)ReSuM e方法和初始ReSuM e方法基于在線方式的學(xué)習(xí)效果對比

圖4 改進(jìn)ReSuM e方法和初始ReSuM e方法基于離線方式的學(xué)習(xí)效果對比

圖3 顯示在線方式下的實(shí)驗(yàn)結(jié)果。由圖3（a）可知，本文提出策略有效提高了ReSuM e方法的在在線方式下的學(xué)習(xí)精度。從600 m s序列長度開始，改進(jìn)ReSuMe方法的學(xué)習(xí)精度明顯高于初始ReSuM e方法。例如，在1 200 m s時(shí)，初始ReSuM e方法的學(xué)習(xí)精度C為0.606，而改進(jìn)ReSuM e方法的度量C為0.983。在200 ms～1200 ms的范圍內(nèi)，改進(jìn)ReSuMe方法可以使C保持在0.98以上，即學(xué)習(xí)基本上接近完全成功。而初始ReSuM e方法只能在200 m s和400 m s 2點(diǎn)處獲得接近完全成功的學(xué)習(xí)精度。由圖3可以看出，在線方式下改進(jìn)ReSuM e方法達(dá)到最大學(xué)習(xí)精度所需的平均學(xué)習(xí)周期數(shù)要少于初始ReSuM e方法，因此，本文策略也提高了ReSuM e方法的學(xué)習(xí)效率。

圖4顯示離線方式下的實(shí)驗(yàn)結(jié)果。由圖4（a）可知，與在線方式下的結(jié)果相似，本文提出策略有效提高了ReSuM e方法在離線方式下的學(xué)習(xí)精度，而且相比初始ReSuMe方法，提高效果比在線方式下更加明顯。在1 200 ms時(shí)，初始ReSuM e方法的學(xué)習(xí)精度C為0.503，而改進(jìn)ReSuMe方法的度量C為0.956。在200 ms～1 200 ms的范圍內(nèi)，改進(jìn)ReSuM e方法可以使度量C保持在0.95以上，雖然略低于在線方式，但對期望輸出脈沖序列的學(xué)習(xí)依然接近完全成功。圖4（b）顯示離線方式下改進(jìn)ReSuM e方法達(dá)到最大學(xué)習(xí)精度所需的平均學(xué)習(xí)周期數(shù)在大多數(shù)情況下多于初始ReSuM e方法。

圖5比較了改進(jìn)ReSuM e方法分別在在線和離線方式下的學(xué)習(xí)結(jié)果。圖5（a）顯示改進(jìn)ReSuM e方法以在線方式運(yùn)行的學(xué)習(xí)精度略高于離線方式下的學(xué)習(xí)精度，但是對比圖1中初始ReSuM e方法在線和離線方式下學(xué)習(xí)精度的差異，改進(jìn)ReSuM e方法在2種方式下的精度差別較小。由此可以看出，影響ReSuMe方法在線與離線方式下精度的因素很大程度上源于學(xué)習(xí)時(shí)相關(guān)參數(shù)和細(xì)節(jié)的設(shè)置。為了更加全面地衡量改進(jìn)ReSuM e方法的學(xué)習(xí)效果，下面進(jìn)行另一組實(shí)驗(yàn)。這組實(shí)驗(yàn)中神經(jīng)元輸入與輸出脈沖序列的激發(fā)率比前面的實(shí)驗(yàn)高。更高的激發(fā)率會(huì)導(dǎo)致神經(jīng)元需要學(xué)習(xí)激發(fā)的期望輸出脈沖的個(gè)數(shù)和輸入脈沖的個(gè)數(shù)增加，因此理論上學(xué)習(xí)的復(fù)雜程度和難度會(huì)相應(yīng)增加。在實(shí)驗(yàn)中，神經(jīng)元有400個(gè)輸入突觸；輸入與期望輸出脈沖序列都為激發(fā)率為200 Hz的Poisson序列；脈沖序列的長度在200 m s～2 800 m s內(nèi)以間隔200 m s逐漸增加。在每種長度下分別進(jìn)行50次實(shí)驗(yàn)。采用在線學(xué)習(xí)方式的實(shí)驗(yàn)結(jié)果如圖6所示。由此可知，當(dāng)輸入和輸出脈沖序列的激發(fā)率都為200 Hz時(shí)，改進(jìn)ReSuM e方法的學(xué)習(xí)精度依然高于初始ReSuM e方法。但是對比圖3可以發(fā)現(xiàn)，此時(shí)改進(jìn)ReSuM e方法優(yōu)于初始ReSuM e方法的幅度要小于激發(fā)率較低時(shí)的情形。在200 ms～1 400 ms長度范圍內(nèi)，改進(jìn)ReSuM e方法相比初始ReSuM e方法的度量C高出0.09～0.15。在1 400 m s之后，兩者的差距逐漸縮小，到2 000 m s之后2種方法的精度基本沒有差別。由圖6（a）可以看出，在這一組實(shí)驗(yàn)中改進(jìn)ReSuM e方法的平均學(xué)習(xí)精度的均方誤差明顯低于初始ReSuM e方法。因此，當(dāng)輸入輸出脈沖序列激發(fā)率較高時(shí)，改進(jìn)ReSuM e方法學(xué)習(xí)精度的穩(wěn)定性要優(yōu)于初始ReSuM e方法。對于學(xué)習(xí)效率，由圖6（b）可以看出，在脈沖序列比較短時(shí)，改進(jìn)ReSuM e方法達(dá)到最大學(xué)習(xí)精度所需的平均學(xué)習(xí)周期數(shù)少于初始ReSuM e方法，但是當(dāng)序列長度超過1 000 m s時(shí)，初始ReSuM e方法的周期數(shù)又少于改進(jìn)ReSuM e方法，兩者的差距隨著序列長度的增加變得越來越少。

圖5 改進(jìn)ReSuM e方法基于在線和離線方式的學(xué)習(xí)效果對比

圖6 當(dāng)脈沖序列激發(fā)率較高時(shí)改進(jìn)ReSuM e方法和初始ReSuM e方法的學(xué)習(xí)效果對比

綜上所述，本文提出的學(xué)習(xí)策略通過改變學(xué)習(xí)窗口函數(shù)在計(jì)算時(shí)涉及的輸入脈沖，在多種實(shí)驗(yàn)設(shè)定下都提高了ReSuM e方法的學(xué)習(xí)精度，該精度提高明顯并且具有較高的普遍性。

5 結(jié)束語

脈沖序列學(xué)習(xí)是利用脈沖神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)各種應(yīng)用功能乃至人工智能的一個(gè)重要基礎(chǔ)，對脈沖序列學(xué)習(xí)方法的研究是促進(jìn)脈沖序列學(xué)習(xí)理論和應(yīng)用發(fā)展的有效途徑。ReSuM e方法是一種典型的脈沖序列學(xué)習(xí)方法。本文對ReSuM e方法在線與離線學(xué)習(xí)方式的分析結(jié)果表明，在線學(xué)習(xí)的精度一般都高于離線學(xué)習(xí)，但是精度的差異隨著參數(shù)或者其他設(shè)置的不同有較大差別。通過在計(jì)算權(quán)值調(diào)整幅度時(shí)綜合考慮期望與實(shí)際輸出脈沖序列，提出一種可避免增強(qiáng)與減弱權(quán)值時(shí)輸入脈沖出現(xiàn)重疊干擾的學(xué)習(xí)策略。實(shí)驗(yàn)結(jié)果顯示，當(dāng)期望輸出脈沖序列較長時(shí)，這一學(xué)習(xí)策略可以有效提高ReSuM e方法的學(xué)習(xí)精度。在今后工作中，將繼續(xù)深入研究ReSuM e方法以及脈沖序列學(xué)習(xí)的性質(zhì)，探尋在期望輸出脈沖序列較長時(shí)具有較高學(xué)習(xí)精度的方法，并進(jìn)一步將ReSuM e方法和其他有監(jiān)督學(xué)習(xí)方法相結(jié)合以提高整體性能。

［1］ Gerstner W，Kistler W M.Spiking Neuron Models［M］. Cambridge，UK：Cam bridge University Press，2002.

［2］ Rullen R V，Thorpe S J.Rate Coding Versus Temporal Order Coding：W hat the Retinal Ganglion Cells Tell the Visual Cortex［J］.Neural Computation，2001，13（6）：1255-1283.

［3］ Maass W.Networks of Spiking Neurons：The Third Generation of Neural Network Models［J］.Neural Networks，1997，10（9）：1659-1671.

［4］ Maass W.Fast Sigmoidal Networks via Spiking Neurons［J］.Neural Computation，1997，9（2）：279-304.

［5］ Maass W.Noisy Spiking Neurons with Temporal Coding Have More Computational Power Than Sigmoidal Neurons［M］.Cam bridge，USA：M IT Press，1997.

［6］ Legenstein R，Naeger C，M aass W.W hat Can a Neuron Learn with Spike-timing-dependent Plasticity？［J］. Neural Computation，2005，17（11）：2337-2382.

［7］ Pfister JP，Toyoizumi T，Barber D，et al.Optimal Spiketiming-dependent Plasticity for Precise Action Potential Firing in Supervised Learning［J］.Neural Computation，2006，18（6）：1318-1348.

［8］ Ponulak F.ReSuM e——New Supervised Learning Method for Spiking Neural Networks［D］.Pozna，Poland：Poznan University of Technology，2005.

［9］ Bi G Q，Poo M M.Synaptic Modifications in Cultured Hippocam pal Neurons：Dependence on Spike Tim ing，Synaptic Strength，and Postsynaptic Cell Type［J］. Journal of Neuroscience，1998，18（24）：10464-10472.

［10］ Ponulak F，Kasinski A.Supervised Learning in Spiking Neural Networks with Resume：Sequence Learning，Classification and Spike Shifting［J］.Neural Computation，2010，22（2）：467-510.

［11］ Xu Yan，Zeng Xiaoqin，Han Lixin，et al.A Supervised Multi-spike Learning Algorithm Based on Gradient Descent for Spiking Neural Networks［J］.Neural Networks，2013，43：99-113.

［12］ Kandel E R，Schwartz J H，Jessell T M.Principles of Neural Science［M］.New York，USA：McGraw-Hill，2000.

［13］ Scheriber S，F(xiàn)ellous J M，Whitmer D，et al.A New Correlation-based Measure of Spike Timing Reliability［J］. Neurocomputing，2003，52-54：925-931.

［14］ Haykin S.神經(jīng)網(wǎng)絡(luò)原理［M］.葉世偉，史忠植，譯.北京：機(jī)械工業(yè)出版社，2004.

編輯陸燕菲

Research on Affect Factors of Spiking Neuron Sequence Learning Method

XU Yan1，YANG Jing2
（1.College of Information Science and Technology，Nanjing Agricultural University，Nanjing 210095，China；2.School of Management，Zhuhai Cam pus，Beijing Normal University，Zhuhai 519087，China）

Remote Supervised Method（ReSuMe）ad justs the synaptic weights according to the time difference between output and input spiking during neuron runtime.Whether for the theoretical basis or the practical application，ReSuMe method is a kind of relatively excellent supervised learning method for spiking neurons.But when the desired output spriking sequence is long，the learning accuracy of ReSuMe method is relatively low.In order to discusse ReSuMe method more detailed and improve its learning performance，two factors that affect the learning performance of ReSuMe method are studied.The first factor is the offline or online learning model，the other is the choice of the input spiking considered when adjusting the synaptic weights.Online learning accuracy is generally higher than offline learning，but the different of learning precision is big with different parameters or other settings.And a new learning strategy is proposed for the second factor to improve the ReSuM e method，it considers input and output spiking sequence when calculates weight adjustment，avoids the overlap interference of input spiking when increases and decreases weights. Experimental results show that the new strategy can greatly improve the learning accuracy of ReSuMe method under different experiment settings.So it has a strong ability to solve practical problems.

spiking neuron；Remote Supervised Method（ReSuMe）；spiking sequence learning；spiking neural network；Spiking Response Model（SRM）

徐 彥，楊 靜.脈沖神經(jīng)元序列學(xué)習(xí)方法的影響因素研究［J］.計(jì)算機(jī)工程，2015，41（11）：194-201.

英文引用格式：Xu Yan，Yang Jing.Research on Affect Factors of Spiking Neuron Sequence Learning Method［J］. Computer Engineering，2015，41（11）：194-201.

1000-3428（2015）11-0194-08

A

TP183

10.3969/j.issn.1000-3428.2015.11.034

國家自然科學(xué)基金資助項(xiàng)目（61403205）；中央高?；究蒲袠I(yè)務(wù)費(fèi)專項(xiàng)基金資助項(xiàng)目（KJQN201549）。

徐 彥（1979-），男，講師、博士，主研方向：人工神經(jīng)網(wǎng)絡(luò)，模式識(shí)別；楊 靜，講師、博士。

2015-06-17

2015-07-17 E-m ail：xuyannn@njau.edu.cn