基于非聯(lián)合型學(xué)習(xí)機(jī)制的學(xué)習(xí)神經(jīng)元模型

畢 松，刁 奇，柴小豐，韓存武

(北方工業(yè)大學(xué) 現(xiàn)場總線技術(shù)及自動化北京市重點實驗室，北京 100144)

(*通信作者電子郵箱diaoqi0301@qq.com)

基于非聯(lián)合型學(xué)習(xí)機(jī)制的學(xué)習(xí)神經(jīng)元模型

畢 松，刁 奇*，柴小豐，韓存武

(北方工業(yè)大學(xué) 現(xiàn)場總線技術(shù)及自動化北京市重點實驗室，北京 100144)

(*通信作者電子郵箱diaoqi0301@qq.com)

針對生物神經(jīng)細(xì)胞所具有的非聯(lián)合型學(xué)習(xí)機(jī)制，設(shè)計了具有非聯(lián)合型學(xué)習(xí)機(jī)制的新型神經(jīng)元模型——學(xué)習(xí)神經(jīng)元。首先，研究了非聯(lián)合型學(xué)習(xí)機(jī)制中習(xí)慣化學(xué)習(xí)機(jī)制和去習(xí)慣化學(xué)習(xí)機(jī)制的簡化描述；其次，建立了習(xí)慣化和去習(xí)慣化學(xué)習(xí)機(jī)制的數(shù)學(xué)模型；最后, 基于經(jīng)典的M-P(McCulloch-Pitts)神經(jīng)元模型，提出了具有習(xí)慣化和去習(xí)慣化學(xué)習(xí)能力的新型神經(jīng)元模型——學(xué)習(xí)神經(jīng)元。經(jīng)仿真實驗驗證，學(xué)習(xí)神經(jīng)元具有典型的習(xí)慣化和去習(xí)慣化學(xué)習(xí)能力，為構(gòu)建新型神經(jīng)網(wǎng)絡(luò)提供良好的基礎(chǔ)。

非聯(lián)合型學(xué)習(xí)機(jī)制；學(xué)習(xí)神經(jīng)元；習(xí)慣化；去習(xí)慣化

0 引言

近年來，隨著信息技術(shù)的快速發(fā)展，獲取大規(guī)模數(shù)據(jù)集的成本逐漸降低，因此，從大規(guī)模數(shù)據(jù)集中自動獲取問題相關(guān)知識并解決復(fù)雜問題的機(jī)器學(xué)習(xí)技術(shù)，已經(jīng)成為眾多領(lǐng)域中解決復(fù)雜任務(wù)的有效技術(shù)手段。人工神經(jīng)網(wǎng)絡(luò)是機(jī)器學(xué)習(xí)的重要分支，隨著深度網(wǎng)絡(luò)等具有優(yōu)秀學(xué)習(xí)能力的新型人工神經(jīng)網(wǎng)絡(luò)的涌現(xiàn)，人工神經(jīng)網(wǎng)絡(luò)技術(shù)又重新受到機(jī)器學(xué)習(xí)領(lǐng)域研究者的重視。然而，現(xiàn)有人工神經(jīng)網(wǎng)絡(luò)的構(gòu)造方法主要以模擬生物神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)和突觸可塑性為主，而對生物神經(jīng)細(xì)胞所具有的高級功能的描述和抽象的關(guān)注較少。

神經(jīng)生物學(xué)和認(rèn)知神經(jīng)學(xué)的研究表明：神經(jīng)細(xì)胞所具有的學(xué)習(xí)能力是生物神經(jīng)系統(tǒng)完成學(xué)習(xí)和記憶任務(wù)的重要基礎(chǔ)[1]。經(jīng)典的M-P(McCulloch-Pitts)神經(jīng)元及其類似神經(jīng)元模型是現(xiàn)有使用最廣泛的神經(jīng)元模型，該類神經(jīng)元模型將神經(jīng)細(xì)胞的信息處理功能抽象為輸入與輸出之間的簡單函數(shù)變換，缺乏對生物神經(jīng)細(xì)胞學(xué)習(xí)機(jī)制的模擬。生物神經(jīng)細(xì)胞的學(xué)習(xí)機(jī)制不僅會改變細(xì)胞胞體功能還將改變神經(jīng)突觸工作方式[2]，因此，融合生物神經(jīng)細(xì)胞學(xué)習(xí)機(jī)制的人工神經(jīng)元模型具有更堅實的生物學(xué)基礎(chǔ)。習(xí)慣化和去習(xí)慣化是生物神經(jīng)細(xì)胞具有的典型非聯(lián)合型學(xué)習(xí)機(jī)制[3]，結(jié)合上述非聯(lián)合型學(xué)習(xí)機(jī)制的人工神經(jīng)元模型改變了經(jīng)典神經(jīng)元的結(jié)構(gòu)和信息處理過程，具有更加堅實的生物學(xué)基礎(chǔ)和學(xué)習(xí)能力。人工神經(jīng)網(wǎng)絡(luò)是對生物神經(jīng)網(wǎng)絡(luò)的抽象和模擬，人工神經(jīng)元作為人工神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)，基于生物學(xué)機(jī)制的人工神經(jīng)元和人工神經(jīng)網(wǎng)絡(luò)的模擬和模型構(gòu)造方法受到眾多學(xué)者關(guān)注。近年來國內(nèi)外學(xué)者從神經(jīng)細(xì)胞的不同生物學(xué)機(jī)制出發(fā)，設(shè)計了多種神經(jīng)元模型。

許少華等[4]將突觸信號的時間整合機(jī)制引入人工神經(jīng)元模型，基于突觸信號交換過程是時間過程的原理，擴(kuò)展了M-P神經(jīng)元結(jié)構(gòu)，將神經(jīng)元的輸入方式從幾何點式的瞬時輸入，擴(kuò)展為一組依賴時間的連續(xù)函數(shù)輸入。過程神經(jīng)元網(wǎng)絡(luò)在連續(xù)信號處理方面具有良好的應(yīng)用效果[5]，并發(fā)展出多種過程神經(jīng)元模型[6-7]。在解決多值邏輯和多區(qū)域非線性劃分等復(fù)雜模式識別問題時，以二值或?qū)嵵岛瘮?shù)作為激活函數(shù)的神經(jīng)網(wǎng)絡(luò)存在結(jié)構(gòu)較為龐大、學(xué)習(xí)和收斂速度較慢、容易陷入局部極小等問題。多值神經(jīng)元具有良好的魯棒性和快速的收斂性[8]。多值神經(jīng)元的多閾值激活函數(shù)部分地模擬了生物神經(jīng)元的功能可塑機(jī)制，使得神經(jīng)元獲得了多種激活狀態(tài)，從而提高神經(jīng)元的學(xué)習(xí)能力。量子神經(jīng)元的加權(quán)、聚合、活化和激勵等相關(guān)操作可用于模擬神經(jīng)細(xì)胞對輸入刺激的時空整合、興奮、抑制、疲勞和不應(yīng)期等相關(guān)過程[9]，其將生物神經(jīng)元看為黑盒模型，從量子自身具有的特征映射到神經(jīng)元的特征，從而構(gòu)造了量子神經(jīng)元。隨著對神經(jīng)元工作機(jī)制認(rèn)識地逐漸深入，一類基于神經(jīng)元生物學(xué)機(jī)制的人工神經(jīng)元模型被相繼提出。班曉娟等[10]基于神經(jīng)膠質(zhì)細(xì)胞對生物神經(jīng)元網(wǎng)絡(luò)的生長提供能量支持的生物學(xué)原理，將神經(jīng)膠質(zhì)細(xì)胞對神經(jīng)元能量供給機(jī)制引入神經(jīng)元模型，提出了能量人工神經(jīng)元模型。該模型具有良好的自組織、自生長能力。錢夔等[11]基于多巴胺和5-羥色胺這兩種神經(jīng)遞質(zhì)對學(xué)習(xí)過程的調(diào)節(jié)作用，設(shè)計了模擬神經(jīng)遞質(zhì)調(diào)節(jié)的神經(jīng)網(wǎng)絡(luò)發(fā)育算法，實現(xiàn)了非結(jié)構(gòu)環(huán)境的記憶與識別。上述研究工作表明，相關(guān)學(xué)者從生物神經(jīng)元的突觸信息傳遞機(jī)制、信息整合機(jī)制、神經(jīng)元的內(nèi)外部工作機(jī)制等不同角度設(shè)計了神經(jīng)元模型，但對生物神經(jīng)元自身所具有的非聯(lián)合型學(xué)習(xí)機(jī)制的借鑒和模擬卻未見討論和涉及。

本文在借鑒和模擬生物神經(jīng)元自身所具有的非聯(lián)合型學(xué)習(xí)機(jī)制的基礎(chǔ)上，結(jié)合經(jīng)典的M-P神經(jīng)元模型，提出并實現(xiàn)了具有典型非聯(lián)合型學(xué)習(xí)機(jī)制的學(xué)習(xí)神經(jīng)元，建立了學(xué)習(xí)神經(jīng)元的數(shù)學(xué)模型。經(jīng)實驗驗證，該神經(jīng)元具有良好的習(xí)慣化和去習(xí)慣化學(xué)習(xí)能力。

1 神經(jīng)元習(xí)慣化、去習(xí)慣化機(jī)制簡化模型

現(xiàn)有神經(jīng)元模型主要以神經(jīng)突觸可塑性理論為基礎(chǔ)，將神經(jīng)細(xì)胞功能描述為信息時空整合過程，缺乏對生物神經(jīng)細(xì)胞非聯(lián)合型學(xué)習(xí)機(jī)制的借鑒和模擬。

本文對生物神經(jīng)元具有的信息時空整合、習(xí)慣化、去習(xí)慣化特性進(jìn)行簡化，并將簡化后的神經(jīng)元功能整合到M-P神經(jīng)元模型中，建立學(xué)習(xí)神經(jīng)元模型。其中具有習(xí)慣化學(xué)習(xí)機(jī)制結(jié)構(gòu)的學(xué)習(xí)神經(jīng)元稱為習(xí)慣化神經(jīng)元，具有去習(xí)慣化學(xué)習(xí)機(jī)制結(jié)構(gòu)的學(xué)習(xí)神經(jīng)元稱為去習(xí)慣化神經(jīng)元。

處于習(xí)慣化模式的神經(jīng)元對相似輸入的響應(yīng)逐漸降低，呈靜默狀態(tài)，從而系統(tǒng)不響應(yīng)重復(fù)的無害輸入，降低系統(tǒng)能量消耗；去習(xí)慣化機(jī)制可喚醒已靜默的神經(jīng)元，使其工作模式從習(xí)慣化模式切換到正常模式，從而使系統(tǒng)保持對環(huán)境輸入的敏感性。

基于生物神經(jīng)細(xì)胞的習(xí)慣化和去習(xí)慣化學(xué)習(xí)機(jī)制，可獲得習(xí)慣化機(jī)制和去習(xí)慣化機(jī)制的簡化模型如下：

1)生物神經(jīng)元某通路受到重復(fù)的相似刺激且刺激程度較小時，神經(jīng)元對該刺激的響應(yīng)逐漸降低從而對該刺激形成習(xí)慣化，可獲得如下簡化模型：學(xué)習(xí)神經(jīng)元對輸入模式的響應(yīng)強(qiáng)度與模式出現(xiàn)的頻率成反比。

2)生物神經(jīng)元對某個刺激形成習(xí)慣化后，如果在其他輸入通路接收到強(qiáng)刺激，則神經(jīng)細(xì)胞對已習(xí)慣化的刺激產(chǎn)生強(qiáng)烈的響應(yīng)從而形成去習(xí)慣化，可獲得如下簡化模型：能量較高的輸入模式可以加強(qiáng)神經(jīng)元對已習(xí)慣化模式的響應(yīng)。

2 學(xué)習(xí)神經(jīng)元的數(shù)學(xué)模型

本文在M-P神經(jīng)元基礎(chǔ)上，分別結(jié)合習(xí)慣化學(xué)習(xí)機(jī)制和去習(xí)慣化學(xué)習(xí)機(jī)制設(shè)計了習(xí)慣化神經(jīng)元模型和去習(xí)慣化神經(jīng)元模型。

2.1 習(xí)慣化神經(jīng)元模型

在經(jīng)典神經(jīng)元模型基礎(chǔ)上，增加了習(xí)慣化參數(shù)，構(gòu)建了習(xí)慣化神經(jīng)元模型，習(xí)慣化神經(jīng)元的結(jié)構(gòu)如圖1所示。

圖1 習(xí)慣化神經(jīng)元結(jié)構(gòu)Fig. 1 Habituation neuron structure

(1)

與經(jīng)典M-P神經(jīng)元比較，習(xí)慣化神經(jīng)元增加了習(xí)慣化參數(shù)。綜上所述，習(xí)慣化神經(jīng)元模型可由下述公式描述：

(2)

(3)

(4)

(5)

2.2 去習(xí)慣化神經(jīng)元模型

在經(jīng)典神經(jīng)元模型基礎(chǔ)上，增加了去習(xí)慣化參數(shù)構(gòu)建的去習(xí)慣化神經(jīng)元結(jié)構(gòu)如圖2所示。

圖2 去習(xí)慣化神經(jīng)元結(jié)構(gòu)Fig. 2 Dishabituation neuron structure

去習(xí)慣化過程將提高神經(jīng)元的輸出信號強(qiáng)度，因此當(dāng)強(qiáng)烈刺激出現(xiàn)時神經(jīng)系統(tǒng)將對已習(xí)慣化的輸入刺激產(chǎn)生強(qiáng)烈反應(yīng)。增強(qiáng)參數(shù)βj描述了神經(jīng)元反應(yīng)增強(qiáng)過程，βj的變化過程用于模擬神經(jīng)節(jié)中的S神經(jīng)元，增強(qiáng)過程開始后，神經(jīng)元輸出在較短時間產(chǎn)生強(qiáng)烈響應(yīng)，增強(qiáng)參數(shù)βj快速增大；但隨時間增加βj逐漸下降，并最終將趨近為1。因此，增強(qiáng)參數(shù)可表達(dá)為βj=(1+sjλe-λnj)(nj≥0)。其中:λ為去習(xí)慣化系數(shù)；nj為刺激習(xí)慣化系數(shù)，用非強(qiáng)烈刺激出現(xiàn)次數(shù)表示；sj=g(Ij)為增強(qiáng)化系數(shù)；g(Ij)為增強(qiáng)化系數(shù)變換函數(shù)，且有

(6)

其中IT為刺激強(qiáng)烈程度的閾值。若神經(jīng)元輸入的刺激強(qiáng)度小于閾值IT，則nj逐漸增大使βj逐漸趨近于1，去習(xí)慣化過程消失；若神經(jīng)元輸入的刺激強(qiáng)度大于閾值IT，則nj為0使βj上升為(1+λ)，去習(xí)慣化過程開始。nj可由下式描述：

(7)

去習(xí)慣化學(xué)習(xí)過程的前提是神經(jīng)細(xì)胞接收到強(qiáng)烈刺激，之后，神經(jīng)細(xì)胞對已習(xí)慣化的輸入刺激產(chǎn)生強(qiáng)烈反應(yīng)[12]。神經(jīng)生物學(xué)研究表明，輸入刺激的強(qiáng)烈程度與其包含的信息量和能量有關(guān)[13]。信息熵可描述信息輸入的信息量，能量均值可描述刺激的能量，因此刺激的強(qiáng)烈程度可表示為:

Ij=ajHj+(1-aj)Ej

(8)

在經(jīng)典的M-P神經(jīng)元基礎(chǔ)之上，去習(xí)慣化神經(jīng)元增加了增強(qiáng)參數(shù)。去習(xí)慣化神經(jīng)元的模型可描述為：

(9)

Ij=ajHj+(1-aj)Ej

(10)

(11)

(12)

(13)

3 仿真實驗

為驗證本文提出的學(xué)習(xí)神經(jīng)元模型的有效性，構(gòu)造兩組樣本序列，分別檢驗習(xí)慣化神經(jīng)元和去習(xí)慣化神經(jīng)元的有效性：

1)樣本序列一：具有隨機(jī)輸入和相似輸入，分別模擬隨機(jī)刺激和相似刺激。驗證在隨機(jī)輸入情況下，神經(jīng)元輸出與經(jīng)典M-P神經(jīng)元輸出相同；在相似輸入情況下，神經(jīng)元輸出逐漸減小，最終趨近于零。

2)樣本序列二：輸入刺激分為刺激強(qiáng)度小于閾值IT的弱刺激和刺激強(qiáng)度大于閾值IT的強(qiáng)刺激兩類，神經(jīng)元輸入為相似輸入。驗證在輸入刺激為弱刺激的情況下，神經(jīng)元輸出逐漸減小，趨近于零；在輸入刺激為強(qiáng)刺激的情況下，神經(jīng)元輸出迅速增大。

為模擬相似輸入、隨機(jī)輸入，神經(jīng)元輸入為常數(shù)代表相似輸入，神經(jīng)元輸入為[0，1]區(qū)間隨機(jī)均勻分布的隨機(jī)數(shù)代表隨機(jī)輸入。習(xí)慣化神經(jīng)元(樣本序列一)和去習(xí)慣化神經(jīng)元(樣本序列2)參數(shù)分別如表1、2所示。

由表1可知，習(xí)慣化神經(jīng)元樣本1～100及201～300為常數(shù)，模擬相似刺激；樣本101～200為服從[0，1]區(qū)間隨機(jī)均勻分布的隨機(jī)數(shù)，模擬各類隨機(jī)刺激，各樣本的歸一化系數(shù)D=1，相似度閾值dT=0.01，神經(jīng)元輸入通路權(quán)值ω1=ω2=ω3=2，激活函數(shù)為單極性Sigmoid函數(shù)，通過兩類不同輸入樣本，觀察神經(jīng)元輸出區(qū)別。

表1 習(xí)慣化神經(jīng)元參數(shù)Tab. 1 Habituation neuron parameters

以神經(jīng)元輸入通路x1為例，由圖3和圖4可以看出:在輸入為常數(shù)即相似刺激時，相似刺激計數(shù)N1增加；輸入為隨機(jī)刺激時，相似刺激計數(shù)基本為0，符合習(xí)慣化學(xué)習(xí)過程。

圖3 習(xí)慣化神經(jīng)元輸入Fig. 3 Habituation neuron input

由圖5可以可知，在輸入為相似刺激時，神經(jīng)元輸出逐漸減小，最終趨近于零，對應(yīng)于圖4中相似刺激增加過程，模擬生物神經(jīng)細(xì)胞的習(xí)慣化過程；在輸入為隨機(jī)刺激時，神經(jīng)元輸出為沒有習(xí)慣化過程，對應(yīng)于圖3中相似刺激基本為0的過程，輸出與經(jīng)典M-P神經(jīng)元輸出相同。由圖3～5可知習(xí)慣化神經(jīng)元具有典型的習(xí)慣化特性。

表2給出了去習(xí)慣神經(jīng)元的參數(shù)，z1、z2、z3為輸入刺激，樣本1～100為弱刺激，樣本101～200為強(qiáng)刺激，樣本201～300為服從[0，1]區(qū)間隨機(jī)均勻分布的隨機(jī)數(shù)。一個系統(tǒng)越有序，信息熵就越低；反之，一個系統(tǒng)越亂，信息熵越高。樣本的信息熵根據(jù)熵在統(tǒng)計熱力學(xué)中的公式H=klnW得出，其中k為玻爾茲曼常數(shù)，W為微觀狀態(tài)數(shù)。在本實驗中，樣本1～200信息均為定值，因此求得信息熵H為0.1；樣本201～300信息包含隨機(jī)序列，故信息熵H為0.7。能量均值取輸入刺激的平均值，即E=(z1+z2+z3)/3，a=0.3，IT=0.5，λ=2。神經(jīng)元輸入設(shè)為常數(shù)，方便觀察習(xí)慣化和去習(xí)慣化過程。

表2 去習(xí)慣化神經(jīng)元參數(shù)Tab. 2 Dishabituation neuron parameters

由圖6、圖7可知，樣本1～100為弱刺激，nj逐漸增加，βj逐漸趨近于1，不具有去習(xí)慣化特性；樣本101～200為強(qiáng)刺激，nj為0，βj上升為(1+λ)，具有去習(xí)慣化特性；樣本201～300,為隨機(jī)刺激，既有弱刺激也有強(qiáng)刺激，所以nj也是隨機(jī)地既有逐漸增加的過程，也有為零的過程。

圖8為去習(xí)慣化神經(jīng)元輸出，可以看出，樣本1～100在弱刺激情況下的神經(jīng)元輸出逐漸減小，呈現(xiàn)習(xí)慣化過程；樣本101～200在強(qiáng)刺激情況下的神經(jīng)元輸出得到增強(qiáng)，對已習(xí)慣化的模式重新產(chǎn)生強(qiáng)烈的響應(yīng)，從而形成去習(xí)慣化過程；樣本201～300在隨機(jī)刺激情況下的神經(jīng)元輸出既有減弱，也有增強(qiáng)。

圖4 相似刺激出現(xiàn)次數(shù)Fig. 4 Number of occurrences of similar stimuli

圖5 習(xí)慣化神經(jīng)元輸出Fig. 5 Habituation neuron output

圖6 輸入刺激強(qiáng)烈程度Fig. 6 Degree of input stimulus intensity

圖7 去習(xí)慣化程度Fig. 7 Degree of dishabituation

圖8 去習(xí)慣化神經(jīng)元輸出Fig. 8 Dishabituation neuron output

4 結(jié)語

本文通過深入分析生物神經(jīng)細(xì)胞的非聯(lián)合型學(xué)習(xí)機(jī)制，獲得該機(jī)制的簡化描述，并在M-P神經(jīng)元模型基礎(chǔ)上進(jìn)行擴(kuò)展，獲得具有習(xí)慣化、去習(xí)慣化學(xué)習(xí)能力的學(xué)習(xí)神經(jīng)元模型。經(jīng)實驗驗證，本文所提的學(xué)習(xí)神經(jīng)元模型具有典型的非聯(lián)合型學(xué)習(xí)功能。融合生物神經(jīng)細(xì)胞非聯(lián)合學(xué)習(xí)機(jī)制的學(xué)習(xí)神經(jīng)元具有更堅實的生物學(xué)基礎(chǔ)，其改變了經(jīng)典神經(jīng)元的結(jié)構(gòu)和信息處理過程，提高了神經(jīng)元的學(xué)習(xí)能力，擴(kuò)展了人工神經(jīng)元的功能結(jié)構(gòu)，也為構(gòu)建具有更強(qiáng)的學(xué)習(xí)能力和解決復(fù)雜問題能力的新型神經(jīng)網(wǎng)絡(luò)提供了良好的基礎(chǔ)

在后續(xù)的研究工作中，將會研究生物神經(jīng)元另一非聯(lián)合學(xué)習(xí)特性——敏感化，并將具有非聯(lián)合學(xué)習(xí)機(jī)制的學(xué)習(xí)神經(jīng)元應(yīng)用到人工神經(jīng)網(wǎng)絡(luò)，解決背景建模與運(yùn)動物體提取問題，而后模擬中樞神經(jīng)系統(tǒng)的結(jié)構(gòu)和機(jī)制，設(shè)計中樞模式發(fā)生器，應(yīng)用于機(jī)器人步態(tài)控制領(lǐng)域。

References)

[1] SWEAT J D. Mechanisms of Memory [M]. 2版. 北京: 科學(xué)出版社, 2012: 237-289. (SWEAT J D. Mechanisms of Memory [M]. 2nd ed. Beijing: Science Press, 2012: 237-289.)

[2] NICHOLLS J G. From Neurons to Brain [M]. 5版. 北京: 科學(xué)出版社, 2014: 428-436. (NICHOLLS J G. From Neurons to Brain [M]. 5th ed. Beijing: Science Press, 2014: 428-436.)

[3] GAZZANIGA M S, LVRY R B, MANGUN G R. Cognitive Neuroscience: the Biology of the Mind [M]. 3版. 北京： 中國輕工業(yè)出版社， 2011: 349-356. (GAZZANIGA M S, LVRY R B, MANGUN G R. Cognitive Neuroscience: the Biology of the Mind [M]. 3rd ed. Beijing: Beijing Light Industry Press, 2011: 349-356.)

[4] 許少華,何新貴.基于函數(shù)正交基展開的過程神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法[J].計算機(jī)學(xué)報,2004,27(5):645-650. (XU S H, HE X G. Learning algorithm of process neural network based on orthogonal function basis expansion [J]. Chinese Journal of Computers, 2004, 27(5): 645-650.)

[5] 李大剛,王小藝,劉載文,等.過程神經(jīng)網(wǎng)絡(luò)水華預(yù)測方法研究[J].計算機(jī)與應(yīng)用化學(xué),2011,28(2):173-176. (LI D G, WANG X Y, LIU Z W, et al. Research water-bloom prediction based on process neural network [J]. Computer and Applied Chemistry, 2011, 28(2): 173-176.)

[6] 王兵,李盼池,楊冬黎,等.云過程神經(jīng)網(wǎng)絡(luò)模型及算法研究[J].電子與信息學(xué)報,2015,37(1):110-115. (WANG B, LI P C, YANG D L, et al. Research on cloud process neural network model and algorithm [J]. Journal of Electronics and Information, 2015, 37(1): 110-115.)

[7] 王兵,許少華,孟耀華,等.結(jié)構(gòu)自適應(yīng)的半監(jiān)督自組織過程神經(jīng)網(wǎng)絡(luò)[J].控制與決策,2015,30(3):507-512. (WANG B, XU S H, MENG Y H, et al. Semi-supervised self-organizing process neural network with self-adaptive structure [J]. Control and Decision, 2015, 30(3): 507-512.)

[8] AIZENBERG I. Periodic activation function and a modified learning algorithm for the multivalued neuron [J]. IEEE Transactions on Neuron Networks, 2010, 21(12): 1939-1949.

[9] LIU C-Y, CHEN C, CHANG C-T, et al. Single-hidden-layer feed-forward quantum neural network based on Grover learning [J]. Neural Networks, 2013, 45: 144-150.

[10] 班曉娟，劉浩，劉卓然.一種基于能量人工神經(jīng)元模型的自生長、自組織神經(jīng)網(wǎng)絡(luò)[J].自動化學(xué)報,2011,37(5):615-622. (BAN X J, LIU H, LIU Z R. An energy artificial neuron model based self-growing and self-organizing neural network [J]. Acta Automatica Sinica, 2011, 37(5): 615-622.

[11] 錢夔,宋愛國,章華濤,等.基于單胺類神經(jīng)遞質(zhì)調(diào)節(jié)發(fā)育算法的機(jī)器人視覺定位[J].機(jī)器人,2014,36(3):362-368. (QIAN K, SONG A G, ZHANG H T, et al. Robot vision location based on developmental algorithm of monoamine neurotransmitters modulation [J]. Robot, 2014, 36(3): 362-368.)

[12] MULLER K J, NICHOLLS J G, STENT G S. In Neurobiology of the Leech [M]. New York: Cold Spring Harbor Laboratory, 1981: 27-34.

[13] 張愛華,顧建文,鄭崇勛.中樞興奮性傳遞的突觸后電位小波熵分析研究[J].西安交通大學(xué)學(xué)報,2004,38(4):428-431. (ZHANG A H, GU J W, ZHENG C X. Study on neural excitatory transmission by wavelet entropy analysis of presynaptic potentials [J]. Journal of Xi’an Jiaotong University, 2004, 38(4): 428-431.)

This work is partially supported by the National Natural Science Foundation of China (61573024), the Beijing Municipal Education and Technology Commission Project (KM201610009001).

BISong, born in 1983, Ph. D., associate professor. His research interests include artificial intelligence, pattern recognition.

DIAOQi, born in 1993, M. S. candidate. Her research interests include artificial intelligence, neural networks.

CHAIXiaofeng, born in 1991, M. S. candidate. His research interests include artificial intelligence, neural networks.

HANCunwu, born in 1961, Ph. D., professor. His research interests include wireless communication network, networked control system.

Learningneuronmodelbasedonnon-associativelearningmechanism

BI Song, DIAO Qi*, CHAI Xiaofeng, HAN Cunwu

(AutomationandFieldBusKeyLaboratoryofBeijing,NorthChinaUniversityofTechnology,Beijing100144,China)

Biological neurons have non-associative learning mechanisms, and a novel learning neuron with non-associative learning mechanisms was designed, namely learning neuron. Firstly, the simplified description of the habituation learning mechanism and the dishabituation learning mechanism were researched in the non-associative learning mechanisms. Secondly, the mathematical models of habituation and dishabituation learning mechanisms were established. Finally, based on the classical M-P (McCulloch-Pitts) neuron model, the learning neuron model with the ability of habituation and dishabituation learning was proposed. The simulation results verify that the proposed learning neuron has typical habituation and dishabituation learning ability, and provides a good foundation for the construction of new neural network.

non-associative learning mechanism; learning neuron; habituation; dishabituation

TP183

A

2017- 03- 03;

2017- 04- 17。

國家自然科學(xué)基金資助項目(61573024)；北京市教科委立項項目(KM201610009001)。

畢松(1983—)，男，北京人，副教授，博士，主要研究方向：人工智能、模式識別； 刁奇(1993—)，女，北京人，碩士研究生，主要研究方向：人工智能、神經(jīng)網(wǎng)絡(luò)； 柴小豐(1991—)，男，河北定州人，碩士研究生，主要研究方向：人工智能、神經(jīng)網(wǎng)絡(luò)； 韓存武(1961—)，男，山東龍口人，教授，博士，主要研究方向：無線通信網(wǎng)絡(luò)、網(wǎng)絡(luò)化控制系統(tǒng)。

1001- 9081(2017)08- 2229- 05

10.11772/j.issn.1001- 9081.2017.08.2229