ML神經(jīng)元網(wǎng)絡(luò)自適應(yīng)同步的抗擾特性研究

武翠霞 張盼盼 郭磊 常小龍

摘要 為了分析噪聲環(huán)境下生物神經(jīng)元網(wǎng)絡(luò)信息處理的抗擾機(jī)理，基于STDP（Spike-Timing Dependent Plasticity）突觸可塑原理，構(gòu)建了具有自學(xué)習(xí)特性的ML（Morris-Lecar）神經(jīng)元網(wǎng)絡(luò)模型。給出了定量分析神經(jīng)元網(wǎng)絡(luò)瞬時(shí)放電同步程度的數(shù)學(xué)方法，對(duì)網(wǎng)絡(luò)的瞬時(shí)放電同步程度和放電頻率進(jìn)行對(duì)比分析。仿真結(jié)果展示了，ML神經(jīng)元網(wǎng)絡(luò)通過(guò)STDP突觸的學(xué)習(xí)，從隨機(jī)放電逐漸進(jìn)入同步放電狀態(tài)，消除了噪聲干擾，呈現(xiàn)出自適應(yīng)抗擾特性。結(jié)果表明，神經(jīng)元網(wǎng)絡(luò)可以利用同步放電消除噪聲干擾，通過(guò)突觸學(xué)習(xí)可以適應(yīng)外部干擾環(huán)境。

關(guān) 鍵 詞 自適應(yīng);神經(jīng)元網(wǎng)絡(luò)同步;噪聲;抗擾;神經(jīng)信息處理

中圖分類號(hào) TP802;O322 ;Q189? ? ?文獻(xiàn)標(biāo)志碼 A

Abstract To analyze the mechanism of reliable information processing of neural network in noisy environment， the Morris-Lecar neuronal network models with self-learning properties were constructed based on the principle of Spike-Timing Dependent Plasticity（STDP）. This paper presents a mathematical method for making a quantitative analysis of the degree of instantaneous discharge synchronization in neural networks and makes a comparative analysis of the degree of instantaneous discharge synchronization and discharge rate. Simulation results show that ML neural network gradually changes from random discharge to synchronous discharge through STDP synapse learning， which eliminates noise interference and presents adaptive anti-interference. The conclusion is that the neuronal network can depress the noises with synchronized firing activities and adapt external interference environment through STDP mechanism in the process of information processing.

Key words self-adaptive; synchronization of neuronal network; noise; anti-interference; neural information processing

噪聲存在于神經(jīng)信息處理的各個(gè)環(huán)節(jié)[1]，生物電磁效應(yīng)的研究結(jié)論也說(shuō)明電磁輻射同樣能夠影響神經(jīng)功能[2] 。但事實(shí)表明神經(jīng)系統(tǒng)具有很強(qiáng)的適應(yīng)能力，可在很強(qiáng)噪聲環(huán)境下仍保持自身功能，這對(duì)電子信息系統(tǒng)的抗擾設(shè)計(jì)具有借鑒意義。

2010年Tabareau等[3]首次利用數(shù)學(xué)方法證明了平衡網(wǎng)絡(luò)中非線性單元之間同步可以抑制噪聲干擾。2011年Bouvrie等[4]的研究表明同步可能是神經(jīng)元網(wǎng)絡(luò)消除噪聲干擾的一種重要機(jī)制。 2014年常小龍等[5-6]利用數(shù)值仿真展示了神經(jīng)元網(wǎng)絡(luò)可以利用同步在很強(qiáng)噪聲或脈沖干擾環(huán)境下恢復(fù)放電信息。上述研究中，均假設(shè)神經(jīng)元之間的耦合強(qiáng)度固定，而神經(jīng)元網(wǎng)絡(luò)自適應(yīng)抑制噪聲干擾的問(wèn)題還鮮有報(bào)道。

國(guó)內(nèi)外很多學(xué)者對(duì)神經(jīng)元網(wǎng)絡(luò)的自適應(yīng)同步進(jìn)行了研究[7-8]，主要是通過(guò)自適應(yīng)控制方法實(shí)現(xiàn)網(wǎng)絡(luò)的同步放電。2012年Yan等[9]提出了一種自適應(yīng)突觸學(xué)習(xí)規(guī)則，利用該學(xué)習(xí)規(guī)則使得非對(duì)稱網(wǎng)絡(luò)自動(dòng)達(dá)到同步狀態(tài)，無(wú)需引入控制器參數(shù)。 2016年趙萬(wàn)鈺[10]研究了神經(jīng)振子集群的同步行為，STDP機(jī)制耦合變化可以增強(qiáng)同步。目前開展的自適應(yīng)同步相關(guān)研究中，網(wǎng)絡(luò)一般不引入噪聲，或僅研究了自適應(yīng)同步方法對(duì)噪聲的魯棒性問(wèn)題。本文在自適應(yīng)同步概念的基礎(chǔ)上，進(jìn)一步研究了神經(jīng)元網(wǎng)絡(luò)自適應(yīng)抑制噪聲干擾的問(wèn)題，對(duì)于理解神經(jīng)元網(wǎng)絡(luò)如何適應(yīng)干擾環(huán)境、如何執(zhí)行可靠信息處理具有重要的意義。

1 自適應(yīng)ML神經(jīng)元網(wǎng)絡(luò)模型構(gòu)建

突觸的可塑性是神經(jīng)系統(tǒng)學(xué)習(xí)的基礎(chǔ)，也是神經(jīng)系統(tǒng)適應(yīng)環(huán)境的一個(gè)重要生物機(jī)制。STDP實(shí)際上是Hebb假設(shè)的延伸，它給出了突觸強(qiáng)度的變化與神經(jīng)元放電時(shí)間之間的定量關(guān)系，為神經(jīng)元之間建立聯(lián)系提供了一種簡(jiǎn)單算法。因此，本文利用STDP突觸模型構(gòu)建ML神經(jīng)元網(wǎng)絡(luò)模型。

1.1 ML神經(jīng)元模型

ML模型是根據(jù)北極企鵝肌肉纖維的放電活動(dòng)建立的神經(jīng)元電生理模型，其動(dòng)力學(xué)方程描述如下：

圖1給出了刺激信號(hào)I與神經(jīng)元放電頻率之間的關(guān)系。在一定范圍內(nèi)，神經(jīng)元放電頻率與刺激信號(hào)的強(qiáng)度之間具有一一對(duì)應(yīng)關(guān)系。雖然神經(jīng)信息編碼方式充滿爭(zhēng)論，包括頻率編碼、時(shí)間編碼，時(shí)空編碼等。但在上述一一對(duì)應(yīng)的關(guān)系約束下，可以認(rèn)為ML神經(jīng)元的放電頻率編碼了刺激信號(hào)強(qiáng)弱的相關(guān)信息。圖2給出了I = 0.08 μA/ cm2時(shí)，ML神經(jīng)元的放電波形，其放電頻率f = 133 Hz。本文是在頻率編碼的范圍內(nèi)對(duì)ML神經(jīng)元網(wǎng)絡(luò)自適應(yīng)同步的抗擾特性進(jìn)行研究。

1.2 基于STDP的ML神經(jīng)元網(wǎng)絡(luò)模型

基于ML神經(jīng)元模型和STDP學(xué)習(xí)機(jī)制，構(gòu)建的ML神經(jīng)元網(wǎng)絡(luò)模型動(dòng)力學(xué)方程如下：

式中：N是神經(jīng)元數(shù)目;[xi]表示第i個(gè)神經(jīng)元的膜電位;網(wǎng)絡(luò)中所有神經(jīng)元的參數(shù)是相同的，因此該網(wǎng)絡(luò)是全同ML神經(jīng)元網(wǎng)絡(luò);神經(jīng)系統(tǒng)中的噪聲不可避免，神經(jīng)元網(wǎng)絡(luò)中加入高斯噪聲[ξi（t）]模擬噪聲環(huán)境，其均值為μ，方差為D，神經(jīng)元之間的噪聲相互獨(dú)立;[Wji]表示神經(jīng)元j到i方向的突觸強(qiáng)度（或突觸傳遞效率）。隨著時(shí)間的變化，[Wji]的值根據(jù)STDP機(jī)制不斷更新。STDP學(xué)習(xí)機(jī)制的數(shù)學(xué)描述如下：

式中：[A+]和[A-]分別表示了突觸增強(qiáng)和突觸減弱幅度，也即學(xué)習(xí)速率;[τ+]和[τ-]分別表示突觸增強(qiáng)和突觸減弱時(shí)，觀察神經(jīng)元放電活動(dòng)的時(shí)間窗;Δt表示神經(jīng)元j與神經(jīng)元i之間的放電時(shí)間差，Δt<0表示突觸前神經(jīng)元j的放電時(shí)間先于突觸后神經(jīng)元i，Δt>0表示突觸前神經(jīng)元j放電時(shí)間晚于突觸后神經(jīng)元i。

在相應(yīng)的時(shí)間窗內(nèi)，根據(jù)2個(gè)神經(jīng)元放電時(shí)間差確定突觸強(qiáng)度的變化量[ΔWji]。經(jīng)過(guò)第k+1次更新后突觸強(qiáng)度可以寫成

因此，通過(guò)引入STDP突觸可塑機(jī)制，ML神經(jīng)元網(wǎng)絡(luò)具有了自組織學(xué)習(xí)能力。突觸強(qiáng)度根據(jù)前后神經(jīng)元的放電狀態(tài)實(shí)現(xiàn)自適應(yīng)調(diào)節(jié)。同時(shí)，為了對(duì)神經(jīng)元網(wǎng)絡(luò)自適應(yīng)同步的抗擾特性進(jìn)行研究，在網(wǎng)絡(luò)模型中引入較強(qiáng)的噪聲干擾模擬神經(jīng)系統(tǒng)的噪聲環(huán)境。

2 自適應(yīng)同步抗擾的數(shù)值仿真實(shí)驗(yàn)

利用經(jīng)典四階龍格庫(kù)塔算法求解ML神經(jīng)元網(wǎng)絡(luò)模型，算法步長(zhǎng)step = 0.01。所有神經(jīng)元之間突觸強(qiáng)度的初值[Wji]= 0.001，學(xué)習(xí)速率[A+]= 0.003，[A-]= 0.000 5。數(shù)值仿真時(shí)取突觸增強(qiáng)的學(xué)習(xí)速率[A+]大于突觸減弱的學(xué)習(xí)速率[A-]，這樣更有利于神經(jīng)元網(wǎng)絡(luò)進(jìn)入同步放電狀態(tài)。時(shí)間窗[τ+]=[τ-]= 5 ms。噪聲均值μ = 0，方差D = 1，刺激信號(hào)I = 0.08 μA/cm2。刺激信號(hào)可以在[0.07， 0.2]范圍內(nèi)任意取值，這里以I = 0.08為例進(jìn)行說(shuō)明。神經(jīng)元的信噪比SNR（Signal to Noise Ratio）為-21.9 dB（這里SNR = 10lg（[Ps]/[Pn]），[Ps]和[Pn]表示刺激信號(hào)和噪聲的功率。不失一般性，令神經(jīng)數(shù)目N = 50。

2.1 無(wú)噪聲的ML神經(jīng)元網(wǎng)絡(luò)放電狀態(tài)分析

作為參考，首先分析無(wú)噪聲環(huán)境下神經(jīng)元網(wǎng)絡(luò)的放電狀態(tài)。令I(lǐng) = 0.08 μA/cm2，D = 0。50個(gè)全同ML神經(jīng)元的放電時(shí)間如圖3所示。網(wǎng)絡(luò)中所有神經(jīng)元保持完全同步的放電狀態(tài)，且放電時(shí)間間隔穩(wěn)定在7.49 ms，即網(wǎng)絡(luò)的同步放電頻率為f = 133 Hz。不妨假設(shè)ML神經(jīng)元網(wǎng)絡(luò)用f = 133 Hz的同步放電頻率編碼了刺激強(qiáng)度，即I的大小。

2.2 ML網(wǎng)絡(luò)自適應(yīng)同步的抗擾特性分析

在神經(jīng)元網(wǎng)絡(luò)模型中加入高斯噪聲，令D = 1， I = 0.08，SNR = 21.9 dB。首先分析沒(méi)有STDP學(xué)習(xí)機(jī)制時(shí)神經(jīng)元網(wǎng)絡(luò)的放電狀態(tài)。關(guān)閉STDP學(xué)習(xí)機(jī)制，保持所有[Wji]= 0.001。由于神經(jīng)元之間突觸強(qiáng)度很弱，網(wǎng)絡(luò)處于十分松散的耦合狀態(tài)，所有神經(jīng)元的放電時(shí)間如圖4所示。在強(qiáng)噪聲干擾環(huán)境下，所有的神經(jīng)元都處于隨機(jī)放電狀態(tài)。在這種放電狀態(tài)下神經(jīng)元網(wǎng)絡(luò)無(wú)法表示刺激I的強(qiáng)度信息。

在ML神經(jīng)元網(wǎng)絡(luò)中引入STDP機(jī)制后的仿真結(jié)果如圖5和圖6所示。在t = 40 ms處啟動(dòng)STDP學(xué)習(xí)機(jī)制。圖5給出了STDP學(xué)習(xí)過(guò)程中網(wǎng)絡(luò)中所有神經(jīng)元的放電時(shí)間，圖6給出了神經(jīng)元1和神經(jīng)元3的放電波形圖。從圖5和圖6的結(jié)果可以看到，在沒(méi)有開始STDP學(xué)習(xí)之前神經(jīng)元處于隨機(jī)放電狀態(tài)。40～80 ms內(nèi)，神經(jīng)元網(wǎng)絡(luò)逐漸從隨機(jī)狀態(tài)進(jìn)入同步放電狀態(tài)。t = 80 ms以后，噪聲環(huán)境下ML神經(jīng)元網(wǎng)絡(luò)同步放電時(shí)間間隔也逐漸趨近于圖3所示的無(wú)噪聲網(wǎng)絡(luò)同步放電時(shí)間間隔，從而達(dá)到了消除噪聲干擾的效果。

在STDP學(xué)習(xí)過(guò)程中，可以利用神經(jīng)元網(wǎng)絡(luò)的瞬時(shí)平均膜電位差和放電頻率這2個(gè)指標(biāo)量化分析同步放電狀態(tài)和抗擾特性。瞬時(shí)平均膜電位差的（average membrane potential difference ， AMPD）定義如下：

式中：[xi（t）-xj（t）]表示t時(shí)刻神經(jīng)元i和神經(jīng)元j之間膜電位差;N表示神經(jīng)元數(shù)目。瞬時(shí)平均膜電位差反映了t時(shí)刻神經(jīng)元網(wǎng)絡(luò)放電同步程度。AMPD（t）值越小，t時(shí)刻神經(jīng)元之間放電同步程度越高。

ML神經(jīng)元網(wǎng)絡(luò)自適應(yīng)學(xué)習(xí)過(guò)程中，瞬時(shí)平均膜電位差變化曲線如圖7所示。t = 40 ms啟動(dòng)STDP學(xué)習(xí)機(jī)制，AMPD值快速減小，神經(jīng)元網(wǎng)絡(luò)從隨機(jī)放電逐漸進(jìn)入同步放電。t > 80 ms后，AMPD開始緩慢減少，其值也趨近于0，神經(jīng)元網(wǎng)絡(luò)基本進(jìn)入同步放電狀態(tài)。

利用神經(jīng)元放電頻率可直觀分析網(wǎng)絡(luò)的抗擾特性。圖8 給出了網(wǎng)絡(luò)中第3個(gè)神經(jīng)元的瞬時(shí)放電頻率。其中，虛線表示了I = 0.08時(shí)無(wú)噪聲的ML神經(jīng)元放電頻率f = 133 Hz。t < 60 ms時(shí)，受到噪聲干擾，神經(jīng)元3處于隨機(jī)狀態(tài)，放電頻率隨機(jī)變化。t > 80 ms后，神經(jīng)元3的放電頻率逐漸接近于圖2給出的無(wú)噪聲神經(jīng)元的放電頻率。對(duì)圖5、圖7和圖8的綜合分析可知，神經(jīng)元網(wǎng)絡(luò)在t = 80 ms時(shí)進(jìn)入了同步放電狀態(tài)，此時(shí)神經(jīng)元3的放電頻率代表了整個(gè)網(wǎng)絡(luò)的同步放電頻率。在t = [80 ms，120 ms] 的時(shí)間范圍內(nèi)，網(wǎng)絡(luò)的同步放電頻率f? > 200 Hz，高于圖3給出的無(wú)噪聲網(wǎng)絡(luò)的同步放電頻率f = 133 Hz?？梢娺@段時(shí)間范圍內(nèi)網(wǎng)絡(luò)并沒(méi)有完全消除噪聲的干擾。經(jīng)過(guò)進(jìn)一步的學(xué)習(xí)，神經(jīng)元網(wǎng)絡(luò)同步程度進(jìn)一步提高，整個(gè)網(wǎng)絡(luò)同步放電頻率也逐漸接近于133 Hz。因此，經(jīng)過(guò)STDP的學(xué)習(xí)，ML神經(jīng)元網(wǎng)絡(luò)最終消除了噪聲的干擾，呈現(xiàn)出了自適應(yīng)抗擾特性。

3 結(jié)語(yǔ)

本文利用ML神經(jīng)元模型和STDP學(xué)習(xí)機(jī)制構(gòu)建了一個(gè)具有自學(xué)習(xí)能力的神經(jīng)元網(wǎng)絡(luò)，并對(duì)強(qiáng)噪聲環(huán)境下神經(jīng)元網(wǎng)絡(luò)的自適應(yīng)同步的抗擾特性進(jìn)行了分析，其主要結(jié)論如下。

1）基于STDP構(gòu)建的Morris-Lecar神經(jīng)元網(wǎng)絡(luò)模型能夠在噪聲干擾環(huán)境下快速進(jìn)入同步放電狀態(tài)，具有較強(qiáng)的自適應(yīng)抗擾能力。根據(jù)圖4和圖5的對(duì)比可知，神經(jīng)元網(wǎng)絡(luò)能夠利用同步放電消除噪聲干擾，恢復(fù)原有的編碼信息。

2）神經(jīng)元網(wǎng)絡(luò)利用STDP突觸學(xué)習(xí)，實(shí)現(xiàn)了自適應(yīng)同步。這是一個(gè)自組織學(xué)習(xí)過(guò)程，體現(xiàn)了神經(jīng)元網(wǎng)絡(luò)統(tǒng)對(duì)外部干擾環(huán)境的自適應(yīng)能力。

3）借鑒神經(jīng)元同步對(duì)噪聲的抑制作用可以設(shè)計(jì)一種自適應(yīng)仿生同步時(shí)鐘網(wǎng)絡(luò)，提高時(shí)鐘信號(hào)的抗干擾能力和環(huán)境適應(yīng)能力。

參考文獻(xiàn)：

[1]? ? FAISAL A A，SELEN L P J，WOLPERT D M. Noise in the nervous system[J]. Nature Reviews Neuroscience，2008，9（4）：292-303.

[2]? ? NEUFELD E，CASSAR? A M，MONTANARO H，et al. Functionalized anatomical models for EM-neuron Interaction modeling[J]. Physics in Medicine and Biology，2016，61（12）：4390-4401.

[3]? ? TABAREAU N，SLOTINE J J，PHAM Q C. How synchronization protects from noise[J]. PLoS Computational Biology，2010，6（1）：e1000637.

[4]? ? BOUVRIE J，SLOTINE J J. Synchronization and redundancy：implications for robustness of neural learning and decision making[J]. Neural Computation，2011，23（11）：2915-2941.

[5]? ? 常小龍，丁國(guó)良，婁建安. 神經(jīng)元網(wǎng)絡(luò)同步放電的抗擾特性[J]. 上海交通大學(xué)學(xué)報(bào)，2014，48（10）：1485-1490.

[6]? ? 常小龍，劉尚合，滿夢(mèng)華，等. HR神經(jīng)元網(wǎng)絡(luò)抗脈沖干擾特性的研究[J]. 華中科技大學(xué)學(xué)報(bào)（自然科學(xué)版），2014，42（6）：116-120.

[7]? ? CHEN C，LI L X，PENG H P，et al. Adaptive synchronization of memristor-based BAM neural networks with mixed delays[J]. Applied Mathematics and Computation，2018，322：100-110.

[8]? ? SONG Y F，SUN W. Adaptive synchronization of stochastic memristor-based neural networks with mixed delays[J]. Neural Processing Letters，2017，46（3）：969-990.

[9]? ? YAN C K，WANG R B. Non-identical neural network synchronization study based on an adaptive learning rule of synapses[J]. Chinese Physics Letters，2012，29（9）：090501.

[10]? 趙萬(wàn)鈺. 具有突觸可塑性耦合神經(jīng)振子集群相響應(yīng)同步[D]. 合肥：合肥工業(yè)大學(xué)，2016.

[責(zé)任編輯? ? 楊? ? 屹]