基于互信息的生物神經(jīng)網(wǎng)絡(luò)功能性連接辨識(shí)*

劉劍釗，董朝軼，馮麗斐（1.內(nèi)蒙古工業(yè)大學(xué)電力學(xué)院，內(nèi)蒙古呼和浩特010080；2.內(nèi)蒙古機(jī)電控制重點(diǎn)實(shí)驗(yàn)室，內(nèi)蒙古呼和浩特010080）

基于互信息的生物神經(jīng)網(wǎng)絡(luò)功能性連接辨識(shí)*

劉劍釗1，2，董朝軼1，2，馮麗斐1，2
（1.內(nèi)蒙古工業(yè)大學(xué)電力學(xué)院，內(nèi)蒙古呼和浩特010080；2.內(nèi)蒙古機(jī)電控制重點(diǎn)實(shí)驗(yàn)室，內(nèi)蒙古呼和浩特010080）

生物神經(jīng)網(wǎng)絡(luò)（BNN）功能性連接的辨識(shí)方法被廣泛地應(yīng)用于使用BNN的多通道時(shí)間序列數(shù)據(jù)構(gòu)建網(wǎng)絡(luò)連接結(jié)構(gòu)，幫助加深對(duì)BNN結(jié)構(gòu)和功能間關(guān)系的認(rèn)識(shí)和理解。首先，建立基于積分點(diǎn)火（IF）機(jī)制的BNN模型，獲得多通道神經(jīng)元脈沖序列；然后，運(yùn)用互信息（MI）方法計(jì)算出各神經(jīng)元間的MI值，超過(guò)一定閾值的MI表明兩個(gè)神經(jīng)元間存在相互連接關(guān)系。仿真結(jié)果表明：基于MI的網(wǎng)絡(luò)辨識(shí)方法計(jì)算開(kāi)銷較小，對(duì)BNN功能性連接結(jié)構(gòu)具有較高的辨識(shí)度。

生物神經(jīng)網(wǎng)絡(luò)；積分點(diǎn)火模型；脈沖序列；互信息

0　引言

神經(jīng)元間通過(guò)突觸相互連接，傳遞信息，形成網(wǎng)絡(luò)功能［1］。通常認(rèn)為：生物神經(jīng)網(wǎng)絡(luò)（BNN）連接結(jié)構(gòu)對(duì)其網(wǎng)絡(luò)行為（即，網(wǎng)絡(luò)所產(chǎn)生的多通道脈沖序列所構(gòu)成的典型模式）具有支配作用。目前，已發(fā)展了多種可用于生物網(wǎng)絡(luò)功能性連接結(jié)構(gòu)辨識(shí)的方法：如概率布爾網(wǎng)絡(luò)［2］、動(dòng)態(tài)貝葉斯網(wǎng)絡(luò)［3，4］、隱馬爾可夫模型［5］、微分方程［6］和信息理論方法。這些動(dòng)態(tài)模型被廣泛地應(yīng)用于基因調(diào)控網(wǎng)絡(luò)、蛋白網(wǎng)絡(luò)、代謝物網(wǎng)絡(luò)結(jié)構(gòu)的辨識(shí)。

互信息（mutual information，MI）作為一種相關(guān)性研究，在其他領(lǐng)域已有很廣泛地應(yīng)用［7～9］，但在BNN功能性連接結(jié)構(gòu)辨識(shí)方面的應(yīng)用還未見(jiàn)廣泛報(bào)道。本文基于信息理論方法提出了一種BNN功能性連接的辨識(shí)方法，并采用人工構(gòu)造的BNN產(chǎn)生的多通道脈沖序列數(shù)據(jù)對(duì)算法的有效性進(jìn)行了驗(yàn)證。

1　MI網(wǎng)絡(luò)模型

1.1MI相關(guān)理論

MI［9］是被用來(lái)檢驗(yàn)兩個(gè)變量（神經(jīng)元所產(chǎn)生的電脈沖時(shí)間序列）X和Y之間的相關(guān)程度。

對(duì)于一個(gè)離散變量（神經(jīng)元）X，測(cè)量變量X的平均不確定性的變量信息熵H（x）可以定義為

式中p（x）為離散變量X為x值時(shí)的概率。變量X和Y的聯(lián)合熵H（X，Y）可以定義為

對(duì)于離散變量X和Y，MI則可以定義為

聯(lián)立式（1）～式（3）可以得

當(dāng)變量X和Y之間的MI值為0，這就意味著它們兩者之間沒(méi)有互作用；相反地，當(dāng)它們相互依賴程度非常高時(shí)，MI值也就非常大。

1.2算法實(shí)現(xiàn)

設(shè)有N個(gè)神經(jīng)元網(wǎng)絡(luò)，H（i，j）=［Hij］代表i，j之間的MI值。其中，Hij=0，表示i，j之間無(wú)連接；Hij=1，表示i，j之間有連接。

1）輸入脈沖序列數(shù)據(jù)D，設(shè)置一個(gè)決定相關(guān)性的閾值θ。

2）計(jì)算出兩兩神經(jīng)元i，j間的互信息值，并存入關(guān)聯(lián)矩陣H（i，j）中。

3）將H（i，j）中的值與θ進(jìn)行比較，如果大于θ，則H（i，j）=1；否則H（i，j）=0。

4）構(gòu)建N個(gè)神經(jīng)元關(guān)聯(lián)矩陣H（i，j）。

5）生成關(guān)聯(lián)矩陣圖。

2　Integrate-and-Fire模型

脈沖神經(jīng)網(wǎng)絡(luò)（pulse neural network，PNN）是將BNN中神經(jīng)元受到刺激時(shí)的放電特性用數(shù)學(xué)模型描述，構(gòu)造形成的第三代人工神經(jīng)網(wǎng)絡(luò)。常見(jiàn)的PNN模型有HH模型［10］、積分點(diǎn)火（integrate-and-fire，IF）模型［11］、SRM 模型［11］、Izhikevich模型等等，這些模型在不同建模精度上對(duì)神經(jīng)元的生理機(jī)制進(jìn)行描述。IF模型作為最簡(jiǎn)單神經(jīng)電生理模型之一，通常被廣泛地應(yīng)用于大型網(wǎng)絡(luò)仿真［12，13］。

IF模型可以看作為一個(gè)開(kāi)關(guān)網(wǎng)絡(luò)，神經(jīng)元激活過(guò)程存在閾值特性。具體表現(xiàn)為：當(dāng)膜電位在閾值以下時(shí)，神經(jīng)元不產(chǎn)生動(dòng)作電位，此時(shí)膜電位會(huì)隨著指數(shù)衰減到靜息值；而當(dāng)膜電位高于閾值時(shí)，神經(jīng)元產(chǎn)生興奮，發(fā)放脈沖，出現(xiàn)動(dòng)作電位的傳導(dǎo)。當(dāng)神經(jīng)元未動(dòng)作時(shí)，IF模型神經(jīng)元的一階微分方程如式（5）表示

可簡(jiǎn)化為

式中τm=RmCm，Cm為膜電容，Rm為膜電阻，Em為靜息電位，I（t）為各個(gè)前突觸神經(jīng)元發(fā)放的行為勢(shì)所產(chǎn)的突觸電流之和。I（t）與單個(gè)突觸的連接權(quán)重有關(guān)，記wij表示為第j個(gè)前突觸神經(jīng)元對(duì)后突觸神經(jīng)元i的權(quán)重，則總的輸入電流如式（7）表示

當(dāng)發(fā)放一個(gè)行為勢(shì)之后，膜電位V立刻恢復(fù)到固定值Vr，有Vr＜θ

復(fù)位之后神經(jīng)元進(jìn)入一個(gè)時(shí)間約為2 ms絕對(duì)不應(yīng)期，在此期間，即使有任何刺激，神經(jīng)元不再積累膜電勢(shì)。絕對(duì)不應(yīng)期過(guò)后，神經(jīng)元可以重新按式（5）進(jìn)行積累膜電勢(shì)，進(jìn)入下一輪的電壓積累、放電過(guò)程。

3　仿真與分析

為了更直觀地分析算法的性能，采用一些常用的指標(biāo)對(duì)預(yù)測(cè)結(jié)果進(jìn)行評(píng)估：

TPR=TP/（TP+FN）；

FPR=FP/（FP+TN）；

PPV=TP/（TP+FP）；

ACC=（TP+TN）/（TP+FP+TN+FN）

其中，TP，F(xiàn)P，TN和FN分別為真陽(yáng)性、假陽(yáng)性、真陰性和假陰性。TPR，F(xiàn)PR，PPV和ACC分別為真陽(yáng)性率、假陽(yáng)性率、陽(yáng)性預(yù)測(cè)率和精確度。

3.110個(gè)節(jié)點(diǎn)的神經(jīng)元網(wǎng)絡(luò)構(gòu)建

下面以10個(gè)神經(jīng)元節(jié)點(diǎn)為例，來(lái)分析MI算法的辨識(shí)度，假設(shè)每個(gè)神經(jīng)元的輸入信號(hào)為高斯白噪聲，并且神經(jīng)元之間的隨機(jī)連接比p=0.2，這種對(duì)于神經(jīng)網(wǎng)絡(luò)連接比的假設(shè)符合生物神經(jīng)網(wǎng)絡(luò)連接的實(shí)際情況［14］。

通過(guò)IF模型網(wǎng)絡(luò)仿真得到10個(gè)神經(jīng)元節(jié)點(diǎn)產(chǎn)生的脈沖序列如圖1所示。

圖1　10個(gè)節(jié)點(diǎn)的神經(jīng)元網(wǎng)絡(luò)脈沖序列Fig 1　Neural network pulse series of 10 nodes

初始化參數(shù)為：Rm=10 kΩ，Cm=1 μF，τm=10 ms，τg= 10 ms，Em=-65 mV，W=0.5。圖1表示10個(gè)神經(jīng)元在400 ms內(nèi)脈沖發(fā)放情況，藍(lán)點(diǎn)表示神經(jīng)元發(fā)放脈沖。

通過(guò)對(duì)脈沖序列數(shù)據(jù)的處理，計(jì)算出神經(jīng)元間的MI值，選取MI閾值0.07來(lái)確定神經(jīng)元之間的相關(guān)性連接。圖2（a）、（b）分別展示了基于IF模型、MI算法構(gòu)造的神經(jīng)元網(wǎng)絡(luò)連接結(jié)構(gòu)。通過(guò)對(duì)比發(fā)現(xiàn)，除了圖2（b）中N3和N7之間沒(méi)能準(zhǔn)確辨識(shí)連接，其他存在的邊都能準(zhǔn)確辨識(shí)。

圖2　神經(jīng)元網(wǎng)絡(luò)連接結(jié)構(gòu)Fig 2　Neural network connecting structure

表1給出了MI算法得到的各項(xiàng)評(píng)價(jià)指標(biāo)，其中精確度（ACC）為0.978，假陽(yáng)率（FPR）為0。這表明MI算法可以近似逼近IF模型構(gòu)造的網(wǎng)絡(luò)連接結(jié)構(gòu)。

表1　MI方法構(gòu)建10個(gè)節(jié)點(diǎn)神經(jīng)元網(wǎng)絡(luò)評(píng)價(jià)結(jié)果Tab 1　Neural network evaluation results of 10 nodes constructed by MI method

3.2網(wǎng)絡(luò)延展性

上述僅針對(duì)神經(jīng)元個(gè)數(shù)N=10，連接權(quán)重W=0.5的網(wǎng)絡(luò)進(jìn)行了效果評(píng)估。下面通過(guò)調(diào)整神經(jīng)元個(gè)數(shù)以及權(quán)重綜合分析MI算法的辨識(shí)度。分別選取神經(jīng)元節(jié)點(diǎn)個(gè)數(shù)為5，10，20，50，100的不同規(guī)模的網(wǎng)絡(luò)，權(quán)重為0.3，0.5，0.8等三種情況。在每種測(cè)試條件下，統(tǒng)計(jì)100次隨機(jī)仿真的平均辨識(shí)度作為最后結(jié)果。

當(dāng)W=0.3時(shí)的精確度如表2所示。

表2　權(quán)重為0.3條件下的評(píng)價(jià)結(jié)果Tab 2　Evaluation results under the condition of weight 0.3

當(dāng)W=0.5時(shí)的精確度如表3所示。

表3　權(quán)重為0.5條件下的評(píng)價(jià)結(jié)果Tab 3　Evaluation results under the condition of weight 0.5

當(dāng)W=0.8時(shí)的精確度如表4所示。

表4　權(quán)重為0.8條件下的評(píng)價(jià)結(jié)果Tab 4　Evaluation results under the condition of weight 0.8

綜合表2～表4分析，當(dāng)權(quán)重不變時(shí)，隨著網(wǎng)絡(luò)規(guī)模的增大，精確度隨著減小，最后穩(wěn)定在0.8這個(gè)水平上；當(dāng)網(wǎng)絡(luò)規(guī)模不變時(shí)，隨著權(quán)重增大，精確度隨著增大，但是對(duì)于網(wǎng)絡(luò)規(guī)模較大，即使增加權(quán)重，精確度也穩(wěn)定在0.8這個(gè)水平上。

4　結(jié)論

經(jīng)過(guò)不同規(guī)模的PNN仿真測(cè)試表明：MI算法有效地辨識(shí)出網(wǎng)絡(luò)中的連接結(jié)構(gòu)。因此，本文所提出的基于MI的BNN功能性連接辨識(shí)方法是一種準(zhǔn)確、高效、計(jì)算可行、能夠適應(yīng)于非線性生物神經(jīng)元網(wǎng)絡(luò)反向結(jié)構(gòu)辨識(shí)方法，特別適合于大規(guī)模網(wǎng)絡(luò)的計(jì)算。未來(lái)，通過(guò)BNN電生理實(shí)驗(yàn)，如多電極陣列（multi-electrode array，MEA）可獲得體外培養(yǎng)真實(shí)的神經(jīng)元多通道脈沖響應(yīng)數(shù)據(jù)［14］。利用這些脈沖序列數(shù)據(jù)來(lái)辨識(shí)神經(jīng)元間的連接結(jié)構(gòu)，可幫助加深對(duì)于支配典型網(wǎng)絡(luò)行為（如，同步振蕩、異步振蕩、過(guò)激振蕩等）的特定連接結(jié)構(gòu)的認(rèn)識(shí)和理解。當(dāng)然，該方法也存在一定的局限性，在于不能判斷兩個(gè)神經(jīng)元之間連接的方向性，可結(jié)合格蘭特因果性方法［15］或貝葉斯網(wǎng)絡(luò)方法［3］進(jìn)行算法改進(jìn)。

［1］壽天德.神經(jīng)生物學(xué)［M］.北京：高等教育出版社，2013.

［2］Shmulevich I，Dougherty E R，Kim S，et al.Probabilistic boolean networks：A rule-based uncertainty model for gene regulatory networks［J］.Bioinformatics，2002，18（2）：261-274.

［3］Zou M，Conzen S.A new dynamic Bayesian network（DBN）approach for identifying gene regulatory networks from time course microarray data［J］.Bioinformatics，2005，21（1）：71-79.

［4］李啟青，馬建文，哈斯巴干，等.基于貝葉斯網(wǎng)絡(luò)模型的遙感圖像數(shù)據(jù)處理技術(shù)［J］.電子與信息學(xué)報(bào)，2003，25（10）：1321-1326.

［5］Schliep A，Schnhuth A，Steinhoff C.Using hidden Markov models to analyze gene expression time course data［C］∥Computational Biology&Chemistry，2007，31（4）：239-245.

［6］Kim S，Kim J，Cho K H.Inferring gene regulatory networks from temporal expression profiles under time-delay and noise［J］.Computational Biology&Chemistry，2007，31（4）：239-245.

［7］Butte A J，Is K.Mutual information relevance networks：Functional genomic clustering using pairwise entropy measurements［C］∥Pacific Symposium on Biocomputing，2000：415-426.

［8］Batina L，Gierlichsm B.Mutual information analysis：A comprehensive study［J］.Journal of Cryptology，2011，24（2）：269-292.

［9］傅祖蕓.信息論——基礎(chǔ)理論與應(yīng)用［M］.北京：電子工業(yè)出版社，2007.

［10］Hodgkin A L，Huxley A F.A quantitative description of membrane current and its application to conduction and excitation in nerve［J］.Journal of Physiology，1952，117（1/2）：500-544.

［11］Gerstener W，Kistle W M.Spiking neuron models［J］.Encyclopedia of Neuroscience，2002，241（22）：277-280.

［12］Lindner B，Longtin A.Effect of an exponentially decaying threshold on the firing statistics of a stochastic integrate-and-fire neuron［J］.Journal of Theoretical Biology，2005，232（4）：505-521.

［13］Lindner B，Geier L S，Longtin A.Maximizing spike train coherence or incoherence in the leaky integrate-and-fire model［J］. Physical Review E，2002，66（3）：1916-1921.

［14］Marom S，Shahaf G.Development，learning and memory in large random networks of cortical neurons：Lessons beyond anatomy ［J］.Quarterly Reviews of Biophysics，2002，35（1）：63-87.

［15］Dong C Y，Shin D，Joo S，et al.Identification of feedback loops in neural networks based on multi-step Granger causality［J］.Bioinformatics，2012，28（16）：2146-2153.

董朝軼，通訊作者，E—mail：dongchaoyi@hotmail.com。

Identification of functional connectivity of biological neural network based on mutual information*

LIU Jian-zhao1，2，DONG Chao-yi1，2，F(xiàn)ENG Li-fei1，2
（1.College of Electric Power，Inner Mongolia University of Technology，Hohhot 010080，China；2.Key Laboratory of Electromechanical Control，Inner Mongolia，Hohhot 010080，China）

The identification methods of biological neural network（BNN）functional connections have been widely used in building network connecting structure with multi-channel time series data of BNN.The investigation of connective structures of BNN helps to further deepen awareness and understanding of their relations to various network functions of BNN.First，synthetic BNN models are established using integrate-and-fire（IF）mechanism，and multi-channel pulse series data are generated form the network.Then，using mutual information（MI）method，MI between the two neuron nodes can be calculated，which exceeds a certain threshold value indicating that there is a connection between the two neurons.Simulation result shows that the network identification method based on MI has a small computational cost，also it has a high accuracy for identifying the BNN functional connection structures.

biological neural network（BNN）；integrate-and-fire（IF）model；pulse series；mutual information （MI）

TP183

A

1000—9787（2016）06—0059—03

10.13873/J.1000—9787（2016）06—0059—03

2015—10—09

2013年度國(guó)家自然科學(xué)基金地區(qū)基金資助項(xiàng)目（61364018）；2013年度教育部留學(xué)回國(guó)人員科研啟動(dòng)基金資助項(xiàng)目（第45批）；2015年度內(nèi)蒙古自治區(qū)高等學(xué)?！扒嗄昕萍加⒉庞?jì)劃”—青年科技領(lǐng)軍人才項(xiàng)目；2014年度內(nèi)蒙古工業(yè)大學(xué)青年學(xué)術(shù)骨干項(xiàng)目

劉劍釗（1989-），男，湖北咸寧人，碩士研究生，研究方向?yàn)橛?jì)算神經(jīng)科學(xué)。