基于連接自組織發(fā)育的稀疏跨越?側(cè)抑制神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)

楊剛 王樂 戴麗珍 楊輝

人工神經(jīng)網(wǎng)絡(luò)是指受動物大腦內(nèi)生物神經(jīng)網(wǎng)絡(luò)的啟發(fā)而對其結(jié)構(gòu)和功能進(jìn)行模擬所獲得的一類計(jì)算系統(tǒng),其結(jié)構(gòu)設(shè)計(jì)和網(wǎng)絡(luò)學(xué)習(xí)是理論研究的關(guān)鍵問題.跨越–側(cè)抑制神經(jīng)網(wǎng)絡(luò)(Span-lateral inhibition neural network,S-LINN)是根據(jù)大腦新皮層內(nèi)神經(jīng)元種類、連接模式以及側(cè)抑制機(jī)制構(gòu)造的一類復(fù)雜神經(jīng)網(wǎng)絡(luò)模型,具有良好的學(xué)習(xí)能力和泛化能力.然而,與前饋神經(jīng)網(wǎng)絡(luò)相比,S-LINN引入了不同層神經(jīng)元之間的跨越連接以及隱含層內(nèi)神經(jīng)元之間的側(cè)抑制連接,增加了網(wǎng)絡(luò)的計(jì)算成本及復(fù)雜度.因而,需要研究合理的網(wǎng)絡(luò)結(jié)構(gòu)調(diào)整方法,進(jìn)一步保證網(wǎng)絡(luò)性能的發(fā)揮.

研究表明,人腦內(nèi)神經(jīng)元之間的突觸連接具有非常明顯的稀疏(Sparse)特性[1?2].因而,許多學(xué)者針對人工神經(jīng)網(wǎng)絡(luò)提出了一些稀疏連接的結(jié)構(gòu)設(shè)計(jì)方法[3?6].稀疏神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)是在保證網(wǎng)絡(luò)性能的前提下,通過控制神經(jīng)元及其之間連接權(quán)值的增加/刪剪操作降低網(wǎng)絡(luò)的連接成本,提高計(jì)算效率及泛化能力.然而,選取何種稀疏連接機(jī)制用于人工神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)是一個(gè)重要且有意義的研究課題.

小世界(Small-world)網(wǎng)絡(luò)是介于規(guī)則網(wǎng)絡(luò)和隨機(jī)網(wǎng)絡(luò)之間的一種網(wǎng)絡(luò)結(jié)構(gòu),具有較短的平均路徑長度和較高的聚類系數(shù)[7].由于其網(wǎng)絡(luò)連接具有明顯的稀疏特性,且生物神經(jīng)網(wǎng)絡(luò)也具有一定的小世界特性[8?9]:鄰近的節(jié)點(diǎn)之間密集的局部聚類或小集團(tuán)連接.因此,小世界的概念也被引入到人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)研究之中.Ahn等[10]研究發(fā)現(xiàn)稀疏和小世界拓?fù)浣Y(jié)構(gòu)可以平衡網(wǎng)絡(luò)的性能與連接成本之間的關(guān)系.Zheng等[11]認(rèn)為稀疏和小世界拓?fù)浣Y(jié)構(gòu)是既能實(shí)現(xiàn)較小的連接成本,又能保證較高的模式識別質(zhì)量的有效策略,并提出了一種簡單有效的方法生成具有離散時(shí)間動力學(xué)特性的小世界神經(jīng)網(wǎng)絡(luò).Simard等[12]研究了WS小世界神經(jīng)網(wǎng)絡(luò)的快速學(xué)習(xí)算法,該方法在數(shù)據(jù)挖掘方面表現(xiàn)出了優(yōu)良性能.Lago-Fernndez等[13]通過計(jì)算機(jī)仿真研究了基于Hodgkin-Huxley神經(jīng)元的不同連接拓?fù)浣Y(jié)構(gòu),發(fā)現(xiàn)小世界連接是生成快速同步振蕩的最佳連接方式.Morelli等[14]研究了小世界連接神經(jīng)網(wǎng)絡(luò)的聯(lián)想記憶.為了對多層前向小世界神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)、權(quán)值修正策略以及網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行改進(jìn),王爽心等[15]提出一種基于層連優(yōu)化的小世界神經(jīng)網(wǎng)絡(luò)的改進(jìn)算法,能夠獲得更快的收斂速度,更高的逼近精度,且模型穩(wěn)定性更強(qiáng).為了提高時(shí)間序列的預(yù)測精度,改進(jìn)的小世界網(wǎng)絡(luò)被用于優(yōu)化泄露積分型ESN[16],可以獲得更高的預(yù)測精度和更短的訓(xùn)練時(shí)間.Erkaymaz等[17]將ANN作為用于癌癥診斷的新型智能決策制定方法,對比研究了兩種典型小世界前饋ANN的性能,均獲得優(yōu)于其他方法的性能.然而,將固定的小世界連接模式引入經(jīng)典神經(jīng)網(wǎng)絡(luò)進(jìn)行結(jié)構(gòu)設(shè)計(jì)仍然無法充分發(fā)揮網(wǎng)絡(luò)的性能,而網(wǎng)絡(luò)結(jié)構(gòu)的自組織優(yōu)化則是提升網(wǎng)絡(luò)性能的一種有效方法.

針對S-LINN的結(jié)構(gòu)設(shè)計(jì)及參數(shù)優(yōu)化問題,本文根據(jù)兒童智力發(fā)展水平與大腦皮層發(fā)育之間的相互關(guān)系,結(jié)合小世界稀疏連接,設(shè)計(jì)一種簡單有效的稀疏網(wǎng)絡(luò)設(shè)計(jì)方法,降低計(jì)算成本提高網(wǎng)絡(luò)性能,便于實(shí)際問題求解.本文第1節(jié)首先簡要介紹跨越–側(cè)抑制神經(jīng)網(wǎng)絡(luò),第2節(jié)詳細(xì)介紹稀疏跨越–側(cè)抑制神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)方法,第3節(jié)給出基于稀疏跨越–側(cè)抑制神經(jīng)網(wǎng)絡(luò)的非線性動力學(xué)系統(tǒng)辨識及函數(shù)逼近仿真分析,并在第4節(jié)給出結(jié)論.

1 跨越?側(cè)抑制神經(jīng)網(wǎng)絡(luò)簡述

在實(shí)際的生物神經(jīng)系統(tǒng)內(nèi),新皮層(Neocortex)是大腦皮層重要的組成部分,主要由興奮的錐體神經(jīng)元(Pyramidal neurons,約占70%～80%)和抑制的中間神經(jīng)元(Interneurons)組成[18?19].在不同的層之間以及不同的神經(jīng)元類型之間存在著典型的連接,即可以跨越(Span)整個(gè)皮層厚度,以垂直分布的方式對同一個(gè)輸入產(chǎn)生響應(yīng).這些皮層的微回路以皮層柱(Cortical column)和微柱(Minicolumn)的形式排列,并且微柱被認(rèn)為是大腦皮層最基本的功能單元[20?22].功能柱是廣泛存在于生物不同皮層區(qū)域內(nèi)的一種連接結(jié)構(gòu),介于微觀的神經(jīng)元和宏觀的腦區(qū)之間的中間層次模塊.在一個(gè)微柱內(nèi),大約包含80～100個(gè)神經(jīng)元[23?24].除了功能柱的垂直排列之外,大腦皮層內(nèi)還存在著一些錐體神經(jīng)元模塊.它們以集結(jié)的形式進(jìn)行著垂直排列[18].大腦皮層內(nèi)的微柱是通過相鄰的中間神經(jīng)元之間的橫向(Lateral)連接形成的,而激活的神經(jīng)元通過這種橫向連接可以抑制周圍未激活的神經(jīng)元.這種由抑制的中間神經(jīng)元之間的橫向連接構(gòu)成的抑制作用稱為側(cè)抑制(Lateral inhibition).

從結(jié)構(gòu)和信息仿生的角度出發(fā),基于大腦新皮層內(nèi)錐體神經(jīng)元在不同層神經(jīng)元之間的跨越連接以及中間神經(jīng)元在同層內(nèi)的抑制連接提出了一種的新型的跨越–側(cè)抑制神經(jīng)網(wǎng)絡(luò)模型(S-LINN)[25?26].S-LINN內(nèi)部既有相鄰層之間的前饋傳輸,又引入了不相鄰層之間的跨越傳輸以及隱含層內(nèi)的側(cè)抑制連接.這一結(jié)構(gòu)特點(diǎn)不僅保證網(wǎng)絡(luò)具有豐富的學(xué)習(xí)能力和更好的泛化能力,而且可以方便地研究功能柱結(jié)構(gòu)及其對神經(jīng)網(wǎng)絡(luò)性能的影響.(L+1)層S-LINN的輸入–輸出關(guān)系如下:

其中,fl(·)為l層神經(jīng)元的激活函數(shù),通常取為sigmoid函數(shù);是神經(jīng)元輸出和權(quán)值的內(nèi)集,包含來自(l?1)層前饋鏈接的神經(jīng)元輸出,同時(shí)包含通過跨越連接來自[0,l?2]層神經(jīng)元的輸入;為被周圍神經(jīng)元側(cè)向抑制后的抑制輸入,θrj為神經(jīng)元r對神經(jīng)元j的側(cè)抑制閾值,vrj∈[0,1]為側(cè)抑制系數(shù),0表示不受抑制,1表示全抑制,表示神經(jīng)元無自抑制作用.

為簡化計(jì)算,根據(jù)兩個(gè)神經(jīng)元之間的“距離”依高斯分布生成S-LINN隱含層神經(jīng)元之間的側(cè)抑制系數(shù),并在學(xué)習(xí)過程中保持不變.其中,神經(jīng)元無自抑制作用,且根據(jù)網(wǎng)絡(luò)規(guī)模設(shè)定當(dāng)“距離”大于閾值(一般設(shè)為當(dāng)前層神經(jīng)元數(shù)量的2/3)時(shí),側(cè)抑制作用忽略不計(jì).基于梯度下降的反向傳播學(xué)習(xí)算法和序列學(xué)習(xí)算法可參見文獻(xiàn)[25?26].變的稀疏神經(jīng)網(wǎng)絡(luò).

2 稀疏S-LINN設(shè)計(jì)

2.1 稀疏網(wǎng)絡(luò)

稀疏神經(jīng)網(wǎng)絡(luò)實(shí)際上是對大腦神經(jīng)元稀疏連接特性的一種模擬.全連接ANNs往往忽略了由全連接引起的訓(xùn)練時(shí)間過長的問題,而冗余神經(jīng)元/連接的大量存在也在一定程度上損害著網(wǎng)絡(luò)的泛化能力.實(shí)際的生物神經(jīng)系統(tǒng)中神經(jīng)元是稀疏(Sparse)連接的,尤其是哺乳類生物大腦皮層內(nèi)神經(jīng)元的稀疏連接特性非常明顯[2].對老鼠皮層的解剖研究表明[1],大約85%的神經(jīng)元為錐體神經(jīng)元,而錐體神經(jīng)元之間的突觸連接具有均等性和隨機(jī)性.一個(gè)錐體神經(jīng)元僅與其突觸后的一個(gè)或幾個(gè)鄰近神經(jīng)元的突觸相連.在大約20000000個(gè)錐體神經(jīng)元中的一個(gè)神經(jīng)元有大約8000個(gè)突觸與之相連.也就是說,皮層內(nèi)錐體神經(jīng)元的平均連接度僅為0.04%左右.

四層前饋網(wǎng)絡(luò)的全連接與稀疏連接的結(jié)構(gòu)對比如圖1所示.與全連接神經(jīng)網(wǎng)絡(luò)相比,稀疏連接的神經(jīng)網(wǎng)絡(luò)可以明顯減少訓(xùn)練時(shí)間,提高網(wǎng)絡(luò)的泛化能力,降低硬件需求,同時(shí)更加接近生物神經(jīng)網(wǎng)絡(luò)的特性.因此,稀疏神經(jīng)網(wǎng)絡(luò)(Sparse neural network,SNN)的研究逐漸引起人們的關(guān)注.然而,如何構(gòu)造稀疏神經(jīng)網(wǎng)絡(luò)以及最優(yōu)稀疏度的確定一直是亟待研究的開放課題.從稀疏網(wǎng)絡(luò)的構(gòu)造方式來看,可將稀疏網(wǎng)絡(luò)劃分為個(gè)體發(fā)育型稀疏網(wǎng)絡(luò)(Ontogenic sparse neural network)[27]和非個(gè)體發(fā)育型稀疏網(wǎng)絡(luò)(Non-ontogenic sparse neural networks)[28]兩大類.然而,通過既定的學(xué)習(xí)規(guī)則調(diào)節(jié)神經(jīng)網(wǎng)絡(luò)連接強(qiáng)度以適應(yīng)實(shí)際問題的能力與缺乏確定網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)豐富知識之間的矛盾,開啟了結(jié)構(gòu)自適應(yīng)調(diào)整個(gè)體發(fā)育神經(jīng)網(wǎng)絡(luò)的研究.通過個(gè)體發(fā)育,實(shí)現(xiàn)稀疏連接的神經(jīng)網(wǎng)絡(luò)是指在學(xué)習(xí)的過程中,逐漸從全連接網(wǎng)絡(luò)中去除冗余的層.神經(jīng)元或連接,實(shí)現(xiàn)稀疏化的網(wǎng)絡(luò).非個(gè)體發(fā)育稀疏神經(jīng)網(wǎng)絡(luò)[28]是指在網(wǎng)絡(luò)開始學(xué)習(xí)之前就確定網(wǎng)絡(luò)的結(jié)構(gòu)并在學(xué)習(xí)過程中保持不

圖1 全連接網(wǎng)絡(luò)及稀疏連接網(wǎng)絡(luò)Fig.1 Structural diagram of fully connected network and sparse connected network

2.2 小世界網(wǎng)絡(luò)

網(wǎng)絡(luò)根據(jù)連接方式可分為規(guī)則網(wǎng)絡(luò)和隨機(jī)網(wǎng)絡(luò),而生物網(wǎng)絡(luò)、技術(shù)網(wǎng)絡(luò)和社會網(wǎng)絡(luò)等是介于兩者之間既非完全規(guī)則也非完全隨機(jī)的一種連接網(wǎng)絡(luò).1998年,為了描述從規(guī)則網(wǎng)絡(luò)到隨機(jī)網(wǎng)絡(luò)的轉(zhuǎn)換過程,Watts等通過對規(guī)則網(wǎng)絡(luò)進(jìn)行重連(Rewired)來產(chǎn)生具有一定程度混亂性(Disorder)的網(wǎng)絡(luò),以高集聚系數(shù)和低平均路徑長度作為特征,提出了小世界網(wǎng)絡(luò)(Small-world network)模型[7],簡稱WS模型.此外,Newman和Watts對WS模型進(jìn)行了改進(jìn),用隨機(jī)化加邊代替了隨機(jī)化重連,避免產(chǎn)生孤立節(jié)點(diǎn)的可能,從而提出了新的NW小世界網(wǎng)絡(luò)[29].小世界網(wǎng)絡(luò)的兩個(gè)重要參數(shù)分別為聚類系數(shù)C(Clustering coefficient)和路徑長度L(Path length).其中,聚類系數(shù)量度給定的節(jié)點(diǎn)a連接到節(jié)點(diǎn)b和c的概率.同時(shí),節(jié)點(diǎn)b和c也是相連的.從節(jié)點(diǎn)a到節(jié)點(diǎn)b的最短路徑長度是指實(shí)現(xiàn)節(jié)點(diǎn)a到b的連接所需的最小的連接數(shù).在具有相同連接和節(jié)點(diǎn)的情況下,小世界網(wǎng)絡(luò)的平均聚類系數(shù)C要大于隨機(jī)網(wǎng)絡(luò)對應(yīng)的平均聚類系數(shù);此外,平均路徑長度L與logN成比例(N為節(jié)點(diǎn)個(gè)數(shù)).本文采用小世界網(wǎng)絡(luò)連接模式對初始S-LINN進(jìn)行稀疏化設(shè)置.

WS小世界網(wǎng)絡(luò)模型的生成是從一個(gè)規(guī)則圖開始的.首先,考慮一個(gè)含有N個(gè)節(jié)點(diǎn)的最近鄰耦合網(wǎng)絡(luò),將N個(gè)節(jié)點(diǎn)圍成一個(gè)圓環(huán),其中的每個(gè)節(jié)點(diǎn)都與它左右相鄰的各k/2個(gè)節(jié)點(diǎn)進(jìn)行相連,k為偶數(shù),表示節(jié)點(diǎn)的度(Degree).其次,對網(wǎng)絡(luò)進(jìn)行隨機(jī)化重連.隨機(jī)化重連的規(guī)則如下:1)固定邊的一個(gè)端點(diǎn)保持不變,另一個(gè)端點(diǎn)以概率p隨機(jī)地選擇網(wǎng)絡(luò)中的一個(gè)節(jié)點(diǎn)進(jìn)行相連;2)任意兩個(gè)不同的節(jié)點(diǎn)之間最多只能有存在一條邊;3)不允許節(jié)點(diǎn)與自身相連的邊出現(xiàn)[7,30].在小世界網(wǎng)絡(luò)中,可以通過調(diào)節(jié)p值的大小確定網(wǎng)絡(luò)的類型.當(dāng)p=0時(shí),網(wǎng)絡(luò)為完全規(guī)則的網(wǎng)絡(luò);當(dāng)p=1時(shí),網(wǎng)絡(luò)為完全隨機(jī)的網(wǎng)絡(luò);當(dāng)0

2.3 稀疏S-LINN結(jié)構(gòu)設(shè)計(jì)[31]

Shaw等 通過智力測試將受試者分為智力超常組(S),高智力組(H)和平均智力組(A),并跟蹤研究其皮層厚度隨年齡增長的變化軌跡.皮層變化軌跡如圖3所示,智力超常(Superior intelligence)組的皮層厚度與其他兩組的皮層有明顯不同的變化軌跡,他們的大腦皮層在兒童時(shí)期相對較薄,經(jīng)過發(fā)育成長階段的迅速增長達(dá)到頂峰,然后再快速變薄并穩(wěn)定在一定厚度(基本與其他兩組人的皮層厚度持平).這一現(xiàn)象給我們的啟示是,幼年時(shí)期即擁有高厚度皮層的兒童其智力未必就高.相反,智力超常的人則是幼年時(shí)期皮層較薄,但經(jīng)過后天發(fā)育皮層達(dá)到正常厚度的那部分人,是那些根據(jù)環(huán)境產(chǎn)生更多適應(yīng)性變化的人.對于皮層變薄的原因則可能是大腦發(fā)育過程中,腦細(xì)胞、神經(jīng)元以及他們之間的聯(lián)系具有用進(jìn)廢退的特點(diǎn).因此,本文借鑒智力發(fā)展水平與皮層厚度發(fā)育的相互關(guān)系,研究稀疏跨越–側(cè)抑制神經(jīng)網(wǎng)絡(luò)的自組織發(fā)育方法.為便于描述,將稀疏自組織發(fā)育S-LINN學(xué)習(xí)算法以及由此獲得的神經(jīng)網(wǎng)絡(luò)簡記為sS-LINN.

本文設(shè)計(jì)的稀疏自組織發(fā)育神經(jīng)網(wǎng)絡(luò)是在基于梯度下降的反向傳播學(xué)習(xí)基礎(chǔ)之上進(jìn)行的,因此本節(jié)著重介紹連接稀疏度的定義、自組織發(fā)育規(guī)則的設(shè)計(jì)以及學(xué)習(xí)步驟.

2.3.1 連接稀疏度及自組織發(fā)育

定義(L+1)層S-LINN的連接稀疏度如下:

其中,nα和nβ分別表示α層和β層內(nèi)神經(jīng)元的數(shù)量,表示α層內(nèi)神經(jīng)元i與β層內(nèi)神經(jīng)元j的連接權(quán)值,為非0權(quán)值的統(tǒng)計(jì)數(shù)量,call為根據(jù)網(wǎng)絡(luò)結(jié)構(gòu)計(jì)算而得的所有可調(diào)權(quán)值統(tǒng)計(jì)數(shù)量(不包含隱含層神經(jīng)之間的側(cè)抑制連接權(quán)值).

由式(3)可知,網(wǎng)絡(luò)的連接稀疏度是指實(shí)際存在的神經(jīng)元連接數(shù)量在所有可能存在的神經(jīng)元連接中所占的比重.當(dāng)神經(jīng)元i和j之間無突觸連接,即權(quán)值時(shí),統(tǒng)計(jì)變量c記為0;反之,權(quán)值時(shí),統(tǒng)計(jì)變量c記為1.

連接稀疏度的定義是為了通過對其調(diào)整和控制,實(shí)現(xiàn)網(wǎng)絡(luò)的自組織發(fā)育,相關(guān)步驟如下:

圖2 隨機(jī)化重連Fig.2 Random rewriting procedure

圖3 皮層變化軌跡[31]Fig.3 Trajectories of cortical change[31]

步驟1.網(wǎng)絡(luò)初始化.根據(jù)問題的難易程度由經(jīng)驗(yàn)法確定全連接網(wǎng)絡(luò)的規(guī)模,即隱含層的數(shù)量l以及層內(nèi)神經(jīng)元的數(shù)量nl.

步驟2.網(wǎng)絡(luò)稀疏化(小世界連接).根據(jù)WS小世界神經(jīng)網(wǎng)絡(luò)的生成方法,按照概率p生成具有小世界連接特性的S-LINN,初始化連接權(quán)值(隱含層內(nèi)側(cè)抑制連接依據(jù)高斯分布確定,其余權(quán)值為[0,1]內(nèi)的隨機(jī)值).此時(shí)網(wǎng)絡(luò)的權(quán)值連接稀疏度記為ds0.

步驟3.稀疏連接自組織發(fā)育.根據(jù)初始稀疏度ds0,設(shè)置網(wǎng)絡(luò)調(diào)整過程中權(quán)值連接的最高稀疏度dsmax及學(xué)習(xí)結(jié)束時(shí)網(wǎng)絡(luò)的期望稀疏度dsmin,設(shè)計(jì)權(quán)值連接動態(tài)變化規(guī)則.

本文用神經(jīng)元連接權(quán)值的數(shù)量表征皮層厚度,根據(jù)圖3所示的智力超常組智力發(fā)育過程中大腦皮層由薄(約4.385mm)到厚(約4.85mm)再變薄(約4.25mm)的這一動態(tài)過程,設(shè)置稀疏度的動態(tài)調(diào)整規(guī)則.以初始疏度ds0為基準(zhǔn),確定最大稀疏度dsmax=ds0×120%和最終稀疏度dsmin=ds0×90%.通過動態(tài)調(diào)整神經(jīng)元權(quán)值的稀疏連接程度來模擬智力發(fā)展過程中大腦皮層厚度“薄–厚–薄”的變化過程,從而使網(wǎng)絡(luò)獲得超常的智力.

sS-LINN的自組織發(fā)育,即稀疏連接的動態(tài)調(diào)整是構(gòu)造稀疏S-LINN的重中之重,本文根據(jù)神經(jīng)元輸出貢獻(xiàn)率的大小,判斷稀疏連接的增加和刪剪.

2.3.2 神經(jīng)元輸出貢獻(xiàn)率

定義神經(jīng)元的輸出貢獻(xiàn)率如下:

為提高sS-LINN的學(xué)習(xí)效率,在不嚴(yán)重影響網(wǎng)絡(luò)性能的情況下,對網(wǎng)絡(luò)學(xué)習(xí)作如下設(shè)置:

1)網(wǎng)絡(luò)由薄變厚至峰值時(shí)的發(fā)育過程中,僅對輸出貢獻(xiàn)率較大的神經(jīng)元增加其輸出連接,實(shí)現(xiàn)網(wǎng)絡(luò)連接的增加;

2)網(wǎng)絡(luò)由厚到薄并最終達(dá)到穩(wěn)定狀態(tài)的發(fā)育過程中,對輸出貢獻(xiàn)率較小的神經(jīng)元的輸出連接進(jìn)行剪切,實(shí)現(xiàn)網(wǎng)絡(luò)連接的簡化.

圖4 sS-LINN結(jié)構(gòu)示意圖Fig.4 Structural diagram of sS-LINN

四層sS-LINN的連接結(jié)構(gòu)如圖4所示,用不同灰度(顏色)的神經(jīng)元表示不同的層次.由于S-LINN隱含層內(nèi)神經(jīng)元的側(cè)抑制連接本來就是一種稀疏連接,并非所有的興奮神經(jīng)元都能對其臨近的神經(jīng)元產(chǎn)生抑制作用.因此,sS-LINN自組織發(fā)育主要是對層與層之間的前饋連接和跨越連接進(jìn)行調(diào)整,增加或刪剪相應(yīng)的連接權(quán)值控制網(wǎng)絡(luò)連接稀疏度.

2.3.3 sS-LINN學(xué)習(xí)算法

綜上所述,采用sS-LINN方法生成自組織發(fā)育稀疏S-LINN的主要學(xué)習(xí)步驟如下:

步驟1.網(wǎng)絡(luò)結(jié)構(gòu)及參數(shù)初始化.根據(jù)實(shí)際問題,確定S-LINN結(jié)構(gòu)(含一定的冗余神經(jīng)元),并根據(jù)小世界連接模式生成初始化的稀疏S-LINN;設(shè)定輸出貢獻(xiàn)率閾值,容許誤差,迭代次數(shù)等參數(shù)值.

步驟2.連接權(quán)值的動態(tài)調(diào)整–增長階段.

步驟2.1.根據(jù)式(4)計(jì)算每個(gè)神經(jīng)元對本層輸出的貢獻(xiàn)率,并根據(jù)各個(gè)神經(jīng)元的大小對神經(jīng)元進(jìn)行排序.

步驟2.2.根據(jù)設(shè)定的貢獻(xiàn)增長閾值csg,判斷各個(gè)層內(nèi)可以進(jìn)行權(quán)值調(diào)整的神經(jīng)元集合.對互相連接的a層和b層內(nèi)的可調(diào)權(quán)值神經(jīng)元,判斷現(xiàn)存的連接情況.若貢獻(xiàn)度大的已經(jīng)與相連,則繼續(xù)判斷與排在下一位的神經(jīng)元的連接情況;否則,增加的權(quán)值連接.

步驟2.3.判斷網(wǎng)絡(luò)權(quán)值增加的終止條件.若網(wǎng)絡(luò)的連接稀疏度ds≤dsmax,則循環(huán)運(yùn)行步驟2.1,增加連接權(quán)值,直至所有可操作的連接權(quán)值都已得到調(diào)整.否則,停止連接權(quán)值的增長調(diào)整,并轉(zhuǎn)入步驟5:判斷學(xué)習(xí)終止條件.若滿足條件,直接轉(zhuǎn)入步驟6;否則,轉(zhuǎn)入步驟3,開始網(wǎng)絡(luò)權(quán)值的修剪.

步驟3.連接權(quán)值的動態(tài)調(diào)整–修剪階段.

步驟3.1.根據(jù)式(4)計(jì)算每個(gè)神經(jīng)元對本層輸出的貢獻(xiàn)率cli,并根據(jù)各個(gè)神經(jīng)元cli的大小對神經(jīng)元進(jìn)行逆序排列.

步驟3.2.根據(jù)設(shè)定的貢獻(xiàn)修剪閾值csp,判斷各個(gè)層內(nèi)可以進(jìn)行權(quán)值調(diào)整的神經(jīng)元集合.對互相連接的a層和b層內(nèi)的貢獻(xiàn)度最小的神經(jīng)元和,判斷現(xiàn)有連接情況.若無權(quán)值連接,則判斷值大于的前一個(gè)神經(jīng)元的連接情況;否則,斷開權(quán)值連接.

步驟3.3.判斷權(quán)值刪剪終止條件.若網(wǎng)絡(luò)權(quán)值的連接稀疏度ds≥dsmin,則循環(huán)運(yùn)行步驟3,修剪連接權(quán)值,直至所有貢獻(xiàn)度小的神經(jīng)元之間的連接全部刪剪.否則,停止連接權(quán)值的修剪調(diào)整,并轉(zhuǎn)入步驟5,判斷網(wǎng)絡(luò)學(xué)習(xí)的終止條件.若滿足學(xué)習(xí)終止條件,則直接轉(zhuǎn)入步驟6;否則,轉(zhuǎn)入步驟4,開始網(wǎng)絡(luò)權(quán)值的學(xué)習(xí)階段.

步驟4.采用基于梯度下降的反向傳播算法[25]訓(xùn)練權(quán)值自組織發(fā)育調(diào)整后的稀疏網(wǎng)絡(luò),轉(zhuǎn)步驟5,判斷學(xué)習(xí)終止條件:若不滿足學(xué)習(xí)終止條件,則循環(huán)運(yùn)行步驟4;否則,直接轉(zhuǎn)步驟6終止學(xué)習(xí).

步驟5.判斷學(xué)習(xí)終止條件.判斷網(wǎng)絡(luò)的學(xué)習(xí)精度及迭代次數(shù)是否已經(jīng)達(dá)到預(yù)設(shè)的閾值.

步驟6.學(xué)習(xí)結(jié)束,輸出網(wǎng)絡(luò).

3 仿真實(shí)驗(yàn)及分析

為驗(yàn)證本文設(shè)計(jì)sS-LINN的性能,選擇非線性動力學(xué)辨識及函數(shù)逼近問題進(jìn)行仿真研究.本文所做實(shí)驗(yàn)仿真研究均基于MATLAB 7.11并在Intel Core2 Duo CPU 3GHz,內(nèi)存1.98GB的普通PC機(jī)上運(yùn)行獲得.為最大限度地消除隨機(jī)因素對結(jié)果的影響,sS-LINN仿真結(jié)果均為獨(dú)立運(yùn)行50次的平均值.

3.1 基于sS-LINN的動力學(xué)系統(tǒng)辨識

考慮常見的離散時(shí)間動力學(xué)系統(tǒng)辨識基準(zhǔn)問題[32?35],系統(tǒng)的二階微分方程[36]如下:

其中,y(t)和u(t)分別為系統(tǒng)在t時(shí)刻的輸出和輸入信號,t為采樣時(shí)間.

采用sS-LINN構(gòu)造形的辨識模型如下:

其中,輸入信號u(t)=sin(2πt/25),采樣時(shí)間1≤t≤1000,初始狀態(tài)y(0)=0,y(1)=0.即用系統(tǒng)輸出y(t),y(t?1)和輸入u(t)構(gòu)造網(wǎng)絡(luò)的輸入樣本,而系統(tǒng)輸出y(t+1)則為網(wǎng)絡(luò)的輸出樣本.選取1≤t≤800時(shí)的系統(tǒng)數(shù)據(jù)構(gòu)造訓(xùn)練樣本,對網(wǎng)絡(luò)權(quán)值進(jìn)行學(xué)習(xí);選取801≤t≤1000生成的數(shù)據(jù)作為測試樣本,用于檢驗(yàn)網(wǎng)絡(luò)的泛化能力.

為驗(yàn)證自組織發(fā)育稀疏跨越–側(cè)抑制神經(jīng)網(wǎng)絡(luò)sS-LINN的性能,設(shè)置單隱含層的S-LINN解決該系統(tǒng)辨識問題,其中,隱含層神經(jīng)元數(shù)量n1=50,具有小世界特性的初始網(wǎng)絡(luò)的連接概率p=0.1.因此,根據(jù)式(3),計(jì)算三層S-LINN含有的可調(diào)連接權(quán)值數(shù)目如下:

S-LINN內(nèi)任意兩個(gè)相連層的神經(jīng)元之間均按照小世界網(wǎng)絡(luò)生成方式進(jìn)行相連,設(shè)置節(jié)點(diǎn)的度k=4,初始稀疏度ds0=21%(約43組連接權(quán)值),最大期望稀疏度dsmax=120%×ds0=120%×21%=25.2%(約51組連接權(quán)值),dsmin=90%×ds0=90%×21%=18.9%(約38組連接權(quán)值).為驗(yàn)證網(wǎng)絡(luò)的學(xué)習(xí)效果,設(shè)定最大迭代次數(shù)Tmax=3000,網(wǎng)絡(luò)的期望誤差精度為εTrMSE=10?7.

圖5～7及表1是選取3次獨(dú)立運(yùn)行的結(jié)果,分別記為CaseA,CaseB,CaseC.圖5～7為3次獨(dú)立實(shí)驗(yàn)對應(yīng)的網(wǎng)絡(luò)性能及連接權(quán)值動態(tài)調(diào)整過程中訓(xùn)練誤差的變化情況,“?”線型表示樣本的期望輸出,“?”線型表示網(wǎng)絡(luò)的預(yù)測輸出;表1是這3次實(shí)驗(yàn)對應(yīng)的網(wǎng)絡(luò)特點(diǎn)及性能.

圖5 CaseA:網(wǎng)絡(luò)測試輸出及學(xué)習(xí)誤差曲線Fig.5 CaseA:Network output for test samples and the learning error curve

圖6 CaseB:網(wǎng)絡(luò)測試輸出及學(xué)習(xí)誤差曲線Fig.6 CaseB:Network output for test samples and the learning error curve

表1 三次獨(dú)立實(shí)驗(yàn)中網(wǎng)絡(luò)性能及其權(quán)值連接變化情況Table 1 Network performance and the dynamic adjustment process of connected weight

由圖5～7和表1可知,3次實(shí)驗(yàn)都實(shí)現(xiàn)了網(wǎng)絡(luò)稀疏連接的動態(tài)調(diào)整過程,并且連接的稀疏度基本上達(dá)到了設(shè)定的期望值,說明根據(jù)ds和cli進(jìn)行的連接權(quán)值貢獻(xiàn)度的判斷以及由此所作的動態(tài)調(diào)整是行之有效的.此外,從網(wǎng)絡(luò)的處理效果來說,均能獲得較高的精度.同時(shí),從表1中的網(wǎng)絡(luò)性能與權(quán)值稀疏連接情況的對應(yīng)關(guān)系可知,3次試驗(yàn)均能按照設(shè)計(jì)的稀疏連接度進(jìn)行連接權(quán)值的動態(tài)調(diào)整,并且調(diào)整的結(jié)果越接近設(shè)定的期望連接度時(shí)其網(wǎng)絡(luò)性能也越好,如CaseC所示.

圖7 CaseC:網(wǎng)絡(luò)測試輸出及學(xué)習(xí)誤差曲線Fig.7 CaseC:Network output for test samples and the learning error curve

為對比分析3次獨(dú)立實(shí)驗(yàn)過程中權(quán)值連接的調(diào)整對網(wǎng)絡(luò)性能的影響,將三次實(shí)驗(yàn)中前200次迭代中學(xué)習(xí)誤差的變化情況進(jìn)行對比,如圖8所示.從圖5～7及表1可以看出,三次實(shí)驗(yàn)的網(wǎng)絡(luò)精度基本相當(dāng),均能獲得較好的處理效果.但相比較而言,CaceC具有優(yōu)于CaseA和CaseB的處理效果.從圖8可以看出,在學(xué)習(xí)初期階段,由于連接權(quán)值的動態(tài)調(diào)整,網(wǎng)絡(luò)精度也有幅度較大的振蕩.而由編號CaseC實(shí)驗(yàn)所示的學(xué)習(xí)誤差變化情況顯示,在調(diào)整的初期階段(約50次迭代之前),網(wǎng)絡(luò)的性能較CaseA和CaseB較弱;而通過中間階段(迭代次數(shù)位于50～120)的迭代學(xué)習(xí),CaseC的網(wǎng)絡(luò)性能有所提高,達(dá)到了與CaseA和CaseB相當(dāng)?shù)乃?CaseC經(jīng)過一段時(shí)間的學(xué)習(xí),網(wǎng)絡(luò)的學(xué)習(xí)精度大幅度提高,明顯優(yōu)于CaseA和CaseB的變化趨勢.CaseC網(wǎng)絡(luò)性能的變化過程與文獻(xiàn)[31]中智力超常小組人員的大腦皮層厚度變化情況相一致,而網(wǎng)絡(luò)的性能也與網(wǎng)絡(luò)結(jié)構(gòu)(即sS-LINN的權(quán)值連接情況)一一對應(yīng).因此,根據(jù)權(quán)值連接的稀疏程度,控制網(wǎng)絡(luò)內(nèi)權(quán)值連接數(shù)量先增加后減少并最終維持在略低于初始權(quán)值數(shù)量的水平,實(shí)現(xiàn)網(wǎng)絡(luò)的自組織發(fā)育,能夠有效構(gòu)造具有優(yōu)越性能的sS-LINN,進(jìn)一步驗(yàn)證了該方法的正確性和可行性.

圖8 三次獨(dú)立實(shí)驗(yàn)中前200次迭代中網(wǎng)絡(luò)性能對比Fig.8 The comparison of network performance for the 3 independent runs(the first 200 iterations)

此外,為了對比sS-LINN的處理效果,表2列出了通過不同方法對該系統(tǒng)進(jìn)行辨識的結(jié)果,再一次充分說明了sS-LINN處理該問題的出色性能.與含有10個(gè)隱含層神經(jīng)元的其他方法相比,在未增加網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜度的情況下,sS-LINN具有更好的性能,而從連接數(shù)量角度出發(fā)sS-LINN甚至具有更緊湊的網(wǎng)連接結(jié)構(gòu).

3.2 函數(shù)逼近

為進(jìn)一步驗(yàn)證sS-LINN的性能,考慮含有噪聲的sin C函數(shù)逼近問題

在[?10,10]隨機(jī)生成2000個(gè)數(shù)據(jù)xi作為訓(xùn)練樣本的輸入,然后根據(jù)式(8)計(jì)算yi,并令yi=yi+εi作為訓(xùn)練樣本的輸出,其中εi為[?0.04,0.04]內(nèi)均勻分布的隨機(jī)噪聲信號.對于測試樣本,則在[?10,10]內(nèi)重新隨機(jī)生成2000組數(shù)據(jù)作為測試樣本的輸入,并根據(jù)式(8)計(jì)算對應(yīng)的測試樣本輸出,不添加噪聲信號.

表2 sS-LINN與其他神經(jīng)網(wǎng)絡(luò)方法的性能對比Table 2 Network performance and the dynamic adjustment process of connected weight

選取單隱含層的sS-LINN求解該問題,令n1=30,具有小世界特性的初始網(wǎng)絡(luò)的連接概率p=0.1.根據(jù)式(3)可計(jì)算出三層S-LINN含有的可調(diào)連接權(quán)值數(shù)call=61,初始稀疏度及其他參數(shù)設(shè)置與第3.1節(jié)相同.基于sS-LINN的sin C函數(shù)逼近輸出結(jié)果如圖9和表3所示,實(shí)驗(yàn)數(shù)據(jù)表明sS-LINN可以獲得優(yōu)于其他方法的學(xué)習(xí)能力和泛化能力.

圖9 sin C函數(shù)逼近結(jié)果Fig.9 Simulation result of sin C function approximation

表3 sin C函數(shù)逼近結(jié)果與其他方法的性能對比Table 3 Performance comparison of sin C function approximation

4 結(jié)論

針對跨越–側(cè)抑制神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)設(shè)計(jì)及參數(shù)學(xué)習(xí),結(jié)合生物神經(jīng)網(wǎng)絡(luò)神經(jīng)元連接的稀疏特性以及人類智力發(fā)展水平與大腦皮層發(fā)育的對應(yīng)關(guān)系,設(shè)計(jì)了連接自組織發(fā)育的稀疏跨越–側(cè)抑制神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法.通過在學(xué)習(xí)階段對網(wǎng)絡(luò)連接稀疏程度的控制,模擬大腦皮層由薄到厚再變薄的動態(tài)變化過程,實(shí)現(xiàn)網(wǎng)絡(luò)智力的發(fā)育,從而提升網(wǎng)絡(luò)的性能.首先,借助小世界網(wǎng)絡(luò)連接模式生成初始化稀疏連接S-LINN;其次,根據(jù)網(wǎng)絡(luò)連接稀疏度的控制及神經(jīng)元輸出貢獻(xiàn)率的判斷,設(shè)計(jì)網(wǎng)絡(luò)自組織發(fā)育策略,實(shí)現(xiàn)網(wǎng)絡(luò)連接的動態(tài)調(diào)整;最后,借助反向傳播學(xué)習(xí)算法對網(wǎng)絡(luò)的參數(shù)進(jìn)行學(xué)習(xí).通過對非線性動力學(xué)系統(tǒng)辨識和函數(shù)逼近基準(zhǔn)問題的求解,驗(yàn)證了sS-LINN在學(xué)習(xí)階段對網(wǎng)絡(luò)權(quán)值連接稀疏度的調(diào)整和控制能力,以及對網(wǎng)絡(luò)性能的提升作用.實(shí)驗(yàn)結(jié)果表明,sS-LINN可以通過神經(jīng)元輸出貢獻(xiàn)率的判斷,在網(wǎng)絡(luò)權(quán)值增長階段對輸出貢獻(xiàn)交大的神經(jīng)元增加權(quán)值連接,而在網(wǎng)絡(luò)權(quán)值修剪階段刪除貢獻(xiàn)值低的神經(jīng)元之間的連接權(quán)值,精簡網(wǎng)絡(luò)結(jié)構(gòu),實(shí)現(xiàn)自組織發(fā)育,提高網(wǎng)絡(luò)性能.