基于小世界網(wǎng)絡(luò)的Hopfield聯(lián)想記憶模型

張瑞成，胡緒磊

(河北聯(lián)合大學(xué) 電氣工程學(xué)院，河北 唐山 063009)

聯(lián)想記憶神經(jīng)網(wǎng)絡(luò)是人工神經(jīng)網(wǎng)絡(luò)的一個重要組成部分，但網(wǎng)絡(luò)復(fù)雜度過高，硬件難以實現(xiàn)等問題嚴(yán)重地制約著聯(lián)想記憶網(wǎng)絡(luò)的研究和發(fā)展[1]。近年來，在生物學(xué)背景下提出的Watts-Strogatz小世界網(wǎng)絡(luò)模型為聯(lián)想記憶網(wǎng)絡(luò)的研究提供了一種新的途徑[2]。J.W.Bohland等率先將Watts-Strogatz小世界網(wǎng)絡(luò)引入傳統(tǒng)全互聯(lián)Hopfield模型中，提出了一種基于WS小世界網(wǎng)絡(luò)的聯(lián)想記憶模型(WSAM)[3]。隨后，在此基礎(chǔ)上進(jìn)行了相關(guān)研究[4-6]，然而從研究結(jié)果分析發(fā)現(xiàn)，WS小世界網(wǎng)絡(luò)在構(gòu)造過程中進(jìn)行“斷鍵重連”，可以降低網(wǎng)絡(luò)的連接數(shù)量，因此將其引入到聯(lián)想記憶網(wǎng)絡(luò)中確實可以解決復(fù)雜度過高的問題，但同時“斷鍵重連”也會造成重要信息的丟失，使網(wǎng)絡(luò)性能變差。

針對WS小世界網(wǎng)絡(luò)的這一問題，Newman和Watts提出了Newman-Watts小世界網(wǎng)絡(luò)模型[7]，用“隨機(jī)加邊”代替了“斷鍵重連”，從而有效地保護(hù)了連接權(quán)上的信息，同時還可以避免產(chǎn)生孤立節(jié)點[7]。鑒于以上分析，提出了一種基于NW小世界網(wǎng)絡(luò)的聯(lián)想記憶模型(NWAM)，借鑒現(xiàn)有小世界聯(lián)想記憶模型的思想給出該模型的生成方法和相應(yīng)的理論算法，并設(shè)計實驗對比NWAM與WSAM的聯(lián)想和記憶性能以及抗干擾能力。

1 NW小世界網(wǎng)絡(luò)模型

Newman和Watts在WS小世界的基礎(chǔ)上提出NW小世界模型，用“隨機(jī)加邊”來代替WS模型中的“斷鍵重連”，從而保證了網(wǎng)絡(luò)的整體連通性。其實質(zhì)是在規(guī)則網(wǎng)絡(luò)的基礎(chǔ)上以概率p隨機(jī)化加邊，從而形成稀疏的長程連接和稠密的短程連接。

NW小世界模型的構(gòu)造算法[8-9]如下：

1)從一個包含N個節(jié)點的規(guī)則網(wǎng)絡(luò)出發(fā)，網(wǎng)絡(luò)圍成環(huán)形且每個節(jié)點只與它相鄰的K個節(jié)點相連；

2)從某一節(jié)點出發(fā)，按照概率p隨機(jī)地選擇新的節(jié)點進(jìn)行連接，節(jié)點自身和已連接節(jié)點除外；

3)重復(fù)2)，直到遍歷所有節(jié)點，最終形成NW小世界模型。

NW模型是在規(guī)則網(wǎng)絡(luò)中增加了“長程”連接，通過變化概率p，可以得到從規(guī)則網(wǎng)絡(luò)(p=0)到隨機(jī)網(wǎng)絡(luò)(p=1)的一個變化過程，如圖1。

圖1 NW網(wǎng)絡(luò)體系結(jié)構(gòu)演化Fig.1 The diagram of regular networks, NW small world network and random network

在模型中每個節(jié)點將其輸出反饋給它的K=cN個最近的相鄰節(jié)點，c=K/N表示網(wǎng)絡(luò)的全局連接度。與WS模型相比，NW小世界模型的構(gòu)造更加方便，而且不會破壞原網(wǎng)絡(luò)的連接，從而保證了網(wǎng)絡(luò)的連通性。雖然NW模型中的連接邊有少量的增加，但是由于小世界網(wǎng)絡(luò)的特殊性質(zhì)，概率p保持在很小范圍內(nèi)，增加的連接邊數(shù)也很少，對網(wǎng)絡(luò)整體復(fù)雜度影響不大。而合理地添加捷徑，使信息更加完整地進(jìn)行傳遞，模型的性能更加完善。在NW小世界網(wǎng)絡(luò)模型中，用少量連接代價換取了性能上的顯著提高。

2 基于NW型小世界網(wǎng)絡(luò)Hopfield

聯(lián)想記憶模型

2.1 模型的生成

聯(lián)想記憶模型具有良好的聯(lián)想記憶功能，但是網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜，且復(fù)雜度較高。將NW小世界網(wǎng)絡(luò)引入聯(lián)想記憶模型中可以在保證網(wǎng)絡(luò)性能的前提下，降低網(wǎng)絡(luò)的復(fù)雜度，化簡網(wǎng)絡(luò)結(jié)構(gòu)，而且與WS小世界模型相比，性能更完善、更穩(wěn)定。

基于NW小世界網(wǎng)絡(luò)的聯(lián)想記憶模型的構(gòu)造流程如下：

1)按照第1節(jié)中介紹的方法從一個平均度為K的規(guī)則網(wǎng)絡(luò)開始，按照概率p隨機(jī)地選擇新的節(jié)點進(jìn)行連接，構(gòu)建出一個NW小世界網(wǎng)絡(luò)模型。

2)定義連接矩陣C表示NW小世界網(wǎng)絡(luò)的連接情況，若神經(jīng)元i,j存在連接，則cij=1;若不存在連接，則cij=0。

3)根據(jù)傳統(tǒng)Hopfield網(wǎng)絡(luò)構(gòu)建方法構(gòu)建一個與NW網(wǎng)絡(luò)神經(jīng)元個數(shù)相同的全互聯(lián)結(jié)構(gòu)聯(lián)想記憶網(wǎng)絡(luò)，并使用傳統(tǒng)聯(lián)想記憶網(wǎng)絡(luò)學(xué)習(xí)規(guī)則得到其連接權(quán)值矩陣W={wij}。

4)將W與C做點乘得到W*，通過NW網(wǎng)絡(luò)的連接矩陣C對Hopfield網(wǎng)絡(luò)連接權(quán)值矩陣W進(jìn)行優(yōu)化，W*為基于NW小世界網(wǎng)絡(luò)的聯(lián)想記憶模型的連接權(quán)矩陣。

5)根據(jù)W*為連接權(quán)值矩陣，建立基于NW小世界網(wǎng)絡(luò)的聯(lián)想記憶模型。

該模型保留了聯(lián)想記憶的功能，又具有小世界特性，在保證網(wǎng)絡(luò)性能的前提下，運用小世界思想將全連接結(jié)構(gòu)很大程度上地進(jìn)行了稀疏化，從而大大地減小了模型的復(fù)雜度，由于神經(jīng)元之間的平均連接規(guī)模被有效降低，更有利于網(wǎng)絡(luò)的硬件實現(xiàn)，在運算速度上也更快。

2.2 模型的算法

模型的工作過程與傳統(tǒng)聯(lián)想記憶相似，也分為記憶階段和聯(lián)想階段。記憶階段就是根據(jù)網(wǎng)絡(luò)結(jié)構(gòu)，設(shè)計或?qū)W習(xí)網(wǎng)絡(luò)的連接權(quán)值，使模型具有若干個穩(wěn)定狀態(tài)；聯(lián)想階段就是根據(jù)給定輸入模式，通過動力學(xué)演化到穩(wěn)定狀態(tài)，回想起已存儲模式的過程[10]。

2.2.1 記憶階段

記憶階段就是一個對權(quán)值學(xué)習(xí)和確定的過程，記憶階段的完成應(yīng)該形成網(wǎng)絡(luò)的連接權(quán)值矩陣。假設(shè)基于NW小世界網(wǎng)絡(luò)的聯(lián)想記憶模型中有N個神經(jīng)元，它的連接矩陣可以用C={cij}來表示，如果神經(jīng)元i到j(luò)之間存在一個連接，那么cij=1，如果不存在連接，cij=0，最終得到表示模型存在連接關(guān)系的矩陣C：

cii=0,cij=cji

(1)

假設(shè)模型為全互聯(lián)Hopfield網(wǎng)絡(luò)，使用Hebb學(xué)習(xí)規(guī)則來確定模型的權(quán)值矩陣W={wij}，且wii=0,wij=wji，權(quán)值可以表示為

(2)

由式(1)、(2)，通過重連概率p確定NW小世界網(wǎng)絡(luò)的連接矩陣，進(jìn)一步利用其對模型的權(quán)值矩陣W={wij}進(jìn)行化簡，可得出基于NW小世界網(wǎng)絡(luò)的聯(lián)想記憶模型的連接權(quán)值矩陣W*：

(3)

2.2.2 聯(lián)想階段

聯(lián)想階段就是在已知權(quán)值矩陣的基礎(chǔ)上構(gòu)建網(wǎng)絡(luò)模型，然后將給定的模式輸入到模型中進(jìn)行處理，通過動力學(xué)演化最終達(dá)到穩(wěn)定狀態(tài)，回想起已存儲的模式。

假設(shè)有一組待記憶的N維模式列向量ξμ，μ={1，2，…，M}，ξu為任意輸入模式，ξu′為ξu的下一個狀態(tài)，網(wǎng)絡(luò)的動力學(xué)演化方程為

ξμ′=sgn(W*ξμ)

(4)

當(dāng)網(wǎng)絡(luò)狀態(tài)按照式(4)不斷演化到達(dá)穩(wěn)定狀態(tài)時，定義參數(shù)R為

(5)

式(5)表示得到的輸出模式ξ′與已存儲模式ξ的相似度，可以用來作為衡量模型聯(lián)想記憶性能和抗干擾能力的指標(biāo)。

3 仿真與分析

為了驗證引入NW小世界網(wǎng)絡(luò)來代替WS小世界網(wǎng)絡(luò)后模型的性能得到了提高，給出如下 2個實驗進(jìn)行分析。分別討論NWAM 與WSAM關(guān)于不同參數(shù)聯(lián)想記憶性能的對比，以及2種模型同時用于含噪交通標(biāo)志圖像識別時的效果對比。

為了表示理解，將原始交通圖像作為以存儲模式ξ，最終識別圖像為輸出模式ξ′，因此參數(shù)R可以表示圖像的相似程度，定義為圖像的重復(fù)度。

實驗1 NWAM與WSAM 聯(lián)想記憶性能對比分析。

1)考察模型在其他條件相同，重連概率p不同的情況下模型的聯(lián)想記憶性能。

為了便于判斷和分析，模型取神經(jīng)元個數(shù)N=2 500，模式M=10，平均度K=50，全局連接度c=0.02。比較NWAM和WSAM對隨機(jī)加噪 30% 模式的聯(lián)想記憶能力。實驗結(jié)果如圖2所示。

圖2 不同重連概率下，2種模型記憶性能比較Fig.2 Simulation results of NWAM and WSAM with different probabilities

實驗結(jié)果顯示，在其他條件相同的情況下，當(dāng)重連概率p不斷增加時，2種模型的聯(lián)想記憶性都能得到極大的改善，但是NWAM的性能提高的程度要明顯高于WSAM，在任意相同概率p下，NWAM對加噪模式聯(lián)想記憶的性能都要優(yōu)于WSAM，而且NWAM 最終達(dá)到的性能狀態(tài)也明顯優(yōu)于WSAM。

2)考察2種模型的網(wǎng)絡(luò)性能與網(wǎng)絡(luò)全局連接度c之間的關(guān)系。

模型取神經(jīng)元個數(shù)N=2 500，模式M=10，重連概率p=0.4，加噪程度為30%。結(jié)果如圖3。

圖3 不同全局連接度下模型回憶性能比較(加噪 30% )Fig.3 Simulation results of NWAM and WSAM with different connection degree c with 30% noise

實驗結(jié)果顯示，當(dāng)網(wǎng)絡(luò)全局連通度c不斷增加時，2種模型的網(wǎng)絡(luò)性能都得到提高，但是，在任意相同全局連接度c下，NWAM對加噪模式聯(lián)想記憶的性能都要優(yōu)于WSAM，而且當(dāng)c的值很小時，模型的性能就可以達(dá)到一個很高的水平。

3)考察噪音干擾下的網(wǎng)絡(luò)性能。

取相同的網(wǎng)絡(luò)環(huán)境，N=2 500，M=10，p=0.4，K=50，噪音選用常見的椒鹽噪聲，對比2種模型在噪音干擾下的網(wǎng)絡(luò)性能，結(jié)果如圖4所示。

圖4 不同加噪程度下2種模型回憶性能比較Fig.4 Simulation results of NWAM and WSAM with different levels of noise

隨著加噪程度的不斷增加，2種模型的性能都受到影響，但是NWAM性能始終要優(yōu)于WSAM，而且當(dāng)噪音較大時，NWAM依然可以維持很好的網(wǎng)絡(luò)性能，表現(xiàn)出較強(qiáng)的抗干擾能力。

實驗2 應(yīng)用實例對比研究。

為驗證新模型對加噪圖像識別的實際效果，文中引入了一個二值化交通標(biāo)志圖像，分別對其添加30%、50%椒鹽噪聲；均值為0，方差為0.1、0.3的高斯噪聲；25%遮擋處理，然后分別用2種模型分別對含有噪音的交通圖像進(jìn)行識別，取相同的網(wǎng)絡(luò)環(huán)境：重連概率p=0.4，平均度K=50，所取樣本圖像像素為50×50，迭代次數(shù)為1。其效果圖如圖5所示。

(a)原始記憶圖像及加噪圖像

從圖5對比結(jié)果可以看出，這2種模型都可以在噪音干擾下對圖像進(jìn)行識別，但NWAM的識別效果始終要比WSAM好。特別是對30%、50%椒鹽噪音時，效果明顯要優(yōu)于WSAM的識別效果，總體來說， NWAM用于模式記憶和加噪模式識別的性能優(yōu)于WSAM，體現(xiàn)出更強(qiáng)的魯棒處理能力。

4 結(jié)束語

本文對NW小世界網(wǎng)絡(luò)進(jìn)行了分析，將其引入到聯(lián)想記憶網(wǎng)絡(luò)中，構(gòu)建基于NW小世界網(wǎng)絡(luò)結(jié)構(gòu)的聯(lián)想記憶模型，借鑒現(xiàn)有小世界聯(lián)想記憶模型的思想給出模型的生成方法以及相應(yīng)的理論算法。實驗結(jié)果表明，網(wǎng)絡(luò)模型的性能主要與重連概率p、全局連接度c和加噪指數(shù)有關(guān)。當(dāng)加噪指數(shù)相同時，2個模型的聯(lián)想和記憶性能都隨著重連概率p和全局連接度c的增加而得到改善，而且NWAM的性能始終要優(yōu)于WSAM；當(dāng)重連概率p和全局連接度c相同時，模型的網(wǎng)絡(luò)性能隨著加噪指數(shù)的增加都發(fā)生了不同程度的降低，但與WSAM相比，NWAM降低很慢且平緩，表現(xiàn)出更強(qiáng)的抗干擾能力。最終，將模型應(yīng)用于含噪交通圖像識別中，識別結(jié)果顯示，在不同形式、程度的噪聲和遮擋干擾下，NWAM的識別準(zhǔn)確率要高于WSAM，識別結(jié)果更清晰，表現(xiàn)出良好的容錯性和魯棒性。通過仿真結(jié)果發(fā)現(xiàn)，基于NW小世界網(wǎng)絡(luò)結(jié)構(gòu)的聯(lián)想記憶模型具有以下優(yōu)點：

1)將NW小世界網(wǎng)絡(luò)引入到聯(lián)想記憶網(wǎng)絡(luò)中，簡化了網(wǎng)絡(luò)結(jié)構(gòu)，減小了網(wǎng)絡(luò)的時間和空間復(fù)雜度，使網(wǎng)絡(luò)的硬件實現(xiàn)也變得更容易。

2)與WSAM相比，有效地保護(hù)連接權(quán)上的信息，同時避免了孤立節(jié)點的產(chǎn)生，使模型對模式的記憶和聯(lián)想能力都得到了很大提高，對加噪模式識別時抗干擾能力也更強(qiáng)。

3)通過對比2個模型對含噪音交通圖像的識別結(jié)果發(fā)現(xiàn)，NWAM識別結(jié)果要比WSAM更準(zhǔn)確，與原圖像的誤差更小，從而證明其具有更好的魯棒性。

參考文獻(xiàn):

[1]EGUILUZ V M, CHIALVO D R, CEEHI G A， et al. Seale-free brain functional networks[J].Phys Rev Lett, 2005, (94) 5: 18-22.

[2]AGUIRRE C, HUERTA R, CORBACHO F, et al. Analysis of biologically inspired small-world networks[J].Artificial Neural Networks, 2002, 15(4): 27-32.

[3]BOHLAND J W, MINAI A A. Efficient associative memory using small-world architecture[J]. Neurocomputing, 2001, 38(9): 489-496.

[4]陳蕾，張道強(qiáng)，周鵬，等. 基于SWA的核自聯(lián)想記憶模型及其人臉識別應(yīng)用[J]. 應(yīng)用科學(xué)學(xué)報, 2005, 23(5): 497-501.

CHEN Lei, ZHANG Daoqiang, ZHOU Peng, et al. Small-world architecture based kernel auto-associative memory model and its application to face recognition[J]. Journal of applied Sciences, 2005, 23(5): 497-501.

[5]金燕暉，陳賢富. 基于小世界體系的投影學(xué)習(xí)聯(lián)想記憶模型研究[J]. 計算機(jī)仿真, 2009, 26(4): 207-210.

JIN Yanhui, CHEN Xianfu. A projection learning rule associative memory model based on small-world architecture[J]. Computer Simulation, 2009, 26(4): 207-210

[6]陳蕾，陳松燦，張道強(qiáng). 小世界體系的多對多聯(lián)想記憶模型及其應(yīng)用[J]. 軟件學(xué)報, 2006, 17(2): 223-231.

CHEN Lei, CHEN Songcan, ZHANG Daoqiang. Small world structure inspired many to many kernel associative memory models and their application[J]. Journal of Software, 2006, 17(2): 223-231.

[7]NEWMAN M E J, WATTS D J. Scaling and percolation in the small-world network model[J]. Phys, 1999, 60(8): 7332-7342.

[8]張瑞成，李沖. 小世界人工神經(jīng)網(wǎng)絡(luò)模型及其應(yīng)用研究[J]. 計算機(jī)仿真，2011, 28(10): 95-98.

ZHANG Ruicheng, LI Chong. Model of NW multilayer feedforward small-world artificial neural networks and it’s applied[J]. Computer Simulation, 2011, 28(10): 95-98.

[9]NEWMAN M E, WATTS D J. Renormalization group analysis of the small-world network model[J]. Physics Letters A, 1999, 263(4): 341-346.

[10]楊靜，高雋，謝昭，等. 一種新的小世界體系聯(lián)想記憶模型[J]. 儀器儀表學(xué)報, 2009, 30(10): 2057-2063.

YANG Jing, GAO Jun, XIE Zhao, et al. Novel associative memory model based on small-world adaptive structure[J]. Chinese Journal of Scientific Instrument, 2009, 30(10): 2057-2063.