基于離散Hopfield神經(jīng)網(wǎng)絡(luò)的數(shù)字識別實現(xiàn)

金燦

摘要： 介紹了離散Hopfield神經(jīng)網(wǎng)絡(luò)的基本概念；以MATLAB為工具，根據(jù)Hopfield神經(jīng)網(wǎng)絡(luò)的相關(guān)知識，設(shè)計了一個具有聯(lián)想記憶功能的離散型Hopfield神經(jīng)網(wǎng)絡(luò)，并給出了設(shè)計思路、設(shè)計步驟和測試結(jié)果。實驗結(jié)果表明，通過聯(lián)想記憶，對于帶有一定噪聲的數(shù)字點陣，Hopfield網(wǎng)絡(luò)可以正確地進行識別,且當(dāng)噪聲強度為0.1時的識別效果較好。

關(guān)鍵詞： 離散； Hopfield神經(jīng)網(wǎng)絡(luò)； 聯(lián)想記憶； 數(shù)字識別

中圖法分類號：TP301.6文獻標(biāo)識碼：A 文章編號：1006-8228（2012）03-01-03

On numerical recognition using discrete Hopfield neural network

Jin Can1,2

（1. School of Information Science and Engineering, Central South University, Changsha, Hunan 410083, China

2. Modern Education Technology Center, Hunan University of Arts and Science）

Abstract: The author introduces in this paper the basic concept of discrete Hopfield neural network (DHNN), and then designs a discrete Hopfield neural network model with associative memory function using MATLAB according to the related knowledge of DHNN. Specifically, the author presents the idea of designing, designing procedure and the testing results. The simulation shows that DHNN can correctly recognize the numerical dot matrices with noises. When noise intensity is less than 0.1, the recognition ability is satisfactory.

Key words: Discrete； Hopfield neural network； Associative memory； Numeral recognition

1 離散Hopfield神經(jīng)網(wǎng)絡(luò)概述

Hopfield網(wǎng)絡(luò)作為一種全連接型的神經(jīng)網(wǎng)絡(luò)，曾經(jīng)為人工神經(jīng)網(wǎng)絡(luò)的發(fā)展開辟了新的研究途徑。它利用與階層性神經(jīng)網(wǎng)絡(luò)不同的結(jié)構(gòu)特征和學(xué)習(xí)方法，模擬生物神經(jīng)網(wǎng)絡(luò)的記憶機理，獲得了令人滿意的結(jié)果。這一網(wǎng)絡(luò)及學(xué)習(xí)算法最初是由美國物理學(xué)家J.J Hopfield于1982年首先提出的，故稱為Hopfield神經(jīng)網(wǎng)絡(luò)[1]。

Hopfield最早提出的網(wǎng)絡(luò)是二值神經(jīng)網(wǎng)絡(luò)，神經(jīng)元的輸出值只取1或-1，所以，也稱離散Hopfield神經(jīng)網(wǎng)絡(luò)(DHNN, Discrete Hopfield Neural Network)。在離散Hopfield網(wǎng)絡(luò)中，所采用的神經(jīng)元是二值神經(jīng)元，因此，所輸出的離散值1和-1分別表示神經(jīng)元處于激活和抑制狀態(tài)[2]。

DHNN是一種單層、輸出為二值的反饋網(wǎng)絡(luò)。假設(shè)有一個由三個神經(jīng)元組成的離散Hopfield神經(jīng)網(wǎng)絡(luò)[3]，其結(jié)構(gòu)如圖1所示[4]。

在圖1中，第0層僅僅作為網(wǎng)絡(luò)的輸入，它不是實際神經(jīng)元，所以無計算功能；第1層是神經(jīng)元，執(zhí)行對輸入信息與權(quán)系數(shù)的乘積求累加和，并經(jīng)非線性函數(shù)f 處理后產(chǎn)生輸出信息。f是一個簡單的閾值函數(shù)，如果神經(jīng)元的輸出信息大于閾值θ，那么，神經(jīng)元的輸出取值為1；小于閾值θ，則神經(jīng)元的輸出取值為-1。

圖1離散Hopfield神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

對于二值神經(jīng)元，它的計算公式如下：

⑴

式中，xj為外部輸入，并且有

⑵

一個DHNN的網(wǎng)絡(luò)狀態(tài)是輸出神經(jīng)元信息的集合。對于一個輸出層是n個神經(jīng)元的網(wǎng)絡(luò)，其t時刻的狀態(tài)為一個n維變量：

⑶

因為yi（t）(i=1,2，…，n)可以取值為1或-1，故n維向量Y(t)有2n種狀態(tài)，即網(wǎng)絡(luò)有2n種狀態(tài)。

我們考慮DHNN的一般節(jié)點狀態(tài)。用yj(t)表示第j個神經(jīng)元，即節(jié)點j在時刻t的狀態(tài)，則節(jié)點的下一個時刻(t+1)的狀態(tài)可以求得：

⑷

⑸

如果wij在i-j時等于0，說明一個神經(jīng)元的輸出并不會反饋到其輸入，這時，DHNN稱為無自反饋的網(wǎng)絡(luò)。如果wij在i=j時不等于0，說明一個神經(jīng)元的輸出會反饋到其輸入端，這時，DHNN稱為有自反饋的網(wǎng)絡(luò)[4]。

2 聯(lián)想記憶網(wǎng)絡(luò)

聯(lián)想記憶是神經(jīng)網(wǎng)絡(luò)理論的一個重要組成部分，也是神經(jīng)網(wǎng)絡(luò)用于模式識別與人工智能等領(lǐng)域的一個重要功能。Hopfield網(wǎng)絡(luò)模擬了生物神經(jīng)網(wǎng)絡(luò)的記憶功能，也常常被稱為聯(lián)想記憶網(wǎng)絡(luò)。所謂的聯(lián)想記憶也成為了一種基于內(nèi)容的存取方法，信息被分布于生物記憶的內(nèi)容之中，而不是某個確定的地址。聯(lián)想記憶可分為自聯(lián)想與異聯(lián)想兩種。Hopfield網(wǎng)絡(luò)屬于自聯(lián)想網(wǎng)絡(luò)。自聯(lián)想能將網(wǎng)絡(luò)中輸入模式映射到存貯在網(wǎng)絡(luò)中一種模式。聯(lián)想記憶網(wǎng)絡(luò)不僅能將輸入模式映射為自己所存貯的模式，而且還能對具有缺省噪音的輸入模式有一定的容錯能力。

設(shè)在學(xué)習(xí)過程中給聯(lián)想記憶網(wǎng)絡(luò)存入M個樣本：{Xi}i=1,2，……M。若給聯(lián)想記憶網(wǎng)絡(luò)加以輸入X'=Xm+V，其中Xm是M個學(xué)習(xí)樣本之一，V是偏差項，則通過自聯(lián)想聯(lián)想記憶網(wǎng)絡(luò)的輸出為Xm，即使之復(fù)原。

Hopfield聯(lián)想記憶網(wǎng)絡(luò)運行步驟為：

第一步：設(shè)定記憶模式。將欲存儲的模式進行編碼，得到取值為1和-1的記憶模式(m

。

第二步：設(shè)計網(wǎng)絡(luò)的權(quán)值。

，

其中wij一旦計算完畢，將保持不變。

第三步：初始化網(wǎng)絡(luò)狀態(tài)。將欲識別模式設(shè)為網(wǎng)絡(luò)狀態(tài)的初始狀態(tài)，為網(wǎng)絡(luò)中任意神經(jīng)元i在t=0時刻的狀態(tài)。

第四步：迭代收斂。隨機地更新某一神經(jīng)元的狀態(tài)，反復(fù)迭代直至網(wǎng)絡(luò)中所有神經(jīng)元的狀態(tài)不變?yōu)橹埂?/p>

第五步：網(wǎng)絡(luò)輸出。這時的網(wǎng)絡(luò)狀態(tài)(穩(wěn)定狀態(tài))即為網(wǎng)絡(luò)的輸出y=vi(T)。

3 基于Hopfield神經(jīng)網(wǎng)絡(luò)的數(shù)字識別

根據(jù)Hopfield神經(jīng)網(wǎng)絡(luò)相關(guān)知識，下面設(shè)計一個具有聯(lián)想記憶功能的離散型Hopfield神經(jīng)網(wǎng)絡(luò)，要求該網(wǎng)絡(luò)可以正確識別0~9這10個數(shù)字，并且當(dāng)數(shù)字被一定的噪聲干擾后，仍具有較好的識別效果。

3.1 設(shè)計思路

假設(shè)網(wǎng)絡(luò)由0~9共10個穩(wěn)態(tài)構(gòu)成，每個穩(wěn)態(tài)用10*10的矩陣表示。該矩陣可直觀地描述阿拉伯?dāng)?shù)字，即把矩陣規(guī)分成10*10個單元，有數(shù)字軌跡的單元用1表示，空白部分用-1表示，如圖2所示。網(wǎng)絡(luò)對這10個穩(wěn)態(tài)即10個數(shù)字（點陣）具有聯(lián)想記憶的功能，當(dāng)有帶噪聲的數(shù)字點陣輸入到該網(wǎng)絡(luò)時，網(wǎng)絡(luò)的輸出便可以得到最接近的目標(biāo)向量(即10個穩(wěn)態(tài))，從而達到正確識別的效果。

圖2數(shù)字1和2的點陣圖

3.2 設(shè)計步驟

按照上述思路，設(shè)計Hopfield網(wǎng)絡(luò)需要經(jīng)過以下幾個步驟，如圖3所示。

[設(shè)計數(shù)字點陣

（0-9）][創(chuàng)建Hopfield

網(wǎng)絡(luò)][產(chǎn)生帶

噪聲的

數(shù)字點陣] [數(shù)字識

別測試][結(jié)果

分析]

圖3Hopfield網(wǎng)絡(luò)設(shè)計流程圖

3.3 MATLAB實現(xiàn)

利用MATLAB神經(jīng)網(wǎng)絡(luò)工具箱提供的函數(shù)，可以按照Hopfield網(wǎng)絡(luò)設(shè)計流程圖將設(shè)計步驟一一在MATLAB環(huán)境下實現(xiàn)。

3.3.1 輸入輸出設(shè)計

如圖2所示，有數(shù)字的部分用1表示，空白部分用-1表示，即可得到0~9的點陣。將數(shù)字點陣以圖形的形式呈現(xiàn)出來，如圖4所示。

圖4數(shù)字點陣0~9的實現(xiàn)結(jié)果

以數(shù)字1、2、3、4為例，利用這四個數(shù)字點陣構(gòu)成訓(xùn)練樣本T：

T=[array_one; array_two; array_three; array_four]

3.3.2 網(wǎng)絡(luò)建立

利用newhop( )函數(shù)可以方便地創(chuàng)建一個離散型Hopfield神經(jīng)網(wǎng)絡(luò)。

3.3.3 產(chǎn)生帶噪聲的數(shù)字點陣

常見的模擬產(chǎn)生帶噪聲數(shù)字的方法有兩種：固定噪聲法和隨機噪聲法。

固定噪聲法指的是人工修改的方法改變數(shù)字點陣某些位置的值，從而模擬產(chǎn)生帶噪聲的數(shù)字點陣。如果希望產(chǎn)生不同的帶噪聲的數(shù)字矩陣，需要人工做多次的修改，這無疑是比較麻煩的。

相比較而言，隨機噪聲產(chǎn)生法可以方便地產(chǎn)生各種類型的帶噪聲的數(shù)字矩陣。

隨機噪聲產(chǎn)生法是利用產(chǎn)生隨機數(shù)的方法來確定需要修改的點陣位置，進而對數(shù)字點陣進行修改。由于數(shù)字點陣中的值只有1和-1兩種，所以這里的修改就是將1換成-1，-1換成1。

3.3.4 網(wǎng)絡(luò)仿真

利用sim()函數(shù)可對神經(jīng)網(wǎng)絡(luò)進行仿真，其調(diào)用格式為：

4 實驗結(jié)果與分析

將帶噪聲的數(shù)字點陣輸入已創(chuàng)建好的Hopfield網(wǎng)絡(luò)，便可對帶噪聲的數(shù)字點陣進行識別，識別結(jié)果仍為數(shù)字點陣形式?？紤]到仿真結(jié)果的直觀性和可讀性，程序中的數(shù)字點陣將以圖形的形式呈現(xiàn)，如圖5所示。

圖5噪聲強度為0.1時數(shù)字識別結(jié)果

圖5所示的是噪聲強度為0.1(即10%的數(shù)字點陣位置值發(fā)生變化)時的識別效果。從圖中可以看出，識別效果較好。進一步的研究發(fā)現(xiàn)，隨著噪聲強度的增加識別效果逐漸下降。噪聲強度為0.2和0.3時的識別結(jié)果分別如圖6和圖7所示。從圖中不難看出，當(dāng)噪聲強度為0.3時，Hopfield已經(jīng)很難對數(shù)字進行識別了。

圖6噪聲強度為0.2時的識別結(jié)果

圖7噪聲強度為0.3時的識別結(jié)果

5 結(jié)束語

通過對實驗結(jié)果的分析，可以得出結(jié)論：對于帶一定噪聲的數(shù)字點陣，Hopfield網(wǎng)絡(luò)可以正確地進行數(shù)字識別。下一步的工作可以將一些優(yōu)化算法與離散Hopfield神經(jīng)網(wǎng)絡(luò)相結(jié)合，使神經(jīng)網(wǎng)絡(luò)的聯(lián)想記憶能力更強，應(yīng)用效果更為突出。

例如，由于一般離散Hopfield神經(jīng)網(wǎng)絡(luò)存在很多偽穩(wěn)定點[1]，網(wǎng)絡(luò)很難得到真正的穩(wěn)態(tài)，為此可以將遺傳算法應(yīng)用到離散Hopfield神經(jīng)網(wǎng)絡(luò)中，利用遺傳算法的全局搜索能力，對Hopfield聯(lián)想記憶穩(wěn)態(tài)進行優(yōu)化，使待聯(lián)想的模式跳出偽穩(wěn)定點，從而使Hopfield網(wǎng)絡(luò)在較高信噪比的情況下保持較高的聯(lián)想成功率。

參考文獻：

[1] 飛思科產(chǎn)品研發(fā)中心.神經(jīng)網(wǎng)絡(luò)與MATLAB 7實現(xiàn)[M] .電子工業(yè)出版社,2005.

[2] MATLAB神經(jīng)網(wǎng)絡(luò)與應(yīng)用(2版)[M].國防工業(yè)出版社,2007.

[3] 張良均,曹晶,蔣世忠.神經(jīng)網(wǎng)絡(luò)適用教程[M].機械工業(yè)出版社,2008.

[4] 史峰,王小川等.MATLAB神經(jīng)網(wǎng)絡(luò)30個案例分析[M].北京航空航天大學(xué)出版社,2010.

[5] 邊肇祺,張學(xué)工等.模式識別[M].清華大學(xué)出版社,1999.

[6] 張宏林.數(shù)字圖像模式識別技術(shù)及工程實踐[M].人民郵電出版社,2004.

[7] 鄧麗華,崔志強,張靜.基于人工神經(jīng)網(wǎng)絡(luò)的手寫體數(shù)字識別[J].三峽大學(xué)學(xué)報,2005.6:255~256

[8] 孫兆林.MATLAB6.x 圖像處理[M].清華大學(xué)出版社,2002.

[9] 付德勝,張學(xué)勇.基于Hopfield神經(jīng)網(wǎng)絡(luò)噪聲數(shù)字的識別[J].通信技術(shù),Vol.43,No. 01,2010:126~129

[10] 孟祥武,程虎.基于任意給定訓(xùn)練集的離散型Hopfield網(wǎng)學(xué)習(xí)算法[J].軟件學(xué)報,1998.9(03):213~216

[11] 陳文宇,吳躍.Hopfield神經(jīng)網(wǎng)絡(luò)參數(shù)設(shè)置[J].計算機工程與應(yīng)用,

2006.31.

[12] TALAVAN.YANEZ P M.Parameter setting of the Hopfield network applied to TSP[J].2002

[13] 張濤濤等.基于Hopfield神經(jīng)網(wǎng)絡(luò)的WSN分布式拓撲[J].計算機與現(xiàn)代化,2010.1:63~65

[14] 姜惠蘭,孔雅明.異聯(lián)想記憶Hopfield神經(jīng)網(wǎng)絡(luò)的模型、算法及性能[J].系統(tǒng)工程理論與實踐,2005.5:101~104