基于離散型Hopfield神經(jīng)網(wǎng)絡(luò)的聯(lián)想記憶能力研究 

余洋++傅成華

摘要：人工神經(jīng)網(wǎng)絡(luò)是對(duì)人腦功能的簡(jiǎn)單抽象和模擬，實(shí)質(zhì)是一種數(shù)學(xué)模型。它通過(guò)大量的簡(jiǎn)單處理單元互相連接成規(guī)模龐大的簡(jiǎn)單抽象和信息處理系統(tǒng)，能夠存儲(chǔ)經(jīng)驗(yàn)知識(shí)和聯(lián)想回憶并使用已存儲(chǔ)知識(shí)，是目前智能信息處理技術(shù)發(fā)展的一個(gè)主流方向。它可以解決許多傳統(tǒng)方法難以解決或無(wú)法解決的問(wèn)題，尤其是那些與記憶、思維、認(rèn)知、推理及聯(lián)想相關(guān)的問(wèn)題。主要介紹了離散型Hopfield 神經(jīng)網(wǎng)絡(luò)的發(fā)展歷程、工作原理、使用方法及其聯(lián)想記憶功能，并通過(guò)舉例證明了離散型Hopfield神經(jīng)網(wǎng)絡(luò)的聯(lián)想記憶能力。

關(guān)鍵詞：人工神經(jīng)網(wǎng)絡(luò)；Hopfield神經(jīng)網(wǎng)絡(luò)；聯(lián)想記憶

DOIDOI：10.11907/rjdk.161853

中圖分類(lèi)號(hào)：TP391

文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)文章編號(hào)：16727800（2016）009014603

基金項(xiàng)目基金項(xiàng)目：

作者簡(jiǎn)介作者簡(jiǎn)介：余洋（1994-），男，湖北隨州人，四川理工學(xué)院自動(dòng)化電子信息學(xué)院碩士研究生，研究方向?yàn)橹悄芸刂?；傅成華（1958-），男，四川富順人，四川理工學(xué)院自動(dòng)化與電子信息學(xué)院教授、碩士生導(dǎo)師，研究方向?yàn)橄冗M(jìn)控制與系統(tǒng)優(yōu)化、神經(jīng)網(wǎng)絡(luò)與非線性信息處理。

0引言

Hopfield于1982年提出了一種新型的神經(jīng)網(wǎng)絡(luò)——Hopfield網(wǎng)絡(luò)模型。它采用了與層次型人工神經(jīng)網(wǎng)絡(luò)完全不一樣的結(jié)構(gòu)特征和學(xué)習(xí)方法來(lái)模擬生物神經(jīng)網(wǎng)絡(luò)的記憶機(jī)理，首次使用“能量函數(shù)”的概念，并且說(shuō)明了此神經(jīng)網(wǎng)絡(luò)與動(dòng)力學(xué)之間的關(guān)系，使得判斷神經(jīng)網(wǎng)絡(luò)在工作過(guò)程中的穩(wěn)定性有了非常簡(jiǎn)便和可靠的依據(jù)。該神經(jīng)網(wǎng)絡(luò)非常利于人們理解學(xué)習(xí)，也可以比較方便地在集成電路中實(shí)現(xiàn)。Hopfield神經(jīng)網(wǎng)絡(luò)根據(jù)網(wǎng)絡(luò)輸入輸出的不同分為兩種形式：離散型Hopfield神經(jīng)網(wǎng)絡(luò)和連續(xù)型Hopfield神經(jīng)網(wǎng)絡(luò)，兩種形式的神經(jīng)網(wǎng)絡(luò)應(yīng)用領(lǐng)域也各不相同。本文使用離散型Hopfield神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)聯(lián)想存儲(chǔ)器設(shè)計(jì)。

1離散型Hopfield神經(jīng)網(wǎng)絡(luò)

離散型Hopfield神經(jīng)網(wǎng)絡(luò)是由n個(gè)神經(jīng)元相互連接而成的二值神經(jīng)網(wǎng)絡(luò)[12]，并且各神經(jīng)元之間的連接是雙向的，連接強(qiáng)度用權(quán)值表示。網(wǎng)絡(luò)的全互聯(lián)結(jié)構(gòu)如圖1所示。神經(jīng)元的輸出為離散值0（或-1）和1，分別代表神經(jīng)元的抑制和激活狀態(tài)。由于神經(jīng)網(wǎng)絡(luò)的時(shí)間離散特性，因而其被稱(chēng)為離散型Hopfield神經(jīng)網(wǎng)絡(luò)[3]。

這種連接方式使得離散型Hopfield神經(jīng)網(wǎng)絡(luò)中每個(gè)神經(jīng)元的輸出均通過(guò)神經(jīng)元之間的連接權(quán)值反饋到同一層次的其它神經(jīng)元，并作為該神經(jīng)元的輸入，從而使各神經(jīng)元之間相互制約，保證離散型Hopfield神經(jīng)網(wǎng)絡(luò)在沒(méi)有外部輸入的情況下也能進(jìn)入穩(wěn)定狀態(tài)。

兩個(gè)互聯(lián)神經(jīng)元之間的連接權(quán)值相同（wij=wji），每個(gè)神經(jīng)元到其自身的連接權(quán)值為0，即wii =0。

1.1處理單元模型

離散型Hopfield神經(jīng)網(wǎng)絡(luò)的單個(gè)神經(jīng)元結(jié)構(gòu)如圖2所示，單個(gè)神經(jīng)元采用M-P模型進(jìn)行信息處理，假設(shè)神經(jīng)網(wǎng)絡(luò)有n個(gè)神經(jīng)元，以xj表示神經(jīng)元j的輸出（也稱(chēng)為神經(jīng)元的狀態(tài)），wij表示神經(jīng)元i與神經(jīng)元j之間的連接權(quán)值，θj表示神經(jīng)元j的閾值。

神經(jīng)元j的凈輸入sj=∑ni=1xiwij-θj（1）

神經(jīng)元j的輸出 xj=f（sj）=sgn（sj）=1sj>0-1sj≤0（2）

1.2網(wǎng)絡(luò)狀態(tài)及運(yùn)行規(guī)則

離散型Hopfield神經(jīng)網(wǎng)絡(luò)的狀態(tài)由網(wǎng)絡(luò)所有（n個(gè)）神經(jīng)元的狀態(tài)集合構(gòu)成，在任意一個(gè)給定的時(shí)刻t，離散型Hopfield神經(jīng)網(wǎng)絡(luò)的狀態(tài)表示為：

X（t）=（x1 ，x2 ，…，xn ）（3）

離散型Hopfield神經(jīng)網(wǎng)絡(luò)是全互聯(lián)反饋式的連接結(jié)構(gòu)，每個(gè)神經(jīng)元都會(huì)接收到全部神經(jīng)元的反饋信息，故當(dāng)網(wǎng)絡(luò)中的各神經(jīng)元狀態(tài)改變時(shí)，整個(gè)網(wǎng)絡(luò)狀態(tài)也隨之變化。當(dāng)網(wǎng)絡(luò)中各神經(jīng)元的輸出狀態(tài)都不再改變時(shí)就表示網(wǎng)絡(luò)達(dá)到穩(wěn)定狀態(tài)（即xj （t+1）=xj （t）=f（sj （t）））。神經(jīng)網(wǎng)絡(luò)要達(dá)到穩(wěn)定狀態(tài)需要經(jīng)過(guò)反復(fù)更新，學(xué)習(xí)訓(xùn)練。

離散型Hopfield神經(jīng)網(wǎng)絡(luò)的工作過(guò)程就是網(wǎng)絡(luò)狀態(tài)的動(dòng)態(tài)演化過(guò)程，即從網(wǎng)絡(luò)初始狀態(tài)沿能量遞減的方向不斷演化的過(guò)程，直到達(dá)到網(wǎng)絡(luò)的穩(wěn)定狀態(tài)，這時(shí)網(wǎng)絡(luò)的穩(wěn)定狀態(tài)就是網(wǎng)絡(luò)的輸出。離散型Hopfield神經(jīng)網(wǎng)絡(luò)工作時(shí)有以下運(yùn)行步驟：①對(duì)網(wǎng)絡(luò)進(jìn)行初始化；②從網(wǎng)絡(luò)中隨機(jī)選取一個(gè)神經(jīng)元i；③按照式（1）計(jì)算神經(jīng)元i在t時(shí)刻的凈輸入si （t）；④按照式（2）計(jì)算神經(jīng)元i在t+1時(shí)刻的輸入xi（t+1），此時(shí)網(wǎng)絡(luò)中除i以外的其它神經(jīng)元j的輸出保持不變，即xj（t+1）=xj（t）其中i ≠j；⑤按照式xj（t+1）=xj（t）=f（sj（t））判斷網(wǎng)絡(luò)是否達(dá)到了穩(wěn)定狀態(tài)，如果未達(dá)到穩(wěn)定狀態(tài)就轉(zhuǎn)到②繼續(xù)進(jìn)行，如果網(wǎng)絡(luò)達(dá)到穩(wěn)定狀態(tài)則網(wǎng)絡(luò)的工作過(guò)程終止。

1.3離散型Hopfield神經(jīng)網(wǎng)絡(luò)的能量函數(shù)

Hopfield神經(jīng)網(wǎng)絡(luò)的一大特點(diǎn)就是引入了“能量函數(shù)”，它表明了神經(jīng)網(wǎng)絡(luò)與動(dòng)力學(xué)之間的關(guān)系。上文也提到，網(wǎng)絡(luò)運(yùn)行時(shí)在網(wǎng)絡(luò)狀態(tài)不斷變化過(guò)程中，網(wǎng)絡(luò)的能量值不斷遞減，直到達(dá)到穩(wěn)定狀態(tài)。這說(shuō)明網(wǎng)絡(luò)的能量值與網(wǎng)絡(luò)的穩(wěn)定狀態(tài)有著十分密切的關(guān)系。能量函數(shù)定義為：

E=-12∑ni=1∑nj=1wijxixj+∑ni=1θixi（4）

Hopfield神經(jīng)網(wǎng)絡(luò)實(shí)際上是一個(gè)非線性動(dòng)力系統(tǒng)，網(wǎng)絡(luò)按動(dòng)力學(xué)方式運(yùn)行，網(wǎng)絡(luò)狀態(tài)的變化過(guò)程實(shí)際上是使能量極小化的過(guò)程：每次神經(jīng)元狀態(tài)改變時(shí)，整個(gè)網(wǎng)絡(luò)的能量應(yīng)單調(diào)遞減，即能量與以前相同或下降。證明如下：

設(shè)任一神經(jīng)元j由式（4）得神經(jīng)元j的能量為：

Ej=-12∑ni=1wijxixj+θjxj（5）

該式可變換為：

Ej=-12xj∑ni=1wijxi+θjxj（6）

由t時(shí)刻到t+1時(shí)刻神經(jīng)元j的能量變化為：ΔEj=Ej（t+1）-Ej（t）= -Δxj（∑ni=1wijxi-θj）+12Δxj∑ni=1wijxi（7）

由于在t+1時(shí)刻只有神經(jīng)元j調(diào)整狀態(tài)，并且各神經(jīng)元不存在自反饋，式（7）可簡(jiǎn)化為：

ΔEj= -Δxj（∑ni=1wijxi-θj）（8）

在t+1時(shí)刻共有以下3種可能情況來(lái)分析ΔEj的大小從而論證網(wǎng)絡(luò)能量值的改變方向：①如果神經(jīng)元j的狀態(tài)不發(fā)生變化，即xj （t+1）=xj （t），則Δxj=0，由式（8）可知ΔEj=0；②如果神經(jīng)元j的狀態(tài)發(fā)生變化，是從-1變?yōu)?，則Δxj=2，此時(shí)由式（1）和式（2）可知∑ni=1wijxi-θj>0，再由式（8）得ΔEj<0；③如果神經(jīng)元j的狀態(tài)發(fā)生變化，是從1變?yōu)?1，則Δxj=-2，此時(shí)由式（1）和式（2）可知∑ni=1wijxi-θj≤0，再由式（8）得ΔEj≤0。

綜上可知，從t時(shí)刻到t+1時(shí)刻，無(wú)論神經(jīng)元j的狀態(tài)如何變化，其能量的改變量均為ΔEj≤0。由于神經(jīng)元j是網(wǎng)絡(luò)中任意一個(gè)神經(jīng)元，而網(wǎng)絡(luò)中的神經(jīng)元又都是按照同一規(guī)則來(lái)更新?tīng)顟B(tài)的，因而整個(gè)網(wǎng)絡(luò)的能量一直向減少的方向進(jìn)行。網(wǎng)絡(luò)變化的過(guò)程就是網(wǎng)絡(luò)能量的極小化過(guò)程，因?yàn)槟芰亢瘮?shù)是有界的，故網(wǎng)絡(luò)一定會(huì)趨于穩(wěn)定狀態(tài)，該穩(wěn)定狀態(tài)就是網(wǎng)絡(luò)的輸出。離散型Hopfield神經(jīng)網(wǎng)絡(luò)能量函數(shù)的變化曲線如圖3所示，能量函數(shù)的變化過(guò)程可以看作是下坡的過(guò)程，當(dāng)網(wǎng)絡(luò)的狀態(tài)隨時(shí)間改變時(shí)，整個(gè)網(wǎng)絡(luò)的能量沿著下降最快的方向改變，最終停在整個(gè)網(wǎng)絡(luò)能量的極小點(diǎn)[4]。這些極小點(diǎn)有全局極小點(diǎn)c，也有局部極小點(diǎn)a、b，最終落入哪種極小點(diǎn)取決于網(wǎng)絡(luò)的初始狀態(tài)。網(wǎng)絡(luò)能量函數(shù)變化曲線如圖3所示。

1.4關(guān)于離散型Hopfield神經(jīng)網(wǎng)絡(luò)聯(lián)想記憶的連接權(quán)值設(shè)計(jì)

離散型Hopfield神經(jīng)網(wǎng)絡(luò)可以應(yīng)用于聯(lián)想記憶[5]，其聯(lián)想記憶的基本原理是利用能量函數(shù)的極值點(diǎn)，網(wǎng)絡(luò)將記憶的樣本信息存儲(chǔ)在不同的能量極值點(diǎn)上，當(dāng)網(wǎng)絡(luò)輸入某一種模式時(shí)，網(wǎng)絡(luò)工作到穩(wěn)定狀態(tài)后能夠“聯(lián)想記憶”出與其相關(guān)的其它存儲(chǔ)樣本，從而實(shí)現(xiàn)聯(lián)想記憶。并且神經(jīng)網(wǎng)絡(luò)都有很好的容錯(cuò)性能，即使是對(duì)一些不全的、破損的、變形的輸入信息，網(wǎng)絡(luò)也能夠很好地將其恢復(fù)成比較完整的原型信息。記憶是聯(lián)想的前提，必須先將信息存儲(chǔ)起來(lái)，才能按照某種方式或規(guī)則再取出相關(guān)信息，能量極值點(diǎn)存儲(chǔ)記憶模式，而網(wǎng)絡(luò)的連接權(quán)值和閾值決定這些極值點(diǎn)的分布，因此網(wǎng)絡(luò)聯(lián)想記憶的關(guān)鍵就是根據(jù)能量極值點(diǎn)和需要被記憶的模式設(shè)計(jì)一組恰當(dāng)?shù)木W(wǎng)絡(luò)連接權(quán)值和閾值。

網(wǎng)絡(luò)在沒(méi)有記憶之前是空白狀態(tài)，只有設(shè)計(jì)了恰當(dāng)?shù)倪B接權(quán)值和閾值才會(huì)使網(wǎng)絡(luò)具有知識(shí)，連接權(quán)值的設(shè)計(jì)調(diào)整過(guò)程就是網(wǎng)絡(luò)的學(xué)習(xí)過(guò)程。離散型Hopfield神經(jīng)網(wǎng)絡(luò)一般用Hebb規(guī)則的外積和法來(lái)設(shè)計(jì)權(quán)值。方法具體如下：

假設(shè)網(wǎng)絡(luò)共有n個(gè)節(jié)點(diǎn)，W是網(wǎng)絡(luò)的連接權(quán)矩陣，如果網(wǎng)絡(luò)一共處理m個(gè)兩兩正交的模式樣本，則網(wǎng)絡(luò)的學(xué)習(xí)記憶集合為xk=（xk1，xk2，…，xkn）（k=1，2，…，m）。

（1）若m=1只有一個(gè)學(xué)習(xí)模式，學(xué)習(xí)記憶集合為X1，對(duì)于輸入模式X1，如果網(wǎng)絡(luò)達(dá)到穩(wěn)定狀態(tài)，有：

X1=sgn（XW），即x1j=sgn（∑ni=1wijx1i）j=1，2， …，n（9）

由sgn函數(shù)的特點(diǎn)可知，若滿(mǎn)足x1j（∑ni=1wijx1i）>0，即若連接權(quán)值wij正比于x1jx1i，則式（9）成立。綜合可得，網(wǎng)絡(luò)的連接權(quán)值與輸入模式向量的每個(gè)分量之間滿(mǎn)足關(guān)系：

wij=αx1jx1iα為常數(shù)而且大于零（10）

（2）如果有多個(gè)學(xué)習(xí)模式，則可將式（10）進(jìn)行推廣有：

wij=α∑mk=1xkjxkiα為常數(shù)而且大于零（11）

由wii=0可將式（11）改寫(xiě)為：

W=α∑mk=1[（Xk）TXk-I]α為常數(shù)而且大于零，I為nxn的單位矩陣（12）

在設(shè)計(jì)好網(wǎng)絡(luò)連接權(quán)矩陣后，網(wǎng)絡(luò)就處于正常工作狀態(tài)，加載輸入模式向量時(shí)，網(wǎng)絡(luò)可以進(jìn)行模式的記憶及聯(lián)想。

2聯(lián)想記憶功能實(shí)現(xiàn)證明

聯(lián)想記憶的過(guò)程分為兩個(gè)階段：第一階段是記憶階段（也稱(chēng)存儲(chǔ)階段、學(xué)習(xí)階段），它是聯(lián)想記憶的關(guān)鍵，其處理過(guò)程是將記憶模式作為網(wǎng)絡(luò)的穩(wěn)定狀態(tài)，并通過(guò)設(shè)計(jì)或?qū)W習(xí)獲得需要的網(wǎng)絡(luò)連接權(quán)值；第二階段是聯(lián)想階段（也稱(chēng)回憶階段），此階段是利用網(wǎng)絡(luò)進(jìn)行回憶，將給定的輸入模式作為網(wǎng)絡(luò)的初始狀態(tài)，網(wǎng)絡(luò)按照既定的運(yùn)行規(guī)則不斷演化，一直演化到網(wǎng)絡(luò)的穩(wěn)定狀態(tài)，此時(shí)網(wǎng)絡(luò)的穩(wěn)定狀態(tài)就是回憶出的記憶模式。下面舉例證明離散型Hopfield神經(jīng)網(wǎng)絡(luò)是如何實(shí)現(xiàn)聯(lián)想記憶功能。設(shè)有一個(gè)4神經(jīng)元的離散型Hopfield神經(jīng)網(wǎng)絡(luò)，各神經(jīng)元的閾值為0，其中存儲(chǔ)了兩個(gè)模式，模式一X1為（1，1，1，1），模式二X2為（-1，-1，-1，-1），每個(gè)存儲(chǔ)模式由兩部分組成：名稱(chēng)和顏色。前兩神經(jīng)元存儲(chǔ)的是名稱(chēng)，后兩個(gè)神經(jīng)元存儲(chǔ)的是對(duì)應(yīng)的顏色。模式一表示“藍(lán)色的天空”，前兩個(gè)1表示天空，后兩個(gè)1表示藍(lán)色的；模式二表示“綠色的樹(shù)”，前兩個(gè)-1表示樹(shù)，后兩個(gè)-1表示綠色的，當(dāng)網(wǎng)絡(luò)上加載信息不全或錯(cuò)誤地輸入模式三X3=（1，1，-1，1）時(shí)，讓網(wǎng)絡(luò)聯(lián)想記憶輸出模式X1。若想讓網(wǎng)絡(luò)聯(lián)想輸出模式X1，必須首先設(shè)計(jì)網(wǎng)絡(luò)的連接權(quán)值，讓網(wǎng)絡(luò)記憶模式一和模式二，然后讓網(wǎng)絡(luò)加載輸入模式三運(yùn)行到穩(wěn)定狀態(tài)。將網(wǎng)絡(luò)要存儲(chǔ)的模式一和模式二設(shè)計(jì)為網(wǎng)絡(luò)的兩個(gè)穩(wěn)定狀態(tài)，由此設(shè)計(jì)網(wǎng)絡(luò)的連接權(quán)值。根據(jù)式（12），設(shè)α=1得網(wǎng)絡(luò)的連接權(quán)矩陣為；

W=（X1）TX1+（X2）TX2-2I=0222202222022220

設(shè)計(jì)好連接權(quán)值后，將模式三加載至網(wǎng)絡(luò)，然后按照網(wǎng)絡(luò)運(yùn)行規(guī)則讓網(wǎng)絡(luò)運(yùn)行：

t=0：網(wǎng)絡(luò)的初始狀態(tài)X（0）=（1，1，-1，1）；

t=1：選取節(jié)點(diǎn)1，節(jié)點(diǎn)1的狀態(tài)為x1（1）=sgn[1×0+1×2+（-1）×2+1×2]=sgn[2]=1

網(wǎng)絡(luò)狀態(tài)X（1）=（1，1，-1，1）；

t=2：選取節(jié)點(diǎn)2，節(jié)點(diǎn)2的狀態(tài)為x2（2）=sgn[1×2+1×0+（-1）×2+1×2]=sgn[2]=1

網(wǎng)絡(luò)狀態(tài)X（2）=（1，1，-1，1）；

t=3：選取節(jié)點(diǎn)3，節(jié)點(diǎn)3的狀態(tài)為x3（3）=sgn[1×2+1×2+（-1）×0+1×2]=sgn[6]=1

網(wǎng)絡(luò)狀態(tài)X（3）=（1，1，1，1）；

t=4：選取節(jié)點(diǎn)4，節(jié)點(diǎn)4的狀態(tài)x4（4）=sgn[1×2+1×2+1×2+1×0]=sgn[6]=1

網(wǎng)絡(luò)狀態(tài)X（4）=（1，1，1，1）；………

按此規(guī)則循環(huán)運(yùn)行下去直到網(wǎng)絡(luò)狀態(tài)不再改變，網(wǎng)絡(luò)處于穩(wěn)定狀態(tài)，網(wǎng)絡(luò)的輸出就是（1，1，1，1），也即網(wǎng)絡(luò)存儲(chǔ)的記憶模式一X1=（1，1，1，1）。同理，當(dāng)網(wǎng)絡(luò)加載模式四X4=（-1，-1，1，-1）時(shí)，網(wǎng)絡(luò)也可聯(lián)想記憶輸出模式二。從而證明了離散型Hopfield神經(jīng)網(wǎng)絡(luò)具有聯(lián)想記憶功能。

3結(jié)語(yǔ)

神經(jīng)網(wǎng)絡(luò)的聯(lián)想記憶功能雖然很強(qiáng)，但是也存在一些缺陷。由于聯(lián)想記憶能力受到了記憶容量和樣本差異的制約，當(dāng)記憶的模式較多且容易混淆時(shí)，網(wǎng)絡(luò)不能夠很好地辨別出正確模式，而且達(dá)到的穩(wěn)定狀態(tài)也往往不是記憶住的模式。并且，所有記憶模式不是以同樣的記憶強(qiáng)度回想出來(lái)的。

參考文獻(xiàn)參考文獻(xiàn)：

[1]周非.基于RBF網(wǎng)絡(luò)和逆模型的汽油機(jī)瞬態(tài)空燃比控制[D].成都：西華大學(xué)，2006.

[2]于樂(lè)斐.兩類(lèi)時(shí)滯細(xì)胞神經(jīng)網(wǎng)絡(luò)的穩(wěn)定性分析[D].青島：中國(guó)海洋大學(xué)，2008.

[3]夏松.Hopfield神經(jīng)網(wǎng)絡(luò)構(gòu)造的聯(lián)想記憶存儲(chǔ)器實(shí)現(xiàn)與研究[D].合肥：安徽大學(xué)，2010.

[4]周超超.人工智能專(zhuān)家系統(tǒng)在曲軸圓角滾壓校直中的研究[D].武漢：武漢理工大學(xué)，2003.

[5]顏本偉.基于小世界體系的模糊自聯(lián)想記憶神經(jīng)網(wǎng)絡(luò)研究[D].重慶：西南大學(xué)，2011.

責(zé)任編輯（責(zé)任編輯：孫娟）