基于閾值自適應(yīng)憶阻器Hopfield神經(jīng)網(wǎng)絡(luò)的關(guān)聯(lián)規(guī)則挖掘算法

于永斌 戚敏惠 尼瑪扎西 王琳

摘 要：針對(duì)基于Hopfield神經(jīng)網(wǎng)絡(luò)的最大頻繁項(xiàng)集挖掘 （HNNMFI）算法存在的挖掘結(jié)果不準(zhǔn)確的問(wèn)題，提出基于電流閾值自適應(yīng)憶阻器（TEAM）模型的Hopfield神經(jīng)網(wǎng)絡(luò)的改進(jìn)關(guān)聯(lián)規(guī)則挖掘算法。首先，使用TEAM模型設(shè)計(jì)實(shí)現(xiàn)突觸，利用閾值憶阻器的憶阻值隨方波電壓連續(xù)變化的能力來(lái)設(shè)定和更新突觸權(quán)值，自適應(yīng)關(guān)聯(lián)規(guī)則挖掘算法的輸入。其次，改進(jìn)原算法的能量函數(shù)以對(duì)齊標(biāo)準(zhǔn)能量函數(shù)，并用憶阻值表示權(quán)值，放大權(quán)值和偏置。最后，設(shè)計(jì)由最大頻繁項(xiàng)集生成關(guān)聯(lián)規(guī)則的算法。使用10組大小在30以?xún)?nèi)的隨機(jī)事務(wù)集進(jìn)行1000次仿真實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明，與HNNMFI算法相比，所提算法在關(guān)聯(lián)挖掘結(jié)果準(zhǔn)確率上提高33.9個(gè)百分點(diǎn)以上，說(shuō)明憶阻器能夠有效提高Hopfield神經(jīng)網(wǎng)絡(luò)在關(guān)聯(lián)規(guī)則挖掘中的結(jié)果準(zhǔn)確率。

關(guān)鍵詞：電流閾值自適應(yīng)憶阻器;Hopfield神經(jīng)網(wǎng)絡(luò);最大頻繁項(xiàng)集;關(guān)聯(lián)規(guī)則挖掘;能量函數(shù)

中圖分類(lèi)號(hào)： TP301.6

文獻(xiàn)標(biāo)志碼：A

文章編號(hào)：1001-9081（2019）03-0728-06

Abstract： Aiming at the inaccurate mining results of the Maximum Frequent Itemset mining algorithm based on Hopfield Neural Network （HNNMFI）， an improved association rule mining algorithm for Hopfield neural network based on current ThrEshold Adaptive Memristor （TEAM） model was proposed. Firstly， TEAM model was used to design and implement synapses whose weights were set and updated by the ability of that threshold memristor continuously changes memristance value with square-wave voltage， and the input of association rule mining algorithm was self-adapted by the neural network. Secondly， the energy function was improved to align with standard energy function， and the memristance values were used to represent the weights， then the weights and bias were amplified. Finally， an algorithm of generating association rules from the maximum frequent itemsets was designed. A total of 1000 simulation experiments using 10 random transaction sets with size less than 30 were performed. Experimental results show that compared with HNNMFI algorithm， the proposed algorithm improves the result accuracy of association mining by more than 33.9 %， which indicates that the memristor can effectively improve the result accuracy of Hopfield neural network in association rule mining.

Key words： current ThrEshold Adaptive Memristor （TEAM）; Hopfield Neural Network （HNN）; maximum frequent itemset; association rule mining; energy function

0 引言

憶阻器的概念由蔡紹棠教授在1971年提出[1]，2008年惠普實(shí)驗(yàn)室的研究人員Strukov等[2]首次做出實(shí)物模型，此后掀起憶阻器的研究熱潮。憶阻器具有非線(xiàn)性和記憶特性[3]，用來(lái)模擬人工神經(jīng)網(wǎng)絡(luò)中的突觸[4]，能夠?qū)崿F(xiàn)突觸權(quán)值的連續(xù)更新并且在斷電之后也能保存權(quán)值。近年來(lái)，許多憶阻器的數(shù)學(xué)模型相繼被提出，其中Kvatinsky等提出電流閾值自適應(yīng)憶阻器（ThrEshold Adaptive Memristor， TEAM）模型[5]，該模型可通過(guò)調(diào)整系數(shù)以匹配其他憶阻器的數(shù)學(xué)模型，是一種非常精確且很有潛力的數(shù)學(xué)模型[6]。目前憶阻器的國(guó)內(nèi)外研究方向主要包括神經(jīng)網(wǎng)絡(luò)、存儲(chǔ)器、混沌電路、交叉陣列等[7]。憶阻器在神經(jīng)網(wǎng)絡(luò)中的研究取得很多進(jìn)展[8-10]，如電子科技大學(xué)的Hu等使用可重構(gòu)憶阻離散Hopfield神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)單聯(lián)想和多聯(lián)想記憶[11]。

Hopfield神經(jīng)網(wǎng)絡(luò)（Hopfield Neural Network， HNN）由Hopfield等在1982年提出，該模型又分為離散型（Discrete Hopfield Neural Network， DHNN）[12]和連續(xù)型（Continuous Hopfield Neural Network， CHNN）[13]。能量函數(shù)的概念被首次引入到人工神經(jīng)網(wǎng)絡(luò)中，為解決優(yōu)化計(jì)算問(wèn)題提供新的方法。能量函數(shù)的標(biāo)準(zhǔn)形式已由Hopfield給出，不同的優(yōu)化問(wèn)題對(duì)應(yīng)的能量函數(shù)形式不同，但都由約束條件和目標(biāo)解兩個(gè)部分組成，只要能將其轉(zhuǎn)化為標(biāo)準(zhǔn)形式便可從能量函數(shù)中導(dǎo)出權(quán)重和偏置。CHNN隨時(shí)間演變，始終向能量函數(shù)降低的方向移動(dòng)，最后達(dá)到能量函數(shù)的極小值點(diǎn)，即穩(wěn)定平衡狀態(tài)。將優(yōu)化問(wèn)題的目標(biāo)函數(shù)與網(wǎng)絡(luò)的能量函數(shù)相對(duì)應(yīng)，則問(wèn)題的求解過(guò)程可以看作CHNN向能量函數(shù)極小值點(diǎn)移動(dòng)的過(guò)程。目前HNN的應(yīng)用領(lǐng)域主要包括聯(lián)想記憶和優(yōu)化計(jì)算等[13]。

關(guān)聯(lián)規(guī)則的概念最初是Agrawal等[14]在1993年針對(duì)購(gòu)物籃分析問(wèn)題（Market Basket Analysis）提出的，且于1994年提出經(jīng)典的關(guān)聯(lián)規(guī)則挖掘算法Apriori算法[15]。目前常見(jiàn)的關(guān)聯(lián)規(guī)則挖掘算法[16]大致可分為：寬度優(yōu)先算法如DHP（Direct Hashing and Pruning）算法[17];深度優(yōu)先算法如FP-growth（Frequent-Pattern growth）算法[18];數(shù)據(jù)集劃分算法如Partition算法[19];采樣算法如Sampling算法[20];并行挖掘算法如CD（Count Distribution）、DD（Data Distribution）、CaD算法（Candidate Distribution）[21]等。其中FP-growth算法對(duì)Apriori算法的改進(jìn)效果最顯著。

Gaber等[22]提出基于Hopfield神經(jīng)網(wǎng)絡(luò)的最大頻繁項(xiàng)集挖掘 （Maximum Frequent Itemset mining based on Hopfield Neural Network， HNNMFI） 算法，該算法屬于并行挖掘算法，為CHNN在關(guān)聯(lián)規(guī)則挖掘領(lǐng)域中的應(yīng)用提供可行的思路。但該算法定義的能量函數(shù)與標(biāo)準(zhǔn)形式不太符合，權(quán)值和偏置較小，導(dǎo)致挖掘到的頻繁項(xiàng)集范圍小，無(wú)法適應(yīng)不同大小的事務(wù)集。

本文針對(duì)上述問(wèn)題，提出基于憶阻Hopfield神經(jīng)網(wǎng)絡(luò)（Memristive Hopfield Neural Network， MHNN）的關(guān)聯(lián)規(guī)則算法，主要貢獻(xiàn)概括如下：

1）提出改進(jìn)的MHNN。

MHNN使用憶阻器和電阻組成的分壓電阻作為突觸，通過(guò)開(kāi)關(guān)陣列實(shí)現(xiàn)正負(fù)突觸權(quán)值的選擇。該網(wǎng)絡(luò)不僅結(jié)構(gòu)簡(jiǎn)單，而且能夠自適應(yīng)關(guān)聯(lián)規(guī)則挖掘算法的事務(wù)矩陣。

2）提出新的基于MHNN的關(guān)聯(lián)規(guī)則挖掘算法。

新算法對(duì)HNNMFI算法的能量函數(shù)、權(quán)值以及偏置進(jìn)行了修改，并設(shè)計(jì)由最大頻繁項(xiàng)集生成關(guān)聯(lián)規(guī)則的算法，在軟件仿真上能夠有效提高關(guān)聯(lián)規(guī)則挖掘結(jié)果準(zhǔn)確度。

1 基本概念

1.1 TEAM模型

TEAM模型對(duì)Abdalla等[23]提出的Simmons隧道結(jié)模型進(jìn)行簡(jiǎn)化，不僅保留Simmons模型準(zhǔn)確捕捉閾值的特點(diǎn)和簡(jiǎn)化Simmons模型的數(shù)學(xué)表達(dá)式，還可通過(guò)調(diào)整系數(shù)以匹配其他憶阻器的數(shù)學(xué)模型，是一種非常精確且具有潛力的數(shù)學(xué)模型。該模型的狀態(tài)變量微分方程、窗函數(shù)表達(dá)式和憶阻值表達(dá)式[5]分別如下：

本文只考慮TEAM模型的憶阻值為線(xiàn)性關(guān)系，如式（4）所示。在外部電流正弦信號(hào)5sin（2πt）mA的激勵(lì)下，對(duì)TEAM模型按照表1的參數(shù)設(shè)定進(jìn)行代碼仿真，得到圖1的仿真結(jié)果。

圖1（a）是外部正弦電流信號(hào)的波形圖，從圖1（c）中可以看出，正向電流得到更大電壓，驗(yàn)證了TEAM模型的開(kāi)關(guān)變化的非對(duì)稱(chēng)性。向該模型中加入圖1（d）所示窗函數(shù)后，得到了圖1（b）所示憶阻值隨時(shí)間變化的曲線(xiàn)，從圖1（b）中可以看出，在電流未達(dá)到閾值電流ioff 時(shí)，憶阻值保持不變，達(dá)到之后憶阻值開(kāi)始變化。

重新調(diào)整TEAM模型的參數(shù)，為T(mén)EAM模型輸入幅值為2V，周期為1s的方波電壓，保證此時(shí)通過(guò)憶阻器的電流大于閾值電流ioff，能夠使憶阻值發(fā)生改變。從仿真結(jié)果中可以得出憶阻值隨方波電壓連續(xù)變化，且成上升趨勢(shì)，說(shuō)明方波電壓對(duì)TEAM模型憶阻器起到阻值編程作用，使TEAM模型憶阻器非常適合作電子突觸。

1.2 CHNN基本結(jié)構(gòu)

DHNN和CHNN的區(qū)別在于神經(jīng)元輸出不同，前者是二值的網(wǎng)絡(luò)，神經(jīng)元的取值為{0，1}或{-1，1}，后者的神經(jīng)元輸出在某個(gè)區(qū)間內(nèi)連續(xù)取值。本文只針對(duì)CHNN進(jìn)行分析，網(wǎng)絡(luò)中神經(jīng)元的輸入和輸出之間呈現(xiàn)sigmoid函數(shù)關(guān)系[13]，該函數(shù)的一種常見(jiàn)表達(dá)形式[22]如下：

的連接權(quán)重;E（v）是能量函數(shù)。Hopfield網(wǎng)絡(luò)解決組合優(yōu)化問(wèn)題的步驟為：

1）對(duì)于待求解的問(wèn)題，提供一種合理的解釋方案能夠使網(wǎng)絡(luò)的輸出表示被求解問(wèn)題的解。

2）構(gòu)造能量函數(shù)，使能量函數(shù)對(duì)應(yīng)被求解問(wèn)題的目標(biāo)函數(shù)，能量函數(shù)向極小值點(diǎn)移動(dòng)的過(guò)程就是問(wèn)題的求解過(guò)程。

3）從能量函數(shù)中導(dǎo)出權(quán)重Tij和偏置電流Ii。

4）運(yùn)行Hopfield神經(jīng)網(wǎng)絡(luò)，當(dāng)網(wǎng)絡(luò)達(dá)到穩(wěn)定狀態(tài)時(shí)的輸出就是一定條件下問(wèn)題的最優(yōu)解。

1.3 關(guān)聯(lián)規(guī)則挖掘基本概念

定義2 支持度。規(guī)則XY的支持度為X和Y在D的每個(gè)事務(wù)中一起出現(xiàn)的概率，記為support（XY）=P（XY）。

定義3 置信度。規(guī)則XY的置信度表示為D中包含項(xiàng)集X的事務(wù)中項(xiàng)集Y的百分比，即項(xiàng)集Y出現(xiàn)的條件概率，記作confidence（XY）=P（Y|X）。

定義4 頻繁項(xiàng)集。若項(xiàng)集X的支持度大等于用戶(hù)定義的最小支持度，則稱(chēng)X為頻繁項(xiàng)集，否則稱(chēng)X為非頻繁項(xiàng)集。

定義5 最大頻繁項(xiàng)集。如果頻繁項(xiàng)集X上的所有超集都不是頻繁項(xiàng)集，則稱(chēng)X為局部最大頻繁項(xiàng)集，所有局部最大頻繁項(xiàng)集組成的集合稱(chēng)最大頻繁項(xiàng)集。

關(guān)聯(lián)規(guī)則挖掘算法遵循兩個(gè)步驟[24]：第一步是找到所有的頻繁項(xiàng)集;第二步是在上一步的基礎(chǔ)上產(chǎn)生關(guān)聯(lián)規(guī)則?？紤]到最大頻繁項(xiàng)集已經(jīng)隱含所有頻繁項(xiàng)集信息，因此本文只需考慮挖掘最大頻繁項(xiàng)集問(wèn)題。

2 基于HNN的最大頻繁項(xiàng)集挖掘算法

2.1 網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)

HNN的神經(jīng)元分布同事務(wù)矩陣D一樣，共有n*p個(gè)神經(jīng)元且呈二維數(shù)組形式排列。由于每個(gè)神經(jīng)元接收到的突觸數(shù)量都是一樣的，因此該網(wǎng)絡(luò)可抽象為1行n*p列的單層網(wǎng)絡(luò)結(jié)構(gòu)。以一個(gè)具有2行3列神經(jīng)元的HNN為例，本文設(shè)計(jì)的HNN結(jié)構(gòu)如圖2所示。

2.2 確定最大頻繁項(xiàng)集

本文對(duì)Gaber等提出的HNNMFI算法的能量函數(shù)進(jìn)行修改：首先為了同能量函數(shù)的標(biāo)準(zhǔn)式對(duì)齊，將原能量函數(shù)的第二項(xiàng)（偏置部分）前面的符號(hào)由加變?yōu)闇p;其次，將第三項(xiàng)中k的累加上限由p改為n。修改后的能量函數(shù)能夠適用大小不同的事務(wù)集，而原能量函數(shù)只能適用行數(shù)（n）和列數(shù)（p）相同的事務(wù)集，修改后的能量函數(shù)定義如下：

其中：A、B和C是正的常數(shù)，代表各個(gè)約束項(xiàng)的重要程度，n和p分別代表事務(wù)數(shù)和項(xiàng)目數(shù)，VTi代表第T筆事務(wù)中第i個(gè)神經(jīng)元的輸出，min是用戶(hù)定義的最小支持度，bTi表示項(xiàng)目i是否出現(xiàn)在第T筆事務(wù)中，是為1，否為0。公式中的前兩項(xiàng)確保每行生成一個(gè)有效解，該解具有該行表示事務(wù)包含的最大項(xiàng)集，第三項(xiàng)確保輸出的解是頻繁項(xiàng)集，即該解的支持度大于用戶(hù)定義的最小支持度。

根據(jù)圖2（a）所示結(jié)構(gòu)，將下標(biāo)T用A，B代替，重寫(xiě)（6）、（7）和（8）得：

網(wǎng)絡(luò)參數(shù)的選取將會(huì)影響網(wǎng)絡(luò)的效率以及結(jié)果準(zhǔn)確性，目前對(duì)于網(wǎng)絡(luò)參數(shù)的選擇尚無(wú)理論依據(jù)。在實(shí)驗(yàn)和經(jīng)驗(yàn)的基礎(chǔ)上，HNN的參數(shù)設(shè)定如表2所示。

由于網(wǎng)絡(luò)的迭代次數(shù)和步長(zhǎng)與事務(wù)集所得的權(quán)值矩陣有關(guān)，使用多個(gè)事務(wù)集對(duì)HNN進(jìn)行測(cè)試后在實(shí)驗(yàn)的基礎(chǔ)上，總結(jié)出網(wǎng)絡(luò)的權(quán)值矩陣同迭代次數(shù)Count和步長(zhǎng)step的關(guān)系如下，其中x是權(quán)值矩陣中絕對(duì)值最大數(shù)的指數(shù)。

從能量函數(shù)中得到權(quán)重和偏置以及確定網(wǎng)絡(luò)參數(shù)后，按照第1章提出的HNN求解組合優(yōu)化問(wèn)題的步驟，只需建立并運(yùn)行HNN，等網(wǎng)絡(luò)達(dá)到穩(wěn)定狀態(tài)，便可以求解出最大頻繁項(xiàng)集，具體描述如算法1所示。

使用表3所示的事務(wù)集對(duì)該算法進(jìn)行測(cè)試，minSup和minConf均設(shè)置為0.5，網(wǎng)絡(luò)的迭代次數(shù)Count和步長(zhǎng)step由式（14）計(jì)算后分別為500和10-5，按照算法1流程運(yùn)行網(wǎng)絡(luò)，得到編碼規(guī)則數(shù)組code為{beer，bread，cook，diaper，egg，milk}，110101，V使用code翻譯出來(lái)是{beer，bread，diaper，milk}，而使用Apriori算法得到的最大頻繁項(xiàng)集是{{beer，bread}，{beer，diaper}，{beer，milk}，{diaper，milk}}。可見(jiàn)HNNMFI算法得到的最大頻繁項(xiàng)集是定義5中的所有局部最大頻繁項(xiàng)集的并集。

3 基于MHNN的最大頻繁項(xiàng)集挖掘算法

3.1 電路結(jié)構(gòu)設(shè)計(jì)

本文參考Hu等[11]設(shè)計(jì)的憶阻離散Hopfiled神經(jīng)網(wǎng)絡(luò)中單個(gè)神經(jīng)元電路原理圖，設(shè)計(jì)同圖2（b）對(duì)應(yīng)的MHNN中單個(gè)神經(jīng)元電路原理圖，如圖3所示。

圖4（a）表明了憶阻值的變化范圍是100Ω～3MΩ，圖4（b）表明了隨著憶阻值改變，突觸權(quán)值在（0，1）范圍內(nèi)連續(xù)變化。由式（15） 可知，權(quán)重的變化范圍在（-1，1）之間，但實(shí)際的權(quán)值矩陣的范圍更大，在電路中需要通過(guò)運(yùn)算放大器對(duì)權(quán)值進(jìn)行放大，才能得到正確的輸出。

本文設(shè)計(jì)的MHNN電路結(jié)構(gòu)如圖5所示，該網(wǎng)絡(luò)是單層的反饋網(wǎng)絡(luò)，每個(gè)神經(jīng)元接收到N（n*p）個(gè)突觸權(quán)重和一個(gè)外部的偏置電流I，輸出電壓V又反饋到輸入，具體結(jié)構(gòu)如左邊大的最深色陰影部分所示，該部分也是圖3的擴(kuò)展。

3.2 突觸權(quán)值和偏置的映射

本文的MHNN主要是通過(guò)軟件仿真實(shí)現(xiàn)的，為了對(duì)應(yīng)圖5的單個(gè)神經(jīng)元電路，首先將HNN中的權(quán)值矩陣Wrc′按照式（16）進(jìn)行歸一化，使歸一化之后的權(quán)值矩陣范圍在（-1，1）之間。

在對(duì)權(quán)值矩陣進(jìn)行歸一化之后，為了保證MHNN挖掘最大頻繁項(xiàng)集算法的結(jié)果準(zhǔn)確性，還需要將歸一化后的權(quán)值矩陣按照式（17）進(jìn)行放大。

4 最大頻繁項(xiàng)集生成關(guān)聯(lián)規(guī)則算法

本文設(shè)計(jì)的由最大頻繁項(xiàng)集生成關(guān)聯(lián)規(guī)則的算法分為兩步。第一步生成所有頻繁項(xiàng)集的支持度數(shù)組，主要通過(guò)最大頻繁項(xiàng)集的組合運(yùn)算，產(chǎn)生所有的非空子集（子頻繁項(xiàng)集），求出每個(gè)子集的支持度，存入支持度數(shù)組，具體描述如算法2所示。

第二步從支持度數(shù)組中生成滿(mǎn)足用戶(hù)定義的最小支持度與最小置信度的關(guān)聯(lián)規(guī)則。首先遍歷支持度數(shù)組，取頻繁項(xiàng)集，作為關(guān)聯(lián)規(guī)則XY中的X，再取支持度數(shù)組中與X不相交的頻繁項(xiàng)集作為關(guān)聯(lián)規(guī)則的Y，計(jì)算XY的支持度和置信度，滿(mǎn)足要求則填入關(guān)聯(lián)規(guī)則，具體描述如算法3所示。

5 仿真實(shí)驗(yàn)結(jié)果分析

5.1 設(shè)計(jì)生成隨機(jī)分布事務(wù)集算法

由于HNN求解大規(guī)模的組合優(yōu)化問(wèn)題十分困難，處理小范圍的數(shù)據(jù)集比較容易，所以本文提出的MHNN目前只適用于小規(guī)模的事務(wù)集，加上關(guān)聯(lián)規(guī)則挖掘的測(cè)試數(shù)據(jù)集都比較大，不適用于本文的測(cè)試，故本文設(shè)計(jì)生成隨機(jī)分布事務(wù)集算法來(lái)對(duì)比兩種網(wǎng)絡(luò)的挖掘結(jié)果準(zhǔn)確率。該算法具體描述如算法4所示，可通過(guò)設(shè)置傳入事務(wù)集的行數(shù)n，列數(shù)p以及1出現(xiàn)的概率p1來(lái)控制隨機(jī)生成事務(wù)集的大小和疏密程度。

5.2 1000次仿真實(shí)驗(yàn)的關(guān)聯(lián)規(guī)則挖掘結(jié)果分析

本文設(shè)定算法4的輸入n=p，p1=0.5，最小支持度和最小置信度均設(shè)置為0.5。設(shè)置10種不同大小的事務(wù)集，分別為4，6，8，10，12，14，16，18，20，22。對(duì)每種事務(wù)集分別使用Apriori算法、HNN和MHNN進(jìn)行100次實(shí)驗(yàn)， 以Apriori算法的結(jié)果為標(biāo)準(zhǔn)，統(tǒng)計(jì)兩種網(wǎng)絡(luò)的挖掘結(jié)果準(zhǔn)確率，結(jié)果如圖6所示。

從圖6中可以看出，當(dāng)事務(wù)集的大小低于10時(shí)，兩種網(wǎng)絡(luò)的挖掘結(jié)果準(zhǔn)確率相差不大，但隨著事務(wù)集的增大，兩種網(wǎng)絡(luò)的準(zhǔn)確率曲線(xiàn)差距均在0.27以上。通過(guò)計(jì)算兩條曲線(xiàn)差值之和的均值，可得出MHNN在HNN的基礎(chǔ)上提升約35.3個(gè)百分點(diǎn)的挖掘結(jié)果準(zhǔn)確率。在上述情況下，又進(jìn)行多組實(shí)驗(yàn)，其中最好結(jié)果為36%，最壞結(jié)果為33.9%，得出改進(jìn)后的算法在關(guān)聯(lián)挖掘結(jié)果準(zhǔn)確率上提高33.9個(gè)百分點(diǎn)以上。

6 結(jié)語(yǔ)

本文在軟件仿真上為憶阻器在HNN處理關(guān)聯(lián)規(guī)則挖掘的問(wèn)題中的應(yīng)用提出了一種可行的思路。本文設(shè)計(jì)的MHNN能夠處理較小規(guī)模的關(guān)聯(lián)規(guī)則挖掘問(wèn)題，但仍然存在容易陷入局部最優(yōu)點(diǎn)的問(wèn)題，后續(xù)可以考慮使用遺傳算法對(duì)該網(wǎng)絡(luò)進(jìn)行改進(jìn)。

在硬件實(shí)現(xiàn)上，隨著關(guān)聯(lián)規(guī)則挖掘問(wèn)題復(fù)雜度的增加，需要設(shè)計(jì)的電路的規(guī)模也相應(yīng)增大，對(duì)網(wǎng)絡(luò)的集成度、能耗以及并行處理能力的要求也越來(lái)越高。本文設(shè)計(jì)的MHNN電路結(jié)構(gòu)可以降低電路設(shè)計(jì)難度，提高電路自適應(yīng)關(guān)聯(lián)規(guī)則挖掘算法輸入的能力，可有效解決傳統(tǒng)人工神經(jīng)網(wǎng)絡(luò)的瓶頸。

參考文獻(xiàn) （References）

[1] CHUA L O. Memristor—the missing circuit element [J]. IEEE Transactions on Circuit Theory， 1971， 18（5）： 507-519.

[2] STRUKOV D B， SNIDER G S， STEWART D R， et al. The missing memristor found [J]. Nature， 2008， 453（7191）： 80-83.

[3] DU C， CAI F， ZIDAN M A， et al. Reservoir computing using dynamic memristors for temporal information processing [J]. Nature Communications， 2017， 8： Article No. 2204.

[4] JO S H， CHANG T， EBONG I， et al. Nanoscale memristor device as synapse in neuromorphic systems [J]. Nano Letters， 2010， 10（4）： 1297-1301.

[5] KVATINSKY S， FRIEDMAN E G， KOLODNY A， et al. TEAM： ThrEshold Adaptive Memristor model [J]. IEEE Transactions on Circuits and Systems I： Regular Papers， 2013， 60（1）： 211-221.

[6] 江之源.基于閾值自適應(yīng)憶阻模型的分析及應(yīng)用研究[D].重慶：西南大學(xué)，2016：11-12.（JIANG Z Y. Analysis and application research based on threshold adaptive memristor model [D].Chongqing： Southwestern University， 2016： 11-12.）

[7] 代祥光.憶阻神經(jīng)網(wǎng)絡(luò)的應(yīng)用[D].重慶：重慶大學(xué)，2012：1-3.（DAI X G. Application of memristive neural network [D]. Chongqing： Chongqing University， 2012： 1-3.）

[8] ALIBART F， ZAMANIDOOST E， STRUKOV D B. Pattern classification by memristive crossbar circuits using ex situ and in situ training [J]. Nature Communications， 2013， 4（3）： 131-140.

[9] PARK S， SHERI A， KIM J， et al. Neuromorphic speech systems using advanced ReRAM-based synapse [C]// Proceedings of 2013 IEEE International Electron Devices Meeting. Piscataway， NJ： IEEE， 2013： 25.6.1-25.6.4.

[10] ZIEGLER M， SONI R， PATELCZYK T， et al. An electronic version of Pavlov's dog [J]. Advanced Functional Materials， 2012， 22（13）： 2744-2749.

[11] HU S G， LIU Y， LIU Z， et al. Associative memory realized by a reconfigurable memristive Hopfield neural network [J]. Nature Communications， 2015， 6： Article number 7522.

[12] HOPFIELD J J. Neural networks and physical systems with emergent collective computational abilities [J]. Proceedings of the National Academy of Sciences of the United States of America， 1982， 79（8）： 2554-2558.

[13] HOPFIELD J J， TANK D W. “Neural” computation of decisions in optimization problems [J]. Biological Cybernetics， 1985， 52（3）： 141-145.

[14] AGRAWAL R， IMIELINSKI T， SWAMI A N. Mining association rules between sets of items in large databases [C]// Proceedings of the 1993 ACM SIGMOD International Conference on Management of Data. New York： ACM， 1993：207-216.

[15] AGRAWAL R， SRIKANT R. Fast algorithms for mining association rules in large databases [C]// VLDB '94： Proceedings of the 20th International Conference on Very Large Data Bases. San Francisco， CA： Morgan Kaufmann， 1994： 487-499.

[16] 王愛(ài)平，王占鳳，陶嗣干，等.數(shù)據(jù)挖掘中常用關(guān)聯(lián)規(guī)則挖掘算法[J].計(jì)算機(jī)技術(shù)與發(fā)展，2010，20（4）：105-108.（WANG A P， WANG Z F， TAO S G， et al. Common algorithms of association rules mining in data mining [J]. Computer Technology and Development， 2010，20（4）： 105-108.）

[17] PARK J S， CHEN M S， YU P S. An effective hash-based algorithm for mining association rules [J]. ACM SIGMOD Record， 1995， 24（2）： 175-186.

[18] JI C R， DENG Z H. Mining frequent ordered patterns without candidate generation [C]// Proceedings of the 4th IEEE International Conference on Fuzzy Systems and Knowledge Discovery. Piscataway， NJ： IEEE， 2007，1： 402-406.

[19] SAVASERE A， OMIECINSKI E， NAVATHE S B， et al. An efficient algorithm for mining association rules in large databases [C]// VLDB '95： Proceedings of the 21st International Conference on Very Large Data Bases. San Francisco， CA： Morgan Kaufmann， 1995： 432-444.

[20] TOIVONEN H. Sampling large databases for association rules [C]// VLDB '96： Proceedings of the 22th International Conference on Very Large Data Bases. San Francisco， CA： Morgan Kaufmann， 1996： 134-145.

[21] AGRAWAL R， SHAFER J C. Parallel mining of association rules [J]. IEEE Transactions on Knowledge and Data Engineering， 2007， 8（6）： 962-969.

[22] GABER K， BAHI J M， EL-GHAZAWI T A. Parallel mining of association rules with a Hopfield type neural network [C]// ICTAI '00： Proceedings of the 12th IEEE International Conference on Tools with Artificial Intelligence. Washington， DC： IEEE Computer Society， 2000： 90-93.

[23] ABDALLA H， PICKETT M D. SPICE modeling of memristors [C]// Proceedings of the 2011 IEEE International Symposium on Circuits and Systems. Piscataway， NJ： IEEE， 2011： 1832-1835.

[24] 徐開(kāi)勇，龔雪容，成茂才.基于改進(jìn)Apriori算法的審計(jì)日志關(guān)聯(lián)規(guī)則挖掘[J].計(jì)算機(jī)應(yīng)用，2016，36（7）：1847-1851.（XU K Y， GONG X R， CHENG M C. Audit log association rule mining based on improved apriori algorithm [J]. Journal of Computer Applications， 2016， 36（7）： 1847-1851.）