基于模擬退火算法優(yōu)化的BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型

摘 要：神經(jīng)網(wǎng)絡(luò)算法是深度學(xué)習(xí)研究的重點(diǎn)，遺傳算法是一種自適應(yīng)優(yōu)化搜索算法，模擬退火算法是尋找最優(yōu)解的算法，本文主要分析了神經(jīng)網(wǎng)絡(luò)，遺傳算法和模擬退火算法的特點(diǎn)和缺陷，研究BP神經(jīng)網(wǎng)絡(luò)和遺傳模擬退火算法相結(jié)合的技術(shù)，從發(fā)揮算法的優(yōu)點(diǎn)基礎(chǔ)上，提出了一個(gè)基于模擬退火遺傳算法的BP神經(jīng)網(wǎng)絡(luò)模型，并應(yīng)用于某觀影俱樂(lè)部，作為新電影上映預(yù)測(cè)和用戶推薦，實(shí)驗(yàn)結(jié)果表明：該算法在收斂性和準(zhǔn)確率上都有較好的效果。

關(guān)鍵詞：BP神經(jīng)網(wǎng)絡(luò)；模擬退火；遺傳算法；收斂

中圖分類號(hào)：TP391 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：2096-1472（2018）-07-36-03

1 引言（Introduction）

神經(jīng)網(wǎng)絡(luò)作為人工智能的重要組成部分，一直是神經(jīng)科學(xué)、認(rèn)知科學(xué)、行為科學(xué)、計(jì)算機(jī)科學(xué)等關(guān)注的焦點(diǎn)。自AlphaGo擊敗職業(yè)圍棋選手，第一次戰(zhàn)勝人類圍棋冠軍以來(lái)，人類再次掀起了研究機(jī)器學(xué)習(xí)，深度學(xué)習(xí)的熱潮。神經(jīng)網(wǎng)絡(luò)作為深度學(xué)習(xí)的基本模型，吸引了大批研究人員的注意，在神經(jīng)網(wǎng)絡(luò)的理論模型，開(kāi)發(fā)工具，學(xué)習(xí)算法等方面經(jīng)過(guò)多年研究，在語(yǔ)音識(shí)別，圖像識(shí)別，非線性預(yù)測(cè)模型，模式識(shí)別等方面取得令人矚目的成就。我們國(guó)家決定從今年開(kāi)始大力發(fā)展基于大數(shù)據(jù)的人工智能，即機(jī)器學(xué)習(xí)和深度學(xué)習(xí)。

人工神經(jīng)網(wǎng)絡(luò)[1]是能模擬和反映人腦部分特征的一種仿真信息處理系統(tǒng)，該系統(tǒng)基于模仿人腦系統(tǒng)的結(jié)構(gòu)和功能而設(shè)計(jì)。從神經(jīng)網(wǎng)絡(luò)建?；蛏窠?jīng)網(wǎng)絡(luò)學(xué)習(xí)預(yù)測(cè)的角度分析，神經(jīng)網(wǎng)絡(luò)都必須包含神經(jīng)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)[2]，即學(xué)習(xí)模型，神經(jīng)元特征函數(shù)和目標(biāo)函數(shù)，機(jī)器學(xué)習(xí)算法，存在對(duì)訓(xùn)練樣本要求高，數(shù)據(jù)量要求大的困難，而對(duì)于小數(shù)據(jù)訓(xùn)練樣本則容易導(dǎo)致誤差大，預(yù)測(cè)精度低等局限性。

遺傳算法[3，4]GA是一種仿生算法，該算法模擬生物在自然環(huán)境中的遺傳和進(jìn)化過(guò)程而形成的一種自適應(yīng)全局優(yōu)化概率搜索算法。遺傳算法以求得最適應(yīng)環(huán)境個(gè)體為目的，從任意一個(gè)初始群體出發(fā)，經(jīng)過(guò)選擇、交叉、變異操作來(lái)產(chǎn)生一個(gè)更適應(yīng)環(huán)境的新的個(gè)體，經(jīng)過(guò)多次迭代，使得新群體進(jìn)化到搜索空間中越來(lái)越好的區(qū)域，經(jīng)過(guò)一代代的進(jìn)化，最后收斂到一群最適應(yīng)環(huán)境的個(gè)體，求得最優(yōu)解。

模擬退火算法[4]SA從設(shè)定一個(gè)較高溫度開(kāi)始，伴隨溫度參數(shù)的不斷下降，結(jié)合概率突跳特性在解空間中隨機(jī)尋找目標(biāo)函數(shù)的全局最優(yōu)解的過(guò)程。

由于BP神經(jīng)網(wǎng)絡(luò)易于陷入局部極小值，收斂速度慢等問(wèn)題[2，5]，采用梯度下降尋優(yōu)迭代次數(shù)多，效率低下，而GA和SA都是基于概率分布機(jī)制的優(yōu)化算法，兩者結(jié)合，使用SA可以避免GA早熟問(wèn)題，從而增強(qiáng)全局和局部搜索能力，本文在此基礎(chǔ)上提出模擬退火遺傳算法優(yōu)化的BP神經(jīng)網(wǎng)絡(luò)算法，并建立模型用于預(yù)測(cè)。

2 基于遺傳模擬退火的BP神經(jīng)網(wǎng)絡(luò)（BP neural network based on genetic simulated annealing algorithm）

2.1 遺傳模擬退火算法

遺傳模擬退火算法是將遺傳算法和模擬退火算法相結(jié)合，模擬退火算法具有較強(qiáng)的全局搜索能力尋得最優(yōu)解的效率高，并能使搜索過(guò)程避免陷入局部最優(yōu)解，但模擬退火算法對(duì)全局解空間了解不多。而遺傳算法的局部搜索能力較差，易于陷入局部最優(yōu)解，但把握搜索過(guò)程的總體能力較強(qiáng)，遺傳模擬退火算法以提高算法效率為目的，結(jié)合了遺傳算法和模擬退火算法的優(yōu)點(diǎn)。

遺傳模擬算法[3]從一組隨機(jī)產(chǎn)生的初始解開(kāi)始進(jìn)行全局最優(yōu)解的搜索過(guò)程，該過(guò)程正好符合反向神經(jīng)網(wǎng)絡(luò)解空間最優(yōu)值的搜尋，通過(guò)選擇、交叉、變異等遺傳操作產(chǎn)生一組新的個(gè)體，熱后對(duì)所產(chǎn)生的各個(gè)個(gè)體進(jìn)行模擬退火過(guò)程，類似隨機(jī)梯度下降法，以其結(jié)果作為下一代群體中的個(gè)體。

2.2 BP神經(jīng)網(wǎng)絡(luò)

BP神經(jīng)網(wǎng)絡(luò)[6，7]，也叫反向傳播神經(jīng)網(wǎng)絡(luò)，按反向誤差傳播算法訓(xùn)練權(quán)重和閾值的多層神經(jīng)網(wǎng)絡(luò)，采用梯度下降算法作為優(yōu)化函數(shù)，對(duì)權(quán)重和閾值的誤差求導(dǎo)，獲得新的權(quán)值和閾值來(lái)跟新整個(gè)神經(jīng)網(wǎng)絡(luò)的權(quán)值和閾值，以求得全局最小值。誤差計(jì)算通常用LSM[8]公式，計(jì)算如下：

其中，outputs是神經(jīng)網(wǎng)絡(luò)輸出集合，D是所有訓(xùn)練樣本的集合，tkd是和訓(xùn)練樣本d對(duì)應(yīng)的第k個(gè)真實(shí)值，okd是與訓(xùn)練樣例d對(duì)應(yīng)的第k個(gè)輸出值。這個(gè)函數(shù)的解空間有對(duì)應(yīng)無(wú)數(shù)函數(shù)，構(gòu)成了一個(gè)搜索誤差曲面[8]，需要在這個(gè)解空間上找到這個(gè)曲面上的最小值點(diǎn)即最優(yōu)解。問(wèn)題轉(zhuǎn)化為在曲面空間求極值，為了保證能找到最小值，確保算法快速收斂，優(yōu)化效率提升，合適的學(xué)習(xí)步長(zhǎng)是一個(gè)重要參數(shù)，不宜太大也不宜太小。

2.3 基于遺傳模擬退火的BP神經(jīng)網(wǎng)絡(luò)

利用模擬退火算法[3]優(yōu)化遺傳算法并利用遺傳算法的全局尋優(yōu)搜索功能，獲得每一次的最優(yōu)種群（權(quán)重和閾值），接著利用BP的局部尋優(yōu)特征反向?qū)さ米顑?yōu)值[9]。

3 基于遺傳模擬退火的BP神經(jīng)網(wǎng)絡(luò)算法及模型（The BP neural network algorithm and model based on genetic simulated annealing algorithms）

3.1 數(shù)據(jù)模型

假設(shè)輸入節(jié)點(diǎn)為三個(gè)i1、i2、i3，隱藏節(jié)點(diǎn)為兩個(gè)h1、h2，輸出節(jié)點(diǎn)為一個(gè)o的三次神經(jīng)網(wǎng)絡(luò)，隨機(jī)生成初始BP神經(jīng)網(wǎng)絡(luò)權(quán)值和閾值。

為了使用遺傳模擬退火對(duì)BP神經(jīng)網(wǎng)絡(luò)的權(quán)值和閾值進(jìn)行訓(xùn)練優(yōu)化，根據(jù)任務(wù)，可以建立以下四元組：

Q是一個(gè)權(quán)值W的矩陣，其原始值隨機(jī)生成；

T是一個(gè)閾值的矩陣，原始值隨機(jī)生成；

X是一個(gè)w*t的矩陣，對(duì)應(yīng)輸入層到第一個(gè)隱藏層的閾值矩陣，獲知第一個(gè)隱藏層到第二個(gè)隱藏層的閾值矩陣……

設(shè)計(jì)輸出誤差作為目標(biāo)函數(shù)：，算法求解的過(guò)程就是利用模擬退火算法尋求最優(yōu)解的過(guò)程。

3.2 算法

Begin

While不滿足性能要求do

Temp=10；

‘產(chǎn)生初始任務(wù)集；

∑=（I，Q，T，X）；

TA={I，R[1..n]}；

當(dāng)temp==1循環(huán)

i=crossover（i）；對(duì)樣本進(jìn)行交叉運(yùn)算

i=mutation（i）；樣本進(jìn)行變異運(yùn)算

‘根據(jù)目標(biāo)函數(shù)對(duì)每個(gè)個(gè)體進(jìn)行模擬退火即選擇；

；目標(biāo)函數(shù)

如果（?di<0）

則采用新方案

否則{計(jì)算prob=exp；

隨機(jī)產(chǎn)生一個(gè)rand（0

如果（prob

否則放棄新方案；

}

temp=temp*a；

BP神經(jīng)網(wǎng)絡(luò)算法訓(xùn)練

end；

3.3 算法分析

該算法的優(yōu)化過(guò)程是基于對(duì)目標(biāo)函數(shù)的最小化過(guò)程，?di的最小化過(guò)程模擬自然界的退火過(guò)程，由一個(gè)逐步冷卻的溫度temp來(lái)控制，一個(gè)冷卻機(jī)制Tempi+1=α*tempi，α稱為冷卻率，0<α<1，此處α用作神經(jīng)網(wǎng)絡(luò)的步長(zhǎng)，步長(zhǎng)的大小影響最小化的過(guò)程，模擬退火算法易于避免陷入局部最優(yōu)，結(jié)合遺產(chǎn)算法全局搜索提高算法效率。

K是玻爾茲曼常數(shù)，temp也可以看成是一個(gè)常數(shù)。

3.4 數(shù)據(jù)模型

首先需要一個(gè)強(qiáng)大的數(shù)據(jù)銀行來(lái)建立模型，這些數(shù)據(jù)從MovieLens提供的數(shù)據(jù)庫(kù)獲得[10]，這些數(shù)據(jù)包括六個(gè)csv文件，一個(gè)影評(píng)文件，包括userId、movieId、rating、timestamp；一個(gè)標(biāo)簽文件，包括userId、movieId、tag、timestamp；一個(gè)電影文件，包括movieId、title、genres；一個(gè)鏈接文件（電影來(lái)源），包括movieId、imdbId、tmdbId；兩個(gè)標(biāo)記相關(guān)性文件，包括movieId、tagId、relevance、tagId、tag。這些數(shù)據(jù)顯示每個(gè)觀眾觀影信息及影評(píng)，本文的目標(biāo)是利用遺傳模擬退火的BP神經(jīng)網(wǎng)絡(luò)模型，對(duì)這些數(shù)據(jù)建立模型，通過(guò)對(duì)模型的訓(xùn)練進(jìn)行預(yù)測(cè)。

預(yù)測(cè)某觀影俱樂(lè)部中的n位會(huì)員對(duì)于某部電影的評(píng)分范圍，首先對(duì)電影tag和分類數(shù)據(jù)進(jìn)行匯總處理，得到電影的特征（電影類型和n個(gè)最高的tag），計(jì)算電影A與某個(gè)用戶曾經(jīng)看過(guò)所有電影的相似度以相似度最高的影片的評(píng)分，作為評(píng)分。實(shí)驗(yàn)數(shù)據(jù)描述見(jiàn)表1。

3.5 實(shí)驗(yàn)結(jié)果與分析

通過(guò)特征提取降維操作，得到核心屬性為五個(gè)（A1，A2，A3，A4，A5），見(jiàn)表2。

采用十折交叉選取數(shù)據(jù)進(jìn)行實(shí)驗(yàn)[11]，該實(shí)驗(yàn)預(yù)測(cè)某一影片的評(píng)分，loss是損失函數(shù)的大小，val_loss是validation_loss，指驗(yàn)證集的loss，均方誤差。并通過(guò)Keras搭建神經(jīng)網(wǎng)絡(luò)仿真平臺(tái)獲得以下實(shí)驗(yàn)結(jié)果[12]。

從圖1可以看出，基于模擬退火的BP神經(jīng)網(wǎng)絡(luò)有較好的收斂性，在迭代20次左右算法趨于收斂。收斂速度快，無(wú)鋸齒現(xiàn)象。

從圖2可以看出，系統(tǒng)的預(yù)測(cè)值和真實(shí)值之間的比較，通過(guò)調(diào)參后預(yù)測(cè)值可以更接近真實(shí)值。

4 結(jié)論（Conclusion）

傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)存在收斂效果差，易于陷入局部最小值等問(wèn)題[13]，在本文中引入遺傳算法和模擬退火算法，模擬退火符合隨機(jī)梯度下降優(yōu)化算法需求，能提高收斂速度和減少迭代次數(shù)，提高算法效率，遺傳算法是一種全局搜索優(yōu)化算法，能改進(jìn)傳統(tǒng)神經(jīng)網(wǎng)絡(luò)陷入局部最優(yōu)解的問(wèn)題，從而提高算法的效率。本算法結(jié)合遺傳算法和模擬退火算法，使得傳統(tǒng)BP神經(jīng)網(wǎng)絡(luò)算法在經(jīng)過(guò)遺傳模擬退火算法優(yōu)化后不僅提高了收斂速度[14]，而且提高了預(yù)測(cè)精度。

參考文獻(xiàn)（References）

[1] Lin Guangfeng，Caixia Fan，Hong Zhu，et al.Visual feature coding based on heterogeneous structure fusion for image classification[J].information Fusion，2017（36）：275-283.

[2] 王崇駿，于汶滌，陳兆乾，等.一種基于遺傳算法的BP神經(jīng)網(wǎng)絡(luò)算法及其應(yīng)用[J].南京大學(xué)學(xué)報(bào)自然科學(xué)版，2003，5：1-4.

[3] 蔣美云.遺傳模擬退火算法在云調(diào)度中的應(yīng)用研究[J].計(jì)算機(jī)與現(xiàn)代化，2013（13）：3-4.

[4] 何炎祥，陳莘萌.Agent和多Agent系統(tǒng)的設(shè)計(jì)與應(yīng)用[M].武漢大學(xué)學(xué)術(shù)叢書(shū)：64-70.

[5] F Guzmán，S Joty，L Màrquez，et al.Machine translation evaluation with neural networks[J].Computer Speech & Language[J].2017（45）：180-200.

[6] 劉浩然，趙翠香，李軒，等.一種基于改進(jìn)遺傳算法的神經(jīng)網(wǎng)絡(luò)優(yōu)化算法研究[J].儀器儀表學(xué)報(bào)，2016，37（7）：1573-1580.

[7] 高玉明，張仁津.基于遺傳算法和BP神經(jīng)網(wǎng)絡(luò)的房?jī)r(jià)預(yù)測(cè)分析[J].計(jì)算機(jī)工程，2014，40（4）：187-191.

[8] 曾小華，李廣含，宋大鳳，等.基于遺傳算法優(yōu)化的BP神經(jīng)網(wǎng)絡(luò)側(cè)翻預(yù)警算法[J].華南理工大學(xué)學(xué)報(bào)自然科學(xué)版，2017，45（2）：30-38.

[9] 何濤，張洪偉，鄒書(shū)蓉.特征提取與多目標(biāo)機(jī)器學(xué)習(xí)研究及應(yīng)用[J]，四川理工學(xué)院學(xué)報(bào)（自然科學(xué)版）2013（1）：30-35.

[10] MR Mahdiani.A Modified Neural Network Model for Predicting the Crude Oil Price[J].Intellectual Economics，2017：22-30.

[11] https：//www.superdatascience.com.

[12] AJD Silva.WRD Oliveira Comments on "Quantum artificial neural networks with applications"[J].Information Sciences，2016，370-371：120-122.

[13] JürgenSchmidhuber.Deep Learning in neural networks：An overview[J].Neural Nerworks，2015（61）：85-117.

[14] 王倩，王瑩，邱繼勤.基于灰色GM（1，1）和BP神經(jīng)網(wǎng)絡(luò)的房?jī)r(jià)預(yù)測(cè)[J].時(shí)代金融，2012（36）：332-333.

作者簡(jiǎn)介：

蔣美云（1977-），女，碩士，講師.研究領(lǐng)域：人工智能，機(jī)器學(xué)習(xí)，深度學(xué)習(xí).