遺傳神經(jīng)網(wǎng)絡(luò)在電信業(yè)務(wù)收入預(yù)測中的應(yīng)用研究

[摘 要] 誤差反向傳播神經(jīng)網(wǎng)絡(luò)（BPNN）由于優(yōu)越的非線性數(shù)據(jù)處理性能以及較強(qiáng)的學(xué)習(xí)能力而被廣泛地運(yùn)用于電信業(yè)務(wù)的預(yù)測當(dāng)中。然而，神經(jīng)網(wǎng)絡(luò)常常存在著收斂于局部最優(yōu)解、學(xué)習(xí)時(shí)間長等缺陷而影響其預(yù)測效果，而遺傳算法(GA)是一種全局尋優(yōu)搜索算法，能夠有效克服上述缺陷。本文針對影響電信業(yè)務(wù)收入的主要因素，將BP神經(jīng)網(wǎng)絡(luò)與遺傳算法有機(jī)結(jié)合起來，建立了相應(yīng)的遺傳神經(jīng)網(wǎng)絡(luò)模型用于電信業(yè)務(wù)收入預(yù)測，并利用實(shí)際數(shù)據(jù)進(jìn)行效果驗(yàn)證。實(shí)驗(yàn)表明，該預(yù)測模型具有很強(qiáng)的學(xué)習(xí)能力和自適應(yīng)性，其預(yù)測結(jié)果優(yōu)于BP神經(jīng)網(wǎng)絡(luò)模型，而且具有良好的泛化性。

[關(guān)鍵詞] 遺傳神經(jīng)網(wǎng)絡(luò) 電信業(yè)務(wù)收入 預(yù)測

一、引言

電信業(yè)務(wù)預(yù)測是通信網(wǎng)絡(luò)分階段建設(shè)規(guī)劃的前提條件，同時(shí)也是規(guī)劃期電信業(yè)務(wù)量和收入估算的必要條件之一。預(yù)測方法的選擇直接關(guān)系到預(yù)測目標(biāo)的實(shí)現(xiàn)和預(yù)測結(jié)果的精確程度。近年來人工神經(jīng)網(wǎng)絡(luò)技術(shù)和遺傳算法逐漸得到預(yù)測科學(xué)工作者的重視，誤差反向傳播(BP)神經(jīng)網(wǎng)絡(luò)已經(jīng)在預(yù)測領(lǐng)域中得到了廣泛的應(yīng)用，是一種由多個(gè)神經(jīng)元以某種規(guī)則連接而形成的層次網(wǎng)絡(luò)結(jié)構(gòu)，其基本原理是這些神經(jīng)元之間“相互協(xié)作”，它有許多優(yōu)點(diǎn)，對不完全信，具有良好的適應(yīng)性;對非線性輸入輸出關(guān)系的學(xué)習(xí)更具有優(yōu)越性，其描述問題的能力很強(qiáng)。但是BP算法是一種基于誤差函數(shù)梯度下降的學(xué)習(xí)方法，學(xué)習(xí)過程收斂速度較慢；其次，BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練開始時(shí)初始權(quán)值是隨機(jī)給定的，這對網(wǎng)絡(luò)的訓(xùn)練效果也會(huì)有極大影響，甚至導(dǎo)致網(wǎng)絡(luò)陷入局部最小點(diǎn)。

遺傳算法 (GA)有很好的全局搜索能力，能從概率的意義上以隨機(jī)的方式尋求到問題的最優(yōu)解。但另一方面，遺傳算法應(yīng)用中容易產(chǎn)生早熟現(xiàn)象，局部尋優(yōu)能力較差，而遺傳算法與神經(jīng)網(wǎng)絡(luò)的結(jié)合可以發(fā)揮各自的優(yōu)點(diǎn)。本文研究采用遺傳神經(jīng)網(wǎng)絡(luò)應(yīng)用到電信業(yè)務(wù)的訓(xùn)練中，結(jié)果表明該方法是可效的。

本文其它結(jié)構(gòu)安排如下：第二部分為遺傳神經(jīng)網(wǎng)絡(luò)模型的結(jié)構(gòu)與算法介紹；第三部分為數(shù)據(jù)來源及實(shí)證結(jié)果分析；最后為本文結(jié)論。

二、遺傳神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)及算法

1.遺傳神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)

多層前向神經(jīng)網(wǎng)絡(luò)在經(jīng)濟(jì)領(lǐng)域中是被普遍運(yùn)用的一種強(qiáng)有力的學(xué)習(xí)系統(tǒng)，系統(tǒng)結(jié)構(gòu)簡單易于編程。在其具體應(yīng)用中，最重要的首先就是確定網(wǎng)絡(luò)結(jié)構(gòu)，而網(wǎng)絡(luò)結(jié)構(gòu)的關(guān)鍵在于隱含層及其結(jié)點(diǎn)數(shù)。研究表明，對于學(xué)習(xí)任何函數(shù)來講，一個(gè)隱含層足夠。因此一個(gè)三層前向神經(jīng)網(wǎng)絡(luò)可以逼近任意非線性函數(shù)。在前向神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中，如果采用誤差反向傳播算法(Back Propagation， BP)來對網(wǎng)絡(luò)結(jié)構(gòu)的權(quán)系數(shù)進(jìn)行學(xué)習(xí)，那就是我們通常所說的BP神經(jīng)網(wǎng)絡(luò)模型。本研究中的遺傳神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)就是建立在一個(gè)三層前向神經(jīng)網(wǎng)絡(luò)基礎(chǔ)之上，將遺傳算法與神經(jīng)網(wǎng)絡(luò)有機(jī)地結(jié)合起來的一種混合模型。

網(wǎng)絡(luò)的具體結(jié)構(gòu)如圖1

該網(wǎng)絡(luò)分為三層：第一層為輸入層，共有n個(gè)節(jié)點(diǎn)；第二層為隱含層，共有m個(gè)節(jié)點(diǎn)；第三層為輸出層，有一個(gè)節(jié)點(diǎn)。網(wǎng)絡(luò)的目標(biāo)函數(shù)為，式中y為實(shí)際輸出，Y為期望輸出，Ep為平方誤差函數(shù)。

2.遺傳神經(jīng)網(wǎng)絡(luò)模型的算法

在本模型算法當(dāng)中，一種改進(jìn)的遺傳算法，被提出來優(yōu)化模型結(jié)構(gòu)的權(quán)值系數(shù)。該算法首先利用遺傳算法善于發(fā)現(xiàn)最優(yōu)解區(qū)域的特點(diǎn)同時(shí)，找出網(wǎng)絡(luò)參數(shù)的最優(yōu)初始值，然后再利用BP算法的尋優(yōu)能力來搜索模型參數(shù)的最優(yōu)解空間。算法具體步驟如下：

步驟1：初始化

用遺傳算法來優(yōu)化神經(jīng)網(wǎng)絡(luò)，主要是優(yōu)化神經(jīng)網(wǎng)絡(luò)中神經(jīng)元之間的連接權(quán)，初始化種群P(t)。由于網(wǎng)絡(luò)的連接權(quán)是實(shí)數(shù)，因此本算法采用實(shí)數(shù)編碼方案，避免權(quán)重步進(jìn)變化。網(wǎng)絡(luò)隱含層轉(zhuǎn)移函數(shù)為Sigmoid函數(shù)。在編碼過程中，以神經(jīng)網(wǎng)絡(luò)的所有權(quán)值和閾值作為染色體的基因，各個(gè)基因組成染色體向量V=[v1，…vk，…vL]，vK為染色體中的第k個(gè)基因。

步驟2：適應(yīng)度計(jì)算及評價(jià)

根據(jù)適應(yīng)度函數(shù)值對個(gè)體進(jìn)行評價(jià)，對每個(gè)個(gè)體進(jìn)行解碼得到一個(gè)BP神經(jīng)網(wǎng)絡(luò)輸入樣本，計(jì)算出神經(jīng)網(wǎng)絡(luò)的輸出誤差值E，選擇適應(yīng)度函數(shù)

(1）

（2）

式中，Ymk，Ymk分別為第m個(gè)訓(xùn)練樣本的第k個(gè)輸入節(jié)點(diǎn)的期望輸出和實(shí)際輸出。適應(yīng)度f越高，表明誤差平方和越小，就越接近性能要求。

步驟3：遺傳操作

(1)選擇與復(fù)制

保留群體中適應(yīng)度最高的個(gè)體，它不參與交叉和變異運(yùn)算，而直接將其復(fù)制到下一代。群體中的其他個(gè)體，采用輪盤賭選擇法進(jìn)行選擇，這樣適應(yīng)度小的個(gè)體也有機(jī)會(huì)進(jìn)入被保留。因此保證了群體中個(gè)體的多樣性，防止算法落入局部最優(yōu)。如果M個(gè)個(gè)體中的第i個(gè)個(gè)體的適應(yīng)度為fi，則其被選中的概率為：

（3）

（2)交叉

由于權(quán)重系數(shù)采用實(shí)數(shù)編碼，故本文采用算術(shù)交叉方式，以Pc的概率對選擇后的個(gè)體進(jìn)行交叉。設(shè)在個(gè)體XA和個(gè)體XB之間進(jìn)行交叉，交叉算子為

（4）

（5）

式中:，為父代個(gè)體基因；，為子代個(gè)體基因，a為區(qū)間[0，1]上的隨機(jī)數(shù)。兩個(gè)個(gè)體在交叉點(diǎn)后的基因進(jìn)行交換，從而產(chǎn)生兩個(gè)新個(gè)體。

（3)變異

變異是對按變異概率Pm(這里取0.05）選取的個(gè)體進(jìn)行變異，然后隨機(jī)選取一變異點(diǎn)，變異的基因安=a進(jìn)行變異操作。若新產(chǎn)生的種群個(gè)體的最大適應(yīng)度小于原種群個(gè)體的最大適應(yīng)度，則用原種群適應(yīng)度最大的個(gè)體替換新種群中適應(yīng)度最大的個(gè)體。

步驟4： 產(chǎn)生新種群

將新個(gè)體插入到種群P(t)中，產(chǎn)生新的種群P(t+1)，再把新種群個(gè)體的連接權(quán)賦予神經(jīng)網(wǎng)絡(luò)中，并計(jì)算新個(gè)體的適應(yīng)度函數(shù)，若達(dá)到預(yù)定值εGA，則進(jìn)入下一步，否則繼續(xù)進(jìn)行遺傳操作。

步驟5再用BP算法訓(xùn)練網(wǎng)絡(luò)權(quán)值

達(dá)到所要求的性能指標(biāo)或最大遺傳代數(shù)后，將最終群體中的最優(yōu)個(gè)體解碼即可得到優(yōu)化后的網(wǎng)絡(luò)連接權(quán)系數(shù)。以GA遺傳出的優(yōu)化初值作為BP神經(jīng)網(wǎng)絡(luò)的初始權(quán)值，再用BP算法訓(xùn)練直到誤差平方和達(dá)到指定精度 或達(dá)到設(shè)定的最大迭代次數(shù)，算法結(jié)束。

模型算法流程圖見圖2:

三、數(shù)據(jù)來源及實(shí)證結(jié)果

1.實(shí)驗(yàn)數(shù)據(jù)來源

本文采用遺傳神經(jīng)網(wǎng)絡(luò)的方法對我國某地市的電信公司的業(yè)務(wù)收入進(jìn)行預(yù)測。影響電信企業(yè)收入的因素可以分兩大類：內(nèi)部因素和外部因素;內(nèi)部因素指由企業(yè)自身對收入造成影響的主要因素，如產(chǎn)品數(shù)量、投入成本、工程投資、固定資產(chǎn)、企業(yè)體制等。外部因素指當(dāng)?shù)亟?jīng)濟(jì)發(fā)展指標(biāo)、當(dāng)?shù)厝丝跀?shù)量、相關(guān)法律法規(guī)、消費(fèi)者偏好、競爭環(huán)境等。

2.網(wǎng)絡(luò)結(jié)構(gòu)確定

以1999年～2003年的數(shù)據(jù)來預(yù)測第2004～2005年的數(shù)據(jù)，取神經(jīng)網(wǎng)絡(luò)的輸入層節(jié)點(diǎn)數(shù)為m=20個(gè)，輸出量n為1個(gè)即電信業(yè)務(wù)收入，由經(jīng)驗(yàn)公式:k=(m+n)+c結(jié)合試錯(cuò)法，可得隱含層節(jié)點(diǎn)數(shù)s1=14，輸出層數(shù)s2=1。

因此建立的網(wǎng)絡(luò)基本參數(shù)為:拓?fù)浣Y(jié)構(gòu)20－14－1；

3.遺傳神經(jīng)網(wǎng)絡(luò)訓(xùn)練:

應(yīng)用遺傳操作（選擇、交叉、變異）訓(xùn)練神經(jīng)網(wǎng)絡(luò)，產(chǎn)生新一代個(gè)體，淘汰父代個(gè)體，直至達(dá)到最大進(jìn)化代數(shù)或者產(chǎn)生最優(yōu)解。給定精度（εGA=0.005），經(jīng)遺傳優(yōu)化訓(xùn)練后得到最終的初始權(quán)值和閾值。用遺傳算法訓(xùn)練得到的初始權(quán)值和閾值建立BP網(wǎng)絡(luò)模型，并訓(xùn)練網(wǎng)絡(luò)直至達(dá)到指定精度。

4.結(jié)果檢驗(yàn)

用訓(xùn)練好的權(quán)值和閾值的遺傳神經(jīng)網(wǎng)絡(luò)對2004年和2005年的電信業(yè)務(wù)進(jìn)行預(yù)測，并將預(yù)測結(jié)果與一般BP神經(jīng)網(wǎng)絡(luò)預(yù)測結(jié)果進(jìn)行比較（見表2）：

從表2的結(jié)果可以看出，在建模樣本相同下，基于遺傳算法的BP網(wǎng)絡(luò)模型對兩年獨(dú)立樣本的預(yù)報(bào)精度明顯優(yōu)于BP網(wǎng)絡(luò)模型，而且預(yù)報(bào)結(jié)果穩(wěn)定，收斂速度快、精度高，并且克服了以往憑經(jīng)驗(yàn)確定網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)的缺陷，提高了網(wǎng)絡(luò)的精確性和泛化能力。

四、結(jié)論

本文為克服BP神經(jīng)網(wǎng)絡(luò)模型所存在易于陷入局部最優(yōu)解等缺陷而提出了結(jié)合遺傳算法和神經(jīng)網(wǎng)絡(luò)的一種混合模型——遺傳神經(jīng)網(wǎng)絡(luò)模型，并利用所設(shè)計(jì)的遺傳神經(jīng)網(wǎng)絡(luò)模型，選擇我國某地市的電信公司數(shù)據(jù)作為數(shù)據(jù)樣本，對該公司的業(yè)務(wù)收入進(jìn)行預(yù)測，并對比BP神經(jīng)網(wǎng)絡(luò)模型，實(shí)證結(jié)果表明，遺傳神經(jīng)網(wǎng)絡(luò)模型，相對BP神經(jīng)網(wǎng)絡(luò)而言，其預(yù)測效率和準(zhǔn)確率大大得到提高，在電信業(yè)務(wù)收入預(yù)測方面具有較好的應(yīng)用前景。

參考文獻(xiàn)：

[1]WANG Q， STOCKTON D J， BAGULEY P. Using neural networks in cost model development process [C].Proc of the 16th National Conf on Manufacturing Research， UK:Professional Engineering， 2000:59～63

[2]SMITH A E， MASON A K. Cost estimation predictive modeling: regression versus neural [J].Engineering Economist， 1997， 42(2):137～161

[3]何 芳 陳 收:基于擴(kuò)展卡爾曼濾波的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法在股票預(yù)測中的應(yīng)用[J].系統(tǒng)工程，2003，21(6):75～80

[4]周 明 孫樹棟:遺傳算法原理及應(yīng)用[M].北京:國防工業(yè)出版社，2000:56～58

[5]Jatomder N D. Gupta， Sexton R S. Comparing back-propagation with a genetic algorithm for neural network training[J].Omega，1999，(27);679～684

[6]穆阿華 周紹磊 劉青志:利用遺傳算法改進(jìn)BP 學(xué)習(xí)算法[J].計(jì)算機(jī)仿真， 2005， 22(2):150～156

[7]俞亭超:自適應(yīng)遺傳-人工神經(jīng)元網(wǎng)絡(luò)模型及在城市用水量預(yù)測中的應(yīng)用研究[D].杭州:浙江大學(xué)，2001

[8]玄光男 程潤偉:遺傳算法與工程優(yōu)化[M].北京:清華大學(xué)出版社，2005

[9]惠曉峰 胡運(yùn)權(quán) 胡 偉:基于遺傳算法的BP神經(jīng)網(wǎng)絡(luò)在匯率預(yù)測中的應(yīng)用研究[J]．?dāng)?shù)量經(jīng)濟(jì)技術(shù)經(jīng)濟(jì)研究，2002，19(2):80～83

[10]孫 全 朱 江:基于遺傳神經(jīng)網(wǎng)絡(luò)的股票價(jià)格的短期預(yù)測[J].計(jì)算機(jī)工程與應(yīng)用，2002，(5):237～239