一種基于遺傳算法的極限學習機改進算法研究

王新環(huán)　劉志超

摘 要：針對傳統(tǒng)極限學習機（ELM）缺乏有效的訓(xùn)練方法、應(yīng)用時預(yù)測精度不理想這一弱點，提出了一種基于遺傳算法（GA）訓(xùn)練極限學習機（GA-ELM）的方法。在該方法中，ELM的輸入權(quán)值和隱藏層節(jié)點閾值映射為GA的染色體向量，GA的適應(yīng)度函數(shù)對應(yīng)ELM的訓(xùn)練誤差；通過GA的遺傳操作訓(xùn)練ELM，選出使ELM網(wǎng)絡(luò)誤差最小的輸入權(quán)值和閾值，從而改善ELM的泛化性能。通過與ELM、I-ELM、OS-ELM、B-ELM4種方法的仿真結(jié)果對比，表明遺傳算法有效地改善了ELM網(wǎng)絡(luò)的預(yù)測精度和泛化能力。

關(guān)鍵詞：遺傳算法；極限學習機；權(quán)值；閾值

DOI：10.11907/rjdk.171419

中圖分類號：TP312 文獻標識碼：A 文章編號：1672-7800（2017）009-0079-04

Abstract：In order to improve the prediction accuracy of traditional Extreme Learning Machine （ELM） algorithm. Aim to overcome the lack of effective training methods for traditional extreme learning machine （ELM）， the prediction accuracy is not ideal .We proposed a method which based on genetic algorithm （GA） training Extreme Learning Machine. In this method， the initial input weights and threshold vector of ELM maps to the chromosome vector of GA， and the fitness function of GA corresponds to the training error of ELM；By means of the GA to train ELM， improve the ELMs generalization capacity. Comparing the simulation results of GA-ELM with ELM， I-ELM， OS-ELM， B-ELM， the simulation results show that the genetic algorithm can effectively improve the prediction accuracy and generalization ability of ELM network.

Key Words：genetic algorithm； extreme learning machine； weight

0 引言

Huang G B等[1] 于 2006 年在傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上，提出了極限學習機（Extreme Learning Machine，ELM）算法，它屬于單隱藏層前饋神經(jīng)網(wǎng)絡(luò)（SLFNs），具有自適應(yīng)能力和自主學習特點，主要應(yīng)用于圖像分割、故障診斷、數(shù)據(jù)挖掘自動控制等領(lǐng)域[2-4]。該算法通過對單隱藏層前饋神經(jīng)網(wǎng)絡(luò)的輸入權(quán)值和隱藏層節(jié)點的閾值隨機賦值，用最小二乘法求解得到輸出權(quán)值，極大提高了網(wǎng)絡(luò)訓(xùn)練速度和泛化能力[5-6]。但是，在解決梯度下降問題時，隨機產(chǎn)生網(wǎng)絡(luò)的輸入權(quán)值和隱藏層節(jié)點的閾值向量參數(shù)不能保證訓(xùn)練出的ELM模型達到最優(yōu)，有收斂速度慢等問題。針對這些問題，陳紹煒等[7]提出利用蝙蝠算法優(yōu)化ELM，王杰等[8]提出了粒子群優(yōu)化的極限學習機，張衛(wèi)輝等[9]提出了DE-ELM，這些方法都有可能出現(xiàn)早熟，陷入局部最優(yōu)。

遺傳算法（genetic algorithm，GA）是模擬達爾文生物進化論的自然選擇和遺傳學機理的生物進化過程的計算模型，是一種基于概率轉(zhuǎn)換規(guī)則的全局搜索優(yōu)化方法[10]。它將問題的解看作一個種群，通過不斷選擇、交叉、變異等遺傳操作，使解的質(zhì)量越來越好[11]。

為了提高ELM算法的預(yù)測準確率，本文提出了一種基于遺傳算法的極限學習機。在可行解空間，把遺傳算法優(yōu)化極限學習機初始權(quán)值和閾值的問題，轉(zhuǎn)化為遺傳算法中選擇最適應(yīng)染色體過程。將本算法與其它幾個算法如ELM、I-ELM、OS-ELM、B-ELM，分別對回歸和分類問題進行仿真，以驗證GA-ELM運行效果的準確性。

1 極限學習機

極限學習機（ELM）是一種新的學習算法，它是一種單隱藏層前饋神經(jīng)網(wǎng)絡(luò)學習算法。相比傳統(tǒng)的基于梯度的學習算法，只需隨機選取輸入權(quán)值和隱藏層節(jié)點的閾值即可求出輸出權(quán)值，避免了傳統(tǒng)學習方法面臨的問題。ELM學習速度快且泛化性能好，其網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

給定訓(xùn)練集{（xi，ti）}Ni=1Rn×Rm，隱藏層節(jié)點激勵函數(shù)g（·）是非線性函數(shù)，有Hardlim函數(shù)、Sigmoid函數(shù)、Gaussian函數(shù)等，其中Sigmoid函數(shù)最為常用，隱藏層節(jié)點個數(shù)為L。

（1）隨機選取隱藏層節(jié)點參數(shù)（ai，bi），i=1，…，L，ai為第i個隱藏層節(jié)點的輸入權(quán)值，bi為第i個隱藏層節(jié)點閾值。

（2）計算隱藏層節(jié)點輸出矩陣H=g（ai，bi，xi）。H=h（x1）

h（xn）=g（a1，b1，x1）…g（aL，bL，x1）

…

g（a1，b1，xn）…g（aL，bL，xn）n×L

（1） （3）計算隱藏層到輸出層的輸出權(quán)值β：β=H↑·T，β=βT1

βTLL×m，T=tT1

tTnn×mendprint

（2） 式中：H↑是隱藏層輸出矩陣H的Moore-Penrose廣義逆，T為目標輸出，即T={tj}nj=1。

（4）計算輸出值Oj。

當訓(xùn)練到誤差（|Oj-Tj|）小于預(yù)先設(shè)定的常數(shù)ε時，ELM能夠接近這些訓(xùn)練樣本： Oj=∑Li=1βig（ai，bi，xi），|Oj-Tj|≤ε，j=1，…，n （3） （5）求取誤差：E（ai，bi）=∑nj=1（Oj-Tj）2

（4） 其中，（ai，bi）分別為隱藏層節(jié)點輸入權(quán)值、閾值， Tj是第j組數(shù)據(jù)的輸出實際值，Oj是第j組數(shù)據(jù)輸出預(yù)測值。GA-ELM的目標是使誤差E（ai，bi）最小。該方法的主要思想是：把ELM的初始輸入權(quán)值和隱藏層節(jié)點閾值作為GA算法的染色體向量，通過選擇、交換、變異、遺傳等操作，選擇出最適應(yīng)染色體作為ELM預(yù)測數(shù)據(jù)的輸入權(quán)值和閾值。

2 遺傳算法（GA）

遺傳算法是Holland教授于1975年提出的一種模擬自然界遺傳機制和生物進化論的搜索全局最優(yōu)解算法。GA把搜索空間映射為遺傳空間，把可能的解編碼成一個向量——染色體，向量的每個元素稱為基因，通過不斷計算各染色體的適應(yīng)值，選擇最好的染色體獲得最優(yōu)解。遺傳算法執(zhí)行過程如下：

（1）初始化。確定種群規(guī)模M，隨機生成M個染色體作為初始種群Y（0）、交叉概率Pc、變異概率Pm、終止進化代數(shù)N。

（2）計算個體適應(yīng)度。計算第t代種群Y（t）中每個染色體的適應(yīng)度。設(shè)種群為f（y），y∈M，其中M={y1，…，ym}， yi={x1，…，xm}，每個染色體含m個基因，則f（y）=y1

yM=x11…x1m

…

xM1…xMm

（5） 適應(yīng)度函數(shù)為fit（y），y∈{y1，…，yM}，求取fit（y）函數(shù)時，假設(shè)為優(yōu)化神經(jīng)網(wǎng)絡(luò)，則fit（yi）=1n∑nj=1（Oj-Tj）2

（6） 其中：Oj為第j個預(yù)測輸出值；Tj為實際輸出值；n為輸入數(shù)據(jù)總數(shù)。

（3）進化。選擇（母體）：從Y（t）中運用選擇算子選擇出L對母體L≥M；交叉：隨機選擇L2對染色體（雙親染色體），當其中一個染色體概率小于Pc時，隨機制定一點或多點進行交叉，可得兩個新的染色體（子輩染色體），最后形成L個中間個體；變異：對L個中間個體分別依概率Pm執(zhí)行變異，形成M個候選個體。

（4）選擇子代。從上述種群中形成的L個候選個體中選擇適應(yīng)度高的M個染色體，形成新一代種群Y（t+1），選擇方法是適應(yīng)度比例法（轉(zhuǎn)輪法）。

某染色體被選的概率為Pc：Pc=fit（yi）∑fit（yi）

（7） yi為種群中第i個染色體，fit（yi）是第i個染色體的適應(yīng)度值，∑fit（yi）是種群所有染色體適應(yīng)度值之和。

具體步驟如下：①計算各染色體適應(yīng)度值；②累計所有染色體適應(yīng)度值，記錄中間累加值S-mid和最后累加值sum=∑fit（yi）；③產(chǎn)生一個隨機數(shù)N，0

（5）終止進化。當達到進化代數(shù)N時，終止進化，選擇出第N代中適應(yīng)度最高的染色體作為最優(yōu)解。targetvalue=max{fit（yi）}（8） 遺傳算法流程如圖2所示。

3 GA-ELM算法

為提高極限學習機預(yù)測精度，本文提出了基于遺傳算法的極限學習機（GA-ELM）。在該算法中，將ELM訓(xùn)練數(shù)據(jù)的輸入權(quán)值和隱層節(jié)點閾值，映射為GA種群中每條染色體上的基因；GA的染色體適應(yīng)度對應(yīng)于ELM的訓(xùn)練誤差，這樣將求取最優(yōu)輸入權(quán)值、閾值問題轉(zhuǎn)換為通過降低染色體適應(yīng)度，選擇最優(yōu)染色體問題。通過GA繁殖、交叉、變異等遺傳操作，選擇出最優(yōu)染色體，作為優(yōu)化后ELM的輸入權(quán)值和閾值；再用ELM求取輸出權(quán)值的方法——最小二乘法，算出隱層神經(jīng)元的輸出權(quán)值，從而計算預(yù)測輸出。該算法集成了GA全局搜索最優(yōu)能力和ELM的強學習能力。

GA-ELM學習過程：

取訓(xùn)練數(shù)據(jù)N，該組數(shù)據(jù)有輸入神經(jīng)元A個，隱層神經(jīng)元B個，選擇激活功能函數(shù)，可以取Hardlim函數(shù)、Sigmoid函數(shù)、Gaussian函數(shù)等。

（1）初始化種群。初始化種群X，包括m個染色體，其中每個染色體xi都包括A·B個輸入權(quán)值和B個閾值，并把初始群體作為第一代種群：X=x1

xm=a11…a1Ab11…b1B

……

am1…amAbm1…bmB

（9） 其中：akg為輸入權(quán)值；bkh為隱層神經(jīng)元閾值，初始群體中的權(quán)值和閾值是隨機獲取的。k=1，2，…，m；g=1，2，…，A；h=1，2，…，B （2）計算適應(yīng)度。xi由輸入權(quán)值向量ωi和閾值向量bi組成：xi=ωi+bi；ωi=ai1，…，aiA；bi=bi1，…，biB

（10） 用ELM求輸出權(quán)值的方法求隱層神經(jīng)元輸出權(quán)值β：β=H+T

（11） 則適應(yīng)度函數(shù)fit為：fit=∑nj=1（Oj-Tj）2=∑Nj=1∑Bi=1（βig（ai，bi，xi）-Ti）2

（12） （3）選擇染色體。計算出每個染色體的適應(yīng)度后，對種群進行選擇、交叉、變異等操作，形成新一代種群。繼續(xù)進行優(yōu)化運算，直至達到設(shè)定的遺傳代數(shù)，選出此時適應(yīng)度最高的染色體作為優(yōu)化后的輸入權(quán)值和閾值。

4 實驗結(jié)果與分析

為了驗證GA-ELM算法的有效性，將GA-ELM與ELM、I-ELM、OS-ELM、B-ELM分別應(yīng)用于5個回歸問題、5個分類問題，進行仿真測試及結(jié)果分析。仿真實驗環(huán)境：內(nèi)存4G，處理器為Core i5-3470，頻率為3.2GHz的普通PC機，matalb2013a環(huán)境下運行。endprint

4.1 實驗參數(shù)設(shè)置

以下實驗中，所有回歸和分類問題的輸入都歸一化到[-1，1]，權(quán)值和閾值在區(qū)間[-1，1]，輸出歸一化為[0，1]，隱層神經(jīng)元激勵函數(shù)采用Sigmoid函數(shù)，遺傳算法的進化代數(shù)為50代，交叉概率為0.4，變異概率為0.1，種群規(guī)模為40。

4.2 仿真數(shù)據(jù)屬性及設(shè)置

測試數(shù)據(jù)在UCI（University of CaliforniaIrvine）數(shù)據(jù)庫中下載。表1列出了回歸數(shù)據(jù)屬性，表2列出了分類數(shù)據(jù)屬性。每種算法運行100次，取其平均訓(xùn)練時間、平均誤差和平均精度，仿真結(jié)果如表3、表4所示。

結(jié)果分析：從表3可以看出，所有回歸試驗中，在相同隱層神經(jīng)元情況下，GA-ELM的測試誤差遠遠小于其它算法誤差。這是因為在原始的ELM中，一些隱層節(jié)點在求網(wǎng)絡(luò)輸出時作用很小，有時還有可能增加網(wǎng)絡(luò)的復(fù)雜性，降低泛化性能。表4中，每組數(shù)據(jù)在相同隱層節(jié)點情況下，GA-ELM的測試精度均達到最高。

4.3 隱層節(jié)點數(shù)目性能比較

將 GA-ELM、ELM、OS-ELM、I-ELM、B-ELM等SLFNs的隱層節(jié)點數(shù)初始設(shè)置為1個，每次加1，直到50個為止。測試結(jié)果如圖3和圖4所示。圖3取Concrete數(shù)據(jù)，圖4取Balance數(shù)據(jù)。

結(jié)果分析：從圖3可以看出，GA-ELM在很少隱層節(jié)點的情況下，誤差已經(jīng)很小，表明經(jīng)過GA訓(xùn)練得到了使ELM網(wǎng)絡(luò)誤差最小的輸入權(quán)值和閾值，提高了收斂速度。從圖4可以看出，在相同測試精度情況下，GA-ELM的隱層節(jié)點數(shù)比其它算法少很多，這意味著在處理固定型SLFNs時，GA-ELM比ELM、I-ELM、OS-ELM、B-ELM能獲得更加緊湊的網(wǎng)絡(luò)結(jié)構(gòu)。簡言之，GA-ELM在解決回歸和分類問題時，可以更好地提高測試精度。

5 結(jié)語

本文提出了一種新的單隱層前饋神經(jīng)網(wǎng)絡(luò)算法GA-ELM，與其它算法的仿真結(jié)果對比表明，無論在回歸問題還是分類問題上，GA-ELM都具有高預(yù)測精度。與其它算法不同的是，GA-ELM具有自組織、自適應(yīng)、自學習性，能夠迅速搜索到最優(yōu)權(quán)值和閾值，使ELM的網(wǎng)絡(luò)模型更加緊湊，計算代價更低，更適用于離線訓(xùn)練、在線識別或預(yù)測等對精度要求較高的場合。

參考文獻：

[1] HUANG G B， ZHU Q Y， SIEW C K. Extreme learning machine： theory and applications [J].Neurocomputing， 2006，70（s1-3）：489-500.

[2] FENG GUORUI， LAN YUAN， ZHANG XINPENG， et al. Dynamic adjustment of hidden node parameters for extreme learning machine [J]. IEEE Transactions On Cybernetics， 2015，5（2）：279-288.

[3] HUANG GUANG-BIN， ZHOU HONGMING. Extreme learning machine for regression and multiclass classification [J]. IEEE Transactions On Systems， Man， and Cybernetics-Part B： Cybernetics， 2012，42（2）：513-529.

[4] LIN SHAOBO， LIU XIA， FANG JIAN. Is extreme learning machine feasible？a theoretical assessment（Part II）[J]. IEEE Transactions On Neural Networks And Learning Systems， 2015，26（1）：21-34.

[5] YOAN MICHE， ANTTI SORJAMAA， PATRICK BAS， et al. OP-ELM： optimally pruned extreme learning machine [J]. IEEE Transactions On Neural Networks， 2010，21（1）：158-162.

[6] ALIM SAMAT， PEIJUN DU， SICONG LIU，et al. Ensemble extreme learning machines for hyperspectral image classification [J]. IEEE Journal Of Selected Topics In Applied Earth Observations And Remote Sensing，2014， 7（4）：1060-1068.

[7] 陳紹煒，柳光峰，冶帥，等.基于蝙蝠算法優(yōu)化ELM的模擬電路故障診斷研究[J].電子測量技術(shù)，2015，38（2）：138-141.

[8] 王杰，畢浩洋.一種基于粒子群優(yōu)化的極限學習機[J].鄭州大學學報，2013，45（1）：100-104.

[9] 張衛(wèi)輝，黃南天.基于廣義S變換和DE-ELM的電能質(zhì)量擾動信號分類[J].電測與儀表，2016，53（20）：50-54.

[10] YANG CHENG-HONG， LIN YU-DA， LI-YEH CHUANG， et al. Evaluation of breast cancer susceptibility using improved genetic algorithms to generate genotype SNP barcodes [J].IEEE/ACM Transactions On Computational Blology And Bioinformatics，2013，10（2）：361-371.

[11] CHEN BILI， ZENG WENHUA， LIN YANGBIN， et al. A new local search-based multiobjective optimization algorithm[J].IEEE Transactions On Evolutionary Computation，2015，19（1）：50-73.

（責任編輯：杜能鋼）endprint