基于布谷鳥優(yōu)化算法的加權(quán)極限學(xué)習(xí)機模型

王琴

（海南醫(yī)學(xué)院，海南 海口 570102）

基于布谷鳥優(yōu)化算法的加權(quán)極限學(xué)習(xí)機模型

王琴

（海南醫(yī)學(xué)院，海南 海口 570102）

鑒于極限學(xué)習(xí)機的待定參數(shù)對模型極大的影響力，利用布谷鳥優(yōu)化算法對核參數(shù)和懲罰因子進行優(yōu)化選擇，以進一步提高模型的預(yù)測精度，然后利用非線性權(quán)值函數(shù)對極限學(xué)習(xí)機的不同樣本數(shù)據(jù)進行加權(quán)，得到新的加權(quán)極限學(xué)習(xí)機模型，提高模型的魯棒性能。

極限學(xué)習(xí)機；核函數(shù)；加權(quán)矩陣；布谷鳥優(yōu)化算法

極限學(xué)習(xí)機（ELM）［1］是訓(xùn)練單向隱藏層神經(jīng)網(wǎng)絡(luò)的一種算法。ELM通過隨機產(chǎn)生且不需要任何調(diào)整的隱藏層參數(shù)來實現(xiàn)非線性映射的逼近。ELM有很多優(yōu)點，比如易于操作，快速的訓(xùn)練速度，較好的泛化能力等。

近些年，核學(xué)習(xí)方法已經(jīng)被廣泛研究并且在各個方面得到應(yīng)用，如分類、函數(shù)逼近、異常檢測等。其最典型的特征就是Mercer核的運用，Mercer核通過從低維空間向高維空間實現(xiàn)特征變換，在再生核空間中將非線性問題線性化。在ELM中，隨機初始化隱藏層的處理可以看成是產(chǎn)生一個從輸入數(shù)據(jù)映射到特征空間的非線性映射。如果ELM核映射未知，ELM能定義核函數(shù)，隨之產(chǎn)生核極限學(xué)習(xí)機（KELM）［2］。在KELM中，隱藏層的個數(shù)即隱藏層特征空間的維數(shù)可以為無窮大，也不需要指定，這樣KELM就能獲得較好的泛化能力，且通過核技巧降低運算成本。

鑒于不同樣本點對ELM的輸出會有不同影響，為了更好地處理這些不平衡數(shù)據(jù)的預(yù)測，加權(quán)極限學(xué)習(xí)機［3］（WELM）通過對不同樣本進行加權(quán)，合理分配不同樣本的權(quán)值，大大提高ELM的學(xué)習(xí)能力。

權(quán)重函數(shù)的選擇對WELM的魯棒特性影響很大，ELM中的核參數(shù)γ和懲罰參數(shù)C的調(diào)整對降低泛化誤差，獲得精確的ELM模型也起著至關(guān)重要的作用。本文運用最新研究的布谷鳥優(yōu)化算法（COA）［4］對ELM模型參數(shù)進行優(yōu)化選擇，采用非線性權(quán)值對ELM進行加權(quán)，通過多次迭代最后輸出理想結(jié)果。

1 核極限學(xué)習(xí)機

ELM輸出為：

2 加權(quán)極限學(xué)習(xí)機

3 基于COA的參數(shù)調(diào)整

目前，有很多不同的演化算法已經(jīng)廣泛地應(yīng)用于ELM的參數(shù)優(yōu)化，如遺傳算法、粒子群算法等。COA是基于布谷鳥特殊的孵育寄生行為而提出的一種新興仿生智能優(yōu)化算法，COA具有全局搜尋能力強、聚集性更快、簡單易實現(xiàn)等優(yōu)點，相比其他演化算法，更具潛力。

COA以初始化那些產(chǎn)卵于其他鳥類棲息地的布谷鳥種群開始，然后在宿主鳥巢內(nèi)隨機產(chǎn)卵。布谷鳥的卵與宿主鳥的卵相似程度越高，則被宿主鳥孵化并長大成為成熟的布谷鳥的機會越大。宿主鳥會發(fā)現(xiàn)其中部分卵（約10%），然后將其移出巢穴。某個區(qū)域被孵化長出來的鳥卵數(shù)量就代表了這個區(qū)域的適度值。為了提高寄生卵的存活率，布谷鳥會遷移到更合適的環(huán)境去產(chǎn)卵。所以最終卵存活的最佳棲息地即為COA的優(yōu)化目標(biāo)。

布谷鳥隨機產(chǎn)下的卵置于一定數(shù)量的宿主鳥巢中，宿主鳥巢在一個大的范圍內(nèi)，這個范圍叫做最大產(chǎn)卵半徑（ELR），其取決于鳥卵總數(shù)量，當(dāng)前卵數(shù)以及變量上限與下限，所以ELR定義如下：

式（8）中，λ表示調(diào)節(jié)系數(shù)，Numcur和Numtotal分別表示鳥卵總數(shù)量和當(dāng)前卵數(shù)，Varhi和Varlow分別表示優(yōu)化問題中每個變量的上限和下限。

基于上述理論，COA的優(yōu)化過程可描述如下：①初始化布谷鳥種群；②確定每只布谷鳥的產(chǎn)卵數(shù)，計算每個布谷鳥的ELR；③刪除被宿主鳥察覺的寄生鳥卵，使其他未被識別的卵被孵化并長大為成熟的布谷鳥；④計算環(huán)境適應(yīng)度，限定布谷鳥數(shù)量的最大值，剔除適應(yīng)度小的布谷鳥；⑤聚類布谷鳥種群，尋找遷徙的目標(biāo)棲息地；⑥新的布谷鳥種群遷徙至目標(biāo)棲息地；⑦重復(fù)②至⑥直至滿足迭代終止條件。

4 基于COA的WELM

如上所述，基于COA的WELM算法步驟如下：①對給定數(shù)據(jù)，利用COA尋找到ELM的最佳參數(shù)組合γ和C，確定ELM模型；②通過ELM模型計算ξi，然后確定；③通過式（6）確定加權(quán)矩陣W，得到WELM模型；④根據(jù)WELM再次計算ξi和，重新得到W；⑤若vk=vk+1，則算法結(jié)束，建立WELM，否則再回到步驟3。

5 結(jié)語

本文將COA對ELM的參數(shù)進行綜合尋優(yōu)，獲得最佳的WELM參數(shù)組合，基于COA的參數(shù)優(yōu)化選擇不僅可以縮短WELM的訓(xùn)練時間，也降低了初值選擇對模型輸出的影響，并對ELM采用非線性的權(quán)值對樣本進行處理，降低奇異數(shù)據(jù)對模型輸出的影響，提高ELM模型的魯棒性能。

［1］Huang GB，Zhu QY，Siew CK.Extreme learning machine: Theory and applications［J］.Neurocomputing，2006（1）：489-501.

［2］Huang GB，Zhou H，Ding X，et al.Extreme learning machine for regression and multiclass classification［J］.IEEE Transactions on Systems,Man and Cybernetics part B,Cybernetics，2012（2）：513-529.

［3］Zong W，Huang GB，Chen Y.Weighted Extreme learningmachine for imbalance leaming［J］.Neurocomputing，2013（3）：229-242.

［4］Rajabioun R.Cuckoo optimization algorithm［J］.Applied Soft Computing，2011（8）：5508-5518.

［5］陶莉莉，鐘偉民，羅娜，等.基于粗差判別的參數(shù)優(yōu)化自適應(yīng)加權(quán)最小二乘支持向量機在PX氧化過程參數(shù)估計中的應(yīng)用［J］.化工學(xué)報，2012（12）：3943-3950.

Weighted Extreme Learning Machine Optimized by Cuckoo Optimization Algorithm

Wang Qin
（Hainan Medical University，Haikou Hainan 570102）

In view of the great influence of undetermined parameters of extreme learning machine on the model,cuckoo optimization algorithm was utilized to optimize the kernel parameter and penalty factor in order to improve the prediction accuracy,novel weighted extreme learning model was obtained through weighing different sample data of extreme learning machine by nolinear weighting function afterwards,consequently,the robustness of the model was enhanced.

extreme learning machine；kernel function；weighted matrix；cuckoo optimization algorithm

TP393.08

A

1003-5168（2017）05-0036-02

2017-04-15

王琴（1984-），女，講師，研究方向：機器學(xué)習(xí)及信號處理。