基于EFAST的在線極限學(xué)習(xí)機節(jié)點剪枝方法

（福州理工學(xué)院，福建 福州，350002）

極限學(xué)習(xí)機（extreme learning machine，ELM）[1-3]是在單隱藏層網(wǎng)絡(luò)結(jié)構(gòu)基礎(chǔ)上新近發(fā)展的機器學(xué)習(xí)技術(shù)，有處理快速、泛化精度高、結(jié)構(gòu)簡單等優(yōu)點，但這種標(biāo)準(zhǔn)的極限學(xué)習(xí)機并不能在學(xué)習(xí)的同時也能對自身的網(wǎng)絡(luò)結(jié)構(gòu)進行自適應(yīng)調(diào)整，給極限學(xué)習(xí)機帶來了一定的局限性，并且當(dāng)隱藏節(jié)點過多時會導(dǎo)致ELM的過擬合的問題，反之過少的時候，則會導(dǎo)致ELM泛化精度降低。目前極限學(xué)習(xí)機的網(wǎng)絡(luò)結(jié)構(gòu)自適應(yīng)調(diào)整方法總體上分為3類：剪枝方法，增長方法，混合方法。P-ELM[4]、OP-ELM[5]、ImSAP-ELM[6]和SVM-ELM[7]是屬于剪枝的方法，一般會初始化一個較大的單隱藏層網(wǎng)絡(luò)結(jié)構(gòu)，再按照一定的標(biāo)準(zhǔn)，對隱藏層中各個節(jié)點的重要性進行分析，最后舍去非重要的節(jié)點從而達到對網(wǎng)絡(luò)結(jié)構(gòu)的優(yōu)化，但這些方法只能是單純對節(jié)點個數(shù)進行優(yōu)化，并且無法應(yīng)用于在線的極限學(xué)習(xí)機（OSELM）。I-ELM[8]和CEOS-ELM[9]。是屬于增長的方法，會從一個初始較小的網(wǎng)絡(luò)，然后逐步添加節(jié)點，一直到網(wǎng)絡(luò)的精度滿足期望的要求，在訓(xùn)練時，一般需要指定最高的訓(xùn)練精度與最大的網(wǎng)絡(luò)規(guī)模，但這兩個參數(shù)在實際當(dāng)中是難以預(yù)先估計。EOS-ELM[10]、VS-OSELM[11]和HOS-ELM[12]是屬于混合的方法，這類方法既有添加節(jié)點功能也包含節(jié)點刪除的功能，在實際中實現(xiàn)相對復(fù)雜，所需設(shè)置參數(shù)較多，因而增加了ELM的使用難度。

本文的方法屬于一種剪枝類方法，首先通過使用擴展的傅里葉振幅敏感度測試（EFAST）[13-15]對OS-ELM的隱藏層各節(jié)點進行敏感度分析，能更加準(zhǔn)確的分析各個隱藏節(jié)點對網(wǎng)絡(luò)輸出的重要性，從而能準(zhǔn)確的去除網(wǎng)絡(luò)中非必要的節(jié)點，并且設(shè)計了一種基于迭代最小二乘法的參數(shù)調(diào)整方法，可以對剪枝后的OS-ELM參數(shù)進行調(diào)整，從而達到優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)的目的，最終在公開的數(shù)據(jù)集上驗證了方法的有效性。

1 OS-ELM與EFAST

1.1 OS-ELM

在線極限學(xué)習(xí)機是一種單隱藏層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，它利用迭代的最小二乘法 （recursive least square，RLS）能實時的調(diào)整網(wǎng)絡(luò)的權(quán)值。如圖 1所示的OS-ELM有h個隱藏層節(jié)點和m個輸出層節(jié)點。對于OS-ELM它有一個初始化的過程，需要使用N0個輸入樣本對輸出層的權(quán)值進行初始化，之后當(dāng)有新的訓(xùn)練樣本到時，OSELM會通過新來的訓(xùn)練樣本計算輸出層的參數(shù)，它的算法具體的實現(xiàn)如下：

圖1 OS-ELM基本結(jié)構(gòu)

（1）選取激勵函數(shù)f，采用隨機過程生成h個輸入層的映射向量W和偏置值B。

（2）OS-ELM網(wǎng)絡(luò)的初始化過程，需要利用輸入的N0個樣本得到隱藏層輸出矩陣H0和標(biāo)記矩陣T0，求解初始化的迭代更新量k0=H0TH0和輸出層β0=k0H0TT0。

（3）對于第i批次輸入的訓(xùn)練樣本，通過f、W和B可計算得相應(yīng)的隱藏層輸出矩陣Hi和標(biāo)記矩陣Ti，那么第i次訓(xùn)練得到的輸出層參數(shù)βi與迭代更新量ki可遞歸地表示為：

1.2 OS-ELM的傅立葉振幅敏感度測試

EFAS是用來檢測系統(tǒng)各個輸入量對系統(tǒng)的總體輸出方差的影響，其本質(zhì)的思想是當(dāng)一個輸入量對系統(tǒng)總體輸出方差產(chǎn)生的影響越大，那么輸入量對整個輸出的影響就越大，該輸入在系統(tǒng)中的重要性就越大。如果把OS-ELM結(jié)構(gòu)分成輸入層到隱藏層和隱藏層到輸出層兩個部分。第一部分使用隨機映射方式，把輸入空間的向量隨機映射到OS-ELM的特征空間。第二部分由于隱藏層的輸出與系統(tǒng)輸出的關(guān)系可以描述為函數(shù)：

該函數(shù)可以用傅里葉級數(shù)展開如式（4）：

其中Aj和Bj可以如下表示：

對于準(zhǔn)確衡量輸入zi對總體輸出的影響，EFAST通過計算公式 (7)描述輸入zi對總體輸出的影響。

這里M為敏感分析系統(tǒng)的干擾因素（一般設(shè)為4或6）。其中w～i表示輸入z～i=zi,z2，…zi-1,zi+1,…,zh的頻率值，當(dāng)要計算sti時，就把zi頻率設(shè)置為wi=max(wk=1,2,…，h)。同時也需要滿足下面的兩個等式：

2 FOS-ELM模型

2.1 FOS-ELM的網(wǎng)絡(luò)參數(shù)調(diào)整方法

當(dāng)利用FAST算法對OS-ELM的節(jié)點敏感度分析，對網(wǎng)絡(luò)結(jié)構(gòu)進行剪枝優(yōu)化后，需要重新調(diào)整OSELM權(quán)值，基于標(biāo)準(zhǔn)的OS-ELM算法，本文設(shè)計了一種對剪枝后權(quán)值進行調(diào)整的算法。假設(shè)OS-ELM通過第n-1批樣本訓(xùn)練，得到的輸出層參數(shù)為β0，迭代更新量為k0。對于第n批的訓(xùn)練樣本，通過EFAST敏感度測對各個隱藏層節(jié)點進行分析，刪除網(wǎng)絡(luò)中敏感度低于指定閾值的節(jié)點(不失一般性，假設(shè)被刪除節(jié)點編號是{1,2,3..，t})，并且定義為隱藏層輸出矩陣H0刪除第{1,2,3,t}列向量得到的矩陣：

與OS-ELM一樣，需要求解剪枝后的輸出權(quán)值β1和迭代更新量k1，對于在線的OS-ELM學(xué)習(xí)算法，需要將 β1表示為的函數(shù)：

在式(12)中，

其中k1和β1分別可以表示為：

2.2 FOS-ELM的隱藏節(jié)點剪枝方法

選取一個含足夠多個隱藏層節(jié)點的單隱藏層神經(jīng)網(wǎng)絡(luò)作為FOS-ELM的初始結(jié)構(gòu)，選取隱藏層節(jié)點激活函數(shù)f，并隨機生成輸入層的權(quán)值W和隱藏層節(jié)點的偏置值B來進行初始化網(wǎng)絡(luò)，并且計算輸出層的初始化權(quán)值β0和 k0，對于接下來每一批次的樣本數(shù)據(jù)，首先利用傅里葉振幅測試，對隱藏層節(jié)點的敏感度進行計算，當(dāng)節(jié)點的敏感度小于閾值δ時，就從當(dāng)前的網(wǎng)絡(luò)中移除該節(jié)點，然后并通過本文中設(shè)計的權(quán)值調(diào)整方法來調(diào)整結(jié)構(gòu)優(yōu)化后的OS-ELM的輸出層權(quán)值βi與迭代更新量ki。具體的FOS-ELM剪枝的流程。

3 實驗結(jié)果分析

為了驗證設(shè)計的FOS-ELM算法在優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)上的有效性，在以下5組數(shù)據(jù)進行對比實驗比較。

（1）論文[13]實驗數(shù)據(jù)：5000個訓(xùn)練樣本，5000個測試樣本，每個樣本有4個輸入屬性和1個輸出屬性。（2）Concrete compressive strength數(shù)據(jù)：來自于UCI數(shù)據(jù)庫，730條訓(xùn)練樣本，300條測試樣本。每條樣本有8個輸入屬性和一個輸出屬性。（3）Diabetes數(shù)據(jù)：來自于ELM官網(wǎng)提供的數(shù)據(jù)。576條訓(xùn)練樣本，192條測試樣本，8個輸入屬性，2個輸出類別。（4）Landsat satellite image數(shù)據(jù)：來自于ELM官網(wǎng)提供的數(shù)據(jù)。4435條訓(xùn)練樣本，2000條測試樣本，36個輸入屬性，6個輸出類別。（5）Segment數(shù)據(jù)：數(shù)據(jù)來自于ELM官網(wǎng)提供的數(shù)據(jù)。1500條訓(xùn)練樣本，810條測試樣本，19個輸入屬性,7個輸出類別。

實驗結(jié)果見表1～6。

表1 函數(shù)16的測試結(jié)果

表2 Concrete compressive strength的測試結(jié)果

表3 Diabetes數(shù)據(jù)測試結(jié)果

表4 Satellite Image數(shù)據(jù)測試結(jié)果

由表 1～2的數(shù)據(jù)，提出的FOS-ELM方法在保證回歸精度的條件下，所使用的節(jié)點的數(shù)目均少于標(biāo)準(zhǔn)OS-ELM和HOS-ELM。同樣在表 3～5中，在保證泛化精度的條件下，F(xiàn)OS-ELM的使用的隱藏節(jié)點數(shù)目均少于CEOS-ELM和OS-ELM，

4 結(jié)論

由于OS-ELM不能自適應(yīng)調(diào)整網(wǎng)絡(luò)結(jié)構(gòu)的問題，設(shè)計了一種基于EFAST的隱藏層節(jié)點剪枝算法（FOS-ELM），利用傅里葉敏感度測試方法對OS-ELM的隱藏節(jié)點分析，能適用于剪枝后的網(wǎng)絡(luò)參數(shù)調(diào)整算法，最后也通過實驗驗證了所設(shè)計算法的有效性。目前，本文的剪枝方法只應(yīng)用于單隱藏層的在線極限學(xué)習(xí)機上，后續(xù)的研究工作可以從多隱藏層極限學(xué)習(xí)機的剪枝方法上展開；在模型復(fù)雜度欠缺情況下，極限學(xué)習(xí)模型如何有效的增長也是個有待解決的問題。