一種修正的模糊極限學(xué)習(xí)機(jī)

李麗娜 閆德勤 楚永賀

(遼寧師范大學(xué)計(jì)算機(jī)與信息技術(shù)學(xué)院 遼寧 大連 116081)

一種修正的模糊極限學(xué)習(xí)機(jī)

李麗娜 閆德勤 楚永賀

(遼寧師范大學(xué)計(jì)算機(jī)與信息技術(shù)學(xué)院 遼寧 大連 116081)

極限學(xué)習(xí)機(jī)ELM(Extreme learning machine)作為一個(gè)有競(jìng)爭(zhēng)力的機(jī)器學(xué)習(xí)算法，以其簡(jiǎn)單的理論和易于實(shí)施的特點(diǎn)吸引了越來(lái)越多學(xué)者的關(guān)注。近來(lái)，針對(duì)噪音及離群數(shù)據(jù)，研究人員提出了相關(guān)的研究算法，然而如何將ELM更好地應(yīng)用在含有噪音及離群數(shù)據(jù)的分類(lèi)問(wèn)題中仍是一個(gè)重要的研究課題。基于數(shù)據(jù)的信息關(guān)聯(lián)的技術(shù)思想提出一種修正的模糊極限學(xué)習(xí)機(jī)(MFELM)。MFELM的優(yōu)勢(shì)在于： 1) MFELM在處理噪音及離群數(shù)據(jù)的分類(lèi)問(wèn)題時(shí)能夠保持ELM處理正常數(shù)據(jù)分類(lèi)問(wèn)題的良好性能； 2) 適用于ELM的激活函數(shù)或核函數(shù)同樣適用于MFELM模型； 3) 根據(jù)不同的需求給每個(gè)數(shù)據(jù)樣本分配不同的隸屬度，MFELM可以推廣到代價(jià)敏感學(xué)習(xí)中。通過(guò)使用UCI數(shù)據(jù)集和普遍應(yīng)用的人臉數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明該提出的算法顯著提高了ELM的分類(lèi)能力并優(yōu)于其他算法。

極限學(xué)習(xí)機(jī) 不平衡數(shù)據(jù) 信息關(guān)聯(lián) 特征映射

0 引 言

近來(lái)極限學(xué)習(xí)機(jī)[1]ELM吸引了越來(lái)越多學(xué)者的關(guān)注[2-3]，ELM在單隱層前饋神經(jīng)網(wǎng)絡(luò)SLFNs(Single-hidden layer feedforward networks)[4]的基礎(chǔ)上發(fā)展而來(lái)，可以看作是SLFNs的擴(kuò)展。不同于傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)算法，ELM具有三個(gè)主要優(yōu)勢(shì)：(1) 隨機(jī)產(chǎn)生隱層節(jié)點(diǎn)的輸入權(quán)值和偏置值，僅有輸出權(quán)值經(jīng)過(guò)分析確定。根據(jù)文獻(xiàn)[5]分析指出幾乎所有非線性分段連續(xù)函數(shù)都可以作為激活函數(shù)，同時(shí)能夠滿足ELM具有的通用逼近能力。(2) 不僅最小化訓(xùn)練誤差并且最小化輸出權(quán)值，ELM最小化輸出權(quán)值和支持向量機(jī)SVM[6]最大化幾何間隔在本質(zhì)上具有一致性[3]。(3) SVM針對(duì)不同的應(yīng)用就需要有與之對(duì)應(yīng)的模型，不同于SVM算法，ELM針對(duì)不同的問(wèn)題(例如：二分類(lèi)問(wèn)題，多分類(lèi)問(wèn)題以及回歸問(wèn)題)提供了統(tǒng)一的模型框架。ELM良好的性質(zhì)使其在實(shí)際問(wèn)題中得到了廣泛應(yīng)用，例如：不平衡數(shù)據(jù)學(xué)習(xí)[7]，噪音及缺失數(shù)據(jù)[8-9]，人臉識(shí)別[10]，聚類(lèi)[11]，特征提取[12]等。

雖然ELM在分類(lèi)和回歸問(wèn)題中得到了廣泛應(yīng)用，然而ELM在處理含有噪音及離群點(diǎn)數(shù)據(jù)時(shí)并沒(méi)有表現(xiàn)出很好的魯棒性。在處理分類(lèi)和回歸問(wèn)題時(shí)，每個(gè)訓(xùn)練樣本對(duì)建立的預(yù)測(cè)模型具有相同的影響，ELM通過(guò)最小化訓(xùn)練誤差和輸出權(quán)值建立的預(yù)測(cè)模型同樣適用于噪音及離群數(shù)據(jù)，在這種情況下將導(dǎo)致輸出權(quán)值求解不準(zhǔn)，出現(xiàn)過(guò)擬合的現(xiàn)象，降低ELM的泛化能力。針對(duì)噪音及離群點(diǎn)對(duì)ELM隱層節(jié)點(diǎn)輸出矩陣的影響,文獻(xiàn)[13]提出一種魯棒激活函數(shù)的極限學(xué)習(xí)機(jī)RAFELM(Robust activation function extreme learning machine)，該方法從激活函數(shù)的角度在高斯激活函數(shù)的基礎(chǔ)上進(jìn)行了改進(jìn)，該方法的特點(diǎn)是利用角度優(yōu)化的思想對(duì)高斯激活函數(shù)進(jìn)行了改進(jìn)，增強(qiáng)ELM對(duì)噪音及離群點(diǎn)的抗干擾能力，通過(guò)在圖像數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明RAFELM提高了ELM的泛化性能。但RAFELM并沒(méi)有消除噪音及離群點(diǎn)對(duì)ELM算法的影響。針對(duì)噪音及離群點(diǎn)對(duì)ELM模型的影響,文獻(xiàn)[14]和文獻(xiàn)[15]利用隸屬度的概念，這兩種方法的特點(diǎn)是根據(jù)不同數(shù)據(jù)樣本對(duì)ELM模型的不同影響分配相應(yīng)的隸屬度。文獻(xiàn)[14]針對(duì)分類(lèi)問(wèn)題提出一種模糊極限學(xué)習(xí)機(jī)FELM(Fuzzy extreme learning machine)，F(xiàn)ELM只是提出了隸屬度的概念，并沒(méi)有給出如何計(jì)算隸屬度具體的方法。文獻(xiàn)[15]針對(duì)回歸問(wèn)題提出一種新的模糊極限學(xué)習(xí)機(jī)算法NFELM(New fuzzy extreme learning machine)。NFELM算法具體做法是利用隸屬度的思想，根據(jù)不同數(shù)據(jù)樣本對(duì)ELM模型的不同影響分配一個(gè)額外的權(quán)值，隸屬度表征數(shù)據(jù)樣本對(duì)ELM模型的重要程度，隸屬度越大表明數(shù)據(jù)點(diǎn)對(duì)ELM模型的影響越大。在噪音及離群數(shù)據(jù)學(xué)習(xí)中，對(duì)重要的數(shù)據(jù)分配一個(gè)比較大的隸屬度，對(duì)噪音及離群數(shù)據(jù)分配一個(gè)比較小的隸屬度。NFELM算法利用上述方法減弱噪音及離群點(diǎn)對(duì)ELM的影響，NFELM通過(guò)在人工數(shù)據(jù)和現(xiàn)實(shí)世界的基準(zhǔn)數(shù)據(jù)實(shí)驗(yàn)結(jié)果表明，NFELM提高了ELM對(duì)噪音及離群點(diǎn)的魯棒性。然而NFELM并沒(méi)有考慮到ELM特征映射空間對(duì)數(shù)據(jù)的影響，NFELM在數(shù)據(jù)輸入空間計(jì)算的隸屬度，不能正確反映數(shù)據(jù)樣本與類(lèi)中心之間的關(guān)系，并沒(méi)有充分發(fā)揮ELM的優(yōu)勢(shì)。

針對(duì)現(xiàn)有ELM算法在處理噪音及離群點(diǎn)存在的問(wèn)題，提出一種修正的模糊極限學(xué)習(xí)機(jī)(MFELM)，MFELM繼承了ELM良好的學(xué)習(xí)能力和泛化能力，與現(xiàn)有的ELM算法相比，MFELM在處理噪音及離群點(diǎn)時(shí)具有很好的魯棒性。為驗(yàn)證所提算法的有效性，實(shí)驗(yàn)使用UCI數(shù)據(jù)集和普遍應(yīng)用的人臉數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明本文提出的算法顯著提高了ELM的分類(lèi)能力并優(yōu)于其他算法。

值得一提的是，本文在計(jì)算樣本隸屬度時(shí)考慮到特征映射空間對(duì)數(shù)據(jù)的影響，從而在特征映射空間計(jì)算樣本的隸屬度而非數(shù)據(jù)輸入空間。實(shí)驗(yàn)結(jié)果顯示在特征映射空間計(jì)算隸屬度建立的ELM模型的泛化性能優(yōu)于在數(shù)據(jù)輸入空間計(jì)算的隸屬度。

1 ELM

對(duì)于N個(gè)不同的樣本(xj,tj)，可表示為X=(x1,x2,…,xN)T∈RD×N,其中tj=(tj1,tj2,…,tjm)T∈Rm為對(duì)應(yīng)于樣本xj的期望輸出向量。網(wǎng)絡(luò)中含有L個(gè)隱層節(jié)點(diǎn),激活函數(shù)為g(x):

(1)

其中j=1,2,…,N，ai=(ai1,ai2,…,ain)為連接第i個(gè)隱層節(jié)點(diǎn)與輸入節(jié)點(diǎn)的輸入權(quán)值向量，βi=(βi1,βi2,…,βim)為連接第i個(gè)隱層節(jié)點(diǎn)與輸出節(jié)點(diǎn)的輸出權(quán)值向量，bi為第i個(gè)隱層節(jié)點(diǎn)的偏置值，ai·xj表示ai和xj的內(nèi)積。對(duì)所有數(shù)據(jù)樣本進(jìn)行整合,式(1)可以改寫(xiě)為如下形式：

Hβ=T

(2)

其中H是網(wǎng)絡(luò)隱層節(jié)點(diǎn)輸出矩陣，β為輸出權(quán)值矩陣，T為期望輸出矩陣：

(3)

(4)

當(dāng)隱層節(jié)點(diǎn)個(gè)數(shù)和訓(xùn)練樣本個(gè)數(shù)相同時(shí)(即L=N)我們可以通過(guò)式(2)直接求矩陣H的逆矩陣，得到最優(yōu)的輸出權(quán)值矩陣β，但大多情況下隱層節(jié)點(diǎn)的個(gè)數(shù)遠(yuǎn)小于訓(xùn)練樣本的個(gè)數(shù)(即L<

(5)

其中H+為矩陣H的廣義逆。

為了提高傳統(tǒng)ELM的穩(wěn)定性和泛化能力，Huang提出了等式優(yōu)化約束的ELM[16]，等式優(yōu)化約束的ELM的優(yōu)化式子不僅最小化訓(xùn)練誤差ξ同時(shí)最小化輸出權(quán)值β，因此等式優(yōu)化約束的ELM目標(biāo)式子可寫(xiě)為：

(6)

式(6)中ξi=(ξi1,…,ξ1m)T為對(duì)應(yīng)于樣本xi的訓(xùn)練誤差向量，C為懲罰參數(shù)。利用拉格朗日方法對(duì)式(6)轉(zhuǎn)化為無(wú)條件最優(yōu)化問(wèn)題進(jìn)行求解可得：

(7)

由式(7)可得ELM的輸出函數(shù)為：

(8)

因此ELM算法求解過(guò)程可總結(jié)步驟如下：

1) 初始化訓(xùn)練樣本集；

2) 隨機(jī)指定網(wǎng)絡(luò)輸入權(quán)值ai和偏置值bi，i=1,2,…,L；

3) 通過(guò)激活函數(shù)計(jì)算隱層節(jié)點(diǎn)輸出矩陣H；

2 修正的極限學(xué)習(xí)機(jī)

為了克服現(xiàn)有ELM算法在處理噪音及離群點(diǎn)存在的問(wèn)題，提出一種修正的模糊極限學(xué)習(xí)機(jī)(MFELM)。

2.1 隸屬度的定義

本節(jié)我們提出一種新的模糊隸屬度函數(shù)，與文獻(xiàn)[15]提出的方法相比，本文所提的方法在消除噪音及離群點(diǎn)對(duì)ELM算法的影響方面能夠獲得更好的效果，同時(shí)能夠顯著提高ELM算法的準(zhǔn)確率和泛化能力。

(11)

R=max‖φc-φ(Xc)‖

(12)

di=‖φ(xi)-φc‖

(13)

上述式(11)和式(12)適用于激活函數(shù)已知的情況，當(dāng)激活函數(shù)未知我們可以采用核函數(shù)的方法求得R和di：

R2= max‖φ(Xc)-φc‖2=

max{φ2(Xc)-2φ(Xc)·φc+(φc)2}=

(14)

式(14)中Xc為第c類(lèi)所有樣本組成的樣本矩陣，xi為第c類(lèi)第i個(gè)樣本，nc為第c類(lèi)數(shù)據(jù)樣本個(gè)數(shù)，K(xi,xj)為核函數(shù)。

φ(xi)2-2φ(xi)·φc+(φc)2=

(15)

1) 當(dāng)激活函數(shù)已知的情況下利用式(12)和式(13)定義隸屬度：

(16)

式中σ>0，為了避免si=0。

2) 當(dāng)激活函數(shù)未知我們采用核函數(shù)的方法利用式(14)和式(15)定義隸屬度：

(17)

式中σ>0，同樣為了避免si=0。

在處理分類(lèi)和回歸問(wèn)題時(shí)，數(shù)據(jù)樣本經(jīng)過(guò)激活函數(shù)或核函數(shù)映射到隱層節(jié)點(diǎn)空間然后求解輸出權(quán)值。文獻(xiàn)[14]和文獻(xiàn)[15]在數(shù)據(jù)樣本的輸入空間求解隸屬度，然而數(shù)據(jù)的幾何結(jié)構(gòu)及性質(zhì)在ELM特征映射空間發(fā)生了改變，使得在數(shù)據(jù)輸入空間計(jì)算的隸屬度不能正確反映數(shù)據(jù)樣本與類(lèi)中心之間的關(guān)系，從而導(dǎo)致輸出權(quán)值求解不準(zhǔn)，本文提出新的隸屬度計(jì)算方法能有效解決上述問(wèn)題。本文提出的方法不僅適用于ELM算法同時(shí)適用于核ELM算法。

2.2MFELM的優(yōu)化問(wèn)題

MFELM的優(yōu)化模型可表示為：

(18)

其中W為輸出權(quán)值矩陣，ε為訓(xùn)練誤差，C為懲罰參數(shù)，f(x)為激活函數(shù)。

式(18)對(duì)應(yīng)的拉格朗日函數(shù)為：

tij+εij)

(19)

其中wj為第j個(gè)輸出節(jié)點(diǎn)的權(quán)值W=[w1,w2,…,wm]，依據(jù)KKT條件：

(20)

(21)

(22)

其中αi=[αi1,ai2,…,αim]T，α=[α1,a2,…,αN]。

將式(20)和式(21)代入式(22)，我們可以得到：

(23)

式(23)中S=diag(s1,s2,…,sN)。

由式(20)和式(23)可以得到：

(24)

由式(24)MFELM的輸出函數(shù)為：

(25)

給定訓(xùn)練樣本X=(x1,x2,…,xN)和訓(xùn)練樣本的期望輸出矩陣T=(t1,t2,…,tN)∈RD×N，激活函數(shù)為f(x)，隱層節(jié)點(diǎn)數(shù)為L(zhǎng)，MFELM算法可總結(jié)步驟如下：

1) 初始化訓(xùn)練樣本集；

2) 隨機(jī)指定網(wǎng)絡(luò)輸入權(quán)值aj和偏置值bj，j=1,2,…,L；

3) 利用式(16)或式(17)計(jì)算樣本的隸屬度si；

4) 通過(guò)激活函數(shù)計(jì)算隱層節(jié)點(diǎn)輸出矩陣F；

3 實(shí)驗(yàn)結(jié)果及分析

為了證明本文所提算法的有效性，我們將MFELM與ELM、NFELM[15]、RAFELM[13](ELM、NFELM、RAFELM均采用激活函數(shù)Sigmoid)進(jìn)行比較。隱層節(jié)點(diǎn)個(gè)數(shù)設(shè)置200，為了實(shí)驗(yàn)的公平性，本文實(shí)驗(yàn)的ELM及其改進(jìn)算法均采用相同的懲罰參數(shù)C(我們?cè)囍鴮ふ易顑?yōu)的懲罰參數(shù)C，使ELM及其改進(jìn)算法取得較好的結(jié)果)。所用電腦為惠普工作站，處理器：Intel(R)Xeon(R)CPUE5-1603 0 @2.80GHz，安裝內(nèi)存：8.00GB，系統(tǒng)類(lèi)型：64位操作系統(tǒng)，版本：Win7。所使用的4個(gè)不同人臉庫(kù)圖像如圖1所示，不同人臉數(shù)據(jù)庫(kù)和UCI數(shù)據(jù)集屬性設(shè)置如表1、表2所示。

圖1 不同人臉圖像的訓(xùn)練集

DatasetsDimSamplessamples/subjectClassesYale10241651115YaleB102424145538ORL10244001040UMIST103045791820

表2 多分類(lèi)UCI數(shù)據(jù)集描述

圖2-圖3中橫坐標(biāo) “TrainNum”表示每類(lèi)訓(xùn)練樣本個(gè)數(shù)。實(shí)驗(yàn)中我們首先從每類(lèi)數(shù)據(jù)樣本中隨機(jī)選取一部分?jǐn)?shù)據(jù)作為實(shí)驗(yàn)數(shù)據(jù)集進(jìn)行實(shí)驗(yàn). 實(shí)驗(yàn)結(jié)果如圖2-圖3及表3-表4所示。

圖2 不同ELM算法識(shí)別曲線

圖3 不同ELM算法識(shí)別曲線

DatasetELMRAFELMNFELMMFELMMaxAveMaxAveMaxAveMaxAveYale86.6765.6180.0070.6178.3368.2686.6773.86YaleB91.0583.8490.9282.7591.8485.9093.6885.91ORL76.2570.9091.0086.3794.6990.3895.0090.48UMIST96.6789.5965.0060.5995.0089.0996.2589.35

表4 UCI數(shù)據(jù)集最大和平均識(shí)別率比較

圖2給出了不同的ELM算法在人臉圖像數(shù)據(jù)集上的識(shí)別率曲線。由圖2我們可以看出本文所提算法MFELM隨著訓(xùn)練樣本的增多在總體趨勢(shì)上識(shí)別率曲線優(yōu)于其他算法的識(shí)別率曲線。表2給出了不同ELM算法的具體識(shí)別率，在Yale數(shù)據(jù)集上，MFELM的平均識(shí)別率比ELM平均識(shí)別率高8.25%，比RAFELM算法的識(shí)別率高3.25%，比NFELM算法的識(shí)別率高5.6%，在Yale B數(shù)據(jù)集上，MFELM的平均識(shí)別率比ELM平均識(shí)別率高2.07%，比RAFELM算法的識(shí)別率高3.16%，比NFELM算法的識(shí)別率高0.01%，在ORL數(shù)據(jù)集上，MFELM的平均識(shí)別率比ELM平均識(shí)別率高19.58%，比RAFELM算法的識(shí)別率高4.11%，比NFELM算法的識(shí)別率高0.1%，在UMIST數(shù)據(jù)集上，MFELM的平均識(shí)別率比ELM平均識(shí)別率低0.24%，比RAFELM算法的識(shí)別率高28.76%，比NFELM算法的識(shí)別率高0.26%。通過(guò)上述MFELM與其他三種ELM算法的具體識(shí)別率比較，我們可以看出MFELM算法在人臉圖像數(shù)據(jù)集上表現(xiàn)出良好的性質(zhì)。為了進(jìn)一步驗(yàn)證本文所提算法的有效性，我們將不同的ELM算法在標(biāo)準(zhǔn)機(jī)器學(xué)習(xí)(UCI)數(shù)據(jù)上進(jìn)行實(shí)驗(yàn)。圖3給出了不同ELM算法在標(biāo)準(zhǔn)機(jī)器學(xué)習(xí)(UCI)數(shù)據(jù)上的識(shí)別率曲線，由圖3我們可以看出MFELM算法的識(shí)別率曲線顯著高于其他算法的識(shí)別率曲線，表4給出了不同ELM算法的具體識(shí)別率。通過(guò)在人臉圖像數(shù)據(jù)和機(jī)器學(xué)習(xí)數(shù)據(jù)上的實(shí)驗(yàn)結(jié)果可以看出MFELM表現(xiàn)出良好的性質(zhì)。這是由于MFELM算法在計(jì)算訓(xùn)練樣本的隸屬度時(shí)考慮到ELM特征映射空間對(duì)數(shù)據(jù)幾何結(jié)構(gòu)的改變，從而在數(shù)據(jù)的特征映射空間計(jì)算訓(xùn)練樣本的隸屬度而非數(shù)據(jù)輸入空間。NFELM考慮到噪音及離群點(diǎn)對(duì)ELM模型的影響，從識(shí)別率曲線上同樣取得了比較好的識(shí)別效果，然而NFELM并未意識(shí)到ELM特征映射空間對(duì)數(shù)據(jù)幾何結(jié)構(gòu)的影響，NFELM的總體識(shí)別率低于MFELM的識(shí)別率。RAFELM從激活函數(shù)的角度對(duì)ELM算法進(jìn)行改進(jìn)，增強(qiáng)激活函數(shù)對(duì)噪音及離群點(diǎn)的魯棒性，但并沒(méi)有消除噪音及離群點(diǎn)對(duì)ELM模型的影響。在UMIST和sat數(shù)據(jù)集上RAFELM的識(shí)別率曲線低于ELM算法的識(shí)別率。由圖2-圖3可以看出NFELM和RAFELM在一些數(shù)據(jù)集上的識(shí)別率低于ELM的識(shí)別率，然而本文所提算法在人臉數(shù)據(jù)集和UCI數(shù)據(jù)集的識(shí)別率曲線明顯高于其他算法的識(shí)別率曲線。

4 結(jié) 語(yǔ)

為了克服現(xiàn)有ELM算法在處理噪音及離群點(diǎn)存在的問(wèn)題，提出一種修正的模糊極限學(xué)習(xí)機(jī)(MFELM)，MFELM算法在計(jì)算訓(xùn)練樣本的隸屬度時(shí)考慮到ELM特征映射空間對(duì)數(shù)據(jù)幾何結(jié)構(gòu)的改變，從而在數(shù)據(jù)的特征映射空間計(jì)算訓(xùn)練樣本的隸屬度而非數(shù)據(jù)輸入空間，增強(qiáng)ELM算法在處理噪音及離群數(shù)據(jù)的魯棒性。通過(guò)將MFELM與ELM，RAFELM，NFELM算法的對(duì)比實(shí)驗(yàn)表明，本文所提出的方法顯著提高了極端學(xué)習(xí)機(jī)的泛化性能。

[1] Huang G B,Zhu Q Y,Siew C K.Extreme learning machine:Theory and applications[J].Neurocomputing,2006,70(1-3):489-501.

[2] Tang J,Deng C,Huang G B.Extreme Learning Machine for Multilayer Perceptron[J].IEEE Transactions on Neural Networks & Learning Systems,2015,27(4):809-821.

[3] Huang G B,Zhou H,Ding X,et al.Extreme learning machine for regression and multiclass classification[J].IEEE Transactions on Systems Man & Cybernetics Part B Cybernetics A Publication of the IEEE Systems Man & Cybernetics Society,2012,42(2):513-529.

[4] Huang G B,Zhu Q Y,Siew C K.Extreme learning machine:a new learning scheme of feedforward neural networks[C]//IEEE International Joint Conference on Neural Networks,2004.Proceedings.IEEE Xplore,2004:985-990 vol.2.

[5] Huang G B,Chen L.Enhanced random search based incremental extreme learning machine[J].Neurocomputing,2008,71(16-18):3460-3468.

[6] Cortes C,Vapnik V.Support-Vector Networks[J].Machine Learning,1995,20(3):273-297.

[7] Zong W,Huang G B,Chen Y.Weighted extreme learning machine for imbalance learning[J].Neurocomputing,2013,101(3):229-242.

[8] Yu Q,Miche Y,Eirola E,et al.Regularized extreme learning machine for regression with missing data[J].Neurocomputing,2013,102(2):45-51.

[9] Man Z,Lee K,Wang D,et al.Robust Single-Hidden Layer Feedforward Network-Based Pattern Classifier[J].IEEE Transactions on Neural Networks & Learning Systems,2012,23(12):1974-1986.

[10] Peng Y,Wang S,Long X,et al.Discriminative graph regularized extreme learning machine and its application to face recognition[J].Neurocomputing,2015,149:340-353.

[11] Huang G,Song S,Gupta J N,et al.Semi-supervised and unsupervised extreme learning machines[J].IEEE Transactions on Cybernetics,2014,44(12):1-1.

[12] Benoit F,Heeswijk M V,Miche Y,et al.Feature selection for nonlinear models with extreme learning machines[J].Neurocomputing,2013,102(2):111-124.

[13] Liu S,Feng L,Xiao Y,et al.Robust activation function and its application:Semi-supervised kernel extreme learning method[J].Neurocomputing,2014,144(1):318-328.

[14] Zhang W B,Ji H B.Fuzzy extreme learning machine for classification[J].Electronics Letters,2013,49(7):448-450.

[15] Zheng E,Liu J,Lu H,et al.A New Fuzzy Extreme Learning Machine for Regression Problems with Outliers or Noises[M]//Advanced Data Mining and Applications,2013:524-534.

[16] Huang G B.An Insight into Extreme Learning Machines:Random Neurons,Random Features and Kernels[J].Cognitive Computation,2014,6(3):376-390.

A MODIFIED FUZZY EXTREME LEARNING MACHINE

Li Li’na Yan Deqin Chu Yonghe

(SchoolofComputerandInformationTechnology,LiaoningNormalUniversity,Dalian116081,Liaoning,China)

As a competitive machine learning algorithm, Extreme Learning Machine (ELM) attracts more and more scholars’ attention with its simple theory and easy implementation. Recently, researchers on noise and outlier data have proposed relevant research algorithms. However, how to use ELM better in classification problems with noise and outlier data is still an important research topic. This paper proposes a modified fuzzy extreme learning machine (MFELM) based on the technical idea of information related. The advantages of MFELM are as follows: MFELM can maintain the good performance of ELM processing normal data classification when dealing with the classification of noise and outlier data; the activation or kernel functions for the ELM also apply to the MFELM model; MFELM can be extended to cost-sensitive learning by assigning different memberships to each data sample according to different requirements. Experiments on UCI datasets and universally applied face datasets show that the proposed algorithm improves the classification ability of ELM significantly and is superior to other algorithms.

Extreme learning machine Imbalanced data Information related Feature mapping

2016-06-02。國(guó)家自然科學(xué)基金項(xiàng)目(61373127)。李麗娜，碩士生，主研領(lǐng)域：數(shù)據(jù)降維，機(jī)器學(xué)習(xí)。閆德勤，教授。楚永賀，碩士生。

TP18

A

10.3969/j.issn.1000-386x.2017.05.041