迭代修正魯棒極限學(xué)習(xí)機(jī)

呂新偉，魯淑霞*

（1.河北省機(jī)器學(xué)習(xí)與計(jì)算智能重點(diǎn)實(shí)驗(yàn)室（河北大學(xué)），河北 保定 071002；2.河北大學(xué) 數(shù)學(xué)與信息科學(xué)學(xué)院，河北 保定 071002）

0 引言

極限學(xué)習(xí)機(jī)（Extreme Learning Machine，ELM）自提出以來(lái)，已經(jīng)成功應(yīng)用于各種實(shí)際問(wèn)題［1-5］，成為廣泛使用的機(jī)器學(xué)習(xí)工具之一。ELM 主要依賴(lài)于給定的訓(xùn)練數(shù)據(jù)標(biāo)簽，如基于L2范數(shù)損失函數(shù)的ELM［6］假設(shè)訓(xùn)練標(biāo)簽的誤差是一個(gè)正態(tài)分布；然而，實(shí)際問(wèn)題中的訓(xùn)練樣本不能保證誤差具有正態(tài)分布。此外，ELM 往往過(guò)分強(qiáng)調(diào)訓(xùn)練過(guò)程中殘差較大的異常點(diǎn)，導(dǎo)致ELM 對(duì)異常點(diǎn)的敏感性和魯棒性較差。因此，構(gòu)造能夠抑制異常點(diǎn)影響的魯棒極限學(xué)習(xí)機(jī)（Robust ELM，RELM）模型，在機(jī)器學(xué)習(xí)中是必要和有意義的。

ELM 的許多變體都致力于提高ELM 對(duì)異常點(diǎn)的魯棒性。引入正則化的極限學(xué)習(xí)機(jī)［7-9］通過(guò)在最小化目標(biāo)函數(shù)中添加正則化項(xiàng)以減小結(jié)構(gòu)風(fēng)險(xiǎn)，如加權(quán)極限學(xué)習(xí)機(jī)（Weighted ELM，WELM）［10］和魯棒極限學(xué)習(xí)機(jī)（RELM）［11］為訓(xùn)練樣本分配適當(dāng)?shù)臋?quán)值，但它們的性能在很大程度上依賴(lài)于權(quán)重估計(jì)的初始值。Chen 等［12］基于正則化項(xiàng)和損失函數(shù)的多種組合設(shè)計(jì)了迭代重加權(quán)極限學(xué)習(xí)機(jī)（Iteratively Re-Weighted ELM，IRWELM），并通過(guò)迭代加權(quán)算法實(shí)現(xiàn)。最近的一些研究則通過(guò)替換損失函數(shù)來(lái)增強(qiáng)極限學(xué)習(xí)機(jī)的魯棒性，例如使用Huber 損失函數(shù)［13］、L1范數(shù)損失函數(shù)［14］以及各損失函數(shù)的變體［15-16］等實(shí)現(xiàn)魯棒極限學(xué)習(xí)機(jī)，以減少異常點(diǎn)的影響；但它們?nèi)匀徊粔蚍€(wěn)健，因?yàn)檫@些損失函數(shù)受到殘差較大的異常點(diǎn)的影響。具有相關(guān)熵?fù)p失函數(shù)［17］和重標(biāo)極差損失函數(shù)［18］的極限學(xué)習(xí)機(jī)改進(jìn)版本傾向于構(gòu)造有界和非凸損失函數(shù)，以提高對(duì)異常點(diǎn)的魯棒性。盡管這些損失函數(shù)具有良好的學(xué)習(xí)性能，但是求解該優(yōu)化問(wèn)題的方法過(guò)于復(fù)雜。有界的損失函數(shù)可以抑制殘差較大異常點(diǎn)的影響，迭代重加權(quán)正則化極限學(xué)習(xí)機(jī)（Iterative Reweighted Regularized ELM，IRRELM）［19］通過(guò)有界的L2范數(shù)損失函數(shù)抑制較大異常點(diǎn)的負(fù)面影響；但過(guò)多的異常點(diǎn)反過(guò)來(lái)會(huì)影響損失函數(shù)對(duì)異常點(diǎn)的判定，影響回歸結(jié)果。因此本文在有界L2范數(shù)損失函數(shù)的基礎(chǔ)上使用迭代修正方法，提出了一種用于回歸估計(jì)的魯棒極限學(xué)習(xí)機(jī)，以抑制異常點(diǎn)的負(fù)面影響，采用迭代加權(quán)算法求解魯棒極限學(xué)習(xí)機(jī)。在每次迭代中，為本輪認(rèn)為是異常點(diǎn)的標(biāo)簽重新賦值，并在每次迭代的過(guò)程中逐漸去除異常點(diǎn)的影響，增強(qiáng)極限學(xué)習(xí)機(jī)的魯棒性。

本文的主要工作包括：為減小極端異常點(diǎn)的影響，采用了有界損失函數(shù)，并在有界損失函數(shù)的基礎(chǔ)上提出了迭代修正魯棒極限學(xué)習(xí)機(jī)（Iteratively Modified RELM，IMRELM），讓這些殘差較大的異常點(diǎn)在迭代的過(guò)程中找到正確的標(biāo)簽。實(shí)驗(yàn)結(jié)果表明，當(dāng)數(shù)據(jù)中的異常點(diǎn)數(shù)過(guò)多且殘差較大時(shí)，本文IMRELM 的結(jié)果優(yōu)于對(duì)比的幾種魯棒極限學(xué)習(xí)機(jī)算法。

1 相關(guān)工作

1.1 極限學(xué)習(xí)機(jī)

假設(shè)有N個(gè)任意樣本，其中：xi∈Rd為輸入變量；yi∈R 是回歸估計(jì)中相應(yīng)的目標(biāo)。ELM 是一個(gè)單隱層神經(jīng)網(wǎng)絡(luò)，具有L個(gè)神經(jīng)元的ELM 的輸出函數(shù)可以表示為：

其 中：β=[β1，β2，…，βL]T為 ELM 輸出權(quán) 重；h(x)=[h1(x)，h2(x)，…，hL(x)]為隱含層矩陣；f(x)為回歸估計(jì)中相應(yīng)的目標(biāo)預(yù)測(cè)值。

ELM 求解以下優(yōu)化問(wèn)題來(lái)推導(dǎo)輸出權(quán)重β：

s.t.h(xi)β=yi-ei；i=1，2，…，N

其中：ei是訓(xùn)練誤差；C是平衡模型復(fù)雜度的正則化參數(shù)?；谧顑?yōu)性條件，得到式（2）的最優(yōu)解β：

其 中：數(shù)據(jù)的 真實(shí)標(biāo) 簽y=[y1，y2，…，yN]T；H=[h(x1)，h(x2)，…，h(xN)}T是隱藏層輸出矩陣；I為適當(dāng)大小的單位矩陣。

1.2 迭代重加權(quán)正則化極限學(xué)習(xí)機(jī)

為了減小L2范數(shù)損失函數(shù)對(duì)于殘差較大異常點(diǎn)的敏感性，IRRELM 使用了非凸L2范數(shù)損失函數(shù)。

其中：z是一個(gè)變量；θ是一個(gè)常數(shù)，θ是對(duì)大異常點(diǎn)的懲罰。g(z)的上界意味著損失在一定值后不會(huì)增加懲罰，并且它抑制了異常點(diǎn)的影響。

IRRELM 的優(yōu)化模型為：

s.t.h(xi)β=yi-ei；i=1，2，…，N

在迭代重加權(quán)中，每個(gè)樣本的權(quán)重通過(guò)殘差由下式給出：

IRRELM 的第k次迭代解為：

在IRRELM 中，βk為第k次迭代中求得的隱層輸出權(quán)重；wk=diag(w1，w2，…，wN)為第k次迭代樣本權(quán)重。

算法1 IRRELM 算法。

2 迭代修正魯棒極限學(xué)習(xí)機(jī)

對(duì)于魯棒極限學(xué)習(xí)機(jī)，通常都是減小異常點(diǎn)的影響。但是基于L2范數(shù)損失函數(shù)的ELM 對(duì)異常點(diǎn)非常敏感，當(dāng)數(shù)據(jù)中存在異常點(diǎn)時(shí)，異常點(diǎn)L2范數(shù)損失會(huì)很大。因此，選擇損失較小的數(shù)據(jù)進(jìn)行訓(xùn)練模型是有效的。為了避免過(guò)多異常點(diǎn)污染模型以及數(shù)據(jù)和資源的浪費(fèi)，同時(shí)解決模型泛化能力不強(qiáng)的問(wèn)題，在每次迭代中，對(duì)于那些殘差較大的數(shù)據(jù)進(jìn)行修正。

為了處理異常點(diǎn)，本文提出了一種迭代修正魯棒極限學(xué)習(xí)機(jī)算法。

在IRRELM 中，優(yōu)化模型又可以寫(xiě)成：

令tik=1 -wik，提出以下?lián)p失函數(shù)：

優(yōu)化模型為：

優(yōu)化模型關(guān)于β求導(dǎo)并令其等于零，得到迭代修正魯棒極限學(xué)習(xí)機(jī)的解為：

其中：H=[h(x1)，h(x2)，…，h(xN)]T；wk=diag(w1，w2，…，wN)，tk=diag(t1，t2，…，tN)；C1、C2為正則化參數(shù)；I為適當(dāng)大小的單位矩陣。

算法2 IMRELM 算法。

3 實(shí)驗(yàn)與結(jié)果分析

為了研究IMRELM 的有效性，在人工數(shù)據(jù)集和真實(shí)數(shù)據(jù)集上進(jìn)行了數(shù)值實(shí)驗(yàn)。通過(guò)10 次交叉驗(yàn)證和網(wǎng)格搜索方法選擇實(shí)驗(yàn)參數(shù)。所有上述算法選擇的參數(shù)的范圍如下：參數(shù)kmax：{10i，i=2，3，4}，停止閾值p：{10i，i=-5，-4，…，1，2}，正則化參數(shù)C1、C2：{10i，i=-5，-4，…，4，5}。所有的實(shí)驗(yàn)都在3.40 GHz 的機(jī)器上使用Pycharm 2019 進(jìn)行。

比較算法是極限學(xué)習(xí)機(jī)（ELM）和一些魯棒極限學(xué)習(xí)機(jī)，包括加權(quán)極限學(xué)習(xí)機(jī)（WELM）、迭代重加權(quán)極限學(xué)習(xí)機(jī)（IRWELM）和迭代重加權(quán)正則化極限學(xué)習(xí)機(jī)（IRRELM）。在實(shí)驗(yàn)中，使用sigmoid 激活函數(shù)g(x)=1/(1+exp(-x))。迭代加權(quán)的算法中的迭代次數(shù)為200，采用均方誤差（Mean-Square Error，MSE）作為估計(jì)標(biāo)準(zhǔn)：

其中：N是測(cè)試集的數(shù)量；yi、f(xi)分別是真實(shí)值和相應(yīng)的預(yù)測(cè)值。通常，均方誤差越小，方法的性能越好。

3.1 IMRELM在人工數(shù)據(jù)集上的實(shí)驗(yàn)

在不同異常點(diǎn)水平的人工數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，結(jié)果給出了IMRELM 算法和其他算法的實(shí)驗(yàn)結(jié)果，并通過(guò)統(tǒng)計(jì)測(cè)試比較了這些算法的性能。人工數(shù)據(jù)集來(lái)源于回歸問(wèn)題中廣泛使用的函數(shù)，定義如下：

實(shí)驗(yàn)在具有不同異常點(diǎn)水平的人工數(shù)據(jù)集上進(jìn)行，并通過(guò)統(tǒng)計(jì)測(cè)試比較這些算法的性能。在實(shí)驗(yàn)中，噪聲是［-10，10］上的均勻分布。按照數(shù)據(jù)的大小隨機(jī)生成不同占比的噪聲并添加到訓(xùn)練集上。為了揭示IMRELM 算法的魯棒性，在不同水平異常點(diǎn)（包括0%、10%、20%、…、80%）數(shù)據(jù)集上分別進(jìn)行對(duì)比實(shí)驗(yàn)。在具有不同異常點(diǎn)水平的噪聲環(huán)境情況下，對(duì)比了幾個(gè)改進(jìn)的極限學(xué)習(xí)機(jī)的魯棒性。對(duì)于每個(gè)異常點(diǎn)水平，在50 次獨(dú)立運(yùn)行中進(jìn)行實(shí)驗(yàn)，以避免不公平的比較，并獲得了表1 中的均方誤差和標(biāo)準(zhǔn)差（Std）。

表1 具有不同異常點(diǎn)水平的人工數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果Tab.1 Experimental results on synthetic datasets with different outlier levels

從表1 可以看出，在沒(méi)有異常點(diǎn)的情況下，經(jīng)典ELM 表現(xiàn)出了很好的性能，具有最小的均方誤差值。IMRELM 的表現(xiàn)優(yōu)于WELM、IRWELM 和IRRELM。在不同異常點(diǎn)水平的情況下，ELM 在所有水平上的表現(xiàn)都較差，反映了它對(duì)異常點(diǎn)的敏感性。

對(duì)于人工數(shù)據(jù)集，得到=26.244 和FF=21.520 2。在Friedman 測(cè)試中，如果α=0.05，得到Fα=2.157＜21.520 2。因此，拒絕“兩個(gè)算法性能相同”這一假設(shè)。繼續(xù)進(jìn)行Nemenyi 檢 驗(yàn)，α=0.1，qα=2.459，CD=1.832 8。如 表1 所示，IMRELM 和其他4 種魯棒性方法之間的排名差異為3，3，3，2 和1，因此，得出的結(jié)論是：IMRELM 的性能明顯不同于ELM、WELM、IRWELM，并且IMRELM 的性能最好。

為了更清楚地顯示這些算法的性能，圖1 顯示了在均勻分布噪聲下，5 種算法在不同異常點(diǎn)水平下的回歸曲線：當(dāng)數(shù)據(jù)中沒(méi)有異常點(diǎn)時(shí)，5 種算法與原始曲線（SIN）擬合較好；當(dāng)數(shù)據(jù)中異常點(diǎn)占比到30%時(shí)，WELM 開(kāi)始偏離原始曲線；當(dāng)數(shù)據(jù)中異常點(diǎn)占比到50%時(shí)，IRWELM 開(kāi)始偏離原始曲線；當(dāng)數(shù)據(jù)中異常點(diǎn)占比到60%時(shí)，IRRELM 開(kāi)始偏離原始曲線?？梢钥闯鲭S著數(shù)據(jù)中異常點(diǎn)水平的增加，ELM、WELM、IRWELM 和IRRELM 曲線部分偏離原始曲線，朝向異常點(diǎn)，而IMRELM 的曲線始終最接近原始曲線。

圖1 五種算法在不同異常點(diǎn)水平下的回歸曲線Fig.1 Regression curves of five algorithms under different outlier levels

3.2 IMRELM在真實(shí)數(shù)據(jù)集上的實(shí)驗(yàn)

在12 個(gè)真實(shí)數(shù)據(jù)集上進(jìn)行了進(jìn)一步的實(shí)驗(yàn)，以驗(yàn)證IMRELM 在處理噪聲和異常點(diǎn)的有效性。在數(shù)據(jù)準(zhǔn)備過(guò)程中，根據(jù)訓(xùn)練樣本和測(cè)試樣本的數(shù)量，將每個(gè)數(shù)據(jù)集隨機(jī)分為兩部分（訓(xùn)練集和測(cè)試集）（見(jiàn)表2）。在訓(xùn)練集和測(cè)試集中，所有特征均歸一化為零平均值，標(biāo)準(zhǔn)殘差為1。真實(shí)數(shù)據(jù)集都來(lái)自UCI［20］。

表2 真實(shí)數(shù)據(jù)集Tab.2 Real datasets

從表3 可以看出，在沒(méi)有異常點(diǎn)的情況下，ELM 和極限學(xué)習(xí)機(jī)的其他4 種ELM 變體實(shí)現(xiàn)了相似的預(yù)測(cè)精度。當(dāng)在具有異常點(diǎn)的數(shù)據(jù)集上進(jìn)行訓(xùn)練時(shí)，如均方誤差所反映的，ELM 的性能最差，它的性能隨著異常點(diǎn)水平的增加顯著下降，這表明ELM 對(duì)異常點(diǎn)不具有魯棒性；其他算法的預(yù)測(cè)精度要高得多，且IMRELM 在大多數(shù)情況下都優(yōu)于其他算法。

表3 具有不同異常點(diǎn)水平的真實(shí)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果Tab.3 Experimental results on real datasets with different outlier levels

接下來(lái)通過(guò)Friedman 測(cè)試來(lái)討論這5 種算法在12 個(gè)真實(shí)數(shù)據(jù)集上的性能。表4 展示了幾種魯棒算法在實(shí)際數(shù)據(jù)集上的平均排名；表5 中展示了Friedman 測(cè)試的相關(guān)數(shù)據(jù)，其中Δ（IMRELM-ELM）表示IMRELM 和ELM 的序值差。在真實(shí)數(shù)據(jù)集上FF均大于Fα，因此，拒絕在這12 個(gè)真實(shí)數(shù)據(jù)集上的“兩個(gè)算法性能相同”這一假設(shè)。因?yàn)棣ぃ↖MRELMELM）、Δ（IMRELM-WELM）的值均大于CD值1.832 8，所以IMRELM 與ELM、WELM 和IRWELM 的性能有明顯的差異。Δ（IMRELM-IRRELM）、Δ（IMRELM-IRWELM）的值均 在1左右。

表4 五種算法在12個(gè)真實(shí)數(shù)據(jù)集上的平均序值Tab.4 Average order values of five algorithms on 12 real datasets

綜上，可以得到IMRELM 在含有異常點(diǎn)的數(shù)據(jù)集上的預(yù)測(cè)精度最好。

4 結(jié)語(yǔ)

在實(shí)際應(yīng)用的真實(shí)數(shù)據(jù)集中往往含有離群值，這會(huì)導(dǎo)致ELM 的泛化性能較差。為了抑制異常點(diǎn)的負(fù)面影響，提高ELM 的魯棒性，提出了迭代修正魯棒極限學(xué)習(xí)機(jī)（IMRELM）算法，使用迭代重加權(quán)的方法進(jìn)行優(yōu)化。IMRELM 在每次迭代中將離群值的權(quán)值設(shè)為0，并重新進(jìn)行標(biāo)簽賦值。因此，最小化目標(biāo)函數(shù)時(shí)不涉及離群值，可以增強(qiáng)ELM 的魯棒性。在1 個(gè)人工數(shù)據(jù)集和12 個(gè)不同離群值水平的真實(shí)數(shù)據(jù)集上的對(duì)比實(shí)驗(yàn)結(jié)果表明，IMRELM 具有良好的預(yù)測(cè)精度和魯棒性。但目前IMRELM 中只考慮了原始ELM 中的L2范數(shù)損失函數(shù)，在未來(lái)的工作中也可以拓展到其他ELM 變體中的損失函數(shù)，如Huber 損失極限學(xué)習(xí)機(jī)、L1范數(shù)損失極限學(xué)習(xí)機(jī)和鉸鏈損失極限學(xué)習(xí)機(jī)，以獲得穩(wěn)健的極限學(xué)習(xí)機(jī)模型。