多樣性正則化極限學(xué)習(xí)機(jī)的集成方法

陳 洋，王士同

1.江南大學(xué) 人工智能與計(jì)算機(jī)學(xué)院，江蘇 無(wú)錫214122

2.江南大學(xué) 江蘇省媒體設(shè)計(jì)與軟件技術(shù)重點(diǎn)實(shí)驗(yàn)室，江蘇 無(wú)錫214122

集成學(xué)習(xí)，在過去的幾十年里已經(jīng)成為一個(gè)成熟的研究領(lǐng)域，是一種建立基分類器的基礎(chǔ)上進(jìn)行有效融合集成形成強(qiáng)分類器的方法，其中包括兩個(gè)主要工作：一是基分類器的構(gòu)建；二是多分類器的融合集成方法。直觀地說(shuō)，分類器集成成功的關(guān)鍵是基礎(chǔ)分類器表現(xiàn)多樣性。這種認(rèn)識(shí)首先在理論上被誤差模糊分解證明是正確的。=ˉ-ˉ，其中是整體的均方誤差，ˉ是組成學(xué)習(xí)者的平均均方誤差，ˉ是整體和組成學(xué)習(xí)者之間的平均差異。這種分解意味著，只要ˉ是固定的，組件學(xué)習(xí)者之間的較高差異就會(huì)導(dǎo)致更好的集成。此外，偏差-方差分解分析的學(xué)習(xí)方法也被用來(lái)解釋分類器集成的成功。Brown聲稱，從信息論的角度來(lái)看，一個(gè)集合中的多樣性確實(shí)存在于分類器之間的許多層次的相互作用中。這一工作啟發(fā)了Zhou 等人從多信息的角度出發(fā)，提出應(yīng)該最大化互信息以最小化集合的預(yù)測(cè)誤差。隨后，Yu 等人提出，在個(gè)體學(xué)習(xí)者的多樣性正則化機(jī)器（diversity regularized machines，DRM）中以成對(duì)的方式使用個(gè)體學(xué)習(xí)者的多樣性，可以降低假設(shè)空間的復(fù)雜度，這意味著控制多樣性在集成方法中起到正則化的作用。上述理論都證實(shí)了個(gè)體學(xué)習(xí)者的多樣性是集成學(xué)習(xí)的關(guān)鍵。

一些眾所周知的算法，如Bagging和Boosting被認(rèn)為是解決模式分類任務(wù)有效方法，Bagging 和Boosting 算法都是基于訓(xùn)練數(shù)據(jù)集的重采樣方法，Bagging 算法是并行集成，而Boosting 是串行提升，都是使用輸入數(shù)據(jù)的不同訓(xùn)練子集和同樣的學(xué)習(xí)方法生成不同模型。2011 年基于Bagging 的集成分類器，即Bagging-ELM，已經(jīng)得到了廣泛的研究，并被證明可以在準(zhǔn)確性方面顯著提高極限學(xué)習(xí)機(jī)（extreme learning machine，ELM）的性能，但是由于計(jì)算量大，不適用于大規(guī)模數(shù)據(jù)集。2015 年Jiang 等人利用主成分分析對(duì)人臉特征進(jìn)行約簡(jiǎn)，并將ELM 嵌入到AdaBoost 框架中進(jìn)行人臉識(shí)別，實(shí)驗(yàn)證明，AdaBoost方法可以顯著提高ELM 性能。2018 年一種基于代價(jià)敏感集成加權(quán)極限學(xué)習(xí)機(jī)的新方法（cost-sensitive ensemble weighted extreme learning machine，AE1-WELM）被提出，這種方法提出應(yīng)用于文本分類，通過樣本信息熵來(lái)度量文檔的重要性，并根據(jù)文檔的重要性生成代價(jià)敏感矩陣和因子，然后將代價(jià)敏感的加權(quán)ELM 嵌入到AdaBoost 中。該方法為文本分類提供了一種準(zhǔn)確、可靠、有效的解決方案。

然而基于以上兩者算法的極限學(xué)習(xí)機(jī)的集成方法都可以被解釋為隱式地表達(dá)多樣性，構(gòu)建了不同的基本分類器。在集成學(xué)習(xí)算法中，如果術(shù)語(yǔ)“多樣性”被明確定義和優(yōu)化，就可以恰當(dāng)?shù)厥褂盟惴ǘ鄻有浴Ｓ捎谠S多集成算法都是通過隱式尋求多樣性而成功提出的，很自然地會(huì)考慮是否可以通過顯式尋求多樣性來(lái)獲得更好的性能。

文獻(xiàn)[12]中報(bào)道的一些結(jié)果表明，ELM 在回歸和分類任務(wù)中都具有學(xué)習(xí)速度快、泛化性能好等顯著特點(diǎn)。因此這種快速學(xué)習(xí)方案避免了基于梯度的優(yōu)化技術(shù)中的困難，如停止標(biāo)準(zhǔn)、學(xué)習(xí)速率、學(xué)習(xí)周期和局部極小值等。但是單一的極限學(xué)習(xí)機(jī)在數(shù)據(jù)分類上是不穩(wěn)定的。為了克服這一缺點(diǎn)，越來(lái)越多的研究人員考慮使用集成ELM，綜合這些因素促使在集成學(xué)習(xí)中采用ELM 作為基礎(chǔ)分類器。

（1）在一定程度上解決單個(gè)ELM 分類器的不穩(wěn)定性問題。提高預(yù)測(cè)性能的同時(shí)，也具有很好的泛化能力和魯棒性。

（2）10 個(gè)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明本文所提出的基于多樣性正則化極限學(xué)習(xí)機(jī)的集成方法可以更好地處理具有大量屬性或樣本數(shù)量的數(shù)據(jù)集。

（3）本文所提出的算法從初始化隱含層輸入權(quán)重、偏置以及多樣性懲罰項(xiàng)兩個(gè)角度雙重保證了最后集成模型的性能。

1 ELM 簡(jiǎn)介

近年來(lái)，ELM 的研究已有了較為迅速的進(jìn)展，表現(xiàn)出廣闊的發(fā)展和應(yīng)用潛力，吸引了大量學(xué)術(shù)界和工業(yè)界研究人員的高度關(guān)注，并取得了豐碩的研究成果。本章將根據(jù)原始的ELM 算法和RELM（regularized extreme learning machines）算法詳細(xì)介紹求解隱含層輸出權(quán)重的方法。

ELM 最初是針對(duì)單隱層前饋神經(jīng)網(wǎng)絡(luò)（singlehidden layer feedforward neural network，SLFN）提出的，后來(lái)擴(kuò)展到廣義前饋網(wǎng)絡(luò)。ELM 的顯著優(yōu)點(diǎn)在于隱藏節(jié)點(diǎn)參數(shù)（輸入權(quán)重和偏差）的隨機(jī)選擇，并且網(wǎng)絡(luò)輸出權(quán)重可以通過使用最小二乘法求解線性系統(tǒng)來(lái)分析確定。訓(xùn)練階段可以高效地完成，而不需要耗時(shí)的學(xué)習(xí)迭代，并且可以獲得良好的泛化性能。如圖1 所示的ELM 的網(wǎng)絡(luò)結(jié)構(gòu)模型。

圖1 ELM 模型框架Fig.1 ELM network structure

其中，表示隱層輸出矩陣的廣義逆矩陣。隱節(jié)點(diǎn)數(shù)是隨機(jī)的，由通用逼近性可知激活函數(shù)無(wú)限可微分，隱含層輸出近似看成連續(xù)函數(shù)。

（1）對(duì)于隱節(jié)點(diǎn)數(shù)等于輸入樣本個(gè)數(shù)，可找到矩陣，使得：

（2）對(duì)于隱節(jié)點(diǎn)數(shù)小于樣本個(gè)數(shù)，對(duì)于任意＞0，總存在，使得：

利用最小方差尋找最優(yōu)輸出權(quán)重。即優(yōu)化訓(xùn)練誤差函數(shù)：

其中，是在訓(xùn)練誤差項(xiàng)和正則項(xiàng)之間進(jìn)行權(quán)衡的正則化參數(shù)。對(duì)進(jìn)行微分得到：

讓梯度等于0，可以得到：

求解上式可以很容易地得到下面的解：

因?yàn)椋?，矩陣是正定的，又因?yàn)榫仃囀前胝ǖ?，所以矩?是正定的。因?yàn)榈某霈F(xiàn)使得矩陣+變成了非奇異矩陣，所以根據(jù)隱節(jié)點(diǎn)數(shù)與樣本數(shù)的比較，求解可得輸出權(quán)重形式如下，其中是單位矩陣：

2 DRELM 模型建立

2.1 DRELM 網(wǎng)絡(luò)結(jié)構(gòu)圖

集成的關(guān)鍵是保證多樣性，一種簡(jiǎn)單的實(shí)現(xiàn)方法就是使用不同分布來(lái)初始化每個(gè)學(xué)習(xí)器的隱層節(jié)點(diǎn)參數(shù)。本文提出的基于差異性正則化極限學(xué)習(xí)機(jī)的集成方法，在生成每個(gè)ELM基學(xué)習(xí)器初始權(quán)重時(shí)選擇了高斯分布和均勻分布等任意的隨機(jī)分布，保證了集成時(shí)每個(gè)基學(xué)習(xí)器之間具有一定的差異性，并且隱藏層節(jié)點(diǎn)到輸出層節(jié)點(diǎn)之間的權(quán)重則是通過最小二乘法求解得出，因此可知本文算法對(duì)初始值并不依賴。

圖2 多樣性正則化ELM 集成學(xué)習(xí)系統(tǒng)模型框架Fig.2 Ensemble learning of different regularized ELM network structure

2.2 算法過程

注意到，在集成方法中雖然對(duì)于多樣性應(yīng)該以什么形式定義沒有一致意見，但是所研究的多樣性度量通?？梢允浅蓪?duì)的形式，即總多樣性是成對(duì)差異度量的總和，用于度量分類有效性。這種多樣性測(cè)度包括Qstatistics 測(cè)度、相關(guān)系數(shù)的度量、不一致測(cè)度、雙錯(cuò)測(cè)度、統(tǒng)計(jì)測(cè)度等。因此，還考慮了一種基于成對(duì)差異的多樣性形式。給定假設(shè)度量空間中的成對(duì)分集測(cè)度，考慮假設(shè)基學(xué)習(xí)器集合={,,…,c}，則可得到成對(duì)差異項(xiàng)的總和表達(dá)式如下：

規(guī)定div({,,…,c})≥，其中，是多樣性項(xiàng)最小值。則在對(duì)于ELM 集成問題中，改變輸入權(quán)重和偏置的元素分布方式和范圍，訓(xùn)練個(gè)不同的ELM 基學(xué)習(xí)器，′表示不同于的任意。考慮到隱點(diǎn)數(shù)優(yōu)化問題，得到的每個(gè)ELM 的隱含層到輸出層的權(quán)重矩陣的維度可能不一樣。為了繞開這個(gè)問題，在本文中，將它們集成在一起時(shí)，提出一種明確的方法來(lái)管理各個(gè)基礎(chǔ)學(xué)習(xí)者之間的差異。即將有關(guān)多樣性的新懲罰項(xiàng)顯式添加到整個(gè)集成的目標(biāo)函數(shù)中。懲罰項(xiàng)表達(dá)式如下：

該表達(dá)式不會(huì)受不同的隱含層輸出權(quán)重維度不一致的影響，多樣性控制參數(shù)的值對(duì)應(yīng)上式中的。在不失一般性的前提下，本文采用RELM 算法作為該算法的基礎(chǔ)。為了提高泛化能力，本文也加入了對(duì)每個(gè)學(xué)習(xí)器的隱含層輸出矩陣的泛化項(xiàng)，因此可以得到目標(biāo)優(yōu)化函數(shù)如下：

因?yàn)樯鲜綄?duì)于每個(gè)學(xué)習(xí)者是自然可分的，所以可以簡(jiǎn)化求解過程，采用了一種有效的交替優(yōu)化技術(shù)。將所有′≠時(shí)的′當(dāng)作已知固定量，交替優(yōu)化依次求解，從數(shù)學(xué)上來(lái)說(shuō)，把上面的目標(biāo)函數(shù)轉(zhuǎn)化為求解下面這個(gè)小目標(biāo)函數(shù)：

上式分別對(duì)β求偏導(dǎo)得到：

正則化參數(shù)調(diào)節(jié)第三項(xiàng)的相對(duì)成本。較大的值會(huì)降低個(gè)體極限學(xué)習(xí)機(jī)的一致性，從而增強(qiáng)多樣性，而較小的值則會(huì)產(chǎn)生一組幾乎相似的極限學(xué)習(xí)機(jī)。但是存在的爭(zhēng)議是，目標(biāo)函數(shù)中的第三項(xiàng)使得目標(biāo)函數(shù)可能不會(huì)變得凸。為了解決這樣一個(gè)可能的問題，提出了以下方案來(lái)討論參數(shù)的范圍：

假設(shè)參數(shù)的上界值為，為了求出值，只要使得如下式子：

基分類器的集成及結(jié)果整合

ELM 算法中，影響網(wǎng)絡(luò)泛化能力的一個(gè)重要因素是隱含層節(jié)點(diǎn)和正則化參數(shù)。一種確定ELM 中最優(yōu)參數(shù)的方法是留一交叉驗(yàn)證策略。對(duì)于本文模型，為了確定隱含層節(jié)點(diǎn)的最終數(shù)目，需要計(jì)算不同隱含層節(jié)點(diǎn)數(shù)目時(shí)對(duì)應(yīng)的留一交叉誤差，最后選擇誤差最小時(shí)對(duì)應(yīng)的隱含層節(jié)點(diǎn)數(shù)目。因此，為了優(yōu)化隱節(jié)點(diǎn)數(shù)以及正則化參數(shù)，使用LOO交叉驗(yàn)證策略中的預(yù)測(cè)殘差平方和（MSE）作為評(píng)估性能指標(biāo)。

其中，為了減少M(fèi)SE公式的計(jì)算復(fù)雜度和隱含層輸出矩陣的重復(fù)計(jì)算，本文引用了奇異值分解（singular value decomposition，SVD）矩陣策略來(lái)分解隱含層輸出矩陣：令=，其中，和均為酉矩陣，即=，=，是對(duì)角矩陣。

當(dāng)≤時(shí)，=，則可以得到：

當(dāng)＞時(shí)，=，則可以得到：

算法2 給出了基于LOO 誤差的基分類器的實(shí)現(xiàn)方法。

基分類器的構(gòu)建

設(shè)為輸入訓(xùn)練樣本個(gè)數(shù)，為初始輸入樣本特征維數(shù)，隱含層節(jié)點(diǎn)數(shù)設(shè)置為，輸出層節(jié)點(diǎn)數(shù)為個(gè)，基學(xué)習(xí)器的數(shù)量為，則算法的時(shí)間復(fù)雜度包括兩部分，即基學(xué)習(xí)器的訓(xùn)練步驟和基學(xué)習(xí)器的集成步驟。第一部分的時(shí)間復(fù)雜度集中于算法2 中步驟1.1 每個(gè)基學(xué)習(xí)器的隱含層輸入矩陣的計(jì)算，時(shí)間復(fù)雜度為()，步驟1.2 中分別計(jì)算出每個(gè)基學(xué)習(xí)器的隱含層輸出權(quán)重，時(shí)間復(fù)雜度為(+)，因此第一部分時(shí)間復(fù)雜度為(++)，其中是目標(biāo)類別數(shù)。第二部分算法1 中步驟1 計(jì)算隱含層輸入矩陣時(shí)間復(fù)雜度為()，步驟2 中，設(shè)迭代次數(shù)為，則步驟2 中計(jì)算更新隱含層輸出權(quán)重的時(shí)間復(fù)雜度為()。因此總的算法時(shí)間復(fù)雜度為(2+++)。

圖3所示為多樣性正則化ELM集成方法流程圖。

圖3 多樣性正則化ELM 集成方法流程圖Fig.3 Flow chart of ensemble learning of different regularized ELM

3 實(shí)驗(yàn)及結(jié)果分析

3.1 數(shù)據(jù)集

本節(jié)通過大量數(shù)值實(shí)驗(yàn)來(lái)檢驗(yàn)所提出的集成分類器的性能的分類效果，并對(duì)比了其他代表性的分類模型。為保證實(shí)驗(yàn)結(jié)果的真實(shí)準(zhǔn)確，每個(gè)數(shù)據(jù)集對(duì)應(yīng)的實(shí)驗(yàn)都進(jìn)行了10 次實(shí)驗(yàn)，然后取其平均值和標(biāo)準(zhǔn)差作為最終結(jié)果。對(duì)于分類問題，采用常用的準(zhǔn)確率（accuracy）作為衡量指標(biāo)。實(shí)驗(yàn)從國(guó)際通用的加州大學(xué)歐文分校的UCI 數(shù)據(jù)庫(kù)中選擇了10 個(gè)分類數(shù)據(jù)集，表中涵蓋了所測(cè)試的基準(zhǔn)分類數(shù)據(jù)集的樣本特征維數(shù)、訓(xùn)練樣本數(shù)、測(cè)試樣本數(shù)和類別數(shù)。表1列出了數(shù)據(jù)集的詳細(xì)信息。本文所有實(shí)驗(yàn)均在同一環(huán)境下完成，采用在Windows 10 環(huán)境下搭建系統(tǒng)，計(jì)算機(jī)處理器配置為IntelCorei3-3240 CPU@3.40 GHz，內(nèi)存8 GB，主算法在Matlab2016 中完成。

表1 UCI的10 個(gè)數(shù)據(jù)集的詳細(xì)信息Table 1 Details of 10 datasets for UCI

3.2 敏感性分析

通過實(shí)驗(yàn)來(lái)研究泛化項(xiàng)系數(shù)、多樣性控制參數(shù)以及基學(xué)習(xí)器數(shù)量對(duì)模型性能的影響。下面以austra 數(shù)據(jù)集為例進(jìn)行敏感性分析。參數(shù)在{2,2,2,2,2}中確定，根據(jù)上一節(jié)中對(duì)參數(shù)范圍的討論，依據(jù)式（24）計(jì)算出它的上界值，為了保證值在它的有效取值范圍以內(nèi)，可得到參數(shù)在{2,2,2,2,2}中確定。在合適的基學(xué)習(xí)器數(shù)量（如=5）的前提下，圖4（a）和（b）分別說(shuō)明了在austra 數(shù)據(jù)集中，當(dāng)其他參數(shù)不變時(shí)，精度隨和值的增加而變化的情況。圖4（c）中，探究的是基學(xué)習(xí)器數(shù)量對(duì)模型性能的影響，當(dāng)正則化參數(shù)以及多樣性控制參數(shù)都設(shè)置適當(dāng)（如=2，=2）時(shí)，通過改變基學(xué)習(xí)器數(shù)量觀察它對(duì)準(zhǔn)確率的影響。

顯然，由圖4（a）和（b）可以看出，泛化項(xiàng)系數(shù)和多樣性控制參數(shù)對(duì)DRELM 的分類準(zhǔn)確性有相當(dāng)大的影響。適當(dāng)?shù)闹祵⒂兄谔岣逥RELM 的分類準(zhǔn)確性。

從圖4（c）可以看出，在集成學(xué)習(xí)中，基學(xué)習(xí)器的數(shù)量是影響模型性能的關(guān)鍵因素。一般認(rèn)為，基學(xué)習(xí)器的數(shù)量越多，意味著模型的準(zhǔn)確率越高，但當(dāng)基學(xué)習(xí)器增加到一定數(shù)量以后模型性能達(dá)到最優(yōu)且較為穩(wěn)定時(shí)，再持續(xù)增加基學(xué)習(xí)器的數(shù)量，模型的性能反而會(huì)下降。對(duì)于本文中多樣性正則化極限學(xué)習(xí)機(jī)的集成方法并不是基學(xué)習(xí)器的數(shù)量越多預(yù)測(cè)性能就越好，在本文實(shí)驗(yàn)所用的數(shù)據(jù)集中，最佳的基學(xué)習(xí)器數(shù)量大約為5 到6。

圖4 austra 數(shù)據(jù)集的精度變化圖Fig.4 Accuracy changes on austra dataset

3.3 參數(shù)設(shè)置

改進(jìn)的二參數(shù)BP 算法對(duì)標(biāo)準(zhǔn)的Sigmoid 函數(shù)引入新的參數(shù)和，其中系數(shù)決定著Sigmoid型函數(shù)的幅度，引入?yún)?shù)增加了自變量值的彈性，通過調(diào)整參數(shù)可以大大改變誤差曲面變化率，從而避開局部最小。對(duì)于本算法中泛化項(xiàng)系數(shù)使用網(wǎng)格搜索從{2,2,…,2}范圍內(nèi)搜索。對(duì)于較小的數(shù)據(jù) 集，例 如austra、Diabets 和Ionosphere 在[50：50：600]之間尋找最佳的隱節(jié)點(diǎn)數(shù)。像大樣本數(shù)據(jù)集OnlineNews，Magic 則在[500：100：2 500]范圍內(nèi)搜索隱節(jié)點(diǎn)的最佳數(shù)目。剩余數(shù)據(jù)集在[500：100：1 500]尋找最佳的隱節(jié)點(diǎn)數(shù)目。各模型參數(shù)的設(shè)置詳見表2。

表2 用于UCI數(shù)據(jù)集的各種模型的參數(shù)設(shè)置Table 2 Parameter settings of various models for UCI datasets

3.4 實(shí)驗(yàn)結(jié)果

在將DRELM 算法與SVM（RBF）算法進(jìn)行對(duì)比，RELM 算法與DRM 算法進(jìn)行對(duì)比的時(shí)候，為了保證實(shí)驗(yàn)的公平性，首先，對(duì)于本文的DRELM 算法，基學(xué)習(xí)器數(shù)量設(shè)置成5 個(gè)（=5），DRM 算法也采用5 個(gè)SVM 基學(xué)習(xí)器集成的規(guī)模；其次，對(duì)于RELM 算法的隱節(jié)點(diǎn)數(shù)規(guī)模將設(shè)置成DRELM 算法隱節(jié)點(diǎn)數(shù)集成總數(shù)的規(guī)模。實(shí)驗(yàn)對(duì)比結(jié)果如表3 所示。

從表3 中可知各個(gè)數(shù)據(jù)集的分類準(zhǔn)確率實(shí)驗(yàn)結(jié)果。針對(duì)SVM、RELM、DRM、二參數(shù)BP 和DRELM這五種算法，本文采用加粗樣式標(biāo)注最優(yōu)測(cè)試精度，采用加粗并加下劃線來(lái)標(biāo)注最優(yōu)標(biāo)準(zhǔn)差。由表中大多數(shù)數(shù)據(jù)集結(jié)果可以看出，DRM 算法和DRELM 算法的分類精度和標(biāo)準(zhǔn)差均較優(yōu)于SVM、RELM 和二參數(shù)BP 模型。此外，尤其對(duì)于大樣本或大特征維數(shù)的數(shù)據(jù)集而言，DRELM、DRM 算法的標(biāo)準(zhǔn)差明顯低于其他三個(gè)算法，而DRELM 算法的標(biāo)準(zhǔn)差又明顯低于DRM 算法。而RELM 算法在所有算法里面表現(xiàn)得相對(duì)較差。主要考慮到實(shí)驗(yàn)公平性，將RELM 算法的隱節(jié)點(diǎn)數(shù)設(shè)置成DRELM 算法所有基學(xué)習(xí)器的隱節(jié)點(diǎn)總數(shù)的規(guī)模，過多的隱節(jié)點(diǎn)數(shù)可能造成過擬合現(xiàn)象，從而導(dǎo)致它的測(cè)試精度表現(xiàn)得較差。

表3 各種模型對(duì)于不同數(shù)據(jù)集的測(cè)試結(jié)果與性能比較Table 3 Test result and performance comparison of various models on different datasets

在這10 個(gè)數(shù)據(jù)集中，可以發(fā)現(xiàn)austra、Letter、Magic、PCAMC、Pendigits、Onlinenews、optdigits、Ionosphere 數(shù)據(jù)集在DRELM 的測(cè)試精度比DRM高。同樣，可以發(fā)現(xiàn)austra、Magic、Vehicle、PCAMC、Onlinenews、Ionosphere數(shù)據(jù)集在DRELM算法中的測(cè)試精度更加穩(wěn)定集中；austra、Magic、PCMAC、Onlinenews、Ionospher 數(shù)據(jù)集在測(cè)試精度和標(biāo)準(zhǔn)差上DRELM 算法均優(yōu)于DRM 算法。

并且，DRELM 算法比較原始RELM 算法，在精度提升方面最高達(dá)到了39.56%，并且標(biāo)準(zhǔn)差降低了28.18%。同時(shí)DRELM 對(duì)比DRM 算法，在精度提升方面最高達(dá)到了5.79%，但標(biāo)準(zhǔn)差方面最高有著26.45%的下降。

通過對(duì)比可以發(fā)現(xiàn)，在這些實(shí)驗(yàn)數(shù)據(jù)集中，本文介紹的DRELM 算法在精度方面優(yōu)于原來(lái)的ELM 算法，也略優(yōu)于DRM 算法，且具有較好的穩(wěn)定性。從表4 中可知，ELM 是最快的學(xué)習(xí)者。在所有數(shù)據(jù)集上，RELM 以及本文提出的1DRELM 要比SVM、DRM 以及BP 訓(xùn)練耗時(shí)少得多。

表4 各種模型對(duì)于不同數(shù)據(jù)集的訓(xùn)練時(shí)間比較Table 4 Training time comparison of various models on different datasets s

總的來(lái)說(shuō)，改進(jìn)的多樣性正則化極限學(xué)習(xí)機(jī)集成算法比傳統(tǒng)的基于梯度的方法（如BP 算法）以及ELM、SVM 具有更好的性能和穩(wěn)定性，并且能以相對(duì)更短的訓(xùn)練時(shí)間提供令人滿意的泛化性能。

4 結(jié)束語(yǔ)

多樣性被認(rèn)為是集成方法成功的關(guān)鍵。本文提出的算法從兩方面保證了模型的多樣性：首先，基學(xué)習(xí)器構(gòu)建的時(shí)候，改變隱含層節(jié)點(diǎn)參數(shù)初始化的分布并優(yōu)化得到每個(gè)學(xué)習(xí)器的最優(yōu)隱含層輸出矩陣和隱節(jié)點(diǎn)數(shù)，保證訓(xùn)練得到幾個(gè)較為優(yōu)秀而又不同的基學(xué)習(xí)器；其次，將有關(guān)多樣性的新懲罰項(xiàng)顯式添加到整個(gè)集成的目標(biāo)函數(shù)中，明確控制基學(xué)習(xí)器之間的多樣性?；趯?shí)驗(yàn)結(jié)果分析，本文方法能夠提高預(yù)測(cè)性能，并在處理大數(shù)據(jù)集時(shí)表現(xiàn)得更加優(yōu)越，也具有很好的泛化能力和魯棒性并優(yōu)于一些先進(jìn)的集成方法，但仍有進(jìn)一步研究的空間。例如，在實(shí)踐中可能需要不同類型的基學(xué)習(xí)者進(jìn)行集成學(xué)習(xí)，盡管可以通過網(wǎng)格搜索或交叉驗(yàn)證來(lái)確定正則化參數(shù)，但是相應(yīng)的過程在計(jì)算上仍然是昂貴的，加快此過程的適當(dāng)方法也很關(guān)鍵，需要深入研究。此外，進(jìn)一步研究如何為特殊應(yīng)用場(chǎng)景確定合適數(shù)量的基學(xué)習(xí)器也是值得考慮的。