基于組合分類器的神經(jīng)網(wǎng)絡(luò)算法

趙仲愷

(中原銀行股份有限公司 信息技術(shù)部，河南 鄭州 450052)

基于組合分類器的神經(jīng)網(wǎng)絡(luò)算法

趙仲愷

(中原銀行股份有限公司 信息技術(shù)部，河南 鄭州 450052)

組合分類是一種有效的分類方法，然而訓(xùn)練完成后該方法須要存儲(chǔ)大量的基分類器，并且每一次預(yù)測(cè)過程都需要統(tǒng)計(jì)每個(gè)基分類器的分類結(jié)果作最終的預(yù)測(cè)，同時(shí)具有較高的時(shí)間和空間復(fù)雜度。針對(duì)組合分類存在的問題提出了 EBNN，該方法使用神經(jīng)網(wǎng)絡(luò)從實(shí)例中學(xué)習(xí)值為實(shí)數(shù)、離散值或向量的函數(shù)，將組合分類器從實(shí)例到類標(biāo)號(hào)的映射看成是一個(gè)函數(shù)，然后用神經(jīng)網(wǎng)絡(luò)來擬合這個(gè)函數(shù)，這樣訓(xùn)練完成后只需存儲(chǔ)一個(gè)神經(jīng)網(wǎng)絡(luò)模型，大幅降低了預(yù)測(cè)時(shí)的時(shí)間和空間復(fù)雜度。在20個(gè)UCI數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，與決策樹、神經(jīng)網(wǎng)絡(luò)以及支持向量機(jī)相比，EBNN具有更好的泛化性能。與Bagging相比，EBNN 在提高準(zhǔn)確率的情況下，同時(shí)也大幅降低了預(yù)測(cè)階段的相應(yīng)時(shí)間和空間占用。

神經(jīng)網(wǎng)絡(luò)；組合分類器；組合剪枝；二次學(xué)習(xí)

組合分類器學(xué)習(xí)是機(jī)器學(xué)習(xí)、模式識(shí)別和數(shù)據(jù)挖掘中非?；钴S的研究領(lǐng)域[1-2]。已有的研究結(jié)果表明，使用同一的訓(xùn)練信息，組合分類器通常表現(xiàn)出比單個(gè)分類器更好的泛化能力。但是，部分組合分類方法傾向構(gòu)建泛化性能高的和泛化性能低的基分類器，而后者的存在不僅沒有提高組合分類器的泛化能力，并且還可能造成組合分類器分類的準(zhǔn)確率的下降，而且大規(guī)模的基分類器需要使用大量空間同時(shí)增加了組合分類器的預(yù)測(cè)響應(yīng)時(shí)間。通常組合分類器選擇[3-4]是處理該問題的一種有效方法。

組合選擇是從組合分類器內(nèi)部的子成員中選擇一個(gè)最優(yōu)或次優(yōu)的子集作為子組合分類器以提高組合分類器分類性能的方法[5]。一個(gè)包含M個(gè)分類器的分類器庫(kù)可以構(gòu)造的子組合分類器的數(shù)目為2M-1(不包含空集)，即便某些子組合分類器的準(zhǔn)確率優(yōu)于其它，但是-在計(jì)算機(jī)上窮舉搜索指數(shù)級(jí)空間上是不可行。通常的組合選擇方法使用貪心搜索方法，找到的并不一定是最優(yōu)的基分類器。目前，有使用向前選擇、向后刪除等貪心的方式對(duì)組合分類器剪枝[6-7]，盡管這些方式的采用有效地使組合分類器規(guī)模降低了并保持或者使組合分類器的性能得到提高，然而還有一些其他策略(如迭代置換)尚未探討，本文從另一個(gè)角度處理組合分類器存在的問題，即使用神經(jīng)網(wǎng)絡(luò)擬合組合分類器的結(jié)果。神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方法[8]對(duì)于逼近實(shí)數(shù)值、離散值或向量值的目標(biāo)函數(shù)提供了一種健壯性較強(qiáng)的方法。對(duì)于某些類型的問題，如學(xué)習(xí)解釋復(fù)雜的現(xiàn)實(shí)世界中的傳感器數(shù)據(jù)，神經(jīng)網(wǎng)絡(luò)是目前知道最有效的學(xué)習(xí)方法[9]?；谝陨戏治?，論文提出了基于組合分類器的神經(jīng)網(wǎng)絡(luò)算法(Ensemble Base Neural Network，EBNN)解決組合分類方法占用大量?jī)?nèi)存和預(yù)測(cè)速度慢的問題，EBNN將組合分類器學(xué)到的模型看成是從實(shí)例集到類標(biāo)號(hào)之間復(fù)雜的映射函數(shù)，利用組合分類器的訓(xùn)練結(jié)果重新構(gòu)造數(shù)據(jù)集，然后利用神經(jīng)網(wǎng)絡(luò)擬合這個(gè)復(fù)雜的映射函數(shù)，EBNN訓(xùn)練完成后會(huì)得到一個(gè)新的神經(jīng)網(wǎng)絡(luò)模型來做最終的預(yù)測(cè)。這種方法的兩種解釋：(1)利用神經(jīng)網(wǎng)絡(luò)簡(jiǎn)化組合分類器訓(xùn)練得到的復(fù)雜模型；(2)利用組合分類器學(xué)習(xí)的結(jié)果訓(xùn)練神經(jīng)網(wǎng)絡(luò)，即從學(xué)習(xí)的結(jié)果中再次學(xué)習(xí)，即二次學(xué)習(xí)。

在10個(gè)UCI數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，和 Ensemble Pruning、Bagging、C4.5、BP 和SVM相比，EBNN算法具有較高的準(zhǔn)確率，并且和組合分類器的預(yù)測(cè)過程相比，EBNN具有較小的時(shí)間和空間復(fù)雜度。

1 相關(guān)工作

1.1 BP神經(jīng)網(wǎng)絡(luò)

神經(jīng)網(wǎng)絡(luò)[10-11](Back-Propagation，BP)是一類前饋型神經(jīng)網(wǎng)絡(luò)，是使用最多的典型神經(jīng)網(wǎng)絡(luò)，它由輸入層、中間層和輸出層組成，中間層也稱隱含層，中間層可以是一個(gè)或多個(gè)。每層包含若干互不連接的神經(jīng)元節(jié)點(diǎn)，相鄰層之間各神經(jīng)元通過不斷變化的連接強(qiáng)度或權(quán)值進(jìn)行全連接。神經(jīng)網(wǎng)絡(luò)分類過程可以分為訓(xùn)練和分類兩個(gè)階段。在訓(xùn)練階段，首先定義網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)，再對(duì)訓(xùn)練樣本中的每個(gè)屬性的值進(jìn)行規(guī)范化預(yù)處理， 然后用神經(jīng)網(wǎng)絡(luò)對(duì)已預(yù)處理的輸入進(jìn)行學(xué)習(xí)。訓(xùn)練完畢后，用訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)對(duì)標(biāo)識(shí)樣本進(jìn)行分類，圖1所示為BP神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)。其中：輸入層有n個(gè)節(jié)點(diǎn)，對(duì)應(yīng)輸入x1～xn；輸出層有m個(gè)節(jié)點(diǎn)，對(duì)應(yīng)輸出y1～ym；隱含層有q個(gè)節(jié)點(diǎn)，對(duì)應(yīng)的輸出z1～zq；輸入層與隱含層之間的權(quán)值vik，隱含層與輸出層之間的權(quán)值為wkj。BP 網(wǎng)絡(luò)中隱含層激活函數(shù)通常采用S型的對(duì)數(shù)或正切函數(shù)和線性函數(shù)。由于激活函數(shù)是連續(xù)可微的，不僅使得網(wǎng)絡(luò)的容錯(cuò)性較好，而且可以嚴(yán)格利用剃度法進(jìn)行推算。本文中所使用的反向傳播算法BP在許多實(shí)際問題中取得了成功。

圖1 BP 神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)圖

1.2 組合分類器

組合分類器學(xué)習(xí)[12]是從給定的實(shí)例集中學(xué)習(xí)多個(gè)分類器，組合這些分類器的預(yù)測(cè)以獲得更好的分類準(zhǔn)確率，通常組合分類器學(xué)習(xí)包括兩個(gè)階段，訓(xùn)練基分類器階段以及組合這些基分類器預(yù)測(cè)實(shí)例類標(biāo)號(hào)階段，把降低組合分類器規(guī)模作為中間階段放到預(yù)測(cè)之前，通常把這個(gè)階段叫做組合分類器剪枝(Ensemble Pruning)[13]，組合分類器往往能取得比單個(gè)分類器更好的泛化性能[14]。而構(gòu)建有差異而又準(zhǔn)確的基分類器是成功構(gòu)建組合分類器的關(guān)鍵因素，常用的構(gòu)建有差異訓(xùn)練集的方法大致有3種：(1)自助抽樣方法；(2)Boosting方法；(3)基于特征變換的方法。

自助抽樣方法的一個(gè)典型代表是Bagging，它的多樣性是通過有放回隨機(jī)抽取訓(xùn)練樣本來實(shí)現(xiàn)的，用這種方式隨機(jī)產(chǎn)生多個(gè)訓(xùn)練數(shù)據(jù)的子集，在每一個(gè)訓(xùn)練集的子集上訓(xùn)練一個(gè)分類器，最終分類結(jié)果是由多個(gè)分類器的分類結(jié)果多數(shù)投票而產(chǎn)生的。由于訓(xùn)練每個(gè)分類器的實(shí)例集都是通過自助抽樣產(chǎn)生的，所以由Bagging學(xué)習(xí)的基分類器通常具有很高的準(zhǔn)確率。然而，較之其它算法，即便Bagging使用對(duì)實(shí)例集差異性很敏感的分類器學(xué)習(xí)算法(如C4.5)構(gòu)建基分類器，自助抽樣方法構(gòu)建的組合分類器差異性較低。因此，Bagging需要構(gòu)建大量的基分類器才能獲得良好的泛化性能[16]。

Boosting方法[17]的核心思想是使用組合結(jié)構(gòu)提升“弱”分類器性能。Boosting方法是一個(gè)迭代過程，每次迭代都自適應(yīng)地改變實(shí)例的分布特征，使得后建立的基分類器更關(guān)注于那些被前面的分類器錯(cuò)誤分類的實(shí)例。與Bagging方法不同，Boosting為集合中的每個(gè)實(shí)例設(shè)置權(quán)值，并保證那些難分的實(shí)例具有更大的權(quán)重，以迫使后續(xù)分類器更關(guān)注它們。

不同于Bagging和Boosting方法，基于特征變換的組合分類器學(xué)習(xí)方法將訓(xùn)練實(shí)例集映射到不同的特征空間，進(jìn)而形成不同的訓(xùn)練實(shí)例集以構(gòu)建組合分類器。作為該方法的一個(gè)代表，旋轉(zhuǎn)森林(Rotation Forest)表現(xiàn)出良好的泛化能力，但是旋轉(zhuǎn)森林缺乏很好的理論支持。

以上介紹的組合分類方法存在共同弱點(diǎn)：傾向于構(gòu)建過多的基分類器，大量的基分類器不僅需要大量的存儲(chǔ)空間而且增加了組合分類器預(yù)測(cè)響應(yīng)時(shí)間。目前，Guo[6]等人提出了貪心組合分類器剪枝來進(jìn)一步提高分類器的性能。

2 EBNN

針對(duì)組合分類器存在的弱點(diǎn)，下面介紹基于組合分類器的神經(jīng)網(wǎng)絡(luò)算法基本思想。

組合分類器，尤其是Bagging，分類準(zhǔn)確率雖高，但是訓(xùn)練完成后需要存儲(chǔ)大量的基分類器，使得預(yù)測(cè)時(shí)響應(yīng)時(shí)間較長(zhǎng)且占用較大的存儲(chǔ)空間。因此，結(jié)合組合分類器和神經(jīng)網(wǎng)絡(luò)提出了一種準(zhǔn)確率又高，預(yù)測(cè)時(shí)響應(yīng)速度又快的分類算法EBNN。神經(jīng)網(wǎng)絡(luò)選用BP神經(jīng)網(wǎng)絡(luò)，組合分類器選Bagging。

假設(shè)訓(xùn)練集D中共有n個(gè)實(shí)例，每個(gè)實(shí)例有m個(gè)屬性，且訓(xùn)練集上共有k個(gè)類。用Di(1

圖2 新實(shí)例的構(gòu)造示意圖

接下來，在新構(gòu)造的數(shù)據(jù)集D’上訓(xùn)練一個(gè)神經(jīng)網(wǎng)絡(luò)，其中輸入層節(jié)點(diǎn)的個(gè)數(shù)為屬性個(gè)數(shù)m；隱藏層節(jié)點(diǎn)個(gè)數(shù)為傳統(tǒng)神經(jīng)網(wǎng)絡(luò)節(jié)點(diǎn)個(gè)數(shù)的k倍(k為類的個(gè)數(shù))；輸出層的節(jié)點(diǎn)個(gè)數(shù)為k，即類的個(gè)數(shù)。圖3給出一個(gè)屬性個(gè)數(shù)為5，類個(gè)數(shù)為3時(shí)，隱藏層節(jié)點(diǎn)個(gè)數(shù)為4×3的網(wǎng)絡(luò)結(jié)構(gòu)示意圖。具體過程見算法1。

算法1EBNN。

輸入D有n個(gè)實(shí)例的訓(xùn)練集，每個(gè)實(shí)例有m個(gè)屬性，共有k個(gè)類 。

輸出訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)模型方法。

(1)用 Bagging 算法在訓(xùn)練集D上訓(xùn)練一個(gè)分類模型Bagging；

(2)用學(xué)到的模型 Bagging 計(jì)算D中每個(gè)實(shí)例屬于各個(gè)類的概率Pij(其中1

D’初始化為空集合

fori= 1 to n do

forj= 1 tokdo

用Pij替換Di的類標(biāo)號(hào)得到新實(shí)例Dij

將Dij加入到D’中

end

for end

for；

(3)在D’上用圖 3 網(wǎng)絡(luò)結(jié)構(gòu)訓(xùn)練一個(gè)神經(jīng)網(wǎng)絡(luò)模型；

(4)return 學(xué)習(xí)到的神經(jīng)網(wǎng)絡(luò)模型。

圖3 EBNN 算法網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)圖

3 實(shí)驗(yàn)

3.1 數(shù)據(jù)集與實(shí)驗(yàn)設(shè)置

20個(gè)數(shù)據(jù)集從UCI機(jī)器學(xué)習(xí)庫(kù)中隨機(jī)選取，數(shù)據(jù)集的詳細(xì)情況如表1所示。對(duì)于每個(gè)數(shù)據(jù)集，采用5-2折交叉驗(yàn)證分析算法的性能，重復(fù)5遍這種實(shí)驗(yàn)，因此，在每個(gè)數(shù)據(jù)集合上構(gòu)建50個(gè)模型。為了比較，本文采用組合剪枝、Bagging、決策樹、神經(jīng)網(wǎng)絡(luò)以及支持向量機(jī)與EBNN比較，所有的實(shí)驗(yàn)是基于開源數(shù)據(jù)挖掘工具洛陽(yáng)鏟(LySpoon)。

為方便說明，本實(shí)驗(yàn)部分約定EP(Ensemble Pruning)表示組合剪枝，C4.5表示決策樹,BP(Back Propagation)表示神經(jīng)網(wǎng)絡(luò)，SVM(Support Vector Machine)。

表1 實(shí)驗(yàn)數(shù)據(jù)集信息

3.2 實(shí)驗(yàn)結(jié)果及相關(guān)分析

為了評(píng)估本文提出的算法性能，將EBNN分別與Ensemble Pruning(EP)、Bagging、C4.5、BP以及SVM5種分類方法對(duì)比。為了檢驗(yàn)EBNN相對(duì)于其他算法的優(yōu)勢(shì)是否具有統(tǒng)計(jì)意義，本文選擇顯著度為95%的配對(duì)t測(cè)試對(duì)相關(guān)算法進(jìn)行比較，如表2所示，粗體表示相應(yīng)的算法(列)在相應(yīng)的實(shí)例集(行)上具有最高的準(zhǔn)確率或準(zhǔn)確率相同但標(biāo)準(zhǔn)差最小，其中“*”表示EBNN顯著優(yōu)于其它方法；v表示EBNN顯著劣于其它算法。括號(hào)內(nèi)的是方差。例如，表2的第3行(對(duì)應(yīng)于數(shù)據(jù)集balance-scale)第3列(對(duì)應(yīng)算法C4.5)的結(jié)果顯示，EBNN在評(píng)估指標(biāo)準(zhǔn)確率上顯著優(yōu)于C4.5;在表2的第9行(對(duì)應(yīng)于數(shù)據(jù)集glass)第4列(對(duì)應(yīng)算法Bagging)的結(jié)果顯示，EBNN在評(píng)估指標(biāo)準(zhǔn)確率上顯著劣于Bagging。在表2中，最后一行中的W-T-L表示EBNN算法在多少個(gè)數(shù)據(jù)集上贏-平手-輸于其他算法。如C4.5那一列的W-T-L是16/1/3表示EBNN方法在16個(gè)數(shù)據(jù)集的分類準(zhǔn)確率>C4.5，在3個(gè)數(shù)據(jù)集的分類準(zhǔn)確率劣于C4.5，在1個(gè)數(shù)據(jù)集上兩者的準(zhǔn)確率是相同的。EBNN只是在個(gè)別數(shù)據(jù)集上比C4.5顯著差。表2中的實(shí)驗(yàn)結(jié)果表明，EBNN算法的準(zhǔn)確率比C4.5高了4個(gè)百分點(diǎn)，比BP高了1個(gè)百分點(diǎn)，比SVM高了2個(gè)百分點(diǎn)。

當(dāng)對(duì)比兩個(gè)或者多個(gè)算法時(shí)，一個(gè)合理的方法就是對(duì)比它們?cè)诿總€(gè)數(shù)據(jù)集上的序(Rank)及在所有數(shù)據(jù)集上的平均序(Average Rank Across All Data Sets)。在一個(gè)數(shù)據(jù)集上，準(zhǔn)確率最高的分類器的序?yàn)?，準(zhǔn)確率次高的分類器的序?yàn)?，依次類推。當(dāng)兩個(gè)或者多個(gè)分類算法平手時(shí)(準(zhǔn)確率相同)，獲得一個(gè)平均序。圖4當(dāng)中橫軸分別為表1中的對(duì)應(yīng)的數(shù)據(jù)集的名稱，

縱軸代表EBNN、EP、Bagging、C4.5、BP和SVM在每一個(gè)數(shù)據(jù)集上的序，不同深度的條形顏色代表不同的分類方法；在圖5代表EBNN、EP、Bagging、C4.5、BP和SVM的平均序，分別為EBNN(2.45)、EP(2.65)、Bagging(3.3)、C4.5(4.7)、BP(3.55)和SVM(3.75)。顯然EBNN的平均序低于其他5種方法的平均序。

EBNN的分類性能之所以在大部分?jǐn)?shù)據(jù)集上優(yōu)于其他分類算法，是因?yàn)镋BNN用神經(jīng)網(wǎng)絡(luò)擬合了準(zhǔn)確率較高的Bagging算法得到了和Bagging相似或更高的分類準(zhǔn)確率；EBNN算法中又使用神經(jīng)網(wǎng)絡(luò)在Bagging算法學(xué)習(xí)的結(jié)果進(jìn)行二次學(xué)習(xí)，使得神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)更具有目的性，取得了比傳統(tǒng)神經(jīng)網(wǎng)絡(luò)更好的泛化能力。

圖4 每個(gè)數(shù)據(jù)集在 EBNN、EP、Bagging等的等級(jí)

圖5 EBNN、EP、Bagging等的平均序

datasetEBNNEPBaggingC4.5BPSVNaustralian86.3(4.17)87.03(4.16)86.3(3.6)86.01(4.47)84.78(4.64)*84.71(4.19)*balance-scale91.44(1.29)81.68(3.71)*82.32(3.72)*77.52(4.39)*90(2.15)*87.36(2.51)*balloons71.52(18.17)77.5(14.11)72.23(15.26)60.98(13.02)*77.05(14.67)74.37(13.06)banknote99.31(0.80)98.87(0.69)98.83(0.96)97.89(1.2)*100(0.00)v97.92(1.19)*breast-cancer73.95(6.61)73.26(7.57)73.24(6.92)75.89(5.66)v67.67(6.8)*69.05(8.53)*column84.84(4.81)82.26(6.82)*83.55(6.09)79.68(7.41)*84.84(6.29)79.35(7.5)*labor80.83(14.18)85(13.18)80.5(13.56)79.67(13.89)89.67(12.79)91.83(12.59)glass67.09(11.16)72.42(8.41)v73.86(11.47)v67.03(9.41)65.89(11.32)57.74(9.10)*hayes-roth79.81(8.85)72.94(10.77)*82.2(10.45)*70.3(10.67)*82.12(7.66)81.76(8.73)solar-flare86.8(1.36)86.8(1.36)86.8(1.36)86.8(1.36)82.44(4.37)86.65(1.40)average82.16381.32982.0577.88481.5780.093W-T-L-5/1/45/2/38/1/15/1/47/0/3

4 結(jié)束語(yǔ)

本文從新的角度提出了一種結(jié)合神經(jīng)網(wǎng)絡(luò)和組合分類器的EBNN算法，該算法將組合分類器學(xué)習(xí)到的結(jié)果用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)，使得該算法既保持 Bagging算法較高的分類準(zhǔn)確率，又保持了神經(jīng)網(wǎng)絡(luò)在預(yù)測(cè)階段較快的相應(yīng)時(shí)間和較小的存儲(chǔ)占用。EBNN是一種算法框架，可以任意選擇其它泛化性能更好的分類算法替換文中采用的Bagging算法來學(xué)習(xí)一個(gè)分類準(zhǔn)確率更高的模型，然后用神經(jīng)網(wǎng)絡(luò)去簡(jiǎn)化這個(gè)模型。因此，下一步的工作將關(guān)注尋找準(zhǔn)確率更高或適合特定領(lǐng)域的更復(fù)雜的算法進(jìn)行學(xué)習(xí)，用它們學(xué)習(xí)到的結(jié)果進(jìn)行神經(jīng)網(wǎng)絡(luò)的二次學(xué)習(xí)，以期得到更高的分類效果。

[1] Pangning T, Steinbach M, Kumar V. Introduction to data mining[J]. Data Analysis in the Cloud, 2014, 22(6):1-25.

[2] Thomas G Dietterich. Ensemble methods in machine learning[C].Cagliari:Proceedings of 1st International Workshop on Multiple Classifier Systems, 2000.

[3] Li Nan,Zhou Zhihua.Selective ensemble under regularization framework[C].Berlin:Proceedings of 8th Internationl Workshop on Multiple Classifier Systems,2009.

[4] Liu Zhuan,Dai Jun,Liu Ningzhong.Ensemble selection by GRASP[J].Applied Intelligence,2014,41(1):128-144.

[5] Li Kai,Han Yanxia.Study of selective ensemble learning method and its diversity based on decision tree and neural etwork[C].Xuzhou:Proceedings of 2010 Chinese Control and Decision Conference,2010.

[6] 郭華平,范明,職為梅.一種基于邊界的貪心組合剪枝方法[J].模式識(shí)別與人工智能,2013,26(2):136-143.

[7] Markatopoulou F, Tsoumakas G, Vlahavas I. Dynamic ensemble pruning based on multi-label classification[J]. Neurocomputing, 2015, 150:501-512.

[8] Tom M Mitchell.Machine learning[M].United States of America:McGraw-Hill,1997.

[9] 王珣.一種基于多目標(biāo)的自組織神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方法[J].小型微型計(jì)算機(jī)系統(tǒng),2002,25(5):565-569.

[10] Wang Lin,Zeng Yi,Chen Tao.Back propagation neural network with adaptive differential evolution algorithm for time series forecasting[J].Expert Systems with Applications, 2015, 42(12):5019-5402.

[11] 馮立穎.改進(jìn)的 BP 神經(jīng)網(wǎng)絡(luò)算法及其應(yīng)用[J].計(jì)算機(jī)仿真,2010,27(12):172-175.

[12] Tulyakov S,Jaeger S,Govindaraju V,et a1.Review of classifier combination methods[J].Machine Learning in Document Analysis and Recognition,2008(90):361-386.

[13] Zhao Qiangli,Jiang Yanhuang,Xu Ming.A fast ensemble pruning algorithm based on pattern mining process[J].Data Ming and Knowledge Discovery,2009,19(2):277-292.

[14] 職為梅,郭華平,張銀峰,等.一種面向非平衡數(shù)據(jù)集分類問題的組合選擇方法[J].小型微型計(jì)算機(jī)系統(tǒng),2014,35(4):770-775.

[15] Leo Breiman.Bagging predictors[J].Machine Learning,1996,24(2):123-140.

[16] La Lei,Guo Qiao,Cao Qiming,et al.Transfer learningwith reasonable boosting strategy[J].Neural Computing and Applications,2014,24(3-4):807-816.

[17] Rodríguez Juan J,Kuncheva Ludmila I,Alonso Carlos JRotation forest: A new classifier ensemble method[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2006,28(10):1619-1630.

Ensemble Based Neutral Network

ZHAO Zhongkai

(Information Technology Department,Zhong Yuan Bank,Zhengzhou 450052,China)

Ensemble is an effective classification method, however, the method needs to store a large number of base classifiers after training and every prediction process requires classification result of each base classifier, besides, it has higher time and space complexity. Aiming at problems of ensemble, EBNN (Ensemble Based Neural Network) was proposed. This method uses neural network to learn from function of instance values, the values are real numbers, discrete values or vector. We can consider the mapping of instances to class labels with ensemble as a function, and then use neural network to fit this function. So it only needs to store a neural network model after training, and reduces time and space complexity of predictions greatly. The results of experiments on 20 UCI data sets indicate that EBNN shows better generalization performance comparing to decision tree, neural network and support vector machine. Compared with Bagging, EBNN not only improves accuracy, but also greatly reduces the corresponding time and space of prediction stage.

neural network;classifier combination;ensemble pruning;secondary learning

2017- 02- 06

國(guó)家自然科學(xué)基金(61170223)；河南省教育廳科學(xué)技術(shù)研究重點(diǎn)基金(14A520016)

趙仲愷(1990-)，男，碩士研究生。研究方向：數(shù)據(jù)挖掘等。

10.16180/j.cnki.issn1007-7820.2017.12.011

TP181

A

1007-7820(2017)12-039-05