集成學(xué)習(xí)方法研究

周鋼，郭福亮

（海軍工程大學(xué)電子工程學(xué)院，湖北武漢430033）

隨著移動(dòng)互聯(lián)網(wǎng)以及物聯(lián)網(wǎng)技術(shù)的不斷深入應(yīng)用，各類信息數(shù)據(jù)以極快速度產(chǎn)生和累積，大數(shù)據(jù)時(shí)代已經(jīng)來(lái)臨[1]。大數(shù)據(jù)備受關(guān)注，核心在于挖掘出新的有價(jià)值信息[2]。數(shù)據(jù)挖掘是從已知數(shù)據(jù)集合中發(fā)現(xiàn)各種模型、概要和導(dǎo)出值的過(guò)程和方法，也是從大數(shù)據(jù)中挖掘價(jià)值信息的核心手段[3]。

集成學(xué)習(xí)（Ensemble Learning）是一種重要的數(shù)據(jù)挖掘方法，主要利用多個(gè)學(xué)習(xí)器的集成來(lái)解決問(wèn)題，能夠顯著提高學(xué)習(xí)系統(tǒng)的泛化能力[4]。Elder在文獻(xiàn)[5]中研究表明分類器集成技術(shù)優(yōu)于簡(jiǎn)單的平均法和單一模型，且在近年來(lái)多屆KDD和CIKM Cup中取得優(yōu)秀成績(jī)。集成學(xué)習(xí)也被認(rèn)為是未來(lái)機(jī)器學(xué)習(xí)的重要研究方向之一，是提高學(xué)習(xí)精度的重要手段[6]。

在介紹集成學(xué)習(xí)的基本概念基礎(chǔ)上，研究了當(dāng)前集成學(xué)習(xí)方法的評(píng)價(jià)標(biāo)準(zhǔn)，分析了常用的分類器集成學(xué)習(xí)算法和結(jié)果整合集成方法，對(duì)集成學(xué)習(xí)方法有綜合充分了解。

1 集成學(xué)習(xí)的概念

集成學(xué)習(xí)是數(shù)據(jù)挖掘算法的一種，本質(zhì)上是將多個(gè)弱分類器通過(guò)有效融合集成為一個(gè)強(qiáng)分類器，提高分類精度。數(shù)據(jù)挖掘包括分類，聚類，關(guān)聯(lián)等多種方法[7]，集成學(xué)習(xí)主要針對(duì)分類和回歸作為基分類器，兩者區(qū)別主要在于預(yù)測(cè)輸出值是否為離散值，本文中主要針對(duì)分類器的集成方法進(jìn)行研究。

分類器是一種利用已知的觀察數(shù)據(jù)（測(cè)試數(shù)據(jù)或?qū)嶒?yàn)數(shù)據(jù)）構(gòu)建的分類模型，并以此來(lái)預(yù)測(cè)未知類別的對(duì)象所屬類別。常見的基分類器包括線性回歸，決策樹，基于關(guān)聯(lián)規(guī)則的分類，貝葉斯信念網(wǎng)絡(luò)，向后傳播，支持向量機(jī)（SVM）等方法，其中包括ID3及其改進(jìn)算法C4.5，分類回歸樹CART，基于頻繁模式的CBA、CMAR、CPAR 等算法[8，9]。

集成學(xué)習(xí)是建立基分類器的基礎(chǔ)上進(jìn)行有效融合集成形成強(qiáng)分類器，其中包括兩個(gè)主要工作，一是基分類器的構(gòu)建，二是多分類器的融合集成方法。集成學(xué)習(xí)算法的一般實(shí)現(xiàn)框架如圖1所示。

圖1 構(gòu)建集成學(xué)習(xí)方法的一般框架

集成學(xué)習(xí)的兩個(gè)主要工作一般可以劃分到訓(xùn)練和檢驗(yàn)兩個(gè)階段。訓(xùn)練階段是訓(xùn)練形成集成模型，主要針對(duì)訓(xùn)練樣本數(shù)據(jù)集，劃分多個(gè)弱分類器按照一定的融合集成規(guī)則形成一個(gè)強(qiáng)分類器；檢驗(yàn)階段是驗(yàn)證調(diào)整集成模型，主要針對(duì)測(cè)試樣本數(shù)據(jù)集，對(duì)多個(gè)弱分類器的預(yù)測(cè)結(jié)果按照一定的集成整合規(guī)則形成集成預(yù)測(cè)結(jié)果。其中，多分類器融合的集成模型是我們研究的重點(diǎn)。

集成學(xué)習(xí)方法按照基分類器的類型異同可以分為同態(tài)集成學(xué)習(xí)和異態(tài)集成學(xué)習(xí)，同態(tài)集成學(xué)習(xí)包括決策樹集成和人工神經(jīng)網(wǎng)絡(luò)集成等，包括同態(tài)模型的集成包括統(tǒng)一融合、線性融合和堆融合方式，stacking算法是堆融合的典型方法，異態(tài)集成學(xué)習(xí)包括疊加法（stacking算法）和元學(xué)習(xí)法（Meta Learning）[10]；根據(jù)基分類器的生成順序可以分為串行組合，并行組合和混合拓?fù)浣M合，經(jīng)典的集成學(xué)習(xí)方法Boosting以及其改進(jìn)的AdaBoosting、GDBT（Gradient Boosting Decision Tree）都是串行組合[11]，Bagging以及在此基礎(chǔ)上的隨機(jī)森林算法則是并行組合[12]，兩階段集成學(xué)習(xí)TPEL是一種混合拓?fù)浣M合[13]；根據(jù)基分類器的學(xué)習(xí)基礎(chǔ)分為基于數(shù)據(jù)和基于屬性的集成方法，其中Bagging、AdaBoosting都是基于數(shù)據(jù)的集成方法[14]。

2 集成學(xué)習(xí)的評(píng)價(jià)標(biāo)準(zhǔn)

Dietterich在文獻(xiàn)[4]中從統(tǒng)計(jì)、計(jì)算和表示三個(gè)層面闡述了集成學(xué)習(xí)的相對(duì)于單一學(xué)習(xí)器的優(yōu)越性。本節(jié)重點(diǎn)分析集成學(xué)習(xí)模型的預(yù)測(cè)誤差計(jì)算方法，并分析有效控制誤差的途徑。

對(duì)于單一分類器，其性能評(píng)價(jià)指標(biāo)主要有訓(xùn)練精度、查準(zhǔn)率、查全率、F-Measure值等[15]，集成學(xué)習(xí)方法通過(guò)對(duì)基分類器（性能較弱）通過(guò)集成融合形成強(qiáng)分類器，假設(shè)n個(gè)相互獨(dú)立基分類器的查準(zhǔn)率為p，那么集成學(xué)習(xí)模型的準(zhǔn)確度為：

其中，第1到第i個(gè)基分類器作為樣本錯(cuò)誤檢驗(yàn)?zāi)Ｐ?。根?jù)公式1可以發(fā)現(xiàn)，集成學(xué)習(xí)準(zhǔn)確率pensemble提升的基本條件在于：一是各基分類器的相關(guān)性低；二是各基分類器的查準(zhǔn)率p高于0.5；三是有一定數(shù)量的基分類器。因此，提升基分類器的差異化有助于提升集成學(xué)習(xí)的預(yù)測(cè)精度（MSE，Mean Squared Error）[16]。

同時(shí)，通過(guò)基分類器數(shù)量的提升，集成學(xué)習(xí)的查準(zhǔn)率達(dá)到較高水平。當(dāng)基分類器數(shù)量較大時(shí)能夠在樣本訓(xùn)練數(shù)據(jù)集上得到很高的查準(zhǔn)率，但是會(huì)造成過(guò)擬化，降低集成模型泛化水平，即在測(cè)試樣本數(shù)據(jù)上反而有較低的查準(zhǔn)率。

因此，對(duì)于集成學(xué)習(xí)方法，一般采用偏差-方差分解分析學(xué)習(xí)方法的誤差[17]。假設(shè)存在我們需要預(yù)測(cè)的目標(biāo)函數(shù)為：

其中，ε為數(shù)據(jù)對(duì)象的噪聲數(shù)據(jù)誤差，是系統(tǒng)自帶誤差，與預(yù)測(cè)模型選擇無(wú)關(guān)，一般認(rèn)為服從正態(tài)分布，即 ε ～ N（0，σ2）。

對(duì)集成學(xué)習(xí)的強(qiáng)分類器對(duì)目標(biāo)數(shù)據(jù)集的評(píng)價(jià)擬合為：

那么針對(duì)數(shù)據(jù)集D的某一個(gè)x=xi，那么在該點(diǎn)的誤差即為：

可以發(fā)現(xiàn)集成誤差由三部分組成，第一個(gè)為系統(tǒng)誤差；第二個(gè)為系統(tǒng)的平方偏差，是模型預(yù)測(cè)值與真實(shí)值的差值平方，由于預(yù)測(cè)（分類）系統(tǒng)中真實(shí)值無(wú)法獲取，該誤差是一個(gè)有用的理論概念；第三個(gè)是方差，體現(xiàn)了各基分類器預(yù)測(cè)值在均值周圍的波動(dòng)程度。

為提高預(yù)測(cè)（分類）精度，降低誤差，集成學(xué)習(xí)一般在降低平方偏差和模型方差兩個(gè)方面開展工作。但是，一般來(lái)說(shuō)，簡(jiǎn)單模型具有高偏差和低方差，而復(fù)雜模型傾向于具有低偏差和高方差[18]。

以基分類器為決策樹的集成學(xué)習(xí)為例，以集成學(xué)習(xí)的決策樹數(shù)量M表征集成學(xué)習(xí)的復(fù)雜度，可以發(fā)現(xiàn)集成模型的預(yù)測(cè)誤差與系統(tǒng)復(fù)雜度，以集成簡(jiǎn)單決策樹數(shù)量M擬合，其相關(guān)關(guān)系如圖2所示[19]。

圖2 預(yù)測(cè)誤差（MSE）-模型復(fù)雜度關(guān)系圖

根據(jù)公式1可以知道隨著模型復(fù)雜度的提升，即弱分類器數(shù)量增加，集成模型的準(zhǔn)確度即系統(tǒng)的偏差會(huì)降低，但同時(shí)系統(tǒng)間基分類器預(yù)測(cè)值間的方差將會(huì)增大，導(dǎo)致系統(tǒng)的預(yù)測(cè)誤差會(huì)提升。在實(shí)際集成學(xué)習(xí)中，模型復(fù)雜度過(guò)高會(huì)導(dǎo)致過(guò)擬化，即模型在訓(xùn)練樣本中有很好預(yù)測(cè)精度，在應(yīng)用數(shù)據(jù)或訓(xùn)練樣本中表現(xiàn)一般，如果模型復(fù)雜度過(guò)低則會(huì)導(dǎo)致欠擬化[20]。圖3分析了集成模型在訓(xùn)練樣本和測(cè)試樣本中的預(yù)測(cè)誤差。

集成學(xué)習(xí)為了降低系統(tǒng)的預(yù)測(cè)誤差，提高預(yù)測(cè)精度，增強(qiáng)泛化能力，一般在控制集成模型復(fù)雜度上下功夫，主要采用正則化的方法[21]。該方法采用隱形或顯性的考慮數(shù)據(jù)的有限性、不完整性和局限性，借此來(lái)構(gòu)建模型的方差，借鑒了數(shù)學(xué)中解決求解反問(wèn)題中的不適定問(wèn)題的模型修正方法[22]。

圖3 預(yù)測(cè)誤差-集成復(fù)雜度在訓(xùn)練和測(cè)試樣本中區(qū)別

因此，為提高集成學(xué)習(xí)預(yù)測(cè)精度，集成學(xué)習(xí)方法在集成多個(gè)弱分類器基礎(chǔ)上，主要從控制集成模型復(fù)雜度和提升基分類器的差異化兩個(gè)方面開展研究工作。

對(duì)于控制集成模型復(fù)雜度，在分類問(wèn)題中，通過(guò)屬性選擇或剪枝方法控制分類樹的規(guī)模，典型方法如CART，同時(shí)控制基分類器數(shù)量，提升基分類器間的差異化；對(duì)于回歸問(wèn)題，則是通過(guò)控制參數(shù)參與度，即各參數(shù)系統(tǒng)比重來(lái)實(shí)現(xiàn)，常見方法包括約束函數(shù)，魯棒損失函數(shù)等，典型算法如前向階梯線性回歸算法；對(duì)于提升基分類器的差異化，一般通過(guò)對(duì)訓(xùn)練數(shù)據(jù)集的重采樣，參數(shù)設(shè)置，特征空間和引入隨機(jī)擾動(dòng)四個(gè)方面開展工作。

3 典型集成學(xué)習(xí)方法

集成學(xué)習(xí)方法源于1989年Kearns提出的PAC（Probably Approximately Correct）學(xué)習(xí)模型，提出了弱學(xué)習(xí)器和強(qiáng)學(xué)習(xí)器，進(jìn)而構(gòu)建了一個(gè)多項(xiàng)式級(jí)的學(xué)習(xí)器[23]。集成學(xué)習(xí)方法發(fā)展至今，形成了Breiman提出的Bagging（Bootstrap Aggregating）算法[24]和Robert提出的算法[25]以及在Boosting基礎(chǔ)上 Freund和 Schapire提出了 AdaBoost（Adaptive Boosting）算法[26]。Bagging和 Boosting 算法都是基于訓(xùn)練數(shù)據(jù)集的重采樣方法，Bagging算法是并行集成，而Boosting是串行提升，都是使用輸入數(shù)據(jù)的不同訓(xùn)練子集和同樣的學(xué)習(xí)方法生成不同模型[27]。

3.1 Bagging算法

Bagging算法是通過(guò)引導(dǎo)程序使用一個(gè)訓(xùn)練集的多個(gè)版本，即放回抽樣，多每一個(gè)數(shù)據(jù)集都來(lái)訓(xùn)練一個(gè)不同的模型，在對(duì)訓(xùn)練模型通過(guò)整合輸出形成一個(gè)最終的預(yù)測(cè)結(jié)果?；舅惴ㄈ缦隆?/p>

集成預(yù)測(cè)結(jié)果hensemble（x）=f（hi（x））=y其中，y為集成預(yù)測(cè)結(jié)果，是對(duì)各基分類器Li預(yù)測(cè)結(jié)果hi（x）的整合，整合函數(shù)為f（x）?；诸惼鞯膫€(gè)數(shù)N與分類種數(shù)呈正比關(guān)系。每一個(gè)Li是對(duì)訓(xùn)練樣本T進(jìn)行放回采樣數(shù)據(jù)集的采用同一訓(xùn)練模型的基分類器。

為了控制集成學(xué)習(xí)模型復(fù)雜度，一般采用對(duì)分類決策樹的屬性進(jìn)行篩選的方法，對(duì)不重要、不相關(guān)的分支進(jìn)行裁剪。

為了提升集成模型的差異化，由于理論上每一個(gè)重抽樣訓(xùn)練樣本數(shù)據(jù)集Ti中有較高的重復(fù)率，所以Bagging算法的基分類器L一般采用不穩(wěn)定算法，即調(diào)整訓(xùn)練樣本部分的數(shù)據(jù)后，分類器Li變化較大，從而提升各基分類器的差異性。

3.2 Boosting算法

Boosting算法也是一種基于數(shù)據(jù)集重抽樣算法，與Bagging算法主要區(qū)別在于需要?jiǎng)討B(tài)調(diào)整訓(xùn)練樣本中各數(shù)據(jù)權(quán)重，每一次迭代增加不能正確學(xué)習(xí)樣本權(quán)重，降低能正確學(xué)習(xí)樣本權(quán)重，從而提升在整個(gè)訓(xùn)練樣本數(shù)據(jù)集上的學(xué)習(xí)正確率?；舅惴ㄈ缦隆?/p>

集成預(yù)測(cè)結(jié)果hensemble（x）=f（hi（x））=y與Bagging算法不同，Boosting算法第一次構(gòu)建基分類器給每一個(gè)訓(xùn)練數(shù)據(jù)樣本賦予動(dòng)態(tài)權(quán)重，加強(qiáng)分類錯(cuò)誤樣本權(quán)重。在下一次基分類器采用新的樣本權(quán)重進(jìn)行隨機(jī)抽樣構(gòu)建新的基分類器并以此類推構(gòu)建多個(gè)基分類器，并形成一個(gè)精度較高的強(qiáng)分類器。

為了控制集成學(xué)習(xí)模型復(fù)雜度，通過(guò)動(dòng)態(tài)權(quán)重降低了高精度分類樣本的權(quán)重，有效控制了最終分類器的樣本數(shù)量，從而控制了集成學(xué)習(xí)模型復(fù)雜度。

為了提升集成模型的差異化，Boosting算法是一個(gè)逐步遞進(jìn)的方法，每一個(gè)分類器都是前一個(gè)的通過(guò)調(diào)整樣本權(quán)重的改進(jìn)模型。

Boosting算法問(wèn)題在于更多關(guān)注不能正確分類樣本數(shù)據(jù)，對(duì)于邊界樣本會(huì)導(dǎo)致權(quán)重失衡，產(chǎn)生“退化問(wèn)題”。在Boosting基礎(chǔ)上使用指數(shù)權(quán)重產(chǎn)生用于二值分類的AdaBoost算法[28，29]。

3.3 其他集成算法

隨著神經(jīng)網(wǎng)絡(luò)等新機(jī)器學(xué)習(xí)方法的發(fā)展，以及著眼Bagging和Boosting系列算法的改進(jìn)提升，產(chǎn)生了很多新的具有代表性的集成學(xué)習(xí)方法，主要算法包括神經(jīng)網(wǎng)絡(luò)集成算法，隨機(jī)森林算法，選擇性集成算法等。

Hansen和Salamon提出了神經(jīng)網(wǎng)絡(luò)集成方法（Neural Network Ensemble）[30]。通過(guò)使用多個(gè)基礎(chǔ)神經(jīng)網(wǎng)絡(luò)作為基分類器對(duì)同一問(wèn)題進(jìn)行學(xué)習(xí)，集成分類器的輸出值得到精確化的預(yù)測(cè)值。其關(guān)鍵點(diǎn)在于一是使用神經(jīng)網(wǎng)絡(luò)作為基分類器，二是對(duì)基分類器權(quán)重采用反向傳播算法訓(xùn)練。當(dāng)神經(jīng)網(wǎng)絡(luò)為單隱藏層神經(jīng)網(wǎng)絡(luò)時(shí)，構(gòu)建極限學(xué)習(xí)機(jī)，并基于此開展極限學(xué)習(xí)機(jī)集成方法[31]。

2001年Breiman提出了一種用于分類預(yù)測(cè)的集成學(xué)習(xí)算法—隨機(jī)森林（Random forests）[32]。隨機(jī)森林算法集成多個(gè)從訓(xùn)練樣本數(shù)據(jù)中重抽樣非裁剪決策樹，決策樹構(gòu)建中類似C4.5決策樹構(gòu)建方法根據(jù)增益最大挑選分裂屬性，最后對(duì)每個(gè)決策樹進(jìn)行同權(quán)重投票實(shí)現(xiàn)預(yù)測(cè)結(jié)果集成。

Bagging，Boosting等算法都是對(duì)所有基分類器進(jìn)行集成，文獻(xiàn)[33]發(fā)現(xiàn)選擇部分基分類器進(jìn)行集成能夠有效控制過(guò)擬化，提升集成模型泛化能力。2002年，我國(guó)學(xué)者周志華提出了“選擇性集成”概念[34]，將訓(xùn)練得到的基分類器中精度不高，誤差過(guò)大的分類器從集成模型中剔除，只選擇在訓(xùn)練樣本中表現(xiàn)較好的基分類器進(jìn)行集成。

4 分類結(jié)果的集成整合方法

典型集成學(xué)習(xí)描述了如何通過(guò)訓(xùn)練樣本數(shù)據(jù)得到基分類器，本節(jié)關(guān)注集成學(xué)習(xí)的檢驗(yàn)階段，即如何將各基分類器的預(yù)測(cè)結(jié)果進(jìn)行有效整合集成形成集成學(xué)習(xí)預(yù)測(cè)結(jié)果并進(jìn)行檢驗(yàn)?；诸惼鞯恼戏绞娇梢苑譃槿齻€(gè)層次，即決策層次輸出，排序?qū)哟屋敵龊投攘繉哟屋敵鯷35]。對(duì)于基分類器結(jié)果集成屬于決策層次集成，一般包括兩大類集成方法，即投票方法（Voting）和疊加方法（Stacking）[36]。

4.1 投票方法

投票方法是對(duì)各基分類器的分類結(jié)果按照某種原則進(jìn)行投票表決，得到集成預(yù)測(cè)分類結(jié)果，投票方法可分為普通投票和貝葉斯投票兩種。

普通投票方法可以分為均等投票和賦權(quán)投票兩類，賦權(quán)投票是給投票專家賦予不同權(quán)重，均等投票則是以相同權(quán)重進(jìn)行投票。根據(jù)應(yīng)用背景需求，按投票原則又可以分為一票否決，一致表決，大數(shù)原則和閥值表決等[35]。對(duì)于回歸問(wèn)題，可以通過(guò)平均值，加權(quán)求和，中位數(shù)，最大數(shù)等方式進(jìn)行整合[37]。

貝葉斯投票是根據(jù)每個(gè)基分類器的歷史分類表現(xiàn)通過(guò)貝葉斯定理賦予不同的權(quán)重，根據(jù)各基分類器的權(quán)重進(jìn)行投票[38]。由于不能覆蓋各基分類器的所有樣本空間，且不能正確給出各基分類器的先驗(yàn)概率，貝葉斯投票的效能不及普通投票方式[39]。

4.2 疊加方法

Stacking算法是1992年Worlpert提出的stacked Generalization的學(xué)習(xí)模型，對(duì)基分類器的學(xué)習(xí)結(jié)果進(jìn)行再集成得到集成模型預(yù)測(cè)結(jié)果[40]。采用Leave-One-Out的交叉驗(yàn)證（CV，Cross Validation）方法訓(xùn)練基分類器，將各基分類器的訓(xùn)練結(jié)果作為強(qiáng)分類器的輸入訓(xùn)練實(shí)例，訓(xùn)練學(xué)習(xí)得到最終預(yù)測(cè)結(jié)果。

Stacking算法既能集成各基分類器的訓(xùn)練結(jié)果，也能組合各種可能決定分類的相關(guān)信息，因此普遍認(rèn)為其性能優(yōu)于貝葉斯投票方法[41]。

5 總結(jié)

集成學(xué)習(xí)被認(rèn)為是當(dāng)前數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)中提升預(yù)測(cè)精度的重要方法。在介紹集成學(xué)習(xí)概念、評(píng)價(jià)標(biāo)準(zhǔn)的基礎(chǔ)上，將集成學(xué)習(xí)劃分為基分類器的構(gòu)建和集成兩個(gè)階段，從偏差-方差分解角度，分析集成學(xué)習(xí)的預(yù)測(cè)精度主要是通過(guò)控制集成模型復(fù)雜度和各基分類器差異度實(shí)現(xiàn)，研究討論了集成學(xué)習(xí)的模型構(gòu)建階段的經(jīng)典算法Bagging、Boosting等，同時(shí)分析研究了分類結(jié)果集成的普通投票和Stacking方法。對(duì)于掌握集成學(xué)習(xí)的一般步驟、精度控制、經(jīng)典方法以及結(jié)果集成整合等有一定幫助。